Update Readme.md

Alexey

2018-03-28 946ef005e8f060607a07c17aa03e727468b487fa

 src/cuda.c

@@ -26,6 +26,7 @@

void check_error(cudaError_t status)
{
    //cudaDeviceSynchronize();
    cudaError_t status2 = cudaGetLastError();
    if (status != cudaSuccess)
    {   
@@ -60,6 +61,19 @@
    return d;
}

static cudaStream_t streamsArray[16];  // cudaStreamSynchronize( get_cuda_stream() );
static int streamInit[16] = { 0 };

cudaStream_t get_cuda_stream() {
   int i = cuda_get_device();
   if (!streamInit[i]) {
      cudaStreamCreate(&streamsArray[i]);
      streamInit[i] = 1;
   }
   return streamsArray[i];
}


#ifdef CUDNN
cudnnHandle_t cudnn_handle()
{
@@ -69,6 +83,7 @@
    if(!init[i]) {
        cudnnCreate(&handle[i]);
        init[i] = 1;
      cudnnStatus_t status = cudnnSetStream(handle[i], get_cuda_stream());
    }
    return handle[i];
}
@@ -81,6 +96,7 @@
    int i = cuda_get_device();
    if(!init[i]) {
        cublasCreate(&handle[i]);
      cublasStatus_t status = cublasSetStream(handle[i], get_cuda_stream());
        init[i] = 1;
    }
    return handle[i];
@@ -93,7 +109,8 @@
    cudaError_t status = cudaMalloc((void **)&x_gpu, size);
    check_error(status);
    if(x){
        status = cudaMemcpy(x_gpu, x, size, cudaMemcpyHostToDevice);
        //status = cudaMemcpy(x_gpu, x, size, cudaMemcpyHostToDevice);
      status = cudaMemcpyAsync(x_gpu, x, size, cudaMemcpyHostToDevice, get_cuda_stream());
        check_error(status);
    }
    if(!x_gpu) error("Cuda malloc failed\n");
@@ -138,6 +155,7 @@

void cuda_free(float *x_gpu)
{
   //cudaStreamSynchronize(get_cuda_stream());
    cudaError_t status = cudaFree(x_gpu);
    check_error(status);
}
@@ -145,15 +163,18 @@
void cuda_push_array(float *x_gpu, float *x, size_t n)
{
    size_t size = sizeof(float)*n;
    cudaError_t status = cudaMemcpy(x_gpu, x, size, cudaMemcpyHostToDevice);
    //cudaError_t status = cudaMemcpy(x_gpu, x, size, cudaMemcpyHostToDevice);
   cudaError_t status = cudaMemcpyAsync(x_gpu, x, size, cudaMemcpyHostToDevice, get_cuda_stream());
    check_error(status);
}

void cuda_pull_array(float *x_gpu, float *x, size_t n)
{
    size_t size = sizeof(float)*n;
    cudaError_t status = cudaMemcpy(x, x_gpu, size, cudaMemcpyDeviceToHost);
    //cudaError_t status = cudaMemcpy(x, x_gpu, size, cudaMemcpyDeviceToHost);
   cudaError_t status = cudaMemcpyAsync(x, x_gpu, size, cudaMemcpyDeviceToHost, get_cuda_stream());
    check_error(status);
   cudaStreamSynchronize(get_cuda_stream());
}

#endif