Added CUDA-streams to Darknet-Yolo forward inference

AlexeyAB

2017-12-31 9d23aad8696268e8ce3a94fee9490fd1db000dc8

 src/cuda.h

@@ -1,6 +1,10 @@
#ifndef CUDA_H
#define CUDA_H

#if defined(_MSC_VER) && _MSC_VER < 1900
   #define inline __inline
#endif

extern int gpu_index;

#ifdef GPU
@@ -21,10 +25,12 @@
int *cuda_make_int_array(size_t n);
void cuda_push_array(float *x_gpu, float *x, size_t n);
void cuda_pull_array(float *x_gpu, float *x, size_t n);
void cuda_set_device(int n);
void cuda_free(float *x_gpu);
void cuda_random(float *x_gpu, size_t n);
float cuda_compare(float *x_gpu, float *x, size_t n, char *s);
dim3 cuda_gridsize(size_t n);
cudaStream_t get_cuda_stream();

#ifdef CUDNN
cudnnHandle_t cudnn_handle();