Improve training performance - batch-norm using cuDNN.

AlexeyAB

2018-03-19 537d135feba179636e9bbfe296e078d51f59914c

 src/layer.h

@@ -42,6 +42,18 @@
    SSE, MASKED, SMOOTH
} COST_TYPE;

typedef struct {
   int batch;
   float learning_rate;
   float momentum;
   float decay;
   int adam;
   float B1;
   float B2;
   float eps;
   int t;
} update_args;

struct layer{
    LAYER_TYPE type;
    ACTIVATION activation;
@@ -261,6 +273,7 @@
    #ifdef CUDNN
    cudnnTensorDescriptor_t srcTensorDesc, dstTensorDesc;
    cudnnTensorDescriptor_t dsrcTensorDesc, ddstTensorDesc;
   cudnnTensorDescriptor_t normTensorDesc;
    cudnnFilterDescriptor_t weightDesc;
    cudnnFilterDescriptor_t dweightDesc;
    cudnnConvolutionDescriptor_t convDesc;