Ignore empty extra lines in train.txt

AlexeyAB

2018-05-29 ec766fc3f114dd4faaa3add500776a7bae957ba5

 src/batchnorm_layer.c

@@ -54,8 +54,8 @@
    layer.x_norm_gpu = cuda_make_array(layer.output, layer.batch*layer.outputs);
#ifdef CUDNN
   cudnnCreateTensorDescriptor(&layer.normTensorDesc);
   cudnnCreateTensorDescriptor(&layer.dstTensorDesc);
   cudnnSetTensor4dDescriptor(layer.dstTensorDesc, CUDNN_TENSOR_NCHW, CUDNN_DATA_FLOAT, layer.batch, layer.out_c, layer.out_h, layer.out_w);
   cudnnCreateTensorDescriptor(&layer.normDstTensorDesc);
   cudnnSetTensor4dDescriptor(layer.normDstTensorDesc, CUDNN_TENSOR_NCHW, CUDNN_DATA_FLOAT, layer.batch, layer.out_c, layer.out_h, layer.out_w);
   cudnnSetTensor4dDescriptor(layer.normTensorDesc, CUDNN_TENSOR_NCHW, CUDNN_DATA_FLOAT, 1, layer.out_c, 1, 1);
#endif
#endif
@@ -189,19 +189,19 @@
         CUDNN_BATCHNORM_SPATIAL,
         &one,
         &zero,
         l.dstTensorDesc,
         l.x_gpu,
         l.dstTensorDesc,
         l.output_gpu,
         l.normDstTensorDesc,
         l.x_gpu,          // input
         l.normDstTensorDesc,
         l.output_gpu,        // output
         l.normTensorDesc,
         l.scales_gpu,
         l.biases_gpu,
         .01,
         l.rolling_mean_gpu,
         l.rolling_variance_gpu,
         l.rolling_mean_gpu,     // output (should be FP32)
         l.rolling_variance_gpu, // output (should be FP32)
         .00001,
         l.mean_gpu,
         l.variance_gpu);
         l.mean_gpu,       // output (should be FP32)
         l.variance_gpu);  // output (should be FP32)
#else
      fast_mean_gpu(l.output_gpu, l.batch, l.out_c, l.out_h*l.out_w, l.mean_gpu);
      fast_variance_gpu(l.output_gpu, l.mean_gpu, l.batch, l.out_c, l.out_h*l.out_w, l.variance_gpu);
@@ -242,19 +242,19 @@
      &zero,
      &one,
      &one,
      l.dstTensorDesc,
      l.x_gpu,
      l.dstTensorDesc,
      l.delta_gpu,
      l.dstTensorDesc,
      l.x_norm_gpu,
      l.normDstTensorDesc,
      l.x_gpu,          // input
      l.normDstTensorDesc,
      l.delta_gpu,         // input
      l.normDstTensorDesc,
      l.x_norm_gpu,        // output
      l.normTensorDesc,
      l.scales_gpu,
      l.scale_updates_gpu,
      l.bias_updates_gpu,
      l.scales_gpu,        // output (should be FP32)
      l.scale_updates_gpu, // output (should be FP32)
      l.bias_updates_gpu,     // output (should be FP32)
      .00001,
      l.mean_gpu,
      l.variance_gpu);
      l.mean_gpu,          // input (should be FP32)
      l.variance_gpu);     // input (should be FP32)
   copy_ongpu(l.outputs*l.batch, l.x_norm_gpu, 1, l.delta_gpu, 1);
#else
   backward_bias_gpu(l.bias_updates_gpu, l.delta_gpu, l.batch, l.out_c, l.out_w*l.out_h);