Tino Hager
2018-06-27 bff7644f31501fb8dd547e032e5ef6de67cf673e
src/network.c
@@ -28,6 +28,25 @@
#include "route_layer.h"
#include "shortcut_layer.h"
#include "yolo_layer.h"
#include "upsample_layer.h"
#include "parser.h"
network *load_network_custom(char *cfg, char *weights, int clear, int batch)
{
   printf(" Try to load cfg: %s, weights: %s, clear = %d \n", cfg, weights, clear);
   network *net = calloc(1, sizeof(network));
   *net = parse_network_cfg_custom(cfg, batch);
   if (weights && weights[0] != 0) {
      load_weights(net, weights);
   }
   if (clear) (*net->seen) = 0;
   return net;
}
network *load_network(char *cfg, char *weights, int clear)
{
   return load_network_custom(cfg, weights, clear, 0);
}
int get_current_batch(network net)
{
@@ -46,6 +65,27 @@
    #endif
}
void reset_network_state(network *net, int b)
{
   int i;
   for (i = 0; i < net->n; ++i) {
#ifdef GPU
      layer l = net->layers[i];
      if (l.state_gpu) {
         fill_ongpu(l.outputs, 0, l.state_gpu + l.outputs*b, 1);
      }
      if (l.h_gpu) {
         fill_ongpu(l.outputs, 0, l.h_gpu + l.outputs*b, 1);
      }
#endif
   }
}
void reset_rnn(network *net)
{
   reset_network_state(net, 0);
}
float get_current_rate(network net)
{
    int batch_num = get_current_batch(net);
@@ -138,7 +178,7 @@
    net.n = n;
    net.layers = calloc(net.n, sizeof(layer));
    net.seen = calloc(1, sizeof(int));
    #ifdef GPU
#ifdef GPU
    net.input_gpu = calloc(1, sizeof(float *));
    net.truth_gpu = calloc(1, sizeof(float *));
@@ -146,7 +186,7 @@
   net.output16_gpu = calloc(1, sizeof(float *));
   net.max_input16_size = calloc(1, sizeof(size_t));
   net.max_output16_size = calloc(1, sizeof(size_t));
    #endif
#endif
    return net;
}
@@ -403,8 +443,8 @@
    }
#ifdef GPU
    if(gpu_index >= 0){
      printf(" try to allocate workspace = %zu * sizeof(float), ", (workspace_size - 1) / sizeof(float) + 1);
        net->workspace = cuda_make_array(0, (workspace_size-1)/sizeof(float)+1);
      printf(" try to allocate workspace = %zu * sizeof(float), ", workspace_size / sizeof(float) + 1);
        net->workspace = cuda_make_array(0, workspace_size/sizeof(float) + 1);
      printf(" CUDA allocate done! \n");
    }else {
        free(net->workspace);
@@ -453,6 +493,11 @@
    return def;
}
layer* get_network_layer(network* net, int i)
{
    return net->layers + i;
}
image get_network_image(network net)
{
    int i;
@@ -542,7 +587,7 @@
   box *boxes = calloc(l.w*l.h*l.n, sizeof(box));
   float **probs = calloc(l.w*l.h*l.n, sizeof(float *));
   int i, j;
   for (j = 0; j < l.w*l.h*l.n; ++j) probs[j] = calloc(l.classes, sizeof(float *));
   for (j = 0; j < l.w*l.h*l.n; ++j) probs[j] = calloc(l.classes, sizeof(float));
   get_region_boxes(l, 1, 1, thresh, probs, boxes, 0, map);
   for (j = 0; j < l.w*l.h*l.n; ++j) {
      dets[j].classes = l.classes;
@@ -555,16 +600,25 @@
   free(boxes);
   free_ptrs((void **)probs, l.w*l.h*l.n);
   //correct_region_boxes(dets, l.w*l.h*l.n, w, h, net_w, net_h, relative);
   correct_yolo_boxes(dets, l.w*l.h*l.n, w, h, net_w, net_h, relative, letter);
}
void fill_network_boxes(network *net, int w, int h, float thresh, float hier, int *map, int relative, detection *dets, int letter)
{
   int prev_classes = -1;
   int j;
   for (j = 0; j < net->n; ++j) {
      layer l = net->layers[j];
      if (l.type == YOLO) {
         int count = get_yolo_detections(l, w, h, net->w, net->h, thresh, map, relative, dets, letter);
         dets += count;
         if (prev_classes < 0) prev_classes = l.classes;
         else if (prev_classes != l.classes) {
            printf(" Error: Different [yolo] layers have different number of classes = %d and %d - check your cfg-file! \n",
               prev_classes, l.classes);
         }
      }
      if (l.type == REGION) {
         custom_get_region_detections(l, w, h, net->w, net->h, thresh, map, hier, relative, dets, letter);
@@ -597,7 +651,8 @@
float *network_predict_image(network *net, image im)
{
   image imr = letterbox_image(im, net->w, net->h);
   //image imr = letterbox_image(im, net->w, net->h);
   image imr = resize_image(im, net->w, net->h);
   set_batch_network(net, 1);
   float *p = network_predict(*net, imr.data);
   free_image(imr);
@@ -730,6 +785,11 @@
      free_layer(net.layers[i]);
   }
   free(net.layers);
   free(net.scales);
   free(net.steps);
   free(net.seen);
#ifdef GPU
   if (gpu_index >= 0) cuda_free(net.workspace);
   else free(net.workspace);
@@ -748,3 +808,42 @@
   free(net.workspace);
#endif
}
void fuse_conv_batchnorm(network net)
{
   int j;
   for (j = 0; j < net.n; ++j) {
      layer *l = &net.layers[j];
      if (l->type == CONVOLUTIONAL) {
         //printf(" Merges Convolutional-%d and batch_norm \n", j);
         if (l->batch_normalize) {
            int f;
            for (f = 0; f < l->n; ++f)
            {
               l->biases[f] = l->biases[f] - (double)l->scales[f] * l->rolling_mean[f] / (sqrt((double)l->rolling_variance[f]) + .000001f);
               const size_t filter_size = l->size*l->size*l->c;
               int i;
               for (i = 0; i < filter_size; ++i) {
                  int w_index = f*filter_size + i;
                  l->weights[w_index] = (double)l->weights[w_index] * l->scales[f] / (sqrt((double)l->rolling_variance[f]) + .000001f);
               }
            }
            l->batch_normalize = 0;
#ifdef GPU
            if (gpu_index >= 0) {
               push_convolutional_layer(*l);
            }
#endif
         }
      }
      else {
         //printf(" Fusion skip layer type: %d \n", l->type);
      }
   }
}