Disable burn_in for FP16 Tensor Cores

AlexeyAB

2018-04-15 6aa140b3c6e9917936f73bd538fce4fe20954233

 src/yolo_v2_class.cpp

@@ -22,9 +22,16 @@

#define FRAMES 3

struct detector_gpu_t{
   float **probs;
   box *boxes;
#ifdef GPU
void check_cuda(cudaError_t status) {
   if (status != cudaSuccess) {
      const char *s = cudaGetErrorString(status);
      printf("CUDA Error Prev: %s\n", s);
   }
}
#endif

struct detector_gpu_t {
   network net;
   image images[FRAMES];
   float *avg;
@@ -33,34 +40,24 @@
   unsigned int *track_id;
};

#ifdef OPENCV
cv::Scalar obj_id_to_color(int obj_id)
{
   int const colors[6][3] = { { 1,0,1 },{ 0,0,1 },{ 0,1,1 },{ 0,1,0 },{ 1,1,0 },{ 1,0,0 } };
   int const offset = obj_id * 123457 % 6;
   int const color_scale = 150 + (obj_id * 123457) % 100;
   cv::Scalar color(colors[offset][0], colors[offset][1], colors[offset][2]);
   color *= color_scale;
   return color;
}
#endif

YOLODLL_API Detector::Detector(std::string cfg_filename, std::string weight_filename, int gpu_id) : cur_gpu_id(gpu_id)
{
   wait_stream = 0;
   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
   check_cuda( cudaGetDevice(&old_gpu_index) );
#endif

   detector_gpu_ptr = std::make_shared<detector_gpu_t>();
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());

#ifdef GPU
   cudaSetDevice(gpu_id);
   //check_cuda( cudaSetDevice(cur_gpu_id) );
   cuda_set_device(cur_gpu_id);
   printf(" Used GPU %d \n", cur_gpu_id);
#endif
   network &net = detector_gpu.net;
   net.gpu_index = gpu_id;
   net.gpu_index = cur_gpu_id;
   //gpu_index = i;
   
   char *cfgfile = const_cast<char *>(cfg_filename.data());
@@ -71,7 +68,8 @@
      load_weights(&net, weightfile);
   }
   set_batch_network(&net, 1);
   net.gpu_index = gpu_id;
   net.gpu_index = cur_gpu_id;
   fuse_conv_batchnorm(net);

   layer l = net.layers[net.n - 1];
   int j;
@@ -80,22 +78,18 @@
   for (j = 0; j < FRAMES; ++j) detector_gpu.predictions[j] = (float *)calloc(l.outputs, sizeof(float));
   for (j = 0; j < FRAMES; ++j) detector_gpu.images[j] = make_image(1, 1, 3);

   detector_gpu.boxes = (box *)calloc(l.w*l.h*l.n, sizeof(box));
   detector_gpu.probs = (float **)calloc(l.w*l.h*l.n, sizeof(float *));
   for (j = 0; j < l.w*l.h*l.n; ++j) detector_gpu.probs[j] = (float *)calloc(l.classes, sizeof(float));

   detector_gpu.track_id = (unsigned int *)calloc(l.classes, sizeof(unsigned int));
   for (j = 0; j < l.classes; ++j) detector_gpu.track_id[j] = 1;

#ifdef GPU
   cudaSetDevice(old_gpu_index);
   check_cuda( cudaSetDevice(old_gpu_index) );
#endif
}


YOLODLL_API Detector::~Detector() 
{
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   layer l = detector_gpu.net.layers[detector_gpu.net.n - 1];

   free(detector_gpu.track_id);
@@ -104,14 +98,10 @@
   for (int j = 0; j < FRAMES; ++j) free(detector_gpu.predictions[j]);
   for (int j = 0; j < FRAMES; ++j) if(detector_gpu.images[j].data) free(detector_gpu.images[j].data);

   for (int j = 0; j < l.w*l.h*l.n; ++j) free(detector_gpu.probs[j]);
   free(detector_gpu.boxes);
   free(detector_gpu.probs);

   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
   cudaSetDevice(detector_gpu.net.gpu_index);
   cuda_set_device(detector_gpu.net.gpu_index);
#endif

   free_network(detector_gpu.net);
@@ -122,11 +112,11 @@
}

YOLODLL_API int Detector::get_net_width() const {
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.w;
}
YOLODLL_API int Detector::get_net_height() const {
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.h;
}

@@ -184,7 +174,7 @@

YOLODLL_API std::vector<bbox_t> Detector::detect(image_t img, float thresh, bool use_mean)
{
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   network &net = detector_gpu.net;
   int old_gpu_index;
#ifdef GPU
@@ -225,17 +215,21 @@
      l.output = detector_gpu.avg;
      detector_gpu.demo_index = (detector_gpu.demo_index + 1) % FRAMES;
   }
   //get_region_boxes(l, 1, 1, thresh, detector_gpu.probs, detector_gpu.boxes, 0, 0);
   //if (nms) do_nms_sort(detector_gpu.boxes, detector_gpu.probs, l.w*l.h*l.n, l.classes, nms);

   get_region_boxes(l, 1, 1, thresh, detector_gpu.probs, detector_gpu.boxes, 0, 0);
   if (nms) do_nms_sort(detector_gpu.boxes, detector_gpu.probs, l.w*l.h*l.n, l.classes, nms);
   //draw_detections(im, l.w*l.h*l.n, thresh, boxes, probs, names, alphabet, l.classes);
   int nboxes = 0;
   int letterbox = 0;
   float hier_thresh = 0.5;
   detection *dets = get_network_boxes(&net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes, letterbox);
   if (nms) do_nms_sort(dets, nboxes, l.classes, nms);

   std::vector<bbox_t> bbox_vec;

   for (size_t i = 0; i < (l.w*l.h*l.n); ++i) {
      box b = detector_gpu.boxes[i];
      int const obj_id = max_index(detector_gpu.probs[i], l.classes);
      float const prob = detector_gpu.probs[i][obj_id];
   for (size_t i = 0; i < nboxes; ++i) {
      box b = dets[i].bbox;
      int const obj_id = max_index(dets[i].prob, l.classes);
      float const prob = dets[i].prob[obj_id];
      
      if (prob > thresh) 
      {
@@ -252,6 +246,7 @@
      }
   }

   free_detections(dets, nboxes);
   if(sized.data)
      free(sized.data);

@@ -266,7 +261,7 @@
YOLODLL_API std::vector<bbox_t> Detector::tracking_id(std::vector<bbox_t> cur_bbox_vec, bool const change_history, 
   int const frames_story, int const max_dist)
{
   detector_gpu_t &det_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   detector_gpu_t &det_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());

   bool prev_track_id_present = false;
   for (auto &i : prev_bbox_vec_deque)