Fixed preview box for short-term object detection (small box) and long-term...

AlexeyAB

2018-01-25 8b94d474d591dd76d146c9aeed029d0b5836ac3f

 src/yolo_v2_class.cpp

@@ -30,11 +30,13 @@
   float *avg;
   float *predictions[FRAMES];
   int demo_index;
   unsigned int *track_id;
};


YOLODLL_API Detector::Detector(std::string cfg_filename, std::string weight_filename, int gpu_id)
YOLODLL_API Detector::Detector(std::string cfg_filename, std::string weight_filename, int gpu_id) : cur_gpu_id(gpu_id)
{
   wait_stream = 0;
   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
@@ -53,7 +55,7 @@
   char *cfgfile = const_cast<char *>(cfg_filename.data());
   char *weightfile = const_cast<char *>(weight_filename.data());

   net = parse_network_cfg(cfgfile);
   net = parse_network_cfg_custom(cfgfile, 1);
   if (weightfile) {
      load_weights(&net, weightfile);
   }
@@ -71,6 +73,9 @@
   detector_gpu.probs = (float **)calloc(l.w*l.h*l.n, sizeof(float *));
   for (j = 0; j < l.w*l.h*l.n; ++j) detector_gpu.probs[j] = (float *)calloc(l.classes, sizeof(float));

   detector_gpu.track_id = (unsigned int *)calloc(l.classes, sizeof(unsigned int));
   for (j = 0; j < l.classes; ++j) detector_gpu.track_id[j] = 1;

#ifdef GPU
   cudaSetDevice(old_gpu_index);
#endif
@@ -82,6 +87,8 @@
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   layer l = detector_gpu.net.layers[detector_gpu.net.n - 1];

   free(detector_gpu.track_id);

   free(detector_gpu.avg);
   for (int j = 0; j < FRAMES; ++j) free(detector_gpu.predictions[j]);
   for (int j = 0; j < FRAMES; ++j) if(detector_gpu.images[j].data) free(detector_gpu.images[j].data);
@@ -103,11 +110,11 @@
#endif
}

YOLODLL_API int Detector::get_net_width() {
YOLODLL_API int Detector::get_net_width() const {
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.w;
}
YOLODLL_API int Detector::get_net_height() {
YOLODLL_API int Detector::get_net_height() const {
   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.h;
}
@@ -166,13 +173,15 @@

YOLODLL_API std::vector<bbox_t> Detector::detect(image_t img, float thresh, bool use_mean)
{

   detector_gpu_t &detector_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   network &net = detector_gpu.net;
   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
   cudaSetDevice(net.gpu_index);
   if(cur_gpu_id != old_gpu_index)
      cudaSetDevice(net.gpu_index);

   net.wait_stream = wait_stream;   // 1 - wait CUDA-stream, 0 - not to wait
#endif
   //std::cout << "net.gpu_index = " << net.gpu_index << std::endl;

@@ -236,24 +245,24 @@
      free(sized.data);

#ifdef GPU
   cudaSetDevice(old_gpu_index);
   if (cur_gpu_id != old_gpu_index)
      cudaSetDevice(old_gpu_index);
#endif

   return bbox_vec;
}

YOLODLL_API std::vector<bbox_t> Detector::tracking(std::vector<bbox_t> cur_bbox_vec, int const frames_story)
YOLODLL_API std::vector<bbox_t> Detector::tracking_id(std::vector<bbox_t> cur_bbox_vec, int const frames_story, int const max_dist)
{
   detector_gpu_t &det_gpu = *reinterpret_cast<detector_gpu_t *>(detector_gpu_ptr.get());

   bool prev_track_id_present = false;
   for (auto &i : prev_bbox_vec_deque)
      if (i.size() > 0) prev_track_id_present = true;

   static unsigned int track_id = 1;

   if (!prev_track_id_present) {
      //track_id = 1;
      for (size_t i = 0; i < cur_bbox_vec.size(); ++i)
         cur_bbox_vec[i].track_id = track_id++;
         cur_bbox_vec[i].track_id = det_gpu.track_id[cur_bbox_vec[i].obj_id]++;
      prev_bbox_vec_deque.push_front(cur_bbox_vec);
      if (prev_bbox_vec_deque.size() > frames_story) prev_bbox_vec_deque.pop_back();
      return cur_bbox_vec;
@@ -267,17 +276,20 @@
         for (size_t m = 0; m < cur_bbox_vec.size(); ++m) {
            bbox_t const& k = cur_bbox_vec[m];
            if (i.obj_id == k.obj_id) {
               unsigned int cur_dist = sqrt(((float)i.x - k.x)*((float)i.x - k.x) + ((float)i.y - k.y)*((float)i.y - k.y));
               if (cur_dist < 100 && (k.track_id == 0 || dist_vec[m] > cur_dist)) {
               float center_x_diff = (float)(i.x + i.w/2) - (float)(k.x + k.w/2);
               float center_y_diff = (float)(i.y + i.h/2) - (float)(k.y + k.h/2);
               unsigned int cur_dist = sqrt(center_x_diff*center_x_diff + center_y_diff*center_y_diff);
               if (cur_dist < max_dist && (k.track_id == 0 || dist_vec[m] > cur_dist)) {
                  dist_vec[m] = cur_dist;
                  cur_index = m;
               }
            }
         }

         bool track_id_absent = !std::any_of(cur_bbox_vec.begin(), cur_bbox_vec.end(), [&](bbox_t const& b) { return b.track_id == i.track_id; });
         bool track_id_absent = !std::any_of(cur_bbox_vec.begin(), cur_bbox_vec.end(), 
            [&i](bbox_t const& b) { return b.track_id == i.track_id && b.obj_id == i.obj_id; });

         if (cur_index >= 0 && track_id_absent) {
         if (cur_index >= 0 && track_id_absent){
            cur_bbox_vec[cur_index].track_id = i.track_id;
            cur_bbox_vec[cur_index].w = (cur_bbox_vec[cur_index].w + i.w) / 2;
            cur_bbox_vec[cur_index].h = (cur_bbox_vec[cur_index].h + i.h) / 2;
@@ -287,7 +299,7 @@

   for (size_t i = 0; i < cur_bbox_vec.size(); ++i)
      if (cur_bbox_vec[i].track_id == 0)
         cur_bbox_vec[i].track_id = track_id++;
         cur_bbox_vec[i].track_id = det_gpu.track_id[cur_bbox_vec[i].obj_id]++;

   prev_bbox_vec_deque.push_front(cur_bbox_vec);
   if (prev_bbox_vec_deque.size() > frames_story) prev_bbox_vec_deque.pop_back();