Tino Hager
2018-06-27 d765ed84952668bf4256549b129c4a192793a4ed
src/yolo_v2_class.cpp
@@ -22,6 +22,44 @@
#define FRAMES 3
//static Detector* detector = NULL;
static std::unique_ptr<Detector> detector;
int init(const char *configurationFilename, const char *weightsFilename, int gpu)
{
   detector.reset(new Detector(configurationFilename, weightsFilename, gpu));
   return 1;
}
int detect_image(const char *filename, bbox_t_container &container)
{
   std::vector<bbox_t> detection = detector->detect(filename);
   for (size_t i = 0; i < detection.size() && i < C_SHARP_MAX_OBJECTS; ++i)
      container.candidates[i] = detection[i];
   return detection.size();
}
int detect_mat(const uint8_t* data, const size_t data_length, bbox_t_container &container) {
#ifdef OPENCV
   std::vector<char> vdata(data, data + data_length);
   cv::Mat image = imdecode(cv::Mat(vdata), 1);
   std::vector<bbox_t> detection = detector->detect(image);
   for (size_t i = 0; i < detection.size() && i < C_SHARP_MAX_OBJECTS; ++i)
      container.candidates[i] = detection[i];
   return detection.size();
#else
   return -1;
#endif   // OPENCV
}
int dispose() {
   //if (detector != NULL) delete detector;
   //detector = NULL;
   detector.reset();
   return 1;
}
#ifdef GPU
void check_cuda(cudaError_t status) {
   if (status != cudaSuccess) {
@@ -32,8 +70,6 @@
#endif
struct detector_gpu_t {
   float **probs;
   box *boxes;
   network net;
   image images[FRAMES];
   float *avg;
@@ -47,7 +83,7 @@
   wait_stream = 0;
   int old_gpu_index;
#ifdef GPU
   check_cuda( cudaGetDevice(&old_gpu_index) );
   check_cuda(cudaGetDevice(&old_gpu_index));
#endif
   detector_gpu_ptr = std::make_shared<detector_gpu_t>();
@@ -61,7 +97,7 @@
   network &net = detector_gpu.net;
   net.gpu_index = cur_gpu_id;
   //gpu_index = i;
   char *cfgfile = const_cast<char *>(cfg_filename.data());
   char *weightfile = const_cast<char *>(weight_filename.data());
@@ -71,6 +107,7 @@
   }
   set_batch_network(&net, 1);
   net.gpu_index = cur_gpu_id;
   fuse_conv_batchnorm(net);
   layer l = net.layers[net.n - 1];
   int j;
@@ -79,20 +116,16 @@
   for (j = 0; j < FRAMES; ++j) detector_gpu.predictions[j] = (float *)calloc(l.outputs, sizeof(float));
   for (j = 0; j < FRAMES; ++j) detector_gpu.images[j] = make_image(1, 1, 3);
   detector_gpu.boxes = (box *)calloc(l.w*l.h*l.n, sizeof(box));
   detector_gpu.probs = (float **)calloc(l.w*l.h*l.n, sizeof(float *));
   for (j = 0; j < l.w*l.h*l.n; ++j) detector_gpu.probs[j] = (float *)calloc(l.classes, sizeof(float));
   detector_gpu.track_id = (unsigned int *)calloc(l.classes, sizeof(unsigned int));
   for (j = 0; j < l.classes; ++j) detector_gpu.track_id[j] = 1;
#ifdef GPU
   check_cuda( cudaSetDevice(old_gpu_index) );
   check_cuda(cudaSetDevice(old_gpu_index));
#endif
}
YOLODLL_API Detector::~Detector()
YOLODLL_API Detector::~Detector()
{
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   layer l = detector_gpu.net.layers[detector_gpu.net.n - 1];
@@ -101,16 +134,11 @@
   free(detector_gpu.avg);
   for (int j = 0; j < FRAMES; ++j) free(detector_gpu.predictions[j]);
   for (int j = 0; j < FRAMES; ++j) if(detector_gpu.images[j].data) free(detector_gpu.images[j].data);
   for (int j = 0; j < l.w*l.h*l.n; ++j) free(detector_gpu.probs[j]);
   free(detector_gpu.boxes);
   free(detector_gpu.probs);
   for (int j = 0; j < FRAMES; ++j) if (detector_gpu.images[j].data) free(detector_gpu.images[j].data);
   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
   //cudaSetDevice(detector_gpu.net.gpu_index);
   cuda_set_device(detector_gpu.net.gpu_index);
#endif
@@ -129,6 +157,10 @@
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.h;
}
YOLODLL_API int Detector::get_net_color_depth() const {
   detector_gpu_t &detector_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
   return detector_gpu.net.c;
}
YOLODLL_API std::vector<bbox_t> Detector::detect(std::string image_filename, float thresh, bool use_mean)
@@ -142,7 +174,7 @@
{
   int w, h, c;
   unsigned char *data = stbi_load(filename, &w, &h, &c, channels);
   if (!data)
   if (!data)
      throw std::runtime_error("file not found");
   if (channels) c = channels;
   int i, j, k;
@@ -150,8 +182,8 @@
   for (k = 0; k < c; ++k) {
      for (j = 0; j < h; ++j) {
         for (i = 0; i < w; ++i) {
            int dst_index = i + w*j + w*h*k;
            int src_index = k + c*i + c*w*j;
            int dst_index = i + w * j + w * h*k;
            int src_index = k + c * i + c * w*j;
            im.data[dst_index] = (float)data[src_index] / 255.;
         }
      }
@@ -189,14 +221,14 @@
   int old_gpu_index;
#ifdef GPU
   cudaGetDevice(&old_gpu_index);
   if(cur_gpu_id != old_gpu_index)
   if (cur_gpu_id != old_gpu_index)
      cudaSetDevice(net.gpu_index);
   net.wait_stream = wait_stream;   // 1 - wait CUDA-stream, 0 - not to wait
#endif
   //std::cout << "net.gpu_index = " << net.gpu_index << std::endl;
                           //std::cout << "net.gpu_index = " << net.gpu_index << std::endl;
   //float nms = .4;
                           //float nms = .4;
   image im;
   im.c = img.c;
@@ -205,7 +237,7 @@
   im.w = img.w;
   image sized;
   if (net.w == im.w && net.h == im.h) {
      sized = make_image(im.w, im.h, im.c);
      memcpy(sized.data, im.data, im.w*im.h*im.c * sizeof(float));
@@ -225,19 +257,23 @@
      l.output = detector_gpu.avg;
      detector_gpu.demo_index = (detector_gpu.demo_index + 1) % FRAMES;
   }
   //get_region_boxes(l, 1, 1, thresh, detector_gpu.probs, detector_gpu.boxes, 0, 0);
   //if (nms) do_nms_sort(detector_gpu.boxes, detector_gpu.probs, l.w*l.h*l.n, l.classes, nms);
   get_region_boxes(l, 1, 1, thresh, detector_gpu.probs, detector_gpu.boxes, 0, 0);
   if (nms) do_nms_sort(detector_gpu.boxes, detector_gpu.probs, l.w*l.h*l.n, l.classes, nms);
   //draw_detections(im, l.w*l.h*l.n, thresh, boxes, probs, names, alphabet, l.classes);
   int nboxes = 0;
   int letterbox = 0;
   float hier_thresh = 0.5;
   detection *dets = get_network_boxes(&net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes, letterbox);
   if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
   std::vector<bbox_t> bbox_vec;
   for (size_t i = 0; i < (l.w*l.h*l.n); ++i) {
      box b = detector_gpu.boxes[i];
      int const obj_id = max_index(detector_gpu.probs[i], l.classes);
      float const prob = detector_gpu.probs[i][obj_id];
      if (prob > thresh)
   for (size_t i = 0; i < nboxes; ++i) {
      box b = dets[i].bbox;
      int const obj_id = max_index(dets[i].prob, l.classes);
      float const prob = dets[i].prob[obj_id];
      if (prob > thresh)
      {
         bbox_t bbox;
         bbox.x = std::max((double)0, (b.x - b.w / 2.)*im.w);
@@ -252,7 +288,8 @@
      }
   }
   if(sized.data)
   free_detections(dets, nboxes);
   if (sized.data)
      free(sized.data);
#ifdef GPU
@@ -263,7 +300,7 @@
   return bbox_vec;
}
YOLODLL_API std::vector<bbox_t> Detector::tracking_id(std::vector<bbox_t> cur_bbox_vec, bool const change_history,
YOLODLL_API std::vector<bbox_t> Detector::tracking_id(std::vector<bbox_t> cur_bbox_vec, bool const change_history,
   int const frames_story, int const max_dist)
{
   detector_gpu_t &det_gpu = *static_cast<detector_gpu_t *>(detector_gpu_ptr.get());
@@ -288,9 +325,9 @@
         for (size_t m = 0; m < cur_bbox_vec.size(); ++m) {
            bbox_t const& k = cur_bbox_vec[m];
            if (i.obj_id == k.obj_id) {
               float center_x_diff = (float)(i.x + i.w/2) - (float)(k.x + k.w/2);
               float center_y_diff = (float)(i.y + i.h/2) - (float)(k.y + k.h/2);
               unsigned int cur_dist = sqrt(center_x_diff*center_x_diff + center_y_diff*center_y_diff);
               float center_x_diff = (float)(i.x + i.w / 2) - (float)(k.x + k.w / 2);
               float center_y_diff = (float)(i.y + i.h / 2) - (float)(k.y + k.h / 2);
               unsigned int cur_dist = sqrt(center_x_diff*center_x_diff + center_y_diff * center_y_diff);
               if (cur_dist < max_dist && (k.track_id == 0 || dist_vec[m] > cur_dist)) {
                  dist_vec[m] = cur_dist;
                  cur_index = m;
@@ -298,10 +335,10 @@
            }
         }
         bool track_id_absent = !std::any_of(cur_bbox_vec.begin(), cur_bbox_vec.end(),
         bool track_id_absent = !std::any_of(cur_bbox_vec.begin(), cur_bbox_vec.end(),
            [&i](bbox_t const& b) { return b.track_id == i.track_id && b.obj_id == i.obj_id; });
         if (cur_index >= 0 && track_id_absent){
         if (cur_index >= 0 && track_id_absent) {
            cur_bbox_vec[cur_index].track_id = i.track_id;
            cur_bbox_vec[cur_index].w = (cur_bbox_vec[cur_index].w + i.w) / 2;
            cur_bbox_vec[cur_index].h = (cur_bbox_vec[cur_index].h + i.h) / 2;