Latency fix for RTSP-camera in console-app

AlexeyAB

2017-08-07 b202eaee259572cf8b627a776a62ce9d59aa50a6

 src/yolo_console_dll.cpp

@@ -4,6 +4,7 @@
#include <vector>
#include <fstream>
#include <thread>
#include <atomic>

#define OPENCV

@@ -25,11 +26,16 @@
void draw_boxes(cv::Mat mat_img, std::vector<bbox_t> result_vec, std::vector<std::string> obj_names, unsigned int wait_msec = 0) {
   for (auto &i : result_vec) {
      cv::Scalar color(60, 160, 260);
      cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 3);
      if(obj_names.size() > i.obj_id)
         putText(mat_img, obj_names[i.obj_id], cv::Point2f(i.x, i.y - 10), cv::FONT_HERSHEY_COMPLEX_SMALL, 1, color);
      if(i.track_id > 0)
         putText(mat_img, std::to_string(i.track_id), cv::Point2f(i.x+5, i.y + 15), cv::FONT_HERSHEY_COMPLEX_SMALL, 1, color);
      cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 5);
      if (obj_names.size() > i.obj_id) {
         std::string obj_name = obj_names[i.obj_id];
         if (i.track_id > 0) obj_name += " - " + std::to_string(i.track_id);
         cv::Size const text_size = getTextSize(obj_name, cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, 2, 0);
         size_t const max_width = (text_size.width > i.w + 2) ? text_size.width : (i.w + 2);
         if(i.x > 3 && (i.x + max_width) < mat_img.cols && i.y > 30 && i.y < mat_img.rows)
            cv::rectangle(mat_img, cv::Point2f(i.x - 3, i.y - 30), cv::Point2f(i.x + max_width, i.y), color, CV_FILLED, 8, 0);
         putText(mat_img, obj_name, cv::Point2f(i.x, i.y - 10), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(0, 0, 0), 2);
      }
   }
   cv::imshow("window name", mat_img);
   cv::waitKey(wait_msec);
@@ -72,16 +78,19 @@
      try {
#ifdef OPENCV
         std::string const file_ext = filename.substr(filename.find_last_of(".") + 1);
         if (file_ext == "avi" || file_ext == "mp4" || file_ext == "mjpg" || file_ext == "mov") {  // video file
         std::string const protocol = filename.substr(0, 4);
         if (file_ext == "avi" || file_ext == "mp4" || file_ext == "mjpg" || file_ext == "mov" || protocol == "rtsp") { // video file
            cv::Mat frame, prev_frame, det_frame;
            std::vector<bbox_t> result_vec, thread_result_vec;
            detector.nms = 0.02; // comment it - if track_id is not required
            std::thread td([]() {});
            for (cv::VideoCapture cap(filename); cap >> frame, cap.isOpened();) {
            std::atomic<int> ready_flag = false;
            cv::VideoCapture cap(filename);
            for (; cap >> frame, cap.isOpened();) {
               td.join();
               result_vec = thread_result_vec;
               det_frame = frame;
               td = std::thread([&]() { thread_result_vec = detector.detect(det_frame, 0.2, true); });
               td = std::thread([&]() { thread_result_vec = detector.detect(det_frame, 0.2, true); ready_flag = true; });

               if (!prev_frame.empty()) {
                  result_vec = detector.tracking(result_vec);  // comment it - if track_id is not required
@@ -89,6 +98,8 @@
                  show_result(result_vec, obj_names);
               }
               prev_frame = frame;
               //if(protocol == "rtsp") while (!ready_flag) cap.grab(); // use if cam-fps 2x or more than dnn-fps
               ready_flag = false;
            }
         }
         else if (file_ext == "txt") { // list of image files
@@ -97,13 +108,18 @@
            else 
               for (std::string line; file >> line;) {
                  std::cout << line << std::endl;
                  show_result(detector.detect(cv::imread(line)), obj_names);
                  cv::Mat mat_img = cv::imread(line);
                  std::vector<bbox_t> result_vec = detector.detect(mat_img);
                  show_result(result_vec, obj_names);
                  //draw_boxes(mat_img, result_vec, obj_names);
                  //cv::imwrite("res_" + line, mat_img);
               }
            
         }
         else {   // image file
            cv::Mat mat_img = cv::imread(filename);
            std::vector<bbox_t> result_vec = detector.detect(mat_img);
            result_vec = detector.tracking(result_vec);  // comment it - if track_id is not required
            draw_boxes(mat_img, result_vec, obj_names);
            show_result(result_vec, obj_names);
         }