Latency fix for RTSP-camera in console-app

AlexeyAB

2017-08-07 b202eaee259572cf8b627a776a62ce9d59aa50a6

 src/yolo_console_dll.cpp

@@ -3,25 +3,39 @@
#include <string>
#include <vector>
#include <fstream>
#include <thread>
#include <atomic>

#define OPENCV

#include "yolo_v2_class.hpp"  // imported functions from DLL


#ifdef OPENCV
#include <opencv2/opencv.hpp>       // C++
#pragma comment(lib, "opencv_core249.lib")
#pragma comment(lib, "opencv_imgproc249.lib")
#pragma comment(lib, "opencv_highgui249.lib")
#include "opencv2/core/version.hpp"
#ifndef CV_VERSION_EPOCH
#include "opencv2/videoio/videoio.hpp"
#pragma comment(lib, "opencv_world320.lib")  
#else
#pragma comment(lib, "opencv_core2413.lib")  
#pragma comment(lib, "opencv_imgproc2413.lib")  
#pragma comment(lib, "opencv_highgui2413.lib") 
#endif


void draw_boxes(cv::Mat mat_img, std::vector<bbox_t> result_vec, std::vector<std::string> obj_names, unsigned int wait_msec = 0) {
   for (auto &i : result_vec) {
      cv::Scalar color(60, 160, 260);
      cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 3);
      if(obj_names.size() > i.obj_id)
         putText(mat_img, obj_names[i.obj_id], cv::Point2f(i.x, i.y - 10), cv::FONT_HERSHEY_COMPLEX_SMALL, 1, color);
      if(i.track_id > 0)
         putText(mat_img, std::to_string(i.track_id), cv::Point2f(i.x+5, i.y + 15), cv::FONT_HERSHEY_COMPLEX_SMALL, 1, color);
      cv::rectangle(mat_img, cv::Rect(i.x, i.y, i.w, i.h), color, 5);
      if (obj_names.size() > i.obj_id) {
         std::string obj_name = obj_names[i.obj_id];
         if (i.track_id > 0) obj_name += " - " + std::to_string(i.track_id);
         cv::Size const text_size = getTextSize(obj_name, cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, 2, 0);
         size_t const max_width = (text_size.width > i.w + 2) ? text_size.width : (i.w + 2);
         if(i.x > 3 && (i.x + max_width) < mat_img.cols && i.y > 30 && i.y < mat_img.rows)
            cv::rectangle(mat_img, cv::Point2f(i.x - 3, i.y - 30), cv::Point2f(i.x + max_width, i.y), color, CV_FILLED, 8, 0);
         putText(mat_img, obj_name, cv::Point2f(i.x, i.y - 10), cv::FONT_HERSHEY_COMPLEX_SMALL, 1.2, cv::Scalar(0, 0, 0), 2);
      }
   }
   cv::imshow("window name", mat_img);
   cv::waitKey(wait_msec);
@@ -64,20 +78,48 @@
      try {
#ifdef OPENCV
         std::string const file_ext = filename.substr(filename.find_last_of(".") + 1);
         if (file_ext == "avi" || file_ext == "mp4" || file_ext == "mjpg" || file_ext == "mov") {  // video file
            cv::Mat frame;
         std::string const protocol = filename.substr(0, 4);
         if (file_ext == "avi" || file_ext == "mp4" || file_ext == "mjpg" || file_ext == "mov" || protocol == "rtsp") { // video file
            cv::Mat frame, prev_frame, det_frame;
            std::vector<bbox_t> result_vec, thread_result_vec;
            detector.nms = 0.02; // comment it - if track_id is not required
            for(cv::VideoCapture cap(filename); cap >> frame, cap.isOpened();) {
               std::vector<bbox_t> result_vec = detector.detect(frame, 0.2);
               result_vec = detector.tracking(result_vec);  // comment it - if track_id is not required
            std::thread td([]() {});
            std::atomic<int> ready_flag = false;
            cv::VideoCapture cap(filename);
            for (; cap >> frame, cap.isOpened();) {
               td.join();
               result_vec = thread_result_vec;
               det_frame = frame;
               td = std::thread([&]() { thread_result_vec = detector.detect(det_frame, 0.2, true); ready_flag = true; });

               draw_boxes(frame, result_vec, obj_names, 3);
               show_result(result_vec, obj_names);
               if (!prev_frame.empty()) {
                  result_vec = detector.tracking(result_vec);  // comment it - if track_id is not required
                  draw_boxes(prev_frame, result_vec, obj_names, 3);
                  show_result(result_vec, obj_names);
               }
               prev_frame = frame;
               //if(protocol == "rtsp") while (!ready_flag) cap.grab(); // use if cam-fps 2x or more than dnn-fps
               ready_flag = false;
            }
         }
         else if (file_ext == "txt") { // list of image files
            std::ifstream file(filename);
            if (!file.is_open()) std::cout << "File not found! \n";
            else 
               for (std::string line; file >> line;) {
                  std::cout << line << std::endl;
                  cv::Mat mat_img = cv::imread(line);
                  std::vector<bbox_t> result_vec = detector.detect(mat_img);
                  show_result(result_vec, obj_names);
                  //draw_boxes(mat_img, result_vec, obj_names);
                  //cv::imwrite("res_" + line, mat_img);
               }
				
         }
         else {   // image file
            cv::Mat mat_img = cv::imread(filename);
            std::vector<bbox_t> result_vec = detector.detect(mat_img);
            result_vec = detector.tracking(result_vec);  // comment it - if track_id is not required
            draw_boxes(mat_img, result_vec, obj_names);
            show_result(result_vec, obj_names);
         }