Show IoU, save anchors to file.Show anchors in the window if used -show

AlexeyAB

2018-03-04 74f98da211d2de6f442304b3829e2458282c286c

 src/detector.c

@@ -10,7 +10,9 @@
#ifdef OPENCV
#include "opencv2/highgui/highgui_c.h"
#include "opencv2/core/core_c.h"
//#include "opencv2/core/core.hpp"
#include "opencv2/core/version.hpp"
#include "opencv2/imgproc/imgproc_c.h"

#ifndef CV_VERSION_EPOCH
#include "opencv2/videoio/videoio_c.h"
@@ -772,7 +774,7 @@
               }
            }
         }
         //printf("point = %d, cur_recall = %.4f, cur_precision = %.4f \n", point, cur_recall, cur_precision);
         //printf("class_id = %d, point = %d, cur_recall = %.4f, cur_precision = %.4f \n", i, point, cur_recall, cur_precision);

         avg_precision += cur_precision;
      }
@@ -804,6 +806,177 @@
   fprintf(stderr, "Total Detection Time: %f Seconds\n", (double)(time(0) - start));
}

#ifdef OPENCV
void calc_anchors(char *datacfg, int num_of_clusters, int final_width, int final_height, int show)
{
   printf("\n num_of_clusters = %d, final_width = %d, final_height = %d \n", num_of_clusters, final_width, final_height);

   //float pointsdata[] = { 1,1, 2,2, 6,6, 5,5, 10,10 };
   float *rel_width_height_array = calloc(1000, sizeof(float));

   list *options = read_data_cfg(datacfg);
   char *train_images = option_find_str(options, "train", "data/train.list");
   list *plist = get_paths(train_images);
   int number_of_images = plist->size;
   char **paths = (char **)list_to_array(plist);

   int number_of_boxes = 0;
   printf(" read labels from %d images \n", number_of_images);

   int i, j;
   for (i = 0; i < number_of_images; ++i) {
      char *path = paths[i];
      char labelpath[4096];
      find_replace(path, "images", "labels", labelpath);
      find_replace(labelpath, "JPEGImages", "labels", labelpath);
      find_replace(labelpath, ".jpg", ".txt", labelpath);
      find_replace(labelpath, ".JPEG", ".txt", labelpath);
      find_replace(labelpath, ".png", ".txt", labelpath);
      int num_labels = 0;
      box_label *truth = read_boxes(labelpath, &num_labels);
      //printf(" new path: %s \n", labelpath);
      for (j = 0; j < num_labels; ++j)
      {
         number_of_boxes++;
         rel_width_height_array = realloc(rel_width_height_array, 2 * number_of_boxes * sizeof(float));
         rel_width_height_array[number_of_boxes * 2 - 2] = truth[j].w * final_width;
         rel_width_height_array[number_of_boxes * 2 - 1] = truth[j].h * final_height;
         printf("\r loaded \t image: %d \t box: %d", i+1, number_of_boxes);
      }
   }
   printf("\n all loaded. \n");

   CvMat* points = cvCreateMat(number_of_boxes, 2, CV_32FC1);
   CvMat* centers = cvCreateMat(num_of_clusters, 2, CV_32FC1);
   CvMat* labels = cvCreateMat(number_of_boxes, 1, CV_32SC1);

   for (i = 0; i < number_of_boxes; ++i) {
      points->data.fl[i * 2] = rel_width_height_array[i * 2];
      points->data.fl[i * 2 + 1] = rel_width_height_array[i * 2 + 1];
      //cvSet1D(points, i * 2, cvScalar(rel_width_height_array[i * 2], 0, 0, 0));
      //cvSet1D(points, i * 2 + 1, cvScalar(rel_width_height_array[i * 2 + 1], 0, 0, 0));
   }


   const int attemps = 10;
   double compactness;

   enum {
      KMEANS_RANDOM_CENTERS = 0,
      KMEANS_USE_INITIAL_LABELS = 1,
      KMEANS_PP_CENTERS = 2
   };
	
   printf("\n calculating k-means++ ...");
   // Should be used: distance(box, centroid) = 1 - IoU(box, centroid)
   cvKMeans2(points, num_of_clusters, labels, 
      cvTermCriteria(CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 10000, 0), attemps, 
      0, KMEANS_PP_CENTERS,
      centers, &compactness);
	
   //orig 2.0 anchors = 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52
   //float orig_anch[] = { 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52 };
   // worse than ours (even for 19x19 final size - for input size 608x608)

   //orig anchors = 1.3221,1.73145, 3.19275,4.00944, 5.05587,8.09892, 9.47112,4.84053, 11.2364,10.0071
   //float orig_anch[] = { 1.3221,1.73145, 3.19275,4.00944, 5.05587,8.09892, 9.47112,4.84053, 11.2364,10.0071 };
   // orig (IoU=59.90%) better than ours (59.75%)

   //gen_anchors.py = 1.19, 1.99, 2.79, 4.60, 4.53, 8.92, 8.06, 5.29, 10.32, 10.66
   //float orig_anch[] = { 1.19, 1.99, 2.79, 4.60, 4.53, 8.92, 8.06, 5.29, 10.32, 10.66 };

   // ours: anchors = 9.3813,6.0095, 3.3999,5.3505, 10.9476,11.1992, 5.0161,9.8314, 1.5003,2.1595
   //float orig_anch[] = { 9.3813,6.0095, 3.3999,5.3505, 10.9476,11.1992, 5.0161,9.8314, 1.5003,2.1595 };
   //for (i = 0; i < num_of_clusters * 2; ++i) centers->data.fl[i] = orig_anch[i];
	
   //for (i = 0; i < number_of_boxes; ++i)
   // printf("%2.2f,%2.2f, ", points->data.fl[i * 2], points->data.fl[i * 2 + 1]);

   float avg_iou = 0;
   for (i = 0; i < number_of_boxes; ++i) {
      float box_w = points->data.fl[i * 2];
      float box_h = points->data.fl[i * 2 + 1];
      //int cluster_idx = labels->data.i[i];		
      int cluster_idx = 0;
      float min_dist = 1000000;
      for (j = 0; j < num_of_clusters; ++j) {
         float anchor_w = centers->data.fl[j * 2];
         float anchor_h = centers->data.fl[j * 2 + 1];
         float w_diff = anchor_w - box_w;
         float h_diff = anchor_h - box_h;
         float distance = sqrt(w_diff*w_diff + h_diff*h_diff);
         if (distance < min_dist) min_dist = distance, cluster_idx = j;
      }
		
      float anchor_w = centers->data.fl[cluster_idx * 2];
      float anchor_h = centers->data.fl[cluster_idx * 2 + 1];
      float min_w = (box_w < anchor_w) ? box_w : anchor_w;
      float min_h = (box_h < anchor_h) ? box_h : anchor_h;
      float box_intersect = min_w*min_h;
      float box_union = box_w*box_h + anchor_w*anchor_h - box_intersect;
      float iou = box_intersect / box_union;
      if (iou > 1 || iou < 0) {
         printf(" i = %d, box_w = %d, box_h = %d, anchor_w = %d, anchor_h = %d, iou = %f \n",
            i, box_w, box_h, anchor_w, anchor_h, iou);
      }
      else avg_iou += iou;
   }
   avg_iou = 100 * avg_iou / number_of_boxes;
   printf("\n avg IoU = %2.2f %% \n", avg_iou);

   char buff[1024];
   FILE* fw = fopen("anchors.txt", "wb");
   printf("\nSaving anchors to the file: anchors.txt \n");
   printf("anchors = ");
   for (i = 0; i < num_of_clusters; ++i) {
      sprintf(buff, "%2.4f,%2.4f", centers->data.fl[i * 2], centers->data.fl[i * 2 + 1]);
      printf("%s, ", buff);
      fwrite(buff, sizeof(char), strlen(buff), fw);
      if (i + 1 < num_of_clusters) fwrite(", ", sizeof(char), 2, fw);;
   }
   printf("\n");
   fclose(fw);

   if (show) {
      size_t img_size = 700;
      IplImage* img = cvCreateImage(cvSize(img_size, img_size), 8, 3);
      cvZero(img);
      for (j = 0; j < num_of_clusters; ++j) {
         CvPoint pt1, pt2;
         pt1.x = pt1.y = 0;
         pt2.x = centers->data.fl[j * 2] * img_size / final_width;
         pt2.y = centers->data.fl[j * 2 + 1] * img_size / final_height;
         cvRectangle(img, pt1, pt2, CV_RGB(255, 255, 255), 1, 8, 0);
      }

      for (i = 0; i < number_of_boxes; ++i) {
         CvPoint pt;
         pt.x = points->data.fl[i * 2] * img_size / final_width;
         pt.y = points->data.fl[i * 2 + 1] * img_size / final_height;
         int cluster_idx = labels->data.i[i];
         int red_id = (cluster_idx * (uint64_t)123 + 55) % 255;
         int green_id = (cluster_idx * (uint64_t)321 + 33) % 255;
         int blue_id = (cluster_idx * (uint64_t)11 + 99) % 255;
         cvCircle(img, pt, 1, CV_RGB(red_id, green_id, blue_id), CV_FILLED, 8, 0);
         //if(pt.x > img_size || pt.y > img_size) printf("\n pt.x = %d, pt.y = %d \n", pt.x, pt.y);
      }
      cvShowImage("clusters", img);
      cvWaitKey(0);
      cvReleaseImage(&img);
      cvDestroyAllWindows();
   }

   free(rel_width_height_array);
   cvReleaseMat(&points);
   cvReleaseMat(&centers);
   cvReleaseMat(&labels);
}
#else
void calc_anchors(char *datacfg, int num_of_clusters, int final_width, int final_height) {
   printf(" k-means++ can't be used without OpenCV, because there is used cvKMeans2 implementation \n");
}
#endif // OPENCV

void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, int dont_show)
{
    list *options = read_data_cfg(datacfg);
@@ -870,12 +1043,16 @@
void run_detector(int argc, char **argv)
{
   int dont_show = find_arg(argc, argv, "-dont_show");
   int show = find_arg(argc, argv, "-show");
   int http_stream_port = find_int_arg(argc, argv, "-http_port", -1);
   char *out_filename = find_char_arg(argc, argv, "-out_filename", 0);
    char *prefix = find_char_arg(argc, argv, "-prefix", 0);
    float thresh = find_float_arg(argc, argv, "-thresh", .24);
    int cam_index = find_int_arg(argc, argv, "-c", 0);
    int frame_skip = find_int_arg(argc, argv, "-s", 0);
   int num_of_clusters = find_int_arg(argc, argv, "-num_of_clusters", 5);
   int final_width = find_int_arg(argc, argv, "-final_width", 13);
   int final_heigh = find_int_arg(argc, argv, "-final_heigh", 13);
    if(argc < 4){
        fprintf(stderr, "usage: %s %s [train/test/valid] [cfg] [weights (optional)]\n", argv[0], argv[1]);
        return;
@@ -916,6 +1093,7 @@
    else if(0==strcmp(argv[2], "valid")) validate_detector(datacfg, cfg, weights);
    else if(0==strcmp(argv[2], "recall")) validate_detector_recall(datacfg, cfg, weights);
   else if(0==strcmp(argv[2], "map")) validate_detector_map(datacfg, cfg, weights, thresh);
   else if(0==strcmp(argv[2], "calc_anchors"))  calc_anchors(datacfg, num_of_clusters, final_width, final_heigh, show);
    else if(0==strcmp(argv[2], "demo")) {
        list *options = read_data_cfg(datacfg);
        int classes = option_find_int(options, "classes", 20);