AlexeyAB
2018-06-19 7f0079dec5da19072cfe64aee233ecacd8ef2ffd
src/detector.c
@@ -16,10 +16,10 @@
#ifndef CV_VERSION_EPOCH
#include "opencv2/videoio/videoio_c.h"
#define OPENCV_VERSION CVAUX_STR(CV_VERSION_MAJOR)""CVAUX_STR(CV_VERSION_MINOR)""CVAUX_STR(CV_VERSION_REVISION)
#define OPENCV_VERSION CVAUX_STR(CV_VERSION_MAJOR)"" CVAUX_STR(CV_VERSION_MINOR)"" CVAUX_STR(CV_VERSION_REVISION)
#pragma comment(lib, "opencv_world" OPENCV_VERSION ".lib")
#else
#define OPENCV_VERSION CVAUX_STR(CV_VERSION_EPOCH)""CVAUX_STR(CV_VERSION_MAJOR)""CVAUX_STR(CV_VERSION_MINOR)
#define OPENCV_VERSION CVAUX_STR(CV_VERSION_EPOCH)"" CVAUX_STR(CV_VERSION_MAJOR)"" CVAUX_STR(CV_VERSION_MINOR)
#pragma comment(lib, "opencv_core" OPENCV_VERSION ".lib")
#pragma comment(lib, "opencv_imgproc" OPENCV_VERSION ".lib")
#pragma comment(lib, "opencv_highgui" OPENCV_VERSION ".lib")
@@ -61,6 +61,14 @@
    srand(time(0));
    network net = nets[0];
   if ((net.batch * net.subdivisions) == 1) {
      printf("\n Error: You set incorrect value batch=1 for Training! You should set batch=64 subdivision=64 \n");
      getchar();
   }
   else if ((net.batch * net.subdivisions) < 64) {
         printf("\n Warning: You set batch= lower than 64! It is recommended to set batch=64 subdivision=64 \n");
   }
    int imgs = net.batch * net.subdivisions * ngpus;
    printf("Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);
    data train, buffer;
@@ -82,16 +90,18 @@
    load_args args = {0};
    args.w = net.w;
    args.h = net.h;
    args.paths = paths;
   args.c = net.c;
   args.paths = paths;
    args.n = imgs;
    args.m = plist->size;
    args.classes = classes;
    args.flip = net.flip;
    args.jitter = jitter;
    args.num_boxes = l.max_boxes;
   args.small_object = net.small_object;
    args.d = &buffer;
    args.type = DETECTION_DATA;
   args.threads = 64;   // 8
   args.threads = 16;   // 64
    args.angle = net.angle;
    args.exposure = net.exposure;
@@ -99,6 +109,7 @@
    args.hue = net.hue;
#ifdef OPENCV
   args.threads = 3 * ngpus;
   IplImage* img = NULL;
   float max_img_loss = 5;
   int number_of_lines = 100;
@@ -108,18 +119,30 @@
#endif   //OPENCV
    pthread_t load_thread = load_data(args);
    clock_t time;
    double time;
    int count = 0;
    //while(i*imgs < N*120){
    while(get_current_batch(net) < net.max_batches){
      if(l.random && count++%10 == 0){
            printf("Resizing\n");
         int dim = (rand() % 12 + (init_w/32 - 5)) * 32; // +-160
            //if (get_current_batch(net)+100 > net.max_batches) dim = 544;
         //int dim = (rand() % 12 + (init_w/32 - 5)) * 32;  // +-160
            //int dim = (rand() % 4 + 16) * 32;
            printf("%d\n", dim);
            args.w = dim;
            args.h = dim;
         //if (get_current_batch(net)+100 > net.max_batches) dim = 544;
         //int random_val = rand() % 12;
         //int dim_w = (random_val + (init_w / 32 - 5)) * 32;  // +-160
         //int dim_h = (random_val + (init_h / 32 - 5)) * 32;  // +-160
         float random_val = rand_scale(1.4); // *x or /x
         int dim_w = roundl(random_val*init_w / 32) * 32;
         int dim_h = roundl(random_val*init_h / 32) * 32;
         if (dim_w < 32) dim_w = 32;
         if (dim_h < 32) dim_h = 32;
         printf("%d x %d \n", dim_w, dim_h);
         args.w = dim_w;
         args.h = dim_h;
            pthread_join(load_thread, 0);
            train = buffer;
@@ -127,11 +150,11 @@
            load_thread = load_data(args);
            for(i = 0; i < ngpus; ++i){
                resize_network(nets + i, dim, dim);
                resize_network(nets + i, dim_w, dim_h);
            }
            net = nets[0];
        }
        time=clock();
        time=what_time_is_it_now();
        pthread_join(load_thread, 0);
        train = buffer;
        load_thread = load_data(args);
@@ -153,9 +176,9 @@
           save_image(im, "truth11");
         */
        printf("Loaded: %lf seconds\n", sec(clock()-time));
        printf("Loaded: %lf seconds\n", (what_time_is_it_now()-time));
        time=clock();
        time=what_time_is_it_now();
        float loss = 0;
#ifdef GPU
        if(ngpus == 1){
@@ -166,11 +189,11 @@
#else
        loss = train_network(net, train);
#endif
        if (avg_loss < 0) avg_loss = loss;
        if (avg_loss < 0 || avg_loss != avg_loss) avg_loss = loss;   // if(-inf or nan)
        avg_loss = avg_loss*.9 + loss*.1;
        i = get_current_batch(net);
        printf("\n %d: %f, %f avg, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), sec(clock()-time), i*imgs);
        printf("\n %d: %f, %f avg loss, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), (what_time_is_it_now()-time), i*imgs);
#ifdef OPENCV
      if(!dont_show)
@@ -197,8 +220,25 @@
    sprintf(buff, "%s/%s_final.weights", backup_directory, base);
    save_weights(net, buff);
   //cvReleaseImage(&img);
   //cvDestroyAllWindows();
#ifdef OPENCV
   cvReleaseImage(&img);
   cvDestroyAllWindows();
#endif
   // free memory
   pthread_join(load_thread, 0);
   free_data(buffer);
   free(base);
   free(paths);
   free_list_contents(plist);
   free_list(plist);
   free_list_contents_kvp(options);
   free_list(options);
   free(nets);
   free_network(net);
}
@@ -291,11 +331,11 @@
   int *map = 0;
   if (mapf) map = read_map(mapf);
   network net = parse_network_cfg_custom(cfgfile, 1);
   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1
   if (weightfile) {
      load_weights(&net, weightfile);
   }
   set_batch_network(&net, 1);
   //set_batch_network(&net, 1);
   fprintf(stderr, "Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);
   srand(time(0));
@@ -352,6 +392,7 @@
   load_args args = { 0 };
   args.w = net.w;
   args.h = net.h;
   args.c = net.c;
   args.type = IMAGE_DATA;
   //args.type = LETTERBOX_DATA;
@@ -409,16 +450,16 @@
      fprintf(fp, "\n]\n");
      fclose(fp);
   }
   fprintf(stderr, "Total Detection Time: %f Seconds\n", time(0) - start);
   fprintf(stderr, "Total Detection Time: %f Seconds\n", (double)time(0) - start);
}
void validate_detector_recall(char *datacfg, char *cfgfile, char *weightfile)
{
   network net = parse_network_cfg_custom(cfgfile, 1);
   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1
   if (weightfile) {
      load_weights(&net, weightfile);
   }
   set_batch_network(&net, 1);
   //set_batch_network(&net, 1);
   fuse_conv_batchnorm(net);
   srand(time(0));
@@ -446,7 +487,7 @@
   for (i = 0; i < m; ++i) {
      char *path = paths[i];
      image orig = load_image_color(path, 0, 0);
      image orig = load_image(path, 0, 0, net.c);
      image sized = resize_image(orig, net.w, net.h);
      char *id = basecfg(path);
      network_predict(net, sized.data);
@@ -456,10 +497,7 @@
      if (nms) do_nms_obj(dets, nboxes, 1, nms);
      char labelpath[4096];
      find_replace(path, "images", "labels", labelpath);
      find_replace(labelpath, "JPEGImages", "labels", labelpath);
      find_replace(labelpath, ".jpg", ".txt", labelpath);
      find_replace(labelpath, ".JPEG", ".txt", labelpath);
      replace_image_to_label(path, labelpath);
      int num_labels = 0;
      box_label *truth = read_boxes(labelpath, &num_labels);
@@ -483,7 +521,7 @@
            ++correct;
         }
      }
      fprintf(stderr, " %s - %s - ", paths[i], labelpath);
      //fprintf(stderr, " %s - %s - ", paths[i], labelpath);
      fprintf(stderr, "%5d %5d %5d\tRPs/Img: %.2f\tIOU: %.2f%%\tRecall:%.2f%%\n", i, correct, total, (float)proposals / (i + 1), avg_iou * 100 / total, 100.*correct / total);
      free(id);
      free_image(orig);
@@ -521,12 +559,13 @@
   char *mapf = option_find_str(options, "map", 0);
   int *map = 0;
   if (mapf) map = read_map(mapf);
   FILE* reinforcement_fd = NULL;
   network net = parse_network_cfg_custom(cfgfile, 1);
   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1
   if (weightfile) {
      load_weights(&net, weightfile);
   }
   set_batch_network(&net, 1);
   //set_batch_network(&net, 1);
   fuse_conv_batchnorm(net);
   srand(time(0));
@@ -561,6 +600,7 @@
   load_args args = { 0 };
   args.w = net.w;
   args.h = net.h;
   args.c = net.c;
   args.type = IMAGE_DATA;
   //args.type = LETTERBOX_DATA;
@@ -610,11 +650,7 @@
         if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
         char labelpath[4096];
         find_replace(path, "images", "labels", labelpath);
         find_replace(labelpath, "JPEGImages", "labels", labelpath);
         find_replace(labelpath, ".jpg", ".txt", labelpath);
         find_replace(labelpath, ".JPEG", ".txt", labelpath);
         find_replace(labelpath, ".png", ".txt", labelpath);
         replace_image_to_label(path, labelpath);
         int num_labels = 0;
         box_label *truth = read_boxes(labelpath, &num_labels);
         int i, j;
@@ -630,14 +666,13 @@
            char *path_dif = paths_dif[image_index];
            char labelpath_dif[4096];
            find_replace(path_dif, "images", "labels", labelpath_dif);
            find_replace(labelpath_dif, "JPEGImages", "labels", labelpath_dif);
            find_replace(labelpath_dif, ".jpg", ".txt", labelpath_dif);
            find_replace(labelpath_dif, ".JPEG", ".txt", labelpath_dif);
            find_replace(labelpath_dif, ".png", ".txt", labelpath_dif);
            replace_image_to_label(path_dif, labelpath_dif);
            truth_dif = read_boxes(labelpath_dif, &num_labels_dif);
         }
         const int checkpoint_detections_count = detections_count;
         for (i = 0; i < nboxes; ++i) {
            int class_id;
@@ -688,7 +723,13 @@
                  // calc avg IoU, true-positives, false-positives for required Threshold
                  if (prob > thresh_calc_avg_iou) {
                     if (truth_index > -1) {
                     int z, found = 0;
                     for (z = checkpoint_detections_count; z < detections_count-1; ++z)
                        if (detections[z].unique_truth_index == truth_index) {
                           found = 1; break;
                        }
                     if(truth_index > -1 && found == 0) {
                        avg_iou += max_iou;
                        ++tp_for_thresh;
                     }
@@ -698,9 +739,18 @@
               }
            }
         }
         unique_truth_count += num_labels;
         //static int previous_errors = 0;
         //int total_errors = fp_for_thresh + (unique_truth_count - tp_for_thresh);
         //int errors_in_this_image = total_errors - previous_errors;
         //previous_errors = total_errors;
         //if(reinforcement_fd == NULL) reinforcement_fd = fopen("reinforcement.txt", "wb");
         //char buff[1000];
         //sprintf(buff, "%s\n", path);
         //if(errors_in_this_image > 0) fwrite(buff, sizeof(char), strlen(buff), reinforcement_fd);
         free_detections(dets, nboxes);
         free(id);
         free_image(val[t]);
@@ -708,7 +758,8 @@
      }
   }
   avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);
   if((tp_for_thresh + fp_for_thresh) > 0)
      avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);
   
   // SORT(detections)
@@ -820,6 +871,7 @@
   free(truth_classes_count);
   fprintf(stderr, "Total Detection Time: %f Seconds\n", (double)(time(0) - start));
   if (reinforcement_fd != NULL) fclose(reinforcement_fd);
}
#ifdef OPENCV
@@ -840,6 +892,11 @@
void calc_anchors(char *datacfg, int num_of_clusters, int width, int height, int show)
{
   printf("\n num_of_clusters = %d, width = %d, height = %d \n", num_of_clusters, width, height);
   if (width < 0 || height < 0) {
      printf("Usage: darknet detector calc_anchors data/voc.data -num_of_clusters 9 -width 416 -height 416 \n");
      printf("Error: set width and height \n");
      return;
   }
   //float pointsdata[] = { 1,1, 2,2, 6,6, 5,5, 10,10 };
   float *rel_width_height_array = calloc(1000, sizeof(float));
@@ -857,16 +914,23 @@
   for (i = 0; i < number_of_images; ++i) {
      char *path = paths[i];
      char labelpath[4096];
      find_replace(path, "images", "labels", labelpath);
      find_replace(labelpath, "JPEGImages", "labels", labelpath);
      find_replace(labelpath, ".jpg", ".txt", labelpath);
      find_replace(labelpath, ".JPEG", ".txt", labelpath);
      find_replace(labelpath, ".png", ".txt", labelpath);
      replace_image_to_label(path, labelpath);
      int num_labels = 0;
      box_label *truth = read_boxes(labelpath, &num_labels);
      //printf(" new path: %s \n", labelpath);
      char buff[1024];
      for (j = 0; j < num_labels; ++j)
      {
         if (truth[j].x > 1 || truth[j].x <= 0 || truth[j].y > 1 || truth[j].y <= 0 ||
            truth[j].w > 1 || truth[j].w <= 0 || truth[j].h > 1 || truth[j].h <= 0)
         {
            printf("\n\nWrong label: %s - j = %d, x = %f, y = %f, width = %f, height = %f \n",
               labelpath, j, truth[j].x, truth[j].y, truth[j].w, truth[j].h);
            sprintf(buff, "echo \"Wrong label: %s - j = %d, x = %f, y = %f, width = %f, height = %f\" >> bad_label.list",
               labelpath, j, truth[j].x, truth[j].y, truth[j].w, truth[j].h);
            system(buff);
         }
         number_of_boxes++;
         rel_width_height_array = realloc(rel_width_height_array, 2 * number_of_boxes * sizeof(float));
         rel_width_height_array[number_of_boxes * 2 - 2] = truth[j].w * width;
@@ -925,6 +989,7 @@
   //for (i = 0; i < number_of_boxes; ++i)
   // printf("%2.2f,%2.2f, ", points->data.fl[i * 2], points->data.fl[i * 2 + 1]);
   printf("\n");
   float avg_iou = 0;
   for (i = 0; i < number_of_boxes; ++i) {
      float box_w = points->data.fl[i * 2];
@@ -948,8 +1013,8 @@
      float box_intersect = min_w*min_h;
      float box_union = box_w*box_h + anchor_w*anchor_h - box_intersect;
      float iou = box_intersect / box_union;
      if (iou > 1 || iou < 0) {
         printf(" i = %d, box_w = %d, box_h = %d, anchor_w = %d, anchor_h = %d, iou = %f \n",
      if (iou > 1 || iou < 0) { // || box_w > width || box_h > height) {
         printf(" Wrong label: i = %d, box_w = %d, box_h = %d, anchor_w = %d, anchor_h = %d, iou = %f \n",
            i, box_w, box_h, anchor_w, anchor_h, iou);
      }
      else avg_iou += iou;
@@ -1013,21 +1078,28 @@
}
#endif // OPENCV
void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, int dont_show)
void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh,
               float hier_thresh, int dont_show, int ext_output, int save_labels)
{
    list *options = read_data_cfg(datacfg);
    char *name_list = option_find_str(options, "names", "data/names.list");
    char **names = get_labels(name_list);
   int names_size = 0;
   char **names = get_labels_custom(name_list, &names_size); //get_labels(name_list);
    image **alphabet = load_alphabet();
    network net = parse_network_cfg_custom(cfgfile, 1);
    network net = parse_network_cfg_custom(cfgfile, 1); // set batch=1
    if(weightfile){
        load_weights(&net, weightfile);
    }
    set_batch_network(&net, 1);
    //set_batch_network(&net, 1);
   fuse_conv_batchnorm(net);
   if (net.layers[net.n - 1].classes != names_size) {
      printf(" Error: in the file %s number of names %d that isn't equal to classes=%d in the file %s \n",
         name_list, names_size, net.layers[net.n - 1].classes, datacfg);
      if(net.layers[net.n - 1].classes > names_size) getchar();
   }
    srand(2222222);
    clock_t time;
    double time;
    char buff[256];
    char *input = buff;
    int j;
@@ -1035,7 +1107,8 @@
    while(1){
        if(filename){
            strncpy(input, filename, 256);
         if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;
         if(strlen(input) > 0)
            if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;
        } else {
            printf("Enter Image Path: ");
            fflush(stdout);
@@ -1043,7 +1116,7 @@
            if(!input) return;
            strtok(input, "\n");
        }
        image im = load_image_color(input,0,0);
        image im = load_image(input,0,0,net.c);
      int letterbox = 0;
        image sized = resize_image(im, net.w, net.h);
      //image sized = letterbox_image(im, net.w, net.h); letterbox = 1;
@@ -1054,23 +1127,49 @@
        //for(j = 0; j < l.w*l.h*l.n; ++j) probs[j] = calloc(l.classes, sizeof(float *));
        float *X = sized.data;
        time=clock();
        time= what_time_is_it_now();
        network_predict(net, X);
      //network_predict_image(&net, im);
        printf("%s: Predicted in %f seconds.\n", input, sec(clock()-time));
      //network_predict_image(&net, im); letterbox = 1;
        printf("%s: Predicted in %f seconds.\n", input, (what_time_is_it_now()-time));
        //get_region_boxes(l, 1, 1, thresh, probs, boxes, 0, 0);
      // if (nms) do_nms_sort_v2(boxes, probs, l.w*l.h*l.n, l.classes, nms);
      //draw_detections(im, l.w*l.h*l.n, thresh, boxes, probs, names, alphabet, l.classes);
      int nboxes = 0;
      detection *dets = get_network_boxes(&net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes, letterbox);
      if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
      draw_detections_v3(im, dets, nboxes, thresh, names, alphabet, l.classes);
      free_detections(dets, nboxes);
      draw_detections_v3(im, dets, nboxes, thresh, names, alphabet, l.classes, ext_output);
        save_image(im, "predictions");
      if (!dont_show) {
         show_image(im, "predictions");
      }
      // pseudo labeling concept - fast.ai
      if(save_labels)
      {
         char labelpath[4096];
         replace_image_to_label(input, labelpath);
         FILE* fw = fopen(labelpath, "wb");
         int i;
         for (i = 0; i < nboxes; ++i) {
            char buff[1024];
            int class_id = -1;
            float prob = 0;
            for (j = 0; j < l.classes; ++j) {
               if (dets[i].prob[j] > thresh && dets[i].prob[j] > prob) {
                  prob = dets[i].prob[j];
                  class_id = j;
               }
            }
            if (class_id >= 0) {
               sprintf(buff, "%d %2.4f %2.4f %2.4f %2.4f\n", class_id, dets[i].bbox.x, dets[i].bbox.y, dets[i].bbox.w, dets[i].bbox.h);
               fwrite(buff, sizeof(char), strlen(buff), fw);
            }
         }
         fclose(fw);
      }
      free_detections(dets, nboxes);
        free_image(im);
        free_image(sized);
        //free(boxes);
@@ -1083,6 +1182,23 @@
#endif
        if (filename) break;
    }
   // free memory
   free_ptrs(names, net.layers[net.n - 1].classes);
   free_list_contents_kvp(options);
   free_list(options);
   int i;
   const int nsize = 8;
   for (j = 0; j < nsize; ++j) {
      for (i = 32; i < 127; ++i) {
         free_image(alphabet[j][i]);
      }
      free(alphabet[j]);
   }
   free(alphabet);
   free_network(net);
}
void run_detector(int argc, char **argv)
@@ -1098,8 +1214,12 @@
    int cam_index = find_int_arg(argc, argv, "-c", 0);
    int frame_skip = find_int_arg(argc, argv, "-s", 0);
   int num_of_clusters = find_int_arg(argc, argv, "-num_of_clusters", 5);
   int width = find_int_arg(argc, argv, "-width", 13);
   int heigh = find_int_arg(argc, argv, "-heigh", 13);
   int width = find_int_arg(argc, argv, "-width", -1);
   int height = find_int_arg(argc, argv, "-height", -1);
   // extended output in test mode (output of rect bound coords)
   // and for recall mode (extended output table-like format with results for best_class fit)
   int ext_output = find_arg(argc, argv, "-ext_output");
   int save_labels = find_arg(argc, argv, "-save_labels");
    if(argc < 4){
        fprintf(stderr, "usage: %s %s [train/test/valid] [cfg] [weights (optional)]\n", argv[0], argv[1]);
        return;
@@ -1133,23 +1253,28 @@
    char *cfg = argv[4];
    char *weights = (argc > 5) ? argv[5] : 0;
   if(weights)
      if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;
      if(strlen(weights) > 0)
         if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;
    char *filename = (argc > 6) ? argv[6]: 0;
    if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, dont_show);
    if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, dont_show, ext_output, save_labels);
    else if(0==strcmp(argv[2], "train")) train_detector(datacfg, cfg, weights, gpus, ngpus, clear, dont_show);
    else if(0==strcmp(argv[2], "valid")) validate_detector(datacfg, cfg, weights, outfile);
    else if(0==strcmp(argv[2], "recall")) validate_detector_recall(datacfg, cfg, weights);
   else if(0==strcmp(argv[2], "map")) validate_detector_map(datacfg, cfg, weights, thresh);
   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, heigh, show);
   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, height, show);
    else if(0==strcmp(argv[2], "demo")) {
        list *options = read_data_cfg(datacfg);
        int classes = option_find_int(options, "classes", 20);
        char *name_list = option_find_str(options, "names", "data/names.list");
        char **names = get_labels(name_list);
      if(filename)
         if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;
         if(strlen(filename) > 0)
            if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;
        demo(cfg, weights, thresh, hier_thresh, cam_index, filename, names, classes, frame_skip, prefix, out_filename,
         http_stream_port, dont_show);
         http_stream_port, dont_show, ext_output);
      free_list_contents_kvp(options);
      free_list(options);
    }
   else printf(" There isn't such command: %s", argv[2]);
}