blame | history | patch | commit | commitdiff | ignore whitespace
AlexeyAB
2018-04-30 a0e288f0dca328b8b12592cc19da9bb7c29646f4 
 src/detector.c


@@ -86,12 +86,13 @@


    args.n = imgs;


    args.m = plist->size;


    args.classes = classes;


    args.flip = net.flip;


    args.jitter = jitter;


    args.num_boxes = l.max_boxes;


   args.small_object = net.small_object;


    args.d = &buffer;


    args.type = DETECTION_DATA;


   args.threads = 64;   // 8


   args.threads = 16;   // 64




    args.angle = net.angle;


    args.exposure = net.exposure;


@@ -99,6 +100,7 @@


    args.hue = net.hue;




#ifdef OPENCV


   args.threads = 3;


   IplImage* img = NULL;


   float max_img_loss = 5;


   int number_of_lines = 100;


@@ -108,7 +110,7 @@


#endif   //OPENCV




    pthread_t load_thread = load_data(args);


    clock_t time;


    double time;


    int count = 0;


    //while(i*imgs < N*120){


    while(get_current_batch(net) < net.max_batches){


@@ -131,7 +133,7 @@


            }


            net = nets[0];


        }


        time=clock();


        time=what_time_is_it_now();


        pthread_join(load_thread, 0);


        train = buffer;


        load_thread = load_data(args);


@@ -153,9 +155,9 @@


           save_image(im, "truth11");


         */




        printf("Loaded: %lf seconds\n", sec(clock()-time));


        printf("Loaded: %lf seconds\n", (what_time_is_it_now()-time));




        time=clock();


        time=what_time_is_it_now();


        float loss = 0;


#ifdef GPU


        if(ngpus == 1){


@@ -166,11 +168,11 @@


#else


        loss = train_network(net, train);


#endif


        if (avg_loss < 0) avg_loss = loss;


        if (avg_loss < 0 || avg_loss != avg_loss) avg_loss = loss;   // if(-inf or nan)


        avg_loss = avg_loss*.9 + loss*.1;




        i = get_current_batch(net);


        printf("\n %d: %f, %f avg, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), sec(clock()-time), i*imgs);


        printf("\n %d: %f, %f avg, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), (what_time_is_it_now()-time), i*imgs);




#ifdef OPENCV


      if(!dont_show)


@@ -291,11 +293,11 @@


   int *map = 0;


   if (mapf) map = read_map(mapf);




   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fprintf(stderr, "Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


   srand(time(0));




@@ -385,7 +387,7 @@


         int nboxes = 0;


         int letterbox = (args.type == LETTERBOX_DATA);


         detection *dets = get_network_boxes(&net, w, h, thresh, .5, map, 0, &nboxes, letterbox);


         if (nms) do_nms_sort_v3(dets, nboxes, classes, nms);


         if (nms) do_nms_sort(dets, nboxes, classes, nms);


         if (coco) {


            print_cocos(fp, path, dets, nboxes, classes, w, h);


         }


@@ -414,11 +416,12 @@




void validate_detector_recall(char *datacfg, char *cfgfile, char *weightfile)


{


   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


   srand(time(0));




   //list *plist = get_paths("data/coco_val_5k.list");


@@ -452,12 +455,15 @@


      int nboxes = 0;


      int letterbox = 0;


      detection *dets = get_network_boxes(&net, sized.w, sized.h, thresh, .5, 0, 1, &nboxes, letterbox);


      if (nms) do_nms_obj_v3(dets, nboxes, 1, nms);


      if (nms) do_nms_obj(dets, nboxes, 1, nms);




      char labelpath[4096];


      find_replace(path, "images", "labels", labelpath);


      find_replace(labelpath, "JPEGImages", "labels", labelpath);


      find_replace(labelpath, ".jpg", ".txt", labelpath);


      find_replace(labelpath, ".png", ".txt", labelpath);


      find_replace(labelpath, ".bmp", ".txt", labelpath);


      find_replace(labelpath, ".JPG", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);




      int num_labels = 0;


@@ -471,7 +477,7 @@


         ++total;


         box t = { truth[j].x, truth[j].y, truth[j].w, truth[j].h };


         float best_iou = 0;


         for (k = 0; k < l.w*l.h*l.n; ++k) {


         for (k = 0; k < nboxes; ++k) {


            float iou = box_iou(dets[k].bbox, t);


            if (dets[k].objectness > thresh && iou > best_iou) {


               best_iou = iou;


@@ -482,7 +488,7 @@


            ++correct;


         }


      }




      //fprintf(stderr, " %s - %s - ", paths[i], labelpath);


      fprintf(stderr, "%5d %5d %5d\tRPs/Img: %.2f\tIOU: %.2f%%\tRecall:%.2f%%\n", i, correct, total, (float)proposals / (i + 1), avg_iou * 100 / total, 100.*correct / total);


      free(id);


      free_image(orig);


@@ -521,11 +527,12 @@


   int *map = 0;


   if (mapf) map = read_map(mapf);




   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


   srand(time(0));




   list *plist = get_paths(valid_images);


@@ -603,15 +610,18 @@


         int nboxes = 0;


         int letterbox = (args.type == LETTERBOX_DATA);


         float hier_thresh = 0;


         detection *dets = get_network_boxes(&net, 1, 1, thresh, hier_thresh, 0, 1, &nboxes, letterbox);


         if (nms) do_nms_sort_v3(dets, nboxes, l.classes, nms);


         detection *dets = get_network_boxes(&net, 1, 1, thresh, hier_thresh, 0, 0, &nboxes, letterbox);


         //detection *dets = get_network_boxes(&net, val[t].w, val[t].h, thresh, hier_thresh, 0, 1, &nboxes, letterbox); // for letterbox=1


         if (nms) do_nms_sort(dets, nboxes, l.classes, nms);




         char labelpath[4096];


         find_replace(path, "images", "labels", labelpath);


         find_replace(labelpath, "JPEGImages", "labels", labelpath);


         find_replace(labelpath, ".jpg", ".txt", labelpath);


         find_replace(labelpath, ".JPEG", ".txt", labelpath);


         find_replace(labelpath, ".png", ".txt", labelpath);


         find_replace(labelpath, ".bmp", ".txt", labelpath);


         find_replace(labelpath, ".JPG", ".txt", labelpath);


         find_replace(labelpath, ".JPEG", ".txt", labelpath);


         int num_labels = 0;


         box_label *truth = read_boxes(labelpath, &num_labels);


         int i, j;


@@ -635,6 +645,8 @@


            truth_dif = read_boxes(labelpath_dif, &num_labels_dif);


         }




         const int checkpoint_detections_count = detections_count;




         for (i = 0; i < nboxes; ++i) {




            int class_id;


@@ -685,7 +697,13 @@




                  // calc avg IoU, true-positives, false-positives for required Threshold


                  if (prob > thresh_calc_avg_iou) {


                     if (truth_index > -1) {


                     int z, found = 0;


                     for (z = checkpoint_detections_count; z < detections_count-1; ++z)


                        if (detections[z].unique_truth_index == truth_index) {


                           found = 1; break;


                        }




                     if(truth_index > -1 && found == 0) {


                        avg_iou += max_iou;


                        ++tp_for_thresh;


                     }


@@ -705,7 +723,8 @@


      }


   }




   avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);


   if((tp_for_thresh + fp_for_thresh) > 0)


      avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);




   


   // SORT(detections)


@@ -820,9 +839,28 @@


}




#ifdef OPENCV


typedef struct {


   float w, h;


} anchors_t;




int anchors_comparator(const void *pa, const void *pb)


{


   anchors_t a = *(anchors_t *)pa;


   anchors_t b = *(anchors_t *)pb;


   float diff = b.w*b.h - a.w*a.h;


   if (diff < 0) return 1;


   else if (diff > 0) return -1;


   return 0;


}




void calc_anchors(char *datacfg, int num_of_clusters, int width, int height, int show)


{


   printf("\n num_of_clusters = %d, width = %d, height = %d \n", num_of_clusters, width, height);


   if (width < 0 || height < 0) {


      printf("Usage: darknet detector calc_anchors data/voc.data -num_of_clusters 9 -width 416 -height 416 \n");


      printf("Error: set width and height \n");


      return;


   }




   //float pointsdata[] = { 1,1, 2,2, 6,6, 5,5, 10,10 };


   float *rel_width_height_array = calloc(1000, sizeof(float));


@@ -843,8 +881,10 @@


      find_replace(path, "images", "labels", labelpath);


      find_replace(labelpath, "JPEGImages", "labels", labelpath);


      find_replace(labelpath, ".jpg", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);


      find_replace(labelpath, ".png", ".txt", labelpath);


      find_replace(labelpath, ".bmp", ".txt", labelpath);


      find_replace(labelpath, ".JPG", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);


      int num_labels = 0;


      box_label *truth = read_boxes(labelpath, &num_labels);


      //printf(" new path: %s \n", labelpath);


@@ -886,7 +926,10 @@


      cvTermCriteria(CV_TERMCRIT_EPS+CV_TERMCRIT_ITER, 10000, 0), attemps, 


      0, KMEANS_PP_CENTERS,


      centers, &compactness);


	




   // sort anchors


   qsort(centers->data.fl, num_of_clusters, 2*sizeof(float), anchors_comparator);




   //orig 2.0 anchors = 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52


   //float orig_anch[] = { 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52 };


   // worse than ours (even for 19x19 final size - for input size 608x608)


@@ -943,9 +986,12 @@


   printf("anchors = ");


   for (i = 0; i < num_of_clusters; ++i) {


      sprintf(buff, "%2.4f,%2.4f", centers->data.fl[i * 2], centers->data.fl[i * 2 + 1]);


      printf("%s, ", buff);


      printf("%s", buff);


      fwrite(buff, sizeof(char), strlen(buff), fw);


      if (i + 1 < num_of_clusters) fwrite(", ", sizeof(char), 2, fw);;


      if (i + 1 < num_of_clusters) {


         fwrite(", ", sizeof(char), 2, fw);


         printf(", ");


      }


   }


   printf("\n");


   fclose(fw);


@@ -997,13 +1043,14 @@


    char **names = get_labels(name_list);




    image **alphabet = load_alphabet();


    network net = parse_network_cfg_custom(cfgfile, 1);


    network net = parse_network_cfg_custom(cfgfile, 1); // set batch=1


    if(weightfile){


        load_weights(&net, weightfile);


    }


    set_batch_network(&net, 1);


    //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


    srand(2222222);


    clock_t time;


    double time;


    char buff[256];


    char *input = buff;


    int j;


@@ -1011,7 +1058,8 @@


    while(1){


        if(filename){


            strncpy(input, filename, 256);


         if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;


         if(strlen(input) > 0)


            if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;


        } else {


            printf("Enter Image Path: ");


            fflush(stdout);


@@ -1021,8 +1069,8 @@


        }


        image im = load_image_color(input,0,0);


      int letterbox = 0;


        image sized = resize_image(im, net.w, net.h);


      //image sized = letterbox_image(im, net.w, net.h); letterbox = 1;


        //image sized = resize_image(im, net.w, net.h);


      image sized = letterbox_image(im, net.w, net.h); letterbox = 1;


        layer l = net.layers[net.n-1];




        //box *boxes = calloc(l.w*l.h*l.n, sizeof(box));


@@ -1030,15 +1078,16 @@


        //for(j = 0; j < l.w*l.h*l.n; ++j) probs[j] = calloc(l.classes, sizeof(float *));




        float *X = sized.data;


        time=clock();


        time= what_time_is_it_now();


        network_predict(net, X);


        printf("%s: Predicted in %f seconds.\n", input, sec(clock()-time));


      //network_predict_image(&net, im); letterbox = 1;


        printf("%s: Predicted in %f seconds.\n", input, (what_time_is_it_now()-time));


        //get_region_boxes(l, 1, 1, thresh, probs, boxes, 0, 0);


      // if (nms) do_nms_sort(boxes, probs, l.w*l.h*l.n, l.classes, nms);


      // if (nms) do_nms_sort_v2(boxes, probs, l.w*l.h*l.n, l.classes, nms);


      //draw_detections(im, l.w*l.h*l.n, thresh, boxes, probs, names, alphabet, l.classes);


      int nboxes = 0;


      detection *dets = get_network_boxes(&net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes, letterbox);


      if (nms) do_nms_sort_v3(dets, nboxes, l.classes, nms);


      if (nms) do_nms_sort(dets, nboxes, l.classes, nms);


      draw_detections_v3(im, dets, nboxes, thresh, names, alphabet, l.classes);


      free_detections(dets, nboxes);


        save_image(im, "predictions");


@@ -1073,8 +1122,8 @@


    int cam_index = find_int_arg(argc, argv, "-c", 0);


    int frame_skip = find_int_arg(argc, argv, "-s", 0);


   int num_of_clusters = find_int_arg(argc, argv, "-num_of_clusters", 5);


   int width = find_int_arg(argc, argv, "-width", 13);


   int heigh = find_int_arg(argc, argv, "-heigh", 13);


   int width = find_int_arg(argc, argv, "-width", -1);


   int height = find_int_arg(argc, argv, "-height", -1);


    if(argc < 4){


        fprintf(stderr, "usage: %s %s [train/test/valid] [cfg] [weights (optional)]\n", argv[0], argv[1]);


        return;


@@ -1108,22 +1157,25 @@


    char *cfg = argv[4];


    char *weights = (argc > 5) ? argv[5] : 0;


   if(weights)


      if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;


      if(strlen(weights) > 0)


         if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;


    char *filename = (argc > 6) ? argv[6]: 0;


    if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, dont_show);


    else if(0==strcmp(argv[2], "train")) train_detector(datacfg, cfg, weights, gpus, ngpus, clear, dont_show);


    else if(0==strcmp(argv[2], "valid")) validate_detector(datacfg, cfg, weights, outfile);


    else if(0==strcmp(argv[2], "recall")) validate_detector_recall(datacfg, cfg, weights);


   else if(0==strcmp(argv[2], "map")) validate_detector_map(datacfg, cfg, weights, thresh);


   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, heigh, show);


   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, height, show);


    else if(0==strcmp(argv[2], "demo")) {


        list *options = read_data_cfg(datacfg);


        int classes = option_find_int(options, "classes", 20);


        char *name_list = option_find_str(options, "names", "data/names.list");


        char **names = get_labels(name_list);


      if(filename)


         if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;


         if(strlen(filename) > 0)


            if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;


        demo(cfg, weights, thresh, hier_thresh, cam_index, filename, names, classes, frame_skip, prefix, out_filename,


         http_stream_port, dont_show);


    }


   else printf(" There isn't such command: %s", argv[2]);


}