blame | history | patch | commit | commitdiff | ignore whitespace
AlexeyAB
2018-05-16 e29fcb703f8d936e17507bf78043a8b8bc6279b0 
 src/detector.c


@@ -1,3 +1,8 @@


#ifdef _DEBUG


#include <stdlib.h> 


#include <crtdbg.h>  


#endif




#include "network.h"


#include "region_layer.h"


#include "cost_layer.h"


@@ -16,10 +21,10 @@




#ifndef CV_VERSION_EPOCH


#include "opencv2/videoio/videoio_c.h"


#define OPENCV_VERSION CVAUX_STR(CV_VERSION_MAJOR)""CVAUX_STR(CV_VERSION_MINOR)""CVAUX_STR(CV_VERSION_REVISION)


#define OPENCV_VERSION CVAUX_STR(CV_VERSION_MAJOR)"" CVAUX_STR(CV_VERSION_MINOR)"" CVAUX_STR(CV_VERSION_REVISION)


#pragma comment(lib, "opencv_world" OPENCV_VERSION ".lib")


#else


#define OPENCV_VERSION CVAUX_STR(CV_VERSION_EPOCH)""CVAUX_STR(CV_VERSION_MAJOR)""CVAUX_STR(CV_VERSION_MINOR)


#define OPENCV_VERSION CVAUX_STR(CV_VERSION_EPOCH)"" CVAUX_STR(CV_VERSION_MAJOR)"" CVAUX_STR(CV_VERSION_MINOR)


#pragma comment(lib, "opencv_core" OPENCV_VERSION ".lib")


#pragma comment(lib, "opencv_imgproc" OPENCV_VERSION ".lib")


#pragma comment(lib, "opencv_highgui" OPENCV_VERSION ".lib")


@@ -61,6 +66,11 @@


    srand(time(0));


    network net = nets[0];




   if ((net.batch * net.subdivisions) == 1) {


      printf("\n Error: You set incorrect value batch=1 for Training! You should set batch=64 subdivision=64 \n");


      getchar();


   }




    int imgs = net.batch * net.subdivisions * ngpus;


    printf("Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


    data train, buffer;


@@ -86,12 +96,13 @@


    args.n = imgs;


    args.m = plist->size;


    args.classes = classes;


    args.flip = net.flip;


    args.jitter = jitter;


    args.num_boxes = l.max_boxes;


   args.small_object = net.small_object;


    args.d = &buffer;


    args.type = DETECTION_DATA;


   args.threads = 64;   // 8


   args.threads = 16;   // 64




    args.angle = net.angle;


    args.exposure = net.exposure;


@@ -99,6 +110,7 @@


    args.hue = net.hue;




#ifdef OPENCV


   args.threads = 3;


   IplImage* img = NULL;


   float max_img_loss = 5;


   int number_of_lines = 100;


@@ -108,18 +120,22 @@


#endif   //OPENCV




    pthread_t load_thread = load_data(args);


    clock_t time;


    double time;


    int count = 0;


    //while(i*imgs < N*120){


    while(get_current_batch(net) < net.max_batches){


      if(l.random && count++%10 == 0){


            printf("Resizing\n");


         int dim = (rand() % 12 + (init_w/32 - 5)) * 32; // +-160


            //if (get_current_batch(net)+100 > net.max_batches) dim = 544;


         //int dim = (rand() % 12 + (init_w/32 - 5)) * 32;  // +-160


            //int dim = (rand() % 4 + 16) * 32;


            printf("%d\n", dim);


            args.w = dim;


            args.h = dim;


         //if (get_current_batch(net)+100 > net.max_batches) dim = 544;


         int random_val = rand() % 12;


         int dim_w = (random_val + (init_w / 32 - 5)) * 32; // +-160


         int dim_h = (random_val + (init_h / 32 - 5)) * 32; // +-160




         printf("%d x %d \n", dim_w, dim_h);


         args.w = dim_w;


         args.h = dim_h;




            pthread_join(load_thread, 0);


            train = buffer;


@@ -127,11 +143,11 @@


            load_thread = load_data(args);




            for(i = 0; i < ngpus; ++i){


                resize_network(nets + i, dim, dim);


                resize_network(nets + i, dim_w, dim_h);


            }


            net = nets[0];


        }


        time=clock();


        time=what_time_is_it_now();


        pthread_join(load_thread, 0);


        train = buffer;


        load_thread = load_data(args);


@@ -153,9 +169,9 @@


           save_image(im, "truth11");


         */




        printf("Loaded: %lf seconds\n", sec(clock()-time));


        printf("Loaded: %lf seconds\n", (what_time_is_it_now()-time));




        time=clock();


        time=what_time_is_it_now();


        float loss = 0;


#ifdef GPU


        if(ngpus == 1){


@@ -166,11 +182,11 @@


#else


        loss = train_network(net, train);


#endif


        if (avg_loss < 0) avg_loss = loss;


        if (avg_loss < 0 || avg_loss != avg_loss) avg_loss = loss;   // if(-inf or nan)


        avg_loss = avg_loss*.9 + loss*.1;




        i = get_current_batch(net);


        printf("\n %d: %f, %f avg, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), sec(clock()-time), i*imgs);


        printf("\n %d: %f, %f avg, %f rate, %lf seconds, %d images\n", get_current_batch(net), loss, avg_loss, get_current_rate(net), (what_time_is_it_now()-time), i*imgs);




#ifdef OPENCV


      if(!dont_show)


@@ -291,11 +307,11 @@


   int *map = 0;


   if (mapf) map = read_map(mapf);




   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fprintf(stderr, "Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


   srand(time(0));




@@ -385,7 +401,7 @@


         int nboxes = 0;


         int letterbox = (args.type == LETTERBOX_DATA);


         detection *dets = get_network_boxes(&net, w, h, thresh, .5, map, 0, &nboxes, letterbox);


         if (nms) do_nms_sort_v3(dets, nboxes, classes, nms);


         if (nms) do_nms_sort(dets, nboxes, classes, nms);


         if (coco) {


            print_cocos(fp, path, dets, nboxes, classes, w, h);


         }


@@ -409,16 +425,17 @@


      fprintf(fp, "\n]\n");


      fclose(fp);


   }


   fprintf(stderr, "Total Detection Time: %f Seconds\n", time(0) - start);


   fprintf(stderr, "Total Detection Time: %f Seconds\n", (double)time(0) - start);


}




void validate_detector_recall(char *datacfg, char *cfgfile, char *weightfile)


{


   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


   srand(time(0));




   //list *plist = get_paths("data/coco_val_5k.list");


@@ -452,12 +469,15 @@


      int nboxes = 0;


      int letterbox = 0;


      detection *dets = get_network_boxes(&net, sized.w, sized.h, thresh, .5, 0, 1, &nboxes, letterbox);


      if (nms) do_nms_obj_v3(dets, nboxes, 1, nms);


      if (nms) do_nms_obj(dets, nboxes, 1, nms);




      char labelpath[4096];


      find_replace(path, "images", "labels", labelpath);


      find_replace(labelpath, "JPEGImages", "labels", labelpath);


      find_replace(labelpath, ".jpg", ".txt", labelpath);


      find_replace(labelpath, ".png", ".txt", labelpath);


      find_replace(labelpath, ".bmp", ".txt", labelpath);


      find_replace(labelpath, ".JPG", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);




      int num_labels = 0;


@@ -482,7 +502,7 @@


            ++correct;


         }


      }




      //fprintf(stderr, " %s - %s - ", paths[i], labelpath);


      fprintf(stderr, "%5d %5d %5d\tRPs/Img: %.2f\tIOU: %.2f%%\tRecall:%.2f%%\n", i, correct, total, (float)proposals / (i + 1), avg_iou * 100 / total, 100.*correct / total);


      free(id);


      free_image(orig);


@@ -521,11 +541,12 @@


   int *map = 0;


   if (mapf) map = read_map(mapf);




   network net = parse_network_cfg_custom(cfgfile, 1);


   network net = parse_network_cfg_custom(cfgfile, 1);   // set batch=1


   if (weightfile) {


      load_weights(&net, weightfile);


   }


   set_batch_network(&net, 1);


   //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


   srand(time(0));




   list *plist = get_paths(valid_images);


@@ -603,15 +624,18 @@


         int nboxes = 0;


         int letterbox = (args.type == LETTERBOX_DATA);


         float hier_thresh = 0;


         detection *dets = get_network_boxes(&net, 1, 1, thresh, hier_thresh, 0, 1, &nboxes, letterbox);


         if (nms) do_nms_sort_v3(dets, nboxes, l.classes, nms);


         detection *dets = get_network_boxes(&net, 1, 1, thresh, hier_thresh, 0, 0, &nboxes, letterbox);


         //detection *dets = get_network_boxes(&net, val[t].w, val[t].h, thresh, hier_thresh, 0, 1, &nboxes, letterbox); // for letterbox=1


         if (nms) do_nms_sort(dets, nboxes, l.classes, nms);




         char labelpath[4096];


         find_replace(path, "images", "labels", labelpath);


         find_replace(labelpath, "JPEGImages", "labels", labelpath);


         find_replace(labelpath, ".jpg", ".txt", labelpath);


         find_replace(labelpath, ".JPEG", ".txt", labelpath);


         find_replace(labelpath, ".png", ".txt", labelpath);


         find_replace(labelpath, ".bmp", ".txt", labelpath);


         find_replace(labelpath, ".JPG", ".txt", labelpath);


         find_replace(labelpath, ".JPEG", ".txt", labelpath);


         int num_labels = 0;


         box_label *truth = read_boxes(labelpath, &num_labels);


         int i, j;


@@ -635,6 +659,8 @@


            truth_dif = read_boxes(labelpath_dif, &num_labels_dif);


         }




         const int checkpoint_detections_count = detections_count;




         for (i = 0; i < nboxes; ++i) {




            int class_id;


@@ -685,7 +711,13 @@




                  // calc avg IoU, true-positives, false-positives for required Threshold


                  if (prob > thresh_calc_avg_iou) {


                     if (truth_index > -1) {


                     int z, found = 0;


                     for (z = checkpoint_detections_count; z < detections_count-1; ++z)


                        if (detections[z].unique_truth_index == truth_index) {


                           found = 1; break;


                        }




                     if(truth_index > -1 && found == 0) {


                        avg_iou += max_iou;


                        ++tp_for_thresh;


                     }


@@ -705,7 +737,8 @@


      }


   }




   avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);


   if((tp_for_thresh + fp_for_thresh) > 0)


      avg_iou = avg_iou / (tp_for_thresh + fp_for_thresh);




   


   // SORT(detections)


@@ -837,6 +870,11 @@


void calc_anchors(char *datacfg, int num_of_clusters, int width, int height, int show)


{


   printf("\n num_of_clusters = %d, width = %d, height = %d \n", num_of_clusters, width, height);


   if (width < 0 || height < 0) {


      printf("Usage: darknet detector calc_anchors data/voc.data -num_of_clusters 9 -width 416 -height 416 \n");


      printf("Error: set width and height \n");


      return;


   }




   //float pointsdata[] = { 1,1, 2,2, 6,6, 5,5, 10,10 };


   float *rel_width_height_array = calloc(1000, sizeof(float));


@@ -857,8 +895,10 @@


      find_replace(path, "images", "labels", labelpath);


      find_replace(labelpath, "JPEGImages", "labels", labelpath);


      find_replace(labelpath, ".jpg", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);


      find_replace(labelpath, ".png", ".txt", labelpath);


      find_replace(labelpath, ".bmp", ".txt", labelpath);


      find_replace(labelpath, ".JPG", ".txt", labelpath);


      find_replace(labelpath, ".JPEG", ".txt", labelpath);


      int num_labels = 0;


      box_label *truth = read_boxes(labelpath, &num_labels);


      //printf(" new path: %s \n", labelpath);


@@ -1010,20 +1050,22 @@


}


#endif // OPENCV




void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, int dont_show)


void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh,


               float hier_thresh, int dont_show, int ext_output)


{


    list *options = read_data_cfg(datacfg);


    char *name_list = option_find_str(options, "names", "data/names.list");


    char **names = get_labels(name_list);




    image **alphabet = load_alphabet();


    network net = parse_network_cfg_custom(cfgfile, 1);


    network net = parse_network_cfg_custom(cfgfile, 1); // set batch=1


    if(weightfile){


        load_weights(&net, weightfile);


    }


    set_batch_network(&net, 1);


    //set_batch_network(&net, 1);


   fuse_conv_batchnorm(net);


    srand(2222222);


    clock_t time;


    double time;


    char buff[256];


    char *input = buff;


    int j;


@@ -1031,7 +1073,8 @@


    while(1){


        if(filename){


            strncpy(input, filename, 256);


         if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;


         if(strlen(input) > 0)


            if (input[strlen(input) - 1] == 0x0d) input[strlen(input) - 1] = 0;


        } else {


            printf("Enter Image Path: ");


            fflush(stdout);


@@ -1041,8 +1084,8 @@


        }


        image im = load_image_color(input,0,0);


      int letterbox = 0;


        image sized = resize_image(im, net.w, net.h);


      //image sized = letterbox_image(im, net.w, net.h); letterbox = 1;


        //image sized = resize_image(im, net.w, net.h);


      image sized = letterbox_image(im, net.w, net.h); letterbox = 1;


        layer l = net.layers[net.n-1];




        //box *boxes = calloc(l.w*l.h*l.n, sizeof(box));


@@ -1050,16 +1093,17 @@


        //for(j = 0; j < l.w*l.h*l.n; ++j) probs[j] = calloc(l.classes, sizeof(float *));




        float *X = sized.data;


        time=clock();


        time= what_time_is_it_now();


        network_predict(net, X);


        printf("%s: Predicted in %f seconds.\n", input, sec(clock()-time));


      //network_predict_image(&net, im); letterbox = 1;


        printf("%s: Predicted in %f seconds.\n", input, (what_time_is_it_now()-time));


        //get_region_boxes(l, 1, 1, thresh, probs, boxes, 0, 0);


      // if (nms) do_nms_sort(boxes, probs, l.w*l.h*l.n, l.classes, nms);


      // if (nms) do_nms_sort_v2(boxes, probs, l.w*l.h*l.n, l.classes, nms);


      //draw_detections(im, l.w*l.h*l.n, thresh, boxes, probs, names, alphabet, l.classes);


      int nboxes = 0;


      detection *dets = get_network_boxes(&net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes, letterbox);


      if (nms) do_nms_sort_v3(dets, nboxes, l.classes, nms);


      draw_detections_v3(im, dets, nboxes, thresh, names, alphabet, l.classes);


      if (nms) do_nms_sort(dets, nboxes, l.classes, nms);


      draw_detections_v3(im, dets, nboxes, thresh, names, alphabet, l.classes, ext_output);


      free_detections(dets, nboxes);


        save_image(im, "predictions");


      if (!dont_show) {


@@ -1078,6 +1122,22 @@


#endif


        if (filename) break;


    }




   // free memory


   free_ptrs(names, net.layers[net.n - 1].classes);


   free_list(options);




   int i;


   const int nsize = 8;


   for (j = 0; j < nsize; ++j) {


      for (i = 32; i < 127; ++i) {


         free_image(alphabet[j][i]);


      }


      free(alphabet[j]);


   }


   free(alphabet);




   free_network(net);


}




void run_detector(int argc, char **argv)


@@ -1093,8 +1153,11 @@


    int cam_index = find_int_arg(argc, argv, "-c", 0);


    int frame_skip = find_int_arg(argc, argv, "-s", 0);


   int num_of_clusters = find_int_arg(argc, argv, "-num_of_clusters", 5);


   int width = find_int_arg(argc, argv, "-width", 13);


   int heigh = find_int_arg(argc, argv, "-heigh", 13);


   int width = find_int_arg(argc, argv, "-width", -1);


   int height = find_int_arg(argc, argv, "-height", -1);


   // extended output in test mode (output of rect bound coords)


   // and for recall mode (extended output table-like format with results for best_class fit)


   int ext_output = find_arg(argc, argv, "-ext_output");


    if(argc < 4){


        fprintf(stderr, "usage: %s %s [train/test/valid] [cfg] [weights (optional)]\n", argv[0], argv[1]);


        return;


@@ -1128,22 +1191,25 @@


    char *cfg = argv[4];


    char *weights = (argc > 5) ? argv[5] : 0;


   if(weights)


      if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;


      if(strlen(weights) > 0)


         if (weights[strlen(weights) - 1] == 0x0d) weights[strlen(weights) - 1] = 0;


    char *filename = (argc > 6) ? argv[6]: 0;


    if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, dont_show);


    if(0==strcmp(argv[2], "test")) test_detector(datacfg, cfg, weights, filename, thresh, hier_thresh, dont_show, ext_output);


    else if(0==strcmp(argv[2], "train")) train_detector(datacfg, cfg, weights, gpus, ngpus, clear, dont_show);


    else if(0==strcmp(argv[2], "valid")) validate_detector(datacfg, cfg, weights, outfile);


    else if(0==strcmp(argv[2], "recall")) validate_detector_recall(datacfg, cfg, weights);


   else if(0==strcmp(argv[2], "map")) validate_detector_map(datacfg, cfg, weights, thresh);


   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, heigh, show);


   else if(0==strcmp(argv[2], "calc_anchors")) calc_anchors(datacfg, num_of_clusters, width, height, show);


    else if(0==strcmp(argv[2], "demo")) {


        list *options = read_data_cfg(datacfg);


        int classes = option_find_int(options, "classes", 20);


        char *name_list = option_find_str(options, "names", "data/names.list");


        char **names = get_labels(name_list);


      if(filename)


         if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;


         if(strlen(filename) > 0)


            if (filename[strlen(filename) - 1] == 0x0d) filename[strlen(filename) - 1] = 0;


        demo(cfg, weights, thresh, hier_thresh, cam_index, filename, names, classes, frame_skip, prefix, out_filename,


         http_stream_port, dont_show);


    }


   else printf(" There isn't such command: %s", argv[2]);


}