Merge branch 'master' of https://github.com/AlexeyAB/darknet into Fix_get_c...

IlyaOvodov

2018-06-04 f0abcfa02b2094396f955c743f7f11fcdb2e3d13

 src/utils.c

@@ -3,12 +3,43 @@
#include <string.h>
#include <math.h>
#include <assert.h>
#include <unistd.h>
#include <float.h>
#include <limits.h>

#ifdef WIN32
#include "unistd.h"
#include "gettimeofday.h"
#else
#include <unistd.h>
#include <sys/time.h>
#endif
#include "utils.h"

#pragma warning(disable: 4996)

double what_time_is_it_now()
{
   struct timeval time;
   if (gettimeofday(&time, NULL)) {
      return 0;
   }
   return (double)time.tv_sec + (double)time.tv_usec * .000001;
}

int *read_map(char *filename)
{
    int n = 0;
    int *map = 0;
    char *str;
    FILE *file = fopen(filename, "r");
    if(!file) file_error(filename);
    while((str=fgetl(file))){
        ++n;
        map = realloc(map, n*sizeof(int));
        map[n-1] = atoi(str);
    }
    return map;
}

void sorta_shuffle(void *arr, size_t n, size_t size, size_t sections)
{
    size_t i;
@@ -16,7 +47,7 @@
        size_t start = n*i/sections;
        size_t end = n*(i+1)/sections;
        size_t num = end-start;
        shuffle(arr+(start*size), num, size);
        shuffle((char*)arr+(start*size), num, size);
    }
}

@@ -26,9 +57,9 @@
    void *swp = calloc(1, size);
    for(i = 0; i < n-1; ++i){
        size_t j = i + rand()/(RAND_MAX / (n-i)+1);
        memcpy(swp,          arr+(j*size), size);
        memcpy(arr+(j*size), arr+(i*size), size);
        memcpy(arr+(i*size), swp,          size);
        memcpy(swp,        (char*)arr+(j*size), size);
        memcpy((char*)arr+(j*size), (char*)arr+(i*size), size);
        memcpy((char*)arr+(i*size), swp,          size);
    }
}

@@ -106,6 +137,7 @@
    {
        c = next+1;
    }
   if(!next) while ((next = strchr(c, '\\'))) { c = next + 1; }
    c = copy_string(c);
    next = strchr(c, '.');
    if (next) *next = 0;
@@ -135,23 +167,65 @@
    printf("\n");
}

char *find_replace(char *str, char *orig, char *rep)
void find_replace(char *str, char *orig, char *rep, char *output)
{
    static char buffer[4096];
    static char buffer2[4096];
    static char buffer3[4096];
   char *buffer = calloc(8192, sizeof(char));
    char *p;

    if(!(p = strstr(str, orig)))  // Is 'orig' even in 'str'?
        return str;
    sprintf(buffer, "%s", str);
    if(!(p = strstr(buffer, orig))){  // Is 'orig' even in 'str'?
        sprintf(output, "%s", str);
      free(buffer);
        return;
    }

    strncpy(buffer2, str, p-str); // Copy characters from 'str' start to 'orig' st$
    buffer2[p-str] = '\0';
    *p = '\0';

    sprintf(buffer3, "%s%s%s", buffer2, rep, p+strlen(orig));
    sprintf(buffer, "%s", buffer3);
    sprintf(output, "%s%s%s", buffer, rep, p+strlen(orig));
   free(buffer);
}

    return buffer;
void find_replace_extension(char *str, char *orig, char *rep, char *output)
{
   char *buffer = calloc(8192, sizeof(char));

   sprintf(buffer, "%s", str);
   char *p = strstr(buffer, orig);
   int offset = (p - buffer);
   int chars_from_end = strlen(buffer) - offset;
   if (!p || chars_from_end != strlen(orig)) {  // Is 'orig' even in 'str' AND is 'orig' found at the end of 'str'?
      sprintf(output, "%s", str);
      free(buffer);
      return;
   }

   *p = '\0';

   sprintf(output, "%s%s%s", buffer, rep, p + strlen(orig));
   free(buffer);
}

void replace_image_to_label(char *input_path, char *output_path) {
   //find_replace(input_path, "images", "labels", output_path);   // COCO
   find_replace(input_path, "images/train2014/", "labels/train2014/", output_path); // COCO
   find_replace(output_path, "images/val2014/", "labels/val2014/", output_path);    // COCO
   //find_replace(output_path, "JPEGImages", "labels", output_path); // PascalVOC
   find_replace(output_path, "VOC2007/JPEGImages", "VOC2007/labels", output_path);     // PascalVOC
   find_replace(output_path, "VOC2012/JPEGImages", "VOC2012/labels", output_path);     // PascalVOC

   //find_replace(output_path, "/raw/", "/labels/", output_path);

   // replace only ext of files
   find_replace_extension(output_path, ".jpg", ".txt", output_path);
   find_replace_extension(output_path, ".JPG", ".txt", output_path); // error
   find_replace_extension(output_path, ".jpeg", ".txt", output_path);
   find_replace_extension(output_path, ".JPEG", ".txt", output_path);
   find_replace_extension(output_path, ".png", ".txt", output_path);
   find_replace_extension(output_path, ".PNG", ".txt", output_path);
   find_replace_extension(output_path, ".bmp", ".txt", output_path);
   find_replace_extension(output_path, ".BMP", ".txt", output_path);
   find_replace_extension(output_path, ".ppm", ".txt", output_path);
   find_replace_extension(output_path, ".PPM", ".txt", output_path);
}

float sec(clock_t clocks)
@@ -179,19 +253,19 @@
{
    perror(s);
    assert(0);
    exit(-1);
    exit(EXIT_FAILURE);
}

void malloc_error()
{
    fprintf(stderr, "Malloc error\n");
    exit(-1);
    exit(EXIT_FAILURE);
}

void file_error(char *s)
{
    fprintf(stderr, "Couldn't open file: %s\n", s);
    exit(0);
    exit(EXIT_FAILURE);
}

list *split_str(char *s, char delim)
@@ -216,7 +290,7 @@
    size_t offset = 0;
    for(i = 0; i < len; ++i){
        char c = s[i];
        if(c==' '||c=='\t'||c=='\n') ++offset;
        if(c==' '||c=='\t'||c=='\n'||c =='\r'||c==0x0d||c==0x0a) ++offset;
        else s[i-offset] = c;
    }
    s[len-offset] = '\0';
@@ -268,7 +342,11 @@
        fgets(&line[curr], readsize, fp);
        curr = strlen(line);
    }
    if(line[curr-1] == '\n') line[curr-1] = '\0';
   if(curr >= 2)
      if(line[curr-2] == 0x0d) line[curr-2] = 0x00;

   if(curr >= 1)
      if(line[curr-1] == 0x0a) line[curr-1] = 0x00;

    return line;
}
@@ -414,6 +492,13 @@
    }
}

void print_statistics(float *a, int n)
{
    float m = mean_array(a, n);
    float v = variance_array(a, n);
    printf("MSE: %.6f, Mean: %.6f, Variance: %.6f\n", mse_array(a, n), m, v);
}

float variance_array(float *a, int n)
{
    int i;
@@ -519,6 +604,15 @@
    return max_i;
}

int int_index(int *a, int val, int n)
{
   int i;
   for (i = 0; i < n; ++i) {
      if (a[i] == val) return i;
   }
   return -1;
}

int rand_int(int min, int max)
{
    if (max < min){
@@ -583,12 +677,13 @@
        max = swap;
    }
    return ((float)rand()/RAND_MAX * (max - min)) + min;
   //return (random_float() * (max - min)) + min;
}

float rand_scale(float s)
{
    float scale = rand_uniform(1, s);
    if(rand()%2) return scale;
    float scale = rand_uniform_strong(1, s);
    if(random_gen()%2) return scale;
    return 1./scale;
}

@@ -604,3 +699,32 @@
    return t;
}

unsigned int random_gen()
{
   unsigned int rnd = 0;
#ifdef WIN32
   rand_s(&rnd);
#else
   rnd = rand();
#endif
   return rnd;
}

float random_float()
{
#ifdef WIN32
   return ((float)random_gen() / (float)UINT_MAX);
#else
   return ((float)random_gen() / (float)RAND_MAX);
#endif
}

float rand_uniform_strong(float min, float max)
{
   if (max < min) {
      float swap = min;
      min = max;
      max = swap;
   }
   return (random_float() * (max - min)) + min;
}