blame | history | patch | commit | commitdiff | ignore whitespace
AlexeyAB
2018-05-04 89354d0a0ce6fbb22ff262658045cdb8796ff6fd 
 src/data.h


@@ -2,11 +2,14 @@


#define DATA_H


#include <pthread.h>




#if defined(_MSC_VER) && _MSC_VER < 1900


   #define inline __inline


#endif




#include "matrix.h"


#include "list.h"


#include "image.h"




extern unsigned int data_seed;


#include "tree.h"




static inline float distance_from_edge(int x, int max)


{


@@ -23,17 +26,17 @@


    int w, h;


    matrix X;


    matrix y;


    int *indexes;


    int shallow;


    int *num_boxes;


    box **boxes;


} data;




typedef enum {


    CLASSIFICATION_DATA, DETECTION_DATA, CAPTCHA_DATA, REGION_DATA, IMAGE_DATA, COMPARE_DATA, WRITING_DATA, SWAG_DATA, TAG_DATA, OLD_CLASSIFICATION_DATA, STUDY_DATA, DET_DATA, SUPER_DATA


    CLASSIFICATION_DATA, DETECTION_DATA, CAPTCHA_DATA, REGION_DATA, IMAGE_DATA, LETTERBOX_DATA, COMPARE_DATA, WRITING_DATA, SWAG_DATA, TAG_DATA, OLD_CLASSIFICATION_DATA, STUDY_DATA, DET_DATA, SUPER_DATA


} data_type;




typedef struct load_args{


    int threads;


    char **paths;


    char *path;


    int n;


@@ -50,11 +53,19 @@


    int classes;


    int background;


    int scale;


   int small_object;


    float jitter;


    int flip;


    float angle;


    float aspect;


    float saturation;


    float exposure;


    float hue;


    data *d;


    image *im;


    image *resized;


    data_type type;


    tree *hierarchy;


} load_args;




typedef struct{


@@ -65,17 +76,19 @@




void free_data(data d);




pthread_t load_data(load_args args);




pthread_t load_data_in_thread(load_args args);




void print_letters(float *pred, int n);


data load_data_captcha(char **paths, int n, int m, int k, int w, int h);


data load_data_captcha_encode(char **paths, int n, int m, int w, int h);


data load_data(char **paths, int n, int m, char **labels, int k, int w, int h);


data load_data_detection(int n, char **paths, int m, int w, int h, int boxes, int classes, float jitter);


data load_data_tag(char **paths, int n, int m, int k, int min, int max, int size);


data load_data_augment(char **paths, int n, int m, char **labels, int k, int min, int max, int size);


data load_data_old(char **paths, int n, int m, char **labels, int k, int w, int h);


data load_data_detection(int n, char **paths, int m, int w, int h, int boxes, int classes, int use_flip, float jitter, float hue, float saturation, float exposure, int small_object);


data load_data_tag(char **paths, int n, int m, int k, int use_flip, int min, int max, int size, float angle, float aspect, float hue, float saturation, float exposure);


matrix load_image_augment_paths(char **paths, int n, int use_flip, int min, int max, int size, float angle, float aspect, float hue, float saturation, float exposure);


data load_data_super(char **paths, int n, int m, int w, int h, int scale);


data load_data_study(char **paths, int n, int m, char **labels, int k, int min, int max, int size);


data load_data_augment(char **paths, int n, int m, char **labels, int k, tree *hierarchy, int use_flip, int min, int max, int size, float angle, float aspect, float hue, float saturation, float exposure);


data load_go(char *filename);




box_label *read_boxes(char *filename, int *n);


@@ -87,6 +100,7 @@


list *get_paths(char *filename);


char **get_labels(char *filename);


void get_random_batch(data d, int n, float *X, float *y);


data get_data_part(data d, int part, int total);


data get_random_data(data d, int num);


void get_next_batch(data d, int n, int offset, float *X, float *y);


data load_categorical_data_csv(char *filename, int target, int k);