blame | history | patch | commit | commitdiff | ignore whitespace
Joseph Redmon
2014-12-08 cb1f33c6ae840e8dc0f43518daf76e6ed01034f0 
 src/cnn.c


@@ -8,6 +8,7 @@


#include "matrix.h"


#include "utils.h"


#include "mini_blas.h"


#include "server.h"




#include <time.h>


#include <stdlib.h>


@@ -36,6 +37,7 @@




void test_convolutional_layer()


{


/*


    int i;


    image dog = load_image("data/dog.jpg",224,224);


    network net = parse_network_cfg("cfg/convolutional.cfg");


@@ -72,6 +74,7 @@




    float *gpu_del = calloc(del_size, sizeof(float));


    memcpy(gpu_del, get_network_delta_layer(net, 0), del_size*sizeof(float));


    */




    /*


       start = clock();


@@ -97,6 +100,7 @@


     */


}




/*


void test_col2im()


{


    float col[] =  {1,2,1,2,


@@ -116,13 +120,12 @@


    int ksize = 3;


    int stride = 1;


    int pad = 0;


    col2im_gpu(col, batch,


            channels,  height,  width,


            ksize,  stride, pad, im);


    //col2im_gpu(col, batch,


    //        channels,  height,  width,


    //        ksize,  stride, pad, im);


    int i;


    for(i = 0; i < 16; ++i)printf("%f,", im[i]);


    printf("\n");


    /*


       float data_im[] = {


       1,2,3,4,


       5,6,7,8,


@@ -134,8 +137,8 @@


       ksize,   stride,  pad, data_col) ;


       for(i = 0; i < 18; ++i)printf("%f,", data_col[i]);


       printf("\n");


     */


}


*/




#endif




@@ -158,7 +161,7 @@


    int i;


    clock_t start = clock(), end;


    for(i = 0; i < 1000; ++i){


        im2col_cpu(dog.data,1, dog.c,  dog.h,  dog.w,  size,  stride, 0, matrix);


        //im2col_cpu(dog.data,1, dog.c,  dog.h,  dog.w,  size,  stride, 0, matrix);


        gemm(0,0,n,mw,mh,1,filters,mh,matrix,mw,1,edge.data,mw);


    }


    end = clock();


@@ -175,6 +178,7 @@




void verify_convolutional_layer()


{


/*


    srand(0);


    int i;


    int n = 1;


@@ -225,6 +229,7 @@


    printf("%f %f\n", avg_image_layer(mj1,0), avg_image_layer(mj2,0));


    show_image(mj1, "forward jacobian");


    show_image(mj2, "backward jacobian");


    */


}




void test_load()


@@ -366,15 +371,52 @@


    }


}




void train_imagenet_distributed(char *address)


{


    float avg_loss = 1;


    srand(time(0));


    network net = parse_network_cfg("cfg/alexnet.client");


    printf("Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


    int imgs = 1000/net.batch+1;


    imgs = 1;


    int i = 0;


    char **labels = get_labels("/home/pjreddie/data/imagenet/cls.labels.list");


    list *plist = get_paths("/data/imagenet/cls.train.list");


    char **paths = (char **)list_to_array(plist);


    printf("%d\n", plist->size);


    clock_t time;


    while(1){


        i += 1;


        time=clock();


        data train = load_data_random(imgs*net.batch, paths, plist->size, labels, 1000, 256, 256);


        //translate_data_rows(train, -144);


        normalize_data_rows(train);


        printf("Loaded: %lf seconds\n", sec(clock()-time));


        time=clock();


#ifdef GPU


        float loss = train_network_data_gpu(net, train, imgs);


        client_update(net, address);


        avg_loss = avg_loss*.9 + loss*.1;


        printf("%d: %f, %f avg, %lf seconds, %d images\n", i, loss, avg_loss, sec(clock()-time), i*imgs*net.batch);


#endif


        free_data(train);


        if(i%10==0){


            char buff[256];


            sprintf(buff, "/home/pjreddie/imagenet_backup/alexnet_%d.cfg", i);


            save_network(net, buff);


        }


    }


}




void train_imagenet()


{


    float avg_loss = 1;


    //network net = parse_network_cfg("/home/pjreddie/imagenet_backup/alexnet_1270.cfg");


    network net = parse_network_cfg("cfg/alexnet.part");


    srand(time(0));


    network net = parse_network_cfg("cfg/alexnet.cfg");


    printf("Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


    int imgs = 1000/net.batch+1;


    srand(time(0));


    //imgs=1;


    int i = 0;


    char **labels = get_labels("/home/pjreddie/data/imagenet/cls.labels.list");


    list *plist = get_paths("/data/imagenet/cls.train.list");


@@ -446,7 +488,7 @@


        for(c = 0; c < 8; ++c){


            j = (r*8 + c) * 5;


            printf("Prob: %f\n", box[j]);


            if(box[j] > .999){


            if(box[j] > .01){


                int d = 256/8;


                int y = r*d+box[j+1]*d;


                int x = c*d+box[j+2]*d;


@@ -465,7 +507,7 @@




void test_detection()


{


    network net = parse_network_cfg("cfg/detnet_test.cfg");


    network net = parse_network_cfg("cfg/detnet.test");


    srand(2222222);


    clock_t time;


    char filename[256];


@@ -609,19 +651,43 @@


    network net = parse_network_cfg("cfg/nist.cfg");


    data train = load_categorical_data_csv("data/mnist/mnist_train.csv", 0, 10);


    data test = load_categorical_data_csv("data/mnist/mnist_test.csv",0,10);


    translate_data_rows(train, -144);


    translate_data_rows(test, -144);


    normalize_data_rows(train);


    normalize_data_rows(test);


    int count = 0;


    int iters = 50000/net.batch;


    iters = 1000/net.batch + 1;


    while(++count <= 2000){


        clock_t start = clock(), end;


        float loss = train_network_sgd(net, train, iters);


        float loss = train_network_sgd_gpu(net, train, iters);


        end = clock();


        float test_acc = network_accuracy(net, test);


        float test_acc = network_accuracy_gpu(net, test);


        //float test_acc = 0;


        printf("%d: Loss: %f, Test Acc: %f, Time: %lf seconds\n", count, loss, test_acc,(float)(end-start)/CLOCKS_PER_SEC);


    }


}




void train_nist_distributed(char *address)


{


    srand(time(0));


    network net = parse_network_cfg("cfg/nist.client");


    data train = load_categorical_data_csv("data/mnist/mnist_train.csv", 0, 10);


    //data test = load_categorical_data_csv("data/mnist/mnist_test.csv",0,10);


    normalize_data_rows(train);


    //normalize_data_rows(test);


    int count = 0;


    int iters = 50000/net.batch;


    iters = 1000/net.batch + 1;


    while(++count <= 2000){


        clock_t start = clock(), end;


        float loss = train_network_sgd_gpu(net, train, iters);


        client_update(net, address);


        end = clock();


        //float test_acc = network_accuracy_gpu(net, test);


        //float test_acc = 0;


        printf("%d: Loss: %f, Time: %lf seconds\n", count, loss, (float)(end-start)/CLOCKS_PER_SEC);


    }


}




void test_ensemble()


{


    int i;


@@ -711,6 +777,7 @@


    printf("%d, %d, %d\n", train.X.rows, split[0].X.rows, split[1].X.rows);


}




/*


void test_im2row()


{


    int h = 20;


@@ -726,10 +793,11 @@


    float *matrix = calloc(msize, sizeof(float));


    int i;


    for(i = 0; i < 1000; ++i){


        im2col_cpu(test.data,1,  c,  h,  w,  size,  stride, 0, matrix);


        //im2col_cpu(test.data,1,  c,  h,  w,  size,  stride, 0, matrix);


        //image render = float_to_image(mh, mw, mc, matrix);


    }


}


*/




void flip_network()


{


@@ -782,13 +850,74 @@


#endif


}




void test_server()


void test_correct_alexnet()


{


    server_update();


    char **labels = get_labels("/home/pjreddie/data/imagenet/cls.labels.list");


    list *plist = get_paths("/data/imagenet/cls.train.list");


    char **paths = (char **)list_to_array(plist);


    printf("%d\n", plist->size);


    clock_t time;


    int count = 0;




    srand(222222);


    network net = parse_network_cfg("cfg/alexnet.test");


    printf("Learning Rate: %g, Momentum: %g, Decay: %g\n", net.learning_rate, net.momentum, net.decay);


    int imgs = 1000/net.batch+1;


    imgs = 1;




    while(++count <= 5){


        time=clock();


        data train = load_data_random(imgs*net.batch, paths, plist->size, labels, 1000, 256, 256);


        //translate_data_rows(train, -144);


        normalize_data_rows(train);


        printf("Loaded: %lf seconds\n", sec(clock()-time));


        time=clock();


        float loss = train_network_data_cpu(net, train, imgs);


        printf("%d: %f, %lf seconds, %d images\n", count, loss, sec(clock()-time), imgs*net.batch);


        free_data(train);


    }


#ifdef GPU


    count = 0;


    srand(222222);


    net = parse_network_cfg("cfg/alexnet.test");


    while(++count <= 5){


        time=clock();


        data train = load_data_random(imgs*net.batch, paths, plist->size, labels, 1000, 256, 256);


        //translate_data_rows(train, -144);


        normalize_data_rows(train);


        printf("Loaded: %lf seconds\n", sec(clock()-time));


        time=clock();


        float loss = train_network_data_gpu(net, train, imgs);


        printf("%d: %f, %lf seconds, %d images\n", count, loss, sec(clock()-time), imgs*net.batch);


        free_data(train);


    }


#endif


}




void run_server()


{


    srand(time(0));


    network net = parse_network_cfg("cfg/nist.server");


    server_update(net);


}


void test_client()


{


    client_update();


    network net = parse_network_cfg("cfg/alexnet.client");


    clock_t time=clock();


    client_update(net, "localhost");


    printf("1\n");


    client_update(net, "localhost");


    printf("2\n");


    client_update(net, "localhost");


    printf("3\n");


    printf("Transfered: %lf seconds\n", sec(clock()-time));


}




int find_int_arg(int argc, char* argv[], char *arg)


{


    int i;


    for(i = 0; i < argc-1; ++i) if(0==strcmp(argv[i], arg)) return atoi(argv[i+1]);


    return 0;


}




int main(int argc, char *argv[])


@@ -797,20 +926,28 @@


        fprintf(stderr, "usage: %s <function>\n", argv[0]);


        return 0;


    }


    int index = find_int_arg(argc, argv, "-i");


    #ifdef GPU


    cl_setup(index);


    #endif


    if(0==strcmp(argv[1], "train")) train_imagenet();


    else if(0==strcmp(argv[1], "detection")) train_detection_net();


    else if(0==strcmp(argv[1], "asirra")) train_asirra();


    else if(0==strcmp(argv[1], "nist")) train_nist();


    else if(0==strcmp(argv[1], "test_correct")) test_gpu_net();


    else if(0==strcmp(argv[1], "test_correct")) test_correct_alexnet();


    else if(0==strcmp(argv[1], "test")) test_imagenet();


    else if(0==strcmp(argv[1], "server")) test_server();


    else if(0==strcmp(argv[1], "client")) test_client();


    else if(0==strcmp(argv[1], "server")) run_server();


    else if(0==strcmp(argv[1], "detect")) test_detection();


    else if(0==strcmp(argv[1], "visualize")) test_visualize(argv[2]);


    else if(0==strcmp(argv[1], "valid")) validate_imagenet(argv[2]);


#ifdef GPU


    else if(0==strcmp(argv[1], "test_gpu")) test_gpu_blas();


#endif


    else if(argc < 3){


        fprintf(stderr, "usage: %s <function>\n", argv[0]);


        return 0;


    }


    else if(0==strcmp(argv[1], "client")) train_nist_distributed(argv[2]);


    else if(0==strcmp(argv[1], "visualize")) test_visualize(argv[2]);


    else if(0==strcmp(argv[1], "valid")) validate_imagenet(argv[2]);


    fprintf(stderr, "Success!\n");


    return 0;


}