better multigpu

Joseph Redmon

2016-09-20 73f7aacf35ec9b1d0f9de9ddf38af0889f213e99

 src/network.h

@@ -3,15 +3,15 @@
#define NETWORK_H

#include "image.h"
#include "detection_layer.h"
#include "layer.h"
#include "data.h"

typedef enum {
    CONSTANT, STEP, EXP, POLY, STEPS, SIG
    CONSTANT, STEP, EXP, POLY, STEPS, SIG, RANDOM
} learning_rate_policy;

typedef struct {
typedef struct network{
    float *workspace;
    int n;
    int batch;
    int *seen;
@@ -28,14 +28,25 @@
    float gamma;
    float scale;
    float power;
    int time_steps;
    int step;
    int max_batches;
    float *scales;
    int   *steps;
    int num_steps;
    int burn_in;

    int inputs;
    int h, w, c;
    int max_crop;
    int min_crop;
    float angle;
    float aspect;
    float exposure;
    float saturation;
    float hue;

    int gpu_index;

    #ifdef GPU
    float **input_gpu;
@@ -43,7 +54,19 @@
    #endif
} network;

typedef struct network_state {
    float *truth;
    float *input;
    float *delta;
    float *workspace;
    int train;
    int index;
    network net;
} network_state;

#ifdef GPU
float train_networks(network *nets, int n, data d, int interval);
void sync_nets(network *nets, int n, int interval);
float train_network_datum_gpu(network net, float *x, float *y);
float *network_predict_gpu(network net, float *input);
float * get_network_output_gpu_layer(network net, int i);
@@ -51,6 +74,7 @@
float *get_network_output_gpu(network net);
void forward_network_gpu(network net, network_state state);
void backward_network_gpu(network net, network_state state);
void update_network_gpu(network net);
#endif

float get_current_rate(network net);
@@ -67,6 +91,7 @@
float train_network(network net, data d);
float train_network_batch(network net, data d, int n);
float train_network_sgd(network net, data d, int n);
float train_network_datum(network net, float *x, float *y);

matrix network_predict_data(network net, data test);
float *network_predict(network net, float *input);