ADAM

Joseph Redmon

2016-10-26 352ae7e65b6a74bcd768aa88b866a44c713284c8

 src/layer.h

@@ -3,6 +3,9 @@

#include "activations.h"
#include "stddef.h"
#include "tree.h"

struct network_state;

struct layer;
typedef struct layer layer;
@@ -42,6 +45,12 @@
    LAYER_TYPE type;
    ACTIVATION activation;
    COST_TYPE cost_type;
    void (*forward)   (struct layer, struct network_state);
    void (*backward)  (struct layer, struct network_state);
    void (*update)    (struct layer, int, float, float, float);
    void (*forward_gpu)   (struct layer, struct network_state);
    void (*backward_gpu)  (struct layer, struct network_state);
    void (*update_gpu)    (struct layer, int, float, float, float);
    int batch_normalize;
    int shortcut;
    int batch;
@@ -85,6 +94,16 @@
    int reorg;
    int log;

    int adam;
    float B1;
    float B2;
    float eps;
    float *m_gpu;
    float *v_gpu;
    int t;

    tree *softmax_tree;

    float alpha;
    float beta;
    float kappa;