Joseph Redmon
2014-07-17 076009ebe308fde0156304e701f36e8bb04e4d6b
src/activations.cl
@@ -2,6 +2,12 @@
    SIGMOID, RELU, LINEAR, RAMP, TANH
}ACTIVATION;
float linear_activate(float x){return x;}
float sigmoid_activate(float x){return 1./(1. + exp(-x));}
float relu_activate(float x){return x*(x>0);}
float ramp_activate(float x){return x*(x>0)+.1*x;}
float tanh_activate(float x){return (exp(2*x)-1)/(exp(2*x)+1);}
float activate(float x, ACTIVATION a, float dropout)
{
    //if((float)rand()/RAND_MAX < dropout) return 0;