Joseph Redmon
2014-10-28 af4e4f92dc9e5da160eb6c6870a7b38b863f1c6c
src/activations.c
@@ -40,6 +40,7 @@
float relu_activate(float x){return x*(x>0);}
float ramp_activate(float x){return x*(x>0)+.1*x;}
float tanh_activate(float x){return (exp(2*x)-1)/(exp(2*x)+1);}
//float tanh_activate(float x){return x - (x*x*x)/3;}
float linear_gradient(float x){return 1;}
float sigmoid_gradient(float x){return (1-x)*x;}