Convolutional working on GPU

Joseph Redmon

2014-10-13 787d5345609459f21fd65d2d8b4fcd55201e21a1

 src/maxpool_layer.c

@@ -17,55 +17,79 @@
    return float_to_image(h,w,c,layer.delta);
}

maxpool_layer *make_maxpool_layer(int h, int w, int c, int stride)
maxpool_layer *make_maxpool_layer(int batch, int h, int w, int c, int size, int stride)
{
    fprintf(stderr, "Maxpool Layer: %d x %d x %d image, %d stride\n", h,w,c,stride);
    fprintf(stderr, "Maxpool Layer: %d x %d x %d image, %d size, %d stride\n", h,w,c,size,stride);
    maxpool_layer *layer = calloc(1, sizeof(maxpool_layer));
    layer->batch = batch;
    layer->h = h;
    layer->w = w;
    layer->c = c;
    layer->size = size;
    layer->stride = stride;
    layer->output = calloc(((h-1)/stride+1) * ((w-1)/stride+1) * c, sizeof(float));
    layer->delta = calloc(((h-1)/stride+1) * ((w-1)/stride+1) * c, sizeof(float));
    layer->max_indexes = calloc(((h-1)/stride+1) * ((w-1)/stride+1) * c*batch, sizeof(int));
    layer->output = calloc(((h-1)/stride+1) * ((w-1)/stride+1) * c*batch, sizeof(float));
    layer->delta = calloc(((h-1)/stride+1) * ((w-1)/stride+1) * c*batch, sizeof(float));
    return layer;
}

void forward_maxpool_layer(const maxpool_layer layer, float *in)
void resize_maxpool_layer(maxpool_layer *layer, int h, int w, int c)
{
    image input = float_to_image(layer.h, layer.w, layer.c, in);
    image output = get_maxpool_image(layer);
    int i,j,k;
    for(i = 0; i < output.h*output.w*output.c; ++i) output.data[i] = -DBL_MAX;
    for(k = 0; k < input.c; ++k){
        for(i = 0; i < input.h; ++i){
            for(j = 0; j < input.w; ++j){
                float val = get_pixel(input, i, j, k);
                float cur = get_pixel(output, i/layer.stride, j/layer.stride, k);
                if(val > cur) set_pixel(output, i/layer.stride, j/layer.stride, k, val);
    layer->h = h;
    layer->w = w;
    layer->c = c;
    layer->output = realloc(layer->output, ((h-1)/layer->stride+1) * ((w-1)/layer->stride+1) * c * layer->batch* sizeof(float));
    layer->delta = realloc(layer->delta, ((h-1)/layer->stride+1) * ((w-1)/layer->stride+1) * c * layer->batch*sizeof(float));
}

void forward_maxpool_layer(const maxpool_layer layer, float *input)
{
    int b;
    for(b = 0; b < layer.batch; ++b){
        int h = (layer.h-1)/layer.stride + 1;
        int w = (layer.w-1)/layer.stride + 1;
        int c = layer.c;

        int i,j,k,l,m;
        for(k = 0; k < layer.c; ++k){
            for(i = 0; i < layer.h; i += layer.stride){
                for(j = 0; j < layer.w; j += layer.stride){
                    int out_index = j/layer.stride + w*(i/layer.stride + h*(k + c*b));
                    layer.output[out_index] = -FLT_MAX;
                    int lower = (-layer.size-1)/2 + 1;
                    int upper = layer.size/2 + 1;

                    int lh = (i+lower < 0)       ? 0 : i+lower;
                    int uh = (i+upper > layer.h) ? layer.h : i+upper;

                    int lw = (j+lower < 0)       ? 0 : j+lower;
                    int uw = (j+upper > layer.w) ? layer.w : j+upper;
                    for(l = lh; l < uh; ++l){
                        for(m = lw; m < uw; ++m){
                            //printf("%d %d\n", l, m);
                            int index = m + layer.w*(l + layer.h*(k + b*layer.c));
                            if(input[index] > layer.output[out_index]){
                                layer.output[out_index] = input[index];
                                layer.max_indexes[out_index] = index;
                            }
                        }
                    }
                }
            }
        }
    }
}

void backward_maxpool_layer(const maxpool_layer layer, float *in, float *delta)
void backward_maxpool_layer(const maxpool_layer layer, float *input, float *delta)
{
    image input = float_to_image(layer.h, layer.w, layer.c, in);
    image input_delta = float_to_image(layer.h, layer.w, layer.c, delta);
    image output_delta = get_maxpool_delta(layer);
    image output = get_maxpool_image(layer);
    int i,j,k;
    for(k = 0; k < input.c; ++k){
        for(i = 0; i < input.h; ++i){
            for(j = 0; j < input.w; ++j){
                float val = get_pixel(input, i, j, k);
                float cur = get_pixel(output, i/layer.stride, j/layer.stride, k);
                float d = get_pixel(output_delta, i/layer.stride, j/layer.stride, k);
                if(val == cur) {
                    set_pixel(input_delta, i, j, k, d);
                }
                else set_pixel(input_delta, i, j, k, 0);
            }
        }
    int i;
    int h = (layer.h-1)/layer.stride + 1;
    int w = (layer.w-1)/layer.stride + 1;
    int c = layer.c;
    memset(delta, 0, layer.batch*layer.h*layer.w*layer.c*sizeof(float));
    for(i = 0; i < h*w*c*layer.batch; ++i){
        int index = layer.max_indexes[i];
        delta[index] += layer.delta[i];
    }
}