北大IT

Model Structure

　Ian J. Goodfellowらによって提唱された^[1]活性化関数の一つ。だが、全結合層などからの出力を受け取り、それをグループ分けして最大値を出力するため、入力と出力の次元が違う。

Forward

input: $\boldsymbol{u}^{(l)} = \left( u_{j'}^{(l)} \right)$

formula:

$\begin{gather} z_{j}^{(l)} = \max_{i \in \mathcal{L}_{k, j}} u_i^{(l)} \\ \mathcal{L}_{k, j} = \left\{ (j-1)k + 1, \dots, jk\right\} \end{gather}$

output: $\boldsymbol{z}^{(l)} = \left( z_{j}^{(l)} \right)$

Backward

input: $\nabla_{\boldsymbol{z}^{(l)}}E = \left( \dfrac{\partial E}{\partial z_{j}^{(l)}} \right)$

formula:

$\delta_{j'}^{(l)} = \begin{cases} \dfrac{\partial E}{\partial z_{j}^{(l)}} & u_{j'} = \underset{i \in \mathcal{L}_{k, j}} {\arg \max} \ u_i^{(l)} \\ 0 & \rm{otherwise} \end{cases}$

output: $\boldsymbol{\delta}^{(l)} = \delta_{j'}^{(l)} = \left( \dfrac{\partial E}{\partial u_{j'}^{(l)}} \right)$

Tensorflow

import tensorflow as tf

tf.contrib.layers.maxout(
    inputs = u,
    num_units = k,
)

References

[1]Ian J. Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio. Maxout Networks. 2013.