tensorflow自定义激活函数实例

1.背景

之前听某位老师提到说tensorflow可以在不给梯度函数的基础上做梯度下降，所以尝试了替换。我的例子时将ReLU改为平方。即原来的激活函数是  现在换成 

单纯替换激活函数并不能较好的效果，在我的实验中，迭代到一定批次，准确率就会下降，最终降为10%左右保持稳定。而事实上，这中间最好的训练精度为92%。资源有限，问了对神经网络颇有研究的同学，说是激活函数的问题，然而某篇很厉害的论文中提到其精度在99%，着实有意思。之后开始研究自己些梯度函数以完成训练。

2.大概流程

首先要确定梯度函数，之后将其处理为tf能接受的类型。

2.1定义自己的激活函数

1. def square(x):
2. return pow(x, 2)

2.2 定义该激活函数的一次梯度函数

1. def square_grad(x):
2. return 2 * x

2.3 让numpy数组每一个元素都能应用该函数（全局）

1. square_np = np.vectorize(square)
2. square_grad_np = np.vectorize(square_grad)

2.4 转为tf可用的32位float型，numpy默认是64位（全局）

1. square_np_32 = lambda x: square_np(x).astype(np.float32)
2. square_grad_np_32 = lambda x: square_grad_np(x).astype(np.float32)

2.5 定义tf版的梯度函数

1. def square_grad_tf(x, name=None):
2. with ops.name_scope(name, "square_grad_tf", [x]) as name:
3. y = tf.py_func(square_grad_np_32, [x], [tf.float32], name=name, stateful=False)
4. return y[0]

2.6 定义函数

1. def my_py_func(func, inp, Tout, stateful=False, name=None, my_grad_func=None):
2. # need to generate a unique name to avoid duplicates:
3. random_name = "PyFuncGrad" + str(np.random.randint(0, 1E+8))
4. tf.RegisterGradient(random_name)(my_grad_func)
5. g = tf.get_default_graph()
6. with g.gradient_override_map({"PyFunc": random_name, "PyFuncStateless":random_name}):
7. return tf.py_func(func, inp, Tout, stateful=stateful, name=name)

2.7 定义梯度，该函数依靠上一个函数my_py_func计算并传播

1. def _square_grad(op, pred_grad):
2. x = op.inputs[0]
3. cur_grad = square_grad(x)
4. next_grad = pred_grad * cur_grad
5. return next_grad

2.8 定义tf版的square函数

1. def square_tf(x, name=None):
2. with ops.name_scope(name, "square_tf", [x]) as name:
3. y = my_py_func(square_np_32,
4. [x],
5. [tf.float32],
6. stateful=False,
7. name=name,
8. my_grad_func=_square_grad)
9. return y[0]

3.使用

跟用其他激活函数一样，直接用就行了。input_data：输入数据。

1. h = square_tf(input_data)

over. 学艺不精，多多指教！

以上这篇tensorflow自定义激活函数实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。