概述
当前步骤公式详解
播放
速度:
0.5
1
2
5
全连接神经网络计算简介：
全连接神经网络：根据每个样本特征向量x计算预测值ŷ，通过损失函数计算预测值ŷ和实际值y的偏差。求损失函数对权重的偏导， 通过偏导结果更新权重。
FP前向传播公式
$$z^1 = W^1*X + b^1$$
$$a^1 = sigmoid(z^1)=\frac{1}{1+e^{-z^1}}$$
$$z^2 = W^2*a^1 + b^2$$
$$\hat{y} = a^2 = sigmoid(z^2)=\frac{1}{1+e^{-z^2}}$$
BP反向传播公式
$$Error(all) = \sum\frac{1}{2}(y - \hat{y})^2$$
$$\frac{\partial Error(all)}{\partial W^2} = \frac{\partial Error(all)}{\partial a^2}\frac{\partial a^2}{\partial z^2}\frac{\partial z^2}{\partial W^2} $$
$$W^2 = W^2 - \frac{\partial Error(all)}{\partial W^2}$$
$$\frac{\partial Error(all)}{\partial W^1} = \frac{\partial Error(all)}{\partial a^1}\frac{\partial a^1}{\partial z^1}\frac{\partial z^1}{\partial W^1} $$
$$W^1 = W^1 - \frac{\partial Error(all)}{\partial W^1}$$
红色边框的圆圈为输入层神经单元:
x1:表示输入单元的名称。例:x1，代表第一个输入层神经单元。
1.00:表述输入单元的具体数值。例:1.00，代表第一个神经单元的值为1.00
x1
1.00
蓝色边框的圆圈为隐藏层神经单元:
z
1
1
:隐藏层神经元激活函数的输入值，即将上一层的各个神经单元输出值乘以当前层的权重后累计求和。
例:z
1
1
上标为层数，下标为个数。代表第一隐藏层的第一个神经单元。
1.00:表示隐藏神经单元的激活函数输入的具体数值。例:1.00，代表上一层各个神经元乘以权重后求和的具体数值。
a
1
1
:隐藏层神经元激活函数的输出值，将z的具体数值通过激活函数
g(z)
计算结果。
例:a
1
1
上标为层数，下标为个数。
2.00:表示隐藏神经单元的激活函数计算后的输出的具体数值。例:2.00，代表通过激活函数
g(z)
计算1.00后的具体数值。
z
1
1
1.00
a
1
1
2.00
绿色边框的圆圈为输出层神经单元:
z
1
2
:输出层神经元激活函数的输入值，即将上一层的各个神经单元输出值乘以当前层的权重后累计求和。
例:z
1
2
上标为层数，下标为个数。代表二层的第一个神经单元。
1.00:表示隐藏神经单元的激活函数输入的具体数值。例:1.00，代表上一层各个神经元乘以权重后求和的具体数值。
a
1
2
:输出层神经元激活函数的输出值，即将z的具体数值通过激活函数
g(z)
计算结果，此结果也称为预测值ŷ。
例:a
1
2
上标为层数，下标为个数。
2.00:表示隐藏神经单元的激活函数计算后的输出的具体数值。例:2.00，代表通过激活函数
g(z)=g(1.00)=2.00
计算后的具体数值。
y=1:此样本的实际值。例:y=1,代表此样本的实际值为1。
3.00:表示输出层的神经单元根据损失函数的计算结果，损失函数方法入参为单个样本的实际值和预测值，输出为损失函数的结算结果。例:3.00为通过损失函数
Cost(y,ŷ)=Cost(1.00,2.00)=3.00
的具体数值。
z
2
1
1.00
a
2
1
2.00
y=1
3.00