斯坦福机器学习笔记-第四周

非线性假设函数

在现实问题中,往往存在大量的特征,此时采用线性假设会导致参数量急剧增加,例如,对于100个特征的线性假设函数,在只包含最高2次假设的条件下:$h_\theta(x)=\theta_0+\theta_1x_1^2+\theta_2x_2^2+…+\theta_{100}x_{100}^2+\theta_{101}x_1x_2+…$,显然,这是一个复杂度为$O(n^2)$的函数。这还仅仅只是在只包含最高二次假设函数的条件下,当幂增加时,参数的量还会急剧增加,导致计算太过复杂,甚至无法计算。因此需要引入非线性假设函数。

神经网络模型

为了使用神经元来模拟神经网络,定义以下概念:神经元中树突和轴突分别用来输入输出电流信息,

神经网络模型示意

如上图,称Layer1为输入层,Layer3(最后一层)为输出层,而中间的层为隐藏层。由输入层到输出层的传播过程称为前向传播。由第j-1层到第j层的传播公式是:$z^{(j)}=\theta^{(j-1)}a^{(j-1)};a^{(j)}=g(z^{(j)})$。


   转载规则


《斯坦福机器学习笔记-第四周》 查永春 采用 知识共享署名 4.0 国际许可协议 进行许可。
  目录