机器学习算法 – 参数更新方法

机器学习算法

这里刚才我们强调一点
就是我们的啊t下降t度下当中
我希望大家还强一点
就是什么

哎哟你说我们现在要去优化这个方程
然后找到最优的 θ 0 或者 θ 一吧
那你说现在我不是要找这些值吗
当我在找这些值的过程当中
哎我是既要找 θ 0
也要找 θ 一吧
因为 θ 0 和 θ 一都会对结果产生一个影响吧
那此时大家还想你是分别做这个 θ 0 和 θ 1
还是把c一和c特零放在一起来做呢
大家可以先考虑这样一点
我们是分别做还是一起做啊
在这里应该是什么
应该是一个分别做
而不是一个一起做吧
为什么可能在这里大家很很不解诶
既然我要优化
但他俩都会对酒产生影响
那应该一起做效果才会越好啊
你为什么要分开做呀
不要忘记啊
咱之前强调一点什么
x0 和x一之间有关系吗
我刚才是不是说一点数据样本之间它都是一个独立的
既然数据样本之间是独立的
希特零是不是对应的是x0
吉特一
它是不是对应的是x1
x0 和x一都没关系
他俩所对应的参数
那更扯不上一丁点关系吧
所以啊在这里大家一定要明白一点
当我们在进行优化过程当中
也就相当于这里
比如这是初始位置
在这个三维当中啊
可以可以可以这么解释
就是c的零表示着一个轴
c一表示一个轴
那我要去前进的时候
我肯定找斯特林来合适的一个方向
再找希特一合适的一个方向
希特一和希特里他俩一起前进
最终呢找到了一个我前进完之后综合的一个结果
这个是咱目标函数怎么去做的
其他理由c一都会对酒产生影响
我要分别进行优化
什么意思啊
我要第一步先用j对我的一个cd求偏导
得出来我的一个方向
再用j对我的一个c一求偏导
得到c一的一个方向吧
自己玩自己的
他俩之间没有任何的一个影响这个意思
那寻找山谷最低点
刚才给大家解释了
我们大概几个步骤
其实很简单
第一步要求什么
第一步我们先求偏导
第二步呢沿着偏导方向走那么一小步
我该着重强调一点
一定是一小步
走快了
我们可能会跌倒的
什么叫跌倒
就是一方面你这大刀阔斧的
你的一个方向可能不对了
可能不收敛
可能收敛效果不好
这个头称为一个跌倒了
然后呢按照当前方向去更新我们的参数
更新完参数是不是找下一个电脑重新的再做计算就可以了
这个就是我们整体的一个流程
只不过说它是一个反复的一个过程
然后呢他又下降咱这个东西啊
哎你说这个下山
那怎么样在数学当中描述出来这样一个下山任务呢
再来看一下吧

刚才啊咱们是不是指定出一个风神
那个方程里边呢之前是这么指定的
我给大家写一下
1/2我就不写角标了
y减去一个h c tx是吧
一个平方向形成角标
这不解角还不行
这块都是有个a的吧
那此时你看是什么
这是对于某一个样本求它的一个损失函数吧
那你说你当前建立出来这个模型是只满足于一个样本的
还是尽可能多的满足一个样本呢
应该尽可能多吧
那当你评估的时候是不是也一样的
评估的时候
你说当前这个模型做的好不好
一个模型比如我们建立了多个模型
一个模型m一吧
m一的一个lost等于0.4
m2 的一个loss等于0.1
那哪个号啊
肯定m2 的吧
你的损失函数我希望越低越好
那肯定等于低的好
那此时你说你在评估的过程当中只拿出来一个样本去评估吗
不是吧
还是要多拿一些吧
这里我就提到了一点
叫做一个m啊
多了一项m m这样一件事
我把每一个样本
你看从iphone一开始到m这是个累加
这后面算它的损失吧
又加了一个平方向
为什么加个平方向让结果差异更大一些吧
这样一个事
那此时呢此时咱得到这个结果
就像这个事儿
比如说一个样本是最终就是真实值是一个一
预测值是个零二
那可能是一个1-0的一个平方
等一个一是吧
那如果说这块是个二
主要是个点一的时候
你可能认为做的稍微有点不好
二的时候你可能就认为他做的很不好了
做的越不好的前提下
我是不是越让他得到风神应该越放大一些啊
啊就是这样一个事
加个平方向
那此时呢在这一块我算了一个平均吧
一开始先加了m个
再除上m
这是我算了一个平均啊
虽然平日之后把它当做第一个lofunction这一套列出来了
此时假设说我要对某一个系统
某一个sat呢
随便一个我就先拿这个sj来进行表示了
注意一点这个角标这些角标很重要
以后你自己写代码的时候
我就这么跟大家说吧
角标200%会出现各种各样的问题的
因为我之前看过很多同学写这个200%绝对出问题了
咱一起看一看
注意点来看这点
接下来我要干什么
是不是要对上面这个式子求偏导是吧
求偏导的过程当中等于什么来看吧
求偏导这一块它是什么
然后呢这一块比如说我写完整一点吧
这是一个c e x e
然后呢再加上一个c2 x2
无论这块加多少个
比如说这块加了一个sj x j
当你求偏导过程当中
你说前面这几项有用吗
因为sj和sat一和sr都没关系吧
所以说一求偏导都没有
这都是常数项吧
那只有什么
只剩下x j了吧
只剩x j x j落下来就可以了
平方向一个数对x平方求偏导等于什么
等于一个2x吧
所以说这一块二直接落下来就完事儿了
二直接落下来晚了
那注意观察一点之后有个负号啥意思啊
来看一看里边这个东西里边什么
它是负的一个hc的吧
比如说一个负x负x全员都到底多少-1吧
所以说负号要提出来啊
千万不要忘记点
这边还有个负号啊
负号解释什么意思啊
a分之一是不是求一个平均的里边这一项平方项是不是没了
x j怎么解释
怎么来的
是不是该给大家解释过了
只对dj列它有影响吧
来看最后这个x i j i是什么
i是当前这是第几个样本吧
j呢它是当前这个样本的第几列吧
比如说这个意思
我找到dj这是一个i表示样本
这是一个j表示一个列
x i j表示这是一个什么这一个数吧
就是这样一个意思
那最后呢再来看现在我去玩一个偏导得什么
得到了一个方向吧
我是不是要沿着这个方向走啊
那该怎么走啊
咱刚才说的是梯度啥呀
梯度什么东西啊
梯度下降吧
哎是不是梯度下降
我该说怎么样
梯度的方向
这个沿着梯度的反方向叫做下降吧
踢到反方向走的描述啊
是不是加上一个负号
就是一个
比如说我说现在这东西这东西写一个什么呢
写一个w写个w吧
w叫做一个梯度
那梯度反方向它是不是一个负w啊
所以说此时我需要这块再加上一个负号吧
表示这我的一个t度反方向吧
负负得正数变成正了
所以说接下来沿着梯度的反方向走一步
那是不是用sj当前位置加上你走的这一步
就是我得到新的一个更新完的一个吉他j参数
应该达到什么样的一个位置的一个结果了
这点大家应该能理解吧
比较简单吧
在这里没有太多的一个复杂的东西给大家解释了
符号什么意思啊
就是反方向这个求平均这一块就是我求一个梯度
梯度修完之后
由于反方向负负得正
接下来呢负负得正之后
从提取它的一个位置
本身有起始位置
cj吧
走了一步加上一个走一步得到了现在这一步叫做一个cg撇
这一步完成什么了
参数的一个更新了吧
这个呀就是咱当前的一个核心的核心的一个结果了
得到了一个参数的更新

发表评论

邮箱地址不会被公开。 必填项已用*标注