用随机梯度下降来优化人生
要有目标。你需要有目标。短的也好，长的也好。认真定下的也好，别人那里捡的也好。就跟随机梯度下降需要有个目标函数一样。
目标要大。不管是人生目标还是目标函数，你最好不要知道最后可以走到哪里。如果你知道，那么你的目标就太简单了，可能是个凸函数。你可以在一开始的时候给自己一些小目标，例如期末考个80分，训练一个线性模型。但接下来得有更大的目标，财富自由也好，100亿参数的变形金刚也好，得足够一颗赛艇。
坚持走。不管你的目标多复杂，随机梯度下降都是最简单的。每一次你找一个大概还行的方向（梯度），然后迈一步（下降）。两个核心要素是方向和步子的长短。但最重要的是你得一直走下去，能多走几步就多走几步。
痛苦的卷。每一步里你都在试图改变你自己或者你的模型参数。改变带来痛苦。但没有改变就没有进步。你过得很痛苦不代表在朝着目标走，因为你可能走反了。但过得很舒服那一定在原地踏步。需要时刻跟自己作对。
可以躺平。你用你内心的激情来迈步子。步子太小走不动，步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。
四处看看。每一步走的方向是你对世界的认识。如果你探索的世界不怎么变化，那么要么你的目标太简单，要么你困在你的舒适区了。随机梯度下降的第一个词是随机，就是你需要四处走走，看过很多地方，做些错误的决定，这样你可以在前期迈过一些不是很好的舒适区。
快也是慢。你没有必要特意去追求找到最好的方向和最合适的步子。你身边当然会有幸运之子，他们每一步都在别人前面。但经验告诉我们，随机梯度下降前期进度太快，后期可能乏力。就是说你过早的找到一个舒适区，忘了世界有多大。所以你不要急，前面徘徊一段时间不是坏事。成名无需太早。
赢在起点。起点当然重要。如果你在终点附近起步，可以少走很多路。而且终点附近的路都比较平，走着舒服。当你发现别人不如你的时候，看看自己站在哪里。可能你就是运气很好，赢在了起跑线。如果你跟别人在同一起跑线，不见得你能做更好。
很远也能到达。如果你是在随机起点，那么做好准备前面的路会非常不平坦。越远离终点，越人迹罕见。四处都是悬崖。但随机梯度下降告诉我们，不管起点在哪里，最后得到的解都差不多。当然这个前提是你得一直按照梯度的方向走下去。如果中间梯度炸掉了，那么你随机一个起点，调整步子节奏，重新来。
独一无二。也许大家有着差不多的目标，在差不多的时间毕业买房结婚生娃。但每一步里，每个人内心中看到的世界都不一样，导致走的路不一样。你如果跑多次随机梯度下降，在各个时间点的目标函数值可能都差不多，但每次的参数千差万别。不会有人关心你每次训练出来的模型里面参数具体是什么值，除了你自己。
简单最好 。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准，想步子迈最大。但如果你的目标很复杂，简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前，每次抬头瞄一眼世界，快速做个决定，然后迈一小步。小步快跑。只要你有目标，不要停，就能到达。
用随机梯度下降来优化人生 - 李沐的文章 - 知乎
https://zhuanlan.zhihu.com/p/414009313评论区
大多数人碰到的是算力不够😂
2021-09-26 · 热评回复1002
雇人，用别人的算力
2021-09-26回复57
所以条件不够就不做大任务，先在小任务上积累元学习的经验
2021-09-26回复42查看全部 16 条回复
开个玩笑。。。有模型继承和预训练的是不是人生赢家。。。
2021-09-26 · 热评回复816
直接继承父类之后 只需要重新编写一下父类的构造函数就完事了
懒一点的可以加个接口
子类只需要调用一下
run就完了
2021-09-26回复130
看到ground truth的不是更厉害了hhh
2021-09-26回复63查看全部 15 条回复
人生就是优化，不过有的人出生拿着4路3090，有的人出生就是集显罢了。
2021-09-26 · 热评回复326
有的人最强算力 就是一块声卡
2021-09-28回复67
所以有人能不断进行尝试，多跑几个“模型”；也有人没啥试错机会，一辈子只能跑一个“模型”
2021-09-28回复32查看全部 9 条回复
除了人生，中国的”五年规划”也符合随机梯度下降。先定”宏愿”，再列出需要的所有行动(梯度)，然后整个社会就慢慢的朝着既定的目标优化。有时候还要调整一下 learning rate，防止经济增长过快，破坏了环境。相比起来，人生更难，每一步的”梯度”怎么找，”步幅”选多大都难定，最麻烦的是”奖励延时”，不能时刻看到离目标有多远，”损失函数”减小了多少，没有反馈显示自己走在正确的道路上。也许对个人来说，”自我精神上的不满足感”才是那个真正的损失函数。
2021-09-26 · 热评回复178
所有游戏能让人沉迷的原因其实是看得见的损失函数给的及时反馈.
2021-09-28回复39
所以中国政策梯度可能是10多亿样本训练出集体神经网络最优路径 但是每个人的目标和国家的目标是一致的么被抛弃和清洗的边缘样本数据只是数字吗？
2022-05-06回复5展开其他 2 条回复
我曾踏足山巅，也曾进入低谷，二者都让我受益良多：学习率太大了
2021-09-26回复149
哈哈哈哈
2021-09-26回复1
什么宝石骑士
2021-10-08回复1
沐神压力大到梯度爆炸怎么搞
2021-09-26回复118
作者
那你需要躺平了
2021-09-26 · 热评回复191
batch norm 一下，和大家一起躺平