数学
学数学专业的人是怎么看待统计学的？ – BugBuster喵的回答 – 知乎
https://www.zhihu.com/question/424487147/answer/2054954793295262473
数学系的本科前两年，几乎完全被分析、代数、几何三大块占据。从数学分析讲极限的epsilon-delta语言开始，纯数学就在给学生灌输一种近乎变态的逻辑绝对主义。在纯数的世界里，结论的正确性不依赖于任何物理世界的观测，只依赖于公理系统和逻辑演绎。
你学实变函数，要在勒贝格测度的框架下讨论积分的收敛性，去搞清楚几乎处处收敛和依测度收敛到底有什么微小的差别。你学近世代数，要研究群环域的同构和同态，去证明那些在现实生活中永远摸不到的抽象结构。你学拓扑学，要分辨各种空间里的开集和闭集，去搞懂什么叫紧致性什么叫连通性。这种训练把人的思维打磨得异常锋利，要求每一步推导都有无懈可击的理论支撑。条件A必然推导出结论B，哪怕差一丝一毫，整个证明就要全部推倒重来。
在这种绝对完美的理论堡垒里待久了，数学系学生很容易产生一种强烈的学术洁癖。他们习惯了上帝视角的推演，认为只要给定了初始条件和演化规则，一切结果都是注定的。
然后到了大三，必修课数理统计来了。文化冲击就此开始。
当一个习惯了在测度论里寻找绝对严密性的纯数学生，第一次翻开传统应用统计学的教材时，他的内心大概率是崩溃的。统计学的核心是处理不确定性，是基于有限的、带有大量噪声的样本对未知的总体进行推断。在纯数学生看来，这种操作简直是对严谨数学的亵渎。
比如讲到线性回归分析，老师在黑板上写下模型，然后轻描淡写地加上一句，我们假设误差项独立同分布且服从均值为零的正态分布。纯数学生立刻会在脑子里拉响警报。凭什么现实世界的数据就要服从正态分布？独立同分布的假设在现实中怎么可能完全成立？如果不成立，后面的所有推导不全成了空中楼阁？
再比如讲到假设检验，显著性水平alpha通常设定为百分之五。纯数学生会举手提问，为什么是百分之五？为什么不能是百分之四点三或者百分之六点一？老师往往只能无奈地回答，这是业内约定俗成的传统。这种完全基于经验和人为规定的参数，在推崇公理和定理的纯数体系里是不可思议的。在他们看来，统计学里充满了人为的妥协、近似的估计以及根本无法完全验证的假设。这种偏向经验科学的学科，在很多心高气傲的纯数学生眼里，根本算不上真正的数学，顶多是一门高级的算术应用课。
这就导致了一个非常普遍的现象。很多顶尖高校的数学系本科生，对泛函分析和偏微分方程倾注了全部心血，但对数理统计和时间序列分析这种课则是糊弄过关，觉得只要考前突击背熟了各种分布的密度函数和检验统计量的公式，能应付期末考试就行了。他们不仅没有学到统计学的精髓，反而对这种处理不确定性的思维方式产生了深深的排斥。
但是，这种象牙塔里的学术傲慢，在毕业季的招聘会上通常会被击得粉碎。
这就引出了数学系学生向统计学妥协的第二阶段，也就是残酷的现实就业压力。
客观事实是，纯数学在工业界几乎没有任何直接对应的岗位。企业招人是为了解决实际问题、创造商业利润，而不是为了资助你证明某个百年猜想。除了极少数能够申请到顶尖名校全额奖学金继续读博，最终留在高校做基础研究的学术精英之外，绝大多数数学系学生都必须面对转行或者做应用的问题。
这时候他们环顾四周，发现不管是在华尔街做量化交易，还是在互联网大厂做算法工程师，或者在医药公司做生物统计分析师，核心的技能要求全都指向了同一个方向，那就是统计学。
每年校招我们都会收到大量数学系研究生的简历。这些应届生在面试时，往往喜欢在白板上展示他们推导复杂偏微分方程的能力，或者在代数拓扑上的造诣。但是当我给他们出一道相当现实的业务题时，很多人就傻眼了。
题目通常是这样的。我们公司上线了一个新的短视频推荐算法，经过两周的AB测试，实验组的用户日均活跃时长比对照组高了三分钟，但是实验组的视频完播率却下降了百分之一。数据本身存在明显的长尾分布，且两组样本的方差不齐。现在请你评估，这个新算法到底能不能全量发布。
习惯了纯数思维的学生，第一反应是去建立一个确定的函数映射，试图找出一个绝对最优解。但是真实的业务环境是极度混乱的。数据里充满了周末效应、节假日波动、甚至数据管道延迟导致的缺失值。这里的核心根本不是求解析解，而是要在充满不确定的环境里，用统计学的方法去框定风险，去评估收益。
这时候，真正懂统计学的数学系学生就会脱颖而出。我招过一个本硕都在国内排名前三高校读纯数的小伙子。他一开始也经历过这种业务水土不服。有一次业务部门要求评估一个极其复杂的营销活动效果，普通分析师套用传统的T检验直接得出结论说活动有效。但他敏锐地察觉到数据呈现严重的右偏长尾特征，传统均值检验在这里完全失效。
他放弃了参数检验，用自助法也就是Bootstrap重新估计了置信区间，还发现社交网络这种带有强网络效应的场景下，传统的AB测试违背了稳定单位处理值假设，也就是实验组的动作会影响对照组。为了解决这个问题，他直接调动自己扎实的图论基础，结合因果推断中的分群随机化实验设计，对整个社交网络图进行了聚类切割，强行在物理层面隔离了信息溢出效应。
如果你想快速建立这种从数据中寻找反事实框架的思维，有几个因果推断书我比较推荐。它们会结合Python代码和真实的社会问题去寻找因果关系。
当一个纯数背景的学生，能够把他在图论里的严谨逻辑，完美地迁移到因果推断的实验设计中时，他产出的商业价值是不可估量的。那个项目帮公司挽回了千万级别的营销预算浪费。这就是统计学给数学人带来的现实变现能力。数学系学生一旦放下了身段去拥抱统计学里的妥协，他们在底层逻辑上的深度是传统应用统计专业的学生很难赶上的。
另一个代表性的领域是量化金融。在这个圈子里，纯数和统计的碰撞更加直接和惨烈。
很多人以为量化金融就是解随机微分方程，算期权定价。实际上在目前的二级市场，像Black-Scholes这种优美的解析模型，因为其假设过于理想化，在实际的高频交易中能直接产生超额收益的空间已经非常小了。现在的量化私募，核心战场是统计套利和中低频的机器学习预测。
我有个师弟，本科是学微分几何的，绝对的硬核纯数脑袋。毕业后去了上海一家头部量化私募做研究员。他刚开始的半年异常痛苦。他总是试图用纯微分方程的思路去预测股票价格的轨迹，完全忽视了金融时间序列中强烈的噪声和非平稳特征。他的模型在历史数据回测的时候表现完美，收益曲线极其平滑，结果一旦实盘上线就亏得一塌糊涂。
我去他公司找他喝酒，他苦恼地抓着头发问我，为什么数学公式在市场面前不灵了。我告诉他，因为他陷入了数学人最容易犯的错误，也就是过度拟合。他把市场里的随机噪声当成了确定的信号来学习，他的模型太复杂太完美了，以至于失去了对未来未知数据的泛化能力。
后来他被逼着去疯狂补习高级时间序列分析、稳健统计以及机器学习理论。当他开始理解统计学中的偏差与方差权衡法则，当他明白如何用带有正则化项的岭回归和套索回归来防止模型过拟合时，他的纯数功底终于发挥了作用。
他利用深厚的线性代数基础，对高维的协方差矩阵进行了精准的特征值收缩估计。一般人处理协方差矩阵求逆，遇到多重共线性就直接报错卡死了。他自己写了一套算法，利用奇异值分解把矩阵降维，硬是把投资组合优化的稳定性提升了一大截。两年后他成了公司的核心策略研究员，年终奖拿到手软。这就是纯数向统计学低头，然后爆发出巨大威力的真实写照。你必须承认市场的随机性，必须用统计学的宽容去处理噪声，然后用纯数学的严谨去优化具体的算法环节。
生物统计和临床试验则是另一个必须提及的硬核方向。这个方向可以说是数学系学生转行最对口、也是对严谨性要求最高的分支。
在这个领域，统计学的严谨程度几乎决定了医药公司的生死。一个抗癌新药的研发可能耗资几十亿美金，耗时十年，最后能不能获批上市，全看三期临床试验的那一份统计分析报告。FDA的审批专家挑剔程度不亚于数学期刊的审稿人。
你不仅要懂生存分析中的卡普兰-迈耶估计量和柯克斯比例风险模型，你还要严密地处理试验中患者因为各种原因脱落失访的问题。这种对数据缺失机制的处理，要求分析师具备很强的概率论和高等数理统计功底。在这个领域，半路出家的应用统计人员很难走得远，因为他们往往知其然不知其所以然。反而是那些受过严苛纯数推导训练，后来转向生统的博士们，能够写出毫无破绽的统计分析计划，成为各大跨国药企高薪争抢的香饽饽。我认识好几个搞代数拓扑实在憋不出论文的博士，最后转去读了生统，现在在北卡三角园区过得非常滋润，收入社会地位双丰收。
既然统计学对数学专业的学生如此重要，那么已经习惯了纯数逻辑的学生，到底该如何顺畅地完成认知转换并学好统计学呢。
我强烈反对数学专业的学生直接去读那些面向商科或者普通工科的应用统计学教材。那些教材为了通俗易懂，通常会省去所有复杂的数学证明，直接给出结论和公式。纯数学生读这种书会觉得十分难受，因为这违背了他们长期建立起来的必须搞懂底层逻辑的学术信仰。
数学系学生学统计，必须走一条从测度论到高等数理统计，再到现代统计学习理论的硬核路线。这条路虽然难走，但是一旦走通，你的基础将无比扎实。这里我实打实地推荐几套核心资源和学习路径。
第一关是概率论的重构。本科普通的概率论往往只讲到黎曼积分的层面，这远远不够。数学系学生如果要彻底打通统计学的任督二脉，必须要回到实变函数和测度论的基础上重新认识概率。
这里首推Durrett写的Probability Theory and Examples。这本书是很多顶尖名校统计系博士的资格考试指定用书。它完全用测度论的语言严格定义了概率空间、随机变量和期望。当你在这本书里看到条件期望被严密地定义为某个子测度代数上的拉东尼科迪姆导数时，作为数学系学生的你一定会有一种通体舒畅的感觉。这就是用纯数的语言在解释随机性，它会让你彻底摒弃统计学不够严谨的刻板印象。大数定律和中心极限定理在这本书里有着异常漂亮的实分析证明，看完之后你会对概率的本质有全新的认知。
第二关是经典数理统计。度过了测度论这一关，进入数理统计阶段。这时候不要去读国内大部分本科用的干瘪教材。直接去啃Casella和Berger合著的Statistical Inference。
这本书可以说是数理统计领域的封神之作。它详细地推导了点估计、区间估计和假设检验背后的数学逻辑。它详细讨论了充分统计量、完备性、拉奥克拉美不等式。数学系学生在阅读这本书时，会发现寻找最优估计量的过程，本质上就是在特定的参数空间里求解泛函极值的问题。当统计学的问题被转化为优化问题和空间几何问题时，纯数学生就完全进入了自己熟悉的主场。你会发现，极大似然估计不仅是一个直观的猜测，它在一定的正则条件下具有渐近正态性和渐近有效性，这些都是可以通过泰勒展开和依概率收敛严格证明的。
第三关是现代高级统计学和机器学习的融合。现在的统计学早就超越了算算均值方差的时代。在大数据时代，样本特征维度动辄几千上万，高维统计成了学术界和工业界的最前沿。
当样本量小于特征维度时，经典的极大似然估计会彻底失效。这时候需要用到大量的随机矩阵理论、集中不等式和高维概率知识。这个领域纯粹就是顶尖数学人神仙打架的赛场。如果你想进入人工智能和机器学习的核心算法领域，Hastie等人编写的The Elements of Statistical Learning是你必须反复精读的圣经。
纯数背景的人读这本书会有极大的优势。因为机器学习中支持向量机的再生核理论，本质上是泛函分析里的希尔伯特空间理论。深度学习中的反向传播和梯度下降，核心是多元微积分和凸优化。图神经网络底层的逻辑是代数图论和谱分析。当你用统计推断的视角去重新解构所有的机器学习算法时，你会站在一个相当高的视角来看待AI。别人只是在调包炼丹，凭感觉调整学习率，而你清楚地知道每一个超参数改变时，在高维损失函数空间里发生了几何拓扑上的什么变化。
除了理论学习，思维方式的转变更加至关重要。
数学系学生必须要克服对数据脏乱差的生理性厌恶。纯数的世界是干净的，没有噪声。但是在现实世界的统计分析中，数据永远是残缺的、有偏的、充满异常值的。很多数学高材生在面对真实数据时，第一反应是这数据没法用，不符合正态分布，不满足独立性，直接想放弃。
但是真实的统计学实践要求你具备很强的妥协能力和工程能力。你需要熟练掌握Python或者R语言，需要懂得如何清洗数据，如何做特征工程，如何处理缺失值。更重要的是，你要明白统计模型永远只是对现实世界粗糙的近似。
统计学界有一句流传很广的名言，所有模型都是错的，但有些是有用的。数学人必须要接受这种不完美的哲学。不要总想着证明一个放之四海而皆准的绝对定理，而是要在有限的算力和有限的时间内，给业务部门提供一个错误率在可控范围内、并且能够产生实际商业价值的结论。
我们来深入探讨一下这种思维转变背后的哲学差异。这部分内容对数学系学生来说是最难跨越的心魔。
纯数学是典型的演绎逻辑。从几条不证自明的公理出发，比如皮亚诺公理或者ZFC集合论，通过严密的逻辑法则，推导出大厦般的定理体系。只要前提正确，过程无误，结论就是绝对真理。这种思维方式极具美感，但也相当封闭。它不依赖于外部世界的反馈。
而统计学是典型的归纳逻辑。你手里只有现实世界抛给你的一些凌乱的数据碎片，也就是样本。你需要通过这些碎片去逆推那个隐藏在暗处的真相，也就是总体分布。归纳逻辑注定是带有风险的，因为你永远无法观测到所有的样本。你永远无法百分之百确定你的推断是绝对正确的。这就是为什么统计学里充满了置信区间、显著性水平、第一类错误和第二类错误。
习惯了绝对真理的数学人，一开始会相当反感这种时刻与错误率共存的学科。他们觉得承认可能犯错就是一种软弱。但是随着他们阅历的加深，他们在社会上摸爬滚打几年后就会发现，现实世界是不讲武德的，它根本不按公理出牌。
在充满未知和风险的商业博弈中，无论是股市交易还是广告投放，我们都不需要绝对的确信，我们只需要概率上的胜算。只要你的模型能够保证长期期望收益为正，只要你能把犯错的概率控制在业务可以承受的底线之内，你就是赢家。当数学人领悟了这一点，他们就能真正把纯数的内功和统计学的招式结合起来。
再举一个相当能说明问题的前沿学术融合案例。近十年来，最优传输理论在统计学和机器学习领域大放异彩。
这个最初由十八世纪法国数学家蒙日提出的关于如何用最低成本运送土堆的纯数学问题，后来被苏联数学家康托罗维奇在二战期间发展成线性规划的形式，并最终让法国天才数学家维拉尼拿到了数学界最高荣誉菲尔兹奖。最优传输在很长一段时间里是一个相当深奥的纯微积分和测度论问题，纯粹是数学家自娱自乐的玩具。
但是现在情况完全变了。最优传输理论被大量应用在现代统计学中的生成模型和域适应问题上。因为最优传输距离，也就是Wasserstein距离，提供了一种比传统的统计学散度更加稳定、更加几何化的度量不同概率分布之间差异的方法。在处理支撑集不重合的两个分布时，传统统计学的KL散度会直接爆炸失效，而最优传输距离依然能给出一个平滑的梯度指导模型优化。
这就明白无误地告诉我们，纯数学和统计学在最高的山峰上是完全相连的。你以为你在本科和研究生阶段学的那些毫无应用价值的测度论、泛函分析和偏微分方程只是折磨人的考试工具，但在几十年后的某一天，这些纯粹的数学工具可能就成了解决最前沿统计学和人工智能难题的唯一钥匙。
为了让这篇文章更加充实，也为了给学弟学妹们指一条明路，我想再详细聊聊在日常工作中，数学系学生转做数据科学或者统计分析时，容易踩的几个大坑，以及如何避坑。
第一个坑是唯算法论，忽视业务常识。数学系学生最喜欢干的事情就是拿到数据就开始跑模型，什么XGBoost、随机森林、甚至深度神经网络，哪个时髦用哪个。他们觉得只要模型复杂度足够高，损失函数降得足够低，任务就完成了。
但是统计学的精髓在于解释现实。如果你做出来的模型显示，用户的年龄和购买意愿成反比，但你的常识告诉你这是个针对中老年人的保健品业务，这时候你就不能盲目相信算法的输出。数学系学生往往缺乏对数据生成机制的敬畏心。数据不是天上掉下来的，是业务流程产生的。如果有埋点错误，如果有系统bug，你用再高级的数学模型算出来的也是垃圾。垃圾进，垃圾出。因此，数学系学生做统计，必须要强迫自己去懂业务，去和一线的销售、产品经理聊天，搞清楚每一个字段背后的物理含义，然后再去建立数学模型。
为了避免这种脱离业务自嗨的毛病，大家可以去看下真实工业界的例子，去看看他们是怎么把底层逻辑和复杂的现实业务场景结合起来的，只有懂了这些指标背后的物理含义，你的高阶模型才有价值。
第二个坑是过度追求解析解，不愿意用近似方法。在纯数里，求不出解析解通常意味着证明失败。但在统计学和机器学习里，百分之九十九的实际问题都是没有解析解的。
比如在做贝叶斯统计推断时，后验分布的积分通常极其复杂，根本算不出来。很多数学系学生在这里就卡壳了，死磕积分技巧。真正的统计学家早就转去使用马尔可夫链蒙特卡洛方法了，或者用变分推断去逼近。你要学会用计算资源去换取数学推导的精力。只要近似算法收敛，并且误差在可控范围内，这就是一个好方法。放下对解析解的执念，拥抱数值计算和随机采样，是数学系学生拥抱现代统计学必须跨过的一道坎。
第三个坑是沟通成本太高。数学系的人习惯了用符号和公式交流。但是在职场上，你需要把复杂的统计结论汇报给完全不懂数学的业务老板。
如果你在PPT里堆满了矩阵求导和极限符号，老板只会觉得你在故弄玄虚。一个优秀的统计学从业者，必须具备把复杂的数学模型降维翻译成大白话的能力。你要能用业务能听懂的语言，告诉他们这个置信区间代表什么风险，那个p值意味着什么机会。沟通能力，往往决定了数学系学生在职场上的天花板。
最后，我的建议是。
首先，坚决捍卫你的数学基础课程。不管你未来想做什么，是不是想早点转行赚钱，数学分析、高等代数、概率论这三门课必须学得十分扎实。绝对不能因为觉得它们没用就得过且过。这是你未来安身立命的本钱，是你区别于其他普通专业从业者的核心护城河。你的逻辑严密程度、对高维空间和抽象代数结构的直觉，全部来源于这些最基础的折磨。
其次，尽早放弃纯粹的学术洁癖，主动拥抱统计学和计算机编程。不要觉得做数据清洗和参数估计是脏活累活，配不上你高贵的纯数大脑。在你的必修课之外，一定要去选修应用时间序列分析、多元统计分析以及机器学习。去实际跑一跑Kaggle上的真实数据集，去感受一下当独立同分布假设不成立时，模型崩溃的惨状。这种现实的捶打会让你对理论有更加深刻的理解。
再去掌握至少一门主流的编程语言，强烈建议熟练掌握Python或者C++。统计学的方法再精妙，没有算力的支撑，没有代码的实现，就永远只停留在纸上。你要让自己不仅能推导出复杂的似然函数，还能手写代码通过梯度下降把参数给一行一行地解出来。理论加工程，才是现在这个时代最稀缺的复合型人才。
总而言之，数学专业的学生看待统计学，整个过程就像是一场从叛逆到成熟的恋爱。
一开始你觉得它不够完美，配不上你纯粹的逻辑殿堂。你鄙视它到处充满了妥协和人造的假设。但是当你被现实社会的复杂性和随机性狠狠毒打之后，当你发现单纯的演绎逻辑无法解释这个混沌的世界时，你会发现统计学一直在那里默默地等着你。
它为你提供了一套在混乱中建立秩序的工具。它把纯数学的逻辑深度，和现实世界的不确定性完美地结合在了一起。当你真正把测度论、泛函分析和高级数理统计彻底融会贯通时，你会发现，你不再是一个只能在黑板上证明定理的脆弱书生。
你变成了一个能够在极度不确定的复杂现实世界里，用最严密的数学逻辑去寻找最优解的顶尖架构师。你可以去华尔街做量化交易，去硅谷做大模型算法，去顶尖药企做新药研发的生统专家。你的纯数背景不再是找工作的阻碍，而是你深不可测的底蕴。