01 · 场景

加一颗行星,一次成功一次落空

1846 年 9 月,勒维耶发现,天王星的轨道有偏差,他假设,外面还有一颗没人见过的行星,算出了位置,柏林天文台的伽勒,当晚就在预言的位置附近,找到了海王星。1859 年,类似的偏差又出现了:水星的近日点,每百年,比牛顿的理论,多转 43 角秒。勒维耶照方抓药,提出水星轨道的内侧,藏着一颗“火神星”。天文学家找了几十年,有人声称目击,有人忙着命名,始终没有实锤。1915 年 11 月,爱因斯坦用广义相对论,算出了恰好 43 角秒的附加进动,不需要任何新的行星。同样是往宇宙里,加一个实体,一次名垂青史,一次空手而归,区别在于,有没有观测来兜底。

02 · 原理

一张图看懂它怎么运转

FIG. 原理图奥卡姆剃刀 · Occam's Razor

剃刀不判断对错,它只在解释力打平的时候,帮你下注:先比解释力,再数假设。

03 · 证据

多项式阶数越高,训练误差越低,预测越差草稿示意

训练误差,随着复杂度单调下降,测试误差,先降后升,最低点,就是剃刀该下刀的地方。

来源:偏差方差权衡的经典教学曲线,示意数据,参考 Hastie 等人《统计学习基础》第7章

04 · 用法

照着做,一共 5 步

  1. 把候选的解释,全部列出来先不筛选,每个假设,写清楚它依赖哪些前提和实体。
  2. 先比解释力,再谈简单能覆盖全部事实的,才留下,解释力差一截的,直接淘汰,剃刀不参与这一步。
  3. 解释力打平的时候,数假设新增的、观测不到的、专门为这个现象定制的,每一条都记下来。
  4. 选假设最少的,并写下推翻它的条件比如火神星,只要被拍到一次,结论立刻作废。
  5. 新证据出现,就重新跑一遍剃刀给的,是当前最优的赌注,不是终审判决。

05 · 练习

练一练:3 道题,看你会不会用

06 · 边界

什么时候它会坑你

异常真的来自未知的实体,比如 1846 年的海王星

模型会说先别假设新行星,找更简单的解释。

现实是勒维耶加了一颗行星,当晚就被望远镜证实了。剃刀是启发式,赌错了,要认。

两个解释的解释力,有明显的差距

模型会说为了简单,牺牲一点解释力,也值。

现实是剃刀只在解释力相当的时候才生效。爱因斯坦提醒过:凡事力求简单,但不能更简单。

拿“简单”当武器,攻击异见

模型会说你的理论更复杂,所以更可能错。

现实是简单不是证据。量子力学比经典物理复杂,但它是对的。复杂度,不是真伪的判据。

生态、经济这类多因素的系统

模型会说一个原因,就够了。

现实是单因的解释,常常砍掉了真实存在的机制,简单在这里,容易滑向错误。

08 · 出处

出处与延伸阅读

  1. 托马斯·利文森《猎取火神星》(2015),海王星与火神星始末可靠二手豆瓣搜索 ↗
  2. 牛顿《自然哲学的数学原理》推理法则一(1687)可靠二手豆瓣搜索 ↗
  3. 赤池弘次, A New Look at the Statistical Model Identification, IEEE Transactions on Automatic Control, 1974一手核实查看原文 ↗
  4. Hastie, Tibshirani, Friedman《统计学习基础》第7章,偏差方差权衡可靠二手豆瓣搜索 ↗