凌晨,消息已经发出三小时,对方还没有回复。脑中开始冒出解释:对方在忙、没有看见、睡着了,或是经历了一连串复杂的事情。故事能讲得通,并不意味着其中每个新增环节都有证据。

奥卡姆剃刀通常被用来提醒:在解释能力与证据支持相近时,减少不必要的额外假设。 这个前提必须保留。假设少,方便比较和检验;是否正确,还要继续看证据。[1]

一把十四世纪的剃刀

这条思想常与14世纪英格兰修士、哲学家奥卡姆的威廉联系起来。Pluralitas non est ponenda sine necessitate,大意是不应无必要地设定复多;“如无必要,勿增实体”也成为后来常用的概括。

它节省的不是思考,而是那些尚未得到支持、却已经被加进解释里的东西。比较需要在证据和解释能力相近的条件下进行;如果简单版本连已知事实都解释不了,就不能凭短小让它获胜。

火星倒退,怎样挑战完美的圆

一晚晚看火星,它相对恒星的位置通常沿一个方向移动,有时却会暂时“倒着走”。这是视运动的逆行,并不表示火星沿轨道突然掉头。

托勒密传统用均轮、本轮等几何安排描述行星运动。这些模型包含真实的预测与观测约束;把它们说成可以任意加圆、因此永远不会出错,过于轻率。圆的数量本身,也不是判定理论优劣的充分证据。

1609年,开普勒发表《新天文学》,以椭圆轨道、太阳位于焦点及等面积规律等关系约束运动。改变的不只是线条少了,而是模型怎样统一解释观测、又怎样接受新观测检验。[3]

物理学中还有一句拟合大象的玩笑。Dyson在2004年的回忆中写到,Fermi曾转述von Neumann的说法:四个参数可以拟合出大象,再多一个还能让鼻子动。这是对自由参数过多的警醒;2010年甚至真有论文用四个复数参数构造了象形曲线。[4][5]

图形可以拟合得很像,仍然未必抓住产生它的机制。下一次尚未见到的观测,才会给解释施加新的约束。

每多一环,都要问它凭什么成立

假设五个相互独立的事件,每个发生概率都是 80%,它们全部发生的概率是:

0.8 × 0.8 × 0.8 × 0.8 × 0.8 = 0.32768

结果约为 32.77%。一环是80%,两环64%,三环51.2%,四环40.96%,五环才降到32.77%;这串下降来自“全部条件同时成立”的假设。一条长解释需要许多环节同时成立,就需要分别说明这些环节由什么支持。

因此,不能仅凭假设数量,断言“睡着了”就是真相。更有用的做法,是先区分已经观察到的事实与自己补上的故事,再寻找能够区分不同解释的新信息。

十个点,可以被解释得过于完美

统计模型也面对类似问题。模型越灵活,通常越容易贴合已经看过的数据;其中一些灵活性却可能用于追逐噪声,无法帮助预测新观测。

下面是一组自行构造的例子:基础关系为 y=0.5+x,在十个训练点上添加固定的小幅扰动。分别拟合一条直线,以及一条恰好穿过十点的九次多项式。

同一组合成数据的线性拟合与九次插值十个训练点来自线性关系加固定扰动。九次曲线穿过全部训练点,却在新观测x等于0.94、y等于1.44处偏离更多。0.000.250.500.751.00输入 x-0.50.00.51.01.52.02.5输出 y线性拟合九次插值10个训练点新观测
合成数据示例,由固定数据和拟合程序计算绘制;不是实际实验,也不是某个行业的预测结果。两条曲线使用相同坐标轴,星号为未参与拟合的新观测。

九次多项式在训练点上的误差几乎为零,直线则没有穿过每一个点。但在新的输入 x=0.94 处,按基础关系生成的观测是 y=1.44,两种预测出现明显差别:

模型对新观测的预测绝对误差
线性拟合1.4310.009
九次多项式插值2.2520.812

这个例子中,复杂曲线把已有数据里的扰动也拟合进去;直线反而更接近生成新观测的基础规律。这就是理解过拟合的一种方式。

例子的合成数据与预测值可以单独查看。

它并不证明直线总能胜过曲线。若真实关系具有非线性结构,过于简单的模型也会持续漏掉规律,产生欠拟合。模型选择需要同时考虑拟合情况、复杂度和新数据上的表现。[2]

简约,也要能给出具体约束

开普勒用椭圆描述行星轨道,并用等面积规律等关系约束运动。太阳位于椭圆的一个焦点,行星的速度随轨道位置变化。这些具体关系,让模型能够与后续观测比较。[3]

一个解释若能在每次观测以后随意追加补丁,就可能越来越难被反驳。减少无依据的自由度,能迫使解释给出更明确的承诺;一旦新证据持续偏离,也更容易发现需要修改的地方。

水星的43角秒,要求把复杂性加回来

简约也可能保不住旧理论。水星近日点存在缓慢进动,在扣除其他行星等因素后,牛顿理论仍留下每世纪约43角秒的额外偏差。

43角秒只约0.012度,肉眼很难在一圈轨道中看出,却不能因为数值小,就当它不存在。1915年,爱因斯坦的广义相对论给出了这项额外进动的解释:太阳附近时空的几何性质会影响运动。[6]

椭圆只是近似描述轨道的重要一步;更精密的观测,会继续迫使理论增加新的结构。证据需要复杂性时,就应该把它加回来。

让每个额外假设承担责任

真实世界可能复杂。简约原则不要求为了短小,删掉已经得到支持的重要因素,也不规定文字最短的公式就是最好的模型。

比较解释时,可以依次问:两者是否解释了同一组事实;新增的假设有没有独立支持;对尚未用于调整模型的数据,是否给出了可比较的预测。

回到那条凌晨未回的消息。已经知道的事实,是暂时没有得到回复;对方生气、厌倦、另有隐情,还是睡着,都还只是解释。先给熟悉的日常情形留出可能,再等能区分它们的新信息,比把整条猜想链当成事实,更容易让人安稳地结束这一夜。

若早晨收到一句“昨晚睡着了,早安”,这个例子就有了新的证据。若后续信息指向另一种情况,也应更新判断。剃刀帮人少添无依据的剧情,最终仍由事实决定保留哪一段解释。