原来p值才是发论文的神器，灭霸的响指似乎也变得没那么随机了
灭霸凑齐了六块无限宝石，然后一个响指抹除了全宇宙一半的生命，但这个抹除是随机的吗？
2018年，灭霸凑齐了六块无限宝石，然后一个响指抹除了全宇宙一半的生命。据他自己说这种抹除是完全随机的，也正因这种随机式的公平，他的行为除了受到谴责外，也受到了不少人的赞许。
但，他的抹除真的是随机的吗？
我们知道对抗灭霸的主要力量就是复仇者联盟，这个英雄联盟是由尼克弗瑞花了很多年时间，一点点招募组建起来的。被尼克弗瑞监视和审查的候选者有很多，但在2012年纽约事件时，组建的初代团队，核心成员只有六人，钢铁侠、美国队长、黑寡妇、雷神、鹰眼和浩克。
弗瑞是在与惊奇队长相识后，开始构思组建复联的，到初代团队形成大约有20年的时间。尽管在这个过程中他对成员必然是精挑细选，但从宇宙生命的角度来看，这六位初代成员也不过是随机的六个生命而已。
然而，正是这六个随机的生命，面对灭霸所谓的随机抹除一半生命的响指，竟然全都存活了下来。这很难不让人怀疑，灭霸的响指真的是随机的吗？
我们可以稍微计算一下，如果是真随机，那么一个生命被抹除的概率为 50%，那么随机选择6个生命，全都存活，也就是没有被抹除的概率就是 0.5^6，也就是 1.5625%。这个概率还是非常小的，通俗地说就是灭霸要打64次响指，才能有一次被这六个人同时活下来。
于是，我们可以写一篇论文《基于统计学方法论证灭霸响指生命消除机制的非随机性》利用p值理论来证明灭霸响指抹除生命的功能，并不是真随机。
继续讨论之前，请大家思考一个问题，根据上面的计算，六个人全都存活的概率是1.5625%，那么灭霸响指不是真随机的概率是多少？
我没读过研究生，这辈子也只写过一篇本科的毕业论文，你知道，那东西根本算不上论文，所以我完全不知道应该如何写那种正经的学术论文。
前阵子读了《贝叶斯定理》之后，才知道p值是写论文的一种非常重要也很常用的统计学工具。然后最近又开始读《贝叶斯的博弈》，其中也提到了p值。不过，这两本书说的都是不正确使用p值理论来写论文所带来的危害。
就像我上面说的这篇关于灭霸响指的论文，或许因为写的是一个虚构的影视剧情，让这篇论文看起来没那么正经，但是他里面使用p值的方法，确实就是很多论文使用p值的方法。
咱们先来说说什么是p值。
p值是用于衡量在原假设成立的前提下，观测到当前数据或更极端结果的概率。在上面灭霸响指的例子中，1.5625% 就是p值，它表示的是，在“灭霸响指是真随机”这个假设成立的前提下，六位初代成员全都存活的概率。
什么叫“或更极端”呢？上面的统计样本是六位初代成员，如果我们再加上惊奇队长，一共七个人，那么比六个人同时存活更极端的就是七个人同时存活，我们要计算的p值就是六或七个人同时存活的概率。（严格来说要根据二项式分布累计概率公式计算）
在论证过程中，一般会有两个假设，一个是原假设(H₀)，一个是被择假设(H₁)，被择假设一般是原假设的否定或补集。然后会根据统计数据计算出p值，还有一个概念是显著性阈值(α值)，一般会取值为 0.05 或更小。
当p值小于α值时，就认为是达到了统计显著性，就可以拒绝H₀。说人话就是如果原假设是对的，那怎么可能随随便便就出现一个概率小于 5% 的事件呢，所以原假设是错的，我们应该认可被择假设。（这里并不是一种正确的说法，拒绝原假设不代表可以认可被择假设，但很多人就是这么理解的）
我虽然在此之前没学过p值相关的知识，但是当我看到 5% 这个数字时，我的第一反应就是这个数是不是太大了。因为只要多重复几次(20次)，一个 5% 概率的事件还是很容易发生的。
而把α值设定为 5% 完全没什么道理，就是约定俗成。不过我也在想，5和%在同一个按键这件事，对 α值=5% 有没有起到什么作用。毕竟 α值=5% 是20世纪四五十年代开始形成的广泛共识，而5和%在同一个按键上则是19世纪末就开始了。
好吧，开个玩笑。5% 的选择跟正态分布相关，但恰巧选择为 5% 确实只是约定俗成，所以在不同的实验中也会根据实际情况选择更小的值，如 1%。
但不管选多小，我的那种感觉都没有改变，因为只要多重复几次实验，总能出现一些小概率的事件。而很多实验并没有条件进行多次重复实验，那如何才能排除这种小概率事件的影响呢。
看了书才明白，这里面实际上是存在一个逻辑问题的，可能就是因为我对这种逻辑问题的敏感，才产生了对 5% 质疑的直觉。
这个逻辑问题是什么呢？我们再看p值的定义，它是用于衡量在原假设成立的前提下，观测到当前数据或更极端结果的概率。它是统计数据出现的概率，而不是原假设成立的概率。
也就是说，计算p值的前提是，假设原假设成立。而原假设成立的概率是什么，完全没有涉及。我们拒绝原假设的理由是，当它成立时，竟然很容易就发生了一个小概率事件，所以我们要拒绝它成立的这个假设。而实际上我们很多研究的关键点其实是这个假设成立的概率究竟是多少。
这就是贝叶斯主义者批评p值理论的关键点。我们再来看看如何用贝叶斯定理来解释灭霸响指。在灭霸响指这个例子中，我们想知道的其实是，在观察到六位初代成员全都存活的前提下，灭霸响指是真随机的概率是多少。
再来看贝叶斯公式
我们设事件A为灭霸响指是真随机，设事件B为六位初代成员全都存活，那么写成贝叶斯公式就是：
可以看到，右侧分子的第一部分 P(六成员存活|灭霸响指真随机) 其实就是我们上面计算的p值。也就是说，如果我们想要知道灭霸响指是真随机的概率还需要知道另外两个概率，一个是灭霸响指是真随机的概率，一个是六位初代成员同时存活的概率。
什么？我们想知道灭霸响指是真随机的概率，首先得先知道灭霸响指是真随机的概率？
这里我不得不再说几个概念了，在贝叶斯公式中，P(A|B)是后验概率(posterior probability)，也就是我们真正想要计算的。P(B|A)叫似然度(likelihood)，P(A)叫先验概率(prior probability)，P(B)叫边缘概率(marginal likelihood)。
至少对我来说，先验概率是我在学习贝叶斯定理中收益最大的一个概念，也是一个被频率学派所质疑的概念，因为它太具有主观性了。
在严谨的科学计算中，竟然需要掺杂进主观信息，这听起来似乎有些不太靠谱。但仔细想一想，我们作为一个人，做任何事情难道会不掺杂主观思想吗？像上面提到的 α值=5% 不就是一个主观设定的值吗。
在我看来，贝叶斯学派中的这种主观性只是在描述一个事实，所以它不应该被否认。同样的客观事件，看在不同人的眼中，就会产生不同的结论和想法，差异在哪，在于不同人的不同经验，那些从他们出生开始就在不断积累的经验，在通过贝叶斯的方式不断修正的经验。
为什么你很难改变一个人的想法，因为他想法背后的那个先验概率非常大，所以你如果想稀释他的观点，你就必须给出一个非常显著的证据，这往往是有难度的。
非同寻常的断言需要非同寻常的证据。 ——卡尔·萨根
所以，贝叶斯学派的这种主观性没什么可否认的，它只是需要被好好地管理，不能被滥用。对于频率学派和贝叶斯学派关于主观性的学术论战，我看懂了一些，但还说不明白，所以这部分内容大家还是直接看书吧。
那么回到我们计算灭霸响指的概率问题，虽然我们想知道灭霸响指是真随机的概率，首先得先知道灭霸响指是真随机的概率，这个看起来有荒诞，但这里的两个概率是不同的。
前者我们想知道的，是在已经观察到了六位初代成员全都存活后，灭霸响指是真随机的概率，所以也叫后验概率。而后者是在我们不知道特定的信息前，我们认为灭霸响指是真随机的概率，它确实是一种主观的概率，就是先验概率。
不过也得说明一下，在正式研究中，先验含有主观成分，但往往也来自于历史数据或专家调查法，肯定不是拍脑袋决定的。
我们知道灭霸为了打这个响指，他牺牲了自己在乎的养女卡魔拉。打过响指后，他独自过上了与世无争的田园生活。过去的他知道了未来的他成功了，但也被杀了后，他感到的不是愤怒，而是释然。所以，我们相信灭霸在消灭宇宙一半生命这件事上是没有私心的，这与随机消灭一半生命是相符的。所以我认为P(A)这个先验概率非常高，可以是99%。
而P(B)，也就是在所有条件下，六位初代成员存活的概率，计算起来也比较复杂。既包括灭霸响指为真的前提下的概率，也就是前面算过的p值，还得包括灭霸响指不是真随机的前提下的概率，又是一个以主观为前提的概率。来看下公式，这个叫做全概率展开：
我们大概来算下，前半部分就是贝叶斯公式的分子，为 1.5625% * 99%，后半部分我们只能主观估算了，比如一共有四部复联，可以认为是他们全员出动了四次，而只有最后一次钢铁侠和黑寡妇牺牲了，也就是六位初代成员全员出动的话，全都存活的概率就可以算成是 3/4 吧。所以，
而最终我们想要计算的后验概率为
也就是说，在已知灭霸响指后六位初代成员全都存活的前提下，灭霸响指是真随机的概率约为 67.35%。可以解释为，本来我觉得灭霸响指有 99% 的概率是真随机，但是当我看到他打了响指后，复联的六位初代成员居然全都活了下来，所以我觉得灭霸响指是真随机的概率只有 67.35% 了。
我一开始有一个问题，六个人全都存活的概率是1.5625%，那么灭霸响指不是真随机的概率是多少？我估计肯定会有人回答是 98.4375%。至少在新冠病毒检测的相关问题中，很多人都会给出这样的答案。（新冠检测中假阴性概率为5%，当你检测为阳性时，有人就会觉得真阳性概率为95%）
但是看了我上面的内容，我想你一下子就能明白这个问题里的坑了。概率 1.5625% 是以灭霸响指是真随机为前提计算的，不可能只通过它就知道灭霸响指为真的概率。经过贝叶斯定理计算，最终结果 67.35% 比有些人以为的 1.5625% 可大了不少了。
而这个更大一些的概率，才更符合我们的预期，因为我们早已先验地认为，灭霸响指肯定是真随机的。
当然，灭霸响指这个例子可能不是太合适，因为六个人的样本量实在太少了，又恰巧选的都是复联初代成员，可以算是选了特例，也没法排除他们可能存在的共性，这都是很严重的问题。但就算你在论文里把这些局限都写了出来，对于那些想要这个论文结果的人来说，可能也并不会在意。
p值存在的问题使得它很容易被误用，甚至是有意被误用。就说 5% 这个显著性的阈值，在《贝叶斯的博弈》中提到了一个糖豆是否会引发青春痘的实验，可以来说明它有多么不合理，这个实验来自于兰道尔·门罗的漫画《显著》。
经过实验与统计，很容易发现在“糖豆不会引发青春痘”这个假设下计算出的p值大于 5%，所以实验无法拒绝这一假设。但又有传言说只有特定颜色的糖豆才会引发青春痘，所以科学家们又做了一次实验，一共找了20种不同颜色的糖豆，按照之前的方法做了20组独立实验。结果第二天新闻头条变成了“科学证明绿色糖豆会引发青春痘”。
如果你能看懂这个例子，就会知道哪种颜色的糖豆会引发青春痘并不重要，因为当你做了20组以上的独立实验时，很容易就会遇到一组的p值小于 5%。
事实上有大量已经发表的论文都存在这样的问题。美国统计协会（ASA）在2016年发布了关于p值使用与解释的重要官方声明《The ASA's Statement on p-values: Context, Process, and Purpose》，说明了p值使用中的问题。尽管这一问题早在100年前就已经被发现了。
我也问了一位读过博士的同学，确实挺严重的，不过最近几年审核方面也确实严格了很多。而且他们似乎也不太了解频率学派和贝叶斯学派，都只是把p值当做了实验工具而已。怎么说呢，p值确实成了发论文的神器了。
以前我确实觉得能发出来的论文，尤其是发表在核心期刊的论文，应该都没什么大问题才对，结果没想到，根上的统计学工具本身竟然会有问题。而且是百年前就发现的问题，到了最近十几二十年才被重视起来。这也解释了我们常常会听到一些莫名其妙的论文成果，估计都是这么统计出来的吧。
《贝叶斯的博弈》这书还没读完，公式有点儿多，我毕竟没正经学过概率论，公式看起来还是得花点儿时间慢慢读。不过得亏有了 AI，很多不好理解的都已在 AI 的辅助下搞明白了，这让如今的学习变得简单多了。
p值存在的问题，让我有了一个更准确，甚至是量化的方法去分析生活中的一些谬误。贝叶斯的世界还真是精彩，它可以充斥着生活的每一处，让我们对人的认知与决策有了更精细的理解。