科学研究中数据分析的弊病-“P-值”

2016-03-15 生物谷 生物谷

世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistica

世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。

也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistically significant)。显著性差异一般是研究者们考虑文章是否能够发表的前提。但是根据美国统计学会(ASA)的说法,我们的做法是完全错误的。

“P-值从来都不是表明实验结果是否有科学性的标志”,ASA的执行主任Ron Wasserstein说道:“合理的统计学分析要包含更加丰富的信息,而非一个简单的数字以及是否该数字低于某个阈值”。ASA指的是“P值<0.05”这一通用法则。

根据一位统计学家的说法,在统计学诞生至今177年的历史中,ASA首次决定发表声明告诉大众这些检验方法的正确用法。

为什么这个时候做出这一决定呢?这是因为近年来科学研究中对P-值得依赖性越来越高,然而,很多实验都难以被重复。如果现在的研究都是这个鬼样子,那确实是一个严重的问题。

“长期以来P-值都是决定文章能否发表的阀门”,ASA的主席Jessica Utts说道:“这一明显的编辑偏好导致‘抽屉效应’的出现,即显著性越高,文章越容易发表,这间接忽视了那些虽然显著性不高,但同样有意义的工作”。

同样,这一偏好会导致研究者们为了使数据P值低于0.05而伪造数据,同时拒绝公开数据分析的详细过程。

那么,如果我们使用P值得方式是错误的,什么才是正确的使用方式呢?对此,ASA给出了6条建议:

1、 P-值能够反映数据在某一特定的统计学模型中的不相容性。

2、 P-值并不能反映研究假设的正确性,以及该数据是否是由随机过程产生的。

3、 科学结论以及商业或政策性的决定都不能仅仅依赖P-值是否高于显著性阈值。

4、 统计结果的可靠性依赖于其过程的透明程度与详细程度;

5、 P-值,或显著性差异,并不能反映某一效应的大小或结果的重要程度。

6、 P值本身并不能对实验模型或假说是否正确提供坚实的证据。

关于批评P-值使用的方式,这已经不是第一次了。去年一份杂志已经明确禁止使用P-值进行统计,许多科学家也赞成这一做法。

“如果这一决定能够早20年作出,生物医学研究就不会是现在这个鬼样子”,波士顿Dana Farber 癌症研究所的统计学家Giovanni Parmigiani说道。

然而,一些人认为这一做法并没有触碰本质问题,这不仅仅是关于P-值,更是社会对科学的不真实的期待。

“人们总是希望得到一些不可能实际获得的东西”,哥伦比亚大学统计学家Andrew Gelman说道:“他们希望百分之百的可靠”。

要先改变这一现状,科学家们还需要跟大众进行长期的沟通。毕竟科学家跟普通人对数据的解读是不一样的。

这不是一件简单的事,不过为了优化科学方法,总归是值得的。

作者:生物谷



版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
评论区 (4)
#插入话题
  1. 2016-05-30 lsblb

    好文章!

    0

  2. 2016-05-30 lsblb

    好文章!

    0

  3. 2016-05-30 lsblb

    好文章!

    0

  4. 2016-03-16 1de00086m73(暂无匿称)

    P值不是绝对,只是反应这个研究中目前结果。

    0

相关资讯

美国统计协会吐槽P值滥用

P值的历史 P值得历史可以追溯到1770年,数学家拉普拉斯在处理50万左右的生育数据时,发现男性的生育率超过女性,对于这个无法解释的“超越”,他计算了一个叫做“P值”的东西,以确定这个“超越”是真实的。 很多统计学家误以为关于P值的正式文献是Fisher发表的,其实不然,最早在文献中正式阐述P值及其计算的,是统计学家Karl Pearson,你可能不了解他,但是他的Pearson卡方检验你