科学研究中数据分析的弊病-“P-值”
2016-03-15 生物谷 生物谷
世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistica
世界上顶尖的统计学家们发言称:目前的科学研究中需要停止使用P-值以及显著性差异作为检验他们实验结果是否重要的依据。
也许你会觉得这个说法毫无道理。什么时候研究者们会用到P-检验呢?当发现实验结果的自变量与因变量之间存在一定的相关性,为了证明该相关性是合理的或仅仅是随机误差,他们会使用P-检验。P值越低,说明他们的结果可信度越高。如果P值小于0.05,就说明两组之间存在显著性差异(statistically significant)。显著性差异一般是研究者们考虑文章是否能够发表的前提。但是根据美国统计学会(ASA)的说法,我们的做法是完全错误的。
“P-值从来都不是表明实验结果是否有科学性的标志”,ASA的执行主任Ron Wasserstein说道:“合理的统计学分析要包含更加丰富的信息,而非一个简单的数字以及是否该数字低于某个阈值”。ASA指的是“P值<0.05”这一通用法则。
根据一位统计学家的说法,在统计学诞生至今177年的历史中,ASA首次决定发表声明告诉大众这些检验方法的正确用法。
为什么这个时候做出这一决定呢?这是因为近年来科学研究中对P-值得依赖性越来越高,然而,很多实验都难以被重复。如果现在的研究都是这个鬼样子,那确实是一个严重的问题。
“长期以来P-值都是决定文章能否发表的阀门”,ASA的主席Jessica Utts说道:“这一明显的编辑偏好导致‘抽屉效应’的出现,即显著性越高,文章越容易发表,这间接忽视了那些虽然显著性不高,但同样有意义的工作”。
同样,这一偏好会导致研究者们为了使数据P值低于0.05而伪造数据,同时拒绝公开数据分析的详细过程。
那么,如果我们使用P值得方式是错误的,什么才是正确的使用方式呢?对此,ASA给出了6条建议:
1、 P-值能够反映数据在某一特定的统计学模型中的不相容性。
2、 P-值并不能反映研究假设的正确性,以及该数据是否是由随机过程产生的。
3、 科学结论以及商业或政策性的决定都不能仅仅依赖P-值是否高于显著性阈值。
4、 统计结果的可靠性依赖于其过程的透明程度与详细程度;
5、 P-值,或显著性差异,并不能反映某一效应的大小或结果的重要程度。
6、 P值本身并不能对实验模型或假说是否正确提供坚实的证据。
关于批评P-值使用的方式,这已经不是第一次了。去年一份杂志已经明确禁止使用P-值进行统计,许多科学家也赞成这一做法。
“如果这一决定能够早20年作出,生物医学研究就不会是现在这个鬼样子”,波士顿Dana Farber 癌症研究所的统计学家Giovanni Parmigiani说道。
然而,一些人认为这一做法并没有触碰本质问题,这不仅仅是关于P-值,更是社会对科学的不真实的期待。
“人们总是希望得到一些不可能实际获得的东西”,哥伦比亚大学统计学家Andrew Gelman说道:“他们希望百分之百的可靠”。
要先改变这一现状,科学家们还需要跟大众进行长期的沟通。毕竟科学家跟普通人对数据的解读是不一样的。
这不是一件简单的事,不过为了优化科学方法,总归是值得的。
作者:生物谷
版权声明:
本网站所有注明“来源:梅斯医学”或“来源:MedSci原创”的文字、图片和音视频资料,版权均属于梅斯医学所有。非经授权,任何媒体、网站或个人不得转载,授权转载时须注明“来源:梅斯医学”。其它来源的文章系转载文章,本网所有转载文章系出于传递更多信息之目的,转载内容不代表本站立场。不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
在此留言
小提示:本篇资讯需要登录阅读,点击跳转登录
好文章!
240
好文章!
181
好文章!
147
P值不是绝对,只是反应这个研究中目前结果。
171