评论

这是怎么通行证同行评议?在柳叶刀和新英格兰医学杂志COVID-19撤消的思考

安德鲁D. Althouse博士

披露

2020年6月15日

在我们的两个最负盛名的医学杂志的6月4日,新英格兰医学杂志柳叶刀缩回的两篇论文基于从先前鲜为人知的医疗分析公司称为Surgisphere“数据”。短版故事是,这个小公司声称来自全球六大洲至少671家医院的电子病历房子完全集成的数据的系统。然而,似乎不太可能存在数据为标榜。

在此之后,有些人可能会问,为什么同行评议并没有确定的条款是有问题的,是同行评议是医学文献的完整性的主要质量控制体系。评论家怎么错过了什么,现在回想起来,似乎是显而易见的?

有缺陷VS欺诈

首先,我们必须区分只是从研究是欺诈性缺陷的研究。研究可能是“有缺陷”的时候进行了研究和实际数据存在,但研究人员采用不恰当的统计技术,或没有完全被研究数据的支持作了总结发言。我们应该承认,所有研究是有缺陷在一定程度上。有一个完美的研究没有这样的事情,但只要数据都老老实实提出,科学家们可能会讨论的优势,劣势,以及正确的解释。相反,被篡改以某种方式或直接或者欺诈调查所提供的数据完全制造。

造假论文可能在不可能或相互矛盾的统计数据的形式线索:平均,可以不存在,置信区间是不可能真实缩小,或P值不会将数据的其余部分相匹配。制造汇总统计,没有任何基础数据极度困难,不留几个这样的线索做。一些科学家提出建立技术和工具来识别潜在的可疑数据的嗜好(见严峻雪碧铆钉)。许多人对他们的调查灵感为一系列来自可疑文件高调的营养研究员。但是,这些工具是最有效地部署在论文已经有引起人们的怀疑;它会很麻烦将它们应用到每一个文件作为当前形式的常规同行评议过程的一部分。

此外,似乎两个缩回Surgisphere文件没有包括任何这样的不可能的事(或至少我固然不完整的努力没能找到一个显着的例子)。聪明的骗子可以创建会通过上面的,如果他们先建立由模拟非常逼真的数据库命名的基本检查,然后在模拟的数据执行“统计分析”,从而确保在纸张的所有统计数据显示内部一致的数据。如果这样做,审阅独立专注于稿件可以很容易地认为,该结果从真正的数据库来了。

上下文是关键

这些文件不会被轻易标记为通过狩猎矛盾统计可疑没有一些外界的知识,这是在大量有兴趣的读者在出版后审核通过来了。怀疑被提出了关于Surgisphere论文感谢冠状病毒疫情数据的频谱的知识,更普遍的,一个小公司声称的可信度已经集成的电子健康记录这么多的医院。该NEJM纸据称包括来自三大洲的169家医院的数据;该柳叶刀纸据称包括来自全球六大洲的671家医院的数据。当然,这种感觉的东西,可以存在于大数据的时代,但任何人都熟悉电子健康记录的集成知道,这将是一个艰巨的任务,需要大量的时间,精力和支持人员创建和维护这样一个数据库,更不用说导航复杂的法律和从允许民营企业进入医院的数据出现的伦理问题,不管是什么“去识别”的做法很到位。然而Surgisphere具有最小的空间 - 少数员工可能位于与与合适的背景看似没有对这项工作。没有医院纷纷出面声称,他们与Surgisphere合作;这并不意味着他们不存在,只有没有证据尚未给予他们存在。

在每篇稿件的研究数据库的描述是充满了令人印象深刻的冠冕堂皇的条款,但留下了许多读者询问关于被掩盖或忽略的重要细节。每个手稿大约有质量保证的“手动数据输入”的过程,似乎在用所谓的电子健康记录自动编译数据库赔率模糊的通道。聪明的读者指出这将是对世界使用的“种族”与美国式的研究是一致的类别时,这将是不寻常的各地医院的数据特别好奇(或甚至是非法)美国以外的纪录。

其他人指出,很多数据似乎与冠状病毒的患者可公开获得的数据不一致。例如,住院患者的两项研究的平均年龄只有50岁左右,而公开数据认为这将是更高。可疑,死亡人数报告在五个澳洲医院柳叶刀纸超过了所有澳大利亚报告给点死亡人数。不温不火的解释则推出一些这些东西在第一;别人不是由作者解决。

在写这篇文章的时候,我们不知道到底发生了什么。收回通知书是模糊的,本质上说,非Surgisphere作者不再站在背后的数据,因为他们无法验证它的存在,而孤独的Surgisphere笔者拒绝与他的合作者的数据,理由是与客户签订保密协议。

所以,回到我们开始的地方:为什么没有同行评议抓住这个?

说实话,以目前的形式同行评审是没有能力赶上彻底的欺诈行为 - 尤其是如果骗子是有能力的。写作守护者,詹姆斯石南已经在一些细节(你一定要读他的文章)探讨过这个。我补充一点,我们大多数人都相信固有的基本假设下的对待每一同行评审的研究数据实际存在,即使我们可能会如何分析数据,或正确的解释狡辩。这将是一个实质性的变化,要求审阅证明存在的数据开始他们的批判了。审阅预计批判科学放在他们面前,但不一定能问题是否在第一个地方是真实的。

同行评审不完美的,但有用的

这是一个不受欢迎的位置,现在,但我相信,同行评议没做某物在这种情况下是有用的,不满意作为最终结果可能是。笔者还组贴预印本(因为移除)据称显示在用治疗的患者优越的结果伊维菌素。该预印本相比是相当不发达到出现在同行评审的论文NEJM柳叶刀。如果我们推断,最初的杂志提交看起来像伊维菌素预印本,加入相当多的补充内容,大概是在同行评议的要求。这一信息后来被细心的评论者有关数据,的真实性提出质疑,如跨越六大洲几乎所有病人的特点,并在澳大利亚报告的死亡人数令人难以置信的可疑相似。所以,即使在审查过程中(包括期刊编辑)实际上并没有阻止公布的Surgisphere“数据”,它可能给读者到底他们需要进一步探索和标志的纸有问题的细节。

同行评审过程并不完美,也没有必须要为它是有用的。但是,这一事件清楚地表明,现在出版后审查和讨论(常常通过社交媒体促进)是科学进程的一个重要组成部分。仅仅是因为他们已经通过同行评议的论文了不会成为无懈可击;那是一个步的过程,但不结束该过程的。如果有关文件的完整性,合理关切公布后上调,这是义不容辞的责任作者和刊物既要看到它,nonspecious问题得到解决,否则他们可能会失去信誉。

安德鲁Althouse是匹兹堡大学医学助理教授,以及用于统计编辑循环:心血管介入。他的主要研究方向是设计和分析希望可以用来告知医疗实践的临床试验。在业余时间,他喜欢举重,烹饪(和食用)和采样精酿啤酒。

跟随安德鲁Althouse在Twitter上

按照theheart.org |Medscape表ld乐动体育网址示对心脏病推特

按照Medscape表示对Facebook的推特Instagram的YouTube的

注释

3090D553-9492-4563-8681-AD288FA52ACE
在Medscape表示意见进行审核,并应在色调和主题专业。您必须声明的有关您的意见和回应任何利益冲突。请参阅我们的谈到指南了解更多信息。我们保留自行决定删除帖子的权利。
帖子为:

加工....