2017-12-05 00:03:15 +0000 2017-12-05 00:03:15 +0000
1
1

在准备临床系统综述时,一般会阅读多少篇论文摘要?

是否有任何研究/研究/调查/……试图估计医学研究人员在准备临床系统回顾时阅读了多少论文摘要?

答案 (1)

2
2
2
2017-12-06 15:05:30 +0000

即使这将只是一个部分答案,但它可能有助于 “更好地理解创建系统性评论的过程",正如评论中给出的那样。

这里要给出的一个明显的答案是。所有的摘要都必须被阅读,一旦论文在文献的(重新)搜索策略中出现 "正面 "结果。毕竟它们必须被评估是否被收录或排除。
如果最初的问题是问实际使用的研究的平均数量,即纳入综述的论文的硬性数量,那么答案是完全不同的:

From Terri Pigott: Advances in Meta-Analysis, Springer, 2012:

另一个常见的问题是:我需要多少研究来进行meta分析?虽然我和我的同事们经常回答 "两个” Valentine et al. 2010 ),但更完整的答案在于理解元分析中统计检验的力量。我在本书中采取的方法是,元分析中的检验的功率和任何统计检验的功率一样,都需要先验地计算,使用关于给定背景下重要效应的大小,以及给定领域中使用的典型样本大小的假设。同样,为了对功率所需的参数做出合理的假设,对研究文献的深刻的实质性知识对审稿人来说是至关重要的。

因此,要从某一领域或某一研究问题中选取审稿论文,取决于该领域或某一研究问题的研究程度和研究水平。附带争议的高时髦话题会有几百上千篇可供选择,小众兴趣、无利可图的场所或许只有几篇。要要求统计所有这些领域的临床系统性综述是完全可能的。但与 meta分析 相关的问题之一是所谓的垃圾进垃圾出问题:这样的工作–不仅要 “估计医学研究人员在准备临床系统性综述时阅读了多少论文摘要?",甚至还要精确地计算这个数字–可能会有产生无意义数字的危险,只对记者或政治家有用。

有一篇文章恰恰提供了这样的meta-meta分析,确实按照问题中的要求列出了心理学子领域的这样一个数字:51(范围5-81)。(doi: 10.1080/0027317100368018 A Meta-Meta-Analysis: Empirical Review of Statistical Power, Type I Error Rates, Effect Sizes, and Model Selection of Meta-Analysis Published in Psychology. )但它也很好地强调了这种方法的内在问题。

  • Meta分析中的效应大小和异质性
  • 模型选择: 固定效应模型的使用频率比随机效应模型高得多,通常不会公开说明使用了这种模型。另一方面,随着时间的推移,随机效应模型的使用频率越来越高。考虑到随机效应模型从推理的角度来看更有效,未来的研究应该更常规地实施随机效应模型。
    最后,重要的是要考虑到在大多数情况下,使用随机效应模型会降低显著性检验的功率(即,当研究间方差大于零时)。

更一般的我们可能会防范盲目信任进入综述或一般的荟萃分析。目前,医学领域努力在循证基础上重建知识,这当然是非常值得欢迎的。但在追求这一目标的过程中,如果过分自信地专注于量化数据和数学模型,可能会伤到浴缸里的孩子。命名、使用或仅仅相信任何一种 "黄金标准"(或各种甚至是白金标准),都会过于偏向一个极端。这就如图所示。

这张图最大的问题是 "过滤器 "的定义很不明确,经常会选择统计能力更强或意义更大的研究纳入其中。虽然听起来很符合逻辑,但这违反了哲学原则,在原则上,就像卡纳普的原则总证据"。这种机械论的推理因此引入了自己的一套系统性偏见。

为了解决这些已知的危险、陷阱和缺点,PRISMA声明是一个倡议至少标准化的方法,并透明地记录这些类型的分析所选择的程序。

更多的认识论问题浓缩在 Stegenga: "元分析是证据的白金标准吗?” (2011):

[…]元分析未能充分限制主体内对假设的评估。这是因为在设计和执行荟萃分析时必须做出的众多决定需要个人判断和专业知识,并允许审稿人的个人偏见和特异性影响荟萃分析的结果。的失败。客观性至少部分地解释了 “约束 "的失败:也就是说,元分析所需的主观性解释了对同一主要证据的多次元分析如何能够就同一假设得出矛盾的结论。[……]然而,我对执行元分析时必须做出的许多特殊决定的讨论表明,这种改进只能走到这一步。
在这些决定中,至少有一些决定是完全任意的;提高元分析报告透明度的各种建议原则上无法在这些任意的选择之间进行裁判。更一般地说,这种来自元分析辩护者的反驳–我们不应该完全抛弃这种技术–过度陈述了我所论证的结论的力量,这并不是说元分析是一种孜孜不倦地合并证据的坏方法,而是说元分析不应该被认为是评估医学和社会科学中因果假说的最佳证据。我并不是说元分析不能提供任何令人信服的证据,而是与标准观点相反,我认为元分析不是证据的白金标准。