上周三我们和哈佛GSAS科学政策小组组织重现性的小核糖。小别人专注于解决学术界，行业，非营利组织和出版的生物科学和特色发言人的解决方案。这现场视频交流可以在下面找到事件，并在下面找到程序的描述。您可以跳转到描述中的不同时间戳，观看您特别感兴趣的任何部分，但我建议您观看整个直播，以更全面地理解再现性问题及其潜在的解决方案。
在这次活动之前，我在Addgene做了关于可再生性的演讲，在这里我总结了我在准备我的演讲和迷你研讨会上所学到的东西。您可以找到关于组织促进再现性的各种附加资源和信息这本手册(这也是在活动中分发的)。
程序
- 0 - 1:24.- 介绍
- 一24 - 29:31-再现概述-Jeffrey s .传单哈佛医学院的研究员，前
哈佛大学医学院院长 - 29:31——49:45-共享试剂-苏珊娜Bachle， Addgene为非营利性质粒库
- 49:45 0 1:18:45-试剂开发-史蒂文·c·Almo，蛋白质创新研究所
- 1:18:45 - 2:01:18(结束)- 控制板
- Alex Tucker（银杏生物价格）
- Pamela Hines.(科学部高级编辑)
- 爱德华·j·霍尔(哈佛大学哲学教授)
- 托尼Cijsouw(塔夫斯大学神经科学博士后)
科学的再现性
正如Jeffrey Flier在他的演讲(1:24 - 29:31)中指出的，定义科学重现性有多种方式。一项研究具有“可复制性”并不一定意味着有人精确地复制了它。中有很多关于不同类型复制的讨论Nosek和Errington 2017和Schmmidt 2009但是，为了我们的目的，我们将在其调查结果可预测应用于未来的工作中来调用一项研究可重复性。
重要的是，没有人应该期望每项研究应该是可重复的。实际上，研究人员正在推动知识的限制，因为他们开发了了解身体如何工作，产生新的治疗方法，有时制定新的生物学概念的新方法。然而，临床前研究的重复性率，据药商公司试图从这些研究中申请调查结果，非常低（<30％，Prinz et al . 2011，Begley和Ellis 2012年）．最近的努力再现性项目：癌症生物学也产生了同样低的重现率。将不可复制的结果应用于未来工作的尝试失败，将耗费时间和金钱，估计将达到数十亿美元(Freedman等人2015）．最后,正如Pamela Hines.美国科学促进会(AAAS)的一名成员在专家组上指出，不可复制性削弱了公众对科学和研究的信任。
尽管如此，我还是不想说我们手上有一个可复制性“危机”，而是根据我所学提供一个简单的概念框架来解释不可复制性的原因和一些解决方案。我希望你能将这些解决方案中的一些应用到你自己的研究中，从而帮助生物研究企业实现更大的可重复性。
原因1:无法重复之前的实验
研究人员应该能够遵循彼此的协议，使用彼此的试剂，并确信他们不是简单地做错了实验。然而，即使是简单的程序把一个盘子或运行一个凝胶具有在静态书面协议中不总是提到的复杂性。因此，期望一个人能够应用别人的新和难以置信的有用的技术，仅仅通过遵循在出版的手稿中发现的缩写方法部分，这是有点可笑的。
幸运的是，许多组织一直在努力提供工具，使其更容易分享有关试剂，协议，分析工具等的深入信息。当然，这是Addgene博客，当然，我将提及a188博金宝官网ddgene作为测序和质量控制质粒和病毒载体的来源。188完整比分直播当使用来自Addgene的质粒时，您可以自信地使用您订购的实际工具，而不是从冰箱中拉出的随机等分试样。
你们会在Steve Almo关于工作的演讲中看到蛋白质创新研究所(IPI)(49:45 - 1:18:45)，也有倡议为未来的研究创造更可靠的试剂。我和许多研究人员谈过，他们抱怨抗体不可靠。IPI正致力于通过基于社区的验证，创建针对所有人类细胞外蛋白的特征良好的抗体，直接解决这一问题。他们还计划以后扩展到其他蛋白质技术。
组织等Benchsci.和FPbase正在努力使研究人员更容易找到有关研究工具的信息。BenchSci整理关于抗体的信息，而FPbase整理关于荧光蛋白的信息，因此您可以最好地将这些技术应用到您自己的研究需求。金宝搏app下载
其他公司喜欢鼻和ATCC.可以为您提供额外的验证试剂，并在手中使用这些试剂，您有一个良好的基础来开始试验。Protocols.io，木星， 和生物协议所有这些都致力于提供更描述性和交互式的协议，使学习新的实验技术变得更容易。电子实验室笔记在这里也扮演着重要的角色，它使它更容易保留搜索，详细记录了实验室过程是如何实际执行的，潜在地减少了未来的困惑(和筛选纸质实验室笔记的时间)。
完成实验后，您需要分析结果。作为生物学研究人员处理较大且较大的数据集并使用基于计算机的分析技术，重现性的重要组成部分确保其他人可以了解您的分析并重复它们。类似的公司代码的海洋允许研究人员共享他们用于数据分析的代码，而其他组织德律阿得斯使研究人员更容易共享数据，从而使您能够在需要时对已发表的数据进行修改分析。同样的,FigShare还使得通过他们的可耻，可联系数据的策展更容易分享数据。
原因2:隐藏的“负面”数据
我们都希望在展示科学发现时能讲一个好故事。这在许多不同的层面上都是有意义的——很难处理大量的信息，而且从SciComm的角度来看，从最初的假设到经过验证的因果关系的故事更容易理解。然而，对伟大故事的需求使得发表与我们最初假设相冲突的所谓“负面”结果变得困难。为了在我们的故事中寻找新奇之处，我们特别讨厌发表重复之前发表的结果的论文。
这种过度依赖于“高影响力”出版物的完美故事可导致罕见的群体出版，显示肯定结果，当真正没有找到积极的结果。考虑到图1的假设情况，其中许多科学家正在进行类似的实验。生物学足够凌乱，偶然，一些少数科学家们将获得结果，即使大多数其他科学家没有，也会得到一个结果证实他们的假设。这些具有积极成果的科学家们做错了什么，但问题是只有这些积极的结果将发表。该出版物记录将显示测试假设是正确的（一个巨大的成功故事），即使大多数未发表的证据表明否则。其他人将继续尝试以自己的工作应用这些调查结果最终浪费时间和金钱。
这个问题的明显解决方案是让传统期刊发表负面数据，但这是一个很大的要求，而且从期刊的角度来看，可能不是大多数读者想要阅读的。
正如苏珊娜的Bachle在她的谈话中指出（29:31 - 49:45），有很多方法可以宣传消极数据 - 我们不必依靠传统的期刊。有社交媒体 - 科学推特与许多科学家分享未发表的数据非常活跃。有博客 - 谁被个人托管，包括addgene等组织（一个很好的例子是我们在Divunt基因组编辑技术上的博客文章NgAgo）．此外，还有像这样的组织征集它的目的是在一个单一的、可搜索的空间中整合发表和未发表的类似主题的实验。最后还有一些新的出版渠道，比如F1000，peerj.，公共科学图书馆， 和bioRxiv这使得发布(或预发布)声音数据变得更容易，即使这些数据并不会立即产生影响。
接下来，我们可能会看到进一步采用促进可复制出版实践的政策。一个例子是同行评议的发表，这样我们就可以看到论文在整个评审过程中是如何以及为什么会发生变化的。这将有希望推动评论家更有成效的批评，更少关注感知的新奇和影响。期刊也可能开始要求再现性清单这至少表明，期刊本身的重现性是优先考虑的问题。在大学内部，我们也希望看到招聘和晋升的转变，注重可重复性和确保科学企业的健康，而不仅仅是影响。
原因3:糟糕的实验设计
人们很容易对积极的结果感到兴奋。让一个假设得到证实，不仅在科学上和智力上是肯定的，还意味着你更有可能发表文章(无论好坏，这是学术研究成功的货币)。然而，最初的积极结果和它们带来的兴奋可能会让我们产生偏见。我们都听过这样的故事，也读过这样的文章:研究人员一次尝试了5个不同的实验，以获得一个假设的验证数据，但只给出了与原始假设一致的结果。其他属于这一类别的实践包括执行重复太少的实验导致可疑的统计显著性(您可以在本文中阅读关于这个问题的更多信息Button等人，2013年和Ioannidis 2005.)，并在实验中途改变实验设置，试图得到与最初假设更一致的结果。
需要说明的是，我不认为大多数研究人员在做这些事情时脑子里有邪恶的目标。事实上,它并不总是显而易见的,我们做的事情,让它更有可能,我们会发现一个侥幸当我们只是试图让我们的实验工作,但好的实验设计的一部分,是认识到我们有偏见,采取措施防止我们的偏见和目标影响我们的实验。
我们如何产生更好的实验设计?我所读到的许多事情的总结是:我们需要别人来审查我们的实验设计，我们需要透明地知道我们改变这些设计的原因。
这是最极端的版本（并且可能是最有效的，如果更实用）是对实验设计的预注册和审查作为出版过程的一部分（鼻子et al 2018）．在理想情况下,研究人员将提交一个实验设计杂志之前执行实验(或一组实验),设计审查,原则上,如果得到批准,研究者会接受最后的手稿不管最终的结果是积极的还是消极的。
我能感觉到你在翻白眼，但即使这种理想的预登记形式短期内无法实现，开放科学中心确实举办了预注册的平台其中，研究人员可以提交设计，并在完成实验后公开它们。这并不一定是原则上的认可，但预先注册的出版物的读者可以有更多的信心，他们正在阅读的实验并不是为了追求一个积极的结果而中途改变。
除了这些更正式的系统之外，各个实验室当然可以建立更好的实验设计实践，包括在必要时与统计学家交谈，并鼓励实验室间对实验设计进行同行评审。这些都是简单的步骤，但在鼓励研究人员花点时间思考他们的偏见如何影响他们的实验设计方面，可能会有很长的路要走。
在生物科学中，可重复性问题还有很多方面。我强烈建议大家听一下小组讨论，了解一下出版界是如何看待可重复性的，行业是如何依赖于可重复性的，以及你如何在自己的实验室中推动更多的可重复性。虽然可重复性问题很复杂，但我们有许多潜在的解决方案，可以节省您的实验室和整个研究企业的时间和资金。是时候付诸实践了!
额外的资源
- SciLine在AAAS -一个连接记者和科学专家Pamela Hines讨论过的服务
- 重复性小册子上的小核汽油-包括许多促进重现性的组织的描述
- 在Protocols.io中用于再现性的工具列表
addgene博客上的其他资源188博金宝官网
发表评论