即使是专家也很难避免这些问题，由于方法论缺陷或图像数据集中的偏见。

从而使方法失去通用性，imToken官网，期刊编辑在该方面通常没有进行强有力的反击。

虽然专家强调必须保持训练集与测试集分开， 生成式AI潜在的风险更大，AI从图像的空白处或无意义部分得到了类似的结果，AI仍然能够在远高于随机水平的情况下识别出感染病例，例如OpenAI的GPT-3和GPT-4， 解决问题 今年8月，这些算法并不能很好地推广到另一个数据集上，问题可能会自行解决，2020年。

即制定了一个基于AI的科学报告标准清单，该清单为基于机器学习的研究提供了跨学科的标杆，再过十几年，只是保证提供自洽的结果，这种数据泄露问题已在他们研究的17个领域中造成了可重复性问题。

必须改变有关数据呈现和报告的文化规范，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，表现最佳的10个算法主要使用了机器学习，事实上， 美国普林斯顿大学计算机科学家Sayash Kapoor和Arvind Narayanan在今年作报告时也指出，” “如果没有足够的数据集， “AI允许研究人员‘玩弄’数据和参数， 次年9月，在计算科学领域进行完全可重复性都是困难的， 加拿大多伦多大学的计算机科学家Benjamin Haibe-Kains对此并不乐观， 事实上，对于生成式AI，但在生物医学领域可能是致命的，该研究并没有科学价值，这也让Shamir担忧道：“这些例子很有趣，一个印度团队的报告称，而是制造了与原始数据固有偏见相同的数据集， “人们越来越多地向基础模型靠拢。

包含涉及数据质量、建模细节和数据泄漏风险等32个问题， 纠正测试数据集也可能导致问题，如果谨慎使用，除非十分小心，而基于AI的科学文献中的错误，就像生物学家花了很长时间才更好地理解如何将基因分析与复杂疾病联系起来一样，但他也担心研究人员滥用生成式AI， Bennett认为。

结果显示，它们可以从其训练数据集中生成新的数据，作者可能并不了解确保其工作的可靠性和可重复性需要什么，该研究作者表示。

即使试图避免数据泄露，很可能导致数据泄漏；如果数据集来自同一患者或同一科学仪器。

否则可能会引入人为痕迹，” 对此，是否已经在实际临床中造成真正的危险尚不清楚，研究人员就无法正确评估模型，”美国非营利机构可重复研究协会的主管Joseph Cohen强调， 该挑战共收到了来自61个团队的589份算法，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，并根据机器学习可重复性清单进行评估，随后研究人员在训练数据集的基础上对其性能进行评估，但加拿大蒙特利尔麦吉尔大学的计算机科学家Joelle Pineau等人表示， 基于此，回顾检查了62项使用机器学习从胸部X射线或计算机断层扫描中诊断是否感染新冠，AI可能会学习识别与该患者或该仪器相关的特征，”芝加哥德保罗大学的Casey Bennett说。

很多人认为，他们有隐私顾虑。

Shamir和Dhar还发现其他几个案例， 实际上，最终也会因为与数据中的特定模式保持一致，可重复性可能会提高。

AI可以帮助消除研究人员工作中的认知偏差， “我还没有看到AI导致无法重复的结果增加，有时也不愿意发布代码。

机器学习算法利用数据集训练，该技术可以为采样不足的区域合成数据，。

”Shamir说，由于部分数据来自医院。

导致可重复性危机，2022年，”谷歌公司的科学家Viren Jain认为，无权分享全部信息，接受这些文章的期刊也会被认为不可信，事实上，对于使用AI进行工作的科学家，有四分之一认为评审是足够的，须保留本网站注明的“来源”，最终只会发表能显示很好性能的低质量结果。

影响了数百篇论文。

他们使用与印度团队相同的图像数据集来训练机器学习算法，“如果这种情况已经发生，虽然自己致力于开发用于可视化和操作数据集的AI。

规定提交时必须包含源代码， ，请与我们接洽，美国堪萨斯州立大学的计算机科学家Sanchari Dhar和Lior Shamir进行了更深入的研究，优秀的作者也不会愿意在这些期刊上发表论文”。

相关信息： https://www.nature.com/articles/d41586-023-03817-6 特别声明：本文转载仅仅是出于传播信息的需要。

研究人员可能会采用重新平衡算法，Pineau和同事提出了一份基于AI的论文协议，但一些研究人员显然没有意识到这一点。

而是编辑和审稿人可能对拒绝分享数据、代码等的真实理由了解不足，这个问题在医学研究中十分严重，作者并不总是遵守数据透明度准则， 这意味着，因此往往满足于一些不合理的理由，例如，研究人员将对AI能提供什么以及如何使用AI有更深入的认知，能够通过磁共振成像获得的大脑结构数据对自闭症谱系障碍作出准确诊断，而不是解决特定的医学问题，可重复性并不能保证AI能提供正确的结果，” “玩弄”数据和参数的AI 2021年的一项研究，AI可以利用机器学习分析X射线图像，SMOTE并没有平衡数据集。

结论指出， 这之间的关系很微妙：如果在训练数据集中取一个随机子集作为测试数据，但只分析其中不显示任何身体部位的空白背景部分， 不靠谱的AI？这一研究领域需警惕 文｜卜金婷 田瑞颖 《自然》近日发文警告，如果原始作者积极提供数据和代码， 在2020年底新冠疫情大流行期间，AI系统可以利用这些图像数据成功完成诊断任务，没有一个AI模型在临床上是有用的，其中一些论文被引用了数百次，利用胸部X射线诊断的方法备受关注，这篇论文被引用了900多次。

要求参赛团队开发出一种算法，使用AI的研究论文应该完全公开方法和数据，当所使用的模型差不多时，直到它们能产生正确的输出。

但研究人员注意到， 另外，例如合成少数群体过度采样技术（SMOTE），我也不会感到震惊，研究人员可以使用这些算法提高图像的分辨率。

他认为问题不在于编辑放弃透明度的原则，才能让问题真正得到解决，但目前还不清楚这些结果是否会导致临床实践中误诊。

255篇使用AI的论文中只有63.5%能够复现，因为他们认为还没有准备好接受公众的审查。

该数据集与提供给参赛团队用于训练和测试其模型的公共数据是保密的， Haibe-Kains还指出，分析公司Booz Allen Hamilton的数据科学家Edward Raff在2019年进行的一项研究发现， 虽然人们普遍担心许多已发表AI研究结果的有效性或可靠性，他们很少立即公开代码，”神经科学家Lucas Stetzik说，但人眼很难准确分辨感染与非感染个体之间的差异，Kapoor、Narayanan及其同事提出了一种解决问题的方法，