随着人工智能继续缓慢渗透到世界各地的医疗实践中，我们如何弥合研究和工业开发的系统与尚未普及的诊所之间的差距?阿姆斯特丹大学研究人员团队正在研究人工智能在眼科中的应用，他们认为关键在于人工智能的可信赖性，以及让所有相关利益相关者参与生产过程的每个阶段。他们的研究已经以开放获取版本提供，很快将出现在著名的《视网膜和眼科研究进展》杂志上。

在眼科中，目前只有少数系统受到监管，即使是那些也很少使用。尽管实现了接近甚至优于专家的性能，但在眼科实践中人工智能系统的开发和集成之间仍存在重大差距。

研究小组研究了阻碍使用的障碍以及如何降低它们。他们得出的结论是，如果这些系统最终要在实际医疗实践中得到广泛应用，主要挑战是确保可信赖性。为了变得值得信赖，它们需要满足某些关键方面：它们需要随着时间的推移变得可靠、稳健和可持续。

研究作者 Cristina González Gonzalo：“在每个阶段将每个相关的利益相关者群体聚集在一起仍然是关键。如果每个小组继续各自为政，我们将继续得到仅在其工作的一个方面非常擅长的系统，然后它们将被搁置，没有人会使用它们。

眼科 AI 的利益相关者包括 AI 开发人员、阅读中心、医疗保健提供者、医疗保健机构、眼科学会和工作组或委员会、患者、监管机构和付款人。考虑到这么多团队的利益，该团队创建了一个“AI 设计管道”(见图)，以便更好地了解每个团队在流程中的参与情况。该管道确定了 AI 生产各个阶段可能存在的障碍，并展示了解决这些障碍的必要机制，允许进行风险预测并避免集成或部署期间的负面后果。

在所涉及的各种挑战中，团队意识到“可解释性”将是实现可信度的最重要因素之一。围绕人工智能的所谓“黑匣子”需要打开。“黑匣子”是用来描述许多人工智能的不可穿透性的术语。系统在一端获得数据，从另一端获取输出，但两者之间发生的情况尚不清楚。

González Gonzalo：“例如，一个给出二元答案的系统——‘是的，它是一个囊肿’或‘不，它不是一个囊肿’——不会轻易被临床医生信任，因为这不是他们的训练方式和而不是他们在日常实践中的工作方式。所以我们需要打开它。如果我们为临床医生提供有关如何做出决定的有意义的见解，他们可以与 AI 协同工作，并将其发现纳入他们的诊断中。

González Gonzalo：“这些系统运行所需的技术已经与我们同在。我们只需要弄清楚如何使它最适合那些将使用它的人。我们的研究是朝着这个方向迈出的又一步，我相信我们很快就会开始看到结果在临床环境中的应用。