来源:传递 The Transfer
随着宠物诊疗行业逐渐采用AI技术,一些特定领域已成为兽医人员在临床实践中应用该技术的入口。据调查,39.2%的兽医人员已经在临床实践中使用AI工具。影像学和放射学(与用于记录保存和管理任务的工具并列)是并列第一最广泛采用AI技术的学科。
既然放射学和影像学AI工具并列第一,那么,我们在兽医学中如何使用、监控和理解这些工具的后端应该已经相当标准化了吧?然而,事实并非如此。从缺乏(或根本不存在)上市前批准,到某些工具数据集训练方式的不透明性,在日常临床实践中使用这些工具时,需要考虑很多因素。
兽医学领域人工智能放射学工具的现状
Ryan Appleby是一名兽医放射科医生,也是安大略兽医学院的教师。他还曾担任美国兽医放射学院 (ACVR) 的理事会成员,以及ACVR和欧洲兽医诊断成像学院 (ECVDI) 人工智能联合教育与发展委员会的前任主席(2023年和 2024年)。他与其他人共同出版了《美国兽医放射学院》杂志的特刊,详细介绍了人工智能在放射学中的应用。Appleby还领导了兽医创新委员会的放射学人工智能小组委员会。
他指出,在当今放射学领域,人工智能工具虽然有潜在的优势,但也存在一些重要的风险和注意事项。他更担心的是,与人类医学不同,兽医学领域对这些工具的创建方式缺乏监管。
Appleby说道:“我们对人工智能系统的了解是,当它们用于图像分析时,本质上是一种诊断测试。由于这些系统的创建方式,有一些非常具体的指导方针应该遵循。”
他提到了由美国食品药品监督管理局(FDA)、加拿大卫生部和英国医疗保健与监管局(MHRA)等机构共同制定的《机器学习医疗器械透明度指导原则》,该指导方针概述了医疗保健行业良好机器学习实践的十项原则。
他说道:“这些都是基础性的内容,应该指导与医疗保健(包括兽医学)相关的人工智能工具的开发和信息共享,我们在宠物诊疗领域面临的挑战是,任何人工智能系统产品,都没有上市前审批流程。”
这让Appleby感到担忧,因为这让兽医只能“信任”系统的输出。他补充说:“实际上没有任何底层安全机制可以确保该工具符合一定的质量标准,才能在临床销售和使用。从责任角度来看,在临床实践中使用这些产品对宠物和兽医来说都非常具有挑战性,而且可能存在危险。”
理解放射学中的人工智能:数据集、准确性等等
当我们谈论人工智能时,我们经常使用一些看似适用于整个人工智能生态系统的通用术语。但这并非我们应该看待它的方式,尤其是在宠物诊疗领域。Appleby指出,这就像谈论整个计算机一样。
他指出:“这将包括大型计算机、手机等等。它们并不完全相同。人工智能也是如此。当我们谈论用于图像分析或图像分类的人工智能时,它与其他人工智能工具截然不同。”
通常,当我们考察人工智能的指标时,准确率是各公司首先会宣传的指标之一。例如,一款人工智能放射学工具可能会声称其准确率高达98%。听起来不错,对吧?但Appleby表示,这其中还有很多其他因素,准确率只是其中一项指标。准确率可能具有误导性,并不能完全反映该人工智能的训练方式。
基础训练
重要的是要记住,所有这些工具都使用不同的数据集,并且训练方式也不同。因此,在当今围绕放射学工具的人工智能领域,需要了解一些基础知识。
Appleby说:“当我们为成像人工智能创建分类系统时,我们实际上是在教计算机系统识别图像中的某些内容,我将要讨论的一个常见例子……是用于识别肺结节的人工智能。”
Appleby表示在这个例子中,AI接受了识别图像中肺结节的训练。在用这些图像训练AI之后,系统会在一组新的图像上进行测试,并尝试识别该图像池中的任何肺结节。
他补充道:“现在,作为良好机器学习实践的一部分,我们实际设置数据集的方式、我们标记图像的方式、图像数量、正片和负片的分布、使用的AI类型,以及重要的训练集、测试集和验证集的分离,这些都需要真正分开。
理论上,我们创建的这个AI可以进行修改,以提高准确率。例如,如果训练数据(我们最初用于训练这个肺结节识别器的照片)与测试集重叠(这意味着训练数据和测试集中存在相同的照片),那么理论上,AI系统就已经知道这些答案是什么,这可以人为地提高准确率。这就是为什么查看这些数据集非常重要。"
正负值
第二件需要注意或理解的事情是数据集中正负值的数量。
Appleby说:“如果我们没有足够的数据,我们的指标值可能会被人为地抬高,有时甚至会人为地降低,这取决于我们呈现数据的方式,我们真的需要思考如何呈现这些数据,以及这些数据的实际来源。”
Appleby表示,这就是为什么宠物诊疗行业开始考虑第三方验证非常重要。
他说:“这是一个非常复杂的问题,部分原因是我们不知道谁应该进行第三方验证,以及我们应该验证什么……所以,我们行业内部对于如何使用人工智能以及为了创建验证模型或验证数据集,我们应该关注哪些方面,并没有达成共识。”
选择放射学人工智能工具时需要考虑的危险信号
危险信号:查看产品的参与人员。如果放射科医生没有参与放射学AI,您可能需要寻找其他工具。
危险信号:公司不共享或展示数据集或AI的训练方式。
黄旗:没有明确的方法来监控产品在临床实践中的表现。Appleby补充表示,这也许不是一个危险信号,但现在的系统缺乏实施后的监控——而这对于动物医院如何在日常运营中持续使用该工具至关重要。
未来的AI前景
Appleby表示,作为一个行业,有三个“后续步骤”可以帮助我们更好地理解我们如何与放射学工具(以及一般的AI工具)以及创建它们的公司互动。
整个行业都可以开始学习AI在临床实践中的外观和运作方式。
Appleby指出,了解现有的资源以更好地理解这些AI工具的运作方式至关重要。此外,目前有一些工具可能在实践中使用,它们包含AI元素,例如一些使用类似图像分类算法的内部实验室分析仪。他补充说: “人工智能正在渗透到宠物诊疗行业的方方面面,兽医需要对其有切实的理解。”
各机构发布指南或制定最佳实践标准
Appleby表示,各机构确实需要提出最佳实践,这有助于宠物诊疗行业就如何正确使用和审查这些工具达成共识。
第三方机构负责验证并提供持续监控
他表示,第三方验证机构的作用主要有几种。首先是考察人工智能的工作原理和训练方式,其次是确保产品的性能始终保持在最初设计时的水平。他补充道:“我们可能会遇到所谓的模型漂移,即模型会随着时间的推移而发生变化。它们的识别水平可能不一定会与最初相同。”
需要思考的问题
Appleby建议向销售人工智能工具的公司提出以下问题:
参与人员是谁?
人工智能计划回答什么问题?
人工智能使用哪些方法?
AI是如何训练/测试的?
模型表现如何?我们如何监控AI的表现?
结语与知情同意
AI对话的核心在于透明度。Appleby表示,数据集的透明度、系统后端的运作方式以及如何持续监控AI系统——所有这些都至关重要。
他补充说:“由于兽医无法掌握这些信息,包括我在内的一些人认为,获得知情同意是不可能的,你可以获得同意,但你没有提供足够的信息让客户真正就此做出知情同意。因此,我认为,当动物医院考虑采用AI时,这将成为一个极具挑战性的伦理问题。”
美国动物医院协会标准:以技术为重点
CS05.1:动物医院使用电子系统与客户沟通、教育并提醒客户有关推荐的护理。
CS09:积极征求客户反馈。此类反馈可能包括焦点小组、客户调查、评估以及在客户服务会议期间讨论的客户意见。
CS13.2:动物医院以保持专业形象的方式创建和使用表格(复印、打印或电子格式)。
MR44:电子病历系统通过防止未经授权的查看或编辑来提供保密性和完整性。这可以通过医院团队成员退出记录或病历系统自动超时来实现。
MR51:手持式外围设备无线计算设备的数据安全维护与主服务器类似。笔记本电脑、个人电脑或其他无线设备中包含的所有数据均采用密码保护、加密或限制外出等方法进行保护。
MR57:可以创建所有患者的多参数报告,以便评估相关信息,例如发病率、特定群体特征的患者识别、常见病因和/或超出规定水平的实验室值。
MR58:软件系统支持数据提取。经诊所授权后,其他程序(例如参考实验室、远程医疗会诊等)可以访问特定数据和预定数据字段信息,以便与宠物诊疗行业共享信息。
MR52:任何本地存储的机构或患者数据(在笔记本电脑、个人电脑或其他无线设备上)均会在收到后24小时内备份到相应的云端或集中式服务。
MR50.1:动物医院信息管理软件(PIMS) 采用基于角色的安全性,允许医院团队成员(按不同职位、不同级别的访问权限)查看、添加和/或更改信息。
DG08:本动物医院能够使用DICOM标准和其他常见格式传输数字图像,无需专有软件即可查看。