他们发现，在使用人工智能模型的情况下，对未被代表的种族会发生误判
生物医学工程与成像科学学院的研究人员利用大型生物医学数据库英国生物银行(UK Biobank)发现，如果人工智能模型在不平衡的数据库上训练，它们可能会产生种族偏见，这意味着在使用人工智能模型的地方，会出现对不足或没有代表性的种族的误诊。
在大多数心血管疾病(CVDs)中，已知性别/种族与流行病学、病理生理学、临床表现、治疗效果和结果之间存在关联。尽管这些差异还没有被证明与种族和性别有关，但它们的存在仍然是人工智能模型在心血管成像中的表现的一个潜在问题。
这篇发表在《心血管医学前沿》(Frontiers in Cardiovascular Medicine)上的论文研究了基于心脏磁共振成像(MR imaging)的人工智能模型的性能，这些模型被用于推导心脏的生物标志物。
研究表明，如果这些生物标记物被用于心脏衰竭的诊断，例如，少数族裔的误诊会比多数族裔的误诊更多。
研究人员发现，不同种族之间的分割性能得分以及体积和功能生物标志物的绝对/相对误差在统计上存在显著差异，这表明，即使在校正了可能的混杂因素后，人工智能模型仍对少数族裔群体存在偏见。
生物医学工程与成像科学学院医学图像分析的读者、首席研究员Andrew King博士说，研究人员需要合作当他们将这些模型应用于临床实践时，考虑到训练数据，以确保有足够的种族群体代表。
多年来，临床医生一直依靠手动/半自动分割方法来跟踪心腔轮廓。然而，这个过程繁琐、耗时，而且容易产生主观错误。
但研究人员已经提出使用人工智能和机器学习(ML)模型来完成诸如自动心功能量化等任务。这些方法现在开始向更广泛的临床转化。
在早期的一项工作中，研究人员确定了三种方法，它们可以使用相同的数据，但开发了一个模型，该模型更公平，对不同种族群体的表现更平等。
这些方法考虑到用于培训的数据库是不平衡的，例如，白人占80%的数据，其他种族占20%。第一种方法旨在修改训练抽样策略以消除歧视。实际上，这种方法欺骗了人工智能模型，使其认为数据库是平衡的，而实际上并非如此。
第二种方法是将分割任务与分类任务相结合，根据图像预测被试的种族。通过尝试将这两项任务结合起来，该模型学会了以一种不那么偏颇的方式分割心脏。
最后的策略是在每个种族组训练一个单独的模型。这一策略的主要缺点是它需要种族知识来应用该模型，而这并不总是适用于所有的临床环境。
金博士说:“这是人工智能未来的一个重要时刻。技术开始被用于现实世界，包括高风险的应用，如医学。如果我们不能确保人工智能技术的公平性，那么它可能会削弱公众对其使用的信任。未来的研究应该牢记这一点，确保社会所有部门都能平等地从人工智能中受益。”
