在一家繁忙的医院里，一位放射科医生正在使用人工智能来帮助她通过患者X射线图像诊断患者的病情。使用人工智能可以帮助她更快地诊断，但她怎么知道什么时候可以相信人工智能的预测呢？
她不知道。但是，她可以依靠自身的专业知识和系统自身提供的可信度，或者算法是如何做出预测的说明解释进行评估，虽然这些信息看起来很有说服力，但仍然可能出错。
为了帮助人们更好理解何时可以信任人工智能“队友”，麻省理工学院的研究人员开发了一项培训技术，引导人类更准确地认识到机器做出正确预测和不正确预测的情况。
通过向人们展示人工智能如何完善自身，该培训技术可以让人们在与AI合作的情况下做出更好的决策或更快地得出结论。
计算机科学和人工智能临床机器学习小组实验室（CSAIL）和医学工程与科学研究所的研究生Hussein Mozannar说：“我们提出了一个将人类逐步引入人工智能模型的教学阶段，以便他们看到它的弱点和优势。我们通过模仿人类在实践中与AI交互的方式来实现这一点，但我们会在过程中及时向他们提供反馈，以帮助他们理解他们与AI进行的每一次交互。”
Mozannar与领导CSAIL可视化小组的计算机科学助理教授Arvind Satyanarayan和MIT电气工程和计算机科学副教授、临床机器学习小组负责人、资深作者David Sontag 一起撰写了这篇论文。
心智模型
这项工作的重心基于人类自身建立的关于他人的心理模型。如果放射科医生对某个病例不确定，她可能会询问某个领域的专家同事。根据过去的经验和她对这位同事的了解，她有一个关于他的优点和缺点的心理模型用于评估他的建议。
Mozannar说，人类在与AI交互时会构建相似的心理模型，因此这些模型的准确性非常重要。认知学表明，人类通过记住过去的交往和经历来为复杂的任务做出决定。因此，研究人员设计了一个培训流程，通过提供人类和人工智能协同工作的代表性示例，作为他们未来可以借鉴的参考点。他们首先创建了一种可以识别向人类介绍AI的最佳教学案例的算法。
“首先，我们通过观察人类专家过去在没有人工智能指导下做出的决定，了解他们的偏见和优势，”Mozannar说，“我们将我们对人类的了解与我们对人工智能的了解结合起来，看看在哪些情况下人类可以依赖人工智能的帮助。然后我们获得了人类应该依赖人工智能的案例以及人类不应该依赖人工智能的案例。”
研究人员使用根据段落问答问题的任务测试了他们的培训技术：用户收到一篇文章和一个答案包含在文章中的问题。然后，用户必须回答这个问题，并可以点击一个按钮来“让AI回答”。然而，用户无法提前看到AI的答案，这要求他们依赖自己对AI的心理模型。他们开发的培训流程首先向用户展示这些示例，用户试图在AI系统的帮助下做出预测。人类可能是对的或错的，而人工智能也可能是对的或错的，但无论哪种情况，在解决了问题之后，用户都会看到正解以及对为什么AI做出其选择的解释。为了帮助用户从示例中进行总结概括，培训系统将展示两个对比示例，解释为什么AI会做对或做错。
例如，训练中的问题会根据植物教科书中的一段错综复杂的段落，询问两种植物中的哪一种原产于更多大陆。人类可以自己回答，也可以让人工智能系统回答。然后，她会看到两个后续示例，可以帮助她更好地了解AI的能力。也许人工智能在一个关于水果的后续问题上是错误的，但在一个关于地质学的问题上是正确的。在每个示例中，AI用于进行预测的单词都会被标记。Mozannar解释说，看到被标记的单词有助于人类理解AI的局限性。
为了帮助用户记住他们学到的东西，用户需要写下她从这个教学示例中推断出的规则，例如“这个AI不擅长预测花朵”。然后，她可以在以后与AI实际合作时参考这些规则。这些规则也能让用户形成对人工智能的心理模型。
教学影响
研究人员通过对比三组参与者测试了这种培训技术。一组通过了整个培训，另一组没有进行后续比较示例，而对照组没有接受任何培训，但可以提前看到AI的答案。
“接受培训的参与者和看到AI答案的对照组的参与者做出了类似的判断。所以，结论是他们能像真的看到AI的答案一样预测AI的表现。”Mozannar说。
研究人员对数据进行了更深入的分析研究，查看参与者写下的规则。他们发现大概50%接受过培训的人准确写下了AI的能力。那些准确写下了AI能力的人答对了63%的问题，而那些没有准确写下AI能力的人答对了54%。没有接受培训但可以看到人工智能答案的人答对了57%的问题。
“当教学成功时，它会产生重大影响。这就是要点。当我们能够有效地教会参与者时，他们能够做得比你直接给他们答案时做得更好。”他说。
但结果也表明差距仍然存在。只有50%的受过培训的人可以建成准确的人工智能心理模型，即使是那些50%的人，也只能做对63%的问题。尽管他们获得了准确经验，但他们并不总是遵循自己的准则，Mozannar补充道。
这是一个让研究人员摸不着头脑的问题——即使人们知道人工智能应该是对的，他们为什么不基于自己的心理模型来判断？他们未来将探索这个问题，以及改进培训流程以减少所需的时间。
