深度证据回归：当AI不再值得信任时，我们能提前得到预警

终结者系列里的科学家莫名其妙地相信AI，最终招致人类毁灭的结局。幸好现实中的科学家更加谨慎，如果我们真的打算构建天网系统，让AI主导人类的未来的话，我们已经开发出了前置技术，可以探知AI神经网络里对人类有敌意的信号。

深度学习神经网络旨在通过权衡多种因素来模仿人的大脑，结果变成了某种黑箱子，人类已经无法分析内部的数据处理模式，只能通过输入和输出获取结果。

尽管距离天网还有一段距离，但人工智能已经开始主导某些领域里的决策，如自动驾驶和医疗诊断。我们当然需要保证AI的神经网络系统的可靠性与可预测性。

麻省理工学院计算机科学与人工智能实验室(CSAIL)的计算机科学家Alexander Amini说：“我们不仅需要高性能模型的能力，而且还需要了解它们什么时候不再可信。”

这种评估置信度的手段被称为“深度证据回归”，基于输入的数据质量来为AI打分——训练所用数据更准确和全面，AI就应该反馈给我们更加精确的预测。

尽管以前在神经网络中已内置了类似的防护措施，但新工具在速度上非常优异，没有过多的计算需求——它仅运行一次，而非多次运行，且在输出结果的时候，会给出置信度。

计算机科学家Daniela Rus说：“这个想法很重要，并且广泛适用。它可以用来评估依赖于机器学习模型的产品。通过估计学习模型的不确定性，我们还可以了解模型会带来多少误差，以及哪些缺失数据可以改善模型。”

即使神经网络在99％的时间里保持正确，但是在实际生活中，损失的1％也会产生严重的后果。研究人员说，尽管这项工作尚未经过同行评审，但他们相信新的简化信任测试可以帮助提高实时安全性。

“我们看到更多的[神经网络]模型从研究实验室流入现实世界，正在触及人类的生活，从而可能危及到我们的生命。该方法的任何使用者，无论是医生还是坐在汽车乘客座位上的人，都需要意识到与AI决策相关的任何风险或不确定性。”

完整研究将在12月的NeurIPS会议上发布，并提供在线论文下载。

https://www.sciencealert.com/neural-networks-are-now-smart-enough-to-know-when-they-shouldn-t-be-trusted