邪恶AI，能邪恶到什么程度？

[-]

人工智能——最坏的结果会是啥？对路易斯维尔大学的计算机科学家Roman Yampolskiy而言，它们可以为所欲为。同未来主义者Federico Pistono共同协作下，他提出了一系列邪恶AI的最糟糕设想：

建立军队(发展网络武器和机器人士兵来实现统治)，控制政府(用AI建立霸权，控制人们，或者推翻其他政府)，操纵企业(实现垄断，通过非法手段消灭竞争)；以及催生黑帽子黑客，恶棍，末日邪教和罪犯。

Yampolskiy认为预先想到最可怕的结果可以帮助人类预防灾难，就如同网络安全专家寻找脆弱点一样。他说：“思考AI的标准框架一直都是为了提出新的安全机制”，但是用网络安全的思维模式来观察这个问题可以提供全新的视角：列出所有可能的坏消息，从而更好地测试我们将会用到的防范措施。

Yampolskiy和Pistono设想的一些灾难场景包括让人类自相残杀。在其中一个场景中，一个AI系统发动了一场全球宣传战争，让政府和人群站在的对立面上，让“整个行星成为一台混乱的机器”。

他们的工作得到了埃隆马斯克旗下一家基金会的赞助，他本人就将AI称为“人类生存的最大威胁”。斯蒂芬霍金也表达过类似的担忧。

[-]

杞人忧天？

然而并非所有人都会担心。伦敦大学金斯密斯学院的Mark Bishop就认为这些恐惧太夸张了。中国互联网巨头百度的首席科学家Andrew Ng则把担心杀人机器人比作担心火星人口膨胀。

但是Yampolskiy援引了微软的推特聊天机器人Tay满口跑火车的例子。虽然这无伤大雅，但是Yampolskiy说这场意外揭示了这类系统的不可预测性。他说：“研究者没有料到这个结果。”

他补充说：“我不仅仅想要看到我们提出解决方案。我希望你们提出安全机制时再反问自己能不能打破它。”

英国谢菲尔德大学的AI研究者Noel Sharkey就赞同用网络安全的思路测试任何系统，尤其是自主武器。但是跟Bishop和Ng一样，他也同样怀疑AI的普遍威胁。他说：“一个邪恶的超级智慧人工智能仍然只存在科幻作品和想象之中。”

本文译自 newscientist，由 许叔 编辑发布。