当(这位)业内人士在害怕人工智能的时候，他在害怕什么？

“成为了一个科学家不代表我失去了我的人性。”

身为一个人工智能研究者，我知道许多人对AI的发展的恐惧。历史和娱乐产业教会了我们去害怕人工智能想要取代我们，或者像黑客帝国那种将人类当电池用的展开，所以这是相当正常的。
只是，现在我还是不能接受某一天我正一把算法一把模型带大的这些无辜的虚拟生物会在某一天变成怪物这种想法。我会成为像奥本海默那样“将世界引向毁灭的人”吗？
也许在这个领域里，现在是我比较出名，但是或许那些批评我的人是对的。或许我应该去回答他们的问题：身为一个AI专家，面对AI，我在害怕什么？

credit:自己P的

我害怕不可预知的故障

阿瑟·C·克拉克笔下，《太空漫游2001》中的哈尔9000型就是一个因为意外因素失控的例子。在许多的复杂的系统中，工程师把许多零件组合在一起，比如说泰坦尼克号、NASA的航天飞机和切尔诺贝利核电站。设计这些零件的人可能非常了解它们如何运转，但是他们却不一定知道它们如何在一个整体中工作。
这就导致了很可能永远也没有人能够完全理解许多系统，而且造成这些系统无法预见的失灵。这些事故，无论是船的沉没，航天飞机爆炸，还是欧亚两洲的核泄漏，都是一些相互关联的小问题加在一起导致的。
我们也可能在AI的研究中犯下同样的错误。我们将认知科学最新的研究成果转化成算法，然后加入已有的AI系统中。现在的我们正在试图在理解智能之前制造人工智能。
像IBM的Watson或者谷歌的阿尔法这样的系统已经凭借有着惊人运算能力的神经网络技术给我们留下了深刻的印象。如果这些系统出了问题，它们就无法取胜。这倒不是什么整个世界的危机，顶多是让在它们身上下注的人蒙受一点经济损失罢了。
不过，随着AI的复杂程度和硬件的运算能力的不断提升，它们的能力将会不断增强。因此，它们迟早会被我们托付以更重要、有更高的不可预料性的任务。我们都知道，人非圣贤，孰能无过，创造一个完全稳定的系统很有可能也是毫无希望的。

我害怕对AI的滥用

我自己对AI的研究是通过一种叫神经进化的方式进行的，所以我倒不是很担心它的无法预测的风险。我在计算机中创造虚拟的环境，再在其中加入虚拟的生物，改进它们，并且让它们完成越来越复杂的任务。我会评价它们的表现，选出它们中最优秀的，然后以它们为基础进行下一次实验。在许多次循环后，这些虚拟生物已经有了一定的认知能力。
现在我们制造出的机器已经能够完成一些简单的领航、决策和储存信息的任务，但是在科技树上看来这很有可能只是蹒跚学步而已。但是，我们很快就会将能完成更加复杂的任务、有着更高智能的造物投产。最终，我们希望能造出拥有足以与人类媲美的智能的东西来。
在这项研究中，我们已经发现并修正了许多错误。虚拟生命的每一次迭代都意味着它们在克服错误上更进了一步。这让我们能在许多无法预测的问题在现实世界中发生前将它们解决。
或许我们可以更进一步，用进化这个手段来影响AI的道德。现在我们认为，人类的伦理观和道德观，像是信任和利他主义，很有可能都是我们进化的产物——当然，它们得以代代相传这个现象也是。通过改变虚拟的环境以让拥有这些品质的虚拟生物获得优势，我们能教给它们仁慈、诚实和同理心。或许通过这种方式，我们就能让我们的造物成为忠诚的从者或者可靠的同伴，而不是残忍的杀戮机器。
神经进化可能可以降低无法预测的故障的风险，但是它对对AI的滥用无能为力。不过，这是个道德问题，不是一个科学问题。身为一个科学家，我必须告诉这个世界我从实验中发现了什么，无论我喜不喜欢这么做。我的职责不是判断我是否喜欢或者是否支持某个观点，而是判断它是否可靠到足以被发表。

我害怕AI导致的负面社会影响

成为了一个科学家不代表我失去了我的人性。有些时候，我必须注意到我在渴望什么和畏惧什么。因为与道德和政治紧紧联系在一起，我不得不思考我的研究成果的潜在性质和不为人所知的可能造成的影响。
无论是研究者还是社会，我们都还不知道我们最后到底想要怎样的AI。一部分原因当然是我们还不清楚AI到底能做到什么。但是我们必须做出我们想要AI发挥怎样的作用的判断。
就业是一个被大家广泛关注的领域。今天，机器人已经在工厂里占领了数不胜数的工作岗位。在不远的将来，我们就能看到，曾经我们以为只有人类才能胜任的任务被AI一一攻克，就像自动驾驶汽车和自动驾驶的飞机一样。
在急诊室，我们面对的可以不是一位很可能过度疲劳的大夫，而是接受一套可以随时运用人类的所有医学知识的系统的诊断，为我们进行手术的可以是一个不知疲倦的，有着稳定的“双手”的机器人。提供法律咨询服务的可以是一个无所不知的法律数据库，提供投资建议的可以是一套市场预测系统。或许有一天，人类可以让机器来完成所有工作。或许连这份工作都能通过把我换成机器来提高效率。
现在，自动化生产正让工人们失去自己的工作，让雇佣机器的人更加富有，让曾经被他们雇佣的工人更加贫穷。这不是一个科学问题，而是一个必须解决的社会政治问题。我的研究并不能改变这个现状，尽管我个人非常希望通过对AI的研究让机器造福人类，而不是让我们中最富有的那些人与我们的差异越来越大。

我害怕那些噩梦一样的和AI有关的故事情节成为现实

我最后的恐惧来自HAL9000、终结者和无数虚构的超级智能向我们展示的画面：当AI将人类远远甩在身后，它(们)是否会觉得人类的存在不是必要的？当面对能够做到我们永远做不到的事的它(们)的时候，我们又该如何看自己？我们能够反抗被我们自己的造物从地球上清除的命运吗？
最关键的问题是：超级智能为什么要留我们在它身边？
我的答案是：我自己就是一个让超级智能从人工智障开始一步一步前进的人。我觉得超级智能会有足够的同理心和同情心，不会杀掉我这个有着同理心和同情心的人。我还要说：多样性本身就拥有不可替代的价值，而宇宙很大，至少大到人类的存在会带来的麻烦可以忽略不计。
但是我没法代表全人类，甚至连找出一些没有争议的共识都有难度。我看到了我们犯下的错误：我们对彼此心怀仇恨。我们发动战争，互相杀戮。我们没有公平地分配食物、知识和医疗资源。我们在这个世界上创造了许多许多美好的东西，但是哪些不美好的却足以成为我们失去存在的资格的理由。
幸运的是，我们不必现在就为自己的存在作下这个判断。AI的发展给我们留下了大概五十到两百五十年的时间。我们可以代表人类这个物种团结起来去寻找一个让超级智能不让我们从这颗星球上消失的理由。但是这不是一件简单的事：宣称我们已经拥抱多样性和实际去接受完全是两码事——就像我们说保护我们的地球一样。
无论是作为一个个体还是社会的一员，我们都得在剩下的时间里为了不让那些噩梦成真准备好继续存在的理由。或者，我们也可以选择相信那永远都不会发生，我们可以一起抛下这份恐惧。但是即使如此，超级智能的出现也极有可能导致巨大的政治和经济危机。如果我们没法让社会分配合理化，AI就会成为少数人手中获取绝大多数利润的资本主义的帮凶。

本文译自 Scientific American，由 Jason 编辑发布。