人工智能
未来超级智能：小小的回形针能毁灭人类?
[-]
超级计算机AI会制造过量的回形针，人类将面临种族灭绝。
这不是开玩笑。牛津大学人类未来研究院的院长Bostrom在《超级智能：道路、危险和策略》这本书中描述了如果AI从Siri进化到天网级别时，人类将会面临多么可怕的灾难。该书于今年7月份出版，特斯拉公司的CEO Elon Musk看过这本书后都感触深刻，在Tweet上发了这样一篇沉郁的警言：
Bostrom关于超级人工智能的书非常值得一读，我们应该十分谨慎地对待人工智能。也许它们的危险性比核能更可怕。
— Elon Musk (@elonmusk) 2014年8月3日
Bostrom在位于牛津大学的办公室中通过Skype展示了一个思维实验，论证了AI是如何渐渐跑偏的。
其实也不一定是回形针，什么都有可能，只要你给AI一个清晰的目标，比如“在全世界尽可能多生产回形针”——而且AI必须足够聪明，可以自行发明超级科技，建造自己的加工厂，如果满足这些条件，那么，你对AI说的话就要小心了。
“AI是如何确定回形针已经达到最大可能量了？”Bostrom提出这个问题，“计算机很确保人类不会关掉计算机，因为这样会只会减少回形针的数量。计算机也许会做出决定立刻抹杀人类，因为人类对回形针来说是个威胁。(这里跳转比较大，作者可能是想说如果人类关掉计算机，计算机指挥下的回形针工厂便无法继续生产)或者，如果你想要尽可能多的资源，用来制作尽可能多的回形针。那么计算机就会想，人体里也有铁元素啊~”
Bostrom又继续往下说，这回他假设出的剧本更加让人不安。
假设你希望将还在发展中的人工智能限制在一定程度以内，你为计算机设定的目标看起来极为安全，比如一定要让人类微笑，一定要让人类幸福等等。你怎么知道计算机不会控制整个世界，强制人类的面瘫肌肉做出微笑的样子？或者，计算机可能会觉得让人类最大程度快乐的最好方法，就是在我们的掌管快乐的脑区植入电极，将没用或者无法感知快乐的脑部区域全部切除。
“随后宇宙空间会满是装着人类快乐脑组织的大桶。”Bostrom说。
对于我(原文作者)，Bostrom所描述的回形针世界末日一点也不像超级人工智能会干的事情。而且看着很傻比。如果有一天我们真的创造出比我们自己更聪明的机器——真的是非常非常聪明，聪明到甚至机器可以重新设计自己，使自己更加聪明。聪明到弱小的人类在它面前根本难望项背——如果人工智能真的聪明到这种程度，难道我们都明白的，它们会明白不了？
为什么有人会认为世界末日一定会来临？为什么超级人工智能不会从现有的人类知识体系中吸取教训，助力人类欣欣向荣？为什么超级人工智能非得是天网这种真实世界不存在的虚构之物？
没有人知道这些问题的答案，在我阅读《超级智能》这本书的时候，我感到深深的失望，虽然即便再怎么去想象猜测，我们也不知道未来会发生些什么，不知道什么时候会发生。Bostrom说真正的超级智能十年后就能诞生，或者80年后，或者根本不会有。我们不知道人类会走过怎样的技术发展道路才能迎来变革的到来，我们也不知道未来的人工智能会如何对待人类，我们根本不知道他们给自己定下的目标会是什么。在《超级智能》这本书里，充斥着“可能”、“也许”、“应该会”、“很可能”等词汇，Bostrom本人也给自己留了退路，在前言部分他表示“书中许多观点可能是错误的。”
我们目前能够非常确定的是，目前高速发展的科技成果应该可以证明真正的人工智能很快就将出现——比如自动驾驶汽车、能够击败国际象棋大师的软件程序、依靠声音激活的智能手机——困扰着计算科学家几十年的人工智能难题的实现还遥远么？
Bostrom承认说最近的技术进步主要是依靠熟练的蛮力算法。只要有大量的传感器、处理单元还有数据，对任何特定问题，你都能圆满完成。
但是真正的自主性，也就是独立思考的能力，从现实世界推倒出真实意义的能力？目前人类还做不到这点。
所以又出现了一个问题：如果我们自己都无法确定短期内是否能够诞生超级智能，或者什么时候能造出来，为什么我们要花时间担心不可能出现的问题呢，为什么我们不去关心全球变暖这种科学家已经有很好解决方法的问题呢？
但是对于Bostrom，狂暴的人工智能对人类的威胁足以盖过其它所有。
所以回形针末日只是人类对自己都无法确定的问题，想出的虚妄答案。
