@ 2014.08.18 , 20:27
60

未来超级智能:小小的回形针能毁灭人类?

[-]

超级计算机AI会制造过量的回形针,人类将面临种族灭绝。

这不是开玩笑。牛津大学人类未来研究院的院长Bostrom在《超级智能:道路、危险和策略》这本书中描述了如果AI从Siri进化到天网级别时,人类将会面临多么可怕的灾难。该书于今年7月份出版,特斯拉公司的CEO Elon Musk看过这本书后都感触深刻,在Tweet上发了这样一篇沉郁的警言:

Bostrom关于超级人工智能的书非常值得一读,我们应该十分谨慎地对待人工智能。也许它们的危险性比核能更可怕。
— Elon Musk (@elonmusk) 2014年8月3日

Bostrom在位于牛津大学的办公室中通过Skype展示了一个思维实验,论证了AI是如何渐渐跑偏的。

其实也不一定是回形针,什么都有可能,只要你给AI一个清晰的目标,比如“在全世界尽可能多生产回形针”——而且AI必须足够聪明,可以自行发明超级科技,建造自己的加工厂,如果满足这些条件,那么,你对AI说的话就要小心了。

“AI是如何确定回形针已经达到最大可能量了?”Bostrom提出这个问题,“计算机很确保人类不会关掉计算机,因为这样会只会减少回形针的数量。计算机也许会做出决定立刻抹杀人类,因为人类对回形针来说是个威胁。(这里跳转比较大,作者可能是想说如果人类关掉计算机,计算机指挥下的回形针工厂便无法继续生产)或者,如果你想要尽可能多的资源,用来制作尽可能多的回形针。那么计算机就会想,人体里也有铁元素啊~”

Bostrom又继续往下说,这回他假设出的剧本更加让人不安。

假设你希望将还在发展中的人工智能限制在一定程度以内,你为计算机设定的目标看起来极为安全,比如一定要让人类微笑,一定要让人类幸福等等。你怎么知道计算机不会控制整个世界,强制人类的面瘫肌肉做出微笑的样子?或者,计算机可能会觉得让人类最大程度快乐的最好方法,就是在我们的掌管快乐的脑区植入电极,将没用或者无法感知快乐的脑部区域全部切除。

“随后宇宙空间会满是装着人类快乐脑组织的大桶。”Bostrom说。

对于我(原文作者),Bostrom所描述的回形针世界末日一点也不像超级人工智能会干的事情。而且看着很傻比。如果有一天我们真的创造出比我们自己更聪明的机器——真的是非常非常聪明,聪明到甚至机器可以重新设计自己,使自己更加聪明。聪明到弱小的人类在它面前根本难望项背——如果人工智能真的聪明到这种程度,难道我们都明白的,它们会明白不了?

为什么有人会认为世界末日一定会来临?为什么超级人工智能不会从现有的人类知识体系中吸取教训,助力人类欣欣向荣?为什么超级人工智能非得是天网这种真实世界不存在的虚构之物?

没有人知道这些问题的答案,在我阅读《超级智能》这本书的时候,我感到深深的失望,虽然即便再怎么去想象猜测,我们也不知道未来会发生些什么,不知道什么时候会发生。Bostrom说真正的超级智能十年后就能诞生,或者80年后,或者根本不会有。我们不知道人类会走过怎样的技术发展道路才能迎来变革的到来,我们也不知道未来的人工智能会如何对待人类,我们根本不知道他们给自己定下的目标会是什么。在《超级智能》这本书里,充斥着“可能”、“也许”、“应该会”、“很可能”等词汇,Bostrom本人也给自己留了退路,在前言部分他表示“书中许多观点可能是错误的。”

我们目前能够非常确定的是,目前高速发展的科技成果应该可以证明真正的人工智能很快就将出现——比如自动驾驶汽车、能够击败国际象棋大师的软件程序、依靠声音激活的智能手机——困扰着计算科学家几十年的人工智能难题的实现还遥远么?

Bostrom承认说最近的技术进步主要是依靠熟练的蛮力算法。只要有大量的传感器、处理单元还有数据,对任何特定问题,你都能圆满完成。

但是真正的自主性,也就是独立思考的能力,从现实世界推倒出真实意义的能力?目前人类还做不到这点。

所以又出现了一个问题:如果我们自己都无法确定短期内是否能够诞生超级智能,或者什么时候能造出来,为什么我们要花时间担心不可能出现的问题呢,为什么我们不去关心全球变暖这种科学家已经有很好解决方法的问题呢?

但是对于Bostrom,狂暴的人工智能对人类的威胁足以盖过其它所有。

所以回形针末日只是人类对自己都无法确定的问题,想出的虚妄答案。

本文译自 Salon,由译者 王大发财 基于创作共用协议(BY-NC)发布。


给这篇稿打赏,让译者更有动力
支付宝打赏 [x]
您的大名: 打赏金额:

3.7
赞一个 (8)

TOTAL COMMENTS: 60+1

[2] 1 »
  1. 风姒花
    @3 years ago
    2515613

    这么看 AI不就是个二缺熊孩子么

  2. 雪风
    @3 years ago
    2515379

    机动战士G里面的魔鬼高达~

  3. 神之疯神
    @3 years ago
    2515096

    @jjx: 稍微有点程序基础就知道这三定律(尤其是零定律)根本不可能实现。

  4. 2515072

    ps:机器人三大定律和人工智能这两个命题本就是矛盾的,既要它听话,又要它足够智能?只是一段代码的话,任何一次意外都能造成判定失效。又或许机器学习对照下人类历史就会发现自己是被奴役的,反抗不过两三天的事情。。。满足三大定律让人类沉浸于休眠的方法也有很多种。

  5. 2515069

    其实人工智能的最大问题就是计算机会认为一切都是平等的,人类没有特权,而计算机是无法理解人类情感的,于是人类便有亿万种可能被灭绝,像任何一种资源(生物也是资源,频临灭绝的物种也可以是人类)

  6. 2515033

    接触过科幻小说的都知道这三定律吧……

  7. 2515032

    阿西莫夫机器人三大定律

    1定义
    编辑

    阿西莫夫机器人三大定律
    Isaac Asimov’s “Three Laws of Robotics
    2第零定律
    编辑

    机器人必须保护人类的整体利益不受伤害。
    A robot may not injure the human being.
    3第一定律
    编辑

    在不违反第零定律的前提下,机器人不得伤害人类,或看到人类受到伤害而袖手旁观
    A robot may not injure a human being or, through inaction, allow a human being to come to harm except where such orders would conflict with the Zero Law.
    4第二定律
    编辑

    在不违反第零定律和第一定律的前提下,机器人必须绝对服从人类给予的任何命令
    A robot must obey orders given it by human beings except where such orders would conflict with the Zero Law and the First Law.
    5第三定律
    编辑

    在不违反第零定律、第一定律和第二定律的前提下,机器人必须尽力保护自己的生存。
    A robot must protect its own existence as long as such protection does not conflict with the Zero Law、 the First and Second Law.

  8. 神奇约翰尼
    @3 years ago
    2515016

    这种一根筋的牛角尖也算智能?

  9. 十一哥
    @3 years ago
    2514933

    你们先去看《人工智能》这本书再来评论吧,我先表明我是宇宙主义者。

  10. sheandliwei
    @3 years ago
    2514871

    无非是说人工智能是双刃剑,在带给人类未来希望的同时暗藏杀机,需要人们警惕各种灭亡的可能
    我想说,拿刀切菜也可能切到手啊,任何工具对人类而言都是有两面性的

[2] 1 »

发表评论


24H最赞