张智见差不多了，就开始继续自己的演讲：既然定律路线行不通，那么应该怎样保证ai不会毁灭人类呢？要知道这样一个超级智能的程序编得不够好，或者它不在乎人类的需求，那么对我们人类而言就是彻头彻尾的灾难。“agi研究者里，很少有人相信能造出一个百分之百安全毫无隐忧的系统。”因为说到底人生中也没什么东西是百分之百的。

    （这里科普一下artificial neral tellince（agi）是指强人工智能，这是一种人类级别的人工智能，在各方面都能和人类比肩，人类能干的脑力活它都能干。不仅仅是当今人工智能所应对的局部c特定的问题，未来可能出现的复杂繁冗任务对它来说都不在话下，当前的人工智能需要人类进行编程，但不排除未来的某一天它可以自动编程。）

    “我认为设计有意识c有自我觉知的人工智能或机器人，本身就是很不明智的。一旦我们造出了早期agi系统，或者至少是比我们现有东西强大得多的agi原型机，那么这个原型机将会在日后不断的进化，智力会不断的进化，超人类智力的人工智能或机器人将会很快出现。如果说目前的世界格局是我这个450智商的小孩一手布局的，那你们敢想想如果有人工智能的智力比我还高，如果又对人类稍微有些厌烦，你说人类会不会很快的灭亡？

    所以我要设计的是电脑，而不是人工智能电脑，是按给定的程序执行的电脑，而不是自己可以执行程序，agi我劝大家最好别去碰，至少要碰你也要有相应的技术和绝对安全的保护措施和后备措施，一旦出错，人类全部玩完，这并不是在开玩笑，我不想自己的子孙后代被放在机器人的动物园里被机器人像看猴子一样围观。（这也是在未来的几百年里，人类任何一个科学家都不敢去触碰agi的原因）

    “我所要研发的电脑不比agi差多少”张智给出了足够的警告后继续说着：举个例子来说，我把一个西红柿放到电脑跟前，设定程序，让他按程序的执行操作一把刀把西红柿切碎，同样设定程序把鸡蛋打开搅拌，然后执行程序按一定的程序步骤，最终西红柿炒蛋就做出来了。从此以后，我们只要把相关材料放好位置，电脑执行程序，做出西红柿炒蛋。这就是程序，而不是智慧。这样的场景在现在很多公司的生产车间里普遍存在，比如汽车身产线上。如果程序足够的复杂，足够的庞大，你们觉不觉得就算让它独自生产出一架飞机出来，也是正常的。这依然是程序而不是产生了智能。

    而我最后要说的正是前面电影兰宁博士说的话，想想这一切为什么会产生，或许你们觉得我太过担心，但是我要告诉你们，简单的程序中出点错并不会产生出什么，如果执行复杂的程序，比如按程序组装飞机，无数的简单程序的组合，程序中的一丝错误就会不断的累积，形成随机的编码段，最轻的结果就是飞机组装不了，出错无法执行，如果那些随即的编码段组合一起，形成意想不到的指令，就像两个石头碰撞产生火花一样，产生的后果谁都无法预料。为什么我们的地铁可以电脑远程操控，却还要设人操作的机构，是因为对电脑程序的不放心。如果电脑足够的可靠稳定，我们完全不需要人再去辅助操控，与其将人力放在操控上不如将人力放在多检查程序，多编写安全保护程序。无人驾驶汽车c无人驾驶地铁c无人驾驶巴士将在明后几年里遍布我们的世界，未来更复杂的电脑控制的各种机器将出现在我们的世界，而这所有的一切所带来的安全问题就是你们在座的责任。

    我不管你过去编程有什么坏习惯，在这里你们所编写的每一个程序，都很可能是最基本的程序，我要求程序足够的简洁明了，哪怕一个标点符号的错误都不许有。写出的程序需要在所有在座的各位审核以后，才能面对世界现场直播的情况下输入我

『加入书签，方便阅读』