未来已来走向未知,人工智能比核弹危险，人类终将被人工智能控制

碳基只是硅基的引导程序而已，人类只不过就是垫脚石

2015 年，刘慈欣曾在一次采访中引用了霍金的观点，霍金曾预言「人工智能比核弹还危险，人类马上就要被人工智能控制」，当时的他认为这个说法有点危言耸听。

而现在，他认为我们是时候对未来有所警觉。

划重点

1. 人工智能会首先取代高智能的职业，这与我们的预测相反

2. 人工智能可以自我迭代出更高智能的版本，但我们的算力限制它的发展

3. 人工智能或许会让人类陷入舒适的陷阱之中

Q：现在 ChatGPT 横空出世，被人们热烈地讨论，您觉得人工智能的发展对人类的命运会产生一个什么样的影响？那自我迭代的人工智能有没有可能会取代或者说消灭人类？

我觉得这（人工智能的影响）应该从这个现实或近未来和比较远的未来这两点来看待。

从我们近未来或甚至从我们现实来看，人工智能它对我们社会世界的影响我相信大家已经都看到了，它现在已经产生一个很明显的趋势：（人工智能）有可能在代替我们人去从事很多的工作。

这个应该说是一个正面的趋势，这种趋势它可以提高我们的生活质量、提升人类的幸福感，让我们的生活在科技的加持之下可能变得更加舒适。

但是另一方面我们也不能不正视，人工智能的发展给人类社会带来的冲击。

首先，最明显的一点是人工智能可能会代替相当多的「人的工作」，而且这个趋势与我们以前的预测正好相反。

以前我们预测认为人工智能首先代替的是那些简单劳动、重复劳动的那样的工作，但是现在看来正好相反，人工智能可能首先代替的是那些需要高智能的、很高的教育程度的那样的工作，比如像医生、教师、股票经纪人等等这些工作可能是被首先代替的。这其中可能也包括我们作家也可能首先被代替的。

所以说人工智能对于人类的整个世界的发展来，它的影响很深远。我们再往层次再高一些的话，人工智能可能会对我们世界中相当多的比较基础的东西可能会产生重大的影响。

比如它会对文化艺术、文学，对这个人的创造力，对人的对世界的认识等等可能都会产生重大的影响，甚至可能让这一些东西都会被重新定义。

当这个人工智能现在已经开始介入到我们的科学研究之中，介入到我们对整个世界规律、对自然规律的认识之中，介入到对人类发展规律的认识之中，它可能产生的影响十分的深远。

当初人工智能在围棋领域战胜很多优秀的围棋选手的时候，有一位我们国内最出色的围棋选手说了一句话，让我印象很深刻。

他说中国的围棋博大精深，有两三千年的历史，积累了深厚的这个理论和经验，甚至围棋本身成为一种文化，具有了很深的禅意，但是就在这一夜之间，我们发现它的一切全是错的。

这一个说法确实很令人震惊，这件事情会不会发生在别的领域我们不知道，如果广泛发生的话，那么人工智能对人类文化文明最深层的影响我们是不可忽视的。

下面我回答您的第二个问题，就是说人工智能是否会把这个会消灭人类，这也应该分两个层次来回答。



第一个层次就是这种字面意义上的消灭，就是人工智能用某种暴力从肉体上完全消灭人类或是统治世界。

这一点从目前的这个技术发展趋势来看，特别是从目前的技术水平来看，在可以看到的未来可能性不是太大。

当然您刚才提到一个很有意思的概念叫迭代。人工智能的迭代，这是目前人工智能最可能出现危险的一个行为。



这个行为是什么呢？就是说当人工智能按我们现在的发展，它比人类的智能稍稍高一些的话，它自己也会像人类一样去创造新的人工智能，它创造出来的这个新人工智能可能比它的智能也稍微高一点，那么它又会接着迭代下一代，这样的话他们就会很快的把这些人工智能的智能水平提高到很高。

可能迭代下去，会提高到人类（智能）的几百倍甚至上万倍。

而它而由于它的这个计算机的计算时间比这个人脑人的大脑要快成千上万倍，那么这个迭代的时间可能十分的短，据推测可能只有半个小时到一个小时。

就说我们把人工智能发展到现在用了一个世纪的时间，而人工智能百倍于现在的这个程度，可能只用半个小时到一个小时，这是很可怕的一件事。

但是做出这个预测的人忘了一点，就是我们人类的计算能力，我们所能提供的算力是有限的。它的迭代到一定程度，我们的算力不（能够）支持它。

所以这就是一个有很讽刺意义的一件事情：我们人类的无能反而成为我们一个最后的屏障。所以您说的这这种毁灭不太可能。

那么第二种消灭则是一种我们想不到的一种方式，就是说第一种消灭人类是完全违背人类意愿的，而第二种对人类的消灭可能完全符合我们的意义。



比如说人工智能的发展，我刚才说过它可能会代替我们的这个大量的工作，而我们的社会如果适应了与人工智能的这种共存，我们发展出一种新的这种分配制度，那么我们就可能带来一个十分舒适的那种社会环境和十分舒适的生活。大部分人可能不需要工作，把大部分的工作都交给人工智能来进行。

在这种情况下，我们会越来越多地交出自己对社会运作的操作这种权利给到人工智能。

而生活会变得越来越舒适，那么这个样子下去的话，我们可能面临着人类历史上前所未有的一个巨大的陷阱。

就是说在这个科技的这种安乐窝里面，那么人类文明的活力在哪里？我们的开拓精神在哪里？如果这样一直发展下去的话，那可能人类最后的命运就是您说的被人工智能所消灭，但这个消灭的过程完全是在我们的意愿之内，而人工智能至始至终它没有任何恶意，它只是照着人类的指示去行驶。

而这样的如果真的发生这样的事，那人工智能所需要的它的智能程度以及它所需要的计算能力远远小于我们前面那个真正的字面意义上的那种消灭。所以这确实是我们应该对未来有所警觉的一件事情。