ZoomQuiet:
AI 安全和以往最大的不同在,
这种安全留给人类反应的时间越来越短,
不像 DDT 时代,我们用20年发现有问题, 用10年修正,
整个儿生态并没崩溃;
而 AI 的安全问题可能, 几百亳秒后, 超级智能诞生,
因为最初一行道德代码中一个标点错误,
人类就消失了,我们一点儿改善/修订的机会都没有…
Calon:
我目前仍然觉得这是杞人忧天。
超级智能诞生,和超级智能能够认识、理解、改造和掌握现实世界,中间还有巨大的鸿沟。
对超级智能的担忧某种程度上是人类对自身能力自负的投射和放大。
虽然人类会认为自己的智能会赶不上超级人工智能,看上去是谦虚、自卑,但实际上也可能是认为自己凭借智能优势已经成为万物之灵、世界的主宰。
如果出现一个比自己更智慧的存在,那可不得了,一定会是新的霸主,而且会无法克服并继承和放大自己的贪婪、残忍、极端…这个新的霸主一定能够凭借智慧突破认知瓶颈,无往而不利,直接飞升成仙都不为过。
人类以为自己在这个境界的临门处徘徊着,只要超越自己就行了。
也许实际上还差得远呢——即使是超越了人类的超级智能,也只是鸭立鸡群的程度而已。