Мы – тупейшее существо, способное на создание цивилизации

Несколько научных центров пытаются оценить, какие угрозы несут компьютеры человечеству. Будет ли причиной смерти людей рак, сердечные болезни или искусственный интеллект?
Машины могут стать последним изобретением человечества, потому что они ведут к взрыву интеллекта и самовоспроизводству умных машин.
Исследователи пытаются описать ситуации, в которых человечество превзойдет свои умственные способности и создаст систему, способную производить собственные технологии, которые уничтожат человечество, – не потому что они будут злом, а потому что мы не можем предсказать последствия нынешнего программирования.
Представьте машину, хорошую настолько, что она способна достичь своих целей. Все зависит от того, каковы ее цели. Соответственно, как только вы не можете определять ее цели со стопроцентной надежностью, у вас возникают проблемы.
Суперинтеллект может просто не брать наши интересы в расчет, как мы не берем в расчет интересы корневой системы или муравейника при строительстве зданий.
Если мы даже создадим систему, настроенную исключительно на наше счастье, она вполне может решить подсадить нас на героин.
Возьмите горилл – они исчезают не потому, что люди злы к ним, а потому, что мы контролируем окружающую среду так, как надо нам, а не им. Подумайте о том, как это – конкурировать за ресурсы с доминирующим видом.
Технологии сверхинтеллекта стоит воспринимать как стихийные силы природы, вроде созвездий или ураганов – это что-то могущественное, но безразличное.
Еще одна проблема заключается в том, что мы воспринимаем себя очень умными, таковыми не являясь. Мы – тупейшее существо, способное на создание цивилизации. Другими словами, технологиям не станет много труда превзойти нас, как только они начнут мыслить самостоятельно.

The men trying to save us from the machines

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s