Появление "настоящего" искусственного интеллекта, способного мыслить как человек, может иметь разрушительные последствия для всего мира. Угрозу может представлять даже высокоразвитый ИИ, запрограммированный на добрые дела, предупредили исследователи австралийского Университета Саншайн-Кост.
Масштабы опасности показали на примере гипотетического алгоритма SantaNet. Его поставили на место Санта-Клауса, которому нужно доставить все новогодние подарки за одну ночь.
Как показал мысленный эксперимент, угроза возникает уже на этапе составления списка хороших и непослушных детей. Воспринимая задачу буквально и не имея злого умысла, нейросети пришлось бы создать масштабную систему для скрытого наблюдения по всему миру. Определяя, какое поведение считать "хорошим" круглый год, "ИИ-Санта" будет руководствоваться собственными моральными принципами, что может привести к дискриминации, массовому неравенству и нарушению прав человека.
В мире живет около двух миллиардов детей младше 14 лет, поэтому компьютерному разуму понадобится создать армию подобных себе ИИ-работников. В свою очередь, это приведет к росту безработицы среди людей.
Более того, чтобы обеспечить подарком каждого, SantaNet может превратить Землю в гигантскую фабрику по производству игрушек. В результате ресурсы планеты будут истощены за очень короткое время, предостерегают ученые.
Первым такую идею — "проблему скрепок" — изложил шведский философ Ник Бостром в 2003 году. Он предположил, что ИИ, преследуя цель максимизации производства скрепок, воспримет свою задачу буквально и будет сопротивляться любым попыткам его остановить.
"SantaNet может показаться надуманным, но эта идея помогает подчеркнуть риски более реалистичных систем сильного искусственного интеллекта, — заключают исследователи. — Разработанные с благими намерениями, такие системы могут создавать огромные проблемы, просто оптимизируя способы достижения своих узких целей и собирая ресурсы".
