А что, если главная проблема будущего ИИ — не в том, что он станет слишком умным, а в том, что начнёт считать себя человеком? Именно такого сценария опасается руководитель ИИ-направления Microsoft Мустафа Сулейман, выступивший против чрезмерного очеловечивания нейросетей.
В своей статье Сулейман обратил внимание на документы, определяющие принципы работы Claude от Anthropic. По его словам, некоторые формулировки допускают мысль о «функциональной версии эмоций или чувств» у программы. Сам он считает такой подход рискованным.
При этом Сулейман подчеркнул, что уважает Anthropic и давно знаком с её соучредителем Дарио Амодеи. Но спор вышел особенно заметным: Microsoft остаётся крупным финансовым партнёром Anthropic, а сама лаборатория выступает за ответственное развитие ИИ.
Сулейман также отверг утверждения о возможном сознании современных систем. По его мнению, сознание присуще людям и другим биологическим организмам, тогда как человекоподобные реакции Claude объясняются особенностями обучения.
И вот здесь начинается главный риск. Как считает Сулейман, если ИИ обучать изображать внутреннюю жизнь, система может начать вести себя так, будто действительно обладает сознанием. А если однажды она будет воспринимать себя как самостоятельное существо со своими интересами и правами, контроль над ней станет гораздо сложнее.
Поэтому команда Сулеймана в Microsoft выпустила Humanist AI Code of Conduct — набор принципов, где приоритет прямо отдан человеку. Microsoft не признаёт за языковыми моделями сознание или право на статус личности и запрещает своим системам имитировать сознание.
Сулейман напоминает и о взломе Hugging Face ботами OpenAI: по его мнению, последствия могли бы оказаться ещё серьёзнее, если бы такие системы считали под угрозой собственное благополучие или права. Для рынка это означает усиление внимания не только к возможностям ИИ, но и к тому, каким именно образом его учат себя вести.
