Создать новые этические стандарты

Следующая огромная опасность — создание технологий, которые невозможно будет контролировать. Чтобы этого не произошло, нужно, как мне кажется, начинать с развития значительно более глубокого понимания этики у разработчиков и инженеров. Необходимо осознать, что эти люди обладают властью в вопросах жизни и смерти и должны приносить не менее важную и твердую клятву, чем у врачей и адвокатов. Некоторое время назад кодекс профессиональной этики предложил Институт инженеров по электротехнике и радиоэлектронике, но он ограничивается банальностями в том, что касается интересов общественности.

Сегодня необходимо значительно четче обозначить основные положения такого кодекса.

• Эксперименты с программным обеспечением, основанным на алгоритмах поведения потребителей, должны быть в максимальной степени прозрачными, их цели и методы во всех случаях должны разъясняться.
• Программное обеспечение, предлагающее человеку сделать выбор или осуществляющее выбор вместо него, должно во всех случаях раскрывать основания, по которым предлагается тот или иной набор решений. Кроме того, оно должно раскрывать, предлагаются эти решения исходя из интересов или выгоды третьих лиц, например рекламных агентств или бизнесов, или же исходя из интересов пользователя. В некоторых случаях в этой области может потребоваться законодательное регулирование.
• Все сообщения роботов и ботов должны иметь четкую маркировку и сопровождаться постоянными предупреждениями о том, что они генерируются программным обеспечением, а не людьми. Например, во всех случаях, когда служба поддержки клиентов использует бота, а не живого человека, она должна обязательно уведомить об этом потребителя.
• Сибуя Мираи — первый персонаж ИИ, получивший официальный статус жителя Токио. Необходимо отменить его прописку. Его нет в природе. Это всего лишь бот с искусственным интеллектом. Его задача — беззаботно болтать с жителями Токио, чтобы парировать их вопросы. Это было сделано с благими намерениями, но стало первым шагом по пути, конец которого не предвещает ничего хорошего: боты не люди, они не обладают правами человека, а неопределенность в этом вопросе постепенно приведет к преждевременному выводу об их безобидности. Но вспомните «Колосс: Проект Форбина», «Грань», «В поле зрения», «Звездный крейсер "Галактика"», «Терминатор» — все эти фильмы заканчиваются одинаково: полной или почти полной гибелью человечества от рук ботов, ставших слишком многочисленными и всемогущими. При всей фантастичности подобных сценариев не стоит игнорировать такие риски в реальной действительности.
• Когда затрагиваются вопросы жизни и смерти, программное обеспечение (за исключением используемого полицией и армией) должно всегда отдавать приоритет безопасности человека, а полная иерархия приоритетов должна быть открытой. Запрещается разрабатывать программное обеспечение, использование которого создает риск для жизни, без четкого предупреждения о наличии такого риска.

В ближайшие годы это станет еще более важным, особенно в части, касающейся беспилотных автомобилей. Вы движетесь со скоростью 65 км/ч, и вдруг на дорогу перед вами падает башенный кран. Ваш «шофер» начинает считать варианты: въехать в кран — значит убить вас и разбить машину; резко уйти вправо — значит спасти вас и машину, но убить пешехода; резко повернуть влево и врезаться в дорожное ограждение — остается риск для вашей жизни, машина не погибнет, но дорожному ограждению будет нанесен ущерб на $200 000. Ответственных лиц нет, есть только просчитывающий варианты компьютер, которому предстоит сделать выбор — и чем он будет обоснован? Что важнее сохранить — вашу жизнь, машину или общественное имущество? А что бы вы сделали, будь сейчас за рулем? Имеет ли право машина сохранить вам жизнь ценой жизни пешехода? А если вы запрограммировали ее именно так, то какую ответственность несете?

Все это намного сложнее, чем может показаться, и вопрос о том, как принимать решения, когда речь идет о жизни и смерти, очень скоро остро встанет перед нами.

Сегодня наше законодательство намного более детально регулирует появление актера в рекламе, чем создание и продвижение на рынке бота, который изображает психолога. В подобных вопросах у нас нет ни достаточного практического опыта, ни распорядительных полномочий для введения ограничений в масштабе страны. Тем не менее технический прогресс диктует необходимость быстро вводить, изменять и даже отменять нормативные акты по мере необходимости. Из этого следует, что в вопросах прозрачности и этичности компьютерных программ нам нужен аналог Федеральной торговой комиссии, который будет проводить в жизнь соответствующее законодательство. Когда на кону миллиарды долларов, нельзя надеяться на добровольное соблюдение этических норм.

Нам придется разобраться в вопросе дронов и более общей проблеме роботов-солдат. Нужно отменить законы, предписывающие использовать дронов только в поле зрения оператора, но для начала нужно обеспечить безопасность и ввести разумные меры регулирования их движения в небе. С учетом повышенного риска, который несут эти новые изобретения, могут понадобиться лазеры для уничтожения дронов. Что касается роботов-солдат, следует подумать об их запрете международными конвенциями — так же, как были запрещены противопехотные мины. Если убрать с поля боя людей, появится опасный соблазн использовать роботов против соседних стран или собственного народа. При отсутствии запрета на них роботы-солдаты и роботы-полицейские могут представлять собой исключительную опасность для общества, намного большую, чем химическое оружие. Они — оружие массового уничтожения, и относиться к ним следует именно так.

Конечно, технологические компании предпочитают окутывать свои алгоритмы, процессы и операции завесой тайны. Но если мы и впредь хотим полагаться на такие системы и позволять горстке компаний плотно контролировать огромную часть интернета, нам следует добиться компромисса по этим вопросам.