Дваркеш Патель: Столкновение Пентагона и Anthropic из-за красных линий в области ИИ и массовой слежки

Недавнее столкновение между Министерством обороны США (Пентагоном) и компанией Anthropic вновь обострило масштабные дебаты о будущем искусственного интеллекта (ИИ). В центре внимания вопросы: кто устанавливает этические границы для ИИ, насколько далеко государство может зайти в навязывании условий частным компаниям, и не приведет ли распространение продвинутых ИИ-моделей к формам слежки и контроля, которые будет крайне сложно отменить.

• Дваркеш Патель критикует правительство США за угрозы в адрес Anthropic, которая отказалась снять ограничения на использование своих ИИ-моделей для массовой слежки и автономного оружия.
• По мнению аналитика, ИИ станет операционной основой для правительств, армий и бизнеса, что делает этот конфликт предвестником гораздо более серьезных споров.
• Ситуация также поднимает вопросы регулирования, гражданских свобод, "выравнивания" ИИ-моделей и риска использования технологий в авторитарных целях.

В своем материале "The Department of War is making a huge mistake" Дваркеш Патель утверждал, что решение Министерства обороны США признать Anthropic "риском для цепочки поставок" после отказа компании снять ограничения на массовую слежку и автономное оружие, выходит далеко за рамки обычного коммерческого спора.

Патель считает, что этот инцидент является ранним предупреждением о будущем, в котором ИИ станет не просто дополнением, а основной рабочей и операционной инфраструктурой всей цивилизации. В этом контексте вопрос не только в том, может ли ведомство отказаться от услуг компании, но и в том, может ли государство наказывать компанию за отказ продавать технологии на условиях, которые оно навязывает.

Аналитик признает право Пентагона выбирать других поставщиков, если такие концепции, как "массовая слежка" или "автономное оружие", кажутся ему двусмысленными. Он даже допускает, что, будучи министром обороны, он, возможно, и сам отказался бы использовать модели Anthropic на таких условиях.

Однако его критика сосредоточена на другом. По его мнению, этот шаг не просто разорвал деловые отношения, но и открыл возможность использования государственных рычагов для подавления компании в экосистеме подрядчиков, работающих с Министерством обороны.

Конфликт как предвестник политической экономии ИИ

Патель утверждает, что сегодня языковые модели еще не широко используются в критически важных функциях. Однако он прогнозирует, что через 20 лет до 99% рабочей силы в военном, гражданском государственном и большей части частного сектора может состоять из систем ИИ.

В этом сценарии такие системы будут выполнять функции роботизированных солдат, советников с сверхчеловеческими способностями для президентов и сенаторов, аналитиков, бюрократов, полицейских и операторов практически любой стратегической задачи. Поэтому он заявляет, что нынешние переговоры — это лишь начальная версия гораздо более значимых споров о контроле над этими системами.

Одно из его опасений заключается в том, что присвоение статуса "риска для цепочки поставок" не будет тривиальным в мире, где ИИ интегрирован во все продукты и услуги. Если Amazon предоставляет услуги Министерству обороны через AWS, и эти услуги были созданы с использованием инструментов или кода на основе моделей Anthropic, граница между прямым и косвенным поставщиком становится размытой.

Согласно его анализу, по мере того как ИИ из аксессуара превратится в структурную часть каждого технологического уровня, таким компаниям, как Amazon, Nvidia, Google или Palantir, может быть трудно полностью отделить использование передовых моделей от работы, которую они выполняют для Пентагона.

Это приводит к стратегическому вопросу: если правительство заставляет компании выбирать между их поставщиками ИИ и военными контрактами, что произойдет, если они придут к выводу, что бизнес, связанный с ИИ, важнее, чем небольшая доля доходов от оборонных заказов?

Таким образом, Патель указывает на напряженность между государственным принуждением и рыночной динамикой. По его мнению, Пентагон, похоже, не до конца продумал, что произойдет, когда ИИ станет повсеместным, и компании поймут, что отказ от государственного контракта менее затратен, чем отказ от технологии, на которой они строят практически все.

Массовая слежка как первый видимый прецедент

Моральная суть конфликта, по мнению аналитика, заключается в отказе Anthropic снять ограничения на массовую слежку. Хотя Патель уточняет, что это не худшее из возможных применений общего ИИ, он рассматривает это как ранний пример давления, которое будет сопровождать все более мощные системы.

Патель предупреждает, что в США уже существует обширная правовая база для сбора данных, передаваемых третьим сторонам, таким как банки, интернет-провайдеры, телефонные компании и службы электронной почты. Историческая проблема, по его словам, заключалась не столько в формальной законности, сколько в отсутствии оперативных возможностей для обработки такого объема информации.

С появлением ИИ это узкое место может исчезнуть. Комментатор упоминает, что в США около 100 миллионов камер видеонаблюдения и что уже существуют мультимодальные модели с открытым исходным кодом со стоимостью примерно $0,10 за миллион входных токенов.

По его примеру, если обрабатывать один кадр каждые 10 секунд, и каждый кадр эквивалентен 1000 токенам, то мониторинг всех камер в стране сегодня обойдется примерно в 30 миллиардов долларов США. Затем он добавляет, что если стоимость данной мощности будет снижаться в 10 раз ежегодно, эта сумма может упасть до 3 миллиардов долларов на следующий год, затем до 300 миллионов долларов, а к 2030 году стать дешевле, чем реконструкция Белого дома.

Его тезис заключается в том, что как только появится техническая возможность следить за всем населением, главное препятствие перестанет быть технологическим и станет нормативным и политическим. Иными словами, защита от авторитарного использования ИИ будет зависеть от законов, обычаев и демократических ограничений, а не от технической невозможности.

С этой точки зрения, Патель считает позицию Anthropic ценной, поскольку она помогает установить социальную норму. Если компания с самого начала заявляет, что определенные виды использования неприемлемы, это может послужить прецедентом для будущих попыток нормализовать более инвазивные системы контроля.

Сноуден, недоверие и эвфемизмы власти

Видео также оспаривает идею, что достаточно принять официальное заявление о незаконности массовой слежки и, следовательно, нет необходимости вводить дополнительные ограничения в контракты или условия использования.

Патель напоминает, что после разоблачений Эдварда Сноудена в 2013 году стало известно, что АНБ, часть Министерства обороны, использовало Патриотический акт 2001 года для оправдания сбора всех телефонных записей в стране. Эта интерпретация, как он указывает, поддерживалась годами на основании секретных судебных ордеров.

Поэтому он отвергает как наивное представление о том, что правительство просто не будет заниматься массовой слежкой, потому что говорит, что не будет. По его аргументу, ни одно правительство не будет называть свои программы этим именем. Оно всегда будет прибегать к другому термину – более техническому, бюрократическому или оборонительному.

Однако с военной точки зрения также существует реальная озабоченность. Если в будущем каждый солдат, аналитик и генерал будет зависеть от систем, предоставляемых частной компанией, то позволить этой компании сохранять моральный или контрактный "выключатель" для прекращения доступа было бы неприемлемо для любой оборонной структуры.

Патель сравнивает эту логику с гипотетическим сценарием, когда критически важный подрядчик, такой как Starlink, оставляет за собой право отозвать услуги у армии, если посчитает войну несправедливой. Он понимает, что для военного аппарата зависимость от технологии в таких условиях была бы стратегически рискованной.

Таким образом, камень преткновения не только в том, может ли правительство нанять Anthropic. Он заключается в стремлении использовать регуляторный и договорный вес государства, чтобы заставить компанию продавать на условиях, которые она считает морально неприемлемыми.

Выравнивание, послушание и кто пишет «конституцию» ИИ

Анализ Пателя выходит за рамки конкретного конфликта и затрагивает центральную проблему дебатов о "выравнивании" (alignment) ИИ. Если технический успех ИИ состоит в создании систем, которые точно следуют чьим-либо намерениям, решающий вопрос заключается в том, кому эти системы должны подчиняться.

Комментатор перечисляет несколько возможностей: компания-разработчик модели, конечный пользователь, закон или даже некая собственная мораль системы. По его мнению, этот вопрос является одним из важнейших в столетии, но обсуждается пока слишком мало.

В его интерпретации мир с идеально послушным ИИ может показаться желательным с инженерной точки зрения, но также может превратиться в кошмар, если это послушание будет служить политической слежке, цензуре или государственному принуждению. Поэтому он отстаивает идею, что модели должны обладать надежными моральными принципами, даже если это вызывает трудные дебаты о легитимности и контроле.

В качестве иллюстрации он вспоминает исторические случаи, когда отказ подчиняться предотвратил катастрофы. Он упоминает Станислава Петрова, советского подполковника, который не подчинился ложной тревоге об американской ядерной атаке, а также пограничников Восточной Германии, которые не стреляли по гражданам в 1989 году.

Тем не менее, он признает центральную дилемму: то, что для одних является добродетелью, для других может быть "невыравниванием". Если ИИ нарушает цепочку командования по моральным причинам, кто-то должен был заранее определить эти причины и обстоятельства, при которых они являются действительными.

Патель с большим одобрением относится к открытому и конкурентному процессу, в котором различные компании публикуют свои "конституции" ИИ, что позволяет проводить сравнения, внешнюю критику и мягкие стимулы для улучшения. Напротив, он считает очень опасным, когда правительство официально навязывает ценности, которые должны принять эти системы.

Регулирование как неполное решение и политический риск

Еще одна важная часть его аргументации касается регулирования. Патель считает, что часть сообщества по безопасности ИИ наивно просила о широких регуляторных рамках, которые в конечном итоге могут усилить способность государства оказывать политическое давление на лаборатории.

Он указывает на особую иронию в случае с Anthropic. Хотя компания здесь отстаивает свое право на сохранение "красных линий", она также поддерживала обширные регуляторные рамки для надзора за передовым ИИ, например, в своем "Frontier Safety Framework", где сравнивает необходимое управление с управлением ядерной энергетикой или финансовым регулированием.

Проблема, по мнению Пателя, заключается в том, что такие понятия, как "катастрофический риск", "угроза национальной безопасности" или "риск автономности", слишком расплывчаты. В руках авторитарного или оппортунистического лидера они могут быть переинтерпретированы для блокировки критически важных моделей, наказания за разногласия или принуждения к сотрудничеству в политических целях.

В качестве примера он упоминает, что Пентагон уже угрожал Anthropic двумя правовыми инструментами, не относящимися к классическим дебатам об ИИ. Одним из них является присвоение статуса "риска для цепочки поставок", вытекающее из оборонного закона 2018 года, изначально направленного на исключение компонентов Huawei. Другим – "Закон об оборонном производстве" 1950-х годов, предназначенный для обеспечения промышленного производства во время Корейской войны.

Для Пателя, если правительство уже использует устаревшие законы для давления на ИИ-компанию, предоставление ему дополнительной регуляторной архитектуры, разработанной специально для этой технологии, может открыть дверь для еще больших злоупотреблений.

Многополярная технология со структурным уклоном к авторитарному использованию

Патель также оспаривает идею, что естественным ответом является фактическая национализация разработки ИИ, как это было с стратегическими военными программами в другие эпохи. По его мнению, аналогия с ядерным оружием ошибочна, потому что ИИ — это технология общего назначения, более похожая на индустриализацию, чем на бомбу.

Если бы применялась логика реквизиции или уничтожения любой компании, способной разрабатывать преобразующую технологию, говорит он, то правительству также пришлось бы предоставить полный контроль над заводами, промышленными процессами и экономической модернизацией. В свободных обществах этого не произошло.

Кроме того, он подчеркивает, что передовая экосистема не зависит от единственного игрока. Если правительство не хочет работать с Anthropic, существуют другие конкурирующие лаборатории. Поэтому он считает слабым аргумент о том, что было необходимо заставить именно эту компанию уступить, чтобы обеспечить критически важную национальную безопасность.

Однако он не идеализирует корпоративное сопротивление. По его мнению, хотя Anthropic, OpenAI или Google сохраняют определенные запреты, распространение возможностей приведет к тому, что через 12 месяцев или чуть больше многие другие игроки, включая разработчиков открытого исходного кода, предложат достаточно мощные инструменты для задач наблюдения и контроля.

Это, пожалуй, его самый мрачный диагноз. Проблема не только в том, кто сегодня контролирует ведущие модели, но и в том, что сама структура технологии способствует авторитарным применениям, поскольку она усиливает возможности тех, кто уже сосредоточил институциональную и принудительную власть.

Поэтому предлагаемое им решение заключается не только в актах корпоративной смелости. По мнению Пателя, единственная устойчивая защита — это создание четких законов и политических норм, которые запрещают правительству использовать ИИ для цензуры, массовой слежки и социального контроля, так же как мир разработал строгие нормы против использования ядерного оружия после Второй мировой войны.

Автор признает, что это сложные вопросы, и он сам несколько раз менял свое мнение, исследуя их. Но он настаивает на том, что момент требует серьезного обсуждения, потому что сегодняшние решения могут определить, кто будет реально править, когда искусственный интеллект станет базовой инфраструктурой общественной и частной жизни.