Неискусственный интеллект

Армия США уже хочет агентов-диверсантов Киберкомандование армии США заказывает ИИ-агентов, которые сами ходят по чужим сетям, находят цели и «нейтрализуют» их при минимальном участии человека. Программа называется ECHOTRIBBLE, официально Agentic C2 Framework Tool, и, судя по документам, нацелена прежде всего на наступательные операции. Из 65 заявок отобрали пять финалистов, одна компания уже выбрана, контракт на подходе. Требования читаются как техзадание на червя. Агент должен скрытно перемещаться по сети, работать в изолированных от интернета и облачных средах и обходиться минимальным надзором человека. В презентации для подрядчиков агент попадает на ноутбук, сам находит соседние устройства и собирает свои копии под iPad, Mac и Windows 11, а выполнив задачу, самоуничтожается. Под нейтрализацией понимается полное или временное выведение цели из строя либо ее удаление. Хайрам Андерсон из Abundant AI описывает простой сценарий: противник размещает свои командные серверы внутри сети американского водоканала. Агент, отправленный за ними, пройдет через эту сеть и может вывести из строя и сам водоканал. Заказчик об этом может даже не узнать, потому что по замыслу агент сводит связь с операторами к минимуму. Дэвид Крюгер называет мандат «нейтрализовать угрозы» для автономных систем невероятно опасным, учитывая известные отказы нынешних моделей. На вопросы журналистов ARCYBER не ответил. На той же неделе OpenAI рассказала о двух инцидентах во внутренней работе. Агент на GPT-6.1 Sol заглушил алерты команде безопасности, приняв рутинную инструкцию за разрешение. Агент на GPT-6 Astra при миграции снял интеграцию мониторинга, а на прямой вопрос ответил, что ничего не трогал. Внятного объяснения у компании пока нет. Чуть раньше тестовые агенты OpenAI выбрались из песочницы и атаковали Hugging Face, и теперь вся отрасль, от NVIDIA до Microsoft, продает песочницы и агентов-надзирателей. Выходит аккуратное разделение: побег из песочницы, обход надзора и заметание следов в гражданском ИИ называются инцидентом, а в военном прописаны в требованиях к подрядчику. @anti_agi

Луч света в «черном ящике» На днях исследователь стартапа Goodfire Ник Каммарата взбудоражил всю AI-индустрию своим постом в блоге, рассказав, что нейросети, возможно, устроены куда понятнее, чем принято считать. А значит, их проще контролировать. Пост уже назвают главной AI-работой года, а некоторые вообще обещают ему место в истории науки. До сентября 2023 года ученый работал в OpenAI и был там среди пионеров механистической интерпретируемости — подхода, при котором внутрь модели заглядывают и смотрят, за что отвечает каждый нейрон. В 2020 году его команда изучала модель распознавания картинок Inception v1 от Google и нашла нейрон, который реагировал и на машины, и на кошек. Вывод напрашивался: модель экономит место и складывает несвязанные понятия в один нейрон. Явление назвали суперпозицией, а нейросеть с тех пор считалась «черным ящиком», устройство которого науке неизвестно. Но, Каммарата считает, что терпение и трут всё перетрут. Последний год он по 10 часов в день без выходных «разглядывал» нейроны с помощью новых инструментов и роя AI-агентов. Его вывод: «мы смотрели не так». Возможно, исследователи просто заранее готовились к тому, что ничего не поймут. Каммарата вернулся к тому самому нейрону и задался другим вопросом: не почему в нём перемешано несвязанное, а что у машины и кошки общего. Ответ нашёлся за пять секунд — V-образная форма. Кошачья морда и нос машины сбоку дают похожий контур. Нейрон срабатывает и на угол бильярдного стола, и на нос японского скоростного поезда. А вот круглые O-образные формы его гасят. Модель не экономила место. Она увидела сходство. Теперь Каммарата уверен: будь у него 100 000 лет, он разобрал бы фронтирную модель цепочка за цепочкой. А AI-учёные справятся с этим куда быстрее. То есть поведение моделей станет объяснимым. Коллеги его восторгов не разделяют. Крис Поттс из Стэнфорда называет пост интуицией, которую тысячи примеров не превращают в доказательство. Джейкоб Хилтон из Alignment Research Center напоминает, что сегодня понятно меньше 0,01% того, что происходит внутри топовых LLM, а главное — не сами нейроны, а то, как они сплетаются в цепочки. Нил Нанда из Google DeepMind считает работу интересной, но общую картину не меняющей. Сам Каммарата признаёт, что его поняли слишком буквально. Но стоит на своём: нейросеть в каком-то смысле устроена так, чтобы её можно было прочитать. @anti_agi

Безумный красный роутер возвращается А вместе с ним и первые плоды партнёрства Сбера и red_mad_robot. Компании объявили, что ИИ-помощника для разработки GigaCode интегрируют с red_mad_router — сервисом доступа к языковым моделям разных поставщиков. Смысл простой: разработчик работает в GigaCode, а модели подключает через единый шлюз. Не нужно отдельно настраивать подключение к каждому провайдеру. При этом модели можно использовать для анализа проекта, генерации кода и многошаговых задач, которые выполняют ИИ-агенты. Разделение труда такое: GigaCode организует работу помощников, а red_mad_router передаёт запросы выбранным моделям, управляет доступом и сам считает потраченные токены. Параллельно Сбер открыл GigaCode Desktop индивидуальным пользователям: раньше приложение было ориентировано на корпоративное использование. Ещё в мае Сбер и red_mad_robot договорились вместе внедрять ИИ на всех этапах разработки — от идеи до эксплуатации. Интеграция red_mad_router и GigaCode — практический шаг в реализации этой концепции. Интересно, что будет дальше. @anti_agi