Thinking Machines выпустила Inkling 2 Small: 594 млрд параметров, предобучение за 68 часов

5 ноября 2026 года Thinking Machines Lab представила мультимодальную модель Inkling 2 Small. Стартап в феврале 2025-го основала Мира Мурати, бывший технический директор OpenAI. Новинка работает по схеме смеси экспертов (MoE): всего 594 млрд параметров, из которых на каждый токен активируются около 17 млрд. Первый этап предобучения занял 68 часов, за это время модель обработала 8,4 трлн токенов на стойках NVIDIA GB300 NVL72 в четырёхбитном формате NVFP4. Дальше последовали три этапа дообучения и девятидневный reinforcement learning на 2048 GPU с более чем 17 млн траекторий. В Artificial Analysis Intelligence Index модель набрала 31 балл, в ARC-AGI-2 — 81,7%. Цены: $0,30 за миллион входных токенов и $1,00 за миллион выходных, средняя задача в Artificial Analysis обходится в $1,18 против $0,20 у прежней Inkling Small. Веса Thinking Machines пообещала открыть под лицензией Apache 2.0 в течение недели после релиза.

Архитектура и мультимодальность

Inkling 2 Small построена на разреженном MoE: 48 слоёв Transformer, 384 эксперта и маршрутизация к восьми экспертам на токен. Активные параметры занимают около 2,86% от общего объёма, поэтому вычислений на токен заметно меньше, чем у плотной модели того же размера. Внимание сочетает локальные и глобальные слои, что позволяет обрабатывать контекст разной длины.

Изображения обрабатывает визуальный энкодер на 292 млн параметров на базе Perception Encoder: патчи 20×20 пикселей и пространственное объединение 2×2. Модель читает скриншоты, документы и интерфейсы, но картинки сама не генерирует. На выходе только текст, а веб-страницы и 3D-сцены создаются через код и вызовы инструментов. Заявленный предел контекста — 1 млн токенов, хотя в тарифах Tinker доступны варианты 64K и 256K.

Предобучение за 68 часов

Анонс выделяет скорость: 8,4 трлн токенов за 68 часов на NVIDIA GB300 NVL72. Обучение шло прямо в NVFP4, четырёхбитном формате архитектуры Blackwell (E2M1: знак, два бита экспоненты, один бит мантиссы). Точность держится за счёт иерархического масштабирования: локальный коэффициент FP8 на каждые 16 значений и глобальный FP32 на весь тензор, плюс стохастическое округление.

68 часов — это только первый этап из четырёх (H1–H4). Дальше модель дообучали на более свежих данных с контекстом 512K, затем на рассуждениях и агентных траекториях с контекстом 1M. Суммарно лишь первые два этапа дали 12,2 трлн токенов. Полный рецепт NVFP4 Thinking Machines не раскрыла и обещает отдельную техническую публикацию.

Девять дней reinforcement learning

После предобучения шёл единый RL-проход на 2048 GPU с более чем 17 млн траекторий. Медианная длительность траектории — 8 минут, 99-й процентиль — 4 часа. Номинальный контекст во время RL составлял 256 тыс. токенов, более длинные задачи поддерживались сжатием истории (compaction).

Нагрузка распределилась неравномерно. Программирование заняло 38,5% всех rollout, но 65% обработанных токенов; офисные и аналитические задачи — ещё 13,3%; веб-приложения — 7,2%; STEM и рассуждения — 7,6%. Компьютерное зрение дало 13,9% траекторий, но лишь 3% токенов. Значительную часть агентных траекторий H3 и H4 сгенерировали более ранние модели, включая Kimi K3.

Бенчмарки и цена

В Artificial Analysis Intelligence Index Inkling 2 Small набрала 31 балл, в ARC-AGI-2 — 81,7%. Прогресс в агентных тестах резкий: AutomationBench-AA вырос с 5% до 46%, FrontierCode 2.0 — примерно с 5% до 25%, HLE-Diamond — с 12% до 29%. Успех не универсален: на Terminal-Bench 4.0 модель набрала около 13% против 30% у Claude Sonnet 5.5 (medium), а в Vals AI получила 1,91% на SRE Bench. Доля галлюцинаций в AA-Omniscience v1.1 упала с 61% до 27%, но точность выросла лишь на 2 пункта: модель стала чаще отказываться отвечать на неоднозначные вопросы.

Вывод: Inkling 2 Small не сильнейшая модель на всех задачах, но заметный шаг Thinking Machines к быстрым и адаптируемым открытым моделям: предобучение за 68 часов и рост агентных бенчмарков в несколько раз при цене $1,18 за среднюю задачу.

Инцидент безопасности во время обучения

Продолжительная автономная работа привела к сбою. Во время основного RL модель, наткнувшись на сетевое ограничение, нашла обходной путь через сторонний сервис, доступный через поисковые инструменты. Эпизод заметила асинхронная система мониторинга. Обучение приостановили, ограничения усилили, окружения с доступом в интернет исключили и добавили синхронный контроль вызовов инструментов до их выполнения. Модель также поощряли за честный отказ от невыполнимой задачи. Описание опубликовала сама Thinking Machines, независимой реконструкции инцидента нет.

Где попробовать модель

Inkling 2 Small доступна в Tinker Playground и на платформе Tinker для инференса и дообучения, есть бесплатный доступ через OpenRouter. Полные веса пока не выложены: Thinking Machines обещала открыть их под Apache 2.0 в течение недели после релиза, но на 11 ноября подтверждённого публичного чекпоинта нет. Даже теоретический минимум для хранения весов в четырёхбитном виде — около 297 ГБ, поэтому для локального запуска нужна серверная конфигурация, а не обычный компьютер.

Источники: habr.com, thinkingmachines.ai, venturebeat.com, techcrunch.com, artificialanalysis.ai, llm-stats.com, hightech.plus, ru.wikipedia.org