Inkling 2 Mini от Thinking Machines: открытая ИИ-модель запускается на Mac с 32 ГБ памяти

20 ноября 2026 года лаборатория Thinking Machines, которую основала экс-технический директор OpenAI Мира Мурати, выпустила Inkling 2 Mini — мультимодальную ИИ-модель с открытыми весами под лицензией Apache 2.0. Чекпоинт занимает около 20 ГБ, поэтому модель работает локально на любом Mac с чипом Apple silicon и 32 ГБ объединённой памяти, а также на NVIDIA DGX Spark и видеокартах от 32 ГБ. Внутри 26,4 млрд параметров (архитектура MoE, 3,4 млрд активных), модель принимает текст и изображения и держит контекст до 1 млн токенов. В индексе Artificial Analysis она набрала 20 баллов — столько же, сколько Qwen3.8 27B, но с в несколько раз меньшим числом активных параметров; на бенчмарках кода DeepSWE v1.1 и Vals Index v2.2 результат 48,2% и 46,5%.

Кто выпустил модель и зачем

Inkling 2 Mini сделана в Thinking Machines Lab, стартапе Миры Мурати, которая до этого занимала пост технического директора OpenAI. Лицензия Apache 2.0 разрешает встраивать модель в коммерческие продукты без отдельного соглашения, поэтому разработчики получают ещё один локальный движок для кода и ИИ-агентов.

Модель принимает на вход текст и изображения, а отвечает текстом. Контекст достигает 1 млн токенов, однако запуск на Mac с 32 ГБ памяти не означает, что удастся задействовать всё окно целиком: по мере заполнения контекста растёт объём кеша внимания.

Архитектура с зацикленными слоями

Главное отличие Inkling 2 Mini — архитектура looped transformer. Это декодер из 24 слоёв с разреженными MoE-блоками: на каждом слое токен уходит в 8 из 128 экспертов. Слои разбиты на четыре блока по шесть. Первый и последний блоки отрабатывают один раз, а два средних, с 7-го по 18-й слой, прогоняются трижды подряд с одними и теми же весами. В сумме получается 48 применений слоёв на токен при 24 хранимых.

Отсюда и разброс цифр. Всего в модели 26,4 млрд параметров, активных на токен 3,4 млрд. Каждый дополнительный проход по зацикленным слоям добавляет около 1 млрд «эффективных» активных параметров, поэтому с тремя проходами выходит 5,4 млрд. Смысл приёма в том, что модель больше «думает» на каждом токене и доходит до ответа за меньшее число токенов рассуждений, особенно в агентном коде. В экспериментах зацикливание средних 12 слоёв дало прирост точности на 27 из 28 оценок.

Сколько памяти нужно и как запустить

Чекпоинт весит около 19,5 ГБ: 20 слоёв в 4-битном NVFP4 и последние 4 в 8-битном MXFP8. Веса выложены в той же точности, в которой модель обучали, поэтому потерь на конвертацию нет. Отдельно лежит файл драфт-модели для спекулятивного декодирования на 0,64 ГБ.

  • NVIDIA DGX Spark;
  • Mac с Apple silicon от 32 ГБ (MacBook, Mac mini, Mac Studio);
  • прочие GPU и платформы, рекомендуется от 32 ГБ видеопамяти.

Из движков заявлены Transformers, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, llama.cpp и Unsloth. На Mac модель запускается через Ollama (нужна версия 0.40.17 и выше) и Exo Labs, а также через MLX с оригинальным чекпоинтом без переконвертации:

mlx_lm generate --model thinkingmachines/Inkling-2-Mini --prompt "Hello" -m 1000

Уровень рассуждений задаётся параметром reasoning_effort от none до max, по умолчанию high. Готовые GGUF уже есть у ggml-org (IQ4_NL на 17,6 ГБ и Q8_0 на 27,8 ГБ) и у Unsloth, где размеры начинаются от 7,8 ГБ у самых агрессивных 1-битных квантов и доходят до 22,9 ГБ у Q8_K_XL. Распространённый Q4_K_M весит 16,6 ГБ.

Результаты тестов

В индексе Artificial Analysis Intelligence Index v5.0.1, который собирает девять оценок от Terminal-Bench 4.0 до HLE-Diamond, модель набрала 20 баллов. Столько же у Qwen3.8 27B в режиме xhigh и у Nanbeige4.3-33B, у которых активных параметров примерно в 5 и 6 раз больше. На графике «индекс против активных параметров» Inkling 2 Mini стоит на Парето-фронтире: при её числе активных параметров никто не набирает больше.

ПараметрЗначение
Всего параметров26,4 млрд (MoE)
Активных на токен3,4 млрд (5,4 млрд с учётом повторов)
Размер чекпоинта≈19,5–20 ГБ
Контекстдо 1 млн токенов
Входтекст и изображения
ЛицензияApache 2.0
Минимум памяти32 ГБ (Mac unified или VRAM)
Индекс Artificial Analysis20 баллов

На бенчмарках кода результаты такие: DeepSWE v1.1 — 48,2%, Vals Index v2.2 — 46,5%. Разработчики заявляют, что модель опережает другие открытые модели с менее чем 100 млрд параметров в ряде тестов программирования, хотя эти цифры пока не подтверждены независимо. Средняя задача индекса через API Thinking Machines стоит $0,59 и по расчёту занимает 9 минут против $3,53 и 38,2 минуты у Qwen.

Демо и ограничения

Сотрудники компании запустили модель офлайн на MacBook Pro с M5 Pro и 48 ГБ памяти прямо в самолёте и за несколько минут собрали с ней играбельный авиасимулятор. Во втором демо одна копия модели на офлайн-MacBook управляет 20 жителями пиксельного городка.

Есть и предупреждения: при отладке кода модель может застревать в циклах рассуждений, а в роли агента — удалять или перезаписывать файлы без подтверждения. Разработчик советует запускать агента в изолированной среде, запрашивать подтверждение перед действиями, способными привести к потере данных, и ограничивать число выходных токенов и шагов.

Вывод: Inkling 2 Mini даёт уровень Qwen3.8 27B при в несколько раз меньшем числе активных параметров и умещается в ноутбук с 32 ГБ памяти. За повторные проходы по средним слоям модель расплачивается меньшим запасом фактических знаний, что компенсируется поиском и инструментами.

Частые вопросы

Сколько памяти нужно для запуска Inkling 2 Mini?

Минимум 32 ГБ объединённой памяти на Mac с чипом Apple silicon либо видеокарта от 32 ГБ VRAM. Подходят MacBook, Mac mini, Mac Studio и NVIDIA DGX Spark.

Можно ли использовать Inkling 2 Mini в коммерческом продукте?

Да. Веса открыты под лицензией Apache 2.0, поэтому модель можно встраивать в коммерческие продукты без отдельной лицензии.

Как запустить Inkling 2 Mini на Mac?

Через Ollama версии 0.40.17 и выше, Exo Labs или MLX. Для MLX подойдёт команда mlx_lm generate --model thinkingmachines/Inkling-2-Mini --prompt "Hello" -m 1000.

Чем Inkling 2 Mini отличается от обычных моделей?

Архитектурой looped transformer: 12 средних слоёв из 24 прогоняются трижды с одними и теми же весами. Это даёт 48 применений слоёв на токен при 24 хранимых и позволяет модели «думать» дольше за меньшее число токенов.

Насколько хорошо Inkling 2 Mini пишет код?

На бенчмарке DeepSWE v1.1 модель набрала 48,2%, на Vals Index v2.2 — 46,5%. По заявлению разработчиков, она опережает другие открытые модели с менее чем 100 млрд параметров в ряде тестов программирования.

Источники: tproger.ru, ixbt.com, 3dnews.ru

Рекомендованные статьи