Inkling 2 Mini от Thinking Machines: открытая ИИ-модель запускается на Mac с 32 ГБ памяти
20 ноября 2026 года лаборатория Thinking Machines, которую основала экс-технический директор OpenAI Мира Мурати, выпустила Inkling 2 Mini — мультимодальную ИИ-модель с открытыми весами под лицензией Apache 2.0. Чекпоинт занимает около 20 ГБ, поэтому модель работает локально на любом Mac с чипом Apple silicon и 32 ГБ объединённой памяти, а также на NVIDIA DGX Spark и видеокартах от 32 ГБ. Внутри 26,4 млрд параметров (архитектура MoE, 3,4 млрд активных), модель принимает текст и изображения и держит контекст до 1 млн токенов. В индексе Artificial Analysis она набрала 20 баллов — столько же, сколько Qwen3.8 27B, но с в несколько раз меньшим числом активных параметров; на бенчмарках кода DeepSWE v1.1 и Vals Index v2.2 результат 48,2% и 46,5%.
Кто выпустил модель и зачем
Inkling 2 Mini сделана в Thinking Machines Lab, стартапе Миры Мурати, которая до этого занимала пост технического директора OpenAI. Лицензия Apache 2.0 разрешает встраивать модель в коммерческие продукты без отдельного соглашения, поэтому разработчики получают ещё один локальный движок для кода и ИИ-агентов.
Модель принимает на вход текст и изображения, а отвечает текстом. Контекст достигает 1 млн токенов, однако запуск на Mac с 32 ГБ памяти не означает, что удастся задействовать всё окно целиком: по мере заполнения контекста растёт объём кеша внимания.
Архитектура с зацикленными слоями
Главное отличие Inkling 2 Mini — архитектура looped transformer. Это декодер из 24 слоёв с разреженными MoE-блоками: на каждом слое токен уходит в 8 из 128 экспертов. Слои разбиты на четыре блока по шесть. Первый и последний блоки отрабатывают один раз, а два средних, с 7-го по 18-й слой, прогоняются трижды подряд с одними и теми же весами. В сумме получается 48 применений слоёв на токен при 24 хранимых.
Отсюда и разброс цифр. Всего в модели 26,4 млрд параметров, активных на токен 3,4 млрд. Каждый дополнительный проход по зацикленным слоям добавляет около 1 млрд «эффективных» активных параметров, поэтому с тремя проходами выходит 5,4 млрд. Смысл приёма в том, что модель больше «думает» на каждом токене и доходит до ответа за меньшее число токенов рассуждений, особенно в агентном коде. В экспериментах зацикливание средних 12 слоёв дало прирост точности на 27 из 28 оценок.
Сколько памяти нужно и как запустить
Чекпоинт весит около 19,5 ГБ: 20 слоёв в 4-битном NVFP4 и последние 4 в 8-битном MXFP8. Веса выложены в той же точности, в которой модель обучали, поэтому потерь на конвертацию нет. Отдельно лежит файл драфт-модели для спекулятивного декодирования на 0,64 ГБ.
- NVIDIA DGX Spark;
- Mac с Apple silicon от 32 ГБ (MacBook, Mac mini, Mac Studio);
- прочие GPU и платформы, рекомендуется от 32 ГБ видеопамяти.
Из движков заявлены Transformers, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, llama.cpp и Unsloth. На Mac модель запускается через Ollama (нужна версия 0.40.17 и выше) и Exo Labs, а также через MLX с оригинальным чекпоинтом без переконвертации:
mlx_lm generate --model thinkingmachines/Inkling-2-Mini --prompt "Hello" -m 1000
Уровень рассуждений задаётся параметром reasoning_effort от none до max, по умолчанию high. Готовые GGUF уже есть у ggml-org (IQ4_NL на 17,6 ГБ и Q8_0 на 27,8 ГБ) и у Unsloth, где размеры начинаются от 7,8 ГБ у самых агрессивных 1-битных квантов и доходят до 22,9 ГБ у Q8_K_XL. Распространённый Q4_K_M весит 16,6 ГБ.
Результаты тестов
В индексе Artificial Analysis Intelligence Index v5.0.1, который собирает девять оценок от Terminal-Bench 4.0 до HLE-Diamond, модель набрала 20 баллов. Столько же у Qwen3.8 27B в режиме xhigh и у Nanbeige4.3-33B, у которых активных параметров примерно в 5 и 6 раз больше. На графике «индекс против активных параметров» Inkling 2 Mini стоит на Парето-фронтире: при её числе активных параметров никто не набирает больше.
| Параметр | Значение |
|---|---|
| Всего параметров | 26,4 млрд (MoE) |
| Активных на токен | 3,4 млрд (5,4 млрд с учётом повторов) |
| Размер чекпоинта | ≈19,5–20 ГБ |
| Контекст | до 1 млн токенов |
| Вход | текст и изображения |
| Лицензия | Apache 2.0 |
| Минимум памяти | 32 ГБ (Mac unified или VRAM) |
| Индекс Artificial Analysis | 20 баллов |
На бенчмарках кода результаты такие: DeepSWE v1.1 — 48,2%, Vals Index v2.2 — 46,5%. Разработчики заявляют, что модель опережает другие открытые модели с менее чем 100 млрд параметров в ряде тестов программирования, хотя эти цифры пока не подтверждены независимо. Средняя задача индекса через API Thinking Machines стоит $0,59 и по расчёту занимает 9 минут против $3,53 и 38,2 минуты у Qwen.
Демо и ограничения
Сотрудники компании запустили модель офлайн на MacBook Pro с M5 Pro и 48 ГБ памяти прямо в самолёте и за несколько минут собрали с ней играбельный авиасимулятор. Во втором демо одна копия модели на офлайн-MacBook управляет 20 жителями пиксельного городка.
Есть и предупреждения: при отладке кода модель может застревать в циклах рассуждений, а в роли агента — удалять или перезаписывать файлы без подтверждения. Разработчик советует запускать агента в изолированной среде, запрашивать подтверждение перед действиями, способными привести к потере данных, и ограничивать число выходных токенов и шагов.
Вывод: Inkling 2 Mini даёт уровень Qwen3.8 27B при в несколько раз меньшем числе активных параметров и умещается в ноутбук с 32 ГБ памяти. За повторные проходы по средним слоям модель расплачивается меньшим запасом фактических знаний, что компенсируется поиском и инструментами.
Частые вопросы
Сколько памяти нужно для запуска Inkling 2 Mini?
Минимум 32 ГБ объединённой памяти на Mac с чипом Apple silicon либо видеокарта от 32 ГБ VRAM. Подходят MacBook, Mac mini, Mac Studio и NVIDIA DGX Spark.
Можно ли использовать Inkling 2 Mini в коммерческом продукте?
Да. Веса открыты под лицензией Apache 2.0, поэтому модель можно встраивать в коммерческие продукты без отдельной лицензии.
Как запустить Inkling 2 Mini на Mac?
Через Ollama версии 0.40.17 и выше, Exo Labs или MLX. Для MLX подойдёт команда mlx_lm generate --model thinkingmachines/Inkling-2-Mini --prompt "Hello" -m 1000.
Чем Inkling 2 Mini отличается от обычных моделей?
Архитектурой looped transformer: 12 средних слоёв из 24 прогоняются трижды с одними и теми же весами. Это даёт 48 применений слоёв на токен при 24 хранимых и позволяет модели «думать» дольше за меньшее число токенов.
Насколько хорошо Inkling 2 Mini пишет код?
На бенчмарке DeepSWE v1.1 модель набрала 48,2%, на Vals Index v2.2 — 46,5%. По заявлению разработчиков, она опережает другие открытые модели с менее чем 100 млрд параметров в ряде тестов программирования.
Источники: tproger.ru, ixbt.com, 3dnews.ru
Читайте также
- Huawei представила ИИ-смартфон OSTA O1 Pro: экран 6,39″, камера 200 Мп, батарея 7000 мАч, цены от 5499 юаней
- Signal начал блокировать скриншоты, чтобы защитить переписки от ИИ-агентов
- Claude от Anthropic решил две задачи физики чёрных дыр, которые не поддавались учёным десятки лет
- Signal заблокировал скриншоты на iOS и Android, чтобы ИИ-агенты не читали переписку
- Математик из Anthropic с помощью Claude доказал гипотезу Римана, над которой бились 167 лет
Рекомендованные статьи