Granite Switch 4.1: модульный стек IBM с оговоркой о speech.

IBM развивает Granite Switch 4.1 как способ развернуть несколько специализированных функций поверх одной языковой модели, не загружая отдельный полный экземпляр LLM для каждой задачи. Практическое значение подхода — в сокращении числа моделей, которые команде нужно хранить, обновлять и обслуживать в production. При этом доступные материалы по-разному описывают роль распознавания речи: модульность текстовых задач подтверждена документацией, а объединение speech с ними в одном чекпойнте требует отдельной проверки.

Один чекпойнт вместо набора моделей.

Согласно карточке Granite Switch 4.1 30B Preview, модель построена на Granite 4.1 30B с контекстом 128K токенов и включает 12 адаптеров из библиотек Granite. Среди заявленных специализированных возможностей названы RAG, механизмы безопасности и объяснимость. Нужный адаптер выбирается во время инференса управляющими токенами в chat template, то есть вызывающая система должна явно указать, какой режим необходим для конкретного запроса.

Технически Switch опирается на независимо обученные activated LoRA-адаптеры, встроенные в один чекпойнт вместе с весами базовой модели. Это отличается и от отдельных развёртываний, и от слияния весов: при merge специализация становится постоянной частью модели, тогда как Switch должен включать дельту весов только для выбранной функции. В документации также описана нормализация KV cache: адаптеры могут использовать представление предыдущих токенов, сформированное базовой моделью, но не наследуют кэшированные внутренние состояния друг друга. Такая изоляция важна для составных сценариев, где результат одного этапа передаётся следующему.

Что получает разработчик.

Проект ориентирован на привычный для self-hosted LLM контур. В репозитории Granite Switch приведён запуск модели через vLLM с OpenAI-совместимым API и пример вызова проверки социального смещения через библиотеку Mellea. Репозиторий также указывает вариант Granite Switch 4.1 на базе 3B-модели, тогда как карточка на Hugging Face описывает 30B Preview. Это позволяет выбирать размер базовой модели в зависимости от требований к качеству, задержке и доступным вычислительным ресурсам.

Для команды это меняет точку интеграции, но не отменяет оркестрацию. Приложению всё равно потребуется решить, в какой момент включать RAG, когда запускать Guardian-проверку и как обрабатывать её результат. Преимущество в том, что модели и адаптеры не нужно маршрутизировать между независимыми full-weight deployment. Лицензия Apache 2.0, указанная в публикации модели, делает такой вариант применимым и для собственного инфраструктурного контура, но не заменяет тестирования качества и требований к данным.

Speech остаётся отдельным вопросом.

Издание Runtime Wire сообщает, что обновление объединяет базовую Granite, адаптеры для принятия решений и распознавание речи, чтобы обслуживать несколько нагрузок из одного развёртывания. Однако официальная карточка Switch 4.1 30B перечисляет RAG, safety и explainability, не называя speech-адаптер среди включённых компонентов. Поэтому утверждение о едином speech-to-text и текстовом endpoint нельзя считать подтверждённым только по доступной первичной документации Switch.

При этом speech — часть более широкой линейки Granite 4.1. В анонсе IBM Research отдельно перечислены языковые, speech-, vision-, embedding- и Guardian-модели. Такой состав допускает построение общей платформы из компонентов одного поставщика, но не доказывает, что все они уже помещены в единый модульный чекпойнт. Для архитекторов это принципиальная разница: отдельная ASR-модель потребует маршрутизации аудио, отдельного жизненного цикла инференса и передачи транскрипта в LLM.

Место Switch в линейке и на рынке.

Базовая серия Granite 4.1 включает плотные модели на 3B, 8B и 30B параметров, а также варианты с FP8-квантизацией, как указано в документации IBM. Компания связывает обновление с улучшениями в tool calling, следовании инструкциям, программировании и математических задачах. В Microsoft Foundry Granite 4.1 представлен как набор взаимодополняющих моделей, включая языковую Granite 4.1 30B и Granite Speech 4.1 2B; описание Microsoft также говорит о поддержке 12 языков для языковых моделей. Это показывает рыночный запрос на согласованный стек, но не является свидетельством доступности Switch как managed-сервиса Foundry.

Проверять Granite Switch в production стоит по измеримым для конкретного контура параметрам: потреблению памяти относительно отдельных моделей, задержке при переключении адаптеров, корректности работы KV cache в параллельных запросах, качеству каждого специализированного режима и совместимости с существующим API. Главная новизна Switch — не появление универсальной модели для всех модальностей, а попытка сделать специализацию LLM модульной на уровне одного артефакта. На текущем наборе публичных сведений текстовые адаптеры выглядят документированной частью решения, а сценарий speech в том же endpoint остаётся заявлением, которое следует подтвердить перед внедрением.