NVIDIA вместе с IIT Madras и лабораторией AI4Bharat объявила о планах выпустить Nemotron-pretraining-Indic-v1 — массив данных для предобучения моделей на 22 индийских языках. По анонсу проекта на Hugging Face, одновременно должен быть открыт GPU-ускоренный pipeline, включающий промпты, LLM-процессы и проверки качества. Это меняет акцент с публикации одного крупного датасета на воспроизводимый способ расширять языковые данные под конкретные задачи.

Масштаб не равен готовому обучающему бюджету.

Заявленный объём составляет около 2,8 трлн токенов: 2 601 млрд токенов в нативных системах письма и 224,6 млрд токенов в романизированной записи. Данные охватывают 34 сочетания языка и письменности: все 22 языка представлены в нативной графике, а для 12 также подготовлена запись латиницей. Как поясняет разбор состава корпуса Unite.AI, эти цифры описывают сохранённый массив, включая принятые после исправления тексты, а не обязательный бюджет токенов в одной тренировке. Результат также зависит от выбранного токенизатора — здесь использовался токенизатор Gemma-4.

Такое уточнение существенно для сравнения наборов. Токен — не универсальная единица объёма: один и тот же текст разные токенизаторы делят по-разному. Кроме того, большой объём сам по себе не говорит о равномерности покрытия отдельных языков, доменов или диалектов. В материале Runtimewire отдельно подчёркивается, что размер корпуса нельзя автоматически считать доказательством качества по каждому языку или роста прикладных метрик.

Как устроена генерация данных.

Основой стали англоязычные документы из Nemotron-CC-v2, включая материалы по математике, коду и вопросам-ответам. Согласно техническому описанию процесса на daily.dev, документы переводились с применением Gemma-4-31B-it и Indic Translate от Bodhan AI. После перевода система оценивала смысл, беглость, терминологию, стиль и форматирование по шкале, вдохновлённой методологией MQM. Для сохранения текст должен был набрать не менее 75 баллов из 100.

Низко оценённые результаты не обязательно отбрасывались: pipeline предусматривает адресное исправление и повторную оценку. В описании говорится, что такие циклы позволили вернуть 438,4 млрд токенов. Это полезнее простой фильтрации, если команда хочет сохранять объём при контроле качества. Но перевод, оценка и исправление опираются на связанные LLM-процессы, поэтому общий риск систематических ошибок не исчезает: модель-оценщик может хуже замечать те же типы искажений, которые характерны для модели-переводчика.

Что показывают первые эксперименты.

Авторы не утверждают, что все 2,8 трлн токенов уже проверены в обучении одной модели. В качестве прикладного теста использовали 10 млрд токенов из поднабора на 12 языках для продолженного предобучения Nemotron 3.5 Super VL. Как сообщает обзор HyperAI, на пяти Indic-бенчмарках прирост составил от 4,98 до 9,82 процентного пункта. Это сигнал в пользу полезности смеси данных, но не независимая оценка всего корпуса, всех 22 языков или других архитектур.

Для разработчиков здесь важнее не переносить эти показатели напрямую в собственный продукт, а рассмотреть дизайн эксперимента. Синтетический переводной массив может обогатить предобучение знаниями из технических и образовательных англоязычных источников. При этом он не заменяет тексты, изначально созданные носителями языка: переведённый корпус способен хорошо передавать содержание исходного документа, но не обязан отражать локальные темы, варианты речи и реальные пользовательские формулировки. Практичная стратегия — смешивать такие данные с естественными корпусами и оценивать результат отдельно по каждому целевому языку и сценарию.

Открытый pipeline становится отдельным продуктом.

Главная особенность инициативы — возможность адаптировать последовательность перевода, контроля и ремонта к собственным источникам, а не только скачать готовый набор. Для исследовательских групп это упрощает воспроизводимость: можно менять промпты, пороги качества, языковые пары и состав исходных документов, сохраняя понятную цепочку происхождения записей. Для компаний это потенциально даёт способ готовить специализированные данные, если у них есть права на исходные материалы и вычислительные ресурсы для работы pipeline.

Открытость рецепта не отменяет необходимость аудита. В аналитической заметке Ken Ashe указано, что даже доступный процесс может закреплять перекосы в сторону легко собираемых источников, пропускать диалекты и не соответствовать прикладным потребностям пользователей. Поэтому ценность Nemotron-pretraining-Indic-v1 будет определяться не только числом токенов, но и тем, смогут ли независимые команды проверить качество по языкам, расширить естественные данные и прозрачно описать состав обучающих смесей.