NVIDIA разом з IIT Madras і лабораторією AI4Bharat анонсувала Nemotron-pretraining-Indic-v1, корпус приблизно на 2,8 трлн токенів для 22 індійських мов. Токени тут означають частини тексту, якими оперують мовні моделі під час навчання. Автори також планують відкрити процес, яким створювали ці матеріали: від перекладу вихідних документів до перевірки й виправлення результату.
Корпус має 2 601 млрд токенів тексту в рідних писемностях і ще 224,6 млрд токенів у латинській транслітерації. Він охоплює 34 мовно-писемні конфігурації. Латинський варіант не є перекладом англійською: це той самий індійський текст, записаний латинськими літерами. Тому загальний обсяг не слід читати як кількість унікальних вихідних документів: один матеріал може бути представлений у перекладі та кількох варіантах письма.
Від англійських документів до перевіреного перекладу
За описом авторів, основою стали документи з 15 піднаборів Nemotron-CC-v2: вебтексти, матеріали з математики, код і запитання з відповідями. Для 12 мов система перекладає документ повністю, щоб не втратити зв’язок між абзацами, таблицями та формулами. Код, адреси сайтів і форматування мають залишатися без перекладу.
Після цього результат порівнюють з англійським оригіналом за змістом, термінами, стилем і форматуванням. Тексти з оцінкою від 75 зі 100 залишають у корпусі. Нижче цього порогу переклад намагаються виправити, використовуючи зауваження перевірки, і оцінюють повторно. Ця оцінка є балом за внутрішньою шкалою якості, а не відсотком точності перекладу.
Для частини прийнятих перекладів окремо створюють запис латиницею та звіряють його вже з текстом у рідній писемності. Така послідовність відокремлює переклад від зміни письма. Кожен запис, за заявою авторів, зберігає ідентифікатор початкового документа. Це дає змогу простежити, з якого матеріалу походить синтетичний текст.
Відкритим має бути не лише набір текстів
Автори наголошують, що хочуть оприлюднити не тільки сам корпус, а й прискорений на графічних процесорах процес його створення: інструкції для моделей, послідовність обробки та перевірки якості. Команди зможуть використати готові дані або адаптувати цей процес до власних документів і мовних завдань.
Це суттєво для великих синтетичних корпусів: сам обсяг тексту не пояснює, що саме перекладали, як відсіювали помилки й чи можна перевірити походження результату. Водночас природно написані тексти індійськими мовами, як зазначають автори, залишаються потрібними для локального контексту та культурних особливостей, яких перекладені матеріали не замінюють.
NVIDIA також повідомляє про результати етапу додаткового навчання Nemotron 3.5 Super VL. Із запланованих 100 млрд токенів 10 млрд становила суміш синтетичних і природних текстів 12 індійськими мовами. Після цього етапу показники зросли на п’яти тестах знань і міркування індійськими мовами. Однак це порівняння оцінює спільний ефект усієї суміші даних, а не окремий внесок нового корпусу.
Репозиторії, згадані в матеріалі: