No Language Left Behind
No Language Left Behind
Повышение инклюзивности с помощью эффективного машинного перевода
Повышение инклюзивности с помощью эффективного машинного перевода
О проекте No Language
Left Behind
No Language Left Behind (NLLB) — это инновационный проект в области ИИ, который предоставляет открытый доступ к моделям, способным обеспечивать высококачественный перевод на 200 языков, включая низкоресурсные языки (астурийский, луганда, урду и др.). Цель проекта — дать людям возможность получать и распространять веб-контент на родном языке, а также общаться где и с кем угодно независимо от языковых предпочтений.
О проекте No Language Left Behind
No Language Left Behind (NLLB) — это инновационный проект в области ИИ, который предоставляет открытый доступ к моделям, способным обеспечивать высококачественный перевод на 200 языков, включая низкоресурсные языки (астурийский, луганда, урду и др.). Цель проекта — дать людям возможность получать и распространять веб-контент на родном языке, а также общаться где и с кем угодно независимо от языковых предпочтений.
разработка ИИ для применения на практике
Применение технологий ИИ на Facebook и в Instagram для перевода низкоресурсных языков
Мы хотим помочь людям общаться друг с другом, поэтому используем технологии моделирования и другие разработки в рамках проекта NLLB, чтобы улучшить качество перевода низкоресурсных языков на Facebook и в Instagram. Внедрив эти технологии в системы перевода наших продуктов, мы поможем людям налаживать крепкие и значимые связи на их родном или предпочитаемом языке. В будущем мы планируем использовать технологии NLLB и в других приложениях Meta.
ПРИМЕНЕНИЕ НА ПРАКТИКЕ
Создание инклюзивной метавселенной
Перевод метавселенной: общение на глобальном уровне
Один из наших приоритетов в процессе создания метавселенной — внедрение текстового перевода AR- и VR-продуктов в реальном времени на сотни языков. Мы стремимся создать новый стандарт инклюзивности, благодаря которому в будущем каждый сможет получить доступ к контенту, устройствам и приложениям виртуального мира, а также общаться в метавселенной с кем угодно на любом языке. Наша конечная цель — сделать возможным общение на глобальном уровне.
ПРИМЕНЕНИЕ НА ПРАКТИКЕ
Перевод Википедии
Мы помогаем редакторам-волонтерам сделать информацию доступной на разных языках
Технология модели NLLB-200 теперь доступна в инструменте перевода контента Фонда Викимедиа и помогает редакторам Википедии переводить информацию на родные и предпочитаемые языки. Редакторы Википедии используют эту технологию для эффективного перевода и редактирования статей на редко употребляемых языках, таких как луганда и исландский. Благодаря этому больше читателей по всему миру получат доступ к знаниям в Википедии. Модель NLLB-200, которая находится в открытом доступе, также упрощает работу сообществ исследователей и редакторов Википедии.
Технология в действии
Stories Told Through Translation:
книги со всего мира, переведенные на сотни языков
Stories Told Through Translation:
книги со всего мира, переведенные на сотни языков
Демо-версия Stories Told Through Translation использует последние достижения в области ИИ, полученные в рамках проекта No Language Left Behind. Она позволяет переводить книги с исходного языка, например индонезийского, сомалийского или бирманского, на язык читателя. В ближайшие месяцы станут доступны несколько сотен языков. Благодаря этой инициативе NLLB-200 станет первой моделью искусственного интеллекта, способной переводить литературу в таком масштабе.
Технология
Машинный перевод: описание
Как модель NLLB с открытым доступом выполняет прямой перевод на 200 языков?
ЭТАП 1
Автоматическое создание набора данных
Этап 1. Автоматическое создание набора данных
Выполняется сбор данных для обучения, которые содержат предложения на исходном и целевом языках.
ЭТАП 2
Обучение
Этап 2. Обучение
Собрав и упорядочив данные, мы создаем тысячи направлений обучения и используем их в процессе обучения моделей. Каждая модель включает в себя два элемента: кодировщик, который преобразовывает исходное предложение во внутреннее векторное представление, и декодер, который принимает это представление и генерирует целевое предложение. Обрабатывая миллионы примеров, модели учатся генерировать более точные переводы.
ЭТАП 3
Оценка
Этап 3. Оценка
Мы оцениваем модель, то есть сравниваем ее работу с набором предложений, переведенных человеком, чтобы проверить качество машинного перевода. Кроме того, модель выявляет и отфильтровывает нецензурные выражения и другой оскорбительный контент с помощью списков, которые мы создаем для всех поддерживаемых языков. Результат — хорошо обученная модель, которая выполняет прямой перевод на нужный язык.
ЭТАП 1
Автоматическое создание набора данных
ЭТАП 2
Обучение
ЭТАП 3
Оценка
Этап 1. Автоматическое создание набора данных
Выполняется сбор данных для обучения, которые содержат предложения на исходном и целевом языках.
Этап 2. Обучение
Собрав и упорядочив данные, мы создаем тысячи направлений обучения и используем их в процессе обучения моделей. Каждая модель включает в себя два элемента: кодировщик, который преобразовывает исходное предложение во внутреннее векторное представление, и декодер, который принимает это представление и генерирует целевое предложение. Обрабатывая миллионы примеров, модели учатся генерировать более точные переводы.
Этап 3. Оценка
Мы оцениваем модель, то есть сравниваем ее работу с набором предложений, переведенных человеком, чтобы проверить качество машинного перевода. Кроме того, модель выявляет и отфильтровывает нецензурные выражения и другой оскорбительный контент с помощью списков, которые мы создаем для всех поддерживаемых языков. Результат — хорошо обученная модель, которая выполняет прямой перевод на нужный язык.
Инновации
Технология, стоящая за инновациями
Большинство современных моделей машинного перевода работают со средне- и высокоресурсными языками, не задействуя низкоресурсные. Чтобы решить эту проблему, специалисты Meta AI разработали три важных инновации в области искусственного интеллекта.
Автоматическое создание наборов данных для низкоресурсных языков
Контекст
Машинный перевод — это задача обучения с учителем, предполагающая обучение модели на основе данных. Обычно для этого используются наборы данных с примерами перевода из открытых источников. Мы автоматически создаем пары перевода, связывая предложения из разных наборов одноязычных документов.
Задача
В процессе создания наборов данных используются модели LASER, которые поддерживают в основном средне- и высокоресурсные языки, поэтому генерировать точные пары перевода для низкоресурсных языков невозможно.
Инновация
Моделирование на основе 200 языков
Контекст
Многоязычные системы машинного перевода более эффективны, чем двуязычные, поскольку способны обеспечить передачу информации от языковых пар с большим объемом данных для обучения в другие языки с меньшим количеством ресурсов.
Задача
У одновременного обучения сотен языковых пар есть свои недостатки, поскольку одна модель должна представлять всё больше и больше языков при одинаковом количестве параметров. Эта проблема возникает, если наборы данных отличаются по размеру, что может привести к переобучению.
Инновация
Оценка качества перевода
Контекст
Чтобы понять, соответствует ли выполненный моделью перевод нашим стандартам качества, мы должны его оценить.
Задача
Обычно для оценки моделей машинного обучения переведенные ими предложения сравниваются с человеческим переводом. Однако для многих языков надежные данные по переводу недоступны, поэтому точная оценка невозможна.
Инновация
Чтобы узнать больше о технологии проекта NLLB, ознакомьтесь с соответствующим документом и публикацией в блоге, а также скачайте модель и помогите нам с дальнейшим развитием проекта.
Чтобы узнать больше о технологии проекта NLLB, ознакомьтесь с соответствующим документом и публикацией в блоге, а также скачайте модель и помогите нам с дальнейшим развитием проекта.
Наша история
Основные этапы разработкиОсновные этапы разработки
Организация Meta AI развивает технологию машинного перевода и успешно решает характерные для этой отрасли проблемы, например дефицит данных для низкоресурсных языков, а также обеспечение качества и точности перевода. Мы продолжаем разработки и повышаем инклюзивность благодаря эффективности машинного перевода.
Организация Meta AI развивает технологию машинного перевода и успешно решает характерные для этой отрасли проблемы, например дефицит данных для низкоресурсных языков, а также обеспечение качества и точности перевода. Мы продолжаем разработки и повышаем инклюзивность благодаря эффективности машинного перевода.
Этапы развития модели по количеству освоенных языков
< 50 языков
50–99 языков
100 языков
200 языков
LASER (Language-agnostic sentence representations — "Не зависящие от языка представления предложений")
2018
Первая успешная попытка создания массовых многоязычных представлений предложений. Мы открыли к ней доступ сообществу специалистов в области NLP. Кодировщик создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 50 языках.
Кодировщики данных
WMT-19
2019
Модели искусственного интеллекта Facebook оказались лучшими на конференции WMT-2019. Мы используем широкомасштабный выборочный обратный перевод, моделирование каналов с добавлением шума и технологии очистки данных, которые помогают создавать эффективные системы.
Модель
Flores V1
2019
Стандартный набор данных для машинного перевода между английским и низкоресурсными языками, обеспечивающий точный процесс оценки на 2 языках.
Набор данных для оценки
WikiMatrix
2019
Самая крупная коллекция параллельных предложений на разных языках: 135 миллионов предложений на 1 620 языковых парах, извлеченные компанией Bitext из Википедии, позволяют создавать эффективные модели перевода.
Сбор данных
M2M-100
2020
Первая и единственная многоязычная модель машинного перевода, которая обеспечивает прямой перевод в любых парах между 100 языками без использования данных на английском. Она обучена на основе 2 200 языковых направлений, что в 10 раз превышает показатели предыдущих многоязычных моделей.
Модель
CCMatrix
2020
Самый большой набор данных высококачественных параллельных текстов, извлеченных из Интернета, позволяет создавать эффективные модели перевода для большего количества языков, в частности низкоресурсных. Он содержит 4,5 миллиарда параллельных предложений на 576 языковых парах.
Сбор данных
LASER 2
2020
Создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 100 языках.
Кодировщики данных
WMT-21
2021
Впервые одна многоязычная модель превзошла лучшие специально обученные двуязычные модели в 10 из 14 языковых пар. Наша модель победила на конференции WMT-2021, предоставив лучшие переводы как для низко-, так и для высокоресурсных языков.
Модель
FLORES-101
2021
FLORES-101 — это первый в своем роде набор данных для оценки типа "многие ко многим", который охватывает 101 язык и позволяет исследователям быстро тестировать и улучшать многоязычные модели перевода, такие как M2M-100.
Набор данных для оценки
NLLB-200
2022
Модель NLLB выполняет перевод с 200 языков.
Модель
FLORES 200
2021
Расширение набора данных для оценки FLORES, которое охватывает 200 языков.
Набор данных для оценки
NLLB-Data-200
2022
Доступные тестовые данные для обучения на 200 языках.
Набор данных для оценки
LASER 3
2022
Создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 200 языках.
Кодировщики данных
< 50 языков
50–100 языков
100 языков
200 языков
LASER (Language-agnostic sentence representations — "Не зависящие от языка представления предложений")
2018
Первая успешная попытка создания массовых многоязычных представлений предложений. Мы открыли к ней доступ сообществу специалистов в области NLP. Кодировщик создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 50 языках.
Кодировщики данных
WMT-19
2019
Модели искусственного интеллекта Facebook оказались лучшими на конференции WMT-2019. Мы используем широкомасштабный выборочный обратный перевод, моделирование каналов с добавлением шума и технологии очистки данных, которые помогают создавать эффективные системы.
Модель
Flores V1
2019
Стандартный набор данных для машинного перевода между английским и низкоресурсными языками, обеспечивающий точный процесс оценки на 2 языках.
Набор данных для оценки
WikiMatrix
2019
Самая крупная коллекция параллельных предложений на разных языках: 135 миллионов предложений на 1 620 языковых парах, извлеченные компанией Bitext из Википедии, позволяют создавать эффективные модели перевода.
Сбор данных
M2M-100
2020
Первая и единственная многоязычная модель машинного перевода, которая обеспечивает прямой перевод в любых парах между 100 языками без использования данных на английском. Она обучена на основе 2 200 языковых направлений, что в 10 раз превышает показатели предыдущих многоязычных моделей.
Модель
CCMatrix
2020
Самый большой набор данных высококачественных параллельных текстов, извлеченных из Интернета, позволяет создавать эффективные модели перевода для большего количества языков, в частности низкоресурсных. Он содержит 4,5 миллиарда параллельных предложений на 576 языковых парах.
Сбор данных
LASER 2
2020
Создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 100 языках.
Кодировщики данных
WMT-21
2021
Впервые одна многоязычная модель превзошла лучшие специально обученные двуязычные модели в 10 из 14 языковых пар. Наша модель победила на конференции WMT-2021, предоставив лучшие переводы как для низко-, так и для высокоресурсных языков.
Модель
FLORES-101
2021
FLORES-101 — это первый в своем роде набор данных для оценки типа "многие ко многим", который охватывает 101 язык и позволяет исследователям быстро тестировать и улучшать многоязычные модели перевода, такие как M2M-100.
Набор данных для оценки
NLLB-200
2022
Модель NLLB выполняет перевод с 200 языков.
Модель
FLORES 200
2021
Расширение набора данных для оценки FLORES, которое охватывает 200 языков.
Набор данных для оценки
NLLB-Data-200
2022
Доступные тестовые данные для обучения на 200 языках.
Набор данных для оценки
LASER 3
2022
Создает встраивания и автоматически связывает предложения с одним и тем же смыслом на 200 языках.
Кодировщики данных
From Assamese, Balinese and Estonian…to Icelandic, Igbo and more. 200 languages and counting…
Have a look at the full list of languages our NLLB-200 model supports—with 150 low-resource languages included. More will be added to this list as we, and our community, continue on this journey of inclusiveness through AI translation.
Full list of supported languages
Full list of supported languages
Acehnese (Latin script)
Arabic (Iraqi/Mesopotamian)
Arabic (Yemen)
Arabic (Tunisia)
Afrikaans
Arabic (Jordan)
Akan
Amharic
Arabic (Lebanon)
Arabic (MSA)
Arabic (Modern Standard Arabic)
Arabic (Saudi Arabia)
Arabic (Morocco)
Arabic (Egypt)
Assamese
Asturian
Awadhi
Aymara
Crimean Tatar
Welsh
Danish
German
French
Friulian
Fulfulde
Dinka(Rek)
Dyula
Dzongkha
Greek
English
Esperanto
Estonian
Basque
Ewe
Faroese
Iranian Persian
Icelandic
Italian
Javanese
Japanese
Kabyle
Kachin | Jinghpo
Kamba
Kannada
Kashmiri (Arabic script)
Kashmiri (Devanagari script)
Georgian
Kanuri (Arabic script)
Kanuri (Latin script)
Kazakh
Kabiye
Thai
Khmer
Kikuyu
South Azerbaijani
North Azerbaijani
Bashkir
Bambara
Balinese
Belarusian
Bemba
Bengali
Bhojpuri
Banjar (Latin script)
Tibetan
Bosnian
Buginese
Bulgarian
Catalan
Cebuano
Czech
Chokwe
Central Kurdish
Fijian
Finnish
Fon
Scottish Gaelic
Irish
Galician
Guarani
Gujarati
Haitian Creole
Hausa
Hebrew
Hindi
Chhattisgarhi
Croatian
Hugarian
Armenian
Igobo
IIocano
Indonesian
Kinyarwanda
Kyrgyz
Kimbundu
Konga
Korean
Kurdish (Kurmanji)
Lao
Latvian (Standard)
Ligurian
Limburgish
Lingala
Lithuanian
Lombard
Latgalian
Luxembourgish
Luba-Kasai
Ganda
Dholuo
Mizo
