В Москве на парящем мосту записали музыку к фильму о балалайках "Три струны"
16:40
Плечом к плечу отец и сын: история дальневосточных бойцов
13 августа, 19:28
Вахта Победы: война с Японией и возвращение фронтовиков во Владивосток
13 августа, 18:57
Счетная Палата выявила нарушения в использовании субсидий на авиаперевозки по ДВ
13 августа, 18:55
Аналитика ВТБ: россияне сохранили тренд на сбережение
13 августа, 18:15
Демодень пройдёт в рамках Moscow Startup Summit
13 августа, 16:30
Судебная система только для адвокатов: подробный разбор законопроекта Минюста
13 августа, 12:50
Жители Чукотки тратят на бензин 11 211 рублей в месяц
13 августа, 12:02
В Улан-Удэ капремонт детского сада "Ая-ганга" выходит на финишную прямую
12 августа, 21:50
От самовыдвижения до церемонии: отвечаем на главные вопросы о Премии им. В. К. Арсеньева
12 августа, 19:00
Представительство Президентской академии открылось в ЕАО
12 августа, 15:15
Профессура на выход: ДВФУ покинули именитые юристы – доктора и кандидаты наук
12 августа, 13:40
Школьная сборная России завоевала 8 медалей на Международной олимпиаде по ИИ
11 августа, 19:00
Аналитика ВТБ: спрос на переводы через СБП вырос вдвое
11 августа, 16:10
Вахта Победы: амурские хлеборобы под знаменем трудового подвига
11 августа, 11:29

Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5

Также доступна расширенная версия нейросети mGPT, способной генерировать тексты на 61 языке
25 июля 2023, 13:30 Общество
Сбербанк ИА ChitaMedia
Сбербанк
Фото: ИА ChitaMedia
Нашли опечатку?
Ctrl+Enter

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B (6+). Её дообученная версия лежит в основе сервиса GigaChat (6+). Также банк выложил новую версию модели mGPT 13B (6+) — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока "Технологии" Сбербанка:

"Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами".

*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.

16842
83
89