GPT Новости
Аннотация
Данная работа состоит из введения, 5 разделов и 29 подразделов, заключения и списка литературы из 20 источников. Работа содержит 49 страниц печатного текста, 28 изображений, 2 таблицы и приложения. Ключевые слова: задачи NLP, языковая модель, GPT-3, ruGPT-3, perplexity, генерация текста, генерация новостей, дистилляция, DALL'E, ruDALL'E, генерация изображений, TTS, синтез речи, GlowTTS, датасет.
Целью данной работы было обучение ансамбля генеративных моделей для решения задачи генерации новостей, сравнение обученных моделей с известными более крупными моделями, а также получение конкурентно способной модели меньшего размера с использованием механизма дистилляции. В ходе работы были собраны данные (новостные материалы) и обучены модели ruGPT-3 для генерации новостей. Была проведена дистилляция обученной модели для получения более "легкой" модели, сопоставимой с моделью "учителем" для запуска на локальных устройствах. Была использована модель ruDALL'E для генерации изображений к новостям. Были собраны данные для обучения end-to-end TTS модели для решения задачи синтеза речи. Была обучена end-to-end TTS модель и несколько моделей вокодеров, на основании полученных результатов был выбран оптимальный подход к задаче синтеза речи. Проведено сравнение полученного ансамбля моделей с результатами более объемных и тяжелых моделей.
Целью данной работы было обучение ансамбля генеративных моделей для решения задачи генерации новостей, сравнение обученных моделей с известными более крупными моделями, а также получение конкурентно способной модели меньшего размера с использованием механизма дистилляции. В ходе работы были собраны данные (новостные материалы) и обучены модели ruGPT-3 для генерации новостей. Была проведена дистилляция обученной модели для получения более "легкой" модели, сопоставимой с моделью "учителем" для запуска на локальных устройствах. Была использована модель ruDALL'E для генерации изображений к новостям. Были собраны данные для обучения end-to-end TTS модели для решения задачи синтеза речи. Была обучена end-to-end TTS модель и несколько моделей вокодеров, на основании полученных результатов был выбран оптимальный подход к задаче синтеза речи. Проведено сравнение полученного ансамбля моделей с результатами более объемных и тяжелых моделей.