Оптимизация сетевых коммуникаций в рамках коллаборативного дообучения больших языковых моделей
Аннотация
Выпускная квалификационная работа посвящена исследованию способов по оптимизации количества сетевых коммуникаций в рамках коллаборативного обучения больших языковых моделей в системе Petals.
Методология включает исследование существующих методов, направленных на оптимизацию числа обучаемых параметров в больших языковых моделях, предложение новых подходов для решения данной задачи, улучшение существующих подходов, проведение экспериментов с обучением моделей на различные задачи, исследование методов оценки качества больших языковых моделей и анализ исследованных методов с точки зрения соотношения количества коммуникаций и итогового качества.
Результаты работы включают в себя перечень испробованных методов, их итоговое качество а также вывод о том, насколько удалось оптимизировать сетевые коммуникации при обучении модели и позволяют ли данные подходы.
Методология включает исследование существующих методов, направленных на оптимизацию числа обучаемых параметров в больших языковых моделях, предложение новых подходов для решения данной задачи, улучшение существующих подходов, проведение экспериментов с обучением моделей на различные задачи, исследование методов оценки качества больших языковых моделей и анализ исследованных методов с точки зрения соотношения количества коммуникаций и итогового качества.
Результаты работы включают в себя перечень испробованных методов, их итоговое качество а также вывод о том, насколько удалось оптимизировать сетевые коммуникации при обучении модели и позволяют ли данные подходы.