Межъязыковое выравнивание векторных представлений для задачи вопросно-ответного поиска
Аннотация
РЕФЕРАТ
Арсланова Е.А., МЕЖЪЯЗЫКОВОЕ ВЫРАВНИВАНИЕ ВЕКТОРНЫХ ПРЕДСТАВЛЕНИЙ ДЛЯ ЗАДАЧИ ВОПРОСНО-ОТВЕТНОГО ПОИСКА:
стр. 47, рис. 14, табл. 4, библ. 34 назв., прил. 3
Ключевые слова: вопросно-ответный поиск, мультиязычность, выравнивание векторных представлений, межъязыковой перенос обучения, mBERT.
В работе рассматривается применение межъязыкового переноса обучения при решении задачи вопросно-ответного поиска на основе мультиязычной языковой модели mBERT. Исследуется влияние предварительного выравнивания пространств исходного и целевого языков в общем мультиязычном векторном пространстве модели на качество межъязыкового переноса в данной задаче. Улучшение достигается в случае более низкой степени пересечения вопроса и текста по словам.
ABSTRACT
Arslanova E.A. CROSS-LINGUAL ALIGNMENT OF WORD EMBEDDINGS
FOR QUESTION ANSWERING: pp. 47, fig. 14, tables 4, sources 34, appxs 3.
Keywords: question-answering, multilingual, word embeddings alignment,
cross-lingual transfer, mBERT.
This paper discusses cross-lingual transfer methods for question answering based on pre-trained language model mBERT. The influence of cross-lingual alignment between the source and target language spaces in a multilingual vector space on the transfer capability of mBERT is analyzed. The performance is improved on examples with lower question-context overlap.
Арсланова Е.А., МЕЖЪЯЗЫКОВОЕ ВЫРАВНИВАНИЕ ВЕКТОРНЫХ ПРЕДСТАВЛЕНИЙ ДЛЯ ЗАДАЧИ ВОПРОСНО-ОТВЕТНОГО ПОИСКА:
стр. 47, рис. 14, табл. 4, библ. 34 назв., прил. 3
Ключевые слова: вопросно-ответный поиск, мультиязычность, выравнивание векторных представлений, межъязыковой перенос обучения, mBERT.
В работе рассматривается применение межъязыкового переноса обучения при решении задачи вопросно-ответного поиска на основе мультиязычной языковой модели mBERT. Исследуется влияние предварительного выравнивания пространств исходного и целевого языков в общем мультиязычном векторном пространстве модели на качество межъязыкового переноса в данной задаче. Улучшение достигается в случае более низкой степени пересечения вопроса и текста по словам.
ABSTRACT
Arslanova E.A. CROSS-LINGUAL ALIGNMENT OF WORD EMBEDDINGS
FOR QUESTION ANSWERING: pp. 47, fig. 14, tables 4, sources 34, appxs 3.
Keywords: question-answering, multilingual, word embeddings alignment,
cross-lingual transfer, mBERT.
This paper discusses cross-lingual transfer methods for question answering based on pre-trained language model mBERT. The influence of cross-lingual alignment between the source and target language spaces in a multilingual vector space on the transfer capability of mBERT is analyzed. The performance is improved on examples with lower question-context overlap.