Применение интеллектуального анализа данных с использованием искусственной нейронной сети
Аннотация
Аннотация
Данная работа погружает в эволюцию, техническую архитектуру реализацию? и основные задачи вопросно-ответных систем. Обсуждение категоризировано на основе различий между системами вопросов и ответов для широкой и узкой предметной области. В работе прослеживается историческое развитие систем вопросов и ответов с момента появления теста Тьюринга, выделяя значительные достижения в системах вопросов и ответов открытой области (ODQ&A) с 1990-х годов. Она предоставляет анализ и обсуждение методов оценки систем вопросов и ответов на основе графов знаний и крупных языковых моделей, а также технических задач, с которыми они сталкиваются в своем развитии. В статье также рассматриваются и сравниваются общепринятые методы оценки и наборы данных для оценки производительности вопросно-ответных систем на основе академических исследований, проведенных за последние годы. При создании фактической системы вопросов и ответов для этого проекта мы использовали набор данных “ATIS Airline Travel Information System”. Он включает вопросы, содержащие намерения пользователей, отправленные через сервисную платформу авиакомпании, а также соответствующие текстовые метки для этих вопросов. Оригинальная документация этого набора данных содержит 4 978 текстовых записей и 11 типов аннотаций. После оценки данных была построена модель для распознавания намерений и заполнения слотов с именованными сущностями путем настройки BERT в рамках этого проекта. Затем была протестирована и сравнена производительность крупных языковых моделей в распознавании намерений и извлечении признаков с аналогичными исследовательскими проектами. В рамках проекта также была представлена матрица ошибок для анализа предсказательных предвзятостей модели относительно конкретных меток. Впоследствии были предложены восемь “виртуальных бизнес-наборов данных”, и для сопоставления меток намерений с этими восемью “бизнес-наборами данных” был использован подход на основе графа знаний. Интеллектуальная система вопросов и ответов была успешно создана. В конечном итоге была протестирована эффективность системы в реальных сценариях вопросов и ответов. В разделе окончательного обсуждения предложены направления для улучшения системы и модели. Точность распознавания намерений классификационной модели, созданной с использованием BERT в этом проекте, составила 98,6%, и производительность интеллектуальной системы вопросов и ответов оказалась удовлетворительной.
Ключевые Слова：вопросно-ответные системы, Открытая область вопросов и ответов, Граф знаний, Оценка моделей, Большие языковые модели, Предварительно обученные модели, Именованные сущности.
Abstract
This review article delves into the evolution, technical architecture, and primary challenges of question-answering systems. The discussion is categorized based on the distinction between open-domain and closed-domain question-answering systems. The paper traces the historical development of question-answering systems since the inception of the Turing Test and highlights the significant advancements in open-domain question-answering systems (ODQ&A) since the 1990s. It provides an in-depth analysis and discussion of the evaluation methods for question-answering systems based on knowledge graphs and large language models, as well as the technical challenges encountered in their development. The article also reviews and compares the commonly used evaluation methods and datasets for assessing the performance of question-answering systems, based on the scholarly research conducted in recent years. At the conclusion of the first chapter, we present the directions for the development of question-answering systems, which also serve as the rationale for constructing the intelligent question-answering system elaborated in parts two and three.
In the construction of the actual question-answering system for this project, we utilized the "ATIS Airline Travel Information System" dataset. It encompasses questions containing user intents sent through an airline company's service platform, along with corresponding text labels for those questions. The original documentation of this data contains 4,978 text entries and 11 types of annotations. Following an assessment of the data, a model for intent recognition and named entity slot filling was constructed by fine-tuning BERT within this project. The performance of large language models in intent recognition and feature extraction was then tested and compared with that of similar research projects. A confusion matrix was also depicted within the project to analyze the model's predictive biases with respect to specific labels. Subsequently, eight "virtual business datasets" were proposed, and a knowledge graph approach was employed to map the intent labels to these eight "business datasets." An intelligent question-answering system was successfully established. Ultimately, the system's effectiveness in actual question-answering scenarios was tested. In the final discussion section, directions for the improvement of the system and model are proposed. The intent recognition accuracy of the classification model established using BERT in this project reached 98.6%, and the performance of the intelligent question-answering system was found to be satisfactory.
Keyword：Question-Answering Systems, Open-Domain Question-Answering, Knowledge Graphs, Model Evaluation, Large Language Models, Pre-trained Models,
Данная работа погружает в эволюцию, техническую архитектуру реализацию? и основные задачи вопросно-ответных систем. Обсуждение категоризировано на основе различий между системами вопросов и ответов для широкой и узкой предметной области. В работе прослеживается историческое развитие систем вопросов и ответов с момента появления теста Тьюринга, выделяя значительные достижения в системах вопросов и ответов открытой области (ODQ&A) с 1990-х годов. Она предоставляет анализ и обсуждение методов оценки систем вопросов и ответов на основе графов знаний и крупных языковых моделей, а также технических задач, с которыми они сталкиваются в своем развитии. В статье также рассматриваются и сравниваются общепринятые методы оценки и наборы данных для оценки производительности вопросно-ответных систем на основе академических исследований, проведенных за последние годы. При создании фактической системы вопросов и ответов для этого проекта мы использовали набор данных “ATIS Airline Travel Information System”. Он включает вопросы, содержащие намерения пользователей, отправленные через сервисную платформу авиакомпании, а также соответствующие текстовые метки для этих вопросов. Оригинальная документация этого набора данных содержит 4 978 текстовых записей и 11 типов аннотаций. После оценки данных была построена модель для распознавания намерений и заполнения слотов с именованными сущностями путем настройки BERT в рамках этого проекта. Затем была протестирована и сравнена производительность крупных языковых моделей в распознавании намерений и извлечении признаков с аналогичными исследовательскими проектами. В рамках проекта также была представлена матрица ошибок для анализа предсказательных предвзятостей модели относительно конкретных меток. Впоследствии были предложены восемь “виртуальных бизнес-наборов данных”, и для сопоставления меток намерений с этими восемью “бизнес-наборами данных” был использован подход на основе графа знаний. Интеллектуальная система вопросов и ответов была успешно создана. В конечном итоге была протестирована эффективность системы в реальных сценариях вопросов и ответов. В разделе окончательного обсуждения предложены направления для улучшения системы и модели. Точность распознавания намерений классификационной модели, созданной с использованием BERT в этом проекте, составила 98,6%, и производительность интеллектуальной системы вопросов и ответов оказалась удовлетворительной.
Ключевые Слова：вопросно-ответные системы, Открытая область вопросов и ответов, Граф знаний, Оценка моделей, Большие языковые модели, Предварительно обученные модели, Именованные сущности.
Abstract
This review article delves into the evolution, technical architecture, and primary challenges of question-answering systems. The discussion is categorized based on the distinction between open-domain and closed-domain question-answering systems. The paper traces the historical development of question-answering systems since the inception of the Turing Test and highlights the significant advancements in open-domain question-answering systems (ODQ&A) since the 1990s. It provides an in-depth analysis and discussion of the evaluation methods for question-answering systems based on knowledge graphs and large language models, as well as the technical challenges encountered in their development. The article also reviews and compares the commonly used evaluation methods and datasets for assessing the performance of question-answering systems, based on the scholarly research conducted in recent years. At the conclusion of the first chapter, we present the directions for the development of question-answering systems, which also serve as the rationale for constructing the intelligent question-answering system elaborated in parts two and three.
In the construction of the actual question-answering system for this project, we utilized the "ATIS Airline Travel Information System" dataset. It encompasses questions containing user intents sent through an airline company's service platform, along with corresponding text labels for those questions. The original documentation of this data contains 4,978 text entries and 11 types of annotations. Following an assessment of the data, a model for intent recognition and named entity slot filling was constructed by fine-tuning BERT within this project. The performance of large language models in intent recognition and feature extraction was then tested and compared with that of similar research projects. A confusion matrix was also depicted within the project to analyze the model's predictive biases with respect to specific labels. Subsequently, eight "virtual business datasets" were proposed, and a knowledge graph approach was employed to map the intent labels to these eight "business datasets." An intelligent question-answering system was successfully established. Ultimately, the system's effectiveness in actual question-answering scenarios was tested. In the final discussion section, directions for the improvement of the system and model are proposed. The intent recognition accuracy of the classification model established using BERT in this project reached 98.6%, and the performance of the intelligent question-answering system was found to be satisfactory.
Keyword：Question-Answering Systems, Open-Domain Question-Answering, Knowledge Graphs, Model Evaluation, Large Language Models, Pre-trained Models,