PHÁT TRIỂN TRỢ LÝ ẢO THÔNG MINH BẰNG MÔ HÌNH NGÔN NGỮ LỚN HỖ TRỢ GIẢNG DẠY

Trần Ngọc Oanh Trần Ngọc Oanh; Bùi Công Tuấn Bùi Công Tuấn; Nguyễn Việt Phương Nguyễn Việt Phương; Hồ Nguyễn Ngọc Bảo Hồ Nguyễn Ngọc Bảo; Nguyễn Song Thiên Long Nguyễn Song Thiên Long; Bùi Hoài Thắng Bùi Hoài Thắng; Quản Thành Thơ Quản Thành Thơ

doi:10.59294/HIUJS.KHQG.2024.001

Từ khóa:

Trợ lý ảo giáo dục, Mô hình ngôn ngữ lớn, Đồ thị Tri thức

Tóm tắt

Bài báo này trình bày về việc phát triển một Trợ lý Ảo Thông minh cho lĩnh vực giáo dục. Trợ lý ảo này được phát triển dựa trên các kỹ thuật AI tiên tiến nhất hiện nay bao gồm các Mô hình Ngôn ngữ Lớn (LLMs), Đồ thị Tri thức (Knowledge Graph) và các kỹ thuật RAG (Retrieval Augmented Generation). Trước tiên, chúng tôi thảo luận việc xây dựng KG từ dữ liệu học vụ thực tế từ nhiều nguồn của Trường Đại học Bách Khoa – ĐHQG TPHCM (HCMUT). Đặc biệt, chúng tôi nhấn mạnh vào việc sử dụng các kỹ thuật học máy để phát hiện các ý định mở (open intent) từ các trao đổi học vụ của sinh viên và nhân viên của Nhà trường để phát triển một KG có tính thực tế. Tiếp theo, KG này được kết hợp với một LLM thông qua kỹ thuật RAG để hiện thực một trợ lý ảo có khả năng giao tiếp và hướng dẫn sinh viên các vấn đề học thuật. Trợ lý ảo này hứa hẹn sẽ biến đổi các hoạt động giao tiếp giáo dục truyền thống. Bằng cách cung cấp các gợi ý từ các nguồn tài nguyên giáo dục của HCMUT và tham gia vào cuộc trò chuyện một cách tự nhiên, hệ thống này giúp Nhà trường truyền đạt những kiến thức học vụ một cách tương tác và hiệu quả hơn. Hơn nữa, nó thúc đẩy sự tham gia và tự chủ của học sinh bằng cách cung cấp hỗ trợ và phản hồi được tùy chỉnh trong quá trình học. Chúng tôi cũng đã đánh giá hiệu quả của hệ thống bằng các phương pháp học máy thông qua các cơ chế phản hồi của người dùng và các chỉ số hiệu suất của học máy. Nghiên cứu này đóng góp vào việc tiến xa hơn trong các công nghệ giáo dục được điều khiển bởi trí tuệ nhân tạo, mở ra con đường cho những trải nghiệm học tập linh hoạt và cá nhân hóa hơn trong thời đại số.

Abstract

This paper presents the development of an Intelligent Virtual Assistant for the education domain. This virtual assistant is developed based on the most advanced AI techniques currently available, including Large Language Models (LLMs), Knowledge Graphs (KG), and Retrieval Augmented Generation (RAG) techniques. First, we discuss building a KG from real academic data from multiple sources at Ho Chi Minh City University of Technology (HCMUT). In particular, we emphasize using machine learning techniques to detect open intents from academic interactions between students and staff to develop a realistic KG. Next, this KG is combined with an LLM via the RAG technique to realize a virtual assistant capable of communicating and guiding students on academic issues. This virtual assistant promises to transform traditional educational communication activities. By providing suggestions from HCMUT's educational resources and engaging in natural conversation, this system helps the university convey academic knowledge more interactively and effectively. Moreover, it promotes student engagement and autonomy by providing customized support and feedback throughout the learning process. We also evaluated the system's effectiveness using machine learning methods through user feedback mechanisms and machine learning performance metrics. This research contributes to further advancements in AI-driven educational technologies, paving the way for more flexible and personalized learning experiences in the digital age.

Tài liệu tham khảo

[1] A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, “Improving language understanding by generative pre-training”, 2018.

[2] M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, O. Levy, V. Stoy-anov, and L. Zettlemoyer, “Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension”, 2019.

DOI: https://doi.org/10.18653/v1/2020.acl-main.703

[3] H. Touvron, L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, D. Bikel, L. Blecher, C. C. Ferrer, M. Chen, G. Cucurull, D. Esiobu, J. Fernandes, J. Fu, W. Fu, B. Fuller, C. Gao, V. Goswami, N. Goyal, A. Hartshorn, S. Hosseini, R. Hou, H. Inan, M. Kardas, V. Kerkez, M. Khabsa, I. Kloumann, A. Korenev, P. S. Koura, M.-A. Lachaux, T. Lavril, J. Lee, D. Liskovich, Y. Lu, Y. Mao, X. Martinet, T. Mihaylov, P. Mishra, I. Molybog, Y. Nie, A. Poulton, J. Reizenstein, R. Rungta, K. Saladi, A. Schelten, R. Silva, E. M. Smith, R. Subramanian, X. E. Tan, B. Tang, R. Taylor, A. Williams, J. X. Kuan, P. Xu, Z. Yan, I. Zarov, Y. Zhang, A. Fan, M. Kambadur, S. Narang, A. Rodriguez, R. Stojnic, S. Edunov, and T. Scialom, “Llama 2: Open foundation and fine-tuned chat models”, 2023.

[4] F. Petroni, T. Rocktäschel, P. Lewis, A. Bakhtin, Y. Wu, A. H. Miller, and S. Riedel, “Language models as knowledge bases?”, 2019.

DOI: https://doi.org/10.18653/v1/D19-1250

[5] J. Wei, Y. Tay, R. Bommasani, C. Raffel, B. Zoph, S. Borgeaud, D. Yogatama, M. Bosma, D. Zhou, D. Metzler, E. H. Chi, T. Hashimoto, O. Vinyals, P. Liang, J. Dean, and W. Fedus, “Emergent abilities of large language models”, 2022.

[6] Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu, E. Ishii, Y. J. Bang, A. Madotto, and P. Fung, “Survey of hallucination in natural language generation”, ACM Computing Surveys, vol. 55, no. 12, p. 1–38, Mar. 2023. [Online]. Available: http://dx.doi.org/10.1145/3571730

DOI: https://doi.org/10.1145/3571730

[7] V. Karpukhin, B. Oğuz, S. Min, P. Lewis, L. Wu, S. Edunov, D. Chen, and W. Yih, “Dense passage retrieval for open-domain question answering”, 2020.

DOI: https://doi.org/10.18653/v1/2020.emnlp-main.550

[8] P. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W. tau Yih, T. Rocktäschel, S. Riedel, and D. Kiela, “Retrieval-augmented generation for knowledge-intensive nlp tasks”, 2021.

[9] A. Hogan, E. Blomqvist, M. Cochez, C. D’amato, G. D. Melo, C. Gutierrez, S. Kirrane, J. E. L. Gayo, R. Navigli, S. Neumaier, A.-C. N. Ngomo, A. Polleres, S. M. Rashid, A. Rula, L. Schmelzeisen, J. Sequeda, S. Staab, and A. Zimmermann, “Knowledge graphs”, ACM Computing Surveys, vol. 54, no. 4, p. 1–37, Jul. 2021. [Online]. Available: http://dx.doi.org/10.1145/3447772

DOI: https://doi.org/10.1145/3447772

[10] M. Chen, B. Jayakumar, M. Johnston, S. E. Mahmoodi, and D. Pressel, “Intent discovery for enterprise virtual assistants: Applications of utterance embedding and clustering to intent mining”, in North American Chapter of the Association for Computational Linguistics, 2022. [Online]. Available: https://api.semanticscholar.org/CorpusID:250390998

DOI: https://doi.org/10.18653/v1/2022.naacl-industry.23

[11] N. Vedula, N. Lipka, P. Maneriker, and S. Parthasarathy, “Towards open intent discovery for conversational text”, 2019.

[12] “Open intent extraction from natural language interactions”, in Proceedings of The Web Conference 2020, ser. WWW ’20. New York, NY, USA: Association for Computing Machinery, 2020, p. 2009–2020. [Online]. Available: https://doi.org/10.1145/3366423.3380268

[13] P. Liu, Y. Ning, K. K. Wu, K. Li, and H. Meng, “Open intent discovery through unsupervised semantic clustering and dependency parsing”, 2021.

[14] A. Mullick, I. Mondal, S. Ray, R. Raghav, G. S. Chaitanya, and P. Goyal, “Intent identification and entity extraction for healthcare queries in indic languages”, 2023.

DOI: https://doi.org/10.18653/v1/2023.findings-eacl.140

[15] P. Chen, Y. Lu, V. W. Zheng, X. Chen, and B. Yang, “Knowedu: A system to construct knowledge graph for education”, IEEE Access, vol. 6, pp. 31 553–31 563, 2018.

DOI: https://doi.org/10.1109/ACCESS.2018.2839607

[16] N. Hubert, A. Brun, and D. Monticolo, “New ontology and knowledge graph for university curriculum recommendation”, 2022.

[17] M. Rizun, “Knowledge graph application in education: a literature review”, Acta Universitatis Lodziensis. Folia Oeconomica, vol. 3, pp. 7–19, 08 2019.

DOI: https://doi.org/10.18778/0208-6018.342.01

[18] Y. Fettach, M. Ghogho, and B. Benatallah, “Knowledge graphs in education and employability: A survey on applications and techniques”, IEEE Access, vol. 10, pp. 80 174–80 183, 2022.

DOI: https://doi.org/10.1109/ACCESS.2022.3194063

[19] H. D. To and P. Do, “Extracting triples from Vietnamese text to create knowledge graph”, in 12th International Conference on Knowledge and Systems Engineering, KSE 2020, Can Tho City, Vietnam, November 12-14, 2020. IEEE, 2020, pp. 219–223. [Online]. Available: https://doi.org/10.1109/KSE50997.2020.9287471

[20] J. Baek, A. F. Aji, and A. Saffari, “Knowledge-augmented language model prompting for zero-shot knowledge graph question answering”, in Proceedings of the 1st Workshop on Natural Language Reasoning and Structured Explanations (NLRSE), B. Dalvi Mishra, G. Durrett, P. Jansen, D. Neves Ribeiro, and J. Wei, Eds. Toronto, Canada: Association for Computational Linguistics, Jun. 2023, pp. 78–106. [Online]. Available: https://aclanthology.org/2023.nlrse-1.7

DOI: https://doi.org/10.18653/v1/2023.nlrse-1.7

[21] S. Kim, S. Joo, D. Kim, J. Jang, S. Ye, J. Shin, and M. Seo, “The CoT collection: Improving zero-shot and few-shot learning of language models via chain-of-thought fine-tuning”, in Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, H. Bouamor, J. Pino, and K. Bali, Eds. Singapore: Association for Computational Linguistics, Dec. 2023, pp. 12 685–12 708. [Online]. Available: https://aclanthology.org/2023.emnlp-main.782

DOI: https://doi.org/10.18653/v1/2023.emnlp-main.782

[22] M. Kang, J. M. Kwak, J. Baek, and S. J. Hwang, “Knowledge graph-augmented language models for knowledge-grounded dialogue generation”, 2023.

[23] T. Gao, X. Yao, and D. Chen, “Simcse: Simple contrastive learning of sentence embeddings”, 2022.

DOI: https://doi.org/10.18653/v1/2021.emnlp-main.552

[24] D. Q. Nguyen and A. T. Nguyen, “PhoBERT: Pre-trained language models for Vietnamese”, in Findings of the Association for Computational Linguistics: EMNLP 2020, T. Cohn, Y. He, and Y. Liu, Eds. Online: Association for Computational Linguistics, Nov. 2020, pp. 1037–1042. [Online]. Available: https://aclanthology.org/2020.findings-emnlp.92

DOI: https://doi.org/10.18653/v1/2020.findings-emnlp.92

[25] L. McInnes, J. Healy, and S. Astels, “hdbscan: Hierarchical density based cluster-ing”, J. Open Source Softw., vol. 2, no. 11, p. 205, 2017.

DOI: https://doi.org/10.21105/joss.00205

[26] L. T. Nguyen and D. Q. Nguyen, “PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition, and dependency parsing”, in Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, 2021, pp. 1–7.

DOI: https://doi.org/10.18653/v1/2021.naacl-demos.1

[27] I. Casanueva, T. Temčinas, D. Gerz, M. Henderson, and I. Vulić, “Efficient intent detection with dual sentence encoders”, 2020.

DOI: https://doi.org/10.18653/v1/2020.nlp4convai-1.5