PHÁT TRIỂN TRỢ LÝ ẢO THÔNG MINH BẰNG MÔ HÌNH NGÔN NGỮ LỚN HỖ TRỢ GIẢNG DẠY
DOI:
https://doi.org/10.59294/HIUJS.KHQG.2024.001Từ khóa:
Trợ lý ảo giáo dục, Mô hình ngôn ngữ lớn, Đồ thị Tri thứcTóm tắt
Bài báo này trình bày về việc phát triển một Trợ lý Ảo Thông minh cho lĩnh vực giáo dục. Trợ lý ảo này được phát triển dựa trên các kỹ thuật AI tiên tiến nhất hiện nay bao gồm các Mô hình Ngôn ngữ Lớn (LLMs), Đồ thị Tri thức (Knowledge Graph) và các kỹ thuật RAG (Retrieval Augmented Generation). Trước tiên, chúng tôi thảo luận việc xây dựng KG từ dữ liệu học vụ thực tế từ nhiều nguồn của Trường Đại học Bách Khoa – ĐHQG TPHCM (HCMUT). Đặc biệt, chúng tôi nhấn mạnh vào việc sử dụng các kỹ thuật học máy để phát hiện các ý định mở (open intent) từ các trao đổi học vụ của sinh viên và nhân viên của Nhà trường để phát triển một KG có tính thực tế. Tiếp theo, KG này được kết hợp với một LLM thông qua kỹ thuật RAG để hiện thực một trợ lý ảo có khả năng giao tiếp và hướng dẫn sinh viên các vấn đề học thuật. Trợ lý ảo này hứa hẹn sẽ biến đổi các hoạt động giao tiếp giáo dục truyền thống. Bằng cách cung cấp các gợi ý từ các nguồn tài nguyên giáo dục của HCMUT và tham gia vào cuộc trò chuyện một cách tự nhiên, hệ thống này giúp Nhà trường truyền đạt những kiến thức học vụ một cách tương tác và hiệu quả hơn. Hơn nữa, nó thúc đẩy sự tham gia và tự chủ của học sinh bằng cách cung cấp hỗ trợ và phản hồi được tùy chỉnh trong quá trình học. Chúng tôi cũng đã đánh giá hiệu quả của hệ thống bằng các phương pháp học máy thông qua các cơ chế phản hồi của người dùng và các chỉ số hiệu suất của học máy. Nghiên cứu này đóng góp vào việc tiến xa hơn trong các công nghệ giáo dục được điều khiển bởi trí tuệ nhân tạo, mở ra con đường cho những trải nghiệm học tập linh hoạt và cá nhân hóa hơn trong thời đại số.
Tài liệu tham khảo
[1] A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, “Improving language understanding by generative pre-training”, 2018.
[2] M. Lewis, Y. Liu, N. Goyal, M. Ghazvininejad, A. Mohamed, O. Levy, V. Stoy-anov, and L. Zettlemoyer, “Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension”, 2019.
[3] H. Touvron, L. Martin, K. Stone, P. Albert, A. Almahairi, Y. Babaei, N. Bashlykov, S. Batra, P. Bhargava, S. Bhosale, D. Bikel, L. Blecher, C. C. Ferrer, M. Chen, G. Cucurull, D. Esiobu, J. Fernandes, J. Fu, W. Fu, B. Fuller, C. Gao, V. Goswami, N. Goyal, A. Hartshorn, S. Hosseini, R. Hou, H. Inan, M. Kardas, V. Kerkez, M. Khabsa, I. Kloumann, A. Korenev, P. S. Koura, M.-A. Lachaux, T. Lavril, J. Lee, D. Liskovich, Y. Lu, Y. Mao, X. Martinet, T. Mihaylov, P. Mishra, I. Molybog, Y. Nie, A. Poulton, J. Reizenstein, R. Rungta, K. Saladi, A. Schelten, R. Silva, E. M. Smith, R. Subramanian, X. E. Tan, B. Tang, R. Taylor, A. Williams, J. X. Kuan, P. Xu, Z. Yan, I. Zarov, Y. Zhang, A. Fan, M. Kambadur, S. Narang, A. Rodriguez, R. Stojnic, S. Edunov, and T. Scialom, “Llama 2: Open foundation and fine-tuned chat models”, 2023.
[4] F. Petroni, T. Rocktäschel, P. Lewis, A. Bakhtin, Y. Wu, A. H. Miller, and S. Riedel, “Language models as knowledge bases?”, 2019.
[5] J. Wei, Y. Tay, R. Bommasani, C. Raffel, B. Zoph, S. Borgeaud, D. Yogatama, M. Bosma, D. Zhou, D. Metzler, E. H. Chi, T. Hashimoto, O. Vinyals, P. Liang, J. Dean, and W. Fedus, “Emergent abilities of large language models”, 2022.
[6] Z. Ji, N. Lee, R. Frieske, T. Yu, D. Su, Y. Xu, E. Ishii, Y. J. Bang, A. Madotto, and P. Fung, “Survey of hallucination in natural language generation”, ACM Computing Surveys, vol. 55, no. 12, p. 1–38, Mar. 2023. [Online]. Available: http://dx.doi.org/10.1145/3571730
[7] V. Karpukhin, B. Oğuz, S. Min, P. Lewis, L. Wu, S. Edunov, D. Chen, and W. Yih, “Dense passage retrieval for open-domain question answering”, 2020.
[8] P. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W. tau Yih, T. Rocktäschel, S. Riedel, and D. Kiela, “Retrieval-augmented generation for knowledge-intensive nlp tasks”, 2021.
[9] A. Hogan, E. Blomqvist, M. Cochez, C. D’amato, G. D. Melo, C. Gutierrez, S. Kirrane, J. E. L. Gayo, R. Navigli, S. Neumaier, A.-C. N. Ngomo, A. Polleres, S. M. Rashid, A. Rula, L. Schmelzeisen, J. Sequeda, S. Staab, and A. Zimmermann, “Knowledge graphs”, ACM Computing Surveys, vol. 54, no. 4, p. 1–37, Jul. 2021. [Online]. Available: http://dx.doi.org/10.1145/3447772
[10] M. Chen, B. Jayakumar, M. Johnston, S. E. Mahmoodi, and D. Pressel, “Intent discovery for enterprise virtual assistants: Applications of utterance embedding and clustering to intent mining”, in North American Chapter of the Association for Computational Linguistics, 2022. [Online]. Available: https://api.semanticscholar.org/CorpusID:250390998
[11] N. Vedula, N. Lipka, P. Maneriker, and S. Parthasarathy, “Towards open intent discovery for conversational text”, 2019.
[12] “Open intent extraction from natural language interactions”, in Proceedings of The Web Conference 2020, ser. WWW ’20. New York, NY, USA: Association for Computing Machinery, 2020, p. 2009–2020. [Online]. Available: https://doi.org/10.1145/3366423.3380268
[13] P. Liu, Y. Ning, K. K. Wu, K. Li, and H. Meng, “Open intent discovery through unsupervised semantic clustering and dependency parsing”, 2021.
[14] A. Mullick, I. Mondal, S. Ray, R. Raghav, G. S. Chaitanya, and P. Goyal, “Intent identification and entity extraction for healthcare queries in indic languages”, 2023.
[15] P. Chen, Y. Lu, V. W. Zheng, X. Chen, and B. Yang, “Knowedu: A system to construct knowledge graph for education”, IEEE Access, vol. 6, pp. 31 553–31 563, 2018.
[16] N. Hubert, A. Brun, and D. Monticolo, “New ontology and knowledge graph for university curriculum recommendation”, 2022.
[17] M. Rizun, “Knowledge graph application in education: a literature review”, Acta Universitatis Lodziensis. Folia Oeconomica, vol. 3, pp. 7–19, 08 2019.
[18] Y. Fettach, M. Ghogho, and B. Benatallah, “Knowledge graphs in education and employability: A survey on applications and techniques”, IEEE Access, vol. 10, pp. 80 174–80 183, 2022.
[19] H. D. To and P. Do, “Extracting triples from Vietnamese text to create knowledge graph”, in 12th International Conference on Knowledge and Systems Engineering, KSE 2020, Can Tho City, Vietnam, November 12-14, 2020. IEEE, 2020, pp. 219–223. [Online]. Available: https://doi.org/10.1109/KSE50997.2020.9287471
[20] J. Baek, A. F. Aji, and A. Saffari, “Knowledge-augmented language model prompting for zero-shot knowledge graph question answering”, in Proceedings of the 1st Workshop on Natural Language Reasoning and Structured Explanations (NLRSE), B. Dalvi Mishra, G. Durrett, P. Jansen, D. Neves Ribeiro, and J. Wei, Eds. Toronto, Canada: Association for Computational Linguistics, Jun. 2023, pp. 78–106. [Online]. Available: https://aclanthology.org/2023.nlrse-1.7
[21] S. Kim, S. Joo, D. Kim, J. Jang, S. Ye, J. Shin, and M. Seo, “The CoT collection: Improving zero-shot and few-shot learning of language models via chain-of-thought fine-tuning”, in Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, H. Bouamor, J. Pino, and K. Bali, Eds. Singapore: Association for Computational Linguistics, Dec. 2023, pp. 12 685–12 708. [Online]. Available: https://aclanthology.org/2023.emnlp-main.782
[22] M. Kang, J. M. Kwak, J. Baek, and S. J. Hwang, “Knowledge graph-augmented language models for knowledge-grounded dialogue generation”, 2023.
[23] T. Gao, X. Yao, and D. Chen, “Simcse: Simple contrastive learning of sentence embeddings”, 2022.
[24] D. Q. Nguyen and A. T. Nguyen, “PhoBERT: Pre-trained language models for Vietnamese”, in Findings of the Association for Computational Linguistics: EMNLP 2020, T. Cohn, Y. He, and Y. Liu, Eds. Online: Association for Computational Linguistics, Nov. 2020, pp. 1037–1042. [Online]. Available: https://aclanthology.org/2020.findings-emnlp.92
[25] L. McInnes, J. Healy, and S. Astels, “hdbscan: Hierarchical density based cluster-ing”, J. Open Source Softw., vol. 2, no. 11, p. 205, 2017.
[26] L. T. Nguyen and D. Q. Nguyen, “PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition, and dependency parsing”, in Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations, 2021, pp. 1–7.
[27] I. Casanueva, T. Temčinas, D. Gerz, M. Henderson, and I. Vulić, “Efficient intent detection with dual sentence encoders”, 2020.
