تعداد نشریات | 44 |
تعداد شمارهها | 1,301 |
تعداد مقالات | 15,911 |
تعداد مشاهده مقاله | 52,179,869 |
تعداد دریافت فایل اصل مقاله | 14,956,969 |
مجموعهای از ویژگیهای آماری جدید برای ارزیابی سیستمهای پرسش و پاسخ تعاملی | ||
مجله مهندسی برق دانشگاه تبریز | ||
مقاله 8، دوره 49، شماره 3 - شماره پیاپی 89، آذر 1398، صفحه 1045-1054 اصل مقاله (475.26 K) | ||
نوع مقاله: علمی-پژوهشی | ||
نویسندگان | ||
محمدمهدی حسینی؛ مرتضی زاهدی* ؛ حمید حسن پور | ||
دانشکده مهندسی کامپیوتر و فنآوری اطلاعات - دانشگاه صنعتی شاهرود | ||
چکیده | ||
ارزیابی نقش مهمی در سیستمهای پرسش و پاسخ تعاملی ایفا مینماید. روش استانداردی وجود ندارد که به ارزیابی کلی این سیستمها پرداخته باشد. مشکل اصلی در طراحی این سیستمها، عدم امکان پیشگویی بخش تعاملی است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله مجموعهای از ویژگیهای آماری جدید ساختهشده بر اساس n-گرمها و بزرگترین رشته مشترک برای ارزیابی سیستمهای پرسش و پاسخ تعاملی معرفیشده است. چهار سیستم پرسش و پاسخ تعاملی موجود برای ایجاد پایگاه دادهای از مکالمات ردوبدل شده بین کاربران و سیستمها استفاده گردید. خروجیهای تولیدشده، تعداد 540 نمونه بهعنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس پیشپردازش بر روی متنها صورت پذیرفت و ویژگیهای تعریفشده از متن مکالمهها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. درنهایت با استفاده از ماشین بردار پشتیبان به دستهبندی نظرات به دو گروه با امتیاز خوب و بد پرداخته شد. نتایج حاصل از ضریب همبستگی بین نظرات انسانی و نظرات حاصل از ویژگیهای پیشنهادی حاکی از دقت بالای مجموعه ویژگیهای ارائهشده، در ارزیابی سیستمهای پرسش و پاسخ تعاملی است. | ||
کلیدواژهها | ||
ارزیابی؛ سیستم پرسش و پاسخ تعاملی؛ ماشین بردار پشتیبان؛ ویژگی آماری | ||
مراجع | ||
[1] M. Amit, and S. K. Jain. “A survey on question answering systems with classification.” Journal of King Saud University-Computer and Information Sciences 28, no. 3: 345-361, 2016. [2] Bouziane, Abdelghani, Bouchiha, Doumi, and Malki, Question Answering Systems: Survey and Trends, Procedia Computer Science, pp. 366-375, 2015. [3] Hartawan, Andrei, and Derwin Suhartono, Using Vector Space Model in Question Answering System, Procedia Computer Science, pp. 305-311, 2015. [4] Höffner, Konrad, S. Walter, E. Marx, R. Usbeck, J. Lehmann, and A. Ngomo. Survey on challenges of question answering in the semantic web, Semantic Web 8, no. 6, pp.895-920, 2017. [5] Bao, Junwei, Nan Duan, Ming Zhou, and Tiejun Zhao. "Knowledge-based question answering as machine translation." Cell 2, no. 6, 2014. [6] L. Vanessa, V. Uren, M. Sabou and E. Motta. “Is question answering fit for the semantic web? A survey.” Semantic Web 2, no. 2: 125-155, 2011. [7] Rodrigo, Alvaro, and Anselmo Penas. "A study about the future evaluation of Question-Answering systems." Knowledge-Based Systems 137, 83-93, 2017. [8] S. Ying, P. B. Kantor and E. L. Morse. “Using cross-evaluation to evaluate interactive QA systems.” Journal of the Association for Information Science and Technology 62, no. 9: 1653-1665, 2011. [9] Quarteroni, Silvia and S. Manandhar. “Designing an interactive open-domain question answering system.” Natural Language Engineering 15, no. 1: 73-95, 2009. [10] N. Wacholder, S. G. Small, B. Bai, D. Kelly, R. trittman, S. Ryan, R. Salkin, “Designing a Realistic Evaluation of an End-to-end Interactive Question Answering System.” In LREC. 2004. [11] M. Mansoori, and H. Hassanpour. “Boosting passage retrieval through reuse in question answering.” International Journal of Engineering 25, no. 3:187-196, 2012. [12] Kelly, Diane, P. B. Kantor, E. L. Morse, J. Scholtz, and Y. Sun. “Questionnaires for eliciting evaluation data from users of interactive question answering systems.” Natural Language Engineering 15, no. 1: 119-141, 2009. [13] سلیمه شهر آیینی، مرتضی زاهدی،” سیستم پاسخگوی تعاملی با استفاده از تکنیکهای هوش مصنوعی”، دانشگاه صنعتی شاهرود، دانشکده کامپیوتر و فناوری اطلاعات، پایاننامه ارشد، 1394. [14] محمدمهدی حسینی، مرتضی زاهدی، “بهبود پاسخ ارائهشده در سیستمهای پرسش و پاسخ تعاملی با استفاده ازبهد شبکه عصبی”، هشتمین کنفرانس بینالمللی فناوری اطلاعات و دانش، صفحات 84-91، 1395. [15] L. C. Yew. “Rouge: A package for automatic evaluation of summaries.” In Text summarization branches out: Proceedings of the ACL-04 workshop, vol. 8. 2004. [16] ابزارهای پردازش متون زبان فارسی، آزمایشگاه فناوری وب دانشگاه فردوسی مشهد، 1391. (wtlab.um.ac.ir) [17] C. Guinaudeau, M. Strube, “Graph-based Local Coherence Modeling”, Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pp. 93–103, 2013. [18] فرید قنبری، محسن رحمانی، "ارائه یک روش مبتنی بر گرایش معنایی برای طبقهبندی چند برچسبی محتوای فیلمها به کمک متون زیرنویس آنها"، مجله مهندسی برق دانشگاه تبریز، آذرماه 96. [19] الناز زعفرانی، محمدرضا فیضی درخشانی و آزاده روحانی، " تشخیص هوشمند و خودکار غلطهای تایپی در پایگاه دادههای بزرگ بدون استفاده از لغتنامه"، مجله مهندسی برق دانشگاه تبریز، جلد 47، شماره 1، بهار 96. [20] Hersh, William. "Evaluating interactive question answering." In Advances in Open Domain Question Answering, Springer, Dordrecht, pp. 431-455, 2008. | ||
آمار تعداد مشاهده مقاله: 427 تعداد دریافت فایل اصل مقاله: 338 |