آمار
| تعداد نشریات | 44 |
| تعداد شماره‌ها | 1,323 |
| تعداد مقالات | 16,270 |
| تعداد مشاهده مقاله | 52,953,761 |
| تعداد دریافت فایل اصل مقاله | 15,624,451 |
بازشناسی احساس گفتار بین دادگانی با استفاده از مدل HuBERT، اطلاعات گوینده و ویژگی‌های نوایی | ||
| مجله مهندسی برق دانشگاه تبریز | ||
| مقالات آماده انتشار، اصلاح شده برای چاپ، انتشار آنلاین از تاریخ 17 شهریور 1403 | ||
| نوع مقاله: علمی-پژوهشی | ||
| شناسه دیجیتال (DOI): 10.22034/tjee.2024.61783.4850 | ||
| نویسندگان | ||
| بابک ناصر شریف* 1؛ نوید نادری2 | ||
| 1دکترای هوش مصنوعی هیئت علمی دانشکده مهندسی کامپیوتر دانشگاه خواجه نصیر الدین طوسی | ||
| 2Computer Engineering Department, K.N.Toosi University of Technology,Tehran,Iran | ||
| چکیده | ||
| این مطالعه به بررسی چالش‌ها و روش‌های تشخیص احساس از گفتار در میان دادگان گفتار احساسی مختلف (CCSER) می‌پردازد و بر تعمیم دادن ویژگی‌های گفتاری برای بازشناسی احساس از گفتار در دادگان با زبان‌ها، گویندگان و محتوای عاطفی مختلف تمرکز دارد. ما یک معماری عمیق برای سیستم تشخیص احساس از گفتار پیشنهاد می‌دهیم که از بلوک‌های مبدل مدل HuBERT به همراه نهفت‌های گوینده و ویژگی‌های نوایی برای بهبود استخراج ویژگی‌ها و طبقه‌بندی احساسات در مجموعه‌های داده مختلف استفاده می‌کند. روش ما با استفاده از تکنیک‌های یادگیری انتقالی، به‌ویژه از طریق روش‌های بدون نظارت که توزیع ویژگی‌ها را بدون نیاز به داده‌های برچسب‌دار از دامنه‌های هدف انطباق می‌دهند، به مقابله با تغییرداده‌ها و دامنه می‌پردازد. به طور خاص، راهبرد یادگیری انتقالی ما شامل استفاده از یک روش خوشه‌بندی برای انتخاب مناسب‌ترین مدل آموزش دیده برای انجام یادگیری انتقالی از دامنه‌ی مبدأ به دامنه‌های هدف است. ما مدل پیشنهادی خود را با استفاده از مجموعه داده IEMOCAP به‌عنوان دامنه مبدأ، ارزیابی می‌کنیم و اعتبارسنجی خود را به مجموعه داده‌های احساسی با زبان‌های دیگر گسترش می‌دهیم، که قابلیت تطبیق پذیری سیستم پیشنهادی را نشان می‌دهد. نتایج نشان‌دهنده‌ی بهبود قابل توجه در دقت تشخیص احساسات در مقایسه با روش‌های سنتی بازشناسی احساس گفتار بین دادگانی است و اثربخشی تلفیق مدل‌های پیش‌آموزش دیده بر اساس یادگیری خودنظارتی و راهبردهای یادگیری انتقالی در وظایف تشخیص احساس را مورد تأکید قرار می‌دهد. | ||
| کلیدواژه‌ها | ||
| بازشناسی احساس گفتار بین دادگانی؛ یادگیری انتقالی؛ خوشه بندی؛ ویژگی نوایی؛ HuBERT؛ نهفت گوینده | ||
| مراجع | ||
|
| ||
|
آمار تعداد مشاهده مقاله: 113 |
||