The 11th Iranian and the first International Conference on Machine Vision and Image Processing

بازشناسی کلمات پویای مجزای زبان اشارۀ فارسی با استفاده از حسگر کینکت

اطهره طاهریمنوچهر نحوی
The 11th Iranian and the first International Conference on Machine Vision and Image Processing (MVIP 2020)

چکیده

در این مقاله روشی برای بازشناسی زبان اشارۀ فارسی با استفاده از اطلاعات اسکلتی و فریم‌های عمق بدست‌آمده از حسگر کینکت ارائه می‌شود. ویژگی‌های استخراج‌شده شامل ویژگی‌های مربوط به نوع حرکت دست و ویژگی‌های مربوط به شکل دست می‌باشند. ابتدا با استفاده از مدل مخفی مارکوف (HMM)، اشاراتی که ویژگی‌های حرکتی مشابه با اشارۀ آزمون دارند انتخاب و سپس در مرحلۀ بعد ازمیان اشارات انتخاب‌شده و با استفاده از طبقه‌بند ماشین بردار پشتیبان (SVM)، اشاره‌ای که از لحاظ شکل دست به اشارۀ آزمون مشابه‌تر است انتخاب می‏گردد. در روش ارائه شده محدودیت های ناشی از هم‌پوشانی دو دست و هم‌پوشانی دست و صورت برطرف شده، و نیازی به اعمال محدودیت‌هایی نظیر پوشیدن لباس آستین‌بلند، پوشیدن لباس با رنگ متفاوت با پوست، پس‌زمینۀ ثابت و متفاوت با رنگ پوست و ثابت بودن روشنایی محیط نیست. استفاده از روش ارائه‌شده در شرایط طبیعی و بدون اعمال محدودیت نشان‌می‌دهد که این روش قادر است با دقت متوسط 97.25\% کلمات پویای مجزای زبان اشارۀ فارسی را در پایگاه‌داده‌ای متشکل از سی کلمۀ پویا طبقه‌بندی نماید.

کلمات کلیدی: حسگر حرکتی کینکت، زبان اشارۀ فارسی، ماشین بردار پشتیبان (SVM)، مدل مخفی مارکوف (HMM)، همپوشانی (occlusion)



© 2017-2021 ISMVIP All Rights Reserved