گروه مهندسی برق

جلسه دفاع از پایان نامه کارشناسی ارشدآقای آرمین کاظمی

جلسه با موضوع ادغام تصاویر مرئی و مادون قرمز، هدایت شده با قطعه بندی سراسرنما برای بهبود عملکرد تشخیص اشیاء، در تاریخ چهارشنبه 23 مهر1404،برگزار می گردد.

جلسه دفاع از پایان نامه کارشناسی ارشدآقای آرمین کاظمی با موضوع ادغام تصاویر مرئی و مادون قرمز، هدایت شده با قطعه بندی سراسرنما برای بهبود عملکرد تشخیص اشیاء، از گروه مهندسی برق در تاریخ چهار شنبه 23 مهر1404، ساعت 10 دراتاق شورای ساختمان صناعت برگزار می گردد.


استاد راهنما: دکترپیمان معلم 

چکیده: تجزیه و تحلیل تصاویر مرئی در زندگی روزمره و کاربردهای صنعتی نقشی گسترده دارد، اما این تصاویر ذاتاً به محدوده‌ی طیفی خود محدود هستند. این محدودیت به‌ویژه در شرایط نوری نامطلوب آشکار می‌شود، جایی که مشاهده جزئیات ارزشمند دشوار بوده و تشخیص اشیاء چالش‌برانگیز است. در مقابل، اشیاء در محیط طبیعی امواج الکترومغناطیسی را در فرکانس‌های مختلف ساطع می‌کنند که به‌عنوان تابش حرارتی شناخته می‌شود و برای چشم انسان قابل رؤیت نیست. طیف مادون‌قرمز محدوده وسیع‌تری نسبت به طیف مرئی پوشش می‌دهد و حساسیت کمتری به شرایط محیطی مانند نور کم، مه و موانع مشابه دارد. ازاین‌رو، تصاویر مادون‌قرمز ظرفیت بالایی در مدیریت شرایط نوری نامطلوب دارند. بااین‌حال، این تصاویر در مقایسه با تصاویر مرئی از وضوح کمتر و فقدان جزئیات رنگی و بافت رنج می‌برند. ادغام تصاویر مرئی و مادون‌قرمز راهکاری مؤثر برای تولید تصویری ترکیبی است که هم از جزئیات و وضوح بالای تصاویر مرئی بهره‌مند باشد و هم از قابلیت‌های طیفی تصاویر مادون‌قرمز در نمایش نواحی هدف استفاده کند. در این پژوهش، رویکردی مبتنی بر یادگیری عمیق در سطح ویژگی برای ادغام این دو نوع تصویر ارائه می‌شود که چالش‌های مربوط به افزونگی اطلاعات و درک معنایی را برطرف می‌سازد. اکثر روش‌های موجود عمدتاً بر روی ویژگی‌های آماری و کیفیت بصری تصاویر ادغام‌شده تأکید می‌کنند و به کاربرد این تصاویر در وظایف سطح بالای بینایی کامپیوتر (مثل تشخیص و ردیابی اشیاء، درک صحنه و...) توجه ندارند. این موجب از دست رفتن اطلاعات معنایی در تصویر ادغام‌شده می‌شود. ایده اصلی این رویکرد، ترکیب یک شبکه قطعه‌بندی تصاویر نمونه‌ای با یک شبکه ادغام تصاویر مرئی و مادون قرمز است. هدف از این فرایند، القای اطلاعات معنایی در سطح شیء در تصویر ادغام‌شده به هدف استفاده آن در وظایف بینایی سطح بالا مثل تشخیص اشیاء است. در چارچوب روش پیشنهادی، یک معماری مبتنی بر شبکه‌های کانولوشنی عمیق طراحی شده است که در آن تصاویر مرئی و مادون‌قرمز به‌صورت موازی و در دو شاخه‌ی مجزا پردازش می‌شوند. پس از استخراج ویژگی‌های سطح بالا در هر شاخه، این ویژگی‌ها ابتدا با مکانیزم توجه به خود تقویت شده و سپس از طریق مکانیزم توجه متقابل بین‌مدالیته‌ای با یکدیگر ادغام می‌شوند. ویژگی‌های ادغام‌شده بازسازی شده و به یک شبکه‌ی قطعه‌بندی نمونه‌ای منتقل می‌شوند؛ بدین‌ترتیب خطاهای ناشی از پیش‌بینی مرز و ناحیه اشیاء به‌صورت بازگشتی به شبکه ادغام منتقل می‌شود و در حکم سیگنال آموزشی عمل می‌کند. این سازوکار نه‌تنها دقت شناسایی مرزها را ارتقا می‌دهد، بلکه شبکه ادغام را وادار می‌سازد تا ترکیب بهتری از ویژگی‌های طیفی و معنایی در سطح شیء بیاموزد. برای آموزش و ارزیابی این شبکه، از مجموعه‌داده Tokyo Multi-Spectral استفاده شده و به‌منظور فراهم آوردن اطلاعات معنایی دقیق‌تر در سطح شیء، برچسب‌های قطعه‌بندی نمونه‌ای به‌صورت اختصاصی برای این تصاویر ساخته شده است. نتایج آزمایش‌ها نشان می‌دهد که روش پیشنهادی در وظیفه‌ی تشخیص اشیاء نسبت به سایر رویکردها بهبود معناداری داشته و در شاخص‌های دقت، از جمله معیارهای رایج مبتنی بر IoU، بالاترین عملکرد را به دست آورده است. این برتری، بیانگر توانایی معماری ارائه‌شده در ادغام اطلاعات طیفی و معنایی و ارتقای چشمگیر آن در وظایف سطح بالای بینایی ماشین است.
تاریخ:
1404/07/06
تعداد بازدید:
50
منبع:
دانشگاه اصفهان

آدرس: اصفهان، میدان آزادی، دانشگاه اصفهان،میدان خوارزمی، ابتدای بلوار سلامت، ساختمان انصاری
کدپستی: 8174673441
تلفن: 37932685 تلفکس: 36682887
راهنمای جامع تلفن های دانشگاه اصفهان

کلیه حقوق این پایگاه متعلق به مرکز فناوری اطلاعات و ارتباطات دانشگاه اصفهان می باشد.

Powered by DorsaPortal