دانشگاه تبریز
فهرست نشریات دارای اعتبار وزارت علوم، تحقیقات و فناوری
پایگاه استنادی علوم جهان اسلام (ISC)

 آمار

تعداد نشریات45
تعداد شماره‌ها1,530
تعداد مقالات18,640
تعداد مشاهده مقاله61,290,394
تعداد دریافت فایل اصل مقاله22,057,777
بریمانی, مهرشاد, آقاگل زاده, علی. (1403). ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی. سامانه مدیریت نشریات علمی, 4(11), 104-76. doi: 10.22034/rsgi.2024.62934.1094
مهرشاد بریمانی; علی آقاگل زاده. "ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی". سامانه مدیریت نشریات علمی, 4, 11, 1403, 104-76. doi: 10.22034/rsgi.2024.62934.1094
بریمانی, مهرشاد, آقاگل زاده, علی. (1403). 'ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی', سامانه مدیریت نشریات علمی, 4(11), pp. 104-76. doi: 10.22034/rsgi.2024.62934.1094
بریمانی, مهرشاد, آقاگل زاده, علی. ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی. سامانه مدیریت نشریات علمی, 1403; 4(11): 104-76. doi: 10.22034/rsgi.2024.62934.1094

ادغام بدون نظارت تصاویر سنجش از دور با استفاده از شبکه‌ی مخالف مولد چند مقیاسی

نشریه کاربرد سنجش از دور و سیستم اطلاعات جغرافیایی در علوم محیطی
دوره 4، شماره 11، مرداد 1403، صفحه 104-76    اصل مقاله (1.54 M)
نوع مقاله: مقاله پژوهشی
شناسه دیجیتال (DOI): 10.22034/rsgi.2024.62934.1094
نویسندگان
مهرشاد بریمانی1؛ علی آقاگل زاده* 2
1دانشجوی دکترای گروه مهندسی مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل
2استادگروه مهندسی برق-مخابرات، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی نوشیروانی بابل
چکیده
در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، با وجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. در نهایت، برای اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند. نتایج حاصل از تصاویر ماهواره‌هایWorldView-2 ،GaoFen-2 وQuickBird ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

تازه های تحقیق

در این مقاله، یک مدل متراکم چندمقیاسی بدون نظارت مبتنی‌بر شبکه‌ مخالف مولد به نام UMP-GAN برای مسئله پنشارپینگ تصاویر سنجش از دور پیشنهاد شده است. روش پیشنهادی پنشارپنینگ را به عنوان یک مسئله چند وظیفه‌ای، یعنی حفظ هم‌زمان اطلاعات طیفی از یک تصویر چندطیفی (LRMS) و جزئیات مکانی از یک تصویر تک‌رنگ (PAN) فرموله می‌کند. این سیستم شامل یک شبکه مولد و دو شبکه تفکیک‌کننده برای کاهش اعوجاج‌های طیفی و مکانی در تصویر ادغام شده است. به منظور دستیابی به آموزش بدون نظارت و هم‌چنین  بهبود هر چه بیشتر عمل‌کرد مدل پیشنهادی، شاخص بدون مرجع QNR به تابع هزینه شبکه مولد اضافه می‌شود. به عنوان یکی از مزایای روش‌های بدون نظارت، UMP-GAN می‌تواند بر روی تصاویر با وضوح کاهش یافته و یا تصاویر با وضوح کامل بدون نیاز به تصویر مرجع آموزش داده شود. هم‌چنین، مدل ارائه شده بر روی تصاویر اصلی PAN و LRMS بدون نیاز به هیچ مرحله‌ پیش‌پردازش برای حفظ سازگاری با محیط کاربرد عملی توسعه داده شده است. آزمایش‌های گسترده‌ بر روی مجموعه داده‌هایWorldview-2 (WV2) ،  GaoFen-2 (GF2)و QuickBird (QB) نشان می‌دهند که الگوریتم پیشنهادی معیارهای ارزیابی بهتری را به دست می‌آورد و توزیع اطلاعات طیفی و جزئیات مکانی پایه را به خوبی با از دست دادن اندک اطلاعات تحت شرایط بدون نظارت در تصویر ادغام شده، حفظ می‌نماید. علاوه‌براین، یک بررسی فراتر نیز برای نشان دادن اعتبار روش پیشنهادی انجام شده است. عمل‌کرد مناسب در آزمایش بر روی تصاویر با وضوح کامل و نتایج رضایت‌بخش در تصاویر با مقیاس کاهش یافته، توانایی قدرتمند مدل UMP-GAN را نشان می‌دهد.

کلیدواژه‌ها
ادغام تصاویر سنجش از دور؛ بلوک‌ متراکم چندمقیاسی؛ پنشارپنینگ؛ شبکه‌های عصبی کانولوشن؛ شبکه‌های مخالف مولد؛ یادگیری بدون نظارت
اصل مقاله

در پنشارپنینگ، یک تصویر چندطیفی با وضوح پایین (LRMS) و یک تصویر تک‌رنگ با وضوح بالا (PAN) برای تولید یک تصویر چندطیفی با وضوح بالا (HRMS)‌ ترکیب می‌شوند. مطالعات اخیر نشان داده‌اند که شبکه‌های عصبی کانولوشن می‌توانند برای پنشارپنینگ تصاویر سنجش از دور با نتایج عالی مورد استفاده قرار گیرند. با‌ این حال، همچنان دو مشکل اساسی وجود دارد که باید برطرف شوند. از یک سو، باوجود نبود تصاویر‌ایده‌آل HRMS برای یادگیری، اکثر روش‌های فعلی نیاز به تلاش بیشتری برای تولید داده‌های شبیه‌سازی شده دارند. از سوی دیگر، این روش‌ها معمولاً اطلاعات مکانی غنی موجود در تصاویر تک‌رنگ را نادیده می‌گیرند. برای پرداختن به این مسائل، در این مقاله، با استفاده از شبکه‌های مخالف مولد، یک چهارچوب ادغام بدون نظارت مبتنی‌بر یک شبکه متراکم چندمقیاسی به نام UMP-GAN برای پنشارپنینگ تصاویر سنجش از دور طراحی شده است که می‌تواند مستقیماً بر روی تصاویر با وضوح کامل بدون نیاز به هیچ گونه پیش‌پردازشی آموزش ببیند. ابتدا، یک شبکه مولد متراکم چندمقیاسی برای استخراج ویژگی‌ها از تصاویر ورودی اصلی برای تولید تصاویر HRMS پیشنهاد می‌شود. در ادامه، دو شبکه تفکیک‌کننده مجزا برای حفاظت از اطلاعات طیفی و جزئیات مکانی موجود در تصاویر ورودی استفاده می‌گردد. بنابراین، روش پیشنهادی امکان آموزش دو شبکه تفکیک‌کننده را فراهم می‌کند، که هر کدام وظیفه متفاوت و مکملی دارند. در نهایت، برای بهبود کیفیت تصویر ادغام شده و اجرای آموزش تحت تنظیمات بدون نظارت، توابع هزینه جدیدی پیشنهاد می‌شود. این روش می‌تواند تبادل اطلاعات گرادیان میان شبکه مولد و شبکه‌های تفکیک‌کننده را عمیق‌تر کند، فرآیند آموزش شبکه را بهینه نماید و هم‌گرایی شبکه را تسریع کند. تصاویر ماهواره‌های WorldView-2 (WV2)، GaoFen-2 (GF2)  و QuickBird (QB) برای شبیه سازی و تایید روش پیشنهادی مورد استفاده قرار گرفته‌اند. نتایج ‌‌نشان داده‌اند که روش پیشنهادی در ادغام تصاویر سنجش از دور بهتر از سایر مدل‌های معتبر پیشین عمل می‌کند.

مراجع
  1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
  1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
  2. Zhou, Q. Liu and Y. Wang. (2021). PGMAN: An Unsupervised Generative Multiadversarial Network for Pansharpening. in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6316–6327.

Te-Ming Tu, P. S. Huang, Chung-Ling Hung and Chien-Ping Chang. (2004). A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. in IEEE Geoscience and Remote Sensing Letters, 1(4), 309–312.

  1. A. Laben and B. V. Brower. (2000). Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S. Patent 6011875.
  2. P. Shah, N. H. Younan and R. L. King. (2008). An Efficient Pan-Sharpening Method via a Combined Adaptive PCA Approach and Contourlets. in IEEE Transactions on Geoscience and Remote Sensing, 46(5), 1323–1335.
  3. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2020). CNNs hard voting for multi-focus image fusion.Journal of Ambient Intelligence and Humanized Computing, 11, 1749–1769.

Johnson, A. Alahi, and L. Fei-Fei. (2016). Perceptual losses for real-time style transfer and super-resolution. in Proc. Eur. Conf. Comput. Vis., 694–711.

  1. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2019). Ensemble of CNN for multi-focus image fusion. Information Fusion, 51, 201–214.
  2. Ledig et al. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 105–114.
  3. P. Kingma and M. Welling. (2014). Auto-Encoding Variational Bayes,” in Int. Conf. Learn. Representations, 1–14.
  4. Goodfellow et al. (2014). Generative adversarial nets,” in Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds. Red Hook, NY, USA: Curran Associates, 2672–2680. [Online]. Available: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
  5. Masi, D. Cozzolino, L. Verdoliva, and G. Scarpa. (2016). Pansharpening by convolutional neural networks. Remote Sens., 8(7), 594–615.
  6. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley. (2017). PanNet: A deep network architecture for pan-sharpening. in Proc. IEEE Int. Conf. Comput. Vis., 5449–5457.
  7. He, X. Zhang, S. Ren, and J. Sun. (2016). Deep residual learning for image recognition. in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 770–778.
  8. Yuan, Y. Wei, X. Meng, H. Shen, and L. Zhang. (2018). A multiscale and multidepth convolutional neural network for remote sensing imagery pansharpening. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., 11(3), 978–989.
  9. Wang, Y. Li, L. Ma, Z. W. Bai, and J. C. W. Chan. (2019). Going deeper with densely connected convolutional neural networks for multispectral pansharpening. Remote Sens., 11(22), 19.
  10. Peng, L. Liu, J. Wang, E. Zhang, X. Zhu, et al. (2021). PSMD-Net: A Novel Pan-Sharpening Method Based on a Multiscale Dense Network. in IEEE Transactions on Geoscience and Remote Sensing, 59(6), 4957–4971.
  11. Liu, Q. Liu, and Y. Wang. (2020). Remote sensing image fusion based on two-stream fusion network. Inf. Fusion, 55, 1–15.
  12. Wald, T. Ranchin, and M. Mangolini. (1997). Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogramm. Eng. Remote Sens., 63(6), 691–699.
  13. Liu, H. Zhou, Q. Xu, X. Liu and Y. Wang. (2021). PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening. in IEEE Transactions on Geoscience and Remote Sensing, 59(12), 10227–10242.
  14. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smolley. (2017). Least squares generative adversarial networks. in Proc. IEEE Int. Conf. Comput. Vis.,2794–2802.
  15. Ma, W. Yu, C. Chen, P. Liang, X. Guo, and J. Jiang. (2020). Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion. Inf. Fusion, 62, 110–120.
  16. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. (2017). Densely connected convolutional networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2261–2269.

Zhou Wang and A. C. Bovik. (2002). A universal image quality index,” in IEEE Signal Processing Letters, 9(3), 81–84.

  1. P. Kingma and J. Ba. (2017). Adam: A method for stochastic optimization. arXiv:1412.6980.
  2. Wald. (2000). Quality of high resolution synthesised images: Is there a simple criterion?. in Proc. 3rd Conf. “Fusion Earth Data: Merging Point Meas., Raster Maps Remotely Sensed Images”, 99–103.
  3. Vivone. (2019). Robust band-dependent spatial-detail approaches for panchromatic sharpening. IEEE Trans. Geosci. Remote Sens., 57(9), 6421–6433.
  4. R. Gillespie, A. B. Kahle, and R. E. Walker. (1987). Color enhancement of highly correlated images. II. Channel ratio and ‘chromaticity’ transformation techniques. Remote Sensing of Environment, 22(3), 343–365.
  5. Liu. (2000). Smoothing filter-based intensity modulation: A spectral preserve image fusion technique for improving spatial details. International Journal of Remote Sensing, 21(18), 3461–3472.
  6. Shao, Z. Lu, M. Ran, L. Fang, J. Zhou and Y. Zhang. (2020). Residual Encoder–Decoder Conditional Generative Adversarial Network for Pansharpening. in IEEE Geoscience and Remote Sensing Letters, 17(9), 1573–1577.

     

    1. Maneshi, H. Ghassemian and M. Imani. (2020). Sparse Representation of Injected Details for MRA-Based Pansharpening. IEEE India Geoscience and Remote Sensing Symposium (InGARSS), Ahmedabad, India, 86–89.
    2. Zhou, Q. Liu and Y. Wang. (2021). PGMAN: An Unsupervised Generative Multiadversarial Network for Pansharpening. in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14, 6316–6327.

    Te-Ming Tu, P. S. Huang, Chung-Ling Hung and Chien-Ping Chang. (2004). A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery. in IEEE Geoscience and Remote Sensing Letters, 1(4), 309–312.

    1. A. Laben and B. V. Brower. (2000). Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening. U.S. Patent 6011875.
    2. P. Shah, N. H. Younan and R. L. King. (2008). An Efficient Pan-Sharpening Method via a Combined Adaptive PCA Approach and Contourlets. in IEEE Transactions on Geoscience and Remote Sensing, 46(5), 1323–1335.
    3. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2020). CNNs hard voting for multi-focus image fusion.Journal of Ambient Intelligence and Humanized Computing, 11, 1749–1769.

    Johnson, A. Alahi, and L. Fei-Fei. (2016). Perceptual losses for real-time style transfer and super-resolution. in Proc. Eur. Conf. Comput. Vis., 694–711.

    1. Amin-Naji, A. Aghagolzadeh and M. Ezoji, M. (2019). Ensemble of CNN for multi-focus image fusion. Information Fusion, 51, 201–214.
    2. Ledig et al. (2017). Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 105–114.
    3. P. Kingma and M. Welling. (2014). Auto-Encoding Variational Bayes,” in Int. Conf. Learn. Representations, 1–14.
    4. Goodfellow et al. (2014). Generative adversarial nets,” in Advances in Neural Information Processing Systems, Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, Eds. Red Hook, NY, USA: Curran Associates, 2672–2680. [Online]. Available: http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
    5. Masi, D. Cozzolino, L. Verdoliva, and G. Scarpa. (2016). Pansharpening by convolutional neural networks. Remote Sens., 8(7), 594–615.
    6. Yang, X. Fu, Y. Hu, Y. Huang, X. Ding, and J. Paisley. (2017). PanNet: A deep network architecture for pan-sharpening. in Proc. IEEE Int. Conf. Comput. Vis., 5449–5457.
    7. He, X. Zhang, S. Ren, and J. Sun. (2016). Deep residual learning for image recognition. in Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 770–778.
    8. Yuan, Y. Wei, X. Meng, H. Shen, and L. Zhang. (2018). A multiscale and multidepth convolutional neural network for remote sensing imagery pansharpening. IEEE J. Sel. Topics Appl. Earth Observ. Remote Sens., 11(3), 978–989.
    9. Wang, Y. Li, L. Ma, Z. W. Bai, and J. C. W. Chan. (2019). Going deeper with densely connected convolutional neural networks for multispectral pansharpening. Remote Sens., 11(22), 19.
    10. Peng, L. Liu, J. Wang, E. Zhang, X. Zhu, et al. (2021). PSMD-Net: A Novel Pan-Sharpening Method Based on a Multiscale Dense Network. in IEEE Transactions on Geoscience and Remote Sensing, 59(6), 4957–4971.
    11. Liu, Q. Liu, and Y. Wang. (2020). Remote sensing image fusion based on two-stream fusion network. Inf. Fusion, 55, 1–15.
    12. Wald, T. Ranchin, and M. Mangolini. (1997). Fusion of satellite images of different spatial resolutions: Assessing the quality of resulting images. Photogramm. Eng. Remote Sens., 63(6), 691–699.
    13. Liu, H. Zhou, Q. Xu, X. Liu and Y. Wang. (2021). PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-Sharpening. in IEEE Transactions on Geoscience and Remote Sensing, 59(12), 10227–10242.
    14. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. Paul Smolley. (2017). Least squares generative adversarial networks. in Proc. IEEE Int. Conf. Comput. Vis.,2794–2802.
    15. Ma, W. Yu, C. Chen, P. Liang, X. Guo, and J. Jiang. (2020). Pan-GAN: An unsupervised pan-sharpening method for remote sensing image fusion. Inf. Fusion, 62, 110–120.
    16. Huang, Z. Liu, L. van der Maaten, and K. Q. Weinberger. (2017). Densely connected convolutional networks. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2261–2269.

    Zhou Wang and A. C. Bovik. (2002). A universal image quality index,” in IEEE Signal Processing Letters, 9(3), 81–84.

    1. P. Kingma and J. Ba. (2017). Adam: A method for stochastic optimization. arXiv:1412.6980.
    2. Wald. (2000). Quality of high resolution synthesised images: Is there a simple criterion?. in Proc. 3rd Conf. “Fusion Earth Data: Merging Point Meas., Raster Maps Remotely Sensed Images”, 99–103.
    3. Vivone. (2019). Robust band-dependent spatial-detail approaches for panchromatic sharpening. IEEE Trans. Geosci. Remote Sens., 57(9), 6421–6433.
    4. R. Gillespie, A. B. Kahle, and R. E. Walker. (1987). Color enhancement of highly correlated images. II. Channel ratio and ‘chromaticity’ transformation techniques. Remote Sensing of Environment, 22(3), 343–365.
    5. Liu. (2000). Smoothing filter-based intensity modulation: A spectral preserve image fusion technique for improving spatial details. International Journal of Remote Sensing, 21(18), 3461–3472.
    6. Shao, Z. Lu, M. Ran, L. Fang, J. Zhou and Y. Zhang. (2020). Residual Encoder–Decoder Conditional Generative Adversarial Network for Pansharpening. in IEEE Geoscience and Remote Sensing Letters, 17(9), 1573–1577.
آمار
تعداد مشاهده مقاله: 376
تعداد دریافت فایل اصل مقاله: 372


سامانه مدیریت نشریات علمی. قدرت گرفته از سیناوب