Multi-Sentence Hierarchical Generative Adversarial Network GAN (MSH-GAN) for Automatic Text-to-Image Generation

سال انتشار: 1400
نوع سند: مقاله ژورنالی
زبان: انگلیسی
مشاهده: 178

فایل این مقاله در 12 صفحه با فرمت PDF قابل دریافت می باشد

این مقاله در بخشهای موضوعی زیر دسته بندی شده است:

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_JADM-9-4_006

تاریخ نمایه سازی: 8 آذر 1400

چکیده مقاله:

This research is related to the development of technology in the field of automatic text to image generation. In this regard, two main goals are pursued; first, the generated image should look as real as possible; and second, the generated image should be a meaningful description of the input text. our proposed method is a Multi Sentences Hierarchical GAN (MSH-GAN) for text to image generation. In this research project, we have considered two main strategies: ۱) produce a higher quality image in the first step, and ۲) use two additional descriptions to improve the original image in the next steps. Our goal is to focus on using more information to generate images with higher resolution by using more than one sentence input text. We have proposed different models based on GANs and Memory Networks. We have also used more challenging dataset called ids-ade. This is the first time; this dataset has been used in this area. We have evaluated our models based on IS, FID and, R-precision evaluation metrics. Experimental results demonstrate that our best model performs favorably against the basic state-of-the-art approaches like StackGAN and AttGAN.

کلیدواژه ها:

Generative Adversarial ، Networks (GANs) ، deep learning ، Natural Language Processing (NLP)

نویسندگان

E. Pejhan

Computer Engineering Department, Yazd University, Yazd, Iran

M. Ghasemzadeh

Computer Engineering Departmen, Yazd University, Yazd, Iran.

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • Z. Zhang, Y. Xie, and L. Yang, “Photo-graphic text-to-image synthesis ...
  • I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, ...
  • Y. Li, Y. Chen, and Y. Shi, “Brain tumor segmentation ...
  • Y. Li, Z. He, Y. Zhang, and Z. Yang, “High-quality ...
  • A. Fakhari. and K. Kiani. "An image restoration architecture using ...
  • [۶]‎ M.M. Haji-Esmaeili and G. Montazer, “Automatic coloring of grayscale ...
  • S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, ...
  • H. Zhang, T. Xu, H. Li, S. Zhang, X. Huang, ...
  • H. Zhang, T. Xu, H. Li, S. Zhang, X. Wang, ...
  • K.J. Joseph, A. Pal, S. Rajanala, and V.N. Balasubramanian, “C۴synth: ...
  • T. Xu, P. Zhang, Q. Huang, H. Zhang, Z. Gan, ...
  • M. Zhu, P. Pan, W. Chen, and Y. Yang, “Dm-gan: ...
  • C. Wah, S. Branson, P. Welinder, P. Perona, and S. ...
  • N. Ilinykh, S. ZarrieB, and D. Schlangen, “Tell me more: ...
  • T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, ...
  • M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, and S. ...
  • P. Zhou, W. Shi, J. Tian, Z. Qi, B. Li, ...
  • C. Szegedy, V. Vanhoucke, S. Io_e, J. Shlens, and Z. ...
  • C. Gulcehre, S. Chandar, K. Cho, and Y. Bengio, “Dynamic ...
  • A. Miller, A. Fisch, J. Dodge, A. H. Karimi, A. ...
  • X. Yan, J. Yang, K. Sohn, and H. Lee, “Attribute۲image: ...
  • X. Zhu, A.B. Goldberg, M. Eldawy, C.R. Dyer, and B. ...
  • A. Dash, J.C.B. Gamboa, S. Ahmed, M. Liwicki, and M. ...
  • J. Y. Koh, J. Baldridge, H. Lee, and Y. Yang, ...
  • T. Baltrusaitis, C. Ahuja, and L. P. Morency, “Multi-modal machine ...
  • W. Li, P. Zhang, L. Zhang, Q. Huang, X. He, ...
  • G. Yin, B. Liu, L. Sheng, N. Yu, X. Wang, ...
  • نمایش کامل مراجع