شبکه عصبی GRU
بهنام خدا، سلام… در این پست میخواهم درباره شبکه عصبی GRU صحبت کنم. شبکه عصبی GRU یک شبکه بازگشتی است که از دو شبکه عصبی RNN و LSTM جدیدتر هست. نسبتا محبوب هم هست. برای آشنایی با ساختار این شبکه با آکادمی هوش مصنوعی هوسم همراه باشید…
آشنایی با شبکه عصبی GRU
شبکه GRU در سال 2014 توسط Kyunghyun Cho و همکارانش ارائه شد. لازم به ذکر هست که همکارانش آدمهای بزرگی بودند. 😅 آقای Bengio یکی از بزرگان هوش مصنوعی که در این مقاله نامشون هست. حتما نام ایشون رو در اینترنت سرچ کنید و باهاشون آشنا بشید.
شبکه عصبی GRU شبکهای از جنس خانواده شبکه بازگشتی هست که البته محبوبیت و کارآیی بالایی دارد. اگر آموزش شبکه عصبی LSTM را مطالعه کرده باشید، میدانید که LSTM یک شبکه بازگشتی مبتنی بر گیت هست. ساختار شبکه عصبی GRU هم مبتنی بر گیت هست. اتفاقا از اسم این شبکه هم مشخص است که یک شبکه گیتی هست: Gated Recurrent Network حتما الان میگید اون که یه نیسان گیت داشت، احتمالا این یه کامیون گیت داره! 😫 اتفاقا نه!
شبکه عصبی GRU ساده شده شبکه LSTM
بله، GRU سادهتر است و پارامترها و گیتهای کمتری دارد. در شبکه عصبی LSTM سه گیتِ ورودی، خروجی و فراموشی وجود دارد. اما شبکه عصبی GRU از دو گیتِ ریست و آپدیت تشکیل شده است. پس از همین جا خاطرتان باشد:
شبکه GRU دارای دو گیت ریست و آپدیت
البته، تحقیقات مختلف و آماروارقام نشان میدهد که عملکرد شبکه LSTM نسبت به GRU بهتر هست. اما اینطور برداشت نکنید که در همه تسکها برتری دارد و به کل GRU را کنار بگذارید. شبکه GRU قدرتمند است و کاربرد هم دارد. بسیارخب، مقدمات کافی است. کم کم گرم کنیم برای بخشهای جدیتر شبکه GRU! 😬
ورودی و خروجی در شبکه عصبی GRU
ابتدا بیایید همچون گذشته نگاهی به ورودی و خروجی در GRU و مقایسه آن با LSTM و RNN بپردازیم. واضح است که این شبکه از لحاظ ورودی-خروجی به شبکه RNN شبیه هست. یعنی، همانند LSTM خبری از Cell State نیست! حال این سوالها پیش میآید:
- اگر Cell State نداریم، یعنی حافظه بلندمدت هم نداریم؟!
- یعنی فراموشی در دنباله طولانی بازهم اتفاق خواهد افتاد؟!
- قابلیت ذخیره در Cell State یا حذف اطلاعاتی از آن، ایده کلیدی در LSTM بود. اینها را در GRU نداریم؟!
عجیب است! حافظه بلندمدت واقعا خوب بود، نه؟ جواب سوالات بالا این است که ما بازهم حفظ اطلاعات برای طولانیمدت و حذف اطلاعات را در شبکه GRU داریم. اما همه این کارها با دو گیت آپدیت و ریست انجام میشود.
درادامه، درباره ساختار داخلی شبکه GRU و گیتهای آن توضیح خواهم داد. انشالله به زودی این پست آپدیت میشود…
ساختار داخلی شبکه GRU
مطالب زیر را حتما مطالعه کنید
یادگیری عمیق چیست
شبکه عصبی کانولوشن
آموزش matplotlib در پایتون
تشخیص اشیا
آموزش کتابخانه numpy در پایتون
شبکه عصبی موبایل نت
3 دیدگاه
به گفتگوی ما بپیوندید و دیدگاه خود را با ما در میان بگذارید.
و بالاخره GRU.
یادمه یه روزایی خیلی منتظر این پست بودم . میدونستم مثل بقیه مقاله هاتون عالی در میاد. بخاطر پایان نامم به شدت به GRU نیاز داشتم. والبته با وکمک خودتون این نیاز براورده شد و GRu رو پیاده سازی کردم. با اینکه الان دفاع کردم ولی کماکان مشتاقم ادامه پست رو بخونم.😄 امیدوارم به زودی منتشر بشه
سلام منم الان واقعا به توضیحات GRU نیاز دارم میشه کمکم کنید؟
سلام
در دوره یادگیری عمیق 2022، درمورد GRU توضیح داده شده. لینک دوره:
https://howsam.org/downloads/deep-learning-2022/