شبکه عصبی GRU

به‌نام خدا، سلام… در این پست می‌خواهم درباره شبکه عصبی GRU صحبت کنم. شبکه عصبی GRU یک شبکه بازگشتی است که از دو شبکه عصبی RNN و LSTM جدیدتر هست. نسبتا محبوب هم هست. برای آشنایی با ساختار این شبکه با آکادمی هوش مصنوعی هوسم همراه باشید…

آشنایی با شبکه عصبی GRU

شبکه GRU در سال 2014 توسط Kyunghyun Cho و همکارانش ارائه شد. لازم به ذکر هست که همکارانش آدم‌های بزرگی بودند. 😅 آقای Bengio یکی از بزرگان هوش مصنوعی که در این مقاله نامشون هست. حتما نام ایشون رو در اینترنت سرچ کنید و باهاشون آشنا بشید.

شبکه عصبی GRU شبکه‌ای از جنس خانواده شبکه بازگشتی هست که البته محبوبیت و کارآیی بالایی دارد. اگر آموزش شبکه عصبی LSTM را مطالعه کرده باشید، می‌دانید که LSTM یک شبکه بازگشتی مبتنی بر گیت هست. ساختار شبکه عصبی GRU هم مبتنی بر گیت هست. اتفاقا از اسم این شبکه هم مشخص است که یک شبکه گیتی هست: Gated Recurrent Network حتما الان میگید اون که یه نیسان گیت داشت، احتمالا این یه کامیون گیت داره! 😫 اتفاقا نه!

شبکه عصبی GRU ساده شده شبکه LSTM

بله، GRU ساده‌تر است و پارامترها و گیت‌های کمتری دارد. در شبکه عصبی LSTM سه گیتِ ورودی، خروجی و فراموشی وجود دارد. اما شبکه عصبی GRU از دو گیتِ ریست و آپدیت تشکیل شده است. پس از همین جا خاطرتان باشد:

شبکه GRU دارای دو گیت ریست و آپدیت

البته، تحقیقات مختلف و آماروارقام نشان می‌دهد که عملکرد شبکه LSTM نسبت به GRU بهتر هست. اما این‌طور برداشت نکنید که در همه تسک‌ها برتری دارد و به کل GRU را کنار بگذارید. شبکه GRU قدرتمند است و کاربرد هم دارد. بسیارخب، مقدمات کافی است. کم کم گرم کنیم برای بخش‌های جدی‌تر شبکه GRU! 😬

ورودی و خروجی در شبکه عصبی GRU

ابتدا بیایید همچون گذشته نگاهی به ورودی و خروجی در GRU و مقایسه آن با LSTM و RNN بپردازیم. واضح است که این شبکه از لحاظ ورودی-خروجی به شبکه RNN شبیه هست. یعنی، همانند LSTM خبری از Cell State نیست! حال این سوال‌ها پیش می‌آید:

• اگر Cell State نداریم، یعنی حافظه بلندمدت هم نداریم؟!
• یعنی فراموشی در دنباله طولانی بازهم اتفاق خواهد افتاد؟!
• قابلیت ذخیره در Cell State یا حذف اطلاعاتی از آن، ایده کلیدی در LSTM بود. اینها را در GRU نداریم؟!

عجیب است! حافظه بلندمدت واقعا خوب بود، نه؟ جواب سوالات بالا این است که ما بازهم حفظ اطلاعات برای طولانی‌مدت و حذف اطلاعات را در شبکه GRU داریم. اما همه این کارها با دو گیت آپدیت و ریست انجام می‌شود.

درادامه، درباره ساختار داخلی شبکه GRU و گیت‌های آن توضیح خواهم داد. انشالله به زودی این پست آپدیت می‌شود…

ساختار داخلی شبکه GRU