هایپرپارامتر چیست ؟

هایپرپارامتر چیست ؟ در این متن کوتاه میخواهیم مفهوم هایپرپارامتر  را در یادگیری ماشین، بررسی کنیم. با هوسم همراه باشید…

در یادگیری ماشین، هایپرپارامتر به پارامتری گفته می‌شود که مقدار آن، قبل از آغازِ فرآیند یادگیری، تعیین می‌شود. برخلاف دیگر پارامترهای مدل، که حین فرآیند یادگیری تعیین می‌شوند. در یادگیری عمیق، هایپرپارامتر‌ها شامل متغیرهایی هستند که برای تنظیم شبکه عصبی استفاده می‌شوند، مانند رگولاریزاسیون و نرخ یادگیری (learning rate).

الگوریتم‌های یادگیری مختلف، هایپرپارامتر‌های متفاوتی دارند و الگوریتم‌های ساده‌تر، مانند ordinary least squares، هیچ هایپرپارامتری ندارند.

از آنجایی که تنظیم هایپرپارامتر‌‌‌ها می‌تواند چالش برانگیز باشد، کتابخانه‌هایی مخصوصِ تنظیم هایپرپارامترها وجود دارد. به عنوان مثال، Arbiter، کتابخانه‌ای است که برای تنظیم بهینه هایپرپارامتر‌های شبکه‌های عصبی استفاده می‌شود.