حالت مطالعه
ساختار ChatGPT از صفر با پایتورچ
برای ساختن یک LLM با کارکردی مشابه با ChatGPT (به دستورات کاربر پاسخ دهد)، باید سه گام اساسی را در این دوره پشت سر بگذاریم:
- ابتدا، با استفاده از پایتورچ، یک مدل مبتنی بر شبکه ترنسفورمر از صفر پیاده‌سازی می‌کنیم. سپس، آن را روی یک مجموعه داده آموزشی بزرگ به‌صورت خودناظر (Self-supervised) آموزش می‌دهیم. این مرحله منجر به تولید یک مدل پایه (Foundation Model) می‌شود. این مدل می‌تواند کلمه بعدی در یک عبارت/جمله را پیش‌بینی کند. به بیان ساده‌تر، مدل آموزش‌دیده جمله‌سازی را یاد گرفته است. اما این تنها آغاز ماجراست!
- در گام دوم، وارد فرآیند Instruction-tuning می‌شویم؛ از نام این مرحله نترسید! همان فاین-تیون کردن مدل هست که احتمالا با آن آشنا هستید. این مرحله به مدل آموزش می‌دهد که جواب مناسبی به دستورات کاربر ارائه دهد.
- در نهایت، گام Preference-tuning را خواهیم داشت. این مرحله هم همان فاین-تیون کردن مدل است! می‌خواهیم مدل را براساس ترجیحات انسانی تنظیم کنیم. برای تنظیم یا فاین-تیون مدل در این گام باید از یادگیری تقویتی کمک بگیریم. طبیعتا مرحله جذابی است!
شکل زیر به خوبی سه گام مهم در ساخت یک مدل مشابه ChatGPT را به تصویر کشیده است:
✅ بخش اول: معرفی
✅ بخش دوم: مفاهیم پایه NLP
مفاهیم پایه NLP (مانند توکنایزیشن، وکب و غیره)
✅ بخش سوم: پیاده‌سازی شبکه GPT-2
ساخت مدل از صفر با پایتورچ
✅ بخش چهارم: آموزش شبکه GPT-2
مفاهیم پایه NLP (مانند توکنایزیشن، وکب و غیره)
✅ بخش پنجم: فاین-تیون اول (Instruction-tuning)
فاین-تیون اول روی مدل آموزش‌دیده (Pretrained)
✅ بخش ششم: فاین-تیون دوم (Preference-tuning)
فاین-تیون دوم روی مدل قبلی
✅ بخش هفتم: تست و ارزیابی مدل نهایی
استفاده از مدل نهایی و ارزیابی عملکرد آن
✅ بخش هشتم: تبدیل GPT-2 به Llama 3 (برای ثبت‌نامی بیش از 200 نفر)
بروز کردن ساختار مدل LLM
✅ بخش نهم: فاین-تیون پارامتر-بهینه با تکنیک LoRA (برای ثبت‌نامی بیش از 250 نفر)
پیاده‌سازی تکنیک LoRA برای فاین-تیون مدل با تعداد پارامترهای کم
✅ بخش دهم: آموزش مدل روی سخت‌افزار Multi-GPU (برای ثبت‌نامی بیش از 300 نفر)
اجاره سرور Multi-GPU و آموزش مدل LLM
✅ بخش یازدهم: بهبود مدل با ایده‌های مدرن (2025) (برای ثبت‌نامی بیش از 400 نفر)
اجرای نوآوری‌های جدید روی مدل برای بهبود دقت و سرعت
| آفلاین (ضبط استودیویی) | |
| پیش‌نیاز دوره | پایتون و یادگیری عمیق |
| روش دریافت | اسپات‌پلیر |
| گروه پشتیبانی | ندارد |
| مدت‌زمان دوره | حدودا 15 ساعت |
| زمان انتشار دوره | هفته دوم فروردین (انتشار روزانه) |
نحوه دسترسی به دوره آموزشی؟
آموزش بر بستر نرم‌افزار spotplayer در اختیار شما قرار می‌گیرد.
آیا می‌توان این دوره را اشتراکی تهیه کرد؟
مجموعه هوسم از تهیه اشتراکی دوره‌ها راضی نیست.
آیا می‌توانم بعد اینکه دوره را دیدم، این دوره را بفروشم؟
خیر!
نظرات
قیمت :
قیمت اصلی 1,900,000 تومان بود.1,500,000 تومانقیمت فعلی 1,500,000 تومان است.
سیدسجاد اشرفی
موسس و مدرس آکادمی هوسم
دسته: دوره‌های پیشرفته
عرفان
سلام، با تشکر از این که با توجه به نیاز روز دارین پیش میرین و این زحمت این دوره و بالاتر بردن سطح جویندگان علم رو تکنولوژی رو در این مرز و بوم دارید. خیلی دوست داشتم بدونم از چه داده‌هایی استفاده میکنید (آیا فارسی هستن؟) و چقدر پیش‌نیازها پردازش زبان رو توی این دوره پوشش میدید
هوسم
سلام
ممنون، نظر شما باعث خوشحالی و افتخار هست.
ما از یک دیتاست انگلیسی باکیفیت استفاده می‌کنیم. اما، برای دیتاست فارسی هم برنامه جالبی داریم! 😉
ما فرض رو بر این گذاشتیم که افراد آشنایی کمی با مفاهیم و مباحث NLP دارن. در حد نیاز رو خودمون میگیم.
عرفان
چقدر توی پیامم غلط املایی دارم 😅😑منتظر سورپرایز شما هستیم. 🙏
بی نام
فکر کنم slm می‌سازین درسته؟
LLM ها خیلی سخت افزار های قدرتمندی می‌خوان و قاعدتا با سیستم شخصی به سختی ران میشن، چه برسه یه نفر یا دو نفر دیگه هم بخوان ازش استفاده کنن! با کمال احترام شاید استفاده از کلمه ی LLM برای این دوره مناسب نباشه. یا اگر چیزی هست که بنده نمیدونم، خوشحال میشم که راهنمایی بفرمایید.
هوسم
سلام
این دوره طوری طراحی شده که بشه مدل رو روی سخت‌افزارهای معمولی مثل Google Colab اجرا کرد. البته، یک بخش جداگانه برای آموزش روی سخت‌افزار Multi-GPU هم در نظر گرفتیم، که در صورت فراهم بودن شرایط و مشارکت بالا، ضبط خواهد شد. علاقه‌مندیم که سایز مدل و داده رو در بخش سخت‌افزار Multi-GPU بزرگ کنیم، اما خب شامل صرف هزینه قابل توجه هست.
چند نکته در مورد بحث SLM و LLM:
* SLMها زیرمجموعه LLMها هستن و تفاوت اونها در معماری مدل نیست، بلکه بیشتر به مقیاس و میزان پارامترها مربوط میشه. بنابراین، استفاده از اصطلاح LLM برای این دوره اشتباه نیست.
* مرز مشخص و دقیقی بین SLM و LLM وجود نداره. برای مثال، این منبع مدل‌های زیر ۵ میلیارد پارامتر رو SLM در نظر میگیره، اما مدل LLaMA 7B هم در برخی مقالات به عنوان SLM معرفی شده. در نتیجه، این دسته‌بندی‌ها انعطاف‌پذیر هستن.
* منابع آموزشی متعددی با رویکردی مشابه این دوره، از اصطلاح LLM استفاده کردن. یکی از نمونه‌های شناخته‌شده، کتاب Build a Large Language Model (From Scratch) نوشته Sebastian Raschka هست که در اون یک مدل GPT-2 Small (حدود ۱۰۰ میلیون پارامتر) پیاده‌سازی شده، اما عنوان کتاب همچنان LLM هست. موارد مشابه بسیار زیاده.
در نهایت، مهم‌تر از نام‌گذاری، یادگیری اصول و روش‌های ساخت و آموزش یک مدل زبانی هست. این دوره روی درک عمیق معماری و فرایندهای لازم برای ساخت یک مدل زبان متمرکز هست تا دانشجوهای دوره بتونن در عمل چنین مدلی رو پیاده‌سازی کنن.
عماد
سلام و درود
میشه حداقل سیستم آموزش این مدل رو بگید؟
آیا با نسخه رایگان کولب قابل اجراست یا به کامپیوتر شخصی قدرتمند نیاز دارد؟
هوسم
سلام
اصل دوره که ساخت، آموزش و فاین-تیون LLM هست، با کولب یا سیستم با GPU متوسط قابل اجراست.
ممکن هست مطالبی مثل سرور مولتی GPU هم گفته بشه که حتی اگر مخاطب‌ها نخوان این کار رو انجام بدن، اما دیدن اونها آموزنده و مفید هست. هرچند میشه با هزینه کمی می‌تونید این کارها رو هم انجام بدید. البته، بخش مولتی GPU وابسته به میزان استقبال از دوره هست.
hossein_naderpour( دانشجوی دوره )
“خیلی هیجان‌زده‌ام برای این دوره! 🔥 به نظرم اگه مباحثی مثل RAG, Mixture of Experts (MoE), Chain of Thought (CoT), Multi-Modal Learning, FlashAttention، و ROPE (Rotary Position Embedding) هم پوشش داده بشه، مدل‌هایی که می‌سازیم خیلی نزدیک‌تر به LLMهای مدرن باشه. مطمئناً اضافه شدن این بخش‌ها نه‌تنها کیفیت علمی دوره را بالاتر می‌برد، بلکه به شرکت‌کنندگان این امکان را می‌دهد که بعد از اتمام دوره، به‌جای آشنایی با یک مدل قدیمی، واقعاً روی ساخت LLMهای نسل جدید مسلط شوند. قطعاً این دوره می‌تونه یه مرجع بی‌نظیر برای یادگیری LLMها باشه! 🙌🔥”
hoyannna( دانشجوی دوره )
دوره‌تون خیلی کاربردیه! اگه بخش‌هایی درباره ساخت LLM مولتی‌مودال هم اضافه کنید (مثل پردازش تصویر و صوت در کنار متن)، دیگه یه آموزش بی‌نظیر و همه‌جانبه میشه! ما که حسابی خوشحال می‌شیم!