LLM Research یا LLM Engineering؟ راهنمای یادگیری مدل‌های زبانی بزرگ

در چند سال اخیر، اصطلاح LLM یا Large Language Model به یکی از پرتکرارترین واژه‌ها در دنیای فناوری تبدیل شده است. از ChatGPT و Gemini گرفته تا مدل‌های متن‌باز مثل LLaMA و Mistral، همه‌جا صحبت از مدل‌هایی است که می‌توانند متن بفهمند، تولید کنند، استدلال کنند و حتی کدنویسی انجام دهند. اما وقتی افراد از من می‌پرسند «چگونه وارد حوزه LLM شوم؟»، اغلب یک ابهام در آنها می‌بینم: اینکه نمی‌دانند کار با LLM-ها فقط یک مسیر مشخص ندارد و به دو شاخه کاملا متفاوت تقسیم می‌شود. در این مقاله، چهارچوب و بخش‌بندی LLM-ها را توضیح می‌دهم. مطالعه این مطلب را به همه علاقه‌مندان هوش مصنوعی و مدل‌های زبانی بزرگ توصیه می‌کنم.

مدل زبانی بزرگ یا LLM

قصد ندارم، توضیح و مقدمه‌ای مفصل برای LLM-ها بنویسم. قبلا، در آموزش «LLM چیست؟» به‌صورت مفصل درباره LLM-ها توضیح داده‌ام. اینجا هدفم مقدمه‌ای مختصر قبل از ورود به مبحث اصلی این مقاله است. بیایید با یک تعریف خیلی ساده از مدل زبانی بزرگ یا LLM شروع کنیم.

مدل زبانی بزرگ (LLM) مدلی مبتنی بر یادگیری ماشین است که با دیدن حجم عظیمی از داده متنی یاد گرفته:

• زبان را در سطح آماری بفهمد،
• الگوهای زبانی را تشخیص دهد و
• بر اساس متن ورودی، خروجی متنی منسجم تولید کند.

LLM-ها تحولی اساسی در هوش مصنوعی و دنیای امروز ما پدید آورده‌اند. گل سرسبد دستاوردهای LLM-ها، چت‌بات‌ها بودند که شروع آن به نوامبر 2022 با معرفی ChatGPT برمی‌گردد. چت‌بات‌هایی که به‌سرعت به بخش جدایی‌ناپذیری از زندگی بسیاری از انسان‌ها تبدیل شدند. بسیاری از هوش مصنوعی و LLM-ها در سطح کاربری و عمومی استفاده می‌کنند. اما عده‌ای هم می‌خواهند LLM-ها را یاد بگیرند. سوال‌های اصلی این دسته افراد این است:

• ما با این مدل‌ها چه کارهایی می‌توانیم بکنیم؟
• چگونه می‌توانیم LLM را یاد بگیریم؟

به‌صورت کلی، فعالیت حرفه‌ای در دنیای LLM-ها را می‌توان به دو شاخه اصلی تقسیم کرد:

LLM Research و LLM Engineering

این دو شاخه اگرچه به‌شدت به هم وابسته‌اند، اما از نظر هدف، نوع کار، مهارت‌های لازم و حتی ذهنیتی که از فرد می‌خواهند، تفاوت‌های اساسی دارند.

در ادامه این مقاله، سعی می‌کنم مطالب زیر را به شکلی ساده و روان پوشش دهم:

• تعریف دو شاخه LLM Research و LLM Engineering
• در هر شاخه با چه مباحث و تکنولوژی‌هایی مواجه می‌شوید.
• نیازمندی‌های یادگیری هر مسیر را بررسی می‌کنم.
• در نهایت کمک می‌کنم که بتوانید آگاهانه تصمیم بگیرید کدام مسیر برای شما مناسب‌تر است.

LLM Research چیست؟

LLM Research به شاخه‌ای از کار با مدل‌های زبانی بزرگ گفته می‌شود که تمرکز آن بر فهم عمیق سازوکار درونی مدل‌ها و توسعه روش‌های جدید برای بهبود آن‌هاست. در این مسیر، هدف اصلی استفاده مستقیم از مدل‌های آماده مانند GPT و Llama برای حل یک مسئله کاربردی نیست؛ بلکه تلاش برای پاسخ دادن به سوال‌هایی بنیادی درباره خود مدل است؛ نوع سوال‌هایی که یک LLM Researcher با آن‌ها درگیر است:

• چرا ترنسفورمرها این‌قدر خوب جواب می‌دهند؟
• آیا معماری بهتری از ترنسفورمر وجود دارد؟
• چه ایده‌هایی در معماری DeepSeek یا GPT-OSS مطرح شده است؟
• چطور می‌توان مدل را با داده کمتر آموزش داد؟
• آیا می‌توان با سخت‌افزار کمتر، مدل بهتری آموزش داد؟
• چرا مدل‌ها دچار توهم (hallucination) می‌شوند؟
• چگونه می‌توان استدلال چندمرحله‌ای را بهبود داد؟

اگر این سوال‌ها برایتان جذاب است، ذهن شما به سمت ریسرچ متمایل است.

نیازمندی‌های ورود به LLM Research

صادقانه بگویم، این مسیر سنگین و آکادمیک‌ است. برای موفقیت در این شاخه معمولا به فاکتورهای زیر نیاز دارید:

• درک ریاضی و آمار خوب
• تسلط به کدنویسی (درحال حاضر پایتون و فریمورک‌هایی مانند پایتورچ و هاگینگ‌فیس)
• تسلط خوب به یادگیری ماشین و یادگیری عمیق
• تجربه خواندن و فهمیدن مقالات علمی
• صبر و علاقه به کارهای طولانی‌مدت و مبهم

بسیاری از افراد در این مسیر، تحصیلات کارشناسی ارشد یا دکترا در رشته‌های مرتبط با هوش مصنوعی دارند. حوزه فعالیت افراد متخصص این حوزه، معمولا در دانشگاه‌ها یا تیم‌های تحقیقاتی شرکت‌های بزرگ (OpenAI ،DeepMind ،Meta AI و غیره) است. بنابراین، اگر فقط به این حوزه علاقه دارید، احتمال کمی وجود دارد که در ایران بتوانید شغل مناسبی پیدا کنید.

تکنولوژی‌های LLM Research

در حال حاضر، در LLM Research بیشتر با مفاهیم و مباحث زیر سروکار دارید:

• معماری مدل‌ها مانند ترنسفورمر، مکانیزم اتنشن، انواع مدل‌ها و غیره
• یادگیری عمیق پیشرفته مانند بهینه‌سازی و تابع اتلاف
• جبرخطی، حساب، احتمال و آمار
• آموزش مدل‌ها در مقیاس بزرگ
• تحلیل رفتار مدل (Interpretability)
• ایمنی و هم‌راستاسازی (Alignment) مانند Constitutional AI ،RLHF و غیره

LLM Engineering چیست؟

LLM Engineering شاخه‌ای از دنیای LLM-هاست که تمرکز آن بر ساخت سیستم‌ها، محصولات و راه‌حل‌های واقعی با استفاده از مدل‌های زبانی موجود/آماده است. در این مسیر، فرض بر این است که مدل‌های قدرتمند از قبل وجود دارند و مسئله اصلی این است که چطور آن‌ها را به‌درستی در یک نرم‌افزار یا سرویس به کار بگیریم تا برای کاربر نهایی مفید، قابل اعتماد و مقرون‌به‌صرفه باشند. به همین دلیل، LLM Engineering امروز یکی از سریع‌ترین مسیرهای ورود به بازار کار مرتبط با هوش مصنوعی محسوب می‌شود.

نوع مسئله‌هایی که یک LLM Engineer با آن مواجه است:

• ساخت چت‌بات سازمانی
• طراحی سیستم RAG برای اسناد داخلی
• اتصال LLM به دیتابیس و API
• ساخت Agent هوشمند
• کاهش هزینه inference
• مانیتورینگ خروجی مدل در دنیای واقعی
• کنترل hallucination در محصول

نیازمندی‌های ورود به LLM Engineering

این مسیر سریع‌تر و بازارمحورتر است. برای موفقیت در این شاخه معمولا به فاکتورهای زیر نیاز دارید:

• تسلط بر برنامه‌نویسی (ممکن هست بیشتر از پایتون نیاز باشد)
• درک کلی از ML و معماری LLM-ها (نه لزوما عمیق)
• آشنایی با وب و API
• تفکر مهندسی نرم‌افزار و حل مسئله
• تجربه ساخت و تست سیستم

خیلی از افراد بدون پیش‌زمینه آکادمیک سنگین، وارد این مسیر می‌شوند و موفق هم هستند. بسیاری از شرکت‌ها، نیروهایی در شاخه LLM Engineering نیاز دارند. بنابراین، اگر شما به شاخه مهندسی علاقه‌مند هستید، می‌توانید روی بازارکار داخل کشور هم حساب کنید.

تکنولوژی‌های LLM Engineering

در حال حاضر، در شاخه LLM Engineering مباحث و تکنولوژی‌های زیر مطرح است:

• استفاده از API مدل‌ها مانند Azure/AWS ،OpenAI API و غیره
• مهندسی پرامپت (Prompt Engineering)
• سیستم RAG یا Retrieval-Augmented Generation
• وکتور دیتابیس‌ها (Vector Databases) مانند Pinecone ،Chroma ،FAISS و غیره
• فریمورک‌های LLM مانند LlamaIndex ،LangChain و غیره
• استقرار (Deployment) مانند Cloud services ،Docker و غیره
• ارزیابی و نگه‌داری (Monitoring و Evaluation)
• بهینه‌سازی هزینه (Cost optimization)

LLM Engineering یا LLM Research؟

مسلما من نمی‌خواهم به شما بگویم که کدام شاخه را انتخاب کنید. هدفم در این مقاله این بود که شما به سطحی برسید که شخصا بتوانید شاخه مناسب شرایط خود را انتخاب کنید. اما، توصیه‌هایی کلی دارم که توجه کردن به آنها می‌تواند کمک‌کننده باشد:

• لازم نیست، دنبال آموزشی باشید که همه مباحث حوزه LLM Research یا LLM Engineering را پوشش دهد. باید به‌صورت پلکانی دانش و مهارت خود را ارتقا دهید.
• حوزه LLM، به سرعت درحال رشد است. بنابراین، دائما یکسری از مباحث و تکنولوژی‌ها قدیمی و منسوخ و تکنولوژی‌های جدیدی وارد می‌شوند. باید خود را بروز نگه دارید.
• اگر صبور هستید، عاشق چرایی، عمق، تئوری و کشف هستید، LLM Research برای شما مناسب هست.
• اگر عاشق ساختن، پیاده‌سازی و دیدن خروجی واقعی هستید، LLM Engineering برای شما مناسب هست.
• اگر دنبال ادامه تحصیل در ایران یا خارج از کشور هستید، LLM Research مناسب‌تر است.
• اگر دنبال شغل (حتی در ایران) هستید، LLM Engineering مناسب‌تر است.
• امکان این وجود دارد که مباحث هر دو شاخه را دنبال کنید. اما بهتر است، از شاخه‌ای شروع کنید که پیش‌نیازهایش را دارید یا به آن نزدیک‌تر هستید.

دنیای LLM-ها فقط یک مسیر مشخص ندارد و ورود موفق به آن، بیش از هر چیز به شناخت درست این مسیرها بستگی دارد. LLM Research و LLM Engineering دو نگاه متفاوت به یک فناوری واحد هستند؛ یکی با تمرکز بر فهم و توسعه مدل‌ها، و دیگری با تمرکز بر ساخت و کاربرد. اگر بدانید به کدام نوع مسئله علاقه‌مندید، انتخاب مسیر درست بسیار ساده‌تر خواهد شد. لطفا نظرتان، چالش‌ها و پیشنهادها، دغدغه‌های خود را با من به اشتراک بگذارید. خلاصه‌ای از مطالب این آموزش را با جمنای برای شما ساختم تا مرور کنید.