در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم. یکی از مهم‌ترین قدم‌ها پس از طراحی و ساخت یک مدل، ارزیابی کارآیی (performance) آن است. در ادامه با تکنیک‌هایی برای ارزیابی مدل آشنا می‌شویم. با هوسم همراه باشید.

ماتریس اختلاط (confusion matrix) .در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم.

انتخاب یک معیار برای کارآیی، به مسئله‌ای که سعی در حلِ آن داریم، وابسته است. فرض کنیم 100 نمونه داده در دسترس باشد. این داده‌ها تک‌تک به مدل داده شده و به ازای هرکدام، یک کلاس به عنوان خروجی دریافت شود. کلاسِ پیش‌بینی شده توسط مدل و کلاسِ واقعی داده‌ها را می‌توان در یک جدول نمایش داد. به این جدول، ماتریس اختلاط گفته می‌شود.

جدول بالا مدلی را تصویر می‌کند که دو خروجی دارد، یکی مثبت و دیگری منفی. این دو خروجی، در واقع کلاس هر نمونه را نشان می‌دهند. از آنجایی که تنها دو خروجی وجود دارد، مدل مربوط به این ماتریس اختلاط ، یک کلاسیفایر باینری نامیده می‌شود.

به منظور توصیف بهتر، ماتریس اختلاط را به صورت زیر در نظر می‌گیریم:

دقت (Accuracy).در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم.

به طور کلی، دقت به این معناست که مدل تا چه اندازه خروجی را درست پیش‌بینی می‌کند.

با نگاه کردن به دقت ، بلافاصله می‌توان دریافت که آیا مدل درست آموزش دیده است یا خیر و کارآیی آن به طور کلی چگونه است. اما این معیار اطلاعات جزئی در مورد کارآیی مدل ارائه نمی‌دهد.

صحت (Precision).در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم.

وقتی که مدل نتیجه را مثبت (positive) پیش‌بینی می‌کند، این نتیجه تا چه اندازه درست است؟

زمانی که ارزش false positives بالا باشد، معیار صحت، معیار مناسبی خواهد بود. فرض کنید، مدلی برای تشخیص سرطان داشته باشیم و این مدل Precision پایینی داشته باشد. نتیجه این امر این است که این مدل، بیماری بسیاری از افراد را به اشتباه سرطان تشخیص می‌دهد. نتیجه این امر استرس زیاد، آزمایش‌های فراوان و هزینه‌های گزافی را برای بیمار به دنبال خواهد داشت.

Recall.در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم.

زمانی که ارزش false negatives بالا باشد، معیار Recall، معیار مناسبی خواهد بود. فرض کنیم مدلی برای تشخیص بیماری کشنده ابولا داشته باشیم. اگر این مدل Recall پایینی داشته باشد چه اتفاقی خواهد افتاد؟ این مدل افراد زیادی که آلوده به این بیماری کشنده هستند را سالم در نظر می‌گیرد و این فاجعه است.

F1 Score.در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم.

معیار F1، یک معیار مناسب برای ارزیابی دقت یک آزمایش است. این معیار Precision و Recall را با هم در نظر می‌گیرد. معیار F1 در بهترین حالت، یک و در بدترین حالت صفر است.