مفهوم جمله you can overfit the cross-validation criterion...
you can overfit the cross-validation criterion as the model is tuned in ways that exploit this random variation rather than in ways that really do improve performance.
میشه مفهومش رو برام توضیح بدید؟
١ پاسخ
model یک برنامه کامپیوتری است که می تواند الگوها را در داده ها تشخیص دهد یا بر اساس الگوریتم یادگیری ماشینی پیش بینی کند.
cross-validation (اعتبارسنجی متقاطع) تکنیکی است که برای ارزیابی عملکرد یک model بر روی داده‌های دیده نشده با تقسیم داده‌ها به زیر مجموعه‌های متعدد و آزمایش مدل بر روی هر زیر مجموعه استفاده می‌شود.
criterion یک قاعده یا معیاری است که برای انتخاب یا مقایسه مدل ها بر اساس عملکرد یا دقت آنها استفاده می شود.
overfit وضعیتی است که در آن یک model به خوبی با داده های آموزشی مطابقت دارد، اما نمی تواند به داده های جدید تعمیم یابد و در نتیجه عملکرد ضعیف و پیش بینی های نادرست ایجاد می شود.
ترجمه
شما می توانید cross-validation criterion را بیش از حد تطبیق دهید، برازش دهید (overfit کنید ) زیرا model به گونه ای تنظیم شده است که از این تغییرات تصادفی استفاده می کند نه به روش هایی که واقعاً عملکرد را بهبود می بخشد.
یعنی می توانید برنامه کامپیوتری (model) را انتخاب کنید که به خوبی با داده های تکنیک اعتبارسنجی متقابل( cross-validation data) مطابقت داشته باشد. اما به خوبی به داده های جدید تعمیم نمی یابد.
اگر پارامترها یا ویژگی‌های برنامه کامپیوتری را بر اساس تفاوت‌های کوچک یا تصادفی در امتیازهای اعتبارسنجی متقاطع (cross-validation scores)تنظیم کنید، نه بر اساس تفاوت‌های معنادار یا ثابت که کیفیت واقعی برنامه (model) را منعکس می‌کند، این اتفاق می‌افتد.
به عنوان مثال، اگر از اعتبارسنجی متقاطع 10 برابری(10-fold cross-validation) برای مقایسه دو برنامه کامپیوتری A و B استفاده کنید و متوجه شوید که A میانگین امتیاز کمی بالاتر از B دارد، اما تفاوت از نظر آماری معنی‌دار نیست، نباید نتیجه بگیرید که A بهتر از B است.
با این حال، اگر A یا B را تا زمانی که برنامه کامپیتری را پیدا کنید که امتیاز قابل توجه بالاتری نسبت به برنامه دیگر دارد، ادامه دهید، ممکن است معیار اعتبار سنجی متقاطع را بیش از حد برازش(overfit) دهید، زیرا تغییر یا عدم قطعیت در مدل را در نظر نمی گیرید. نمرات اعتبار سنجی متقابل ممکن است در نهایت با برنامه ای (model) مواجه شوید که روی داده های اعتبارسنجی متقابل عملکرد خوبی دارد، اما در داده های جدید ضعیف عمل می کند، زیرا الگوها یا نویزهایی را یاد گرفته است که مختص داده های اعتبارسنجی متقابل هستند، اما به مشکل اساسی مربوط نمی شوند. به همین دلیل مهم است که از اعتبارسنجی متقاطع به عنوان یک راهنما استفاده کنید نه به عنوان یک هدف، و از انجام مقایسه یا تغییرات بیش از حد بر اساس امتیازات اعتبار متقابل پرهیز کنید
