دقت مدل تخمین قیمت را چطور بسنجیم؟

ادعای «دقت ۹۵ درصد» بدون توضیح روش سنجش، بی‌معناست. برای اینکه بدانید یک سامانه تخمین چقدر قابل اتکاست، باید بدانید دقت را چطور می‌سنجند.

خطای درصدی مطلق

رایج‌ترین معیار، میانگین خطای درصدی است: اگر مدل ۵ میلیارد بگوید و ملک ۵٫۵ میلیارد معامله شود، خطا ۱۰ درصد است. میانگین این خطا روی هزاران نمونه، تصویر خوبی از عملکرد مدل می‌دهد.

سهم پیش‌بینی‌های نزدیک

معیار کاربردی‌تر این است: «چند درصد از تخمین‌ها خطای کمتر از ۱۰ درصد داشته‌اند؟» این عدد از میانگین خطا گویاتر است، چون میانگین را چند خطای بزرگ می‌تواند خراب کند.

آزمون روی داده دیده‌نشده

سنجش دقت باید روی داده‌هایی انجام شود که مدل هرگز در آموزش ندیده است. سنجش روی همان داده آموزشی مثل این است که سؤالات امتحان را از قبل به دانش‌آموز داده باشیم.

آزمون در گذر زمان

روش دقیق‌تر، آموزش مدل با داده تا یک تاریخ مشخص و آزمودن آن روی معاملات بعد از آن تاریخ است. این کار شرایط واقعی را شبیه‌سازی می‌کند، چون مدل در عمل همیشه درباره آینده حرف می‌زند.

چه خطایی قابل قبول است؟

در بازار ملک، خطای ۵ تا ۱۰ درصد عملکرد خوبی محسوب می‌شود. توقع خطای نزدیک به صفر واقع‌بینانه نیست، چون بخشی از قیمت به عواملی بستگی دارد که در هیچ داده‌ای ثبت نمی‌شوند: سلیقه خریدار، عجله فروشنده و کیفیت بازسازی.