Рассмотрим задачу классификации пациентов на здоровых и больных некой редкой болезнью “X”. Пусть у нас есть модель, которая предсказывает наличие болезни “X”.
Возьмем 1000 пациентов, из которых 10 заболели болезнью “X”, а 990 здоровы.
Модель может иметь хорошую чувствительность (sensitivity), то есть она может правильно определить больных пациентов с болезнью “X” с высокой вероятностью. Пусть в данном случае модель имеет чувствительность 90%, то есть она правильно идентифицирует 9 из 10 больных пациентов.
Также модель может иметь хорошую специфичность (specificity), то есть она правильно определит здоровых пациентов с высокой вероятностью. Пусть в данном случае модель имеет специфичность 99%, то есть она правильно идентифицирует 989 из 990 здоровых пациентов.
Однако, модель может иметь плохую точность (precision), то есть количество правильно определенных больных пациентов будет меньше, чем количество всего предсказанных больных пациентов. Пусть в данном случае модель имеет точность 40%. Это значит, что из 100 пациентов, которые модель предсказала как больных, только 40 действительно болеют болезнью “X”. То есть, модель ошибочно определяет 60% из всех предсказанных больных пациентов.
Таким образом, данная модель имеет хорошую чувствительность (9 из 10 больных пациентов определяются верно), хорошую специфичность (989 из 990 здоровых пациентов определяются верно), но плохую точность (только 40% из всех предсказанных больных действительно болеют болезнью “X”).