Если из ста событий случилось только одно, ответ «НЕТ» окажется верным 99 раз. Прогноз, который присвоил всем событиям вероятность ровно ноль, получит оценку Брайера 0,0100. На шкале от нуля до единицы число выглядит небольшим. Для его оценки нужны частота события и результат простого прогноза, который одинаково относится ко всем случаям. Сравним этот ответ с постоянной вероятностью 1%.
Оставим исходы прежними и поменяем вероятности
Возьмём сто вымышленных контрактов. Ровно один закрывается с исходом «ДА», остальные 99 с исходом «НЕТ». Это учебная таблица с заданными ответами. Она не содержит истории торгов и не измеряет частоту редких событий на какой-либо площадке. В каждой строке оцениваются те же сто исходов. Для упражнения мы заранее выбрали базовый прогноз 1%. В реальной проверке такая вероятность должна быть доступна до того, как стали известны исходы.
Пусть p обозначает вероятность «ДА», а y равен единице для «ДА» и нулю для «НЕТ». Штраф за прогноз составляет (p − y)². Оценка Брайера получается усреднением штрафов по всем ста контрактам. При нулевой вероятности единственный ответ «ДА» даёт единицу штрафа, а все ответы «НЕТ» дают ноль. При вероятности 1% штраф за «ДА» составляет 0,9801, а за каждый ответ «НЕТ» 0,0001. После сложения и деления на сто выходит 0,0099. Если нужен только бинарный ответ при пороге 50%, оба прогноза дадут одинаковый выбор. Их вероятностные оценки уже различаются.
| Постоянная вероятность «ДА» | Оценка Брайера | Skill относительно 1% |
|---|---|---|
| 0% | 0,0100 | −0,0101 |
| 1% | 0,0099 | 0,0000 |
| 10% | 0,0180 | −0,8182 |
| 50% | 0,2500 | −24,2525 |
В строке с вероятностью 10% хорошо видно, почему важно учитывать и отрицательные исходы. Штраф за единственное «ДА» снизился до 0,81. Зато каждый из 99 ответов «НЕТ» теперь даёт по 0,01. Сумма равна 1,80, среднее 0,0180. Постоянный прогноз 50% набирает по 0,25 в каждом случае. Если сравнивать все варианты только с ним, любая из трёх малых вероятностей будет выглядеть сильной. Для такой выборки это слишком лёгкий ориентир.
Сравним модель и базу по одним и тем же строкам
Brier skill score равен единице минус отношение оценки модели к оценке базового прогноза. У обоих прогнозов должны совпадать исходы, веса и момент, на который фиксировалась вероятность. При базовой оценке 0,0099 постоянное «НЕТ» с результатом 0,0100 получает примерно −0,0101 по шкале skill score. Прогноз 10% получает примерно −0,8182. Ноль соответствует равенству с выбранной базой. Единица получается у идеального прогноза при положительном базовом штрафе. Отрицательное значение показывает, что средняя квадратичная ошибка модели выше ошибки базы.
Разница 0,0001 между двумя нижними результатами заметна относительно маленького базового штрафа. Поэтому относительный показатель иногда выглядит резко, хотя абсолютная разница мала. Я бы всегда показывал исходные оценки и число случаев рядом со skill score. Без названия базы и знаменателя читатель не увидит, с чем именно сравнивали модель. Если на оцениваемом наборе базовый штраф равен нулю, отношение не определено. Две исходные оценки всё ещё можно привести.
Определим, что было известно базе заранее
Допустим, проект собирает вопросы о погоде, победителях турниров и сроках наступления событий. Одна частота на весь набор может скрыть различия в отборе контрактов. Базовый прогноз должен рассчитываться без доступа к будущим расчётам. Для начала можно взять историческую частоту в сопоставимых категориях и учитывать только случаи, которые были известны до даты прогноза. Правило группировки стоит зафиксировать заранее. Для категории с малым числом старых случаев полезно рядом показать общий ориентир и указать, насколько неустойчива частота по отдельной группе.
В нашей таблице одно «ДА» задано при построении. Если получить базовый прогноз из того же ключа ответов и назвать результат оценкой на независимых данных, проверка получится круговой. Для рабочей модели сохраните дату окончания обучения и отдельное окно оценки. Фиксируйте одну вероятность для каждого контракта на одинаковом горизонте. Например, можно заранее выбрать снимок за сутки до опубликованного срока, если такой снимок есть. Модель и база используют одно правило времени. Исключение неудобной строки после расчёта меняет набор случаев и саму оценку.
Покажем знаменатель и состав выборки
В оценку входят контракты с известным бинарным исходом по заранее описанному правилу. Задайте порядок обработки отмен, возвратов и отсутствующих снимков до расчёта. У отменённого контракта нет основания автоматически считать исход отрицательным. Если несколько десятков вопросов зависят от одних выборов, одного матча или одного выпуска статистики, опишите эту связь. Сто контрактов об одном событии дают меньше независимой информации, чем можно заключить по числу строк. При достаточном количестве случаев полезно показать результат по группам событий.
При сопоставлении разных периодов или продуктов добавляется ещё одна трудность. В условном наборе с двадцатью исходами «ДА» из ста постоянный прогноз 20% даёт оценку 0,16. В наборе с одним положительным случаем прогноз 1% даёт 0,0099. Ни один из постоянных прогнозов не ранжирует случаи внутри своего набора. Разница связана с частотой событий. Если есть возможность, сравнивайте модели на одних строках. Для разных наборов отдельно укажите состав, базовые прогнозы и изменения охвата. Иначе цифры из двух отчётов легко принять за оценку одного и того же качества.
Проверим отдельное окно без положительных исходов
Представим, что в следующем окне нет ни одного ответа «ДА». Если оно соответствует исходному правилу отбора, оставьте его в отчёте. Постоянный ноль на таком наборе получит нулевой штраф, а постоянный прогноз 1% получит 0,0001. Этот итог характеризует только выбранное окно. Способность прогнозировать положительные случаи по нему оценить нельзя. Покажите число строк и отсутствие положительного класса рядом с оценкой. Следующий период с известным числом ответов «ДА» интерпретировать проще, чем среднюю оценку по нескольким окнам с неизвестным составом.
Если собираете общий отчёт из окон разного размера, уточните, что означает среднее. Можно придать одинаковый вес каждому контракту, а можно одинаково учитывать каждый месяц. При ста строках в одном месяце и десяти в другом эти способы дадут разный ответ. Первый отражает ошибку на выбранном наборе контрактов. Второй отражает среднюю оценку месяца. Для сравнения модели с базой применяйте тот же вес в числителе и знаменателе. Иначе часть разницы возникнет только из способа агрегации.
Полезно сохранить несколько строк вокруг момента, когда вероятность была зафиксирована. Проверьте, что в расчёт попал именно заранее установленный снимок, даже если более поздняя цена лучше согласуется с исходом. Если источник обновляет историю или удаляет отменённые контракты, сохраните дату выгрузки и отдельный список исключений. После обновления сравните состав выборки до сравнения оценок.
Сохраним запись, которую можно пересчитать
Минимальная строка содержит идентификатор контракта, время прогноза, вероятность модели, вероятность базы и исход. Добавьте причину включения и вес, если они отличаются между строками. До округления пересчитайте суммы отдельно для ответов «ДА» и «НЕТ» и убедитесь, что оба метода получили один набор. Единственный редкий положительный исход может определять почти весь результат короткого периода. Числитель, знаменатель и количество событий делают эту чувствительность видимой.
В упражнении базовая вероятность 1% дала наименьшую ошибку среди четырёх постоянных прогнозов. Следующая проверка состоит в том, чтобы найти модель, которая повышает вероятности для части случаев и при этом уменьшает ошибку на всём наборе. Для этого нужны вероятности, сохранённые до расчёта контрактов, и достаточное число положительных исходов. Учебная таблица помогает проверить арифметику. Оценка качества прогноза начинается с записи, которую другой человек может воспроизвести на тех же строках.
