Uma previsão que diz “NÃO” em todas as ocasiões acerta 99 de 100 resultados binários quando apenas um evento acontece. Se ela atribuir probabilidade exatamente zero a todos os casos, o Brier score será 0,0100. Parece pouco numa escala que vai até um. A leitura muda quando se sabe a frequência do evento e quanto obteria uma previsão sem informação específica sobre cada caso. A comparação esclarecedora é com uma previsão que atribui 1% a todos os casos.
Mantenha os resultados e troque a previsão
Considere 100 contratos inventados. Exatamente um termina em SIM e os outros 99 terminam em NÃO. É uma planilha de exercício com gabarito. O conjunto não contém uma bolsa, um histórico de operações nem uma estimativa da incidência real de eventos raros. Em cada linha da tabela avaliamos os mesmos 100 resultados. A referência de 1% foi definida antes para este exercício. Numa avaliação real ela teria de estar disponível antes de se conhecerem os resultados.
Para uma probabilidade p de SIM e um resultado y, que vale um para SIM e zero para NÃO, a penalidade é (p − y)². Calculamos a média das penalidades dos 100 contratos. A previsão de zero custa um no único SIM e zero em todos os demais casos. Com 1%, o SIM custa 0,9801 e cada NÃO custa 0,0001. A soma produz uma média de 0,0099. As duas previsões podem tomar as mesmas decisões binárias com um limiar de 50% e ainda receber notas probabilísticas diferentes.
| Probabilidade fixa de SIM | Brier score | Skill frente a 1% |
|---|---|---|
| 0% | 0,0100 | −0,0101 |
| 1% | 0,0099 | 0,0000 |
| 10% | 0,0180 | −0,8182 |
| 50% | 0,2500 | −24,2525 |
A linha de 10% mostra uma troca que desaparece quando se fala apenas do único erro de classificação. Ela reduz a penalidade do SIM para 0,81. Em compensação, aumenta a penalidade de cada um dos 99 negativos para 0,01. O total é 1,80 e a média fica em 0,0180. A previsão constante de 50% paga 0,25 em cada caso. Tomar esse número como único parâmetro faria todas as previsões com probabilidades menores parecerem fortes. É uma referência fácil para esta composição de eventos.
Compare com a referência no mesmo conjunto
O Brier skill score vale um menos o score do modelo dividido pelo score da referência. Use os mesmos resultados, os mesmos pesos e o mesmo momento de corte das previsões. Comparada com 0,0099, a previsão sempre NÃO que obteve 0,0100 tem skill score de aproximadamente −0,0101. Para a previsão de 10%, o valor é aproximadamente −0,8182. Zero indica igualdade com a referência escolhida e um corresponde à previsão perfeita quando a referência é positiva. Um valor negativo indica mais erro quadrático que o da referência.
A distância de 0,0001 entre as duas menores linhas importa porque a referência também é pequena. Uma medida relativa pode parecer dramática quando uma categoria rara deixa pouca margem de melhora. Eu colocaria as notas brutas e o número de casos ao lado do skill score. O rótulo de desempenho negativo sem a referência e o denominador esconde a parte que o leitor precisa conferir. Se a referência tem erro zero no conjunto avaliado, a divisão fica indefinida. Ainda é possível publicar as duas notas brutas.
Defina o que a referência podia saber
Imagine um projeto que reúne perguntas sobre clima, vencedores de torneios e contratos com prazo. Colocar tudo na mesma taxa de base pode esconder diferenças importantes na seleção dos contratos. Escolha uma referência calculável sem acesso a liquidações futuras. Um ponto de partida é a frequência histórica em categorias comparáveis, usando apenas os casos encerrados e conhecidos antes da data de cada previsão. Fixe a regra de agrupamento e diga como trata uma categoria com poucos casos anteriores. Se a frequência por grupo for instável, vale mostrar também uma referência agregada.
Na planilha existe um SIM por construção. Estimar a referência pelo próprio gabarito e chamar a comparação de avaliação fora da amostra seria circular. Para avaliar um modelo real, guarde a data de corte do treino e a janela de teste. Registre uma probabilidade por contrato num horizonte fixo, como um registro obtido um dia antes de um prazo publicado, quando esse registro existir. Aplique a mesma regra de tempo ao modelo e à referência. Retirar uma previsão depois da liquidação porque seu preço ficou inconveniente altera o conjunto e o score.
Deixe o denominador à vista
Inclua somente contratos com resultado binário conhecido segundo a regra de avaliação escrita. Documente o tratamento de cancelamentos, anulações e registros ausentes antes do cálculo. Um contrato cancelado exige uma regra explícita. Registrá-lo como NÃO acrescentaria um desfecho que a pergunta nunca resolveu. Se muitas perguntas dependem da mesma eleição, partida ou divulgação econômica, descreva essa ligação. Cem contratos ligados ao mesmo acontecimento fornecem menos evidência independente do que a quantidade de linhas sugere. Mostre o resultado por grupo de eventos quando houver casos suficientes.
Surge outro problema ao comparar scores entre equipes, períodos ou áreas de produto. Num conjunto construído com 20 SIM em 100 casos, a previsão constante de 20% tem score de 0,16. No conjunto raro, a constante de 1% tem 0,0099. Nenhuma das constantes ordena os casos em seu conjunto. O score menor acompanha uma taxa de base diferente. Sempre que possível, compare dois modelos nas mesmas linhas. Se os conjuntos precisarem diferir, mostre a composição dos eventos e a referência de cada um, além de explicar qualquer mudança de cobertura.
Quando a janela não tem nenhum SIM
Mantenha a janela na avaliação se ela atende à regra de inclusão original. A previsão constante zero marca zero nesse intervalo, enquanto a constante de 1% marca 0,0001. Mostre o número de casos e a ausência da classe positiva. O resultado descreve como as previsões se saíram naquela janela. O desempenho nos casos positivos continua em aberto. Um segundo período com contagem conhecida de SIM é mais fácil de interpretar que uma média de janelas cuja composição foi omitida.
Registre o que outra pessoa pode conferir
O registro mínimo útil contém identificador do contrato, horário da previsão, probabilidade prevista, probabilidade de referência e resultado. Acrescente o motivo de inclusão e o peso quando puderem variar entre linhas. Antes de arredondar, reproduza separadamente os totais de SIM e NÃO e confirme que os dois métodos viram o mesmo conjunto. Um único SIM raro pode dominar um período curto. Numerador, denominador e contagem de eventos tornam isso visível imediatamente.
Neste exercício, a referência de 1% tem a menor nota entre as quatro constantes. O teste seguinte é verificar se uma previsão consegue aumentar a probabilidade de alguns casos sem aumentar o erro do conjunto inteiro. Isso exige previsões guardadas antes da liquidação e resultados positivos suficientes para avaliar a diferença. A tabela sintética resolve a aritmética. A evidência sobre a qualidade da previsão começa com um registro que outro leitor consegue pontuar novamente.
