Metodologia
O objetivo deste exercício é descrever o comportamento das pesquisas eleitorais brasileiras em eleições presidenciais e estaduais, oferecendo múltiplas métricas para análise do desempenho de cada instituto nas últimas eleições brasileiras. As páginas de cada eleição apresentam essas métricas conforme foram calculadas dentro de cada ciclo eleitoral. Abaixo explicamos o significado das métricas e o que buscam medir.
Erro Ponderado (EP)
Há várias formas de medir o tamanho do erro de uma pesquisa eleitoral. No entanto, é preciso manter critérios razoáveis que levem em consideração o objetivo declarado das pesquisas. Estas são frequentemente comparadas por institutos a "fotografias" da opinião pública durante o seu período de campo, o que torna seu poder preditivo dependente das flutuações que ocorrem durante a campanha.
Nossa métrica principal é o Erro Ponderado (EP), que leva em consideração a última pesquisa publicada pelo instituto antes da eleição sob análise. Embora não seja uma correspondência perfeita, é a melhor aproximação possível entre a opinião pública manifestada nas urnas e aquela capturada por um instituto. As últimas pesquisas costumam ser publicadas na véspera da eleição, reduzindo a chance de mudanças significativas no eleitorado.
Após converter todos os números disponíveis para apresentar uma aproximação aos "votos válidos" (ou seja, eliminando votos brancos e nulos), critério utilizado pelo TSE para divulgar e referendar resultados eleitorais, calculamos as margens entre os pares dos principais candidatos (pelo menos 10% de votos válidos na eleição) em pontos percentuais e comparamos com as margens apresentadas pelas pesquisas.
Por exemplo, se o resultado oficial teve Candidato A com 40%, Candidato B com 30% e Candidato C com 15%, as margens entre os pares são de 10 e 15 pontos percentuais, respectivamente. Uma pesquisa que apresenta Candidato A = 42%, Candidato B = 28% e Candidato C = 13% acertou a margem entre B e C, mas errou a margem entre A e B por quatro pontos percentuais. Esses números são ponderados para atribuir mais peso a erros entre pares de candidatos em disputas mais acirradas, com maiores consequências narrativas.
Além disso, incluímos duas penalidades extras para institutos que superestimam ou subestimam a fatia do eleitorado que se concentrou em candidatos menores (abaixo de 10% dos votos válidos) e para pesquisas que estimam incorretamente o quão próximo um candidato chegou de vencer no primeiro turno (mais da metade dos votos válidos). Por exemplo, uma pesquisa que vê Candidato A com 53% dos votos caracteriza a eleição como provavelmente resolvida no primeiro turno; se o resultado final mostrar 45% para o Candidato A, a pesquisa superestimou a chance de vitória em primeiro turno e portanto é levemente penalizada. O mesmo se aplica se a pesquisa subestimou a chance de vitória em primeiro turno. A penalidade aumenta conforme o resultado oficial se aproxima de 50% para o candidato líder no primeiro turno.
Esse método busca dimensionar apropriadamente o erro das pesquisas sem exigir que acertem perfeitamente os percentuais de cada candidato; é importante acertar a magnitude das margens entre os principais candidatos, pois essa é a informação mais relevante para os partidos políticos e para o público em geral. Outras formas de calcular o erro tendem a superestimar a importância de erros em percentuais de candidaturas menores ou se concentrar indevidamente em acertos numéricos para um ou outro candidato.
Viés
No entanto, utilizar somente a última pesquisa limita a análise a uma pequena fatia da informação oferecida ao público pelos institutos. Desta forma, buscamos utilizar todas as pesquisas divulgadas em um ciclo para criar outras métricas. Enquanto o Erro Ponderado avalia o quão próximo o instituto chegou do resultado final, Viés mede a tendência de inflar ou reduzir o desempenho de um candidato específico ao longo de todo o ciclo da campanha.
É importante notar que Viés não significa manipulação. Diferentes metodologias de pesquisas eleitorais produzem resultados diferentes e alguns métodos tendem a capturar determinados candidatos mais do que outros. Nossa definição de Viés é matemática.
Para calcular essa métrica, escolhemos um candidato de referência e comparamos sua fatia de votos válidos em cada pesquisa do instituto com o percentual que efetivamente obteve na eleição. A média dessa diferença, ponderada para atribuir mais peso às pesquisas mais próximas da eleição, é o Viés do instituto naquele ciclo, expresso em pontos percentuais. Sinal positivo significa que o instituto, em média, mostrou o candidato de referência acima do resultado final; sinal negativo, abaixo. Calcular o viés sobre um único candidato — em vez de uma média sobre todos — é necessário porque os desvios em relação ao conjunto do campo sempre se anulam: se um candidato foi superestimado, outro foi necessariamente subestimado.
Por exemplo, se em determinada eleição o candidato de referência terminou com 35% dos votos válidos e o instituto, ao longo do ciclo, mostrou o candidato em média a 39%, o Viés do instituto será de +4 pontos percentuais. Se mostrou o candidato em média a 32%, o Viés será de −3.
A escolha do candidato de referência segue uma regra fixa, aplicada a todos os ciclos da mesma forma. O candidato do PT é a primeira opção sempre que sua fatia de votos válidos atinge o limite de elegibilidade (10%): o partido participou de todas as eleições presidenciais desde 1989, oferecendo um ponto de comparação consistente entre ciclos, além de ser o partido com identidade ideológica mais sólida entre os grandes partidos brasileiros. Quando o candidato do PT não atinge o limite, usamos como referência o candidato à reeleição ou o herdeiro político do governo em exercício, no caso de eleições para o executivo estadual. Quando nenhuma dessas opções está disponível, o ciclo aparece sem Viés calculado.
Ressaltando novamente: a medida de Viés não é necessariamente um julgamento negativo sobre o instituto. Pode refletir uma característica real da metodologia — por exemplo, um modo de amostragem que tende a alcançar uma faixa demográfica mais alinhada a um candidato — ou devido a uma escolha de não atualizar o modelo de ponderação durante a campanha. O importante é entender o que aquele número descreve: o quanto o instituto, ao longo do tempo, contou o candidato de referência acima ou abaixo do que o eleitorado efetivamente decidiu.
Candidaturas tardias
Em algumas eleições, candidatos relevantes aparecem apenas depois do início da campanha — Marina Silva em 2014, Fernando Haddad em 2018, etc. Pesquisas anteriores à entrada do candidato não fazem sentido como base para medir o Viés do instituto: o candidato simplesmente não existia como opção quando foram a campo.
Quando há uma candidatura tardia, aplicamos uma transição no cálculo do Viés. Pesquisas anteriores à entrada são ignoradas; pesquisas das duas semanas seguintes têm peso crescente (de zero a um) dando tempo aos institutos para incorporar a nova candidatura; após esse período, todas as pesquisas pesam normalmente. A transição se aplica apenas ao cálculo do Viés — as demais métricas não são afetadas.
Captura de Movimento (CM)
Erro Ponderado e Viés avaliam o instituto contra o resultado oficial. A Captura de Movimento (CM), ao contrário, descreve como o instituto retratou a dinâmica da campanha — como o eleitorado se movimentou e em que direção. A medida se divide em três componentes complementares; dois deles são computados em todas as eleições e são expressos em pontos percentuais por semana.
O primeiro componente, Direção, mede o sentido das mudanças nas margens entre pares de candidatos elegíveis ao longo das pesquisas do instituto. Sinal positivo demonstra que a direção predominante foi aumento das margens entre os candidatos de cima e os de baixo do resultado final do TSE; sinal negativo mostra o oposto. Combinada com o Erro Ponderado, a Direção mostra diferentes perfis de desempenho: um instituto com EP baixo e Direção positiva descreveu uma campanha cuja dinâmica se confirmou nas urnas; um instituto com EP baixo e Direção negativa acertou a leitura final, mas mostrou uma trajetória diferente do resultado final.
O segundo componente, Volatilidade, mede o tamanho médio das oscilações entre pesquisas consecutivas, sem sinal — independentemente da direção do movimento. Cada oscilação é corrigida pela incerteza estatística da pesquisa (que depende do tamanho da amostra), para que pequenas flutuações causadas por ruído estatístico não sejam contadas como movimento real. Um instituto cujas pesquisas mostraram grandes variações entre publicações terá Volatilidade alta; um que mostrou leituras estáveis terá Volatilidade baixa.
Ambos os componentes ponderam cada intervalo entre pesquisas pelo número de dias que cobre — intervalos longos pesam mais que intervalos curtos, refletindo o fato de que cobrem mais tempo da campanha e oferecem estimativas mais estáveis da taxa de mudança. São métricas descritivas, não avaliativas: o que esses números informam é a narrativa que o instituto contou durante a campanha — útil para identificar quem capturou movimentos que outros não capturaram, quem manteve uma leitura estável quando o resto do campo oscilava e quem desenhou uma curva que se confirmaria ou não nas urnas.
Sincronia
Sincronia é o terceiro componente da Captura de Movimento, analisando o quanto os movimentos identificados pelo instituto também foram identificados pelo restante das pesquisas. Em ciclos eleitorais densos — com vários institutos publicando regularmente — é possível comparar as variações de cada instituto com a média do campo.
A medida vai de 0 a 1. Um instituto que sempre se moveu na mesma direção que o conjunto, e em magnitude proporcional, recebe Sincronia próxima de 1. Um instituto que se moveu sem qualquer relação consistente com o conjunto recebe Sincronia próxima de 0,5. Um instituto que sistematicamente se moveu em direção oposta ao campo recebe Sincronia próxima de 0. A pontuação combina dois elementos: se a direção das mudanças coincidiu com a do campo (peso 2/3) e se a magnitude das mudanças foi proporcional à do campo (peso 1/3).
Para ser informativa, a métrica de Sincronia exige um número mínimo de institutos e pesquisas: no mínimo quatro institutos elegíveis e um total de vinte pesquisas no ciclo. Quando há menos pesquisas ou institutos, a Sincronia não é calculada. Isso ocorre na maioria dos ciclos estaduais, em que a densidade de pesquisas é menor.
Sincronia alta não significa necessariamente que o instituto acertou — significa que ele se moveu junto com a maioria. Da mesma forma, Sincronia baixa não significa erro — apenas que o instituto desenhou uma curva diferente do consenso. Combinada com o Erro Ponderado, a métrica de Sincronia permite distinguir entre quem divergiu do consenso e estava certo, quem divergiu e estava errado, quem seguiu o consenso e acertou e quem seguiu o consenso e errou junto com todo mundo.
Quem entra na avaliação
O universo de pesquisas que analisamos vem do agregador do Poder360, que compila pesquisas registradas no TSE e divulgadas publicamente desde os anos 1990. Os resultados oficiais usados como base de comparação vêm diretamente do TSE, na versão final consolidada após a apuração.
Para aparecer na tabela principal de uma eleição, institutos precisam cumprir dois critérios. Primeiro, ter publicado pelo menos duas pesquisas durante a campanha específica: a Captura de Movimento depende de pelo menos um intervalo entre pesquisas consecutivas para ter algo a medir. Segundo, ter publicado sua pesquisa mais recente nos sete dias que antecedem a eleição: pesquisas mais antigas estariam sendo avaliadas pela fotografia errada — não pelo retrato final do eleitorado, mas por um instantâneo desatualizado da campanha.
Institutos que não atendem ambos os critérios aparecem em uma tabela separada de "não classificados", abaixo da tabela principal. O Erro Ponderado deles ainda é apresentado como referência diagnóstica — o número pode ser calculado, mas tem significado limitado porque foi medido sob condições diferentes das demais e portanto não pode ser comparado diretamente.
Lógica
As métricas descritas acima permanecem separadas e não são combinadas em uma nota única. A intenção é que a visualização de todas permita identificar a "história" que cada instituto contou durante a eleição. Por exemplo, uma casa que apresente Erro Ponderado alto, Volatilidade baixa, Sincronia alta e Viés forte em uma direção permite construir a seguinte leitura: "errou como o resto do campo, sem oscilar, sistematicamente para um lado". Um número composto final perderia essa possibilidade interpretativa.
Em suma: o modelo é focado em descrever o campo de pesquisas e evitar a classificação apressada de um instituto como melhor que outro. Afinal, é possível que um instituto tenha metodologia perfeitamente adequada mas com desempenho ruim por uma variedade de motivos — incluindo oscilações estatísticas previstas pela aleatoriedade das amostras. Da mesma forma é possível que um instituto com metodologia questionável acerte o resultado por sorte. O modelo evita fazer esse julgamento. A exceção parcial é o Erro Ponderado, que compara cada instituto ao resultado oficial; ainda assim, ele foi desenhado para usar apenas a última pesquisa de cada instituto, justamente porque é só ali que a comparação direta com a urna faz sentido.
Testamos a estrutura do modelo com análises de sensibilidade e robustez. Mais importante, aplicamos o modelo finalizado — sem qualquer ajuste — a 22 ciclos de governador de 2014 que não haviam sido vistos durante seu desenho, reproduzindo corretamente o tamanho relativo de erros documentados na época, como o crescimento tardio de Sartori no Rio Grande do Sul.
Limitações
- Erro Ponderado mede o desempenho do instituto com base apenas na última pesquisa antes da eleição. Não captura o desempenho ao longo da campanha — uma lacuna parcialmente coberta pela Captura de Movimento, ainda que com lógica descritiva, não avaliativa.
- Sincronia é calculada apenas em ciclos com volume e diversidade suficientes de institutos. A maioria das eleições estaduais não atende os critérios; ou seja, para boa parte dos ciclos falta essa dimensão da análise.
- Em eleições em que o candidato do PT não atinge o limite de elegibilidade, a referência para o cálculo do Viés passa a ser o candidato à reeleição ou o herdeiro político do governo em exercício. Essa escolha é editorial — outras alternativas seriam defensáveis.
- Sincronia não distingue alinhamento genuíno — institutos independentes captando o mesmo movimento real do eleitorado — de "herding", situação em que institutos ajustam seus números ao que outros já publicaram. Sincronia alta pode indicar qualquer um dos dois.
- Eventuais mudanças metodológicas dentro de um mesmo instituto não são parte do modelo. Por exemplo, se uma casa fez ajustes na ponderação para corrigir algum problema identificado na pesquisa, o modelo não distingue essa mudança de simples identificação de movimento no eleitorado.
- Nossa base de pesquisas não está ainda completa mas está crescendo. Se você notou a falta de algum instituto ou pesquisa, pode nos informar aqui.