Por que pesquisas por telefone são polêmicas

À parte a controvérsia da exclusão sumária de Lula de todos os cenários testados pelo DataPoder360, o uso de ligações telefônicas com voz gravada é indigesto para muitos especialistas em pesquisa de opinião. Uma comparação focada em dados de segundo turno evidencia a discrepância nos resultados.

Cíntia Alves, Via Jornal GGN em 5/6/2018

O DataPoder360, divisão de pesquisas do site Poder360, voltou à baila na quarta-feira [4/7] com uma segunda pesquisa presidencial polêmica, cuja metodologia desperta críticas em especialistas que colocam os resultados desse tipo de estudo sob suspeição.

São dois os principais pontos de controvérsia:

1) Lula sumariamente foi deixado de fora da pesquisa; e
2) A metodologia escolhida (ligação telefônica com mensagem gravada) não é recomendada quando a finalidade é eleitoral. A diferença nos resultados, se comparados com outros institutos, é ainda mais perceptível nas análises sobre segundo turno.

Por partes:

Exclusão de Lula é decisão editorial
O DataPoder360 talvez seja o único instituto fazendo pesquisas presidenciais atualmente sem introduzir o nome do ex-presidente Lula em qualquer cenário. A desculpa mais óbvia, ressaltada nas postagens do Poder360, é que o petista foi preso em decorrência da Lava-Jato e dificilmente conseguirá concorrer nesta eleição. Mas não deixa de ser uma escolha editorial, pois exatamente nas mesmas condições Datafolha, Ibope, Vox Populi e outros players continuam avaliando o desempenho de Lula.

Há cerca de um mês, o GGN entrou em contato com o responsável pela divisão de pesquisas do Poder360 para ouvir mais sobre essa escolha, mas até hoje não obteve resposta (leia mais abaixo).

Metodologia pode enviesar o resultado
À parte a questão de Lula, o ponto-chave por trás das críticas às pesquisas do DataPoder360 é a metodologia empregada, conhecida entre técnicos da área como URA (unidade de resposta audível). Em inglês, a sigla é IVR (Interactive Voice Response).

É como no telemarketing: o eleitor recebe em seu telefone fixo ou celular uma ligação com mensagens gravadas que substituem a figura de um entrevistador que poderia conduzir o questionário até o final.

E é exatamente aí que reside o principal “problema”. Há um erro que especialistas chamam de “não-amostral” associado à rejeição dos entrevistados às ligações automatizadas.

A reportagem entrevistou um renomado especialista em pesquisas de opinião pública e presidente de instituto que, por questões de foro íntimo, preferiu não ser identificado. Mas explicou o que considera ser um grave erro não-amostral no uso da URA.

“Esse entrevistado que não completou o questionário provavelmente o teria feito se tivesse um entrevistador segurando ele até o final. Mas o problema é que você não sabe qual é o perfil associado às pesquisas descartadas. Vamos supor que a maioria que não completou seja de petistas ou de tucanos. Você não sabe! A questão é essa: existe alguma característica de voto associada à característica de não completar o questionário? Se você não sabe, então você tem que assegurar que ele complete. Não entrevistar quem não completa ou não tentar segurar ao máximo o entrevistado pode ser a origem de um viés e você não sabe qual.”

Em suas postagens sobre a pesquisa, o Poder360 informa que descartou todos os questionários incompletos para compor os resultados. Questionados pelo GGN, não informaram o índice de rejeição.

Teoricamente, para conter esse público resistente à URA é preciso “ter um critério de reposição [de eleitorado] muito rigoroso e, ainda assim, você tem o obstáculo da própria desistência. Aquele que desiste pode ter uma característica sistemática associada ao voto.” E como garantir que esse entrevistado descartado será substituído por outro de igual perfil?

O Poder360 também costuma destacar que a metodologia é confiável e que teve desempenho atestado na última eleição presidencial nos Estados Unidos. Mas no País de Donald Trump já existe uma certa “tradição” com pesquisas telefônicas, diferentemente do contexto brasileiro. Os estadunidenses “já fazem isso há muitos anos, estão há muito mais tempo aperfeiçoando a técnica. Aqui é a primeira vez que fazem [pesquisa eleitoral usando URA] e o fazem numa eleição presidencial muito conturbada”.

Um comparativo entre institutos
A diferença nos resultados das pesquisas do DataPoder360 em comparação com outros institutos é sentida principalmente nas análises de segundo turno.

Veja o gráfico acima, que analisa o embate entre Marina Silva e Jair Bolsonaro numa série de pesquisas no Datafolha, DataPoder360 e Ipespe (que faz pesquisa por telefone com entrevistador).

Somente nas pesquisas por telefone é que o desempenho de ambos os candidatos se invertem: Marina fica muito atrás de Bolsonaro no segundo turno. Ou seja, o sistema telefônico parece dar vantagem ao ex-militar.

No DataPoder360 de julho, Marina aparece com 31% das intenções de voto no segundo turno, contra 36% de Bolsonaro. Já no último Datafolha, de junho, Marina tem 42% e Bolsonaro, 32%.

Aliás, no DataPoder360, Bolsonaro vence todos os candidatos no segundo turno. Mas no último Datafolha a história é outra: além de perder para Marina, o deputado só vence Fernando Haddad e empata com Geraldo Alckmin (33% para cada lado) e com Ciro Gomes (sendo 36% para o pedetista e 34% para Bolsonaro). Com Lula, perde por 32% a 49%.

O autor do gráfico acima é o cientista político Alberto Carlos Almeida. Em seu Facebook, ele postou uma mensagem ironizando os resultados. Se todas as pesquisas forem tomadas como corretas, quer dizer que “aproximadamente 25 milhões de eleitores abandonaram Mariana e voltaram para Marina em dois meses. Temos que descobrir o que teria levado a esse movimento de eleitores.”

Metodologia × finalidade da pesquisa
Até o momento, o DataPoder360 parece apostar sozinho na URA na eleição de 2018 e tem seus motivos. Entre eles, o fato de que essa metodologia costuma ser muito mais barata do que as pesquisas em campo.

Cumpre ressaltar também que quem critica o sistema não o faz sem considerar a finalidade da pesquisa.

A URA é comumente indicada para, por exemplo, pesquisas de mercado. Mas quando o assunto é aferir intenção de votos, a resistência é tal que a Associação Brasileira de Empresas de Pesquisa já interpelou o Tribunal Superior Eleitoral no sentido de proibi-la. Ao lado das enquetes feitas na internet, com pouco ou nenhum critério na seleção de amostras e outros aspectos, a URA é mal vista por aumentar a chance de desvios nos resultados.

O diretor geral do Datafolha Mauro Paulino já disse ao Valor que jamais o instituto será visto fazendo uma pesquisa presidencial por telefone, muito menos na modalidade URA. Paulino sustentou que a apresentação dos candidatos por meio do cartão resposta, como se faz em campo, é um “instrumento básico” para “estimular” o entrevistado. Fora isso, endossou a questão do erro não-amostral: “Não sabemos, por exemplo, se há um perfil específico de eleitor que recusa mais frequentemente. Se há isso, há influência no resultado.”

Há ainda outras questões, como a necessidade de fazer a ponderação correta entre o número de eleitores que serão acionados pelo telefone fixo e pelo telefone móvel. Um erro aqui pode representar um desequilíbrio na amostra e afastar a pesquisa da realidade do eleitorado brasileiro.

Já o cientista político Antônio Lavareda, do instituto Ipespe (que tem feito pesquisas presidenciais por telefone, mas com entrevistador) saiu em defesa das ligações, ressaltando que são usadas eleitoralmente ao redor do mundo, mas igualmente discordou da voz mecânica. “Num país com 27% de analfabetos ou analfabetos funcionais, concordo que aí há limitações”, comentou.

Outro lado
No dia 6 de junho de 2018, após o DataPoder360 divulgar os resultados da primeira pesquisa presidencial feita por ligações automatizadas, o GGN entrou em contato com o Rodolfo Costa Pinto, responsável pela divisão de pesquisas. Ele se comprometeu a responder as perguntas abaixo, mas acabou desistindo sem informar o porquê.

O GGN reproduz as perguntas ao DataPoder360:

1) O principal problema apontado em relação à URA é que, por se tratar de uma mensagem gravada, o índice de pessoas que não concluem o questionário é maior, com o agravante de que não é possível saber se há um perfil político associado a este eleitor que não se relaciona bem com a ligação automatizada. A desistência, segundo um dos especialistas consultados, seria o erro não amostral mais importante quando o assunto é URA. Isso geraria risco de a pesquisa ser enviesada, considerando que não há como garantir que esses questionários descartados foram substituídos por eleitores de perfil político semelhante. Você concorda ou discorda dessa crítica? No caso da pesquisa do Poder360, como lidaram com esta questão?

2) Você poderia informar qual foi o índice de rejeição à pesquisa ou quantos questionários incompletos foram descartados e quantos foram realizados até que se chegasse ao número de 10.500 entrevistas analisadas?

3) Outra crítica à URA é a de que não há como garantir que a amostra telefônica selecionada corresponde a uma amostra do eleitorado nacional. No caso da pesquisa do Poder, como foi feita essa ponderação em relação à proporção de telefones fixos e celulares, especificamente? (Desculpe, mas não encontrei nada publicado em relação a esta proporção, nem no site do TSE nem no Poder360, apenas a menção de que foram disparadas ligações para fixos e celulares).

4) Você poderia explicar outros tipos de ponderações foram feitas e que são importantes para garantir a segurança dos resultados?

5) Como responde à crítica de que a pesquisa por telefone não serve para estimular adequadamente o eleitor se comparada com a pesquisa face a face, que apresenta um cartão com os candidatos?

6) Como responde à crítica de que pesquisa telefônica, seja URA ou com entrevistador, aumenta a proporção de votos em branco ou nulos?

7) Por que a divisão de pesquisas do Poder360 optou pela URA e não pela ligação telefônica com entrevistador?

8) Por fim, não posso deixar de perguntar, porque muitos leitores comentam sobre isso: por que a pesquisa DataPoder optou por não colocar Lula nos cenários testados, indo na contramão dos demais grandes institutos como Datafolha e Ibope, que mesmo com o ex-presidente preso, continuam testando cenários com ele como o candidato do PT? A metodologia escolhida impactou nessa decisão (limitando os cenários testados, por exemplo)?

Leia também:
Pesquisa “some” com candidatura Lula e ainda assim ninguém cresce

Os comentários sem assinatura não serão publicados.

Faça o login usando um destes métodos para comentar:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s


%d blogueiros gostam disto: