La industria de las encuestadoras se enfrenta hoy, por propia búsqueda, ante un problema existencial. Ante el simple estímulo de tener que competir en la cancha de la investigación, los principales actores de la industria deciden jugar a denostar a su competencia evitando la ruta que respeta la lógica de competir en el mercado de lo que hacen.
Para ello despliegan ataques oblicuos de corte comunicacional para orientar a los periodistas de la plaza hacia un prejuicio contra la casa encuestadora que dirijo (La Cosa Nostra). La industria de las encuestadoras está organizada en la Asociación de Investigación de Mercado, aun cuando el actor más conocido no pertenece a ella (Cadem), pues se retiró hace algunos años, para molestia de la asociación. Hoy, sin embargo, los odios mutuos quedan limitados porque los une un enemigo común: tener que competir.
Todo este conflicto tuvo un inicio
Hace una semana hicimos circular un informe que señalaba el ranking de precisión de las encuestadoras. Más allá de las especulaciones de quien tiene mejor metodología, que cada uno defiende, consideramos que un informe comparado serio se caracteriza por la variable que las encuestadoras consideran más reveladora: la proximidad o no de las predicciones de cada encuestadora respecto a la realidad.
Es decir, bajo la premisa de que el mejor indicador de encuestas es la distancia de las proyecciones de cada empresa respecto a los resultados oficiales del SERVEL.
Un ejercicio como este no parecía demasiado disruptivo (o eso pensé), pero ardió Troya en la industria.
Cadem sacó unos gráficos comparados que no entraban en el fondo del asunto, pero nos acusaban (a la encuesta de La Cosa Nostra) de ir contra el tránsito, pues nuestros resultados son distintos a los del resto. Como si estuviéramos obligados a tener los mismos datos que el resto.
Pero eso no quedó ahí: el gremio de las encuestadoras (AIM) decidió hacer observaciones metodológicas en contra de nuestro informe, pero sin referir a los hechos, es decir, pontificando metodológicamente al mismo tiempo que demostraban no saber de metodología.
Una vergüenza.
¿Por qué tanta reacción?
La verdad, el espanto de la industria tiene fundamento. Y no es metodológico.
Es la aversión a la competencia.
La mera existencia de la Encuesta La Cosa Nostra es una señal muy incómoda porque equivale que un equipo de fútbol con un presupuesto de tercera división pueda disputar el campeonato de primera división.
Nuestro proyecto nació, paradójicamente, sin vocación de disputa. Fue un ejercicio académico y experimental, una suerte de laboratorio artesanal de medición política, hecho sin más recursos que la voluntad, la inteligencia individual y colectiva; además de un cierto entusiasmo por observar la realidad chilena.
Su origen no estuvo en el deseo de “competir” con nadie, sino en aprovechar la posibilidad de producir datos para pensar mejor. Sin embargo, ocurrió lo impensado: el proyecto, nacido sin presupuesto, sin auspiciadores, sin departamento de marketing y —horror— sin logo aprobado por comité de expertos, empezó a acertar.
Fue así como fuimos la única encuesta que acertó al plebiscito de entrada en 2020. Nos financian personas que pagan diez mil pesos para poder participar en un extenso análisis el día de la entrega. No siempre ese dinero alcanza para los importantes costos, aunque estos son bajos porque varias personas no cobran y otros cobran poco por esta tarea.
La situación es absurda. Y he aquí la incomodidad. Una industria de millones de dólares (dice el informe) hasta ahora pierde, toda ella, con una pequeñísima empresa. Para decirlo en simple, un proyecto artesanal le compite a una industria, un David contra Goliat.
La industria no dijo nada cada vez que no acertó. El silencio fue total. No hubo planes de mejora, no hubo un rostro incómodo dando explicaciones, no hubo explicaciones a los clientes. Simplemente en medio de la selva de datos, prefirieron la confusión. El mercado es información, estas empresas producen información, pero a la opinión pública y a sus clientes solo se les entrega la información que mejore su reputación.
Nosotros hicimos un informe, hito electoral por hito electoral. En alguno de ellos nuestra encuesta fue la peor. Y ahí están los números. Pero considerando todos los hitos electorales, nuestro proyecto es mejor: sin acuerdos con prensa, sin grandes inversiones, simplemente trabajando con esfuerzo y con sentido investigativo.
Y es que incluso cuando nos hemos equivocado (cosa que es posible siempre en una tarea compleja como es el diseño y la implementación de una encuesta) nuestra encuesta ha entregado un análisis de datos que merece tal nombre. Porque la verdad es que en esta industria, lo que se entrega son solo frecuencias y normalmente hay poco y nada de un plan de análisis. La ciudadanía tiene que quedarse con un conjunto de frecuencias como si eso fuera todo resultado. ¿Análisis? Ninguno.
Pero ya lo dijimos. Bastó un informe sobre la precisión de las encuestas y el mercado, en vez de jugar a informar, optó por la guerra contra aquel que osó dar información sobre quién ha sido más competitivo. Es como si las universidades escondieran los puntajes de la PAES de quienes ingresan o sus años de acreditación. ¿Competir? Demasiado incómodo, parecen decir en la industria.
Las encuestadoras no han logrado resignarse y para ello no han mejorado la información, sino que han torpedeado al mensajero. Fue así como surgió la declaración de la AIM, criticando el informe ya citado (adjuntamos la declaración aquí). No deja de ser curioso que quienes dominan la escena deban ahora explicar por qué una pequeña encuesta independiente puede ponerlos nerviosos.
Las críticas de ese informe son, todas ellas, absurdas. Desgloso las críticas de la AIM a nuestro informe, asunto que aparece como una mera recomendación metodológica, para hacer la guerra soterradamente. Nada que no aparezca en la Biblia: tirar la piedra y esconder la mano.
Vamos entonces a las recomendaciones de la AIM:
1) La pregunta de intención de voto
El primer punto de la AIM sostiene que las comparaciones entre encuestas deben basarse en preguntas idénticas, con fraseo idéntico y opciones idénticas.
El argumento, impecable en apariencia, tropieza con un pequeño obstáculo empírico: cada uno puede medir como le parezca, pero eso no quita que todos estamos intentando medir qué puede ocurrir en la elección. ¿O ahora nos dirán que en realidad es un ejercicio donde se buscan otros objetivos?
La AIM solicita que se respete algo así como un derecho a preguntar sobre la primera vuelta sin tener un objetivo predictivo. Es evidentemente mañoso.
Si la pregunta utilizada no fue diseñada con propósito predictivo (como pretende insinuar la AIM), no debe presentarse como si lo fuera. Estoy seguro de que la opinión pública y los periodistas no otorgarían ningún interés si las encuestadoras señalasen que en realidad su pregunta no es predictiva y que, dado que varios miden distinto, entonces el resultado de cada uno es como un cristal único que no puede compararse, pero que es valioso igual y que igual merecen minutos de televisión y portadas de periódicos. Pero, por favor, entonces ¿por qué sería valiosa una predicción de las elecciones que no predice las elecciones?
¿Puede cada uno medir como quiera? Por supuesto. Así es la metodología. Hay un objetivo en la ciencia cuando se trata de predecir y es lograr una mayor tasa de éxito en aproximarse a la forma en que se comportará el fenómeno. Pero es obvio que los investigadores diseñamos distintas formas de entrar al fenómeno para producir un dato. Pero el resultado es una predicción. Y eso es lo que importa. Es vergonzoso que la industria quiera ser el representante de la verdad y al mismo tiempo considere que no se le puede escrutar.
Por supuesto, alguna encuestadora podría estar buscando algo distinto: tal vez se miden preferencias de votación, pero en realidad se busca otro objetivo —por ejemplo, perfilar votantes, estudiar disposición, medir clima político o explorar afinidades—.
Eso es perfectamente legítimo. Pero si eso es así debe aclararse su sentido y su limitación predictiva. No es difícil: bastará con señalar en una nota que ese gráfico no tiene pretensión predictiva y que cumple una función diferente. O incluso, vale la pena no dar ese dato, porque si no pretende representar una posible realidad futura no tiene ninguna importancia social.
Es decir, si una pregunta no pretende ser predictiva, debe decirlo. Lo que no tiene sentido —y aquí entra el sarcasmo inevitable— es reclamar porque los medios de comunicación toman las predicciones como tal cosa cuando las cosas no van bien.
2) La crítica a la base 100: ser o no ser
El segundo punto de la AIM plantea que toda comparación debe hacerse en base 100, es decir, excluyendo indecisos, blancos y nulos.
Nada más limpio, nada más ordenado…salvo por el pequeño detalle de que muchas encuestas no entregan sus resultados con base 100 (nota: nosotros sí). Cada empresa decide, legítimamente, cómo tratar sus datos. Si una empresa considera metodológicamente apropiado operar o no en base cien, es asunto de la empresa. Culpan entonces a nuestro informe por no hacerles la pega. Es un descaro. Lo cierto es que nuestro informe respetó cada metodología tal como fue publicada, sin adulterar ni corregir. No transformamos agua en vino, ni porcentajes en dogmas. Si una empresa no quiere expandir sus datos a base 100, se respeta. Y si otra lo hace, también. No hay falta de rigor en eso; lo que hay es respeto epistemológico.
Si nosotros expandiéramos todos los datos a base 100 (esto es, que todas las preferencias electorales sumen cien), las empresas podrían molestarse ciertamente porque es una decisión metodológica. Nosotros operamos en nuestro informe de manera simple: lo que dice cada empresa en su informe es su predicción. ¿Hay de verdad algún problema?
3) El tamaño muestral y el inexistente margen de error: la ficción estadística preferida
La AIM nos recuerda que hay que incluir el margen de error y el nivel de confianza. Lo que omite —quizá por pudor gremial o por desconocimiento— es que ninguna de las encuestas que se difunden mensual, quincenal o semanalmente en Chile es probabilística en sentido estricto.
Ninguna. Incluyendo las que dicen que lo son. Y quienes señalan eso, tendrían que demostrarlo y ello supone dar garantías de una selección estrictamente aleatoria de los casos. Es un asunto técnico, pero lo cierto es que es evidente que ninguna encuestadora que diga que tiene diseño y ejecución probabilística lo ha demostrado.
Lo cierto es que, sin muestra probabilística, el margen de error es un concepto vacío. Reitero: el margen de error no se puede incorporar a una encuesta no probabilística. No existe.
Quienes aplicamos métodos no probabilísticos no podemos declarar, por ejemplo, que nuestra encuesta tiene un “±3% de margen de error con un 95% de confianza”. Eso sería falso. Es una mala costumbre que quedó de tiempos antiguos donde se buscaba vender mayor cientificidad, pero es falso. En definitiva, esto es una especie de guiño (mañoso nuevamente) a la respetabilidad estadística, que en rigor es más una obra de teatro. En definitiva, se trata de una ficción consentida.
Nuestro informe, por el contrario, reconoce el vacío metodológico y lo asume con realismo. No presume márgenes de error inexistentes. Evalúa los resultados como lo que son: mediciones empíricas de precisión comparada. Esa honestidad, quizás, es la que molesta.
4) Comparabilidad temporal
La AIM sugiere comparar solo estudios levantados en fechas equivalentes y antes de la veda electoral. Perfecto. Es lo que hicimos. Tomamos el último dato disponible antes del inicio de la veda.
¿Hubo alguna excepción? Sí, fue el caso de nuestra propia encuesta. Hoy medimos quincenalmente, pero hace un par de años era trimestral y a veces semestral. ¿La razón? La falta de recursos nos impedía levantar mediciones con la frecuencia mensual de las grandes empresas. Lo señalamos abiertamente. En alguna ocasión, logramos recaudar el dinero para ejecutar la encuesta justo antes de las elecciones.
Supongo que la AIM no se molestará mucho si pusimos la encuesta más cercana al fin de la veda. ¿Por qué en nuestro informe pusimos esa fecha como la clave? Porque en veda no tenemos cómo saber si el dato que muestra una encuestadora se hizo efectivamente en esa fecha o si se ajustó después. Lo hicimos para evitar riesgos. En el caso de nuestra encuesta, el caso que está durante la veda está documentado.
5) Universo de comparación
Se nos recuerda que los universos deben ser equivalentes. Lo son. Todas las encuestas analizadas trabajan sobre el mismo universo conceptual: personas con derecho al voto. ¿Alguien está pensando en un objetivo distinto?
Es una lástima la declaración de la AIM. Pero vale la pena aceptar algo que dice. Si la AIM afirma que la precisión predictiva solo puede medirse con encuestas levantadas justo antes de una elección, entonces hay algo en que podemos estar de acuerdo.
Propongamos algo útil: que todas las empresas, académicas o comerciales, dejen sus resultados en una notaría dos días antes de cada elección nacional. Obviamente la gracia es que los datos predictivos se liberen apenas cierren las urnas. Así sabremos, de una vez, quién predice mejor, quién estima, quién imagina y quién adivina.
Nosotros, por supuesto, no tenemos inconveniente.
Y sería, sin duda, un desafío estadístico competitivo a favor de la democracia chilena: una competencia pública entre predicciones y resultados reales. Quizá así la industria recupere algo que perdió hace tiempo: la emoción de tener que rendir cuentas.
No puedo omitir una reflexión final sobre David, Goliat y el Excel.
La discusión abierta por la AIM es saludable. Pero el nerviosismo con que se plantea sugiere incómodas razones. Eso sí, hay algo que resulta obsceno: la industria parece temer al laboratorio y prefieren los juegos comunicacionales.
Nuestra posición es simple: en vez de defender reglas pensadas para preservar jerarquías, defendamos los principios que hacen creíble la investigación social: claridad, transparencia, consistencia, honestidad y mucho análisis.
La Encuesta La Cosa Nostra no pretende reemplazar a nadie ni moralizar. Solo demuestra que se puede hacer ciencia social sin pedir permiso ni subvención. Competir nos hace bien en la ciencia y en el mercado. Y si, en el proceso, dejamos a la industria un poco incómoda, pues bien, tal vez el mercado necesita que nos enfrentemos a la incomodidad. (Bio Bio)
Alberto Mayol
