lunes, 22 de junio de 2020

P-value hacking


En el mundo del estudio estadístico se aprende rápidamente la importancia del p-value. Un p-value menor que 0.05 representa resultados significativos, lo que se traduce a su vez a una mayor probabilidad de que tu artículo sea publicado por una revista científica. No es de extrañar que muchos investigadores acaben centrándose excesivamente en ese tan deseado p-value<0.05.

El término P-value hacking, acuñado en 2014 por Regina Nuzzo en Nature News, describe la manipulación, consciente o inconsciente, de los datos para conseguir el p-value deseado. Son muchos los métodos para conseguirlo. La manipulación del tamaño de la muestra, la eliminación de los datos anómalos o relacionar la variable dependiente con el mayor número de variables independientes hasta llegar a una relación significativa.

Como resultado de esta mala práctica, muchos resultados acaban siendo fruto de la casualidad y muchos estudios se contradicen los unos a los otros.

Lo verdaderamente preocupante es, sin embargo, lo generalizadas que parecen estar estas prácticas. En los últimos años, en medio de una crisis existencial de la psicología y otras ciencias que utilizan métodos estadísticos, el término p-hacking se ha popularizado, reforzando así ideas negativas sobre el método científico. En una de las tarjetas del popular juego “Cards Against Humanity” podemos leer “En línea con nuestras predicciones, encontramos una fuerte correlación entre ____ y ____ (p<0.05)”, frase a completar con cualquier disparate que se le ocurra al jugador. Gracioso, pero demasiado real.


En medio de esta polémica, algunas revistas han decidido prohibir estudios basados en el p-value. La Asociación Americana de Estadística (ASA) por su parte, publicó en 2016, por primera vez en su historia, una guía de pautas explícitas de cómo evitar el mal uso del p-value.

Si estas medidas surgen efecto, en una sociedad que superpone muchas veces el éxito a la verdad, todavía está por ver.


Fuentes:


No hay comentarios:

Publicar un comentario