Réplicas Fallidas en Revistas Académicas
Este elemento es una expansión del contenido de los cursos y guías de Lawi. Ofrece hechos, comentarios y análisis sobre este tema. [aioseo_breadcrumbs]
Dificultades de las Réplicas en Revistas Académicas: Ejemplos
Cuando el año 2011 el profesor Daryl Bem publicó los resultados de una serie de nueve experimentos que parecían sugerir que la precognición -o la capacidad de “sentir el futuro”- es real, en el prestigioso “Journal of Personality and Social Psychology”, la noticia recibió una gran cobertura de los principales medios científicos de todo el mundo.
En su artículo, Bem animó a otros psicólogos a intentar reproducir sus resultados e incluso se ofreció a proporcionar el software adecuado para realizar los estudios. Varios profesores británicos decidieron hacerlo.
Se acordó que se realizaría un intento de réplica en cada una de las tres instituciones en que trabajaban los profesores británicos. Los tres intentos seguirían los mismos procedimientos que los utilizados por Bem, incluido el uso del mismo número de participantes, y los experimentos se registrarían previamente. Independientemente del resultado, redactaríamos nuestros resultados y los presentaríamos para su publicación.
Como se puede ver en su informe publicado en PLoS ONE, ninguno de los profesores británicos produjo resultados que apoyaran el efecto reportado por Bem (tampoco lo hizo Eric Robinson en un artículo publicado en julio de 2011 en el Journal of the Society for Psychical Research). El fracaso a la hora de replicar los resultados de Bem no será, sin duda, una sorpresa para muchos lectores, ya que habrán asumido desde el principio que el supuesto efecto paranormal no era real. De hecho, muchos comentaristas criticaron fuertemente al Journal of Personality and Social Psychology por publicar el artículo de Bem en primer lugar, a pesar de que había sido sometido al mismo proceso de revisión por pares que otras presentaciones.
Una vez que pensamos que sabemos de antemano qué efectos son reales y cuáles son ilusorios, la verdadera objetividad científica se esfuma. También hay dudas sobre los otros efectos reportados por Bem. Como era de esperar, dada la naturaleza controvertida de las afirmaciones de Bem, varios críticos han revisado el artículo original con un peine de dientes finos y han destacado las pruebas de una metodología defectuosa y unos análisis estadísticos inadecuados.
Aun así, es importante señalar que ninguna de estas preocupaciones es realmente terrible por separado. Claro que es malo mirar los datos, pero mirar los datos por sí solo probablemente no va a producir nueve falsos positivos diferentes. Tampoco lo es utilizar pruebas de una cola, o construir medidas sobre la marcha, etc.Si, Pero: Pero cuando se combinan la búsqueda de datos, los umbrales liberales, la recombinación de estudios, las hipótesis flexibles y las medidas selectivas, se tiene una receta perfecta para obtener resultados espurios.
Que alguno de los efectos señalados por Bem sea real dependerá en última instancia del resultado de nuevos intentos de replicación.Si, Pero: Pero al menos tan interesante como esa cuestión son los problemas que se plantearon cuando intentamos publicar nuestras réplicas fallidas.
Dado que la revista Journal of Personality and Social Psychology fue la responsable de publicar las controvertidas afirmaciones de la primera y que el artículo de Bem incluía un llamamiento explícito a otros psicólogos para que intentaran las réplicas, podía ser esta revista era la opción obvia para publicar nuestros propios hallazgos. Sin embargo, el editor de la revista no estuvo de acuerdo y rechazó nuestro artículo sin siquiera enviarlo para su revisión por pares, alegando que su revista “no publica réplicas”.
Luego lo enviamos a Science Brevia y recibimos la misma respuesta. Lo mismo ocurrió cuando lo enviamos a Psychological Science. El hecho de que no consiguiéramos ni siquiera que nuestro artículo se enviara para su revisión por pares se convirtió en una especie de historia en sí misma (se puede estudiar algunos de estos asuntos en la presente plataforma online de ciencias sociales y humanidades). Fue cubierto, por ejemplo, por Ben Goldacre en su columna Bad Science, así como por New Scientist y The Psychologist.
Cuando lo enviaron a la revista British Journal of Psychology, finalmente se sometió a una revisión por pares. Uno de los árbitros fue muy positivo, pero el segundo tenía reservas y el editor rechazó el artículo. Parece que el segundo árbitro era, de hecho, nada menos que el propio Daryl Bem, una sospecha que el buen profesor tuvo la amabilidad de confirmar. El editor rechazó la apelación.
Los profesores británicos estaban decididos a publicar el artículo en una revista de alto impacto. Aunque las revistas de parapsicología tienen una política mucho más ilustrada con respecto a la publicación de hallazgos negativos (es decir, los publican realmente), estaban bastante seguros de que los principales medios científicos no informarían de los resultados si lo hacían. Al fin y al cabo, ¿has visto alguna noticia en los periódicos sobre el estudio de Eric Robinson? Por eso se alegraron cuando el artículo fue aceptado por PLoS ONE, una revista de acceso abierto con un alto factor de impacto. Se publicó en PLoS ONE en marzo de 2012.
Toda esta saga plantea cuestiones importantes. Aunque siempre se nos dice que “la replicación es la piedra angular de la ciencia”, lo cierto es que a las revistas “top” simplemente no les interesan las réplicas directas, especialmente las fallidas. Sólo quieren informar de los hallazgos que son nuevos y positivos.
La mayoría de los científicos son conscientes de este sesgo y rara vez se molestan en hacer réplicas directas.Si, Pero: Pero los intentos de réplica directa son a menudo lo que se necesita, especialmente cuando se trata de afirmaciones controvertidas. Por ejemplo, los parapsicólogos suelen aceptar los hallazgos de un nuevo estudio si éste reproduce un efecto paranormal previamente reportado. Sin embargo, si no lo hace, es probable que culpen a cualquier desviación del procedimiento original, por pequeña que sea. Por este motivo, decidieron seguir el procedimiento de Bem lo más fielmente posible (aparte de una pequeña mejora metodológica).
Dado el elevado coste de las publicaciones en papel y la alta tasa de rechazo de envíos de las revistas “de primera línea”, podría argumentarse que rechazar los estudios de replicación era defendible en la era anterior a Internet. Pero, ¿qué impediría que esas revistas adoptaran la política de enviar los informes de las réplicas, fallidas o no, para una revisión completa por pares y, en caso de ser aceptados, publicar el resumen del trabajo en la revista y la versión completa en línea? De lo contrario, el sesgo de publicación parece que seguirá siendo un problema importante en la psicología y la ciencia en general.
Basado en la experiencia de varios autores, mis opiniones, perspectivas y recomendaciones se expresarán a continuación (o en otros lugares de esta plataforma, respecto a las características en 2026 o antes, y el futuro de esta cuestión):
Hay un último giro en esta historia. PLoS ONE se encontró en 2012 en el centro de otra controversia sobre una réplica fallida. El profesor John Bargh, de la Universidad de Yale, escribió un airado blog para Psychology Today en respuesta a un artículo publicado en PLoS ONE por Stéphane Doyen y sus colegas de la Universidad Libre de Bruselas. Estos científicos no habían conseguido replicar un experimento clásico de Bargh y sus colegas publicado en 1996 en el Journal of Personality and Social Psychology que sugería que el comportamiento puede verse afectado de forma significativa por el priming inconsciente.
Bargh arremetió contra los investigadores y los revisores de los artículos, y afirmó que la revista “no recibe los elevados estándares habituales de las revistas científicas de revisión por pares”. Por si fuera poco, Bargh también arremetió contra los blogueros que informaron del fracaso de la réplica, describiendo sus esfuerzos como “periodismo científico superficial en línea”. De hecho, gran parte de lo que dice Bargh parece injustificado, como argumentan hábilmente Ed Yong y el editor de PLoS ONE, Peter Binfield.
📬Si este tipo de historias es justo lo que buscas, y quieres recibir actualizaciones y mucho contenido que no creemos encuentres en otro lugar, suscríbete a este substack. Es gratis, y puedes cancelar tu suscripción cuando quieras: Qué piensas de este contenido? Estamos muy interesados en conocer tu opinión sobre este texto, para mejorar nuestras publicaciones. Por favor, comparte tus sugerencias en los comentarios. Revisaremos cada uno, y los tendremos en cuenta para ofrecer una mejor experiencia.Bargh critica duramente a Doyen et al por lo que considera graves desviaciones de su procedimiento original. Escribe: “Cuando los investigadores intentan (de buena fe) replicar los hallazgos de otro laboratorio, se supone que deben seguir el procedimiento original lo más fielmente posible”. Como se espera que se muestre lo anterior, este no es el mejor consejo si realmente quieres que tu trabajo se publique rápidamente en una revista “de primera”.
Datos verificados por: Chris
[rtbs name=”publicaciones”] [rtbs name=”investigaciones”] [rtbs name=”ciencia”]
Recursos
[rtbs name=”informes-jurídicos-y-sectoriales”][rtbs name=”quieres-escribir-tu-libro”]Véase También
▷ Esperamos que haya sido de utilidad. Si conoces a alguien que pueda estar interesado en este tema, por favor comparte con él/ella este contenido. Es la mejor forma de ayudar al Proyecto Lawi.
Uno de los mayores problemas que describe es la ardua batalla que se requiere para publicar réplicas. PsychFileDrawer es un sitio que aborda esta cuestión. Los investigadores publican breves avisos de sus intentos de réplica, sin problemas. Un aviso de réplica que se ha publicado allí es otro fracaso en la replicación del estudio de Bargh et al. que usted menciona. También ofrecemos un servicio para votar por los estudios que más le gustaría ver replicados, y una herramienta de red privada para ser notificado de otros interesados en la replicación de un estudio en particular.
Lo que dice el artículo, y es mi experiencia como investigador, es que la publicación de los datos es sólo el principio del proceso, no el final. Nosotros, como científicos, llevamos décadas sin conseguir que el público en general entienda este punto.
Es exactamente lo mismo que el artículo sobre los neutrinos que viajan más rápido que la velocidad de la luz de hace unos meses. Las personas que realizaban los experimentos se llevaron un gran susto, lo publicaron y pidieron ayuda para repetir los datos. La percepción pública de eso fue que publicaron un montón de basura, lo cual no era cierto.
Lo que hacemos como científicos es intentar construir un modelo (de cualquier cosa) y luego probar si ese modelo funciona o no. El modelo tiene que estar basado en datos y las conclusiones que sacamos se basan en lo bien que el modelo se ajusta a los datos. A mí me parece que el modelo que mejor se ajustaba a los datos aquí era que la visión futura puede ser posible, por eso se publicó.
Si los datos son defectuosos (siempre lo son) o el modelo es defectuoso (como siempre lo es) entonces las conclusiones que sacamos son defectuosas. PERO cuando diferentes datos y diferentes modelos apuntan todos a la misma conclusión entonces empezamos a ver que es la conclusión correcta.
Como científico necesito que otros publiquen sus resultados negativos, lo que es casi imposible en el modelo actual de revisión por pares. Pero el sistema de publicación en general es bastante bueno, aunque algo incomprendido.
Bueno, la potencia estadística (50 ensayos por estudio) está en el lado bajo para que cualquier efecto alcance la significación, pero hay que admitir que su efecto global fue esencialmente cero. También me preocupa por qué Wiseman y French no revelaron 2 réplicas positivas que estaban en el grupo de los 6 estudios pre-registrados a los que se refieren (que incluían las tres réplicas fallidas). ¿Tal vez porque diluiría los grandes titulares escépticos?
Toda esta saga plantea cuestiones importantes. Aunque siempre se nos dice que “la replicación es la piedra angular de la ciencia”, lo cierto es que a las revistas “top” simplemente no les interesan las réplicas directas, especialmente las fallidas. Sólo quieren informar de los hallazgos que son nuevos y positivos. […] Por ejemplo, los parapsicólogos suelen estar contentos de aceptar los resultados de un nuevo estudio si replica un efecto paranormal previamente reportado. Sin embargo, si no lo hace, es probable que culpen a cualquier desviación del procedimiento original, por pequeña que sea. Por este motivo, decidimos seguir el procedimiento de Bem lo más fielmente posible (aparte de una pequeña mejora metodológica).
Y puesto que la forma correcta de tratar la publicación ocasional de pseudociencia y/o ciencia de culto en revistas por lo demás respetables es simplemente señalar que eso es lo que es – no tratar de replicarlo – todo esto es bastante irónico y discutible (en una especie de “dos errores no hacen un derecho”).
Algunos argumentarán que la parapsicología puede ser tan legítimamente “científica” como la paleontología o la cosmología, siempre que siga la metodología de la investigación científica. Pero esa es una actitud demasiado ignorante que no se sostiene. Si los parapsicólogos siguieran la metodología de la investigación científica, mirarían lo que sabemos sobre las leyes de la física, se darían cuenta de que su supuesto objeto de estudio ya ha sido descartado, y en treinta segundos se declararían acabados. Todo lo demás es pseudociencia, con la misma seguridad que la investigación contemporánea de la astrología, la frenología o la cosmología ptolemaica. La ciencia se define por sus métodos, pero también obtiene resultados; e ignorar esos resultados es violar esos métodos.
Como psicólogo (de los de toda la vida) me deleito con este tipo de tonterías. Los resultados de estos estudios no importan y, por lo tanto, no importa si se replican, no se replican, utilizan métodos chapuceros y si nadie tiene idea de cuántos estudios se han hecho y cuántos de ellos dieron resultados estadísticamente significativos (mi opinión es que alrededor del 5% dan resultados significativos y todos los demás no se publican).
Ningún puente se caerá, ningún medicamento matará al paciente, ningún dispositivo dejará de funcionar, ningún avión se estrellará, ningún barco se hundirá si los resultados de estos experimentos son todos inventados por gente con zapatos grandes, pantalones a rayas y narices rojas falsas. Esa es realmente la prueba de fuego de la ciencia adecuada y esto, francamente, no lo es – independientemente de las pronunciaciones de Rupert Sheldrake y su calaña. Hasta que cualquiera de estas cosas tenga alguna importancia práctica, todo esto no es más que mirarse el ombligo de forma académica (académica, adj, que no tiene ningún propósito o uso práctico).