Noticias › Ciencia

Ciencia

Un preprint: los modelos de IA encuentran más errores insertados en informes de ensayos clínicos que los revisores humanos

Quince modelos de lenguaje lograron entre un 53 y un 96 % en errores graves, frente al 27 % de revisores sin entrenar en un experimento anterior; aún sin revisión por pares.

Un preprint publicado en medRxiv el 28 de octubre sostiene que los modelos de lenguaje actuales detectan más errores graves en informes de ensayos clínicos que los revisores humanos. La revista Science dedicó una pieza al tema bajo el titular «La IA supera a los científicos encontrando errores en artículos de investigación clínica». Nuestro resumen se apoya en el titular de Science, que bloquea la lectura automática, y en la cobertura del propio preprint por otras publicaciones; los datos concretos proceden de ellas.

El experimento tomó tres informes de ensayos clínicos a los que se les insertaron errores a propósito y se los pasó a quince modelos de lenguaje, entre ellos Claude de Anthropic y los modelos GPT de OpenAI. Los modelos acertaron entre el 53 % y el 96 % de los errores graves. Como referencia, en un experimento anterior los revisores humanos sin entrenamiento específico detectaron de media un 27 % en esos mismos tres informes.

Para descartar que los modelos hubieran memorizado artículos antiguos, los autores repitieron la prueba con 58 ensayos clínicos aleatorizados publicados en 2026, textos que los modelos no podían haber visto durante el entrenamiento. En esa segunda tanda los resultados fueron de entre el 58 % y el 99 %, según la cobertura. En este caso no hay comparación con humanos.

Hay matices importantes. La comparación humana procede de un experimento previo con revisores sin entrenamiento, no de una prueba directa con expertos en el mismo montaje; por tanto no demuestra que la IA supere a un buen revisor de una revista. Además, los errores eran insertados a propósito, que no es lo mismo que el abanico de fallos reales de un manuscrito. Y es un preprint: no ha pasado revisión por pares, que es precisamente el proceso que se quiere mejorar.

Aun así, la dirección es relevante. La revisión por pares es lenta, voluntaria y está saturada, y las revistas llevan años buscando ayuda para detectar cálculos inconsistentes, datos que no cuadran o conclusiones que el resultado no sostiene. Un asistente que haga una primera pasada barata y sistemática, con una persona que valide cada hallazgo, podría mejorar la calidad media sin sustituir el juicio humano. Hay además proyectos de código abierto que comprueban si los informes siguen las normas de comunicación de ensayos clínicos.

Este tipo de herramienta encaja con el enfoque de BitCorner: la IA como verificador que añade comprobaciones, no como autoridad. En la misma lógica de «no confíes, verifica» con la que se construyó Bitcoin, el valor está en que cualquiera pueda repetir la comprobación. Volveremos sobre el tema cuando el trabajo se publique con revisión por pares.

Solo hechos, nunca asesoramiento financiero.