Últimamente la IA se mete en todo tipo de actividades. Una de ellas: las revisiones de artículos científicos que conforman la famosa “revisión por pares” (peer review).
Estas revisiones las realizan científicos por encargo de los editores de las revistas científicas. Estos editores conocen el campo y cuando llega un artículo buscan a otros científicos que trabajen en temas análogos y que puedan juzgar la solidez del trabajo en cuestión.
Esa tarea de revisión, bien hecha, resulta costosa, hay que leer el original, repasar algún cálculo, comprobar referencias, etc. Ese esfuerzo no está remunerado de ninguna forma, ni se paga por hacerlo ni contribuye al currículum del revisor, o si lo hace, es con un valor minúsculo.
No es raro pues que muchos científicos “senior” hayan ido rechazando participar en este tipo de revisiones (dada la problemática del sector de las editoriales científicas que sería larga de comentar aquí). Los editores tienen cada vez más dificultades en encontrar revisores, y las personas que revisan (quizá) lo hacen con más desgana. Ahí es donde ha entrado la IA. Parece ser que muchas revisiones se encargan a CharGPT y similares (ver artículo de Nature). Digo parece por que todo lo que tiene que ver con las revisión por pares es oscuro. Las revisiones son anónimas, sólo los editores saben quiénes son los temibles “revisor 1, 2 y 3”, por eso hay muy pocos estudios (e información fiable) sobre el proceso.
El que hayan aparecido preprints con “instrucciones ocultas” para que las IAs den revisiones positivas ha destapado la cuestión. Las instrucciones ocultas son prompts incluidos en el trabajo, en el preprint, pero de forma que los humanos no las veamos (por ejemplo en blanco sobre blanco o con tipografías mínimas).
Para mi lo más llamativo de que se hayan encontrado estos “prompts escondidos” es que evidencian que las revisiones se hacen (o al menos se apoyan) en resultados de IA. Seguramente los autores de esos prompts ocultos lo saben porque ellos mismos o compañeros cercanos actúan así como revisores.
En fin, cada vez más vamos a un sistema de ciencia en que las IAs escriben los artículos, los revisan y los leen… Esperemos que, al menos, no inventen el contenido.
No hay comentarios:
Publicar un comentario