Fuori dalla bolla!

Sul numero in edicola di "Le Scienze" il neurologo Simone Rossi (Università di Siena) racconta un episodio che lo ha visto come protagonista lo scorso aprile.

Ricevuto l'incarico di valutare un articolo scientifico destinato alla pubblicazione su una delle grandi riviste internazionali, ne individua numerose debolezze e decide di chiedere ad un'intelligenza artificiale un primo parere.

Non delega alla macchina la propria valutazione ma ne utilizza il responso come una sorta di interlocutore preliminare: lo confronta con le proprie impressioni, lo modifica, lo integra ed infine scrive la propria revisione.

Insieme alla decisione editoriale di respingere l'articolo, Rossi riceve le valutazioni degli altri due revisori.

Leggendole, si accorge che le loro recensioni seguono praticamente lo stesso schema della risposta prodotta dal chatbot da lui interrogato: non soltanto arrivano alla medesima conclusione ma presentano una struttura molto simile.

Secondo Rossi i due revisori potrebbero aver utilizzato direttamente la risposta standardizzata di un sistema di AI senza una successiva rielaborazione personale.

La prova indipendente che quei due revisori abbiano effettivamente utilizzato direttamente la risposta di un chatbot non è disponibile: l'episodio raccontato da Rossi è infatti una testimonianza personale, e la sua interpretazione deriva dalla somiglianza fra le revisioni ricevute e l'output che egli stesso aveva ottenuto dall'IA.

Non si tratta dell'aver dimostrato statisticamente quanto sia diffuso l'uso dell'IA nel peer review, ma questo episodio rende visibile un problema che potrebbe diventare uno dei più delicati della scienza contemporanea.

La domanda che l'autore si pone non è se sia lecito utilizzare l'intelligenza artificiale per fare ricerca ma si chiede che cosa rimanga della responsabilità del ricercatore quando una macchina cominci a prendere il posto del suo giudizio ("Il peer review non è soltanto un controllo di qualità"): non mette cioè in discussione l'utilità dell'IA nella ricerca, né sostiene che debba essere esclusa dal processo scientifico, il problema, per lui, è stabilire fino a che punto possa sostituire il giudizio del ricercatore.

Per comprendere la portata del problema bisogna partire da ciò che intendiamo quando parliamo di peer review.

Il termine significa letteralmente "revisione fra pari": un ricercatore sottopone il proprio lavoro alla valutazione di altri specialisti che possiedono competenze sufficienti per giudicarlo e questi esperti devono verificare, per quanto possibile, la solidità del metodo, la correttezza dell'interpretazione dei dati, la qualità delle argomentazioni, l'originalità del contributo e la plausibilità delle conclusioni.

Ma c'è qualcosa di più: il revisore non è semplicemente un correttore di bozze scientifiche, non deve soltanto verificare che un testo sia coerente e ben scritto ma deve "pensare contro il testo".

Deve cioè chiedersi "... è davvero così? Quale ipotesi alternativa è stata trascurata? I dati consentono davvero questa conclusione? Il metodo permette di distinguere questa spiegazione dalle altre? Che cosa succederebbe se l'interpretazione fosse sbagliata? ..."

È questa "resistenza" che rende il processo scientifico diverso da un semplice sistema di produzione di documenti convincenti.

La scienza non procede soltanto accumulando affermazioni, ma anche attraverso il dubbio, la critica, il confronto con ipotesi alternative, la verifica empirica e, quando possibile, il tentativo di falsificazione.

Il problema non tuttavia è che l'AI sbagli: la prima reazione al problema potrebbe essere "ma anche gli esseri umani sbagliano", ed è vero.

Un revisore potrebbe non accorgersi di un errore, esser superficiale, avere pregiudizi, esser troppo indulgente o eccessivamente severo; potrebbe anche non comprendere un argomento interdisciplinare.

L'AI introduce una novità qualitativa: un modello linguistico può produrre in pochi secondi una recensione scientificamente plausibile, organizzata, grammaticalmente impeccabile ed apparentemente ragionata: è questo il pericolo!

Un testo prodotto dall'IA può sembrare un giudizio senza esserlo realmente.

Un modello genera una sequenza linguistica sulla base delle regolarità apprese durante l'addestramento: può individuare - con affidabilità variabile - strutture argomentative, incongruenze, concetti mancanti e perfino errori metodologici (i sistemi più avanzati sono strumenti straordinariamente potenti)

Ma la produzione di un testo che ha la forma di un giudizio non equivale necessariamente all'assunzione della responsabilità epistemica di quel giudizio,.

Rossi stesso ammette l'utilizzo dell'AI nel redarre il suo giudizio: non propone una contrapposizione semplicistica fra ricercatore umano e macchina.

"Fammi notare qualcosa che potrei non aver visto" è diverso da "Valuta tu questo articolo ed io presenterò la tua valutazione come mia": nel primo caso la macchina diventa un interlocutore cognitivo mentre nel secondo diventa un sostituto del giudizio.

La distinzione potrebbe essere applicata a moltissime attività scientifiche: utilizzare l'IA per correggere l'inglese di un articolo è una cosa, chiederle di suggerire una struttura argomentativa è un'altra.

Utilizzarla per cercare riferimenti bibliografici può essere estremamente utile, purché le fonti vengano controllate. (1)

Chiederle di individuare possibili obiezioni ad una teoria può persino migliorare il lavoro dello scienziato, ma se il ricercatore smette progressivamente di formulare quelle obiezioni e si limita a scegliere fra quelle prodotte dalla macchina qualcosa cambia: l'IA da strumento diventa un componente del processo deliberativo, e quando questo accade senza essere dichiarato diventa difficile stabilire dove finisca il lavoro umano e dove inizi quello della macchina.

C'è un concetto che emerge implicitamente dall'argomentazione di Rossi: quello della responsabilità associata alla firma.

Quando un ricercatore pubblica un articolo mette il proprio nome su qualcosa: questo non significa sia personalmente responsabile di ogni singola parola o di ogni errore inevitabile, ma l'atto di apporre la propria firma è come affermare "... questo lavoro rappresenta ciò che, sulla base delle mie competenze e delle mie verifiche, sono disposto a sostenere davanti alla comunità scientifica ...".

E lo stesso vale per il revisore, anche quando la revisione è anonima esiste una responsabilità personale.

Il revisore sta implicitamente dicendo "... Ho letto questo lavoro, l'ho valutato e queste sono le ragioni per cui ritengo che debba essere pubblicato, modificato o respinto ...".

Cosa accade invece se il testo della revisione è stato generato da una macchina?

La domanda che Rossi si pone è "... chi sta davvero giudicando? Il revisore? Il modello linguistico? La società che ha sviluppato il modello? Nessuno? ..."

La questione non è soltanto giuridica, è soprattutto epistemologica: il rischio più grande che ne emerge è l'autoreferenzialità.

Le preoccupazioni di Rossi non riguardano il singolo revisore ma l'intero ecosistema.

Seguendo fino alle estreme conseguenze lo scenario ipotizzato da Rossi possiamo immaginare la seguente sequenza: AI → autore → articolo → AI → revisore → AI → editor → pubblicazione.

L'autore utilizza un modello per costruire il testo, il revisore utilizza un modello per valutarlo, l'editor potrebbe utilizzare sistemi automatici sempre più sofisticati per il triage e la selezione dei manoscritti, un altro sistema verifica lo stile ed un altro ancora controlla le citazioni.

L'intero processo può diventare estremamente efficiente, ma "... efficiente per fare cosa? ..." si chiede l'autore dell'articolo.

Potremmo trovarci davanti ad una macchina gigantesca capace di produrre, filtrare, correggere, classificare e pubblicare una quantità sempre maggiore di testi scientifici senza che aumenti proporzionalmente la quantità di pensiero scientifico originale.

Potremmo chiamare questo il paradosso dell'automazione: possiamo automatizzare sempre meglio la produzione della forma della conoscenza senza automatizzare necessariamente la produzione della conoscenza stessa.

Rossi utilizza un'immagine efficace nel sostenere che la scienza non procede soltanto attraverso la fluidità ma specialmente attraverso le resistenze: un sistema linguistico è naturalmente portato a rendere un testo fluido, coerente, elegante e comprensibile, ma la scienza ha bisogno anche di qualcuno che dica

"... no, questa conclusione non segue dai dati, questa correlazione potrebbe avere un'altra spiegazione, questo esperimento non dimostra ciò che gli autori sostengono, questa interpretazione è troppo forte. Manca un controllo, non avete considerato questa alternativa ..."

La buona revisione scientifica è, almeno in parte, un esercizio di attrito, attrito che un sistema ottimizzato per produrre risposte linguisticamente coerenti potrebbe involontariamente ridurre.

Il grosso rischio non è quindi che l'IA produca testi falsi ma che semmai produca testi troppo facilmente convincenti: una scienza nella quale la plausibilità linguistica rischia di crescere più rapidamente della capacità di verificare la verità delle affermazioni.

E' quindi indispensabile distinguere fra verità e plausibilità linguistica: un grande modello linguistico è straordinariamente efficace nel generare ciò che appare appropriato nel contesto, ma la scienza non richiede semplicemente ciò che appare appropriato, semmai ciò che resiste al confronto con la realtà.

Un articolo scientifico può essere scritto magnificamente e contenere un'interpretazione sbagliata, una teoria può essere elegante e falsa, un risultato può essere statisticamente significativo e non essere replicabile, una correlazione può essere reale e non avere il significato causale attribuitole: la storia della scienza è piena di esempi in cui un'idea inizialmente plausibile è stata demolita da un dato, da un esperimento o da un'obiezione teorica.

Questa è la funzione della comunità scientifica: non produrre soltanto plausibilità ma opporre la plausibilità alla realtà.

Quanto più una AI diventa competente nella produzione e nell'analisi dei testi scientifici, tanto più diventa preziosa come strumento per il ricercatore, ma proprio per questo diventa anche più pericoloso utilizzarla come sostituto: una AI mediocre è facilmente riconoscibile, qualora diventi molto competente sarebbe forse in grado di produrre una valutazione talmente convincente che il revisore potrebbe essere tentato di non esercitare più il proprio giudizio.

È lo stesso problema che si presenta in molte professioni cognitive: l'automazione non elimina necessariamente il professionista, può invece trasformarlo in un supervisore dell'automazione.

Questo ruolo contiene tuttavia una trappola: se il sistema funziona quasi sempre il supervisore tende progressivamente a controllare meno e quando arriva l'errore può essere proprio l'elemento umano ad essere diventato troppo debole per riconoscerlo.

Si potrebbe a questo punto obiettare che il problema è risolvibile mantenendo la presenza di un essere umano nel processo, ma non è sufficiente: un essere umano che legge attentamente, verifica e corregge l'output della macchina è una cosa, uno invece che clicca "approva" dopo aver dato una rapida occhiata è un'altra.

In entrambi i casi, formalmente, abbiamo uno human in the loop ma nel primo caso l'essere umano governa il processo, nel secondo lo certifica, e questa distinzione diventerà probabilmente una delle questioni centrali dell'etica delle AI.

La responsabilità non può essere ridotta alla presenza fisica di un essere umano nell'ultima fase della procedura, bisogna piuttosto chiedersi quanto effettivamente quell'essere umano abbia esercitato il proprio giudizio.

E se anche gli autori usassero le AI?

Supponiamo che un autore utilizzi un modello linguistico per produrre una prima versione dell'articolo: il modello suggerisce ipotesi, struttura il testo, interpreta alcuni risultati ed individua riferimenti.

L'autore corregge.

Poi il revisore utilizza un altro modello per valutare l'articolo.

L'editor utilizza algoritmi per classificare la revisione.

A quel punto potremmo avere una situazione paradossale: una macchina contribuisce alla produzione di un testo che un'altra macchina contribuisce a validare.

La scienza rischierebbe di diventare un sistema nel quale le macchine giudicano testi prodotti anche dalle macchine.

Non sarebbe necessariamente una scienza falsa, potrebbe persino essere una scienza estremamente efficiente; ma sarebbe una scienza nella quale diventa sempre più difficile identificare dove sia avvenuto il momento propriamente umano del giudizio.

Sarebbe tuttavia sbagliato concludere che l'unica soluzione sia proibire l'intelligenza artificiale, una cosa probabilmente impossibile e, soprattutto, controproducente: una AI può migliorare enormemente la ricerca ad esempio aiutando ad esplorare grandi quantità di letteratura, confrontando ipotesi, individuando correlazioni, scrivendo codice, analizzando dati, simulando sistemi complessi e persino suggerendo nuove direzioni di ricerca.

Il problema non è dunque l'uso dell'IA ma piuttosto la delega non riconosciuta del giudizio.

Potremmo immaginare una regola molto semplice quale "... è lecito delegare alla macchina il lavoro ma non la responsabilità ...": una frase semplice la cui applicabilità è tuttavia tutt'altro che facile in quanto occorrerebbe prima stabilire quali attività siano "lavoro" e quali costituiscano invece "giudizio".

Forse sarà necessario introdurre una sorta di tracciabilità cognitiva: non necessariamente pubblicare ogni prompt utilizzato durante la ricerca, cosa che potrebbe essere impraticabile, ma dichiarare almeno le funzioni sostanziali svolte dall'IA. (2)

Più si sale lungo questa scala, più aumenta il problema della responsabilità: utilizzare l'AI per correggere una virgola è molto diverso dal chiederle "decidi se questo articolo merita di essere pubblicato o meno".

In quest'ultimo caso il ricercatore dovrebbe essere obbligato, almeno eticamente, a dimostrare di aver esercitato personalmente il giudizio. (3)

In fin dei conti il problema sollevato da Rossi non riguarda soltanto l'efficienza ma soprattutto la fiducia: la scienza moderna dipende anche dalla fiducia che la società ripone nelle istituzioni e nelle procedure attraverso cui la conoscenza scientifica viene prodotta e controllata.

Non possiamo personalmente verificare ogni esperimento di fisica delle particelle, ogni studio epidemiologico, ogni sequenza genetica, ogni osservazione astronomica, ci fidiamo della comunità scientifica perché esiste una struttura di controlli e responsabilità, ed il peer review è uno degli elementi di questa struttura.

Se questa struttura venisse progressivamente trasformata in un sistema nel quale gli esseri umani si limitano a ratificare automaticamente gli output delle macchine, potrebbe verificarsi qualcosa di più grave della pubblicazione di qualche articolo mediocre.

Potrebbe deteriorarsi la fiducia sociale nella scienza, e questa è una conseguenza molto più seria perché la scienza non vive soltanto della correttezza dei suoi risultati ma della credibilità delle procedure attraverso cui quei risultati vengono prodotti.

L'episodio raccontato da Simone Rossi è piccolo, quasi banale: ci sono due revisioni apparentemente generate da un chatbot, un ricercatore che se ne accorge ed un articolo respinto.

Ma proprio gli episodi piccoli possono rivelare trasformazioni grandi perché la questione non è se domani le macchine sostituiranno completamente gli scienziati (probabilmente non accadrà) ma piuttosto quanto lentamente (e quasi impercettibilmente) siamo disposti a cedere alle macchine porzioni del lavoro che consideravamo inseparabili dal giudizio umano.

La scienza potrebbe diventare più veloce, più produttiva, più economica o sofisticata; potrebbe generare milioni di nuove ipotesi e migliaia di nuovi articoli: ma esiste una grande differenza fra una macchina che ci aiuta a pensare ed una macchina alla quale permettiamo di pensare al posto nostro.

Il primo scenario potrebbe rappresentare una delle più grandi rivoluzioni nella storia della conoscenza, il secondo produrre qualcosa di molto più ambiguo: una scienza sempre più efficiente nel produrre l'apparenza del sapere ma progressivamente meno capace di garantire chi abbia realmente pensato, controllato e assunto la responsabilità di quel sapere.

Può l'intelligenza artificiale svolgere alcune funzioni della peer review? Sì, certamente, ma questo non significa che possa sostituire il revisore.

La vera domanda tuttavia è "quando una macchina produce il giudizio e un essere umano lo firma, possiamo ancora chiamare quella procedura revisione fra pari?"

Perché il futuro del peer review potrebbe non dipendere dalla capacità delle macchine di diventare sempre più intelligenti, ma dalla nostra capacità di non diventare noi stessi sempre più passivi.

E in questo senso la provocazione finale di Rossi "... se è questo il processo di revisione tra pari, addio scienza ..." non è tanto una profezia sulla fine della scienza ma un avvertimento sulla possibile perdita della responsabilità che rende la scienza degna di fiducia.

Note:

(1) E' un uso che faccio anch'io per scrivere i miei post e posso testimoniare che non sempre le indicazioni sono corrette: più di una volta sono stato indirizzato ad un articolo su arXiv che trattava di tutt'altro rispetto alla mia richiesta.

(2) Ad esempio: assistenza linguistica, organizzazione del testo, analisi preliminare della letteratura, generazione di codice, analisi dei dati, formulazione di ipotesi, interpretazione dei risultati e preparazione della peer review.

(3) Nature stabilisce esplicitamente che i revisori non devono caricare i manoscritti nei sistemi di AI generativa proprio per ragioni di riservatezza.

Nature Methods ha pubblicato nel 2026 una specifica presa di posizione sull'uso responsabile della AI nella pubblicazione scientifica: il manoscritto sottoposto a peer review non deve essere caricato in strumenti generativi e chi utilizza AI per assistere nella scrittura di una revisione deve prima verificare con l'editor se quell'uso è ammesso (vedi 11 febbraio 2026 "Using AI responsibly in scientific publishing").

Ancora più significativo è un editoriale di Nature Nanotechnology dello scorso aprile, quindi vicinissimo alla vicenda raccontata da Rossi, che afferma l'IA possa supportare ma non sostituire il giudizio umano, l'expertise ed il pensiero critico nella peer review; inoltre ribadisce che il revisore deve essere responsabile dell'output e che l'uso dell'AI dovrebbe essere dichiarato (vedi 20 aprile 2026 "Peer review in the time of artificial intelligence").

Un aspetto non considerato nel testo del mio post - che invece sottolinea l'editoriale del 2026 - è legato alla responsabilità verso l'autore.

Alla domanda "Il revisore può consegnare a un'azienda privata il manoscritto confidenziale che gli è stato affidato?" Nature risponde "no": il manoscritto non deve essere caricato negli strumenti di IA generativa.

Un autore consegna un manoscritto inedito alla rivista con l'aspettativa che venga sottoposto a esperti selezionati e che rimanga riservato; se il revisore copia quel manoscritto dentro un modello generativo esterno, il problema non è più soltanto epistemologico ma diventa anche etico e di riservatezza.

Fuori dalla bolla!

contatore visite

sabato 29 agosto 2026

Elenco posts

AI, peer review e crisi della responsabilità scientifica: se il revisore è una macchina chi garantisce la scienza?

Elenco posts

Segnala una violazione