Poniamo che avete letto l’articolo precedente [1] e avete deciso che leggere articoli scientifici è un’ottima idea (o siete obbligati a farlo per qualsiasi motivo). Sarete tentati di fiondarvi subito sull’abstract o addirittura sull’articolo vero e proprio, magari senza neanche leggere il titolo. Se siete costretti o di fretta è comprensibile. Se invece volete essere scrupolosi, l’articolo offre alcuni dettagli a volte molto preziosi. Sia chiaro, quelle che seguono sono solo indicazioni di massima: nessuna vi autorizza a incasellare automaticamente un articolo scientifico come fatto bene o fatto male. Al massimo spostano leggermente le probabilità.
Quali dettagli?
Innanzitutto: di quali dettagli parliamo? Per saperlo è utile conoscere il formato dell’articolo. Giornali diversi hanno formati leggermente diversi, ma alcune cose sono uguali per tutti. Come esempio possiamo considerare questo articolo [2].
In alto è scritto dove possiamo trovarlo. Precisamente sul numero 129 della rivista Cognition, uscito nel 2013, da pagina 379 alla 391. Questa indicazione è necessaria se volete consultare la versione cartacea del giornale; oggi, con internet, è meno importante, e vi basta cercare il titolo dell’articolo nelle banche dati o su Google Scholar.
Subito sotto l’intestazione ecco il titolo, seguito dai nomi degli autori e la rispettiva affiliazione. Sotto ancora di sono alcune date, la “storia dell’articolo” (vedremo cosa significano), e le parole chiave. A fianco c’è l’abstract, che è il riassunto dell’articolo; poi comincia l’articolo vero e proprio.
Ecco, prima ancora di cominciare l’abstract possiamo scoprire tante cose.
Il giornale
I giornali scientifici in fondo sono come i giornali “normali”, perché hanno linee editoriali ben definite e possono essere più o meno di qualità.
Gli standard qualitativi
Tra i giornali “normali” come i quotidiani, i migliori sono quelli che pubblicano notizie interessanti, vere – soprattutto adesso in tempi di fake news – ma anche scritte bene. Tra quelli scientifici, invece, i migliori sono quelli che pubblicano articoli metodologicamente robusti che riportano risultati interessanti.
Se è facile capire perché i risultati debbano essere interessanti, non è facile capire perché debbano essere metodologicamente robusti. Anzi, non è nemmeno chiaro cosa voglia dire. In poche parole significa questo: gli autori hanno fatto il possibile per assicurarsi che le conclusioni raggiunte siano dovute a quello che credono loro, e non a qualche variabile che non hanno misurato.
Dunque i giornali di qualità pubblicano articoli migliori. Purtroppo questo non dà certezze sulla qualità di un articolo: a volte persino gli ottimi giornali pubblicano articoli di scarsa qualità. Semplicemente lo fanno molto, molto di rado.
Per di più, un’ottima metodologia non garantisce che i risultati siano interpretati correttamente, o che verranno confermati, o che non siano frutto del caso (sì, può capitare anche questo). Un’ottima metodologia si limita a minimizzare i rischi, soprattutto l’ultimo.
Impact factor
Detto questo, il lettore come può ottenere informazioni sulla qualità di un giornale? Può cercare su internet, per esempio sul sito Scimago, che offre vari indici di qualità. Il metro di giudizio standard per valutare un giornale è l’impatto dei suoi articoli sul resto della comunità scientifica, misurato con il cosiddetto “impact factor”.
Purtroppo l’impatto di un articolo è solo una misura indiretta della sua qualità, e si basa sull’assunto che gli scienziati leggano e citino articoli fatti bene. Nel mondo reale le cose non sono così semplici, e anche articoli fatti male possono diventare popolari. Tuttavia sui grandi numeri può funzionare: come detto prima, è solo un’indicazione di massima.
Le riviste predatorie
Non serve entrare nel merito del dibattito sulle riviste Open Access. Basti sapere che sono riviste in cui i lettori non pagano l’abbonamento alla rivista, ma gli autori degli articoli pagano per pubblicare [3]. L’Open Access è nato per rendere le riviste scientifiche più accessibili – appunto – ai lettori, e per diminuirne il costo.
Lo svantaggio è la comparsa delle cosiddette riviste predatorie, che seguono il modello Open Access ma senza attuare la peer review, quel processo tramite cui altri scienziati analizzano e criticano la bozza di un articolo prima che questo venga pubblicato. Sono riviste che, come suggerisce il nome, hanno solo fine di lucro e non si preoccupano della qualità di ciò che pubblicano. Per fortuna esiste una lista, la Beall’s List of Predatory Journals [4], che elenca le riviste potenzialmente predatorie.
In definitiva, il lettore scrupoloso di un articolo scientifico verifica che il giornale su cui l’articolo è pubblicato non sia una rivista predatoria, e controlla la sua qualità.
Date
Anche le date possono fare la differenza. Di solito ce ne sono tre: la prima quando il giornale ha ricevuto la prima bozza dell’articolo; la seconda, quando ha ricevuto la bozza corretta in seguito alla peer review; e la terza quando la bozza è stata definitivamente accettata per la pubblicazione.
Tra la prima e la seconda data avviene la peer review: il giornale chiede ad altri scienziati di valutare l’articolo e indicarne i punti deboli, sulla base della propria esperienza. È un processo lungo, che porta via mesi o addirittura anni (il tempo preciso dipende dalla qualità della prima bozza e dai tempi di risposta dei revisori, che lavorano pure gratis).
Nel caso dell’articolo di Willard & Norenzayan citato prima [2], la prima bozza è stata mandata il 3 marzo 2013, e la versione corretta il 25 luglio. Significa che sono passati più di quattro mesi e mezzo in cui gli autori hanno modificato il loro articoli su indicazione dei revisori, con un fitto scambio di mail.
Quattro mesi e mezzo è un tempo ragionevole: quattro giorni lo è un po’ meno. È il tempo impiegato dall’articolo di Montagnier et al., 2009 [5], un articolo celebre per i motivi sbagliati. Avrebbe infatti trovati delle prove a supporto dell’omeopatia (ma neanche questo è completamente vero [6]). Ma qui non serve entrare nel merito dell’articolo. Basta notare l’estrema rapidità con cui la bozza è stata accettata, neanche lontanamente sufficiente perché avvenga la peer review. Inoltre, il giornale che lo ha pubblicato è edito da Montagnier stesso [7]. È facile concludere che lo studio è stato fatto male e non c’è stata la peer review, ciò che avrebbe impedito la sua pubblicazione.
Ancora una volta queste sono solo indicazioni di massima. Un tempo maggiore non dà certezze, perché non garantisce che la peer review sia avvenuta davvero o che sia stata di qualità. Ciò che il lettore scrupoloso può fare è restare molto scettico degli articoli con date troppo ravvicinate.
Conflitti di interessi
Taylor & Francis, editore di riviste scientifiche, avverte l’autore che c’è conflitto di interessi “quando tu (o il tuo datore di lavoro o finanziatore) hai un rapporto finanziario, commerciale, legale o professionale con altre organizzazioni, o con persone che lavorino con esse, che può influenzare la tua ricerca” [8]. In poche parole, c’è ogni volta che l’autore pubblica i suoi risultati perché ha degli interessi diversi da quelli di onestà, trasparenza e oggettività dell’impresa scientifica.
I conflitti d’interessi mettono in dubbio i risultati pubblicati, vanno contro l’etica della ricerca e possono persino mettere in pericolo la salute delle persone, se la letteratura è quella medica. Lo mostra una meta-analisi che riassume gli studi sul rapporto tra il fumo e l’insorgenza di Alzheimer [9]. La meta-analisi considera 43 studi, di cui 11 sponsorizzati dall’industria del tabacco (gli altri 32 invece sono stati condotti da autori neutri e imparziali). Gli 11 studi sponsorizzati dall’industria del tabacco riportano regolarmente risultati più positivi, suggerendo che il fumo non aumenti il rischio di Alzheimer; i 32 studi imparziali, invece, mostrano il suo effetto nocivo. A causa di ciò, per decenni non si è saputo che fumare aumenta il rischio di ammalarsi di Alzheimer.
Normalmente gli editori dei giornali impongono agli autori di rivelare i propri conflitti di interessi: chi non lo fa rischia l’accusa di frode scientifica [10]. Eppure nel caso del fumo pochi autori hanno rivelato il proprio conflitto di interessi. Quindi il lettore scrupoloso come può fidarsi? Per l’ennesima volta, quelli che do sono consigli generali. Almeno ora sa che questo rischio esiste.
Open Science e pre-registrazione
Open Science
L’Open Science è recente. È un movimento che cerca di rendere le fasi della ricerca scientifica più aperte e trasparenti (da non confondere con l’Open Access di prima). Gli articoli Open Science sono appunto quelli che aderiscono a questa iniziativa, e cioè condividono i dati, i materiali, le analisi statistiche eccetera. In breve, agire in questo modo serve a limitare errori e distorsioni nella ricerca scientifica, nonché a renderla più replicabile (e per capire perché questo è utile potete passare al paragrafo 6, “Il dettaglio che non c’è: la replicazione”.
Pre-registrazione
Un’altra procedura mirata a migliorare la letteratura è la pre-registrazione delle ipotesi. Che cos’è?
Ecco cosa succede di solito. Normalmente i giornali ricevono le bozze degli articoli, in cui l’esperimento è già stato condotto, le ipotesi sono scritte e i risultati in bella mostra. La procedura vuole che i ricercatori prima abbiano scritto le ipotesi, e poi abbiano condotto lo studio per confermarle o confutarle.
Purtroppo a volte succede l’opposto: i ricercatori prima ottengono i risultati, e poi scrivono delle finte ipotesi su misura. Questa pratica viene definita HARKing, “hypothesizing after the results are known” (ipotizzare dopo che i risultati sono noti). In pratica è come tirare al bersaglio, ma disegnando i bersagli dopo che si è già sparato. Non solo è una pratica disonesta, ma crea problemi dal punto di vista statistico.
Ebbene, la pre-registrazione serve esattamente a evitare l’HARKing. Funziona così. Innanzitutto il giornale stabilisce insieme ai ricercatori le ipotesi, il metodo sperimentale e le analisi. Solo a quel punto i ricercatori raccolgono i dati, seguendo l’accordo passo per passo. Se l’accordo viene rispettato il giornale pubblicherà i risultati, a prescindere che siano buoni o meno.
Purtroppo Open Science e pre-registrazione sono fenomeni recenti e non privi di oppositori, e quindi applicati solo da alcuni giornali in modo poco sistematico. Un esempio di iniziativa lodevole è quella del giornale Psychological Science [11]. Il giornale conferisce dei badge, delle medaglie, agli articoli che hanno pre-registrato ipotesi, o condiviso script delle analisi statistiche e materiali sperimentali. I badge servono a rendere questi articoli ben riconoscibili.
Cosa può trarre il lettore? In breve, può avere maggiore fiducia dei risultati di un articolo che aderisce all’Open Science o che abbia pre-registrato le ipotesi. Nello specifico i vantaggi sono numerosi, e conto di spiegarveli nel dettaglio in futuro.
Il dettaglio che non c’è: la replicazione
Come detto prima, l’Open Science aumenta la replicabilità. Non è poca cosa, perché la replicabilità è un cardine dell’impresa scientifica. Si basa sul semplice assunto che se un risultato è vero e oggettivo, allora può essere ottenuto da chiunque, dovunque, più volte.
È senza dubbio il dettaglio più importante di quelli che ho elencato, anche se purtroppo non compare sull’articolo (per ovvi motivi). Il vero giudice della realtà di un risultato è proprio questo, la sua replicazione.
Il lettore scrupoloso, quando vede un risultato in un articolo, si chiede queste cose: questo risultato è stato replicato, sia dagli stessi ricercatori che da altri? Quante volte? La metodologia delle replicazioni è robusta? Solo quando le risposte sono “sì”, “tante” e “sì” il lettore scrupoloso può davvero fidarsi di un risultato. Prima di avere queste risposte è bene rimanere scettici.
Non è facile, ma non è un caso se qualcuno ha definito l’impresa scientifica come “scetticismo organizzato” [12].
Bibliografia
- [2] Willard AK & Norenzayan A (2013). Cognitive biases explain religious belief, paranormal belief, and belief in life’s purpose. Cognition, 129(2), 379-391.
- [5] Montagnier L, Aissa J, Ferris S, Montagnier JL, & Lavalléee C (2009). Electromagnetic Signals are Produced by Aqueous Nanostructures Derived from Bacterial DNA Sequences. Interdisciplinary Sciences: Computational Life Sciences, 1(2), 81-90.
- [9] Cataldo JK, Prochaska JJ & Glantz SA (2010). Cigarette smoking is a risk factor for Alzheimer’s Disease: An analysis controlling for tobacco industry affiliation. Journal of Alzheimer’s Disease, 19(2), 465-480.
- [12] Merton RK (1942). A Note on Science and Democracy. Journal of Legal & Political Sociology, 1, 115-126.
Collegamenti esterni
- [1] Cos’è un articolo scientifico e a chi serve – BioPills
- [3] Le riviste scientifiche open access tra opportunità e truffe – Cicap
- [4] BEALL’S LIST OF PREDATORY JOURNALS AND PUBLISHERS
- [6] The Montagnier “Homeopathy” Study – Science based medicine
- [7] Systems Biology and Bioinformatics
- [8] What is a conflict of interest? – Author Services
- [10] Conflict of interest- ICMJE
- [11] Open Practice Badges – APS
