Il fattore Eureka: come si legge uno studio scientifico (parte 2).

Questa è la seconda parte di un articolo apparso in questo blog qui.
L'autore è Giuliano Parpaglioni, biologo nutrizionista.
Ci spiega cosa sono gli studi scientifici, come si leggono, cosa possono trovare ed introduce un nuovo fattore di valutazione, il "fattore Eureka", un indice inventato ma che ci può dare un'idea sul livello di importanza di una ricerca scientifica. Ovviamente conviene leggere la prima parte per comprendere meglio questa seconda.

Quando leggiamo una ricerca dovremmo sempre sapere cosa stiamo leggendo. Uno studio non è uguale all'altro, ha scopi diversi, nasce con basi diverse e giunge a conclusioni diverse. Per questo motivo gli studi hanno differenze profonde, già a partire dal metodo, cioè dalle regole e dalle basi che li hanno originati.
Ma quali sono i diversi tipi di studio scientifico?
Eccolo spiegato.
Buona lettura.

==

Studi descrittivi: Fatture Eureka 1-3 Gli studi descrittivi sono quelli che descrivono una data realtà: l’incidenza di una malattia, la presenza di un dato agente infettivo… ma anche ad esempio i case report, ovvero le pubblicazioni che riguardano una sola persona: il medico ha notato qualcosa di strano e pubblica l’esperienza su una rivista scientifica. Altro tipo di studio descrittivo è lo studio ecologico, che non riguarda la singola persona ma una popolazione. Questi studi sono la base della ricerca fuori dal laboratorio: cercano possibili correlazioni, cercano particolari, stimolano la curiosità di andare a vedere se c’è un nesso causale tra A e B, ma non danno risposte. Il FE di questi studi potremmo metterlo tra 1 e 3, a seconda della qualità dello studio. Un esempio è il case report di un ragazzo di 19 anni con disfunzioni erettili che il medico ha associato all’alto consumo di soia (3): interessante, ma va come minimo contestualizzato (il ragazzo soffriva anche di diabete) e verificato con altri studi.

Studi analitici: Fattore Eureka 2-7 Gli studi descrittivi sono pura osservazione e descrizione degli eventi. Gli studi analitici invece tentano di dare una giustificazione a quello che si osserva analizzando il fenomeno confrontando due popolazioni diverse: si usa quindi un controllo: una seconda popolazione di confronto.

• Studio trasversale (cross-sectional). Con questionari o utilizzando registri pubblici si cerca una relazione in un dato momento tra un evento A e un evento B. Ad esempio è possibile studiare l’associazione di obesità e artrite tra gennaio 2015 e gennaio 2016 a Milano, si fa un’istantanea, in un dato momento, di quella popolazione, si confrontano le persone tra loro e si può trovare una correlazione statisticamente significativa tra gli eventi. Il problema è che con questo tipo di studi non si riesce a capire se è A a causare B o viceversa: l’obesità scatena l’artrite per aumento dell’infiammazione o l’artrite causa l’obesità per una minore possibilità di muoversi? Questo tipo di studi potrebbero avere un FE da 2 a 4 a seconda della qualità dello studio. Sono più significativi degli studi descrittivi perché riescono a trovare correlazioni, ma non un rapporto di causa-effetto.

• Studio caso-controllo. In questo tipo di studi si prende in considerazione prima di tutto un effetto (ad esempio la presenza di una patologia) e si va indietro nel tempo per indagarne le cause. Grazie agli studi descrittivi si sospetta che ci sia, ad esempio, una correlazione tra una patologia e un certo tipo di alimentazione, così si cerca di capire come le persone si siano alimentate negli anni precedenti. Grossolanamente, se tra coloro che in passato hanno seguito una certa alimentazione sono molto frequenti i malati, mentre la popolazione che non l’ha seguita è più sana, è ragionevole supporre che quell'alimentazione causi la malattia. Potremmo dare a questi studi un FE da 3 a 5 a seconda della qualità del singolo studio. Cominciamo a riconoscere delle correlazioni causali, anche se non perfette: l’indagine retrospettiva non permette molta precisione, i registri potrebbero essere curati male, la memoria potrebbe essere imprecisa.

• Studio di coorte. È il principe degli studi osservazionali analitici, ed è anche il più costoso in assoluto. Lo studio di coorte prevede che si seguano delle popolazioni per un certo periodo di tempo, andando a registrare prima di tutto le possibili cause (es. un tipo di alimentazione suggerita dagli studi descrittivi) e, nel tempo, vedere cosa succede a chi è stato esposto a quell'evento (es. a chi continua ad alimentarsi in un dato modo). È spesso una ricerca lunga anni, che coinvolge molti centri di ricerca spesso sparsi per il mondo, di solito arruola decine di migliaia (o centinaia di migliaia) di persone per vedere cosa cambia col passare del tempo nella loro salute. Un esempio è lo studio EPIC (European Prospective Investigation Into Cancer and Nutrition), che cerca di capire come l’alimentazione influenzi l’insorgenza dei tumori. I risultati dati da questo tipo di indagine sono molto importanti, a volte determinanti per gli aggiornamenti delle linee guida, ma sono anche estremamente difficili e costosi.

A mio parere, il FE va da 5 a 7, perché dato l’alto numero di casi arruolati nella statistica e l’alto numero di ricercatori coinvolti, è altamente improbabile che la qualità possa essere scarsa.

Studi clinici: Fattore Eureka 5-8 Gli studi clinici sono quelli fatti in ospedale, sono quelli ad esempio che permettono la commercializzazione di nuovi farmaci e sono molto interessanti perché sono studi di intervento. Non ci si limita più a osservare, ma si interviene con un qualche approccio terapeutico per cambiare la situazione di un dato campione di persone. Determinante, per l’influenza che può avere questo tipo di ricerca, è il campione: il numero e la qualità delle persone coinvolte. In queste ricerche si può, ad esempio, confrontare l’effetto di un nuovo farmaco con il vecchio, oppure con un placebo. Se il campione di persone coinvolto è piccolo, lo studio può dare indizi per ulteriori indagini, ma difficilmente potrà essere un caposaldo della ricerca. Inoltre, si può decidere di randomizzare il campione oppure no: se io decido che data la caratteristica A il paziente avrà il placebo e data la caratteristica B avrà il farmaco vero, sto pilotando i due gruppi (e non è per forza un male, dipende dall'obiettivo della ricerca). Se invece ho interesse nel fatto che i due gruppi siano il più omogenei possibile allora dovrò randomizzarli, ovvero fare in modo che chi ha la caratteristica A finisca sia nel gruppo di controllo sia in quello con il farmaco vero. Altra caratteristica: gli studi possono essere in cieco, in doppio cieco e in triplo cieco. Gli studi in cieco sono quando il paziente non sa se sta prendendo il nuovo farmaco o quello vecchio; il doppio cieco è quando anche il ricercatore non sa se sta somministrando l’uno o l’altro; il triplo cieco coinvolge anche chi elabora i risultati, ad esempio lo statistico del gruppo di ricerca. Queste accortezze servono per minimizzare l’effetto placebo, che ci sarebbe in ogni caso. Tutte queste cose insieme fanno sì che questi studi siano estremamente importanti per la ricerca, e a seconda della qualità (piccolo o grande campione, randomizzazione, cieco, doppio cieco o triplo cieco) il FE può essere tra 5 e 8.

Revisioni sistematiche e metanalisi: Fattore Eureka 7-10 Capita spesso di trovare che lo studio A dica una cosa e lo studio B dica l’esatto contrario. Come si può decidere quale sia la posizione corretta? Ci vengono in aiuto le revisioni della letteratura. Storicamente una revisione (o review) è il racconto dello stato dell’arte: si prende tutta la letteratura scientifica su un dato argomento e se ne fa un riassunto, pubblicando la propria opinione a riguardo. Questo tipo di revisione è ormai abbastanza difficile da incontrare in ricerca clinica, anche se ne ha costituito la storia anche in epoca recente. Ora si parla soprattutto di revisioni sistematiche: un tipo di revisione più ancorato ai fatti. Si incomincia sempre dall’insieme della letteratura su un dato argomento, da qui i lavori vengono selezionati secondo criteri oggettivi di qualità e si dà un giudizio complessivo solo su quelli rimanenti. Per dare un’idea: è possibile che su un dato argomento ci siano più di 20.000 articoli, ma che in una revisione sistematica con criteri di selezione stringenti ne vengano esaminati al massimo una trentina. Quando poi, oltre al giudizio qualitativo e complessivo viene aggiunta anche l’analisi matematico-statistica, non si parla più di revisione sistematica ma di metanalisi.

Con questo tipo di lavoro arriviamo al punto più alto dell’analisi dei dati a disposizione: si prendono i risultati numerici dei lavori selezionati (con gli stessi criteri oggettivi delle revisioni sistematiche) e si mettono insieme per trovare delle risposte chiare e precise. Un esempio di metanalisi è il gigantesco lavoro del WCRF (World Cancer Research Fund), che mette insieme i dati di tutti i lavori che riguardano l’alimentazione, lo stile di vita e lo sviluppo di tumori. Questi lavori vanno secondo me da un FE di 7 in caso di revisione semplice, fino a un FE di 9 nel caso delle metanalisi. Ovviamente, la metanalisi che riguarda studi clinici ha più impatto di una metanalisi che riguarda studi di coorte. Esistono anche metanalisi di metanalisi, e probabilmente sono la cosa che più si avvicina a un FE di 10.

Conclusioni 

Leggere uno studio su PubMed non è una cosa semplice, molto spesso lo stesso linguaggio tecnico impedisce di capire bene quello che si sta leggendo e la matematica e la statistica sono scogli importanti anche per molti addetti ai lavori. Questo che ho proposto, anche in maniera scherzosa con la mia scala Eureka, è un primo passo per orientarsi e poter verificare meglio quello che si legge in giro. Non tutte le ricerche sono uguali, non tutte hanno lo stesso valore ma, allo stesso tempo, non per questo vanno trascurate perché possono essere l’inizio di qualcosa di importante in futuro. La ricerca in laboratorio, ad esempio, non ha alcun impatto immediato sulla quotidianità, ma è il punto di partenza dal quale scaturisce tutto il resto. Allo stesso modo, le metanalisi vanno analizzate, discusse, criticate e spolpate fino all’osso per poter essere prese in considerazione e poter diventare rilevanti come dovrebbero essere. La prossima volta che leggete su internet che hanno trovato la cura per il cancro, provate a cercare il lavoro originale e a capire di che tipo di lavoro si tratta, magari si sta solo illustrando uno studio ecologico.

Bibliografia

(1). Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. Evid Based Med. 2016;21(4):125-127. doi:10.1136/ebmed-2016-110401.

(2). Grimes DA, Schulz KF. An overview of clinical research: the lay of the land. Lancet (London, England). 2002;359(9300):57-61. doi:10.1016/S0140-6736(02)07283-5.

(3). Siepmann T, Roofeh J, Kiefer FW, Edelson DG. Hypogonadism and erectile dysfunction associated with soy product consumption. Nutrition. 2011;27(7-8):859-862. doi:10.1016/j.nut.2010.10.018.

Il fattore Eureka: come si legge uno studio scientifico (parte 1).

Già in passato ho ospitato in questo blog gli articoli di Giuliano Parpaglioni, biologo nutrizionista, che con quello che leggerete oggi ci spiegherà come si legge uno studio scientifico.

Non è facile come può sembrare ad un profano, ci sono molti elementi da valutare, particolari tecnici e fatti che, chi non è del campo, potrebbe sottovalutare.

Anche la ricerca apparentemente più banale può nascondere un colpo di genio e, viceversa, anche quella più complicata può essere, in realtà, vera spazzatura. Come fare quindi a valutare l'importanza di uno studio scientifico?
Oggi, con l'aumentare delle riviste "predatorie" (riviste scientifiche che di scientifico hanno pochissimo, pubblicano qualsiasi cosa, a prescindere dalla sua attendibilità, dietro pagamento) il caos è totale. È possibile trovare un dato ed il suo opposto. Non è facile quindi, per chi non ha gli strumenti adatti, capire il livello di ciò che si legge.

Il fattore Eureka è un indice inventato, bella intuizione di Giuliano, che serve a valutare l'attendibilità di uno studio.

Come fare? Eccolo spiegato.

L'articolo è diviso in due parti (potrebbe sembrare molto difficile ma non lo è e merita perché ci spiega cose che richiederebbero volumi interi).
Grazie a Giuliano Parpaglioni per la sua collaborazione.

==

Normalmente, le notizie in ambito scientifico arrivano tramite intermediari. Ognuno di noi si informa più o meno come tutti gli altri: articoli divulgativi online e cartacei, articoli di giornale, servizi televisivi, passaparola con amici e parenti.

Tutto quello che arriva alle notizie, ovviamente, deve avere avuto un'origine da qualche ricercatore che a un certo punto ha detto “oh, ecco: ora sappiamo che da A deriva B” pubblicando tutto il suo lavoro dimostrativo in una rivista scientifica in maniera dettagliata e tecnica. Successivamente, i giornalisti scientifici, gli addetti ai lavori o i vari interessati a quel dato argomento andranno a leggere quel lavoro e diffonderanno la notizia con i loro mezzi: generalmente il primo passaggio è cercare lo studio in un motore di ricerca dedicato, e PubMed è il più utilizzato.

Il passaggio tra l’articolo originale e l’orecchio della persona comune è quindi un passaggio critico, perché passa per una terza persona che si occupa di dare voce popolare a ciò che dice quel lavoro scientifico, spesso incomprensibile ai non addetti ai lavori. Salvo casi di cattiva scienza (ovvero lavori poco accurati, con analisi statistiche fantasiose o vere e proprie frodi), è questo il momento in cui siamo più deboli: dobbiamo fidarci di chi diffonde la notizia e della sua interpretazione, perché non saremmo in grado di andare a verificarla. Eppure sarebbe utile a molti il poter verificare le notizie che ci arrivano. L’obiettivo di questo articolo, quindi, sarà cercare di fare almeno un po’ di chiarezza tra i vari tipi diversi di studi che si possono trovare su PubMed, quale sia il peso di ciascun tipo di articolo nella quotidianità e quanto possiamo fidarci di un risultato, se non dal punto di vista matematico e statistico, almeno da quello divulgativo.

Il fattore Eureka

Credo che il modo migliore per arrivare all'obiettivo sia introdurre una scala di valori.

Potremmo chiamarla “scala Eureka”, e possiamo delimitarla tra 1 a 10.

Eureka è una parola che si traduce con “ho trovato” ed è attribuita ad Archimede di Siracusa;

nel nostro caso serve per definire lo stato di conoscenza raggiunto con un certo tipo di ricerca: con un Fattore Eureka (FE) di 1, più che “ho trovato” siamo di fronte a “forse potrebbe essere se”; un FE di 10 invece porta la matematica certezza che un dato avvenimento sia esattamente come descrive lo studio.

Un tipo di ricerca che abbia un FE pari a 1 potrebbe essere l’inizio di un nuovo filone di ricerca, un indizio per vedere se, come e quando una data cosa effettivamente avviene; un tipo di ricerca che arriva al 10 cambia le linee guida. Ci tengo a sottolineare che sto parlando di tipi diversi di pubblicazioni, non di singoli lavori: per questo motivo la scala non sarà mai esattamente definita ma magari potrà andare da TOT a TOT2 per quel tipo di pubblicazione. Ovviamente ci sono tanti lavori che rientrano in un FE di 1, ma 10 è praticamente una chimera: la scienza va avanti per verifiche e l’idea che esista un tipo di studio che da solo possa cambiare il mondo è alquanto improbabile. In questo contesto, questa scala ci servirà solo per capire come classificare quello che troviamo su PubMed, e che spesso viene riportato negli articoli: posso fare più affidamento su uno studio ecologico o su uno studio di coorte? Ha più rilevanza un trial clinico o uno studio caso-controllo? Queste sono le domande a cui voglio rispondere con la scala Eureka.

Esiste, in letteratura, quella che viene chiamata la evidence pyramid (1), la scala che useremo in questo articolo prenderà spunto dalla nuova versione di questa piramide, proposta nel 2016.

Le pubblicazioni

La ricerca inizia per curiosità, per voler scoprire come funziona qualcosa o per verificare che una data cosa sia effettivamente come si è sempre pensato fosse. Si chiama ricerca di base, ed è quella su cui si poggia tutto il mondo scientifico e tecnologico. In campo biomedico, si fa soprattutto nei laboratori e riguarda principalmente colture cellulari, esperimenti biochimici, microscopi, spettroscopi e camici macchiati di reagenti. Questa è la cosiddetta ricerca preclinica. Può essere in vitro se fatta in provette o su colture cellulari (che è la vera e propria ricerca di base) o in vivo se si tratta di esperimenti su animali (che spesso cerca già una qualche applicazione, anche se grossolana). Lo sviluppo di un farmaco ad esempio comincia così: si sintetizza una molecola, la si prova su cellule e poi su animali, se passa questi test la si prova su esseri umani. Fare ricerca sugli esseri umani però non riguarda solo i farmaci: apre infatti un ventaglio di possibilità molto ampio.

La ricerca clinica

Esiste tutta una serie di ricerche che riguardano la ricerca clinica e l’epidemiologia, tutte importanti – a loro modo – per comprendere meglio la realtà che ci circonda. Il seguente schema è la traduzione di quello pubblicato su Lancet nel 2002(2) che riassume, a grandi linee, cosa si fa in ricerca.

Immaginiamo di essere dei ricercatori che non fanno ricerca di laboratorio ma ricerca clinica. Abbiamo due strade principali da seguire: fare un qualche tipo di intervento (studi sperimentali) oppure limitarci a osservare cosa succede spontaneamente (studi osservazionali) e, in quest’ultimo caso, potremo decidere di descrivere semplicemente cosa succede in una popolazione (studi descrittivi) oppure fare un confronto tra due popolazioni (studi analitici). La scelta cambierà drasticamente il nostro FE, ma anche i costi e i tempi della nostra ricerca.

==

L'argomento, come si vede, è abbastanza complicato ed è per questo che nella valutazione di uno studio scientifico serve competenza. Nonostante possa sembrare ovvio fidarsi delle conclusioni di una ricerca, non è sempre così, gli elementi da valutare sono tanti.

Nella prossima parte dell'articolo cercheremo di capire il significato di ogni tipo di studio, a cosa serve e perché nasce (e cosa può concludere).

Alla prossima.