GRADE: La metodologia valutazione della qualità degli studi Alessandra Coscia - Terapia Intensiva Neonatale
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
QCN
Gruppo di Studio per la Qualità delle Cure in Neonatologia
La metodologia
GRADE:
valutazione della
qualità degli studi
Alessandra Coscia
Terapia Intensiva Neonatale
Università di Torino
1
Il percorso del GRADE: dove siamo 1. definizione del quesito clinico sul quale deve essere formulata la raccomandazione 2. individuazione di tutti gli esiti relativi al quesito clinico e valutazione della loro importanza relativa per una adeguata valutazione dell’intervento specifico 3. ricerca dei dati relativi agli effetti positivi o negativi dei diversi interventi oggetto di valutazione 4. sintesi delle prove per singolo outcome ritenuto “essenziale” o “importante” 5. valutazione della qualità delle prove per ciascun outcome 6. valutazione della qualità globale delle prove
Il punto di arrivo Kapoor V, Glover R, Malviya MN. Alternative lipid emulsions versus pure soy oil based lipid emulsions for parenterally fed preterm infants. Cochrane Database of Systematic Reviews 2015, Issue 12.
il grading della qualità delle evidenze (per singolo esito)
Quanto si può confidare nel fatto che la stima del beneficio/danno possa
essere usata a favore/contro il raccomandare l’uso di un intervento
Alto grado di fiducia che l’effetto reale sia
alta molto vicino alla stima
Discreto grado di fiducia che l’effetto reale sia
moderata abbastanza vicino alla stima, ma esiste anche la
possibilità che sia sostanzialmente diverso
Scarsa fiducia nella stima: l’effetto reale
bassa potrebbe essere sostanzialmente diverso dalla
stima
Fiducia molto scarsa nella stima: è
molto bassa molto probabile che l’effetto reale sia
sostanzialmente diverso dalla stima
La qualità delle “evidenze”
Il GRADE sottolinea il diverso significato
che il termine qualità assume per:
revisione sistematica linea guida
il limite di confidenza come quanto il limite di
stima dell’effetto confidenza è adeguato a
supportare una decisione
(effetto reale)
Guyatt GH, Oxman AD, Kunz R et al. GRADE guidelines 6. Rating the quality of evidence—imprecision.
J Clin Epidemiol. 2011 Dec;64(12):1283-93
valutazione della qualità delle prove (per singolo esito)
… basata non solo sull’appropriatezza del disegno dei singoli studi
altri criteri:
a. limiti nella qualità di conduzione dei singoli studi (bias)
b. coerenza dei risultati tra differenti studi
c. diretta applicabilità/rilevanza dei risultati rispetto ai
soggetti/pazienti per i quali deve essere formulata la
d. raccomandazione
precisione dei risultati
e. pubblicazione selettiva dei dati (publication bias)
f. forza dell’associazione tra intervento e esito (outcome)
g. presenza di un gradiente dose-risposta
h. “direzione” degli effetti dei confondenti plausibilicriteri per aumento/diminuzione del giudizio di qualità
limiti nella qualità della conduzione dello studio - 1; -2
livelli di qualità
studi randomizzati e controllati
errori o insufficiente attenzione a una assegnazione in cieco
al braccio di trattamento o di controllo (allocation concealment )
mancanza o problemi nella effettiva realizzazione della cecità,
specie per outcome soggettivi
perdita al follow up di una quota importante di pazienti
originariamente inclusi negli studi o perdite al follow up
asimmetriche nei due gruppi (attrition bias )
esclusione dall’analisi dei soggetti/pazienti persi al follow up
in diversi momenti dello studio (violazione intention to treat )
Report selettivo degli outcome
interruzioni precoci degli studi a seguito di un eccesso di
efficacia o tossicità, secondo modalità non previste dal protocollolimiti nella qualità della conduzione dello studio
studi osservazionali
mancanza di aggiustamento per i fattori prognostici
(confondimento)
valutazioni degli outcome effettuate in modo differente
nei gruppi dello studio (detection bias )
ampie perdite al follow up o follow up troppo breve
negli studi caso-controllo, la probabilità che le informazioni
relative all’esposizione siano state raccolte con modalità
differenti nei due gruppi (information bias )Report: esempio (Cochrane) Ohlsson A, Shah PS. Paracetamol (acetaminophen) for patent ductus arteriosus in preterm or low-birth-weight infants. Cochrane Database of Systematic Reviews 2015, Issue 3.
Ohlsson A, Shah PS. Paracetamol (acetaminophen) for patent ductus arteriosus in preterm or low-birth-weight infants. Cochrane Database of Systematic Reviews 2015, Issue 3.
“inconsistency” (incoerenza, eterogeneità) Guyatt GH, Oxman AD, Kunz R, et al. GRADE guidelines: 7. Rating the quality of evidence—inconsistency. J Clin Epidemiol. 2011 Dec;64(12):1294-302
“inconsistency” (incoerenza, eterogeneità) -1
livello di qualità
questo criterio si applica all’insieme della letteratura disponibile
e non al singolo studio
si manifesta come ampia variabilità delle stime d’effetto
(eterogeneità) tra gli studi,
senza che vi sia una spiegazione logica
(non attribuibile a diversità in:
popolazione, interventi, esiti o metodo degli studi)
aumenta l’incertezza
sulla reale entità dell’effetto
dell’interventoquattro criteri per valutare l’incoerenza nei risultati
valutare una riduzione del rating quando:
la “stima puntuale” varia ampiamente tra i diversi studi
gli intervalli di confidenza mostrano una sovrapposizione minima
o nessuna sovrapposizione
il test statistico per eterogeneità, che valuta l’ipotesi nulla che
tutti gli studi in una metanalisi hanno la stessa sottostante
grandezza di effetto, ha un basso valore di p
Valore di I2 , che quantifica la proporzione della variazione nelle
stime puntuali dovuta alla differenza tra gli studi, alto
(valore “può essere” indicativo, ma mostra ampie sovrapposizioni:diversi tipi di eterogeneità
nel definire
la qualità dell’evidenza per una LG,
l’incoerenza è importante solo quando
riduce la fiducia nei risultati in
relazione ad una specifica decisionealta eterogeneità
porre attenzione nell’analisi dei sottogruppi
La necessità di analizzare le caratteristiche
dei diversi sottogruppi per comprendere l’eterogeneità
nella composizione degli stessi“indirectness” (incertezza sulla trasferibilità dei risultati) Guyatt GH, Oxman AD, Kunz R et al. GRADE guidelines: 8. Rating the quality of evidence—indirectness. J Clin Epidemiol. 2011 Dec;64(12):1303-10
incertezza sulla trasferibilità dei risultati - 1; -2
livelli di qualità
indirectness
questo criterio si applica all’insieme della letteratura disponibile
e non al singolo studio
popolazione, intervento, controllo o esito: indiretti
il quesito per il quale si deve fare la raccomandazione si riferisce a una
popolazione, intervento, controllo o outcome diversi da quelli per cui
sono disponibili le prove di efficacia (es. età pediatrica e non
neonatale, ecc)
confronto indiretto
non sono disponibili confronti diretti tra intervento A e intervento B;
esistono solo studi che confrontano A con C, e B con Cesiti surrogati ...
l’importanza del PICO !!
la definizione compiuta del quesito clinico
con le dimensioni PICO è utile per
valutare la trasferibilità
più o meno diretta delle prove disponibili.
La indirectness dei risultati dipende in larga misura
dalla distanza tra gli studi disponibili e
il quesito posto dalla raccomandazione che si deve formulare.
…. se si affrontano,
all’interno della stessa raccomandazione,
quesiti che riguardano sottogruppi,
il giudizio sulla indirectness potrebbe cambiare in
funzione di una maggiore o minore focalizzazione del PICO“imprecision” Intervalli di confidenza (“range nel quale plausibilmente si colloca il vero”) come guida per definire il grado di imprecisione Ampi intervalli di confidenza riduzione del rating di 1 o di 2 intervalli di confidenza stretti, ma gli studi includono pochi pazienti e/o si verificano pochi eventi: i risultati sono imprecisi riduzione del rating di 1 Nell’ottica di una raccomandazione, stabilire la soglia oltre la quale si può considerare l’effetto clinicamente rilevante (“clinical decision threshold”) Guyatt GH, Oxman AD, Kunz R et al. GRADE guidelines 6. Rating the quality of evidence--imprecision. J Clin Epidemiol. 2011 Dec;64(12):1283-93
diversa interpretazione della “qualità”
ipotetica l’intervento permette una riduzione assoluta di un evento grave
RS: dell’ 1.3% (IC 95%: 0.6-2)
se l’intervento non ha raccomandazione forte
primo importanti effetti collaterali, anche per una
scenario è accettabile e riduzione assoluta dello 0.5%
i costi sono contenuti
la precisione
2.0% 1.3% 0.6.% delle prove di efficacia
è sufficiente a supportare
una raccomandazione forte
0.5 0
Intervento a favore
Guyatt GH, Oxman AD, Kunz R et al. GRADE guidelines 6. Rating the quality of evidence—imprecision.
J Clin Epidemiol. 2011 Dec;64(12):1283-93diversa interpretazione della “qualità”
possiamo ipotizzare una
raccomandazione
se l’intervento è
secondo a favore dell’intervento
associato ad una
scenario solo in presenza di una
forte tossicità
riduzione assoluta dell’ 1.0%
l’ imprecisione
2.0% 1.3% 0.6.%
delle prove di efficacia
genera incertezza rispetto
all’effetto reale di una
raccomandazione debole
1.0 0
Intervento a favore
Guyatt GH, Oxman AD, Kunz R et al. GRADE guidelines 6. Rating the quality of evidence—imprecision.
J Clin Epidemiol. 2011 Dec;64(12):1283-93significatività, imprecisione e ….
non statisticamente significativo; non statisticamente significativo;
preciso impreciso
eterogeneo eterogeneo
statisticamente significativo; statisticamente significativo;
preciso imprecisoOptimal Information Size (OIS)
se il numero totale dei pazienti
inclusi in una revisione sistematica
è inferiore
al numero dei pazienti generato
da un convenzionale calcolo della dimensione del
campione necessario a definire un’adeguata potenza di
un singolo trial …... bisogna prendere in
considerazione una riduzione del rating
(per imprecisione)nota circa la precisione nello sviluppo di LG
considerare fino a che punto la confidenza nella stima
dell’effetto è adeguata a supportare la decisione
l’effetto sugli esiti deve essere valutato complessivamente,
considerando insieme rischi e benefici
determinare la soglia tenendo conto di quanto un rischio possa
risultare accettabile in relazione a un dato beneficio (o
viceversa).
alcuni esiti possono essere più importanti di altripubblicazione selettiva dei dati -1
livello di qualità
… se si verifica una pubblicazione selettiva di interi studi (publication bias )
gli effetti (positivi o negativi) stimati da uno o più studi
possono essere non validi
(sia come sovra- che come sottostima dell’ipotetico “valore vero”).
esistono metodi statistici per esplorare l’esistenza o meno di tali bias,
ma la loro effettiva utilità è oggetto di dibattito anche tra i metodologi.
GRADE
considerare e discutere esplicitamente
questa possibilità e esaminare, caso per caso, se in presenza di
forte sospetto di publication bias non sia opportuno procedere a
un downrating della qualità.
Copas e Shi, 2001; Dear e Begg, 1992publication bias Guyatt GH, Oxman AD, Montori V et al. GRADE guidelines: 5. Rating the quality of evidence--publication bias. J Clin Epidemiol. 2011 Dec;64(12):1277-82
Azioni che contribuiscono al publication bias Guyatt GH, Oxman AD, Montori V et al. GRADE guidelines: 5. Rating the quality of evidence--publication bias. J Clin Epidemiol. 2011 Dec;64(12):1277-82
rappresentazione grafica del publication bias
(a) Funnel plot. The circles represent the point estimates of the trials. The pattern of distribution resembles
an inverted funnel. Larger studies tend to be closer to the pooled estimate (the dashed line). In this case,
the effect sizes of the smaller studies are more or less symmetrically distributed around the pooled
estimate.
(b) Publication bias. This funnel plot shows that the smaller studies are not symmetrically distributed around
either the point estimate (dominated by the larger trials) or the results of the larger trials themselves. The
trials expected in the bottom right quadrant are missing. One possible explanation for this set of results is
publication biasdan overestimate of the treatment effect relative to the underlying truth.
Guyatt GH, Oxman AD, Montori V et al. GRADE guidelines: 5. Rating the quality of evidence--publication bias.
J Clin Epidemiol. 2011 Dec;64(12):1277-82rating up the quality of evidence Guyatt GH, Oxman AD, Sultan S et al. GRADE guidelines: 9. Rating up the quality of evidence. J Clin Epidemiol. 2011 Dec;64(12):1311-6.
si può aumentare il livello …
studi osservazionali, ben condotti
+ 1; + 2
1 forte associazione tra intervento ed esito livelli di qualità
se si osserva un effetto di grandi dimensioni e coerente tra studi diversi,
(RR > 2 o addirittura > 5) è possibile aumentare il livello di fiducia nella
stima dell’effetto. L’aumento si applica solo a studi che non hanno nessun
altra carenza metodologica (nessuna altra diminuzione di livello).si può aumentare il livello …
studi osservazionali, ben condotti
+ 1;
presenza di un gradiente dose-risposta livello di qualità
2
se si osserva un effetto proporzionale alla dose del trattamento è
possibile aumentare il livello di fiducia nella stima dell’effetto.
L’aumento del livello si applica solo a studi che non hanno nessun
altra carenza metodologica (nessuna altra diminuzione di livello)..
Kramer MS, and Promotion of Breastfeeding Intervention Trials Study Group.
Feeding effects on growth during infancy.J Pediatr. 2004 Nov;145(5):600-5.tutti i confondenti plausibili …
studi osservazionali, ben condotti + 1;
livello di qualità
3 se si osserva un effetto nonostante tutte le possibili distorsioni (bias ) e
i potenziali confondenti vanno
nella direzione di diminuire l’entità dell’effetto,
è possibile aumentare il livello di fiducia nella stima dell’effetto.
L’aumento del livello si applica solo a studi che non hanno nessuna altra
carenza metodologica (nessuna altra diminuzione di livello).criteri per aumento/diminuzione del giudizio di qualità
valutazione della qualità globale
considerare solo gli outcome essenziali (critici) per la
formulazione della raccomandazione relativa al quesito clinico.
se la qualità è diversa fra i singoli outcome essenziali:
se i risultati vanno in direzioni opposte
(es. il trattamento oggetto della raccomandazione è migliore in termini di efficacia
ma peggiore per quanto riguarda gli effetti indesiderati),
la qualità globale viene basata sulla valutazione peggiore
ossia assumendo come più rappresentativo l’outcome che ha
ottenuto la più bassa valutazione di qualità;
se i risultati vanno nella stessa direzione per tutti gli outcome
(beneficio o danno), viene assunta come qualità globale delle
prove la qualità di un singolo outcome essenziale che da solo
basterebbe per formulare compiutamente la raccomandazione.Kapoor V, Glover R, Malviya MN. Alternative lipid emulsions versus pure soy oil based lipid emulsions for parenterally fed preterm infants. Cochrane Database of Systematic Reviews 2015, Issue 12.
Puoi anche leggere
