Ricerche Microbiologiche: procedure standard del regno Unito - APSI
←
→
Trascrizione del contenuto della pagina
Se il tuo browser non visualizza correttamente la pagina, ti preghiamo di leggere il contenuto della pagina quaggiù
Ricerche Microbiologiche: procedure standard del regno Unito Valutazioni, validazioni e verifiche delle prove diagnostiche Emesso da Standards Unit, Microbiology Services, PHE Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione:16.03.17 | Pagina: 1 di 45 © Crown copyright 2017
Valutazioni, validazioni e verifiche delle prove diagnostiche Ringraziamenti Le Procedure Standard del Regno Unito per le Ricerche Microbiologiche (SMI - Standards for Microbiology Investigations) sono sviluppate sotto l'egida della Public Health England (PHE) in collaborazione con il Servizio Sanitario Nazionale (NHS - National Health Service), la Sanità Pubblica del Galles e con le organizzazioni professionali i cui loghi sono di seguito elencati sul sito web https://www.gov.uk/uk-standards-for-microbiology-investigations-smi-quality-and- consistency-in-clinical-laboratories. Le SMI sono sviluppate, revisionate e controllate da diversi gruppi di lavoro che sono supervisionati da un comitato direttivo (consultarehttps://www.gov.uk/government/groups/standards-for-microbiology-investigations- steering-committee). Si ringraziano per contributi forniti i numerosi operatori dei laboratori clinici, gli specialisti e i laboratori di riferimento che hanno fornito informazioni e commenti durante lo sviluppo di questo documento. Si ringraziano i Revisori Medici per le modifiche apportate ai contenuti clinici. Per ulteriori informazioni contattare: Standards Unit Microbiology Services Public Health England 61 Colindale Avenue London NW9 5EQ E-mail: standards@phe.gov.uk Website:https://www.gov.uk/uk-standards-for-microbiology-investigations-smi-quality-and- consistency-in-clinical-laboratories Numero di accesso alle pubblicazioni PHE: 2015306 Le Procedure Standard del Regno Unito per le Ricerche Microbiologiche sono sviluppate con la collaborazione di: I loghi sono aggiornati al momento della pubblicazione Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 2 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Contenuti Ringraziamenti ....................................................................................................................... 2 Tabella delle modifiche.......................................................................................................... 4 SMI RU: scopo e obiettivo ..................................................................................................... 5 Scopo del documento............................................................................................................ 8 Introduzione ........................................................................................................................... 8 Diagramma 1: Valutazione, validazione e verifica di metodi diagnostici diagramma di flusso .................................................................................................................................... 12 Table 1: la Tabella illustra esempi di valutazione, validazione e verifica dei metodi diagnostici ............................................................................................................................ 13 1 Considerazioni generali in corso di valutazione, validazione o verifica .................. 19 2 Analisi staistica ........................................................................................................... 19 3 Documentazione delle valutazioni ............................................................................. 22 4 Documentazione delle validazioni e verifiche ........................................................... 23 Appendice 1: Riassunto della relazione di valutazione per una nuova o modificata strumentazione diagnostica, kit o regenti .......................................................................... 26 Appendice 2: Riassunto della relazione di validazione per introdurre un kit o reagente per diagnostica nuova o modificata ................................................................................... 33 Appendice 3: Checklist di validazione di kit o reagenti .................................................... 35 Appendice 4: Riassunto della relazione di verifica per l’adozione di una prova o procedura precedentemente validata ................................................................................. 36 Appendice 5: Esempio di linearità .................................................................................... 38 Appendice 6: Considerazioni dettagliate nello svolgimento di valutazione, validazione o verifica ............................................................................................................................... 39 Bibliografia ........................................................................................................................... 44 Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 3 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Tabella delle Modifiche Ciascun metodo SMI possiede una registrazione separata delle correzioni. Quelle attuali sono specificate in questa pagina. Le precedenti modifiche sono disponibili presso la standards@hpa.org.uk. I documenti nuovi o revisionati devono essere controllati in ciascun laboratorio in accordo con il sistema locale di gestione della qualità. Modifica Numero/data. 8/16.03.17 Emissione eliminata no. 4.3 Emissione inserita no. 5 Data anticipata per nuova revisione* 16.03.2020 Sezione(i) interessate. Modifica Il titolo del documento è stato aggiornato. Il documento è stato ampliato per includere l'incertezza di misurazione. Documento intero. Aggiunti il diagramma 1 e la Tabella 1 con terminologie semplificate usate nel documento tramite esempi. Bibliografia Bibliografia aggiornata *La revisione può essere protratta fino a cinque anni in funzione della disponibilità di risorse Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 4 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche SMI RU: scopo e obiettivo Utilizzatori delle SMI Nel Regno Unito le SMI sono principalmente destinate come risorsa generale ai professionisti che operano nel campo della medicina di laboratorio e delle malattie infettive. Le SMI forniscono ai clinici informazioni in merito allo standard dei servizi di laboratorio riferibili alle ricerche per la diagnosi delle infezioni nei loro pazienti e le documentazioni forniscono indicazioni che facilitano la prenotazione elettronica di test appropriati. I documenti forniscono gli standard per le ricerche microbiologiche anche ai responsabili della sanità pubblica che devono considerarle come parte delle procedure da adottare per la salute sia clinica che pubblica per la propria popolazione. Informazioni di base per le SMI Le SMI comprendono algoritmi e procedure raccomandate che riguardano tutte le componenti del processo diagnostico dalla fase pre-analitica (sindrome clinica) alle diverse fasi analitiche (prove di laboratorio) e post-analitiche (interpretazione e comunicazione dei risultati).Gli algoritmi delle sindromi sono corredati da informazioni più dettagliate contenenti consigli sulle indagini per specifiche malattie e infezioni. Note orientative riguardano il contesto clinico, la diagnosi differenziale e indagini appropriate per particolari condizioni cliniche. Le note orientative descrivono metodologie di laboratorio essenziali che sono alla base della qualità, ad esempio la validazione. La Standardizzazione del processo diagnostico conseguente all'adozione delle SMI consente di garantire in tutto il Regno Unito strategie d’indagine equivalenti nei diversi laboratori ed è una condizione essenziale per interventi nel campo della sanità pubblica, della sorveglianza, e per le attività di ricerca e di sviluppo. Coinvolgimento delle organizzazioni professionali Lo sviluppo delle SMI è condotto in condizione paritaria da PHE, NHS,Royal College of Patholoogists e organizzazioni professionali. L'elenco delle organizzazioni partecipanti può essere trovato su sito https://www.gov.uk/uk-standards-for-microbiology-investigations-smi- quality-and-consistency-in-clinical-laboratories. L'inclusione del logo di un’organizzazione in una SMI implica il sostegno degli obiettivi e del processo di preparazione del documento. I rappresentanti delle organizzazioni professionali fanno parte del Comitato Direttivo e dei Gruppi di Lavoro che sviluppano le SMI. Le opinioni dei partecipanti non sono necessariamente quelle espresse da tutta l'organizzazione che essi rappresentano. I rappresentanti agiscono da tramite con funzione di collegamento bi-direzionale per informazione e dialogo. Le attività di rappresentanza sono ricercate tramite un processo di consultazione. Le SMI sono sviluppate, revisionate e aggiornate tramite un ampio processo di consultazione. Assicurazione di qualità La NHS Evidence ha accreditato la procedura usata dai SMI Working Groups per produrre le SMI. L’accreditamento è applicabile a tutte le linee guida emesse dall’Ottobre 2009. La procedura per losviluppo delle SMI è certificata dalla ISO 9001:2008. Le SMI rappresentano una procedura standard di buona qualità pratica alla quale si devono attenere per la propria attività tutti i laboratori di microbiologia clinica e di sanità pubblica del Regno Unito. Le SMI Microbiologia è usato come termine generico per includere le due specialità di Microbiologia Medica riconosciute dal GMC (General Medical Council), (che comprende Batteriologia, Micologia e Parassitologia) e la Virologia Medica. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 5 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche accreditate dal NICE e rappresentano gli standard minimi di attività, e neppure il più alto livello di complesse indagini di laboratorio. Utilizzando le SMI, i laboratori dovranno tenere conto delle esigenze locali e intraprendere ricerche addizionali qualora opportune. Le SMI aiutano i laboratori a soddisfare i requisiti dell’accreditamento con la promozione di procedure d’elevata qualità che possono essere verificate. Le SMI forniscono inoltre un punto di riferimento per lo sviluppo del metodo. Le prestazioni della SMI dipendono da personale ben addestrato e dalla qualità dei reagenti e delle attrezzature utilizzate. I laboratori dovrebbero assicurare che tutti i reagenti di tipo commerciale e quelli messi a punto in laboratorio siano stati validati e che i risultati siano idonei allo scopo. I laboratori devono partecipare a programmi di valutazione di qualità esterni ed eseguire le relative procedure del controllo di qualità interno. Coinvolgimento del paziente e della comunità Nello sviluppo delle SMI i rispettivi Gruppi di Lavoro sono impegnati per favorire il coinvolgimento dei pazienti e dell’opinione pubblica. Grazie al coinvolgendo pubblico, di operatori sanitari, ricercatori e organizzazioni di volontariato, la SMI risultante sarà strutturalmente valida e atta a soddisfare le esigenze dell'utente. L’opportunità di partecipazione per contribuire alla consultazione è estesa al pubblico con l’accesso libero al nostro sito web. Informazione della gestione dei dati sensibili La PHE è un’organizzazione che condivide le direttive Caldicott. Ciò significa prendere ogni possibile precauzione per prevenire la diffusione non autorizzata di informazioni sui pazienti e di garantire che le informazioni relative agli stessi siano mantenute in condizioni di sicurezza. Lo sviluppo di metodi SMI è assoggetto agli obiettivi PHE di Uguaglianza.lhttps://www.gov.uk/ government/organisations/public-health-england/about/equality-and-diversity. I Gruppi di Lavoro SMI sono impegnati a raggiungere gli obiettivi di parità di consultazione efficace con gli appartenenti al pubblico, i partner, le parti interessate ed i gruppi specialistici coinvolti. Dichiarazione legale Mentre ogni cura è stata intrapresa per la preparazione delle SMI, PHE e ogni altra organizzazione di sostegno, deve, per quanto possibile in base a qualunque legge vigente, escludere la responsabilità per tutte le perdite, costi, reclami, danni o spese derivanti da o connessi all'uso di una SMI o con qualsiasi informazione ivi contenuta. Se si apportano modifiche a una SMI, si deve porre in evidenza dove e da chi sono state effettuate tali modifiche e avere la consapevolezza che la PHE e le altre organizzazioni non si fanno carico di queste modifiche. Per evitare ulteriori dubbi si precisa che le SMI sono state sviluppate per essere applicate nel RU, e qualsiasi uso al di fuori di questa sede è a rischio dell’utilizzatore. Le conoscenze di base e la tassonomia microbica per la SMI sono le più complete possibili, al momento della pubblicazione. Eventuali omissioni e nuove informazioni saranno considerate nel corso della prossima revisione. Queste procedure standard (SMI) possono essere sostituite solo da revisioni dello standard, azione legislativa, o in seguito ad indicazioni da parte dell’ente accreditato NICE. I diritti d’autore delle SMI sono della “Crown” e questi dovrebbero essere riconosciuti ove appropriato Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 6 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Citazione suggerita per questo documento Public Health England. (2017).Evaluations, validations and verifications of diagnostic tests. UK Standards for Microbiology Investigations. Q 1 Emissione 5. https://www.gov.uk/uk- standards-for-microbiology-investigations-smi-quality-and-consistency-in-clinical-laboratories Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 7 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Scopo del documento Questa linea guida descrive ogni fase delle validazioni e delle verifiche dei metodi diagnostici. Un metodo può essere nuovo o una confezione commerciale modificata, un metodo o reagente approntato in laboratorio o una serie di reagenti acquistati separatamente e utilizzati per preparare un metodo interno. Questo documento include anche una guida sui principi delle valutazioni in-house. Per maggiori informazioni sulla marchiatura CE fare riferimento alle IVD Directive e per maggiore informazioni sull’assicurazione di qualità fare riferimento a Q 2 - Quality assurance in the diagnostic virology and serology laboratory. Questa SMI UK dovrebbe essere utilizzata insieme alle altre UK SMI. Introduzione Il ruolo chiave del laboratorio risiede nella facoltà di decidere quali test dovrebbero essere offerti e selezionare quello più appropriato. Le specifiche delle prestazioni di qualsiasi metodo di laboratorio nuovo o modificato sono parte integrante per fornire un servizio di elevata qualità. In funzione delle circostanze sarà necessario che il laboratorio esegua una valutazione, validazione o verifica di un metodo nuovo o modificato. Ciascuno di questi termini è di seguito descritto più dettagliatamente. La valutazione mira a quantificare le prestazioni di un metodo rispetto ad uno esistente, mentre la validazione è una valutazione basata sulle prove di come funziona un test in laboratorio, e dimostra l'idoneità per lo scopo previsto. La verifica è considerata come la conferma se un prodotto (ad esempio un dosaggio interno o sistema di confezione commerciale) è conforme o meno ad un metodo validato, regolamentazione, requisito, specifica, o condizione imposta come condizione ambientale, aggiornamento del software del computer che potrebbero influenzare la prestazione del test o iniziali pre-impostazioni del prodotto, associate ad altra strumentazione o al personale. La validazione e la verifica sono entrambi requisiti integrali per l'accreditamento dei laboratori secondo le ISO 15189 e ISO 17025; il British Standards Institution (BSI) e l'United Kingdom Accreditation Service (UKAS) usano il termine 'validazione', per dimostare l'idoneità allo scopo di un metodo invece di usare il termine 'verifica' che è usato per descrivere le prestazioni del test o il processo in una particolare situazione1,2. Questi richiedono che tutte le procedure in esame siano validate o verificate (in modo appropriato) prima dell'adozione per il loro uso previsto, e che i metodi e i risultati ottenuti siano registrati3. Definizioni e terminologia comune usate per metodi diagnostici4 Test diagnostici in-house I test in-house sono progettati e sviluppati in un laboratorio e non sono distribuiti o venduti ad altri laboratori. I test in-house, inclusi quelli per la diagnosi molecolare, sono utilizzati come eccezione, dove altri test non sono disponibili o per causa di vincoli di costo particolarmente per esami rari che non possono essere acquistati commercialmente Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 8 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Test diagnostici fuori prescrizione Si tratta di test diagnostici commerciali conformi alla direttiva IVD MD 98/79 / UE (cioè con marchio CE), ma per i quali l'utente non si attiene in modo particolarmente conforme alle istruzioni d'uso del produttore, ad esempio la sostituzione di un reagente, cambio della procedura o uso di un diverso tipo di campione. Comprende anche confezioni commerciali che sono state modificate per soddisfare le richieste di un laboratorio per scopo clinico, per il quale queste non sono state predisposte dal produttore. Questi saggi non sono completamente dotati di marchiatura CE e dovranno essere validati dal laboratorio per garantire l’idoneità allo scopo prima del loro inserimento in routine. Altri esempi includono test diagnostici commerciali che non possiedono la marchiatura CE, ma sono venduti solo per scopi di ricerca in cui i risultati vengono utilizzati a supporto delle decisioni cliniche e di gestione della malattia. ‘L’uso esclusivo per ricerca’ di questi test comporta tipicamente limitazioni da parte del produttore e i saggi devono essere usati in conformità con le linee guida descritte dal fabbricante. Test diagnostici commerciali Si tratta di test diagnostici che sono stati sviluppati e validati dal produttore, così come regolati dalla marchiatura CE. Tutti i risultati dei test riportati sono validati dal produttore in conformità con le normative delle richieste di riconoscimento della marchiatura CE. Per ulteriori informazioni sulle confezioni dei prodotti commerciali fare riferimento a IVD Directive. Valutazione5 Valutazione è un termine generico usato per descrivere la misurazione delle capacità prestazionali di un sistema/metodo di prova. Si tratta di un processo sistematico ampio che confronta differenti metodi sistemi/metodi di prova progettati per eseguire funzioni uguali o simili. Gli esempi delle valutazioni in ambito microbiologico comprendono il confronto di diversi metodi capaci di rilevare lo stesso marcatore/bersaglio, confronto tra differenti terreni di coltura per isolare lo stesso microrganismo o di apparecchiature diverse con la stessa funzione. Nel caso in cui due confezioni presentino caratteristiche di prestazioni equivalenti, si potrebbe preferire quella più facile da usare, più economica, più rapida o che richiede un campione più facilmente ottenibile. Esempi di condizioni di valutazione possono essere consultati nella Tabella 1. Gli obiettivi devono essere semplici e alla portata della sede di valutazione. Il tentativo di rispondere a domande troppo numerose nello stesso tempo può portare a difficoltà pratiche, minor precisione nei dati di registrazione/raccolta, e al fallimento nel conseguire tutti gli obiettivi previsti. Nell'Appendice 1 è riassunto un elenco di punti di controllo da considerare per attrezzature e confezioni in caso di valutazione. Validazione5 Secondo la norma ISO 15189: 2012, la validazione è definita come “conferma, attraverso la disponibilità di evidenza oggettiva, che i requisiti per un uso specifico o l'applicazione sono stati completamente soddisfatti”3. La validazione esamina l'intero processo utilizzato per verificare che i risultati siano corretti e coerenti. Per documentare questa capacità, ogni laboratorio dovrebbe elaborare un File di Validazione per ogni metodo o sistema che non è stato formalmente validato. Il file includerà una serie di informazioni ed avrà un'importanza diversa se il laboratorio sta usando una modifica di sistemi commerciali o se ha sviluppato un sistema in-house. Di solito il file includerà sezioni come la validazione dei risultati, esami su campioni noti, cartelle di lavoro e pubblicazioni attinenti. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 9 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche La validazione deve essere eseguita nelle seguenti situazioni prima dell’introduzione in routine metodi non-standard, metodi progettati/sviluppati in laboratorio, metodi standard utilizzati al di fuori degli scopi previsti con finalità diverse. e metodi validati successivamente modificati. quando le condizioni per le quali una validazione originale è stata modificata (per esempio uso di uno strumento con caratteristiche diverse o campioni contenenti matrice di supporto diversa) quando si evidenzia che la prestazione dei metodi esistenti è insoddisfacente o quando il metodo viene cambiato o modificato rispetto alle specifiche originali. Per esempio, uso di un tipo di campione diverso o di una confezione commerciale che è stata modificata per uno scopo clinico per il quale non è stata progettata dal produttore per soddisfare la richiesta di un laboratorio. Gli esempi sopra menzionati devono essere considerati come cambiamenti significativi che richiedono una nuova validazione con adeguata evidenza di prestazioni equivalenti prima dell'implementazione in routine4. I metodi di prova o le attrezzature validati non richiedono ulteriori validazione dopo che questa è stata conseguita. L’idoneità in corso allo scopo viene monitorata attraverso l’assicurazione della qualità del laboratorio che può includere la valutazione delle competenze del personale, controllo della qualità, prove valutative professionali, ecc. I molteplici aspetti della validazione sono descritti nella Tabella 1. Si deve inoltre notare che sui test diagnostici in-house la validazione è eseguita per sensibilità, specificità, precisione e, in caso di un test quantitativo, linearità6. L'obiettivo della validazione è quello di fornire prove documentate che un test diagnostico sta ottenendo risultati adeguati allo scopo, nell’ambito di specifiche richieste. Ciò può richiedere risultati di esperimenti per determinare accuratezza, sensibilità, specificità, affidabilità, ripetibilità riproducibilità e incertezza di misura. La validazione può essere estesa, ad esempio per validare un nuovo metodo sviluppato in-house, o di portata limitata, ad esempio per validare un metodo commerciale che è già in uso e ha subito piccole modifiche. Per i metodi già in uso per il quali non è vigente una specifica validazione, è importante fornire prove documentate che sostengono motivazioni per il loro uso. Di solito è sufficiente preparare un file in base a prove storiche, come ad esempio risultati su confronti o altri studi intrapresi, copie di documenti pubblicati, risultati CQE, AQI e CQI ecc. Nel rapporto di validazione possono essere inclusi, se appropriato, i risultati dei registri di lavoro. Consultare l'Appendice 2 per un riassunto di ciò che potrebbe contenere un rapporto di validazione e Appendice 3, per un elenco di punti da considerare durante la validazione di un kit o di un reagente. Verifica3 La ISO 15189: 2012 definisce “verifica come la conferma, attraverso la fornitura di prove obiettive, che specifici requisiti siano stati soddisfatti”. Può anche essere descritta come la conferma se un prodotto (ad esempio confezione commerciale oppure sistema o strumentazione) sia conforme ad un regolamento, requisito, specifica, o condizione richiesta o meno. La verifica deve essere effettuata in situazioni equivalenti a quelle di un laboratorio che vuole introdurre una nuova validazione di un metodo di metodo/attrezzatura commerciale con prestazioni definite (dal produttore) per l'uso in routine o nel caso in cui un metodo precedentemente validato è modificato e poi ri-validato prima dell’uso. Il laboratorio verifica la Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 10 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche capacità di ottenere risultati accettabili con il metodo o sistema in questione. Altri esempi di tipologie di verifica sono disponibili nella Tabella 1. Si deve notare che la verifica è effettuata con parametri di prestazione e varia notevolmente con il tipo di metodo di prova/strumentazione che deve essere verificata. Si tratta di un processo con sviluppo progressivo. Il fine della verifica è quello di confermare se un prodotto (ad esempio un metodo validato, oppure confezione commerciale o sistema) rispetti o meno una regolamentazione, requisito, specifica, o condizione richiesta. Le caratteristiche minime di verifica possono comprendere accuratezza, precisione e linearità, ma non sono limitate a queste. Fare riferimento all'Appendice 4 per una riassunto di ciò che deve contenere un rapporto di verifica. Nota: La validazione delle confezioni commerciali per analisi, come pure l'attrezzatura utilizzata, devono essere eseguite dal produttore per garantire che siano ottenute le prestazioni specificate. L'utente deve ottenere queste informazioni dal produttore. Tuttavia, la verifica deve essere effettuata dall'utente, confermandola attraverso la revisione (valutazioni pubblicate e non, risultati CQE, etc.) e prove di laboratorio, che le attrezzature e le confezioni commerciali sono conformi ai requisisti specificati1,6. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 11 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Diagramma 1: Valutazione, validazione e verifica di metodi diagnostici diagramma di flusso Metodo non standard Metodo progettato o sviluppato in laboratorio Metodo esistente validato con prestazioni definite Nuovo metodo confrontato con metodi esistenti Metodo standard utilizzato di fuori dell'ambito di Metodo esistente utilizzato dopo modifica applicazione prevista Metodo validato modificato Valutazione, Validazione, Verifica locale prima dell’uso come metodo diagnostico prima dell’uso come metodo diagnostico prima dell’uso come metodo diagnostico Definire le caratteristiche della prestazioni, ampia Confrontare le caratteristiche delle prestazioni, con Confrontare le caratteristiche delle prestazioni, con quanto necessario per confermare, attraverso la le specifiche. le specifiche dei metodi già validati fornitura di prove obiettive, che i requisiti specifici Prestate attenzione al rispetto dei requisiti per l'uso previsto sono stati soddisfatti specificati (marchiatura CE IVDD) Documentare e registrare i risultati ottenuti e le Documentare e registrare i risultati ottenuti e le Documentare e registrare i risultati ottenuti e le procedure usate per la valutazione procedure usate per la verifica procedure usate per la validazione Assicurazione Qualità Continua Revisionare periodicamente i risultati delle prestazioni del test o quando si verifica un problema Questo diagramma di flusso è solo indicativo Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 12 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Tabella 1: la Tabella illustra esempi di valutazione, validazione e verifica dei metodi diagnostici Esempi Valutazione Validazione Verifica Esempio 1 Nuovo metodo rispetto a quelli Rivalidazione di saggi modificati: un Metodo esistente con prestazioni definite: se esistenti: valutare i risultati dell'utilizzo esempio è rappresentato dall'uso di un laboratorio sta prendendo in considerazione di un nuovo terreno cromogeno etidio bromuro nell' elettroforesi su gel l'uso di un confezione commerciale con risultati commerciale per l'isolamento per la visualizzazione del DNA in validati e pubblicati in letteratura, sarà richiesta enterobatteri produttori di ESBL e poi agarosio o gel di acrilamide sostituito da qualche forma di verifica di laboratorio per confrontare con l'agar MacConkey SYBR Green che non è cancerogeno o stabilire se l'analisi è conforme alla confezione attualmente utilizzato. Questo è tossico. Il metodo dovrebbe essere del produttore o alle affermazioni dell'autore. eseguito per confrontare la loro rivalidato per garantire che funzioni specificità e sensibilità. altrettanto bene. Esempio 2 Identificazione di geni di Clostridium Metodo standard utilizzato fuori Metodo esistente utilizzato dopo la modifica: perfringens usando PCR real time e dall'ambito di applicazione previsto: utilizzando il primo esempio precedente nella confronto successivo di questi risultati la colorazione di arancio di Acridina è colonna di validazione, dopo aver eseguito la con i metodi di PCR convenzionali utilizzata su strisci per Trichomonas nuova validazione di un saggio modificato; questa utilizzati (gel elettroforesi) vaginalis, ma se è usata per scopi dovrebbe ancora essere verificata dall'utente per diversi, per esempio per la colorazione assicurare che fornisca i risultati attesi. delle clue cells, i laboratori dovrebbero garantire che questa procedura sia stata validata. Esempio 3 Valutazione dei risultati della PCR per Metodi/saggi progettati in Acquisizione di nuove geni di Clostridium perfringens laboratorio: Un esempio è quello di un attrezzature/strumentazione: utilizzando due diverse confezioni di laboratorio che sviluppa un metodo per La validazione e la verifica della nuova PCR commerciale. purificare una piastra pesantemente strumentazione utilizzata deve essere eseguita contaminata con shock alcolico. Le dal costruttore per garantire che queste concentrazioni utilizzate per questa conseguano le prestazioni previste; tuttavia, la procedura devono essere saggiate, verifica deve essere effettuata anche dall'utente, validate e formalmente introdotte nelle confermando attraverso la revisione e l’utilizzo SMI più importanti. che la strumentazione soddisfa i requisiti specifici. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 13 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Nota: Esempi di modifica di test diagnostici/strumentazione come indicato nella Tabella 1 sono; cambiamento nella gestione dei campioni, tempo di incubazione, temperatura cambiamento del campione o diluizione del reagente sostituzione di un componente critico di uno strumento o di reagente utilizzato uso di materiale di taratura diverso (o cambio dei set-point del produttore) modifica o eliminazione di una fase procedurale variazione del cut-off o metodo di calcolo del cut-off per le analisi semiquantitative Qualsiasi cambiamento nella destinazione d'uso, quale matrice del campione differente (ad esempio siero vs LCR ) uso del test per un altro scopo (ad esempio screening vs diagnostica) cambio del tipo di analisi utilizzato (ad esempio risultati qualitativi riportati come quantitativi Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 14 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Parametri usati nelle valutazioni, validazioni o verifiche dei metodi diagnostici7,8 I parametri che dovrebbero essere presi in considerazione durante le valutazioni, verifiche o validazioni dei metodi diagnostici sono i seguenti: Sensibilità1 La sensibilità esprime la capacità di un saggio in corso di valutazione di identificare in modo corretto i campioni veri positivi (prove di riferimento positive). La sensibilità rappresenta pertanto il numero di campioni veri positivi, correttamente identificati dalla prova in corso di valutazione (a), diviso il numero totale di campioni veri positivi (per esempio quelli positivi al metodo della prova di riferimento) (a + c), espressa in valore percentuale come indicato di seguito nella tabella sottostante . E’ espressa come: Sensibilità = a/(a+c) Specificità1 La specificità esprime la capacità di un saggio di identificare in modo corretto campioni veri negativi (prove di riferimento negative). La specificità rappresenta pertanto il numero di campioni veri negativi (d) correttamente identificati dal saggio in fase di valutazione, diviso il numero totale dei campioni veri negativi (per esempio quelli negativi ai metodi di prova di riferimento) (b + d), espressa in valore percentuale come: Specificità = d/(b+d) Valore predittivo positivo (VPP) PPV esprime la probabilità che se la prova è reattiva, il campione contenga anticorpi verso il patogeno designato. Si esprime come: Valore predittivo positivo (VPP) = a/(a+b) Valore predittivo negativo (VPN) NPV esprime la probabilità che se la prova è negativa, il campione non contenga anticorpi verso un determinato patogeno. Si esprime come: Valore predittivo negativo = d/(c+d) Calcolo della sensibilità e specificità9: Campioni veri Campioni veri Totale positivi negativi Risultati del saggio positivo a b a+b in Veri-positivi Falsi- positivi valutazione negativo c d c+d Falsi-negativi Veri- negativi Totale a+c b+d a+b+c+d Nota: questi parametri sono molto popolazione-dipendenti e sono influenzati dalla prevalenza della malattia. I valori predittivi sono sempre condizionati dalla prevalenza, mentre i termini ‘sensibilità o specificità’ sono meglio correlati al saggio e saranno influenzati solo se la popolazione è qualitativamente piuttosto che quantitativamente diversa. Per esempio, se due popolazioni hanno la stessa prevalenza, ma con diversa proporzione di persone con Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 15 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche infezione in fase molto precoce (con una bassa carica microbica), la sensibilità ma non specificità del test sarà diversa. Al contrario, in una situazione in cui le popolazioni hanno prevalenze diverse, ma cariche microbiche simili nei casi infetti, allora la sensibilità e la specificità sono probabilmente le stesse. In questo caso i valori predittivi saranno diversi. Incertezza di misura (IM) L'incertezza di misura può essere definita come “un parametro associato al risultato di una misurazione che caratterizza la dispersione dei valori ragionevolmente attribuibili al misurando”. E 'essenziale per la corretta interpretazione di un risultato e assume rilevanza quando i loro valori sono vicini ad un limite specificato. La norma ISO 17025:2005 riguardante l'accreditamento dei laboratori di taratura e di prova, sottolinea i requisiti specifici per i laboratori per valutare e segnalare l'incertezza di misura. Questa è stata anche introdotta nella norma standard ISO 15189 riconosciuta dal UKAS. Per gli esami microbiologici, l'incertezza di misura si applica ai risultati misurati, in particolare le dimensioni di aree o MIC, microscopia dei fluidi, inclusi il liquido cerebrospinale (LCS) e urine, conteggi quantitativi e semiquantitativi di microrganismi, per esempio colture in Dialisi Peritoneale Ambulatoriale Continua (DPAC) fluidi e urine. Anche altre variabili potrebbero influenzare il risultato, ma per queste non sono in vigore condizioni di misurazione, come il prelievo dei campioni, la loro preparazione, tempo e condizioni di trasporto, terreni di semina, temperatura di incubazione, ecc2. Per l’IM sono importanti anche le prove non numeriche, come la lettura soggettiva di una piastra,. Per ulteriori informazioni su incertezza di misura, consultare Q 2 - Quality assurance in the diagnostic virology and serology laboratory. Precisione6 La precisione esprime “ il grado di concordanza tra i risultati di misure ripetute”. Potrebbe anche essere definita come livello di concordanza dei singoli valori ottenuti all’interno di una singola seduta analitica:(precisione intra-saggio) e tra una seduta e l'altra (precisione inter- saggio). La precisione è solitamente descritta in termini di deviazione standard delle misurazioni e relativa variazione standard (coefficiente di variazione). E’ spesso espressa come coefficiente di variazione percentuale (% CV), dove % CV = (deviazione standard delle misurazioni / media) x 100 Linearità6 Linearità è definita come la determinazione dell’intervallo lineare di quantificazione per una prova o sistema di prova. Utilizzando come esempio una strumentazione di laboratorio in termini semplici, la linearità definisce l’attuale rendimento della prestazione di un dispositivo che opera in un intervallo come una linea retta approssimata. Tuttavia, in termini di accertamento, la linearità si ottiene quando i risultati misurati sono direttamente proporzionali alla concentrazione dell'analita (microrganismi o acido nucleico) nel campione di prova, in un determinato intervallo. La linearità è generalmente misurata in termini di deviazione, o non- linearità, da una linea retta ideale ed è tipicamente espressa in termini di percentuale di scala completa, o in ppm (parti per milione) dell’intera scala. Il test di linearità controlla l'intero intervallo di calibrazione dell’attrezzatura, includendo gli estremi, e può evidenziare problemi, quali deterioramento del reagente o peggioramento delle attrezzature, più precocemente del controllo di qualità o dei fallimenti delle prove valutative Si deve anche notare che è buona pratica di laboratorio dimostrare periodicamente la linearità Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 16 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche per rilevare il deterioramento del reagente, monitorare le prestazioni delle apparecchiature o riconfermare la linearità dopo una completa manutenzione dell’apparecchiatura. Fare riferimento all'appendice 5 per un esempio pratico di linearità. Accuratezza10 L’accuratezza esprime il grado di concordanza tra il valore ottenuto da un'ampia serie di risultati e un valore di riferimento riconosciuto. In microbiologia. In microbiologia i fattori che determinano il grado di precisione sono i seguenti: uniformità della carica microbica presente nel campione accuratezza delle attrezzature volume di campione/reagenti utilizzati per il test terreni utilizzati e condizioni di incubazione lettura e interpretazione dei risultati da parte del personale che esegue il test errore dell'operatore Gli ultimi due fattori richiedono entrambi la formazione e le professionalità del personale. Riproducibilità11 La riproducibilità è la capacità di produrre sostanzialmente lo stesso risultato diagnostico, in condizioni diverse (operatori diversi, test su lotto, apparecchiatura diversa - laboratorio o strumentazione ausiliaria validata, laboratori diversi e/o dopo diversi intervalli di tempo). Nota: Più alto è il numero di variabili più robusto deve essere un test al fine di raggiungere questo obiettivo Ripetibilità11 La ripetibilità è definita come il grado di concordanza tra i risultati delle misurazioni successive del misurando (quantità che si vogliono misurare) effettuate nelle stesse condizioni di misura dallo stesso operatore nello stesso laboratorio in un breve periodo di tempo, sulle quali il valore preso in esame può essere considerato costante. Questa può essere espressa quantitativamente in termini di caratteristiche di dispersione dei risultati. Affidabilità12 L'affidabilità esprime la capacità di un sistema o di una componente di mantenere le prestazioni entro le specifiche indicate dal produttore nel corso del tempo. Il livello di affidabilità considerato accettabile può variare tra diversi sistemi. Sensibilità analitica10,13 La sensibilità analitica del dosaggio è definita come la capacità del test di rilevare concentrazioni molto basse di una data sostanza in un campione biologico. E ' nota anche come “limite di rilevazione”. Specificità analitica10,13 La specificità analitica esprime la capacità di un test di rilevare solo il bersaglio designato (ad esempio anticorpo, microrganismo o sequenza genomica) e che la quantificazione del Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 17 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche bersaglio non è influenzata dalla reattività crociata da corrispondenti o potenzialmente interferenti acidi nucleici/componenti o condizioni correlate al campione. I due aspetti della specificità analitica sono la reattività crociata e le interferenze. Questa valutazione è qualitativa poiché la scelta e tipo di campioni, microrganismi e sequenze riflettono lo scopo del test e del tipo di analisi. Limite di quantificazione12. Questa è la minima quantità di analita misurata che è possibile quantificare con un livello accettabile di accuratezza e precisione. Limite di rilevamento8,10. Il limite di rilevamento è una misura della sensibilità analitica di un dosaggio ed è una caratteristica importante che deve essere determinata per entrambi i test quantitativi e qualitativi. Esprime la più bassa concentrazione effettiva di analita che può essere rilevato in modo costante in un campione (ad esempio, nel 95% dei campioni testati) con precisione accettabile, ma non necessariamente quantificata, in condizioni di laboratorio di routine e in un tipo definito di campione. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 18 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche 1 Considerazioni generali in corso di valutazione, validazione o verifica Sono di seguito indicate alcune linee guida di base per descrivere i requisiti per la validazione e la verifica (e forse valutazioni) per i laboratori di routine. I requisiti possono variare se sono coinvolte più sedi di laboratorio. Per maggiori informazioni, fare riferimento all'Appendice 6, che è generica e non sempre applicabile a ogni organizzazione. Tenendo presente che studi/progetti possono essere di dimensioni piccole, grandi o anche collaborazioni tra organizzazioni diverse, queste possono essere utilizzate in quanto sono applicabili ai progetti delle singole organizzazioni. I requisiti fondamentali sono i seguenti: Identificare il personale che sarà responsabile del progetto. Ciò comprende il responsabile del progetto e il personale responsabile del laboratorio che saranno coinvolti nel progetto. Nel protocollo dovrebbero essere definite le responsabilità di tutte le persone coinvolte. Identificare i requisiti del sistema informatico, quali le caratteristiche del software, il trasferimento o la manipolazione dei dati Preparazione di un piano di progettazione e definire le finalità e gli obiettivi del progetto. Questo piano comprenderà tutti i requisiti di formazione, valutazione dei rischi e le valutazioni COSHH, materiali standard o di riferimento ecc Identificare qualsiasi società commerciale potenziale i cui prodotti possono essere utilizzati nel progetto Identificare tutti i potenziali problemi che si possono incontrare nel progetto e considerarli Misurare e comparare tutti gli aspetti dei costi connessi all’implementazione del test Determinare una scala temporale adatta per il progetto in anticipo prima che si inizi. Ciò dipende da una serie di fattori, quali la dimensione del campione statistico, dal tempo necessario per ottimizzare le procedure di prova al il tempo richiesto per l’approvazione, ecc 2 Analisi statistica Consulenza statistica Sebbene l'analisi statistica non sia di solito necessaria fino alla fine dello studio, questa è essenziale all'inizio del progetto per ottenere un parere da uno statistico sulla dimensione del campione e del sistema di raccolta dati e della documentazione. I principali metodi statistici da utilizzare nell'analisi devono essere identificati nella fase di pianificazione. Ciò contribuirà a garantire che lo studio ha la capacità sufficiente di soddisfare tutti i suoi obiettivi e che i dati sono raccolti nella forma più appropriata per un'analisi efficiente e tempestiva. Si consiglia di individuare un esperto di statistica in grado di fornire qualsiasi consulenza necessaria durante lo studio. L’analisi preliminare dei risultati non dovrebbe essere intrapresa se non per il progetto statistico. Qualsiasi comunicazione prematura dei risultati potrebbe introdurre distorsioni nello studio, minando così l'affidabilità delle conclusioni. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 19 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche Dimensione del campione Perché lo studio abbia una capacità sufficiente a soddisfare tutti i suoi obiettivi, cioè, rilevare le più piccole importanti differenze o valutare le caratteristiche del test in modo sufficientemente preciso, è necessario utilizzare per i test microbiologici un numero adeguato di campioni. Questa è la dimensione del campione dello studio in termini statistici. La dimensione del campione in studio e le ipotesi fatte per ottenerlo, dovrebbero fare parte del protocollo di valutazione. La dimensione del campione in studio identificherà il numero di campioni o di test da esaminare e la modalità di calcolo dipenderà dalla dimensione delle caratteristiche del test da valutare o confrontare, che rappresenta la sensibilità e la precisione richiesta o la più importante minima differenza da rilevare. Considerando che l'informazione sui risultati probabili può esistere, in fase di progettazione potrebbero non essere disponibili informazioni sufficienti necessarie su cui basare il calcolo delle dimensioni di studio. In questi casi, può essere utilizzato uno studio pilota, o in alternativa, potrebbe essere fatta una stima differita del progetto statistico, una volta che lo studio è in corso, utilizzando i risultati dei primi campioni. L'esperto di statistica dovrebbe consigliare quanti risultati sono necessari per questa stima. Quando si constata che sarebbe richiesto un gran numero per dimostrare che un piccola, ma importante differenza, è statisticamente significativa (come può essere il caso in cui le percentuali di isolamento sono molto basse), i benefici ottenibili continuando lo studio andrebbero considerati con cautela. Rabenau et al hanno riportato che devono essere saggiati in parallelo un numero rappresentativo di campioni (positivi, bassi positivi e negativi). A questo punto, i risultati del nuovo test o sistema di prova sono confrontati quelli ottenuti con lo standard di riferimento in modo da valutare le sue prestazioni6,10. Il numero effettivo di campioni necessari per ciascuna parte della valutazione, verifica o studio di validazione può variare in funzione del sistema di prova e del volume delle analisi del laboratorio. Ancora più importante; deve essere preso in considerazione l'impatto del risultato del test per determinare un’appropriata dimensione del campione per la verifica di un test validato esternamente. Ad esempio, un test diagnostico per un'infezione con nota ridotta sensibilità o specificità (indipendentemente dal tipo di prova o piattaforma) può richiedere un campione di piccole dimensioni in ciascuna categoria di positivi, negativi e dubbi/borderline; d'altra parte, un nuovo test diagnostico per un test critico, per cui sono disponibili ed in uso altri test ad alte prestazioni (ad esempio esami per la diagnosi della maggior parte dei virus ematici) richiederà un consistente processo di verifica, in particolare per i risultati dubbi/borderline. E ' fondamentale che i laboratori considerino di testare campioni con valori borderline o microrganismi esigenti da campioni in diverse situazioni, così come la ricerca di patogeni rari durante la valutazione/validazione/verifica10. I laboratori possono richiedere la collaborazione di altri laboratori quando eseguono una validazione o la verifica di un nuovo test/tecnologia, che si dovrebbe eseguire in larga scala per fornire un’adeguata fiducia nel valore predittivo dei risultati ottenuti. Ciò consentirà la raccolta di un numero adeguato di campioni per raggiungere l’autorità necessaria per la validazione diagnostica, e anche un'indagine molto più completa per i parametri critici relativi alla tecnologia specifica per fornire la più alta probabilità di rilevare fonti di variazione e interferenze14. Nota: Non è compito degli UK Standards for Microbiology Investigations stabilire il numero di campioni da esaminare da parte dei laboratori in quanto il requisito dipende da una vasta gamma di fattori: dimensione del progetto del laboratorio richiedente, che a sua volta Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 20 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Valutazioni, validazioni e verifiche delle prove diagnostiche comprende la natura e le prestazioni del test, parametri critici, modo in cui il test verrà utilizzato nella pratica e livello di sicurezza richiesto per l'uso clinico. Questo vale per valutazione, validazione e verifica. Dimensione del campione Più complessa è la raccolta dei dati e minori sono le probabilità di essere accurati. I dati registrati all’accettazione devono essere inseriti manualmente o elettronicamente per la produzione dei fogli di lavoro. I fogli di registrazione devono essere semplici e, quando possibile, essere ridotti ad una serie di “schede con riquadri” o combinazioni di tasti semplici. E’ richiesto un controllo dell’inserimento dati. I risultati devono essere letti e registrati in modo indipendente, senza subire l'influenza di un metodo o di un altro (l'identità dei campioni dovrebbe essere anonima al momento della lettura in modo che il che chi legge il risultato sia “cieco”). L’inserimento dei dati nel database principale dovrebbe essere sotto la responsabilità del coordinatore locale dello studio. Sebbene i moduli siano spesso semplici da configurare e utilizzare, un database deve essere progettato in modo che limiti le opzioni disponibili per l'inserimento e quindi in grado di ridurre la probabilità di introduzione di componenti non corrette o incomplete. Il tipo di database utilizzato deve essere determinato in funzione alle dimensioni dello studio in oggetto. Questo vale sia per la valutazione che per la validazione. Analisi dei risultati L'analisi statistica principale prevista dovrebbe essere specificata come parte del protocollo di studio. I risultati devono essere valutati statisticamente in base ai criteri specificati nel protocollo che può includere: tutti o specifici aspetti dei metodi, confezioni o strumentazione informazioni disponibili sul prodotto carico di lavoro relativo sensibilità/specificità misura di incertezza durante il calcolo e l'interpretazione dei risultati, quando rilevanti accettabilità da parte dell'utente rilevanza clinica analisi costi benefici economia sanitaria Il progetto dello studio, l'analisi statistica e le conclusioni delle valutazioni dovrebbero essere esaminate fra persone di pari grado. Quando due metodi forniscono percentuali d’isolamento simili, uno potrebbe avere notevoli vantaggi rispetto all'altro. Questi comprendono: un minor numero di risultati falsi-positivi/ falsi-negativi, riduzione dei costi associati al metodo o al test, meno lavoro richiesto nell'esecuzione del metodo o della prova. Questo vale per la valutazione, la validazione e la verifica. Linee Guida Qualità | Q 1 | Emissione no: 5 | Data emissione: 16.03.17 | Pagina: 21 di 45 UK Standards for Microbiology Investigations | Emesso da Standards Unit, Public Health England
Puoi anche leggere