Il progetto ECCE - Clinical Evidence: i risultati di due anni di sperimentazione

With the Agreement on continuing education of August 1st, 2007, the Italian Ministry of Health and Regions committed in developing a new program for continuing medical education (CME). A national Commission is entrusted with its governance. A national Observatory on the quality of continuing medical education, connected in a network with regional Observatories, will also be established. The implementation of a national system to assess and promote the quality of continuing education through a network of independent observers working with shared criteria and methods has been proposed since some years. In particular in 2004 a pilot project was launched to outline the proposal for a national Observatory, its tools, a guideline for observations and a training path model for observers. The pilot project was realized in 2005-2007 with the financing by the Ministry of Health and the participation of Emilia-Romagna Region (project and experimentation coordinator), Lazio, Lombardy, Marche, Puglia, Tuscany, Trentino, Valle d’Aosta and Veneto. The final results of the project were presented during a meeting in Bologna, May 21-22, 2007. The volume collects some aspects of the project that are relevant for the new CME program, in particular to outline the role and tools of the regional Observatories. The Italian program for CME involves all health professionals working for the National Health Service. It therefore needs to maintain its authority and usefulness and to avoid some actual risks of bureaucratization and commercialization. The proposed evaluative model considers the complex and diversified context, the necessary coherence with the CME program and the operational difficulties, and is meant to be both a verification and a promotion instrument. The observation system is based on six elements: analysis of the documentation; observational visits during educational events; standardized observational criteria, tools and methods; independent observers with shared observational criteria and methods; qualitative and quantitative surveys on the opinion of events’ organizers and participants; common methods to elaborate observation results and to describe synthetic profiles. The procedures to harmonized observers’ behaviours during visits and elaborations were studied, in particular concerning four aspects: evidence of coherence between the accredited project and its actual realization; quality of the class educational process as indicator of didactic skills; presence of conflict of interests; provider’s quality, evaluated through the analysis of the different evaluation instruments used during the event, as a partial but relevant indicator of the capacity to improve oneself from experience. Evaluation reliability is a fundamental aspect of the proposal; some schemes for the observation of the first three elements (coherence, process quality and sponsoring) were therefore elaborated; they present also criteria and measuring scales. The fourth dimension (use of the evaluation) refers to past events; it can be studied during the observational visit only if it possible to consider past situations and if the reference person in the meeting is not the simple technical organizer of the event. The proposed observational tools can also be used by education organizers in self-evaluation processes. This aspect will be fundamental when providers - and no longer events - will be accredited. An education path model for observers in 4 modules with e-learning support is also presented in the volume. The first two modules are residential and introduce to CME principles and to the use observation and evaluation tools. A phase of field training with visits to events follows. The final module concerns visits evaluation and improving tools and procedures. The proposed observation system cannot fully cover all the CME events that are normally realized. It aims instead to select some meaningful situations according to definite criteria (geographical distribution, type of provider, sponsoring forms, event features, etc.). Attention is focused on all providers, public and private, in particular on those that present more critical aspects. To test other evaluation tools on quality, two national surveys were realized in October and November 2006 to study health professionals’ opinions on the education they have received since the beginning of the CME program and its future

Il Ministero della salute e le Regioni hanno preso l’impegno, con l’Accordo sulla formazione continua del 1° agosto 2007, di sviluppare un nuovo programma di Educazione continua in medicina. La governance è affidata a una Commissione nazionale nel cui ambito è stato anche previsto un Osservatorio nazionale sulla qualità dell’ECM che sarà collegato a una rete di Osservatori regionali. L’obiettivo di realizzare un sistema in grado di verificare e di promuovere su scala nazionale la qualità della formazione continua attraverso l’opera di osservatori indipendenti e con criteri e modalità condivisi era emerso già negli anni precedenti. In particolare, con l’Accordo sulla formazione continua adottato il 20 maggio 2004 nella Conferenza Stato-Regioni, era stato deciso di realizzare un progetto pilota per disegnare la proposta di un Osservatorio nazionale, corredata dagli strumenti, dalle indicazioni per le modalità delle osservazioni e da un modello di percorso formativo per osservatori. Il progetto pilota è stato realizzato negli anni 2005-2007 con il finanziamento del Ministero della salute e la partecipazione dell’Emilia-Romagna - che ha svolto il ruolo di coordinamento e gestione della sperimentazione -, del Lazio, della Lombardia, delle Marche, della Puglia, della Toscana, del Trentino, della Valle d’Aosta e del Veneto. I risultati finali del progetto sono stati presentati in un convegno a Bologna il 21-22 maggio 2007. In questo Dossier vengono riportate le parti del progetto che hanno rilevanza ai fini del nuovo programma ECM e, in particolare, della definizione delle funzioni e degli strumenti dei previsti Osservatori regionali. Il programma di ECM italiano ha carattere istituzionale e si estende a tutti gli operatori sanitari collegati alle attività del Servizio sanitario nazionale. Le sue prospettive sono legate alla capacità di mantenere autorevolezza e utilità e di evitare rischi di deriva burocratica e commerciale, che sono presenti. Il modello di valutazione proposto tiene conto della complessità e delle diversità del contesto, delle esigenze di coerenza con il programma di ECM e delle difficoltà operative ed è finalizzato sia a una funzione di verifica sia a una funzione di promozione. Il sistema di osservazione proposto si fonda, quindi, su sei cardini: analisi della documentazione; visite di osservazione durante lo svolgimento di eventi formativi; criteri, strumenti e modalità di osservazione standardizzati (griglie); osservatori indipendenti che abbiano condiviso i criteri e le modalità di osservazione; indagini qualitative e quantitative sulle opinioni degli organizzatori e dei partecipanti agli eventi; modalità comuni di elaborazione dei risultati delle osservazioni del singolo evento e per descrivere profili di sintesi. Sono state considerate le procedure da adottare per armonizzare i comportamenti degli osservatori durante le visite e le interpretazioni, in particolare relativamente a quattro principali dimensioni degli eventi: evidenza della coerenza tra il progetto accreditato e la sua effettiva realizzazione; qualità del processo formativo in aula come indicatore delle capacità didattiche utilizzate; presenza di situazioni con conflitti di interesse; qualità del provider, che viene considerata attraverso un’analisi dell’uso delle diverse forme di valutazione dell’intervento formativo, considerato come un indicatore, parziale ma significativo della competenza e della capacità di migliorarsi facendo tesoro dell’esperienza. L’attendibilità delle valutazioni è un elemento determinante della proposta e per questo sono state messe a punto griglie di osservazione per le prime 3 dimensioni (coerenza, qualità del processo d’aula e presenza di sponsorizzazioni), che contengono la descrizione di criteri significativi e scale di misura. La quarta dimensione, cioè l’uso che viene fatto della valutazione, si riferisce necessariamente ad eventi già avvenuti e può quindi essere studiata nel corso di una visita solo se è possibile considerare situazioni precedenti e se l’interlocutore che si incontra non è il mero organizzatore tecnico dell’evento, come spesso avviene. Gli strumenti proposti per le osservazioni hanno anche un valore di guida e possono essere utilizzati per processi di autovalutazione dagli stessi organizzatori della formazione. Questo aspetto, peraltro, assumerà un’importanza crescente con il passaggio all’accreditamento dei provider. Viene anche presentato un modello di percorso formativo di base per osservatori articolato in 4 moduli con un supporto in e-learning. I primi due, residenziali, di introduzione ai principi dell’ECM e di preparazione all’uso degli strumenti di osservazione e di valutazione. A questi fa seguito una fase di formazione sul campo, di visite ad eventi. L’ultimo modulo è dedicato alla valutazione delle visite e al perfezionamento degli strumenti e delle procedure. Il sistema di osservazione proposto non prevede ovviamente una copertura esaustiva degli eventi di ECM che si realizzano normalmente. Punta invece su una selezione degli ambiti più significativi, da effettuare sulla base di criteri definiti (distribuzione geografica, tipologia dei provider, forme di sponsorizzazione, caratteristiche degli eventi, ecc.). L’attenzione va rivolta a tutti i provider, pubblici e privati, e soprattutto a quelli che presentano maggiori aspetti critici. Per sperimentare altri strumenti di valutazione della qualità, nel periodo ottobre-novembre 2006 sono state condotte anche due indagini su scala nazionale sulle opinioni degli operatori sanitari in merito alla formazione continua ricevuta dall’inizio del programma di ECM e alle sue prospettive.