SYNCOPE RISK STRATIFICATION IN THE EMERGENCY DEPARTMENT: COMPARISON OF DIFFERENT PREDICTION MODELS AND THE POSSIBLE ROLE OF ATTRIBUTE MATCHING

Clinical prediction tools have failed in the correct risk stratification of syncope patients in the emergency department. To assess the possible strengths and weaknesses and to compare the different statistical methodologies to derive prediction tools, we decided to derive both a multivariate logistic regression model and an artificial neural network (ANN) on a large retrospective database and to prospectively validate them in a new dataset of 354 patients. The area under the ROC curve of multivariate regression and ANN in the validation cohort were 0.726 and 0.694, respectively. Since the poor predictive accuracy of the analyzed models, we tried to identify alternative methods. We hypothesized that accurate pretest probability assessments can be obtained by matching an individual patient to a group of previously studied patients who shared the same clinical characteristic and determining the percentage of these previously studied patients who had the outcome of interest. In theory, the ideal attribute matching system would allow a very detailed clinical profile to be matched against a very large reference database to provide accurate risk estimates. Therefore, we do not offer a clinically useful prediction tool at this stage, but this method seems promising. Future studies should focus on building large prospective datasets to assess if attribute matching adds any value to both the traditional clinical decision tools and the implicit estimate of probability from clinicians. Moreover, the introduction of new and more complex input attributes and the possibility to provide as output a detailed risk assessment will create a more specific and potentially more accurate clinical profile.

Gli strumenti fino ad ora disponibili hanno fallito nel tentativo di predire gli eventi avversi dei pazienti con sincope in pronto soccorso. Per valutare i possibili punti di forza e di debolezza e confrontare i diversi metodi statistici usati per la derivazione di score e scale di rischio, abbiamo deciso di derivare dei modelli basati su regressione logistica multivariata e reti neurali artificiali (ANN) a partire da un database retrospettivo e di validarli in un nuovo dataset di 354 pazienti. L’area sotto la curva ROC di regressione multivariata e ANN è risultata rispettivamente di 0.726 e 0.694 nella coorte di validazione. Vista la bassa accuratezza predittiva dei modelli analizzati, abbiamo provato a identificare metodi alternativi per predire il rischio di eventi avversi dei pazienti con sincope. Abbiamo ipotizzato che si potesse stimare una probabilità pre-test accurata appaiando ogni singolo paziente ad un gruppo di pazienti con le stesse caratteristiche cliniche, e valutando la proporzione che aveva sviluppato l’outcome di interesse (attribute matching). In teoria, il funzionamento ideale di tale sistema consentirebbe di confrontare un profilo clinico tanto più dettagliato e di avere stime di rischio molto precise quanto più il database di riferimento è ampio. Pertanto, questo strumento non è ancora utilizzabile nella pratica clinica, ma sembra un metodo promettente. Studi futuri dovrebbero costruire database prospettici che arruolino un gran numero di pazienti per valutare se l’attibute matching possa aggiungere informazioni agli strumenti predittivi tradizionali e alla stima del rischio da parte di medici esperti. Inoltre, la possibilità di introdurre variabili nuove e sempre più complesse e di poter predire nel dettaglio diversi tipi di outcome, potrebbe creare un profilo clinico più specifico e potenzialmente sempre più accurato.