Evaluating heterogeneity of agreement with strong prior information = Valutare l’Eterogeneita di Concordanza in Presenza di Forte Informazione a Priori

Fleiss’ Kappa is a statistic typically calculated to quantify the degree of agreement among raters. Starting from the reformulation of Kappa in terms of data generating process and from plausible assumptions in the considered medical context, the number of reports that a Bayesian Network has to classify in order to obtain reasonable statistical power is found. Estimates obtained by Monte Carlo simulation suggest that samples should be at least of size 40, and that 80 or more case reports for each disease class are needed to reach enough statistical power on the interval π_z ∈ [0.5, 0.99] with a difference as small as δ = 0.15 or less.

Il Kappa di Fleiss e una statistica tipicamente calcolata per quantificare la concordanza tra valutatori. Partendo dalla riformulazione in termini di processo generatore dei dati di concordanza e da alcune plausibili assunzioni nel contesto medico considerato, viene valutato il numero di report che una rete Bayesiana deve classificare per ottenere una potenza statistica ragionevolmente elevata. Le stime ottenute via simulazione Monte Carlo suggeriscono che i campioni dovrebbero essere di almeno di dimensione 40, e che 80 o più report per ogni classe di malattia sono necessari per raggiungere sufficiente potenza statistica nell’intervallo πJz ∈ [0.5,0.99] con una differenza piccola quanto δ = 0.15 o inferiore.