Fleiss’ Kappa is a statistic typically calculated to quantify the degree of agreement among raters. Starting from the reformulation of Kappa in terms of data generating process and from plausible assumptions in the considered medical context, the number of reports that a Bayesian Network has to classify in order to obtain reasonable statistical power is found. Estimates obtained by Monte Carlo simulation suggest that samples should be at least of size 40, and that 80 or more case reports for each disease class are needed to reach enough statistical power on the interval π_z ∈ [0.5, 0.99] with a difference as small as δ = 0.15 or less.

Il Kappa di Fleiss e una statistica tipicamente calcolata per quantificare la concordanza tra valutatori. Partendo dalla riformulazione in termini di processo generatore dei dati di concordanza e da alcune plausibili assunzioni nel contesto medico considerato, viene valutato il numero di report che una rete Bayesiana deve classificare per ottenere una potenza statistica ragionevolmente elevata. Le stime ottenute via simulazione Monte Carlo suggeriscono che i campioni dovrebbero essere di almeno di dimensione 40, e che 80 o più report per ogni classe di malattia sono necessari per raggiungere sufficiente potenza statistica nell’intervallo πJz ∈ [0.5,0.99] con una differenza piccola quanto δ = 0.15 o inferiore.

Evaluating heterogeneity of agreement with strong prior information = Valutare l’Eterogeneita di Concordanza in Presenza di Forte Informazione a Priori / F.M. Stefanini - In: Book of Short Papers / [a cura di] C. Perna, N. Salvati, F. Schirripa Spagnolo. - Prima edizione. - [s.l] : Pearson, 2021. - ISBN 9788891927361. - pp. 1630-1635 (( convegno SIS tenutosi a Pisa nel 2021.

Evaluating heterogeneity of agreement with strong prior information = Valutare l’Eterogeneita di Concordanza in Presenza di Forte Informazione a Priori

F.M. Stefanini
Primo
2021

Abstract

Il Kappa di Fleiss e una statistica tipicamente calcolata per quantificare la concordanza tra valutatori. Partendo dalla riformulazione in termini di processo generatore dei dati di concordanza e da alcune plausibili assunzioni nel contesto medico considerato, viene valutato il numero di report che una rete Bayesiana deve classificare per ottenere una potenza statistica ragionevolmente elevata. Le stime ottenute via simulazione Monte Carlo suggeriscono che i campioni dovrebbero essere di almeno di dimensione 40, e che 80 o più report per ogni classe di malattia sono necessari per raggiungere sufficiente potenza statistica nell’intervallo πJz ∈ [0.5,0.99] con una differenza piccola quanto δ = 0.15 o inferiore.
Fleiss’ Kappa is a statistic typically calculated to quantify the degree of agreement among raters. Starting from the reformulation of Kappa in terms of data generating process and from plausible assumptions in the considered medical context, the number of reports that a Bayesian Network has to classify in order to obtain reasonable statistical power is found. Estimates obtained by Monte Carlo simulation suggest that samples should be at least of size 40, and that 80 or more case reports for each disease class are needed to reach enough statistical power on the interval π_z ∈ [0.5, 0.99] with a difference as small as δ = 0.15 or less.
Fleiss’ Kappa; Bayesian test; raters
Settore SECS-S/01 - Statistica
Book Part (author)
File in questo prodotto:
File Dimensione Formato  
pearson-sis-book-2021.pdf

accesso riservato

Tipologia: Publisher's version/PDF
Dimensione 309.04 kB
Formato Adobe PDF
309.04 kB Adobe PDF   Visualizza/Apri   Richiedi una copia
Pubblicazioni consigliate

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/2434/853143
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact