Common clustering algorithms require multiple scans of all the data to achieve convergence, and this is prohibitive when large databases, with millions of data, must be processed. Some algorithms to extend the popular K-means method to the analysis of big data are present in literature since 1998, but they assume that the random vectors which are processed and grouped have uncorrelated components. Unfortunately this is not the case in many practical situations. We here propose an extension of the algorithm of Bradley, Fayyad and Reina to the processing of massive multivariate data, having correlated components.
I comuni algoritmi di clustering richiedono di esaminare piu volte tutti i ` dati per raggiungere la convergenza, e cio risulta proibitivo quando devono essere ` analizzati database enormi, con milioni di dati. In letteratura sono presenti fin dal 1998 [1] alcuni algoritmi che estendono il popolare metodo K-medie all’analisi di big data, ma essi assumono che i vettori aleatori che vengono analizzati e raggruppati abbiano componenti non correlate. Purtroppo tale condizione non e soddisfat- ` ta in molti casi pratici. Qui proponiamo un’estensione dell’algoritmo di Bradley, Fayyad e Reina all’analisi di grandi moli di dati multivariati, con componenti correlate fra loro.
A clustering algorithm for multivariate big data with correlated components=Un algoritmo di clustering per big data multivariati con componenti correlate / G. Aletti, A. Micheletti (PROCEEDINGS E REPORT). - In: Conference of the Italian Statistical Society : Proceedings / [a cura di] A. Petrucci, R. Verde. - Firenze : Firenze University Press, 2017. - ISBN 9788864535210. - pp. 31-36 (( convegno Statistics and Data Science: new challenges, new generations tenutosi a Firenze nel 2017.
A clustering algorithm for multivariate big data with correlated components=Un algoritmo di clustering per big data multivariati con componenti correlate
G. Aletti;A. Micheletti
2017
Abstract
Common clustering algorithms require multiple scans of all the data to achieve convergence, and this is prohibitive when large databases, with millions of data, must be processed. Some algorithms to extend the popular K-means method to the analysis of big data are present in literature since 1998, but they assume that the random vectors which are processed and grouped have uncorrelated components. Unfortunately this is not the case in many practical situations. We here propose an extension of the algorithm of Bradley, Fayyad and Reina to the processing of massive multivariate data, having correlated components.File | Dimensione | Formato | |
---|---|---|---|
aletti_492_CON.pdf
accesso aperto
Descrizione: articolo principale
Tipologia:
Post-print, accepted manuscript ecc. (versione accettata dall'editore)
Dimensione
53.74 kB
Formato
Adobe PDF
|
53.74 kB | Adobe PDF | Visualizza/Apri |
Pubblicazioni consigliate
I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.