ASSURANCE-AWARE 5G EDGE-CLOUD ARCHITECTURES FOR INTENSIVE DATA ANALYTICS

Modern data-intensive applications are increasingly demanding in terms of non-functional properties such as performance, latency, security, and privacy. In order to achieve such non-functional properties, modern applications benefit from being developed as a composition of services and deployed in a heterogeneous continuum infrastructure that includes Edge and Cloud facilities. In this scenario, the infrastructures used to deploy services play a crucial role in providing or supporting non-functional properties of the applications. For instance, low latency can be achieved via deployment of services in the far edge nodes. Most of the current literature addresses the problem of deployment of single (stateless)services mainly with the aim of ensuring and verifying requirements in terms of resources and performance. Only few solutions exist to deploy applications made of services workflows, and in most of the cases they are focused on functional composition. In general, they fail to address composition deployment preserving advanced non-functional properties such as security and privacy. This thesis proposes novel assurance methodology for modern continuum infrastructures, enabling lightweight in-depth verification and assessment of non-functional properties constituting the key cornerstone for a fully non-functional-aware deployment of service based applications. The thesis proposes an advanced continuum infrastructure, where the 5G MEC is integrated as an Edge node. It also considers a continuum which is empowered with a big data ecosystem of services, where data-intensive analytic workflows can be executed to support critical applications. The assurance methodology defined in the thesis is collaborative and lightweight, and is based on i) transparent collection of evidence representing measurements of relevant continuum states (obtained via monitoring or testing of standard infrastructure-level hooks), ii) aggregation of measurements into metrics and iii) contracts linking metrics to specific non-functional properties. The assurance methodology decouples infrastructure assurance from data processing assurance and application-level assurance. It is the first attempt to suggest that infrastructure and data processing assurance can effectively complement application-level assurance with a limited increase in computational effort while fully applicable in modern continuum infrastructures. The contributions of this thesis are manifold: i) a generic assurance methodology for modern infrastructures ii) a set of specific verticalization of the generic assurance for 5G MEC, Big Data pipelines and CDN networks, iii) a novel notion of continuum empowered by 5G, iv) property aware deployment solution for the continuum integrating assurance controls, v) a complete realization of a continuum infrastructure with simulated 5G nodes and a real data-intensive application for robotic agronomy vi) full experimental evaluation of utility usability and performance. The assurance approaches developed in the thesis have been applied to a real-world scenario through the construction of a complete 5G-enabled Edge-Cloud continuum infrastructure. This was achieved by integrating a 5G network simulator, a MEC deployment infrastructure, a Big Data engine, and a data analysis pipeline platform. This continuum was used to realize a concrete application in the area of IoT-based automated agronomy. Such application is capable of handling the collection, ingestion, analysis and visualization of on-field data. Such complex modern application requires guarantees on a set of advanced non-functional properties that were verified adopting the assurance methodology defined in the thesis. The obtained results demonstrate the utility and usability of the assurance in the context of modern data-intensive application as well as the limited impact in terms of performance obtained thanks to the approach based on infrastructure-level monitoring and lightweight evidence collection.

Le moderne applicazioni data-intensive sono sempre più esigenti in termini di proprietà non funzionali, quali prestazioni, sicurezza e privacy. Al fine di raggiungere queste proprietà non funzionali, le moderne applicazioni traggono vantaggio dall'essere sviluppate come una composizione di servizi e distribuite in un'infrastruttura eterogenea di continuum che comprende infrastrutture Edge e Cloud. In questo scenario, le infrastrutture utilizzate per il deployment dei servizi svolgono un ruolo cruciale nel fornire o supportare le proprietà non funzionali dell'applicazione. Ad esempio, la bassa latenza può essere ottenuta distribuendo i servizi in nodi ai confini dell'Edge. La maggior parte della letteratura disponibile sulle infrastrutture di deployment si concentra su singoli servizi stateless e su soluzioni per garantire e verificare le proprietà non funzionali relative alla disponibilità delle risorse e alle prestazioni. Solo alcune soluzioni esistono per il deployment di pipeline di servizi, concentrandosi nella maggior parte dei casi solo sulla composizione funzionale. In generale mancano soluzioni di deployment che preservino le altre proprietà non funzionali avanzate, come sicurezza e privacy. Questa tesi propone una nuova metodologia di assurance per le moderne infrastrutture di continuum, permettendo una economica e approfondita verifica di proprietà non funzionali. Questo lavoro costituisce le fondamenta per una metodologia il deployment applicazioni basate su servizi servizi fondata sulle proprietà non funzionali. La tesi si concentra su infrastrutture di continuum avanzate, dove il MEC 5G può essere integrato come nodo Edge. Inoltre, si focalizza su un Edge-Cloud Continuum che integra un ecosistema di servizi Big Data, dove vengono eseguite analitiche data-intensive a supporto di applicazioni critiche. La metodologia di assurance proposta in questa tesi è collaborative, poco onerosa e basata su i) la collezione trasparente e continua di evidenze che misurano stati rilevanti del sistema ottenute tramite monitoring o test di interfacce standard dell'infrastruttura, ii) aggregazione di misure in metriche e iii) contratti che definiscono la verifica di specifiche proprietà non funzionali basandosi sulle metriche. La metodologia di assurance disaccoppia l'assurance dell'infrastruttura da quelle legate alla trasformazione dei dati e dell'applicazione. Questo è il primo tentativo di mostrare come l'assurance di infrastrutture e di trasformazione dei dati possano complementare l'assurance sulle applicazioni con un limitato incremento nell'uso delle risorse, mantenendosi pienamente applicabile alle moderne infrastrutture di continuum. I contributi di questa tesi sono molteplici: i) una metodologia di assurance genereralizzabile per le infrastrutture moderne, ii) un insieme di verticalizzazioni della metodologia di assurance per 5G MEC, pipeline di Big Data e reti CDN, iii) una nuova nozione di continuum abilitata al 5G, iv) una soluzione di deployment fondata sulle proprietà non funzionali e che integra verifice di assurance, v) la realizzazione di una infrastruttura di continuum con nodi 5G simulati e una applicazione data-intensive reale di agronomia robotizzata, vi) una completa valutazione di efficienza e performance della soluzione sviluppata. Le soluzioni di assurance sviluppate in questa tesi sono state applicate a scenari reali tramite la realizzazione di un'infrastruttura Edge-Cloud Continuum con supporto 5G. Questa è stata ottenuta integrando un simulatore di rete 5G, una soluzione di deployment MEC, servizi per Big Data e una piattaforma di pipeline di analisi. Questa infrastruttura di continuum è stata utilizzata per l'implementazione di un'applicazione di tipo IoT basata sull'automazione di analisi agronomiche. La soluzione realizzata ha gestito la collezione, l'inserimento, l'analisi e la visualizzazione di dati raccolti sul campo. Questa complessa applicazione ha necessità di garanzie su proprietà non funzionali avanzate, che sono state garantite tramite la metodologia di assurance definita in questa tesi. I risultati ottenuti dimostrano l'utilità e l'efficacia dell'assurance nel contesto di applicazioni data-intensive moderne, così come il limitato impatto sulle performance ottenuto tramite l'uso di monitoring infrastrutturale e la collezione di evidenze.