COCOON: A MULTIMODAL PLATFORM TO SUPPORT SOCIAL EMOTIONAL LEARNING FOR CHILDREN WITH AUTISM SPECTRUM DISORDER

We present a digital platform for a novel multidimensional intervention for children affected by Autism Spectrum Disorders (ASD). It targets interventions on social skills and it is based on the recognition and synthesis of basic emotions: happiness, anger, fear, sadness and it provides a progression in difficulty. At the easiest level, children have to recognize emotions in pictures that can be either taken from Picture Exchange Communication System (PECS), or photos of an actor’s face. At a higher level a video obtained morphing a neutral face with a face expressing a particular emotion, is shown. At the most difficult level, animated stories that pertain daily life situations and are clearly associated to emotions, are shown: an avatar, with a robot engaging shape, is used as actor. We explore the role of music and color to strengthen emotions understanding: at the end of each exercise music tuned to the portrayed emotion is played and the robot changes its color into the color associated with the emotion shown. In animated stories, music is played according to the situation and objects in the room change color. In addition, adequate body gestures are expressed by the robot. To assess the usability of the platform we performed a pilot study with 19 children in two centers that treat children with ASD in Milan. The study was held in two rounds, R1 with 8 children with medium-functioning autism and R2 with 11 children with high-functioning autism. Scores of the SUS questionnaire show that the therapists and the children would use the application with an average score of 86,875 for R1 and 96,75 for R2. Children in general liked the presence of music and the changes in colors. Therapists observed that music and color in most cases was easily associated with the emotional content, especially when animated stories were proposed and this approach is promising to empower therapists in treating lack of social skills.

Presentiamo Cocoon una piattaforma digitale per un nuovo intervento multimodale per i bambini affetti da disturbi dello spettro autistico (ASD). Cocoon supporta un intervento terapeutico per bambini con ASD a supporto dello sviluppo di abilità sociali, in particolare per il riconoscimento e la sintesi delle emozioni universali di felicità, rabbia, paura, tristezza. La piattaforma offre una progressione nella difficoltà di esercizio. Al livello più semplice, i bambini riconosceranno le emozioni osservando alcune immagini, che possono essere dei pittogrammi dello standard Picture Exchange Communication System (PECS) o possono essere delle foto del volto di un attore; ad un livello superiore di difficoltà viene mostrato un video del volto di un attore che mostra la transizione dall’espressione neutra all’espressione di una particolare emozione, ottenuto attraverso il morphing, e animazioni dei pittogrammi PECS. Inoltre, vengono offerte storie animate che riguardano situazioni di vita quotidiana, dove ciascuna storia è chiaramente associata ad una emozione universale; un avatar, con la forma di un simpatico robot, è il protagonista delle storie. Il robot esprime le emozioni universali con espressioni stilizzate del viso e gesti. Il robot ha anche il compito di guidare il bambino attraverso l’applicazione e si complimenta con il piccolo utente quando un esercizio viene svolto. Oltre ai complimenti, il rinforzo positivo è costituito da musica e un’animazione ricca. Con questa applicazione esploriamo il ruolo della musica e del colore per rafforzare la comprensione delle emozioni. Al termine di ogni esercizio viene riprodotta una musica opportunamente associata all'emozione mostrata a schermo. Il robot cambia il proprio colore assumendo una colorazione associata all'emozione che sta esprimendo. Nelle storie animate, la musica viene riprodotta in base alla situazione, mentre il robot e anche gli oggetti nella stanza cambiano colore in base all’emozione ritratta. Per valutare l'usabilità della piattaforma abbiamo effettuato uno studio pilota con in totale 19 bambini in due centri a Milano specializzati nell’intervento per bambini con autismo. Lo studio si è svolto in due round distinti, R1 con 8 bambini con diagnosi di autismo a medio funzionamento e R2 con 11 bambini con diagnosi di autismo ad alto funzionamento. Abbiamo valutato l’usabilità dell’applicazione con diversi questionari e domande aperte, i punteggi del questionario SUS mostrano che i terapisti e i bambini utilizzerebbero l'applicazione con un punteggio medio di 86,875 per R1 e 96,75 per R2. I bambini in generale hanno apprezzato la presenza della musica e le animazioni con il cambio di colore. I terapisti hanno osservato che la musica e il colore nella maggior parte dei casi erano facilmente associati dai bambini al contenuto emotivo proposto, soprattutto quando hanno guardato le storie animate. Alcuni bambini si sono sentiti particolarmente a loro agio ed hanno iniziato a fare confidenze al terapista sul loro stato emotivo. Questo approccio multimodale di intervento mediante un’applicazione digitale, con animazioni, con musica e con colori, si è rivelato quindi promettente al fine di supportare i terapisti nella terapia sociale per bambini con ASD.