Il lipsynching dei personaggi virtuali viene ottenuto processando il segnale vocale prodotto da uno speaker reale. Ciò rappresenta un notevole vincolo applicativo in quanto richiede la disponibilità di una componente reale per far funzionare una componente virtuale. La generazione sintetica della voce consente invece di superare questi vincoli e aprire un ben più ampio campo applicativo rispetto alle correnti tecnologie di lipsynching. Un sintetizzatore Test-To-Speech (TTS) è stato appositamente sviluppato allo scopo di produrre le due sequenze di controllo necessarie al funzionamento del volto di un personaggio virtuale: simboli fonetici codificati XSAMPA e parametri di controllo fisico (intensità, durata, accenti, prosodia, inflessione, ecc.). Anche il personaggio virtuale è stato appositamente sviluppato per poter soddisfare adeguatamente lo scopo di essere pilotato da sequenze simboliche piuttosto che da parametri fisici. Conseguentemente, per lo sviluppo dell’oggetto grafico-animato sono stati utilizzati linguaggi di modellazione e di programmazione non tradizionali in questo campo applicativo e in particolare si è fatto ricorso anche a linguaggi XML-based. La prima versione prototipale ha dimostrato la validità e la potenzialità di questo approccio alla realizzazione di personaggi virtuali animati da sorgenti audio sintetiche soprattutto per soddisfare applicazioni particolarmente sensibili ai costi e a elevato livello di embedding. Inoltre, grazie alla scelta del linguaggio XML per la descrizione di dati e processi, il sistema ha dimostrato un elevato livello di scalabilità.

Lipsynching di personaggio virtuale basato su voce generata da sintetizzatore vocale Text-To-Speech / M. Malcangi. ((Intervento presentato al 6. convegno MIMOS (Movimento Italiano Modellazione e Simulazione) 6° Convegno tecnico scientifico tenutosi a Torino nel 2006.

Lipsynching di personaggio virtuale basato su voce generata da sintetizzatore vocale Text-To-Speech

M. Malcangi
Primo
2006

Abstract

Il lipsynching dei personaggi virtuali viene ottenuto processando il segnale vocale prodotto da uno speaker reale. Ciò rappresenta un notevole vincolo applicativo in quanto richiede la disponibilità di una componente reale per far funzionare una componente virtuale. La generazione sintetica della voce consente invece di superare questi vincoli e aprire un ben più ampio campo applicativo rispetto alle correnti tecnologie di lipsynching. Un sintetizzatore Test-To-Speech (TTS) è stato appositamente sviluppato allo scopo di produrre le due sequenze di controllo necessarie al funzionamento del volto di un personaggio virtuale: simboli fonetici codificati XSAMPA e parametri di controllo fisico (intensità, durata, accenti, prosodia, inflessione, ecc.). Anche il personaggio virtuale è stato appositamente sviluppato per poter soddisfare adeguatamente lo scopo di essere pilotato da sequenze simboliche piuttosto che da parametri fisici. Conseguentemente, per lo sviluppo dell’oggetto grafico-animato sono stati utilizzati linguaggi di modellazione e di programmazione non tradizionali in questo campo applicativo e in particolare si è fatto ricorso anche a linguaggi XML-based. La prima versione prototipale ha dimostrato la validità e la potenzialità di questo approccio alla realizzazione di personaggi virtuali animati da sorgenti audio sintetiche soprattutto per soddisfare applicazioni particolarmente sensibili ai costi e a elevato livello di embedding. Inoltre, grazie alla scelta del linguaggio XML per la descrizione di dati e processi, il sistema ha dimostrato un elevato livello di scalabilità.
2006
lipsynching ; text-to-speech ; virtual characters ; embedding
Settore INF/01 - Informatica
Lipsynching di personaggio virtuale basato su voce generata da sintetizzatore vocale Text-To-Speech / M. Malcangi. ((Intervento presentato al 6. convegno MIMOS (Movimento Italiano Modellazione e Simulazione) 6° Convegno tecnico scientifico tenutosi a Torino nel 2006.
Conference Object
File in questo prodotto:
Non ci sono file associati a questo prodotto.
Pubblicazioni consigliate

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/2434/142598
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact