SE519244C2 - Anordning och metod vid talsyntes - Google Patents

Description

30 35 519 244 .'.=:. 2 ett verkligt ansikte. För att kunna lagra ansiktsuttrycken registreras ett antal punkter i ansiktet på en försöksper- son som talar in det tal som utnyttjas för polyfonbanken.

Polyfoner för ett antal olika språk inspelas och registre- ras tillsammans med motsvarande ansiktsuttryck.

Försökspersonens rörelsemönster i ansiktet lagras i en da- tabank och utnyttjas för modelleringen av rörelsemönstren i det andra språket. Uppfinningen ger på detta sätt en uppsättning ansiktsuttryck som är förknippade med de olika polyfonerna. Dessa ansiktsuttryck sammansättes därefter till mot de av en eller flera sammansatta polyfonernas svarande ord och sentenser. På detta sätt erhålles ett mo- dellerat ansiktsuttryck vilket påföres en ansiktsavbild- ning av en talande person.

Vid ansiktsmodelleringen tas hänsyn till att olika polyfo- ner ges olika ansiktsuttryck eftersom hänsyn tas till kom- mande vokal- och konsonantsammansättningar. Ansiktsrörel- serna pàföres vidare en modell som påföres ett verkligt ansikte. Modellen kan vara två- eller tredimensionell-Vid nyttjandet av en tredimensionell modell utnyttjas lämpli- gen ett modellhuvud. De registrerade punkterna i ansiktet är härvid registrerade i tre dimensioner. Vid skapandet av ansiktet påföres en avbildning av det verkliga ansiktet på modellen vilket ger en naturtrogen bild av det verkliga ansiktet och dess rörelsemönster.

FÖRDELAR Uppfinningen ger en möjlighet att anpassa ett ansiktes rö- relsemönster till ett andra språk trots att personen talar ett språk som ej motsvaras av det mottagna språket. Att ansiktsuttrycket överensstämmer med det mottagna språket ökar talförstàelsen, eftersom förvirrande och vilseledande signaler i ansiktsuttrycken elimineras eller väsentligen undanröjas. oøooci 10 15 20 25 30 35 519 244 '.:I. .. 3 FIGURBESKRIVNING Fig. 1 visar ett polyfon och ett antal till polyfonen re- laterade punkter i ett ansikte.

Fig. 2 visar motsvarande som i fig. 1, där polyfonen seg- menterats.

Fig. 3 visar en mätutrustning M försedd med laser L, där en ljussignal A utsänds och en reflekterad signal B mottas för mätning av punkter 1-10 i ett ansikte.

Fig. 4 visar ett flödesschema för uppfinningen.

DETALJERAD BESKRIVNING I det följande beskrivs uppfinningen utifrån ritningarna och beteckningarna däri.

Föreliggande uppfinning avser en anordning och metod vid talsyntes. Ett tal registreras och polyfoner lagras. I samband med registrering av polyfonerna registreras även rörelsemönstret i ett ansikte. Registreringen av rörelse- mönstret i ansiktet sker genom att ett antal mätpunkter i ansiktet registreras samtidigt som polyfonerna registre- ras. I samband med översättning av en persons tal från ett språk till ett annat sammankopplas polyfonerna och aktuel- la rörelsemönster i ansiktet till en rörelsemodell i an- siktet. Den verkliga personens ansikte klistras därefter över modellen, varvid ett mot språket motsvarande rörelse- mönster erhålles. Uppfinningen ger sålunda intryck av att personen verkligen talar det aktuella språket.

I samband med inspelning av polyfoner, företrädesvis halv- stavelser, registreras rörelsemönster i olika delar av ett ansikte. Polyfonerna består av halvstavelser t.ex. spru, spri, kro etc. Vid inspelning av polyfonerna anordnas an- ordningar för samtidig registrering av ett antal mätpunk- ter i ansiktet hos en försöksperson. Mätpunkterna utgöres exempelvis av de i fig. 3 angivna punkterna 1-10. För var- je mätpunkt i ansiktet anordnas reflektorer eller motsva- cor-ao ÛOOIOI 10 15 20 25 30 35 519 244 f. .. 4 rande. Laserstrålar utsänds från en lasersändare L som är ansluten till en mätutrustning M. Mätutrustningen M re- gistrerar rörelsemönstret i respektive mätpunkter under intalning av ett naturligt tal. Talet kopplas till rörel- semönstret i respektive mätpunkter i ansiktet. Antalet mätpunkter i ansiktet är beroende av i vilken omfattning rörelsemönstret i ansiktet skall registreras. I vissa fall räcker det att registrera endast rörelsemönstret kring munnen och hakpartiet. I andra sammanhang eftersträvas mer fullständiga rörelsemönster i ansiktet där kindrörelser, ögonreaktioner, rörelser kring och i näspartiet önskas re- gistrerade. De inspelade orden delas in i polyfoner, halv- stavelser. Polyfonerna kopplas till motsvarande rörelse- mönster i ansiktets olika partier. Lagring sker därefter av polyfonerna och till polyfonerna hörande rörelsemönster i ansiktet. Lagringen sker i en databas där direkt kopp- ling mellan polyfonerna och de registrerade punkterna i ansiktet gjorts. En bank över de i ett eller flera språk förekommande polyfonerna erhålles på detta sätt. En männi- skas rörelsemönster i ansiktet är i viss mån beroende av vilket språk som talas. Av denna anledning inspelas poly- fonerna och ansiktsrörelserna företrädesvis för varje språk.

Varje polyfon segmenteras därefter i enlighet med fig. 2.

Segmenteringen av polyfonerna överförs även till rörelse- mönstren i ansiktet. På detta sätt kan representationen för enstaka bokstävers uttal överföras till motsvarande rörelsemönster i ansiktets olika delar.

En tillämpning av uppfinningen är exempelvis bildtelefoni mellan parter som talar olika språk. Vid en dylik tillämp- ning återfinns utrustningar i eller anslutbara till tele- nätet som registrerar och analyserar parternas tal. Talet igenkännes och översätts till motpartens språk. I samband med översättningen till det andra språket framtas de sen- tenser som skall uttalas. Sentenserna delas ned i polyfo- ner som hämtas ur databasen för det aktuella språket. I uflocøo 0 000001 10 15 20 25 30 35 519 244 5 beroende av vilka ord som skall uttalas sker därefter eventuellt en utsträckning eller förkortning av de enstaka ljudens, fonemens, uttalstid i polyfonet. I samband med att polyfonen uttas och justeras framtas även rörelse- mönstret i de olika delarna av ansiktet. I samband med att talsyntes genomförs påförs även motsvarande rörelsemönster en ansiktsmodell. Modellen utgör en ansiktsavbildning vil- ken anger de grundläggande dragen vid det aktuella språ- kets nyttjande. Vid framställning av talet klistras däref- ter den verkliga personens ansikte över modellen och ett för språket realistiskt rörelsemönster erhålles.

Med hänvisning till fig. 4 inbegriper uppfinningen ett första steg där en person inläser ett tal. Under inläs- ningen avläses ett antal mätpunkter i ansiktet. Mätpunk- terna avläses lämpligen med lasersignaler som riktas mot de aktuella mätpunkterna i ansiktet. De aktuella mätpunk- terna markeras med punkter Det intalade talet samt de tet registreras och lagras som reflektera lasersignalen. avlästa mätresultaten i ansik- I data- orden i halvstavelser till vil- därefter i en databas. basen anordnas de intalade ka halvstavelser motsvarande rörelsemönster i ansiktet hänföres.

I ett andra steg där en person talar ett språk som över- sätts till ett andra språk söks, efter översättningen, ak- tuella halvstavelser i det andra språket upp ur databasen.

Ur databasen framtas därefter motsvarande rörelsemönster i ansiktet. En segmentering av halvstavelser och motsvarande rörelsemönster i ansiktet genomförs därefter. En anpass- ning av segmenten sker därefter med hänsyn till de ord som skall framställas. Exempelvis skall segmenten utsträckas eller förkortas i tiden. Motsvarande ändring införs även för motsvarande segment i ansiktsrörelserna. När segmente- ring och anpassning genomförts skapas en modell av an- siktsrörelserna pà ett modellhuvud. Modellhuvudets uppgift är endast att ange vilka delar av ansiktet som ändras un- der talets framförande och saknar väsentligen karakteris- tiska drag hos en specifik människa. För att skapa en na- 0000!- 00000! 10 15 20 25 30 35 519 244 .. 6 turtrogen avbildning utnyttjas därefter den verkliga män- niskans avbildning. Denna avbildning kan finnas lagrad se- dan tidigare eller skapas av den bild som överförs av ta- laren vid inspelning av det första talet. Bilden av den verkliga talaren klistras/överlagras därefter på modellhu- vudet. Därefter framställs ljud och bild tillsammans och överförs till en mottagare. Den framställda avbildningen med tillhörande tal kommer härvid att uppfattas sà, att talaren talar det språk som mottagaren erhåller på ett na- turtroget sätt.

I det ovan beskrivna har bildtelefoni använts som exempel, men uppfinningen är tillämpar i alla sammanhang där en person skall föreställa att tala ett annat språk än denne ursprungligen talat. Tillämpningen kan således utnyttjas vid dubbning av filmer där ett realistiskt beteende efter- strävas.

Uppfinningen är även tillämpbar för registrering av det totala rörelsemönstret hos en person. I ett dylikt samman- hang anbringas mätpunkterna på ett antal mätpunkter över en försökspersons hela kropp. Mätpunkterna lagras liksom i det ovanstående för sammankoppling till en översättning av ett givet tal där rörelsemönstret först byggs upp en på modell, varpå den verkliga personens bild pàklistras/- överlagras.

I ytterligare utföringsform är uppfinningen utnyttjnings- bar för påförande av rörelsemönster på animerade filmer för erhållande av naturtrogna rörelser på t.ex. tecknade eller dataanimerade figurer. I ytterligare utföringsform registreras mätpunkterna l-10 i ansiktet tredimensionellt.

Den lagrade informationen utnyttjas därefter för skapande av en tredimensionell modell av rörelsemönstret på ett mo- dellhuvud. För att överföra det erhållna rörelsemönstret lpå en persons huvud páföres en avbildning av personens hu- vud modellen 11 genom påklistring. Påklistringen innebär att personens ansikte sker genom att en tredimensionell bild av personens ansikte framtas och överlagras modellhu- 100! ...w øonovo 519 244 . 7 vudet, varvid personen i fråga erhåller ett rörelsemönster som motsvaras av språkets rörelsemönster. Uppfinningen är inte begränsad till det i ovan beskrivna eller till nedan angivna patentkrav utan kan underkastas modifieringar inom ramen för uppfinningstanken.

Claims (24)

10 15 20 25 30 519 244 . 8 PATENTKRAV

1. Anordning för talsyntes vid översättning av tal pà ett språk till syntetiskt tal pà ett andra språk, där polyfoner som förekommer åtminstone i det andra språket är lagrade i en minnesenhet, och polyfonerna är uttagbara och sammansätt- ningsbara till ord och sentenser, kännetecknad av att i min- nesenheten är till polyfonerna hörande ansiktsuttryck lagra- de, att vid bildandet av orden och sentenserna är motsva- rande delar av ansiktsuttrycken sammansatta och pàförbara en ansiktsavbildning, att ansiktsavbildningen är given ett rö- relsemönster som väl överensstämmer med rörelsemönstret i ett verkligt ansikte och att talarens avbildning utnyttjas som ansiktsavbildningen.

2. Anordning enligt patentkrav 1, kännetecknad av att ett antal punkter i ett verkligt ansiktet är registrerade sam- tidigt som polyfonerna är registrerade.

3. Anordning enligt patentkrav 1-2, kännetecknad av att de lagrade ansiktsuttrycken för motsvarande polyfon är sam- manställningsbara till ett modellerat ansiktsuttryck.

4. Anordning enligt patentkrav 1-3, kännetecknad av att det modellerade ansiktsuttrycket är pàförbart ansiktsavbild- ningen.

5. Anordning enligt något av föregående patentkrav, kän- netecknad av att vid registrering av ansiktsuttrycken är ett flertal mätpunkter i verkliga ansikten registrerade tillsam- mans med polyfonerna.

6. Anordning enligt något av föregående patentkrav, kän- netecknad av att vid sammansättningen av polyfonerna är de motsvarande ansiktsuttrycken utnyttjade för modellbild- ningen. 10 15 20 25 30 voøntd 519 244 '.:I...1 <7

7. Anordning enligt något av de föregående patentkraven, kännetecknad av att ansiktsrörelserna är påförbara en modell av ett ansikte.

8. Anordning enligt patentkrav 7, kännetecknad av att det verkliga ansiktet är påförbart modellen varvid en person vartill det verkliga ansiktet hör är avbildningsbart med ett mot vid talöversättning svarande ansiktsuttryck, varvid per- sonen i fråga är given intrycket att tala det andra språket.

9. Anordning enligt något av föregående patentkrav, kän- netecknad av att bildpunktsupptagningen i det verkliga an- siktet är anordnat att ske tredimensionellt.

10. Anordning enligt patentkrav 9, kännetecknad av att ansiktets rörelsemönster är anordnat att överföras till en tredimensionell ansiktsmodell.

11. Anordning enligt patentkrav 10, kännetecknad av att den tredimensionella ansiktsmodellen utgöres av ett modell- huvud.

12. Anordning enligt patentkrav 11, kännetecknad av att talarens ansikte är sammanlagrat med modellhuvudet varvid en naturtrogen modell av talarens ansikte är erhållen.

13. Anordning enligt något av föregående patentkrav, kän- netecknad av att det verkliga ansiktet med till polyfonerna hörande ansiktsuttryck är reproducerbara i två eller tre di- mensioner.

14. Anordning enligt något av föregående patentkrav, kän- netecknad av att polyfonsammansättning och tillhörande rö- relsemönster i ansiktet är utnyttjbart vid bildkommunikation där personen talar ett första språk, och nämnda första språk översätts till ett andra språk, vilket andra språk återges hos en mottagare som ges intrycket att personen verkligen talar det andra språket. OQOOOU 10 15 20 25 30 519 244 .:I. /0

15. Anordning enligt något av föregående patentkrav, kän- netecknad av att àtergivningen av ansiktsuttryck är över- föringsbara till rörliga bilder vid talöversättning.

16. Anordning enligt patentkrav 15, kännetecknad av att de rörliga bilderna avser djur, människor eller tecknade fi- gurer.

17. Anordning enligt något av föregående patentkrav, kän- netecknad av att ansiktsuttrycken med tillhörande polyfoner är utnyttjbara vid bildanimering, t ex vid framställning av tecknade filmer.

18. Anordning enligt något av föregående patentkrav, kän- netecknad av att delbitar i polyfonerna är lagrade till- sammans med motsvarande rörelsemönster i ansiktet.

19. Anordning enligt patentkrav 18, kännetecknad av att vid skapandet av ord och sentenser polyfonernas delbitar är anpassningsbara till de skapade orden och sentenserna, var- vid motsvarande rörelsebitar i ansiktet modifieras i motsva- rande utsträckning.

20. Anordning enligt patentkrav 19, kânnetecknad av att rörelsemönstret i varje registrerad del av ansiktet är modi- fierad med hänsyn till polyfondelarnas modifiering.

21. Metod för talsyntes vid översättning av tal på ett språk till syntetiskt tal på ett andra språk, där polyfoner, som förekommer åtminstone i det andra språket, och deras delbitar lagras i en minnesenhet, och polyfonerna samman- sätts till ord och sentenser, kännetecknad av att i minnes- enheten lagras mot polyfonerna svarande rörelsemönster i ett ansikte, att polyfonerna och motsvarande rörelsemönster seg- menteras varvid polyfonernas och rörelsemönstrens delbitar modifieras med hänsyn till de bildade orden och sekvenserna, att rörelsemönstret pàföres en ansiktsavbildning vars rörel- semönster ges ett mot orden och sentenserna svarande rörel- Iøtvuiv 10 15 519 244 ll semönster och att talarens avbildning utnyttjas som an- siktsavbildningen.

22. Metod enligt patentkrav 21, kännetecknad av att ett antal punkter i ett verkligt ansikte registreras tillsammans med polyfonerna.

23. Metod enligt patentkrav 21 eller 22, kännetecknad av att ansiktsuttrycken och motsvarande polyfoner sammanställs till ett modellerat ansiktsuttryck som pâförs ansiktsavbild- ningen.

24. Metod enligt patentkrav 21, 22 eller 23, känneteck- nad av att vid registrering av ansiktsuttrycken registreras ett flertal mätpunkter i det verkliga ansiktet tillsammans med polyfonerna och vid sammansättning av polyfonerna ut- nyttjas de motsvarande ansiktsuttrycken för modellbild- ningen. 000000