RS50004B - Sistem i postupak za višejezično prevođenje komunikativnog govora - Google Patents

Sistem i postupak za višejezično prevođenje komunikativnog govora

Info

Publication number
RS50004B
RS50004B RSP-2007/0316A RSP20070316A RS50004B RS 50004 B RS50004 B RS 50004B RS P20070316 A RSP20070316 A RS P20070316A RS 50004 B RS50004 B RS 50004B
Authority
RS
Serbia
Prior art keywords
language
sentence
speech
serbian
interlingual
Prior art date
Application number
RSP-2007/0316A
Other languages
English (en)
Inventor
Zoran Šarić
Slobodan Jovičić
Original Assignee
Zoran Šarić
Slobodan Jovičić
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoran Šarić, Slobodan Jovičić filed Critical Zoran Šarić
Priority to RSP-2007/0316A priority Critical patent/RS50004B/sr
Publication of RS20070316A publication Critical patent/RS20070316A/sr
Priority to PCT/RS2008/000025 priority patent/WO2009014465A2/en
Publication of RS50004B publication Critical patent/RS50004B/sr

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193Formal grammars, e.g. finite state automata, context free grammars or word networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

Sistem za višejezičko prevođenje komunikativnog govora sa jednog jezika na druge jezike primenom međujezičkih resursa kao univerzalne osnove za višejezičko prevođenje, karakterisan time, što sadrži međujezički domen ID u kome se nalazi međujezički rezervoar koncepata IRe i međujezička banka bilingualnih rečnika IBBD, što međujezičkom domenu može pristupiti proizvoljan broj jezika, što svaki jezik pristupa međujezičkom domenu preko pristupne tačke PT, što svaki jezik ima dvosmernu analitičko-sintetičku obradu jezika i govora, što svaki jezik koristi automatsko prepoznavanje govora ASR i konverziju govornog signala u tekst, što svaki jezik ima sintezu govora na bazi konverzije teksta u govo rni signal TTS, što svaki jezik sadrži analizu izvorne rečenice na bazi gramatičkih pravila i njenu transformaciju u set lingvističkih koncepata i što svaki jezik, kao ciljani jezik, sadrži sintezu jezika na bazi transformacije seta lingvističkih koncepata i gramatičkih pravila ciljanog jezika.

Description

OBLAST TEHNIKE NA KOJU SE PRONALAZAK ODNOSI
Pronalazak pripada oblasti obrade prirodnog jezika, ili konkretnije, sistemima za mašinsko prevođenje govora sa jednog jezika na drugi jezik primenom međujezičkih resursa kao univerzalne osnove za višejezičko prevođenje.
TEHNIČKI PROBLEM
Mašinsko prevođenje govora sa jednog jezika na drugi jezik podrazumeva kompleksne procese koji se putem računara moraju izvršiti između dva govornika koji govore različitim jezicima. Ovi procesi se odvijaju na više nivoa koji se u najosnovnijoj formi mogu predstaviti kao serijska veza relativno nezavisnih modula: automatsko prepoznavanje govora -ASR( Automatic Speech Recognition),mašinsko prevođenje -MT( Machine Translation) isinteza govora -TTS( Text- to- Speech).ModulASRvrši prepoznavanje govora na izvornom jeziku, odnosno konverziju govornog signala u tekst. ModulMTvrši mašinsko prevođenje teksta izvornog jezika u tekst ciljanog jezika. Na kraju, modulTTSvrši sintezu govora ciljanog jezika iz dobijenog teksta na ciljanom jeziku.
U ovoj ordinarnoj formi sistema za prevođenje sa jezika na jezik pojavljuju se mnogobrojni tehnički problemi. Ovi problemi nastaju zbog izuzetno kompleksne prirode govora i jezika. Prvo, govorni signal je izuzetno nestabilan i podložan je mnogim varijacijama (različiti govornici, različita psiho-emotivna stanja govornika, različiti uticaji ambijentalne buke, varijacije govorno-jezičkog izraza, itd.) koje u krajnjem slučaju ne utiču na jezičku informaciju koju govorni signal prenosi ali koje zahtevaju odASRmodula izuzetnu robustnost u procesu analize govornog signala, identifikovanja fonetskih elemenata i prepoznavanja jezičkog sadržaja u govornom signalu. SavremenaASRrešenja su još uvek daleko od savršenih rešenja i tačnost prepoznavanja govora zavisi od govornika, ambijentalnih uslova snimanja govornika i obima rečnika.
Drugo,MTmodul je takođe još uvek daleko od definitivnog rešenja kada je u pitanju tačnost prevoda. Osnovni problemi se javljaju u varijacijama jezičkog izraza i obimu rečnika. Šta više još nije razjašnjeno ni pitanje koji od postojećih modela mašinskog prevođenja pruža izvesnu perspektivu prihvatljivog rešenja. Generalno seMTmodeli mogu svrstati u siedeće četiri kategorije: -" Rule- based transfer" modeli.Osnovne komponente ovih modela su: analiza izvornog jezika, transfer strukture izvornog jezika u strukturu ciljanog jezika i sinteza ciljanog jezika. Analiza jezika podrazumeva kompletnu gramatičku analizu izvornog jezika. Komponenta transfera između dve gramatike (izvornog i ciljanog jezika) sadrži bilingualna pravila transformacije gramatičke reprezentacije jednog jezika u drugi (komparativna gramatika). Problem komparativne gramatike jesni strukturne razlike rečenica dvaju jezika, razlike u morfološkom bogatstvu reči, kao i leksički problem višeznačnosti reči, itd. Upravo ovaj poslednji problem ne dozvoljava
reverzibilnost transfer procesa.
-" Interlingua" modeli.Ovi modeli se zasnivaju na ideji postojanja neke vrste međujezika( interlingua).U tom slučaju zanjezika potrebno jenprevodilaca nameđujezik i nprevodilaca sa međujezika na ciljane jezike; ukupno2nprevodilaca. U slučaju rešenja datog primera pomoćurule- based transfermodela, gde svaki par jezika zahteva svoje prevodioce u oba smera, ukupan broj prevodioca bi bion( n - 1).Sa druge strane interlingua pristup obezbeđuje daje za jedan jezik dovoljno realizovati prevodioce sa/na međujezik i da je na taj način omogućena komunikacija sa bilo kojim jezikom, jer svi jezici komuniciraju preko istog međujezika. Međujezik nije ni jedan prirodni jezik
već veštačka međujezička interpretacija.
- Statistički modeli.Modeli se sastoje iz dva dela: lingvističkog modela i modela prevođenja. Lingvistički model određuje verovatnoću rečenice S u izvornom jeziku P(S) i slično, verovatnoću rečenice T u ciljanom jeziku P(T). Model prevođenja određuje uslovnu verovatnoću P(T|S). Proizvod P(S)P(T|S) daje verovatnoću para S i T rečenica, P(S,T). Dva zadatka treba rešiti. Verovatnoća P(S) se može raščlaniti na proizvod uslovnih verovatnoća: P(si)xP(s2|si)xP(s3|sj,S2)xgde suSj-reči u rečenici S. Verovatnoća P(s2|si) označava verovatnoću da će se rečS2dogoditi ako se dogodila reč si. Praktično se obuhvataju jedna ili dve prethodne reči u određivanju uslovnih verovatnoća (tzv.bigramiitrigrami).Drugi zadatak je određivanje maksimalne verovatnoće P(S,T). Očigledno, ovi modeli ne koriste lingvistička
znanja već izuzetno obimnu jezičku bazu za određivanje opisanih verovatnoća." Example- based" modeli.Osnovna ideja ovakvog jednog modela je formiranje obimnog bilingualnog korpusa parova rečenica i/ili fraza, a zatim metodama najveće sličnosti određivanje primera (rečenice i/ili fraze) koji je najsličniji izvornoj rečenici i/ili frazi. U ovu svrhu najpogodnije je koristiti prethodne primere prevoda i na taj način kumulativno povećavati bilingualni korpus. Prednost ovih modela je izuzetna jednostavnost, nezavisnost od lingvističkih osobina jezika u prevodu i brzi razvoj sistema za novi par jezika. Nedostatak je neophodnost postojanja obimnog bilingualnog korpusa i vreme pretrage kroz ovaj korpus.
Svaki od ovih modela, ili njihovi derivati, ili njihove kombinacije, imaju svoje ozbiljne nedostatke i ograničenja i ni jedan do sada nije pokazao primat.
Treće, TTS modul je sa aspekta korektnosti konverzije teksta u govor u potpunosti rešen ali ostaju znatni problemi u pogledu kvaliteta sintetizovanog govora, pre svega u pogledu njegove prirodnosti.
Mašinsko prevođenje teksta i govora se u mnogo čemu razlikuju, što proističe iz prirode jednog i drugog. Tekst je potpuno stabilan i gramatički ispravan jezički modalitet. Govor je, nasuprot, vrlo često nestabilne, nepravilne i neizvesne structure, što značajno utiče na profil MT sistema. Pored toga, govor se odvija u kontinuitetu i nema vremena za korekciju niti prepoznatog teksta niti prevedenog teksta.
Sa aspekta MT tehnologije govor se karakteriše: čestim diskontinuitetima i nepotpunim iskazima koji u kontekstu nose značenje ili iskazuju nameru govornika, uzastopnim ponavljanjem jedne iste reči ("...rekao sam da, da..., da ću doći ..."),polovično izgovorenim rečima ("...video sam ga u su... hmm, ne u nedelju"),upotrebom nejezičkih glasova (uh, hmm, aaa), u govoru ne postoji interpunkcija koja u tekstu jasno markira rečenice, delove rečenica kao i funkciju rečenica (izjavne, upitne, uzvične), itd., što ga čini veoma teškim za prevođenje.
Ove osobine govora u konverzaciji zahtevaju od sistema prevođenja posebnu lingvističku predobradu izvornog govora - razumevanje prirodnog govora,NLU( Natural Language Understanding),što sa druge strane kod ciljanog jezika iziskuje formiranje modula za generisanje prirodnog jezikaNLG( Natural LanguageGeneratiori).Dakle, polazna serijska veza tri modula (ASR, MT, TTS) sada se proširuje na pet modula (ASR, NLU, MT, NLG, TTS).
Međutim, problem nije ni sada rešen jer ostaju individualne nesavršenosti pojedinih modula koje u serijskoj strukturi mogu samo da degradiraju finalni rezultat prevoda. Savremena rešenja idu ka integraciji pojedinih modula, kao što su ASR i NLU, i korišćenju zajedničkih resursa što daje povećanu tačnost njihove zajedničke funkcije.
STANJE TEHNIKE
Govorna interpersonalna komunikacija dobija primat u savremenim globalnim poslovnim komunikacijama. Međutim, jezičke barijere predstavljaju objektivnu smetnju u razvoju ovih komunikacija. Ovaj kontrast je prouzrokovao veoma intenzivan pristup rešavanju pitanja mašinskog (računarskog) prevođenja sa jednog jezika na drugi jezik i to ne samo na nivou teksta već i na nivou govora, kao najprirodnijeg i najbržeg oblika sporazumevanja, među ljudima (R.A. Cole at al.;Survey of the state of the art in human language technology\Oregon Graduate Institute, 1995.). Izuzetna varijabilnost govornog izraza (neke karakteristike pomenute u prethodnom poglavlju) sam problem mašinskog prevođenja je učinila veoma teškim, toliko da još nema zadovoljavajućeg rešenja niti se može očekivati u bliskoj budućnosti. Ovakvo stanje činjenica generisalo je čitav niz rešenja koja parcijalno rešavaju pojedine aspekte prevođenja (D. Arnold at al.,Machine translation: an introductory guide,NCC Blackvvell Ltd., 1994.; W. Wahlster (ed.),Verbmobil: foundations of speech- to- speech translation,Springer-Verlag, Berlin, 2000).
Poseban problem u realizaciji jednog sistema za mašinsko prevođenje sa govora na govor jeste obim rečnika i posredno sa tim pitanje nezavisnosti ASR modula od govornika. Naime, postoje sistemi za prepoznavanje govora sa velikim rečnicima preko 100.000 reči (kao što je na primer DRAGON sistem), ali su oni zavisni od govornika i zahtevaju poseban trening za njihovo korišćenje. Savremeni razvoj govornih tehnologija će ovaj problem uskoro rešiti, ali ostaje problem MT modula a posredno NLU i NLG modula. Današnja rešenja ovih modula omogućavaju rad sa ograničenim rečnicima (gde su obuhvaćeni i svi oblici upotrebljenih reči) i zbog toga je njihova primena ograničena na određene domene kao što su: turizam, sport, zdravstvo, biznis, itd.
Postoji veliki broj veoma različitih patentiranih rešenja koja rešavaju prevođenje sa govora na govor. Na primer: U.S. patent 6,266,642 BI, prijavljen 20. januara 1999., sa naslovom „Method and portable apparatus for performing spoken language translation", daje rešenje prevođenja sa govora jednog jezika na govor drugog jezika kombinujući dva osnovna modela prevođenja: model na bazi gramatičkih pravila(, ju! e- based transfer" model)i model na bazi velikog broja uparenih rečenica dva jezika(„ example- based" model),kao i postupak korekcije pogrešno prepoznate rečenice; zatim U.S. objavljena patentna prijava 2007/0016401 Al, prijavljena 12. avgusta 2005., sa naslovom ,,Speech-to-speech translation svstem with user modifiable paraphrasing grammars", prikazuje specifično rešenje prevođenja na bazi knjige fraza, odnosno ulazne rečenice izvornog jezika transformiše u osnovne kanoničke forme fraza i njih prevodi na bazi bilingualne knjige (rečnika) fraza ignorišući nebitne varijacije izvorne rečenice; zatim U.S. objavljena patentna prijava 2004/0024581 Al, prijavljena 28. mart 2003., sa naslovom „Statistical machine translation", prikazuje postupak statističkog prevođenja na bazi statističkih modela izvornog jezika i statističkog modela prevođenja, primenjujući sintaksnu segmentaciju izvorne rečenice na fraze( syntactic chunks) ;zatim U.S. objavljena patentna prijava 2004/0111272 Al, prijavljena 10. decembra 2002., sa naslovom „Multimodal speech-to-speech language translation and displav", koja opisuje prevođenje na baziinterlinguamodela sa interesantnom simboličnom i vizuelnom prezentacijom izvorne rečenice nakom obrade u NLU modulu; zatim U.S. objavljena patentna prijava 2005/0049851 Al, prijavljena 13. avgusta 2004., sa naslovom „Machine translation apparatus and machine translation program", koja prikazuje postupak prevođenja na bazi kombinacijeexample- basedmodela istatistiškogmodela uz primenu bilingualnog korpusa rečenica i izbora rečenice prevoda na ciljani jezik na bazi najveće verovatnoće sličnosti sa izvornom rečenicom; zatim U.S. objavljena patentna prijava 2005/0010421 Al, prijavljena 12. maja 2004., sa naslovom „Machine translation devices program", koja opisuje postupak višejezičkog prevođenja na baziinterlinguamodela gde se u jednom slučaju kao međujezik pojavljuje engleski jezik a u drugom slučaju apstraktna semantička struktura; zatim U.S. objavljena patentna prijava 2004/0002848 Al, prijavljena 28. jun 2002., sa naslovom ,,Example based machine translation system", u kojoj se opisuje sistem za prevođenje na bazi klasičnogexample- basedmodela.
Za srpski jezik postoji jedno patentom zaštićeno rešenje, srpski nacionalni patent P-343/04, prijavljen 24. aprila 2004, sa naslovom „Sistem i postupak za mašinsko prevođenje konverzacijskog govora sa srpskog na engleski jezik", koji daje jedno rešenje mašinskog prevođenja govornog srpskog jezika na govorni engleski jezik i pripada kategoriji mašinskih prevodilaca na bazi gramatičkih pravila.
IZLAGANJE SUŠTINE PRONALASKA
Predmet ovog pronalaska je sistem za prevođenje sa govora jednog jezika na govor drugog jezika, koji je organizovan na novom postupku zasnovanom nameđujezičkom domenukoji omogućava višejezičku realizaciju prevođenja, a kao primer dat je postupak prevođenja sa srpskog jezika na engleski jezik. S obzirom na namenu ovog sistema za prevođenje konverzacijskog govora dve premise je neophodno ostvariti: (i) konverzaciju sa kratkim rečenicama tipa subjekat-radnja-objekat (ako je iskaz govornika duži, onda se on može realizovati iz sukcesivnog prevoda rečenica po rečenica) i (ii) konverzaciju sa gramatički ispravnim i kompletnim rečenicama.
Sistem, koji je predmet pronalaska, zasnovan je na univerzalnom pristupu koji predstavlja generalizovanu formuinterlinguamodela. Naime,interlinguamodeli pretpostavljaju postojanjemeđujezikakoji može biti ili neki od prirodnih jezika (na primer engleski; takođe, bilo je pokušaja da se upotrebi Esperanto (T. Witkam, DLT - an industrial R&D project for multilingual machine translation, In Proc.Of the ] 2lh International Conference on Computational Linguistics,Budapest, 1988)) ili neki od mašinskih jezika. U ovom pronalasku ne traži se upotreba nekog prirodnog ili veštačkog međujezika već se formirameđujezički domenkoji sadrži sve neophodne informacije potrebne za sintezu ciljanog jezika (u idealnom slučaju bilo kog jezika). Međujezički domen sadrži dva koncepcijski različita modula: (i) međujezički rezervoar koncepataIRC{ Interlingua Reservoir of Concepts)i (ii) međujezičku banku bilingualnih rečnikaIBBD( Interlingua Bank of Bilingual Dictionaries).UIRCmodulu prikupljaju se sve informacije dobijene analizom jezičke strukture ulazne rečenice izvornog jezika koje treba da su dovoljne za sintezu rečenice na bilo kom ciljanom jeziku. Svakako, ova sinteza nije moguća bez bilingualnih rečnika koji su memorisani u IBBD modulu.
Dakle, suštinameđujezičkog domenajeste da definiše i obezbedi sve jezičke informacije i koncepte na bazi kojih se može generisati iskaz (rečenica) na izabranom jeziku. Ovakav pristup rešenju prevođenja u ovom pronalasku zahteva od svakog jezika koji pristupameđujezičkom domenutri stvari: (i) kompleksnu i potpunu jezičku analizu ulazne rečenice i identifikovanje svih informacija i koncepata (leksičkog, sintaksnog, semantičkog, strukturnog, značenjskog, itd. tipa) koji se memorišu u IRC modulu, (ii) tipizirane i struktuirane bilingualne rečnike za svaki jezik sa kojim izvorni jezik želi da bude u kontaktu, koji se arhiviraju u IBBD modulu, i (iii) sintezu rečenice na bazi svih informacija iz međujezičkog domena uz upotrebu sopstvene gramatike (kada se dati jezik nalazi u funkciji ciljanog jezika).
Specifičan aspekt pronalaska jeste realizacija sistema na bazi pristupa srpskog i engleskog jezikameđujezičkom domenui prevoda srpskih rečenica u engleske rečenice. U takvom rešenju srpski jezik se pojavljuje kao izvorni jezik a engleski jezik kao ciljani jezik.
Sledeću specifičnost pronalaska čini govorno-jezička analiza rečenica srpskog jezika uz primenu monolingualnih rečnika ograničenog obima (monolingualni anotirani rečnik i monolingualni rečnik fraza). Ova analiza podrazumeva sledeća tri funkcijski različita ali strukturno veoma povezana osnovna modula: (i) moduo za automatsko prepoznavanje govora (moduo ASR), odnosno konverziju govora u tekst; (ii) moduo za jezičku analizu izvorne rečenice u cilju prepoznavanja i identifikovanja njenih konstituenata i njihovih funkcija i značenja, kao i analizu strukture rečenice i njenih semantičkih atributa (moduo NLU); i (iii) moduo za generisanje korektne izvorne rečenice koja u spontanom govoru veoma često može biti nepotpuna, gramatički neispravna ili može biti nejasna (moduo NLGs).
Specifičnost pronalaska čini novi postupak identifikovanja fraza u izvornoj rečenici. Za razliku od rešenja datog u gore pomenutom patentu P-343/04, gde je pretraga fraze u rečenici vršena jednosmerno i gde je postojala mogućnost izostajanja identifikacije fraze, ovde je primenjen postupak potpune pretrage i apsolutne identifikacije.
Sledeću specifičnost pronalaska predstavlja novi postupak prestrukturiranja ulazne rečenice. Postupak je zasnovan na teoriji grafa i rešavanju generalizovanog problema trgovačkog putnika. U grafu, koji se pridružuje ulaznoj rečenici, svaka reč pretstavlja jedan natčvor (superčvor), a svako sintaksno značenje reči po jedan potčvor (svakoj reči u rečenici se dodeljuje jedno ili više sintaksnih značenja). Svaki potčvor može da ima, a ne mora, vezu sa ostalim potčvorovima ostalih natčvorova. Pomenute veze dobijaju se na osnovu gramatičkih pravila vezivanja sintaksnih značenja reči. Analizu strukture rečenice obavlja trgovački putnik koji treba da obiđe sve natčvorove prolazeći kroz najviše jedan potčvor svakog natčvora.
Funkcionisanje modula NLGsjeste posebna specifičnost u ovom pronalasku. Naime, cilj ovog modula je da govorniku povratno prezentuje njegovu rečenicu ali jezički korigovanu i transformisanu u potpuno ispravnu formu koja, sa jedne strane, ne narušava inicijalno značenje rečenice a sa druge strane, obezbeđuje najkvalitetniji prevod na ciljani jezik. Modul NLGskoristi sve informacije nakon NLU analize i generiše korektnu rečenicu na izvornom srpskom jeziku.
Sinteza ili generisanje rečenice na ciljanom jeziku, moduo NLGr, je sledeća specifičnost pronalaska. Funkcionisanje ovog modula je veoma kompleksno jer koristi sva gramatička pravila ciljanog jezika a specifičnost se ogleda u korišćenju informacija iz međujezičkog domena kao polaznih parametara u generisanju ciljane rečenice.
Konačno, specifičnost pronalaska se može naći i u interakciji NLGtmodula i TTS modula u povećanju kvaliteta sinteze govora na ciljanom jeziku. Naime, pojedine informacije iz NLGt modula mogu se iskoristiti za kontrolu prozodije TTS modula.
Inventivnost u ovom pronalasku se nalazi u poboljšanju svake od navedenih specifičnosti, originalnosti nekih rešenja u okviru pojedinih modula, ali i u postupku integrisanja svih modula u jedinstvenu celinu koja funkcioniše stabilno i kvalitetno.
Ovi i drugi aspekti, specifičnosti i benefiti ovog pronalaska biće očigledniji nakon uvida u detaljan opis pronalaska, patentne zahteve i pripadajuće crteže.
KRATAK OPIS SLIKA I NACRTA
Slika 1- Osnovni koncept sistema za multijezičko prevođenje sa govora na govor.
Slika 2- Osnovna šema pristupa izvornog jezika međujezičkom domenu.
Slika3 - Detaljna blok šema NLU modula za analizu srpske (izvorne) rečenice.
Slika 4- Sintaksna značenja reči u rečenici „Limeni krov odnela je snažna oluja".
Slika5 - Model potvrdne rečenice.
Slika6 - Model odrične rečenice.
Slika7 - Model upitne rečenice.
Slika8 - Model upitno-odrične rečenice.
Slika9 - Model upitne rečenice tipa „pitanje".
Slika 10- Osnovni graf rečenice „Limeni krov odnela je snažna oluja".
Slika 11- Putanja trgovačkog putnika za rečenicu „Limeni krov odnela je snažna oluja" i gramatički opis svih reči u njoj.
Slika 12- Sintaksna značenja reči u rečenici „Veliki posao sam dobro uradio".
Slika 13- Osnovni graf rečenice „Veliki posao sam dobro uradio".
Slika 14- Putanja trgovačkog putnika za rečenicu „Veliki posao sam dobro uradio" - rešenje I: „Sam uradio dobro veliki posao".
Slika 15- Putanja trgovačkog putnika za rečenicu „Veliki posao sam dobro uradio" - rešenje II: „Sam uradio veliki posao dobro."
Slika 16- Tabele za formalni opis značenja rečenice.
Slika 17- Tabele formalnog opisa značenja rečenice „Limeni krov odnela je snažna oluja".
Slika 18- Tabele formalnog opisa značenja rečenice „Sam uradio dobro veliki posao".
Slika 19- Struktura međujezičkog domena.
Slika 20- Prikazuje osnovnu šemu generisanja engleskog (ciljanog) jezika na bazi informacija iz međujezičkog domena.
Slika 21 -Modeli engleskih rečenica
Slika 22- Struktura engleskog prevoda rečenice „Limeni krov oduvala je snažna oluja."
DETALJAN OPIS PRONALASKA
Ovaj pronalazak opisuje sistem i postupak za višejezičko prevođenje sa govora na izvornom jeziku na govor više ciljanih jezika. Višejezičnost je obezbeđena konceptommeđujezičkog domenakoji sadrži sve neophodne informacije za generisanje rečenice izabranog ciljanog jezika i konverziju u govorni signal.
Slika 1 prikazuje osnovni koncept sistema za višejezičko prevođenje. Osnovu koncepta činimeđujezički domen(ID), 101, kome^ preko pristupnih tačaka (PT),102,pristupa, u opštem slučaju, proizvoljan broj govornih signala na različitim jezicima,103do106.
Obrada svakog govora na sopstvenom jeziku jeste dvosmema: kameđujezičkom domenui odmeđujezičkog domena.Na primer, u bloku103vrši se obrada govornog signala na prvom jeziku u cilju prepoznavanja i konverzije u tekst i jezičke analize teksta kako bi se dobile sve informacije neophodne za prevođenje na neki drugi jezik. Ove informacije se preko pristupne tačke PT memorišu u modulu -međujezički rezervoar koncepata(IRC),kao jednom od osnovnih delovameđujezičkog domena,101.U suprotnom smeru, kada se prevodi, na primer, sa drugog jezika na govor prvog jezika, informacije iz modula -međujezički rezervoar koncepata(IRC),međujezičkog domena,101,preuzimaju se od strane bloka103i u njemu se generiše rečenica na bazi gramatičkih pravila prvog jezika, koja se potom konvertuje u govorni signal.
Međujezički domen,101,sadrži i drugi modul -međujezička banka bilingualnih rečnika(IBBD),u kome se arhiviraju svi bilingualni rečnici jednog jezika u kontaktu sa ostalim jezicima, koji su obuhvaćeni projektovanim sistemom za prevođenje. ModulIBBDsadrži dva tipa bilingualnih rečnika za svaki par jezika,bilingualni anotirani rečnikibilingualni rečnik fraza,koji moraju biti u potpunoj sadržajnoj saglasnosti samonolingualnim rečnicimaoba jezika. Oba bilingualna rečnika se nalaze u dve varijante pošto prevodi nisu simetrični, s obzirom na moguća različita značenja iste reči u oba jezika; ova činjenica je posebno izražena kod rečnika fraza.
Koncept sistema za višejezičko prevođenje, prikazan na slici 1, je modularnog tipa. To znači da se sistem može proširiti novim podsistemom za novi jezik putem nove pristupne tačke102.Na strani novog jezika novi podsistem sadrži govorno-jezičku analizu ulaznog govora kameđujezičkom domenu(smer ka ciljanom jeziku) i govorno jezičku sintezu izlaznog govora odmeđujezičkog domena(smer od ciljanog jezika). U okvirumeđujezičkog domena(ID), 101,novi podsistem rezerviše u modulumeđujezički rezervoar koncepata(IRC),memorijski prostor za informacije koje se ekstrakuju jezičkom analizom novog jezika, i u modulumeđujezička banka bilingualnih rečnika(IBBD),memorijski prostor u koji se skladište bilingualni rečnici koji povezuju novi jezik sa drugim jezicima koji se nalaze uIBBDmodulu a sa kojima se želi realizacija funkcije prevođenja.
Ovim pronalaskom rešeno je prevođenje u jednom smeru sa srpskog jezika na engleski jezik, odnosno rešen je pristup kameđujezičkom domenutjsl srpski jezik i pristup odmeđujezičkog domenaza engleski jezik.
Na slici 2 prikazana je blok šema rešenja analize izvorne rečenice na srpskom jeziku. Prva aktivnost govornika201na srpskom (izvornom) jeziku jeste izbor jezika na koji želi da se operacija prevođenja izvrši, engleski (ciljani) jezik. Ova komanda se prosleđuje umeđujezički domen202,gde se u moduluIBBD,međujezičkoj banci bilingualnih rečnika,vrši izbor odgovarajućih bilingualnih rečnika para jezika, srpski-engleski. Sadržaj bilingualnih rečnika definiše obim rečnika i domen primene sistema za prevođenje. Na taj način se sistem priprema za izvršenje operacije prevođenja.
Govornik izgovara rečenicu koju želi da sistem prevede. Putem mikrofona govorni signal se uvodi u modul203za prepoznavanje govora i njegovu konverziju u tekst, modulASR.Prepoznavanje se vrši u okviru rečnika čiji obim i sadržaj određuje monolingualni rečnik srpskog jezika204.Ukoliko modulASRne može da prepozna izgovorenu reč iz bilo kojih razloga (nepravilno izgovorena reč, prevelik nivo buke kod snimanja, reč van rečnika - OOV( out of vocabulary),itd.), govorniku se šalje upozorenje sa zahtevom da ponovo izgovori istu ili novu reč.
Zbog složene morfologije srpskog jezika, ASR modul može praviti česte greške u prepoznavanju reči sa različitim finalnim vokalom kao što je to slučaj kod promena imeničnih reči po padežu (na primer:pesma, pesmi, pesme, pesmo, pesmu)ili kod promena glagola po licu, rodu i broju (na primer:pisalo, pisala, pisale, pisali).I pored toga što je ASR modul realizovan na bazi skrivenih Markovljevih modela (HMM), akustičkog modela govora i modela jezika, ASR pravi navedene greške zbog efekta devokalizacije poslednjeg glasa u reči kod obučavanja ASR modula pomoću izolovanih reči. Ove greške su sistematske prirode pa se mogu statističkim putem korigovati formiranjem liste odnreči, rangiranih prema aposteriornoj verovatnoći, odnosno verovatnoći da su baš one izgovorene.
Prepoznata rečenica prenosi se iz modula 203 u modul 205, blok NLU, gde se vrši potpuna jezička analiza. U NLU modulu vrši se analiza reči i fraza u ulaznoj rečenici, vrši se sintaksna i semantička analiza, kao i leksičke korekcije ukoliko je ulazna rečenica nekompletna. Za ovu analizu NLU modula neophodne su informacije iz monolingualnog anotiranog rečnika, modul 204, monolingualnog rečnika fraza, modul 207, i gramatike izvornog srpskog jezika, modul 206. Reči i fraze iz monolingualnih rečnika se privremeno memorišu u INTERFEJS BAFER-u, modul 208, i koriste se za pobuđivanje bilingualnih rečnika uMeđujezičkom domenu,modul 202. NLU modul će biti kasnije detaljno opisan.
Izlazne informacije iz NLU modula daju kompletan gramatički i značenjski opis ulazne rečenice, koja je prethodno korigovana, kompletirana i dovedena na jednu standardni formu koja je pogodna za prevod na druge jezike; odnosno, slobodna forma srpske rečenice je transformisana na jednu od standardizovanih formi upotrebljenih u ovom pronalasku.
Ove informacije se privremeno memorišu u INTERFEJS BAFER, modul 208, gde se čuvaju sve dok se od strane korisnika A ne potvrdi ili ospori njihova korektnost. Iste informacije se prosleđuju modulu NLGs, sa oznakom 209, gde se vrši generisanje (ili sinteza) korigovane rečenice. Sintetizovana rečenica se, zatim, prezentuje korisniku (govorniku A) 201 radi verifikacije. Ova prezentacija može biti vizuelna preko displeja ili auditivna, što može biti operativnija varijanta, upotrebom bloka210za sintezu govora iz teksta, blok TTS. Zadatak korisnika je da proveri da li su sve izmene na njegovoj rečenici, učinjene od strane sistema, takve da ne menjaju onaj smisao koji je on hteo da prenese sagovorniku na ciljanom jeziku. Ukoliko korisnik proceni da je značenje polazne rečenice neizmenjeno, aktivira komandu „PREVEDI" kojom se sve informacije privremeno memorisane u modulu208prebacuju uMeđujezički domen202. Ukoliko korisnik nije zadovoljan,NLUmodul će ponuditi alternativno značenje, ukoliko ono postoji. Ukoliko korisnik opet nije zadovoljan, tada treba istu misao da izrazi novom, ali jednostavnijom, po mogućstvu kraćom, rečenicom.
U rešenju ovog pronalaska predviđena je mogućnost da se sinteza govora na ciljanom jeziku unapredi u smislu kvaliteta sintetizovanog govora. U tom cilju se u govoru izvornog jezika mogu identifikovati paralingvističke informacije koje su posledica psiho-emotivnog stanja govornika. Ove informacije se mogu identifikovati neposredno u govornom signalu na ulazu u sistem, ali i u toku jezičke analize u moduli NLU. Funkcija identifikacije paralingvističkih informacija obavlja se u bloku211,a rezultat analize se memoriše u međujezičkom rezervoaru koncepata, blok401(slika 19).
Na slici 3 prikazan je dijagram toka operacija u modulu NLU, modul205.U ulaznoj rečenici se u bloku 300 prvo vrši idenufikovanje reči i fraza a zatim se u bloku301određuje njihovo sintaksno značenje upotrebom monolingualnog anotiranog rečnika302i monolingualnog rečnika fraza303.
Monolingualni rečnik302sadrži određeni broj reči u osnovnom obliku i u svim gramatičkim oblicima. Svaki od ovih oblika u rečniku pojavljuje se kao posebna leksema sa potpunim gramatičkim opisom. Kako izgleda gramatički opis ovako formulisane lekseme može se videti u primeru na slici 4. U rečniku se nalaze i homonimi kao posebne lekseme, uz dodatan opis semantičkog značenja. Rečnik fraza303sadrži fraze i sve njihove gramatičke oblike, sa sličnim gramatičkim opisom kao i reči.
U ovom pronalasku se identifikovanje fraza u okviru rečenice vrši novim algoritmom, znatno boljim i uspešnijim u odnosu na isti dat u patentu P-343/04, prijavljenim 24. aprila 2004, sa naslovom „Sistem i postupak za mašinsko prevođenje konverzacijskog govora sa srpskog na engleski jezik". Dok je u patenu P-343/04 nalaženje fraze vršeno postupkom skraćenja rečenice sa desne strane, zbog čega je postojala mogućnost da se ispusti neka od fraza, ovde se primenjuje potpuna pretraga, po svim mogućim dužinama fraza i po svim mogućim pozicijama fraze u izvornoj rečenici. Pretraga počinje od pretpostavke da cela rečenica predstavlja jednu frazu. Ukoliko se pretpostavljena fraza u tom obliku nalazi u rečniku, cela rečenica se proglašava frazom. U suprotno, prelazi se na sledeći korak, a to je nalaženje fraza koje su kraće za jednu reč u odnosu pretragu u prethodnom koraku. Pretraga se vrši po svim pozicijama u izvornoj rečenici. Ukoliko na nekoj od pozicija dođe do identifikacije fraze, pripadajuće reči se označe kao identifikovani deo teksta, tj. fraza, a proces pretrage se nastavlja na ostalom neidentifikovanom delu teksta. U sledećem koraku se na preostalom tekstu, na isti način se testira prisustvo fraza koje su kraće za jednu reč u odnosu na prethodni korak pretrage. U poslednjem koraku se u preostalom neoznačenom delu teksta identifikuju pojedinačne reči uz pomoć anotiranog monoligualnog rečnika.
Primer identifikacije fraze:
Neka na ulazu bloka300imamo potvrdnu rečenicu „prijatelji, dobar dan svima" koja ima 4 reči i sadrži frazu „dobar dan". 1. korak Proveravamo da li u tekstu dužine 4 reči postoji fraza dužine 4 reči, odnosno da li cela rečenica predstavlja jednu frazu. Odgovor je NE. 2. korak Ispitujemo sada fraze koje su za jednu reč kraće, odnosno koje imaju 3 reči. Proveravamo da li se niz reči (1-3) „prijatelji dobar dan" nalazi u rečniku fraza. Odgovor je NE.
Proveravamo da li se niz reči (2-4) („dobar dan svima") nalazi u rečniku fraza. Odgovor je NE.
3. korak Ispitujemo sada fraze za jednu reč kraće, odnosno one koje sadrže 2 reči. Proveravamo da li se niz reči (1-2) „prijatelji dobar" nalazi u rečniku fraza. Odgovor je NE. Proveravamo da li se niz reči (2-3) nalazi u rečniku fraza. Odgovor je DA, jer u rečniku postoji fraza „dobar dan". Sada polaznu rečenicu prikazujemo sa tri elemenata:
Drugi elemenat je identifikovana fraza.
4. korak Pretraga se nastavlja na tekstu koji još nije označen kao identifikovan. To su reči "prijatelji" i "svima". Njih kao pojedinačne reči nalazimo u monolingualnom anotiranom rečniku 302. Ovime je pretraga završena. Analizirana rečenica sadrži 3 elementa datih tabelom:
Zbog polimorfizma reči, kao i činjenice da neki različiti padežni i drugi oblici imaju iste nastavke, Čest je slučaj da ista transkripcija reči ima više različitih značenja. Monolingualni rečnik 302 nam nudi sva moguća značenja pojedinačnih trankripcija reči, koja izdvajamo i tretiramo kao moguće hipoteze. Primenom određenih gramatičkih pravila, pojedine hipoteze će u narednim fazama obrade biti odbačene kao gramatički ili logički neispravne, a ostaće samo jedna ili dve mogućnosti. Na slici 4 dat je primer rečenice „Limeni krov odnela je snažna oluja" sa prikazanim mogućim značenjima svake od reči. Reč 'limeni' se kao pridev pojavljuje u četiri oblika određena brojem i padežom, dok se reči 'krov' kao imenica i 'snažna' kao pridev pojavljuju u dva oblika određena padežima; ostale reči 'odnela', 'je' i 'oluja' su u jednom obliku. Dakle, u rečenici od 6 reči imamo 11 oblika reči.
U bloku 304 vrši se analiza strukture ulazne rečenice na bazi poređenja sa usvojenim modelima rečenica u srpskom jeziku koji se nalazi u bloku 305, a koji su formirani na bazi gramatike izvornog (srpskog) jezika, blok 306. Ovaj postupak je veoma važan jer se na samom početku analize u NLU bloku ulazna rečenica, koja može biti nepotpuna, nekorektna ili neispravna, kategoriše prema tipu rečenice i uređuje u jednu od standardizovanih formi koje su prilagođene mašinskom prevođenju.
Blok 305 sadrži modele rečenica za srpski jezik. Na slikama od 5 do 9 prikazani su modeli sledećih tipova rečenica:potvrdnarečenica,odričnarečenica,upitnarečenica,upitno- odričnarečenica i rečenica tipa, pitanje".U ovu banku modela mogu se dodati i drugi modeli. Svaki model se sastoji od određenog broja modula koji označavaju reč ili grupu reči sa određenom funkcijom u datoj rečenici. U okviru modela naznačene su i najčešće veze između modula, a primeri rečenica ilustruju primenljivost modela.
Modeli rečenica su struktuirani tako da ispunjavaju sledeće zahteve:
1) Da pokrivaju osnovne tipove rečenica (potvrdne, odlične, upitne, upitno-odrične, pravo pitanje).
2) Da su usaglašeni sa gramatikom srpskog jezika
3) Modeli su definisani tako da se svaka pojedinačna rečenica, postupkom premeštanja reči može opisati jednim od definisanih modela 4) Modeli treba da pokrivaju slučajeve nepotpunih rečenica, odnosno rečenica sa izostavljenim a jasno podrazumevanim članovima (elementima). 5) Modeli treba da su takvi, da u što većem broju slučaja, po mogućstvu uvek, vezivanje značenja dve reči u rečenici zavisi samo od njih samih, a ne zavisi od reči koje su im prethodile. Drugim ječima, u primenjenim modelima formirani niz reči treba da ima Markovljevo svojstvo prvog reda. Ovo je važna osobina koja omogućava dodeljivanje rečenici odgovarajućeg grafa povezanosti koji bi bio u potpunosti saglasan sa gramatikom jezika. 6) Modeli treba da su takvi da se iz njih na jednostavan način može dobiti tipizirani (multilingualni) format opisa značenja rečenice.
Osnovna struktura svih modela jeste SUBJEKATSKA GRUPA + PREDIKATSKA GRUPA, i u okviru predikatske grupe GLAGOL + OBJEKAT. Dakle osnovna struktura svih modela jeste SUBJEKAT + GLAGOL + OBJEKAT.
Druga specifičnost svih modela jeste isti položajatributa, pomoćnog glagola, prilogaipriloške odredbeu strukturi rečenice i to: atribut je uvek ispred imenice, pomoćni glagol je uvek ispred glagola, prilog je uvek ispred objekta i priloška odredba je uvek na kraju rečenice. Pri tome svaka rečenička celina može sadržati više reči, primer atributa,^ namenita, staraioronulakuća", ili može biti izostavljena iz rečenice.
Treća specifičnost modela je razlika između upitnih formi rečenica i ostalih formi. Upitne forme rečenica u inicijalnoj poziciji imaju upitne sintagme ili zamenice.
U slobodnoj komunikativnoj formi srpske rečenice mogu izostaviti neke oblike reči, koje se uglavnom podrazumevaju, ili struktura rečenice može značajno odstupiti od navedenih modela. Zadatak NLU modula je da sve te varijacije prepozna, identifikuje, dopuni i rečenicu kompletira prema modelima u bloku 305, a da se značenje izvorne rečenice ne promeni. Prvi korak u ovom postupku se odvija u bloku 304.
Funkcionisanje bloka 304 se zasniva na novom i specifičnom postupku prestrukturiranja ulazne rečenice. Postupak je zasnovan na teoriji grafa i rešavanju generalizovanog problema trgovačkog putnika (V. Dimitrijević, Z. Šarić: A efficient transformation of the generalized traveling salesman problem into the traveling salesman problem on digraphs;Informatics and Computer Science102, 105-110, 1997). U bloku 301 svakoj reči u rečenici se dodeljuje jedno ili više sintaksnih značenja. U grafu, koji se pridružuje ulaznoj rečenici, svaka reč pretstavlja jedan natčvor (superčvor), a svako sintaksno značenje reči po jedan potčvor. Svaki potčvor može da ima, a ne mora, vezu sa ostalim potčvorovima ostalih natčvorova. Analizu strukture rečenice obavlja trgovački putnik koji treba da obiđe sve natčvorove prolazeći kroz najviše jedan potčvor svakog natčvora.
Graf (mogućih) veza potčvorova dobija se na osnovu gramatičkih pravila vezivanja sintaksnih značenja reči. U prvom primeru datom na slici 4, za rečenicu „Limeni krov oduvala je snažna oluja", pretpostavićemo da je rečenica potvrdna i u njenoj daljoj analizi upotrebiće se model potvrdne rečenice sa slike 5. Prethodno je posredstvom modula 301 formirana tabela mogućih značenja svake pojedinačne reči, slika 4. Nakon toga, formiraju se grane grafa koje povezuju čvorove prema gramatičkim pravilima mogućih vezivanja sintaksnih značenja reči, kao i pretpostavljenom modelu rečenice. Velikim brojem označavaćemo natčvor, a indeksom potčvor.
I. primer formiranja grafa povezanosti reči/značenja
11se vezuje za 2i- Nominativ jednine prideva „limeni" se slaže po padežu,
rodu i broju sa nominativom jednine reči „krov".
lise vezuje za4i- Nominativ jednine prideva „limeni" može da prethodi skraćenom oblikuglagola jesamu trećem licu jednine.
h se vezuje za 22- Akuzativ jednine prideva „limeni" se slaže po padežu,
rodu i broju sa akuzativom jednine reči „krov".
13nema veza - Nominativ množine prideva „limeni" se ne slaže ni sa jednom imenicom u rečenici. 14 nema veza - Vokativ množine prideva „limeni" se ne slaže ni sa jednom imenicom u rečenici. 21!—> 11- Ova veza je u gramatičkom smislu moguća, ali ona ne odgovara usvojenom modelu potvrdne rečenice kod
koje ide prvo atribut a zatim imenica.
22!-> I2 - Ova veza je u gramatičkom smislu moguća, ali ona ne odgovara usvojenom modelu potvrdne rečenice kod
koje ide prvo atribut a zatim imenica.
2]!-> 3i- Ova veza je u gramatičkom smislu moguća, ali ona ne odgovara usvojenom modelu potvrdne rečenice kod koje ide prvo imenica (subjekat), a zatim pomoćni glagol pa glagolski rlridev radni koji treba da se slaže sa imenicom (subjektom). Veza SUBJEKAT -> GLAGOLSKI PRIDEV RADNI nije dozvoljena. U
ovom slučaju se ono čak i ne slažu po rodu.
21 se vezuje za 41 - Posle imenice u nominativu (subjekat) može da sledi pomoćni glagol ,je" (Tako se gradi perfekat, a isto tako
i prezent kao na primer „krov je lep".)
Veze (2i-» 5i) i (2j -» 61) Nisu moguće.
3i!—> 11• Prema usvojenoj strukturi potvrdne rečenice iza predikata ne može da dođe imenička reč u nominativu. Moguća bi bila varijanta, je limeni (krov)" - nominativ
kao imenski deo predikata.
3| se vezuje za h - Reč „limeni" u akuzativu iza predikata (glagola) ima
funkciju objekta ili dodatka objektu.
3i!-> 2i- Prema usvojenoj strukturi potvrdne rečenice iza predikata ne može da dođe imenička reč u nominativu. Moguća bi bila varijanta ,je krov" - nominativ kao imenski deo predikata.
31 se vezuje za 22 - Reč „krov" u akuzativu iza predikata (glagola) ima
funkciju objekta.
3) !-> 4i- Prema usvojenoj strukturi potvrdne rečenice prvo ide pomočni glagol a zatim glagolski pridev radni. Obrnuto
ne važi.
3i !-> 5i- Prema usvojenoj strukturi potvrdne rečenice iza predikata sledi objekat a ne nominativ. Nominativ je moguć samo u kombinaciji [pomočni glagol ,je" -» nominativ] kada nominativ igra ulogu imenskog dela
predikata.
3i!-> 6| - Prema usvojenoj strukturi potvrdne rečenice iza predikata sledi objekat a ne nominativ. Nominativ je moguć samo u kombinaciji [pomočni glagol ,je" -> nominativ] kada nominativ igra ulogu imenskog dela
predikata.
(4,-> l,),(4i-* 2,), ;(4i - > 5i), (4i->■ 6i) Sve ove veze postoje pri čemu imenička reč u ;nominativu igra ulogu imeničkog dela predikata. ;(4i-»3|) - Ovo je glagolski oblik perfekat. ;(5i—> 4j) - U ovom slučaju pridev igra ulogu subjekta (zamenjuje ;imenicu u nominativu). ;(6i-> 4i) - Prema usvojenoj strukturi iza nominativa (subjekta) ;sledi pomoćni glagol koji predstavlja predikat ili gradi ;složen glagolski oblik. ;(6i!-»3i) - Ova kombinacija je gramatički moguća, ali prema usvojenoj strukturi potvrdne rečenice glagolskom pridevu radnom prethodi pomoćni glagol. ;Prethodnom analizom utvrđene su moguće veze u grafu polazne rečenice. Na bazi tih veza formiranje graf i prikazan na slici 10. ;Otvorena putanja trgovačkog putnika treba da obuhvati sve natčvorove (reči) od 1-6. U opštem slučaju, moguće je postojanje više različitih putanja iz sledećih razloga: 1) Nakada imamo više formalno ispravnih značenja rečenica, a da pri tome neka od njih nemaju smisla. 2) Neke putanje, iako formalno ispunjavaju uvedena ograničenja vezivanja značenja reči, mogu da budu gramatički neispravna. Razlog ovome je taj što se graf formira na osnovu Markovljevog svojstva prvog reda, što kada je jezik u pitanju nije uvek ispunjeno. ;Tipičan primer navedenog problema 2) jeste slučaj složenog glagolskog vremena perfekta, kod koga rod i broj subjekta utiče na oblik glagolskog prideva radnog, koji sledi posle glagola jesam. Ili obrnuto, oblik glagolsko prideva radnog ne zavisi samo od prethodne reči (pomoćnog glagola jesam) već i od roda i broja imeničke reči ispred pomoćnog glagola koja igra ulogu subjekta. U ovom patentu se predlaže da ako ima više putanja i grafu, tada treba izvršiti dodatnu gramatičku proveru svake od putanja i odbaciti gramatički neispravne. Gramatička provera se odnosi na proveru slaganja odgovarajućih gramatičkih celina po licu, rodu i broju za glagolske oblike, i po padežu, rodu i broju za subjekatske celine. ;Na slici 11 prikazana je optimalna putanja koja daje za rešenje rečenicu sledećeg oblika „Snažna oluja je oduvala limeni krov"; ulazna rečenica je bila „Limeni krov oduvala je snažna oluja". ;II. primer ;Primer rečenice „Veliki posao sam dobro uradio" je karakterističan po izostavljenom subjektu. Na slici 12 su prikazana navedena moguća značenja reči. Kao i u prethodnom primeru pretpostavićemo da je rečenica potvrdna i pokušaćemo na osnovu gramatike da odredimo povezanost čvorova grafa. 11se vezuje za 2i- Nominativ jednine prideva „veliki" se slaže po padežu, rodu i broju sa nominativom jednine reči „posao". 11 se vezuje za 41 - Nominativ jednine prideva „veliki" može da prethodi skraćenom obliku glagola jesam u prvom licu jednine. ;Primer: „Veliki sam umetnik". ;12 se vezuje za 22 - Akuzativ jednine prideva „veliki" se slaže po padežu, rodu i broju sa akuzativom jednine reči „posao". 13nema veza - Vokativ množine prideva „veliki" se po padežu ne slaže ;ni sa jednom imenicom u rečenici. ;2i!-> li- Ova veza je u gramatičkom smislu moguća, ali ona ne odgovara usvojenom modelu potvrdne rečenice kod ;koje ide prvo atribut a zatim imenica. ;(22!-> h) - Ova veza je u gramatičkom smislu moguća, ali ona ne odgovara usvojenom modelu potvrdne rečenice kod ;koje ide prvo atribut a zatim imenica. ;(2i !—► I3) - Ova veza je nemoguća. ;(2i !-»3i) - Prema usvojenoj strukturi rečenice, ova veza bi podrazumevala da je „posao" subjekat, a „sam" pomoćni glagol. Zbog slaganja lica umesto „sam" trebalo bi da stoji ,je". Pošto to nije slučaj veza nije ;moguća. ;(2j!-»4|) - Ova veza nije moguća. Moguće bi bilo „Posao ide dobro", što znači da prilog za način ne može da se nađe ;odmah posle subjekta u nominativu. ;(2i !-» 5i) - Ova veza nije moguća, jer glagolski pridev radni ne ;može da se nađe odmah posle imenice u nominativu. ;(22!—► I2) - Nije moguće zbog usvojenog modela rečenice kod koga ;je pridev koji opisuje objekat uvek ispred objekta. ;(22!-> 3i), (22!-> 34) - Ove kombinacije očigledno iz više razloga nisu ;moguće. ;(22se vezuje za 4i) - Iza objekta može da se nađe prilog za način kao na ;primer u rečenici „radim posao dobro". ;(22 !-► 5i) - Posle imenice u akuzativu (objekat) ne može da sledi ;glagolski pridev radni. ;(31 se vezuje za li) - Imenica/pridev u nominativu kada se nađe iza pomoćnog glagola ,jesam" tada ona pretstavlja imenski ;deo predikata. (Funkcije nominativa u rečenici.) ;(3ise vezuje za 2i) - Imenica/pridev u nominativu kada se nađe iza pomoćnog glagola ,jesam" tada ona predstavlja ;imenski deo predikata. (Funkcije nominativa u ;rečenici.) ;(3ise vezuje za 40 - Prilog za način može da se nađe iza pomoćnog glagola ;, jesam" i on tada ima funkciju priloške odredbe. ;(31 se vezuje za 50 - Pomoćni glagol,jesam" iza koga sledi gragolski pridev ;radni formira glagolsko vreme perfekat. ;(4| se vezuje za h) - Posle priloga za način, koje pretstavlja dodatak predikatu, može da sledi pridevski deo objekata (u ;akuzativu). ;(41se vezuje za 22) - Isti razlog kao i za (41,12) ;(4i!->30 - I ako gramatički ispravno, ne vezuju se, jer prema usvojenom modelu treba da bude „(ja) sam dobro", a ne ;„dobro sam". ;(4j!—> 5i) - I ako gramatički ispravno, ne vezuju se, jer prema usvojenom modelu priloška odredba treba da se nađe ;posle predikata. ;(51se vezuje za 12) - Vezuju se kao objekat koji sledi posle predikata. ;(51 se vezuje za 22) - Vezuju se kao objekat koji sledi posle predikata. ;(5i!->30 - I ako gramatički ispravno, ne vezuju se, jer prema usvojenom treba da bude „sam uradio" umesto „uradio sam". Naime prema usvojenom modelu prvo ide pomoćni glagol, jesam" pa onda glagolski pridev radni, ;a ne obrnuto. ;(5ise vezuje za 40 - Priloška odredba za način može da se nađe posle glagolskog prideva radnog. Ovo gramatički ispravno, a isto tako je i u saglasnosti sa usvojenim modelom rečenice. ;Na slici 13 prikazan je graf ove rečenice sa mogućim vezama. Jedna od mogućih putanja je data na slici 14, što odgovara preuređenoj rečenici „Sam uradio dobro veliki posao". Rešenje nije jedinstveno, odnosno postoji još jedno rešenje, dato na slici 15, koje polaznu rečenicu transformiše u „Sam uradio veliki posao dobro". Oba rešenja su ekvivalentna, s obzirom daje u oba slučaja očuvano značenje polazne rečenice. ;U naredna tri bloka 307, 308 i 309 vrši se dalja analiza rečenice. U bloku 307 vrši se parsiranje rečenice, tj. određuje se funkcija reči u rečenici; u bloku 308 vrši se umetanje često izostavljenih a podrazumevanih reči u govornom srpskom jeziku, kao što su zamenice, pri čemu se koristi katalog ovih reči 310; i u bloku 309 vrši se semantička analiza, pre svega na nivou leksičke semantike a delom i na nivou rečenične semantike. ;Nakon svih analiza definitivno se formira transformisan oblik ulazne rečenice u bloku 311 i nakon utvrđivanja uspešnosti ili neuspešnosti iociranja ulazne rečenice u okvirima srpske gramatike i usvojenih modela u ovom pronalasku, što se odvija u bloki 312, rezultat analize se u slučaju negativnog odgovora (NE) prosleđuje korisniku sa zahtevom da ponovo izgovori ulaznu rečenicu na drugačiji ali korektan način ili u slučaju pozitivnog odgovora (DA) pristupa se bloku 313 gde se definitivno akumuliraju sve informacije neophodne za formalni opis ulazne rečenice koje se preko INTERFEJS BAFERA, modul 208 (slika 2), prosleđuju u međujezički domen 202 (slika 2). ;S obzirom na ulogu i značaj bloka 313 u fazi analize izvorne srpske rečenice prvo će biti opisan njegov sadržaj. Sadržaj bloka 313 je dat na slici 16 i on sadrži sve informacije dobijene analizom izvorne rečenice. FORMALNI OPIS ZNAČENJA REČENICE podrazumeva skup svih informacija o značenju (smislu) izvorne rečenice tako daje moguće prevođenje na bilo koji jezik. Formalni opis sadrži tri komponente: tip rečenice, opis subjekatske i opis predikatske grupe, i one su na slici 16 prikazane u obliku tabela. Sadržaj ovih tabela je promenljiv, što zavisi od sadržaja analizirane rečenice. ;U tabelu TIP REČENICE unose se podaci o prepoznatom tipu rečenice i o ključnoj sintagmi na osnovu koje je određen tip rečenice, prema modelima rečenica datim na slikama 5 do 9. ;U tabele SUBJEKATSKA GRUPA i PREDIKATSKA GRUPA unose se sve informacije nakon parsiranja koje se odnose na svaku reč, njenu vrstu i oblik, funkciju u rečenici, na glagolsko vreme, funkciju grupe reči, itd. ;Funkcionisanje blokova 307 do 313 biće demonstrirano na primerima prethodnih rečenica. ;Primer I;Neka je u pitanju transformisana rečenica „Snažna oluja je oduvala limeni krov." Opis reči ove rečenice dat je na slici 11. Budući da je primenjen model potvrdne rečenice i da je on dao odgovarajuće rešenje, to je ujedno i potvrda da polazna rečenica potvrdna. Taj podatak unosimo u tabelu TIP REČENICE na slici 17. Nakon toga pristupa se određivanju predikata. Polazna pretpostavka je da rečenica sadrži glagolski predikat (predikat može da bude i imenski i priloški). Proverava se prisustvo jednog od pomoćnih glagola (,jesam", „biti") koji formiraju složena glagolska vremena. Rezultat pretrage je da se na poziciji 3 nalazi skraćeni oblik glagola Jesam" u trećem licu jednine a da se na poziciji 4 nalazi glagolski pridev radni ženskog roda jednine. Na bazi ovih podataka zaključuje se da u rečenici figuriše glagolsko vreme perfekt. Svi ovi podaci unose se u tabelu PREDIKATSKA GRUPA na slici 17. ;Dalja analiza pokazuje da pomoćnom glagolu ,jesam" prethodi imenica „oluja" u nominativu jednine ženskog roda. Budući da se ova imenica slaže sa rodom i brojem glagolskog prideva radnog „odnela", a p©licu i broju sa pomoćnim glagolom ,jesam", sledi da je imenica „oluja" subjekat. Reči „oluja" prethodi pridev „snažna" koji se sa njom slaže po padežu, rodu i broju. Iz toga sledi da reč „snažna" ima službu atributa. Svi ovi podaci se unose u tabelu SUBJEKATSKA GRUPA, na slici 17. ;Preostale dve reči „limeni" i „krov" karakterišu objekat u rečenici i atribut objekta, budući da su obe reči muškog roda u akuzativu jednine. Ovim podacima kompletira se tabela PREDIKATSKA GRUPA. ;Ovime je postupak parsiranja i formiranja formalnog opisa značenja okončano. ;Primer II;Opis reči rečenice „Veliki posao sam dobro uradio" dat je na slici 14. Ona je u bloku304prestruktuirana u oblik „Sam uradio dobro veliki posao" prema modelu potvrdne rečenice na slici 5. Ovaj podatak se upisuje u tabelu TIP REČENICE na slici 18. Na isti način kao i u prethodnom primeru identifikuje se prvo predikat koji je takođe u perfektu. Njega čine skaćeni oblik pomoćnog glagola jesam i glagolski pridev radni „uradio". Ovaj podatak se unosi u tabelu PREDIKATSKA GRUPA na slici 18. Konstatuje se da ispred pomoćnog glagola ,jesam" nema imenice u nominativu kao ni zamenice koja bi mogla da igra ulogu subjekta; nema ni apozicije. Na osnovu prvog lica jednine pomoćnog glagola Jesam" i muškog roda glagolskog prideva radnog zaključuje se daje izostavljena zamenica ,ja". Ovaj podatak upisuje se u tabelu SUBJEKATSKA GRUPA, na slici 18, na mesto nedostajućeg subjekta. Dalja analiza konstatuje prilog za način „dobro", objekat „posao" i njegov atribut „veliki". Ovi podaci se upisuju u tabelu PREDIKATSKA GRUPA. ;Ovim je okončan postupak parsiranja i umetanja izostavljene, a jasno podrazumevane, zamenice , ja". Nova transformisana rečenica treba da glasi: „Ja sam uradio dobro veliki posao". ;Prema slici 3 informacije o formalnom opisu izvorne rečenice prosleđuju se u modul NLGs, modul209(slika 2). Funkcija ovog modula je dvojaka: primamo, on treba da generiše (sintetiše) izvornu rečenicu ali korigovanu na bazi analitičkih postupaka i modela rečenica formulisanih u ovom pronalasku, sa ciljem da omogući korisniku finalan uvid u korektnost rada sistema za prevođenje i njegovu konačnu potvrdu da proces prevođenja može da se nastavi ka ciljanom jeziku, i sekundarno, ovom svojom funkcijom modulNLGsverifikuje valjanost formalnog opisa izvorne rečenice. ;Funkcionisanje modula NLGsje nezavisno od modela rečenica usvojenih u fazi analize ulazne rečenice. Kao što je ranije naznačeno, ovi modeli ne odslikavaju prave strukture srpskih rečenica, oni su maksimalno formalizovani i prilagođeni ideji međujezičkog domena. Dakle, u modulu NLGsse ne odvijaju procesi koji su u potpunosti inverzni procesima u modulu NLU, već se rečenica sintetizuje prema modelima koji su korigovani u duhu prirodnog srpskog jezika. Na primer, nakon analize, parsiranja i transformacije, rečenica „Ja sam uradio dobro veliki posao" na izlazuNLGsmodula treba da glasi „Ja sam dobro uradio veliki posao". Očigledno, u najvećem broju slučajeva razlika između ulazne i izlazne rečenice NLGsmodula treba da se ogleda u korigovanom redu reči. ;Takođe, informacije o formalnom opisu rečenice prosleđuju se preko INTERFEJS BAFERA, modul208(slika 2), u međujezički domen, modul202(slika 2), i memorišu u međujezičkom rezervoaru koncepata(IRC).;Struktura međujezičkog domena (ID) prikazana je na slici 19. U međujezičkom rezervoaru koncepataIRC(modul401)memorišu se u modul403formalni opisi značenja rečenice izvornog jezika, u ovom slučaju LI - srpskog jezika. Naravno, tu se memorišu slične informacije i za sve ostale jezike koji su ugrađeni u sistem prevođenja. Pored ovih informacija posebno polje memorije je namenjeno paralingvistifikim informacijama, blok407,identifikovanim u izvornom jeziku. ;Sve bformacije iz modula403i međujezičke banke402bilingualnih rečnikaIBBV,anotiranih reči404i fraza405,dolaze u modul406gde se vrši transformacija prepoznatog značenja rečenice sa izvornog (srpskog) jezika u ciljni (engleski) jezik. Prvobitno značenje svake od reči na izvornom jeziku, „prevodi" se na jedno ili više značenja ciljanog jezika. U slučaju kada pojedine reči imaju u prevodu više od jednog značenja selekcija značenja se vrši u modulu NLGtciljanog jezika na osnovu sledećih kriterijuma: ;1. Na osnovu gramatičkih pravila ciljanog jezika. ;2. Na osnovu verovatnoće javljanja pojedinih prevoda u odgovarajućem domenu korišćenja sistema za prevođenje. Domeni mogu da budu: turizam, sport, ;nauka, politika, obrazovanje, saobraćaj, istorija i slično. ;Eliminisanje višeznačnosti prevoda pojedinih reči može se realizovati rešavanjem problema generalizovanog trgovačkog putnika na grafu pridruženom rečenici na sličan način kako je to već objašnjeno u opisu bloka 304, s tim što su u ovom slučaju potčvorovi potencijalni prevodi reči na engleski jezik. ;U modulu NLGt, modul500(slika 20), vrši se generisanje engleske rečenice koristeći sledeće podatke: 1. Univerzalni opis značenja polazne rečenice koji je prethodno bio formiran u ;NLU modulu. ;2. Koristeći sve relevantne prevode reči polazne rečenice dobij ene na međujezičkom nivou primenom rečnika fraza i anotiranog rečnika. ;3. Koristeći usvojene modele engleske rečenice, modul503.;4. Koristeći gramatička pravila za građenje rečenice engleskog jezika, moduli501i502.;U delu teksta koji sledi, korišćene su sledeće skraćenice: ;S - Rečenica (sentence) ;NP - Imenička grupa (noun phase) ;VP - Glagolska grupa (verb phase) ;PP - Predložna grupa (prepositional phase) ;N - Imenica (noun) ;V - Glagol (verb) ;AUX - Pomoćni glagol (auxiliary verb) ;DET - Određeni/neodređeni član (determiner) ;P - predlog (preposition) ;ADV - Prilog (adverb) ;ADJ - Pridev (adjective) ;Modeli za sintezu engleske rečenice grade se korišćenjem sledećih pravila: ;1. Rečenica (S) se formira of imeničke grupe (NP), pomoćnog glagola (AUX) koji može i da bude izostavljen i glagolske grupe (VP) ;S -> NP (AUX) VP ;2. Glagolsku grupu (VP) čine glagol (V), imenička grupa (NP) koja može biti izostavljena i predložna grupa (PP) koja može biti ponovljena više puta. ;VP -)• V (NP) PP<*>
Zvezdica označava da se elemenat može ponoviti veći broj puta ali isti tako ne mora ni jednom da se pojavi.
3. Imenička grupa (NP) može, a ne mora da sadrži određeni ili neodređeni član (DET), može a ne mora da sadrži pridev (ADJ) i mora obavezno da sadrži imenicu (N) (ili zamenicu)
NP -> (DET) (ADJ) N
4. Predložna grupa PP sadrži predlog P i novu imensku grupu (NP).
PP -» P NP
Na bazi ovih pravila struktura modela potvrdne rečenice prikazana je na slici 21a. Kod njenog generisanja koristi se prirodan red reči prema formuli:subjekat+predikat+(direktan objekat+(indirektan objekat)+odredba za način)+(odredbaza mesto) +(odredbaza vreme)
Na primeru prevoda srpske rečenice„ Limeni krov oduvala je snažna oluja",čiji je engleski prevod„ Strong storm blew iron roof,dobij a se rečenično stablo prikazano na slici 22.
Prema gramatici engleskog jezika upitna rečenica se gradi tako što se pomoćni glagol ubacuje na početak rečenice kako je prikazano na slici 21b. Prema navedenom pravilu, potvrdna rečenica iz prethodnog primera transformiše se u sledeću upitnu rečenicu„ Did strong storm blow iron roof".
Odrična rečenica se gradi tako što se u potvrdnom obliku rečenice ispred glagola ubacuje pomoćni glagol kome se dodaje rečca ,,not", kako bi se dobila negacija. Model odrične rečenice je prikazan na slici 21c. Prema navedenom pravilu, odlični oblik rečenice iz prethodnog primera postaje„ Strong storm didn' t blow iron
roof.
Upitno-odrična rečenica se gradi tako što se u upitnoj rečenici upotrebi negacija pomoćnog glagola. Model upitno-odrične rečenice je prikazan na slici 21d. Prema navedenom pravilu, upitno-odrični oblik rečenice iz prethodnog primera
postaje „ Didn ' t strong storm blow iron roof.
Upitna rečenica tipa „pitanje" se gradi tako što se u upitnoj rečenici ispred pomoćnog glagola stavi upitna reč, najčešće upitna zamenica. Model upitne rečenice tipa „pitanja" prikazan je na slici 21e. Prema navedenom pravilu, upitna rečenica iz prethodnog primera se transformiše u pitanje „What did strong storm blow ".
Generisana rečenica iz modula 500, NLGt, prosleđuje se u modul 504, modul TTS, u kome se vrši transformacija teksta rečenice na ciljanom (engleskom) jeziku u govorni signal koji se prezentuje korisniku 505 na ciljanom jeziku. U ovom pronalasku predviđena je i mogućnost ugradnje paralingvističkih informacija u sintezator govora 504. Blok za generisanje paralingvističkih informacija 506 koristi paralingvističke informacije izvornog jezika iz međujezičkog rezervoara, modul 401 (slika 19), kao i dodatne informacije iz NLGt bloka koje su specifične za ciljani jezik (paralingvističke informacije u govornom signalu mogu biti različite za različite jezike).
U ovom pronalasku opisan je sistem i postupak za prevođenje komunikativnog govora primenom međujezičkih resursa kao univerzalne osnove za višejezičko prevođenje. Pronalazak se odnosi na slobodnu govornu komunikaciju u okviru rečnika ograničenog obima (što u osnovi ne pretstavlja ograničenje rešenja ali pretstavlja inherentnu karakteristiku sistema) i sa specifičnim zahtevima (koji ne ograničavaju mogućnosti sistema) u pogledu komunikativne upotrebe sistema.
Specifičnost rešenja se nalazi u generalizovanoj interakciji jezika preko međujezičkog domena u kome se nalaze formalni opisi i govora i jezika izvornog govornika u obliku koncepata koji su, zatim, dostupni sintezi drugih jezika. Kao primer prikazan je postupak prevođenja sa srpskog jezika na engleski jezik. Poseban akcent je stavljen na detalje u analizi srpskog jezika, gde je čitav niz novih rešenja uneto.
Postupci i tehnike obrade govornih signala i analize jezika u ovom pronalasku mogu se implementirati i softverski u celosti ili po modulima koji izvršavaju pojedine funkcije opisane u ovom pronalasku. Programski kodovi mogu biti memorisani u memorijskim jedinicama i izvršavani pomoću procesora kao što su PC, PDA, DSP, itd.
Detalji ovog pronalaska opisani ovde omogućavaju bilo kom stručnjaku u ovoj oblasti da generičke principe ovog pronalaska može implementirati za razne jezike čime se ne izlazi iz okvira ovog pronalaska.

Claims (21)

1. Sistem za višejezičko prevođenje komunikativnog govora sa jednog jezika na druge jezike primenom međujezičkih resursa kao univerzalne osnove za višejezičko prevođenje,karakterisan time,što sadrži međujezički domenIDu kome se nalazi međujezički rezervoar koncepataIRCi međujezička banka bilingualnih rečnikaIBBD,što međujezičkom domenu može pristupiti proizvoljan broj jezika, što svaki jezik pristupa međujezičkom domenu preko pristupne tačkePT,što svaki jezik ima dvosmernu analitičko-sintetičku obradu jezika i govora, što svaki jezik koristi automatsko prepoznavanje govoraASRi konverziju govornog signala u tekst, što svaki jezik ima sintezu govora na bazi konverzije teksta u govorni signalTTS,što svaki jezik sadrži analizu izvorne rečenice na bazi gramatičkih pravila i njenu transformaciju u set lingvističkih koncepata i što svaki jezik, kao ciljani jezik, sadrži sintezu jezika na bazi transformacije seta lingvističkih koncepata i gramatičkih pravila ciljanog jezika.
2. Sistem prema zahtevu 1karakterisan timešto sadrži rešenje prevođenja sa srpskog jezika na engleski jezik, odnosno sadrži analitičku obradu izvornog srpskog govora u pristupu međujezičkom domenu i sintetičko generisanje ciljanog engleskog govora iz lingvističkih koncepata u međujezičkom domenu.
3. Sistem prema zahtevu 2naznačen timešto sadrži potsistem za automatsko prepoznavanje govoraASRu okvirima zadatog rečnika i njegovu konverziju u tekst sa interaktivnim odnosom sa govornikom u smislu korekcije nepravilno izgovorene reči.
4. Sistem prema zahtevu 2naznačen timešto sadrži potsistem za razumevanje prirodnog jezikaNLUkoji ulaznu rečenicu izvornog (srpskog) jezika analizira na leksičkom, sintaksnom i semantičkom planu i transformiše je u set lingvističkih koncepata generalizovane forme.
5. Sistem prema zahtevu 2naznačen timešto sadrži potsistem za generisanje prirodnog (srpskog) jezika NLGs, odnosno sintezu rečenice na srpskom jeziku iz lingvističkih koncepata dobijenih analitičkim postupkom, koji ostvaruje povratnu spregu sa govornikom (korisnikom sistema) u cilju kontrole i verifikacije valjanosti analitičkog postupka.
6. Sistem prema zahtevu 2 naznačentimešto sadrži monolingualni rečnik anotiranih reči i monolingualni rečnik fraza koji su sadržajno u potpunoj saglasnosti sa bilingualnim rečnicima.
7. Sistem prema zahtevu 2naznačen timešto sadrži banku gramatičkih pravila srpskog jezika o vezivanju sintaksnih značenja reči u rečenici i banku modela srpskih rečenica specifično struktuiranih prema potrebama višejezičkog prevođenja.
8. Sistem prema zahtevu 1naznačentime što sadrži potsistem za identifikaciju paralingvističkih informacija u govornom signalu izvornog (srpskog) jezika i jezičkoj strukturi analizirane rečenice.
9. Sistem prema zahtevu 1karakterisan timešto sadrži međujezički rezervoar lingvističkih koncepata IRC, u koji se smeštaju informacije koje se ekstrakuju analizom izvornog govora i jezika i koje pretstavljaju univerzalnu osnovu za sintezu različitih ciljanih govora i jezika, ikoji je otvorene strukture u koju se mogu dodavati lingvistički koncepti novog jezika.
10. Sistem prema zahtevu 1karakterisan timešto sadrži međujezičku banku bilingualnih rečnikaIBBDu čiji sastav ulaze bilingualni anotirani rečnici i bilingualni rečnici fraza svakog para jezika koji je preko pristupnih tačaka povezan sa međujezičkim domenom, pri čemu se bilingualni rečnici formiraju posebno za svaki smer prevoda.
11. Sistem prema zahtevu 2naznačentime što sadrži potsistem za generisanje prirodnog (engleskog) jezika NLGt, kao ciljanog jezika, odnosno sintezu rečenice na engleskom jeziku na bazi lingvističkih koncepata dobijenih iz međujezičkog domena ID.
12. Sistem prema zahtevu 2naznačen timešto sadrži banku gramatičkih pravila engleskog jezika o vezivanju sintaksnih značenja reči u rečenici i banku modela engleskih rečenica struktuiranih prema prirodnom engleskom jeziku.
13. Sistem prema zahtevu 1naznačen timešto sadrži potsistem za generisanje paralingvističkih informacija u govornom signalu ciljanog (engleskog) jezika koristeći paralingvističke informacije izvornog (srpskog) jezika iz međujezičkog rezervoara kao i dodatne informacije iz NLGtbloka koje su specifične za ciljani jezik.
14. Postupak za višejezičko prevođenje komunikativnog govora sa jednog jezika na druge jezike, karakterisan time, što njegovu osnovu čini međujezički domen kao univerzalna osnova za višejezičko prevođenje, koji sadrži sve informacije dobijene analizom izvornog jezika a koje su neophodne i dovoljne za sintezu bilo kog ciljanog jezika, što se izvorni govor najpre transformiše u tekst, što se tekst izvornog govora analizira na bazi gramatičkih pravila izvornog jezika, što se leksičkom, sintaksnom i semantičkom analizom dolazi do jezičkih koncepata kao univerzalnih informacija na bazi kojih se može sintetisati (generisati) rečenica na bilo kom jeziku, što se sinteza (generisanje) rečenice na ciljanom jeziku vrši na bazi jezičkih koncepata iz međujezičkog domena uz primenu gramatičkih pravila ciljanog jezika i što se ciljani govor sintetiše na bazi konverzije teksta rečenice u govorni signal.
15. Postupak prema zahtevu 14, karakterisan time, što se sistematske greške u ASR modulu u prepoznavanju reči u različitim padežima ili glagolskim oblicima, zbog složene morfologije srpskog jezika, statističkim putem koriguju formiranjem liste odnreči* rangiranih prema aposteriornoj verovatnoći, odnosno verovatnoći da su baš one izgovorene.
16. Postupak prema zahtevu 14, karakterisan time, što se identifikovanje fraza u izvornoj rečenici vrši potpunom pretragom, po svim mogućim dužinama fraza i po svim mogućim pozicijama fraze u izvornoj rečenici.
17. Postupak prema zahtevu 14, karakterisan time, što se analiza strukture izvorne rečenice vrši na bazi modela rečenica u srpskom jeziku formiranih na bazi gramatičkih pravila i što su modeli struktuirani tako da formalizuju oblike analiziranih rečenica koji u najčešćem broju slučajeva odgovaraju gramatičkim strukturama srpskih rečenica, ali isto tako mogu biti lako i ispravno protumačeni od strane drugih jezika.
18. Postupak prema zahtevima 14 i 17, karakterisan time, što se prestrukturiranje ulazne rečenice zasniva na specifičnom postupku zasnovanom na teoriji grafa i rešenju generalizovanog problema trgovačkog putnika i što se graf ulazne rečenice sastoji od natčvorova kojima su pridružene reči iz ulazne rečenice i potčvorova koji pretstavljaju sintaksna značenja reči.
19. Postupak prema zahtevima 17 i 18, karakterisan time, što se transformacija ulazne rečenice u međujezike koncepte zasniva na gramatičkim, sintaksnim i semantičkim pravilima izvornog (srpskog) jezika pomoću kojih se dolazi do formalnog opisa značenja analizirane rečenice.
20. Postupak prema zahtevu 14,karakterisan time,što se višeznačnost reči u prevodu na ciljani jezik rešava na bazi primene gramatičkih pravila ciljanog jezika i specifičnom postupku izbora značenja zasnovanom na teoriji grafa.
21. Postupak prema zahtevima 8 i 13,karakterisan time,što se pomoću njega u izvornom govoru i jeziku identifikuju paralingvističke informacije koje se preko međujezičkog domena prenose na stranu ciljanog jezika, delimično modifikuju i integrišu u prozodijske elemente sintetižovanog govora.
RSP-2007/0316A 2007-07-25 2007-07-25 Sistem i postupak za višejezično prevođenje komunikativnog govora RS50004B (sr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RSP-2007/0316A RS50004B (sr) 2007-07-25 2007-07-25 Sistem i postupak za višejezično prevođenje komunikativnog govora
PCT/RS2008/000025 WO2009014465A2 (en) 2007-07-25 2008-07-16 System and method for multilingual translation of communicative speech

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RSP-2007/0316A RS50004B (sr) 2007-07-25 2007-07-25 Sistem i postupak za višejezično prevođenje komunikativnog govora

Publications (2)

Publication Number Publication Date
RS20070316A RS20070316A (sr) 2008-04-04
RS50004B true RS50004B (sr) 2008-09-29

Family

ID=40281999

Family Applications (1)

Application Number Title Priority Date Filing Date
RSP-2007/0316A RS50004B (sr) 2007-07-25 2007-07-25 Sistem i postupak za višejezično prevođenje komunikativnog govora

Country Status (2)

Country Link
RS (1) RS50004B (sr)
WO (1) WO2009014465A2 (sr)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622342B (zh) * 2011-01-28 2018-09-28 上海肇通信息技术有限公司 中间语系统、中间语引擎、中间语翻译系统和相应方法
US9405448B2 (en) 2012-08-30 2016-08-02 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US9355093B2 (en) 2012-08-30 2016-05-31 Arria Data2Text Limited Method and apparatus for referring expression generation
US8762134B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US8762133B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for alert validation
US9135244B2 (en) 2012-08-30 2015-09-15 Arria Data2Text Limited Method and apparatus for configurable microplanning
US9336193B2 (en) 2012-08-30 2016-05-10 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
WO2014076524A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for spatial descriptions in an output text
WO2014076525A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for expressing time in an output text
WO2014102569A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion description
WO2014102568A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion detection
WO2014111753A1 (en) 2013-01-15 2014-07-24 Arria Data2Text Limited Method and apparatus for document planning
WO2015028844A1 (en) 2013-08-29 2015-03-05 Arria Data2Text Limited Text generation from correlated alerts
US9396181B1 (en) 2013-09-16 2016-07-19 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US9244894B1 (en) 2013-09-16 2016-01-26 Arria Data2Text Limited Method and apparatus for interactive reports
US10664558B2 (en) 2014-04-18 2020-05-26 Arria Data2Text Limited Method and apparatus for document planning
CN105845125B (zh) * 2016-05-18 2019-05-03 百度在线网络技术(北京)有限公司 语音合成方法和语音合成装置
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
CN107767856B (zh) * 2017-11-07 2021-11-19 中国银行股份有限公司 一种语音处理方法、装置及服务器

Also Published As

Publication number Publication date
WO2009014465A2 (en) 2009-01-29
WO2009014465A3 (en) 2009-05-07
RS20070316A (sr) 2008-04-04

Similar Documents

Publication Publication Date Title
RS50004B (sr) Sistem i postupak za višejezično prevođenje komunikativnog govora
Waibel et al. Multilinguality in speech and spoken language systems
US6223150B1 (en) Method and apparatus for parsing in a spoken language translation system
US6243669B1 (en) Method and apparatus for providing syntactic analysis and data structure for translation knowledge in example-based language translation
US6374224B1 (en) Method and apparatus for style control in natural language generation
US6278968B1 (en) Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
US6356865B1 (en) Method and apparatus for performing spoken language translation
US6282507B1 (en) Method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection
US6442524B1 (en) Analyzing inflectional morphology in a spoken language translation system
Fuller An Introduction to Literary Chinese: Revised Edition
US6266642B1 (en) Method and portable apparatus for performing spoken language translation
US8566076B2 (en) System and method for applying bridging models for robust and efficient speech to speech translation
Wahlster Mobile speech-to-speech translation of spontaneous dialogs: An overview of the final Verbmobil system
de Gispert et al. Using x-grams for speech-to-speech translation.
Liu et al. Use of statistical N-gram models in natural language generation for machine translation
Gao et al. MARS: A statistical semantic parsing and generation-based multilingual automatic translation system
Kathol et al. Speech translation for low-resource languages: the case of Pashto.
Wang Porting the galaxy system to Mandarin Chinese
Shukla et al. A Framework of Translator from English Speech to Sanskrit Text
Wahlster Robust translation of spontaneous speech: a multi-engine approach
Lee Speech translation
Carson-Berndsen Multilingual time maps: portable phonotactic models for speech technology
Van der Westhuizen Language modelling for code-switched automatic speech recognition in five South African languages
Villaneau et al. Deeper spoken language understanding for man-machine dialogue on broader application domains: a logical alternative to concept spotting
Donaj et al. Manual sorting of numerals in an inflective language for language modelling