WO2004003888A1 - Verfahren zur natürlichen spracherkennung auf basis einer generativen transformations-/phrasenstruktur-grammatik - Google Patents

Verfahren zur natürlichen spracherkennung auf basis einer generativen transformations-/phrasenstruktur-grammatik Download PDF

Info

Publication number
WO2004003888A1
WO2004003888A1 PCT/DE2003/002135 DE0302135W WO2004003888A1 WO 2004003888 A1 WO2004003888 A1 WO 2004003888A1 DE 0302135 W DE0302135 W DE 0302135W WO 2004003888 A1 WO2004003888 A1 WO 2004003888A1
Authority
WO
WIPO (PCT)
Prior art keywords
grammar
recognized
words
phrase
word
Prior art date
Application number
PCT/DE2003/002135
Other languages
English (en)
French (fr)
Other versions
WO2004003888B1 (de
Inventor
Klaus Dieter Liedtke
Guntbert Markefka
Original Assignee
T-Mobile Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by T-Mobile Deutschland Gmbh filed Critical T-Mobile Deutschland Gmbh
Priority to US10/519,653 priority Critical patent/US7548857B2/en
Priority to EP03761435A priority patent/EP1518221A1/de
Priority to JP2004516499A priority patent/JP4649207B2/ja
Priority to CA2493429A priority patent/CA2493429C/en
Priority to AU2003250272A priority patent/AU2003250272A1/en
Publication of WO2004003888A1 publication Critical patent/WO2004003888A1/de
Publication of WO2004003888B1 publication Critical patent/WO2004003888B1/de
Priority to IL165957A priority patent/IL165957A/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation

Definitions

  • the invention relates to a method for natural speech recognition based on a generative transformation / phrase structure grammar (GT / PS grammar).
  • NLU Natural Language Understanding
  • Speech recognition systems with natural speech recognition are able to understand a variety of possible utterances and implement them in complex command structures, the speech recognition systems, e.g. Computer, to take certain actions. They do this on the basis of predefined, meaningful sample sets, which are defined by application developers and so-called dialog designers.
  • This collection of sample sentences - also called "grammar" - includes individual command words as well as complicated nesting sentences that make sense at a certain point in the dialog. If the user expresses such a sentence, the system will understand it with great certainty and the instructions associated with it is running.
  • the Grammar is an indispensable component. It is generated using a special tool, the so-called Grammar Specification Language (GSL). It is used to reproduce the words to be understood as well as their links in advance and to lay them down for the speech recognizer.
  • GSL Grammar Specification Language
  • the predefined sentences are formed from combinations of words that are interchangeable (paradigmatic axis) and combinable (syntagmatic axis). An example of this is shown in FIG. 7. The possible utterances result from the syntagmatic connection of the paradigmatic word combinations.
  • the object of the invention is to provide a method for speech recognition on the basis of a generative transformation / phrase structure grammar which, compared to conventional recognition methods, requires less system resources and thereby enables reliable and fast recognition of speech while reducing over-generation.
  • a spoken phrase is analyzed for triphones contained therein, words contained in the spoken phrase are formed from the recognized triphones with the aid of phonetic word databases
  • the linking rules of grammatical sentences are not reproduced on the surface, but the depth structures are shown, which are followed by the syntagmatic links of all Indo-European languages.
  • Each sentence is described using a syntactic model in the form of so-called structure trees.
  • the GT / PS grammar is not based on the potential statements of a specific application, but on the deep structure of the syntax (sentence formation rules) of Indo-European languages. It provides a framework that can be filled with different words and depicts the reality of the spoken language better than the previously used "mimetic" process.
  • Subgrammars in the GT / PS model on e.g. 30 subgrammars can be reduced in just two hierarchical levels.
  • the new grammar type depicts natural language expressions in a structured form and is only around 25% the size of the previous grammar, for example. Because of its small size, this grammar is easier to maintain, and the times for compilation decrease rapidly. Due to their small size, the Detection reliability (Accuracy) and decreases the detection delay (Latency). Current computer capacities are better used and the performance of the servers increases. In addition, the new Grammar is not related to a specific application, but can be used in its basic structures for different applications, which increases the homogeneity of the systems and reduces development times.
  • the universal code of the deep structure enables the use and added value for multilingual language systems in a dimension that has not yet been achieved, especially the standard Western European languages can be processed with comparatively little effort.
  • the new GT / PS grammar is based on current linguistic models that provide natural-language utterances in the context of surface and
  • GSL Grammar Specification Language
  • the GT / PS grammar is much smaller than the previous grammar because it only needs two levels instead of the up to seven subgrammar levels; - The number of grammatically incorrect sentences covered by the grammar
  • Figure 1 A triphone analysis as the first step in the recognition process
  • Figure 2 Word recognition from the recognized triphones as a second step in the recognition process
  • Figure 3 a syntactic reconstruction of the recognized words as the third step of the recognition process
  • Figure 4 An example of the structure of the recognized words in
  • Figure 5 A sample program for a possible grammar
  • Figure 6 An overview of the structure of a PSG grammar
  • Figure 7 An example of the formation of word combinations in a grammar according to the prior art.
  • Figure 1 shows the first step of speech recognition: the triphone analysis.
  • the continuous flow of speech of a person 1 is e.g. accepted by a microphone of a telephone and fed to a speech recognizer 2 as an analog signal.
  • the analog voice signal is converted into a digital voice signal 3.
  • the speech signal contains a variety of triphones, i.e. Sound segments that in speech recognizer 2 with existing, i.e. Predefined triphon linking rules are compared.
  • the existing triphones are stored in a database which contains one or more phonebooks.
  • the recognized triphones are then present as a triphone chain 4, e.g. "Pro", “red”, “ote", "tel”.
  • useful words are formed from the recognized triphones.
  • the phonetic dictionary 5 can comprise a certain vocabulary from the colloquial language as well as a special vocabulary tailored to the respective application.
  • the recognized words 7 are reconstructed using the grammar 8.
  • the recognized words are assigned to their part of speech, such as noun, verb, adverb, article, adjective, etc., as shown in FIG 6 is shown.
  • the databases 9-15 can contain both the conventional part of speech categories mentioned above and special part of speech types, such as yes / no grammar 9, telephone numbers 14, 15.
  • a detection of DTMF inputs 16 can also be provided.
  • the described assignment of the part of speech type to the recognized words can already take place during the word recognition process.
  • the recognized words are based on their word categories of a verbal phrase, i.e. a verb-based phrase, and a nominal phrase, i.e. assigned to a phrase based on a noun, cf. Figure 6.
  • step 18 the objects for multitasking are linked to the corresponding voice-controlled application.
  • Each object 19 comprises a target sentence stored in the grammar 8, more precisely a sentence model.
  • a sentence model e.g. can be defined by a word order "subject, verb, object” or "object, verb, subject”.
  • Many other sentence structures are stored in this general form in Grammar 8. If the word categories of the recognized words 7 correspond to the order of one of the predefined sentence models, they are assigned to the associated object. The sentence is considered recognized. In other words, each sentence model comprises a number of variables assigned to the different word categories, which are filled with the corresponding word categories of the recognized words 7.
  • the procedure uses the traditional Grammar Specification Language (GSL), but structures the stored sentences in an innovative way. It is based on the rules of phrase structure grammar and the concept of a generative transformation grammar.
  • GSL Grammar Specification Language
  • the GT / PS grammar is therefore based on a theoretical model that is suitable for determining the abstract principles of natural language utterances.
  • it opens up the possibility for the first time to reverse the abstraction of sentence formation rules and to substantiate them as a prediction of the statements made by application users. This enables systematic access to speech recognition grammars that have always been based on the intuitive accumulation of example sentences.
  • a central feature of conventional and GT / PS grammars is the hierarchical nesting into so-called subgrammars, which combine individual words and variables at the highest level to form an entire sentence.
  • the GT / PS grammar is much smaller and hierarchically much clearer than the previously known grammars.
  • "meaningful" sentences are almost exclusively stored in the new grammar, so that the degree of overgeneration, ie stored sentences that are incorrect in the natural language sense, decreases. This, in turn, is the prerequisite for improved recognition performance, since the Application only has to choose between a few stored alternatives.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur natürlichen Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik Die GT-/PS-Grammar. Erfindungsgemäß erfolgt eine Analyse einer gesprochenen Phrase auf darin enthaltene Triphone, eine Bildung von in der gesprochenen Phrase enthaltenen Wörtern aus den erkannten Triphonen mit Hilfe von Lautwortdatenbasen (Dictionaries) und eine syntaktische Rekonstruktion der gesprochenen Phrase aus den erkannten Wörtern unter Verwendung eines grammatischen Regelwerks (Grammar). Die GT-/PS-Grammar ist ein neuartiges Verfahren, Zielsätze in der Grammar zu hinterlegen. Sie bedient sich der traditionellen Grammar Specification Language (GSL), strukturiert die hinterlegten Sätze jedoch in innovativer Weise. Dabei orientiert sie sich an den Regeln der Phrasenstrukturgrammatik und an Noam Chomskys Konzept einer Generativen Transformationsgrammatik.

Description

Verfahren zur natürlichen Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik
Die Erfindung betrifft ein Verfahren zur natürlichen Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik (GT/PS-Grammar).
Aktuelle Spracherkennungssysteme mit natürlicher Spracherkennung (NLU = Natural Language Understanding) sind in der Lage, eine Vielzahl möglicher Äußerungen zu verstehen und in komplexe Befehlsstrukturen umzusetzen, die Spracherkennungssysteme, z.B. Computer, zu bestimmten Aktionen veranlassen. Sie tun dies auf der Grundlage vorab definierter sinnvoller Mustersätze, die von Applikationsentwicklern und sogenannten Dialog-Designern festgelegt werden. Diese Sammlung von Mustersätzen - auch „Grammar" genannt - umfasst einzelne Kommandoworte ebenso wie komplizierte Schachtelsätze, die an einer bestimmten Stelle des Dialogs sinnvoll sind. Äußert der Nutzer einen solchen Satz, wird er vom System mit großer Sicherheit verstanden und die mit ihm verknüpfte Handlungsanweisung wird ausgeführt.
Bei der Programmierung einer Erkennungsapplikation, z.B. einer NLU- Telefonapplikation, ist die Grammar also ein unverzichtbarer Baustein. Sie wird mit Hilfe eines speziellen Werkzeugs, der sogenannten Grammar Specification Language (GSL) erzeugt. Mit ihr werden die zu verstehenden Worte sowie ihre Verknüpfungen vorab reproduziert und für den Spracherkenner festgeschrieben. Die vorgegebenen Sätze werden dabei aus Wortkombinationen gebildet, die untereinander austauschbar (paradigmatische Achse) und miteinander kombinierbar (syntagmatische Achse) sind. Ein Beispiel hierfür ist in Figur 7 dargestellt. Die möglichen Äußerungen ergeben sich aus der syntagmatischen Verknüpfung der paradigmatischen Wortkombinationen. Dass dabei auch Sätze möglich werden, die grammatisch falsch sind, wie z.B. „Würden Sie vielleicht Telly-Tarif ersetzen?" muss in Kauf genommen werden, um das Antwortenspektrum möglichst groß zu halten. Diese sogenannte „Overgeneration", das heißt z.B. das Vorhalten bzw. Erkennen von unsinnigen Mustersätzen oder Ausdrücken mit dem selben Sinngehalt, sollte jedoch gering gehalten werden, denn sie beansprucht beträchtliche Systemressourcen und setzt gleichzeitig die Erkennungsleistung herab, weil das System jede Nutzeräußerung mit einer Fülle vorgegebener Satzkombination vergleichen muss, die kaum jemals geäußert werden.
In der bisher üblichen Praxis wurden die paradigmatischen Wortkombinationen in einer Weise festgelegt, die scheinbar Zusammengehöriges verbindet. Dabei wurde von der bedeutungstragenden Qualität der Worte ausgegangen. Dieses Verfahren, das von einem mutmaßlichen Erfolgssatz ausgeht, entspricht durchaus den Erfordernissen einfacher Applikationen und führt hier zu zufriedenstellenden Ergebnissen. Bei komplexen Anwendungen, mit einer Fülle sinnvoller Antwortmöglichkeiten hingegen, werden diese herkömmlichen Grammatiken so groß, dass sie selbst die Rechenkapazität gegenwärtiger Hochleistungsserver bis an die Grenze belasten. Die Folgen sind:
Stark vermehrte Overgeneration Spürbare Verzögerungen bei der Erkennung (Latency) Sinkende Erkennungssicherheit (Accuracy). - Abgesenkte Systemstabilität (Robustness)
Der Hauptmangel dieser Methode besteht darin, dass die spezifizierten Sätze lediglich einer oberflächlichen Kombinatorik folgen. Die erzeugte Overgeneration ist deshalb so groß, weil die scheinbar zusammengehörigen Elemente tatsächlich anderen Kombinationsregeln folgen, die in der Sprachwissenschaft seit längerem bekannt sind. Zusammenfassend wird festgehalten, dass die derzeit verbreiteten Grammars, die festlegen, welche Sätze von einem ASR-System erkannt werden, traditionellen grammatischen Konventionen folgen, die natürlich-sprachliche Äußerungen unzureichend strukturiert abbilden. Dabei wurde bislang nicht von einer Differenzierung von „Oberflächen-,, bzw. „Tiefenstrukturen" ausgegangen. Die linguistische Hypothese besagt, dass eine syntaktische Tiefenstruktur und deren „generative Umsetzung" hin zu konkreten Oberflächenstrukturen die Leistungsfähigkeit eines Sprachsystems ausmacht. Wird bei steigender Komplexität ausschließlich die bisher eingesetzte Oberflächenstruktur verwendet, muss diese, um ihrer Aufgabe dennoch gerecht zu werden, so groß dimensioniert sein, dass sie im Betrieb kaum noch vernünftig gepflegt werden kann und die Server bis an die Grenzen ihrer Kapazität belastet.
Die Aufgabe der Erfindung besteht darin, ein Verfahren zur Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik anzugeben, das im Vergleich zu herkömmlichen Erkennungsverfahren weniger System ressourcen benötigt und dadurch eine sichere und schnelle Erkennung von Sprache bei gleichzeitiger Verringerung der Overgeneration ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch die Merkmale des Patentanspruchs 1 gelöst.
Erfindungsgemäß erfolgt eine Analyse einer gesprochenen Phrase auf darin enthaltene Triphone, eine Bildung von in der gesprochenen Phrase enthaltenen Wörtern aus den erkannten Triphonen mit Hilfe von Lautwortdatenbasen
(Dictionaries) und eine syntaktische Rekonstruktion der gesprochenen Phrase aus den erkannten Wörtern unter Verwendung eines grammattischen Regelwerks (Grammar).
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Merkmalen der Unteransprüche. Besonders markant ist der Gegensatz zwischen dem erfindungsgemäßen Verfahren und der traditionellen Grammar Specification Language, die bei kleinen Applikationen auch mit syntaktischen Oberflächen, d.h. konkretes Ausformulieren von Erfolgssätzen, gute Resultate erzielte.
Erfindungsgemäß werden die Verknüpfungsregeln grammatischer Sätze nicht an der Oberfläche reproduziert, sondern die Tiefenstrukturen aufgezeigt, denen die syntagmatischen Verknüpfungen aller indogermanischen Sprachen folgen. Jeder Satz wird anhand eines syntaktischen Modells in Form von sogenannten Strukturbäumen beschrieben.
Die GT/PS-Grammar orientiert sich nicht an den potenziellen Äußerungen einer spezifischen Applikation, sondern an der Tiefenstruktur der Syntax (Satzbildungsregeln) indogermanischer Sprachen. Sie liefert ein Gerüst, das mit verschiedenen Worten gefüllt werden kann und die Realität der gesprochenen Sprache besser abbildet, als das bisher praktizierte „mimetische" Verfahren.
Innerhalb der durch die Strukturbäume beschriebenen Tiefenstrukturen wird erkennbar, dass sich bestimmte Phrasen innerhalb eines Satzes wiederholen. Solche Wiederholungen können mit Hilfe der GSL reproduziert und aufgefangen werden. Dadurch sinkt nicht nur der Umfang einer Grammar erheblich, sondern auch die Overgeneration von grammatisch inkorrekten Sätzen sinkt beträchtlich.
Während in der traditionellen GSL-Grammar z.B. rund 500 Subgrammars in sieben hierarchischen Ebenen miteinander verflochten sind, kann die Anzahl der
Subgrammars im GT/PS-Modell auf z.B. 30 Subgrammars in nur zwei hierarchischen Ebenen reduziert werden.
Der neue Grammartyp bildet natürlich-sprachliche Äußerungen in strukturierter Form ab und hat dabei z.B. nur rund 25% der Größe der bisherigen Grammar. Aufgrund ihrer geringen Größe ist diese Grammar einfacher zu pflegen, wobei die Zeiten für Kompilierung rapide sinken. Aufgrund ihrer geringen Größe steigt die Erkennungssicherheit (Accuracy) und sinkt die Erkennungsverzögerung (Latency). Die aktuellen Rechnerkapazitäten werden besser ausgenutzt und die Performance der Server steigt. Darüber hinaus ist die neue Grammar nicht auf eine bestimmte Applikation bezogen, sondern kann in ihren Grundstrukturen für unterschiedliche Anwendungen, verwendet werden, wodurch die Homogenität der Systeme gesteigert und die Entwicklungszeiten reduziert werden.
Der universale Code der Tiefenstruktur ermöglicht den Einsatz und die Wertschöpfung für multilinguale Sprachsysteme in einer bislang nicht erreichten Dimension, besonders die westeuropäischen Standardsprachen können mit vergleichsweise geringem Aufwand verarbeitet werden.
Im Unterschied zur bisherigen Grammar für natürlich-sprachliche Dialogapplikationen basiert die neue GT/PS Grammar auf aktuellen sprachwissenschaftlichen Modellen, die natürlich-sprachliche Äußerungen im Rahmen von Oberflächen- und
Tiefenstrukturen abbilden. Die abstrakten Strukturmuster werden mit einer Grammar Specification Language (GSL) in ein hierarchisch verschachteltes und vernetztes Regelwerk übertragen, dessen Strukturen in der beiden Anlagen abgebildet sind.
Die technischen Vorzüge der GT/PS-Grammar sind damit:
Die GT/PS-Grammar ist sehr viel kleiner als die bisherige Grammar, weil sie statt der bisher bis zu sieben Subgrammarlevels nur noch mit zwei Ebenen auskommt; - Die Zahl der von der Grammar abgedeckten aber grammatisch falschen Sätze
(Overgeneration) sinkt drastisch;
Sie benötigt nur noch rund ein Drittel der bislang verwendeten Slots;
Sie füllt entgegen der heutigen Spracherkenner-Philosophie die Slots in den unteren Grammar-Ebenen, statt in den oberen; - Sie nutzt das von der GSL (Grammar Specification Language) bereit gestellte
Instrument, Slotwerte in höhere Grammarlevels hoch zu reichen, konsequent aus; Sie besitzt einen neuen Slot mit der Bezeichnung ACTION, der nur noch mit den Werten GET und KILL gefüllt werden kann; sie arbeitet mit ineinander verschachtelten Slots, die hochgradig multitaskingfähig sind. - Sie führt zu einer Verbesserung der Erkennerleistung
Sie ermöglicht eine vereinfachte Option zur Einführung mehrsprachiger
Applikationen
Sie weist eine nahtlose Integrationsfähigkeit in Nuance Technologie auf
Die wirtschaftlichen Vorzüge der PSG sind:
Verringerung der Hardwarekosten durch bessere Ausnutzung der Systemressourcen
Verringerung der Übertragungszeiten durch leistungsfähigere Erkennung - Einsparung von Personalressourcen durch leichtere Pflegbarkeit Größere Kundenzufriedenheit Anwendbar auf alle Weltsprachen (Englisch bis Chinesisch)
Nachfolgend wird die Erfindung anhand eines vereinfachten Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen näher erläutert. Aus den Zeichnungen und deren Beschreibung ergeben sich weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung. Es zeigt.
Figur 1 : Eine Triphonanalyse als ersten Schritt im Erkennungsprozess;
Figur 2: Eine Worterkennung aus den erkannten Triphonen als zweiten Schritt im Erkennungsprozess; Figur 3;: eine syntaktische Rekonstruktion der erkannten Wörter als dritten Schritt des Erkennungsprozesses; Figur 4: Ein Beispiel für die Gliederung der erkannten Wörter in
Wortartenkategorien sowie in nominale und verbale Phrasen; Figur 5: Ein Programmbeispiel für eine mögliche Grammar; Figur 6: Eine Übersicht über die Struktur einer PSG Grammar;
Figur 7: Ein Beispiel für eine Bildung von Wortkombinationen bei einer Grammar nach den Stand der Technik.
Figur 1 zeigt den ersten Schritt einer Spracherkennung: die Triphonanalyse. Der kontinuierliche Redefluss eine Person 1 wird z.B. von einem Mikrofon eines Telefons angenommen und als analoges Signal einem Spracherkenner 2 zugeführt. Dort wird das analoge Sprachsignal in ein digitales Sprachsignal 3 umgewandelt. Das Sprachsignal enthält eine Vielzahl von Triphonen, d.h. Lautsegmenten, die im Spracherkenner 2 mit vorhandenen, d.h. vorgegebenen Triphon-Verknüpfungsregeln abgeglichen werden. Die vorhandenen Triphone sind in einer Datenbasis abgespeichert, die ein oder mehrere Lautwörterbücher enthält. Die erkannten Triphone liegen dann als eine Triphon-Kette 4 vor, z.B. „pro", „rot", „ote", „tel".
In einem zweiten Schritt gemäß Figur 2 werden aus den erkannten Triphonen sinnvolle Wörter gebildet. Dazu wird die vorhandene Triphon-Kette 4 mit in einem weiteren Lautwörterbuch 5 abgespeicherten, vorgegebenen Wörtern 6, z.B. „profi", „portal", „protel", „hotel", verglichen. Das Lautwörterbuch 5 kann einen bestimmten Wortschatz aus der Umgangssprache sowie einen auf die jeweilige Anwendung zugeschnittenen, speziellen Wortschatz umfassen. Stimmen die erkannten Triphone, z.B. „pro" und „tel", mit den in einem Wort, z.B. „protel", enthaltenen Triphonen überein, wird das entsprechende Wort 7 als solches erkannt: „protel".
Im nächsten Schritt, dargestellt in Figur 3, erfolgt die syntaktische Rekonstruktion der erkannten Wörter 7 mit Hilfe der Grammar 8. Dazu werden die erkannten Wörter ihren Wortartkategorien, wie Nomen, Verb, Adverb, Artikel, Adjektiv, etc. zugeordnet, wie dies in Figur 6 dargestellt ist. Dies erfolgt anhand von in Wortartkategorien unterteilten Datenbasen. Wie man in Figur 5 erkennt, können die Datenbasen 9-15 sowohl die oben erwähnten, herkömmlichen Wortartkategorien als auch spezielle Wortartkategorien, wie z.B. Ja/Nein Grammtik 9, Telefonnummern 14, 15, enthalten. Zudem kann eine Erkennung von DTMF-Eingaben 16 vorgesehen sein. Die beschriebene Zuordnung der Wortartkategorie zu den erkannten Worten kann bereits während des Worterkennungsprozesses erfolgen.
Im nächsten Schritt (Schritt 17) werden die erkannten Wörter anhand ihrer Wortkategorien einer VerbalPhrase, d.h. einer auf einem Verb basierenden Phrase, und einer NominalPhrase, d.h. einer auf einem Nomen basierenden Phrase, zugeordnet, vgl. Figur 6.
Danach werden die NomialPhrasen und VerbalPhrasen nach phrasenstrukturellen Gesichtspunkten in Objekten zusammengeführt. In Schritt 18 werden die Objekte für das Multitasking mit der entsprechenden sprachgesteuerten Anwendung verknüpft.
Jedes Objekt 19 umfasst einen in der Grammar 8 hinterlegten Zielsatz, genauer gesagt ein Satzmodell. Aus Figur 4 geht hervor, dass ein solches Satzmodell z.B. durch eine Wortreihenfolge „Subjekt, Verb, Objekt" oder „Objekt, Verb, Subjekt" definiert sein kann. Viele andere Satzbaustrukturen sind in dieser allgemeinen Form in der Grammar 8 hinterlegt. Entsprechen die Wortkategorien der erkannten Wörter 7 der Reihenfolge eines der vorgegebenen Satzmodelle, so werden sie dem zugehörigen Objekt zugeordnet. Der Satz gilt als erkannt. Anders ausgedrückt umfasst jedes Satzmodell eine Anzahl von den verschiedenen Wortkategorien zugeordneten Variablen, die mit den entsprechenden Wortkategorien der erkannten Wörter 7 gefüllt werden.
Das Verfahren bedient sich der traditionellen Grammar Specification Language (GSL), strukturiert die hinterlegten Sätze jedoch in innovativer Weise. Dabei orientiert sie sich an den Regeln der Phrasenstrukturgrammatik und am Konzept einer Generativen Transformationsgrammatik.
Durch die konsequente Anwendung der dort beschriebenen Tiefenstrukturen eines Satzes, insbesondere der Unterscheidung von Nominalphrasen und Verbalphrasen, steht sie der Satzkonstitution der natürlichen Sprache sehr viel näher als die bislang vorherrschenden intuitiven Grammarkonzepte. Die GT/PS-Grammar basiert somit auf einer theoretischen Modellbildung, die geeignet ist, die abstrakten Prinzipien natürlichsprachlicher Äußerungen zu ermitteln. Auf dem Gebiet moderner Spracherkennungssysteme eröffnet sie erstmals die Möglichkeit, die Abstraktion von Satzbildungsregeln gleichsam umzukehren und als Vorhersage der Äußerungen von Applikationsnutzern zu konkretisieren. Damit wird ein systematischer Zugriff auf Spracherkennungs-Grammars möglich, die bislang stets auf der intuitiven Akkumulation von Beispielsätzen beruhten.
Ein zentrales Merkmal herkömmlicher und GT/PS-Grammars ist die hierarchische Verschachtelung in sogenannte Subgrammars, die einzelne Worte wie Variablen auf der höchsten Ebene zu einem ganzen Satz zusammensetzen. Die GT/PS-Grammar ist in diesem Punkt sehr viel kleiner und hierarchisch viel übersichtlicher als die bisher bekannten Grammars. Im Unterschied zu herkömmlichen Grammars sind in der neuen Grammar fast ausschließlich „sinnvolle" Sätze hinterlegt, so dass das Maß an Overgeneration, d.h. hinterlegte Sätze, die im natürlichsprachlichen Sinne falsch sind, sinkt. Dies ist wiederum die Voraussetzung für eine verbesserte Erkennerleistung, da die Applikation nur zwischen wenigen hinterlegten Alternativen wählen muss.

Claims

Patentansprüche
1. Verfahren zur natürlichen Spracherkennung auf Basis einer Generative Transformations-/Phrasenstruktur-Grammatik, gekennzeichnet durch die Schritte:
- Analyse einer gesprochenen Phrase auf darin enthaltene Triphone;
- Bildung von in der gesprochenen Phrase enthaltenen Wörtern aus den erkannten Triphonen mit Hilfe von Lautwortdatenbasen (Dictionaries); und
- Syntaktische Rekonstruktion der gesprochenen Phrase aus den erkannten Wörtern unter Verwendung eines grammatischen Regelwerks (Grammar).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die syntaktische Rekonstruktion der gesprochenen Phrase die Schritte umfasst:
- Zuordnung der erkannten Wörter zu Wortartenkategorien (Verb, Nomen etc.)
- Zuordnung der Wortartenkategorien zu Nominalphrasen und Verbalphrasen;
- Zusammenführung der Nominalphrasen und Verbalphrasen nach syntaktischen Regeln in Objekten unter Vorgabe verschiedene Satzmodelle, wobei die erkannten Wortfolgen mit den vorgegebenen Satzmodellen verglichen werden, wobei im Fall einer Übereinstimmung der Satz als erkannt gilt und eine Aktion in einer sprachgesteuerten Applikation auslöst.
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass jedes Satzmodell eine Anzahl von Wortkategorien zugeordneten Variablen aufweisen, die mit den entsprechenden Wortkategorien der erkannten Wörter gefüllt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die zu erkennenden Worte in verschiedene Wortkategorien untergliedert in den
Wortdatenbasen vorgehalten werden. Verfahren nach eine der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Objekte oder Teile davon mit entsprechenden Aktionsparametern einer sprachgesteuerten Applikation verknüpft werden.
PCT/DE2003/002135 2002-06-28 2003-06-26 Verfahren zur natürlichen spracherkennung auf basis einer generativen transformations-/phrasenstruktur-grammatik WO2004003888A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US10/519,653 US7548857B2 (en) 2002-06-28 2003-06-26 Method for natural voice recognition based on a generative transformation/phrase structure grammar
EP03761435A EP1518221A1 (de) 2002-06-28 2003-06-26 Verfahren zur naturlichen spracherkennung auf basis einer generativen transformations-/phrasenstruktur-grammatik
JP2004516499A JP4649207B2 (ja) 2002-06-28 2003-06-26 生成変形句構造文法に基づいて自然言語認識をする方法
CA2493429A CA2493429C (en) 2002-06-28 2003-06-26 Method for natural voice recognition based on a generative transformation/phrase structure grammar
AU2003250272A AU2003250272A1 (en) 2002-06-28 2003-06-26 Method for natural voice recognition based on a generative transformation/phrase structure grammar
IL165957A IL165957A (en) 2002-06-28 2004-12-23 Method for natural voice recognition based on a generative transformation/phrase structure grammar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10229207A DE10229207B3 (de) 2002-06-28 2002-06-28 Verfahren zur natürlichen Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik
DE10229207.8 2002-06-28

Publications (2)

Publication Number Publication Date
WO2004003888A1 true WO2004003888A1 (de) 2004-01-08
WO2004003888B1 WO2004003888B1 (de) 2004-03-25

Family

ID=29795990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/002135 WO2004003888A1 (de) 2002-06-28 2003-06-26 Verfahren zur natürlichen spracherkennung auf basis einer generativen transformations-/phrasenstruktur-grammatik

Country Status (10)

Country Link
US (1) US7548857B2 (de)
EP (1) EP1518221A1 (de)
JP (1) JP4649207B2 (de)
CN (1) CN1315109C (de)
AU (1) AU2003250272A1 (de)
CA (1) CA2493429C (de)
DE (1) DE10229207B3 (de)
IL (1) IL165957A (de)
PL (1) PL373306A1 (de)
WO (1) WO2004003888A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2141692A1 (de) 2008-06-26 2010-01-06 Deutsche Telekom AG Automatisierte Sprachgesteuerte Unterstützung eines Benutzers
US8040103B2 (en) 2005-08-19 2011-10-18 City University Of Hong Kong Battery charging apparatus with planar inductive charging platform

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295981B1 (en) * 2004-01-09 2007-11-13 At&T Corp. Method for building a natural language understanding model for a spoken dialog system
KR101195812B1 (ko) * 2010-07-08 2012-11-05 뷰모션 (주) 규칙기반 시스템을 이용한 음성인식 시스템 및 그 방법
US9817813B2 (en) * 2014-01-08 2017-11-14 Genesys Telecommunications Laboratories, Inc. Generalized phrases in automatic speech recognition systems
CN110164449B (zh) * 2019-04-26 2021-09-24 安徽美博智能科技有限公司 语音识别的空调机控制方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182039B1 (en) * 1998-03-24 2001-01-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus using probabilistic language model based on confusable sets for speech recognition

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0242743B1 (de) * 1986-04-25 1993-08-04 Texas Instruments Incorporated Spracherkennungssystem
EP0590173A1 (de) * 1992-09-28 1994-04-06 International Business Machines Corporation Computersystem zur Spracherkennung
JPH0769710B2 (ja) * 1993-03-23 1995-07-31 株式会社エイ・ティ・アール自動翻訳電話研究所 自然言語解析方法
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
WO1998009228A1 (en) * 1996-08-29 1998-03-05 Bcl Computers, Inc. Natural-language speech control
US6163768A (en) * 1998-06-15 2000-12-19 Dragon Systems, Inc. Non-interactive enrollment in speech recognition
JP2950823B1 (ja) * 1998-09-29 1999-09-20 株式会社エイ・ティ・アール音声翻訳通信研究所 音声認識誤り訂正装置
JP3581044B2 (ja) * 1999-05-20 2004-10-27 株式会社東芝 音声対話処理方法、音声対話処理システムおよびプログラムを記憶した記憶媒体
US7120582B1 (en) * 1999-09-07 2006-10-10 Dragon Systems, Inc. Expanding an effective vocabulary of a speech recognition system
US6633846B1 (en) * 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
DE10032255A1 (de) * 2000-07-03 2002-01-31 Siemens Ag Verfahren zur Sprachanalyse
US7058567B2 (en) * 2001-10-10 2006-06-06 Xerox Corporation Natural language parser

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182039B1 (en) * 1998-03-24 2001-01-30 Matsushita Electric Industrial Co., Ltd. Method and apparatus using probabilistic language model based on confusable sets for speech recognition

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BATES M ET AL: "The BBN/HARC spoken language understanding system", ICASSP-93. 1993 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING (CAT. NO.92CH3252-4), PROCEEDINGS OF ICASSP '93, MINNEAPOLIS, MN, USA, 27-30 APRIL 1993, 1993, New York, NY, USA, IEEE, USA, pages 111 - 114 vol.2, XP002258536, ISBN: 0-7803-0946-4 *
See also references of EP1518221A1 *
YE-YI WANG ET AL: "A unified context-free grammar and n-gram model for spoken language processing", 2000 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING. PROCEEDINGS (CAT. NO.00CH37100), PROCEEDINGS OF 2000 INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, ISTANBUL, TURKEY, 5-9 JUNE 2000, 2000, Piscataway, NJ, USA, IEEE, USA, pages 1639 - 1642 vol.3, XP002258537, ISBN: 0-7803-6293-4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040103B2 (en) 2005-08-19 2011-10-18 City University Of Hong Kong Battery charging apparatus with planar inductive charging platform
EP2141692A1 (de) 2008-06-26 2010-01-06 Deutsche Telekom AG Automatisierte Sprachgesteuerte Unterstützung eines Benutzers

Also Published As

Publication number Publication date
IL165957A0 (en) 2006-01-15
CN1666254A (zh) 2005-09-07
WO2004003888B1 (de) 2004-03-25
JP4649207B2 (ja) 2011-03-09
US20060161436A1 (en) 2006-07-20
DE10229207B3 (de) 2004-02-05
CN1315109C (zh) 2007-05-09
CA2493429A1 (en) 2004-01-08
EP1518221A1 (de) 2005-03-30
IL165957A (en) 2010-11-30
CA2493429C (en) 2011-09-13
JP2005539249A (ja) 2005-12-22
PL373306A1 (en) 2005-08-22
AU2003250272A1 (en) 2004-01-19
US7548857B2 (en) 2009-06-16

Similar Documents

Publication Publication Date Title
DE69607601T2 (de) System und verfahren zur spracherkennung mit automatischer erzeugung einer syntax
DE69527229T2 (de) Sprachinterpretator mit einem Kompiler mit vereinheitlicher Grammatik
DE69923191T2 (de) Interaktive anwenderschnittstelle mit spracherkennung und natursprachenverarbeitungssystem
DE602005001125T2 (de) Erlernen der Aussprache neuer Worte unter Verwendung eines Aussprachegraphen
DE69622565T2 (de) Verfahren und vorrichtung zur dynamischen anpassung eines spracherkennungssystems mit grossem wortschatz und zur verwendung von einschränkungen aus einer datenbank in einem spracherkennungssystem mit grossem wortschatz
DE69937176T2 (de) Segmentierungsverfahren zur Erweiterung des aktiven Vokabulars von Spracherkennern
DE69822296T2 (de) Mustererkennungsregistrierung in einem verteilten system
EP1466317B1 (de) Betriebsverfahren eines automatischen spracherkenners zur sprecherunabhängigen spracherkennung von worten aus verschiedenen sprachen und automatischer spracherkenner
DE69829235T2 (de) Registrierung für die Spracherkennung
DE69834553T2 (de) Erweiterbares spracherkennungssystem mit einer audio-rückkopplung
DE60222093T2 (de) Verfahren, modul, vorrichtung und server zur spracherkennung
DE60016722T2 (de) Spracherkennung in zwei Durchgängen mit Restriktion des aktiven Vokabulars
DE69923379T2 (de) Nicht-interaktive Registrierung zur Spracherkennung
DE69914131T2 (de) Positionshandhabung bei der Spracherkennung
EP1611568B1 (de) Dreistufige einzelworterkennung
DE69220825T2 (de) Verfahren und System zur Spracherkennung
DE19847419A1 (de) Verfahren zur automatischen Erkennung einer buchstabierten sprachlichen Äußerung
EP0804788B1 (de) Verfahren zur spracherkennung
DE102006036338A1 (de) Verfahren zum Erzeugen einer kontextbasierten Sprachdialogausgabe in einem Sprachdialogsystem
DE69519229T2 (de) Verfahren und vorrichtung zur anpassung eines spracherkenners an dialektische sprachvarianten
DE60026366T2 (de) Spracherkennung mit einem komplementären sprachmodel für typischen fehlern im sprachdialog
EP1097447A1 (de) Verfahren und vorrichtung zur erkennung vorgegebener schlüsselwörter in gesprochener sprache
DE69331247T2 (de) Spracherkennungssystem
DE10229207B3 (de) Verfahren zur natürlichen Spracherkennung auf Basis einer Generativen Transformations-/Phrasenstruktur-Grammatik
EP2034472B1 (de) Spracherkennungsverfahren und Spracherkennungsvorrichtung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
B Later publication of amended claims

Effective date: 20040112

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2003761435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 165957

Country of ref document: IL

WWE Wipo information: entry into national phase

Ref document number: 2493429

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 20038152843

Country of ref document: CN

Ref document number: 2004516499

Country of ref document: JP

Ref document number: 373306

Country of ref document: PL

WWP Wipo information: published in national office

Ref document number: 2003761435

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006161436

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10519653

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10519653

Country of ref document: US