JP5118280B2 - 自然言語インターフェースコントロールシステム - Google Patents
自然言語インターフェースコントロールシステム Download PDFInfo
- Publication number
- JP5118280B2 JP5118280B2 JP2001532534A JP2001532534A JP5118280B2 JP 5118280 B2 JP5118280 B2 JP 5118280B2 JP 2001532534 A JP2001532534 A JP 2001532534A JP 2001532534 A JP2001532534 A JP 2001532534A JP 5118280 B2 JP5118280 B2 JP 5118280B2
- Authority
- JP
- Japan
- Prior art keywords
- natural language
- language interface
- module
- control system
- interface control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000605 extraction Methods 0.000 claims description 45
- 238000000034 method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 17
- 239000010813 municipal solid waste Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000004807 localization Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 240000002989 Euphorbia neriifolia Species 0.000 description 1
- 241000388434 Trophon Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000012723 sample buffer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
本願は、米国特許法第１１９条第（ｅ）項（３５ＵＳＣ§１１９（ｅ））に基づき、１９９９年１０月１９日に、Konopka、A NATURAL LANGUAGE INTERFACE FOR PERSONAL ELECTRONIC PRODUCTSによって出願された米国仮特許出願第６０／１６０，２８１号の優先権を主張するものであり、この米国仮特許出願を参照して記載されたものである。
【０００２】
発明の属する技術分野
本発明は、音声認識方法に関し、特に自然言語（natural language）の音声を認識する音声認識方法に関する。具体的には、本発明は、アプリケーションをコントロールするために用いられる自然言語音声認識システムに関する。
【０００３】
発明の背景
これまで、多くの人が機器によって生成された人工的な音声と人間によって発生された音声のギャップをなくすことができるようなデバイスを求めてきた。また、音声認識技術によって、機器が人間の音声を認識することが可能になった。例えば、音声認識技術は、文書作成処理、デバイスの制御、メニュー方式のデータ入力等、多くのアプリケーションに用いられている。
【０００４】
ほとんどのユーザは、自然言語の形式で音声入力を行うことを好んでいる。自然言語の音声入力とは、ユーザが実際に機器と会話をしているかのように自然な形で筆記すなわち口頭入力することである。一方、非自然言語の形式での音声入力は、言語構文や言語構造において限界がある。非自然言語の音声入力で機器とコミュニケーションを行うには、ユーザは音声認識エンジンの言語構文及び意味言語構造に従ったコマンドや要求を覚え、それに基づいて話すことが必要である。
【０００５】
自然言語インターフェースシステムの利点は、ユーザがコマンドや要求を話すための適切なフォーマットを覚える必要がなく、単に会話形式で話せばよいので、機器又はシステムとのインターフェースを容易に実現することができることである。一方、自然言語インターフェースシステムの問題点は、人間の自然言語は複雑で変化しやすい「規則」を有するため、実現が困難であるということである。
【０００６】
従来の自然言語処理技術は、自然言語による発声の意味を認識する能力が非効率的で柔軟性に乏しい。このため、ユーザの自然言語入力のコンテキスト（context）すなわち文脈を限定して入力音声の処理を容易にする必要があり、従来の自然言語インターフェースシステムはダイアログ（dialog-based）形式又はプロンプト（prompt-driven）方式である。自然言語インターフェースでは、システムに入力されている音声のコンテキストをコントロールする。例えば、自然言語インターフェースは、自然言語による自動エアライン予約システム等の自動電話システムで実現されている。このようなシステムでは、あるコンテキスト内で話すようにユーザに対してプロンプト（prompt）すなわち入力促進を行う。例えば、自然言語システムは、ユーザにどの都市で飛行機に乗りたいのかを訊ねる。この場合、システムは予測される音声のコンテキストをユーザに示す。このようにして、自然言語インターフェースシステムは、都市名を示す自然言語を探す。次に、システムは、ユーザに何日に飛行機に乗りたいのかを話すようにプロンプトする。ここでも自然言語インターフェースシステムによって回答のコンテキストが示される。問題点は、ユーザが開放型（open-ended）の情報や要求を入力できないということである。システムが受け取った音声データがシステムによりプロンプトされたコンテキスト以外であった場合、システムはその要求を無視するか、回答を理解できないことをユーザに通知するか、あるいは、プロンプトのコンテキスト内に該当するように要求を誤解することもある。
【０００７】
コンテキストが自然言語処理によって限定されず、ユーザの音声によって限定される効率的な自然言語システムが必要とされている。本発明は上記及び他の要求に対処することができる。
【０００８】
発明の概要
本発明は、コンテキストが自然言語インターフェースによって定義されるのではなく、ユーザの指示と複数のデバイスの能力により定義される、複数のデバイスをコントロールする開放型の自然言語インターフェースコントロールシステムを提供することにより、上記及び他のニーズに有利に対処する。
【０００９】
一実施例において、本発明は、第１のマイクロフォンセットと、第１のマイクロフォンセットに接続された特徴抽出モジュールと、特徴抽出モジュールに接続された音声認識モジュールを備え、音声認識モジュールは隠れマルコフモデルを用いる、複数のデバイスを操作する自然言語インターフェースコントロールシステムを特徴とすることができる。また、本システムは、音声認識モジュールに接続された自然言語インターフェースモジュールと、自然言語インターフェースモジュールに接続されたデバイスインターフェースを備え、自然言語インターフェースモジュールは、ユーザからの非プロンプト方式で開放型の自然言語要求に基づいて、デバイスインターフェースに接続された複数のデバイスを操作する。
【００１０】
他の実施例において、本発明は、モデルと文法と語彙目録の第１のセットを有する第１のコンテキストに基づいてアテンションワードをサーチするステップと、アテンションワードを見つけたときに、第２のコンテキストに切り換えて開放型のユーザ要求をサーチするステップを有し、第２のコンテキストはモデルと文法と語彙目録の第２セットを有する音声認識方法を特徴とすることができる。
【００１１】
さらに他の実施例において、本発明は、開放型の自然言語ユーザ要求が受け取られることを示すアテンションワードを受け取るステップと、開放型の自然言語ユーザ要求を受け取るステップと、開放型の自然言語ユーザ要求を、開放型の自然言語要求に対応する最も適当なコマンドと一致させるステップと、コマンドを１以上のデバイスのそれぞれに送信するステップを有する１以上のデバイスの自然言語コントロール方法と、この方法を行う手段を特徴とすることができる。
【００１２】
本発明の上述及び他のアスペクト、特徴、利点については、添付図面に基づいた以下の詳細な具体的説明により明らかにする。
【００１３】
なお、各図面において、同じ参照符号は同じ構成要素を示すものとする。
【００１４】
発明の詳細な説明
以下、本発明を実施するための最良の実施形態を説明するが、本発明はこの実施形態に限定されるものではなく、本発明の一実施例にすぎない。本発明の主旨は請求の範囲を参照して解釈されるべきである。
【００１５】
図１は、本発明に係る自然言語インターフェースコントロールシステムの一実施例の構成を示すシステムレベルのブロック図である。図１に示すように、自然言語インターフェースコントロールシステム１０２（ＮＬＩＣＳ１０２とも称する）は、リモートユニット１０４と、ベースユニット１０６（ベースステーションユニット１０６とも称する）とを備える。リモートユニット１０４は、リニアマイクロフォンセット１０８とスピーカ１１２とを備え、ベースユニット１０６は、平面マイクロフォンセット１１０を備える。自然言語インターフェースコントロールシステム１０２のリモートユニット１０４は、コントロール可能な複数のデバイス１１４に接続されている。さらに、ベースユニット１０６は、外部ネットワーク１１６に接続されている。
【００１６】
自然言語インターフェースコントロールシステム１０２は、動作時において、ユーザと複数のデバイス１１４を接続し、複数のデバイス１１４をコントロールする。自然言語インターフェースコントロールシステム１０２は、ユーザが自然な会話方式で自然言語インターフェースコントロールシステム１０２に話しかけるだけで複数のデバイス１１４のうち１つ以上をコントロールできる自然言語インターフェースを提供する。ＮＬＩＣＳ１０２は、ユーザの自然な言語での要求を解釈し、ユーザの要求を行うように各デバイスに適切なコマンドを送ることができる。例えば、このような自然言語インターフェースコントロールシステム１０２を家庭で適用する場合、デバイス１１４は、テレビ、ステレオ、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオディスク（ＤＶＤ）プレーヤ等である。ユーザは、デバイス１１４のいずれかを操作したいとき、「I wanna watch TV（テレビを見たい）」と言うか、同じような自然言語を話すだけでよい。ＮＬＩＣＳ１０２は、当該技術分野で知られている隠れマルコフモデル（Hidden Markov Models（ＨＭＭｓ））を用いて音声を検出する音声認識モジュールを備えており、自然言語インターフェースを用いて自然言語を解釈し、ユーザ要求が何であるかという確率（probability）を適切に判断する。自然言語インターフェースは、各デバイス１１４毎に記憶された確率的コンテキストフリーグラマー（probabilistic context free grammer）（ＰＣＦＧとも称する）ルールと語彙目録（lexicons）を用いる。このため、自然言語インターフェースモジュールは、ＮＬＩＣＳ１０２がインタフェースで接続されるように設計されている抽象化（abstraction）された各デバイス１１４を有するデバイス抽象化モジュールを備えている。従って、各デバイス１１４は、各デバイス１１４によって理解されるコマンドセットに抽象化される。さらに、各抽象化は、各デバイス特有の個々の文法及び語彙目録と関連付けられている。
【００１７】
ユーザの要求が所望の信頼レベルで決定されると、自然言語インターフェースモジュールは、ユーザの要求を実行するために、適切なデバイスに一連のコマンドを送る。例えば、「I wanna watch TV（テレビを見たい）」というユーザの要求に対して、自然言語インターフェースモジュールは、適切なデバイスにコマンドを送り、テレビとアンプをオンにし、テレビとアンプを適切なモードに設定し、ボリュームを適切なレベルに設定する。また、内部に記憶されている抽象化された各デバイスの状態や設定を更新する。コマンドは、テレビのチャンネルをＮＬＩＣＳ１０２側でわかっている、あるいは、開放型の自然言語要求でユーザが要求した所望のチャンネルに切り換えることもできる。さらに他の例として、ユーザは、「Do you have the album 'Genesis'?（「ジェネシス」というアルバムがありますか）」等、システムが「Ｙｅｓ」と回答するような特定の情報を要求することができる。そして、ユーザは「Play that(それを再生して）」又は「Play the album Genesis（アルバム「ジェネシス」を再生して）」と答えることができる。システムは、この要求に応答し、ＣＤジュークボックスとアンプをオンにし、アンプを適切なモードに設定し、適切なボリュームレベルを設定し、適切なアルバムを選択し、アルバムを再生する。また、システムは、ユーザのプロファイルに加えて抽象化されたデバイスの内部記憶状態や設定を更新する。このコマンド信号は、当該技術分野で知られているように、無線周波数（ＲＦ）リンク又は赤外線（ＩＲ）リンクを介して送信されることが好ましい。
【００１８】
音声認識技術は当該技術分野においてよく知られており、口頭コマンドに基づくデバイスのコントロールが知られている。ユーザが所定の音声コマンドを音声認識コントロールシステムに対して発声する場合、例えば、ユーザがコントロール下のテレビ受像機に「Turn on（オンにして）」と言う場合がある。これに応じてＴＶがオンになる。しかし、このようなアプローチは、自然言語又は会話言語を利用するものではなく、ダイアログコンテキスト（dialog context）を取り出すためにコントロール下のデバイスの抽象化を行うものでもない。正確な所定の音声コマンドが出されなければ、システムはコマンドを出さない。これに対し、本実施例では、口頭の発声について確率的に最も適当な意味を判断し、適切なコマンドを発行するのに用いられる自然言語インターフェースモジュールを実現する。従って、ユーザからの指示は、非常に会話的な形式で出され、ユーザは特定のコマンド信号を覚える必要がない。例えば、ユーザが「hey, let's watch TV（おい、テレビを見よう）」、「I wanna watch TV（テレビを見たい）」、「turn on the TV（テレビをつけて」、「whattya say we watch a little television（ちょっとテレビを見ないかい）」と言うと、システムは自然言語インターフェースモジュールを用いて、ユーザがテレビを見ることを要求していることを確率的に判断して、テレビ及び他の適切なデバイスが理解することができる適切なコマンドセットを発行する。
【００１９】
これによって、都合良くデバイス１１４とユーザとの間の物理的障害が取り除かれる。例えば、ユーザはこのデバイス１１４の操作方法を知らなくてもよい。例えば、ユーザはＤＶＤプレーヤの操作方法を知らなくてもよい。ユーザは単に「I wanna watch DVD（ＤＶＤが見たい）」と言えば、コマンド信号が送られて、ＤＶＤプレーヤの電源をオンにし、プレーヤ内のＤＶＤの再生を開始する。
【００２０】
さらに、自然言語インターフェースモジュールは、ユーザの要求が何であるかという確信がない場合、ユーザの要求を明確にする。例えば、ユーザの要求が「I want to watch a movie（映画が見たい）」であるとする。しかし、自然言語インターフェースモジュールは、ユーザがＤＶＤプレーヤ、ＶＣＲ、テレビのうちのどのデバイスで映画を見たいのかわからない。このような場合、自然言語インターフェースモジュールは、フィードバックモジュール（例えば、テキスト−音声モジュール）及びスピーカ等のフィードバック機構を用いて、要求を明確にするようにユーザに指示する。例えば、自然言語インターフェースモジュールは、そのような要求に対して、「Do you want to watch a movie on the DVD, VCR or television?（ＤＶＤ、ＶＣＲ、テレビのどれで映画を見たいのですか）」と訊ねる。それに対し、ユーザは、例えば「ＤＶＤ」と答える。
【００２１】
このように、このシステムは、「開放型」の要求を受け入れることができる真の「自然言語インターフェース」である。自然言語インターフェースコントロールシステム１０２は、主としてダイアログ方式又はプロンプト方式の「閉塞型（closed-end）型」システムではない。例えば、既知の自然言語システムでは、ある情報を提供するようにユーザに対してプロンプトを行い、その後、システムが得られた情報を識別しようとすることによって、会話をコントロールする。例えば、自然言語を用いたエアライン予約システムでは、システムによる質問によってコンテキストが制限されるようなダイアログによって、ユーザをガイドする。例えば、システムが「To what city would you like to fly?（どの都市まで飛行機を利用しますか）」と訊ねる。すると、ユーザは自然言語で行き先の都市を答え、システムはその回答と都市名を一致させることにより本質的に回答を理解しようとする。そして、システムは「What date would you like to leave?（何日に出発しますか）」と訊ねることによってユーザに対してプロンプトを行い、予測される回答すなわち日付に基づく、送られてくるサーチ及び分析されるテキストストリング（text string）すなわちテキスト文字列のコンテキストを制限する。これに対し、ＮＬＩＣＳ１０２では、システムではなくユーザがダイアログを開始する。ユーザは、ＮＬＩＣＳ１０２からのプロンプトされる前に「I want to hear some music（何か音楽が聞きたい）」と言うだけである。サーチされるコンテキストはシステムのプロンプトによって制限されるのではなく、ＮＬＩＣＳ１０２によってコントロールされるデバイス１１４の能力によって制限される。従って、ユーザは、コントロール下の各デバイスが行うことが可能なタスクのいずれかを行うようにＮＬＩＣＳ１０２に要求する。もし、例えば、ユーザがコントロール下のデバイスでは利用できない機能を行うようにＮＬＩＣＳ１０２に要求する。すなわち、例えば、ユーザが「Make me some breakfast（何か朝食を作って）」と言うと、そのような要求はコントロール下のデバイスにプログラムされた機能にはないので、ＮＬＩＣＳ１０２はそのような要求を実行できない。例えば、ＮＬＩＣＳ１０２は、デバイス１１４の能力の範囲内のフレーズを適切に解釈して、他の要求は単に無視する。また、自然言語インターフェースモジュールのフィードバック部が、その要求は利用できないことをユーザに警告することができる。
【００２２】
本実施例では、自然言語インターフェースコントロールシステム１０２は電源が「常時オン」であるので、ユーザはいつでも要求を言うことができ、システムが対応する。しかし、ＮＬＩＣＳ１０２の注意を引くため、ユーザは「アテンションワード（attention word）」を言ってから要求を言う。これは、ユーザの識別、要求の誤検出の防止、通常会話とＮＬＩＣＳに関係ない背景雑音との区別を行うのに役立つ。あらかじめ、アテンションワードに続いて要求が来ることをＮＬＩＣＳ１０２に知らせる。このため、ＮＬＩＣＳで用いられるマイクロフォンセットは、マイクロフォンセットにより定められた物理的空間内でアテンションワードをサーチするだけでよい。例えば、アテンションワードが「Mona（モナ）」とプログラムされている場合、ユーザの要求は「Mona, I wanna watch TV（モナ、テレビを見たい）」となる。これによって、マイクロフォンセットによる処理及びサーチ量が大幅に低減される。
【００２３】
さらに、個々のユーザは、各自ユーザ特有のアテンションワードを持つことができる。例えば、家庭内で、第１のユーザのアテンションワードは「Mona（モナ）」で、第２のユーザのアテンションワードは「Thor（ソア）」である。ＮＬＩＣＳ１０２は「Mona」というアテンションワードを聞くと、第１のユーザがコマンドを発しているとみなす。例えば、第１のユーザが「Mona, I wanna watch TV（モナ、テレビを見たい）」と言うと、システムはテレビ（及び他の適切なデバイス）をオンにするだけでなく、第１のユーザが選択した好みのチャンネルにテレビを切り換える。なお、この場合、第１のユーザが第２のユーザのアテンションワードを言うこともできるので、真のＩＤを与えるものではない。この機構は、個々のユーザの好み、発音、癖に合わせてＮＬＩＣＳ１０２を調整するための一手段を与えるだけである。
【００２４】
ＮＬＩＣＳ１０２が効率的に機能することを可能にする特徴の一つとしては、ＮＬＩＣＳ１０２に接続された各デバイス１１４が個々の抽象化されたデバイスに抽象化されるので、個々の文法及び語彙目録が各デバイス１１４毎に記憶されることである。例えば、自然言語インターフェースモジュールは、要求がＤＶＤプレーヤに対してであると判断すると、その特定のコンテキスト（すなわち、ＤＶＤプレーヤのコンテキスト）に特有の文法及び語彙目録が用いられ、音声認識モジュール内の入力音声データの処理に役立つ。これによって音声認識モジュールにおけるコンテキスト切り替えが行われる。
【００２５】
幾つかの実施例において、ＮＬＩＣＳ１０２は、ＨＭＭ又は文法用の音声認識モジュールで用いられるモデルを実行時にハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の二次ソースから流して使用することができるように構成される。データを読み込めば前処理なしにすぐに用いることができる。従って、多くのモデルや文法をＮＬＩＣＳ１０２のメモリとは別に記憶することができるので、音声認識モジュールのメモリ使用量が改善される。
【００２６】
他の実施例では、ＮＬＩＣＳ１０２は、２つの個別ユニット、例えばリモートユニット１０４及びベースユニット１０６として実現される。ベースユニット１０６はリモートユニット１０４の「ドッキングステーション（docking station）」として機能し、リモートユニット１０４は、例えば汎用シリアルバス（ＵＳＢ）接続によってベースユニット１０６に接続される。幾つかの実施例において、リモートユニット１０４は、ユーザが用いるボタンを与えることにより、従来から行われているような種々のデバイスの汎用リモートコントロールとして機能する。さらに、ベースユニット１０６は、１ＮＬＩＣＳ１０２に外部ネットワークインターフェースを供給する。例えば、外部ネットワークインターフェースは、ホームローカルエリアネットワーク（ＬＡＮ）、イントラネット、インターネット等の外部ネットワーク１１６にＮＬＩＣＳを接続する。この場合、ＮＬＩＣＳ１０２は、外部ネットワーク１１６内の中央データベースに記憶されている文法、ＨＭＭモデル、抽象化されたデバイス、ＤＣ、ＤＶＤ、テレビその他のプログラミング情報及び／又は語彙目録を新たにダウンロードすることができる。
【００２７】
また、ベースユニット１０６は、リモートユニット１０４の二次キャッシュとして機能する。リモートユニット１０４は、種々のデバイスに対するデバイスインターフェースに加えて、特徴抽出モジュールと、音声認識モジュールと、自然言語インターフェースモジュールとを備えている。このとき、ベースユニット１０６は、リモートユニット１０４で用いられる新たなモデル、文法、語彙目録を記憶するメモリを備えている。
【００２８】
リモートユニット１０４は、音声信号を受信する従来の２つのリニアマイクロフォンセット１０８を備えている。また、ベースユニット１０６は、二次元空間からの音波エネルギーを取り入れる平面マイクロフォンセット１１０を備えている。ＮＬＩＣＳ１０２は両方のマイクロフォンセット１０８、１１０を適宜用いて、２セットのマイクロフォンセット１０８、１１０により所定の三次元の物理的空間で音声を聴取することができるような三次元マイクロフォンセットを実現する。この場合、三次元ボリュームをある空間内に定めることができる。例えば、ＮＬＩＣＳ１０２は、ユーザが各デバイスの操作時に座るリビングルームのソファを含んだ空間のボリュームを聴取するように構成することができる。このため、この所定空間外のソースから出る音声データの位相は減衰させられ、所定空間内からの音声データの位相は合計される。
【００２９】
以上、本システムについて説明したが、自然言語インターフェースコントロールシステムについて以下にさらに詳細に説明する。
【００３０】
図２は、本発明の他の実施例を示すものであり、図１の自然言語インターフェースコントロールシステム１０２のリモートユニット１０４の構成を示すブロック図である。図２に示すように、リモートユニット１０４は、リニアマイクロフォンセット１０８と、特徴抽出モジュール２０２と、音声認識モジュール２０４と、自然言語インターフェースコントロールモジュール２０６と、システム処理コントローラ２０８と、デバイスインターフェース２１０と、ベースユニットインターフェース２１２（汎用シリアルバス（ＵＳＢ）インターフェース２１２とも称する）と、スピーカ２１４とを備える。また、各デバイス１１４も示してある。音声認識モジュール２０４は、音声デコーダ２１６と、Ｎグラムグラマーモジュール２１８と音声モデルモジュール２２０を備えている。自然言語インターフェースコントロールモジュール２０６は、自然言語インターフェースモジュール２２２と、確率的コンテキストフリーグラマーモジュール２２４（ＰＣＦＧモジュール２２４とも称する）と、デバイス抽象化モジュール２２６と、フィードバックモジュール２２８とを備えている。
【００３１】
本システムは、２つの個別要素、すなわちリモートユニット１０４及びベースユニット１０６としてそれぞれ説明されており、また、幾つかの好ましい実施例では、リモートユニット１０４とベースユニット１０６を個別ユニットとして用いているが、ＮＬＩＣＳ１０２の中心となる機能はリモートユニット１０４においてのみ実現することができる。ここでは、まず、リモートユニット１０４について説明した後にベースユニット１０６について説明する。
【００３２】
音声データは、ソースすなわちユーザを特定して干渉雑音と区別する２つの狭カーディオイドマイクロフォンであるリニアマイクロフォンセット１０８を介して、リモートユニット１０４に入力される。このようなリニアマイクロフォンセットは、当該技術分野においてよく知られている。リニアマイクロフォンセット１０８は、各マイクロフォンエレメントからの入力音声データをサンプリングした後、このデータの時間合わせと合計を行い、入力音声信号の信号対雑音比（ＳＮＲ）を高めたものを生成する。
【００３３】
そして、音声データは、特徴抽出モジュール２０２に送られる。特徴抽出モジュール２０２は、入力音声データの関連情報を表すパラメータ又は特徴ベクトルを抽出する。
【００３４】
特徴抽出モジュール２０２は、エッジ（edge）検出、信号の条件付け、特徴の抽出を行う。一実施例によれば、音声のエッジ検出は、第０ケプストラル係数（0ｔｈ Cepstral coefficient）及びゼロ交差統計（zero-crossing statistics）に基づく雑音推定（noise estimation）及びエネルギー検出（energy detection）により行われる。特徴の抽出と信号の条件付けは、メル周波数ケプストラル係数（Mel-frequency Cepstral coefficient（ＭＦＣＣ））、デルタ情報（delta information）、及び加速情報（acceleration information）の抽出を行う。５０％オーバラップした１２．８ｍｓサンプルバッファに基づく３８次元特徴ベクトルである。このような特徴抽出モジュール２０２とその機能については当該技術分野においてよく知られており、当該分野の当業者は種々の方法で特徴抽出モジュールを実現することができる。このように、特徴抽出モジュール２０２の出力は一連の特徴ベクトルである。
【００３５】
次に、一般に音声認識モジュール２０４は、例えば、アウト・オブ・ボキャブラリ（out-of-vocabulary）（語彙にない）イベント、流暢さの欠如、環境雑音等の「非モデル化イベント（unmodeled events）」を除去する能力を有する隠れマルコフモデル（ＨＭＭ）に基づく連続音声認識デバイスとして機能する。音声認識モジュール２０４は、自然言語インターフェースモジュール２２２のコントロール下にあり、自然言語インターフェースコントロールモジュール２０６により決定された音声のコンテキストに基づいて種々の音声モデルと種々の文法を切り換えることができる。音声認識モジュール２０４は、ＮＬＩＣＳ１０２において有利に用いられる幾つかの特徴を有しているが、全く従来のものであっても構わない。さらに、音声認識モジュール２０４におけるメモリ使用量は最適化されているので、必要なメモリは、用いられる音声モデルデータ量を主に反映している。以下、音声認識モジュール２０４及び自然言語インターフェースコントロールモジュール２０６についてさらに詳細に説明する。
【００３６】
特徴抽出モジュール２０２からの特徴ベクトルは、音声認識モジュール２０４に入力される。すなわち、音声認識モジュール（ＳＲＭ）２０４の音声デコーダ２１６に入力される。音声認識モジュール（ＳＲＭ）２０４は、特徴抽出モジュール（ＦＥＭ）２０２からの音声特徴ベクトルを要求し、音声モデルセットを用いて対応する発声音に最も合うものを見つけるとともに、隠れマルコフモデル（ＨＭＭ）に基づくアプローチにより非音声イベント（non-speech events）を排除（reject）することを役割とする。
【００３７】
音声デコーダ２１６によって用いられるモデルは、音声モデルモジュール２２０に記憶されている。これらのモデルは、コンテキスト依存型又はコンテキスト独立型のフォネティックモデル（phonetic models）、サブワードモデル（sub word models）又は全単語モデル（whole word models）、例えば単音（monophones）、二重音（biphones）及び/又は三重音（trophones）からなる。一実施例において、音声デコーダ２１６は、種々のモデルを動的に切り換えることができる。例えば、音声デコーダ２１６は、三重音に基づくモデルと単音に基づくモデルとを切り換えることができる。これは既知のシステムとは異なる点である。既知のシステムでは、固定数の状態と各状態毎に固定数のガウス形（Gaussians）があり、すなわち、各音素（phonemes）のアーキテクチャが固定されている。これに対して、単音、二重音、三重音に基づくモデル間での選択とともに、これらの音素のアーキテクチャ、例えば各種類の音素（単音、二重音、三重音）毎に状態数と各状態毎のガウス形の数を変化させて、空間、速度、精度の最適化を図ることができる。当該技術分野においてよく知られているように、入力された発声音は、例えばビタビアルゴリズム（Viterbi algorithm）を用いてモデルにより分析され、その発声音が所定モデルにどの程度合致するかを表すスコアが割り当てられる。さらに、音声デコーダ２１６によって用いられるモデルは、自然言語インターフェースコントロールモジュール２０６の直接のコントロール下にある。これについては以下にさらに説明する。
【００３８】
また、２つのガーベジモデル化技術（garbage-modeling techniques）が用いられる。音声モデルモジュール２２０にガーベジフィラーモデル（Garbage filler model）が記憶され、流暢さの欠如や「無音」だけでなく背景雑音もモデル化する。これらのモデルは、音声デコーダ２１６により、アウト・オブ・ボキャブラリ（ｏｏｖ）イベント（語彙にないイベント）の排除の際に使用される。また、音声デコーダ２１６は、オンラインガーベジ計算（online garbage valculation）を用いて、アウト・オブ・ボキャブラリ（ｏｏｖ）イベントを排除する。そして、スコアが非常に近ければ、Ｎ個の最適候補を返送する。このようなアウト・オブ・ボキャブラリ（ｏｏｖ）イベントの排除は当該技術分野においてもよく知られている。
【００３９】
幾つかの実施例において、排除（rejection）の技術が当該分野で知られている技術と比較して改善されている。ＨＭＭに基づく音声認識システムの背景となる基本原理は、ある発声音を（音声モデルモジュール２２０からの）多数の音声モデルと比較して、その発声音に最も合致するモデルを見つけることである。これは、音声認識モジュール２０４の出力が最適な一致モデル（例えば単語）に対する参照となることを意味する。しかし、これでは、口頭で話されたことばを表すモデルが存在しない場合に問題が発生する。このような場合、ＨＭＭに基づくシステムでは、発声音とモデルとの最も近い一致を見つけようとし、その結果を報告するのが一般的である。多くの場合、このことは好ましくない。それは、オープンマイクにより拾われた音はいずれも、発生するモデルに対する参照となるからである。これを防ぐには、発声音がイン・ボキャブラリ（in-vocabulary）（語彙にある）ワードに含まれているか否かを判断することが好ましい場合がある。例えば、ビタビスコア（Viterbi score）がしきい値を超える場合、発声音はイン・ボキャブラリワードであるとみなされる。発声音のビタビスコアがしきい値を超えない場合、発声音はアウト・オブ・ボキャブラリであるとみなされる。このようなビタビスコアは、ビタビアルゴリズムを用いて得られる。このアルゴリズムでは、一連の観測を考慮して、ＨＭＭによる単一の最適な状態シーケンスとその対応する確率を計算する。しかし、実験によれば、これはあまり正確な排除方式ではないことがわかっている。代わりに多くのシステムでは、全てのアウト・オブ・ボキャブラリイベント又はフィラー音声（filer sounds）を表すことをタスクとする別のＨＭＭによって発声音の再処理を行うことで、すなわちガーベジモデルを用いることで得られる別のビタビスコアと、元のビタビスコアを比較することに依存している。ガーベジスコア（garbage score）は、以下の式１により発声音中のフレーム数で除算した２つのビタビスコアのそれぞれの対数の差として定義することができる。ガーベジスコアは、発声音がワードモデルに対してより近い一致を示すのか、アウト・オブ・ボキャブラリモデルに対してより近い一致を示すのかを表す。アウト・オブ・ボキャブラリイベントの排除方法については多くの変形例が提案されている。一般に発声音中の無音時間は、高エネルギー音声部分をモデル化すべきモデルについても高いビタビスコアを生じることがわかっている。これは、特徴抽出モジュール２０２において音声信号のエネルギーを表す新たな特徴を与えることにより、ある程度防ぐことができる。しかし、それでもなお不正確なガーベジスコア測定となってしまう。発声音の開始部又は終了部に無音があり、この開始部又は終了部の無音がモデル化されていない場合、ガーベジスコアにひどく影響することがわかっている。特徴抽出モジュール２０２は、開始部及び終了部の無音を音声認識モジュール２０４の音声デコーダ２１６に送るサンプルに含めないように音声検出を行う。しかし、発声音の開始部及び終了部を見つけることは、低エネルギーで始まる又は終わる発声音については複雑な作業となる。これが問題となる音声グループの例として摩擦音がある。摩擦音は、例えばホワイトノイズ（white noise）等の広帯域で低エネルギーの雑音として特徴付けられる。当該技術分野において知られているように、摩擦音とは「ｔｈ」、「ｓｈ」等の音素で表される音である。特徴抽出モジュール２０２は、開始部及び終了部のサンプルを見つけるための最善の努力をすることにより、この問題を解決しようとする。低エネルギー音が音声サンプルに含まれていることを確実にするため、特徴抽出モジュール２０２は、発声音の開始部及び終了部に多数の余分サンプルを含める。発声音の開始部又は終了部に低エネルギー音がない場合、その発声音は隔離して話されたものであるとみなされ、無音が作成されて音声サンプルに付加されるため、音声デコーダ２１６のガーベジスコアは歪曲されてしまう。この問題を解決するため、一実施例において、各モデルの前後に、特徴抽出モジュール２０２から送られた無音フレームを消費する単一状態の無音モデルを配置する。音声デコーダ２１６は最も近い一致の一連のモデルを見つけ、ワードモデルに加えて無音モデルも最適に発声音に合致させる。こうして、発声音の開始及び終了無音部の開始及び終了インデックスを得て、除去することができる。さらに、最適の一致のワードモデルについては、前後の無音モデルなしに、発声音の純粋な音声部分のみを用いて保持及び再処理が行われる。次に、アウト・オブ・ボキャブラリＨＭＭが発声音の同じ部分の処理を行い、ガーベジスコアは次式（１）により計算することができる。
【００４０】
【数１】
【００４１】
ここで、ｗは前後の無音モデルのないイン・ボキャブラリワードの音声モデルについてのビタビスコアの対数であり、発声音には無音が含まれていない。同様に、ｇはアウト・オブ・ボキャブラリＨＭＭモデルについての対応するスコアの対数である。また、ｎは発声音中の総フレーム数であり、ｍは前後の無音モデルにより消費されるフレームの数である。つまり、この排除技術を用いて、システムは発声音の音声部分を正確に取り出すことができるようになる。これにより、イン・ボキャブラリワードの取り出しが向上し、また、摩擦音等の低エネルギー音で始まる又は終わるアウト・オブ・ボキャブラリイベントの排除が、従来の排除方法と比較して向上する。
【００４２】
Ｎグラムグラマーモジュール２１８は、音声デコーダ２１６により使用される文法を有している。これらの文法は語彙目録を構築するための規則であり、語彙目録は単語とその発音入力からなる辞書である。また、音声デコーダ２１６により使用される特定の文法は自然言語インターフェースモジュール２２２によりコントロールされている。本実施例において、Ｎグラムグラマーは、複数の文法の種類又は文法の種類の組み合わせを用いるように構成されている。複雑な言語を使用する場合（例えば、多数のコントロール及び機能を有するコントロール下のデバイス）については、トライグラムグラマーオプション（trigram grammer option）を用いるのが有利である。それより小規模のシステム（例えば、非常に単純なコントロール及び機能を有するデバイス）については、バイグラムグラマーオプション（bigram grammer option）により、メモリと精度のバランスがとれる。バイグラム及びトライグラムグラマーのメモリ効率の良い表現を得るには、可能な語彙目録入力の組み合わせを、特定の語彙目録入力ラベル又はワードグループによって表現すればよい。語彙目録入力の後にいずれの語彙目録入力が続くことができるようにする場合、エルゴディックグラマーオプション（ergodic grammar option）を用いることができる。
【００４３】
なお、一般的に、信号受信可能範囲が小さいデバイスにおいてＮグラムグラマーを使用することは直観的には考えにくい。信号受信可能範囲が小さいということは、システムがリモートユニット１０４に接続されたコントロール下のデバイス１１４に関する音声だけを認識すればよく、残りの音声についてはアウト・オブ・ボキャブラリとして分類してもよいということである。しかし、Ｎグラムグラマーモジュール２１８は、信号受信可能範囲が小さい音声認識モジュール２０４の場合にも複数の文法及び種類の使用を可能にする。
【００４４】
主として音声デコーダ２１６で排除方法に使用される他の文法として、ワードリストグラマー（word list grammer）がある。ワードリストグラマーは、固定的な一連の単語と発声音サブセット（subset）についてのビタビスコアを再計算するのに用いられる。
【００４５】
システムは、「コンテキスト切り換え」、あるいは、自然言語インターフェースモジュールのコントロール下で文法の種類と文法規則セットを直ちに切り換えることを可能にする方法で、種々の文法を組み込んでいる。人間が話す内容はコンテキストにより大きく影響されるので、これを可能にすることは重要である。例えば、あるフレーズ（例えば上述のアテンションワード）のみがダイアログを開始すると想定され、他のフレーズは質問（例えば不明瞭な要求を明確にする自然言語インターフェース）に続いて発生するだけである。特に、話し手が様々な聴衆を相手にしているときや、家庭用電子機器の場合、すなわちテレビ、ＤＶＤプレーヤ、ステレオ、ＶＣＲ等の種々の製品の場合、このことは顕著になる。音声認識精度を高めつつ必要な処理を少なく抑える試みとして、システムは、ある文法規則のみが当てはまるコンテキストの定義方法を与える。コンテキストがわかっている場合、自然言語インターフェースモジュール２２２は、予想されるフレーズのみを聴取するように音声認識モジュール２０４に指令を出すことができる。例えば、自然言語インターフェースモジュール２２２は、ユーザがＤＶＤプレーヤを操作しようとしていると判断すると、音声認識モジュール２０４はＤＶＤプレーヤに対応する文法の種類と文法を用いるように指令を受ける。従って、音声デコーダ２１６は、Ｎグラムグラマーモジュール２１８から適切な文法を取り出す。また、各規則又は単語についてどの規則又は単語が使用可能又は使用不可能かを示すのに、各文法規則又は語彙目録入力毎のフラグを用いる高精度レベルによって、コンテキスト切り換えを行うこともできる。さらに、システム設定及び文法モードによっては、最適推測語をサーチする際に、語彙目録入力セットのみを使用することが好ましい場合もある。幾つかの語彙目録を定めて、関係のある語彙目録のみを参照すればよい。
【００４６】
なお、音声認識モジュール２０４は、入力された音声のコンテキストを考慮して、使用する文法を動的に変更することができ、語彙目録は選択された文法に依存するので、語彙目録は動的に変更される。
【００４７】
システムのサイズ、すなわち、音声デコーダ２１６においてどの程度のサーチが必要かによって異なるが、処理時間を短縮することができる。中規模から大規模の自然言語インターフェースコントロールシステム１０２（コントロール下のデバイス１１４を多数有している）の場合、ビームサーチアルゴリズム（Beam Search algorithm）を効率的に実行することにより処理時間が大幅に短縮される。このビームサーチアルゴリズムは、ビタビサーチアルゴリズム（Viterbi Search algorithm）において推測語の数を最小限に保持するものである。この場合、離散的時間ステップ毎にすべてのアクティブな推測語を比較し、最適推測語についてのビタビスコアを計算する。そして、最大推測語スコアから所定の排除しきい値関数を引いた値に満たないスコアの推測語をすべて廃棄することにより、プルーニング（pruning）すなわち刈り込みを行うことができる。これによって、プルーニングされたため、対応するモデル状態のスコアがしきい値を超えるまで以下の時間ステップで考慮されない推測語に基づくサーチは制限される。
【００４８】
大規模の音声認識システムに関連する他の問題点として、音声モデルを記憶するのに必要なメモリ量がある。幸い、ＮＬＩＣＳ１０２で使用するサブワードユニット（sub word units）（例えば音素）の数は一般的に固定されているので、語彙目録入力数が大きくなるについて、より多くの音声モデルが同じサブワードモデルを参照することになる。語彙目録入力に同じモデル要素、例えばサブワードモデル、モデル状態及び／又はガウス形を参照させることにより、必要なメモリを最小限に維持することができる。それと引き換えに必要な計算リソースがやや増加する。この間接的モデル参照を用いると、音声をいずれの抽象化レベル（例えば、フレーズ、単語、サブワード）においても表すことができる。このような抽象化を組み合わせて、語彙目録に従いより多くの抽象化ユニットを形成することができ、それを文法の定義において参照することができる。
【００４９】
トークン・パッシング（Token Passing）は、ＨＭＭによる最適単語推測を探索するためのよく知られたアプローチ方法である。当該技術分野において知られているように、接続された単語認識システムにおいて、発声音の前フレームの処理が完了すれば、一番高いビタビスコアを有する状態シーケンスについての最後のモデル状態を容易に見つけることができる。しかし、これで必ずしも最適の状態（又は単語）シーケンスが得られるわけではない。最適状態シーケンスを見つけるには、「バックトレーシング（back tracing）」を行う必要がある。これを行う従来の方法は、各状態が、各フレーム毎の前の最適状態に戻したポインタを持つようにする。バックトレーシングは、一番高いビタビスコアを持つ状態シーケンスの最後のモデル状態からポインタを戻していくことにより行うことができる。これは、システムがＴ個の離散的時間ステップにわたってＮ個の状態を用いる場合、必要なバックポインタ（back pointers）の数は通常ＮＴであることを意味する。これを行うとすぐに数が大きくなり、必要なメモリが大きくなる。このようなバックポインタの記憶に関する必要なメモリを最小化するための種々の方法が提案されているが、そのうちの幾つかは、状態毎にメモリを割り当てるのではなく、種々の状態に「トークン（tokens）」を巡回させるという考えに基づくものである。
【００５０】
本発明の一実施例によれば、各状態に１つのトークンポインタ（token pointer）を記憶するのではなく、音声デコーダ２１６が２列Ｓ１及びＳ２を用いて各状態のトークンポインタを保持する。列Ｓ１は各状態と前フレームのトークンポインタを保持し、列Ｓ２は各状態と現フレームのトークンポインタを保持する。各状態ｉが前の最適状態ｊを見つけようと前に戻ると、２つの結果が考えられる。前の最適状態ｊがｉと同じ音声モデルの要素ならば、Ｓ１における状態ｊのトークンポインタはＳ２における位置ｉにコピーされる。そうでなければ、新たなトークンが作成され、Ｓ２における位置ｉに記憶される。新たなトークンはＳ１のトークンｉと同じ内容を得て、トークン履歴（token history）において、モデルｍ，ｉεｍに対する参照が付加される。現フレームについてすべての状態が処理されると、構造Ｓ１及びＳ２に対するポインタはスワップ（swap）すなわち交換され、次のフレームについて処理が繰り返される。従って、トークン・パッシング技術により、ＨＭＭに基づく音声認識システムのよく知られた問題点を非常に高いメモリ効率で解決することができる。すなわち、すべての音声データが処理された後に最適単語シーケンス推測を見つけることができるバックポインタを記憶することである。
【００５１】
幾つかの実施例において、例えばＮグラムグラマーモジュール２１８により、リモートユニットのメモリに記憶された語彙目録について、キャッシュ方式（caching scheme）を用いる。上述のように、語彙目録とは単語とその発音入力からなる辞書である。これらの発音は、フォネティックモデル又は全単語モデルのいずれかを参照するフォネティックスペリング（phonetic spellings）として実現することができる。ある所定の単語入力が複数の代替的な発音入力を有してもよいが、これらの発音入力のほとんどは、いずれの話し手によってもほとんど使用されない。この冗長性は各音声部分の抽象化において繰り返され、所定の話し手が使用しない入力が増える。つまり、語彙目録入力を使用頻度によって分類すれば、上位ｎの語彙目録入力から発声音中の単語を見つけることができる可能性が大きい。この場合、キャッシュを使用頻度により分けた異なるレベルに分割する。例えば、頻繁に使用される語彙目録入力はキャッシュの上位レベルに記憶される。キャッシュ方式は、例えば９０％の時間にキャッシュの上位１０％が使用されるように工夫してもよい。従って、一実施例によれば、マルチパスサーチ（multi-pass）を行い、最も適当な入力を第１のパスにて検討する。このパスからのガーベジスコアが、実際に口頭で話されたことばが最も適当なスペリングのセットに含まれていたと考えるのに十分高い場合、音声デコーダ２１６はその結果を呼び出し機能に報告する。このスコアが低い場合、システムはより広い範囲のスペリングの検討に戻る。第１のパスからのスコアは高いが、最も適当なスペリングのセット内に、発声音の要素についての正しいスペリングが含まれていたか否かを決定できるほどスコアが高くない場合、これも呼び出し機能に報告され、呼び出し機能は、明確化するためにユーザに対してプロンプトを行う。所定の音声部分についての語彙目録スペリングが使用されず、その代替スペリングの幾つかが頻繁に使用される場合、そのスペリングは「ゴミ箱（trash can）」に入れられ、そのユーザに関してそれ以上検討されることはない。この場合、ほとんど使用されないスペリングは検討されず、類似音の発声音をそれらのスペリングのいずれかと混同してしまう可能性は低減されるので、認識精度が向上する。さらに、キャッシュ方式により、システムは少量のデータを検討すればよいので、処理速度が大幅に改善する。
【００５２】
次に、自然言語インターフェースコントロールモジュール２０６について詳細に説明する。自然言語インターフェースコントロールモジュール２０６は、自然言語インターフェースモジュール２２２と、確率的コンテキストフリーグラマー（ＰＣＦＧ）モジュール２２４と、デバイス抽象化モジュール２２６と、フィードバックモジュール２２８を備えている。一般に、自然言語インターフェースモジュール（ＮＬＩＭ）２２２は、コントロール下の各デバイス１１４のコンテキストと、確率的コンテキストフリーグラマー（ＰＣＦＧ）ルール及び抽象化されたデバイスからなるセットにより定義されるユーザの使用履歴の範囲内でユーザの要求を解釈することを役割とする。この場合、自然言語インターフェースモジュール２２２は、音声認識モジュール２０４とマイクロフォンセット１０８のサーチについてコントロールを行う。これは、音声認識モジュール２０４の文法と、検討中の語彙目録をコントロールすることにより行う。また、自然言語インターフェースモジュール２２２は、抽象化されたデバイスの現在の状態、現在の言語参照に加えて、システムパラメータもコントロールする。
【００５３】
上述のように、ユーザがアテンションワードを言うことによりＮＬＩＣＳとのダイアログを開始する。アテンションワードの特定する好ましい方法について、図３を参照して説明する。ユーザはアテンションワードの後に、リモートユニット１０４に接続された各デバイスの能力によってのみ制限される開放型の要求を出す。アテンションワードは、音声デコーダがアテンションワードに基づく適切な文法及びモデルを使用するように指令を与えられるように、ユーザのアイデンティティを自然言語インターフェースモジュール２２２に注意を促す。従って、システムは予めユーザの話すパターン（例えば、発音、構造、癖等）に合わせて設定することができる。
【００５４】
音声認識モジュール２０４は、会話形式の自然言語でなされたユーザの要求を文書化する。発声音は、確率により順序付けられた代替的な推測語列からなるセットとして文書化される。例えば、音声デコーダ２１６はＮ個の最適テキストストリングを自然言語インターフェースモジュール２２２に送り、分析が行われて、その発声音のもっともらしい意味が判断される。
【００５５】
そして、自然言語インターフェースモジュール２２２は、ＰＣＦＧモジュール２２４からの確率的コンテキストフリーグラマー（ＰＣＦＧ）ルールを適用することにより、入力されてくるストリングの構文解析を行い、そのストリングの確率、ユーザ履歴、現システムコンテキストを考慮して最も適当なストリングを見つける。これらのＰＣＦＧルールは、（アテンションワードに基づく）ユーザのコンテキストと、操作されるデバイス（既に決定している場合）のコンテキストを反映する。ＰＣＦＧは最初、使用ゆう度だけでなく使用頻度により順序付けられる。時間が経つと、個々のユーザの癖を追跡して、このデータを反映するようにルールの確率推定を改善する。このデータは、他のシステムからのデータと共用したり組み合わせることができ、共同コーパス（collaborative corpus）（言語資料）を介して再分配することができる。
【００５６】
さらに、ＮＬＩＣＳは２つの文法セットを備えている。１つは音声認識モジュール２０４のＮグラムグラマーであり、もう１つは自然言語インターフェースコントロールモジュール２０６の確率的コンテキストフリーグラマーモジュール２２４である。従来のシステムでは１つの文法セットを使用するだけで、個人用電子製品の分野におけるマンマシンダイアログから収集したデータを用いて推測されたＮグラムグラマーとＰＣＦＧルールの組み合わせを使用しない。
【００５７】
入力されてくるテキストストリングに対してＰＣＦＧルールを用いることで、自然言語インターフェースモジュール２２２は以下の３つの結論のいずれかに達する。すなわち、（１）ユーザの要求を明確に理解して対応することができる、（２）ユーザの要求を明確に理解するが対応できず、この場合、ユーザにその結論を通知する、（３）要求の不明瞭さを解決できず、この場合、ユーザに明確化を要求する。
【００５８】
例えば、（１）の場合、自然言語インターフェースモジュール２２２は、十分に高い信頼レベルで、入力されてくるストリングを「Turn on the television（テレビをオンにする）」要求として解釈する。この場合、デバイス抽象化モジュール２２６内の適切なコマンドが取り出され、コントロール下のデバイス１１４（すなわちテレビ）に送信される。デバイス抽象化モジュール２２６は、テレビ自体が理解可能なフォーマットでユーザの適切な要求を実行するためのコマンドをすべて有している。通常、コマンドはデバイスインターフェース２１０、例えばＩＲ送信器を介してテレビに送信される。これに応じてテレビの電源がオンになる。２番目の場合は、ＮＬＩＣＳが行うことができないタスクをユーザがＮＬＩＣＳに要求する場合である。例えば、ユーザがテレビに爆発するように要求する場合である。
【００５９】
フィードバックモジュール（例えば、テキスト−音声）２２８は、スピーカを介して可聴メッセージを再生して、要求を行うことができない旨をユーザに知らせるように指令を受ける。なお、フィードバックモジュール２２８は、スピーカ２１４を介して音声信号を再生する代わりに、画面表示で通知を表示するだけでもよい。
【００６０】
３番目の場合、生じた不明瞭さの種類に従って不明瞭さを解決する。このように、自然言語インターフェースモジュール２２２は不明瞭な要求を明確化する。不明瞭さが低信頼性が原因で生じる場合、自然言語インターフェースモジュール２２２はその結論を肯定するようにユーザに要求する。例えば、スピーカ２１４が「Did you mean play the CD?（ＣＤ再生のことですか）」と伝える。あるいは、自然言語インターフェースモジュール２２２は、要求を繰り返すようにユーザに要求する。不明瞭さが選択肢のセットが原因で生じる場合、自然言語インターフェースモジュール２２２は、これらの選択肢、例えば「Did you want to watch a movie on the VCR or the DVD?（ＶＣＲで映画を見たかったのですか、それともＤＶＤですか）」という選択肢をユーザに提示する。不明瞭さが現コンテキストが原因で生じる場合、ユーザはその旨を知らされる。例えば、ユーザは、既に再生しているときにＤＶＤプレーヤの再生を要求する場合である。
【００６１】
最初の２つの不明瞭な場合では、システムは、選択肢のセットを考慮した好みに加えて、決定がなされたときの信頼性を反映するようにユーザプロファイルを調整する。幾つかの実施例において、時間の経過とともに、これらの統計を用いてＰＣＦＧルール及び適切な語彙目録内の入力の順序付けをしなおす。その結果、最も適当な入力が常に早期にチェックされ、これらの適当な入力が高信頼性をもたらすので、より高速でより精度の高いシステムが得られる。
【００６２】
なお、自然言語インターフェースモジュール２２２が要求を明確化するようにフィードバックモジュール２２８に指令を与える場合、例えば、スピーカ２１４が「Did you mean play the CD?（ＣＤ再生のことですか）」と伝える場合、自然言語インターフェースモジュール２２２は、マイクロフォンセット１０８で受信するであろうと予測していることに基づいて、コンテキスト及び文法規則を切り換える。例えば、システムは、「ｙｅｓ」又は「ｎｏ」あるいはその変形を受信するであろうと予測しているコンテキストに切り換える。ユーザが「ｙｅｓ」と答えると、自然言語インターフェースモジュール２２２はコンテキストを元の状態に切り換える。
【００６３】
この場合、コンテキストが変化すると、自然言語インターフェースモジュール２２２は文法を切り換えるように音声認識モジュール２０４に指令を与える。文法は使用される語彙目録をコントロールするので、これにより間接的に語彙目録が変更される。
【００６４】
また、自然言語インターフェースコントロールモジュール２０６は、デバイス抽象化モジュール２２６を備えている。デバイス抽象化モジュール２２６は、各デバイス１１４毎に抽象化を記憶する。この場合、各デバイス１１４についてのコマンドと、各デバイス１１４が操作できるオブジェクトがここに記憶される。また、デバイス抽象化モジュール２２６は、デバイスが取ることができる状態とデバイスが行うことができる動作とに、これらのコントロールを関連付ける。デバイス抽象化モジュール２２６の内容は、リモートユニット１０４に接続された種々のデバイスによって異なる。また、デバイス抽象化モジュール２２６は、別のデバイスを動作するために他のデバイスに対するコマンドを有している。例えば、ユーザがＤＶＤの再生を要求すると、ＤＶＤプレーヤの電源をオンにしてＤＶＤを再生させる指令が出される。さらに、テレビをまだオンになっていない場合、コマンド信号が送られてテレビをオンにする。
【００６５】
デバイス抽象化モジュール２２６に記憶されているコマンドは、デバイスインターフェース２１０を介して、コントロール下の各デバイス１１４に送信される。幾つかの実施例において、デバイスインターフェース２１０はＩＲ又はＲＦインターフェースである。
【００６６】
ＮＬＩＣＳは、このようなＩＲリンクを介してコントロール可能なデバイスであればいずれもコントロールするように構成することができる。デバイス抽象化が特定デバイスを操作するためのコマンドを記憶している限り、そのデバイスは自然言語インターフェースによりコントロールされていることを理解しない。デバイスは単にそのデバイスのリモートコントロール又は汎用リモートコントロールが信号を送ったのだと考える。
【００６７】
システム処理コントローラ２０８は、ＮＬＩＣＳ内の種々のモジュール用のコントローラ及びプロセッサとして動作する。その機能については当該技術分野においてよく知られている。さらに、システム処理コントローラ２０８にはインターフェース２１２が接続されている。これによりベースユニット１０６又はコンピュータへの接続が可能になる。インターフェース２１２は、当該技術分野において知られているように、有線又は無線のいずれの種類のリンクであってもよい。
【００６８】
なお、特徴抽出モジュール２０２、音声認識モジュール２０４、自然言語インターフェースコントロールモジュール２０６等、システムの種々の構成要素は、例えば特定用途向けＩＣ（ＡＳＩＣ）又はデジタル信号プロセッサ（ＤＳＰ）を用いて、ソフトウェア又はファームウェアにより実現してもよい。
【００６９】
次に図３を参照して、本発明のさらに他の実施例に係る、図１の自然言語インターフェースコントロールシステムのベースユニット又はベースステーションの機能ブロック図を示す。図３には、ベースユニット１０６（ベースステーション１０６とも称する）と、リニアマイクロフォンセット１０８を有するリモートユニット１０４が図示されている。ベースユニット１０６は、平面マイクロフォンセット１１０と、周波数局在化モジュール３０２と、タイムサーチモジュール３０４と、リモートインターフェース３０６（インターフェース３０６とも称する）と、外部ネットワークインターフェース３０８と、二次キャッシュ３１０を備えている。リニアマイクロフォンセット１０８と平面マイクロフォンセット１１０を組み合わせて、三次元マイクロフォンセット３１２（３Ｄマイクロフォンセット３１２とも称する）を形成する。また、図３には外部ネットワークインターフェース３０８に接続された外部ネットワーク１１６も図示されている。
【００７０】
動作時において、ベースユニット１０６は、リモートユニット１０４（汎用リモートコントロールと同様）に対するドッキングステーションとされる。ベースユニット１０６は、ＮＬＩＣＳが直接又はホスティング（hosting）されたインターネットポータルを介して、家庭用ＬＡＮ又はインターネット等の外部ネットワーク１１６に対してインターフェースを行うことができるような外部ネットワークインターフェース３０８を備えている。この場合、新たな文法、音声モデル、プログラミング情報、ＩＲコード、抽象化されたデバイス等をベースユニット１０６にダウンロードして、例えば二次キャッシュ３１０に記憶することができる。
【００７１】
さらに、ＮＬＩＣＳ１０２は、その文法、モデル、語彙目録を外部ネットワーク上のリモートサーバに送信して記憶する。このリモートストレージは、他の同様のデバイスにより取り出すことができる情報の保存部となる。この場合、語彙目録が常に最新の発音及び用法により更新されるので、システムが老朽化することはない。このため、複数の自然言語インターフェースコントロールシステムは個々にリモートサーバ内の外部データベースに寄与するので、共同語彙目録及び／又は共同コーパスを構築することが可能になる。
【００７２】
さらに、ＮＬＩＣＳ１０２は、リモートユニット１０４のデバイス抽象化モジュールに対するコマンド信号をダウンロードすることができる。例えば、ユーザが、ＮＬＩＣＳとは異なる製造者により製造されたＩＲリモートコントロールを有する旧式のＶＣＲを操作したい場合を考える。ベースユニット１０６はいずれの数のデバイスについても記憶されたコマンドをダウンロードするだけである。そして、これらのコマンドはデバイス抽象化モジュールに記憶される。また、ＮＬＩＣＳは高信頼性の発声音に関連する特徴ベクトルデータとラベルを共同コーパスに送ることができる。このデータは他のデータと組み合わせて、その後再分配される改良モデルを調整するのに用いることができる。このアプローチは、特徴ベクトルデータとそのラベルを送ることにより共同コーパスに新語を組み込むのに使用することができる。送られた特徴ベクトルデータとラベルは他のデータを組み合わされて、フォワード・バックワードアルゴリズム（forward-backward algorithm）を用いて音声表記的に文書化される。そして、この入力は語彙目録に追加され、再分配することができる。
【００７３】
ベースユニット１０６は平面マイクロフォンセット１１０を備えている。平面マイクロフォンセット１１０とリモートユニット１０４のリニアマイクロフォンセット１０８を組み合わせて、三次元マイクロフォンセット３１２を形成する。両セットとも従来のポイントソース特定マイクロフォンからなる。当該技術分野において知られているように、三次元セットは、まず平面セット（例えば平面マイクロフォンセット１１０）を構成し、その後、平面セットの平面に１つ又は２つのマイクロフォンエレメントを追加することにより構成される。この場合、リニアマイクロフォンセット１０８は追加的な１つ又は２つのエレメントとなる。これによりＮＬＩＣＳ１０２は三次元サーチボリュームを定めることが可能になる。デバイスは、そのボリュームの範囲内の音声エネルギーをサーチするだけである。従って、マイクロフォンセット１０８、１１０は、サーチボリュームの範囲内にポイントを局在化する。サーチボリュームの範囲外の音声エネルギー、背景雑音等は減衰させられ、サーチボリュームの範囲内の音声エネルギーは合計される。実際には、ユーザは種々のデバイスをコントロールするために特定ボリューム範囲内に居る必要がある。例えば、ユーザのリビングルームのソファ付近のボリュームとなるようにサーチボリュームを構成する。
【００７４】
リニアマイクロフォンセット１０８と平面マイクロフォンセット１１０はいずれも、自然言語インターフェースモジュール２２２によりコントロールされている。周波数局在化モジュール３０２とタイムサーチモジュール３０４は、３Ｄマイクロフォンセット１１０に接続されている。タイムサーチモジュール３０４は、リモートインターフェース３０６を介してリモートユニット１０４内の自然言語インターフェースモジュール２２２からのコントロール信号を受信する。タイムサーチモジュール３０４はマイクロフォンにより与えられる時間合わせされたバッファをまとめる。これにより、タイムサーチモジュール３０４は推定ヒットの位置を特定し、ヒットの方向に３Ｄマイクロフォンセット１１０を向けさせるのに役立つ。タイムサーチモジュール３０４の機能については当該技術分野ではよく知られている。
【００７５】
周波数局在化モジュール３０２も自然言語インターフェースモジュール２２２のコントロール下にある。周波数局在化モジュール３０２は、当該技術分野で知られているような局在化アルゴリズム（localization algorithm）を実行する。局在化アルゴリズムは、所定ボリューム範囲内の音声エネルギーを局在化するのに用いられる。この場合、ボリューム範囲内の局在化ポイント以外から発する音声エネルギーは減衰し（位相外れ（out of phase）となり）、局在化ポイント内からの音声エネルギーは合計される（位相が合って（in phase）いる）。従って、局在化では周波数領域の構成的干渉と破壊的干渉を利用している。動作時において、サーチモジュールはアテンションワードの粗いサーチを行うのに使用される。音声エネルギーがしきい値を超える場合、局在化モジュールにより精密なサーチが行われる。精密なサーチにパスすると、その単語は認識及びＮＬＩモジュールに送られる。この粗いサーチから精密なサーチまでは、局在化に伴う処理を低減するのに非常に役立つ。例えば、このような局在化では、エネルギーを周波数領域に変換したり戻したりしなければならないので、非常に多くの計算が必要となる。従って、粗いサーチで多数の推定ヒットを排除することにより、処理が低減される。ＳＲモジュールが推定ヒットをアテンションワードであると識別すると、この推定ヒットは自然言語インターフェースモジュール２２２に送られて分析が行われ、どのアテンションワードが言われたのかが判断される。なお、自然言語インターフェースモジュールのコンテキストは、最初はアテンションワードのコンテキストである。すなわち、システムはシステムを作動させるためのアテンションワードをサーチしている。アテンションワードが見つかると、ＮＬＩＣＳのコンテキストは要求コンテキストに変更させられ、ＮＬＩＣＳに接続されたデバイスにより制限される要求を探索するようになる。
【００７６】
ベースユニット１０６の二次キャッシュは、リモートユニット１０４で使用する二次的モデル、文法及び／又は語彙目録を記憶するのに用いられる。これにより、実行時に二次記憶デバイス又は二次キャッシュ（例えば、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ）から（ストリーム（stream））音声モデル及び文法を読み込むように設計された音声認識モジュールを補完する。データは読み込まれると、いずれの前処理も行わずに直ちに使用することができる。このことはコンテキスト切り換えと効果的に結びつく。文法コンテキスト切り換え特徴に伴い、必要な処理が少なくなるとともに音声認識精度が高くなるが、これに加えて、頻繁に使用されない文法等については、リモートユニット１０４内のメモリを占有せずに、二次キャッシュ３１０に記憶して必要なときに読み出せばよいので、必要なメモリが大幅に低減される。さらに、音声認識精度を高める音声データをより多く使用することができ、また、二次記憶デバイスが種々の方言やなまりについての基本モデルを大量に保持することができるので、話し手に適応するための種々のアプローチを効率的に実施することができる。また、二次キャッシュは外部ネットワーク１１６からダウンロードされるモデル、文法等の記憶デバイスであってもよい。
【００７７】
次に図４を参照して、図１〜図３の自然言語インターフェースコントロールシステムの自然言語インターフェースアルゴリズム（natural language interface algorithm）で行われる各ステップのフローチャートを示す。まず、音声認識モジュール２０４と自然言語インターフェースモジュール２２２が、アテンションワードを探索するコンテキストに初期設定される（ステップ４０２）。これによりＮＬＩＣＳは非プロンプト式のユーザ要求を受け付けることができるようになるが、まず、ユーザ要求が入力されてくることをシステムに通知しなければならない。アテンションワードにより、この作業が行われる。この場合、隠れマルコフモデルの文法及びモデルを用いて、アテンションワードの存在を具体的に識別する。次に、リモートユニットがマイクロフォンセットにて音声データを受信する（ステップ４０４）。音声データは、５０％のオーバラップを用いて１２．８ｍｓｅｃのフレームに分離される。音声データから３８次元特徴ベクトルを取り出す。これらの特徴は、メル周波数ケプストラル係数１〜１２と、ＭＦＣ係数０〜１２の一次及び二次導関数からなる。このように、音声データから特徴ベクトルを作成する（ステップ４０６）。これは特徴抽出モジュール２０２にて行われる。
【００７８】
次に、音声認識モジュール２０４が、入力されてくる特徴ベクトル（自然言語インターフェースにより特定されたもの）に対して音声隠れマルコフモデル（ＨＭＭ）とＮグラムグラマーを適用し、イン・ボキャブラリ（ＩＶ）ビタビ（尤度（likelihood））スコアを取り出す（ステップ４０８）。そして、ＯＯＶイベントのモデル、例えば単音モデルのエルゴードバンク（ergodic bank）を用いて、特徴データの再処理を行い、アウト・オブ・ボキャブラリ（ＯＯＶ）ビタビスコアを取り出す（ステップ４１０）。ＩＶ及びＯＯＶスコアからガーベジスコアを計算する。例えば、ガーベジスコアは［Ｌｎ（ＩＶスコア）−Ｌｎ（ＯＯＶスコア）］／フレーム数に等しい（ステップ４１１）。スコアが低い場合、ガーベジ発声音であることがわかる。Ｎ個の最適文書化テキストストリングとそれに対応するガーベジスコアが、自然言語インターフェースモジュール２２２に送られる（ステップ４１２）。自然言語インターフェースモジュール２２２は、アテンション発声音についてのデバイスコンテキスト情報に加えて確率的コンテキストフリーグラマー（ＰＣＦＧ）ルールセットを用いて、入力ストリングの構文解析を行う（ステップ４１４）。上述のように、自然言語インターフェースモジュール２２２はアテンション方式を必要とする。例えば、ユーザ独自のアテンションワード（Mona）、あるいは許容可能な文法規則と関連した話し手のＩＤを受信する必要がある。
【００７９】
ユーザがシステムの注意を引くと、すなわち、自然言語インターフェースモジュール２２２がアテンションワードを検出すると（ステップ４１６）、自然言語インターフェースモジュールはユーザのアイデンティティを知る。これはユーザに応じてシステムを構成することにより行われる。適切なシステムパラメータを変更するとともに、音声認識モジュール２０４に対して、コマンド及び要求を受け付けるのに適当であり、かつユーザに応じた文法に切り換えるように指示することにより行う。音声認識モジュール２０４は、文法規則及び個々のユーザに応じて語彙目録を変更する。このように、音声認識モジュール２０４と自然言語インターフェースモジュール２２２は、ユーザ要求を探索するようにコンテキストを変更する（ステップ４１８）。また、自然言語インターフェースモジュールは、マイクロフォンセットに対して、環境雑音をうまく排除するため焦点を狭めるように指示する。さらに、高いボリュームで再生を行っているＮＬＩＣＳコントロール下のデバイス（ＴＶ、ＣＤ等）があれば、自然言語インターフェースモジュールはアンプにボリュームを下げるように指示する。そして、自然言語インターフェースモジュール２２２はタイマを開始して、タイムアウト時間が終了するまでユーザの要求を待機する。システムがタイムアウトすると、自然言語インターフェースモジュール２２２は、アテンションワードをサーチするのに適当な音声認識モジュール規則及び語彙目録をリセットすることにより、システムの再構成を行う。また、それらが調整されると、マイクロフォンセットとアンプボリュームがリセットされる。これらのリセットステップはステップ４０２で行われたのと同様である。
【００８０】
ユーザ要求探索のコンテキストに切り換えた（ステップ４１８）後は、このパスでは音声がコントロール下のデバイスのうちの１以上を操作するための要求であること以外は、ステップ４０４〜４１４を繰り返す。
【００８１】
自然言語インターフェースモジュール２２２がユーザ要求を検出すると（ステップ４１６）、すなわち、ユーザ要求（ＰＣＦＧグラマーシステム及びデバイスコンテキストにより決定される）が受信されると、３つの結論のいずれかを引き出す（ステップ４２０、４２２、４２４）。ステップ４２０の場合、ユーザ要求が明確に理解され、自然言語インターフェースモジュールはユーザ要求に応じることができる。従って、自然言語インターフェースモジュール２２２は、抽象化されたデバイスにより示されるように、デバイスインターフェース２１０を介して適切な信号を送ることにより、コマンドを実行する。そして、音声認識モジュール２０４及び自然言語インターフェースコントロールモジュール２０６のコンテキストをアテンションワード探索のコンテキストに切り換えた（ステップ４２６）後、ステップ４０４に進む。
【００８２】
ステップ４２２の場合、ユーザ要求が明確に理解されるが、自然言語インターフェースモジュールはユーザ要求に応じることができない。この場合、ユーザにはその旨が通知され、さらなる指示を出すためにプロンプトを行う。システムは、さらなるユーザ要求を待つかタイムアウトして、ステップ４２６に進む。
【００８３】
ステップ４２４の場合、要求について不明瞭さを解決できず、この場合、自然言語インターフェースモジュール２２２は、例えばフィードバックモジュール２２８及びスピーカ２１４を用いて、ユーザに明確化を要求する。不明瞭さは、生じた不明瞭さの種類に従って解決する。不明瞭さが低信頼性が原因で生じる場合、自然言語インターフェースモジュール２２２はその結論をユーザに対して肯定する（例えば、「Did you mean play the CD?（ＣＤ再生のことですか）」）。ユーザが結論を確認すると、コマンドを実行し、システムがリセットされる（ステップ４２６）。システムは、選択肢のセットを考慮した好みに加えて、決定がなされたときの信頼性を反映するようにユーザプロファイルを調整する。幾つかの実施例において、時間の経過とともに、これらの統計を用いてＰＣＦＧルール及び適切な語彙目録内の入力の順序付けをしなおす。その結果、最も適当な入力が常に早期にチェックされ、これらの適当な入力が高信頼性をもたらすので、より高速でより精度の高いシステムが得られる。
【００８４】
不明瞭さが選択肢のセットが原因で生じる場合、自然言語インターフェースモジュール２２２は、これらの選択肢をユーザに提示する（例えば「Did you want to watch a movie on the DVD player or the VCR?（ＤＶＤプレーヤで映画を見たかったのですか、それともＶＣＲですか）」）。ユーザが与えられたオプションの中から選択すると、自然言語インターフェースモジュール２２２はコマンドを実行し、そうでない場合はシステムがリセットされる（ステップ４２６）。いずれの場合も、上述のようにユーザプロファイルが更新される。
【００８５】
不明瞭さが現コンテキスト（例えば、ユーザがＴＶを停止するように要求するが、ＴＶがオフであるとき）が原因で生じる場合、ユーザはその旨を知らされる。
【００８６】
以上、本発明を具体的な実施例や用例を用いて説明したが、請求の範囲に記載される本発明の主旨を逸脱しない範囲で、当該技術分野の通常の技術者により種々の変更例を行うことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のシステムレベルのブロック図である。
【図２】 本発明の他の実施例に係る、図１の自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のリモートユニットの機能ブロック図である。
【図３】 本発明のさらに他の実施例に係る、図１の自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のベースステーションユニットの機能ブロック図である。
【図４】 図１乃至図３の自然言語インターフェースコントロールシステムの自然言語インターフェースアルゴリズムにおいて行われる各ステップを示すフローチャートである。
本願は、米国特許法第１１９条第（ｅ）項（３５ＵＳＣ§１１９（ｅ））に基づき、１９９９年１０月１９日に、Konopka、A NATURAL LANGUAGE INTERFACE FOR PERSONAL ELECTRONIC PRODUCTSによって出願された米国仮特許出願第６０／１６０，２８１号の優先権を主張するものであり、この米国仮特許出願を参照して記載されたものである。
【０００２】
発明の属する技術分野
本発明は、音声認識方法に関し、特に自然言語（natural language）の音声を認識する音声認識方法に関する。具体的には、本発明は、アプリケーションをコントロールするために用いられる自然言語音声認識システムに関する。
【０００３】
発明の背景
これまで、多くの人が機器によって生成された人工的な音声と人間によって発生された音声のギャップをなくすことができるようなデバイスを求めてきた。また、音声認識技術によって、機器が人間の音声を認識することが可能になった。例えば、音声認識技術は、文書作成処理、デバイスの制御、メニュー方式のデータ入力等、多くのアプリケーションに用いられている。
【０００４】
ほとんどのユーザは、自然言語の形式で音声入力を行うことを好んでいる。自然言語の音声入力とは、ユーザが実際に機器と会話をしているかのように自然な形で筆記すなわち口頭入力することである。一方、非自然言語の形式での音声入力は、言語構文や言語構造において限界がある。非自然言語の音声入力で機器とコミュニケーションを行うには、ユーザは音声認識エンジンの言語構文及び意味言語構造に従ったコマンドや要求を覚え、それに基づいて話すことが必要である。
【０００５】
自然言語インターフェースシステムの利点は、ユーザがコマンドや要求を話すための適切なフォーマットを覚える必要がなく、単に会話形式で話せばよいので、機器又はシステムとのインターフェースを容易に実現することができることである。一方、自然言語インターフェースシステムの問題点は、人間の自然言語は複雑で変化しやすい「規則」を有するため、実現が困難であるということである。
【０００６】
従来の自然言語処理技術は、自然言語による発声の意味を認識する能力が非効率的で柔軟性に乏しい。このため、ユーザの自然言語入力のコンテキスト（context）すなわち文脈を限定して入力音声の処理を容易にする必要があり、従来の自然言語インターフェースシステムはダイアログ（dialog-based）形式又はプロンプト（prompt-driven）方式である。自然言語インターフェースでは、システムに入力されている音声のコンテキストをコントロールする。例えば、自然言語インターフェースは、自然言語による自動エアライン予約システム等の自動電話システムで実現されている。このようなシステムでは、あるコンテキスト内で話すようにユーザに対してプロンプト（prompt）すなわち入力促進を行う。例えば、自然言語システムは、ユーザにどの都市で飛行機に乗りたいのかを訊ねる。この場合、システムは予測される音声のコンテキストをユーザに示す。このようにして、自然言語インターフェースシステムは、都市名を示す自然言語を探す。次に、システムは、ユーザに何日に飛行機に乗りたいのかを話すようにプロンプトする。ここでも自然言語インターフェースシステムによって回答のコンテキストが示される。問題点は、ユーザが開放型（open-ended）の情報や要求を入力できないということである。システムが受け取った音声データがシステムによりプロンプトされたコンテキスト以外であった場合、システムはその要求を無視するか、回答を理解できないことをユーザに通知するか、あるいは、プロンプトのコンテキスト内に該当するように要求を誤解することもある。
【０００７】
コンテキストが自然言語処理によって限定されず、ユーザの音声によって限定される効率的な自然言語システムが必要とされている。本発明は上記及び他の要求に対処することができる。
【０００８】
発明の概要
本発明は、コンテキストが自然言語インターフェースによって定義されるのではなく、ユーザの指示と複数のデバイスの能力により定義される、複数のデバイスをコントロールする開放型の自然言語インターフェースコントロールシステムを提供することにより、上記及び他のニーズに有利に対処する。
【０００９】
一実施例において、本発明は、第１のマイクロフォンセットと、第１のマイクロフォンセットに接続された特徴抽出モジュールと、特徴抽出モジュールに接続された音声認識モジュールを備え、音声認識モジュールは隠れマルコフモデルを用いる、複数のデバイスを操作する自然言語インターフェースコントロールシステムを特徴とすることができる。また、本システムは、音声認識モジュールに接続された自然言語インターフェースモジュールと、自然言語インターフェースモジュールに接続されたデバイスインターフェースを備え、自然言語インターフェースモジュールは、ユーザからの非プロンプト方式で開放型の自然言語要求に基づいて、デバイスインターフェースに接続された複数のデバイスを操作する。
【００１０】
他の実施例において、本発明は、モデルと文法と語彙目録の第１のセットを有する第１のコンテキストに基づいてアテンションワードをサーチするステップと、アテンションワードを見つけたときに、第２のコンテキストに切り換えて開放型のユーザ要求をサーチするステップを有し、第２のコンテキストはモデルと文法と語彙目録の第２セットを有する音声認識方法を特徴とすることができる。
【００１１】
さらに他の実施例において、本発明は、開放型の自然言語ユーザ要求が受け取られることを示すアテンションワードを受け取るステップと、開放型の自然言語ユーザ要求を受け取るステップと、開放型の自然言語ユーザ要求を、開放型の自然言語要求に対応する最も適当なコマンドと一致させるステップと、コマンドを１以上のデバイスのそれぞれに送信するステップを有する１以上のデバイスの自然言語コントロール方法と、この方法を行う手段を特徴とすることができる。
【００１２】
本発明の上述及び他のアスペクト、特徴、利点については、添付図面に基づいた以下の詳細な具体的説明により明らかにする。
【００１３】
なお、各図面において、同じ参照符号は同じ構成要素を示すものとする。
【００１４】
発明の詳細な説明
以下、本発明を実施するための最良の実施形態を説明するが、本発明はこの実施形態に限定されるものではなく、本発明の一実施例にすぎない。本発明の主旨は請求の範囲を参照して解釈されるべきである。
【００１５】
図１は、本発明に係る自然言語インターフェースコントロールシステムの一実施例の構成を示すシステムレベルのブロック図である。図１に示すように、自然言語インターフェースコントロールシステム１０２（ＮＬＩＣＳ１０２とも称する）は、リモートユニット１０４と、ベースユニット１０６（ベースステーションユニット１０６とも称する）とを備える。リモートユニット１０４は、リニアマイクロフォンセット１０８とスピーカ１１２とを備え、ベースユニット１０６は、平面マイクロフォンセット１１０を備える。自然言語インターフェースコントロールシステム１０２のリモートユニット１０４は、コントロール可能な複数のデバイス１１４に接続されている。さらに、ベースユニット１０６は、外部ネットワーク１１６に接続されている。
【００１６】
自然言語インターフェースコントロールシステム１０２は、動作時において、ユーザと複数のデバイス１１４を接続し、複数のデバイス１１４をコントロールする。自然言語インターフェースコントロールシステム１０２は、ユーザが自然な会話方式で自然言語インターフェースコントロールシステム１０２に話しかけるだけで複数のデバイス１１４のうち１つ以上をコントロールできる自然言語インターフェースを提供する。ＮＬＩＣＳ１０２は、ユーザの自然な言語での要求を解釈し、ユーザの要求を行うように各デバイスに適切なコマンドを送ることができる。例えば、このような自然言語インターフェースコントロールシステム１０２を家庭で適用する場合、デバイス１１４は、テレビ、ステレオ、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオディスク（ＤＶＤ）プレーヤ等である。ユーザは、デバイス１１４のいずれかを操作したいとき、「I wanna watch TV（テレビを見たい）」と言うか、同じような自然言語を話すだけでよい。ＮＬＩＣＳ１０２は、当該技術分野で知られている隠れマルコフモデル（Hidden Markov Models（ＨＭＭｓ））を用いて音声を検出する音声認識モジュールを備えており、自然言語インターフェースを用いて自然言語を解釈し、ユーザ要求が何であるかという確率（probability）を適切に判断する。自然言語インターフェースは、各デバイス１１４毎に記憶された確率的コンテキストフリーグラマー（probabilistic context free grammer）（ＰＣＦＧとも称する）ルールと語彙目録（lexicons）を用いる。このため、自然言語インターフェースモジュールは、ＮＬＩＣＳ１０２がインタフェースで接続されるように設計されている抽象化（abstraction）された各デバイス１１４を有するデバイス抽象化モジュールを備えている。従って、各デバイス１１４は、各デバイス１１４によって理解されるコマンドセットに抽象化される。さらに、各抽象化は、各デバイス特有の個々の文法及び語彙目録と関連付けられている。
【００１７】
ユーザの要求が所望の信頼レベルで決定されると、自然言語インターフェースモジュールは、ユーザの要求を実行するために、適切なデバイスに一連のコマンドを送る。例えば、「I wanna watch TV（テレビを見たい）」というユーザの要求に対して、自然言語インターフェースモジュールは、適切なデバイスにコマンドを送り、テレビとアンプをオンにし、テレビとアンプを適切なモードに設定し、ボリュームを適切なレベルに設定する。また、内部に記憶されている抽象化された各デバイスの状態や設定を更新する。コマンドは、テレビのチャンネルをＮＬＩＣＳ１０２側でわかっている、あるいは、開放型の自然言語要求でユーザが要求した所望のチャンネルに切り換えることもできる。さらに他の例として、ユーザは、「Do you have the album 'Genesis'?（「ジェネシス」というアルバムがありますか）」等、システムが「Ｙｅｓ」と回答するような特定の情報を要求することができる。そして、ユーザは「Play that(それを再生して）」又は「Play the album Genesis（アルバム「ジェネシス」を再生して）」と答えることができる。システムは、この要求に応答し、ＣＤジュークボックスとアンプをオンにし、アンプを適切なモードに設定し、適切なボリュームレベルを設定し、適切なアルバムを選択し、アルバムを再生する。また、システムは、ユーザのプロファイルに加えて抽象化されたデバイスの内部記憶状態や設定を更新する。このコマンド信号は、当該技術分野で知られているように、無線周波数（ＲＦ）リンク又は赤外線（ＩＲ）リンクを介して送信されることが好ましい。
【００１８】
音声認識技術は当該技術分野においてよく知られており、口頭コマンドに基づくデバイスのコントロールが知られている。ユーザが所定の音声コマンドを音声認識コントロールシステムに対して発声する場合、例えば、ユーザがコントロール下のテレビ受像機に「Turn on（オンにして）」と言う場合がある。これに応じてＴＶがオンになる。しかし、このようなアプローチは、自然言語又は会話言語を利用するものではなく、ダイアログコンテキスト（dialog context）を取り出すためにコントロール下のデバイスの抽象化を行うものでもない。正確な所定の音声コマンドが出されなければ、システムはコマンドを出さない。これに対し、本実施例では、口頭の発声について確率的に最も適当な意味を判断し、適切なコマンドを発行するのに用いられる自然言語インターフェースモジュールを実現する。従って、ユーザからの指示は、非常に会話的な形式で出され、ユーザは特定のコマンド信号を覚える必要がない。例えば、ユーザが「hey, let's watch TV（おい、テレビを見よう）」、「I wanna watch TV（テレビを見たい）」、「turn on the TV（テレビをつけて」、「whattya say we watch a little television（ちょっとテレビを見ないかい）」と言うと、システムは自然言語インターフェースモジュールを用いて、ユーザがテレビを見ることを要求していることを確率的に判断して、テレビ及び他の適切なデバイスが理解することができる適切なコマンドセットを発行する。
【００１９】
これによって、都合良くデバイス１１４とユーザとの間の物理的障害が取り除かれる。例えば、ユーザはこのデバイス１１４の操作方法を知らなくてもよい。例えば、ユーザはＤＶＤプレーヤの操作方法を知らなくてもよい。ユーザは単に「I wanna watch DVD（ＤＶＤが見たい）」と言えば、コマンド信号が送られて、ＤＶＤプレーヤの電源をオンにし、プレーヤ内のＤＶＤの再生を開始する。
【００２０】
さらに、自然言語インターフェースモジュールは、ユーザの要求が何であるかという確信がない場合、ユーザの要求を明確にする。例えば、ユーザの要求が「I want to watch a movie（映画が見たい）」であるとする。しかし、自然言語インターフェースモジュールは、ユーザがＤＶＤプレーヤ、ＶＣＲ、テレビのうちのどのデバイスで映画を見たいのかわからない。このような場合、自然言語インターフェースモジュールは、フィードバックモジュール（例えば、テキスト−音声モジュール）及びスピーカ等のフィードバック機構を用いて、要求を明確にするようにユーザに指示する。例えば、自然言語インターフェースモジュールは、そのような要求に対して、「Do you want to watch a movie on the DVD, VCR or television?（ＤＶＤ、ＶＣＲ、テレビのどれで映画を見たいのですか）」と訊ねる。それに対し、ユーザは、例えば「ＤＶＤ」と答える。
【００２１】
このように、このシステムは、「開放型」の要求を受け入れることができる真の「自然言語インターフェース」である。自然言語インターフェースコントロールシステム１０２は、主としてダイアログ方式又はプロンプト方式の「閉塞型（closed-end）型」システムではない。例えば、既知の自然言語システムでは、ある情報を提供するようにユーザに対してプロンプトを行い、その後、システムが得られた情報を識別しようとすることによって、会話をコントロールする。例えば、自然言語を用いたエアライン予約システムでは、システムによる質問によってコンテキストが制限されるようなダイアログによって、ユーザをガイドする。例えば、システムが「To what city would you like to fly?（どの都市まで飛行機を利用しますか）」と訊ねる。すると、ユーザは自然言語で行き先の都市を答え、システムはその回答と都市名を一致させることにより本質的に回答を理解しようとする。そして、システムは「What date would you like to leave?（何日に出発しますか）」と訊ねることによってユーザに対してプロンプトを行い、予測される回答すなわち日付に基づく、送られてくるサーチ及び分析されるテキストストリング（text string）すなわちテキスト文字列のコンテキストを制限する。これに対し、ＮＬＩＣＳ１０２では、システムではなくユーザがダイアログを開始する。ユーザは、ＮＬＩＣＳ１０２からのプロンプトされる前に「I want to hear some music（何か音楽が聞きたい）」と言うだけである。サーチされるコンテキストはシステムのプロンプトによって制限されるのではなく、ＮＬＩＣＳ１０２によってコントロールされるデバイス１１４の能力によって制限される。従って、ユーザは、コントロール下の各デバイスが行うことが可能なタスクのいずれかを行うようにＮＬＩＣＳ１０２に要求する。もし、例えば、ユーザがコントロール下のデバイスでは利用できない機能を行うようにＮＬＩＣＳ１０２に要求する。すなわち、例えば、ユーザが「Make me some breakfast（何か朝食を作って）」と言うと、そのような要求はコントロール下のデバイスにプログラムされた機能にはないので、ＮＬＩＣＳ１０２はそのような要求を実行できない。例えば、ＮＬＩＣＳ１０２は、デバイス１１４の能力の範囲内のフレーズを適切に解釈して、他の要求は単に無視する。また、自然言語インターフェースモジュールのフィードバック部が、その要求は利用できないことをユーザに警告することができる。
【００２２】
本実施例では、自然言語インターフェースコントロールシステム１０２は電源が「常時オン」であるので、ユーザはいつでも要求を言うことができ、システムが対応する。しかし、ＮＬＩＣＳ１０２の注意を引くため、ユーザは「アテンションワード（attention word）」を言ってから要求を言う。これは、ユーザの識別、要求の誤検出の防止、通常会話とＮＬＩＣＳに関係ない背景雑音との区別を行うのに役立つ。あらかじめ、アテンションワードに続いて要求が来ることをＮＬＩＣＳ１０２に知らせる。このため、ＮＬＩＣＳで用いられるマイクロフォンセットは、マイクロフォンセットにより定められた物理的空間内でアテンションワードをサーチするだけでよい。例えば、アテンションワードが「Mona（モナ）」とプログラムされている場合、ユーザの要求は「Mona, I wanna watch TV（モナ、テレビを見たい）」となる。これによって、マイクロフォンセットによる処理及びサーチ量が大幅に低減される。
【００２３】
さらに、個々のユーザは、各自ユーザ特有のアテンションワードを持つことができる。例えば、家庭内で、第１のユーザのアテンションワードは「Mona（モナ）」で、第２のユーザのアテンションワードは「Thor（ソア）」である。ＮＬＩＣＳ１０２は「Mona」というアテンションワードを聞くと、第１のユーザがコマンドを発しているとみなす。例えば、第１のユーザが「Mona, I wanna watch TV（モナ、テレビを見たい）」と言うと、システムはテレビ（及び他の適切なデバイス）をオンにするだけでなく、第１のユーザが選択した好みのチャンネルにテレビを切り換える。なお、この場合、第１のユーザが第２のユーザのアテンションワードを言うこともできるので、真のＩＤを与えるものではない。この機構は、個々のユーザの好み、発音、癖に合わせてＮＬＩＣＳ１０２を調整するための一手段を与えるだけである。
【００２４】
ＮＬＩＣＳ１０２が効率的に機能することを可能にする特徴の一つとしては、ＮＬＩＣＳ１０２に接続された各デバイス１１４が個々の抽象化されたデバイスに抽象化されるので、個々の文法及び語彙目録が各デバイス１１４毎に記憶されることである。例えば、自然言語インターフェースモジュールは、要求がＤＶＤプレーヤに対してであると判断すると、その特定のコンテキスト（すなわち、ＤＶＤプレーヤのコンテキスト）に特有の文法及び語彙目録が用いられ、音声認識モジュール内の入力音声データの処理に役立つ。これによって音声認識モジュールにおけるコンテキスト切り替えが行われる。
【００２５】
幾つかの実施例において、ＮＬＩＣＳ１０２は、ＨＭＭ又は文法用の音声認識モジュールで用いられるモデルを実行時にハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の二次ソースから流して使用することができるように構成される。データを読み込めば前処理なしにすぐに用いることができる。従って、多くのモデルや文法をＮＬＩＣＳ１０２のメモリとは別に記憶することができるので、音声認識モジュールのメモリ使用量が改善される。
【００２６】
他の実施例では、ＮＬＩＣＳ１０２は、２つの個別ユニット、例えばリモートユニット１０４及びベースユニット１０６として実現される。ベースユニット１０６はリモートユニット１０４の「ドッキングステーション（docking station）」として機能し、リモートユニット１０４は、例えば汎用シリアルバス（ＵＳＢ）接続によってベースユニット１０６に接続される。幾つかの実施例において、リモートユニット１０４は、ユーザが用いるボタンを与えることにより、従来から行われているような種々のデバイスの汎用リモートコントロールとして機能する。さらに、ベースユニット１０６は、１ＮＬＩＣＳ１０２に外部ネットワークインターフェースを供給する。例えば、外部ネットワークインターフェースは、ホームローカルエリアネットワーク（ＬＡＮ）、イントラネット、インターネット等の外部ネットワーク１１６にＮＬＩＣＳを接続する。この場合、ＮＬＩＣＳ１０２は、外部ネットワーク１１６内の中央データベースに記憶されている文法、ＨＭＭモデル、抽象化されたデバイス、ＤＣ、ＤＶＤ、テレビその他のプログラミング情報及び／又は語彙目録を新たにダウンロードすることができる。
【００２７】
また、ベースユニット１０６は、リモートユニット１０４の二次キャッシュとして機能する。リモートユニット１０４は、種々のデバイスに対するデバイスインターフェースに加えて、特徴抽出モジュールと、音声認識モジュールと、自然言語インターフェースモジュールとを備えている。このとき、ベースユニット１０６は、リモートユニット１０４で用いられる新たなモデル、文法、語彙目録を記憶するメモリを備えている。
【００２８】
リモートユニット１０４は、音声信号を受信する従来の２つのリニアマイクロフォンセット１０８を備えている。また、ベースユニット１０６は、二次元空間からの音波エネルギーを取り入れる平面マイクロフォンセット１１０を備えている。ＮＬＩＣＳ１０２は両方のマイクロフォンセット１０８、１１０を適宜用いて、２セットのマイクロフォンセット１０８、１１０により所定の三次元の物理的空間で音声を聴取することができるような三次元マイクロフォンセットを実現する。この場合、三次元ボリュームをある空間内に定めることができる。例えば、ＮＬＩＣＳ１０２は、ユーザが各デバイスの操作時に座るリビングルームのソファを含んだ空間のボリュームを聴取するように構成することができる。このため、この所定空間外のソースから出る音声データの位相は減衰させられ、所定空間内からの音声データの位相は合計される。
【００２９】
以上、本システムについて説明したが、自然言語インターフェースコントロールシステムについて以下にさらに詳細に説明する。
【００３０】
図２は、本発明の他の実施例を示すものであり、図１の自然言語インターフェースコントロールシステム１０２のリモートユニット１０４の構成を示すブロック図である。図２に示すように、リモートユニット１０４は、リニアマイクロフォンセット１０８と、特徴抽出モジュール２０２と、音声認識モジュール２０４と、自然言語インターフェースコントロールモジュール２０６と、システム処理コントローラ２０８と、デバイスインターフェース２１０と、ベースユニットインターフェース２１２（汎用シリアルバス（ＵＳＢ）インターフェース２１２とも称する）と、スピーカ２１４とを備える。また、各デバイス１１４も示してある。音声認識モジュール２０４は、音声デコーダ２１６と、Ｎグラムグラマーモジュール２１８と音声モデルモジュール２２０を備えている。自然言語インターフェースコントロールモジュール２０６は、自然言語インターフェースモジュール２２２と、確率的コンテキストフリーグラマーモジュール２２４（ＰＣＦＧモジュール２２４とも称する）と、デバイス抽象化モジュール２２６と、フィードバックモジュール２２８とを備えている。
【００３１】
本システムは、２つの個別要素、すなわちリモートユニット１０４及びベースユニット１０６としてそれぞれ説明されており、また、幾つかの好ましい実施例では、リモートユニット１０４とベースユニット１０６を個別ユニットとして用いているが、ＮＬＩＣＳ１０２の中心となる機能はリモートユニット１０４においてのみ実現することができる。ここでは、まず、リモートユニット１０４について説明した後にベースユニット１０６について説明する。
【００３２】
音声データは、ソースすなわちユーザを特定して干渉雑音と区別する２つの狭カーディオイドマイクロフォンであるリニアマイクロフォンセット１０８を介して、リモートユニット１０４に入力される。このようなリニアマイクロフォンセットは、当該技術分野においてよく知られている。リニアマイクロフォンセット１０８は、各マイクロフォンエレメントからの入力音声データをサンプリングした後、このデータの時間合わせと合計を行い、入力音声信号の信号対雑音比（ＳＮＲ）を高めたものを生成する。
【００３３】
そして、音声データは、特徴抽出モジュール２０２に送られる。特徴抽出モジュール２０２は、入力音声データの関連情報を表すパラメータ又は特徴ベクトルを抽出する。
【００３４】
特徴抽出モジュール２０２は、エッジ（edge）検出、信号の条件付け、特徴の抽出を行う。一実施例によれば、音声のエッジ検出は、第０ケプストラル係数（0ｔｈ Cepstral coefficient）及びゼロ交差統計（zero-crossing statistics）に基づく雑音推定（noise estimation）及びエネルギー検出（energy detection）により行われる。特徴の抽出と信号の条件付けは、メル周波数ケプストラル係数（Mel-frequency Cepstral coefficient（ＭＦＣＣ））、デルタ情報（delta information）、及び加速情報（acceleration information）の抽出を行う。５０％オーバラップした１２．８ｍｓサンプルバッファに基づく３８次元特徴ベクトルである。このような特徴抽出モジュール２０２とその機能については当該技術分野においてよく知られており、当該分野の当業者は種々の方法で特徴抽出モジュールを実現することができる。このように、特徴抽出モジュール２０２の出力は一連の特徴ベクトルである。
【００３５】
次に、一般に音声認識モジュール２０４は、例えば、アウト・オブ・ボキャブラリ（out-of-vocabulary）（語彙にない）イベント、流暢さの欠如、環境雑音等の「非モデル化イベント（unmodeled events）」を除去する能力を有する隠れマルコフモデル（ＨＭＭ）に基づく連続音声認識デバイスとして機能する。音声認識モジュール２０４は、自然言語インターフェースモジュール２２２のコントロール下にあり、自然言語インターフェースコントロールモジュール２０６により決定された音声のコンテキストに基づいて種々の音声モデルと種々の文法を切り換えることができる。音声認識モジュール２０４は、ＮＬＩＣＳ１０２において有利に用いられる幾つかの特徴を有しているが、全く従来のものであっても構わない。さらに、音声認識モジュール２０４におけるメモリ使用量は最適化されているので、必要なメモリは、用いられる音声モデルデータ量を主に反映している。以下、音声認識モジュール２０４及び自然言語インターフェースコントロールモジュール２０６についてさらに詳細に説明する。
【００３６】
特徴抽出モジュール２０２からの特徴ベクトルは、音声認識モジュール２０４に入力される。すなわち、音声認識モジュール（ＳＲＭ）２０４の音声デコーダ２１６に入力される。音声認識モジュール（ＳＲＭ）２０４は、特徴抽出モジュール（ＦＥＭ）２０２からの音声特徴ベクトルを要求し、音声モデルセットを用いて対応する発声音に最も合うものを見つけるとともに、隠れマルコフモデル（ＨＭＭ）に基づくアプローチにより非音声イベント（non-speech events）を排除（reject）することを役割とする。
【００３７】
音声デコーダ２１６によって用いられるモデルは、音声モデルモジュール２２０に記憶されている。これらのモデルは、コンテキスト依存型又はコンテキスト独立型のフォネティックモデル（phonetic models）、サブワードモデル（sub word models）又は全単語モデル（whole word models）、例えば単音（monophones）、二重音（biphones）及び/又は三重音（trophones）からなる。一実施例において、音声デコーダ２１６は、種々のモデルを動的に切り換えることができる。例えば、音声デコーダ２１６は、三重音に基づくモデルと単音に基づくモデルとを切り換えることができる。これは既知のシステムとは異なる点である。既知のシステムでは、固定数の状態と各状態毎に固定数のガウス形（Gaussians）があり、すなわち、各音素（phonemes）のアーキテクチャが固定されている。これに対して、単音、二重音、三重音に基づくモデル間での選択とともに、これらの音素のアーキテクチャ、例えば各種類の音素（単音、二重音、三重音）毎に状態数と各状態毎のガウス形の数を変化させて、空間、速度、精度の最適化を図ることができる。当該技術分野においてよく知られているように、入力された発声音は、例えばビタビアルゴリズム（Viterbi algorithm）を用いてモデルにより分析され、その発声音が所定モデルにどの程度合致するかを表すスコアが割り当てられる。さらに、音声デコーダ２１６によって用いられるモデルは、自然言語インターフェースコントロールモジュール２０６の直接のコントロール下にある。これについては以下にさらに説明する。
【００３８】
また、２つのガーベジモデル化技術（garbage-modeling techniques）が用いられる。音声モデルモジュール２２０にガーベジフィラーモデル（Garbage filler model）が記憶され、流暢さの欠如や「無音」だけでなく背景雑音もモデル化する。これらのモデルは、音声デコーダ２１６により、アウト・オブ・ボキャブラリ（ｏｏｖ）イベント（語彙にないイベント）の排除の際に使用される。また、音声デコーダ２１６は、オンラインガーベジ計算（online garbage valculation）を用いて、アウト・オブ・ボキャブラリ（ｏｏｖ）イベントを排除する。そして、スコアが非常に近ければ、Ｎ個の最適候補を返送する。このようなアウト・オブ・ボキャブラリ（ｏｏｖ）イベントの排除は当該技術分野においてもよく知られている。
【００３９】
幾つかの実施例において、排除（rejection）の技術が当該分野で知られている技術と比較して改善されている。ＨＭＭに基づく音声認識システムの背景となる基本原理は、ある発声音を（音声モデルモジュール２２０からの）多数の音声モデルと比較して、その発声音に最も合致するモデルを見つけることである。これは、音声認識モジュール２０４の出力が最適な一致モデル（例えば単語）に対する参照となることを意味する。しかし、これでは、口頭で話されたことばを表すモデルが存在しない場合に問題が発生する。このような場合、ＨＭＭに基づくシステムでは、発声音とモデルとの最も近い一致を見つけようとし、その結果を報告するのが一般的である。多くの場合、このことは好ましくない。それは、オープンマイクにより拾われた音はいずれも、発生するモデルに対する参照となるからである。これを防ぐには、発声音がイン・ボキャブラリ（in-vocabulary）（語彙にある）ワードに含まれているか否かを判断することが好ましい場合がある。例えば、ビタビスコア（Viterbi score）がしきい値を超える場合、発声音はイン・ボキャブラリワードであるとみなされる。発声音のビタビスコアがしきい値を超えない場合、発声音はアウト・オブ・ボキャブラリであるとみなされる。このようなビタビスコアは、ビタビアルゴリズムを用いて得られる。このアルゴリズムでは、一連の観測を考慮して、ＨＭＭによる単一の最適な状態シーケンスとその対応する確率を計算する。しかし、実験によれば、これはあまり正確な排除方式ではないことがわかっている。代わりに多くのシステムでは、全てのアウト・オブ・ボキャブラリイベント又はフィラー音声（filer sounds）を表すことをタスクとする別のＨＭＭによって発声音の再処理を行うことで、すなわちガーベジモデルを用いることで得られる別のビタビスコアと、元のビタビスコアを比較することに依存している。ガーベジスコア（garbage score）は、以下の式１により発声音中のフレーム数で除算した２つのビタビスコアのそれぞれの対数の差として定義することができる。ガーベジスコアは、発声音がワードモデルに対してより近い一致を示すのか、アウト・オブ・ボキャブラリモデルに対してより近い一致を示すのかを表す。アウト・オブ・ボキャブラリイベントの排除方法については多くの変形例が提案されている。一般に発声音中の無音時間は、高エネルギー音声部分をモデル化すべきモデルについても高いビタビスコアを生じることがわかっている。これは、特徴抽出モジュール２０２において音声信号のエネルギーを表す新たな特徴を与えることにより、ある程度防ぐことができる。しかし、それでもなお不正確なガーベジスコア測定となってしまう。発声音の開始部又は終了部に無音があり、この開始部又は終了部の無音がモデル化されていない場合、ガーベジスコアにひどく影響することがわかっている。特徴抽出モジュール２０２は、開始部及び終了部の無音を音声認識モジュール２０４の音声デコーダ２１６に送るサンプルに含めないように音声検出を行う。しかし、発声音の開始部及び終了部を見つけることは、低エネルギーで始まる又は終わる発声音については複雑な作業となる。これが問題となる音声グループの例として摩擦音がある。摩擦音は、例えばホワイトノイズ（white noise）等の広帯域で低エネルギーの雑音として特徴付けられる。当該技術分野において知られているように、摩擦音とは「ｔｈ」、「ｓｈ」等の音素で表される音である。特徴抽出モジュール２０２は、開始部及び終了部のサンプルを見つけるための最善の努力をすることにより、この問題を解決しようとする。低エネルギー音が音声サンプルに含まれていることを確実にするため、特徴抽出モジュール２０２は、発声音の開始部及び終了部に多数の余分サンプルを含める。発声音の開始部又は終了部に低エネルギー音がない場合、その発声音は隔離して話されたものであるとみなされ、無音が作成されて音声サンプルに付加されるため、音声デコーダ２１６のガーベジスコアは歪曲されてしまう。この問題を解決するため、一実施例において、各モデルの前後に、特徴抽出モジュール２０２から送られた無音フレームを消費する単一状態の無音モデルを配置する。音声デコーダ２１６は最も近い一致の一連のモデルを見つけ、ワードモデルに加えて無音モデルも最適に発声音に合致させる。こうして、発声音の開始及び終了無音部の開始及び終了インデックスを得て、除去することができる。さらに、最適の一致のワードモデルについては、前後の無音モデルなしに、発声音の純粋な音声部分のみを用いて保持及び再処理が行われる。次に、アウト・オブ・ボキャブラリＨＭＭが発声音の同じ部分の処理を行い、ガーベジスコアは次式（１）により計算することができる。
【００４０】
【数１】
ここで、ｗは前後の無音モデルのないイン・ボキャブラリワードの音声モデルについてのビタビスコアの対数であり、発声音には無音が含まれていない。同様に、ｇはアウト・オブ・ボキャブラリＨＭＭモデルについての対応するスコアの対数である。また、ｎは発声音中の総フレーム数であり、ｍは前後の無音モデルにより消費されるフレームの数である。つまり、この排除技術を用いて、システムは発声音の音声部分を正確に取り出すことができるようになる。これにより、イン・ボキャブラリワードの取り出しが向上し、また、摩擦音等の低エネルギー音で始まる又は終わるアウト・オブ・ボキャブラリイベントの排除が、従来の排除方法と比較して向上する。
【００４２】
Ｎグラムグラマーモジュール２１８は、音声デコーダ２１６により使用される文法を有している。これらの文法は語彙目録を構築するための規則であり、語彙目録は単語とその発音入力からなる辞書である。また、音声デコーダ２１６により使用される特定の文法は自然言語インターフェースモジュール２２２によりコントロールされている。本実施例において、Ｎグラムグラマーは、複数の文法の種類又は文法の種類の組み合わせを用いるように構成されている。複雑な言語を使用する場合（例えば、多数のコントロール及び機能を有するコントロール下のデバイス）については、トライグラムグラマーオプション（trigram grammer option）を用いるのが有利である。それより小規模のシステム（例えば、非常に単純なコントロール及び機能を有するデバイス）については、バイグラムグラマーオプション（bigram grammer option）により、メモリと精度のバランスがとれる。バイグラム及びトライグラムグラマーのメモリ効率の良い表現を得るには、可能な語彙目録入力の組み合わせを、特定の語彙目録入力ラベル又はワードグループによって表現すればよい。語彙目録入力の後にいずれの語彙目録入力が続くことができるようにする場合、エルゴディックグラマーオプション（ergodic grammar option）を用いることができる。
【００４３】
なお、一般的に、信号受信可能範囲が小さいデバイスにおいてＮグラムグラマーを使用することは直観的には考えにくい。信号受信可能範囲が小さいということは、システムがリモートユニット１０４に接続されたコントロール下のデバイス１１４に関する音声だけを認識すればよく、残りの音声についてはアウト・オブ・ボキャブラリとして分類してもよいということである。しかし、Ｎグラムグラマーモジュール２１８は、信号受信可能範囲が小さい音声認識モジュール２０４の場合にも複数の文法及び種類の使用を可能にする。
【００４４】
主として音声デコーダ２１６で排除方法に使用される他の文法として、ワードリストグラマー（word list grammer）がある。ワードリストグラマーは、固定的な一連の単語と発声音サブセット（subset）についてのビタビスコアを再計算するのに用いられる。
【００４５】
システムは、「コンテキスト切り換え」、あるいは、自然言語インターフェースモジュールのコントロール下で文法の種類と文法規則セットを直ちに切り換えることを可能にする方法で、種々の文法を組み込んでいる。人間が話す内容はコンテキストにより大きく影響されるので、これを可能にすることは重要である。例えば、あるフレーズ（例えば上述のアテンションワード）のみがダイアログを開始すると想定され、他のフレーズは質問（例えば不明瞭な要求を明確にする自然言語インターフェース）に続いて発生するだけである。特に、話し手が様々な聴衆を相手にしているときや、家庭用電子機器の場合、すなわちテレビ、ＤＶＤプレーヤ、ステレオ、ＶＣＲ等の種々の製品の場合、このことは顕著になる。音声認識精度を高めつつ必要な処理を少なく抑える試みとして、システムは、ある文法規則のみが当てはまるコンテキストの定義方法を与える。コンテキストがわかっている場合、自然言語インターフェースモジュール２２２は、予想されるフレーズのみを聴取するように音声認識モジュール２０４に指令を出すことができる。例えば、自然言語インターフェースモジュール２２２は、ユーザがＤＶＤプレーヤを操作しようとしていると判断すると、音声認識モジュール２０４はＤＶＤプレーヤに対応する文法の種類と文法を用いるように指令を受ける。従って、音声デコーダ２１６は、Ｎグラムグラマーモジュール２１８から適切な文法を取り出す。また、各規則又は単語についてどの規則又は単語が使用可能又は使用不可能かを示すのに、各文法規則又は語彙目録入力毎のフラグを用いる高精度レベルによって、コンテキスト切り換えを行うこともできる。さらに、システム設定及び文法モードによっては、最適推測語をサーチする際に、語彙目録入力セットのみを使用することが好ましい場合もある。幾つかの語彙目録を定めて、関係のある語彙目録のみを参照すればよい。
【００４６】
なお、音声認識モジュール２０４は、入力された音声のコンテキストを考慮して、使用する文法を動的に変更することができ、語彙目録は選択された文法に依存するので、語彙目録は動的に変更される。
【００４７】
システムのサイズ、すなわち、音声デコーダ２１６においてどの程度のサーチが必要かによって異なるが、処理時間を短縮することができる。中規模から大規模の自然言語インターフェースコントロールシステム１０２（コントロール下のデバイス１１４を多数有している）の場合、ビームサーチアルゴリズム（Beam Search algorithm）を効率的に実行することにより処理時間が大幅に短縮される。このビームサーチアルゴリズムは、ビタビサーチアルゴリズム（Viterbi Search algorithm）において推測語の数を最小限に保持するものである。この場合、離散的時間ステップ毎にすべてのアクティブな推測語を比較し、最適推測語についてのビタビスコアを計算する。そして、最大推測語スコアから所定の排除しきい値関数を引いた値に満たないスコアの推測語をすべて廃棄することにより、プルーニング（pruning）すなわち刈り込みを行うことができる。これによって、プルーニングされたため、対応するモデル状態のスコアがしきい値を超えるまで以下の時間ステップで考慮されない推測語に基づくサーチは制限される。
【００４８】
大規模の音声認識システムに関連する他の問題点として、音声モデルを記憶するのに必要なメモリ量がある。幸い、ＮＬＩＣＳ１０２で使用するサブワードユニット（sub word units）（例えば音素）の数は一般的に固定されているので、語彙目録入力数が大きくなるについて、より多くの音声モデルが同じサブワードモデルを参照することになる。語彙目録入力に同じモデル要素、例えばサブワードモデル、モデル状態及び／又はガウス形を参照させることにより、必要なメモリを最小限に維持することができる。それと引き換えに必要な計算リソースがやや増加する。この間接的モデル参照を用いると、音声をいずれの抽象化レベル（例えば、フレーズ、単語、サブワード）においても表すことができる。このような抽象化を組み合わせて、語彙目録に従いより多くの抽象化ユニットを形成することができ、それを文法の定義において参照することができる。
【００４９】
トークン・パッシング（Token Passing）は、ＨＭＭによる最適単語推測を探索するためのよく知られたアプローチ方法である。当該技術分野において知られているように、接続された単語認識システムにおいて、発声音の前フレームの処理が完了すれば、一番高いビタビスコアを有する状態シーケンスについての最後のモデル状態を容易に見つけることができる。しかし、これで必ずしも最適の状態（又は単語）シーケンスが得られるわけではない。最適状態シーケンスを見つけるには、「バックトレーシング（back tracing）」を行う必要がある。これを行う従来の方法は、各状態が、各フレーム毎の前の最適状態に戻したポインタを持つようにする。バックトレーシングは、一番高いビタビスコアを持つ状態シーケンスの最後のモデル状態からポインタを戻していくことにより行うことができる。これは、システムがＴ個の離散的時間ステップにわたってＮ個の状態を用いる場合、必要なバックポインタ（back pointers）の数は通常ＮＴであることを意味する。これを行うとすぐに数が大きくなり、必要なメモリが大きくなる。このようなバックポインタの記憶に関する必要なメモリを最小化するための種々の方法が提案されているが、そのうちの幾つかは、状態毎にメモリを割り当てるのではなく、種々の状態に「トークン（tokens）」を巡回させるという考えに基づくものである。
【００５０】
本発明の一実施例によれば、各状態に１つのトークンポインタ（token pointer）を記憶するのではなく、音声デコーダ２１６が２列Ｓ１及びＳ２を用いて各状態のトークンポインタを保持する。列Ｓ１は各状態と前フレームのトークンポインタを保持し、列Ｓ２は各状態と現フレームのトークンポインタを保持する。各状態ｉが前の最適状態ｊを見つけようと前に戻ると、２つの結果が考えられる。前の最適状態ｊがｉと同じ音声モデルの要素ならば、Ｓ１における状態ｊのトークンポインタはＳ２における位置ｉにコピーされる。そうでなければ、新たなトークンが作成され、Ｓ２における位置ｉに記憶される。新たなトークンはＳ１のトークンｉと同じ内容を得て、トークン履歴（token history）において、モデルｍ，ｉεｍに対する参照が付加される。現フレームについてすべての状態が処理されると、構造Ｓ１及びＳ２に対するポインタはスワップ（swap）すなわち交換され、次のフレームについて処理が繰り返される。従って、トークン・パッシング技術により、ＨＭＭに基づく音声認識システムのよく知られた問題点を非常に高いメモリ効率で解決することができる。すなわち、すべての音声データが処理された後に最適単語シーケンス推測を見つけることができるバックポインタを記憶することである。
【００５１】
幾つかの実施例において、例えばＮグラムグラマーモジュール２１８により、リモートユニットのメモリに記憶された語彙目録について、キャッシュ方式（caching scheme）を用いる。上述のように、語彙目録とは単語とその発音入力からなる辞書である。これらの発音は、フォネティックモデル又は全単語モデルのいずれかを参照するフォネティックスペリング（phonetic spellings）として実現することができる。ある所定の単語入力が複数の代替的な発音入力を有してもよいが、これらの発音入力のほとんどは、いずれの話し手によってもほとんど使用されない。この冗長性は各音声部分の抽象化において繰り返され、所定の話し手が使用しない入力が増える。つまり、語彙目録入力を使用頻度によって分類すれば、上位ｎの語彙目録入力から発声音中の単語を見つけることができる可能性が大きい。この場合、キャッシュを使用頻度により分けた異なるレベルに分割する。例えば、頻繁に使用される語彙目録入力はキャッシュの上位レベルに記憶される。キャッシュ方式は、例えば９０％の時間にキャッシュの上位１０％が使用されるように工夫してもよい。従って、一実施例によれば、マルチパスサーチ（multi-pass）を行い、最も適当な入力を第１のパスにて検討する。このパスからのガーベジスコアが、実際に口頭で話されたことばが最も適当なスペリングのセットに含まれていたと考えるのに十分高い場合、音声デコーダ２１６はその結果を呼び出し機能に報告する。このスコアが低い場合、システムはより広い範囲のスペリングの検討に戻る。第１のパスからのスコアは高いが、最も適当なスペリングのセット内に、発声音の要素についての正しいスペリングが含まれていたか否かを決定できるほどスコアが高くない場合、これも呼び出し機能に報告され、呼び出し機能は、明確化するためにユーザに対してプロンプトを行う。所定の音声部分についての語彙目録スペリングが使用されず、その代替スペリングの幾つかが頻繁に使用される場合、そのスペリングは「ゴミ箱（trash can）」に入れられ、そのユーザに関してそれ以上検討されることはない。この場合、ほとんど使用されないスペリングは検討されず、類似音の発声音をそれらのスペリングのいずれかと混同してしまう可能性は低減されるので、認識精度が向上する。さらに、キャッシュ方式により、システムは少量のデータを検討すればよいので、処理速度が大幅に改善する。
【００５２】
次に、自然言語インターフェースコントロールモジュール２０６について詳細に説明する。自然言語インターフェースコントロールモジュール２０６は、自然言語インターフェースモジュール２２２と、確率的コンテキストフリーグラマー（ＰＣＦＧ）モジュール２２４と、デバイス抽象化モジュール２２６と、フィードバックモジュール２２８を備えている。一般に、自然言語インターフェースモジュール（ＮＬＩＭ）２２２は、コントロール下の各デバイス１１４のコンテキストと、確率的コンテキストフリーグラマー（ＰＣＦＧ）ルール及び抽象化されたデバイスからなるセットにより定義されるユーザの使用履歴の範囲内でユーザの要求を解釈することを役割とする。この場合、自然言語インターフェースモジュール２２２は、音声認識モジュール２０４とマイクロフォンセット１０８のサーチについてコントロールを行う。これは、音声認識モジュール２０４の文法と、検討中の語彙目録をコントロールすることにより行う。また、自然言語インターフェースモジュール２２２は、抽象化されたデバイスの現在の状態、現在の言語参照に加えて、システムパラメータもコントロールする。
【００５３】
上述のように、ユーザがアテンションワードを言うことによりＮＬＩＣＳとのダイアログを開始する。アテンションワードの特定する好ましい方法について、図３を参照して説明する。ユーザはアテンションワードの後に、リモートユニット１０４に接続された各デバイスの能力によってのみ制限される開放型の要求を出す。アテンションワードは、音声デコーダがアテンションワードに基づく適切な文法及びモデルを使用するように指令を与えられるように、ユーザのアイデンティティを自然言語インターフェースモジュール２２２に注意を促す。従って、システムは予めユーザの話すパターン（例えば、発音、構造、癖等）に合わせて設定することができる。
【００５４】
音声認識モジュール２０４は、会話形式の自然言語でなされたユーザの要求を文書化する。発声音は、確率により順序付けられた代替的な推測語列からなるセットとして文書化される。例えば、音声デコーダ２１６はＮ個の最適テキストストリングを自然言語インターフェースモジュール２２２に送り、分析が行われて、その発声音のもっともらしい意味が判断される。
【００５５】
そして、自然言語インターフェースモジュール２２２は、ＰＣＦＧモジュール２２４からの確率的コンテキストフリーグラマー（ＰＣＦＧ）ルールを適用することにより、入力されてくるストリングの構文解析を行い、そのストリングの確率、ユーザ履歴、現システムコンテキストを考慮して最も適当なストリングを見つける。これらのＰＣＦＧルールは、（アテンションワードに基づく）ユーザのコンテキストと、操作されるデバイス（既に決定している場合）のコンテキストを反映する。ＰＣＦＧは最初、使用ゆう度だけでなく使用頻度により順序付けられる。時間が経つと、個々のユーザの癖を追跡して、このデータを反映するようにルールの確率推定を改善する。このデータは、他のシステムからのデータと共用したり組み合わせることができ、共同コーパス（collaborative corpus）（言語資料）を介して再分配することができる。
【００５６】
さらに、ＮＬＩＣＳは２つの文法セットを備えている。１つは音声認識モジュール２０４のＮグラムグラマーであり、もう１つは自然言語インターフェースコントロールモジュール２０６の確率的コンテキストフリーグラマーモジュール２２４である。従来のシステムでは１つの文法セットを使用するだけで、個人用電子製品の分野におけるマンマシンダイアログから収集したデータを用いて推測されたＮグラムグラマーとＰＣＦＧルールの組み合わせを使用しない。
【００５７】
入力されてくるテキストストリングに対してＰＣＦＧルールを用いることで、自然言語インターフェースモジュール２２２は以下の３つの結論のいずれかに達する。すなわち、（１）ユーザの要求を明確に理解して対応することができる、（２）ユーザの要求を明確に理解するが対応できず、この場合、ユーザにその結論を通知する、（３）要求の不明瞭さを解決できず、この場合、ユーザに明確化を要求する。
【００５８】
例えば、（１）の場合、自然言語インターフェースモジュール２２２は、十分に高い信頼レベルで、入力されてくるストリングを「Turn on the television（テレビをオンにする）」要求として解釈する。この場合、デバイス抽象化モジュール２２６内の適切なコマンドが取り出され、コントロール下のデバイス１１４（すなわちテレビ）に送信される。デバイス抽象化モジュール２２６は、テレビ自体が理解可能なフォーマットでユーザの適切な要求を実行するためのコマンドをすべて有している。通常、コマンドはデバイスインターフェース２１０、例えばＩＲ送信器を介してテレビに送信される。これに応じてテレビの電源がオンになる。２番目の場合は、ＮＬＩＣＳが行うことができないタスクをユーザがＮＬＩＣＳに要求する場合である。例えば、ユーザがテレビに爆発するように要求する場合である。
【００５９】
フィードバックモジュール（例えば、テキスト−音声）２２８は、スピーカを介して可聴メッセージを再生して、要求を行うことができない旨をユーザに知らせるように指令を受ける。なお、フィードバックモジュール２２８は、スピーカ２１４を介して音声信号を再生する代わりに、画面表示で通知を表示するだけでもよい。
【００６０】
３番目の場合、生じた不明瞭さの種類に従って不明瞭さを解決する。このように、自然言語インターフェースモジュール２２２は不明瞭な要求を明確化する。不明瞭さが低信頼性が原因で生じる場合、自然言語インターフェースモジュール２２２はその結論を肯定するようにユーザに要求する。例えば、スピーカ２１４が「Did you mean play the CD?（ＣＤ再生のことですか）」と伝える。あるいは、自然言語インターフェースモジュール２２２は、要求を繰り返すようにユーザに要求する。不明瞭さが選択肢のセットが原因で生じる場合、自然言語インターフェースモジュール２２２は、これらの選択肢、例えば「Did you want to watch a movie on the VCR or the DVD?（ＶＣＲで映画を見たかったのですか、それともＤＶＤですか）」という選択肢をユーザに提示する。不明瞭さが現コンテキストが原因で生じる場合、ユーザはその旨を知らされる。例えば、ユーザは、既に再生しているときにＤＶＤプレーヤの再生を要求する場合である。
【００６１】
最初の２つの不明瞭な場合では、システムは、選択肢のセットを考慮した好みに加えて、決定がなされたときの信頼性を反映するようにユーザプロファイルを調整する。幾つかの実施例において、時間の経過とともに、これらの統計を用いてＰＣＦＧルール及び適切な語彙目録内の入力の順序付けをしなおす。その結果、最も適当な入力が常に早期にチェックされ、これらの適当な入力が高信頼性をもたらすので、より高速でより精度の高いシステムが得られる。
【００６２】
なお、自然言語インターフェースモジュール２２２が要求を明確化するようにフィードバックモジュール２２８に指令を与える場合、例えば、スピーカ２１４が「Did you mean play the CD?（ＣＤ再生のことですか）」と伝える場合、自然言語インターフェースモジュール２２２は、マイクロフォンセット１０８で受信するであろうと予測していることに基づいて、コンテキスト及び文法規則を切り換える。例えば、システムは、「ｙｅｓ」又は「ｎｏ」あるいはその変形を受信するであろうと予測しているコンテキストに切り換える。ユーザが「ｙｅｓ」と答えると、自然言語インターフェースモジュール２２２はコンテキストを元の状態に切り換える。
【００６３】
この場合、コンテキストが変化すると、自然言語インターフェースモジュール２２２は文法を切り換えるように音声認識モジュール２０４に指令を与える。文法は使用される語彙目録をコントロールするので、これにより間接的に語彙目録が変更される。
【００６４】
また、自然言語インターフェースコントロールモジュール２０６は、デバイス抽象化モジュール２２６を備えている。デバイス抽象化モジュール２２６は、各デバイス１１４毎に抽象化を記憶する。この場合、各デバイス１１４についてのコマンドと、各デバイス１１４が操作できるオブジェクトがここに記憶される。また、デバイス抽象化モジュール２２６は、デバイスが取ることができる状態とデバイスが行うことができる動作とに、これらのコントロールを関連付ける。デバイス抽象化モジュール２２６の内容は、リモートユニット１０４に接続された種々のデバイスによって異なる。また、デバイス抽象化モジュール２２６は、別のデバイスを動作するために他のデバイスに対するコマンドを有している。例えば、ユーザがＤＶＤの再生を要求すると、ＤＶＤプレーヤの電源をオンにしてＤＶＤを再生させる指令が出される。さらに、テレビをまだオンになっていない場合、コマンド信号が送られてテレビをオンにする。
【００６５】
デバイス抽象化モジュール２２６に記憶されているコマンドは、デバイスインターフェース２１０を介して、コントロール下の各デバイス１１４に送信される。幾つかの実施例において、デバイスインターフェース２１０はＩＲ又はＲＦインターフェースである。
【００６６】
ＮＬＩＣＳは、このようなＩＲリンクを介してコントロール可能なデバイスであればいずれもコントロールするように構成することができる。デバイス抽象化が特定デバイスを操作するためのコマンドを記憶している限り、そのデバイスは自然言語インターフェースによりコントロールされていることを理解しない。デバイスは単にそのデバイスのリモートコントロール又は汎用リモートコントロールが信号を送ったのだと考える。
【００６７】
システム処理コントローラ２０８は、ＮＬＩＣＳ内の種々のモジュール用のコントローラ及びプロセッサとして動作する。その機能については当該技術分野においてよく知られている。さらに、システム処理コントローラ２０８にはインターフェース２１２が接続されている。これによりベースユニット１０６又はコンピュータへの接続が可能になる。インターフェース２１２は、当該技術分野において知られているように、有線又は無線のいずれの種類のリンクであってもよい。
【００６８】
なお、特徴抽出モジュール２０２、音声認識モジュール２０４、自然言語インターフェースコントロールモジュール２０６等、システムの種々の構成要素は、例えば特定用途向けＩＣ（ＡＳＩＣ）又はデジタル信号プロセッサ（ＤＳＰ）を用いて、ソフトウェア又はファームウェアにより実現してもよい。
【００６９】
次に図３を参照して、本発明のさらに他の実施例に係る、図１の自然言語インターフェースコントロールシステムのベースユニット又はベースステーションの機能ブロック図を示す。図３には、ベースユニット１０６（ベースステーション１０６とも称する）と、リニアマイクロフォンセット１０８を有するリモートユニット１０４が図示されている。ベースユニット１０６は、平面マイクロフォンセット１１０と、周波数局在化モジュール３０２と、タイムサーチモジュール３０４と、リモートインターフェース３０６（インターフェース３０６とも称する）と、外部ネットワークインターフェース３０８と、二次キャッシュ３１０を備えている。リニアマイクロフォンセット１０８と平面マイクロフォンセット１１０を組み合わせて、三次元マイクロフォンセット３１２（３Ｄマイクロフォンセット３１２とも称する）を形成する。また、図３には外部ネットワークインターフェース３０８に接続された外部ネットワーク１１６も図示されている。
【００７０】
動作時において、ベースユニット１０６は、リモートユニット１０４（汎用リモートコントロールと同様）に対するドッキングステーションとされる。ベースユニット１０６は、ＮＬＩＣＳが直接又はホスティング（hosting）されたインターネットポータルを介して、家庭用ＬＡＮ又はインターネット等の外部ネットワーク１１６に対してインターフェースを行うことができるような外部ネットワークインターフェース３０８を備えている。この場合、新たな文法、音声モデル、プログラミング情報、ＩＲコード、抽象化されたデバイス等をベースユニット１０６にダウンロードして、例えば二次キャッシュ３１０に記憶することができる。
【００７１】
さらに、ＮＬＩＣＳ１０２は、その文法、モデル、語彙目録を外部ネットワーク上のリモートサーバに送信して記憶する。このリモートストレージは、他の同様のデバイスにより取り出すことができる情報の保存部となる。この場合、語彙目録が常に最新の発音及び用法により更新されるので、システムが老朽化することはない。このため、複数の自然言語インターフェースコントロールシステムは個々にリモートサーバ内の外部データベースに寄与するので、共同語彙目録及び／又は共同コーパスを構築することが可能になる。
【００７２】
さらに、ＮＬＩＣＳ１０２は、リモートユニット１０４のデバイス抽象化モジュールに対するコマンド信号をダウンロードすることができる。例えば、ユーザが、ＮＬＩＣＳとは異なる製造者により製造されたＩＲリモートコントロールを有する旧式のＶＣＲを操作したい場合を考える。ベースユニット１０６はいずれの数のデバイスについても記憶されたコマンドをダウンロードするだけである。そして、これらのコマンドはデバイス抽象化モジュールに記憶される。また、ＮＬＩＣＳは高信頼性の発声音に関連する特徴ベクトルデータとラベルを共同コーパスに送ることができる。このデータは他のデータと組み合わせて、その後再分配される改良モデルを調整するのに用いることができる。このアプローチは、特徴ベクトルデータとそのラベルを送ることにより共同コーパスに新語を組み込むのに使用することができる。送られた特徴ベクトルデータとラベルは他のデータを組み合わされて、フォワード・バックワードアルゴリズム（forward-backward algorithm）を用いて音声表記的に文書化される。そして、この入力は語彙目録に追加され、再分配することができる。
【００７３】
ベースユニット１０６は平面マイクロフォンセット１１０を備えている。平面マイクロフォンセット１１０とリモートユニット１０４のリニアマイクロフォンセット１０８を組み合わせて、三次元マイクロフォンセット３１２を形成する。両セットとも従来のポイントソース特定マイクロフォンからなる。当該技術分野において知られているように、三次元セットは、まず平面セット（例えば平面マイクロフォンセット１１０）を構成し、その後、平面セットの平面に１つ又は２つのマイクロフォンエレメントを追加することにより構成される。この場合、リニアマイクロフォンセット１０８は追加的な１つ又は２つのエレメントとなる。これによりＮＬＩＣＳ１０２は三次元サーチボリュームを定めることが可能になる。デバイスは、そのボリュームの範囲内の音声エネルギーをサーチするだけである。従って、マイクロフォンセット１０８、１１０は、サーチボリュームの範囲内にポイントを局在化する。サーチボリュームの範囲外の音声エネルギー、背景雑音等は減衰させられ、サーチボリュームの範囲内の音声エネルギーは合計される。実際には、ユーザは種々のデバイスをコントロールするために特定ボリューム範囲内に居る必要がある。例えば、ユーザのリビングルームのソファ付近のボリュームとなるようにサーチボリュームを構成する。
【００７４】
リニアマイクロフォンセット１０８と平面マイクロフォンセット１１０はいずれも、自然言語インターフェースモジュール２２２によりコントロールされている。周波数局在化モジュール３０２とタイムサーチモジュール３０４は、３Ｄマイクロフォンセット１１０に接続されている。タイムサーチモジュール３０４は、リモートインターフェース３０６を介してリモートユニット１０４内の自然言語インターフェースモジュール２２２からのコントロール信号を受信する。タイムサーチモジュール３０４はマイクロフォンにより与えられる時間合わせされたバッファをまとめる。これにより、タイムサーチモジュール３０４は推定ヒットの位置を特定し、ヒットの方向に３Ｄマイクロフォンセット１１０を向けさせるのに役立つ。タイムサーチモジュール３０４の機能については当該技術分野ではよく知られている。
【００７５】
周波数局在化モジュール３０２も自然言語インターフェースモジュール２２２のコントロール下にある。周波数局在化モジュール３０２は、当該技術分野で知られているような局在化アルゴリズム（localization algorithm）を実行する。局在化アルゴリズムは、所定ボリューム範囲内の音声エネルギーを局在化するのに用いられる。この場合、ボリューム範囲内の局在化ポイント以外から発する音声エネルギーは減衰し（位相外れ（out of phase）となり）、局在化ポイント内からの音声エネルギーは合計される（位相が合って（in phase）いる）。従って、局在化では周波数領域の構成的干渉と破壊的干渉を利用している。動作時において、サーチモジュールはアテンションワードの粗いサーチを行うのに使用される。音声エネルギーがしきい値を超える場合、局在化モジュールにより精密なサーチが行われる。精密なサーチにパスすると、その単語は認識及びＮＬＩモジュールに送られる。この粗いサーチから精密なサーチまでは、局在化に伴う処理を低減するのに非常に役立つ。例えば、このような局在化では、エネルギーを周波数領域に変換したり戻したりしなければならないので、非常に多くの計算が必要となる。従って、粗いサーチで多数の推定ヒットを排除することにより、処理が低減される。ＳＲモジュールが推定ヒットをアテンションワードであると識別すると、この推定ヒットは自然言語インターフェースモジュール２２２に送られて分析が行われ、どのアテンションワードが言われたのかが判断される。なお、自然言語インターフェースモジュールのコンテキストは、最初はアテンションワードのコンテキストである。すなわち、システムはシステムを作動させるためのアテンションワードをサーチしている。アテンションワードが見つかると、ＮＬＩＣＳのコンテキストは要求コンテキストに変更させられ、ＮＬＩＣＳに接続されたデバイスにより制限される要求を探索するようになる。
【００７６】
ベースユニット１０６の二次キャッシュは、リモートユニット１０４で使用する二次的モデル、文法及び／又は語彙目録を記憶するのに用いられる。これにより、実行時に二次記憶デバイス又は二次キャッシュ（例えば、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ）から（ストリーム（stream））音声モデル及び文法を読み込むように設計された音声認識モジュールを補完する。データは読み込まれると、いずれの前処理も行わずに直ちに使用することができる。このことはコンテキスト切り換えと効果的に結びつく。文法コンテキスト切り換え特徴に伴い、必要な処理が少なくなるとともに音声認識精度が高くなるが、これに加えて、頻繁に使用されない文法等については、リモートユニット１０４内のメモリを占有せずに、二次キャッシュ３１０に記憶して必要なときに読み出せばよいので、必要なメモリが大幅に低減される。さらに、音声認識精度を高める音声データをより多く使用することができ、また、二次記憶デバイスが種々の方言やなまりについての基本モデルを大量に保持することができるので、話し手に適応するための種々のアプローチを効率的に実施することができる。また、二次キャッシュは外部ネットワーク１１６からダウンロードされるモデル、文法等の記憶デバイスであってもよい。
【００７７】
次に図４を参照して、図１〜図３の自然言語インターフェースコントロールシステムの自然言語インターフェースアルゴリズム（natural language interface algorithm）で行われる各ステップのフローチャートを示す。まず、音声認識モジュール２０４と自然言語インターフェースモジュール２２２が、アテンションワードを探索するコンテキストに初期設定される（ステップ４０２）。これによりＮＬＩＣＳは非プロンプト式のユーザ要求を受け付けることができるようになるが、まず、ユーザ要求が入力されてくることをシステムに通知しなければならない。アテンションワードにより、この作業が行われる。この場合、隠れマルコフモデルの文法及びモデルを用いて、アテンションワードの存在を具体的に識別する。次に、リモートユニットがマイクロフォンセットにて音声データを受信する（ステップ４０４）。音声データは、５０％のオーバラップを用いて１２．８ｍｓｅｃのフレームに分離される。音声データから３８次元特徴ベクトルを取り出す。これらの特徴は、メル周波数ケプストラル係数１〜１２と、ＭＦＣ係数０〜１２の一次及び二次導関数からなる。このように、音声データから特徴ベクトルを作成する（ステップ４０６）。これは特徴抽出モジュール２０２にて行われる。
【００７８】
次に、音声認識モジュール２０４が、入力されてくる特徴ベクトル（自然言語インターフェースにより特定されたもの）に対して音声隠れマルコフモデル（ＨＭＭ）とＮグラムグラマーを適用し、イン・ボキャブラリ（ＩＶ）ビタビ（尤度（likelihood））スコアを取り出す（ステップ４０８）。そして、ＯＯＶイベントのモデル、例えば単音モデルのエルゴードバンク（ergodic bank）を用いて、特徴データの再処理を行い、アウト・オブ・ボキャブラリ（ＯＯＶ）ビタビスコアを取り出す（ステップ４１０）。ＩＶ及びＯＯＶスコアからガーベジスコアを計算する。例えば、ガーベジスコアは［Ｌｎ（ＩＶスコア）−Ｌｎ（ＯＯＶスコア）］／フレーム数に等しい（ステップ４１１）。スコアが低い場合、ガーベジ発声音であることがわかる。Ｎ個の最適文書化テキストストリングとそれに対応するガーベジスコアが、自然言語インターフェースモジュール２２２に送られる（ステップ４１２）。自然言語インターフェースモジュール２２２は、アテンション発声音についてのデバイスコンテキスト情報に加えて確率的コンテキストフリーグラマー（ＰＣＦＧ）ルールセットを用いて、入力ストリングの構文解析を行う（ステップ４１４）。上述のように、自然言語インターフェースモジュール２２２はアテンション方式を必要とする。例えば、ユーザ独自のアテンションワード（Mona）、あるいは許容可能な文法規則と関連した話し手のＩＤを受信する必要がある。
【００７９】
ユーザがシステムの注意を引くと、すなわち、自然言語インターフェースモジュール２２２がアテンションワードを検出すると（ステップ４１６）、自然言語インターフェースモジュールはユーザのアイデンティティを知る。これはユーザに応じてシステムを構成することにより行われる。適切なシステムパラメータを変更するとともに、音声認識モジュール２０４に対して、コマンド及び要求を受け付けるのに適当であり、かつユーザに応じた文法に切り換えるように指示することにより行う。音声認識モジュール２０４は、文法規則及び個々のユーザに応じて語彙目録を変更する。このように、音声認識モジュール２０４と自然言語インターフェースモジュール２２２は、ユーザ要求を探索するようにコンテキストを変更する（ステップ４１８）。また、自然言語インターフェースモジュールは、マイクロフォンセットに対して、環境雑音をうまく排除するため焦点を狭めるように指示する。さらに、高いボリュームで再生を行っているＮＬＩＣＳコントロール下のデバイス（ＴＶ、ＣＤ等）があれば、自然言語インターフェースモジュールはアンプにボリュームを下げるように指示する。そして、自然言語インターフェースモジュール２２２はタイマを開始して、タイムアウト時間が終了するまでユーザの要求を待機する。システムがタイムアウトすると、自然言語インターフェースモジュール２２２は、アテンションワードをサーチするのに適当な音声認識モジュール規則及び語彙目録をリセットすることにより、システムの再構成を行う。また、それらが調整されると、マイクロフォンセットとアンプボリュームがリセットされる。これらのリセットステップはステップ４０２で行われたのと同様である。
【００８０】
ユーザ要求探索のコンテキストに切り換えた（ステップ４１８）後は、このパスでは音声がコントロール下のデバイスのうちの１以上を操作するための要求であること以外は、ステップ４０４〜４１４を繰り返す。
【００８１】
自然言語インターフェースモジュール２２２がユーザ要求を検出すると（ステップ４１６）、すなわち、ユーザ要求（ＰＣＦＧグラマーシステム及びデバイスコンテキストにより決定される）が受信されると、３つの結論のいずれかを引き出す（ステップ４２０、４２２、４２４）。ステップ４２０の場合、ユーザ要求が明確に理解され、自然言語インターフェースモジュールはユーザ要求に応じることができる。従って、自然言語インターフェースモジュール２２２は、抽象化されたデバイスにより示されるように、デバイスインターフェース２１０を介して適切な信号を送ることにより、コマンドを実行する。そして、音声認識モジュール２０４及び自然言語インターフェースコントロールモジュール２０６のコンテキストをアテンションワード探索のコンテキストに切り換えた（ステップ４２６）後、ステップ４０４に進む。
【００８２】
ステップ４２２の場合、ユーザ要求が明確に理解されるが、自然言語インターフェースモジュールはユーザ要求に応じることができない。この場合、ユーザにはその旨が通知され、さらなる指示を出すためにプロンプトを行う。システムは、さらなるユーザ要求を待つかタイムアウトして、ステップ４２６に進む。
【００８３】
ステップ４２４の場合、要求について不明瞭さを解決できず、この場合、自然言語インターフェースモジュール２２２は、例えばフィードバックモジュール２２８及びスピーカ２１４を用いて、ユーザに明確化を要求する。不明瞭さは、生じた不明瞭さの種類に従って解決する。不明瞭さが低信頼性が原因で生じる場合、自然言語インターフェースモジュール２２２はその結論をユーザに対して肯定する（例えば、「Did you mean play the CD?（ＣＤ再生のことですか）」）。ユーザが結論を確認すると、コマンドを実行し、システムがリセットされる（ステップ４２６）。システムは、選択肢のセットを考慮した好みに加えて、決定がなされたときの信頼性を反映するようにユーザプロファイルを調整する。幾つかの実施例において、時間の経過とともに、これらの統計を用いてＰＣＦＧルール及び適切な語彙目録内の入力の順序付けをしなおす。その結果、最も適当な入力が常に早期にチェックされ、これらの適当な入力が高信頼性をもたらすので、より高速でより精度の高いシステムが得られる。
【００８４】
不明瞭さが選択肢のセットが原因で生じる場合、自然言語インターフェースモジュール２２２は、これらの選択肢をユーザに提示する（例えば「Did you want to watch a movie on the DVD player or the VCR?（ＤＶＤプレーヤで映画を見たかったのですか、それともＶＣＲですか）」）。ユーザが与えられたオプションの中から選択すると、自然言語インターフェースモジュール２２２はコマンドを実行し、そうでない場合はシステムがリセットされる（ステップ４２６）。いずれの場合も、上述のようにユーザプロファイルが更新される。
【００８５】
不明瞭さが現コンテキスト（例えば、ユーザがＴＶを停止するように要求するが、ＴＶがオフであるとき）が原因で生じる場合、ユーザはその旨を知らされる。
【００８６】
以上、本発明を具体的な実施例や用例を用いて説明したが、請求の範囲に記載される本発明の主旨を逸脱しない範囲で、当該技術分野の通常の技術者により種々の変更例を行うことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のシステムレベルのブロック図である。
【図２】 本発明の他の実施例に係る、図１の自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のリモートユニットの機能ブロック図である。
【図３】 本発明のさらに他の実施例に係る、図１の自然言語インターフェースコントロールシステム（ＮＬＩＣＳ）のベースステーションユニットの機能ブロック図である。
【図４】 図１乃至図３の自然言語インターフェースコントロールシステムの自然言語インターフェースアルゴリズムにおいて行われる各ステップを示すフローチャートである。
Claims (34)
- 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
を有し、少なくとも一つの異なる音声モデル及び少なくとも一つの異なる文法がネットワークを通じてダウンロードされ、
さらに、自然言語インターフェースコントロールシステムは、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
上記自然言語インターフェースモジュールは、上記複数のデバイスのそれぞれを、上記複数のデバイスのそれぞれに対応する異なる文法のそれぞれと複数の語彙目録のそれぞれに抽象化することを特徴とする自然言語インターフェースコントロールシステム。 - 上記自然言語インターフェースモジュールに接続された上記複数のデバイスをさらに有することを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記音声認識モジュールはＮグラムグラマーを用いることを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記自然言語インターフェースモジュールは確率的コンテキストフリーグラマーを用いることを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記三次元マイクロフォンセットは、平面マイクロフォンセットと、空間的に異なる平面に配置された少なくとも１つのリニアマイクロフォンセットとを備えることを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記デバイスインターフェースは無線デバイスインターフェースからなることを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記自然言語インターフェースコントロールシステムに接続された外部ネットワークインターフェースをさらに有することを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記三次元マイクロフォンセットが有する第１のマイクロフォンセットと、上記特徴抽出モジュールと、上記音声認識モジュールと、上記自然言語インターフェースモジュールとを有するリモートユニットをさらに有することを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 上記リモートユニットに接続されたベースユニットをさらに有することを特徴とする請求の範囲第８項記載の自然言語インターフェースコントロールシステム。
- 上記ベースユニットは上記三次元マイクロフォンセットが有する第２のマイクロフォンセットを含むことを特徴とする請求の範囲第９項記載の自然言語インターフェースコントロールシステム。
- 上記第１のマイクロフォンセットと上記第２のマイクロフォンセットとは、上記三次元マイクロフォンセットを実現することを特徴とする請求の範囲第１項記載の自然言語インターフェースコントロールシステム。
- 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
上記自然言語インターフェースモジュールは、上記複数のデバイスのそれぞれを、上記複数のデバイスのそれぞれに対応する複数の文法のそれぞれと複数の語彙目録のそれぞれに抽象化することを特徴とする自然言語インターフェースコントロールシステム。 - 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
上記自然言語インターフェースモジュールは、アテンションワードを受け取って認識すると、上記非プロンプト式で開放型のユーザ要求をサーチすることを特徴とする自然言語インターフェースコントロールシステム。 - 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
上記自然言語インターフェースモジュールは、アテンションワードを受け取って認識すると、文法、音声モデル、語彙目録のコンテキスト切り換えを行うことを特徴とする自然言語インターフェースコントロールシステム。 - 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
さらに、自然言語インターフェースコントロールシステムは、
上記複数のデバイスそれぞれについての異なる文法を記憶するためのグラマーモジュールを有することを特徴とする自然言語インターフェースコントロールシステム。 - 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
三次元マイクロフォンセットと、
上記三次元マイクロフォンセットに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールであって、隠れマルコフモデルを用いて、異なる音声モデル間、及び、異なる文法間で切り替えを行うことができる音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、上記自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
さらに、自然言語インターフェースコントロールシステムは、
上記複数のデバイスそれぞれについての異なる音声モデルを記憶するための音声モデルモジュールを有することを特徴とする自然言語インターフェースコントロールシステム。 - 複数のデバイスを操作する自然言語インターフェースコントロールシステムであって、
第１のマイクロフォンと、
上記第１のマイクロフォンに接続された特徴抽出モジュールであって、音声検出を行い、発生音の開始部及び終了部における多数の余分サンプルを用いることによって開始部及び終了部の無音を見つけ、開始部及び終了部の無音を除去することにより、発生音の音声部分を取り出す特徴抽出モジュールと、
上記特徴抽出モジュールに接続されている音声認識モジュールと、
上記音声認識モジュールに接続された自然言語インタフェースモジュールと、
上記自然言語インターフェースモジュールに接続されたデバイスインターフェースとを有し、当該自然言語インターフェースモジュールは、ユーザからの非プロンプト式で開放型の自然言語要求に基づいて、上記デバイスインターフェースに接続された一又は二以上のタイプからなる複数のデバイスを操作し、
さらに、自然言語インターフェースコントロールシステムは、
上記自然言語インターフェースコントロールシステムに接続されている外部ネットワークインタフェースを有し、上記自然言語インターフェースモジュールは、上記複数のデバイスのそれぞれを、上記複数のデバイスのそれぞれに対応する複数の文法のそれぞれと複数の語彙目録のそれぞれに抽象化することを特徴とする自然言語インターフェースコントロールシステム。 - 上記自然言語インターフェースモジュールに接続されている上記複数のデバイスをさらに有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記音声認識モジュールはＮグラムグラマーを用いることを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記自然言語インターフェースモジュールは確率的コンテキストフリーグラマーを用いることを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記第１のマイクロフォンは、平面マイクロフォンセットと、空間的に異なる平面に配置された少なくとも１つのリニアマイクロフォンセットとを備える三次元マイクロフォンセットを有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記自然言語インターフェースモジュールは、アテンションワードを受け取って認識すると、非プロンプト式で開放型のユーザ要求をサーチすることを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記自然言語インターフェースモジュールは、アテンションワードを受け取って認識すると、文法、音声モデル、語彙目録のコンテキスト切り換えを行うことを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記複数のデバイスのそれぞれについて異なる文法を記憶するグラマーモジュールをさらに有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記複数のデバイスのそれぞれについて異なる音声モデルを記憶する音声モデルモジュールをさらに有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記デバイスインターフェースは無線デバイスインターフェースからなることを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記第１のマイクロフォンと、上記特徴抽出モジュールと、上記音声認識モジュールと、上記自然言語インターフェースモジュールとを有するリモートユニットをさらに有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記リモートユニットに接続されたベースユニットをさらに有することを特徴とする請求の範囲第２７項記載の自然言語インターフェースコントロールシステム。
- 上記ベースユニットは第２のマイクロフォンセットを有することを特徴とする請求の範囲第２８項記載の自然言語インターフェースコントロールシステム。
- 上記第１のマイクロフォンは、第１のマイクロフォンセットを有し、当該第１のマイクロフォンセットと上記第２のマイクロフォンセットは、三次元マイクロフォンセットを実現することを特徴とする請求の範囲第２９項記載の自然言語インターフェースコントロールシステム。
- 上記外部ネットワークインタフェースに接続されている中央データベースであって、文法、音声モデル、抽象化されたデバイス、プログラミング情報、語彙目録のうちの少なくとも一つを有する中央データベースをさらに有することを特徴とする請求の範囲第１７項記載の自然言語インターフェースコントロールシステム。
- 上記中央データベースは、外部ネットワークを介して上記外部ネットワークインタフェースに接続されていることを特徴とする請求の範囲第３１項記載の自然言語インターフェースコントロールシステム。
- 上記外部ネットワーク及び上記中央データベースに接続されているリモートサーバをさらに有することを特徴とする請求の範囲第３２項記載の自然言語インターフェースコントロールシステム。
- 他の自然言語インターフェースコントロールシステムと、
上記他の自然言語インターフェースコントロールシステム及び上記外部ネットワークに接続されている他の外部ネットワークインタフェースと、
をさらに有することを特徴とする請求の範囲第３２項記載の自然言語インターフェースコントロールシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16028199P | 1999-10-19 | 1999-10-19 | |
| US60/160,281 | 1999-10-19 | ||
| PCT/US2000/029036 WO2001029823A1 (en) | 1999-10-19 | 2000-10-19 | Natural language interface control system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011135965A Division JP2011237811A (ja) | 1999-10-19 | 2011-06-20 | 自然言語インターフェースコントロールシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003515177A JP2003515177A (ja) | 2003-04-22 |
| JP5118280B2 true JP5118280B2 (ja) | 2013-01-16 |
Family
ID=22576252
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001532534A Expired - Lifetime JP5118280B2 (ja) | 1999-10-19 | 2000-10-19 | 自然言語インターフェースコントロールシステム |
| JP2011135965A Pending JP2011237811A (ja) | 1999-10-19 | 2011-06-20 | 自然言語インターフェースコントロールシステム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011135965A Pending JP2011237811A (ja) | 1999-10-19 | 2011-06-20 | 自然言語インターフェースコントロールシステム |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US7447635B1 (ja) |
| EP (1) | EP1222655A1 (ja) |
| JP (2) | JP5118280B2 (ja) |
| KR (1) | KR100812109B1 (ja) |
| AU (1) | AU8030300A (ja) |
| CA (2) | CA2748396A1 (ja) |
| WO (1) | WO2001029823A1 (ja) |
Families Citing this family (343)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU6630800A (en) | 1999-08-13 | 2001-03-13 | Pixo, Inc. | Methods and apparatuses for display and traversing of links in page character array |
| CA2748396A1 (en) * | 1999-10-19 | 2001-04-26 | Sony Electronics Inc. | Natural language interface control system |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| DE10021389A1 (de) * | 2000-05-03 | 2001-11-08 | Nokia Mobile Phones Ltd | Verfahren zum Steuern eines Systems, insbesondere eines elektrischen und/oder elektronischen Systems mit zumindest einer Anwendungseinrichtung |
| US6741963B1 (en) | 2000-06-21 | 2004-05-25 | International Business Machines Corporation | Method of managing a speech cache |
| US7324947B2 (en) | 2001-10-03 | 2008-01-29 | Promptu Systems Corporation | Global speech user interface |
| ITFI20010199A1 (it) | 2001-10-22 | 2003-04-22 | Riccardo Vieri | Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico |
| US20030212761A1 (en) * | 2002-05-10 | 2003-11-13 | Microsoft Corporation | Process kernel |
| US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| US7693720B2 (en) * | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
| DE10252457A1 (de) * | 2002-11-12 | 2004-05-27 | Harman Becker Automotive Systems Gmbh | Spracheingabe-Interface |
| US7987091B2 (en) * | 2002-12-02 | 2011-07-26 | Sony Corporation | Dialog control device and method, and robot device |
| JP3678421B2 (ja) * | 2003-02-19 | 2005-08-03 | 松下電器産業株式会社 | 音声認識装置及び音声認識方法 |
| US7669134B1 (en) | 2003-05-02 | 2010-02-23 | Apple Inc. | Method and apparatus for displaying information during an instant messaging session |
| US20050125486A1 (en) * | 2003-11-20 | 2005-06-09 | Microsoft Corporation | Decentralized operating system |
| US20090164215A1 (en) * | 2004-02-09 | 2009-06-25 | Delta Electronics, Inc. | Device with voice-assisted system |
| EP1723636A1 (de) * | 2004-03-12 | 2006-11-22 | Siemens Aktiengesellschaft | Benutzer- und vokabularadaptive bestimmung von konfidenz- und rückweisungsschwellen |
| US7813917B2 (en) * | 2004-06-22 | 2010-10-12 | Gary Stephen Shuster | Candidate matching using algorithmic analysis of candidate-authored narrative information |
| US8412521B2 (en) * | 2004-08-20 | 2013-04-02 | Multimodal Technologies, Llc | Discriminative training of document transcription system |
| US8335688B2 (en) * | 2004-08-20 | 2012-12-18 | Multimodal Technologies, Llc | Document transcription system training |
| US7925506B2 (en) * | 2004-10-05 | 2011-04-12 | Inago Corporation | Speech recognition accuracy via concept to keyword mapping |
| US8064663B2 (en) * | 2004-12-02 | 2011-11-22 | Lieven Van Hoe | Image evaluation system, methods and database |
| EP1693829B1 (en) * | 2005-02-21 | 2018-12-05 | Harman Becker Automotive Systems GmbH | Voice-controlled data system |
| US20060206333A1 (en) * | 2005-03-08 | 2006-09-14 | Microsoft Corporation | Speaker-dependent dialog adaptation |
| US7885817B2 (en) * | 2005-03-08 | 2011-02-08 | Microsoft Corporation | Easy generation and automatic training of spoken dialog systems using text-to-speech |
| US7734471B2 (en) * | 2005-03-08 | 2010-06-08 | Microsoft Corporation | Online learning for dialog systems |
| US7707131B2 (en) | 2005-03-08 | 2010-04-27 | Microsoft Corporation | Thompson strategy based online reinforcement learning system for action selection |
| US7583808B2 (en) * | 2005-03-28 | 2009-09-01 | Mitsubishi Electric Research Laboratories, Inc. | Locating and tracking acoustic sources with microphone arrays |
| GB2426368A (en) * | 2005-05-21 | 2006-11-22 | Ibm | Using input signal quality in speeech recognition |
| US7640160B2 (en) | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
| TWI270052B (en) * | 2005-08-09 | 2007-01-01 | Delta Electronics Inc | System for selecting audio content by using speech recognition and method therefor |
| US7620549B2 (en) | 2005-08-10 | 2009-11-17 | Voicebox Technologies, Inc. | System and method of supporting adaptive misrecognition in conversational speech |
| US7949529B2 (en) | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
| EP1934971A4 (en) * | 2005-08-31 | 2010-10-27 | Voicebox Technologies Inc | DYNAMIC LANGUAGE SCRIPTURE |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| US7328199B2 (en) | 2005-10-07 | 2008-02-05 | Microsoft Corporation | Componentized slot-filling architecture |
| US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
| US7606700B2 (en) | 2005-11-09 | 2009-10-20 | Microsoft Corporation | Adaptive task framework |
| US7822699B2 (en) * | 2005-11-30 | 2010-10-26 | Microsoft Corporation | Adaptive semantic reasoning engine |
| US20070124147A1 (en) * | 2005-11-30 | 2007-05-31 | International Business Machines Corporation | Methods and apparatus for use in speech recognition systems for identifying unknown words and for adding previously unknown words to vocabularies and grammars of speech recognition systems |
| US8442828B2 (en) * | 2005-12-02 | 2013-05-14 | Microsoft Corporation | Conditional model for natural language understanding |
| US7933914B2 (en) | 2005-12-05 | 2011-04-26 | Microsoft Corporation | Automatic task creation and execution using browser helper objects |
| US7831585B2 (en) | 2005-12-05 | 2010-11-09 | Microsoft Corporation | Employment of task framework for advertising |
| KR100764247B1 (ko) * | 2005-12-28 | 2007-10-08 | 고려대학교 산학협력단 | 2단계 탐색을 이용한 음성인식 장치 및 그 방법 |
| US7996783B2 (en) | 2006-03-02 | 2011-08-09 | Microsoft Corporation | Widget searching utilizing task framework |
| US7890325B2 (en) * | 2006-03-16 | 2011-02-15 | Microsoft Corporation | Subword unit posterior probability for measuring confidence |
| KR100845428B1 (ko) * | 2006-08-25 | 2008-07-10 | 한국전자통신연구원 | 휴대용 단말기의 음성 인식 시스템 |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US10037781B2 (en) * | 2006-10-13 | 2018-07-31 | Koninklijke Philips N.V. | Interface systems for portable digital media storage and playback devices |
| US8073681B2 (en) | 2006-10-16 | 2011-12-06 | Voicebox Technologies, Inc. | System and method for a cooperative conversational voice user interface |
| US8032374B2 (en) * | 2006-12-05 | 2011-10-04 | Electronics And Telecommunications Research Institute | Method and apparatus for recognizing continuous speech using search space restriction based on phoneme recognition |
| US7818176B2 (en) | 2007-02-06 | 2010-10-19 | Voicebox Technologies, Inc. | System and method for selecting and presenting advertisements based on natural language processing of voice-based input |
| CN101622660A (zh) * | 2007-02-28 | 2010-01-06 | 日本电气株式会社 | 语音识别装置、语音识别方法及语音识别程序 |
| US7813929B2 (en) * | 2007-03-30 | 2010-10-12 | Nuance Communications, Inc. | Automatic editing using probabilistic word substitution models |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| ITFI20070177A1 (it) | 2007-07-26 | 2009-01-27 | Riccardo Vieri | Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento. |
| JP5238205B2 (ja) * | 2007-09-07 | 2013-07-17 | ニュアンス コミュニケーションズ，インコーポレイテッド | 音声合成システム、プログラム及び方法 |
| JP4455633B2 (ja) * | 2007-09-10 | 2010-04-21 | 株式会社東芝 | 基本周波数パターン生成装置、基本周波数パターン生成方法及びプログラム |
| US9053089B2 (en) | 2007-10-02 | 2015-06-09 | Apple Inc. | Part-of-speech tagging using latent analogy |
| US8165886B1 (en) | 2007-10-04 | 2012-04-24 | Great Northern Research LLC | Speech interface system and method for control and interaction with applications on a computing system |
| US8595642B1 (en) | 2007-10-04 | 2013-11-26 | Great Northern Research, LLC | Multiple shell multi faceted graphical user interface |
| JP2011503638A (ja) * | 2007-10-26 | 2011-01-27 | 本田技研工業株式会社 | カーナビゲーションシステムのための自由会話命令分類の改良 |
| US8364694B2 (en) | 2007-10-26 | 2013-01-29 | Apple Inc. | Search assistant for digital media assets |
| US8010369B2 (en) | 2007-10-30 | 2011-08-30 | At&T Intellectual Property I, L.P. | System and method for controlling devices that are connected to a network |
| US8620662B2 (en) | 2007-11-20 | 2013-12-31 | Apple Inc. | Context-aware unit selection |
| US8140335B2 (en) | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
| US8595004B2 (en) * | 2007-12-18 | 2013-11-26 | Nec Corporation | Pronunciation variation rule extraction apparatus, pronunciation variation rule extraction method, and pronunciation variation rule extraction program |
| US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8327272B2 (en) | 2008-01-06 | 2012-12-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
| US8065143B2 (en) | 2008-02-22 | 2011-11-22 | Apple Inc. | Providing text input using speech data and non-speech data |
| US8289283B2 (en) | 2008-03-04 | 2012-10-16 | Apple Inc. | Language input interface on a device |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US9305548B2 (en) | 2008-05-27 | 2016-04-05 | Voicebox Technologies Corporation | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8589161B2 (en) | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
| US8464150B2 (en) | 2008-06-07 | 2013-06-11 | Apple Inc. | Automatic language identification for dynamic text processing |
| KR20100007625A (ko) * | 2008-07-14 | 2010-01-22 | 엘지전자 주식회사 | 이동 단말기 및 그 메뉴 표시 방법 |
| US20130218565A1 (en) * | 2008-07-28 | 2013-08-22 | Nuance Communications, Inc. | Enhanced Media Playback with Speech Recognition |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US9020816B2 (en) | 2008-08-14 | 2015-04-28 | 21Ct, Inc. | Hidden markov model for speech processing with training method |
| US8768702B2 (en) | 2008-09-05 | 2014-07-01 | Apple Inc. | Multi-tiered voice feedback in an electronic device |
| US8898568B2 (en) | 2008-09-09 | 2014-11-25 | Apple Inc. | Audio user interface |
| DE102008046431A1 (de) * | 2008-09-09 | 2010-03-11 | Deutsche Telekom Ag | Sprachdialogsystem mit Reject-Vermeidungsverfahren |
| US8583418B2 (en) | 2008-09-29 | 2013-11-12 | Apple Inc. | Systems and methods of detecting language and natural language strings for text to speech synthesis |
| US8355919B2 (en) | 2008-09-29 | 2013-01-15 | Apple Inc. | Systems and methods for text normalization for text to speech synthesis |
| US8352268B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for selective rate of speech and speech preferences for text to speech synthesis |
| US8396714B2 (en) | 2008-09-29 | 2013-03-12 | Apple Inc. | Systems and methods for concatenation of words in text to speech synthesis |
| US8352272B2 (en) | 2008-09-29 | 2013-01-08 | Apple Inc. | Systems and methods for text to speech synthesis |
| US8712776B2 (en) | 2008-09-29 | 2014-04-29 | Apple Inc. | Systems and methods for selective text to speech synthesis |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US8494140B2 (en) * | 2008-10-30 | 2013-07-23 | Centurylink Intellectual Property Llc | System and method for voice activated provisioning of telecommunication services |
| CN101393740B (zh) * | 2008-10-31 | 2011-01-19 | 清华大学 | 一种计算机多方言背景的汉语普通话语音识别的建模方法 |
| US9959870B2 (en) | 2008-12-11 | 2018-05-01 | Apple Inc. | Speech recognition involving a mobile device |
| US8335324B2 (en) * | 2008-12-24 | 2012-12-18 | Fortemedia, Inc. | Method and apparatus for automatic volume adjustment |
| US8862252B2 (en) | 2009-01-30 | 2014-10-14 | Apple Inc. | Audio user interface for displayless electronic device |
| US8326637B2 (en) | 2009-02-20 | 2012-12-04 | Voicebox Technologies, Inc. | System and method for processing multi-modal device interactions in a natural language voice services environment |
| US8380507B2 (en) | 2009-03-09 | 2013-02-19 | Apple Inc. | Systems and methods for determining the language to use for speech generated by a text to speech engine |
| JP2010224194A (ja) * | 2009-03-23 | 2010-10-07 | Sony Corp | 音声認識装置及び音声認識方法、言語モデル生成装置及び言語モデル生成方法、並びにコンピューター・プログラム |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US10540976B2 (en) | 2009-06-05 | 2020-01-21 | Apple Inc. | Contextual voice commands |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US9502025B2 (en) | 2009-11-10 | 2016-11-22 | Voicebox Technologies Corporation | System and method for providing a natural language content dedication service |
| US9171541B2 (en) | 2009-11-10 | 2015-10-27 | Voicebox Technologies Corporation | System and method for hybrid processing in a natural language voice services environment |
| US8682649B2 (en) | 2009-11-12 | 2014-03-25 | Apple Inc. | Sentiment prediction from textual data |
| US8600743B2 (en) | 2010-01-06 | 2013-12-03 | Apple Inc. | Noise profile determination for voice-related feature |
| US8311838B2 (en) | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
| US8381107B2 (en) | 2010-01-13 | 2013-02-19 | Apple Inc. | Adaptive audio feedback system and method |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US8676581B2 (en) * | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
| WO2011089450A2 (en) | 2010-01-25 | 2011-07-28 | Andrew Peter Nelson Jerram | Apparatuses, methods and systems for a digital conversation management platform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8639516B2 (en) | 2010-06-04 | 2014-01-28 | Apple Inc. | User-specific noise suppression for voice quality improvements |
| US8738377B2 (en) | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
| US8713021B2 (en) | 2010-07-07 | 2014-04-29 | Apple Inc. | Unsupervised document clustering using latent semantic density analysis |
| US9104670B2 (en) | 2010-07-21 | 2015-08-11 | Apple Inc. | Customized search or acquisition of digital media assets |
| US8719006B2 (en) | 2010-08-27 | 2014-05-06 | Apple Inc. | Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis |
| US8719014B2 (en) | 2010-09-27 | 2014-05-06 | Apple Inc. | Electronic device with text error correction based on voice recognition data |
| US20120109649A1 (en) * | 2010-11-01 | 2012-05-03 | General Motors Llc | Speech dialect classification for automatic speech recognition |
| US8873717B2 (en) | 2010-11-23 | 2014-10-28 | Centurylink Intellectual Property Llc | Emergency alert signaling |
| US10515147B2 (en) | 2010-12-22 | 2019-12-24 | Apple Inc. | Using statistical language models for contextual lookup |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US8781836B2 (en) | 2011-02-22 | 2014-07-15 | Apple Inc. | Hearing assistance system for providing consistent human speech |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US20120246081A1 (en) * | 2011-03-25 | 2012-09-27 | Next It Corporation | Systems and Methods for Automated Itinerary Modification |
| US20120260290A1 (en) * | 2011-04-07 | 2012-10-11 | Sony Corporation | User interface for audio video display device such as tv |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| US20120310642A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Automatically creating a mapping between text data and audio data |
| US8812294B2 (en) | 2011-06-21 | 2014-08-19 | Apple Inc. | Translating phrases from one language into another using an order-based set of declarative rules |
| EP2851895A3 (en) | 2011-06-30 | 2015-05-06 | Google, Inc. | Speech recognition using variable-length context |
| US9367526B1 (en) * | 2011-07-26 | 2016-06-14 | Nuance Communications, Inc. | Word classing for language modeling |
| US8706472B2 (en) | 2011-08-11 | 2014-04-22 | Apple Inc. | Method for disambiguating multiple readings in language conversion |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| US8762156B2 (en) | 2011-09-28 | 2014-06-24 | Apple Inc. | Speech recognition repair using contextual information |
| US9620122B2 (en) * | 2011-12-08 | 2017-04-11 | Lenovo (Singapore) Pte. Ltd | Hybrid speech recognition |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US20150051913A1 (en) * | 2012-03-16 | 2015-02-19 | Lg Electronics Inc. | Unlock method using natural language processing and terminal for performing same |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US8775442B2 (en) | 2012-05-15 | 2014-07-08 | Apple Inc. | Semantic search using a single-source semantic model |
| WO2013185109A2 (en) | 2012-06-08 | 2013-12-12 | Apple Inc. | Systems and methods for recognizing textual identifiers within a plurality of words |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US8521523B1 (en) * | 2012-06-20 | 2013-08-27 | Google Inc. | Selecting speech data for speech recognition vocabulary |
| WO2013192535A1 (en) * | 2012-06-22 | 2013-12-27 | Johnson Controls Technology Company | Multi-pass vehicle voice recognition systems and methods |
| DE112012006622T5 (de) * | 2012-06-29 | 2015-04-09 | Harman International (China) Holdings Co., Ltd. | Universelles Steuerungsgerät als Schnittstelle für Sensoren und Steuerungen |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US9536528B2 (en) * | 2012-07-03 | 2017-01-03 | Google Inc. | Determining hotword suitability |
| US10957310B1 (en) | 2012-07-23 | 2021-03-23 | Soundhound, Inc. | Integrated programming framework for speech and text understanding with meaning parsing |
| US9311914B2 (en) * | 2012-09-03 | 2016-04-12 | Nice-Systems Ltd | Method and apparatus for enhanced phonetic indexing and search |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| US8935167B2 (en) | 2012-09-25 | 2015-01-13 | Apple Inc. | Exemplar-based latent perceptual modeling for automatic speech recognition |
| US10438591B1 (en) * | 2012-10-30 | 2019-10-08 | Google Llc | Hotword-based speaker recognition |
| US9336771B2 (en) * | 2012-11-01 | 2016-05-10 | Google Inc. | Speech recognition using non-parametric models |
| JP5887253B2 (ja) | 2012-11-16 | 2016-03-16 | 本田技研工業株式会社 | メッセージ処理装置 |
| US9813262B2 (en) | 2012-12-03 | 2017-11-07 | Google Technology Holdings LLC | Method and apparatus for selectively transmitting data using spatial diversity |
| US9591508B2 (en) | 2012-12-20 | 2017-03-07 | Google Technology Holdings LLC | Methods and apparatus for transmitting data between different peer-to-peer communication groups |
| CN103020047A (zh) * | 2012-12-31 | 2013-04-03 | 威盛电子股份有限公司 | 修正语音应答的方法及自然语言对话系统 |
| US9979531B2 (en) | 2013-01-03 | 2018-05-22 | Google Technology Holdings LLC | Method and apparatus for tuning a communication device for multi band operation |
| CN103915095B (zh) | 2013-01-06 | 2017-05-31 | 华为技术有限公司 | 语音识别的方法、交互设备、服务器和系统 |
| KR102112742B1 (ko) * | 2013-01-22 | 2020-05-19 | 삼성전자주식회사 | 전자장치 및 그 음성 처리 방법 |
| KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US10229697B2 (en) * | 2013-03-12 | 2019-03-12 | Google Technology Holdings LLC | Apparatus and method for beamforming to obtain voice and noise signals |
| US20140278427A1 (en) * | 2013-03-13 | 2014-09-18 | Samsung Electronics Co., Ltd. | Dynamic dialog system agent integration |
| US10642574B2 (en) | 2013-03-14 | 2020-05-05 | Apple Inc. | Device, method, and graphical user interface for outputting captions |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| US9733821B2 (en) | 2013-03-14 | 2017-08-15 | Apple Inc. | Voice control to diagnose inadvertent activation of accessibility features |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10572476B2 (en) | 2013-03-14 | 2020-02-25 | Apple Inc. | Refining a search based on schedule items |
| US9977779B2 (en) | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| CN105144133B (zh) | 2013-03-15 | 2020-11-20 | 苹果公司 | 对中断进行上下文相关处理 |
| CN105027197B (zh) | 2013-03-15 | 2018-12-14 | 苹果公司 | 训练至少部分语音命令系统 |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| CN104049707B (zh) * | 2013-03-15 | 2019-02-15 | 马克西姆综合产品公司 | 永远接通低功率关键字检出 |
| CN110096712B (zh) | 2013-03-15 | 2023-06-20 | 苹果公司 | 通过智能数字助理的用户培训 |
| US9530103B2 (en) * | 2013-04-04 | 2016-12-27 | Cypress Semiconductor Corporation | Combining of results from multiple decoders |
| US9736088B1 (en) | 2013-05-01 | 2017-08-15 | PongPro LLC | Structured communication framework |
| US9472205B2 (en) * | 2013-05-06 | 2016-10-18 | Honeywell International Inc. | Device voice recognition systems and methods |
| US9390708B1 (en) * | 2013-05-28 | 2016-07-12 | Amazon Technologies, Inc. | Low latency and memory efficient keywork spotting |
| US9953630B1 (en) * | 2013-05-31 | 2018-04-24 | Amazon Technologies, Inc. | Language recognition for device settings |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3008641A1 (en) | 2013-06-09 | 2016-04-20 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| AU2014278595B2 (en) | 2013-06-13 | 2017-04-06 | Apple Inc. | System and method for emergency calls initiated by voice command |
| CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
| WO2015033523A1 (ja) * | 2013-09-03 | 2015-03-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声対話制御方法 |
| US9817881B2 (en) * | 2013-10-16 | 2017-11-14 | Cypress Semiconductor Corporation | Hidden markov model processing engine |
| US9698999B2 (en) * | 2013-12-02 | 2017-07-04 | Amazon Technologies, Inc. | Natural language control of secondary device |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9443516B2 (en) * | 2014-01-09 | 2016-09-13 | Honeywell International Inc. | Far-field speech recognition systems and methods |
| US11295730B1 (en) | 2014-02-27 | 2022-04-05 | Soundhound, Inc. | Using phonetic variants in a local context to improve natural language understanding |
| US9705736B2 (en) | 2014-03-14 | 2017-07-11 | Ray Wang | Method and system for a personal network |
| US9548065B2 (en) * | 2014-05-05 | 2017-01-17 | Sensory, Incorporated | Energy post qualification for phrase spotting |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9858922B2 (en) | 2014-06-23 | 2018-01-02 | Google Inc. | Caching speech recognition scores |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9263042B1 (en) | 2014-07-25 | 2016-02-16 | Google Inc. | Providing pre-computed hotword models |
| US20160055847A1 (en) * | 2014-08-19 | 2016-02-25 | Nuance Communications, Inc. | System and method for speech validation |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| WO2016044321A1 (en) | 2014-09-16 | 2016-03-24 | Min Tang | Integration of domain information into state transitions of a finite state transducer for natural language processing |
| EP3195145A4 (en) | 2014-09-16 | 2018-01-24 | VoiceBox Technologies Corporation | Voice commerce |
| CN105490890A (zh) * | 2014-09-16 | 2016-04-13 | 中兴通讯股份有限公司 | 智能家庭终端及其控制方法 |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| WO2016061309A1 (en) | 2014-10-15 | 2016-04-21 | Voicebox Technologies Corporation | System and method for providing follow-up responses to prior natural language inputs of a user |
| US9299347B1 (en) | 2014-10-22 | 2016-03-29 | Google Inc. | Speech recognition using associative mapping |
| US10431214B2 (en) | 2014-11-26 | 2019-10-01 | Voicebox Technologies Corporation | System and method of determining a domain and/or an action related to a natural language input |
| US10614799B2 (en) | 2014-11-26 | 2020-04-07 | Voicebox Technologies Corporation | System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| DE112014007287B4 (de) * | 2014-12-24 | 2019-10-31 | Mitsubishi Electric Corporation | Spracherkennungsvorrichtung und Spracherkennungsverfahren |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9390284B1 (en) | 2015-04-03 | 2016-07-12 | Ray Wang | Method for secure and private computer file |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10311862B2 (en) * | 2015-12-23 | 2019-06-04 | Rovi Guides, Inc. | Systems and methods for conversations with devices about media using interruptions and changes of subjects |
| US10255913B2 (en) * | 2016-02-17 | 2019-04-09 | GM Global Technology Operations LLC | Automatic speech recognition for disfluent speech |
| US10575120B2 (en) | 2016-02-27 | 2020-02-25 | Ray Wang | Method of autonomous social media system |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| WO2018023106A1 (en) | 2016-07-29 | 2018-02-01 | Erik SWART | System and method of disambiguating natural language processing requests |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| KR102580904B1 (ko) * | 2016-09-26 | 2023-09-20 | 삼성전자주식회사 | 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스 |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| WO2018140420A1 (en) | 2017-01-24 | 2018-08-02 | Honeywell International, Inc. | Voice control of an integrated room automation system |
| US11402909B2 (en) | 2017-04-26 | 2022-08-02 | Cognixion | Brain computer interface for augmented reality |
| US11237635B2 (en) | 2017-04-26 | 2022-02-01 | Cognixion | Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10984329B2 (en) | 2017-06-14 | 2021-04-20 | Ademco Inc. | Voice activated virtual assistant with a fused response |
| US10607606B2 (en) | 2017-06-19 | 2020-03-31 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for execution of digital assistant |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| JP2019101264A (ja) * | 2017-12-04 | 2019-06-24 | シャープ株式会社 | 外部制御装置、音声対話型制御システム、制御方法、およびプログラム |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10777203B1 (en) * | 2018-03-23 | 2020-09-15 | Amazon Technologies, Inc. | Speech interface device with caching component |
| US10713441B2 (en) | 2018-03-23 | 2020-07-14 | Servicenow, Inc. | Hybrid learning system for natural language intent extraction from a dialog utterance |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| CN108538291A (zh) * | 2018-04-11 | 2018-09-14 | 百度在线网络技术（北京）有限公司 | 语音控制方法、终端设备、云端服务器及系统 |
| US20190332848A1 (en) | 2018-04-27 | 2019-10-31 | Honeywell International Inc. | Facial enrollment and recognition system |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
| US20190390866A1 (en) | 2018-06-22 | 2019-12-26 | Honeywell International Inc. | Building management system with natural language interface |
| US10540960B1 (en) * | 2018-09-05 | 2020-01-21 | International Business Machines Corporation | Intelligent command filtering using cones of authentication in an internet of things (IoT) computing environment |
| US11308939B1 (en) * | 2018-09-25 | 2022-04-19 | Amazon Technologies, Inc. | Wakeword detection using multi-word model |
| US10885912B2 (en) * | 2018-11-13 | 2021-01-05 | Motorola Solutions, Inc. | Methods and systems for providing a corrected voice command |
| KR20200117317A (ko) * | 2019-04-03 | 2020-10-14 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
| US11386890B1 (en) * | 2020-02-11 | 2022-07-12 | Amazon Technologies, Inc. | Natural language understanding |
| US11934403B2 (en) * | 2020-05-18 | 2024-03-19 | Salesforce, Inc. | Generating training data for natural language search systems |
Family Cites Families (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61285495A (ja) * | 1985-06-12 | 1986-12-16 | 株式会社日立製作所 | 音声認識装置 |
| US4827520A (en) * | 1987-01-16 | 1989-05-02 | Prince Corporation | Voice actuated control system for use in a vehicle |
| JP2913105B2 (ja) * | 1989-03-10 | 1999-06-28 | 日本電信電話株式会社 | 音響信号検出方法 |
| US5208864A (en) * | 1989-03-10 | 1993-05-04 | Nippon Telegraph & Telephone Corporation | Method of detecting acoustic signal |
| JPH04338817A (ja) * | 1991-05-16 | 1992-11-26 | Sony Corp | 電子機器の制御装置及び制御方法 |
| JP2818362B2 (ja) * | 1992-09-21 | 1998-10-30 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 音声認識装置のコンテキスト切換えシステムおよび方法 |
| JPH06274190A (ja) * | 1993-03-18 | 1994-09-30 | Sony Corp | ナビゲーションシステムおよび音声認識装置 |
| US5615296A (en) * | 1993-11-12 | 1997-03-25 | International Business Machines Corporation | Continuous speech recognition and voice response system and method to enable conversational dialogues with microprocessors |
| US5748841A (en) | 1994-02-25 | 1998-05-05 | Morin; Philippe | Supervised contextual language acquisition system |
| CH689410A5 (de) * | 1994-04-21 | 1999-03-31 | Info Byte Ag | Verfahren und Vorrichtung zur sprachgesteuerten Fernbedienung elektrischer Verbraucher. |
| JPH0844387A (ja) * | 1994-08-04 | 1996-02-16 | Aqueous Res:Kk | 音声認識装置 |
| JP2975540B2 (ja) * | 1994-10-20 | 1999-11-10 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 自由発話音声認識装置 |
| US5748974A (en) * | 1994-12-13 | 1998-05-05 | International Business Machines Corporation | Multimodal natural language interface for cross-application tasks |
| JP2929959B2 (ja) * | 1995-02-17 | 1999-08-03 | 日本電気株式会社 | 音声入力ネットワークサービスシステム |
| JPH0926799A (ja) * | 1995-07-12 | 1997-01-28 | Aqueous Res:Kk | 音声認識装置 |
| US6052666A (en) * | 1995-11-06 | 2000-04-18 | Thomson Multimedia S.A. | Vocal identification of devices in a home environment |
| US5855002A (en) * | 1996-06-11 | 1998-12-29 | Pegasus Micro-Technologies, Inc. | Artificially intelligent natural language computational interface system for interfacing a human to a data processor having human-like responses |
| WO1998013771A1 (fr) * | 1996-09-26 | 1998-04-02 | Mitsubishi Denki Kabushiki Kaisha | Processeur interactif |
| US5797123A (en) | 1996-10-01 | 1998-08-18 | Lucent Technologies Inc. | Method of key-phase detection and verification for flexible speech understanding |
| JPH10143191A (ja) * | 1996-11-13 | 1998-05-29 | Hitachi Ltd | 音声認識システム |
| KR100198019B1 (ko) | 1996-11-20 | 1999-06-15 | 정선종 | 마이크 어레이를 이용한 원격음성입력장치 및 그 원격음성입력 처리방법 |
| US6188985B1 (en) * | 1997-01-06 | 2001-02-13 | Texas Instruments Incorporated | Wireless voice-activated device for control of a processor-based host system |
| JP3546633B2 (ja) * | 1997-03-12 | 2004-07-28 | 三菱電機株式会社 | 音声認識装置 |
| JPH10293709A (ja) * | 1997-04-18 | 1998-11-04 | Casio Comput Co Ltd | 情報処理装置及び記憶媒体 |
| JP3027557B2 (ja) * | 1997-09-03 | 2000-04-04 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | 音声認識方法及び装置、並びに音声認識処理プログラムを記録した記録媒体 |
| US6298324B1 (en) * | 1998-01-05 | 2001-10-02 | Microsoft Corporation | Speech recognition system with changing grammars and grammar help command |
| JP4201870B2 (ja) * | 1998-02-24 | 2008-12-24 | クラリオン株式会社 | 音声認識による制御を用いるシステム及び音声認識による制御方法 |
| US6418431B1 (en) | 1998-03-30 | 2002-07-09 | Microsoft Corporation | Information retrieval and speech recognition based on language models |
| JPH11288296A (ja) * | 1998-04-06 | 1999-10-19 | Denso Corp | 情報処理装置 |
| US6085160A (en) * | 1998-07-10 | 2000-07-04 | Lernout & Hauspie Speech Products N.V. | Language independent speech recognition |
| DE69937176T2 (de) * | 1998-08-28 | 2008-07-10 | International Business Machines Corp. | Segmentierungsverfahren zur Erweiterung des aktiven Vokabulars von Spracherkennern |
| US6499013B1 (en) * | 1998-09-09 | 2002-12-24 | One Voice Technologies, Inc. | Interactive user interface using speech recognition and natural language processing |
| US6208972B1 (en) * | 1998-12-23 | 2001-03-27 | Richard Grant | Method for integrating computer processes with an interface controlled by voice actuated grammars |
| US6408272B1 (en) * | 1999-04-12 | 2002-06-18 | General Magic, Inc. | Distributed voice user interface |
| US6584439B1 (en) * | 1999-05-21 | 2003-06-24 | Winbond Electronics Corporation | Method and apparatus for controlling voice controlled devices |
| US6324512B1 (en) * | 1999-08-26 | 2001-11-27 | Matsushita Electric Industrial Co., Ltd. | System and method for allowing family members to access TV contents and program media recorder over telephone or internet |
| US6553345B1 (en) * | 1999-08-26 | 2003-04-22 | Matsushita Electric Industrial Co., Ltd. | Universal remote control allowing natural language modality for television and multimedia searches and requests |
| US7016827B1 (en) * | 1999-09-03 | 2006-03-21 | International Business Machines Corporation | Method and system for ensuring robustness in natural language understanding |
| US6442522B1 (en) * | 1999-10-12 | 2002-08-27 | International Business Machines Corporation | Bi-directional natural language system for interfacing with multiple back-end applications |
| CA2748396A1 (en) * | 1999-10-19 | 2001-04-26 | Sony Electronics Inc. | Natural language interface control system |
| US6895379B2 (en) * | 2002-03-27 | 2005-05-17 | Sony Corporation | Method of and apparatus for configuring and controlling home entertainment systems through natural language and spoken commands using a natural language server |
| KR100740978B1 (ko) * | 2004-12-08 | 2007-07-19 | 한국전자통신연구원 | 자연어 문장 처리 시스템 및 자연어 문장 처리 방법 |
| JP4627475B2 (ja) * | 2005-09-30 | 2011-02-09 | 本田技研工業株式会社 | 電動パワーステアリングユニット用制御装置配置構造 |
-
2000
- 2000-10-19 CA CA2748396A patent/CA2748396A1/en not_active Abandoned
- 2000-10-19 AU AU80303/00A patent/AU8030300A/en not_active Abandoned
- 2000-10-19 CA CA2387079A patent/CA2387079C/en not_active Expired - Lifetime
- 2000-10-19 EP EP00971002A patent/EP1222655A1/en not_active Withdrawn
- 2000-10-19 WO PCT/US2000/029036 patent/WO2001029823A1/en not_active Application Discontinuation
- 2000-10-19 KR KR1020027005028A patent/KR100812109B1/ko active IP Right Grant
- 2000-10-19 JP JP2001532534A patent/JP5118280B2/ja not_active Expired - Lifetime
- 2000-10-19 US US09/692,846 patent/US7447635B1/en not_active Expired - Fee Related
-
2007
- 2007-10-31 US US11/932,771 patent/US20080059188A1/en not_active Abandoned
-
2011
- 2011-06-20 JP JP2011135965A patent/JP2011237811A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020071856A (ko) | 2002-09-13 |
| US20080059188A1 (en) | 2008-03-06 |
| CA2387079C (en) | 2011-10-18 |
| JP2003515177A (ja) | 2003-04-22 |
| KR100812109B1 (ko) | 2008-03-12 |
| WO2001029823A1 (en) | 2001-04-26 |
| EP1222655A1 (en) | 2002-07-17 |
| CA2387079A1 (en) | 2001-04-26 |
| CA2748396A1 (en) | 2001-04-26 |
| AU8030300A (en) | 2001-04-30 |
| US7447635B1 (en) | 2008-11-04 |
| JP2011237811A (ja) | 2011-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5118280B2 (ja) | 自然言語インターフェースコントロールシステム | |
| US11720326B2 (en) | Audio output control | |
| US10643606B2 (en) | Pre-wakeword speech processing | |
| US11669300B1 (en) | Wake word detection configuration | |
| US9484030B1 (en) | Audio triggered commands | |
| JP6550068B2 (ja) | 音声認識における発音予測 | |
| US7013275B2 (en) | Method and apparatus for providing a dynamic speech-driven control and remote service access system | |
| US7016849B2 (en) | Method and apparatus for providing speech-driven routing between spoken language applications | |
| US11948571B2 (en) | Wakeword selection | |
| US20150073802A1 (en) | Dealing with switch latency in speech recognition | |
| US11862174B2 (en) | Voice command processing for locked devices | |
| US20070239455A1 (en) | Method and system for managing pronunciation dictionaries in a speech application | |
| WO2018078885A1 (ja) | 対話装置、対話方法及び対話用コンピュータプログラム | |
| US20240029743A1 (en) | Intermediate data for inter-device speech processing | |
| US20170270923A1 (en) | Voice processing device and voice processing method | |
| US11735178B1 (en) | Speech-processing system | |
| US11328713B1 (en) | On-device contextual understanding | |
| US11172527B2 (en) | Routing of communications to a device | |
| US10854196B1 (en) | Functional prerequisites and acknowledgments | |
| JP2005157166A (ja) | 音声認識装置、音声認識方法及びプログラム | |
| US11176930B1 (en) | Storing audio commands for time-delayed execution | |
| JP2003510662A (ja) | 音声認識器における綴りモード |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071015 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080522 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080522 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101018 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101025 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110620 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110628 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121019 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5118280 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |