JP4012228B2 - 情報入力方法、情報入力装置及び記憶媒体 - Google Patents

Description

本発明は情報入力方法、情報入力装置及び記憶媒体に関し、特に、音声認識技術を用いて文字情報を入力する技術に関するものである。

グラフィカルユーザインタフェース（ＧＵＩ）のもつ入力項目（入力フォーム）へ文字や記号等の文字情報を入力する場合、一般には、キーボード、マウスなどのポインティングデバイスを用いる。キーボードの場合には、文字や記号をタイプ入力し、ポインティングデバイスの場合には、選択候補の中から所望の文字や記号を選択して入力する。

しかしながら、キーボード、マウスなどのポインティングデバイスを用いて所望の入力項目に文字情報を入力する場合には、入力項目の選択から文字情報の入力までを全て手操作によって行わなければならず、手操作の行いにくい環境では大変扱いにくいという問題があった。

本発明は前述の問題点にかんがみ、表示器に表示された複数の入力項目に対して、手操作による入力を行うことなく簡単に文字情報を入力できるようにすることを目的とする。

本発明の情報入力方法は、表示器に表示された複数の入力項目に文字情報を入力する情報入力方法であって、音声情報を受信する受信ステップと、複数の文法規則のうち１つ又は複数を用いて前記音声情報から文字情報を認識する音声認識ステップと、前記入力項目の付加情報及び前記音声認識ステップで得られた認識結果の認識に用いた文法規則に基づいて前記文字情報を入力する入力項目を選択する選択ステップとを有し、前記付加情報は、前記入力項目と前記文法規則との対応関係を示す情報である。

本発明の情報入力装置は、表示器に表示された複数の入力項目に文字情報を入力する情報入力装置であって、音声を受信する受信手段と、複数の文法規則のうち１つ又は複数を用いて前記音声から文字情報を認識する音声認識手段と、前記入力項目の付加情報及び前記音声認識手段で得られた認識結果の認識に用いた文法規則に基づいて前記文字情報を入力する入力項目を選択する選択手段とを有し、前記付加情報は、前記入力項目と前記文法規則との対応関係を示す情報である。

本発明によれば、受信した音声を音声認識する際に用いた文法規則と、各入力項目と文法規則との対応関係を示す情報に基づいて、音声認識結果の文字情報を入力する入力項目を選択できるため、ユーザの所望する入力項目を自動的に選択することが可能となる。

（第１の実施形態）
図１は、本実施形態における情報入力装置の構成を示すブロック図である。
図１において、１は本実施形態のグラフィカル・ユーザインタフェース（ＧＵＩ）を表示するためのディスプレー装置である。ディスプレー装置１は、ＣＲＴ、液晶パネル、プラズマディスプレイパネル等の表示器を備える。２は数値演算・制御等の処理を行なう中央処理装置である。

３はＲＡＭ、ＲＯＭ、磁気ディスク、光ディスク、半導体メモリ、ハードディスク装置及びそれらの組み合わせからなる記憶装置である。記憶装置３は、本実施形態のＧＵＩ、本実施形態の処理手順に必要な制御プログラム、この制御プログラムを管理するオペレーティングシステム（ＯＳ）を保持する。

４は音声認識ユニットである。音声認識ユニット４は、マイクロフォン５から入力された音声に対して音響処理を行い、音響処理した結果に対して言語処理を行う。音響処理において使用する音響モデル１０、言語処理において使用するＮ種類の文法規則１１１〜１１ｎや単語辞書１２１〜１２ｎは、記憶装置３が保持する。

ここで、各文法規則１１１〜１１ｎは所定種類の文字情報の認識に最適な文法規則であり、各単語辞書１２１〜１２ｎは各文法規則１１１〜１１ｎに対応する単語辞書である。この音声認識ユニット４における音声認識処理は、ソフトウェアで実現することも可能である。

ディスプレー装置１，中央処理装置２，記憶装置３，音声認識ユニット４はバス１６により接続されている。中央処理装置２は、記憶装置３から本実施形態の処理手順に必要な制御プログラムを読み出し、音声認識ユニット４の音声認識処理、ディスプレー装置１の表示処理、記憶装置３の読み出し書き込み処理を統合的に制御する。

図２は、本実施形態の情報入力装置の処理手順を示すフローチャートである。
図２に示したフローチャートの各ステップで行われる処理は、中央処理装置２が記憶装置３に格納された制御プログラムに基づいて各処理部を制御することにより実現する。

まず、ステップＳ１では、本実施形態のＧＵＩを記憶装置３から読み出してディスプレー装置１に表示する。このＧＵＩは、単数または複数の入力フォーム（入力項目ともいう）を含み、各入力フォームには付加情報が設定されている。この付加情報は、所定種類の文字情報の認識に最適な文法規則と対応関係を示す情報であり、例えば文法規則の種類を識別するためのインデックス（文法ＩＤ）である。本実施形態のＧＵＩは、例えばＨＴＭＬ（Hyper Text Markup Language）やＸＭＬ（Extensible Markup Language）のような記述言語によって記述する。

本実施形態のＧＵＩの一例を、図３を用いて説明する。
図３は、３つの入力フォームを含むＧＵＩを示す図である。
このＧＵＩは、駅間ルートを検索するアプリケーションプログラムのＧＵＩである。図３において、６は出発駅名、７は到着駅名、８は出発時刻を入力するための入力フォームである。

入力フォーム６と入力フォーム７とは共に駅名情報を入力するための入力フォームであり、これらは駅名情報の認識に最適な文法規則と関連付けられている。本実施形態では、文法規則１１１（図１の「文法１」）を入力フォーム６，７に対応する文法規則として説明する。

一方、入力フォーム８は時刻情報を入力するための入力フォームであるため、これは時刻情報の認識に最適な文法規則と関連付けられている。本実施形態では、文法規則１１２（図１の「文法２」）を入力フォーム８に対応する文法規則として説明する。

次に、ステップＳ２では、文字情報をまだ入力していない入力フォームに関連付けられた文法規則を認識し、認識した文法規則を設定する。未入力の入力フォームが１つの場合には、その入力フォームに対応する１種類の文法規則を設定し、２つ以上の場合には、１種類以上の文法規則を設定する。例えば、図３に示すＧＵＩの場合には、文法規則１１１と文法規則１１２とを設定する。

ステップＳ３では、音声の入力を受け付ける。ユーザの発声した音声は、マイクロフォン５で電気信号に変換された後、音声認識ユニット４に供給される。

ステップＳ４では、ステップＳ２で設定した１種類以上の文法規則を用いてステップＳ３で入力した音声を音声認識する。例えば、図３に示すＧＵＩの場合には、文法規則１１１，１１２と単語辞書１２１，１２２とを用いて、ステップＳ２で入力した音声から駅名情報や時刻情報を認識する。

ステップＳ４では、ステップＳ２で設定した文法規則が１種類の場合には、音響処理した結果を、その文法規則とその文法規則に対応する単語辞書とを用いて言語処理する。そして、その文法規則から得られた文字情報をステップＳ４の認識結果とする。

一方、ステップＳ２で設定した文法規則が２種類以上の場合には、音響処理した結果を、各文法規則と各文法規則に対応する単語辞書とを用いて言語処理する。そして、各文法規則から得られた文字情報の中から入力音声との尤度が所定値以上となる文字情報をステップＳ４の認識結果とする。

ステップＳ５では、各入力フォームと文法規則との対応関係により、ステップＳ４で得た文字情報を入力する入力フォームが一意に決定できるか否かを判別する。本実施形態では、各入力フォームと文法規則との対応関係により、ステップＳ４で得た文字情報を認識した文法規則からその文字情報を入力する入力フォームを自動的に決定する。

したがって、例えば、１種類の文法規則から文字情報を認識し、且つその文法規則が１つの入力フォームにのみ対応している場合には、ステップＳ４で得た文字情報を入力する入力フォームを１つだけ自動的に決定することができる。このように構成することによって、事前に入力フォームの選択をユーザに行わせることなく、ユーザの所望する入力フォームを自動的に選択、決定することが可能となる。

しかしながら、以下のような場合には、ステップＳ４で得た文字情報を入力する入力フォームを１つに決定することができないため、ステップＳ６の処理を実行する。

１）複数種類の文法規則が同音の語彙を認識する場合。
これは、例えば、文法規則Ａが使用する単語辞書Ａに「仙台」（／ｓｅＮｄａｉ／）を、文法規則Ｂが使用する単語辞書Ｂに「先代」（／ｓｅＮｄａｉ／）を登録している場合に、ユーザが／ｓｅＮｄａｉ／と発音する場合である。この場合、文法規則Ａでは「仙台」を認識し、文法規則Ｂでは「先代」を認識してしまい、何れもステップＳ４の認識結果となり入力フォームを１つに決定することができない。

２）１種類の文法規則が複数の入力フォームに対応する場合。
これは、例えば、図３のＧＵＩのように文法規則１１１が２つの入力フォーム６，７に対応する場合である。この場合、文法規則１１１で認識した文字情報を入力する入力フォームを１つに決定することができない。

ステップＳ６では、選択候補となる入力フォームをユーザに通知し、１つの入力フォームをユーザに選択させる。ユーザは、選択候補のフォーム名をマイクロフォン５に入力することによって１つの入力フォームを選択する。これにより、キーボードやポインティングデバイスを使用することなく簡単に入力フォームを選択することができる。

ここで、選択候補の通知方法には、様々な方法がある。例えば、図３のＧＵＩのように、全ての入力フォームを一画面内に表示している場合には、各選択候補の周辺や背景のグラフィックスの色、デザインを変える、選択候補のフォーム名の色、フォントを変える等の方法によって選択候補をユーザに通知する。

一方、図４のＧＵＩのように、全ての入力フォームを一画面内に表示していない場合には、選択候補のフォーム名をまとめて別のウインドウに表示する、選択候補のフォーム名をまとめて音声で提示する等の方法によって選択候補をユーザに通知する。このように構成することにより、選択候補となる入力フォームを分かりやすくユーザに通知することができる。

ステップＳ７では、ステップＳ５で決定した入力フォームあるいはステップＳ６で決定した入力フォームに、その入力フォームに対応する文法規則から得た文字情報を表示する。

ここで、図４のＧＵＩのように、全ての入力フォームを一画面内に表示していない場合で、一部しか表示していない或いは全て表示していない入力フォームに文字情報を表示する場合には、その入力フォームが画面の中央に配置されるようにＧＵＩを自動的にスクロールする。具体例を図４及び図５を用いて説明する。完全に表示されていない入力フォーム１１（図４のフォーム４）に文字情報を表示する場合、図４のＧＵＩは図５のようにスクロールし、入力フォーム１１を画面の中央に配置する。このように構成することにより、ユーザの選択した入力フォームがＧＵＩ上のどこにあるかを分かりやすく通知することができる。

ステップＳ８では、入力フォームに表示した文字情報が正しいか否かを判別する。表示した文字情報が正しくない場合、ユーザは「いいえ」と発声した音声をマイクロフォン５に入力する。この場合には、入力フォームに表示した文字情報をクリアしてステップＳ２の処理を実行する。

一方、表示した文字情報が正しい場合、ユーザは「はい」と発声した音声をマイクロフォン５に入力する。この場合には、入力フォームに表示した文字情報をその入力フォームに対する入力として決定する（ステップＳ９）。

ステップＳ１０では、未入力の入力フォームがあるか否かを判別し、未入力の入力フォームがある場合には、ステップＳ２の処理を実行し、未入力の入力フォームがない場合には、処理を終了する。

以上説明したように本実施形態によれば、ユーザの音声から認識した文字情報を入力する入力フォームを入力フォームと文法規則との対応関係に応じて決定することによって、キーボードやポインティングデバイスを使用することなく簡単にユーザの所望する入力フォームに文字情報を入力することができる。

（第２の実施形態）
図６は、第２の実施形態の処理手順を示すフローチャートである。
第２の実施形態の情報入力装置の構成は、第１の実施形態と同様であるので説明を省略する。図６に示したフローチャートの各ステップで行われる処理は、中央処理装置２が記憶装置３に格納された制御プログラムに基づいて各処理部を制御することにより実現する。

まず、ステップＳ１１では、第２の実施形態のＧＵＩを記憶装置３から読み出してディスプレー装置１に表示する。このＧＵＩは単数または複数の入力フォーム（入力項目ともいう）を含み、各入力フォームには付加情報が設定されている。この付加情報には、所定種類の文字情報の認識に最適な文法規則との対応関係を示す情報と、所定の文字列（キーワードともいう）と対応関係を示す情報である。この文字列は、入力フォームのフォーム名や入力フォームへの文字情報の入力をサポートする文，語句，単語等であり、ＧＵＩに表示される。第２の実施形態において、各入力フォームに対応する文法規則は、キーワードを含む文字情報を認識するように構成されている。

第２の実施形態のＧＵＩの一例を図７を用いて説明する。
図７は、３つの入力フォームを含むＧＵＩを示す図である。
このＧＵＩは、駅間ルートを検索するアプリケーションプログラムのＧＵＩである。図７において、７１は出発駅名、７２は到着駅名、７３は出発時刻を入力するための入力フォームである。

入力フォーム７１と入力フォーム７２とは共に駅名情報を入力するための入力フォームである。入力フォーム７１のキーワードは「駅から」であり、入力フォーム７２のキーワードは「駅まで」である。入力フォーム７１，７２は、第１の実施形態と同様に、駅名情報の認識に最適な文法規則である文法規則１１１（図１の「文法１」）と関連付けられている。

一方、入力フォーム７３は時刻情報を入力するための入力フォームであり、そのキーワードは「時刻は」である。入力フォーム７３は、第１の実施形態と同様に、時刻情報の認識に最適な文法規則である文法規則１１２（図１の「文法２」）と関連付けられている。

次に、ステップＳ１２では、第１の実施形態と同様に、文字情報をまだ入力していない入力フォームに関連付けられた文法規則を認識し、認識した文法規則を設定する。例えば、図７に示すＧＵＩの場合には、文法規則１１１と文法規則１１２とを設定する。

ステップＳ１３では、音声の入力を受け付ける。このときユーザは、所望の入力フォームに入力する文字情報とともに、その入力フォームのキーワードを発声する。ユーザの発声した音声は、マイクロフォン５で電気信号に変換された後、音声認識ユニット４に供給される。

ステップＳ１４では、第１の実施例と同様に、ステップＳ１２で設定した１種類以上の文法規則を用いてステップＳ１３で入力した音声を音声認識する。例えば、図７に示すＧＵＩの場合には、文法規則１１１，１１２と単語辞書１２１，１２２とを用いて、ステップＳ１２で入力した音声から駅名情報や時刻情報を認識する。

ステップＳ１５では、各入力フォームと文法規則とを対応関係により、ステップＳ１４で得た文字情報を入力する入力フォームを選択するとともに、選択した入力フォームのキーワードと文字情報に含まれるキーワードとを比較して１つの入力フォームを決定する。

本実施形態では、各入力フォームと文法規則とを対応関係だけでなく、各入力フォームとキーワードとを対応関係を用いて、ステップＳ１４で得た文字情報を認識した文法規則からその文字情報を入力する入力フォームを自動的に決定する。このように構成することによって、事前に入力フォームの選択をユーザに行わせることなく、ユーザの所望する入力フォームを自動的に選択、決定することが可能となる。

ステップＳ１６では、ステップＳ１５で決定した入力フォームに、ステップＳ１４で得た文字情報を表示する。但し、キーワードは除く。例えば、ステップＳ１４で得た文字情報が「ＸＸ駅から」の場合、キーワード「駅から」に対応する入力フォーム７１に文字情報「ＸＸ」を表示する。

ここで、図４のＧＵＩのように、全ての入力フォームを一画面内に表示していない場合で、一部しか表示していない或いは全て表示していない入力フォームに文字情報を表示する場合には、第１の実施形態と同様に、その入力フォームが画面の中央に配置されるようにＧＵＩを自動的にスクロールする。

ステップＳ１７では、入力フォームに表示した文字情報が正しいか否かを判別する。表示した文字情報が正しくない場合、ユーザは「いいえ」と発声した音声をマイクロフォン５に入力する。この場合には、入力フォームに表示した文字情報をクリアしてステップＳ１２の処理を実行する。

一方、表示した文字情報が正しい場合、ユーザは「はい」と発声した音声をマイクロフォン５に入力する。この場合には、入力フォームに表示した文字情報をその入力フォームに対する入力として決定する（ステップＳ１８）。

ステップＳ１９では、未入力の入力フォームがあるか否かを判別し、未入力の入力フォームがある場合には、ステップＳ２の処理を実行し、未入力の入力フォームがない場合には、処理を終了する。

以上説明したように第２の実施形態によれば、ユーザの音声から認識した文字情報を入力する入力フォームを入力フォームとキーワードとの対応関係に応じて決定することによって、キーボードやポインティングデバイスを使用することなく簡単にユーザの所望する入力フォームに文字情報を入力することができる。

（第３の実施形態）
第２の実施形態では、ユーザの音声から認識した文字情報を入力する入力フォームを入力フォームとキーワードとの対応関係に応じて決定する例について説明した。

これに対して第３の実施形態では、ユーザの音声から認識した文字情報を入力する入力フォームを入力フォームの候補リストに応じて決定する例について説明する。ここで、候補リストとは、入力フォームに入力可能な文字情報を示す。

この場合、各入力フォームの付加情報は、所定種類の文字情報の認識に最適な文法規則との対応関係を示す情報と、入力フォームに入力可能な文字情報を示す候補リストとなる。

そして、ユーザの音声から認識した文字情報を入力する入力フォームは、各入力フォームと文法規則とを対応関係と、各入力フォームの候補リストとに基づいて自動的に決定される。このように構成することによって、事前に入力フォームの選択をユーザに行わせることなく、ユーザの所望する入力フォームを自動的に選択、決定することが可能となる。

以上説明したように第３の実施形態によれば、ユーザの音声から認識した文字情報を入力する入力フォームを入力フォームの候補リストに応じて決定することによって、キーボードやポインティングデバイスを使用することなく簡単にユーザの所望する入力フォームに文字情報を入力することができる。

（本発明の他の実施の形態）
前述した各実施形態は、複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。

また、前述した各実施形態の機能を実現するための制御プログラムのプログラムコードを格納する記録媒体には、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることもできる。

また、前述した制御プログラムのプログラムコードが、中央処理装置２において稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して前述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。

さらに、前述した制御プログラムのプログラムコードが機能拡張ボードや機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合にも本発明に含まれる。

本実施形態における情報入力装置の構成を示すブロック図である。 第１の実施形態の処理手順を示すフローチャートである。 第１の実施形態におけるＧＵＩの一例を示す図である。 本実施形態におけるＧＵＩの他の例（スクロール前）を示す図である。 本実施形態におけるＧＵＩの他の例（スクロール後）を示す図である。 第２の実施形態の処理手順を示すフローチャートである。 第２の実施形態におけるＧＵＩの一例を示す図である。

符号の説明

１ ディスプレー装置
２ 中央処理装置
３ 記憶装置
４ Ａ／Ｄ変換装置
５ マイクロフォン
６ 出発駅名の入力フォーム
７ 到着駅名の入力フォーム
８ 出発時刻の入力フォーム
１１ 入力対象フォーム

Claims (11)

1. 表示器に表示された複数の入力項目に文字情報を入力する情報入力方法であって、
   音声情報を受信する受信ステップと、
   複数の文法規則のうち１つ又は複数を用いて前記音声情報から文字情報を認識する音声認識ステップと、
   前記入力項目の付加情報及び前記音声認識ステップで得られた認識結果の認識に用いた文法規則に基づいて前記文字情報を入力する入力項目を選択する選択ステップとを有し、
   前記付加情報は、前記入力項目と前記文法規則との対応関係を示す情報であることを特徴とする情報入力方法。
2. 前記文字情報を入力する入力項目の候補が複数個ある場合には、前記候補をユーザに通知することを特徴とする請求項１に記載の情報入力方法。
3. ユーザの音声に基づいて前記候補の中から前記文字情報を入力する入力項目を選択することを特徴とする請求項２に記載の情報入力方法。
4. 前記選択ステップで選択した入力項目が表示画面外にある場合には、前記入力項目が前記表示画面内に表示されるように制御することを特徴とする請求項１乃至３の何れか１項に記載の情報入力方法。
5. 前記複数の文法規則の夫々は、所定種類の文字情報を認識するための文法規則であることを特徴とする請求項１乃至４の何れか１項に記載の情報入力方法。
6. 表示器に表示された複数の入力項目に文字情報を入力する情報入力装置であって、
   音声情報を受信する受信手段と、
   複数の文法規則のうち１つ又は複数を用いて前記音声情報から文字情報を認識する音声認識手段と、
   前記入力項目の付加情報及び前記音声認識手段で得られた認識結果の認識に用いた文法規則に基づいて前記文字情報を入力する入力項目を選択する選択手段とを有し、
   前記付加情報は、前記入力項目と前記文法規則との対応関係を示す情報であることを特徴とする情報入力装置。
7. 前記文字情報を入力する入力項目の候補が複数個ある場合には、前記候補をユーザに通知することを特徴とする請求項６に記載の情報入力装置。
8. ユーザの音声に基づいて前記候補の中から前記文字情報を入力する入力項目を選択することを特徴とする請求項７に記載の情報入力装置。
9. 前記選択手段で選択した入力項目が表示画面外にある場合には、前記入力項目が前記表示画面内に表示されるように制御することを特徴とする請求項６乃至８の何れか１項に記載の情報入力装置。
10. 前記複数の文法規則の夫々は、所定種類の文字情報を認識するための文法規則であることを特徴とする請求項６乃至９の何れか１項に記載の情報入力装置。
11. 前記請求項１乃至５の何れか１項に記載の情報入力方法をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images