JP3560289B2 - 統合辞書ベースで、ありそうな文字列の手書き認識方法 - Google Patents

Description

発明の分野
本発明は、一般に、手書き認識（handwriting recognition）に関する。
発明の背景
本発明は、1993年12月１日に出願され、本明細書に参考として含まれる、米国特許出願第08/160,519号の一部継続出願である。
EOやNewtonなど、いわゆるパーソナル・デジタル・アシスタント（personal digital assistant）は、一般に、ユーザが手書きを行うことができる感圧スクリーン（touchsensitive screen）を有する。これらのデバイスは、手書き文字入力をデジタル化すべく機能する。手書き入力を受けるべく機能する他のデバイスには、デスクトップ・コンピュータ，モデム，ページャ，高機能電話（advanced telephone），デジタルまたはインタラクティブ・テレビ，および手書き文字入力を入力できるデジタイジング・タブレット（digitizing tablet）にアクセスする他の情報処理デバイスが含まれるが、それらに限定されない。さらに別のデバイスは、ファックスまたはスキャン入力によって、手書き文字入力を受けることができる。これらのデバイスは、情報を処理して、手書き文字の情報内容を認識することを試み、この手書き文字入力の処理・認識における誤りのフィードバックおよび訂正のため、この情報をユーザに表示する。
別の従来の方法により、辞書にアクセスし、この辞書内の項目が最初の手書き解析結果と比較される。この方法を利用して、ユーザは手書きサンプルの特性と最も適合する辞書内の項目を探す。辞書内に収容される情報を表す手書きサンプルで用いる場合には、この方法はうまく機能する。しかし、手書き入力は辞書にない場合が多い。例えば、適切な氏名，地名，頭文字および専門用語（professional jargon）は、このような辞書に含まれないのが一般的である。一方、辞書を拡張して、ほとんどすべての単語および頭文字を収容することは、現時点では不十分な解決にしかならない。なぜならば、必要なメモリ量およびかかる拡張辞書の完全検索をサポートするために必要な演算処理能力のため、この方法は非実際的である。
従来技術に伴う別の問題点は、数字手書き入力の認識である。多くの数字は、辞書内の単語と強い類似性がある（例えば、「15」は「is」と混同されやすい）。辞書ベースのシステムは、手書きの「15」を正しく識別できない。従って、この入力を正しく認識し、手書き文字入力の可能な変換としてユーザに提示できる方法が必要とされる。
従来の手書き認識手法にしばしば伴う別の問題として、入力が解析された後に、デジタル化された手書き英数字入力をユーザに表示するフォーマットがある。特に、出力を表示する従来の方法は、出力が誤りを含む場合に紛らわしい。多くの場合、ユーザは何を書いたのか覚えることができず、誤りを訂正するため出力における誤りを把握できない。
従って、これらの制限を避けるかあるいは最小限に抑え、しかも同時にユーザが意図する手書き入力を直接参照して誤りを訂正することを可能にするフォーマットで情報を提示する手書き認識手法が必要とされる。
【図面の簡単な説明】
第１図は、本発明による動作をサポートするのに適した一例としてのパーソナル・デジタル・アシスタントの上面図である。
第２図は、本発明による動作を詳説するフロー図である。
第３図は、本発明による動作を詳説するフロー図である。
第４図は、本発明による一例としてのディスプレイの上面図である。
第５図は、本発明による一例としてのディスプレイの上面図である。
第６図は、本発明の好適な実施例による一例としてのディスプレイの上面図である。
第７図は、本発明の好適な実施例による一例としてのディスプレイの上面図である。
第８図は、本発明の好適な実施例による一例としてのディスプレイの上面図である。
好適な実施例の詳細な説明
好適な実施例により、手書き認識処理をサポートする候補単語（candidate words）は、辞書項目比較（dictionary entry comaprisons）および最尤文字列解析（most likely string of character analysis）手法によって生成される。両方の処理によって生成された単語は、認識済み単語として最終的に選択可能となる。本発明の好適な実施例により、手書き英数字入力および認識済み単語は、同時にかつ互いに並置して表示される。このように並置することにより、ユーザは手書き文字入力の処理・認識時に誤りを訂正する際に、元の手書き入力を参照できる。
第１図を参照して、パーソナル・デジタル・アシスタントは、参照番号100によって一般に表されることがわかる。図示のパーソナル・デジタル・アシスタント（100）は、汎用的な代表を表し、例えば、当技術分野で周知なEOまたはNewtonパーソナル・デジタル・アシスタントであってもよい。一般に、このようなデバイスは、ハウジング（101）と、適切な手書き用スタイラスを用いて単語（103）を手書きできるタッチ・スクリーンとを含む。一般に、このようなデバイスは、１つまたはそれ以上のマイクロプロセッサまたは他のデジタル処理デバイスを含む。そのため、これらのデバイスは、本明細書で提示される教示に従って容易にプログラムできるコンピュータ・プラットフォームからなる。かかるパーソナル・デジタル・アシスタントは、出願人の教示の実践に対処できるプラットフォームからなるが、本明細書で提示される教示は他のさまざまな動作環境でも実施できることを理解されたい。かかる環境の例として、デジタイジング・スクリーンを具備するコンピュータや、デジタイジング入力表面に接続されたコンピュータや、ファックスまたはスキャン入力された画像入力を受信できるコンピュータ，インタラクティブ・テレビ，または手書き入力を捕捉・処理できる他のシステムが含まれる。
第２図を参照して、本教示によるデバイスの一般的な動作について開示する。感圧ディスプレイ（102）上で手書きの形式で入力（200）を受けると、本実施例ではPDA（100）上で実行する手書き認識方法は、手書き入力をなす英数字を表す１つまたはそれ以上の候補文字を提示する（201）ため、手書きを解析する。かかる手書き解析手法は当技術分野で理解され、その例には前述のEOおよびNewton製品に見られる。
次に、辞書の内容を候補文字のさまざまな組み合わせと比較し、これらさまざまな辞書項目に適正尤度を与えることにより、１つまたはそれ以上の候補単語を識別する。最も高い尤度を有する項目は、候補単語として識別される。（ある用途では、全内容のうち各項目を候補文字と比較することが適切な場合がある。他の用途では、特に、処理能力が限られる場合、各辞書項目を候補文字の各組み合わせのほんの一部と比較してもよいが、ただしこの部分的な比較によって少なくとも正確な表示の閾値尤度が得られない場合はその限りではない。）この辞書ベースの方法は当技術分野で理解されるので、ここではこれ以上説明しない。
辞書項目を利用して候補単語を識別する段階（202）中に、入力を表す最尤文字列と、好適な実施例では、０〜９の数字および＄や％など一般的な数に関する記号（numerical punctuation）から選択された数字および記号を表す最尤数字列からなる最尤数字文字列とをこの処理は識別する。従って、文字列が生成され、ここで識別された各候補文字は個別の高い正確尤度を有する。数字および記号の第２列が生成され、ここで識別された各候補数字または記号は個別の高い正確尤度を有する。重要な点は、これら２つの文字列、すなわち、最尤文字列および最尤数字列（数字または記号）の生成は、辞書項目から独立して行われることである。最尤文字列または最尤数字列を識別する際に、辞書項目に対する比較は行われない。
辞書項目は利用されないが、この特定の実施例では、最尤文字列を生成するために、出願人は、文字トリグラム統計（character trigram statistics）を利用して、正確である可能性が最も高い個別の候補文字の組み合わせを考慮する。かかる統計解析を参照することにより、例えば、「QUI」という文字の組み合わせは「QXZ」の組み合わせよりも英単語に現れる可能性が統計的に高い、という事実を利用できる。単語認識で用いられるトリグラム統計解析は、当技術分野で周知であり、よってここではこれ以上詳しく説明しない。
このように構成されると、処理は、辞書を参照して生成される候補単語と、辞書を参照せずに、個別および組み合わせて、入力を表す尤度が最も高いと思われる文字列を表すありそうな列と、辞書を参照せずに、個別および組み合わせて、入力を表す尤度が最も高いと思われる数字または記号を表すありそうな列とを識別する（202）。次に、処理は、それ以降に用いるために、候補単語，ありそうな文字列およびありそうな数字・記号列のリストを提示する（203）。
第３図を参照して、パーソナル・デジタル・アシスタントはこのリストをアクセスし（300）、ある適切なメトリック（metric）に基づいて単語のうちの１つを選択する（301）。例えば、ある用途では、正確であるという最も高い尤度を有する候補単語を常に（ほぼ常に）選択することが好ましい場合がある。別の用途では、最もありそうな文字列または最もありそうな数字列のうち一方または両方の選択により重く、重み付けすることが好ましい場合がある。複数の候補単語から自動的に選択するさまざまな条件および手法は当技術分野で理解され、ここでは詳しく説明する必要はない。
リストから選択したら、選択された単語はユーザに提示される（302）。一般に、この選択された単語は、前述のディスプレイ・スクリーン上でユーザに提示される。処理中の誤りの結果、誤って選択された単語が提示された場合に、ユーザが元の手書き入力を参照することを可能にするため、各選択された単語601は、対応する元の手書き入力の再描画されたコピー603の真下に表示される。各選択された単語は、再描画された入力の真下に配置される。さらに、元の入力は、入力の直線内の単語の相対的な位置を維持するため、手書き入力の元の座標を考慮して再描画され、元の入力の強い視覚的な合図をユーザに与える。これを第６図に示す。
次に、ユーザは上記のリストを表示させたい（303）ことを示す場合がある。例えば、既存のパーソナル・デジタル・アシスタントでは、ユーザはディスプレイ・スクリーン上にこの関心を示すことができる。（もちろん、ユーザがリストを表示（303）する関心を示さない場合、処理は終了する（304））。）ユーザがリストを表示させたい関心を示すと、リストはディスプレイ・スクリーン（102）上に表示される（305）。
リストを表示すると、ユーザには処理を閉じる（306）機会がある。閉じられるまで、処理は、ユーザによるリストからの異なる単語の選択（307）を監視する。リストから異なる単語を選択すると、処理は前に選択された単語の代わりに新たに選択された単語を置換する（308）。そこで、新たに選択された単語は元の手書き入力のイメージに近接して表示される。この処理は反復でき、ユーザが最終的に処理を閉じる（306）まで、前に選択された単語および非選択単語を含むさまざまな単語が選択される。
閉じると（306）、処理は現在選択される単語が最もありそうな列であるかどうかを判断する（309）。イエスの場合、処理は辞書を自動的に更新（310）し、ありそうな列を含んでから、終了する（311）。従って、新たな単語が辞書に追加され、それ以降の手書き入力との比較に利用できることがユーザは保証される。
第１図に戻って、この例に限り、ユーザはディスプレイ・スクリーン上（102）で手書き単語“Fred"（103）を入力したと想定する。この入力は前述のように解析され、候補単語、すなわち最もありそうな文字列のリストが提示され、好適な実施例では、最もありそうな数字または記号の列が第８図に示すように提示される。このリストから、プロセスは最もありそうな一致を選択し、この一致を第４図に示すように提示する。特に、この実施例では、認識された単語“free"（401）は元の入力（103）の表示に並置して現れる。第６図に示すように、元の手書き入力603の再描画されたコピーは表示される。選択された単語（601）は、対応する手書き入力（603）の再描画されたコピーの真下に表示される。好ましくは、各選択された単語（601）は、対応する手書き入力（603）の下に配置される。
ここで、ユーザがこのリストを見たいことを示すと想定する。第５図は、例リストの表示を示す。適切なウィンドウ（501）で、辞書を参照して生成された候補単語は、ウィンドウ（501）の一部（502）において、前述のように、および第７図に示すように提示される。この特定の実施例では、候補単語は小文字の形式および頭文字が大文字の形式の両方で提示される。この特定の例では、辞書は“Fred"という単語を含んでおらず、よって単語“Fred"は、第７図に示すように、ウィンドウ（501）のこの部分（502）に現れない。ウインドウ（501）の別の部分（503）では、本実施例において、この部分（503）はライン（504）によって第１部分（502）から分離され、最もありそうな文字列が前述のように表示される。この例では、最もありそうな文字列は単語“Fred"である。
リストは、リストをなす項目が正しい可能性の順番で表示され、最もありそうな項目が最初に提示される。第８図に示すような好適な実施例では、ありそうな文字列（810）およびありそうな数字列（815）（数字または記号）は、ウィンドウ（501）の別の領域で表示される。ありそうな選択を表示するプロセスは、最もありそうな文字列（810）または最もありそうな数字列（815）が実際に正しいことがどれだけ確立が高いかを示す信頼値（confidence value）に基づいて、いずれの列も表示しない，一方を表示，あるいは両方を表示すべきかどうかを判断できる。この判断を行う方法は、問題のタスクに応じて実施例毎に異なってもよい。例えば、問題のタスクが手書き入力が数字または記号からなる可能性が高い場合、プロセスは、リスト（820）の閲覧が要求されるたびに、ありそうな数字列を表示するように設定できる。
本発明は、より多くのまたは少ない選択肢（option）を表示するように設定できる。５つの選択肢はユーザにとって便宜的な数であり、ほとんど常に正しい応答を含む。選択肢は、認識スコア、すなわち代替選択肢（alternative）においてどれだけ信頼性があるかを通知する認識部（recognizer）によって生成される尺度（measure）によって優先順位が決定される。ありそうな文字列またはありそうな数字列は、認識部によって生成される同じ信頼尺度に基づいて選択され、スコアが閾値よりも低い場合、列は表示されない。選択されたありそうな列は、ありそうな文字列と、それに続くありそうな数字列の順序で表示される。
最後に、好適な実施例により、第５図，第７図および第８図に示すように、ウィンドウ（501）の別の部分（505）は、現在選択される単語を提示する。ユーザが単語“Fred"を選択する場合、単語“Fred"を構成する文字は指示されたスペースに現れ、それにより“Fred"を現在選択される単語（505）として提示する。本発明は、文字ボックスにおいて表示された、認識部からの最も高い信頼値を有する代替選択肢のあるウィンドウを常に開く。現在選択される単語は、指示されたスペースにおいて常に表示される。
第８図の場合のように、ありそうな数字列が表示されると、表示される数字または記号はランダムではないが、入力が数字であると想定する、認識部による入力の最善の解釈となる。これは、各入力について算出されるが、なぜならば、例えば、住所を書く場合や、電話番号を含むノートを送信する場合に、ユーザは他の入力と並んで数字を書くことがあるためである。数字または記号は、そのスコアが十分高ければ、入力の下に優先選択肢として表示できる。それ以外の場合には、ユーザが単語の代替選択肢またはリストを見たい場合にのみ表示される。本発明は、多くの数字は単語と類似して見えるため、数字解釈を計算する。例えば、“15"は単語“is"と同じように見え、そのため認識部は両方の選択肢を生成し、ユーザに表示する必要がある。
上記の教示により、多くの利点および効果が達成される。説明した実施例は、辞書解析および最尤文字列解析の両方を利用して、可能な一致のリストを生成し、それにより正しい一致が蓄積されたリストで見つかる可能性を向上させる。
また、辞書ベースの候補単語をリスト内の最もありそうな列から分離することによって、より高い柔軟性が達成される。例えば、辞書を参照して生成された候補ワードからユーザが単語を選択する場合、選択された単語の綴りは正しいという想定を強くして、自動的にウィンドウを閉じるように処理を行うことができ、それによりユーザの時間を節約し、ウィンドウを閉じる手間を省くことができる。一方、ユーザによって選択されるとき、最もありそうな文字列は元の入力に対してリスト中で最も近いものを表すことがあるが、綴りが誤りであるというしかるべき可能性も存在する。従って、ユーザに小さな綴りの訂正を行わせる機能と機会を与えるため、最もありそうな列の選択の後もウインドウを開いたままにしておくことができる。もちろん、かかる訂正は、個々の文字ごとに、あるいは単語全体を置換することによって行うことができる。
さらに、必要ならば、別の最尤文字列解析を行って、前述のように生成された他の単語とともに追加アルファベットまたは非アルファベット列を提示できる。

Claims (8)

1. タッチスクリーンを介して手書き入力を受信する段階（200）；
   前記入力を解析して、複数の候補文字を提示する段階（201）；
   辞書にアクセスし、前記辞書内の少なくともいくつかの項目を候補文字の少なくともいくつかの組み合わせと比較して、前記入力を表す可能性のある候補単語を識別する段階（202）；
   前記辞書を参照せずに、合計した正しいという尤度が最も高い候補文字の組み合わせを、ありそうな文字列として識別する段階（202）；
   数字またや記号のありそうな数字列を識別する段階（202）；
   提示されるリストにおいて：
   少なくとも１つの前記候補単語；
   前記最もらしい文字列が前記リスト内で提示された前記候補単語の１つでない場合に、前記ありそうな文字列；
   前記ありそうな数字列；
   を含むリストを提示する段階（203）；
   前記タッチスクリーンを介して前記リストの少なくとも一部を表示する要求を指示する入力を前記ユーザから受信する段階；
   前記ありそうな文字列が前記リスト内で提示された候補単語の１つでない場合に、前記候補単語の少なくとも１つと、前記ありそうな文字列とを前記タッチスクリーンに表示する段階；
   前記タッチスクリーンを介して前記ありそうな文字列の選択を示す入力をユーザから受け取る段階；
   前記ありそうな文字列を含むように前記辞書を自動的に更新する段階；
   前記ありそうな文字列の選択を提示する段階；
   によって構成されることを特徴とする方法。
2. タッチスクリーンを介してユーザから手書き入力（103）を受信する段階；
   前記入力を解析して、複数の候補文字（401）を提示する段階；
   辞書にアクセスし、前記辞書内の少なくともいくつかの項目を候補文字の少なくともいくつかの組み合わせと比較して、前記入力を表す可能性のある候補単語（501）を識別する段階；
   前記辞書を参照せずに、合計した正しいという尤度が最も高い候補文字の組み合わせ（503）を、ありそうな文字列として識別する段階；
   提示されるリストにおいて：
   少なくとも１つの前記候補単語；
   前記最もらしい文字列が前記リスト内で提示された前記候補単語の１つでない場合に、前記ありそうな文字列；
   前記ありそうな数字列；
   を含むリスト（502）を提示する段階；
   前記タッチスクリーンを介して前記リストの少なくとも一部を表示する要求を指示する入力を前記ユーザから受信する段階；
   前記ありそうな文字列が前記リスト内で提示された候補単語の１つでない場合に、前記候補単語の少なくとも１つと、前記ありそうな文字列とを前記タッチスクリーンに表示する段階；
   前記タッチスクリーンを介して前記ありそうな文字列の選択を示す入力をユーザから受け取る段階；
   前記ありそうな文字列を含むように前記辞書を自動的に更新する段階；
   前記ありそうな文字列の選択を提示する段階；
   によって構成されることを特徴とする方法。
3. 合計した正しいという尤度が最も高い候補文字の組み合わせを、ありそうな文字列として識別する前記段階は、個別の候補文字について正確さの尤度を判定する段階を含むことを特徴とする請求項２記載の方法。
4. 合計した正しいという尤度が最も高い候補文字の組み合わせを、ありそうな文字列として識別する前記段階は、文字トリグラム統計を利用して、個別の候補文字のどの組み合わせが、正しいという最も高い尤度を有するかを調べる段階も含むことを特徴とする請求項３記載の方法。
5. タッチスクリーンを介して複数の文字を含む単語からなる手書き入力をユーザから受信する段階（200）；
   前記入力を解析して、前記単語をなす文字に相当する複数の候補文字を提示する段階（201）；
   辞書に自動的にアクセスし、前記辞書内の少なくともいくつかの単語項目を前記候補文字の少なくともいくつかの組み合わせと比較して、前記単語を表す可能性のある候補単語を識別する段階（202）；
   前記辞書を参照せずに、合計した正しいという尤度が最も高い候補文字の組み合わせを、ありそうな文字列として自動的に識別する段階（202）；
   数字または記号を有するありそうな数字列を自動的に識別する段階（202）；
   提供されるリストにおいて：
   少なくとも１つの前記候補単語；
   前記ありそうな文字列がリスト内で提示された候補単語の１つでない場合に、前記ありそうな文字列；
   前記ありそうな数字列；
   を含むリストを提示する段階（203）；
   ありそうな文字列の選択を提示すべく、前記リスト内の単語の１つを選択する段階（301）；
   前記ありそうな文字列の選択を前記ユーザに提示する段階（302）；
   前記リストの少なくとも一部を表示する要求を指示する入力を、前記タッチスクリーンを介して前記ユーザから受信する段階（303）；
   前記ありそうな文字列が前記リスト内で提示された候補単語の１つでない場合に、前記候補単語の少なくとも１つと、前記ありそうな文字列とを表示する段階（305）；
   前記タッチスクリーンを介して前記ありそうな文字列の選択を示す入力をユーザから受け取る段階；
   前記ありそうな文字列を含むように前記辞書を自動的に更新する段階；
   前記ありそうな文字列の選択を提示する段階；
   によって構成されることを特徴とする方法。
6. 前記ありそうな文字列の選択を提示する段階は元の入力の相対位置を保って前記ありそうな文字列の選択をタッチスクリーンに表示する段階を含む請求項１記載の方法。
7. 前記ありそうな文字列の選択を提示する段階は元の入力の相対位置を保って前記ありそうな文字列の選択をタッチスクリーンに表示する段階を含む請求項２記載の方法。
8. パーソナル・デジタル・アシスタントのタッチスクリーンを介して手書き入力を受信する段階（200）；
   前記入力を解析して、複数の候補文字を提示する段階（201）；
   前記辞書を参照せずに、合計した正しいという尤度が最も高い候補文字の組み合わせを、ありそうな文字列として識別する段階（202）；
   数字またや記号のありそうな数字列を識別する段階（202）；
   提示されるリストにおいて：
   少なくとも１つの前記候補単語；
   前記最もらしい文字列が前記リスト内で提示された前記候補単語の１つでない場合に、前記ありそうな文字列；
   前記ありそうな数字列；
   を含むリストを提示する段階（203）；
   前記パーソナル・デジタル・アシスタントのタッチスクリーンを介して前記リストの少なくとも一部を表示する要求を指示する入力を前記ユーザから受信する段階；
   前記ありそうな文字列が前記リスト内で提示された候補単語の１つでない場合に、前記候補単語の少なくとも１つと、前記ありそうな文字列とを前記パーソナル・デジタル・アシスタントのタッチスクリーンに表示する段階；
   前記パーソナル・デジタル・アシスタントのタッチスクリーンを介して前記ありそうな文字列の選択を示す入力をユーザから受け取る段階；
   前記ありそうな文字列を含むように前記辞書を自動的に更新する段階；
   前記ありそうな文字列の選択を提示する段階；
   によって構成されることを特徴とする方法。

Images