JP4266667B2 - 文字列予測装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された手書き文字パターンが中途であっても認識文字列を予測することができる文字列予測装置及び方法に関する。特に、手書き文字の筆記に、文字枠等の一文字ごとの入力領域を使わず、自由な位置に手書き入力された文字パターンを認識し文字列に変換する場合であっても認識文字列を予測することができる文字列予測装置及び方法に関する。
【０００２】
【従来の技術】
手書き文字認識装置には、大別して、一文字ごとの文字入力領域のある枠あり手書き文字認識装置と一文字ごとの文字入力領域のない枠なし手書き文字列認識装置がある。従来の多くのオンライン手書き文字認識装置は、文字と文字の区切りの判定が不要な一文字ごとの文字入力領域を利用していた。一文字ごとの文字入力領域がない場合には、手書き文字を認識する前に、入力された手書き文字列を文字単位に分ける処理が必要となるが、文字単位に分類する処理を正確かつ高速に行うことは、実際上困難であったからである。
【０００３】
例えば（特許文献１）においては、一文字ごとの文字入力領域を設け、文字列として入力が完了していない状態において、最終的な認識結果を予測することができる枠あり手書き文字認識装置が開示されている。
【０００４】
しかし、一文字ごとの文字入力領域があると、一文字ごとに区切って文字入力領域内に文字を書く必要があり、自然な手書き文字の入力感を損なうことになる。そこで、近年では、普通に紙の上に手書き文字列を書く場合のように、画面上でも一文字ごとの文字入力領域を使わず、自然な形で自由に手書き文字列を書くことができる枠なし手書き文字列認識の技術の開発が進んでいる。
【０００５】
一方、タブレット等から入力された筆跡パターンを認識し文字列に変換する技術においては、入力されたパターン認識結果に基づいて予測辞書を検索し、入力される文字列を予測して表示する技術が開発されている。
【０００６】
例えば（特許文献２）においては、入力されたパターンに対して、個別のパターンを認識した後、認識した結果の候補文字を組み合わせて生成される文字列に基づいて単語辞書を検索し、文字列予測を行う方法が開示されている。
【０００７】
【特許文献１】
特開平９−３０５７１６号公報
【０００８】
【特許文献２】
特開平１０−９１７２８号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述したような方法は、入力されたパターン列に基づいて文字列予測を行って提示するものであり、すべての文字パターンを入力しなくても、提示された予測候補文字列を選択することで所望の文字列を入力することができ、入力効率を向上させるものである。
【００１０】
すなわち（特許文献２）においては、入力されたパターンについてパターン認識を行い、候補文字群を生成させており、生成された候補文字群を組み合わせてできる複数の検索文字列と単語辞書を照合して、各検索文字列を先頭に有する単語を予測候補として検索するものである。
【００１１】
しかし、かかる方法では、先頭数文字を完全に記入した時点でのみ適切な予測候補を出力することが可能であり、ある文字の一部を記入した時点においては、文字として未完成である部分筆記パターンに対する候補文字群が検索されることになるので、適切な予測候補を出力することができないという問題点があった。
【００１２】
例えば、ユーザが入力しようとしている手書き文字列が「予測する」であり、「予」と「測」の「さんずいへん」までを記入した時点を考えると、「予」に対する候補文字群に「予」が含まれていても、「測」の「さんずいへん」に対する候補文字群には「測」は含まれていないことから、候補文字群を組み合わせてできる検索文字列には「予測」が含まれることがない。したがって、「予測する」という単語が予測文字列として出力されることはない。
【００１３】
また、枠あり認識の場合には、最後に入力された文字枠におけるパターンは、文字パターンの記入途中である可能性があることから検索対象とせず、最後に入力された文字枠のひとつ前に記入された文字枠までを検索対象とする方法が用いられる。しかし、文字枠入力という筆記の制約のない枠なし文字列認識においては、文字の区切りが一意に決定することができないことから、どこまでを検索対象とすれば確実であるかが判定できず、適切な予測候補を出力することができないおそれがあるという問題点もあった。
【００１４】
本発明は、上記状況に鑑みてなされたものであり、枠なし文字列認識において、ある文字の一部を記入した時点においても適切な予測候補を出力することができる文字列予測装置及び方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる文字列予測装置は、文字列認識の対象となる手書き文字パターンを入力するパターン入力部と、入力された手書き文字パターンについて、一つの文字であると推定される文字領域候補を切り出し、接続可能な一連の文字領域候補群を一又は複数個出力する文字切り出し部と、文字切り出し部において出力されたすべての文字領域候補に含まれる手書き文字パターンに対して個別文字認識用辞書を用いて文字認識をそれぞれ行い、認識評価値を算出して、認識評価値と対応付けた認識候補文字を一又は複数出力する個別文字認識部と、文字切り出し部において切り出された一又は複数の文字領域候補群と、各文字領域候補群に対応して個別文字認識部から出力された一又は複数の認識候補文字に基づいて、文脈辞書を用いて最適な文字列を選択する文脈処理部と、文字切り出し部において出力された一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を決定する検索対象範囲決定部と、検索対象範囲決定部で決定された範囲の文字領域候補群と、それに対応して個別文字認識部から出力された認識候補文字を組み合わせて検索文字列を生成する検索文字列生成部と、検索文字列生成部により生成された検索文字列をキー情報として予測辞書を検索する予測辞書検索部と、予測辞書検索部において検索された予測結果と文脈処理部による文脈処理の結果を表示する結果表示部と、結果表示部に表示されている予測結果の中から、ユーザにより選択指示された予測結果を結果表示部に反映させる予測候補選択部とを備えることを特徴とする。
【００１６】
かかる構成により、枠なし文字列認識において、文字切り出し部において出力された一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲をユーザの手書き文字パターン入力状況に応じて決定し、決定された範囲で生成される検索文字列により予測辞書を検索することによって、ある文字の一部を記入した時点でも適切な予測候補を出力することが可能となる。
【００１７】
また、本発明にかかる文字列予測装置は、検索対象範囲決定部において、文字切り出し部において出力された一連の文字領域候補群における末尾に位置する文字領域候補を除いた範囲を検索対象範囲として決定することが好ましい。末尾に位置する文字領域候補は、筆跡として完了している保証がないからである。
【００１８】
また、本発明にかかる文字列予測装置は、検索対象範囲決定部において、文字切り出し部において出力された文字領域候補群の領域数が１である場合は文字領域候補を検索対象範囲とし、一連の文字領域候補群の領域数が複数である場合は一連の文字領域候補群における末尾に位置する文字領域候補を除いた範囲を検索対象範囲として決定することが好ましい。検索文字列が生成できない可能性を未然に排除することができるからである。
【００１９】
また、本発明にかかる文字列予測装置は、検索対象範囲決定部において、ユーザが手書き文字パターンを入力し終わった時点からの経過時間があらかじめ設定された時間に達した場合には、文字切り出し部が出力した一連の文字領域候補群全体を検索対象範囲として決定することが好ましい。
【００２０】
また、本発明にかかる文字列予測装置は、文字切り出し部から前回出力された文字領域候補群と検索対象範囲決定部により前回決定された検索対象範囲とを検索対象情報として保存しておく検索対象情報保存部と、文字切り出し部から出力された文字領域候補群と検索対象範囲決定部により決定された検索対象範囲と、検索対象情報との比較結果に応じて検索文字列の生成を行うか否かの判定を行う予測呼び出し判定部と、検索対象情報として、文字切り出し部により出力された最新の文字領域候補群と検索対象範囲決定部により決定された最新の検索対象範囲を格納する検索対象情報更新部をさらに含むことが好ましい。
【００２１】
また、本発明は、上記のような文字列予測装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、文字列認識の対象となる手書き文字パターンを入力するパターン入力工程と、入力された手書き文字パターンについて、一つの文字であると推定される文字領域候補を切り出し、接続可能な一連の文字領域候補群を一又は複数個出力する文字切り出し工程と、文字切り出し工程において出力されたすべての文字領域候補に含まれる手書き文字パターンに対して個別文字認識用辞書を用いて文字認識をそれぞれ行い、認識評価値を算出して、認識評価値と対応付けた認識候補文字を一又は複数出力する個別文字認識工程と、文字切り出し工程において切り出された一又は複数の文字領域候補群と、各文字領域候補群に対応して個別文字認識工程において出力された一又は複数の認識候補文字に基づいて、文脈辞書を用いて最適な文字列を選択する文脈処理工程と、文字切り出し工程において出力された一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を決定する検索対象範囲決定工程と、検索対象範囲決定工程において決定された範囲の文字領域候補群と、それに対応して個別文字認識工程において出力された認識候補文字を組み合わせて検索文字列を生成する検索文字列生成工程と、検索文字列生成工程において生成された検索文字列をキー情報として予測辞書を検索する予測辞書検索工程と、予測辞書検索工程において検索された予測結果と文脈処理工程における文脈処理の結果を表示する結果表示工程と、結果表示工程において表示される予測結果の中から、ユーザにより選択指示された予測結果を反映させる予測候補選択工程とを備える文字列予測方法並びにそのような工程を具現化するコンピュータ実行可能なプログラムであることを特徴とする。
【００２２】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、枠なし文字列認識において、文字切り出し部において出力された一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲をユーザの手書き文字パターン入力状況に応じて決定し、決定された範囲で生成される検索文字列により予測辞書を検索することによって、ある文字の一部を記入した時点でも適切な予測候補を出力することができる文字列予測装置を実現することが可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態にかかる文字列予測装置について図面を参照しながら説明する。図１は、本発明の実施の形態にかかる文字列予測装置の構成図である。
【００２４】
図１において、パターン入力部１０からは、手書き文字パターンが入力される。入力方法としては、ペン型タブレット等に代表される画面入力媒体により直接入力されるものが考えられる。以下の説明では、図２に示すように、入力文字枠が存在しない手書き文字入力領域を用いる場合に、「予測」という手書き文字が入力された場合について説明する。
【００２５】
入力された手書き文字パターンは、文字切り出し部２０に送られる。文字切り出し部２０では、入力された手書き文字パターンについて、一文字であると推定される文字領域候補に切り出し、接続可能な一連の文字領域候補群を一又は複数出力する。一文字領域候補の推定は、各ストロークのＸ軸方向の重心が一定範囲内のものを一文字領域として切り出す等の方法によって行われる。
【００２６】
図３に、図２に示す手書き文字パターン列「予測」が入力された場合における文字切り出し部２０での文字切り出し結果の一例を示す。図３において、四角で囲まれた領域が文字領域候補であり、矢印は文字領域候補間での接続が可能であることを示している。各文字領域候補の左上に表示されているアルファベットは、各文字領域候補のＩＤを示している。図３においては、接続可能な一連の文字領域候補群を文字領域候補ＩＤ列として示すと、ｃｇ、ａｂｄｆ、ａｅｆ、及びａｈの４個が出力されている。
【００２７】
次に、個別文字認識部３０では、文字切り出し部２０で切り出された文字領域候補の各手書き文字パターンに対して、個別文字認識用辞書４０と照合することによって、認識候補文字と、各々の文字についての認識評価値を出力する。認識候補文字の抽出には、一般的に用いられるＯＣＲ認識エンジンやオンライン認識エンジン等、どのような認識エンジンを用いても良い。認識評価値の算定においても、各手書き文字パターンと個別文字認識用辞書４０に記憶されている標準パターンとの間で距離計算を行ったり、特徴点に基づいて算出する等、種々の方法が考えられる。
【００２８】
図４に、図３に示した文字切り出し結果に対する個別文字認識結果の一例を示す。図４において、各認識候補文字の横に表示されている数字が、それぞれの認識候補文字に関する認識評価値を示している。認識評価値の値が大きいほど、認識文字である可能性が高いことを示している。また、認識候補文字群の左上に表示されているアルファベットは、各文字領域候補ＩＤを示している。
【００２９】
文字切り出し部２０での文字切り出し結果、及び個別文字認識部３０での個別文字認識結果は、文脈処理部５０に送られる。文脈処理部５０においては、文脈辞書６０を参照して文脈処理を行う。
【００３０】
文脈処理としては、一連の文字領域候補群と各文字領域候補群に対応して個別文字認識部３０において出力された一又は複数の認識候補文字の中から、文脈辞書６０を参照して最適な文字列を選択する処理を行う。文脈辞書６０として、単語を格納した単語辞書を用いることで、単語辞書との照合により最適な文字列を選択する方法でも良いし、２文字間あるいは３文字間のつながりやすさの統計情報を格納した辞書を文脈辞書として用いることで、文字間のつながりやすさを評価した結果により最適な文字列を選択する方法でも良い。文脈処理の結果は、結果表示部１１０において、入力した手書き文字パターンを認識した結果として表示される。
【００３１】
文字切り出し部２０での文字切り出し結果、及び個別文字認識部３０での個別文字認識結果は、文脈処理部５０に送られると同時に、検索対象範囲決定部７０にも送られる。検索対象範囲決定部７０では、文字切り出し部２０から出力された一連の文字領域候補群に対して予測辞書１００を検索するための検索文字列を生成する範囲を決定する。検索対象範囲決定部７０における処理の詳細については後述する。
【００３２】
検索文字列生成部８０では、検索対象範囲決定部７０で決定された範囲の文字領域候補群の認識候補文字を組み合わせて検索文字列を生成する。ここでは、検索対象範囲決定部７０において、検索対象範囲として、文字切り出し部２０において出力された一連の文字領域候補群をそのまま用いると決定されているものとする。
【００３３】
この場合、図４における文字切り出し結果に対する個別文字認識結果に基づいて生成される検索文字列の一例を図５に示す。図５には、それぞれ接続可能な一連の文字領域候補群ごとの検索文字列を示している。すなわち、図５（ａ）は、接続可能な一連の文字領域候補群のうち、文字領域候補ＩＤ列ｃｇに対応する検索文字列の一例を示している。以下、図５（ｂ）、図５（ｃ）、図５（ｄ）についても、それぞれ文字領域候補ＩＤ列ａｂｄｆ、ａｅｆ、ａｈに対応する検索文字列の一例を示している。
【００３４】
なお、検索文字列生成の際には、認識候補文字の組み合わせからなる文字列すべてを検索文字列として生成しても良いし、個別文字評価値が一定以上の認識候補文字の組み合わせからなる文字列を検索文字列として生成しても良い。その他、文字切り出しの尤度等がある条件を満たす場合の文字列を検索文字列として生成する等、文字切り出しの尤もらしさや個別文字認識の尤もらしさに基づいて検索文字列を生成することも考えられる。
【００３５】
そして、予測辞書検索部９０では、予測辞書１００から順次文字列を読み出して、検索文字列生成部８０で生成された検索文字列との照合を行う。予測候補として出力する予測辞書１００の検索においては、検索文字列と予測辞書１００から読み出した文字列を前方一致照合する方法でも良いし、検索文字列と予測辞書１００から読み出した文字列と完全一致照合する方法でも良い。完全一致照合する方法の場合は、予測辞書１００には、文字列とそれに後続する文字列を一対のデータとして記憶しておき、完全一致した文字列に後続する文字列を検索することができる。
【００３６】
図６に、予測辞書１００に記憶されている文字列の例示図を示す。図６に示すように、いくつかの単語が予測辞書１００に格納されており、予測辞書検索部９０は、検索文字列生成部８０で生成された検索文字列がこれらの単語と前方一致照合したものを予測候補として検索する。図４に示す文字切り出し結果及び個別文字認識結果に対して検索された予測候補の一例を図７に示す。図７において、「する」及び「結果」のように記号‘「’と‘」’で囲まれている部分は、手書き文字パターンとして入力されていない予測部分であることを示している。
【００３７】
なお、複数の予測候補が検索された場合の表示順序は、特に限定されているものではなく、頻度が高い順、より最近使用された順、個別文字の認識評価値が高い順、これらの条件の組み合わせ等により決定することができる。
【００３８】
次に、結果表示部１１０では、文脈処理部５０において処理された認識結果文字列と、予測辞書検索部９０において検索された予測候補を表示する。図８に、認識結果文字列と予測候補を画面上に表示した画面構成の一例を示す。
【００３９】
図８に示すように、手書き文字パターンを入力していくと、文脈処理部５０において処理された認識結果文字列が、画面上方の下線部において表示され、同時に予測辞書検索部９０において検索された予測候補が複数、画面下方に表示される。
【００４０】
そして、結果表示部１１０に表示された複数の予測候補の中から、ユーザが出力したい文字列、この例では「予測する」を選択すると、予測候補選択部１２０は、予測候補を選択した場合の処理を行う。例えば、選択された予測候補を現在の入力位置である下線部で示された位置に文字列として入力する。図９は、図８で示された予測候補から「予測する」が選択された場合の表示例を示している。
【００４１】
次に、検索対象範囲決定部７０の機能について説明する。ここでは、図１０に示すような手書き文字パターンが入力された場合を想定して説明する。図１０に示す手書き文字パターンは、ユーザが「予測」という文字列を入力することを意図して、二文字目の「測」の一部分を書いた状態を示している。
【００４２】
図１０の状態に対して、文字切り出し部２０における文字切り出し結果、及び個別文字認識部３０における個別文字認識結果の一例を図１１に示す。図４と同様に、各認識候補文字の横に表示されている数字が、それぞれの認識候補文字に関する認識評価値を示している。また、認識候補文字群の左上に表示されているアルファベットは、各文字領域候補ＩＤを示している。そして、図１１に示す文字切り出し結果及び個別文字認識結果に対して検索文字列を生成すると、図１２に示すような検索文字列が生成される。
【００４３】
図１２においても、図５と同様、それぞれ接続可能な一連の文字領域候補群ごとの検索文字列を示している。すなわち、図１２（ａ）は、接続可能な一連の文字領域候補群のうち、文字領域候補ＩＤ列ｃｄに対応する検索文字列の一例を示している。以下、図１２（ｂ）、図１２（ｃ）についても、それぞれ文字領域候補ＩＤ列ａｂｄ、ａｅに対応する検索文字列の一例を示している。
【００４４】
図１２に示すような検索文字列に基づいて予測辞書１００を検索しても、予測辞書１００に登録されている「予測する」や「予測結果」の単語を検索することはできない。このように、ある文字の一部を記入した時点では、入力された手書き文字パターンに対する文字切り出し結果及び個別文字認識結果に基づいて検索文字列を生成しても、適切な予測候補を出力することはできない。
【００４５】
そこで、検索対象範囲決定部７０においては、適切な予測候補を出力することができるように文字切り出し部２０から出力された一連の文字領域候補群から検索文字列を生成する範囲を決定する。本実施の形態においては、検索文字列を生成する範囲として、一連の文字領域候補群における末尾に位置する文字領域候補を除いた範囲としている。
【００４６】
これは、ある文字の記入が完了していない時点では、最後に入力された筆跡（ストロークデータ）を含む文字領域候補の文字を、記入が完了していない文字とみなすことができるからである。図１１に示すような文字切り出し結果及び個別文字認識結果に対しては、文字領域候補ＩＤがｃ、ｄ、及びｅである領域が最後に入力された筆跡を含んでおり、かかる範囲を除外することによって不適切な検索文字列を生成することを防ぐことができる。
【００４７】
図１１の例では、末尾に位置する文字領域候補を除いた文字領域候補群を文字領域候補ＩＤで表すと、それぞれｃ、ａｂ、ａとなる。したがって、末尾に位置する文字領域候補を除いた範囲に対して生成される検索文字列は、３つの文字領域候補ＩＤに対応して、それぞれ図１３（ａ）、図１３（ｂ）、図１３（ｃ）のようになる。
【００４８】
図１３に示すような検索文字列に基づいて予測辞書１００を検索すると、図１３（ｃ）に示す検索文字列「予」をキー情報として、予測辞書１００に登録されている「予測する」や「予測結果」の単語を検索することができるようになる。
【００４９】
また、上述した検索対象範囲の決定方法では、文字切り出し部２０において出力された文字領域候補群の領域数が１の場合には用いることができないことから、例えば文字切り出し部２０において出力された文字領域候補群の領域数が１である場合には文字領域候補そのままを検索対象範囲とし、一連の文字領域候補群の領域数が２以上の複数である場合には、一連の文字領域候補群における末尾に位置する文字領域候補を除いたものを検索対象範囲として決定することがより望ましい。
【００５０】
例えば、図１４に示す手書き文字パターンが入力された場合を考える。図１４における手書き文字パターンは、ユーザが「予」という文字の記入が完了した時点における手書き文字パターンを示している。
【００５１】
図１４に示す手書き文字パターンに対する文字切り出し結果及び個別文字認識結果の一例を示したものが図１５である。検索文字列を生成する範囲として、一連の文字領域候補群における末尾に位置する文字領域候補を除いたものとすると、図１５における文字切り出し結果及び個別文字認識結果に対して検索文字列が生成されることはない。したがって、予測候補として何も出力することができない。
【００５２】
そこで、検索対象範囲として、文字切り出し部２０において出力された文字領域候補群の領域数が１である場合には、文字領域候補そのままを検索対象範囲とし、一連の文字領域候補群の領域数が２以上の複数である場合には、一連の文字領域候補群における末尾に位置する文字領域候補を除いたものを検索対象範囲とする。このようにすることで、図１５に示す文字切り出し結果及び個別文字認識結果に対して生成される検索文字列は、「予」と「テ」になり、検索結果として予測辞書１００に登録されている「予測する」と「予測結果」が出力されるようになる。
【００５３】
その他に、検索対象範囲決定部７０では、検索対象範囲として、ユーザが手書き文字パターンの入力を終了した時点からの経過時間が、あらかじめ設定された時間に達した場合に、文字切り出し部２０が出力した一連の文字領域候補群そのままを検索対象範囲として決定することも考えられる。
【００５４】
例えば、図２に示す手書き文字パターン列「予測」を入力し、予測候補が提示されることを期待して次の手書き文字パターンを入力するのを待っている場合を考える。検索文字列を生成する範囲としては、文字切り出し部２０において出力された文字領域候補群の領域数が１である場合には、文字領域候補群そのままを検索対象範囲とし、一連の文字領域候補群の領域数が２以上の複数である場合には、一連の文字領域候補群における末尾に位置する文字領域候補を除いたものを検索対象範囲としている。
【００５５】
図３における文字切り出し結果及び個別文字認識結果は、文字領域候補群の領域数が２以上であることから、末尾に位置する文字領域候補を除いたものが検索対象範囲となる。すなわち、図３の例においては、末尾に位置する文字領域候補を除いた文字領域候補群は、文字領域候補ＩＤで表すと、それぞれｃ、ａｂｄ、ａｅ、ａとなる。したがって、末尾に位置する文字領域候補を除いた範囲に対して生成される検索文字列は図１６に示すようになる。図１６（ａ）は、接続可能な一連の文字領域候補群のうち、文字領域候補ＩＤ列ｃに対応する検索文字列の一例を示している。以下、図１６（ｂ）、図１６（ｃ）、図１６（ｄ）についても、それぞれ文字領域候補ＩＤ列ａｂｄ、ａｅ、ａに対応する検索文字列の一例を示している。
【００５６】
図１６に示すような検索文字列に基づいて予測辞書１００を検索すると、予測辞書１００に登録されている「予測する」や「予測結果」の他に、「予定表」のような単語も検索されることになる。このように、ユーザが入力した手書き文字パターン「測」に対して、個別文字認識結果は「測」の候補文字に高い認識評価値を出力し、「定」は候補文字として出力されていないにもかかわらず、予測結果として「予定表」が出力されることにより、不要な予測候補がユーザに提示されてしまうことになる。
【００５７】
そこで、ユーザが手書き文字パターンの入力を終了した時点からの経過時間があらかじめ設定された時間に達している場合には、文字切り出し部２０が出力した一連の文字領域候補群そのままを検索対象範囲とする。このようにすることで、図３における文字切り出し結果及び個別文字認識結果に対して生成される検索文字列は図５に示すのと同様になり、予測辞書１００を検索することによって、「予測する」と「予測結果」は検索されるが、「予定表」は検索されないよう制御することができる。
【００５８】
また、以前に行われた手書き文字パターン認識に関する情報を保存しておき、それを活用することによって演算処理負荷を軽減することも考えられる。図１７は、図1に示す構成に、予測呼び出し判定部７１と、検索対象情報更新部７２と、検索対象情報保存７３を加えた構成となっている。なお本実施の形態においては、検索対象情報とは、文字切り出し部２０から出力された文字領域候補群及びその検索対象範囲を意味している。
【００５９】
図１７において、予測呼び出し判定部７１は、文字切り出し部２０から出力された文字領域候補群及びその検索対象範囲を、検索対象情報保存７３の保存されている文字切り出し部２０から前回出力された文字領域候補群及び前回の検索対象範囲と比較する。
【００６０】
すなわち、２つの検索対象情報が同じである場合には、予測呼び出し判定部７１は、検索文字列生成部８０における検索文字列の生成処理以降の処理を呼び出さず、異なる場合にのみ呼び出すことになる。
【００６１】
検索対象情報更新部７２は、文字切り出し部２０から出力された最新の文字領域候補群と検索対象範囲決定部７０で決定された検索対象範囲を検索対象情報保存部７３に格納する。
【００６２】
本実施の形態にかかる文字列予測装置は、手書き文字パターンの筆記途中であっても適切な予測候補を提示することによって、任意のタイミングでユーザが予測候補を選択できる点に特徴を有する。したがって、手書き文字パターンの筆記途中においても予測辞書１００の検索処理を呼び出す必要がある。
【００６３】
しかし、ユーザが一画入力を追加するごとに予測辞書１００の検索処理を呼び出すことになると、ＰＤＡ等の小型の機器では計算機資源に物理的な限界があることから、処理負荷が過大になってしまうという問題が生じる。
【００６４】
一方、手書き文字パターンの筆記途中においても適切な予測候補が提示されるように、検索対象範囲を限定する方法が用いられているので、文字切り出し部２０から出力される文字領域候補群の検索対象範囲が変わらない間は、予測辞書１００に対する検索結果は変わらない。
【００６５】
したがって、検索対象情報保存部７３に保存されている前回の検索対象情報との比較を行い、この内容が変わらない間は予測辞書１００に対する検索処理を行わないようにすることで、手書き文字パターンの筆記途中であっても適切な予測候補を提示するための処理負荷を軽減することが可能となる。
【００６６】
例えば、図１８及び図２０に示す手書き文字パターンが入力された場合を考える。図１８及び図２０に示す手書き文字パターンに対する文字切り出し結果及び個別文字認識結果の一例を示したものが、それぞれ図１９及び図２１である。
【００６７】
検索文字列を生成する範囲として、一連の文字領域候補群における末尾に位置する文字領域候補を除いた範囲を採用した場合、図１９及び図２１の例では、ともに末尾に位置する文字領域候補を除いた文字領域候補群のＩＤはａとなる。したがって、末尾に位置する文字領域候補を除いた範囲に対して生成される検索文字列は、ともに図２２に示すようになる。
【００６８】
つまり、図１８に示す手書き文字パターンが入力された時点と、図２０に示す手書き文字パターンが入力された時点では、予測辞書１００の検索結果は変わらない。したがって、文字領域候補群と検索対象範囲が変わらない間は、予測辞書１００の検索処理を行わないことによって、処理負荷を軽減することが可能となる。
【００６９】
次に、本発明の実施の形態にかかる文字列予測装置を実現するプログラムの処理の流れについて説明する。図２３は、本発明の実施の形態にかかる文字列予測装置を実現するプログラムの処理の流れ図である。
【００７０】
図２３において、ユーザによって手書き文字パターンが入力されると（ステップＳ２３０１）、入力された手書き文字パターンについて文字切り出し処理を行う（ステップＳ２３０２）。
【００７１】
切り出された各文字領域候補に対する手書き文字パターンについて個別文字認識処理を行う（ステップＳ２３０３）。これまでに入力された手書き文字パターン列に対する文字切り出し結果及び個別文字認識結果に基づいて、文脈処理を行う（ステップＳ２３０４）。文脈処理の結果を結果表示部に表示する（ステップＳ２３０５）。
【００７２】
文字切り出し結果に対する検索対象範囲を決定する（ステップＳ２３０６）。検索対象範囲に対しての認識候補文字を組み合わせた検索文字列を生成する（ステップＳ２３０７）。ステップＳ２３０７で生成された検索文字列により予測辞書の検索を行う（ステップＳ２３０８）。予測辞書の検索結果を結果表示部に表示する（ステップＳ２３０９）。
【００７３】
引き続き、新規の手書き文字パターンの入力があるか否か確認し（ステップＳ２３１０）、新規の手書き文字パターンの入力がある場合には（ステップＳ２３１０：Ｙｅｓ）、ステップＳ２３０２から同様の処理を繰り返し実行する。新規の手書き文字パターンの入力がない場合には（ステップＳ２３１０：Ｎｏ）、処理を終了する。
【００７４】
以上のように本実施の形態によれば、枠なし文字列認識において、入力された手書き文字パターンに対する一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を、ユーザの手書き文字パターン入力状況に応じて決定し、決定された範囲で生成される検索文字列により予測辞書を検索することによって、手書き文字パターンの一部を記入した時点であっても適切な予測候補を出力することが可能となる。
【００７５】
なお、本発明の実施の形態にかかる文字列予測装置を実現するプログラムは、図２４に示すように、ＣＤ−ＲＯＭ２４２−２やフレキシブルディスク２４２−２等の可搬型記録媒体２４２だけでなく、通信回線の先に備えられた他の記憶装置２４１や、コンピュータ２４３のハードディスクやＲＡＭ等の記録媒体２４４のいずれに記憶されるものであっても良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７６】
また、本発明の実施の形態にかかる文字列予測装置により生成された個別文字認識用辞書、文脈辞書、予測辞書等についても、図２４に示すように、ＣＤ−ＲＯＭ２４２−１やフレキシブルディスク２４２−２等の可搬型記録媒体２４２だけでなく、通信回線の先に備えられた他の記憶装置２４１や、コンピュータ２４３のハードディスクやＲＡＭ等の記録媒体２４４のいずれに記憶されるものであっても良く、例えば本発明にかかる文字列予測装置を利用する際にコンピュータ２４３により読み取られる。
【００７７】
【発明の効果】
以上のように本発明にかかる文字列予測装置によれば、枠なし文字列認識において、文字切り出し部において出力された一連の文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲をユーザの手書きパターン入力状況に応じて決定し、決定された範囲で生成される検索文字列により予測辞書を検索することによって、ある文字の一部を記入した時点でも適切な予測候補を出力することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態にかかる文字列予測装置の構成図
【図２】 本発明の実施の形態にかかる文字列予測装置において入力される手書き文字パターンの例示図
【図３】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果の例示図
【図４】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果に対する個別文字認識結果の例示図
【図５】 本発明の実施の形態にかかる文字列予測装置における生成された検索文字列の例示図
【図６】 本発明の実施の形態にかかる文字列予測装置における予測辞書の例示図
【図７】 本発明の実施の形態にかかる文字列予測装置における検索された予測候補の例示図
【図８】 本発明の実施の形態にかかる文字列予測装置における結果表示画面の例示図
【図９】 本発明の実施の形態にかかる文字列予測装置における予測候補選択後の画面表示の例示図
【図１０】 本発明の実施の形態にかかる文字列予測装置において入力される他の手書き文字パターンの例示図
【図１１】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果に対する個別文字認識結果の例示図
【図１２】 本発明の実施の形態にかかる文字列予測装置における生成された検索文字列の例示図
【図１３】 本発明の実施の形態にかかる文字列予測装置における生成された検索文字列の例示図
【図１４】 本発明の実施の形態にかかる文字列予測装置において入力される他の手書き文字パターンの例示図
【図１５】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果に対する個別文字認識結果の例示図
【図１６】 本発明の実施の形態にかかる文字列予測装置における生成された検索文字列の例示図
【図１７】 本発明の実施の形態にかかる文字列予測装置の他の構成図
【図１８】 本発明の実施の形態にかかる文字列予測装置において入力される他の手書き文字パターンの例示図
【図１９】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果に対する個別文字認識結果の例示図
【図２０】 本発明の実施の形態にかかる文字列予測装置において入力される他の手書き文字パターンの例示図
【図２１】 本発明の実施の形態にかかる文字列予測装置における文字切り出し結果に対する個別文字認識結果の例示図
【図２２】 本発明の実施の形態にかかる文字列予測装置における生成された検索文字列の例示図
【図２３】 本発明の実施の形態にかかる文字列予測装置における処理の流れ図
【図２４】 コンピュータ環境の例示図
【符号の説明】
１０ パターン入力部
２０ 文字切り出し部
３０ 個別文字認識部
４０ 個別文字認識用辞書
５０ 文脈処理部
６０ 文脈辞書
７０ 検索対象範囲決定部
７１ 予測呼び出し判定部
７２ 検索対象情報更新部
７３ 検索対象情報保存部
８０ 検索文字生成部
９０ 予測辞書検索部
１００ 予測辞書
１１０ 結果表示部
１２０ 予測候補選択部
２４１ 回線先の記憶装置
２４２ ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
２４２−１ ＣＤ−ＲＯＭ
２４２−２ フレキシブルディスク
２４３ コンピュータ
２４４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims (9)

1. 文字列認識の対象となる手書き文字パターンを入力するパターン入力部と、
   入力された前記手書き文字パターンについて、一つの文字であると推定される文字領域候補を切り出し、接続可能な一連の文字領域候補群を一又は複数個出力する文字切り出し部と、
   前記文字切り出し部において出力されたすべての前記文字領域候補に含まれる前記手書き文字パターンに対して個別文字認識用辞書を用いて文字認識をそれぞれ行い、認識評価値を算出して、前記認識評価値と対応付けた認識候補文字を一又は複数出力する個別文字認識部と、
   前記文字切り出し部において出力された一連の前記文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を決定する検索対象範囲決定部と、
   前記検索対象範囲決定部で決定された範囲の前記文字領域候補群と、それに対応して前記個別文字認識部から出力された前記認識候補文字を組み合わせて検索文字列を生成する検索文字列生成部と、
   前記検索文字列生成部により生成された前記検索文字列をキー情報として前記予測辞書を検索する予測辞書検索部と、
   前記予測辞書検索部において検索された予測結果を表示する結果表示部と、
   前記結果表示部に表示されている前記予測結果の中から、ユーザにより選択指示された前記予測結果を結果表示部に反映させる予測候補選択部とを備え、
   前記検索対象範囲決定部において、
   前記文字切り出し部において出力された前記文字領域候補群の領域数が１である場合は前記文字領域候補を検索対象範囲とし、一連の前記文字領域候補群の領域数が複数である場合は一連の前記文字領域候補群における末尾に位置する前記文字領域候補を除いた範囲を検索対象範囲として決定することを特徴とする文字列予測装置。
2. 前記検索対象範囲決定部において、
   前記文字切り出し部において出力された一連の前記文字領域候補群における末尾に位置する前記文字領域候補を除いた範囲を検索対象範囲として決定する請求項１に記載の文字列予測装置。
3. 前記検索対象範囲決定部において、
   ユーザが前記手書き文字パターンを入力し終わった時点からの経過時間があらかじめ設定された時間に達した場合には、前記文字切り出し部が出力した一連の前記文字領域候補群全体を検索対象範囲として決定する請求項１又は２に記載の文字列予測装置。
4. 前記文字切り出し部において切り出された一又は複数の前記文字領域候補群と、前記各文字領域候補群に対応して前記個別文字認識部から出力された一又は複数の前記認識候補文字に基づいて、文脈辞書を用いて最適な文字列を選択する文脈処理部をさらに備え、
   結果表示部は、前記予測辞書検索部において検索された予測結果と前記文脈処理部による文脈処理の結果を表示する、請求項１〜３のいずれか１項に記載の文字列予測装置。
5. 前記文字切り出し部から前回出力された前記文字領域候補群と前記検索対象範囲決定部により前回決定された検索対象範囲とを検索対象情報として保存しておく検索対象情報保存部と、
   前記文字切り出し部から出力された前記文字領域候補群と前記検索対象範囲決定部により決定された前記検索対象範囲と、前記検索対象情報との比較結果に応じて前記検索文字列の生成を行うか否かの判定を行う予測呼び出し判定部と、
   前記検索対象情報として、前記文字切り出し部により出力された最新の前記文字領域候補群と前記検索対象範囲決定部により決定された最新の前記検索対象範囲を格納する検索対象情報更新部をさらに含む請求項１に記載の文字列予測装置。
6. 文字列認識の対象となる手書き文字パターンを入力するパターン入力工程と、
   入力された前記手書き文字パターンについて、一つの文字であると推定される文字領域候補を切り出し、接続可能な一連の文字領域候補群を一又は複数個出力する文字切り出し工程と、
   前記文字切り出し工程において出力されたすべての前記文字領域候補に含まれる前記手書き文字パターンに対して個別文字認識用辞書を用いて文字認識をそれぞれ行い、認識評価値を算出して、前記認識評価値と対応付けた認識候補文字を一又は複数出力する個別文字認識工程と、
   前記文字切り出し工程において出力された一連の前記文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を決定する検索対象範囲決定工程と、
   前記検索対象範囲決定工程において決定された範囲の前記文字領域候補群と、それに対応して前記個別文字認識工程において出力された前記認識候補文字を組み合わせて検索文字列を生成する検索文字列生成工程と、
   前記検索文字列生成工程において生成された前記検索文字列をキー情報として前記予測辞書を検索する予測辞書検索工程と、
   前記予測辞書検索工程において検索された予測結果を表示する結果表示工程と、
   前記結果表示工程において表示される前記予測結果の中から、ユーザにより選択指示された前記予測結果を反映させる予測候補選択工程とを備え、
   前記検索対象範囲決定工程において、
   前記文字切り出し工程において出力された前記文字領域候補群の領域数が１である場合は前記文字領域候補を検索対象範囲とし、一連の前記文字領域候補群の領域数が複数である場合は一連の前記文字領域候補群における末尾に位置する前記文字領域候補を除いた範囲を検索対象範囲として決定することを特徴とする文字列予測方法。
7. 前記文字切り出し工程において切り出された一又は複数の前記文字領域候補群と、前記各文字領域候補群に対応して前記個別文字認識工程において出力された一又は複数の前記認識候補文字に基づいて、文脈辞書を用いて最適な文字列を選択する文脈処理工程をさらに備え、
   結果表示工程では、前記予測辞書検索工程において検索された予測結果と前記文脈処理工程における文脈処理の結果が表示される、請求項６に記載の文字列予測方法。
8. 文字列認識の対象となる手書き文字パターンを入力するパターン入力ステップと、
   入力された前記手書き文字パターンについて、一つの文字であると推定される文字領域候補を切り出し、接続可能な一連の文字領域候補群を一又は複数個出力する文字切り出しステップと、
   前記文字切り出しステップにおいて出力されたすべての前記文字領域候補に含まれる前記手書き文字パターンに対して個別文字認識用辞書を用いて文字認識をそれぞれ行い、認識評価値を算出して、前記認識評価値と対応付けた認識候補文字を一又は複数出力する個別文字認識ステップと、
   前記文字切り出しステップにおいて出力された一連の前記文字領域候補群に対して予測辞書を検索するための検索文字列を生成する範囲を決定する検索対象範囲決定ステップと、
   前記検索対象範囲決定ステップにおいて決定された範囲の前記文字領域候補群と、それに対応して前記個別文字認識ステップにおいて出力された前記認識候補文字を組み合わせて検索文字列を生成する検索文字列生成ステップと、
   前記検索文字列生成ステップにおいて生成された前記検索文字列をキー情報として前記予測辞書を検索する予測辞書検索ステップと、
   前記予測辞書検索ステップにおいて検索された予測結果を表示する結果表示ステップと、
   前記結果表示ステップにおいて表示される前記予測結果の中から、ユーザにより選択指示された前記予測結果を反映させる予測候補選択ステップとをコンピュータに実行させ、
   前記検索対象範囲決定ステップにおいて、
   前記文字切り出ステップにおいて出力された前記文字領域候補群の領域数が１である場合は前記文字領域候補を検索対象範囲とし、一連の前記文字領域候補群の領域数が複数である場合は一連の前記文字領域候補群における末尾に位置する前記文字領域候補を除いた範囲を検索対象範囲として決定することを特徴とする文字列予測方法を具現化するコンピュータ実行可能なプログラム。
9. 前記文字切り出しステップにおいて切り出された一又は複数の前記文字領域候補群と、前記各文字領域候補群に対応して前記個別文字認識ステップにおいて出力された一又は複数の前記認識候補文字に基づいて、文脈辞書を用いて最適な文字列を選択する文脈処理ステップをさらにコンピュータに実行させ、
   結果表示ステップでは、前記予測辞書検索ステップにおいて検索された予測結果と前記文脈処理ステップにおける文脈処理の結果が表示される、請求項８に記載のコンピュータ実行可能なプログラム。

Images