JP4698308B2 - 文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体 - Google Patents

Description

本発明は文字を含む情報から変換処理によって所望の文字あるいは文字列を入力する文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体、特にＯＣＲやオンライン手書き文字認識において、表示結果が間違っているとき、所望の文字あるいは文字列に修正するための文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体に関する。

スキャナ等から入力された画像の文字情報を認識するＯＣＲ（Optical Character Reader）、および表示部に文字入力枠がない表示一体型タブレットに手書き入力された文字情報を認識するオンライン手書き文字認識での誤認識の原因に、文字の切り出しの問題がある。

切り出し誤りは、文字の構造（例えば、漢字に偏や旁などの部首で構成されているものが多い）や形状（平仮名の「い」や「り」など）により、文字内の空間で文字を複数のパーツに分離した場合に各パーツが文字として成立することや、入力文字が近接している場合に文字内の空間が文字間の空間より大きくなるため複数のパーツに分離、他の文字列をあるいは他の文字のパーツと結合したりすることが原因と考えられる。

このような切り出し誤りを解消するために、文字間の空間を十分に空けることが考えられるが、印刷物を認識するＯＣＲでは、文字間の空間は印刷物に依存するため、入力時に使用者が文字間の空間を変更することはできない。また、オンライン手書き文字認識では、入力時の筆記制限として十分な空間を空けて筆記することを使用者に要求することが考えられる。しかし、文字間の空間を意識して筆記することから通常の筆記より不自然な動作となり、使用者のストレスが大きく非常に使いづらいシステムとなってしまう。従来は、この問題に対して、例えば、以下の特許文献１（特開２００１−１４４２４号公報）で提案されているように、複数の切り出し候補を含む認識結果を表示することで、使用者に正解の候補を選択して修正できるようにしている。

また、文字内の空間で分離する可能性の高い文字列を入力すると、空間で分離されるパーツの組合わせにより、切り出し候補が増えるため、一度に表示する候補が多くなり、正解を探す手間が大きくなる。この問題に対して、例えば、以下の特許文献２（特開２００１−２７３２８９号公報）で提案されているように、代表候補を選択すると関連する文字列を階層表示し、正解の候補を選択、修正できるようにしている。
特開２００１−１４４２４号公報 特開２００１−２７３２８９号公報

しかしながら、切り出し誤りのパターンは、必ず空間毎に切り出されるのではなく、例えば、「あいう」という文字列の入力の切り出しパターンは、図２８のように文字内の空間で分離したパーツが前後の文字と結合することもあるため、切り出し誤りのパターンは複雑になるだけでなく、切り出し候補の数も増大する。このような場合、特開２００１−１４４２４号公報では、切り出し候補に対応する文字列を表示しているが、使用者が表示された文字列から正解の文字列を探すが、多くの文字列は誤りの切り出しパターンに対応するため、多くの切り出し誤りのパターンが発生すると表示される候補文字列が多くなり、情報を使用者が正解の文字列を探す手間が大きくなる。さらに、それらの候補を表示できる大きな表示画面が必要となる。

小さな表示画面で多くの情報を表示するには特開２００１−２７３２８９号公報で提案されているように階層表示することが考えられるが、ＯＣＲやオンライン手書き文字認識のように、切り出し誤りを含む結果を出力する場合は、特開２００１−２７３２８９号公報のような文字コードのみの表示では、正解の切り出パターンと似た切り出し誤りパターンの候補文字列も使用者が確認する必要が生じ、結果的に正解の文字列を入力するまでに時間がかかる。

本発明はこのような問題に鑑みてなされたものであって、ＯＣＲやオンライン手書き文字認識において、表示結果が間違っているときに、簡単な操作で所望の文字あるいは文字列に修正することのできる文字入力装置、文字入力プログラム、および文字入力プログラムを記録する記録媒体を提供することを目的とする。

そこで、本発明のある局面に従うと、上記課題を解決し、上記目的を達成するために、文字入力装置は、文字情報を入力する文字情報入力手段と、該入力された文字情報に関連する候補文字を候補選択画面に複数表示する候補文字表示手段とを備え、候補文字表示手段は、候補文字を抽出する処理の途中で生成されるセグメント情報にて各候補文字をグループ化して、各グループの代表候補を候補選択画面にリスト表示する。

なお、上記文字情報入力手段は、文字を含む静止画を入力するスキャナ、デジタルカメラ等の画像入力装置、または動画を入力するビデオカメラ等の画像入力装置である画像入力手段であって、文字入力装置は、入力された情報から文字セグメントを切り出す文字切り出し手段と、切り出された文字セグメントを認識する認識手段と、各文字セグメントの認識結果と文字セグメントのパターンとを記憶する認識結果記憶手段とを持ち、入力された文字の候補を表示する際には、候補抽出前のセグメントパターンを各セグメントパターンから導かれる各候補の代表パターンとして候補選択画面の代表候補とすることが好ましい。

または、上記文字情報入力手段は、ペン型の入力デバイスを備えた手書文字入力手段であって、文字入力装置は、入力された情報から文字セグメントを切り出す文字切り出し手段と、切り出された文字セグメントを認識する認識手段と、各文字セグメントの認識結果と文字セグメントのパターンを記憶する認識結果記憶手段とを持ち、入力された文字の候補を表示する際には、候補抽出前のセグメントパターンを各セグメントパターンからに導かれる各候補の代表パターンとして候補選択画面の代表候補とすることが好ましい。

または、上記文字情報入力手段は、キーコード入力手段であって、文字入力装置は、入力された文字情報から少なくとも１以上の文字の分かち情報を求め、分かち情報パターンを生成する分かち情報生成手段と、分かち情報生成手段で生成された少なくとも１以上の分かち情報パターンを記憶する分かち情報記憶手段とを持ち、入力された文字の候補を表示する際には、各分かち情報パターンを代表パターンとして代表候補選択画面の代表候補とすることが好ましい。

さらに、上記文字入力装置は、分かち情報を基に仮名漢字変換する仮名漢字変換手段と、各分かち情報の仮名漢字変換結果と分かち情報のパターンとを記憶する仮名漢字変換結果記憶手段とを持ち、入力された文字の候補を表示する際には、仮名漢字変換前の分かち情報のパターンを各分かち情報パターンから導かれる各候補の代表パターンとして代表候補選択画面の代表候補とすることがより好ましい。

なお、候補文字表示手段は、候補選択画面において代表候補から下位の候補をリスト表示する際には、候補文字を抽出する処理の途中で生成されるセグメント情報と候補文字および候補文字列とを混在させて表示することが好ましい。

さらに、上記文字情報入力手段は、無線あるいは有線による通信手段を含み、該通信手段において文字を含む情報を入力することが好ましい。

さらに、候補文字表示手段は、セグメント情報を表示する際に、各セグメント情報を異なった表示形態で表示することがより好ましい。

本発明の他の局面に従うと、文字入力プログラムは、文字入力装置における文字入力をコンピュータに実行させるプログラムであって、文字情報を入力する文字情報入力ステップと、入力された文字情報に関連する候補文字を候補選択画面に複数表示する候補文字表示ステップとを実行させ、候補文字表示ステップにおいては、候補文字を抽出する処理の途中で生成されるセグメント情報にて各候補文字をグループ化して、各グループの代表候補を候補選択画面にリスト表示する。

本発明のさらに他の局面に従うと、記録媒体はコンピュータ読取可能な記録媒体であって、上記文字入力プログラムを記録する。

以上の構成により、本発明にかかる文字入力装置は、セグメント情報にて候補文字および候補文字列をグループ化して、各グループの代表候補を候補選択画面にリスト表示するため、候補選択画面にリスト表示されたセグメント情報を確認して正解の候補文字あるいは候補文字列を選択・修正できるので、使用者が直観的に正解文字あるいは文字列を探す事ができるため、誤識結果の修正にかかる時間が少なくなり、文字の入力および修正での使用者の負担を軽減できる。また、候補表示に大きな画面を必要としない。

本発明の実施例を示し、動作説明を行う。なお、以下で説明する実施の形態は本発明を実施するための一例であって、本発明を実現する上で制限されるものではない。

図１は本発明の実施の形態における文字入力装置の構成の具体例を示す図である。図１を参照して、本実施の形態にかかる文字入力装置として、入力結果・修正後の表示および修正対象文字列の指示に表示一体型タブレット１が共用されており、文字切り出し部４は座標情報から文字を切り出し、文字認識部３に座標情報に基づいて文字認識を行う文字認識処理の機能を備えた文字入力枠を必要としない枠なしオンライン手書文字認識装置、および、画像入力にスキャナ等の画像入力装置６を備え、文字切り出し部４は画像情報から文字を切り出し、文字認識部３に画像情報に基づいた文字認識を行う文字認識処理の機能を備えたＯＣＲについて説明を行う。

実際には、これらの装置は実質的にはコンピュータによって実現され、認識結果記憶部５はメモリ、ハードディスクなどの記憶装置によって実現され、制御部２、文字切り出し部４、文字認識部３はコンピュータの中央演算装置（ＣＰＵ：Central Processing Unit）およびＣＰＵにより実行されるソフトウェアにより実現される。このソフトウェアも、記憶装置に格納され、メモリに読み出されてＣＰＵにより実行される。

オンライン手書文字認識装置、およびＯＣＲ等の文字入力から結果表示までの流れは、以下の各実施例の中で説明を行い、ここでは表示装置の結果表示の修正について図２９を用いて説明を行う。

使用者は、筆記した文字列に対して、表示一体型タブレット１の表示装置に表示された認識結果が誤認識していることを確認すると、表示一体型タブレット１のペンを用いて、修正対象文字列を指示する。その時、表示一体型タブレット１は座標情報を検出した座標情報を制御部２に転送する。制御部２は転送された筆記情報を用いて、ペンで指示された位置の文字列の有無を判定する（Ｓ２００）。

制御部２は、文字列が存在していると判定すると指示された文字列（修正対象文字列）を特定する（Ｓ２０１）。一方、文字列が存在していないと判定すると文字列修正処理を終了する（Ｓ２１０）。

制御部２は使用者からの認識候補の表示指示の有無を判定し（Ｓ２０２）、認識候補の表示指示があったと判定すると、認識結果記憶部５から修正対象文字列の文字セグメント情報と認識結果と座標情報とを読み込み、修正対象文字列のセグメントパターンを除く各セグメントパターンを代表候補としたグループ化を行う（Ｓ２０３）。さらに制御部２は、修正対象文字列の候補文字列と、認識候補の各グループの代表候補と、各グループの代表候補に対応した候補文字列の表示ボタンとを表示一体型タブレット１の所定の位置に候補選択画面としてリスト表示する（Ｓ２０４）。

次に、使用者は候補選択画面のリスト表示中から所望の認識候補の代表候補を表示一体型タブレット１のペンで指示する。制御部２は指示された位置から候補文字列が指示されたか否かを判定し、候補文字列が指示されたと判断すると（Ｓ２０５）、対応する候補文字列を修正対象文字列に変えて表示し、候補選択画面を消去して文字修正が終了する（Ｓ２０６、Ｓ２０７、Ｓ２１０）。一方、制御部２は、指示された位置から代表候補に対応する候補文字列表示ボタンを指示判断すると、対応する候補文字あるいは候補文字列を表示する（Ｓ２０８）。使用者が、表示された代表候補に対応する候補文字または候補文字列から所望の文字もしくは文字列を指示すると、制御部２は指示された位置から候補文字列を検出し（Ｓ２０９）、対応する候補文字列を修正対象文字に変えて表示し、候補選択画面を消去して文字修正が終了する（Ｓ２０６、Ｓ２０７、Ｓ２１０）。

［第１の実施の形態］
図２は文字入力枠がないオンライン手書文字認識装置で、使用者が「潮の」を表示一体型タブレット１に筆記し、「シ朝の」と誤認識（図２（１））した場合に使用者が修正を行う様子を示す図である。

枠なしオンライン手書文字認識装置における文字入力に対する文字認識、結果表示までの流れは以下の通りである。

使用者が表示一体型タブレット１に文字を筆記すると、表示一体型タブレット１は座標情報（ｘｙ座標、ペンｏｎ／ｏｆｆ、時間等の情報）を検出し、制御部２に転送する。制御部２は、検出した座標情報を内部バッファに保持し、筆記が完結されたか否かを判定する。制御部２が完結していると判断すると、内部バッファに保持している座標情報を文字切り出し部４に転送する。文字切り出し部４は、転送された座標情報を内部バッファに蓄積し、文字セグメントの切り出しを行い、制御部２に文字セグメント情報（例えば、文字セグメントを構成するストローク番号の最小と最大の番号、外接矩形座標等）を転送し、文字切り出し完了を通知する。例えば、「潮の」を筆記すると図７のように４個の文字セグメントに切り出し、文字セグメントの情報（Ｑ（１）〜Ｑ（４））を制御部２に転送する。制御部２は、各文字セグメントの情報と内部バッファに保持している座標情報とを文字認識部３に転送し、文字認識の開始を指示する。文字認識部３は、各文字セグメントの情報および連続する文字セグメントの組合せによって求まる新たな文字セグメントを文字として認識し、各文字セグメントの情報と各文字セグメントの認識結果および座標情報とを認識結果記憶部５に転送し、同時に制御部２に認識が終わったことを知らせる。例えば、図７の文字セグメントに対して、文字認識部３が認識処理を行うと、図８から図１０の認識結果が得られ、文字セグメント情報（図７）、認識結果（図８、図９、図１０）、および座標情報（図１１）を認識結果記憶部５に転送して、認識処理が完了する。制御部２は認識が終わったことを確認すると対応する筆記情報を消去し、代わりに認識結果の文字コードを表示一体型タブレット１の表示装置に表示する。そして認識処理を終了する。

以上が繰返されることによって文字の入力が行われる。
次に、認識結果の修正について説明する。使用者は、「潮の」の入力に対して、表示一体型タブレット１の表示装置に表示された認識結果（図２（１））が誤認識していることを確認し、認識結果を修正するために「シ朝」（図２（２））を指示すると、表示一体型タブレット１は検出した座標情報を制御部２に転送する。制御部２は、座標情報と、内部バッファに保持している表示装置に表示している文字列の各文字の位置情報とを比較し、「シ朝の」の１文字目から２文字目の「シ朝」が指示されていると判断する。一般的に、表示された文字列の表示位置は、表示を制御する処理部で検出可能な機能が備わっている。例えば、本実施例では、制御部２の内部バッファに表示装置に表示している文字列の各文字について表示位置を保持している。

制御部２は認識結果記憶部５に記憶されている認識結果バッファインデックス（図１０）を基に候補順位１位の「シ朝の」（ＳＰ１）以外の認識候補「潮の」（ＳＰ２）、「シ卓月の」（ＳＰ３）の文字セグメント情報の組合わせをセグメントパターンとし、グループ化を行う。実際には、「シ朝の」の１文字目から２文字目を指示されているので、この範囲に対応する「潮」のセグメントパターン、「シ卓月」のセグメントパターンを各候補順位の代表パターンとしてグループ化する（図１８）。制御部２は、「シ朝」の候補文字列を生成し、生成された候補文字列と各グループの代表候補としてのセグメントパターンと各代表候補に対応した候補文字列表示ボタンとを表示する（図２（４））。図２では、各グループの代表候補としてのセグメントパターンとして、文字セグメントの軌跡の縮小パターンを表示している。候補文字列に正解の「潮」がないので、使用者が「潮」の正しいセグメントパターンに対応する候補文字列表示ボタンを指示する（図２（５））と、表示一体型タブレット１は検出した座標情報を制御部２に転送し、制御部２は座標情報から「潮」に対応する候補文字列表示ボタンを指示されたと判断し、「潮」の候補文字を生成して表示一体型タブレット１の表示装置に表示する（図２（６））。使用者が、正解の文字「潮」を指示すると、制御部２は指示された位置から候補文字が指示されたと判断し、対応する候補文字「潮」を修正対象文字列「シ朝」に変えて表示し、候補選択画面を消去して文字修正が終了する。

この形態の他の実施例として、図３のような表示を行うことが考えられる。図３は、同様に文字入力枠が無いオンライン手書文字認識装置で、使用者が「潮の」を表示一体型タブレット１に筆記し、誤認識結果の修正を行う様子を示す図であるが、修正文字選択のために指示した範囲を１文字として修正する機能を持たせた例である。この場合、先に述べた形態からグループ化の処理のみ変更することで実現できる。この形態では、グループ化の処理は、ユーザが指示した１文字目から２文字目までの範囲が１文字の認識候補を抽出し、グループ化結果の１番目とし、これ以外の認識候補を２番目以降の順位（図１９）とするように実現すればよい。

また、他の実施例として、図２０のような表示を行うことが考えられる。図２０は、同様に文字入力枠が無いオンライン手書文字認識装置で、使用者が「潮の」を表示一体型タブレット１に筆記し、誤認識結果の修正を行う様子を示す図であるが、候補選択画面のリスト表示がセグメントパターンのみ出力する場合の例である。この場合、グループ化の処理後、制御部２が候補選択画面のリスト表示を行う際の処理のみ変更することで実現できる。候補選択画面のリスト表示の際は、１番目の認識候補の候補文字列を生成せずに、２番目以降の認識候補の表示と同様にセグメントパターンを表示するように実現すればよい。

また、この形態の他の実施例として、無線あるいは有線による通信装置を備え、制御部２に通信装置を通じて座標情報を獲得できる機能を備えることで実現できる。この場合、座標情報の獲得手段のみ変更することで、先の実施例と同様な誤認識の修正が可能となる。

［第２の実施の形態］
図４はＯＣＲで、使用者が「潮の」の誤認識「シ朝の」を修正するときの様子を表した図である。

ＯＣＲでの画像入力に対する文字認識、結果表示までの流れは以下の通りである。
使用者が、画像入力装置６、例えばスキャナで認識させたい原稿の画像を読み取らせると、画像入力装置６は読み取った画像情報を制御部２に転送する。制御部２は転送された画像情報を保持し、文字切り出し部４に画像情報を転送する。文字切り出し部４は転送された画像情報を内部バッファに蓄積し、例えば、図２２に示すように行方向（Ｘ軸）に黒画素のヒストグラムを求め、閾値Ｈｔｈ以上の領域を行領域として行の切り出しを行う。次に切り出された行に対して、図２３に示すようにＹ軸方向に黒画素のヒストグラムを求め、閾値ＰＮｔｈ以上の領域を文字領域として切り出し、制御部２に切り出し情報（例えば、文字領域の最大、最小のＸＹ座標）を転送し、文字切り出し完了を通知する。例えば、「潮の」に対しては、図１２のように３個の文字セグメントに切り出し、文字セグメントの情報（Ｑ（１）〜Ｑ（３））を制御部２に転送する。制御部２は、各文字セグメントの情報と内部バッファに保持している画像情報とを文字認識部３に転送し、文字認識の開始を指示する。文字認識部３は、各文字セグメントの情報および連続する文字セグメントの組合せによって求まる新たな文字セグメントを文字として認識し、各文字セグメントの認識結果を認識結果記憶部５に転送し、同時に制御部２に認識が終わったことを知らせる。例えば、図１２の文字セグメントに対して、文字認識部３が認識処理を行うと、図１３から図１５の認識結果が得られ、各文字セグメントの認識結果（図１３、図１４、図１５）、および画像情報を認識結果記憶部５に転送して、認識処理が完了する。制御部２は認識が終わったことを確認すると認識結果の文字コードを表示一体型タブレット１の表示装置に表示する。そして認識処理を終了する。

次に、認識結果の修正について説明する。認識結果を修正するために「シ朝」（図４（２））を指示すると、表示一体型タブレット１は検出した座標情報を制御部２に転送する。制御部２は、座標情報と内部バッファに保持している表示装置に表示している文字列の各文字の位置情報とを比較し、「シ朝の」の１文字目から２文字目の「シ朝」が指示されていると判断する。一般的に、表示された文字列の表示位置は、表示を制御する処理部で検出可能な機能が備わっている。例えば、本実施例では、制御部２の内部バッファに表示装置に表示している文字列の各文字について表示位置を保持している。制御部２は認識結果記憶部５に記憶されている認識結果バッファインデックス（図１５）を基に候補順位１位の「シ朝の」（ＳＰ１）以外の認識候補「潮の」（ＳＰ２）に対して、「シ朝の」の１文字目から２文字目に対応する「潮」の文字セグメント情報をセグメントパターンとし、それを代表パターンとしてグループ化する（図２１）。制御部２は、「シ朝」の候補文字列を生成し、生成された候補文字列と「潮」の代表候補である文字セグメントと各代表候補に対応した候補文字列表示ボタンとを表示する（図４（４））。図４では、各グループの代表候補としてのセグメントパターンとして、文字セグメントの縮小パターンを表示している。候補文字列に正解の「潮」がないので、使用者が「潮」の正しいセグメントパターンに対応する候補文字列表示ボタンを指示する（図４（５））と、表示一体型タブレット１は検出した座標情報を制御部２に転送し、制御部２は座標情報から「潮」に対応する候補文字列表示ボタンを指示されたと判断し、「潮」の候補文字を生成して表示一体型タブレット１の表示装置に表示する（図４（６））。使用者が、正解の文字「潮」を指示すると、制御部２は指示された位置から候補文字が指示されたと判断し、対応する候補文字「潮」を修正対象文字列「シ朝」に変えて表示し、候補選択画面を消去して文字修正が終了する。

なお、図１７は複数のグループ化した結果が得られた場合の修正の様子を表している。
前記実施例では、図１２のように３個の文字セグメント（「潮」は２個）に切り出された場合を説明したが、スキャナで読み込ませる原稿の状態（印刷ムラ、多様なフォント毎の文字内の空白サイズの違い等）によっては、さらに文字セグメントの数が増加することがある。例えば、図１２の画像の濃度が低いとき、その画像を文字切り出し部４で処理すると、「朝」（Ｃｊ＋１）は画素のヒストグラムが低い箇所（閾値ＰＮｔｈに近い箇所のＰＮ１、ＰＮ２、ＰＮ３）で文字セグメントとして切り出されることがある（図３０）。このような場合も前記実施例と同様に表示することができる。

この形態の他の実施例は、スキャナ等の画像入力装置６の代わりに、無線あるいは有線による通信装置を備え、制御部２に通信装置を通じて画像情報を獲得できる機能を備えることで実現できる。この場合、画像情報の獲得手段のみ変更することで、先の実施例と同様な誤認識の修正が可能となる。

第１の実施の形態および第２の実施の形態では、文字セグメントとは入力文字列方向に対して直行する方向の空間で分離される単位あるいはその組合わせである。

［第３の実施の形態］
図２７および図５は、使用者が「手書き文字入力」を入力するためキーコード入力手段により入力された仮名文字列「てがきもじにゅうりょく」を仮名漢字変換し、誤変換「手書も字入力」を修正するときの様子を表した図である。

使用者が、キーコード入力手段、例えばキーボードから「てがきもじにゅうりょく」（図２４）を入力し、仮名漢字変換キーを押すと制御部２は分かち情報を求め、分かち情報毎に仮名漢字変換を行い、分かち情報と変換結果とを関連付けた分かち変換候補（図２５）を求める。

ここで、分かちとは、所望条件の単位に分割された仮名文字列のことを表し、分かち情報とは、入力文字列に対する分かちの位置としている。例えば、図２４の入力文字列に対する分かち「てがき」の分かち情報は０と２（０番目から２番目）となる。そして、分かち情報と変換結果とを関連付けた分かち変換候補（図２５）を求める。例えば、図２５に示す分かち変換候補ＷＰ１は、分かち情報（０、２）と変換結果（候補数（＝５）、変換候補（手書／手書き．．．／テガキ））とで構成されている。

なお、上記説明では、分かち情報は入力文字列に対する分かちの始端および終端の位置としていたが、始端および文字数（「てがき」は、始端位置０および文字数３）、始端および次の分かちの始端（「てがき」は、始端位置０および次の分かちの始端位置３）としてもよい。

制御部２は分かち変換候補（図２５）の組合せを基に分かち情報パターンである入力仮名文字列の仮名漢字変換候補（図２６）を生成し、処理結果を認識結果記憶部５に転送し、認識結果記憶部５は転送された処理結果を記憶する。

使用者が、誤変換を修正するために「手書も字入力」を選択すると（図２７）、表示一体型タブレット１は検出した座標情報を制御部２に転送する。制御部２は、座標情報と内部バッファに保持している表示装置に表示している文字列の各文字の位置情報とを比較し、「手書も字入力」が指示されていると判断する。制御部２は認識結果記憶部５に記憶されている認識結果バッファインデックス（図１６）を基に候補順位１位の「手書も字認識」（ＳＰ１）以外の変換候補「手書き文字認識」（ＳＰ２）の分かち情報パターンをセグメントパターンとし、そのセグメントパターンを代表としたグループ化を行う。従って制御部２は、「てがき／も／じ／にゅうりょく」の候補文字列を生成し、生成された候補文字列と各グループの代表候補としてのセグメントパターンと各代表候補に対応した候補文字列表示ボタンとを表示する（図５（１））。候補文字列に正解の「手書き文字入力」がないので、使用者が「てがきもじにゅうりょく」の正しいセグメントパターン「てがき／もじ／にゅうりょく」に対応する候補文字列表示ボタンを指示すると、表示一体型タブレット１は検出した座標情報を制御部２に転送し、制御部２は座標情報から「てがき／もじ／にゅうりょく」に対応する候補文字列表示ボタンを指示されたと判断し、「てがき／もじ／にゅうりょく」の候補文字を生成して表示一体型タブレット１の表示装置に表示する（図５（２））。使用者が、正解文字列「手書き文字入力」を指示すると、制御部２は指示された位置から候補文字が指示されたと判断し、対応する候補文字「手書き文字入力」を修正対象文字列「手書も字入力」に変えて表示し、候補選択画面を消去して文字修正が終了する。

この形態の他の実施例として、図６のように候補選択画面のリスト表示がセグメントパターンのみの出力である場合が考えられる。この場合、グループ化の処理後、制御部２が候補選択画面のリスト表示を行う際の処理のみ変更することで実現できる。候補選択画面のリスト表示の際は、１番目の認識候補の候補文字列を生成せずに、２番目以降の認識候補の表示と同様にセグメントパターンを表示するように実現すればよい。

なお、本実施例でのセグメント情報の表示は、候補選択画面のリスト表示に限定されず、セグメント情報ごとに異なる表示形態での表示であってもよい。

本実施の形態では、修正対象文字の指定に表示一体型タブレット１とペンを用いたが、マウスやタッチパッド等のポインティングデバイスやキーボードなどの装置を使用しても良い。

また、第２の実施の形態においてスキャナ等の画像入力装置や通信装置を用いて獲得した画像情報を入力情報としていたが、ＦＤ（Flexible Disk）やＨＤＤ（Hard Disc Drive）などの磁気記録方式やＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）／ＲＷ（Read Write）やＤＶＤ−ＲＯＭ（Digital Video Disc‐Read Only Memory）／ＲＷなどの光記録方式等の記録装置に記録された画像情報を入力情報としても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の各実施の形態に適用される文字入力装置の構成図である。 本発明の第１の実施の形態による図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 本発明の第１の実施の形態による他の実施の形態における図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 本発明の第２の実施の形態による図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 本発明の第３の実施の形態による図１の表示一体型タブレット上の認識結果修正において図２７の修正対象文字列選択後の表示の様子を説明する図である。 本発明の第３の実施の形態による他の実施の形態における図１の表示一体型タブレット上の認識結果修正において図２７の修正対象文字列選択後の表示の様子を説明する図である。 本発明の第１の実施の形態による座標情報を文字セグメントに切り出した結果を説明する図である。 本発明の第１の実施の形態での文字認識結果バッファの様子を説明する図である。 本発明の第１の実施の形態での認識結果バッファの様子を説明する図である。 本発明の第１の実施の形態での認識結果バッファインデックスの様子を説明する図である。 図１の表示一体型タブレット１から入力された筆記情報を説明する図である。 本発明の第２の実施の形態による画像情報を文字セグメントに切り出した結果を説明する図である。 本発明の第２の実施の形態での文字認識結果バッファの様子を説明する図である。 本発明の第２の実施の形態での認識結果バッファの様子を説明する図である。 本発明の第２の実施の形態での認識結果バッファインデックスの様子を説明する図である。 本発明の第３の実施の形態での仮名漢字変換結果バッファインデックスの様子を説明する図である。 本発明の第２の実施の形態による他の実施の形態における図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 本発明の第１の実施の形態での代表候補のグループ化結果を説明する図である。 本発明の第１の実施の形態による他の実施の形態における代表候補のグループ化結果を説明する図である。 本発明の第１の実施の形態による他の実施の形態における図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 本発明の第２の実施の形態での代表候補のグループ化結果を説明する図である。 本発明の第２の実施の形態での文字切り出し部における行領域の切り出しを説明する図である。 本発明の第２の実施の形態での文字切り出し部における文字領域の切り出しを説明する図である。 本発明の第３の実施の形態でのキー入力バッファの様子を説明する図である。 本発明の第３の実施の形態での分かち変換候補の様子を説明する図である。 本発明の第３の実施の形態での分かち候補の様子を説明する図である。 本発明の第３の実施の形態による図１の表示一体型タブレット上の認識結果修正に伴う表示の様子を説明する図である。 （ａ）〜（ｆ）は図１装置において表示一体型タブレットを用いて「あいう」を入力した場合の入力パターンと切り出しパターン例を示す図である。 本発明の候補文字列修正の処理フローである。 本発明の第２の実施の形態での濃度レベルが低い入力画像の場合の文字切り出し部における文字領域の切り出しを説明する図である。

符号の説明

１． 表示一体型タブレット、
２． 制御部、
３． 文字認識部、
４． 文字切り出し部、
５． 認識結果記憶部、
６． 画像入力装置、
７． ネットワーク回線、
８． 通信装置。

Claims (7)

1. 文字情報として、文字を含む画像である、静止画または動画の入力を受付ける文字情報入力手段と、
   入力された前記画像から文字セグメントを切り出す文字切り出し手段と、
   切り出された前記文字セグメントを認識する認識手段と、
   前記文字セグメントの認識結果を、当該文字セグメントが画像から切り出された位置と関連付けて記憶する認識結果記憶手段と、
   入力された前記文字情報に関連する候補文字を候補選択画面に複数表示する候補文字表示手段とを備え、
   前記候補文字表示手段は、
   前記画像からの文字セグメントの切り出し位置の異なる、文字セグメントの切り出し方ごとに、当該切り出し位置にて切り出された各文字セグメントの前記認識結果の組み合わせで得られる文字列群をグループ化する処理と、
   各グループごとに、当該グループの前記文字セグメントの切り出し方を表わした選択肢を前記候補選択画面にリスト表示する処理と、
   前記リスト表示の中から選択を受付けると、前記選択された選択肢で表わされた前記グループの前記文字列群のそれぞれを、前記入力された前記文字情報に関連する前記候補文字として前記候補選択画面に表示する処理とを実行する、文字入力装置。
2. 前記文字情報入力手段は、ペン型の入力デバイスを備えた手書文字入力手段である、請求項１に記載の文字入力装置。
3. 前記候補文字表示手段は、前記候補選択画面において、前記グループごとの当該グループの前記文字セグメントの切り出し方を表わした選択肢として、前記画像から当該切り出し方で切り出された前記文字セグメントの画像をリスト表示する、請求項１または２に記載の文字入力装置。
4. 前記候補文字表示手段は、前記リスト表示の中から選択を受付けると、前記候補選択画面において、前記リスト表示された前記文字セグメントの画像と共に前記選択された選択肢で表わされた前記グループの前記文字列群のそれぞれを表示する、請求項３に記載の文字入力装置。
5. 前記文字情報入力手段は、無線あるいは有線による通信手段を含み、前記通信手段において文字を含む情報である前記文字情報を入力する、請求項１〜４のいずれかに記載の文字入力装置。
6. 文字入力装置における文字入力をコンピュータに実行させるプログラムであって、
   文字情報として、文字を含む画像である、静止画または動画の入力を受付ける文字情報入力ステップと、
   入力された前記画像から文字セグメントを切り出して切り出された前記文字セグメントを認識するステップと、
   前記文字セグメントの認識結果を、当該文字セグメントが画像から切り出された位置と関連付けて記憶するステップと、
   入力された前記文字情報に関連する候補文字を候補選択画面に複数表示する候補文字表示ステップとを実行させ、
   前記候補文字表示ステップは、
   前記画像からの文字セグメントの切り出し位置の異なる、文字セグメントの切り出し方ごとに、当該切り出し位置にて切り出された各文字セグメントの前記認識結果の組み合わせで得られる文字列群をグループ化するステップと、
   各グループごとに、当該グループの前記文字セグメントの切り出し方を表わした選択肢を前記候補選択画面にリスト表示するステップと、
   前記リスト表示の中から選択を受付けると、前記選択された選択肢で表わされた前記グループの前記文字列群のそれぞれを、前記入力された前記文字情報に関連する前記候補文字として前記候補選択画面に表示するステップとを含む、文字入力プログラム。
7. 文字入力装置における文字入力をコンピュータに実行させるプログラムを記録する記録媒体であって、
   文字情報として、文字を含む画像である、静止画または動画の入力を受付ける文字情報入力ステップと、
   入力された前記画像から文字セグメントを切り出して切り出された前記文字セグメントを認識するステップと、
   前記文字セグメントの認識結果を、当該文字セグメントが画像から切り出された位置と関連付けて記憶するステップと、
   入力された前記文字情報に関連する候補文字を候補選択画面に複数表示する候補文字表示ステップとを実行させ、
   前記候補文字表示ステップは、
   前記画像からの文字セグメントの切り出し位置の異なる、文字セグメントの切り出し方ごとに、当該切り出し位置にて切り出された各文字セグメントの前記認識結果の組み合わせで得られる文字列群をグループ化するステップと、
   各グループごとに、当該グループの前記文字セグメントの切り出し方を表わした選択肢を前記候補選択画面にリスト表示するステップと、
   前記リスト表示の中から選択を受付けると、前記選択された選択肢で表わされた前記グループの前記文字列群のそれぞれを、前記入力された前記文字情報に関連する前記候補文字として前記候補選択画面に表示するステップとを含む、コンピュータ読取可能な記録媒体。

Images