JP4383790B2 - 携帯情報端末 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯電話やＰＤＡなどの携帯情報端末であって、特に電子カメラなどを有して画像データを取得できるものにおける文字認識技術の向上に関する。
【０００２】
【従来の技術】
上記の技術分野においては、携帯端末によって画像を採取し文字認識する場合に、採取した低解像度の画像から文字行位置の抽出処理を行った後、その文字行位置の部分画像に対し拡大表示を行うことにより、文字行部分画像を高解像度化して認識精度の向上を図る技術思想が提案されている（特許文献１）。
【０００３】
【特許文献１】
特開２００３−７８６４０号公報
【０００４】
【発明が解決しようとする課題】
文字認識処理に適した画像の画質として、以下のものが挙げられる。
（１）フォーカスが認識対象の文字列に適切に合わされていること。
（２）画像のコントラストが十分高いこと。
（３）認識対象の上に、本体、利用者などの影が落ちていないこと。
（４）画像取得時のシャッターボタンの押下動作で生じる、端末本体の振動により、画像にぶれが生じていないこと。
【０００５】
このような画質を得ることは、特に携帯情報端末においては困難であるため、上記の従来技術では、認識対象となる文字列を撮影する前に利用者が手動で、本体、撮影対象を動かして、ピント、照明条件等を調整し、認識対象の文字行が、文字認識に適した画質で、取得できるように調整するか、適切な条件で撮影ができるまで利用者が撮影を繰り返すか、又は、十分でない画質の画像に対して文字認識した結果に対して多くの修正作業を行う必要があって手間がかかるという課題がある。
【０００６】
また、従来の携帯端末を用いて、長い文字行を文字認識する場合、文字行にフォーカスを合わせると、文字行が画像入力部の撮影可能範囲からはみ出てしまう。このため利用者は、はみ出した部分について手作業で入力を行うか、文字行を複数回に分けて撮影し、認識結果の合成を行う必要があった。後者の場合、利用者は、撮影を行うたびに本体の位置や向きを調整することで認識対象を文字認識に適した画質で撮影できるように手動で微調整しなければならず手間がかかるという課題がある。
【０００７】
そこで、本発明は、以上のような点に鑑みてなされたもので、上記課題の一部又は全部を解決すると共に、特に、携帯情報端末または携帯電話等を用いた文字認識において、連続して撮影した複数の画像に対する文字認識結果の一覧から、誤りの少ない文字認識結果を利用者が選択する技術思想、または連続して撮影した画像に対する文字認識結果を合成して、誤りの少ない文字認識結果を利用者に提示する技術思想を提供することを一つの目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために例えば、画像データを取得する画像取得部と、画像取得部で取得した画像データを記憶する記憶部と、操作入力を受ける操作部と、画像データに含まれる文字を認識する文字認識部と、制御部とを有する携帯情報端末において、以下の手段を採用する。
【０００９】
制御部は、画像取得部で取得した複数の画像データに対して、文字認識部でそれぞれ文字認識処理を実行し、それらの結果から一の結果の選択を操作部で受ける。
【００１０】
制御部は、操作部への入力に基づいて、その入力の前及び後の少なくとも一方に記憶部に記憶する複数の画像データに対する文字認識処理部による文字認識処理を実行させる。
【００１１】
制御部は、記憶部に記憶している複数の画像データに対する文字認識部による文字認識処理の結果から、文字が重複する部分を検出し、検出された重複部分で位置合わせして複数の文字認識結果を合成する。
【００１２】
【発明の実施の形態】
以下、本発明に好適な実施形態の例を実施例１〜３として、図１から図１６を用い説明する。なお、本例では横書きの画像を使用しているため、各箇所の例では文字行として説明するものの、表示画像に対して垂直方向の縦書き画像、すなわち、文字列としても良いことは言うまでもなく、その他、本発明は本実施形態に限られるものではない。
【００１３】
図１は、画像入力部を持つ携帯電話１００（ＰＤＡ等であってもよく、携帯情報端末、携帯端末、携帯装置と総称する）の概略を示す構成図である。
【００１４】
名刺や雑誌、あるいは看板などの文字認識対象の画像が、画像入力部１１０から入力され、文字認識部１５０において文字認識処理を行い、撮影された画像および文字認識結果を表示部１２０に表示する。撮影された画像および文字認識結果は記憶部１６０に記憶される。操作部１３０は、利用者が一般的に電話をかけるときなどに使用されるものであるが、他に利用者が表示部１２０に表示された画像の認識を開始する時に押下する認識開始ボタン１３１、表示部に表示された認識結果の前の画像に対する認識結果を選択する時に押下する上ボタン１３２、次の画像に対する認識結果を選択するときに押下する下ボタン１３４も有している。認識実行ボタン１３１は撮影の開始を指示する撮影開始ボタン、撮影の終了を指示する撮影終了ボタン、文字認識の終了を指示する認識終了ボタン、および認識結果の選択を確定する確定ボタンを兼ねる。
【００１５】
文字認識部１５０、操作部１３０、画像入力部１１０、表示部１２０などの各部、各ユニットの制御は、ＣＰＵ等から構成される制御部１４０によってその機能が制御される。なお、上述及び以下に説明する各部は、部、機構、ユニットとも表現でき、基本的にソフトウェア又はハード、又はソフトウェアとハードとの結合によって処理、制御される機能である。なお、撮影、取得、入力などされた画像は、後述する文字認識に用いるように、制御部１４０上のメモリ又は携帯端末に備わるメモリカード等の記憶装置１６０に記憶しておくような態様が望ましい。
【００１６】
実施例１．
図２は、図１の携帯端末を使用した第１の実施形態の処理手順を説明する図である。以下に示す処理、制御は制御部、制御部１４０によって主に行われるが説明を省略する。
【００１７】
利用者が、認識開始ボタンを押下する（ステップ２０１）ことにより、携帯情報端末あるいは携帯電話１００は画像取得、および文字認識処理を開始する。携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力部１１０を用いて、文字認識対象となる名刺や雑誌、あるいは看板などの画像を撮影し、装置内の一時記憶メモリ又は制御部１４０に具備されるメモリ上にディジタル画像として取得する（ステップ２０２）。
【００１８】
文字認識部１５０において、取得したディジタル画像より文字認識対象となる文字行の抽出を行う（ステップ２０３）。
【００１９】
図３は、文字行抽出ステップ２０３を説明する図である。取得されたディジタル画像３００に２値化処理を行い、２値化された画像中の黒画素の水平方向の投影分布３０１を求めることで、画像中に含まれる文字行の垂直位置３０２〜３０６を取得する。取得された文字行の中から、基準位置３０７に最も近い位置にある文字行を文字認識対象の垂直位置とし、その近傍にある黒画素の連結成分を統合し、認識対象の文字列、およびその画像中の位置３０８を取得する。ここで、文字行抽出に用いる基準位置は次のものを用いることができる。
・撮影時に画像上に重ね合わせて表示されたポインタ３０９の位置
・処理対象画像より前に撮影、文字認識された画像中の認識対象文字列の位置これらの位置の少なくとも一方から得られる位置情報を文字行抽出の基準位置３０７として用いることができる。
【００２０】
ステップ２０３で抽出された文字列は文字認識部１５０において文字認識される（ステップ２０４）。
【００２１】
取り込まれたディジタル画像と文字認識結果は、制御部１４０に具備されるメモリまたは記憶装置１６０上の履歴テーブルに記憶される（ステップ２０５）。ただし、ディジタル画像の記録は必ずしも必用ではない。
【００２２】
図４は、メモリ上の履歴テーブルを説明する図である。ディジタル画像４０１と文字認識結果４０２、および文字行位置４０３は、履歴テーブル４００に、画像番号４０６に一意に対応付けて記録される。また認識結果の表示フラグ４０４、及び認識結果の表示順位４０５も、画像番号４０６に一意に対応付け同履歴テーブル４００に記録される。認識結果の表示フラグ４０４は後述のステップ２０７、及び認識結果の表示順位４０５は後述の２０８で定義される。
【００２３】
ステップ２０２〜２０５の処理は利用者が認識終了ボタンを押下するまで制御部１４０によって自動的に繰り返される（ステップ２０６）。利用者はこの間に、より文字認識に適した画質で画像を取得できるように、本体または撮影対象を動かし画質の調整を行うことができる。調整の参考とするため、ステップ２０５完了後、文字認識結果を表示部１２０に撮影中の画像とあわせて表示するようにしてもよい。ステップ２０６における、認識を終了するための条件は、利用者による認識終了ボタンの押下以外に、認識開始からの事前に指定した時間が経過した場合や、同一の認識結果が事前に指定した回数以上得られた場合、などの予め設定した条件を適用することも可能である。
【００２４】
ステップ２０７において、文字認識結果の表示の可否を決定する。同一の文字認識結果が重複して存在する場合、２つめ以降の同一の文字認識結果を表示しない。例えば、図４において、Ｎｏ．３と５の文字認識結果はまったく同じであるため、Ｎｏ．５の表示を行わない。文字認識結果の表示の可否は、画像番号４０６と対応付けて、履歴テーブル４００に認識結果表示フラグ４０４として記録される。
【００２５】
ステップ２０８では認識結果の表示の順番を決定する。文字認識結果を表示する順番は画像を取得した順番で表示する以外に、文字認識結果の確度の高い順番とすることができる。文字認識結果の確度を評価する基準としては以下のものを用いることができる。
・文字認識処理における、文字の識別類似度、文字幅・文字間ピッチの一貫性などの情報から算出した認識結果の確信度
・文字認識結果のテーブル４００中における同一の文字列の出現頻度
これらの評価基準のいずれか、または両方を用いて文字認識結果を評価し、順位付けを行う。ここに挙げた以外に、文字認識結果の評価に好適な評価基準があればそれを用いてもかまわない。文字認識結果を表示する順番は、画像番号４０６と対応付けて、履歴テーブル４００に認識結果表示順位４０５として記録される。
【００２６】
履歴テーブル４００上の文字認識結果４０２を、認識結果の表示フラグ４０４、および認識結果の表示順位４０５に基づいて、表示部１２０に表示する。履歴テーブル４００に文字認識結果４０２に対応するディジタル画像４０１が記録されているならば、文字認識結果４０２と合わせて表示することができる。利用者は、表示される文字認識結果の中から、採用する文字認識結果を操作部１３０によって選択することができる（ステップ２０９）。
【００２７】
図５は、文字認識結果の表示、および選択を説明する図である。表示部１２０上に、文字認識結果５０１と、それに対応するディジタル画像５０２を表示し、ディジタル画像５０２上に文字認識の対象とした文字行の位置示す矩形５０３を重ねて表示する。利用者は、操作部１３０の上ボタン１３２を押下することで、表示中の文字認識結果の前の文字認識結果を、下ボタン１３３を押下することで、表示中の文字認識結果の次の文字認識結果を表示することができる。利用者は、決定ボタン１３１を押下し、文字認識結果を選択する。また文字認識結果の表示と選択では、複数の文字認識結果を一画面に表示し、ディジタル画像と文字行位置を表示しない形態としてもかまわない。
【００２８】
このように、連続して撮影された複数の画像に文字認識を適用することで、文字認識処理に好適な条件で取得された画像、すなわち誤りの少ない文字認識結果の利用者へ提供することができ、また、利用者は所望の文字認識結果を選択することができる。
【００２９】
実施例２．
本実施例では、連続して撮影した画像から得られた文字認識結果を合成し、より確度の高い文字認識結果を得る方法を説明する。
【００３０】
図６は本実施例の処理の流れを表す図である。
【００３１】
ステップ６０１〜６０６までは、図２のステップ２０１〜２０６までと同様の処理を行い、画像データと文字認識結果の記録を行う。
【００３２】
ステップ６０７では、複数の画像についての文字認識結果の、文字コードが重複する個所の検出を行い、文字認識結果の位置合わせを行う。図７は重複位置の検出を説明する図である。２つの認識結果の文字列に対し、一致する文字が多くなるように文字列の位置合わせを行う。一致する文字の位置関係や、それぞれの文字パタンの大きさの関係から、文字が一致しない個所の対応付けや、文字の欠落の推定、１文字を２文字以上に分割してしまった個所等の推定を行うことができる。図中実線は一致する文字の対応付け、破線は一致する文字の位置などから推定された文字の対応付けである。図８の文字認識結果に対し、位置合わせを行うことで図９の結果が得られる。
【００３３】
ステップ６０８では、ステップ６０７で位置合わせを行った認識結果を合成し、最終的な認識結果を得る。具体的には、それぞれの文字位置について、出現する文字を調べ、その文字に対する文字識別類似度の平均や、文字の出現頻度などを用いて、順位付けを行う。それぞれの文字位置について、順位が最も高いものをその文字位置における認識結果として採用し、図１０に示す文字認識結果を得る。
【００３４】
本実施例においては、図１１に示すような、認識対象の文字行１１０１にフォーカスを合わせた場合に、撮影可能範囲１１０２から文字行がはみ出してしまうような長い文字行の認識も可能である。ステップ６０２〜６０５を実行中に、本体または撮影対象１１００を少しずつ文字行１１０２の方向に沿って移動させると、図１２に示すような画像群が取得できる。これらの画像の文字認識結果は図１３のようになり、ステップ６０７の位置合わせ処理を行うと図１４の結果が得られる。この結果に対し、ステップ６０８の処理を行うことで、撮影可能範囲からはみ出してしまう長い文字列に対しても、短い文字列を認識した場合と同様の確度の高い文字認識結果を得ることができる（図１５）。
【００３５】
実施例３
図１６は本実施例の処理の流れを表す図である。
【００３６】
利用者が撮影開始ボタンを押下することにより、制御部１４０は画像入力部に対し、一定時間ごとに画像の取得の指示を行う（ステップ１６０１）。取得された画像は、例えば事前に定めた画像数だけ履歴として保存される（ステップ１６０２）。画像データの履歴の件数が事前に定めた画像数の上限を超える場合は、履歴中の最も古い画像を削除し、新しく取得した画像を履歴に追加する。
【００３７】
利用者は、文字認識に好適な条件で画像が取得できるよう、本体または撮影対象の位置を動かして調節し、認識ボタン１３１を押下する（ステップ１６０３）。
【００３８】
認識ボタン１３１の押下後、事前に指定された画像数だけ画像の取得し、画像データの履歴に追加する（ステップ１６０４）。ステップ１６０２で履歴として保存できる画像データの最大数と、ステップ１６０４で履歴に追加する画像データの数は、それぞれ独立で指定可能である。
【００３９】
なお、認識ボタン押下前のみ又は後のみの複数の画像を記憶させることもできる。
【００４０】
ステップ１６０５では、履歴に保存された画像データに対して文字行抽出、文字認識を行う。ステップ１６０５で文字認識に用いる画像の指定は、履歴に保存されている画像データ中の任意の一枚以上の画像を指定することができる。すなわち、保存されているすべての画像に対して文字認識を適用することも可能であるし、保存されている画像の一部に対してのみ文字認識を適用することも可能である。例えば、認識ボタン押下より前の画像に対してのみ文字認識を適用することで、認識ボタン押下時の本体の振動による影響を回避することができる点で有効である。この指定は、予め指定しておいても良いし、認識ボタンの押下後に指定しても良い。
【００４１】
ステップ１１０７〜１１０９までは、図６のステップ６０７〜６０９までと同様の処理を行い、文字認識結果の合成と表示を行う。また、ステップ１１０７〜１１０９までの処理を、図２のステップ２０７〜２０９までの処理と置き換えることも可能である。
【００４２】
本実施例では、認識対象の撮影中に文字認識を利用者が指示する形態としたが、事前に撮影した認識対象の画像に対し、文字認識を指示することも可能である。例えば、事前に認識対象を撮影した動画の再生中に文字認識を指示する形態とすることも可能である。
【００４３】
【発明の効果】
本発明によって、正しい文字認識結果を容易に得ることができる。
【００４４】
また、撮影可能範囲からはみ出てしまう文字列に対する文字認識を容易にできる。
【図面の簡単な説明】
【図１】 携帯端末の詳細構成図を示す。
【図２】 第１の実施形態に係る文字認識方法のフロー図である。
【図３】 第１の実施形態に係る文字行抽出処理を説明する図である。
【図４】 第１の実施形態に係るディジタル画像と文字認識結果の対応付けを説明する図である。
【図５】 第１の実施形態に係る認識結果の表示と選択処理を説明する図である。
【図６】 第２の実施形態に係る文字認識方法のフロー図である。
【図７】 第２の実施形態に係る文字認識結果の位置合わせ処理を説明する図である。
【図８】 第２の実施形態に係る画像群の文字認識結果を表示した図である。
【図９】 第２の実施形態に係る文字認識結果の位置合わせ処理の結果の図である。
【図１０】 第２の実施形態に係る最終的な文字認識結果の図である。
【図１１】 第２の実施形態に係る文字認識の対象文字列と、撮影可能範囲を説明する図である。
【図１２】 第２の実施形態に係る取得された画像群の図である。
【図１３】 第２の実施形態に係る画像群の文字認識結果を表示した図である。
【図１４】 第２の実施形態に係る文字認識結果の位置合わせ処理の結果の図である。
【図１５】 第２の実施形態に係る最終的な文字認識結果の図である。
【図１６】 第３の実施形態を説明する文字認識処理のフロー図を示す。
【符号の説明】
１００…携帯情報端末（携帯端末）、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…制御部、１５０…文字認識部、１６０…記憶部

Claims (1)

1. 画像を取得する画像取得部と、前記画像取得部で連続して取得した複数の画像を記憶する記憶部と、操作入力を受ける操作部と、画像に含まれる文字を認識する文字認識部と、制御部とを有する携帯情報端末であって、
   前記制御部は、前記記憶部に記憶している複数の画像に対する前記文字認識部による文字認識処理の結果から、文字が重複する部分を検出し、検出された重複部分で位置合わせし、それぞれの文字位置について、出現する文字を調べ、その文字に対する文字識別類似度の平均により順位付けし、順位の高いものをその文字位置における認識結果として採用することにより、複数の文字認識結果を合成することを特徴とする携帯情報端末。

Images