JP4875117B2 - 画像処理装置 - Google Patents

Description

本発明は、カメラで撮影した画像を処理する画像処理装置に関する。

最近では、携帯端末やＰＣなどの情報機器に高解像度のカメラが内蔵されるようになり、このようなカメラを使い人物の顔を認識したり、またバーコードやＱＲコードに代表されるコードパターンを認識したり、名刺内容などの文字を認識するなど、さまざまな認識処理を携帯端末やＰＣで行うことが可能となっている。

このようにカメラで撮影した画像を携帯端末やPC等の情報機器で認識処理を行う場合、カメラまたは認識対象物（被写体）のどちらかは手持ちである場合が多く、手ぶれが発生したり、フォーカスが合わない画像が入力されてしまったりすることがある。手ぶれやフォーカスが合わない画像を認識処理した場合、認識性能が低下するという問題があった。

そこで、近年では、カメラから連続的に入力される画像に対してフォーカス状態の検出を行い、認識対象物（被写体）にフォーカスが合った状態がユーザに分かるようにする、あるいはフォーカスが合うとシステムが自動的に撮影を行うことにより、手ぶれやフォーカスずれのない静止画を撮影するシステムが考えられている（例えば特許文献１参照）

特開２００６−１５７９３４

しかしながら、上記した技術の場合、ある程度、広い領域を撮影対象とする際に、画像内の一部はフォーカスが合っていても他の部分のフォーカスが合っていないことも多いため、認識対象物（被写体）全体のフォーカスが合った画像が撮影できない、あるいは撮影が完了するまでに長い時間やユーザの試行錯誤を要するといった問題があった。

また、カメラで画像を撮影する場合、レンズ特性などの原因で、画像の中心部の画質はよいが、周辺部ではぼやけたり、ゆがんだり、または輝度が暗くなるなど、画像の画質が部分的に劣化している場合がある。

さらに、画像を認識する場合は、被写体である認識対象物をなるべく大きい状態で撮影範囲の中心に入れるように撮影することが必要であるが、認識対象物が中心になるとは限らず、特に撮影範囲の中心から離れた画像領域（周辺部）を認識する場合、その部分では認識性能が低下するという問題があった。

本発明はこのような課題を解決するためになされたもので、認識対象物（被写体）やカメラがぶれやすい状態で撮影される画像から所望の情報を高精度に認識することができる画像処理装置を提供することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、カメラで認識対象物が撮影された画像を記憶可能なメモリと、前記画像を前記メモリに記録する画像入力部と、前記画像内に存在する前記認識対象物が認識可能な状態か否かを、予め設定された判定条件に従って判定する認識対象状態判定部と、前記認識対象状態判定部により認識可能な状態と判定された前記認識対象物の画像領域を検出する認識対象検出部と、前記メモリに記憶された複数の画像から前記認識対象物の移動量を検出する移動量検出部と、前記メモリから読み出した前記認識対象物の画像領域から、前記移動量検出部により検出された前記認識対象物の移動量に従って画像領域間の位置の対応をとり、前記画像領域内の認識すべき少なくとも一つの部分領域を検出する部分領域検出部と、前記部分領域検出部により検出された個々の部分領域に対して認識処理を行い、認識された文字および／またはパターンとその信頼度を前記部分領域毎の認識結果として前記メモリに記憶する認識部と、撮影時刻の異なる画像領域を認識して得られた同じ部分領域の文字認識結果を前記メモリから読み出し、部分領域毎に時系列として得られる文字認識結果から、部分領域に含まれる文字毎に最も出現割合の高い文字をそれぞれ決定し、それらを連結した文字列を認識結果として出力する認識結果統合部とを具備することを特徴とする。

本発明によれば、認識対象物（被写体）やカメラがぶれやすい状態で撮影される画像から所望の情報を高精度に認識することができる。

本発明の一つの実施の形態の画像処理装置の外観構成を示す図である。 図１の画像処理装置の内部構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 プレビュー画面に名刺画像を表示した一例を示す図である。 プレビュー画面に名刺の鏡像を表示した一例を示す図である。 名刺画像を示す図である。 図６の名刺画像から文字行領域を抽出する様子を示す図である。 図７の文字行領域から単位文字領域を検出する様子を示す図である。 時刻k-1に撮影された画像を示す図である。 時刻kに撮影された画像を示す図である。 オプティカルフロー検出の例を示す図である。 認識結果を統合する様子を示す図である。 認識した文字をプレビュー画面に表示した一例を示す図である。 名刺の位置の移動を促す表示を行う画面の表示例を示す図である。

以下、図面を参照して、本発明の一つの実施の形態の画像処理装置を詳細に説明する。

この実施形態の画像処理装置は、図１に示すように、カメラ搭載型のノートＰＣなどであり、機能的には、例えばＣＣＤカメラなどの入力装置（以下これをカメラ１という）と、コンピュータ本体２と、例えば液晶表示装置などの出力装置３とを備えている。

この他、画像処理装置としては、例えば（Universal Serial Bus：ＵＳＢ）接続タイプの外付けＷＥＢカメラなどをＵＳＢコードなどで接続したデスクトップ型のコンピュータやカメラ付携帯電話機などであってもよい。

カメラ１は、例えば手などで両端を掴んでレンズの視野（撮影範囲）内にかざした被写体（名刺、葉書、写真などの矩形の帳票などの認識対象物）を撮影しデジタル画像としてコンピュータ本体２に入力する撮像手段である。

この実施形態では、入力装置として、カメラ１自体を例示したが、「カメラ１により撮影された画像」をコンピュータ本体２に入力するものであれば、ネットワーク上のサーバやネットワーク回線、その通信インターフェースなども含まれる。この他、入力装置１としては、様々なものを許容する。

出力装置３は、コンピュータ本体２で画像認識処理された結果を画面に表示（出力）する。この他、カメラ１によって撮影された画像や認識結果を出力できるものであれば、液晶表示装置以外のものであってもよい。

以下の説明では、認識対象物として、名刺を一例にあげ、カメラ１で撮影された名刺の画像や認識結果を出力装置３の画面に表示する例について説明する。

出力装置３は、図４に示すようなプレビュー画面４１を備えている。プレビュー画面４１には、カメラ１で撮影された名刺画像４３が連続して表示される。また、このプレビュー画面４１には、ユーザが名刺の位置合わせを適切に行えるように、名刺の外縁部の位置合わせ用のガイドライン（名刺枠）４２が表示される。

ユーザはプレビュー画面４１に表示された名刺枠４２内に、撮影およびプレビューされる名刺画像４３が収まるように、手に持った名刺をカメラ１のレンズの視野方向（撮影範囲内）にかざすものとする。名刺枠４２内に名刺画像４３が収まるのであれば、名刺を固定してカメラ１の側を移動してもよい。

ユーザが、プレビュー画面４１内における名刺画像４３の位置を直感的に合わせやすいように、例えば手に持った名刺を右に動かすと、プレビュー画面４１に映る名刺画像４３（プレビュー画像という）も右に移動するように、カメラ１からコンピュータ本体２に入力された画像をそのまま画面に表示するのではなく、図５に示すように、名刺を裏返して透かした状態の画像４４（これを鏡像４４という）を表示するようにしてもよい。

図２に示すように、コンピュータ本体２は、受付部２１、メモリ２２、認識対象状態判定部２３、認識対象部分領域検出部２４、移動量検出部２５、画像処理部２６、認識部２７、認識結果統合部２８、認識終了決定部２９などを備えている。メモリ２２以外の要素は、ハードディスク装置にインストールされたプログラムにより実現される。なお上記各要素はソフトウェアに限らずハードウェアで実現してもよい。

受付部２１は、カメラ１から入力される画像をメモリ２２の異なるバッファ領域に順次記憶する画像入力部として機能する。メモリ２２に記憶される画像には、撮影時刻（受付時刻）が付与される。また受付部２１は、処理対象の画像をメモリ２２から順に読み出して画像パターンを認識するのに適した形式に変換する入力画像処理手段として機能する。

なお、画像のファイルタイプが予め定めた形式に適さない場合や画像全体が歪んでいた場合など、そのままでは認識に不都合が生じる。この場合、受付部２１は、適したファイルタイプへの変換や理想的なカメラレンズと実際のレンズとの画像の差から得た補正用パラメータの使用による歪み補正などの既知の画像処理技術を用いて画像を修正する。

カメラ１により撮影された画像（以下これを撮影画像という）がコンピュータ本体２に入力されると、その撮影画像は受付部２１により受け付けられてメモリ２２にバッファリングされる。メモリ２２には、画像が記憶される他、予め認識終了条件、処理条件、判定条件などが設定されている。

認識対象状態判定部２３は、メモリ２２に記憶された撮影画像を読み出して、撮影画像内の名刺が認識可能な状態か否かを、予め設定された判定条件に従って判定する。
この例のように認識対象物が名刺である場合、判定条件としては、図４に示すガイド枠４２付近に名刺画像４３の縁が検出できているか否か、および／または名刺の部分にフォーカスがある程度合っているか否かが判定される。ガイド枠４２付近に名刺画像４３の縁が存在しているか、またはフォーカスがある程度合っていれば、名刺が認識可能な状態と判定される。また撮影された名刺の大きさが撮影範囲よりも広い場合や、ガイド枠４２内付近に名刺画像４３の縁が存在していない場合には、名刺が認識不可能な状態と判定される。

認識対象状態判定部２３は、撮影画像内の名刺が認識不可能な状態であると判定した場合、予めメモリ２２に設定されている処理条件に従って次の処理を行う。
処理条件として、例えば「名刺が認識不可能な状態は次の撮影画像を判定する」と設定されていた場合、次の撮影画像をメモリ２２から読み出して撮影画像の状態を判定する。また「名刺が認識不可能な状態は画像の高画質化処理を行い再判定する」と設定されていた場合、画像処理部２６に対して画像の品質向上のための高画質化処理を行わせる。そして高画質化処理された当該撮影画像またはその一部の名刺画像の部分をメモリ２２から読み出して名刺が認識可能な状態か否かを再判定する。

認識対象状態判定部２３は、名刺が認識不可能な状態と判定した場合、カメラ１の撮影範囲内で名刺が認識可能となるよう移動を促す情報を出力装置３へ出力する。移動を促す情報としては、例えば移動方向を指示する文字や図形などの表示メッセージ、音声メッセージ等である。

ガイド枠４２付近に名刺画像４３の縁が存在しているか否かについては、撮影画像に対してハフ変換などの手法を用いて直線検出を行い、名刺ガイド枠近傍に名刺の縁の直線が存在しているか否かを調べることによって実現する。この他、名刺画像がガイド枠４２と重なるようにかざされているか否かを判定してもよい。

名刺の部分にフォーカスが合っているか否かは、撮影画像中の名刺の画像（以下これを名刺画像という）をいくつかに区分したそれぞれ小領域に対して周波数成分変換を行い、高周波成分が、ある一定値以上含まれているかどうかを調べることによって実現する。

認識対象部分領域検出部２４は、認識対象状態判定部２３より名刺の内容が認識可能な状態と判定された名刺画像の領域を検出および切り出し撮影順にメモリ２２に記憶する。また、認識対象部分領域検出部２４は、メモリ２２から一つずつ読み出した名刺画像から、移動量検出部２５により検出された名刺の移動量に従って、名刺画像内の認識すべき少なくとも一つの部分領域（文字行領域）を検出する。

本実施形態では、ユーザがガイド枠４２に名刺画像４３が映るように、手で掴んでいる名刺の位置を動かすものとしたが、カメラ１自体にパン、チルト、ズームなどの駆動機構を持つ場合には、認識対象状態判定部２３で検出した名刺画像情報を用いて、名刺画像４３とガイド枠４２が重なるように駆動機構でカメラ１側を駆動し自動調整してもよい。

移動量検出部２５は、メモリ２２に撮影順に記憶された複数の名刺画像から名刺の移動量を検出し、フレーム画像間での認識対象の動きを検出する。
画像処理部２６は、文字認識対象の名刺画像を文字認識する前処理として、文字認識の性能を向上させるために認識対象部分領域およびその一部に対して超解像処理などの高画質化処理を施す。すなわち、画像処理部２６は、認識不可能な状態の画像に対して画像品質向上のための処理を行う。なお画像処理部２６として利用される画像処理用のエンジン（グラフィックチップなどのハードウェア）に余力があれば、認識対象状態判定部２３により「名刺が認識不可能な状態」と判定された撮影画像そのものを高画質化してもよい。

超解像処理は、１枚あるいは複数毎の低解像度の画像からより高解像度、高精細な像を推定および生成する処理であり、撮像素子の解像度不足やレンズの光学ぼけなどによる画像劣化を軽減することができる。超解像技術自体は、「画像の自己合同性を利用した再構成型超解像」（電子情報通信学会技術報告 IE2007-135, 2007-12 p. 135-140）などの手法を用いることで実現可能である。

また、超解像処理は、比較的計算コストの高い処理であるため、認識結果が所定時間内に得られない場合（認識結果がなかなか確定しない場合）、あるいは文字サイズが小さいなど、特定の条件を満たす認識対象部分領域にのみ超解像処理を行うようにしてもよい。

認識部２７は、認識対象部分領域検出部２４により抽出された文字行領域内の単位文字領域に対して文字認識を行う。認識部２７は、認識対象部分領域検出部２４により検出された個々の文字行領域に対して認識処理を行い、認識された文字（キャラクタ）および／または符号、図形およびコードなどのパターンとその信頼度を文字行領域毎の認識結果としてメモリ２２に記憶する。認識対象は文字だけに限らず、例えば符号や図形などのキャラクタであってもよい。

認識結果統合部２８は、時系列情報として得られる認識対象部分領域の認識結果（文字と信頼度）に基づき、その時点での最も信頼度の高い（もっともらしいと思われる）文字認識結果を求め、その統合結果で認識結果の文字と信頼度を確定し、認識対象部分領域の文字列を決定する（この一連の処理を認識結果の統合という）。統合した認識結果（文字と信頼度）は、メモリ２２の該当認識対象部分領域の情報として記憶する。すなわち、認識結果統合部２８は、撮影時刻の異なる画像領域を認識して得られた同じ部分領域の文字認識結果をメモリ２２から読み出してそれぞれの信頼度に従って統合し、その統合した結果を、認識結果としてメモリ２２に記憶すると共に出力装置３へ出力する。

認識終了決定部２９は、認識部により前記部分領域の認識処理が行われ、予め設定された認識終了条件が満たされた場合、認識処理を終了させる。
認識終了条件としては、メモリ２２に記憶された各画像の全ての認識対象部分領域で予め設定された信頼度よりも高い認識結果が得られた、または一定回数以上認識処理を継続したが認識状態がある一定レベルを超えず改善がみられない、またはユーザが名刺をかざすのをやめた（カメラ１からの画像に名刺画像が存在しない）、ユーザが認識終了操作を行い認識終了命令が発行されたといったイベントの発生などである。ユーザが名刺をかざしているか否かの判定については、認識対象状態判定部２３で得られる情報（名刺ガイド枠近傍に名刺の縁の直線が存在しているか否かなど）を用いて行うものとする。

以下、図３乃至図１４を参照してこの画像処理装置の動作を説明する。カメラ１により、例えば１／１５秒程度の間隔で撮影された画像が、コンピュータ本体２に順次入力されると、コンピュータ本体２では、受付部２１が、入力された画像を受け付けて入力順にメモリ２２にバッファリングする。つまり受付部２１への画像の入力が一定時間間隔で連続して行われる。画像入力やその後の処理は、認識終了条件を満たすまで平行して行われる。なお１／１５秒とは一例であり、１／３０秒でもよく、それ以外の間隔であってもよい。

図４に示すように、出力装置３には、受付部２１により受け付けられた名刺を含む画像４３（以下これを名刺画像４３という））がプレビュー画面４１に表示される。名刺画像４３は一旦メモリ２２にバッファリングされ、それが出力装置３へ出力され、出力装置３の画面に表示される。

プレビュー画面４１には、ユーザが画面に対して名刺を撮影した画像（以下これを名刺画像という）の位置を適切に合わせられるように、名刺の外縁の大きさのガイドライン（以下これをガイド枠４２という）が表示されており、ユーザは表示されたガイド枠４２内に名刺画像４３がちょうど収まるように、名刺をカメラ１にかざすものとする。

撮影された名刺画像４３をプレビュー画面４１に表示する位置をユーザが直感的に合わせやすいように、例えば手に持った名刺を右に動かすと、プレビュー画面４１に表示される名刺画像４３も右に移動するよう、カメラ１で撮影された画像をそのまま表示するのではなく、図５のように、プレビュー画面４１に鏡像４４を表示してもよい。

受付部２１によって画像が取得されると（ステップＳ１０１）、認識対象状態判定部２３は、メモリ２２から画像を読み出して、撮影画像内の名刺画像を検出する（ステップＳ１０２）。入力画像に対してハフ変換などの手法を用いて直線を検出し、名刺ガイド枠近傍に名刺の縁の直線が存在しているか否かを調べることによって名刺画像を検出する（ステップＳ１０２）。

直線の有無を調べた結果、名刺の縁の直線が４本（上辺、左辺、下辺、右辺）検出されなかった場合など、名刺画像の検出が失敗したと判断される場合（ステップＳ１０３のＮｏ）は、Ｓ１０１の処理に戻り、画像取得から再度処理をやり直す。

本実施形態では、ユーザが名刺ガイド枠に名刺が映るように名刺の位置を動かすものとしたが、カメラ自体にパン、チルト、ズームなどの機能を持つ場合には、認識対象状態判定部での名刺画像情報を用いて、名刺画像と名刺ガイドが重なるようにカメラの自動調整をしてもよい。

名刺画像の検出が成功すると（ステップＳ１０３のＹｅｓ）、次に、認識対象部分領域検出部２４は、検出された名刺画像の中から認識対象の文字行領域である認識対象部分領域を検出する。本実施例においては、認識対象は名刺の印字内容であり、認識対象部分領域は名刺に印字された文字列の領域である。
文字行領域は、検出された認識対象部分領域を認識対象部分領域検出部２４がレイアウト解析することで（ステップＳ１０４，Ｓ１０５，Ｓ１０６）、検出される。文字行領域はさらに細かく解析されて単位文字の領域が検出される。文字認識の際は、検出された単位文字の領域を切り出し、予め登録されている辞書とマッチングすることで、文字列（テキスト）を出力する。辞書には、大量の文字パタンから抽出された文字特徴量が文字コードと対応して登録されている。

レイアウト解析とは、文書画像の構成要素を抽出することであって、文書に含まれる単位文字領域やそれらを統合して求められる文字行領域、図表領域、さらにはそれらの属性を求めることである。

文字行領域を検出する場合は、行の位置や幅、高さなどの情報が属性として抽出される。また単位文字領域の場合は、文字の位置や幅、高さ、および文字が含まれる文字行領域の位置や幅、高さなどが属性として抽出される。このようなレイアウト解析結果の情報（名刺画像のどの位置に文字行領域が存在するという位置や幅、高さの情報）は、名刺画像に紐付けされてメモリ２２に記憶される。文書画像に対するレイアウト解析は、文字認識の分野では一般的な技術であり、名刺画像のような比較的レイアウトが単純な文字列領域を持つものに対しては容易に文字認識が可能である。

本実施形態では、名刺画像内に適応二値化を施すことによって名刺画像内で文字を構成する画素（濃度の濃い画素、以降黒画素と呼ぶ）と背景画素（濃度の薄い画素）とを分離し、黒画素に対してラベリング処理を行いラベリングされた黒画素外接矩形のうち、文字と見なせる大きさの外接矩形領域を単位文字領域として抽出することにより、単位文字抽出を行う。さらに近傍の単位文字領域を連結することにより文字行領域を抽出する。

外接矩形領域（単位文字領域）は、上記のように画素の配置から求めてもよく、基準の文字のサイズ情報として予めメモリ２２に登録しておいてもよい。なお、名刺画像４３に対してレイアウト解析を行うことで、初めに文字行領域を検出した後、個々の文字行領域４５に含まれる個々の文字の画像領域（これを単位文字領域という）を検出してもよい。

この具体例として、認識対象部分領域検出部２４は、図６に示すような名刺画像４３に対してレイアウト解析を行うことで、図７に示すような文字行領域４５を抽出（切出）し、その文字行領域４５から、図８に示すように、文字行領域４５に含まれる個々の単位文字領域４６を検出する。

レイアウト解析の結果、文字行が抽出できなかった場合、またはレイアウト解析が失敗したと判定した場合、つまり、レイアウト解析が成功しなかった場合（ステップＳ１０６のＮｏ）、認識対象部分領域検出部２４は、ステップＳ１０１の処理に戻り、メモリ２２から次の画像を読み出し、画像処理をやり直す（ステップＳ１０１〜Ｓ１０６）。

レイアウト解析処理は、１フレーム毎の画像に対して行ってもよいが、認識対象が変わらない場合、つまり同一の名刺認識を継続中の場合は、名刺画像が適切に名刺枠内と重なった最初の一度だけ、あるいは数フレームに１度行い、それ以外のフレームでは後に抽出される移動量情報を用いてレイアウト情報の更新を行う方が効率的である。ここではレイアウト情報の更新は、移動量情報を用いて自動的に行うものとする。

レイアウト解析が成功すると（ステップＳ１０６のＹｅｓ）、次に、移動量検出部２５は、認識対象物（名刺画像）の移動量を検出し、フレーム画像間での認識対象の動きを検出する（ステップＳ１０７）。具体的には、図９のように、時刻k-1の時点で撮影（取得）された画像４７の中から、ある位置の特徴点をいくつか検出してメモリ２２に記憶し、図１０のように、次の時刻kの時点で撮影（取得）された画像４８の中から上記と同じ特徴点を検出してメモリ２２に記憶し、図１１に示すように、時系列を追って取得された二つの画像４７，４８間で特徴点がどのように動いたかを検出、つまりフレーム画像間でのオプティカルフロー（光学的流動）を検出することによって、認識対象の動き成分４９（方向と距離）を求める。

入力された画像がぼけていたなどの原因でフレーム画像間の特徴点の位置が確定できずに移動量の検出に失敗した場合（ステップＳ１０８のＮｏ）、Ｓ１０１の処理に戻り、画像取得から、処理を再度やり直す。

このようにオプティカルフローを求めることで、ユーザがかざす名刺の位置が多少移動しても、オプティカルフローに応じてレイアウト情報を更新することで（ステップＳ１０９）、フレーム画像間での文字位置の対応をとることができる。

移動量の検出が成功すると（ステップＳ１０８のＹｅｓ）、移動量検出部２５は、検出した移動量に従って、メモリ２２のレイアウト解析情報を更新する（ステップＳ１０９）。
次に、認識部２７は、認識対象部分領域検出部２４で抽出された文字行領域内の文字に対して、文字認識が行われる（ステップＳ１１０）。認識部２７は、文字認識を行う前に、メモリ２２から読み出した認識対象部分領域に対して認識が可能か否かの画像の状態の判定を行い、画像にノイズ成分が多く含まれていたり、または画像がぼけていた場合など、その認識対象部分領域の画像の状態が悪い場合は文字認識を行わない。

この場合、認識部２７は、画像処理部２６に指示し、その認識対象部分領域に対して、高画質化処理を施させてメモリ２２に記憶させる。その後、認識部２７は、高画質化処理が施された認識対象部分領域をメモリ２２から読み出して、再度文字認識を行う。なお、この高画質化処理は必須ではなく、オプション設定としてもよい。

認識部２７は、切り出された文字の画像またはその画像から抽出した特徴情報と文字認識用の辞書のデータとのマッチングを行い、最も信頼度の高い文字を辞書から読み出すことにより文字認識処理を行う。認識部２７は、個々の文字の認識結果として、切り出した文字画像に対する文字コードとその信頼度とをメモリ２２に記憶する。これを文字列の文字数分行うことで、メモリ２２には、一つの文字行領域に対して文字毎の認識結果のデータが記憶される。これを順次取得される画像毎に行うことで、同じ文字の認識結果が時系列で得られる。

続いて、認識結果統合部２８は、文字行領域の各文字毎の認識結果のデータを、時系列で得た文字認識結果を統合する（ステップＳ１１１）。

具体的には、認識結果統合部２８は、時系列情報として得られる認識対象部分領域の複数の認識結果のデータの中から、その時点での最も多く認識されたデータを信頼度の高いデータ（もっともらしいと思われる認識結果）として文字認識結果とその信頼度を確定する。

認識結果を統合するにあたり、認識結果統合部２８は、過去k（k＞０）フレームに対する文字認識結果のうち信頼度がしきい値TH_rより大きいものの中での多数決をとり、信頼度として、過去k（k＞０）フレームに対する文字認識結果のうちもっともらしいと判断される文字となったパーセンテージをとる。

図１２に示すように、認識対象の文字行領域が「山田太郎」などであり、信頼度の幅として、例えば0〜100の値をとり（値が大きいと信頼度が高い）、k = 5, TH_r = 30とする場合、認識結果統合部２８は、時系列的にk-4〜kまで５回認識した認識結果（文字とその信頼度）のうち、最も確からしいと思われる認識結果を選定する。

図１２の例では、初めの「山」という文字について、しきい値TH_rが30より大きい信頼度を持つ文字は「山」が４つなので、最も確からしい文字認識結果を「山」と決定し、その信頼度は80（4/5*100)となる。また「田」という文字について、しきい値TH_rが30より大きいものは「田」が２つ、「口」が１つなので、最も確からしい文字認識結果は「田」と決定し、その信頼度は40（2/5*100)となる。

「太」という文字についてはしきい値TH_rが30より大きいものは「太」が１つ、「大」が２つなので、最も確からしい文字認識結果は「大」と決定し、その信頼度は40（2/5*100)となる。「郎」という文字については、しきい値TH_rが30より大きいものは「郎」が５つなので、最も確からしい文字認識結果は「郎」と決定し、その信頼度は100（5/5*100)となる。

すなわち、文字行領域「山田太郎」のこの時点の統合結果は、文字列（「山」、「田」、「大」、「郎」）となり、その信頼度はそれぞれの文字毎に80, 40, 40, 100とされる。

一つの認識対象部分領域（文字行領域）の認識結果の統合処理が終了すると、メモリ２２の該当認識対象部分領域に対して処理済みのフラグを付し、このフラグと認識結果のデータを確認することで、認識対象部分領域の認識が済んでいるか否かを判定できる。

続いて、認識終了決定部２９は、予めメモリ２２に設定された認識終了条件を参照し認識処理を終了するか否かを判定する（ステップＳ１１２）。現在の認識処理の状態が認識終了条件を満たしていれば（ステップＳ１１２のＹｅｓ）、処理を終了する。

出力装置３は、認識結果または認識信頼度を画面に表示することによって、認識結果をプレビュー画面４１に表示してユーザに確認させるための一例としては、図１３に示すように、例えば名刺画像中の各文字行領域に沿って、認識した文字（テキスト）５０を表示するなどの例がある。この他、文字（テキスト）５０の色を変える、文字（テキスト）５０を枠で囲んで表示するなど、認識した文字自体を強調するようにしてもよい。

また、カメラ１で画像を撮影する場合、レンズ特性などの原因により、画像中心部の画質はよいが、周辺部ではぼやけたり、ゆがんだり、輝度が暗くなるなど画質が劣る場合がある。このようなカメラ１では画像周辺部の画質が悪いため、認識が収束しないことが考えられる。

そのように、名刺が認識不可能な状態と判定した場合、認識対象状態判定部２３は、カメラ１の撮影範囲内で名刺が認識可能となるよう移動を促す情報を出力装置３へ出力することで、プレビュー画面４１に、名刺の位置の移動を促すメッセージを表示させるなどしてユーザに移動指示を与え（ステップＳ１１３）、この移動指示（報知）により、ユーザが、未認識の認識対象部分領域の位置を移動させることで、認識の改善を図ることができる。

ユーザに対して名刺の位置の移動を促すための表示例としては、例えば図１４に示すように、名刺の移動方向の矢印（この例では点線矢印５１）および／またはマーク（この例では星印５２）などを表示する他、例えば「星が画面中心となるように名刺を移動させてください」などといった文字（この例ではメッセージ５３）を表示してもよい。また名刺のガイド枠を移動する、音声を発生して報知するなどの形態をとってもよく、これらの例のうちいずれの方法を用いてもよい。

このようにこの実施形態の画像処理装置によれば、画質の安定した画像が撮りにくい環境で、画像を認識するにあたり、まず名刺画像が得られるたびに認識が可能な認識対象部分領域を検出し、その認識が可能な部分領域から認識処理を行い、部分領域毎に認識結果を蓄積しておき、撮影された順に得られる複数の画像を認識した結果、同じ部分領域の認識結果を統合することで、より安定した高精度の認識結果を得ることができる。

なお、本願発明は上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。すなわち、上記実施形態に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を構成できる。また実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

この他、例えばコンピュータのハードディスク装置などのストレージにインストールしたプログラムで各構成要素を実現してもよく、上記プログラムを、コンピュータ読取可能なＣＤ−ＲＯＭなどの記憶媒体に記憶しておき、プログラムを記憶媒体からコンピュータに読み取らせることで実現してもよい。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。

１…カメラ、２…コンピュータ本体、３…出力装置、２０…メモリ、２１…受付部、２２…メモリ、２３…認識対象状態判定部、２４…認識対象部分領域検出部、２５…移動量検出部、２６…画像処理部、２７…認識部、２８…認識結果統合部、２９…認識終了決定部、４１…プレビュー画面、４２…ガイド枠、４３…名刺画像。

Claims (7)

1. カメラで認識対象物が撮影された画像を記憶可能なメモリと、
   前記画像を前記メモリに記録する画像入力部と、
   前記画像内に存在する前記認識対象物が認識可能な状態か否かを、予め設定された判定条件に従って判定する認識対象状態判定部と、
   前記認識対象状態判定部により認識可能な状態と判定された前記認識対象物の画像領域を検出する認識対象検出部と、
   前記メモリに記憶された複数の画像から前記認識対象物の移動量を検出する移動量検出部と、
   前記メモリから読み出した前記認識対象物の画像領域から、前記移動量検出部により検出された前記認識対象物の移動量に従って画像領域間の位置の対応をとり、前記画像領域内の認識すべき少なくとも一つの部分領域を検出する部分領域検出部と、
   前記部分領域検出部により検出された個々の部分領域に対して認識処理を行い、認識された文字および／またはパターンとその信頼度を前記部分領域毎の認識結果として前記メモリに記憶する認識部と、
   撮影時刻の異なる画像領域を認識して得られた同じ部分領域の文字認識結果を前記メモリから読み出し、部分領域毎に時系列として得られる文字認識結果から、部分領域に含まれる文字毎に最も出現割合の高い文字をそれぞれ決定し、それらを連結した文字列を認識結果として出力する認識結果統合部と
   を具備することを特徴とする画像処理装置。
2. 認識不可能な画像またはその一部の領域に対して画像品質向上のための高画質化処理を行う画像処理部を具備することを特徴とする請求項１記載の画像処理装置。
3. 前記認識対象状態判定部は、
   前記認識対象物を認識不可能な状態と判定した場合、前記画像処理部により高画質化処理された前記認識対象物の画像またはその一部の画像領域を用いて前記認識対象物が認識可能な状態か否かを再判定することを特徴とする請求項２記載の画像処理装置。
4. 前記認識部は、
   前記認識対象状態判定部が前記認識対象物を認識不可能な状態と判定した場合、前記画像処理部により高画質化処理された前記認識対象物の画像またはその一部の画像領域を用いて再認識することを特徴とする請求項２記載の画像処理装置。
5. 前記認識対象状態判定部は、
   前記認識対象物の画像領域が認識不可能な状態と判定した場合、前記カメラの撮影範囲内で前記認識対象物が認識可能となるよう移動を促す情報を出力することを特徴とする請求項１記載の画像処理装置。
6. 前記認識部により前記部分領域の認識処理が行われ、予め設定された認識終了条件が満たされた場合、認識処理を終了させる認識終了決定部を具備することを特徴とする請求項１記載の画像処理装置。
7. 前記認識結果統合部により統合された認識結果を前記認識対象物の画像領域と共に出力する手段を具備することを特徴とする請求項１記載の画像処理装置。

Images