JP4796165B2 - 画像処理装置 - Google Patents

Description

本発明は、例えばカメラ搭載型の携帯電話機およびノート型コンピュータなどに関し、例えば名刺などの矩形の認識対象物を手持ち撮影し、撮影した画像から認識対象物を認識する画像処理装置に関する。

現在、カメラを使用して被写体の画像を撮影しその内容を認識する画像認識技術が数多く実現されている。

例えばカメラを搭載したノート型のコンピュータ（以下「ノートＰＣ」という）の機能の一つとして、カメラの前に名刺や葉書などの帳票のような認識対象物をかざすことで、画像取得・認識・結果表示などの一連の作業を実行するものがある。

ところで、撮影された画像の中から認識対象物、例えば名刺などを認識する場合、画像のどの部分が名刺の領域（輪郭）であるかを特定する必要がある。

画像の中から認識対象の輪郭を特定する従来の領域決定技術としては、各種フィルタを用いて画像中の空間的な濃度変化を求めて認識対象の輪郭を特定するエッジ検出手法がある。

この他、例えば認識対象の色及び輪郭の方位成分といった情報を用いる技術（例えば特許文献１参照）、データベースに蓄積したモデル画像から抽出した形状特徴と検出対象の画像の形状特徴とを比較する技術（例えば特許文献２参照）などがある。

特開２００３−２４８８２４号公報 特開２００２−３２７６６号公報

しかしながら、手で持った名刺をカメラに向けて撮影する際には、ユーザが名刺の端を指で掴んでいることから、認識に不要な指が撮影した画像に写り込み、画像から名刺の輪郭が正しく検出できないという問題が生じる。

一方、上記の領域決定手法は、顔認識などにおいて主に用いられるものであり、情報抽出のため事前に認識対象の色を定めておく、またはモデル画像のデータベースを作っておく、などといった制約や手間が必要であった。

このため、認識対象の色にバリエーションが複数あった場合においてこれらの手法を適用するのは困難である。また、従来のエッジ検出手法の場合、認識対象の色と背景の色が類似していた場合や認識対象に紛らわしい線分が含まれていた場合に輪郭検出が困難となる問題があった。

本発明はこのような課題を解決するためになされたもので、認識対象物を撮影するときに写り込みが避けられない認識対象物を掴んだ物の画像を逆に利用し、カメラの前にかざして撮影した認識対象物の領域を高精度に認識することを目的としている。

上記の課題を解決するために、本発明の画像処理装置は、カメラにより撮影された矩形の認識対象物を含む画像が記憶された記憶部と、前記記憶部から読み出した画像中から前記認識対象物の縁を支持している支持体の画像の候補を検出する候補検出部と、前記候補検出部により検出された候補と予め登録された前記支持体の画像とを比較して前記候補の中から前記支持体以外の画像を除外し、前記支持体の画像を選定する支持体画像選定部と、前記記憶部から読み出した画像中から前記認識対象物の領域線の候補を抽出する領域線候補抽出部と、前記領域線候補抽出部により抽出された前記領域線の候補の中から、前記支持体画像選定部により選定された前記支持体の画像に接するまたは近接する領域線候補と、この領域線候補と垂直でかつ端で交わる領域線候補と、さらにこの領域線候補と垂直でかつ端で交わり、前記支持体の画像に接する領域線と平行な領域線候補のそれぞれを選定する領域線選定部と、前記領域線選定部により選定された前記領域線候補を一縁とする前記認識対象物の領域を決定する領域判定部とを具備することを特徴とする。

本発明によれば、カメラの前にかざして撮影した認識対象物の領域を高精度に認識することができる。

本発明の第１実施形態の画像処理装置の構成を示す図である。 画像処理装置の動作を示すフローチャートである。 撮影された画像とその中に写った認識対象物（例えば名刺など）とそれを支える指等の様子を示す図である。 画像の中にある、掴み領域の候補（指候補）を検出した様子を示す図である。 正規化前の大きさが、予め定めた一定範囲内に入らない指候補をを除外する様子を示す図である。 領域線候補リストを示す図である。 指候補と領域線との距離に応じてスコアが付与される様子を示す図である。 領域線候補の中から名刺の縁を示す領域線を選定する様子を示す図である。 領域線候補を選定していき、名刺の周囲を確定する様子を示す図である。 指候補に隣接する線分が存在しなかった場合、領域線候補に負のスコアを付与する様子を示す図である。 選択した線分からなる矩形の縦横比も考慮に入れる様子を示す図である。 接している領域線候補が存在しない場合、平均エッジ強度の最も高い領域線候補を選択する様子を示す図である。 スコアの高い順に線候補を選定する様子を示す図である。 線候補α１にとっての線候補β、γと線候補α２にとっての線候補β、γが同じであった場合にその中から線候補を選定する様子を示す図である。 線候補α１にとっての線候補βまたは線候補γが線候補α２と同じであった場合にその中から線候補を選定する様子を示す図である。 画像処理装置の領域作成動作を示すフローチャートである。 囲まれた領域が作れなかった場合に、選定した線候補を延長して領域を生成する様子を示す図である。 本発明の第２実施形態の画像処理装置の構成を示す図である。 ユーザに対して再度の画像の入力を促すために表示する画面の一例を示す図である。

（第１実施形態）
以下、図面を参照して、本発明の画像処理装置の第１実施形態を詳細に説明する。
図１に示すように、この第１実施形態の画像処理装置は、例えばＣＣＤカメラなどの入力装置１と、コンピュータ本体２と、モニタなどの出力装置３とを備えている。つまり、この画像処理装置は、例えばカメラ搭載型のノードＰＣなどである。

この他、画像処理装置としては、例えば（Universal Serial Bus：ＵＳＢ）接続タイプの外付けＷＥＢカメラなどをＵＳＢコードなどで接続したデスクトップ型のコンピュータやカメラ付携帯電話機などでもよい。

入力装置１は、例えば手などで両端を掴んでレンズの視野（撮影範囲）内にかざした認識対象物（名刺、葉書、写真などの矩形状の紙葉類（帳票））を撮影しデジタル画像としてコンピュータ本体２に入力する。

入力装置１としては、カメラ自体を例示したが、「カメラにより撮影された画像」を入力として扱うものであれば、ネットワーク上のサーバやネットワーク回線、その通信インターフェースなども含まれる。この他、入力装置１としては、実際の入力手段として様々なものを許容する。

出力装置３は、コンピュータ本体２で画像認識処理された結果を画面に表示（出力）する。以下では、一例として、認識対象物が名刺の場合にそれを認識する例について説明する。

コンピュータ本体２は、受付部２１、メモリ２２、掴み領域検出部２３、掴み領域判定部２４、領域線抽出部２５、領域線選択部２６、領域判定部２７、認識処理部２８などを備えている。メモリ２２以外の要素は、ハードディスク装置にインストールされたプログラムにより実現されている。なお上記各要素はソフトウェアに限らずハードウェアで実現してもよい。

受付部２１は、入力装置１から入力された画像をメモリ２２に記憶すると共に、処理対象の画像をメモリ２２から読み出して画像のパターンを認識するのに適した形式に変換する入力処理手段である。

なお、ファイルタイプが予め定めた形式に適さない場合や画像全体が歪んでいた場合など、そのままでは認識に不都合が生じる場合、受付部２１は、適したファイルタイプへの変換や理想的なカメラレンズと実際のレンズとの画像の差から得た補正用パラメータの使用による歪み補正などの既知の画像処理技術を用いて画像を処理することで、画像を修正する。

掴み領域検出部２３は、受付部２１で処理された画像中から認識対象物（名刺）を掴持している掴み領域候補（指領域候補）を検出する。ここでは画像中の同じ色の画素の集合（囲まれた領域）がすべて検出される。

掴み領域判定部２４は、掴み領域検出部２３により検出された指領域候補群の中から指以外のノイズ（非指領域候補）を除外し、より指に近い掴み領域（指領域候補）を選定する。

領域線抽出部２５は、候補検出部として機能し、受付部２１で処理された画像の中から認識対象物である名刺の領域線の候補を抽出する。

領域線選択部２６は、支持体画像選定部および領域線候補抽出部として機能する。

例えば領域線選択部２６は、掴み領域判定部２４により判定された指領域候補と予め登録された指の画像とを比較して指領域候補の中から指以外の画像（領域）を除外し、指の画像（領域）を選定する。また、領域線選択部２６は、メモリ２２から読み出した画像中から名刺の領域線の候補を抽出する。

領域線選択部２６は、領域線抽出部２５により抽出された領域線の情報と掴み領域判定部２４により判定された掴み領域の情報とを用いて名刺の外縁の線成分である領域線を決定する。すなわち領域線選択部２６は、抽出した領域線の候補の中から、指領域（指画像）に接するまたは近接する名刺の外縁の領域線を選定する。

領域判定部２７は、領域線選択部２６により決定された領域線の位置情報から認識対象領域（認識対象範囲）を決定する。すなわち、領域判定部２７は、領域線選択部２６により選定された領域線を一縁とする名刺の領域を決定する。

認識処理部２８は、領域判定部２７により決定された認識対象範囲を切り出し、その切り出し領域に対して文字認識処理を行う。

以下、図２のフローチャートを参照してこの画像処理装置の動作を説明する。
なお、以下に説明する「領域線」とは認識対象物の四方の端縁部を示す。例えば長方形などの矩形の場合、「横の領域線」とは長方形の外形線のうち横方向の線をいう。同様に「領域線候補」とは画像中から検出される領域線と推定される線分を示す。

認識対象物としての名刺は、予め定められた大きさのものであり、その領域の値は判定用の情報として予め領域判定部２７に設定（保持）されているものとする。さらに、同様に以下の実施例では「掴み領域」として求めるべき領域を人の指とする。

この画像処理装置では、受付部２１は、入力装置１により撮影された名刺の画像を受け付け、その入力された画像（以下「入力画像」という）のパターンを、認識処理に適した形式へ変換、または認識に際して必要な前処理を行う（図２のステップＳ１０１）。その上で、画像をメモリ２２に記憶する。

掴み領域検出部２３は、受付部２１により受け付けられ、一旦メモリ２２に記憶された画像をメモリ２２から読み出し、読み出した画像内から候補も含めた掴み領域を検出し（ステップＳ１０２）、その位置情報をメモリ２２に記憶し、それを掴み領域判定部２４が読み出して掴み領域を判定する。

以下、掴み領域検出および判定処理について詳細に説明する。
但し名刺を掴んでカメラの前で保持でき、かつ画像中からの識別が困難でないならば、例えばピンセットなどのように指以外の任意の掴持部材を使用してもよい。

掴み領域を認識するため、掴み領域検出部２３は、入力画像パターンにおける色情報を取得する。ある画素の色をＲＧＢ成分で表すとすると、ＲＧＢ各値を０〜２５５の範囲で変更することで色を表現することができる。

この例の認識対象である指は、肌色（薄橙色）であり、規定上はＲ＝２４１，Ｇ＝１８７，Ｂ＝１４７として定められている。これに日焼けの有無などによる実際の指の色変動を考慮して、Ｒ・Ｇ・Ｂとも上記の値を中心とした、以下の範囲に収まる値を持つ画素を求める領域候補とする。

Ｒ＝ｒ０ 〜 ｒ１， Ｇ＝ｇ０ 〜 ｇ１， Ｂ＝ｂ０ 〜 ｂ１
なおｒ０，ｒ１，ｇ０，ｇ１，ｂ０，ｂ１は、ｒ０≦ｒ１，ｇ０≦ｇ１，ｂ０≦ｂ１の関係を満たすＲＧＢ成分を表す定数であり、任意に設定することが可能である。

次に、掴み領域検出部２３は、指領域候補と考えられる画素に“１”、他の画素に“０”を設定して画像の二値化を行う。これにより、指領域候補を画像中の黒点の固まりで表現でき、またそれぞれの外接矩形も取得できる。図４に指領域候補の外接矩形の様子を示す。

この状態では、候補に指以外の領域が含まれている可能性があるため、続いて、掴み領域判定部２４は、掴み領域検出部２３により検出された掴み領域のうち、指以外の領域が含まれているか否かを判定する。なお掴み領域検出部２３から受けとる掴み領域候補に関する情報は、それぞれの指候補領域の位置座標及び外接矩形の大きさとする。

掴み領域判定部２４は、掴み領域検出部２３からの掴み領域候補に関する情報を受け取ると、その情報と予め設定された指の代表的な形状情報（テンプレート画像）とを比較して、指による掴み領域候補（指領域候補）を特定して（ステップＳ１０３）、各候補の位置情報をメモリ２２に記憶する。

ここで、指領域候補の処理について詳述する。
掴み領域判定部２４は、入力された指領域候補の外接矩形より各領域候補の大きさを取得する。これにより、元の画像からの領域の切り出しが可能となる。掴み領域判定部２４は、この切り出し領域候補を、比較が可能なように一定の大きさに拡大もしくは縮小させる正規化を行う。

一方、指領域の代表的な形状がテンプレート画像として予めメモリ２２に記録されている。

正規化した指領域候補画像をＰ、テンプレート画像をＱとすると、掴み領域判定部２４は、これらＰとＱの相違を以下の距離の式（１）から算出する。Ｉ、Ｊを画像Ｐ、Ｑ上の点、正規化後の画像の大きさをＮ×Ｍ画素とし、また各画像の画素値をＰ（Ｉ，Ｊ）及びＱ（Ｉ，Ｊ）で表すとすると、画像 Ｐ・Ｑの相違Ｄ（Ｐ，Ｑ）は、

で表せる。

このＤ（Ｐ，Ｑ）の値が小さいほど相違の少ない、すなわち、類似画像と判断できるので、掴み領域判定部２４は、Ｄ（Ｐ，Ｑ）の値が、予め設定された閾値以上か以下かを判定することで、領域候補が指領域か否かの判定を行う。この例では、掴み領域判定部２４は、予め設定された閾値以上の場合に領域候補を指領域と判定する。

また、正規化する前の大きさが予め定めた一定の大きさ以上、または以下であった場合、さらに手の指は最大十本であるため、得られたＤ（Ｐ，Ｑ）の値が閾値以下であったとしても上位十位以内に入らなかった場合、掴み領域判定部２４は、指領域ではないものと判定して、図５に示すように、領域候補のうち不正な候補を除外し、指領域の候補を絞り込む。

この結果、掴み領域判定部２４は、指領域と判定された候補領域の位置座標及び外接矩形の大きさを、次の領域線抽出および選択のためにメモリ２２に記憶する。

領域線抽出部２５は、メモリ２２に記憶された入力画像を読み出し、読み出した画像から、認識対象領域の枠線（領域線）の候補を抽出し（ステップＳ１０４）、その情報を領域線選択用にメモリ２２に記憶する。

領域線選択部２６は、認識対象領域の枠線（領域線）の候補の情報をメモリ２２から読み出して、まず初めに掴み領域検出部２３と同様に画像の二値化を行う。

これにより、領域線選択部２６は、画像内から領域線の候補となる黒点群を得た上でハフ変換を行い、それらを連結した直線を検出する。

さらに領域線選択部２６は、検出した直線に沿って画素値を調べ、一定値以上画素値“１”（黒点）が連続した上で同じく一定値以上画素値“０”（白点）が続いている部分、すなわち「端」の概念を持つ線分を求める。これにより画像における線分の始点、終点座標が得られる。

また、対象画像に対してラプラシアンフィルタなどに代表される各種フィルタを適用し、その出力値から前記線分とその周囲の濃度変化の度合いを求める。変化が急であれば濃い、緩やかであれば薄い線分となり、この度合いをエッジ強度として領域線らしさの指標とする（強度が高いほどハッキリした線分となる）。

線分の始点、終点、及びエッジ強度の平均値（平均エッジ強度）の三点を持つ領域線候補リスト４０（図６）を領域線選択用にメモリ２２に記憶する。

領域線選択部２６は、掴み領域判定部２４及び領域線抽出部２５によりメモリ２２に記憶されたそれぞれの情報を読み出して、認識対象領域を囲う領域線を選定して（ステップＳ１０５）、その情報を領域判定用にメモリ２２に記憶する。

図６に示す領域線候補リスト４０は、本来の領域線以外の候補を含むと考えられるため、領域線らしさをスコア付けし、スコアの低い候補を非領域線候補として除外する。これは下記式（２）により実現する。

Ｂを領域線らしさのトータルなスコア、Ｅを領域線抽出部から得た各候補の平均エッジ強度などに基づくスコア、Ｆを掴み領域判定部から得た指領域情報を基にしたスコア、Ｃを実質確定した領域線との位置関係を基にしてのスコア、またＮを領域線候補の数とする。更に重み定数Ｘ１，Ｘ２を各項目に乗じる重みとする。

スコアＦについては「認識を行う場合は、指を認識対象の端（＝領域線上）に置いて撮影する」との撮影者の習性を前提とする。すなわち、領域線のうち最低一本はその線分のどこかに指が置かれている、逆に指が置かれている線分が領域線、という考え方によっている。

掴み領域判定部２４からの情報で指領域の位置が分かり、また領域線抽出部２５からの情報で領域線候補の位置が分かるので、この両者の間の最も接近した位置の距離を算出し、図７に示すように、距離が0であればその候補に対して高いスコアを付与し、以降離れて行くほどにその候補に対して低いスコアを付与する。図７の例では、距離が0であるか否かによって候補が指領域か否かを判定する。つまり距離が0であればその候補に高いスコアが付与されるので、その候補が指領域であるものと判定される。

また、スコアＣは上記スコアＦを基にしている。充分高いスコアＦが付与された候補、すなわち指領域と接していた領域線候補は実質領域線と確定できる。よって、この「実質確定した領域線」とその他の領域線候補のなす角度と、両者が接触しているか否かを求めることで、指領域情報を直接には使用できない領域線であっても高い確度で指領域として判定できる。

具体的には、例えばスコアＦが、ある一つの領域線候補αに付与された場合（指領域が一辺だけに存在した場合）、その領域線候補αと他の領域線候補との交わり度合い及び確度を算出する。

名刺を認識対象としている今回求めるべき領域線は４本であり、それらは隣接する線分とは垂直に接し、また向かい合った線分とは交わることなく平行に位置する。よって領域線候補αとその他の候補を比較し、図８に示すように、まず領域線候補αと垂直に、かつ交わることなく端点同士で接触する線分β、γを探す。

なお、これ以降「端点同士で接触する」状態を「端点接触する」と呼ぶ。これらが決まった場合は、図９に示すように、矩形の外周（四辺）のうちの残る一辺を囲む線分δを「領域線候補αと平行」かつ「線分β、γと垂直に、交わらず端点接触する」条件を満たすものとして探す。これらの線分β、γ、δに対して充分高いスコアＣが与えられる。

一方、図１０に示すように、線分β、γ、δのような隣接した線分が存在しなかった場合は領域線候補について負のスコアＣを与えるなどの処理を行う。

スコアＢは上記スコアＦ及びスコアＣに加えて平均エッジ強度などのスコアＥに重み定数Ｘ１，Ｘ２を乗じ、当該領域線候補が平均エッジ強度と指領域接触に関するスコアの双方を満たすか否かを確認する。

このスコアＢは最終的な領域線の決定に用いられる指標であり、指領域もしくは除外できなかった非指領域候補に、除外すべき領域線候補が偶然重なるなどしてしまい、スコアＦ及びＣだけでは判断が付かなくなる場合などに用いられる。

スコアＥは、各領域線候補が持つ平均エッジ強度のほか、図１１に示すように、選択した線分からなる矩形の縦Ａと横Ｂとの比も考慮に入れる。認識対象の大きさ及び縦横の比率は予め分かっているため、例えば指領域と重なる領域線が接近し過ぎていた場合は元々の縦横比（Ａ：Ｂ）と差が生じるので、このような場合はスコアＥを低い値にするなどして上記領域線が選択されないようにする。

ここで、図１６のフローチャートを参照して具体的な領域作成処理手順を説明する。
まず、領域線選択部２６は、掴み領域判定部２４からの入力と領域線抽出部２５からの入力とを比較して、指領域と接していると判断できる線候補を探索する（図１６のステップＳ２０１）。

両脇や場合によっては四縁全てを保持している場合も考慮して、この時点で探す数に制限は設けない。もしも指領域と接している線候補が存在しない場合（ステップＳ２０１のＮｏ）、領域線選択部２６は、平均エッジ強度の最も高い線候補を選択する（ステップＳ２０２）。図１２に示すように、選択した線候補（群）をα１、α２、α３…とする。

次に、領域線選択部２６は、その線候補αと端点接触する、平均エッジ強度が一定値以上の線候補β及び線候補γを探す（図８参照、ステップＳ２０３）。これは、線候補αでない線候補の始点もしくは終点が線候補αの線上にあるか否かで判断する。

線候補αでない線候補の始点もしくは終点が線候補αの線上に複数存在した場合、領域線選択部２６は、図１３に示すように、１．「線候補αに端点接触している」→２．「線候補αの始点・終点に近い」などの優先順位を基に高いスコアCを与える。

一方、線候補β〜γ間の長さと、線候補βまたは線候補γの長さの比が、予め取得してある認識対象物の比と著しく異なる場合、領域線選択部２６は、スコアＣは低くする（図１１参照）。この処理を終えた時点で線候補を３本選択できていない場合、領域線選択部２６は、線候補αのときと同様に、線候補αとの位置関係によらず平均エッジ強度を基に決定する（ステップＳ２０４）。

３本以上選択できていて、線候補β、γが検出できなかった線候補αが存在した場合、領域線選択部２６は、スコアＣに負を与えてその線候補αのトータルスコアを下げるようにする。

ここで、領域線選択部２６は、線候補αが１本か複数存在しているかを確認する（ステップＳ２０５）。この確認の結果、線候補αが複数存在していた場合は（ステップＳ２０５のＮｏ）、各線候補α（α１とする）にとっての線候補β、γがそれ以外の線候補α（α２，α３，．．．，αｘとする）自身や線候補αｘにとっての線候補β、γと同じか否かを確認する（ステップＳ２０６）。

これは、例えば線候補αが２本あって互いに向かい合っている場合（図１４）、線候補α１にとっての線候補β・γとα２にとっての線候補β・γが同じ存在であるかどうかを確認する処理である。

また線候補αが隣接している場合（図１５）、領域線選択部２６は、線候補α１と線候補α２にとっての線候補βもしくは線候補γ及び線候補α２と線候補α１にとっての線候補βもしくは線候補γが同じか否かを確認する。線候補αが３本以上存在した場合も同様であり、線候補α１にとっての線候補β・γと線候補αｘ自身や線候補αｘの線候補β・γとが同じか否かを確認する。
この確認の結果、線候補α１にとっての線候補β・γと線候補αｘ自身や線候補αｘの線候補β・γとが同じであった場合（ステップＳ２０６のＹｅｓ）は、この時点で四方を囲む領域線が確定するため、領域線選択部２６は、領域線選択処理を終え、次の処理に移る（ステップＳ２０７）。

またステップＳ２０９での確認結果、線候補α１にとっての線候補β・γと線候補αｘ自身や線候補αｘの線候補β・γとが異なった場合（ステップＳ２０６のＮｏ）、領域線選択部２６は、領域線らしさを示すスコアＢから線候補を決定する（ステップ２０８）。

この時点で、領域線選択部２６は、四方を囲む領域線が確定しているか否か、つまり四方を囲む領域線が揃っているか否かを確認する（ステップＳ２０９）。
この確認の結果、四方を囲む領域線が揃って（確定して）いれば（ステップＳ２０９のＹｅｓ）、領域線選択処理を終え次の処理に移る（ステップＳ２０７）。一方、四方を囲む領域線が確定していない場合は（ステップＳ２０９のＮｏ）、選択した線候補は３本となる。

ここまでの処理で選択した線候補が３本になった場合、領域線選択部２６は、最後に線候補β、γを基にして平均エッジ強度が一定値以上の線候補δを探す（図９、ステップＳ２１０参照）。

これも線候補β、γと接し、それらの始点・終点に近く、かつ線候補αと平行に近い線候補を一つ選択する。端点接触する候補がなかった場合（ステップＳ２１０のＮｏ）、領域線選択部２６は、平均エッジ強度が高くかつ線候補αと平行に近い線候補を選ぶものとする（ステップＳ２１１）。これで領域線選択部２６は、線候補選択処理を終え、次の処理に移る（ステップＳ２０７）。

領域線選択部２６は、確定した４本の領域線の始点及び終点の位置情報を領域判定用の情報としてメモリ２２に記憶する。

領域判定部２７は、メモリ２２から領域線の始点及び終点の位置情報を読み出し、最終的に認識処理をかける画像中の対象領域を確定し、認識処理部用の情報としてメモリ２２に記憶する。領域線選択部２６により４本の領域線の位置が確定されているので、この線に囲まれた部分が認識対象領域となる。

領域判定部２７は、その囲まれた領域部分、すなわち領域線の座標の内部にある領域を認識処理用の情報としてメモリ２２に記憶する。

なお、上記のように端点接触する線候補α〜δがとれず、平均エッジ候補を基に選んだ結果、図１７に示すように、選んだ線候補α３、γ３、δ３では、囲まれた領域が作れなかった場合、領域判定部２７は、選んだ線候補α３、γ３、δ３を延長して得られる領域を認識対象の領域と決定する。

認識処理部２８は、領域判定部２７により決定された認識対象領域の画像を受け取り、認識処理を実施して、認識結果を出力装置３に出力する。

次に、この画像処理装置の文字認識動作を説明する。この画像処理装置では、入力装置１から受信された画像は、一旦メモリ２２に記憶される。

受付部２１は、その画像を読み出して画像に対して画像の領域の傾き・歪みなどをなくすための正規化処理、および正規化した画像を白と黒の二値の画像にする二値化処理などの前処理を実行して、以降の画像処理で加工が可能な状態にしてメモリ２２に記憶する。

認識処理部２８は、メモリ２２から読み出した二値化済みの画像から濃度の分布を求めることで、画像に含まれる文字列の部分画像を抽出する。そして、認識処理部２８は、その文字列の部分画像の濃度分布を基に１文字ずつ文字を切り出し、切り出した１文字ずつの文字の方向成分を始めとする特徴を抽出し、予めメモリ２２に記録してある各文字の特徴辞書との比較、つまりマッチングを行う。特徴辞書には、予め文字の特徴とテキストとが対応して登録されているものとする。

このマッチングの結果、切り出した文字の特徴と最も類似していた特徴を持つ特徴辞書中のテキストが答えとなり、特徴辞書から抽出される。ここで示した文字認識手法は一例であり、この他、既知のいかなる認識手法を用いてもよい。

認識処理部２８は、認識結果として得られた答え（特徴辞書のテキスト）の一覧を出力装置３に出力し、出力装置３は、認識処理部２８から答えの一覧を受け取り、画面に表示する。

画面の表示形態としては、例えば元の画像における文字列に隣接する形で認識結果を並べる等の表示形態とする。この他、表示形態は任意に設定してもよい。

このようにこの第１実施形態の画像処理装置によれば、例えば携帯電話機、ノートＰＣなどに搭載されるカメラで帳票を手持ち撮影し、撮影した画像を携帯電話機、ノートＰＣなどに認識させる上で、被写体（認識対象物の帳票など）と共に画像に写り込んでしまう指などの支持体を逆に帳票の輪郭領域を決定するための一つの材料（情報）として活用することで、帳票などの領域（輪郭）をより高精度に認識することができる。
（第２実施形態）

次に、図１８、図１９を参照して画像処理装置の第２実施形態について説明する。なお第１実施形態と同じ構成には同一の符号を付し説明は省略する。

この第２実施形態の場合、図１８に示すように、画像処理装置は、第１実施形態の構成にさらに認識適否判定部２９を備える。認識適否判定部２９は、領域判定部２７により判定された認識対象の領域情報と予め登録されている認識可能な認識対象物のサイズ情報とをメモリ２２から読み出して認識対象の領域の大きさから、認識対象の領域が認識に適しているか否か（適・不適）を判定しその判定結果を出力装置３に出力する。

この画像処理装置の認識対象物は、名刺など、ある一定の大きさを持つものである。したがって、認識可能な認識対象物のサイズ情報を予めメモリ２２に登録しておき、カメラによって撮影された画像中から認識対象として判定された領域とサイズ情報とを比較することで、判定された領域が認識に充分な大きさか否かを判定する。

すなわち、認識適否判定部２９は、元々の認識対象物における一辺の長さＡと、選択した認識対象の領域における同じ場所の長さＡ’との比Ａ／Ａ’が一定値以上か否かを調べることで、認識対象物の画像が認識に充分な大きさを持つかどうかを判定する。

上記の比が予め定めた閾値よりも大きい、すなわち認識対象領域の長さＡ’が小さい場合、認識適否判定部２９は、その旨を示す画像を出力装置３へ出力し、ユーザに対して認識対象物の撮影や画像加工などの処理を再度行うように促すようにする。なおその旨を示す画像は予めメモリ２２に登録されている。

出力装置３は、認識処理部２８から入力された認識結果を画面に表示する他、領域判定部２７で判定された画像認識について適・不適に関する情報を表示する。

適・不適に関する情報とは、現在取得した画像が充分な大きさを持つか否かについての情報であり、不適であった場合は、図１９に示すように、ユーザに対して再度の画像の入力（画像撮影）を促すための画像の拡大表示画面５０を表示する。この他、例えばメッセージ表示、ダイアログボックス表示などを行ってもよい。

このようにこの第２実施形態の画像処理装置によれば、画像認識に不適な場合、ユーザに対して再度の画像の入力（画像撮影）を促すための画像表示を行うことで、画像が認識されないまま画像処理を繰り返す事態を回避できる。

なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能なＣＤ−ＲＯＭなどの記憶媒体に記憶しておき、プログラムを記憶媒体からコンピュータに読み取らせることで実現してもよい。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。

１…入力装置、２…コンピュータ本体、３…出力装置、２１…受付部、２２…メモリ、２３…領域検出部、２４…掴み領域判定部、２５…領域線抽出部、２６…領域線選択部、２７…領域判定部、２８…認識処理部、２９…認識適否判定部、４０…領域線候補リスト、５０…拡大表示画面。

Claims (5)

1. カメラにより撮影された矩形の認識対象物を含む画像が記憶された記憶部と、
   前記記憶部から読み出した画像中から前記認識対象物の縁を支持している支持体の画像の候補を検出する候補検出部と、
   前記候補検出部により検出された候補と予め登録された前記支持体の画像とを比較して前記候補の中から前記支持体以外の画像を除外し、前記支持体の画像を選定する支持体画像選定部と、
   前記記憶部から読み出した画像中から前記認識対象物の領域線の候補を抽出する領域線候補抽出部と、
   前記領域線候補抽出部により抽出された前記領域線の候補の中から、前記支持体画像選定部により選定された前記支持体の画像に接するまたは近接する領域線候補と、この領域線候補と垂直でかつ端で交わる領域線候補と、さらにこの領域線候補と垂直でかつ端で交わり、前記支持体の画像に接する領域線と平行な領域線候補のそれぞれを選定する領域線選定部と、
   前記領域線選定部により選定された前記領域線候補を一縁とする前記認識対象物の領域を決定する領域判定部と
   を具備することを特徴とする画像処理装置。
2. 前記領域判定部により決定された前記認識対象物の領域に対して認識処理を行う認識処理部をさらに具備することを特徴とする請求項１記載の画像処理装置。
3. 予め登録された前記支持体の画像が人の指の画像であることを特徴とする請求項１記載の画像処理装置。
4. 前記支持体画像選定部は、
   前記支持体の画像を１０以下に選定することを特徴とする請求項１記載の画像処理装置。
5. 元の認識対象物における一辺の長さと、選択した認識対象の領域における同じ場所の長さとの比が一定値以上か否かを調べることで、前記認識対象物の画像が認識に充分な大きさを持つかどうかを判定する認識適否判定部を具備することを特徴とする請求項１記載の画像処理装置。

Images