JP5128524B2 - 画像処理装置及びその制御方法、画像処理プログラム、並びに、コンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、撮像された撮像画像を用いて、撮像対象による撮像画像上の指示位置を特定する機能を備えた画像処理装置などに関する。

携帯電話やＰＤＡ（Personal Digital Assistants）等の各種機器に、画像表示部として液晶ディスプレイを備えた画像表示装置（以下、「液晶表示装置」と呼ぶ。）が幅広く利用されていることは周知の通りである。特に、ＰＤＡでは、古くからタッチセンサを備えることにより、直接指等を液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備える液晶表示装置の普及が期待されている。

このタッチセンサは画面表示を邪魔せずに、指等がディスプレイ上のどこをタッチしたかを検出するセンサであり、いろいろな方式が考案され、実用化されている。従来、押されると上の導電性基板と下の導電性基板とが接触することによって入力位置を検知する抵抗膜方式、触った場所の容量変化を検知することによって入力位置を検知する静電容量式等が主流であった。

近年、フォトダイオード、フォトトランジスタ等の光センサ素子が画像表示領域内の画素毎に配置された液晶表示装置の開発が進んでいる。このように、画素毎に光センサ素子を内蔵することで、タッチパネル機能を通常の液晶表示装置で実現することが可能となる。

このような光センサ内蔵液晶ディスプレイでは、画像表示領域内に配置された複数個の光センサ素子を用いてタッチする指等の画像を撮影し、撮像画像の解析結果からタッチの有無及びタッチ位置を判定している。

ところで、タッチする指等の撮像画像を解析する場合、タッチする指等の像を認識することが必要となる。このような画像認識に好適な手法として、パターンマッチングによる画像認識を挙げることができる。

例えば、このパターンマッチングによる画像認識の一例として非特許文献１に開示された画像認識方法がある。

この非特許文献１に開示された画像認識方法では、撮影される画像より小さいモデルパターンをあらかじめ用意し、撮像画像上のあらゆる位置においてこのモデルパターンの画像とのマッチングを行い、撮像画像上においてモデルパターンに一致する像や、モデルパターンに最も近い像の存在を検出している。

また、このようなパターンマッチングによる画像認識によってタッチした指等のタッチ位置を判定する方法としては、パターンマッチングを行い、マッチングの程度が最大となった注目画素の位置を認識点とみなし、そのままタッチ位置と判定する方法が例示できる。

しかしながら、非特許文献１に開示された技術では、マッチングの程度が最大となった注目画素が複数存在する場合の処理については、何ら開示されていない。

このようにマッチングの程度が最大となった注目画素が複数存在する場合の処理に関連する技術として特許文献１及び２に開示された画像認識装置がある。

まず、特許文献１に開示された画像認識装置では、候補点同士の距離が所定の範囲内にある候補点を含むグループを認識対象に関係するグループであるとし、このグループに含まれる候補点のうち、エッジ一致度が最も高いものを選択してその認識対象のタッチ位置としている。

また、特許文献２に開示された画像認識装置では、抽出されたマーク間の距離が所定距離内にある場合、該所定距離内で最高点数のマークの位置情報のみを出力してタッチ位置としている。

特開平３−１２７２８５号公報（１９９１年５月３０日公開） 特開２００２−２２２４２２号公報（２００２年８月９日公開）

高木幹雄、下田陽久監修、「新編 画像解析ハンドブック」、東京大学出版会、２００４年９月上旬発行

しかしながら、前記従来の特許文献１に開示されたタッチ位置の決定方法では、例えば、撮像対象が２つの指である場合、これらの指が近接していると、これらの２つの指を単一グループとして認識してしまう可能性があるという問題点がある。

また、特許文献２に開示されたタッチ位置の決定方法では、例えば、撮像対象が２つの指である場合、これらの指が近接しており、一方の指に関係するマークが最高点数のマークを含んでおり、他方の指に関係するマークが、次点数以下のマークのみを含んでいる場合、最高点数のマークのみをタッチ位置として出力するので、他方の指のタッチは認識されないという問題点がある。

ところで、パターンマッチングによる画像認識では、予想される認識対象パターン毎にモデルパターンを用意しなければならない。

例えば、ディスプレイ上での指によるタッチ位置を認識するためには、通常、円形及び楕円形のモデルパターンが必要となる。

ここで、指によるタッチ位置を判定するために、円形のモデルパターンのみを採用した場合、ディスプレイ上における指の接触形状は、円形よりも楕円に近い形状となり得るため、複数の認識点が認識されてしまう可能性がある。

また、光センサ内蔵液晶ディスプレイでは、通常、ディスプレイ上に画像等を表示させながら、そのディスプレイ上に接触した指のタッチ位置を認識する必要があるため、ディスプレイ上に表示された画像等と、ディスプレイ上に接触した指の像との重ね合わせ画像を撮像することになる。

そうすると、ディスプレイ上に表示された画像等は、ディスプレイ上に接触した指の像に対するノイズとなる。また、光センサ内蔵液晶ディスプレイを構成する各光センサ素子の性能のばらつき等もノイズの原因となる。

したがって、このようなノイズが撮像画像に多く含まれてしまうことによっても複数の認識点を認識してしまう可能性がある。

このようにノイズ等が原因で生じた認識点が近接して存在しているような場合、前記特許文献１及び２に開示された方法では、複数の指のタッチ位置を認識する場合に、１本の指の中にノイズ等の影響で複数の認識点が存在しているのか、隣接する指同士の認識点が互いに近接しているのか等の区別ができないという問題点がある。

本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、１つの撮像対象の像の中に複数の認識点が存在しているのか、隣接する複数の撮像対象に含まれる認識点同士が互いに近接しているのか等を区別することができる画像処理装置及びその制御方法、画像処理プログラム、並びに、コンピュータ読み取り可能な記録媒体を提供することにある。

本発明の画像処理装置は、前記課題を解決するために、撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置であって、前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出手段と、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定手段と、前記認識点抽出手段によって抽出された認識点が、前記外形領域特定手段によって特定された外形領域に含まれているか否かを判定する認識点包含判定手段とを備えていることを特徴とする。

また、本発明の画像処理装置の制御方法は、前記課題を解決するために、撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置の制御方法であって、前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出ステップと、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定ステップと、前記認識点抽出ステップで抽出された認識点が、前記外形領域特定ステップで特定された外形領域に含まれているか否かを判定する認識点包含判定ステップとを含んでいることを特徴とする。

前記構成又は方法によれば、認識点抽出手段は、又は認識点抽出ステップでは、撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出するようになっている。

よって、撮像対象の像を撮像した撮像画像上で、部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合することにより得られた合致度が最大となる照合領域を含む部分領域から、その撮像対象の像が認識された凡その位置（認識点）を抽出することができる。

また、前記構成又は方法によれば、外形領域特定手段は、又は外形領域特定ステップでは、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定するようになっている。

これにより、撮像画像上で撮像対象の像の外形を含む外形領域を特定することができる。

また、認識点包含判定手段は、又は認識点包含判定ステップでは、前記認識点抽出手段によって又は認識点抽出ステップで抽出された認識点が、前記外形領域特定手段によって又は外形領域特定ステップで特定された外形領域に含まれているか否かを判定するようになっている。

これにより、撮像画像上で撮像対象の像が認識された位置とされる特定の認識点が外形領域に含まれているか否かを判定（区別）することができる。

すなわち、言い換えれば、特定の認識点が、どの外形領域に含まれているのかを判定できるので、１つの撮像対象の像の中に複数の認識点が存在しているのか、隣接する複数の撮像対象に含まれる認識点同士が互いに近接しているのか等を区別することができる。

例えば、撮像対象が指であり、モデルパターンの形状を略円形状とし、外形領域を略楕円形状とした場合、指の外形領域を認識することによって、１本の指の中にノイズなどの影響で複数の認識点があるのか、２本の指による認識点が近接しているのかなどを区別することができる。

ここで、「部分領域」とは、撮像画像上で所定の画素数を含む領域であり、その形状等は任意である。

また、「部分領域」は、後述の照合領域を含んでいる必要があるので、照合領域よりも大きい画素数を有している必要がある。

さらに、「部分領域」は、その領域に含まれる画素の１つを注目画素としたとき、撮像画像上のすべての画素を注目画素とした場合の部分領域をすべて含む概念である。

次に、「照合領域」は、部分領域に含まれる画素のうち、モデルパターンと照合される画素の集まりからなる領域のことであり、例えば、指の像を認識する場合の略円形領域や略楕円領域などが例示できる。

「合致度」の例としては、照合領域とモデルパターンとで所定の特徴量が一致する画素数などが例示できる。なお、特徴量としては、撮像画像の画素毎に得られる画素値（輝度値）若しくは画素値を量子化（所定の範囲内の量を一律にある一定の量と看做して扱うこと又は度数分布における階級による分類など）したもの、又は画素値の勾配（勾配量、勾配方向）若しくは画素値の勾配を量子化したものなどが例示できる。

「認識点」の例としては、部分領域の中心又は重心などが例示できる。なお、「認識点」には、モデルパターンの形状と撮像対象の像の外形との類似の程度が低いことによって誤って認識された認識点や、撮像画像における撮像対象の像に対するノイズが多く含まれることによって誤って認識された認識点なども含む概念であり、本願明細書においては、１つの撮像対象の撮像画像に対して複数の認識点が抽出される場合が起こり得るものとする。

また、「撮像対象の像が認識された位置とされる」とは、言い換えれば、撮像対象の像が認識されたものとみなされる位置（又は推定される位置）のことであり、例えば、推定された撮像対象の接触位置などが例示できる。また、「外形領域」は複数存在していても良い。

また、本発明の画像処理装置は、前記構成に加えて、前記認識点包含判定手段によって前記認識点が前記外形領域に含まれていると判定された場合に、該外形領域の重心及び該外形領域に含まれている認識点に基づいて、該外形領域に像の外形が含まれている撮像対象の接触位置を決定する接触位置決定手段を備えていることが好ましい。

前記構成によれば、外形領域の重心及び該外形領域に含まれている認識点に基づいて、外形領域に像の外形が含まれている撮像対象の接触位置を決定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記外形領域特定手段は、前記撮像画像上で所定の画素数を含む第２部分領域に含まれる第２照合領域と、前記モデルパターンよりも大きな第２モデルパターンと、を照合したときのマッチングの度合いを示す第２合致度が最大となる第２照合領域を前記外形領域としても良い。

前記構成によれば、前記外形領域特定手段は、前記撮像画像上で所定の画素数を含む第２部分領域に含まれる第２照合領域と、前記モデルパターンよりも大きな第２モデルパターンと、を照合したときのマッチングの度合いを示す第２合致度が最大となる第２照合領域を前記外形領域とするようになっている。

以上より、第２照合領域と、モデルパターンよりも大きな第２モデルパターンとの照合を行い、第２合致度が最大となる第２照合領域を前記外形領域とすることができる。言い換えれば、外形領域の特定をパターンマッチングで行うことができる。

なお、第１部分領域の大きさと第２部分領域との大きさは同じであっても良いし、異なっていても良いが、第２モデルパターン（又は第２照合領域）がモデルパターン（又は照合領域）よりも大きいという条件を満たす必要がある。

接触位置の決定方法の一例としては、外形領域に含まれている認識点を無視して、前記外形領域の重心を前記撮像対象の接触位置と決定する方法が挙げられる。

これにより、外形領域の重心及び外形領域に含まれている認識点を用いた演算等により接触位置を決定する必要がないので、余分な演算等を行うよりも処理速度が高くなる。

次に、接触位置の決定方法の他の例としては、外形領域に含まれている認識点の重心と前記外形領域の重心との中点を前記撮像対象の接触位置と決定する方法が挙げられる。

例えば、撮像対象が指であり、モデルパターンの形状を略円形状とし、外形領域を略楕円形状とした場合、接触位置を外形領域の重心と、認識点の重心との中点とすることによって、指先が接触している場合と、指の腹（以下、「指腹」という）がピッタリと接触している場合との中間的な状態における接触位置を推定できるので、よりユーザの意図に近い接触位置を推定（決定）することができる。

なお、「認識点の重心」とは、より正確には、互いに隣接する認識点同士を結んでできる線分又は凸多角形の重心のことである。また、認識点が１つの場合は、その認識点自身が重心であるものとする。

次に、接触位置の決定方法のさらに他の例としては、前記接触位置決定手段は、前記撮像対象の像と前記外形領域の形状との類似の程度によって変動する第１パラメータを、前記外形領域の重心に対する重みとし、前記撮像対象の像と前記モデルパターンの形状との類似の程度によって変動する第２パラメータを、前記外形領域に含まれている認識点に対する重みとして加重平均して算出された位置を前記撮像対象の接触位置と決定する方法が挙げられる。

これにより、撮像対象の像と外形領域の形状との類似の程度及び撮像対象の像と前記モデルパターンの形状との類似の程度に応じてより細かく接触位置を決定することができる。

ここで、「第１パラメータ」の例としては、上述した第２合致度や、撮像対象が指等の場合において後述するエッジ画素のそれぞれの画素値若しくはその平均値（エッジパワー）などが例示できる。

一方、「第２パラメータ」の例としては、上述した合致度や、撮像対象が指等の場合において後述するエッジ画素のそれぞれの画素値若しくはその平均値などが例示できる。

例えば、撮像対象が指の場合、平面に指先が接触しているときの接触部分の形状は、略円形状に近くなり、平面に指腹がピッタリ接触しているときの接触部分の形状は、略楕円形状に近くなる。

また、「モデルパターン」の形状を略円形状とし、「外形領域」を略楕円形状とした場合、指先が接触しているとき（接触部分の形状が略円形状に近いとき）のエッジパワーは、指腹がピッタリ接触しているとき（接触部分の形状が略楕円形状に近いとき）のエッジパワーと比較して大きくなる傾向がある。

したがって、上述した加重平均によれば、例えば、撮像対象が指の場合に、指先が接触している場合と、指腹がピッタリと接触している場合との中間的な状態における接触位置をより細かく推定できるので、よりユーザの意図に近い接触位置を推定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記外形領域特定手段は、画素毎の画素値の勾配量に基づいて前記撮像対象の像におけるエッジ部分に含まれるエッジ画素を特定すると共に、前記エッジ画素に囲まれたエッジ領域を前記外形領域としても良い。

前記構成によれば、エッジ領域の特定は、画素値の勾配量（エッジ勾配量）を算出することによって行なわれるので、前記特徴量を画素値の勾配量とした場合、特徴量を算出すれば、必然的にエッジ領域の特定も行なわれることになる。

また、エッジ領域を特定するだけで外形領域を特定できるので、上述したパターンマッチングにより外形領域を特定するなどの面倒な処理を行わなくても良い。

よって、パターンマッチングにより外形領域を特定する場合と比較して、処理時間を短縮することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記第２合致度が最大となる第２照合領域が複数存在している場合に、これらの第２照合領域と前記第２モデルパターンの一部とのマッチングの度合いを示す部分的合致度が予め定められた基準合致度を満たしているか否かを判定する部分的合致判定手段と、前記部分的合致判定手段によって前記基準合致度を満たしていると判定された第２照合領域が複数存在している場合に、これらの第２照合領域の中から、予め定められた結合条件を満たす第２照合領域どうしを単一領域として結合した結合領域を特定する結合領域特定手段を備えており、前記外形領域特定手段は、前記結合領域特定手段によって特定された結合領域を前記外形領域としても良い。

前記構成によれば、部分的合致判定手段は、前記第２合致度が最大となる第２照合領域が複数存在している場合に、これらの第２照合領域と前記第２モデルパターンの一部とのマッチングの度合いを示す部分的合致度が予め定められた基準合致度を満たしているか否かを判定するようになっている。

また、結合領域特定手段は、前記部分的合致判定手段によって前記基準合致度を満たしていると判定された第２照合領域が複数存在している場合に、これらの第２照合領域の中から、予め定められた結合条件を満たす第２照合領域どうしを単一領域として結合した結合領域を特定するようになっている。

また、前記外形領域特定手段は、前記結合領域特定手段によって特定された結合領域を前記外形領域とするようになっている。

すなわち、上述した画像処理装置では、第２モデルパターンの一部とマッチングする第２照合領域が存在し、それらの第２照合領域が所定の結合条件を満足する場合には、それらの第２照合領域を単一の領域に結合するので、あらかじめ定められたモデルパターンとは異なるパターンも認識することが可能となる。

このため、第２モデルパターンを多数準備することなく、認識できるパターンを増加させることができるので、マッチング処理に要する計算量を増大させることなく、認識対象パターンの変形や、第２モデルパターンとは異なるパターンの認識に対応することができる。

ここで、「結合条件」の例としては、複数の第２照合領域間の距離に関する条件（距離条件）や、複数の第２照合領域の各々に生じる開放方向に関する条件（開放方向条件）などが例示できる。

また、「開放方向」とは、第２モデルパターン形状の一部の形状に一致する形状を持つ第２照合領域において第２モデルパターン形状と一致しない部分における第２照合領域内部から外部へ向かう方向のことである。

すなわち、言い換えれば、「開放方向」とは、第２モデルパターン形状の一部の形状に一致する形状を持つ第２照合領域の形状が１つの閉じた図形の分割図形の形状となっている場合、この分割図形に生じる開放された部分（非連続部分）の撮像画像上の向きのことである。

すなわち、第２モデルパターンは、通常、閉じた図形を参考に設定されるので、第２モデルパターンの一部との部分的合致度が高い第２照合領域の形状は、閉じた図形を分割した図形の形状に近似する。

また、閉じた図形を分割した分割図形には、必ず開放された部分が存在し、分割図形同士を結合する際、開放された部分同士の向き、すなわち「開放方向」を特定しておく必要がある。

なお、前記画像処理装置及びその制御方法における各手段、各機能、各処理、並びに、各ステップ及び各工程のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを各手段として動作させ、コンピュータに各機能を実現させ、若しくはコンピュータに各処理、各ステップ又は各工程を実行させることにより前記画像処理装置及びその制御方法を、コンピュータにて実現させる前記画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置であって、前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出手段と、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定手段と、前記認識点抽出手段によって抽出された認識点が、前記外形領域特定手段によって特定された外形領域に含まれているか否かを判定する認識点包含判定手段とを備えているものである。

また、本発明の画像処理装置の制御方法は、以上のように、撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置の制御方法であって、前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出ステップと、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定ステップと、前記認識点抽出ステップで抽出された認識点が、前記外形領域特定ステップで特定された外形領域に含まれているか否かを判定する認識点包含判定ステップとを含んでいる方法である。

それゆえ、１つの撮像対象の像の中に複数の認識点が存在しているのか、隣接する複数の撮像対象に含まれる認識点同士が互いに近接しているのか等を区別することができる。

本発明の実施の形態における画像処理装置の構成を示すブロック図である。 （ａ）は、周囲が暗い場合における指腹の撮像画像の様子を示す概要図、（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図、（ｃ）は、周囲が明るい場合における指腹の撮像画像の様子を示す概要図、（ｄ）は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図、（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の様子を示す概要図、（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図、（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の様子を示す概要図、（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。 画像処理装置の全体的な動作の概要を示すフローチャートである。 画像処理装置の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。 （ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。 （ａ）は、周囲が暗い場合における画像データの勾配方向の特徴を示す概要図であり、（ｂ）は、同図について照合効率化を行った後の様子を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。 画像処理装置の動作のうち、パターンマッチング過程の動作を示すフローチャートである。 （ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの一例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの他の例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 画像処理装置におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。 パターン合致度算出過程の一例を示すフローチャートである。 （ａ）は、パターン合致度算出過程の一例を示す概要図であり、（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 （ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 画像処理装置の動作のうち、認識点抽出過程の動作を示すフローチャートである。 （ａ）は、画像処理装置における座標算出判定部のピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、画像処理装置における座標算出判定部のピーク画素が有ると判定する場合を説明するための概要図である。 （ａ）は、画像処理装置における認識点を抽出するために使用されるピーク画素領域について説明するための概要図であり、（ｂ）は、画像処理装置における認識点の抽出方法を説明するための概要図である。 部分的パターン合致度算出過程の一例を示す概要図である。 照合領域とモデルパターンとの間における勾配方向の一致パターンの「有」の種類と開放方向との対応関係を示す図である。 照合領域とモデルパターンとの間における勾配方向の一致パターンの「有」の種類と開放方向との他の対応関係を示す図である。 結合条件を説明するための図である。 結合条件を説明するための図である。 結合条件を説明するための図である。 結合条件を説明するための図である。 （ａ）は、撮像画像に生じるノイズについて説明するための概念図であり、（ｂ）は、ノイズが認識点となってしまうという問題点を説明するための概念図である。 画像処理装置の動作のうち、ポインティング位置決定過程の動作を示すフローチャートである。 （ａ）は、外形領域の一例を示す概念図であり、（ｂ）は、外形領域のその他の例を示す概念図であり、（ｃ）は、外形領域のさらに他の例を示す概念図である。 （ａ）は、液晶ディスプレイに指腹がピッタリと接触している様子を示す概念図であり、（ｂ）は、そのときの撮像画像の様子を説明するための概念図であり、（ｃ）は、液晶ディスプレイに指先が接触している様子を示す概念図であり、（ｄ）は、そのときの撮像画像の様子を説明するための概念図である。 （ａ）は、認識点を無視（削除）して楕円領域の重心をポインティング位置とする場合を説明するための概念図であり、（ｂ）は、楕円領域の重心と認識点の重心との中点をポインティング位置とする場合を説明するための概念図であり、（ｃ）は、楕円領域の重心と認識点とを所定の重みで加重平均して算出された位置をポインティング位置とする場合を説明するための概念図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同一部分には同一符号を付し、図面で同一の符号が付いたものは、説明を省略する場合もある。なお、本実施の形態では、画像表示部の例として液晶ディスプレイ（以下、液晶ディスプレイＤという）を採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。

〔１．画像処理装置の構成〕
図１は、本発明の実施の形態における画像処理装置１の構成を示すブロック図である。まず、本発明の実施の形態における画像処理装置１の構成及びその撮像画像の例について説明する。以下では、便宜上、画像処理装置１について説明するが、本発明の実施の形態における画像処理装置１の機能を必要とする電子機器であれば、一般の電子機器に対して適用可能である。

最初に、画像処理装置１の構成の概要及び画像処理装置１の撮像原理について説明する。画像処理装置１は、表示機能を有しており、複数の画素から構成される液晶ディスプレイＤ（不図示）及び液晶ディスプレイＤに光を照射するバックライトを備えている点は、通常の液晶ディスプレイと同様である。

そして、画像処理装置１における液晶ディスプレイＤは、各画素内に光センサ（撮像センサ）が内蔵され、該光センサによって液晶ディスプレイＤの表示画面に近接してきた外部の物体等（撮像対象）を撮像し、画像データ（撮像画像）として取り込むことが可能となっている点が、通常の液晶ディスプレイと異なっている。

なお、液晶ディスプレイＤは、複数の画素のうち、所定数の画素毎に光センサが内蔵されているものであっても良いが、光センサによる撮像画像の解像度の観点から、光センサは全画素に内蔵されていることが好ましい。

また、画像処理装置１の液晶ディスプレイＤは、通常の液晶ディスプレイと同様に、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に画素が配置され、薄膜トランジスタ、及び各種容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備えているものである。

さらに、画像処理装置１の液晶ディスプレイＤは、例えば各画素内に光センサとしてフォトダイオードを内蔵する構成となっている。このフォトダイオードには、キャパシタが接続され、表示画面から入射された光のフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データを生成し、画像の撮像（取り込み）を行うようになっている。これが画像処理装置１の液晶ディスプレイＤによる撮像原理である。

なお、光センサとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイ等の各画素に内蔵できるものであれば良い。

以上の構成により、画像処理装置１は、液晶ディスプレイＤの表示画面上に画像を表示する本来の表示機能に加え、表示画面に近接してきた外部の物体（撮像対象）の画像（像）を撮像する撮像機能を備える構成となっている。それゆえ、液晶ディスプレイＤの表示画面でのタッチ入力が可能な構成とすることができる。

ここで、図２（ａ）〜（ｈ）に基づき、画像処理装置１の液晶ディスプレイＤの各画素に内蔵されたフォトダイオードによって撮像される撮像対象について説明する。ここでは、「指の腹（以下、「指腹」と呼ぶ場合もある。）」及び「ペン先」の例を挙げ、それぞれの撮像画像（又は画像データ）の特徴の概要について説明する。

図２（ａ）は、周囲が暗い場合における指腹の撮像画像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図である。図２（ａ）に示すように、ユーザが、暗い部屋で液晶ディスプレイＤの表示画面６５に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｂ）の撮像画像６１は、バックライトが撮像対象（指腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分（エッジ画素）からエッジ部分に囲まれた領域（エッジ領域）の中心付近に向かう傾向を示している（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）。

次に、図２（ｃ）は、周囲が明るい場合における指腹の撮像画像の様子を示す概要図であり、図２（ｄ）は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図である。図２（ｃ）に示すように、ユーザが、明るい部屋で液晶ディスプレイＤの表示画面６５に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｄ）の撮像画像６２は、外光６６が液晶ディスプレイＤの表示画面６５に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイＤの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。

これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光６６で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。

図２（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の様子を示す概要図であり、図２（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｅ）に示すように、ユーザが、暗い部屋で液晶ディスプレイＤの表示画面６５に、ペン先を接触させた場合について考える。

この場合、図２（ｆ）の撮像画像６３は、バックライトが撮像対象（ペン先）に反射して得られる画像であり、小さな白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。

次に、図２（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の様子を示す概要図であり、図２（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｇ）に示すように、ユーザが、明るい部屋で液晶ディスプレイＤの表示画面６５に、ペン先を接触させた場合について考える。

この場合、図２（ｈ）の撮像画像６４は、外光６６が液晶ディスプレイＤの表示画面６５に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、ペンで外光が遮られることによって生じたペンの影と、液晶ディスプレイＤの表示画面６５に接触したペン先にバックライトの光が反射してできた小さな白い円形状がぼやけた部分とからなる。

これらのうち小さな白い円形状の部分における勾配方向は、上述した暗い部屋でペン先を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、小さな白い円形状の部分における勾配方向と逆向きの傾向を示している。

以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面（接触部分）が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。

また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

次に、図１を用いて、本実施の形態における画像処理装置１の構成の詳細について説明する。

画像処理装置１は、図１に示すように、撮像された撮像画像（又は画像データ）を用いて、撮像対象による撮像画像上の指示位置（接触位置：以下、ポインティング位置ＦＰというときがある）を特定する機能を備えたものであり、低解像度化部２と、縦勾配量算出部（特徴量算出手段）３ａと、横勾配量算出部（特徴量算出手段）３ｂと、エッジ抽出部（外形領域特定手段）４と、方向特定部（特徴量算出手段）５と、効率化部６と、一致画素数算出部（合致度算出手段）７と、モデルパターン・比較用一致パターン格納部８と、パターン合致度算出部（合致度算出手段）９と、スコア算出部（合致度算出手段）１０と、認識点抽出部（認識点抽出手段）１１と、外形領域特定部（外形領域特定手段）１５と、認識点包含判定部（認識点包含判定手段）１９と、位置決定部（接触位置決定手段）２０と、を備えている。

また、外形領域特定部１５は、パターン情報格納部１６、結合条件格納部１７及びパターン結合部（部分的合致判定手段、結合領域特定手段）１８の各ブロックを含んでいる。

さらに、認識点抽出部（認識点抽出手段）１１は、ピーク探索部（認識点抽出手段）１２、座標算出判定部（認識点抽出手段）１３、及び座標算出部（認識点抽出手段）１４の各ブロックを含んでいる。

次に、ブロック毎の機能について説明する。まず、低解像度化部２は、液晶ディスプレイＤに内蔵されている光センサを用いて撮像された撮像画像の画像データを低解像度化する。

縦勾配量算出部３ａ及び横勾配量算出部３ｂは、撮像画像（画像データ）上の画素ごとに、注目画素の画素値又は輝度値（特徴量又は第２特徴量）と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量（特徴量又は第２特徴量）及び横方向勾配量（特徴量又は第２特徴量）を算出する。具体的には、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータ等の公知のエッジ抽出オペレータを用いれば良い。

例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ（特徴量又は第２特徴量）及び横方向勾配Ｓｘ（特徴量又は第２特徴量）は、次式（１）のように求められる。

Ｓｘ＝ｘ_{ｉ＋１ｊ−１}−ｘ_{ｉ―１ｊ−１}＋２ｘ_ｉ＋１ｊ−２ｘ_ｉ―１ｊ＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ―１ｊ＋１}
Ｓｙ＝ｘ_{ｉ−１ｊ＋１}−ｘ_{ｉ−１ｊ−１}＋２ｘ_ｉｊ＋１−２ｘ_ｉｊ−１＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ＋１ｊ−１}
・・・（１）
ここで、ｘ_ｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向（横走査方向）に沿った画素の位置を、ｊは垂直方向（縦走査方向）に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。

ここで、式（１）は、次式（２）及び（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。

ここで、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、縦方向勾配Ｓｙ及び横方向勾配Ｓｘに基づいて、次のように与えられる。なお、以下では、演算子としての縦方向勾配Ｓｙ及び横方向勾配Ｓｘを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量のそれぞれを、便宜上、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。

ＡＢＳ（Ｓ）＝（Ｓｘ²＋Ｓｙ²）^1/2 ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ^-1（Ｓｙ／Ｓｘ） ・・・（５）
なお、「特徴量又は第２特徴量」としては、撮像画像の画素毎に得られる画素値（輝度値）若しくは画素値を量子化（所定の範囲内の量を一律にある一定の量と看做して扱うこと又は度数分布における階級による分類など）したもの、又は画素値の勾配（勾配量、勾配方向）若しくは画素値の勾配を量子化したものなどが例示できる。

エッジ抽出部４は、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素であるエッジ画素を抽出（特定）する。

また、エッジ抽出部４は、エッジ画素によって囲まれた領域（エッジ領域，外形領域）を特定し、そのデータを外形領域特定部１５に送信したり、エッジ画素の画素値又はその平均値など（エッジパワー）を特定し、エッジパワーの値を、外形領域特定部１５を介して位置決定部２０に送信したりする。

ここで、エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。具体的には、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が所定のエッジ閾値以上である画素のことである。

なお、このエッジ画素を抽出する目的は、方向特定部５が、抽出された複数のエッジ画素については勾配方向を特定し、エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。

パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向である。

したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置を検出する際のメモリ容量を少量化し、処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減することができる。

方向特定部５は、上述したように、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素毎の勾配方向ＡＮＧ（Ｓ）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）がエッジ閾値未満である無方向とのいずれかを特定するものである。

ここでは、無方向をエッジ閾値未満であると定義しているが、エッジ閾値以下と定義しても良い。

あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。

なお、方向特定部５は、エッジ抽出部４によって特定された複数のエッジ画素の勾配方向を特定し、エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向であると言える。

したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄの範囲で変化する連続量であるから、本実施の形態においては、これを例えば８方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量（特徴量又は第２特徴量）とする。

なお、より精度の高いパターンマッチングを行うために、１６方位等に量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。また、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。

効率化部６は、注目画素の周囲で所定の画素数を含む部分領域に含まれる照合領域（又は第２照合領域）と、あらかじめ定められたモデルパターン（又は第２モデルパターン）との照合（以下、「パターンマッチング」と呼ぶこともある。）を行う場合に、照合領域とモデルパターンとの照合の効率化を行う。

なお、パターンマッチングには、認識点を抽出するためのパターンマッチングと、外形領域を特定するためのパターンマッチングがあり、本実施形態では、これらのパターンマッチングを併用しているものとする。

また、認識点を抽出するためのパターンマッチングでは、特に断らない限り「部分領域」「特徴量」「照合領域」「モデルパターン」及び「合致度」という用語が対応しているものとする。

一方、外形領域を特定するためのパターンマッチングでは、特に断らない限り「第２部分領域」「第２特徴量」「第２照合領域」「第２モデルパターン」及び「第２合致度」という用語が対応しているものとする。

しかしながら、以下の説明では、煩雑なので、「部分領域」「特徴量」「照合領域」「モデルパターン」及び「合致度」は、それぞれ特に断らない限り、「第２部分領域」「第２特徴量」「第２照合領域」「第２モデルパターン」及び「第２合致度」をも意味しているものとして説明する。

また、第２モデルパターン又は第２照合領域は、それぞれモデルパターン又は照合領域よりも画素数が大きいものとする。

なお、特徴量と第２特徴量とは共通の特徴量であっても良いし、それぞれ別個の特徴量としても良い。

また、第１部分領域の大きさと第２部分領域との大きさは同じであっても良いし、異なっていても良いが、第２モデルパターン（又は第２照合領域）がモデルパターン（又は照合領域）よりも大きいという条件を満たす必要がある。

また、「部分領域又は第２部分領域」とは、撮像画像上で所定の画素数を含む領域であり、その形状等は任意である。「部分領域」は、照合領域を含んでいる必要があるので、照合領域よりも大きい画素数を有している必要がある。

さらに、「部分領域」は、その領域に含まれる画素の１つを注目画素としたとき、撮像画像上のすべての画素を注目画素とした場合の部分領域をすべて含む概念である。なお、撮像画像の境界については、周期的境界条件により接続したり、注目画素の位置によって生じる欠落部分を補間したりする等によって処理すれば良い。

次に、「照合領域」は、部分領域に含まれる画素のうち、モデルパターンと照合される画素の集まりからなる領域のことであり、例えば、指の像を認識する場合の略円形領域や略楕円領域などが例示できる。

一致画素数算出部７は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」と呼ぶ。）を算出する。

モデルパターン・比較用一致パターン格納部８は、モデルパターンと、比較用一致パターンとを格納する。比較用一致パターンは、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンを分析することによってあらかじめ定めたパターンである。

具体的には、この比較用一致パターンは、照合領域に含まれる画素毎の勾配方向と、モデルパターンに含まれる画素毎の勾配方向との、合致方向の種類数である。そして、この比較用一致パターンは、照合領域の形状がモデルパターン形状に近づくほど照合領域とモデルパターンとの間における一致パターンとの類似度が高くなる比較用完全一致パターンと、照合領域の形状がモデルパターン形状の一部の形状に近づくほど照合領域とモデルパターンとの間における一致パターンとの類似度が高くなる比較用部分的一致パターンと、を含んでいる。

この比較用完全一致パターンと比較用部分的一致パターンとは、照合領域に含まれる画素毎の勾配方向と、モデルパターンに含まれる画素毎の勾配方向との、合致方向の種類数に応じて定められている。すなわち、本実施の形態のように、８方向に量子化したものを勾配方向とした場合であれば、この８方向のうちいずれの方向が照合領域とモデルパターンとの間において合致しているかによって、これら２つの比較用一致パターンが定められている。例えば、比較用完全一致パターンを８方向のうち６方向以上合致するパターンと定め、比較用部分的一致パターンを８方向のうち４〜５方向合致するパターンと定めるが如くである。

なお、以下では、一致画素数及び／又は比較用完全一致パターン（合致度）などを用いるパターンマッチングを完全パターンマッチングと言い、比較用部分的一致パターン又は一致画素数及び／比較用部分的一致パターンなど（部分的合致度）を用いるパターンマッチングを部分的パターンマッチングということがある。

また、モデルパターン・比較用一致パターン格納部８は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

パターン合致度算出部９は、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度（合致度，第２合致度）を算出する。

そして、パターン合致度算出部９は、照合領域とモデルパターンとの間における一致パターンと比較用完全一致パターンとが類似する度合いを示す完全パターン合致度（合致度，第２合致度）が最大となる照合領域を特定する。

また、パターン合致度算出部９は、完全パターン合致度が最大となる照合領域が複数存在している場合にこれらの照合領域の中から、照合領域とモデルパターンとの間における一致パターンと比較用部分的一致パターンとが類似する度合いを示す部分的パターン合致度（部分合致度）が予め定められた基準合致度を満たしている照合領域を特定する。

なお、照合領域と、あらかじめ定められたモデルパターンとの照合（パターンマッチング）に使用される量としては、画素値（濃度値，輝度値）等のスカラー量も用いることができる。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさＡＢＳ（Ｓ））と向き（勾配方向ＡＮＧ（Ｓ））とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素が取り得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、勾配方向は、エッジ勾配に関して上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。

具体的には、スコア算出部１０は、パターン合致度算出部９が算出したパターン合致度が完全パターン合致度であれば、その完全パターン合致度を用いて、照合領域の形状とモデルパターン形状とのマッチングの度合いを示す完全合致度を算出する。また、スコア算出部１０は、パターン合致度算出部９が算出したパターン合致度が部分的パターン合致度であれば、その部分的パターン合致度を用いて、照合領域の形状とモデルパターン形状の一部の形状とのマッチングの度合いを示す部分的合致度を算出する。

認識点抽出部１１は、スコア算出部１０が算出した合致度が最大となる照合領域を含む部分領域から認識点を抽出するものである。例えば、スコア算出部１０が算出した合致度が最大となる照合領域を含む部分領域の注目画素の位置（以下、「ピーク画素」と呼ぶ。）を認識点とする場合が考えられる。

「認識点」とは、撮像対象の像が認識された位置とされる点であり、言い換えれば、撮像対象の像が認識された位置（認識されたと推定される位置）とみなされる点のことであり、例えば、推定された撮像対象の接触位置などが例示できる。なお、理論上は、スコア算出部１０が算出した合致度が最大となる照合領域を含む部分領域に含まれる任意の点が認識点となり得る。

なお、認識点抽出部１１は、スコア算出部１０が完全合致度を算出した場合であれば、その完全合致度が最大となるピーク画素の位置をそのまま認識点としても良い。また、認識点抽出部１１は、スコア算出部１０が部分的合致度を算出した場合であれば、その部分的合致度が最大となるピーク画素の位置をそのまま認識点としても良い。

これにより、撮像対象の像を撮像した撮像画像上で、照合領域と、予め定められたモデルパターンと、合致度が最大となる照合領域を含む部分領域から、その撮像対象の像が認識された凡その位置（認識点）を抽出することができる。

「認識点」の例としては、この他、部分領域の中心又は重心などが例示できる。なお、「認識点」には、モデルパターンの形状と撮像対象の像の外形との類似の程度が低いことによって誤って認識された認識点や、撮像画像における撮像対象の像に対するノイズが多く含まれることによって誤って認識された認識点なども含む概念であり、本願明細書においては、１つの撮像対象の撮像画像に対して複数の認識点が抽出される場合が起こり得るものとする。

また、認識点抽出部１１は、ピーク探索部１２と、座標算出判定部１３と、座標算出部１４と、を有している。

ピーク探索部１２は、注目画素の周囲で所定の画素数を含む探索領域（以下、「第１領域」と呼ぶ場合がある。）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索する。

座標算出判定部１３は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域（以下、「第２領域」と呼ぶ場合がある。）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に認識点を算出（抽出）させる。

座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎の合致度を用いて、認識点を算出するものである。

このように、認識点抽出部１１は、ピーク画素領域内の、画素毎の合致度を用いて算出された位置を認識点としても良い。

なお、ピーク探索部１２、座標算出判定部１３及び座標算出部１４が行う上記の動作は、スコア算出部１０が部分的合致度を算出した場合でも同様である。

次に、外形領域特定部１５は、撮像画像上で撮像対象の像の外形を含む外形領域を特定するものであり、エッジ抽出部４から送信されるエッジ領域をそのまま外形領域としても良いし、以下で説明するようにパターンマッチングで特定された領域を外形領域としても良い。

エッジ領域をそのまま外形領域とすれば、エッジ領域の特定は、画素値の勾配量（エッジ勾配量）を算出することによって行なわれるので、前記特徴量を画素値の勾配量とした場合、特徴量を算出すれば、必然的にエッジ領域の特定も行なわれることになる。

また、エッジ領域を特定するだけで外形領域を特定できるので、以下のパターンマッチングにより外形領域を特定するなどの面倒な処理を行わなくても良い。

よって、パターンマッチングにより外形領域を特定する場合と比較して、処理時間を短縮することができる。

また、外形領域特定部１５は、パターン情報格納部１６、結合条件格納部１７及びパターン結合部１８の各ブロックを含んでいる。

パターン情報格納部１６は、パターン合致度算出部９が算出した部分的パターン合致度と、スコア算出部１０が算出した部分的合致度と、を順次格納する。また、パターン情報格納部１６は、パターン合致度算出部９が部分的パターン合致度を算出する際に利用する、照合領域に含まれる画素毎の勾配方向と、モデルパターンに含まれる画素毎の勾配方向との、合致方向の種類数も、順次格納する。

また、パターン情報格納部１６は、これら部分的パターン合致度、部分的合致度、合致方向の種類数を、パターン情報として格納する。

結合条件格納部１７は、パターン結合部１８がモデルパターン形状の一部の形状に一致する形状を持つ照合領域のうち、単一領域として互いに結合すべきものがあるか否かを判断する際、その判断基準となる結合条件をあらかじめ格納している。

また、パターン情報格納部１６及び結合条件格納部１７は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

パターン結合部１８は、スコア算出部１０が部分的合致度を算出する度に、認識点抽出部１１が算出した、認識点を取得する。そして、パターン結合部１８は、パターン情報格納部１６に格納されているパターン情報と、結合条件格納部１７にあらかじめ格納されている結合条件と、上記のように取得した撮像対象の一部による認識点と、を用いてモデルパターン形状の一部の形状に一致する形状を持つ照合領域のうち、単一領域として互いに結合すべきものがあるか否かを判断し、その結合すべきとの判断に基づいて、それら照合領域を結合して結合領域を特定し、この結合領域を外形領域とする。なお、「外形領域」は複数存在していても良い。

すなわち、画像処理装置１では、モデルパターンの一部とマッチングする照合領域が存在し、それらの照合領域が所定の結合条件を満足する場合には、それらの照合領域を単一の領域に結合するので、あらかじめ定められたモデルパターンとは異なるパターンも認識することが可能となる。

このため、モデルパターンを多数準備することなく、認識できるパターンを増加させることができるので、マッチング処理に要する計算量を増大させることなく、認識対象パターンの変形や、モデルパターンとは異なるパターンの認識に対応することができる。

ここで、「結合条件」の例としては、結合される複数の第２照合領域間の距離や、結合される複数の第２照合領域の各々に生じる開放方向などが例示できる。

また、「開放方向」とは、モデルパターン形状の一部の形状に一致する形状を持つ照合領域においてモデルパターン形状と一致しない部分における照合領域内部から外部へ向かう方向のことである。

すなわち、言い換えれば、「開放方向」とは、モデルパターン形状の一部の形状に一致する形状を持つ照合領域の形状が１つの閉じた図形の分割図形の形状となっている場合、この分割図形に生じる開放された部分（非連続部分）の撮像画像上の向きのことである。

モデルパターンは、通常、閉じた図形を参考に設定されるので、モデルパターンの一部との第２合致度が高い第２照合領域の形状は、閉じた図形を分割した図形の形状となる。

また、閉じた図形を分割した分割図形には、必ず開放された部分が存在し、分割図形同士を結合する際、開放された部分同士の向き、すなわち「開放方向」を特定しておく必要がある。

以上より、外形領域の特定をパターンマッチングで行うことができる。

しかしながら、外形領域が、略楕円領域である場合のパターンマッチングの方法は、このような方法に限られるわけではない。

すなわち、モデルパターンの形状を略楕円形状として直接楕円領域を認識するようにしても良い。

例えば、表示画面の横走査方向と楕円の軸とのなす角が、０度、４５度、９０度及び１３５度となる４つの略楕円形状のモデルパターン（第２モデルパターン）を用いてパターンマッチングを４回繰り返し、４つの略楕円形状のモデルパターンと照合した照合領域のうち、合致度が最大となる照合領域を特定し、この照合領域を楕円領域（外形領域）とすれば良い（完全パターンマッチング）。

なお、表示画面の横走査方向と楕円の軸とのなす角を細かくするほど、より細かなパターンマッチングが可能であるが、逆に処理時間が長くなる。

なお、パターン結合部１８は、それら結合する照合領域の各々の認識点を用いて、結合領域の重心（外形領域の重心）を算出する。

認識点包含判定部１９は、認識点抽出部１１によって抽出された認識点が、外形領域特定部１５によって特定された外形領域に含まれているか否かを判定するものである。

これにより、認識点が外形領域に含まれているか否かを判定（区別）することができる。

すなわち、言い換えれば、特定の認識点が、どの外形領域に含まれているのかを判定できるので、１つの撮像対象の像の中に複数の認識点が存在しているのか、隣接する複数の撮像対象に含まれる認識点同士が互いに近接しているのか等を区別することができる。

例えば、撮像対象が指であり、モデルパターンの形状を略円形状とし、外形領域を略楕円形状とした場合、指の外形領域を認識することによって、１本の指の中にノイズなどの影響で複数の認識点があるのか、２本の指による認識点が近接しているのかなどを区別することができる。

〔２．画像処理装置の動作の概要〕
次に、画像処理装置１の動作の概要について説明する。

図３は画像処理装置１の全体的な動作の概要を示すフローチャートである。ステップＳ１０１では、図１の低解像度化部２が画像データを低解像度化し、Ｓ１０２に進む。例えば、３２０×２４０画素の画像データであれば、１６０×１２０画素（低解像度化率１／２）、又は８０×６０画素（低解像度化率１／４）等のようにバイリニア縮小させる。ここで、バイリニア縮小とは、例えば２×２の各画素が持つ画素値の平均値をとり、２×２画素のデータを、該平均値を持った１×１画素のデータに置き換えることにより、全体として１／４の情報圧縮を行うことを言う。

なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報等を得るためには、例えば３２０×２４０画素（１５０ｄｐｉ）の画像データの場合であれば、８０×６０画素（低解像度化率１／４）を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行わないか、低解像度化するとしても、１６０×１２０画素（低解像度化率１／２）に留めることが好ましい。

以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。

Ｓ１０２では、縦勾配量算出部３ａ及び横勾配量算出部３ｂが、画像データ上の画素ごとに、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してから、方向特定部５が、画素毎の勾配方向と無方向とのいずれかを特定するまでの過程（勾配方向・無方向特定過程）を経た上で、Ｓ１０３に進む。

Ｓ１０３では、効率化部６で、照合領域と、モデルパターンとの照合を行う場合に、照合領域とモデルパターンとの照合の効率化を図るか否か、つまり、照合効率化の要否を選択する。照合効率化を行う場合（Ｙｅｓ）には、Ｓ１０４に進み、効率化部６で照合効率化を行った上でＳ１０５に進み、照合効率化を行わない場合（Ｎｏ）にはＳ１０８に進み、効率化部６は何もせず、そのままの情報（画像データ、但し、低解像度化部２で、低解像度化している場合には、低解像度化後の画像データ）でＳ１０５に進む。

Ｓ１０５では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部９が、パターン合致度を算出してから、スコア算出部１０が、一致画素数算出部７が算出した一致画素数、及び、パターン合致度算出部９が算出したパターン合致度から、合致度を算出するまでの過程（パターンマッチング過程）を経た上で、Ｓ１０６に進む。

Ｓ１０６では、認識点抽出部１１が、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、認識点を抽出する過程（認識点抽出過程）を経た上で、Ｓ１０７に進む。

Ｓ１０７では、パターン結合部１８が、モデルパターン形状の一部の形状に一致する形状を持つ照合領域のうち、単一領域として互いに結合すべきものがあるか否かを判断し、その結合すべきとの判断に基づいて、それらの照合領域を結合した結合領域を特定し、該結合領域を外形領域とする。次に、認識点包含判定部１９は、認識点抽出部１１が抽出した認識点が上記外形領域に含まれているか否かを判定する。続いて位置決定部２０は、外形領域の重心及び認識点の重心に基づいて、外形領域毎にポインティング位置を決定（ポインティング位置決定過程）し、「ＥＮＤ」となる。

以上が、画像処理装置１の全体の動作概要である。以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程、認識点抽出過程及びポインティング位置決定過程における画像処理装置１の各動作について説明する。

〔３．勾配方向・無方向特定過程〕
まず、図１、図４、図５（ａ）及び図５（ｂ）に基づいて、勾配方向・無方向特定過程における画像処理装置１の動作について説明する。

図４は、画像処理装置１の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。図５（ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、図５（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。

図４のフローチャートでは、まず、縦勾配量算出部３ａ及び横勾配量算出部３ｂがそれぞれ、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してからスタートする。

Ｓ２０１では、エッジ抽出部４が、各画素における勾配の大きさＡＢＳ（Ｓ）がエッジ閾値以上か否かを判定し、ＡＢＳ（Ｓ）≧エッジ閾値ならば（Ｙｅｓ）、Ｓ２０２に進み、ＡＢＳ（Ｓ）＜エッジ閾値ならば（Ｎｏ）、Ｓ２１０に進む。なお、本実施の形態では、ＡＢＳ（Ｓ）＝Ｓｘ×Ｓｘ＋Ｓｙ×Ｓｙとして計算しているが、この量は、上式（４）における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。

Ｓ２１０に進んだ場合には、方向特定部５は、対象となっている画素、つまり、エッジ画素以外の画素を無方向と設定（特定）し、次の画素へ進んで、Ｓ２０１に戻る。なお、Ｓ２０２に進んだ場合には、対象となっている画素は、無論、エッジ画素である。

Ｓ２０２では、方向特定部５が、横方向勾配量Ｓｘが０であるか否かを判定し、Ｓｘ≠０ならば、Ｓ２０３（Ｙｅｓ）に進み、Ｓｘ＝０ならば、Ｓ２０６（Ｎｏ）に進む。

Ｓ２０３では、方向特定部５は、横方向勾配量Ｓｘが正の値をとるか否かを判定し、Ｓｘ＞０ならば、Ｓ２０４（Ｙｅｓ）に進み、方向特定部５は、図５（ａ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

一方、Ｓｘ＜０ならば、Ｓ２０５に進み、方向特定部５は、図５（ｂ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

次に、Ｓ２０６では、方向特定部５は、縦方向勾配量Ｓｙが０か否かを判定し、Ｓｙ≠０ならば、Ｓ２０７（Ｙｅｓ）に進み、Ｓｙ＝０ならば、Ｓ２１０（Ｎｏ）に進み、該当画素を無方向と設定し、次の画素へ進んでＳ２０１に戻る。

Ｓ２０７では、方向特定部５は、縦方向勾配量Ｓｙが正の値をとるか否かを判定し、Ｓｙ＞０ならば、Ｓ２０８（Ｙｅｓ）に進み、該当画素の勾配方向を上向きに設定して、Ｓ２０１に戻る。

一方、Ｓｙ＜０ならば、Ｓ２０９（Ｎｏ）に進み、該当画素の勾配方向を下向きに設定して、次の画素へ進んでＳ２０１に戻る。

以上の工程は、すべての画素の勾配方向・無方向の設定が終わるまで繰り返される。

パターンマッチングにおいて重要な情報は、エッジ部分の画素であるエッジ画素における勾配方向である。

したがって、上記の動作により、あまり重要でないエッジ画素以外の画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

〔４．照合効率化〕
次に、画像処理装置１における照合効率化について説明する。

図１に示す効率化部６は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域ごとに、分割領域に含まれる画素毎の勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び前記無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。

また、スコア算出部１０は、効率化部６によって照合の効率化が行なわれた照合領域とモデルパターンとの照合を行って、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、前記合致度として算出する。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。

そこで、分割領域ごとに、分割領域に含まれる画素毎の勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターンマッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による前記撮像画像上の指示位置の検出処理に要するコストを削減することもできる。

以上より、パターンマッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理に要するコストを削減することができる画像処理装置１を提供することができる。

ここで、図６（ａ）及び図６（ｂ）に基づき、画像処理装置１における照合効率化の具体例について説明する。

まず、図６（ａ）に示すように、周囲が暗い場合における画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状である、無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きの勾配方向を持つ画素が多数分布している。

次に、図６（ｂ）は、図６（ａ）の画像データについて照合効率化を行った後の様子を示す概要図である。

図６（ａ）に示すように、１４×１４画素の領域（照合領域）を、複数の２×２画素の領域（分割領域）に分割すると共に、２×２画素の領域ごとに、２×２画素の領域に含まれる画素毎の勾配方向及び無方向の情報を、２×２画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、１４×１４画素の領域とモデルパターン（モデルパターンの例については後に詳しく説明する。）との照合の効率化が行われる。

たとえば、図６（ａ）に示す１４×１４画素の領域を分割した複数の２×２画素領域のうち、上から２つめ、左から１つめの２×２画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き（勾配方向）」、左下の画素が「右向き（勾配方向）」、及び右下の画素が「右下向き（勾配方向）」となっている。この２×２画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図６（ｂ）の上から２つめ、左から１つめのブロック（以下、便宜上「画素」と呼ぶ場合がある。）である。他のブロックも同様にして生成することができる。結果として、図６（ａ）に示す１４×１４画素領域は、合計７×７＝４９個の２×２画素領域に分割される。

次に、図７（ａ）〜図９（ｂ）に基づき、照合領域と照合されるモデルパターンの具体例について説明する。

図７（ａ）は、周囲が暗い場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。また、図７（ａ）のモデルパターンは、図６（ａ）に示す１４×１４画素の領域とパターンマッチングを行う場合を想定したものである。また、撮像対象としては、指腹を想定している。

ところで、図７（ａ）のモデルパターンは、１３×１３画素のモデルパターンとなっている。この場合、図６（ａ）に示す１４×１４画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。

また、奇数×奇数（１３×１３）としているのは、中心の画素が１つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて１画素づつ、ずらせてパターンマッチングを行う。

この場合の一致画素数は、１画素ごとに照合されて算出されるので、１３×１３＝１６９画素の照合が必要となる。

一方、図７（ｂ）は、周囲が明るい場合における照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。図７（ａ）のモデルパターンと比較すると各画素の勾配方向が逆向きになっている。図７（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図７（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

次に、図８（ａ）は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図８（ａ）のモデルパターンは、図６（ｂ）の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、２×２画素の領域を１画素（与えられる勾配方向は１つ）と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。

図８（ｂ）は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの一例を示す概要図である。図８（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図８（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

図９（ａ）は、周囲が暗い場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図８（ａ）のモデルパターンとの違いは、２×２画素分が１つの領域に纏められているが、該１つの領域ごとに、２つの勾配方向（又は無方向）の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。

図９（ｂ）は、周囲が明るい場合における照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。図９（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図９（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

〔５．パターンマッチング過程〕
次に、画像処理装置１におけるパターンマッチングの過程について説明する。

図１０は、図１に示す画像処理装置１の動作のうち、パターンマッチング過程の動作を示すフローチャートである。

Ｓ３０１では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）を算出してＳ３０２に進む。

Ｓ３０２では、パターン合致度算出部９が、方向特定部５又は効率化部６からパターン合致度の算出を決定した旨の通知を受けて、パターン合致度を算出し、Ｓ３０３に進む。

Ｓ３０３では、パターン合致度算出部９が、一致画素数算出部７が算出した一致画素数及びパターン合致度算出部９が算出したパターン合致度を、合算した量を照合領域とモデルパターンとのマッチングの度合いを示す合致度として算出する。

次に、パターンマッチング過程におけるスコア算出部１０の具体的なスコア（合致度）算出方法について説明する。

まず、スコア算出部１０が照合領域の形状とモデルパターン形状とのマッチングの度合いを示す完全合致度を算出する場合について説明する。

図１１（ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１１（ｂ）は、その合致度算出方法の一例を示す図である。

図１１（ａ）は、図６（ａ）の照合領域と、図７（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の７行７列（以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。）にある１×１画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している画素を示している。

図１１（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１１（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の１３行１３列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「１」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「０」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「８５」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数（合致度）を用いても良い。

次に、図１１（ｂ）に示す、正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行う場合（例えば、２１×２１、１３×１３、及び７×７画素の３種類のモデルパターン）に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。

ここでは、正規化一致画素数を、次式（６）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数） ・・・・（６）
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が０〜１０の範囲となるように、適当な定数＝１０と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。

（６）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（８５／１３６）＝６．２５≒６
次に、図１２（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１２（ｂ）は、その合致度算出方法の一例を示す図である。

図１２（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図８（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１２（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１２（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。従って、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。勾配方向は、「右下」が「２つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「２」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「９１」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

ここでは、正規化一致画素数を、次式（７）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数を４倍した値） ・・・・（７）
適当な定数＝１０と設定している。

（７）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（９１／１７６）＝５．１７≒５
次に、図１３（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１３（ｂ）は、その合致度算出方法の一例を示す図である。

図１３（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図９（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１３（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１３（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、２つであり、「右下」が「１つ」に「下」が「１つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、２つであるが、「右」が「１つ」と「右下」が「１つ」である。勾配方向は、「右」が「１つ」と「右下」が「２つ」一致している。従って、この場合の一致画素数は、「３」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図１２（ａ）の場合と比較して、一致画素数が増加しているものを示している。

この結果は、図８（ａ）のモデルパターンよりも図９（ａ）のモデルパターンを使用した場合の方が、より変形に強い（円形からの歪に対するロバスト性の高い）パターンマッチングが行えることを示している。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「１１９」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

（７）式から、図１３（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（１１９／１７６）＝６．７６≒７
次に、図１４〜図１７（ｂ）に基づき、図１のスコア算出部１０が、一致画素数と合致パターンとを併用して、スコア（合致度）を算出する場合について説明する。

図１４は、画像処理装置１におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。

図１４のＳ４０１では、一致画素数算出部７が、一致画素数を初期化して、Ｓ４０２に進む。Ｓ４０２では、パターン合致度算出部９が一致パターンの初期化を行ってＳ４０３に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。

Ｓ４０３では、一致画素数算出部７とパターン合致度算出部９とが１画素ごとに（照合効率化後の画素も含む）勾配方向の照合等を行って、Ｓ４０４に進む。

Ｓ４０４では、方向が一致すれば（Ｙｅｓ）Ｓ４０５に進み、一致画素数算出部７が一致画素数に一致した方向の要素数（効率化処理なしの場合は「１」）を加えてＳ４０６に進み、一方、方向が一致する画素が全くなければ、（Ｎｏ）Ｓ４０１に戻る。

Ｓ４０６では、パターン合致度算出部９が一致した勾配方向を「有」と更新して、Ｓ４０７に進む。

Ｓ４０７では、一致画素数算出部７及びパターン合致度算出部９がモデルパターンの全要素（画素）について照合が終了した場合には、（Ｙｅｓ）Ｓ４０８に進み、照合が終了していない場合には、（Ｎｏ）Ｓ４０３に戻る。

Ｓ４０８では、パターン合致度算出部９が一致パターンのチェックを行い、Ｓ４０９に進む。この一致パターンのチェックの詳細については、後に説明する。

Ｓ４０９では、パターン合致度算出部９が、モデルパターン・比較用一致パターン格納部８を参照して、「許可パターン」に該当するか否かを判定し、許可パターンに該当する場合は、（Ｙｅｓ）Ｓ４１０に進む。一方、許可パターンに該当しない場合は、（Ｎｏ）「Ｒｅｔｕｒｎ」に進む。

なお、パターン合致度算出部９は、「許可パターン」に該当する場合にはパターン合致度を「１」とし、「許可パターン」に該当しない場合にはパターン合致度を「０」とし、スコア算出部１０は、一致画素数算出部７が算出した一致画素数にこれらの数値を掛ける構成が考えられる。

Ｓ４１０では、スコア算出部１０が、一致画素数算出部７が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア（合致度）とする。

次に、図１５に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。図１５は、パターン合致度算出過程の一例を示すフローチャートである。なお、ここでは、勾配方向の種類は８方向あり、勾配方向種類数の閾値（ＤＮ）を６に設定した場合について説明する。

図１５に示すように、Ｓ５０１では、パターン合致度算出部９が、一致パターンの「有」の数が６以上の場合には、Ｓ５０２に進み、一致パターンの許可を行う。

一方、パターン合致度算出部９は、一致パターンの「有」の数（勾配方向種類数）が５以下の場合には、Ｓ５０３に進み、一致パターンの不許可を行う。

次に、図１６（ａ）〜図１６（ｃ）に基づき、一致パターンのチェックにおける第１の例を説明する。

図１６（ａ）は、パターン合致度算出過程の一例を示す概要図であり、図１６（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、図１６（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１６（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「８」方向がすべて存在しているので、閾値の６以上であり、図１５のフローでは、「許可パターン」と判定される。したがって、図１６（ａ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｂ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の６以上であり、図１５のフローでは、「許可パターン」と判定される。したがって、図１６（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｃ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の６以上であり、図１５のフローでは、「許可パターン」と判定される。

以上の結果、図１６（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

次に、図１７（ａ）〜図１７（ｃ）に基づき、一致パターンのチェックにおける第２の例を説明する。

図１７（ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１７（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の６以上であり、図１５のフローでは、「許可パターン」と判定される。したがって、図１７（ａ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１７（ｂ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の６未満であり、図１５のフローでは、「不許可パターン」と判定される。したがって、図１７（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

図１７（ｃ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の６未満であり、図１５のフローでは、「不許可パターン」と判定される。

以上の結果、図１７（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

以上のように、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）、及び、照合領域に含まれる画素毎の勾配方向とモデルパターンに含まれる画素毎の勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア（合致度）を算出する。

次に、スコア算出部１０が照合領域の形状とモデルパターン形状の一部の形状とのマッチングの度合いを示す部分的合致度を算出する場合について説明する。ここでは、スコア算出部１０が、一致画素数と合致パターンとを併用して、部分的合致度を算出する場合について説明する。なお、ここでは、スコア算出部１０が完全合致度を算出する場合と異なる点について説明するものとし、同じ点については説明を繰り返さない。

上述したように、図１７（ｂ）及び（ｃ）の場合、照合領域は「不許可パターン」と判定されており、この場合にはスコア算出部１０が完全合致度を算出することはない。

このような場合、パターン合致度算出部９は、図１４に示したフローに従って、今度は、モデルパターン・比較用一致パターン格納部８に格納されている比較用部分的一致パターンを用いてパターン照合を実行する。

すなわち、図１４のＳ４０８において、パターン合致度算出部９がモデルパターン・比較用一致パターン格納部８を参照して、比較用部分一致パターンに対応する「許可パターン」を用いて、チェックを行うことになる。

具体的には、図１５のＳ５０１において、パターン合致度算出部９が、一致パターンの「有」の数に基づいて、一致パターンの許可／不許可を行う。勾配方向の種類が８方向あり、勾配方向種類数の閾値（ＤＮ）が４である場合、比較用部分一致パターンの「有」の数が４であれば、Ｓ５０２に進み、一致パターンの許可を行う。一方、パターン合致度算出部９は、一致パターンの「有」の数が４未満の場合には、Ｓ５０３に進み、一致パターンの不許可を行う。

図２１は、部分的パターン合致度算出過程の一例を示す概要図である。図２１では、一致画素数は「２０」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の４以上であり、図１５のフローでは、「許可パターン」と判定される。したがって、図２１の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２０」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

〔６．認識点抽出過程〕
次に、画像処理装置１における認識点抽出過程について説明する。

図１８は、画像処理装置１の動作のうち、認識点抽出過程過程の動作を示すフローチャートである。

Ｓ６０１では、ピーク探索部１２が、注目画素の周囲で所定の画素数を含む第１領域（探索領域）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索して、ピーク画素を発見したらＳ６０２に進む。なお、図示していないが、ピーク探索部１２が、ピーク画素を発見できない場合には、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ６０１に戻る。

Ｓ６０２では、座標算出判定部１３が、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合には、Ｓ６０３に進み、座標算出判定部１３は、「ピーク画素あり」と判定し、Ｓ６０４に進む。一方、座標算出判定部１３が、第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在しなかった場合には、Ｓ６０５に進み、座標算出判定部１３は、「ピーク画素なし」と判定し、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ６０１に戻る。

以上の手順は、座標算出部１４が認識点の座標を抽出するまで繰り返される。

Ｓ６０４では、座標算出部１４が、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎のスコアを用いて、認識点の座標を抽出して「ＥＮＤ」となる。

なお、上述の説明では、座標算出部１４が認識点の座標を抽出するまで処理を繰り返す場合について説明したが、複数の認識点の座標を抽出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第１・第２領域を移動して、図１８に示すフローチャートの処理を実行すればよい。

次に、図１９（ａ）及び図１９（ｂ）を用いて、ピーク画素の有無の判定について説明する。

図１９（ａ）は、画像処理装置１における座標算出判定部１３が、ピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、座標算出判定部１３が、ピーク画素が有ると判定する場合を説明するための概要図である。

図１９（ａ）に示す実線が第１領域であり、破線が第２領域である。第１領域の画素数は、９×９画素であり、第２領域の画素数は、５×５画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が１画素となるようにするためである。

図１９（ａ）の例では、第１領域内にピーク画素である「９」が存在しているが、該ピーク画素は、第２領域内には存在していない。したがって、この場合は、座標算出判定部１３は、「ピーク画素なし」と判定する。

一方、図１９（ｂ）の例では、第１領域内にピーク画素である「９」が存在しており、かつ、第２領域内にも存在している。したがって、この場合は、座標算出判定部１３は、「ピーク画素あり」と判定する。

なお、上述の例では、第１領域にピーク画素が存在している場合において、第２領域内にピーク画素が無い場合には、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ）である「５画素」だけ、第１領域及び第２領域を動かせば、必ず、ピーク画素が第２領域内に入ってくるように、第１領域と第２領域との画素数との差が設定されている。

次に、図２０（ａ）及び図２０（ｂ）に基づき、座標算出部１４の認識点抽出方法について説明する。

図２０（ａ）は、画像処理装置１における撮像対象による撮像画像上における認識点抽出のために使用されるピーク画素領域について説明するための概要図であり、図２０（ｂ）は、画像処理装置１における認識点抽出方法を説明するための概要図である。

図２０（ａ）は、座標算出判定部１３が「ピーク座標あり」と判定した場合であり、図１９（ｂ）の場合と同じである。

なお、図２０（ａ）は第１領域及び第２領域とも破線の領域で示されている。一方、実線で示した５×５画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。

図２０（ａ）に示す例では、このピーク画素領域も第２領域と同様に、第１領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第２領域の端にピーク画素が存在する場合でも、ピーク画素領域が第１領域内に包含されるように構成することが好ましい。

次に、図２０（ｂ）に基づき、座標算出部１４の認識点の抽出方法について説明する。

本例では、画像データの画素数が、３２０×２４０画素である場合に、図１の低解像度化部２が、バイリニア縮小を２回行い、さらに、効率化部６が、２×２画素について照合効率化を行い、スコア画像（スコアのデータを画素ごとに付与したもの）のサイズが４０×３０画素になっている場合を想定している。

したがって、スコア画像の全領域を８倍に拡大したものが、画像データの全領域に相当する。したがって、補間量（スケール拡大量）＝８となっている。

具体的な計算方法は、以下のとおりである。まず、ピーク画素領域における行ごとのスコアの和を計算する（図２０（ｂ）の１９、２８、３３、２４、及び１１）。

次に、ピーク画素領域における列ごとのスコアの和を計算する（図２０（ｂ）の１６、２４、２８、２６、及び２１）。また、ピーク画素領域内（５×５画素）のスコアの総和を求める（図２０（ｂ）の１１５）。

次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを８倍に拡大すると、次式（８）及び（９）の座標を得る。

次に、画素のサイズを考慮して目盛り位置の調整を行うと、認識点の座標（Ｘ，Ｙ）は、次式（１０）となる。

以上によれば、ピーク探索部１２は、第１領域（探索領域）内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

例えば、第１領域の画素数が小さいということは、データ画像（スコア画像）全体（＝全画素）のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第１領域に必要なメモリ容量（例えば９×９画素の第１領域の場合、９ライン分のラインバッファ）があればよい、ということになる。

このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存等、後段処理に受け渡す際にバッファメモリが介在するような実装を行う場合には、全て共通して言えることである。

さらに、座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素毎のスコアを用いて、認識点を抽出する。例えば、エッジ画像を用いてその重心位置から認識点を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、画像処理装置１では、ピーク画素領域内の、画素毎のパターンマッチングによるスコアを用いて、認識点の座標を抽出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内でスコアの重心を算出する等）で、認識点の座標を抽出することができる。それゆえ、認識点の座標の検出精度の維持との両立を図りつつ、認識点の座標を抽出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行うことで、認識点の座標の抽出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、認識点の座標を抽出において、画像処理量の軽減と認識点の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置１を提供することができる。

また、座標算出判定部１３は、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域内に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に認識点の座標を抽出させることが好ましい。

ピーク画素領域は、第２領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第１領域と共通する画素が多数存在することになる。また、ピーク画素領域と第１領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部１４に認識点の座標を抽出させることができる。

また、ピーク画素領域と第１領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第１領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、認識点の座標を抽出のためにあらためて判明していない各画素のスコアを調べる必要が無い。

以上より、認識点の座標の抽出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第１領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装等において各処理モジュールをパイプライン処理する際等に、参照すべきスコアの保持バッファ容量を少量化（例えば画像全体ではなく９ラインのみ）できる。

〔７．ポインティング位置決定過程〕
次に、画像処理装置１におけるポインティング位置決定過程について説明する。

このポインティング位置決定過程は、外形領域特定処理、認識点包含判定処理及びポインティング位置決定処理の３つの処理を含んでいる。

（７−１：外形領域特定処理）
まず、ポインティング位置決定過程のうち、外形領域特定処理について説明し、パターンマッチングにより外形領域を特定する場合について説明する。

また、ここでは、外形領域が、略楕円領域である場合について説明し、パターンマッチングの方法としては、モデルパターンの形状を略円形状としてモデルパターン形状の一部の形状に一致する形状を持つ照合領域同士を結合して楕円領域（外形領域）を特定する場合について説明する。

しかしながら、外形領域が、略楕円領域である場合のパターンマッチングの方法は、このような方法に限られるわけではない。

すなわち、上述したように、モデルパターンの形状を略楕円形状として直接楕円領域を認識するようにしても良い。

さて、上述したように、図１に示すパターン合致度算出部９は、照合領域（第２照合領域）とモデルパターン（第２モデルパターン）との間における画素毎の勾配方向の一致パターンと比較用一致パターンとが類似する度合いを示すパターン合致度（第２合致度）を算出している。このパターン合致度のうち、比較用部分的一致パターンとの類似の度合いを示す部分的パターン合致度（部分的合致度）は、パターン合致度算出部９からパターン情報格納部１６に出力されており、パターン情報格納部１６は、部分的パターン合致度の算出ごとに、それらを順次格納している。

また、この部分的パターン合致度がパターン情報格納部１６に格納される際、その照合領域とモデルパターンとの間における勾配方向の一致パターンの「有」の数（勾配方向種類数）も、同時にパターン情報格納部１６に格納されている。

そして、パターン結合部１８が、このようにしてパターン情報格納部１６に格納された一致パターンの「有」の種類を用いて、モデルパターン形状の一部の形状に一致する形状を持つ照合領域においてモデルパターン形状と一致しない部分（以下、「開放部分」と呼ぶ。）における照合領域内部から外部へ向かう方向（以下、「開放方向」と呼ぶ。）を特定する。

ここで「開放方向」とは、言い換えれば、モデルパターン形状の一部の形状に一致する形状を持つ照合領域の形状が１つの閉じた図形の分割図形の形状となっている場合、この分割図形に生じる開放された部分（非連続部分）の撮像画像上の向きのことである。

すなわち、モデルパターンは、通常、閉じた図形を参考に設定されるので、モデルパターンの一部との部分的合致度が高い照合領域の形状は、閉じた図形を分割した図形の形状に近似する。

また、閉じた図形を分割した分割図形には、必ず開放された部分が存在し、分割図形同士を結合する際、開放された部分同士の向き、すなわち「開放方向」を特定しておく必要がある。

図２２に、照合領域とモデルパターンとの間における勾配方向の一致パターンの「有」の種類と開放方向との対応関係の一例を示す。図２２においては、４つの例が示されており、例えば第１番目の例では、開放方向が図上、下方向に向いている。無論、開放方向は８方向に限られるものではなく、例えば１６方向等、より細かく設定してもよい。

また、図２２に示した例は、一例に過ぎず、例えば図２３に示すように、図２２の第１番目の例における一致パターンの「有」の方向を４５度ずつ回転させていったものも含まれる。図２３には、８つの例が示されており、例えば第２番目の例では、図２２の第１番目の例に対して、４５度左回転したものとなっており、第３番目の例では、図２２の第１番目の例に対して、９０度左回転したものとなっている。同様に、図２２の第２〜４番目の各例における一致パターンの「有」の方向を４５度ずつ回転させていったものも含まれる。

なお、本実施の形態においては、上述したように、勾配方向の一致パターンの「有」の種類を用いて開放方向を特定しているが、本発明はこれに限られるものではない。要は、照合領域がモデルパターンと一致する部分の位置に基づいて照合領域の開放方向を特定すればよい。すなわち、照合領域内部から、照合領域がモデルパターンと一致しない部分に向かう方向を開放方向とすればよい。

このようなパターン情報を用いて、パターン結合部１８は、モデルパターン形状の一部の形状に一致する形状を持つ照合領域の各々の開放方向を特定する。

次に、図２４〜図２７を用いて、結合条件格納部１７にあらかじめ格納されている結合条件について説明する。

上述したように、パターン結合部１８は、結合条件格納部１７にあらかじめ格納されている結合条件を用いて、モデルパターン形状の一部の形状に一致する形状を持つ照合領域のうち、単一領域として互いに結合すべきものがあるか否かを判断し、その結合すべきとの判断に基づいて、それら照合領域を結合する。なお、ここでは、モデルパターン形状が円形状、モデルパターン形状の一部の形状に一致する形状を持つ照合領域の形状が半円形状、単一領域として結合されるべき領域の形状が楕円形状である場合を例として説明する。

このような場合においては、パターン結合部１８は、以下の結合条件を用いることになる。すなわち、「結合条件」の例としては、複数の照合領域間の距離に関する条件（距離条件）や、複数の照合領域の各々に生じる開放方向に関する条件（開放方向条件）などが例示できる。

もちろん、以下の述べる条件は単なる一例に過ぎず、モデルパターン形状等によって異なるものである。無論、本発明はこのような例に限定されるものではない。モデルパターンの形状及びその結合条件を適切に設定することにより、あらかじめ用意されたモデルパターンとは異なるパターンの認識を実現することができる。

（ａ）距離条件
（ｂ）開放方向条件
まず、（ａ）距離条件について説明する。図２４及び図２５は、この距離条件を説明するための図である。第１に、図２４に示すように、２つの照合領域同士の距離をｄ、モデルパターンの半径をｒとした場合、ｄがｒ／２以上であることが必要である。

第２に、図２５に示すように、ｄが所定の距離（ここでは、３ｃｍ）以下であることが必要である。なお、この所定の距離は、例えば、撮像対象が利用者の指腹である場合、表示画面上における指腹の広がり具合から定められたものである。利用者の指腹の大きさとしてはこの程度を見れば十分と思われるからである。また、所定の距離を用いるのに代えて、表示画面上においてこの所定の距離に相当する画素数を用いて結合条件を設定してもよい。例えば、３．５インチのＨＶＧＡ（３２０×４８０画素）の場合、１ｃｍが約６５ピクセルであり、３ｃｍであれば約１９５ピクセルに相当する。したがって、この場合であれば、ｄが１９５ピクセル以下であることを結合条件とすることができる。

次に、（ｂ）開放方向条件について説明する。図２６及び図２７は、この開放方向条件を説明するための図である。第１に、図２６に示すように、２つの照合領域の開放方向が互いに向かい合っていることが必要である。この向かい合っているか否かの判定は、例えば、一方の開放方向を１８０度回転させて、２つの開放方向が一致するか否かによって行えばよい。２つの開放方向が互いに向かい合っていれば、２つの開放方向が一致する筈だからである。

第２に、図２７に示すように、２つの照合領域の開放方向が同一の直線上に載ることが必要である。この同一直線上に載るか否かの判定は、例えば、２つの照合領域の各々中心座標同士を結ぶ直線の方向を求めて、この方向が図２６を用いて説明した２つの開放方向が一致した方向に一致するか否かによって行えばよい。なお、２つの照合領域の各々中心座標同士を結ぶ直線を１８０度回転させたものに対して、図２６の２つの開放方向が一致した方向と一致するか否かを判定しても無論構わない。

パターン結合部１８は、このような結合条件が満たされているか否かを判定し、結合条件を満たしているとの判定結果に基づいて、半円形状である２つの照合領域を結合させ、楕円形状の領域（楕円領域ＥＲ：外形領域）とする。

また、パターン結合部１８は、このような結合を行った場合、２つの照合領域の位置から結合された領域の位置（以下では、楕円領域ＥＲの重心の位置とする）を特定する。

（７−２：ノイズと認識点との関係）
次に、図２８（ａ）・（ｂ）に基づき、光センサ内蔵液晶ディスプレイにおけるノイズと、認識点との関係について説明する。

図２８（ａ）は、撮像画像に生じるノイズについて説明するための概念図であり、図２８（ｂ）は、ノイズが認識点となってしまうという問題点を説明するための概念図である。

図２８（ａ）は、光センサ内蔵液晶ディスプレイの表示画面に黒い円の画像が表示された場合に生じる光センサのノイズである。

図示のように、指が接触していない状態でも撮像画像には、ノイズＮ１〜ノイズＮ４が生じているものとする。

このとき、指Ｆ１と指Ｆ２が図２８（ｂ）に示すようにディスプレイ上に接触した場合、ディスプレイ上に表示された画像と、ディスプレイ上に接触した指の像との重ね合わせ画像を撮像することになるので、認識点Ｐ１〜認識点Ｐ３のすべてが認識点として抽出されてしまう可能性がある。

しかしながら、図２８（ｂ）に示すように、認識点Ｐ１〜認識点Ｐ３の抽出と共に、楕円領域ＥＲ１及び楕円領域ＥＲ２を特定し、認識点Ｐ１〜認識点Ｐ３がどの楕円領域に含まれているか判定できれば、楕円領域ＥＲ１、すなわち、指Ｆ１のポインティング位置の候補となる認識点なのか、楕円領域ＥＲ２、すなわち、指Ｆ２のポインティング位置の候補となる認識点なのかを区別することができる。

例えば、認識点Ｐ１及び認識点Ｐ２は、楕円領域ＥＲ１に含まれているので、認識点Ｐ１及び認識点Ｐ２は、指Ｆ１のポインティング位置の候補となる。

一方、認識点Ｐ３は、楕円領域ＥＲ２に含まれているので、認識点Ｐ３は、指Ｆ２のポインティング位置の候補となる。

以上より、指Ｆ１及び指Ｆ２のタッチ位置を認識する場合に、１本の指の中にノイズ等の影響で複数の認識点Ｐ１〜Ｐ３が存在しているのか、隣接する指Ｆ１の認識点Ｐ１・Ｐ２と、指Ｆ２の認識点Ｐ３とが互いに近接しているのかを区別することができることがわかる。

（７−３：認識点包含処理〜ポインティング位置決定処理）
次に、図１８及び図２８（ａ）〜図２９に基づき、認識点包含処理を経て指Ｆのポインティング位置ＦＰを決定するまでの処理について説明する。

まず、Ｓ７０１で、図１８の認識点抽出過程のフローで座標算出部１４が、認識点の座標を抽出し、図２８（ｂ）に示すように外形領域特定部１５によって楕円領域ＥＲ１及び楕円領域ＥＲ２が特定されたものとしてＳ７０２に進む。

Ｓ７０２では、外形領域特定部１５が、楕円領域ＥＲ１及び楕円領域ＥＲ２のすべてについて認識点包含判定処理が行なわれているか否かを確認する。

ここでは、全く認識点包含判定処理は行われていないので、「ＮＯ」となり、Ｓ７０３に進む。

Ｓ７０３では、認識点包含判定部１９が、認識点包含判定処理を行う楕円領域として楕円領域ＥＲ１を選択し、楕円領域ＥＲ１に認識点Ｐ１及びＰ２が含まれていると判定してＳ７０４に進む。なお、楕円領域ＥＲ１に含まれる認識点が存在していない場合は、「ＮＯ」となり、Ｓ７０２に戻る。

Ｓ７０４では、位置決定部２０が、楕円領域ＥＲ１の重心ＥＧと、認識点Ｐ１及びＰ２の重心ＰＧに基づいてポインティング位置ＦＰを決定する。ポインティング位置ＦＰの決定方法としては、方法１．認識点Ｐ１及びＰ２を削除（無視）して楕円領域ＥＲの重心ＥＧを採用する方法、方法２．楕円領域ＥＲの重心ＥＧとの認識点Ｐ１及びＰ２の重心ＰＧとの中点ＣＧを採用する方法、及び方法３．楕円領域ＥＲの重心ＥＧと認識点Ｐ１及びＰ２の重心ＰＧとの加重平均を求める方法などが考えられる。なお、これらの方法の具体例については後述する。

なお、ここでは、簡単のため、方法１を選択し、楕円領域ＥＲ１の重心をポインティング位置ＦＰと決定したものとして説明する。

次に、楕円領域ＥＲ１におけるポインティング位置決定処理が終了したので、Ｓ７０２に戻る。

Ｓ７０２では、楕円領域ＥＲ２の認識点包含判定処理が終了していないので、認識点包含判定部１９が、認識点包含判定処理を行う楕円領域として楕円領域ＥＲ２を選択し、楕円領域ＥＲ２に認識点Ｐ３が含まれていると判定してＳ７０４に進む。

Ｓ７０４では、位置決定部２０が、楕円領域ＥＲ１の重心と、認識点Ｐ１に基づいてポインティング位置ＦＰを決定する。なお、ここでは、簡単のため、方法１を選択し、楕円領域ＥＲ２の重心をポインティング位置ＦＰと決定したものとして説明する。

次に、楕円領域ＥＲ２におけるポインティング位置決定処理が終了したので、Ｓ７０２に戻る。

Ｓ７０２では、楕円領域ＥＲ１及び楕円領域ＥＲ２のすべての楕円領域について認識点包含判定処理が終了しているので、Ｓ７０５に進む。

Ｓ７０５では、位置決定部２０が、楕円領域ＥＲ１の重心及び楕円領域ＥＲ２の重心をそれぞれ指Ｆ１及び指Ｆ２のポインティング位置ＦＰとして出力し「ＥＮＤ」となる。

（７−４：外形領域の決め方について）
次に図３０（ａ）〜（ｃ）に基づき、指の像ＦＩを撮像したときの外形領域の決め方について説明する。

図３０（ａ）は、外形領域の一例を示す概念図であり、図３０（ｂ）は、外形領域のその他の例を示す概念図であり、図３０（ｃ）は、外形領域のさらに他の例を示す概念図である。

まず、図３０（ａ）は、略楕円形状のモデルパターンをもちいて完全パターンマッチングを行った場合を示しており、この場合、完全パターン合致度が最大となった照合領域（楕円領域ＥＲ）を外形領域として特定すればよい。このとき、楕円領域ＥＲの重心（中心）がポインティング位置ＦＰの候補となる。なお、認識点包含判定部１９は、認識点Ｐ１が楕円領域ＥＲに包含されていると判定し、認識点Ｐ２は楕円領域ＥＲに包含されていないと判定する。よって、認識点Ｐ１もポインティング位置ＦＰの候補となる。

次に、図３０（ｂ）は、略円形状のモデルパターンをもちいて部分的パターンマッチングを行った場合の一例を示しており、この場合、部分的合致度が基準合致度を満たす照合領域同士を結合した結合領域（楕円領域ＥＲ）を外形領域として特定すればよい。このとき、半円中心Ｃ１及び半円中心Ｃ２（又はこれらの中点）がポインティング位置ＦＰの候補となる。なお、認識点包含判定部１９は、認識点Ｐ１が楕円領域ＥＲに包含されていると判定し、認識点Ｐ２は楕円領域ＥＲに包含されていないと判定する。よって、認識点Ｐ１もポインティング位置ＦＰの候補となる。

図３０（ｃ）は、略円形状のモデルパターンを用いて部分的パターンマッチングを行った場合の他の例を示しており、上下の２つの略半円と２つの線分で囲まれた外形領域ＥＸＲとなっている。

これは、部分的パターンマッチングを行った後の照合領域同士の結合の際の距離条件を変更し、略円形状のモデルパターンとの部分的パターンマッチングで得られた上側の略半円形状の照合領域の半円中心Ｃ１と、下側の略半円形状の照合領域の半円中心Ｃ１との間の距離（距離ｄ）を略楕円形状となる場合よりも長く設定することにより得られた外形領域である。

このとき、半円中心Ｃ１及び半円中心Ｃ２（又はこれらの中点）がポインティング位置ＦＰの候補となる。なお、認識点包含判定部１９は、認識点Ｐ１が外形領域ＥＸＲに包含されていると判定し、認識点Ｐ２は外形領域ＥＸＲに包含されていないと判定する。よって、認識点Ｐ１もポインティング位置ＦＰの候補となる。

（７−５：指の接触状態と指の撮像画像との関係について）
次に、図３１（ａ）〜（ｄ）に基づき、指の接触状態と指の撮像画像との関係について説明する。

図３１（ａ）は、液晶ディスプレイＤに指Ｆの指腹がピッタリと接触している様子を示す概念図であり、図３１（ｂ）は、そのときの撮像画像の様子を説明するための概念図であり、図３１（ｃ）は、液晶ディスプレイＤに指Ｆの指先が接触している様子を示す概念図であり、（ｄ）は、そのときの撮像画像の様子を説明するための概念図である。

図３１（ａ）に示すように、液晶ディスプレイＤに指Ｆの指腹がピッタリと接触している場合、図３１（ｂ）に示すように、指の像ＦＩは、略楕円形状に近くなり、例えば、略楕円形状のモデルパターンとの完全マッチングの程度が高くなる（略楕円形状のモデルパターンとの合致度が高くなる）。

このため、略円形状のモデルパターンとの完全マッチングの程度は低くなるが、略楕円形状の両端は、一部略円形状に類似しているので、略円形状のモデルパターンとの完全マッチングにより、図３１（ｂ）の認識点Ｐ１及びＰ２の２点を認識してしまう可能性が高くなる。

次に、図３１（ｃ）に示すように、液晶ディスプレイＤに指Ｆの指先が接触している場合、図３１（ｄ）に示すように、指の像ＦＩは、略円形状に近くなり、例えば、略円形状のモデルパターンとの完全マッチングの程度が高くなり（略円形状のモデルパターンとの合致度が高くなる）、高い確率で認識点Ｐ１を認識する。

一方、このとき、略楕円形状のモデルパターンとの完全マッチングの程度は低くなり、楕円領域は認識されない可能性がある。なお、この場合は、認識点Ｐ１をポインティング位置ＦＰとすれば良い。また、このような場合、楕円領域（外形領域）が特定されない虞があるので、エッジ抽出部４が特定したエッジ領域を外形領域とすることが好ましい。

このように、パターンマッチングによって外形領域を特定する方法と、エッジ領域を外形領域とする方法とを組合せることにより、外形領域の特定漏れを回避することができる。

（７−６：ポインティング位置決定方法の具体例）
次に、図３２（ａ）〜（ｃ）に基づき、ポインティング位置決定方法の具体例について説明する。

図３２（ａ）は、認識点Ｐ１・Ｐ２を無視（削除）して楕円領域ＥＲの重心ＥＧをポインティング位置ＦＰとする場合を説明するための概念図であり、（ｂ）は、楕円領域ＥＲの重心ＥＧと認識点Ｐ１〜Ｐ３の重心ＰＧとの中点ＣＧをポインティング位置ＦＰとする場合を説明するための概念図であり、（ｃ）は、楕円領域ＥＲの重心ＥＧと認識点Ｐ１〜Ｐ３とを所定の重みで加重平均して算出された位置をポインティング位置ＦＰとする場合を説明するための概念図である。

図３２（ａ）は、認識点包含判定部１９によって認識点Ｐ１・Ｐ２が楕円領域ＥＲに含まれていると判定された場合を示している。

また、ここで、位置決定部２０は、楕円領域ＥＲに含まれている認識点Ｐ１・Ｐ２を無視して、楕円領域ＥＲの重心ＥＧを指Ｆのポインティング位置ＦＰと決定している。

このような方法でポインティング位置ＦＰを決定すれば、楕円領域ＥＲの重心ＥＧ及び楕円領域ＥＲに含まれている認識点Ｐ１・Ｐ２を用いた演算等によりポインティング位置ＦＰを決定する必要がないので、余分な演算等を行うよりも処理速度が高くなる。

なお、この方法を採用する状況としては、例えば、図３１（ａ）に示すように、指Ｆの指腹が液晶ディスプレイＤにピッタリと接触している状況が例示できる。

このように液晶ディスプレイＤに指Ｆの指腹がピッタリと接触している場合、ユーザの意識は楕円領域ＥＲの重心ＥＧの近傍に集中すると考えられる。よって認識点Ｐ１・Ｐ２を無視する必要性が生じる。

なお、略楕円形状のモデルパターンとの完全マッチングのスコアが、所定の閾値よりも高い場合には、必ず楕円領域ＥＲの重心ＥＧをポインティング位置ＦＰと決定するようにしても良い。

次に、図３２（ｂ）は、認識点包含判定部１９によって認識点Ｐ１〜Ｐ３が楕円領域ＥＲに含まれていると判定された場合を示している。

また、ここで、位置決定部２０は、楕円領域ＥＲに含まれている認識点Ｐ１〜Ｐ３の重心ＰＧと楕円領域ＥＲの重心ＥＧとの中点ＣＧを指Ｆのポインティング位置ＦＰと決定している。

例えば、撮像対象が指Ｆであり、モデルパターンの形状を略円形状とし、外形領域を略楕円形状とした場合、ポインティング位置ＦＰを楕円領域ＥＲの重心ＥＧと、認識点Ｐ１〜Ｐ３の重心ＰＧとの中点ＣＧとすることによって、指Ｆの指先が接触している場合と、指腹がピッタリと接触している場合との中間的な状態におけるポインティング位置ＦＰを推定できるので、よりユーザの意図に近いポインティング位置ＦＰを推定（決定）することができる。なお、認識点が１つの場合は、その認識点自身を重心ＰＧとすれば良い。

次に、図３２（ｃ）は、認識点包含判定部１９によって認識点Ｐ１〜Ｐ３が楕円領域ＥＲに含まれていると判定された場合を示している。

また、ここで、位置決定部２０は、指の像ＦＩと楕円領域ＥＲの形状との類似の程度によって変動する第１パラメータを、楕円領域ＥＲの重心ＥＧに対する重みとし、指の像ＦＩと略円形状のモデルパターンの形状との類似の程度によって変動する第２パラメータを、楕円領域ＥＲに含まれている認識点Ｐ１〜Ｐ３（又は重心ＰＧ）に対する重みとして加重平均して算出された位置を指Ｆのポインティング位置ＦＰと決定している。

より具体的には、例えば、認識点Ｐｉ（ｉは自然数）に関する略円形状のモデルパターンとの完全パターンマッチングの合致度（第２パラメータ）をＳ_Ｃｉ、照合領域（略円形状）の中心（又は重心）の座標をＸ_Ｃｉとし、略楕円形状のモデルパターン（第２モデルパターン）との完全パターンマッチングの合致度（第２合致度、第１パラメータ）をＳ_Ｏ、楕円領域ＥＲの重心ＥＧの座標をＸ_Ｏとするとき、次式（１１）によって算出される座標Ｘをポインティング位置ＦＰとする。

また、別の計算方法としては、例えば、指の像ＦＩが略円形状のとき（図３１（ｂ））のときのエッジパワー（第２パラメータ）をｅ_Ｃ、照合領域（略円形状）の中心（又は重心）の座標をＸ_Ｃとし、指の像ＦＩが略楕円形状のとき（図３１（ａ））のエッジパワー（第１パラメータ）をｅ_Ｏ、楕円領域ＥＲの重心ＥＧの座標をＸ_Ｏとするとき、次式（１２）によって算出される座標Ｘをポインティング位置ＦＰとする。

これにより、指の像ＦＩと楕円領域ＥＲの形状（略楕円形状のモデルパターン）との類似の程度及び指の像ＦＩと略円形状のモデルパターンとの類似の程度に応じてより細かくポインティング位置ＦＰを決定することができる。

ここで、「第１パラメータ」の例としては、上述した略楕円形状のモデルパターンとの完全パターンマッチングにおけるスコアや、エッジ抽出部４によって特定されたエッジ画素のそれぞれの画素値若しくはその平均値（エッジパワー）などが例示できる。

一方、「第２パラメータ」の例としては、上述した略円形状のモデルパターンとの完全パターンマッチングにおけるスコアや、エッジ抽出部４によって特定されたエッジ画素のそれぞれの画素値若しくはその平均値（エッジパワー）などが例示できる。

例えば、撮像対象が指Ｆの場合、液晶ディスプレイＤに指先が接触しているときの接触部分の形状は、略円形状に近くなり、液晶ディスプレイＤに指腹がピッタリ接触しているときの接触部分の形状は、略楕円形状に近くなる。

また、「モデルパターン」の形状を略円形状とし、「外形領域」を略楕円形状とした場合、指先が接触しているとき（接触部分の形状が略円形状に近いとき）のエッジパワーは、指腹がピッタリ接触しているとき（接触部分の形状が略楕円形状に近いとき）のエッジパワーと比較して大きくなる傾向がある。

したがって、上述した加重平均によれば、例えば、撮像対象が指Ｆの場合に、指先が接触している場合と、指腹がピッタリと接触している場合との中間的な状態におけるポインティング位置ＦＰをより細かく推定できるので、よりユーザの意図に近いポインティング位置ＦＰを推定することができる。

また、この他、上述した方法１〜方法３のいずれの場合であっても、楕円領域ＥＲの重心ＥＧ及び楕円領域ＥＲの焦点近傍（略円形状のモデルパターンとのマッチングが高いと考えられる）から所定距離以上離れて認識された認識点はノイズが原因であると判断して削除（無視）しても良い。

これにより、ノイズが原因である可能性が高い認識点を排除して、よりユーザの意図に近いポインティング位置を決定することができる。

なお、本発明の画像処理装置は、撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置であって、前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合するための特徴量を画素毎に算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量の算出結果に基づいて、前記照合領域と前記モデルパターンとを照合したときのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段によって算出された合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出手段と、前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定手段と、前記認識点抽出手段によって抽出された認識点が、前記外形領域特定手段によって特定された外形領域に含まれているか否かを判定する認識点包含判定手段とを備えていても良い。

また、本発明の画像処理装置は、前記特徴量算出手段は、前記撮像画像上で所定の画素数を含む第２部分領域に含まれる第２照合領域と、予め定められた、前記モデルパターンよりも大きな第２モデルパターンと、を照合するための第２特徴量を画素毎に算出し、前記合致度算出手段は、前記第２特徴量の算出結果に基づいて、前記第２照合領域と前記第２モデルパターンとを照合したときのマッチングの度合いを示す第２合致度を算出し、前記外形領域特定手段は、前記合致度算出手段によって算出された第２合致度が最大となる第２照合領域を前記外形領域としても良い。

なお、画像処理装置１の各ブロック、特に低解像度化部２、縦勾配量算出部３ａ、横勾配量算出部３ｂ、エッジ抽出部４、方向特定部５、効率化部６、一致画素数算出部７、パターン合致度算出部９、スコア算出部１０、認識点抽出部１１、外形領域特定部１５、認識点包含判定部１９及び位置決定部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）等を備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、その通信ネットワークを介して上記プログラムコードを画像処理装置１に供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組合せて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の画像処理装置は、例えば携帯電話やＰＤＡ等のように、液晶等の表示装置のディスプレイにタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。

１ 画像処理装置
２ 低解像度化部
３ａ 縦勾配量算出部（特徴量算出手段）
３ｂ 横勾配量算出部（特徴量算出手段）
４ エッジ抽出部（外形領域特定手段）
５ 方向特定部（特徴量算出手段）
６ 効率化部
７ 一致画素数算出部（合致度算出手段）
８ モデルパターン・比較用一致パターン格納部
９ パターン合致度算出部（合致度算出手段）
１０ スコア算出部（合致度算出手段）
１１ 認識点抽出部（認識点抽出手段）
１２ ピーク探索部（認識点抽出手段）
１３ 座標算出判定部（認識点抽出手段）
１４ 座標算出部（認識点抽出手段）
１５ 外形領域特定部（外形領域特定手段）
１６ パターン情報格納部
１７ 結合条件格納部
１８ パターン結合部（部分的合致判定手段、結合領域特定手段）
１９ 認識点包含判定部（認識点包含判定手段）
２０ 位置決定部（接触位置決定手段）
Ｃ１，Ｃ２ 半円中心
ＣＧ 中点（外形領域の重心と認識点の重心との中点）
Ｄ ディスプレイ
ＥＧ 重心（外形領域の重心）
ＥＲ，ＥＲ１，ＥＲ２ 楕円領域（外形領域）
ＥＸＲ 外形領域
Ｆ，Ｆ１，Ｆ２ 指（撮像対象）
ＦＩ 指の像（撮像対象の像）
ＦＰ ポインティング位置（撮像対象の接触位置）
Ｎ１〜Ｎ４ ノイズ
Ｐ１〜Ｐ３ 認識点
ＰＧ 重心（認識点の重心）

Claims (12)

1. 撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置であって、
   前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出手段と、
   前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定手段と、
   前記認識点抽出手段によって抽出された認識点が複数存在し、前記外形領域特定手段によって特定された前記外形領域が複数存在している場合に、前記複数の認識点のそれぞれが、前記外形領域特定手段によって特定された前記複数の前記外形領域のいずれかに含まれているか否かを判定する認識点包含判定手段とを備えていることを特徴とする画像処理装置。
2. 前記認識点包含判定手段によって前記認識点が前記外形領域に含まれていると判定された場合に、該外形領域の重心及び該外形領域に含まれている認識点に基づいて、該外形領域に像の外形が含まれている撮像対象の接触位置を決定する接触位置決定手段を備えていることを特徴とする請求項１に記載の画像処理装置。
3. 前記外形領域特定手段は、前記撮像画像上で所定の画素数を含む第２部分領域に含まれる第２照合領域と、前記モデルパターンよりも大きな第２モデルパターンと、を照合したときのマッチングの度合いを示す第２合致度が最大となる第２照合領域を前記外形領域とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記接触位置決定手段は、前記外形領域に含まれている認識点を無視して、前記外形領域の重心を前記撮像対象の接触位置と決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記接触位置決定手段は、前記外形領域に含まれている認識点の重心と前記外形領域の重心との中点を前記撮像対象の接触位置と決定することを特徴とする請求項２に記載の画像処理装置。
6. 前記接触位置決定手段は、前記撮像対象の像と前記外形領域の形状との類似の程度によって変動する第１パラメータを、前記外形領域の重心に対する重みとし、前記撮像対象の像と前記モデルパターンの形状との類似の程度によって変動する第２パラメータを、前記外形領域に含まれている認識点に対する重みとして加重平均して算出された位置を前記撮像対象の接触位置と決定することを特徴とする請求項２に記載の画像処理装置。
7. 前記外形領域特定手段は、画素毎の画素値の勾配量に基づいて前記撮像対象の像におけるエッジ部分に含まれるエッジ画素を特定すると共に、前記エッジ画素に囲まれたエッジ領域を前記外形領域とすることを特徴とする請求項１に記載の画像処理装置。
8. 前記第２合致度が最大となる第２照合領域が複数存在している場合に、これらの第２照合領域と前記第２モデルパターンの一部とのマッチングの度合いを示す部分的合致度が予め定められた基準合致度を満たしているか否かを判定する部分的合致判定手段と、
   前記部分的合致判定手段によって前記基準合致度を満たしていると判定された第２照合領域が複数存在している場合に、これらの第２照合領域の中から、予め定められた結合条件を満たす第２照合領域どうしを単一領域として結合した結合領域を特定する結合領域特定手段を備えており、
   前記外形領域特定手段は、前記結合領域特定手段によって特定された結合領域を前記外形領域とすることを特徴とする請求項３に記載の画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理プログラム。
10. 請求項９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置の制御方法であって、
    前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出ステップと、
    前記撮像画像上で撮像対象の像の外形を含む外形領域を特定する外形領域特定ステップと、
    前記認識点抽出ステップで抽出された認識点が複数存在し、前記外形領域特定ステップで定された前記外形領域が複数存在している場合に、前記複数の認識点のそれぞれが、前記外形領域特定ステップで特定された前記複数の前記外形領域のいずれかに含まれているか否かを判定する認識点包含判定ステップとを含んでいることを特徴とする画像処理装置の制御方法。
12. 撮像対象を撮像した撮像画像に対して画像処理を行う画像処理装置であって、
    前記撮像画像上で所定の画素数を含む部分領域に含まれる照合領域と、予め定められたモデルパターンと、を照合したときのマッチングの度合いを示す合致度が最大となる照合領域を含む部分領域から、撮像対象の像が認識された位置とされる認識点を抽出する認識点抽出手段と、
    前記撮像画像上で所定の画素数を含む第２部分領域に含まれる第２照合領域と、前記モデルパターンよりも大きな第２モデルパターンと、を照合したときのマッチングの度合いを示す第２合致度が最大となる第２照合領域を、前記撮像画像上で撮像対象の像の外形を含む外形領域として特定する外形領域特定手段と、
    前記認識点抽出手段によって抽出された認識点が、前記外形領域特定手段によって特定された外形領域に含まれているか否かを判定する認識点包含判定手段と、
    前記第２合致度が最大となる第２照合領域が複数存在している場合に、これらの第２照合領域と前記第２モデルパターンの一部とのマッチングの度合いを示す部分的合致度が予め定められた基準合致度を満たしているか否かを判定する部分的合致判定手段と、
    前記部分的合致判定手段によって前記基準合致度を満たしていると判定された第２照合領域が複数存在している場合に、これらの第２照合領域の中から、予め定められた結合条件を満たす第２照合領域どうしを単一領域として結合した結合領域を特定する結合領域特定手段と、を備えており、
    前記外形領域特定手段は、
    さらに、前記結合領域特定手段によって特定された結合領域を前記外形領域とすることを特徴とする画像処理装置。

Images