JP4727615B2 - 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 - Google Patents

Description

本発明は、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を特定する機能を備えた画像処理装置に関するものである。

携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部と
して液晶ディスプレイを備えた画像表示装置（以下、「液晶表示装置」と呼ぶ。）が幅広く利用されていることは周知の通りである。特に、ＰＤＡでは、古くからタッチセンサーを備えることにより、直接指などを液晶ディスプレイに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサーを備える液晶表示装置の普及が期待されている。

このようなタッチセンサーを備える液晶表示装置の一例として特許文献１に開示された技術がある。

上記従来の液晶表示装置は、主としてエッジ検出回路、接触判定回路及び座標計算回路を備えている。エッジ検出回路は、撮影された画像のエッジを検出して、エッジ画像を得るようになっている。

また、接触判定回路は、エッジ検出回路によって得られたエッジ画像を用いて物体が表示画面に接触したか否かを判定するようになっている。この接触判定回路は、エッジ毎にその移動方向（エッジの座標の時間変化）を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定するようになっている。これは、物体が接触しない限りはエッジが互いに逆方向に移動することはないという原理を利用したものである。具体的には、逆方向への移動量が所定の閾値以上の場合に接触したと判定することで、判定の精度を高めるようになっている。

さらに、座標計算回路は、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算するようになっている。これにより、物体が接触する前に座標位置を計算しないようにして、位置算出の精度の向上を図ることを可能としている。
特開２００６−２４４４４６号公報（平成１８年９月１４日公開）

しかしながら、上記従来の液晶表示装置では、互いに逆方向に移動するエッジという画像の時間的変化に依存する対象をタッチ・非タッチ検出のために用いているので、複数フレームに亘って画像データ又はエッジデータを保持する必要がある。

このため、タッチ・非タッチの検出に少なくとも２フレーム以上の情報が必要であり、多くのメモリ容量が必要となってしまうという問題点がある。

また、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算するようになっており、物体の座標位置の計算は、タッチ・非タッチの検出後に行われようになっているため、タッチ位置の特定に多くの時間がかかってしまうという問題点もある。

さらに、上記従来の液晶表示装置では、画像処理量を軽減して物体の座標位置の計算時間の短縮化を図るためには、撮像画像を低解像度化することが考えられるが、エッジの重心を物体の座標位置として計算するようになっているため、座標位置の検出精度が低下してしまうという問題点もある。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、座標位置の算出において、画像処理量の軽減と座標位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置などを提供することにある。

本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置であって、前記画像データから濃度勾配特徴量を算出する勾配特徴量算出手段と、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる前記濃度勾配特徴量と、前記モデルパターンに含まれる前記濃度勾配特徴量とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出手段と、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索手段と、該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出手段とを備えることを特徴としている。

また、本発明の画像処理装置の制御方法は、前記課題を解決するために、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置の制御方法であって、前記画像データから濃度勾配特徴量を算出する勾配特徴量算出ステップと、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる前記濃度勾配特徴量と、前記モデルパターンに含まれる前記濃度勾配特徴量とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出ステップと、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出ステップで算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索ステップと、該ピーク画素探索ステップで発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出ステップとを備えることを特徴としている。

前記構成及び方法によれば、勾配特徴量算出手段又は勾配特徴量算出ステップでは、前記画像データから濃度勾配特徴量を算出する。

ここに、画素値の濃度勾配特徴量の方向、大きさなどは、１フレームの撮像画像から得られる量である。また、これらの量は、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく得ることができる量でもある。

次に、合致度算出手段又は合致度算出ステップでは、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる濃度勾配特徴量と、前記モデルパターンに含まれる濃度勾配特徴量とが一致する画素数から、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（以下「パターンマッチング」と言う。）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、濃度勾配特徴量はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

よって、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いてパターンマッチングが可能となる。このため、メモリ容量を少量化し、及び処理時間を短縮化したパターンマッチングが可能となる。

また、ピーク画素探索手段は、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索する。

前記構成によれば、所定の画素数を含む探索領域内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

さらに、座標算出手段は、該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、撮像対象による撮像画像上の指示位置を算出する。例えば、エッジ画像を用いてその重心位置から前記指示位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、本発明の画像処理装置では、ピーク画素領域内の、パターンマッチングによる合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する。このパターンマッチングにおける合致度の最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内で合致度の重心を算出するなど）で、撮像対象による前記撮像画像上の指示位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、該指示位置を算出のための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、座標位置の算出において、画像処理量の軽減と座標位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置などを提供することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記探索領域と共通の注目画素をもち、該探索領域の画素数よりも少ない所定の画素数を有すると共に、前記探索領域内に完全に包含される小領域内に、前記ピーク画素探索手段が発見したピーク画素が存在することを判定した場合に、前記座標算出手段に前記指示位置を算出させる座標算出判定手段を備えることが好ましい。

前記構成によれば、座標算出判定手段は、該探索領域の画素数よりも少ない所定の画素数を有すると共に、前記探索領域内に完全に包含される小領域内に、前記ピーク画素探索手段が発見したピーク画素が存在することを判定した場合に、前記座標算出手段に前記指示位置を算出させる。

前記ピーク画素領域は、前記小領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、前記探索領域と共通する画素が多数存在することになる。また、ピーク画素領域と探索領域との共通の画素の合致度は既に算出されているので、非共通の画素の合致度を調べれば、前記座標算出手段に前記指示位置を算出させることができる。

また、ピーク画素領域と探索領域とのそれぞれの画素数を調整すれば、ピーク画素領域
を探索領域に包含させることも可能である。この場合、ピーク画素領域の各画素の合致度は既に判明しているので、座標算出のためにあらためて判明していない各画素の合致度を調べる必要が無い。

以上より、座標位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記濃度勾配特徴量の大きさが第１閾値以上である複数の第１エッジ画素を特定するエッジ画素特定手段を備え、前記合致度算出手段は、前記エッジ画素特定手段によって前記第１エッジ画素が特定された前記画像データと、前記モデルパターンとして、あらかじめ定められた第１モデルパターンとの照合を行うことが好ましい。

パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における濃度勾配特徴量である。

したがって、エッジ画素特定手段によって前記第１エッジ画素が特定された前記画像データと、前記モデルパターンとして、あらかじめ定められた第１モデルパターンとの照合を行うことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

また、本発明の画像処理装置は、前記構成に加えて、複数の画素から構成されるディスプレイと、前記複数の画素のうち所定数の画素のそれぞれに撮像センサーを内蔵すると共に、前記画像データは、前記撮像センサーで撮像された画像データであることが好ましい。

前記構成によれば、ディスプレイの表示画面でのタッチ入力が可能となる。

また、本発明の画像処理装置は、前記構成に加えて、前記ディスプレイが液晶ディスプレイであり、該液晶ディスプレイに光を照射するバックライトを備えている場合において、前記エッジ画素特定手段は、前記濃度勾配特徴量の大きさが、前記第１閾値よりも大きな第２閾値以上である複数の第２エッジ画素を特定し、前記合致度算出手段は、前記エッジ画素特定手段によって前記第２エッジ画素が特定された前記画像データと、前記モデルパターンとして、あらかじめ定められた第２モデルパターンとの照合を行い、前記照合領域に含まれる前記濃度勾配特徴量と、前記第１モデルパターン、及び前記第２モデルパターンのそれぞれに含まれる前記濃度勾配特徴量とを比較して得られる、前記照合領域と前記第１モデルパターンとのマッチングの度合いを示す第１合致度、及び前記照合領域と前記第２モデルパターンとのマッチングの度合いを示す第２合致度から、前記合致度を算出することが好ましい。

液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

画像処理装置の周囲が暗い場合（以下「バックライト反射ベース」と呼ぶ場合がある。）においては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、エッジ画素特定手段が、第１エッジ画素を特定するようにする。

一方、画像処理装置の周囲が明るい場合（以下「影ベース」と呼ぶ場合がある。）においては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮像画像となる。従って、影ベースにおいては、厳しめの前記第１閾値よりも大きい第２閾値により、エッジ画素特定手段が、第２エッジ画素を特定するようにする。

こうして、複数の第１エッジ画素が特定された画像データと、バックライト反射ベースであらかじめ定められた第１モデルパターン及び複数の第２エッジ画素が特定された画像データと、影ベースであらかじめ定められた第２モデルパターンのそれぞれについてパターンマッチングを行って第１合致度及び第２合致度が得られる。この場合、合致度算出手段は、例えば、第１合致度及び第２合致度を加算したものを合致度として用いることが可能となる。

それゆえ、バックライト反射ベースと影ベースの各処理を切り替える必要がなく、一つの構成で両方に対応した処理を実施することが可能となり、照明環境が明るくても暗くても撮像対象の指示位置を特定することができる画像処理装置を提供することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段が算出する前記合致度の最大値が所定の閾値を超えた場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えることが好ましい。

前記構成によれば、合致度の最大値が所定の閾値を超えた場合に接触を認めることによって、合致度が算出されさえすれば如何なる場合も接触とみなしてしまうことによる誤検出の抑制効果を得ることができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段が、所定の閾値を超える前記合致度を算出した場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えることが好ましい。

接触判定手段は、合致度算出手段が、所定の閾値を超える前記合致度（十分な合致度）を算出した場合（すなわち、モデルパターンと類似する特徴を得られるような画像情報が入力された場合）には、接触していると判断する。

それゆえ、接触または非接触を判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、接触または非接触について判定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記エッジ画素特定手段が、前記第１エッジ画素及び前記第２エッジ画素のいずれか一方を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定する接触判定手段を備えることが好ましい。

上述したように、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

そこで、バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、接触判定手段は、エッジ画素特定手段が、前記第１エッジ画素を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定するようにすれば良い。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、前記第１閾値よりも大きいエッジ判断基準の厳しい第２閾値により、接触判定手段は、エッジ画素特定手段が、前記第２エッジ画素を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定するようにすれば良い。

以上より、緩めの第１閾値と、厳しめの第２閾値とを設定しておくだけで、バックライト反射ベース及び影ベースでのタッチ・非タッチの検出が可能となる。また、タッチ・非
タッチを判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、タッチ・非タッチを判定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記照合領域内において合致する前記濃度勾配特徴量の種類数が、あらかじめ定められた規定種類数以上の場合に、前記合致度を算出することが好ましい。

上述のように、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は、８に近いものとなるはずである。したがって、前記照合領域内において合致する前記濃度勾配特徴量の種類数が、あらかじめ定められた規定種類数以上の場合に、前記合致度を算出するようにすれば、前記指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、前記指示位置の検出処理のコストをさらに削減させることができる。

また、本発明の電子機器は、前記構成に加えて、前記画像処理装置を備えることが好ましい。

前記構成によれば、本発明の画像処理装置を電子機器一般に適用させることが可能となる。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置であって、前記画像データから濃度勾配特徴量を算出する勾配特徴量算出手段と、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる前記濃度勾配特徴量と、前記モデルパターンに含まれる前記濃度勾配特徴量とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出手段と、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索手段と、該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出手段とを備えるものである。

また、本発明の画像処理装置の制御方法は、以上のように、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置の制御方法であって、前記画像データから濃度勾配特徴量を算出する勾配特徴量算出ステップと、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる前記濃度勾配特徴量と、前記モデルパターンに含まれる前記濃度勾配特徴量とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出ステップと、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出ステップで算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索ステップと、該ピーク画素探索ステップで発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出ステップとを備える方法である。

それゆえ、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、座標位置の算出において、画像処理量の軽減と座標位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置などを提供することができるという効果を奏する。

本発明の一実施形態について図１〜図１１（ｂ）に基づいて説明すれば、以下の通りである。なお、本実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。

〔１．画像処理装置（電子機器）の構成〕
まず、図１及び図２（ａ）〜（ｈ）に基づいて、本発明の一実施形態である画像処理装置１（電子機器２０）の構成及び撮像画像の例について説明する。以下では、便宜上、画像処理装置１について説明するが、本発明の一実施形態である画像処理装置１の機能を必要とする電子機器（電子機器２０）であれば、一般の電子機器に対して適用可能である。

まず、画像処理装置１の構成の概要及び画像処理装置１の撮像原理について説明する。画像処理装置１は、表示機能を有しており、複数の画素から構成される液晶ディスプレイ（ディスプレイ）及び該液晶ディスプレイに光を照射するバックライトを備えている点は、通常の液晶ディスプレイと同様である。

しかし、画像処理装置１における液晶ディスプレイは、各画素内に光センサー（撮像センサー）が内蔵され、該光センサーによって液晶ディスプレイの表示画面に近接してきた外部の物体など（撮像対象）を撮像し、画像データ（撮像センサーによって撮像された画像データ）として取り込むことが可能となっている点が、通常の液晶ディスプレイと異なっている。

なお、液晶ディスプレイは、複数の画素のうち所定数の画素のそれぞれに光センサーが内蔵されているものであっても良いが、光センサーによる撮像画像の解像度の観点から、光センサーは、すべての画素に内蔵されていることが好ましい。

なお、画像処理装置１の液晶ディスプレイは、通常の液晶ディスプレイと同様に、複数の走査線と複数の信号線とが交差するように配線され、この各交差部に画素が配置され、薄膜トランジスタ、及び各種容量を有する画素を備えた表示部と、走査線を駆動する駆動回路と、信号線を駆動する駆動回路とを備えているものである。

また、画像処理装置１の液晶ディスプレイは、例えば各画素内に撮像センサーとしてフォトダイオード（撮像センサー）を内蔵する構成となっている。このフォトダイオードには、キャパシタが接続され、表示画面から入射された光のフォトダイオードでの受光量の変化に応じてキャパシタの電荷量を変化させる構成となっている。そして、このキャパシタの両端の電圧を検出することにより画像データを生成することで、画像の撮像（取り込み）を行うようになっている。これが画像処理装置１の液晶ディスプレイによる撮像原理である。

なお、撮像センサーとしては、フォトダイオードに限られず、光電効果を動作原理とし、液晶ディスプレイなどの各画素に内蔵できるものであれば、何であっても良い。

以上の構成により、画像処理装置１は、液晶ディスプレイ本来の画像を表示する表示機能に加え、表示画面に近接してきた外部の物体の画像（撮像対象）を撮像する撮像機能を備える構成となっている。それゆえ、ディスプレイの表示画面でのタッチ入力が可能な構成とすることができる。

ここで、図２（ａ）〜（ｈ）に基づき、画像処理装置１の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される撮像対象の例として、「指の腹」と「ペン先」との例を挙げ、それぞれの撮像画像（又は画像データ）の特徴の概要について説明する。

図２（ａ）は、周囲が暗い場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指の腹の撮像画像の特徴を示す概要図である。図２（ａ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｂ）の撮像画像６１は、バックライトが撮像対象（指の腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）
次に、図２（ｃ）は、周囲が明るい場合における指の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｄ）は、周囲が明るい場合における指の腹の撮像画像の特徴を示す概要図である。図２（ｃ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面に、人差し指の腹を接触させた場合について考える。

この場合、図２（ｄ）の撮像画像６２は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指の腹にバックライトの光が反射してできた白い円形状がぼやけた部分とからなる。これらのうち白い円形状の部分における勾配方向は、上述した暗い部屋で指の腹を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、白い円形状の部分における勾配方向と逆向きの傾向を示している。

図２（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、図２（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｅ）に示すように、ユーザが、暗い部屋で液晶ディスプレイの表示画面に、ペン先を接触させた場合について考える。

この場合、図２（ｆ）の撮像画像６３は、バックライトが撮像対象（ペン先）に反射して得られる画像であり、小さな白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。

次に、図２（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、図２（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。図２（ｇ）に示すように、ユーザが、明るい部屋で液晶ディスプレイの表示画面に、ペン先を接触させた場合について考える。

この場合、図２（ｈ）の撮像画像６４は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる。）であり、ペンで外光が遮られることによって生じたペンの影と、液晶ディスプレイの表示画面に接触したペン先にバックライトの光が反射してできた小さな白い円形状がぼやけた部分とからなる。これらのうち小さな白い円形状の部分における勾配方向は、上述した暗い部屋でペン先を接触させた場合と同様の傾向を示すが、その周囲を囲む影は暗く、周囲が外光で明るいので、各画素における勾配方向は、小さな白い円形状の部分における勾配方向と逆向きの傾向を示している。

以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

次に、図１に基づき、本実施の形態における画像処理装置１の構成の詳細について説明する。

画像処理装置１は、図１に示すように、撮像された撮像画像の画像データを用いて、撮像対象による撮像画像上の指示位置を特定する機能を備えたものであり、低解像度化部２、画素値縦勾配量算出部（勾配算出手段）３ａ、画素値横勾配量算出部（勾配算出手段）３ｂ、エッジ抽出部（エッジ画素特定手段、接触判定手段）４、勾配方向・無方向特定部（勾配方向特定手段）５、照合効率化部（照合効率化手段）６、一致画素数算出部（合致度算出手段）７、モデルパターン・比較用一致パターン格納部８、パターン合致度算出部（合致度算出手段）９、スコア算出部（合致度算出手段、接触判定手段）１０、及び位置特定部（位置特定手段）１１を備えるものである。

低解像度化部２は、撮像された撮像画像の画像データを低解像度化するものである。

画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂは、画像データ上の画素ごとに、注目画素の画素値と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量及び横方向勾配量を算出するものである。具体的には、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いれば良い。

例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ及び横方向勾配Ｓｘは、次式（１）のように求められる。

Ｓｘ＝ｘ_{ｉ＋１ｊ−１}−ｘ_{ｉ―１ｊ−１}＋２ｘ_ｉ＋１ｊ−２ｘ_ｉ―１ｊ＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ―１ｊ＋１}
Ｓｙ＝ｘ_{ｉ−１ｊ＋１}−ｘ_{ｉ−１ｊ−１}＋２ｘ_ｉｊ＋１−２ｘ_ｉｊ−１＋ｘ_{ｉ＋１ｊ＋１}−ｘ_{ｉ＋１ｊ−１}
・・・（１）
ここで、ｘ_ｉｊは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。

ここで、式（１）は、次式（２）・（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ｓｘ及びＳｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。

なお、縦方向勾配Ｓｙ及び横方向勾配Ｓｘに基づけば、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、次のように与えられる。なお、以下では、演算子としての縦方向勾配Ｓｙ及び横方向勾配Ｓｘを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量をそれぞれ、便宜上縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。

ＡＢＳ（Ｓ）＝（Ｓｘ^２＋Ｓｙ^２）^１／２ ・・・（４）
ＡＮＧ（Ｓ）＝ｔａｎ^−１（Ｓｙ／Ｓｘ） ・・・（５）
エッジ抽出部４は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素であるエッジ画素（第１エッジ画素）を抽出（特定）するものである。

ここで、エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。より、具体的には、エッジ画素とは、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の第１閾値以上である画素のことである。

なお、この第１エッジ画素を抽出する目的は、勾配方向・無方向特定部５が、抽出された複数の第１エッジ画素については、勾配方向を特定し、第１エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。

パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向である。

したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置の検出の際のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

また、エッジ抽出部４は、上記機能の他、エッジマスクの生成機能も有している。なお、エッジマスクとは、例えば、縦方向勾配量及び横方向勾配量から算出される勾配の大きさＡＢＳ（Ｓ）に、前記第１閾値よりも大きい第２閾値を設定し、該第２閾値を超える（又は以上）の場合には、「１」を与え、該第２閾値以下（又は未満）の場合は「０」を与えることによって生成される前記画像データを２値化データとしたものである。このエッジマスクを参照して、「１」を示す位置の画素が、第２エッジ画素として特定される。

勾配方向・無方向特定部５は、抽出された複数の第２エッジ画素については、勾配方向を特定し、第２エッジ画素以外の画素については一律無方向と看做して特定するように構成する。

なお、第１閾値に基づいて、抽出された第１エッジ画素のうち、上記エッジマスクの「１」を示す位置の第１エッジ画素は有効とし、上記エッジマスクの「０」を示す位置の第１エッジ画素は、無効として、有効な第１エッジ画素を選択してパターンマッチングを行っても良い。

勾配方向・無方向特定部５は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向ＡＮＧ（Ｓ）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は勾配の大きさＡＢＳ（Ｓ）が所定の閾値未満である無方向とのいずれかを特定するものである。

ここでは、無方向を所定の閾値未満であると定義しているが、所定の閾値以下と定義しても良い。

あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。

なお、勾配方向・無方向特定部５は、エッジ抽出部４によって特定された複数のエッジ画素の勾配方向を特定し、エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分のエッジ画素における勾配方向であると言える。

したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄの範囲で変化する連続量であるから、本実施形態においては、これを例えば８方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量（以下「特徴量」と呼ぶことがある。）とする。なお、より精度の高いパターンマッチングを行なうために、１６方位などに量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。なお、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。

照合効率化部６は、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合（以下、「パターンマッチング」と呼ぶことがある。）を行う場合に、照合領域とモデルパターンとの照合の効率化を図るためのものである。

一致画素数算出部７は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」と呼ぶ。）を算出するものである。

モデルパターン・比較用一致パターン格納部８は、モデルパターンと、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンを分析することによってあらかじめ定めた比較用一致パターンとを格納しておくものである。モデルパターン・比較用一致パターン格納部８は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

パターン合致度算出部９は、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度を算出するものである。

スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出するものである。なお、スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度のいずれか１つを使用するよう構成しても良い。

また、スコア算出部１０は、照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにしても良い。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は、８に近いものとなるはずである。したがって、前記照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにすれば、指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、前記指示位置の検出処理のコストをさらに削減させることができる。

ところで、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、エッジ抽出部４が、第１エッジ画素を特定するようにする。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、前記第１閾値よりも大きいエッジ判断基準の厳しい第２閾値により、エッジ抽出部４が、第２エッジ画素を特定するようにする。

こうして、複数の第１エッジ画素が特定された画像データと、バックライト反射ベースであらかじめ定められた第１モデルパターン、及び複数の第２エッジ画素が特定された画像データと、影ベースであらかじめ定められた第２モデルパターンのそれぞれについてパターンマッチングを行って第１画素数及び第２画素数が得られる。この場合、スコア算出部１０は、例えば、第１画素数及び第２画素数を加算したものを合致度として用いることが可能となる。

以上により、スコア算出部１０は、照合領域に含まれる第１エッジ画素の勾配方向と、あらかじめ定められた第１モデルパターンに含まれる勾配方向とが一致する第１画素数と、照合領域に含まれる第２エッジ画素の勾配方向と、あらかじめ定められた第２モデルパターンに含まれる勾配方向とが一致する第２画素数とから、前記合致度を算出する。

それゆえ、バックライト反射ベースと影ベースの各処理を切り替える必要がなく、一つの構成で両方に対応した処理を実施することが可能となり、照明環境が明るくても暗くても撮像対象の指示位置を特定することができる画像処理装置を提供することができる。

位置特定部１１は、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定するものであり、ピーク探索部（ピーク画素特定手段、位置特定手段）１２、座標算出判定部（座標算出判定手段、位置特定手段）１３、及び座標算出部（座標算出手段、位置特定手段）１４を備えるものである。

ピーク探索部１２は、注目画素の周囲で所定の画素数を含む探索領域（以下、「第１領域」と呼ぶ場合がある。）内で、スコア算出部１０が算出した合致度が最大値を取る画素であるピーク画素を探索するものである。

座標算出判定部１３は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域（以下、「第２領域」と呼ぶ場合がある。）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に撮像対象による撮像画像上の指示位置を算出させるものである。

座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの合致度を用いて、撮像対象による撮像画像上の指示位置を算出するものである。

以上の構成によれば、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂは、画像データ上の画素ごとに、各画素の画素値と各画素における複数の隣接画素の画素値とから縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出する。

また、勾配方向・無方向特定部５は、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向（ＡＮＧ（Ｓ）の値に応じて方向を量子化されたもの。以下同様の説明は省略する。）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は縦方向勾配量Ｓｙ及び横方向勾
配量Ｓｘから算出される勾配の大きさＡＢＳ（Ｓ）が所定の閾値未満である無方向とのいずれかを特定する。

ここに、画素値の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘ、勾配方向、及び勾配の大きさＡＢＳ（Ｓ）などは、１フレームの撮像画像から得られる量である。また、これらの量は、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく得ることができる量でもある。

次に、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（パターンマッチング）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさＡＢＳ（Ｓ））と向き（勾配方向ＡＮＧ（Ｓ））とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

以上により、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いてパターンマッチングが可能となる。このため、メモリ容量を少量化し、及び処理時間を短縮化したパターンマッチングが可能となる。

次に、位置特定部１１は、スコア算出部１０が算出した合致度が、最大となる注目画素（ピーク画素）の位置から、撮像対象による撮像画像上の指示位置を特定する。

上述のように、勾配方向には、おおよその傾向がある。したがって、合致度の最大値近傍は、撮像対象による前記撮像画像上の指示位置の近傍を示すものと考えられる。従って、上記勾配方向の傾向を考慮して、撮像対象ごとに、（例えば、勾配方向が、ドーナツ状に分布した画像データとなる撮像対象の場合には、照明環境（明るいか暗いか）や撮像対象のサイズ（指の腹は大きい、一方ペン先は小さいなど）ごとに）あらかじめモデルパターンを定めておくことにより、パターンマッチングにおけるピーク画素の位置から、撮像対象による撮像画像上の指示位置を特定することが可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いて撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することができる画像処理装置１などを提供することができる。

〔２．画像処理装置（電子機器）の動作の概要〕
つぎに、図１及び図３に基づいて、本発明の一実施形態である画像処理装置１（電子機器２０）の動作の概要について説明する。

なお、〔２．画像処理装置（電子機器）の動作の概要〕において説明すること以外の構成は、〔１．画像処理装置（電子機器）の構成〕と同じである。また、説明の便宜上、〔１．画像処理装置（電子機器）の構成〕の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。なお、以下適宜項目を設けるが、この場合においては、上記なお書き以下の同様の説明は省略する。

図３は画像処理装置１の全体的な動作の概要を示すフローチャートである。ステップＳ１０１（以下「Ｓ１０１」のように記載する。）では、図１の低解像度化部２が画像データを低解像度化し、Ｓ１０２に進む。例えば、３２０×２４０画素の画像データであれば、１６０×１２０画素（低解像度化率１／２）、又は８０×６０画素（低解像度化率１／４）などのようにバイリニア縮小させる。ここでバイリニア縮小とは、例えば２×２の各画素の画素値の平均値を取り、２×２画素のデータを該平均値を持った１×１画素のデータに置換することにより、全体として１／４の情報圧縮を行なうことを言う。

なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報などを得るためには、例えば３２０×２４０画素（１５０ｄｐｉ）の画像データの場合であれば、８０×６０画素（低解像度化率１／４）を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行わないか、低解像度化するとしても、１６０×１２０画素（低解像度化率１／２）に留めることが好ましい。

以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。

Ｓ１０２では、画素値縦勾配量算出部３ａ、及び画素値横勾配量算出部３ｂが、画像データ上の画素ごとに、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してから、勾配方向・無方向特定部５が、画素ごとの勾配方向と無方向とのいずれかを特定するまでの過程（勾配方向・無方向特定過程）を経た上で、Ｓ１０３に進む。

Ｓ１０３では、照合効率化部６で、照合領域と、モデルパターンとの照合を行う場合に、照合領域とモデルパターンとの照合の効率化を図る（照合効率化）か否かを選択する。照合効率化を行なう場合（Ｙｅｓ）には、Ｓ１０４に進み、照合効率化部６で照合効率化を行った上でＳ１０５に進み、照合効率化を行わない場合（Ｎｏ）にはＳ１０７に進み、照合効率化部６は何もせず、そのままの情報（画像データ、但し、低解像度化部２で、低解像度化している場合には、低解像度化後の画像データ）でＳ１０５に進む。

Ｓ１０５では、一致画素数算出部７が、照合領域と、モデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部９が、パターン合致度を算出してから、スコア算出部１０が、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、合致度を算出するまでの過程（パターンマッチング過程）を経た上で、Ｓ１０６に進む。

Ｓ１０６では、位置特定部１１が、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定して「エンド」となる（ポインティング位置特定過程）。

以上が、画像処理装置１の全体の動作の概要である。以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程及びポインティング位置特定過程における画
像処理装置１の各動作について説明する。

〔３．勾配方向・無方向特定過程〕
まず、図１、図４及び図５（ａ）・図５（ｂ）に基づいて、勾配方向・無方向特定過程における画像処理装置１の動作について説明する。

図４は、画像処理装置１の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。図５（ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、図５（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。

図４のフローチャートでは、まず、画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂがそれぞれ、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してからスタートする。

Ｓ２０１では、エッジ抽出部４が、各画素における勾配の大きさＡＢＳ（Ｓ）（図４では、「勾配パワー」と記載している。）が、あらかじめ定められた閾値（第１閾値・第２閾値）以上かを判定し、ＡＢＳ（Ｓ）≧閾値ならば（Ｙｅｓ）ならば、Ｓ２０２に進み、ＡＢＳ（Ｓ）＜閾値ならば、Ｓ２１０に進む。なお、本実施の形態では、ＡＢＳ（Ｓ）＝Ｓｘ＊Ｓｘ＋Ｓｙ＊Ｓｙとして計算しているが、この量は、上式（４）における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。

なお、Ｓ２１０に進んだ場合には、勾配方向・無方向特定部５は、対象となっている画素（第１エッジ画素以外の画素）を無方向と設定（特定）し、次の画素へ進んで、Ｓ２０１に戻る。

Ｓ２０２では、勾配方向・無方向特定部５が、横方向勾配量Ｓｘが０であるか否かを判定し、Ｓｘ≠０ならば、Ｓ２０３（Ｙｅｓ）に進み、Ｓｘ＝０ならば、Ｓ２０６（Ｎｏ）に進む。

Ｓ２０３では、勾配方向・無方向特定部５は、横方向勾配量Ｓｘが正の値をとるか否かを判定し、Ｓｘ＞０ならば、Ｓ２０４（Ｙｅｓ）に進み、勾配方向・無方向特定部５は、図５（ａ）のテーブルにしたがって、該当画素（第１エッジ画素・第２エッジ画素）について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。一方、Ｓｘ＜０ならば、Ｓ２０５に進み、勾配方向・無方向特定部５は、図５（ｂ）のテーブルにしたがって、該当画素（第１エッジ画素・第２エッジ画素）について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

次に、Ｓ２０６では、勾配方向・無方向特定部５は、縦方向勾配量Ｓｙが０か否かを判定し、Ｓｙ≠０ならば、Ｓ２０７（Ｙｅｓ）に進み、Ｓｙ＝０ならば、Ｓ２１０（Ｎｏ）に進み、該当画素（第１エッジ画素・第２エッジ画素以外の画素）を無方向と設定し、次の画素へ進んでＳ２０１に戻る。

Ｓ２０７では、勾配方向・無方向特定部５は、縦方向勾配量Ｓｙが正の値を取るか否かを判定し、Ｓｙ＞０ならば、Ｓ２０８（Ｙｅｓ）に進み、該当画素（第１エッジ画素・第２エッジ画素）の勾配方向を上向きに設定して、Ｓ２０１に戻る。一方、Ｓｙ＜０ならば、Ｓ２０９（Ｎｏ）に進み、該当画素（第１エッジ画素・第２エッジ画素）の勾配方向を下向きに設定して、次の画素へ進んでＳ２０１に戻る。以上の工程は、すべての画素の勾配方向・無方向の設定が終わるまで繰り返される。

パターンマッチングにおいて重要な情報は、エッジ部分の画素であるエッジ画素（第１エッジ画素・第２エッジ画素）における勾配方向である。

したがって、上記の動作により、あまり重要でない画素における勾配方向（第１エッジ画素・第２エッジ画素以外の画素）を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

〔４．照合効率化〕
次に、図１及び図６（ａ）〜図９（ｂ）に基づき、画像処理装置１のおける照合効率化について説明する。

図１に示す照合効率化部６は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び前記無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。

また、スコア算出部１０は、照合効率化部６によって照合の効率化が行なわれた照合領域とモデルパターンとの照合を行なって、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、前記合致度として算出する。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。

そこで、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターン・マッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による前記撮像画像上の指示位置の検出処理のコストを削減することもできる。

以上より、パターン・マッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理のコストを削減することができる画像処理装置１などを提供することができる。

ここで、図６（ａ）〜図６（ｂ）に基づき、画像処理装置１における照合効率化の具体例について説明する。

まず、図６（ａ）に示すように、周囲が暗い場合における画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状の無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きに勾配方向が向いた画素が多数分布している。

次に、図６（ｂ）は、図６（ａ）の画像データについて照合効率化を行った後の様子を示す概要図である。

図６（ａ）に示すように、１４×１４画素の領域（照合領域）を、複数の２×２画素の領域（分割領域）に分割すると共に、２×２画素の領域ごとに、２×２画素の領域に含ま
れる画素ごとの勾配方向及び無方向の情報を、２×２画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、１４×１４画素の領域とモデルパターン（モデルパターンの例については後に詳しく説明する。）との照合の効率化が行われる。

たとえば、図６（ａ）に示す１４×１４画素の領域を分割した複数の２×２画素の領域のうち、上から２つめ、左から１つめの２×２画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き（勾配方向）」、左下の画素が「右向き（勾配方向）」、及び右下の画素が「右下向き（勾配方向）」となっている。この２×２画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図６（ｂ）の上から２つめ、左から１つめのブロック（以下、便宜上「画素」と呼ぶ場合がある。）である。他のブロックも同様にして生成することができる。結果として、図６（ａ）に示す１４×１４画素の領域は、合計７×７＝４９個の２×２画素の領域に分割される。

次に、図７（ａ）〜図９（ｂ）に基づき、照合領域と照合されるモデルパターンの具体例について説明する。

図７（ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図である。また、図７（ａ）のモデルパターンは、図６（ａ）に示す１４×１４画素の領域とパターンマッチングを行なう場合を想定したものである。また、撮像対象としては、指の腹を想定している。

ところで、図７（ａ）のモデルパターンは、１３×１３画素のモデルパターンとなっている。この場合、図６（ａ）に示す１４×１４画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。

また、奇数×奇数（１３×１３）としているのは、中心の画素が１つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて１画素づつずらせてパターンマッチングを行なう。

この場合の一致画素数は、１画素ごとに照合されて算出されるので、１３×１３＝１６９画素の照合が必要となる。

一方、図７（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。図７（ａ）のモデルパターンと比較すると各画素の勾配方向が逆向きになっている。図７（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図７（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

次に、図８（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図である。図８（ａ）のモデルパターンは、図６（ｂ）の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、２×２画素の領域を１画素（与えられる勾配方向は１つ）と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。

図８（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。図８（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図８（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像の
エッジ部分に向けて明るくなっている様子を示している。

図９（ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図である。図８（ａ）のモデルパターンとの違いは、２×２画素分が１つの領域に纏められているが、該１つの領域ごとに、２つの勾配方向（又は無方向）の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。

図９（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。図９（ａ）は、バックライトの光の反射光を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図９（ｂ）は、外光を基礎として撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

〔５．パターンマッチング過程〕
次に、図１及び図１０〜１７に基づき、画像処理装置１におけるパターンマッチングの過程について説明する。

まず、図１に基づき、パターンマッチングの各種形態について纏めておく。エッジ抽出部４との関係では、上述したように、第１閾値を設定し、該第１閾値以下（又は未満）を一律に無方向とするか、第１閾値よりも大きな第２閾値を設定してエッジマスクを作成して、エッジマスクによって有効なエッジ画素を選択してパターンマッチングを行なう場合が考えられる。

次に、照合効率化部６との関係では、照合効率化前の画像データでパターンマッチングを行なう場合と、照合効率化後の画像データでパターンマッチングを行なう場合とが考えられる。

次に、スコア算出部１０との関係では、一致画素数算出部７が算出した一致画素数からスコア（合致度）を算出する場合と、パターン合致度算出部９が算出したパターン合致度からスコア（合致度）を算出する場合とが考えられる。

以上のように、パターンマッチングには様々な形態が存在するが、これらのパターンマッチングは、各形態を単独で行って（スコアを算出して）も良いし、複数の形態を組合せて行って（スコアを算出して）も良い。

図１０は、図１に示す画像処理装置１の動作のうち、パターンマッチング過程の動作を示すフローチャートである。

Ｓ３０１では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）を算出してＳ３０２に進む。

Ｓ３０２では、照合効率化部６を備えていない場合には、勾配方向・無方向特定部５が、照合効率化部６を備えている場合には、照合効率化部６が、勾配方向のパターン合致度も算出するかどうかを決定し、パターン合致度の算出を決定した場合には、パターン合致度算出部９に通知してＳ３０３（Ｙｅｓ）に進む。一方、パターン合致度の算出を行わないことを決定した場合には、スコア算出部１０に通知してＳ３０４に進む。

なお、ここでは、一致画素数が必ず算出される場合について説明しているが、このよう
な場合に限られず、パターン合致度のみを算出する構成を採用しても良い。

また、パターン合致度とは、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められ、モデルパターン・比較用一致パターン格納部８に記録されている比較用一致パターンとが類似する度合いを示す量である。

Ｓ３０３では、パターン合致度算出部９が、勾配方向・無方向特定部５又は照合効率化部６からパターン合致度の算出を決定した旨の通知を受けて、パターン合致度を算出し、Ｓ３０４に進む。

Ｓ３０４では、パターン合致度算出部９が、パターン合致度の算出を行っていない場合には、一致画素数算出部７が算出した一致画素数を、照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する。一方、パターン合致度算出部９が、パターン合致度の算出を行っている場合には、一致画素数算出部７が算出した一致画素数及びパターン合致度算出部９が算出したパターン合致度を、合算した量を照合領域とモデルパターンとのマッチングの度合いを示す合致度として算出する。

ここで、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。

しかし、撮像画像上に撮像対象が接触していない場合、例えば、撮像対象が指の腹の場合などには、接触していない指による大きなぼやけた影に起因したエッジが生じる場合がある。また、例えば、入力デバイス（フォトセンサ）又はセンシング処理回路が欠陥を生じている場合、該欠陥による帯や線状のノイズに起因するエッジが生じる場合もある。

このような、パターンマッチングを阻害するエッジ（以下「不要エッジ」と呼ぶ。）が生じた場合には、モデルパターンの画素数を大きくしても、局所的に（ある１〜２方向のみで）一致画素数を増大させてしまう場合が生じ得る。よって、このような不要エッジが存在する場合には、一致画素数だけでは、誤認識が生じ、適切なパターンマッチングが行えないと考えられる。

そこで、例えば、指やペンが接触した場合には、理想的な全８方向とまではいかずとも、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び合致パターン（例えば、勾配方向種類数）を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、パターン・マッチングにおいて、前記一致画素数と前記パターン合致度とを併用するようにすれば、画像入力のノイズや変形に対するロバスト性を向上させることができると考えられる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつ
つ、前記パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる画像処理装置１などを提供することができる。

次に、図１１（ａ）〜図１３（ａ）に基づき、パターンマッチング過程における、スコア算出部１０の具体的なスコア（合致度）算出方法について説明する。

図１１（ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１１（ｂ）は、その合致度算出方法の一例を示す図である。

図１１（ａ）は、図６（ａ）の照合領域と、図７（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の７行７列（以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。）にある１×１画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している画素を示している。

図１１（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１１（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の１３行１３列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「１」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「０」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「８５」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数（合致度）を用いても良い。

次に、図１１（ｂ）に示す、正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行なう場合（例えば、２１×２１、１３×１３、及び７×７画素の３種類のモデルパターン）に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。

ここでは、正規化一致画素数を、次式（６）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数） ・・・・（６）
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が０〜１０の範囲となるように、適当な定数＝１０と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は省略する。

（６）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（８５／１３６）＝６．２５≒６
次に、図１２（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１１（ｂ）は、その合致度算出方法の一例を示す図である。

図１２（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図８（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１２（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１２（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。従って、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。勾配方向は、「右下」が「２つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「２」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「９１」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

ここでは、正規化一致画素数を、次式（７）で定義する。

正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数を４倍した値） ・・・・（７）
適当な定数＝１０と設定している。

（７）式から、図１１（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（９１／１７６）＝５．１７≒５
次に、図１３（ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図１３（ｂ）は、その合致度算出方法の一例を示す図である。

図１３（ａ）は、図６（ｂ）の照合効率化後の照合領域と、図９（ａ）のモデルパターンとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターンとで、勾配方向が一致している場合がある画素を示している。

図１３（ｂ）に示す、一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図１３（ｂ）に示す、一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、２つであり、「右下」が「１つ」に「下」が「１つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、２つであるが、「右」が「１つ」と「右下」が「１つ」である。勾配方向は、「右」が「１つ」と「右下」が「２つ」一致している。従って、この場合の一致画素数は、「３」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図１２（ａ）の場合と比較して、一致画素数が増加しているものを示している。

この結果は、図８（ａ）のモデルパターンよりも図９（ａ）のモデルパターンを使用した場合の方が、より変形に強い（円形からの歪に対するロバスト性の高い）パターンマッチングが行えることを示している。

以上の計算をすべての画素について行えば、網掛けで示された部分の一致画素数は「１１９」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

（７）式から、図１３（ａ）の場合の正規化一致画素数を求めると以下のようになる。

正規化一致画素数＝１０×（１１９／１７６）＝６．７６≒７
次に、図１４〜図１７（ｂ）に基づき、図１のスコア算出部１０が、一致画素数と合致パターンとを併用して、スコア（合致度）を算出する場合について説明する。

図１４は、画像処理装置１におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。

図１４のＳ４０１では、一致画素数算出部７が、一致画素数を初期化して、Ｓ４０２に進む。Ｓ４０２では、パターン合致度算出部９が一致パターンの初期化を行ってＳ４０３に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。

Ｓ４０３では、一致画素数算出部７とパターン合致度算出部９とが１画素ごとに（照合効率化後の画素も含む）勾配方向の照合等を行って、Ｓ４０４に進む。

なお、ここで、Ｓ４０３の直前で、エッジ抽出部４が、エッジマスクによる有効画素判定を行なう場合と併用する構成を採用しても良い。この場合には、バックライト反射ベースと影ベースのパターンマッチングを１の装置で可能とすることができる。

Ｓ４０４では、方向が一致すれば（Ｙｅｓ）Ｓ４０５に進み、一致画素数算出部７が、一致画素数に一致した方向の要素数（効率化処理なしの場合は「１」）を加えてＳ４０６に進み、一方、方向が一致する画素が全くなければ、（Ｎｏ）Ｓ４０１に戻る。

Ｓ４０６では、パターン合致度算出部９が一致した勾配方向を「有」と更新して、Ｓ４
０７に進む。

Ｓ４０７では、一致画素数算出部７及びパターン合致度算出部９がモデルパターンの全要素（画素）について照合が終了した場合には、（Ｙｅｓ）Ｓ４０８に進み、照合が終了していない場合には、（Ｎｏ）Ｓ４０３に戻る。

Ｓ４０８では、パターン合致度算出部９が一致パターンのチェックを行ないＳ４０９に進む。この一致パターンのチェックの詳細については、後に説明する。

Ｓ４０９では、パターン合致度算出部９が、モデルパターン・比較用一致パターン格納部８を参照して、「許可パターン」か否かを判定し、許可パターンに該当する場合は、（Ｙｅｓ）Ｓ４１０に進む。一方、許可パターンに該当しない場合は、（Ｎｏ）Ｓ４０４に戻る。なお、この場合は、「許可パターン」に該当する場合は、パターン合致度算出部９は、パターン合致度を「１」とし、「許可パターン」に該当しない場合は、パターン合致度算出部９は、パターン合致度を「０」とし、スコア算出部１０は、一致画素数算出部７が算出した一致画素数にこれらの数値を掛ける構成が考えられる。

Ｓ４１０では、スコア算出部１０が、一致画素数算出部７が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア（合致度）とする。

次に、図１５（ａ）・図１５（ｂ）に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。

図１５（ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、図１５（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。

なお、ここでは、勾配方向の種類は８方向あり、勾配方向種類数の閾値（ＤＮ）を５に設定した場合について説明する。

図１５（ａ）に示すように、Ｓ５０１では、パターン合致度算出部９が、一致パターンの「有」の数が５以上の場合には、Ｓ５０２に進み一致パターンの許可を行なう。

一方、パターン合致度算出部９は、一致パターンの「有」の数（勾配方向種類数）が５未満の場合には、Ｓ５０３に進み一致パターンの不許可を行なう。

同様に、図１５（ｂ）には、パターン合致度算出部９が、一致パターン中の最大連接数（連続一致数）を算出し、一致パターン中の最大連接数（連続一致数）の閾値（ＤＮ）を上記と共通の５に設定した場合が異なること以外は、Ｓ６０１〜Ｓ６０３のフローは、図１５（ａ）のＳ５０１〜Ｓ５０３のフローと同様であるので、ここでは、説明を省略する。

次に、図１６（ａ）〜図１６（ｃ）に基づき、一致パターンのチェックの一例を説明する。

図１６（ａ）は、パターン合致度算出過程の一例を示す概要図であり、図１６（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、図１６（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１６（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「８」方向がすべて存在しているので、閾値の５を超えており、図１５（ａ）の
フローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「８」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１６（ａ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｂ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。したがって、図１６（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図１６（ｃ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図１５（ｂ）のフローでも、「許可パターン」と判定される。なお、この例のように、一致パターンのテーブルの左端と右端とは、繋がっている（周期的境界条件）ものとして、一致パターン中の最大連接数を算出する。

以上の結果、図１６（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

次に、図１７（ａ）〜図１７（ｃ）に基づき、一致パターンのチェックの他の例を説明する。

図１７（ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、図１７（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。

図１７（ａ）では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図１５（ａ）のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５以下であり、図１５（ｂ）のフローでは、「不許可パターン」と判定される。したがって、図１７（ａ）の場合には、図１５（ａ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。また、図１５（ｂ）のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「０」とを掛け算して「０」をスコアとする。

図１７（ｂ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５以下であり、図１５（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連
接して存在する数は、「２」となり、閾値の５以下であり、図１５（ｂ）のフローでも、「不許可パターン」と判定される。したがって、図１７（ｂ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

図１７（ｃ）では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５以下であり、図１５（ａ）のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５以下であり、図１５（ｂ）のフローでも、「不許可パターン」と判定される。

以上の結果、図１７（ｃ）の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

以上のように、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）、及び照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア（合致度）を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（以下「パターンマッチング」と言う。）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。

しかし、撮像画像上に撮像対象が接触していない場合、例えば、撮像対象が指の腹の場合などには、接触していない指による大きなぼやけた影に起因したエッジが生じる場合がある。また、例えば、入力デバイス（フォトセンサ）又はセンシング処理回路が欠陥を生じている場合、該欠陥による帯や線状のノイズに起因するエッジ生じる場合もある。

このような、パターンマッチングを阻害するエッジ（以下「不要エッジ」と呼ぶ。）が生じた場合には、モデルパターンの画素数を大きくしても、局所的に（ある１〜２方向のみで）一致画素数を増大させてしまう場合が生じ得る。よって、このような不要エッジが
存在する場合には、一致画素数だけでは、誤認識が生じ、適切なパターンマッチングが行えないと考えられる。

そこで、例えば、指やペンが接触した場合には、理想的な全８方向とまではいかずとも、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び合致パターン（例えば、勾配方向種類数）を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、パターン・マッチングにおいて、前記一致画素数と前記パターン合致度とを併用するようにすれば、画像入力のノイズや変形に対するロバスト性を向上させることができると考えられる。

このとき、撮像環境を考慮して、バックライト反射ベースにおいては、勾配方向種類数を６以上と仮定して閾値を設け、影ベースにおいては、勾配方向種類数を４以上と仮定して閾値を設けることが好ましい。図２を用いて説明したように、バックライト反射ベースでは撮像対象は白いぼやけた円形として撮像されるが、影ベースでは撮像対象は白いぼやけた円形とともに、その周囲に影が撮像され、影の勾配方向は完全な円形ではなく半円状の特徴を有するからである。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、前記パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる画像処理装置１などを提供することができる。

したがって、パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。

上記合致方向の種類数と同様に、少なくとも６以上の連続一致数は実現する、という仮定に基づき、一致画素数及び連続一致数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、前記パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。また、勾配方向種類数に代えて連続一致数をパターン合致度の算出に用いることにより、より厳密なパターンマッチングが可能となり、より確実に誤認識を排除することができる。

上述したように、比較一用致パターンは、照合領域に含まれる画素ごとの勾配方向と、モデルパターンに含まれる画素ごとの勾配方向との、合致方向の種類数であることが好ましい。

上述の例のように、少なくとも６以上の勾配方向種類は出現する、という仮定に基づき、一致画素数及び勾配方向種類数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することで、誤認識を排除することができる。

したがって、前記パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。

また、比較用一致パターンは、連続一致数（照合領域に含まれる画素ごとの勾配方向と、前記モデルパターンに含まれる画素ごとの勾配方向との、合致方向の種類の連続一致数）であることが好ましい。

上記合致方向の種類数と同様に、少なくとも６以上の連続一致数は実現する、という仮定に基づき、一致画素数及び連続一致数を併用すれば、上記のような局所的に（ある１〜２方向のみで）一致画素数が増大することにより合致度が高くなっているような場合を排除することが可能となる。

したがって、前記パターン・マッチングにおいて、画像入力のノイズや撮像画像の変形に対するロバスト性を向上させることができる。また、勾配方向種類数に代えて連続一致数をパターン合致度の算出に用いることにより、より厳密なパターン・マッチングを行うことが可能となり、より確実に誤認識を排除することができる。

〔６．ポインティング位置特定過程〕
次に、図１及び図１８〜図２０（ｂ）に基づき、画像処理装置１におけるポインティング位置特定過程について説明する。

図１８は、画像処理装置１の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。

Ｓ７０１では、ピーク探索部１２が、注目画素の周囲で所定の画素数を含む第１領域（探索領域）内で、スコア算出部１０が算出した合致度が最大値を取る画素であるピーク画素を探索して、ピーク画素を発見したらＳ７０２に進む。なお、図示していないが、ピーク探索部１２が、ピーク画素を発見できない場合には、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ７０１に戻る。

Ｓ７０２では、座標算出判定部１３が、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合には、Ｓ７０３に進み、座標算出判定部１３は、「ピーク画素あり」と判定し、Ｓ７０４に進む。一方、座標算出判定部１３が、第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在しなかった場合には、Ｓ７０５に進み、座標算出判定部１３は、「ピーク画素なし」と判定し、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ７０１に戻る。

以上の手順は、座標算出部１４がポインティング（補間）位置を算出するまで繰り返される。

Ｓ７０４では、座標算出部１４が、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、撮像対象による撮像画像上の指示位置を算出して「ＥＮＤ」となる。

なお、上述の説明では、座標算出部１４がポインティング（補間）位置を算出するまで処理を繰り返す場合について説明したが、複数のポインティング（補間）位置を算出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第１・第２領域を移動して、図１８に示すフローチャートの処理を実行すればよい。

次に、図１９（ａ）・図１９（ｂ）に基づき、ピーク画素の有無の判定の具体例について説明する。

図１９（ａ）は、画像処理装置１における座標算出判定部１３が、ピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、座標算出判定部１３が、ピーク画素が有ると判定する場合を説明するための概要図である。

図１９（ａ）に示す実線が第１領域であり、破線が第２領域である。第１領域の画素数は、９×９画素であり、第２領域の画素数は、５×５画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が１画素となるようにするためである。

図１９（ａ）の例では、第１領域内にピーク画素である「９」が存在しているが、該ピーク画素は、第２領域内には存在していない。したがって、この場合は、座標算出判定部１３は、「ピーク画素なし」と判定する。

一方、図１９（ｂ）の例では、第１領域内にピーク画素である「９」が存在しており、かつ、第２領域内にも存在している。したがって、この場合は、座標算出判定部１３は、「ピーク画素あり」と判定する。

なお、上述の例では、第１領域にピーク画素が存在している場合において、第２領域内にピーク画素が無い場合には、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ）である「５画素」だけ、第１領域及び第２領域を動かせば、必ず、ピーク画素が第２領域内に入ってくるように、第１領域と第２領域との画素数との差が設定されている。

次に、図２０（ａ）・図２０（ｂ）に基づき、座標算出部１４のポインティング（補間）座標（撮像対象による撮像画像上の指示位置）算出方法について説明する。

図２０（ａ）は、画像処理装置１における撮像対象による撮像画像上の指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、図２０（ｂ）は、画像処理装置１におけるポインティング（補間）座標の座標算出方法を説明するための概要図である。

図２０（ａ）は、座標算出判定部１３が「ピーク座標あり」と判定した場合であり、図１９（ｂ）の場合と同じである。

なお、図２０（ａ）は第１領域・第２領域とも破線の領域で示されている。一方、実線で示した５×５画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。

図２０（ａ）に示す例では、このピーク画素領域も第２領域と同様に、第１領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第２領域の端にピーク画素が存在する場合でも、ピーク画素領域が第１領域内に包含されるように構成することが好ましい。

次に、図２０（ｂ）に基づき、座標算出部１４のポインティング座標算出方法について説明する。

本例では、画像データの画素数が、３２０×２４０画素で有る場合に、図１の低解像度化部２が、バイリニア縮小を２回行い、さらに、照合効率化部６が、２×２画素について
照合効率化を行い、スコア画像（スコアのデータを画素ごとに付与したもの）のサイズが８０×６０画素になっている場合を想定している。

したがって、スコア画像の全領域を８倍に拡大したものが、画像データの全領域に相当する。したがって、補間量（スケール拡大量）＝８となっている。

具体的な計算方法は、以下のとおりである。まず、ピーク画素領域の行ごとのスコアの和を計算する（図２０（ｂ）の１９、２８、３３、２４、及び１１）。次に、ピーク画素領域の列ごとのスコアの和を計算する（図２０（ｂ）の１６、２４、２８、２６、及び２１）。また、ピーク画素領域内（５×５画素）のスコアの総和を求める（図２０（ｂ）の１１５）。

次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを８倍に拡大すると、次式（８）・（９）の座標を得る。

次に、画素のサイズを考慮して目盛り位置の調整を行うと、ポインティング座標（Ｘ，Ｙ）は、次式（１０）となる。

以上によれば、ピーク探索部１２は、第１領域（探索領域）内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

例えば、第１領域の画素数が小さいということは、データ画像（スコア画像）全体（＝全画素）のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第１領域に必要なメモリ容量（例えば９×９画素の第１領域の場合、９ライン分のラインバッファ）があればよい、ということになる。

このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存など、後段処理に受け渡す際にバッファメモリが介在するような実装を行う場合には、全て共通して言えることである。

さらに、座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、ポインティング位置を算出する。例えば、エッジ画像を用いてその重心位置からポインティング位置
を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、画像処理装置１では、ピーク画素領域内の、画素ごとのパターンマッチングによるスコアを用いて、ポインティング位置を算出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内でスコアの重心を算出するなど）で、ポインティング位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、ポインティング位置を算出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、ポインティング位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、ポインティング位置の算出において、画像処理量の軽減とポインティング位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置１などを提供することができる。

また、座標算出判定部１３は、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域内に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４にポインティング位置を算出させることが好ましい。

ピーク画素領域は、第２領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第１領域と共通する画素が多数存在することになる。また、ピーク画素領域と第１領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部１４にポインティング位置を算出させることができる。

また、ピーク画素領域と第１領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第１領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、ポインティング位置算出のためにあらためて判明していない各画素のスコアを調べる必要が無い。

以上より、ポインティング位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第１領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装などにおいて各処理モジュールをパイプライン処理する際などに、参照すべきスコアの保持バッファ容量を少量化（例えば画像全体ではなく９ラインのみ）できる。

〔７．タッチ・非タッチの検出〕
つぎに、画像処理装置１において、撮像対象が液晶ディスプレイに接触したと判定する形態について説明する。

まず、スコア算出部１０は、自身が算出するスコアの最大値が所定の閾値を超えた場合に、撮像対象が液晶ディスプレイに接触したと判定することが好ましい。

なお、ここでは、スコア算出部１０が、このような機能を持っているとしたが、別途判
定部を設けて同様の機能を備えるよう構成しても良い。

以上の構成によれば、スコアの最大値が所定の閾値を超えた場合に接触を認めることによって、スコアが算出されさえすれば如何なる場合も接触とみなしてしまうことによる誤検出の抑制効果を得ることができる。

また、スコア算出部１０は、自身が、所定の閾値を超える前記合致度を算出した場合に、撮像対象が液晶ディスプレイに接触したと判定することが好ましい。

スコア算出部１０は、自身が、所定の閾値を超えるスコア（十分な合致度）を算出した場合（すなわち、モデルパターンと類似する特徴を得られるような画像情報が入力された場合）には、接触していると判断する。

それゆえ、接触または非接触を判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、接触または非接触について判定することができる。

エッジ抽出部４は、自身が前記第１エッジ画素及び前記第２エッジ画素のいずれか一方を特定した場合に、撮像対象が、液晶ディスプレイに接触したと判定することが好ましい。本実施形態では、エッジ抽出部４に、上記機能を持たせた場合について説明したが、別途、接触判定部を設けて、同様の機能を果すよう構成しても良い。

上述したように、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

そこで、バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、接触判定手段は、エッジ画素特定手段が、前記第１エッジ画素を特定した場合に、前記撮像対象が、液晶ディスプレイに接触したと判定するようにすれば良い。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、厳しめの前記第１閾値よりも大きい第２閾値により、接触判定手段は、エッジ画素特定手段が、前記第２エッジ画素を特定した場合に、前記撮像対象が、液晶ディスプレイに接触したと判定するようにすれば良い。

以上より、緩めの第１閾値と、厳しめの第２閾値とを設定しておくだけで、バックライト反射ベース及び影ベースでのタッチ・非タッチの検出が可能となる。また、タッチ・非タッチを判定するために専用の装置や処理部を設けることなく、ポインティング位置を特定するための画像処理の中で、タッチ・非タッチを判定することができる。

なお、本発明は、上述した画像処理装置（電子機器）の例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、〔発明を実施するための最良の形態〕の各項目にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像処理装置１の各ブロック、特に低解像度化部２、画素値縦勾配量算出部３ａ、画素値横勾配量算出部３ｂ、エッジ抽出部４、勾配方向・無方向特定部５、照合効率化部６、一致画素数算出部７、パターン合致度算出部９、スコア算出部１０、及び位置特定部１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory
）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、
移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、本発明の画像処理装置は、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置であって、前記画像データ上の画素ごとに、該画素の画素値と複数の隣接画素の画素値とから画素値の縦方向勾配量及び横方向勾配量を算出する勾配算出手段と、前記勾配算出手段が算出した前記縦方向勾配量及び横方向勾配量から、画素ごとの勾配方向と、前記縦方向勾配量及び横方向勾配量のそれぞれ、又は前記縦方向勾配量及び横方向勾配量から算出される勾配の大きさが所定の閾値未満である無方向とのいずれかを特定する勾配方向特定手段と、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる画素ごとの勾配方向と、前記モデルパターンに含まれる画素ごとの勾配方向とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出手段と、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索手段と、該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出手段とを備えても良い。

また、本発明の画像処理装置の制御方法は、撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置の制御方法であって、前記画像データ上の画素ごとに、該画素の画素値と複数の隣接画素の画素値とから画素値の縦方向勾配量及び横方向勾配量を算出する勾配算出ステップと、前記勾配算出ステップで算出した前記縦方向勾配量及び横方向勾配量から、画素ごとの勾配方向と、前記縦方向勾配量及び横方向勾配量のそれぞれ、又は前記縦方向勾配量及び横方向勾配量から算出される勾配の大きさが所定の閾値未満である無方向とのいずれかを特定する勾配方向特定ステップと、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる画素ごとの勾配方向と、前記モデルパターンに含まれる画素ごとの勾配方向とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出ステップと、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索ステップと、該ピーク画素探索ステップで発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの前記合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する座標算出ステップとを備えても良い。

前記構成及び方法によれば、勾配算出手段又は勾配算出ステップでは、前記画像データ上の画素ごとに、該画素の画素値と複数の隣接画素の画素値とから画素値の縦方向勾配量及び横方向勾配量を算出する。

また、勾配方向特定手段又は勾配方向特定ステップでは、前記勾配算出手段が又は勾配算出ステップで算出した前記縦方向勾配量及び横方向勾配量から、画素ごとの勾配方向と、前記縦方向勾配量及び横方向勾配量のそれぞれ、又は前記縦方向勾配量及び横方向勾配量から算出される勾配の大きさが所定の閾値未満である無方向とのいずれかを特定する。

ここでは、無方向を所定の閾値未満であると定義しているが、所定の閾値以下と定義しても良い。

あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。

ここに、画素値の縦方向勾配量及び横方向勾配量、勾配方向、及び勾配の大きさなどは、１フレームの撮像画像から得られる量である。また、これらの量は、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく得ることができる量でもある。

次に、合致度算出手段又は合致度算出ステップでは、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する画素数から、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する。

ここで、照合領域と、あらかじめ定められたモデルパターンとの照合（以下「パターンマッチング」と言う。）に使用される量としては、画素値（濃度値）などのスカラー量も考えられる。しかし、このようなスカラー量は量子化（所定の範囲内の量を一律にある一定の量と看做して扱う）したとしても、撮像対象の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。

一方、画素値の勾配はベクトル量であり、大きさ（勾配の大きさ）と向き（勾配方向）とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

よって、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いてパターンマッチングが可能となる。このため、メモリ容量を少量化し、及び処理時間を短縮化したパターンマッチングが可能となる。

また、ピーク画素探索手段は、注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索する。

前記構成によれば、所定の画素数を含む探索領域内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

さらに、座標算出手段は、該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの合致度を用いて、撮像対象による撮像画像上の指示位置を算出する。例えば、エッジ画像を用いてその重心位置から前記指示位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、本発明の画像処理装置では、ピーク画素領域内の、画素ごとのパターンマッチングによる合致度を用いて、撮像対象による前記撮像画像上の指示位置を算出する。このパターンマッチングにおける合致度の最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内で合致度の重心を算出するなど）で、撮像対象による前記撮像画像上の指示位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、該指示位置を算出のための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターン・マッチングを行なうことで、撮像対象による前記撮像画像上の指示位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、座標位置の算出において、画像処理量の軽減と座標位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置などを提供することができる。

また、本発明の画像処理装置は、前記探索領域と共通の注目画素をもち、該探索領域の画素数よりも少ない所定の画素数を有すると共に、前記探索領域内に完全に包含される小領域内に、前記ピーク画素探索手段が発見したピーク画素が存在することを判定した場合に、前記座標算出手段に前記指示位置を算出させる座標算出判定手段を備えても良い。

前記構成によれば、座標算出判定手段は、該探索領域の画素数よりも少ない所定の画素数を有すると共に、前記探索領域内に完全に包含される小領域内に、前記ピーク画素探索手段が発見したピーク画素が存在することを判定した場合に、前記座標算出手段に前記指示位置を算出させる。

前記ピーク画素領域は、前記小領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、前記探索領域と共通する画素が多数存在することになる。また、ピーク画素領域と探索領域との共通の画素の合致度は既に算出されているので、非共通の画素の合致度を調べれば、前記座標算出手段に前記指示位置を算出させることができる。

また、ピーク画素領域と探索領域とのそれぞれの画素数を調整すれば、ピーク画素領域を探索領域に包含させることも可能である。この場合、ピーク画素領域の各画素の合致度は既に判明しているので、座標算出のためにあらためて判明していない各画素の合致度を調べる必要が無い。

以上より、座標位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。

また、本発明の画像処理装置は、前記縦方向勾配量及び横方向勾配量のそれぞれ、又は前記勾配の大きさが第１閾値以上である複数の第１エッジ画素を特定するエッジ画素特定手段を備え、前記勾配方向特定手段は、前記エッジ画素特定手段によって特定された複数の第１エッジ画素の勾配方向を特定し、第１エッジ画素以外の画素を前記無方向と看做して特定しても良い。

ここで、第１エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。より、具体的には、第１エッジ画素とは、縦方向勾配量及び横方向勾配量のそれぞれ、又は勾配の大きさが所定の第１閾値以上である画素のことである。

なお、この第１エッジ画素を抽出する目的は、勾配方向特定手段が、抽出された複数の第１エッジ画素については、勾配方向を特定し、第１エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。

パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向である。

したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出の際のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

また、本発明の画像処理装置は、複数の画素から構成されるディスプレイと、前記複数の画素のうち所定数の画素のそれぞれに撮像センサーを内蔵すると共に、前記画像データは、前記撮像センサーで撮像された画像データであっても良い。

前記構成によれば、ディスプレイの表示画面でのタッチ入力が可能となる。

また、本発明の画像処理装置は、前記ディスプレイが液晶ディスプレイであり、該液晶ディスプレイに光を照射するバックライトを備えている場合において、前記エッジ画素特定手段は、前記縦方向勾配量及び横方向勾配量のそれぞれ、又は前記勾配の大きさが、前記第１閾値よりも大きな第２閾値以上である複数の第２エッジ画素を特定し、前記勾配方向特定手段は、前記エッジ画素特定手段によって特定された複数の第２エッジ画素の勾配方向を特定すると共に、第２エッジ画素以外の画素を前記無方向と看做して特定し、前記合致度算出手段は、前記照合領域に含まれる第１エッジ画素の勾配方向と、あらかじめ定められた第１モデルパターンに含まれる勾配方向とが一致する第１画素数と、前記照合領域に含まれる第２エッジ画素の勾配方向と、あらかじめ定められた第２モデルパターンに含まれる勾配方向とが一致する第２画素数とから、前記合致度を算出しても良い。

液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

画像処理装置の周囲が暗い場合（以下「バックライト反射ベース」と呼ぶ場合がある。）においては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、エッジ画素特定手段が、第１エッジ画素を特定するようにする。

一方、画像処理装置の周囲が明るい場合（以下「影ベース」と呼ぶ場合がある。）においては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮像画像となる。従って、影ベースにおいては、厳しめの前記第１閾値よりも大きい第２閾値により、エッジ画素特定手段が、第２エッジ画素を特定するようにする。

こうして、複数の第１エッジ画素が特定された画像データと、バックライト反射ベースであらかじめ定められた第１モデルパターン及び複数の第２エッジ画素が特定された画像データと、影ベースであらかじめ定められた第２モデルパターンのそれぞれについてパターンマッチングを行って第１画素数及び第２画素数が得られる。この場合、合致度算出手段は、例えば、第１画素数及び第２画素数を加算したものを合致度として用いることが可能となる。

それゆえ、バックライト反射ベースと影ベースの各処理を切り替える必要がなく、一つの構成で両方に対応した処理を実施することが可能となり、照明環境が明るくても暗くても撮像対象の指示位置を特定することができる画像処理装置を提供することができる。

また、本発明の画像処理装置は、前記合致度算出手段が算出する合致度の最大値が所定の閾値を超えた場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えても良い。

前記構成によれば、合致度の最大値が所定の閾値を超えた場合に接触を認めることによって、合致度が算出されさえすれば如何なる場合も接触とみなしてしまうことによる誤検出の抑制効果を得ることができる。

また、本発明の画像処理装置は、前記合致度算出手段が、所定の閾値を超える前記合致度を算出した場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えても良い。

接触判定手段は、合致度算出手段が、所定の閾値を超える前記合致度（十分な合致度）を算出した場合（すなわち、モデルパターンと類似する特徴を得られるような画像情報が入力された場合）には、接触していると判断する。

それゆえ、接触または非接触を判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、接触または非接触について判定することができる。

また、本発明の画像処理装置は、前記エッジ画素特定手段が、前記第１エッジ画素及び前記第２エッジ画素のいずれか一方を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定する接触判定手段を備えても良い。

上述したように、液晶ディスプレイに内蔵された撮像センサーに入力される光は、バックライトの反射光と、外部からの外光とが考えられる。

この場合、撮像画像から、バックライトの反射光による影響と、外部からの外光による影響とを分離することは困難である。

そこで、バックライト反射ベースにおいては、バックライトが撮像対象に反射して得られる画像は、例えば指の腹であれば、白い円形状がぼやけたような画像となる。そこで、この場合は、緩めの第１閾値により、接触判定手段は、エッジ画素特定手段が、前記第１エッジ画素を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定するようにすれば良い。

一方、影ベースにおいては、撮像対象（例えば指の腹）がパネル面から離れている場合（非接触）には、ぼやけた（コントラストの弱い）撮像画像となり、パネル面に接触している場合には鮮鋭な（コントラストの強い）撮影画像となる。従って、影ベースにおいては、前記第１閾値よりも大きいエッジ判断基準の厳しい第２閾値により、接触判定手段は、エッジ画素特定手段が、前記第２エッジ画素を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定するようにすれば良い。

以上より、緩めの第１閾値と、厳しめの第２閾値とを設定しておくだけで、バックライト反射ベース及び影ベースでのタッチ・非タッチの検出が可能となる。また、タッチ・非タッチを判定するために専用の装置や処理部を設けることなく、指示位置を特定するための画像処理の中で、タッチ・非タッチを判定することができる。

また、本発明の画像処理装置は、前記合致度算出手段は、前記照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、前記合致度を算出しても良い。

上述のように、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は、８に近いものとなるはずである。したがって、前記照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、前記合致度を算出するようにすれば、前記指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、前記指示位置の検出処理のコストをさらに削減させることができる。

本発明の画像処理装置は、例えば携帯電話やＰＤＡなどのように、液晶などの表示装置のディスプレイにタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。

本発明における画像処理装置の実施の一形態を示すブロック図である。 （ａ）は、周囲が暗い場合における指の腹の撮像画像の撮像の様子を示す概要図であり、（ｂ）は、周囲が暗い場合における指の腹の撮像画像の特徴を示す概要図であり、（ｃ）は、周囲が明るい場合における指の腹の撮像画像の撮像の様子を示す概要図であり、（ｄ）は、周囲が明るい場合における指の腹の撮像画像の特徴を示す概要図であり、（ｅ）は、周囲が暗い場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、（ｆ）は、周囲が暗い場合におけるペン先の撮像画像の特徴を示す概要図であり、（ｇ）は、周囲が明るい場合におけるペン先の撮像画像の撮像の様子を示す概要図であり、（ｈ）は、周囲が明るい場合におけるペン先の撮像画像の特徴を示す概要図である。 上記画像処理装置の全体的な動作の概要を示すフローチャートである。 上記画像処理装置の動作のうち、勾配方向・無方向特定過程の動作を示すフローチャートである。 （ａ）は、勾配方向・無方向特定過程において参照されるテーブルの一例であり、（ｂ）は、勾配方向・無方向特定過程において参照されるテーブルの他の例である。 （ａ）は、周囲が暗い場合における画像データの勾配方向の特徴を示す概要図であり、（ｂ）は、同図について照合効率化を行った後の様子を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化前のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化前のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの一例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの一例を示す概要図である。 （ａ）は、周囲が暗い場合における照合効率化後のモデルパターンの他の例を示す概要図であり、（ｂ）は、周囲が明るい場合における照合効率化後のモデルパターンの他の例を示す概要図である。 上記画像処理装置の動作のうち、パターンマッチング過程の動作を示すフローチャートである。 （ａ）は、照合効率化前の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの一例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 （ａ）は、照合効率化後の周囲が暗い場合における照合領域と、モデルパターンとのパターンマッチングの他の例を説明するための概要図であり、（ｂ）は、その合致度算出方法の一例を示す図である。 上記画像処理装置におけるパターンマッチングにおいて一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。 （ａ）は、パターン合致度算出過程の一例を示すフローチャートであり、（ｂ）は、パターン合致度算出過程の他の例を示すフローチャートである。 （ａ）は、パターン合致度算出過程の一例を示す概要図であり、（ｂ）は、パターン合致度算出過程の他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 （ａ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｂ）は、パターン合致度算出過程のさらに他の例を示す概要図であり、（ｃ）は、パターン合致度算出過程のさらに他の例を示す概要図である。 上記画像処理装置の動作のうち、ポインティング位置座標算出過程の動作を示すフローチャートである。 （ａ）は、上記画像処理装置における座標算出判定部のピーク画素が無いと判定する場合を説明するための概要図であり、（ｂ）は、上記画像処理装置における座標算出判定部のピーク画素が有ると判定する場合を説明するための概要図である。 （ａ）は、画像処理装置における撮像対象による撮像画像上の指示位置の算出のために使用されるピーク画素領域について説明するための概要図であり、（ｂ）は、上記画像処理装置における前記指示位置の座標算出方法を説明するための概要図である。

１ 画像処理装置
２ 低解像度化部
３ａ 画素値縦勾配量算出部（勾配算出手段）
３ｂ 画素値横勾配量算出部（勾配算出手段）
４ エッジ抽出部（エッジ画素特定手段、接触判定手段）
５ 勾配方向・無方向特定部（勾配方向特定手段）
６ 照合効率化部（照合効率化手段）
７ 一致画素数算出部（合致度算出手段）
８ モデルパターン・比較用一致パターン格納部
９ パターン合致度算出部（合致度算出手段）
１０ スコア算出部（合致度算出手段、接触判定手段）
１１ 位置特定部（位置特定手段）
１２ ピーク探索部（ピーク画素特定手段、位置特定手段）
１３ 座標算出判定部（座標算出判定手段、位置特定手段）
１４ 座標算出部（座標算出手段、位置特定手段）
２０ 電子機器
６１〜６４ 撮像画像
Ｓｘ 横方向勾配量
Ｓｙ 縦方向勾配量
ＡＢＳ（Ｓ） 勾配の大きさ
ＡＮＧ（Ｓ） 勾配方向

Claims (13)

1. 撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置であって、
   前記画像データ上の画素ごとに、該画素および複数の隣接画素の各画素値から画素値の勾配を算出する勾配算出手段と、
   前記勾配算出手段が算出した画素ごとの前記勾配から、画素ごとの前記勾配の方向を特定する勾配方向特定手段と、
   注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、
   前記照合領域に含まれる前記勾配の方向と、前記モデルパターンに含まれる前記勾配の方向とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出手段と、
   注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出手段が算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索手段と、
   該ピーク画素探索手段が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、前記撮像対象による前記撮像画像上の指示位置を算出する座標算出手段とを備えることを特徴とする画像処理装置。
2. 前記探索領域と共通の注目画素をもち、該探索領域の画素数よりも少ない所定の画素数を有すると共に、前記探索領域内に完全に包含される小領域内に、
   前記ピーク画素探索手段が発見したピーク画素が存在することを判定した場合に、前記座標算出手段に前記指示位置を算出させる座標算出判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記勾配の大きさが第１閾値以上である複数の第１エッジ画素を特定するエッジ画素特定手段を備え、
   前記合致度算出手段は、
   前記エッジ画素特定手段によって前記第１エッジ画素が特定された前記画像データと、前記モデルパターンとして、あらかじめ定められた第１モデルパターンとの照合を行うことを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の画素から構成されるディスプレイと、前記複数の画素のうち所定数の画素のそれぞれに撮像センサーを内蔵すると共に、
   前記画像データは、前記撮像センサーで撮像された画像データであることを特徴とする請求項３に記載の画像処理装置。
5. 前記ディスプレイが液晶ディスプレイであり、該液晶ディスプレイに光を照射するバックライトを備えている場合において、
   前記エッジ画素特定手段は、前記勾配の大きさが、前記第１閾値よりも大きな第２閾値以上である複数の第２エッジ画素を特定し、
   前記合致度算出手段は、
   前記エッジ画素特定手段によって前記第２エッジ画素が特定された前記画像データと、前記モデルパターンとして、あらかじめ定められた第２モデルパターンとの照合を行い、 前記照合領域に含まれる前記勾配の方向と、前記第１モデルパターン、及び前記第２モデルパターンのそれぞれに含まれる前記勾配の方向とを比較して得られる、前記照合領域と前記第１モデルパターンとのマッチングの度合いを示す第１合致度、及び前記照合領域と前記第２モデルパターンとのマッチングの度合いを示す第２合致度から、前記合致度を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記合致度算出手段が算出する前記合致度の最大値が所定の閾値を超えた場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記合致度算出手段が、所定の閾値を超える前記合致度を算出した場合に、前記撮像対象が前記ディスプレイに接触したと判定する接触判定手段を備えることを特徴とする請求項４又は５のいずれか１項に記載の画像処理装置。
8. 前記エッジ画素特定手段が、前記第１エッジ画素及び前記第２エッジ画素のいずれか一方を特定した場合に、前記撮像対象が、前記ディスプレイに接触したと判定する接触判定手段を備えることを特徴とする請求項５に記載の画像処理装置。
9. 前記合致度算出手段は、前記照合領域内において合致する前記勾配の方向の種類数が、あらかじめ定められた規定種類数以上の場合に、前記合致度を算出することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 請求項１〜９のいずれか１項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理装置の制御プログラム。
11. 請求項１０に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
12. 請求項１〜９のいずれか１項に記載の画像処理装置を備えることを特徴とする電子機器。
13. 撮像された撮像画像の画像データを用いて、撮像対象による前記撮像画像上の指示位置を算出する機能を備えた画像処理装置の制御方法であって、
    前記画像データ上の画素ごとに、該画素および複数の隣接画素の各画素値から画素値の勾配を算出する勾配算出ステップと、
    前記勾配算出ステップで算出した画素ごとの前記勾配から、画素ごとの前記勾配の方向を特定する勾配方向特定ステップと、
    注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合を行って、
    前記照合領域に含まれる前記勾配の方向と、前記モデルパターンに含まれる前記勾配の方向とが一致する画素数を、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度として算出する合致度算出ステップと、
    注目画素の周囲で所定の画素数を含む探索領域内で、前記合致度算出ステップで算出した合致度が最大値を取る画素であるピーク画素を探索するピーク画素探索ステップと、
    該ピーク画素探索ステップで発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、前記合致度を用いて、前記撮像対象による前記撮像画像上の指示位置を算出する座標算出ステップとを備えることを特徴とする画像処理装置の制御方法。
    

Images