JP4659900B1 - 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 - Google Patents

Abstract

【課題】撮像対象物の指示方向を安定して検出する。
【解決手段】撮像された撮像画像の画像データから勾配Ｓを算出する勾配特徴量算出部２と、勾配特徴量算出部２が算出した勾配の大きさＰＯＷ（Ｓ）が所定の閾値以上であるエッジ画素を特定するエッジ抽出部３と、画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、照合領域に含まれる勾配方向ＡＮＧ（Ｓ）とモデルパターンに含まれる勾配方向ＡＮＧ（Ｓ）が一致する画素の数を示す一致画素数を算出する一致画素数算出部５と、一致画素数算出部５が算出した一致画素数が最大となる照合領域を合致領域として特定する合致領域特定部７と、合致領域特定部７が特定した合致領域に含まれるエッジ画素毎の勾配Ｓの分布から、撮像画像上の対象物の指示方向を特定する対象物方向特定部９とを備える。
【選択図】図１

Description

本発明は、撮像された撮像画像中の対象物（例えば、指）を認識する機能を備えた画像処理装置、該画像処理装置の制御プログラム、該制御プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記画像処理装置の制御方法に関するものである。

一般に、カメラ等を用いて撮像された撮像画像中にある所定の対象物の指示位置等を、画像処理技術を用いて認識し、その認識結果に応じた処理を行う装置が知られている。例えば、撮像画像中の人間の手や指などの部位を認識し、その位置を特定した上で、特定された位置に応じてデータ入力や操作を行う画像処理装置が知られている。

このように、撮像された撮像画像中の対象物を、画像処理技術を用いて認識し、その指示位置等を特定する技術として特許文献１に開示された操作入力装置がある。

特許文献１に開示された操作入力装置は、主として、半透明スクリーンの背面側から撮影する撮影手段と、撮影手段が取得した画像データを用い、半透明スクリーンに映る画像の輝度を基に表示面における操作位置を検出する操作位置検出手段とを備えている。

操作位置検出手段は、画像データの中で輝度が閾値以上となる複数の領域を、ユーザが表示面に触れている接触領域として検出し、ユーザが表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する接触領域を操作位置として検出している。

さらに、操作位置検出手段は、半透明スクリーン上の区画域である第１領域及び第２領域の各々において、輝度が閾値よりも低い値の第２閾値以上で、かつ前記閾値よりも低い値となる領域を操作部位の画像として認識し、第１領域に表示される第１操作部位画像と、第２領域に表示される第２操作部位画像との各々で画像の重心を算出し、これら２つの重心を通るとともに第２操作部位画像の重心から第１操作部位画像の重心に向かう先端方向ベクトルを操作方向として算出している。

以上のように、操作入力装置は、撮影手段から入力した画像を用いて操作位置や操作方向を特定するようになっている。

特開２００７−８０１８７号公報（２００７年３月２９日公開）

しかしながら、前記従来の特許文献１に開示された操作入力装置には、以下のような問題点がある。

まず、この操作入力装置では、半透明スクリーン上の区画域である第１領域及び第２領域の各々において認識した操作部位の画像を用いて操作方向を算出しているため、検出対象物が第１領域及び第２領域の２つの領域にまたがらない（いずれか一方のみに存在する）場合は、操作方向を検出できないという問題点がある。

また、この操作入力装置は、画像データ中で輝度が閾値以上となる複数の領域を操作部位の画像として認識し、これら複数の操作部位画像の重心をもとに操作方向を算出しているので、例えば、人間の手や指の場合は、接触面に対する手や指の角度の変動に連動して、接触している部位のうち先端では無い側（指であれば、付け根側）の輝度が変動し、それに従い操作部位画像の面積や形状が変化することから、操作方向を安定して算出することが難しいという問題点もある。

本発明は、前記従来の問題点に鑑みなされたものであって、その目的は、撮像対象物の指示方向を安定して検出することができる画像処理装置などを提供することにある。

本発明の画像処理装置は、前記課題を解決するために、撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えていることを特徴とする。

また、本発明の画像処理装置の制御方法は、前記課題を解決するために、撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいることを特徴とする。

前記構成及び方法によれば、勾配特徴量算出手段又は勾配特徴量算出ステップでは、撮像された撮像画像の画像データから画素値勾配特徴量を算出する。

次に、エッジ画素特定手段又はエッジ画素特定ステップでは、画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定する。

これにより、画像データ上の全画素の中から、画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を、画素値勾配特徴量の大きさが所定の閾値未満であるエッジ画素以外の画素から選り分けることができる。

次に、合致度算出手段又は合致度算出ステップでは、画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。

これにより、合致度算出手段又は合致度算出ステップで算出した合致度から照合領域とモデルパターンとのマッチングの度合いを認識することができる。

次に、合致領域特定手段又は合致領域特定ステップでは、合致度算出手段又は合致度算出ステップで算出した合致度が最大となる照合領域を合致領域として特定する。

これにより、画像データにおける対象物の存在領域を示す合致領域を特定することができる。

次に、方向特定手段又は方向特定ステップでは、特定した合致領域に含まれるエッジ画素毎の画素値勾配特徴量の分布から、撮像画像上の対象物の指示方向を特定する。

ここで、照合領域と、予め定められたモデルパターンとの照合（以下「パターンマッチング」と言う。）に使用される量としては、画素値（濃度値又は輝度値）などのスカラー量も考えられる。しかしながら、このようなスカラー量は量子化したとしても、対象物の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。なお、量子化とは、所定の範囲内の量を一律にある一定の量と看做して扱うことである。

一方、画素値勾配特徴量は、少なくとも画素値の勾配方向という方向の自由度を持っている。なお、画素値の勾配は、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を全ての隣接画素について加算することによって得られるベクトル量であり、勾配の大きさ及び勾配方向を持つ。

ここで、例えば、勾配方向は、０ｒａｄ以上２πｒａｄ未満の角度に限定することができ、０ｒａｄ以上２πｒａｄ未満の角度範囲を適当な上限角度で等分割することにより、無限の自由度を持つ勾配方向を有限の数の方向に量子化することが可能である。

また、勾配方向は、例えば、８方向に量子化することによって、１つの画素について算出される勾配方向が取り得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせることができる。したがって、画素値勾配特徴量は、上述したパターンマッチングに適した量である。

さらに、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、エッジ部分からエッジ部分に囲まれた領域の中心付近に向かうか、或いは、該中心付近から放射状にエッジ部分に向かうかのいずれかの傾向を示す。また、対象物が指の場合、各画素における、勾配の大きさ（濃度差）は、接触面に対する指の角度の変動に関わらず、凡そ指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示す。これらの傾向は、指の角度の変動等に応じて、大きく変わることは無い。なお、対象物が指の場合、指示方向は、通常、指の付け根側から指の先端に向かう向きに沿っている。

したがって、画素値勾配特徴量を用いれば、合致領域に含まれる画素のうち、エッジ画素毎の画素値勾配特徴量の分布が示す上述した傾向を利用できるので、合致領域に含まれるエッジ画素毎の画素値勾配特徴量の分布から、撮像画像上の対象物の指示方向を特定することができる。

よって、単一の合致領域のみを用いて指示方向を特定できるので、特許文献１に開示された操作入力装置のように対象物が第１領域及び第２領域の２つの領域にまたがらない場合に、操作方向を検出できないという問題点は生じない。よって、安定した指示方向の特定が可能である。

また、画素値勾配特徴量は、上述したように画素値の差分であるから、例えば、指の角度の変動等に連動して、指の付け根側の画素値が変動したとしても、画素値勾配特徴量の大きさが、指の付け根側は小さく、指の先端に向かうほど大きくなるという傾向及びその勾配方向はあまり変動せず、特許文献１に開示された操作入力装置のように、指の付け根側の画素値の変動により操作方向を安定して算出できなくなるという問題点は生じない。よって、安定した指示方向の特定が可能である。

以上のように、本発明の画像処理装置及びその制御方法によれば、撮像対象物の指示方向を安定して検出することができる。

ここで、「画像データ」は、アナログデータ及びデジタルデータの何れであっても良い。また、「画素値」は、輝度値や濃度値のことである。なお、アナログデータの場合、画像データを複数の領域に分割した各分割領域のことを画素、各分割領域における平均濃度値を画素値と呼ぶ。また、「画素値」が濃度値の場合、「画素値勾配特徴量」は「濃度勾配特徴量」と称しても良い。

ところで、撮像時に生じたノイズ又は画素の欠陥等があった場合（以下、このような問題が生じた画素を「エラー画素」という）、エラー画素が、画素値勾配特徴量に影響を及ぼし、指示方向の特定精度が低下してしまう可能性がある。

そこで、このような問題点を解決するために、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記照合領域上の前記エッジ画素特定手段によって特定された前記エッジ画素を含む領域と前記モデルパターンとの照合を行っても良い。

これにより、あまり重要でないエッジ画素以外の画素を除外し、エッジ画素についてのみパターンマッチングを行うようにしているので、上述したエラー画素などの大部分を除外することができる。これにより指示方向の特定精度を向上させることができるので、指示方向を安定して検出することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記照合領域に含まれる注目画素を、前記画像データに含まれる全ての画素に合わせながら、前記照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、前記各照合領域に対応する各注目画素について算出することで、前記画像データに含まれる全ての画素について前記合致度を算出し、前記合致領域に含まれる画素毎の前記合致度の分布から、前記撮像画像上の対象物の指示位置を特定する位置特定手段を備えていても良い。

前記構成によれば、合致度算出手段は、照合領域に含まれる注目画素を、画像データに含まれる全ての画素に合わせながら、照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、各照合領域に対応する各注目画素について算出することで、画像データに含まれる全ての画素について合致度を算出する。

ここで、簡単のため、撮像画像、照合領域、及びモデルパターンのそれぞれの形状がいずれも矩形であるものとするが、それぞれの形状は、矩形に限られない。また、照合領域に含まれる画素の中から注目する単一の画素を予め決めておき、その単一の画素のことを注目画素と称することとする。

ここで、パターンマッチングは、例えば、画像データの左上角の画素を、照合領域の注目画素の位置とした状態からスタートし、照合領域を、画像データの左上角から右下角まで一画素づつ走査させながら、モデルパターンとのマッチングが行われる。

なお、画像データの端（最外周）の画素を、照合領域の注目画素の位置とした状態のとき、照合領域の一部に画素が存在していない場合が生じ得る。しかしながら、このような境界問題が生じる場合は、照合領域の画素が存在していない部分の画素を除外してパターンマッチングを行っても良い。また、周期的境界条件などを設定し、照合領域上の照合領域の画素が存在していない部分の画素を適当な画素値勾配特徴量を持つモデルで置き換えてパターンマッチングを行っても良い。

また、照合領域の大きさや形状は、モデルパターンの大きさや形状に合わせて適宜設定すれば良い。

以上のようなパターンマッチングにより、一画素づつ走査される照合領域は、複数存在し、合致度算出手段又は合致度算出ステップでは、一画素づつ走査させた照合領域毎に合致度が算出されることになる。すなわち、画像データ上の全ての画素のそれぞれについて合致度が算出される。

次に、位置特定手段は、合致領域に含まれる画素毎に算出された合致度の分布から、撮像画像上の対象物の指示位置を特定する。

よって、合致領域に含まれる画素毎の合致度の分布から撮像画像上の対象物の指示位置を特定することができる。

例えば、合致領域に含まれる画素毎の合致度のうち、最大の合致度をもつ画素の位置を対象物の指示位置としても良いし、合致領域に含まれる画素毎の合致度を重みとした重み付け平均によって求めた位置を対象物の指示位置としても良い。

また、本発明の画像処理装置は、前記構成に加えて、前記所定の閾値は、予め定められた第１閾値と、該第１閾値よりも大きい第２閾値とを、少なくとも含んでおり、前記エッジ画素特定手段は、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが前記第１閾値以上である第１エッジ画素と、前記第２閾値以上である第２エッジ画素とを前記エッジ画素として特定し、前記合致度算出手段は、前記第１エッジ画素について前記照合領域と前記モデルパターンとの照合を行った結果から第１合致度、及び前記第２エッジ画素について前記照合を行った結果から第２合致度を、前記合致度として算出し、前記方向特定手段は、前記合致領域に含まれる前記第２エッジ画素毎の前記画素値勾配特徴量の分布から前記指示方向を特定し、前記位置特定手段は、前記合致領域に含まれる画素毎の前記第１合致度、及び前記第２合致度のうち少なくとも一方の分布から前記指示位置を特定しても良い。

前記構成によれば、所定の閾値は、予め定められた第１閾値と、該第１閾値よりも大きい第２閾値とを、少なくとも含んでいる。

また、合致度算出手段は、第１エッジ画素について照合領域とモデルパターンとの照合を行った結果から第１合致度（合致度）、及び第２エッジ画素について照合を行った結果から第２合致度（合致度）を算出する。

ここで、上述したように、指の先端付近の勾配の大きさは比較的大きく、指の付け根側の勾配の大きさは小さくなる傾向がある。

そこで、例えば、指の先端付近の画素値勾配特徴量を検出するための閾値を第２閾値とし、少なくとも指の付け根側の画素値勾配特徴量を検出するための閾値を第１閾値とすれば、第１閾値以上の画素によって、指全体のエッジ（第１エッジ画素）を検出することができ、第２閾値以上の画素によって、指の先端付近のエッジ（第２エッジ画素）を検出することができる。

なお、第１合致度は、指全体のエッジに関係する合致度であり、第２合致度は、指の先端付近のエッジに関係する合致度となる。

一方、位置特定手段は、合致領域に含まれる画素毎に算出された第１合致度、及び第２合致度のうち少なくとも一方の分布から指示位置を特定する。

ここで、上述したように例えば、指の先端付近の画素値勾配特徴量を検出するための閾値を第２閾値とし、少なくとも指の付け根側の画素値勾配特徴量を検出するための閾値を第１閾値とすれば、合致領域上の第１合致度の分布は、エッジで囲まれた部分の中心、すなわち、指の腹の中心付近を算出する目安となり、合致領域上の第２合致度の分布は、指の先端付近の位置（以下、単に「先端位置」という）を算出する目安となる。

よって、第１合致度の分布から特定した指示位置は、指の腹の中心に近くなり、第２合致度の分布から特定した指示位置は、先端位置に近くなる。

また、第１合致度、及び第２合致度の分布から特定した指示位置は、指の腹の中心と、先端位置との中間の位置に近くなる。

よって、合致領域上の第１合致度及び第２合致度のうち少なくとも一方の分布から指示位置を特定すれば、指の腹の中心、先端位置、又は中間の位置のいずれかに近い位置を指示位置として特定することが可能となる。

また、第１合致度、第２合致度又はこれらの合致度の組合せのいずれかを選択することにより、ユーザの嗜好に合わせて、指の腹の中心、先端位置、又は中間の位置に近い位置のいずれかを選択して対象物の指示位置として特定することが可能となる。

また、本発明の画像処理装置は、前記構成に加えて、前記画素値勾配特徴量は、少なくとも画素値の勾配方向を示す特徴量であることが好ましい。

上述したように、画素値の勾配方向は、方向を示す特徴量なので直接指示方向と結びつけることができ、対象物の指示方向の特定が簡単な特徴量である。

一方、勾配の大きさなどのスカラー量は、方向を示す特徴量でないので直接指示方向と結びつけることが困難な特徴量である。

従って、特徴量として画素値の勾配方向を用いることによって、対象物の指示方向の特定をより簡単に実現することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、前記勾配方向毎に、前記照合領域に含まれる前記勾配方向と、前記モデルパターンに含まれる前記勾配方向とが一致する画素の数を示す一致画素数を、前記合致度として算出しても良い。

ここで、勾配方向を利用したパターンマッチングでは、照合領域に含まれる画素毎に、勾配方向が一致したか否かが判定できる。

よって、照合領域の全画素に亘って計算した一致画素数を合致度として算出することもできるし、勾配方向毎に計算した一致画素数を合致度として算出することもできる。さらに、照合領域に含まれる画素毎に合致度（一致・不一致）を算出することもできる。

ここで、勾配方向毎に、一致画素数を算出した場合、勾配方向毎の一致画素数が特定の勾配方向に偏っていれば、この偏りを利用して簡単に指示方向を特定することができる。

よって、勾配方向は、指示方向の特定に適した画素値勾配特徴量と言える。

また、本発明の画像処理装置は、前記構成に加えて、前記勾配方向毎の一致画素数の分布と、前記指示方向との対応関係を示す対応付け情報が予め定められており、前記方向特定手段は、前記対応付け情報を参照して、前記合致度算出手段が算出した前記勾配方向毎の一致画素数の分布から前記指示方向を特定しても良い。

ここで、対応付け情報の例としては、モデルパターンとマッチした勾配方向の偏りが大きい場合は、単に、勾配方向毎に、一致した画素の存否のみを示す（一致画素数は捨象する）方向一致パターンと、指示方向とを対応付けておけば良い。

また、モデルパターンとマッチした勾配方向の偏りが小さい場合は、勾配方向毎の一致画素数の分布と、指示方向とを対応付けておけば良い。このとき、一致画素数が大きな勾配方向が、指示方向との関係が強いものとして対応付け情報を設定する。

また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の一致画素数を長さとする第１方向ベクトルの分布から、前記指示方向を特定しても良い。

ここで、一致画素数が大きい勾配方向は、対象物の指示方向との関係が強いので、勾配方向毎の一致画素数を用いれば、指示方向との関係の強弱によってエッジ画素を選り分けることができるので、精度よく指示方向を特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の一致画素数と前記画素値勾配特徴量の大きさとの積を長さとする第２方向ベクトルの分布から、前記指示方向を特定しても良い。

上述した第１方向ベクトルでは、一致画素数を勾配の大きさと看做して指示方向の特定を行った。しかしながら、画素値勾配特徴量は、厳密には、勾配の大きさという自由度を持っているので、勾配の大きさの自由度を含めた第２方向ベクトルの分布から、指示方向を特定するようにすれば、より精度の高い指示方向の特定が可能となる。

また、上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、第２方向ベクトルでは、最終的に算出される第２方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、より精度よく指示方向を特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記方向特定手段は、前記勾配方向毎の、前記画素値勾配特徴量の大きさを長さとする第３方向ベクトルの分布から、前記指示方向を特定しても良い。

上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、第３方向ベクトルでは、最終的に算出される第３方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、精度よく指示方向を特定することができる。

ところで、指の腹などの中心位置を対象物の指示位置とする場合、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の接触面全体が、エッジ画素として特定されるように、パターンマッチングによって、対象物の形状を比較的厳密に照合することが望ましい。したがって、エッジ画素を特定するための所定の閾値は、あまり大きく設定することができない。

一方、例えば、人間の手や指を検出する場合、表示面に対する手や指の角度の変動によって、接触している部位のうち指の付け根側の輝度が変動し、それに従い、指の付け根側の画像の面積や形状が変化する。よって、あまり所定の閾値を小さくしすぎると、接触している部位のうち、先端では無い、指の付け根側の面積が大きくなり、所定の閾値を用いて特定したエッジ画素について照合した合致度を用いて指示位置を安定して特定することが困難となる。したがって、所定の閾値の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題点がある。

言い換えれば、上述した対象物の指示位置は、ノイズ等の影響や、対象物の接触面全体の形状の変化による影響を受けやすいと言える。

そこで、このような問題点を解決するために、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、及び前記方向特定手段が特定した前記指示方向から、前記撮像画像上の対象物の先端位置を特定しても良い。

ここで、例えば、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多い領域は、合致領域上で対象物の先端位置に近い領域であると考えられる。

また、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したとしても、合致領域上の先端位置に近い領域の位置や、先端位置に近い領域に含まれる画素の勾配方向はあまり変化しないと考えられる。

よって、例えば、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が存在する領域から対象物の先端位置を特定するようにすれば、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず、精度よく先端位置を特定することができる。

以上より、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の先端位置を高精度に特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、前記方向特定手段が特定した前記指示方向、及び該画素値勾配特徴量の大きさから、前記撮像画像上の対象物の先端位置を特定しても良い。

ところで、上述したように、指の付け根側から指の先端付近に向かう程、勾配の大きさは大きくなる傾向がある。よって、方向特定手段が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多く存在する領域のうち、勾配の大きさが大きい画素の位置は、対象物の先端位置に近い位置であると考えられる。

よって、前記構成によれば、例えば、合致領域に含まれるエッジ画素毎の勾配方向の分布、方向特定手段が特定した指示方向から、指の先端付近の領域を特定し、さらに指の先端付近の領域から勾配の大きさが大きい画素の位置を先端位置とすることができるので、より高精度に対象物の先端位置を特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と同方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定しても良い。

ところで、例えば、撮像センサ内蔵型液晶ディスプレイの場合、バックライトから出射した出射光が対象物で反射した反射光と、外光との重ね合わせ光が、撮像センサによって検出される。

このような重ね合わせ光を撮像センサによって撮像した撮像画像では、周囲が明るい場合と、周囲が暗い場合とで、エッジ部分の勾配方向は、互いに逆向きになる傾向がある。

そこで、前記構成によれば、周囲が明るい場合を想定して、エッジ画素毎の勾配方向のうち、指示方向と同方向の勾配方向が算出されているエッジ画素の分布から先端位置を特定している。

これにより、周囲が明るい場合でも精度良く先端位置を特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と逆方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定しても良い。

前記構成によれば、周囲が暗い場合を想定して、エッジ画素毎の勾配方向のうち、指示方向と逆方向の勾配方向が算出されているエッジ画素の分布から先端位置を特定している。

これにより、周囲が暗い場合でも精度良く先端位置を特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記位置特定手段は、前回の動作で前記指示位置が特定されており、前回及び今回の動作で前記先端位置が特定された場合に、前回の動作で特定された前記先端位置から今回の動作で特定された前記先端位置までの変位量だけ、前回の動作で特定された前記指示位置を変位させた位置を今回の前記対象物の指示位置としても良い。

上述したように、指の腹の中心位置を指示位置として特定するためには、厳密なパターンマッチングが必要であるため、対象物の接触面全体の形状、特に、指の付け根側の画像の面積や形状が変化した場合、指示位置の特定は困難となる。

一方、上述したように、合致領域に含まれるエッジ画素毎の勾配方向の分布、方向特定手段が特定した指示方向から、指の先端付近の領域を特定するようにすれば、先端位置の特定は、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず安定して特定することができる。

そこで、前記構成によれば、位置特定手段は、前回の動作で指示位置が特定されており、前回及び今回の動作で先端位置が特定された場合に、前回の動作で特定された先端位置から今回の動作で特定された先端位置までの変位量だけ、前回の動作で特定された指示位置を変位させた位置を今回の前記対象物の指示位置とする。

よって、前回の動作で指示位置が特定されたが、何らかの原因により、今回の動作で指示位置が特定できなかったとしても、前回及び今回の動作で特定された先端位置を用いて指示位置を特定するようにしているので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を高精度に特定することができる。

また、本発明の画像処理装置は、前記構成に加えて、前記合致度算出手段は、算出された合致度が予め定められた閾値未満である場合には、前記合致度を０に設定しても良い。

ところで、画像データ中のノイズ等により生じた不当なエラー画素が生じると、合致度算出手段が算出する合致度は、比較的低くなってしまう傾向がある。

そこで、前記構成によれば、合致度の上限値（閾値）を設定することで、画像データ中のノイズ等により生じた不当なエラー画素の影響を受けた合致度を処理データから削除できるので、不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。

なお、前記画像処理装置及びその制御方法における各手段、各機能、各処理、並びに、各ステップ及び各工程のそれぞれは、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させ、コンピュータに前記各機能を実現させ、若しくはコンピュータに前記各処理、前記各ステップ又は前記各工程を実行させることにより前記画像処理装置及びその制御方法を、コンピュータにて実現させる制御プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の画像処理装置は、以上のように、撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えている構成である。

また、本発明の画像処理装置の制御方法は、以上のように、撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布から、前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいる方法である。

それゆえ、撮像対象物の指示方向を安定して検出することができる。

本発明における画像処理装置（電子機器）の実施の一形態を示すブロック図である。 （ａ）は、前記画像処理装置に関し、周囲が暗い場合における指の腹（指腹）の撮像の様子を示す概要図であり、（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図であり、（ｃ）は、周囲が明るい場合における指腹の撮像の様子を示す概要図であり、（ｄ）は、周囲が明るい場合における指腹の撮像画像の特徴を示す概要図である。 （ａ）は、勾配方向を８方向に量子化するために参照される参照テーブルの半分の例であり、（ｂ）は、前記参照テーブルの残りの半分の例である。 前記画像処理装置の全体的な動作の概要を示すフローチャートである。 （ａ）は、周囲が暗い場合における勾配方向の分布の一例を示す概要図であり、（ｂ）は、周囲が明るい場合における勾配方向の分布の一例を示す概要図である。 （ａ）は、周囲が暗い場合における勾配方向の分布の他の一例を示す概要図であり、（ｂ）は、周囲が明るい場合における勾配方向の分布の他の一例を示す概要図である。 前記画像処理装置の動作のうち、パターンマッチング過程の動作の一例を示すフローチャートである。 （ａ）は、前記画像処理装置に関し、勾配方向毎の一致画素数パターン（方向一致パターン）と対象物指示方向の対応関係を示す対応関係デーブルの一例であり、（ｂ）は、前記対応関係デーブルの他の一例である。 （ａ）は、前記画像処理装置に関し、エッジ画素毎の勾配方向の分布の一例を示す概要図であり、（ｂ）は、勾配方向毎の一致画素数の一例を示す概要図であり、（ｃ）は、特定された対象物の指示方向の一例を示す概要図であり、（ｄ）は、エッジ画素毎の勾配方向の分布の他の一例を示す概要図であり、（ｅ）は、勾配方向毎の一致画素数の他の一例を示す概要図であり、（ｃ）は、特定された対象物の指示方向の他の一例を示す概要図である。 （ａ）は、前記画像処理装置に関し、エッジ画素毎の勾配方向の分布のさらに他の一例を示す概要図であり、（ｂ）は、勾配方向毎の一致画素数のさらに他の一例を示す概要図であり、（ｃ）〜（ｅ）は、勾配方向毎の一致画素数を長さとするベクトルから合成された合成ベクトルによって特定された対象物の指示方向の一例を示す概要図である。 前記画像処理装置の動作のうち、パターンマッチング過程の動作の他の一例を示すフローチャートである。 （ａ）は、前記画像処理装置に関し、第１エッジ画素毎及び第２エッジ画素毎の勾配方向の分布の一例を示す概要図であり、（ｂ）は、第１エッジ画素における勾配方向毎の一致画素数の一例を示す概要図であり、（ｃ）は、第２エッジ画素における勾配方向毎の一致画素数の一例を示す概要図である。 前記画像処理装置に関し、対象物（指示）位置特定過程の動作の一例を示すフローチャートである。 （ａ）は、前記画像処理装置に関し、対象物の指示方向と逆向きの方向ベクトルを求めた様子を示す概要図であり、（ｂ）は、前記方向ベクトルと一致する勾配方向を持つエッジ画素の存在領域の一例を示す概要図である。 前記画像処理装置に関し、対象物（指示）位置特定過程の動作の他の一例を示すフローチャートである。

本発明の一実施形態について図１〜図１５に基づいて説明すれば、次の通りである。以下の特定の実施形態で説明すること以外の構成は、必要に応じて説明を省略する場合があるが、他の実施形態で説明する構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。

また、以下の各実施の形態では、画像表示部の例として液晶ディスプレイを採用した場合について説明するが、液晶ディスプレイ以外の画像表示部を採用する場合も本発明の適用範囲に含まれる。

〔第１の実施形態〕
本発明の第１の実施形態である画像処理装置１（電子機器２０）について図１〜図１０に基づいて説明すれば、以下の通りである。

まず、画像処理装置１の主要な機能について説明し、次に図１に基づき、本実施形態の画像処理装置１の構成について説明する。

画像処理装置１の主要な機能のとしては、以下の２つの機能がある。

第１の機能は、画像表示機能であり、画像処理装置１は、図示しない複数の画素から構成される液晶ディスプレイ及び該液晶ディスプレイに光を照射するバックライトを備え、画像を表示することが可能となっている。

また、第２の機能は、画像撮像機能であり、画像処理装置１の液晶ディスプレイにおける各画素内には、光センサ（又は撮像センサ）が内蔵され、光センサによって液晶ディスプレイの表示画面に近接してきた外部の物体など（対象物）を撮像した撮像画像を画像データとして取り込むことが可能となっている。

なお、液晶ディスプレイは、複数の画素のうち所定数の画素毎に光センサが内蔵されているものであっても良いが、光センサによる撮像画像の解像度の観点から、光センサは、全ての画素毎に内蔵されていることが好ましい。

また、光センサとしては、フォトダイオードの他、光電効果を動作原理とし、液晶ディスプレイなどの各画素に内蔵できるものであれば、どのような光センサを用いても良い。

次に、図１に示すように、画像処理装置１は、勾配特徴量算出部（勾配特徴量算出手段）２、エッジ抽出部（エッジ画素特定手段）３、算出／抽出データ保持部４、一致画素数算出部（合致度算出手段）５、モデルパターン格納部６、合致領域特定部（合致領域特定手段）７、合致領域情報格納部８、対象物方向特定部（方向特定手段）９、対象物方向特定用情報格納部１０、及び対象物座標特定部（位置特定手段）１１を備える。

勾配特徴量算出部２は、画像データ上の画素毎に、注目画素の画素値と複数の隣接画素の画素値とから、注目画素の画素値の勾配（画素値勾配特徴量）Ｓを算出する。

ここで、本実施形態の「画像データ」は、デジタルデータを想定しているが、アナログデータであっても良い。

また、「画素値」は、輝度値や濃度値のことである。なお、アナログデータの場合、画像データを複数の領域に分割した各分割領域のことを画素と呼び、各分割領域における平均濃度値を画素値と呼ぶ。また、「画素値」が濃度値の場合、「画素値勾配特徴量」は「濃度勾配特徴量」と称しても良い。

本実施形態では、勾配Ｓは、（横方向勾配Ｓｘ，縦方向勾配Ｓｙ）で定義され、勾配Ｓは、大きさ〔勾配の大きさ（画素値勾配特徴量）ＰＯＷ（Ｓ）〕と向き〔勾配方向（画素値勾配特徴量）ＡＮＧ（Ｓ）〕とを持つベクトル量である。

なお、勾配Ｓは、数学的には、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を大きさとし、特定の画素から隣接画素に向かう向きを正とするベクトルを全ての隣接画素について加算することによって算出される。

より具体的には、勾配Ｓは、Ｓｏｂｅｌ（ソーベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いて算出すれば良い。

例えば、Ｓｏｂｅｌオペレータを用いて、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ及び横方向勾配Ｓｘを求めた後、次式（１）及び（２）を用いて画素位置ｘ（ｉ，ｊ）における勾配方向ＡＮＧ（Ｓ）及び勾配の大きさＰＯＷ（Ｓ）を求めることができる。ここで、ｉは水平方向に沿った画素の位置を、ｊは垂直方向に沿った画素の位置をそれぞれ表す。ｉ及びｊは正の整数である。

勾配方向ＡＮＧ（Ｓ）＝ｔａｎ^-1（Ｓｙ／Ｓｘ） ・・・（１）
勾配の大きさＰＯＷ（Ｓ）＝√（Ｓｘ＾２＋Ｓｙ＾２） ・・・（２）
次に、エッジ抽出部３は、勾配特徴量算出部２が算出した勾配の大きさＰＯＷ（Ｓ）が所定の閾値以上であるエッジ画素を抽出（特定）する。

次に、算出／抽出データ保持部４は、勾配特徴量算出部２が算出した、画像データ上の画素毎の勾配Ｓに関するデータや、エッジ抽出部３が抽出したエッジ画素の画像データ上の位置等に関するデータを保持する。

これにより、画像データ上の全画素の中から、勾配の大きさＰＯＷ（Ｓ）が所定の閾値以上であるエッジ画素を、勾配の大きさＰＯＷ（Ｓ）が所定の閾値未満であるエッジ画素以外の画素から選り分けることができる。

次に、一致画素数算出部５は、上述した算出／抽出データ保持部４から画像データ上の画素毎の勾配Ｓに関するデータを読出し、後述するモデルパターン格納部６からモデルパターンを読出し、照合領域と、モデルパターンとの照合（以下「パターンマッチング」と言う。）を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（合致度：以下、「一致画素数」と呼ぶ。）を算出する。

より具体的には、一致画素数算出部５は、照合領域に含まれる注目画素を、画像データに含まれる全ての画素に合わせながら、照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される一致画素数を、各照合領域に対応する各注目画素について算出することで、画像データに含まれる全ての画素について一致画素数を算出することができるようになっている。

また、一致画素数算出部５は、合致領域に含まれるエッジ画素毎に勾配方向ＡＮＧ（Ｓ）の一致・不一致を判定し、合致領域に含まれる勾配方向ＡＮＧ（Ｓ）毎の一致画素数を算出できるようになっている。

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ以上２πｒａｄ未満の範囲で変化する連続量であるが、本実施形態の一致画素数算出部５では、これを８方向に量子化したものを勾配方向として用いる。

次に、図３（ａ）及び（ｂ）に基づき、勾配方向ＡＮＧ（Ｓ）の８方向への量子化方法について説明する。

図３（ａ）は、勾配方向を８方向に量子化するために参照される参照テーブルの半分の例であり、図３（ｂ）は、参照テーブルの残りの半分の例である。

まず、各画素について、（２）式で求めた横方向勾配Ｓｘについて、Ｓｘ≧０ならば、図３（ａ）に示す参照テーブルにしたがい、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

一方、Ｓｘ＜０ならば、図３（ｂ）に示す参照テーブルにしたがって、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

なお、ここでは、勾配方向を８方向に量子化した場合について説明するが、量子化された勾配方向の数は８に限定されるものではなく、パターンマッチングに要求される精度条件や、ハードウェアの性能等を鑑みて、増減させることもできる。

上述したように、画像処理装置１では、少なくとも画素値の勾配方向を示す勾配方向ＡＮＧ（Ｓ）を特徴量として用いる。

画素値の勾配方向ＡＮＧ（Ｓ）は、方向を示す特徴量なので直接指示方向と結びつけることができ、対象物の指示方向の特定が簡単な特徴量である。

一方、勾配の大きさＰＯＷ（Ｓ）などのスカラー量は、方向を示す特徴量でないので直接指示方向と結びつけることが困難な特徴量である。

従って、特徴量として画素値の勾配方向ＡＮＧ（Ｓ）を用いることによって、対象物の指示方向の特定をより簡単に実現することができる。

以上説明した勾配方向ＡＮＧ（Ｓ）を利用したパターンマッチングでは、照合領域に含まれる画素毎に、勾配方向ＡＮＧ（Ｓ）が一致したか否かが判定できる。

よって、照合領域の全画素に亘って計算した一致画素数を合致度として算出することもできるし、勾配方向ＡＮＧ（Ｓ）毎に計算した一致画素数を合致度として算出することもできる。さらに、照合領域に含まれる画素毎に合致度（一致・不一致）を算出することもできる。

ここで、勾配方向ＡＮＧ（Ｓ）毎に、一致画素数を算出した場合、勾配方向ＡＮＧ（Ｓ）毎の一致画素数が特定の勾配方向ＡＮＧ（Ｓ）に偏っていれば、この偏りを利用して簡単に指示方向を特定することができる。よって、勾配方向ＡＮＧ（Ｓ）は、指示方向の特定に適した特徴量と言える。

次に、勾配Ｓを量子化する他の形態について説明する。まず、一致画素数算出部５は、照合領域に含まれる勾配方向ＡＮＧ（Ｓ）と、モデルパターンに含まれる対応する勾配方向ＡＮＧ（Ｓ）との差分が所定角度以下である画素の数を一致画素数として算出しても良い。

これにより、例えば、照合領域に含まれる勾配方向ＡＮＧ（Ｓ）と、モデルパターンに含まれる対応する勾配方向ＡＮＧ（Ｓ）との差分が所定角度以下である画素をモデルパターンと一致した画素と判定し、照合領域に含まれる勾配方向ＡＮＧ（Ｓ）と、モデルパターンに含まれる対応する勾配方向ＡＮＧ（Ｓ）との差分が所定角度を超える画素をモデルパターンと一致しない画素と判定することで、照合領域に含まれる全画素の一致画素数を算出することができる。

なお、勾配方向を量子化する方法としては、上述した例の他、例えば、０ｒａｄ以上２πｒａｄ未満の角度範囲を適当な上限角度で等分割することにより、無限の自由度を持つ勾配方向を有限の数の方向に量子化することが可能である。

本実施形態では、簡単のため、撮像画像、照合領域、及びモデルパターンのそれぞれの形状がいずれも矩形であるものとするが、それぞれの形状は、矩形に限られない。また、照合領域に含まれる画素の中から注目する単一の画素を予め決めておき、その単一の画素のことを注目画素と称することとする。

ここで、パターンマッチングは、例えば、画像データの左上角の画素を、照合領域の注目画素の位置とした状態からスタートし、照合領域を、注目画素を基準として画像データの左上角から右下角まで一画素づつ走査させながら、モデルパターンとのマッチングが行われる。

なお、画像データの端（最外周）の画素を、照合領域の注目画素の位置とした状態のとき、照合領域の一部に画素が存在していない場合が生じ得る。しかしながら、このような境界問題が生じる場合は、照合領域の画素が存在していない部分の画素を除外してパターンマッチングを行っても良い。また、周期的境界条件などを設定し、照合領域上の照合領域の画素が存在していない部分の画素を適当な画素値勾配特徴量を持つモデルで置き換えてパターンマッチングを行っても良い。

また、照合領域の大きさや形状は、モデルパターンの大きさや形状に合わせて適宜設定すれば良い。

以上のようなパターンマッチングにより、一画素づつ走査される照合領域は、複数存在し、一画素づつ走査させた照合領域毎に一致画素数が算出されることになる。すなわち、画像データ上の全ての画素のそれぞれについて一致画素数が算出される。

次に、モデルパターン格納部６は、上述したようにモデルパターンを格納しておくものである。

以上より、一致画素数算出部５が算出した一致画素数から照合領域とモデルパターンとのマッチングの度合いを認識することができる。

ここで、パターンマッチングに使用される量としては、画素値（濃度値又は輝度値）などのスカラー量も考えられる。しかしながら、このようなスカラー量は量子化したとしても、対象物の状況等に応じて、常に変わり得るため、あらかじめモデルパターンを設定しておくことは困難である。なお、量子化とは、所定の範囲内の量を一律にある一定の量と看做して扱うことである。

一方、上述した勾配Ｓは、方向の自由度を持つ特徴量である。また、勾配Ｓは、特定の画素と隣接画素との間で画素値の差分をとり、これらの差分を全ての隣接画素について加算することによって得られるベクトル量であり、勾配の大きさＰＯＷ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）を持つ。

また、勾配方向ＡＮＧ（Ｓ）は、上述のように８方向に量子化することによって、１つの画素について算出される勾配方向ＡＮＧ（Ｓ）が取り得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせることができる。したがって、勾配Ｓは、上述したパターンマッチングに適した量である。

次に、本実施形態では、パターンマッチングで算出される「合致度」の例として一致画素数を算出する場合について説明した。

しかしながら、「合致度」の計算方法は、大きくわけて２つの計算方法が例示できる。

第１の計算方法は、本実施形態のように照合領域に含まれる画素毎の勾配Ｓとモデルパターンに含まれる対応する画素毎の勾配Ｓとが一致する一致画素数を計算する方法である。このとき、一致画素数が大きいほど、合致度は大きくなり、一致画素数が小さいほど合致度は小さくなる。

但し、勾配の大きさＰＯＷ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）には無限の自由度があるので、一致画素数を求めるには、工夫が必要である。例えば、上述したように、勾配Ｓを、勾配の大きさＰＯＷ（Ｓ）を捨象して、０ｒａｄ以上２πｒａｄ未満の角度範囲を適当な上限角度で等分割すれば良い。また、勾配Ｓから勾配の大きさＰＯＷ（Ｓ）を捨象し、勾配方向ＡＮＧ（Ｓ）を８方向や１６方向に量子化したものを用いても良い。

次に、第２の計算方法は、照合領域に含まれる画素毎の勾配Ｓについてモデルパターンとの差分を計算し、これらの差分の総和を計算して求める方法である。このとき、差分の総和が大きいほど、合致度は小さくなり、差分の総和が小さいほど合致度は大きくなる。

なお、第１の計算方法では、画素毎に一致・不一致を判定し、第２の計算方法では、画素毎に差分を計算することができる。よって、これらの方法では、画素毎の一致・不一致又は画素毎の差分に基づいて画素毎に合致度を設定することも可能である。

また、第２の計算方法では、画素毎の勾配方向ＡＮＧ（Ｓ）の差分が、所定の閾値角度以下であれば、モデルパターンの勾配方向ＡＮＧ（Ｓ）と一致したと判断し、モデルパターンの勾配方向ＡＮＧ（Ｓ）を、その画素の勾配方向ＡＮＧ（Ｓ）とすれば、合致領域に含まれる勾配方向ＡＮＧ（Ｓ）毎の一致画素数を算出することも可能である。

次に、合致領域特定部７は、一致画素数算出部５が算出した一致画素数が最大となる照合領域を合致領域として特定する。

これにより、画像データにおける対象物の存在領域を示す合致領域を特定することができる。

合致領域情報格納部８には、合致領域特定部７が特定した合致領域の画像データ上の位置に関するデータ、合致領域に含まれる画素毎の勾配Ｓに関するデータ、エッジ抽出部３が抽出したエッジ画素の合致領域上の位置に関するデータ及び合致領域に含まれる画素毎の一致画素数に関するデータなどが格納される。

次に、対象物方向特定部９は、合致領域情報格納部８から、合致領域の画像データ上の位置に関するデータ、合致領域に含まれる画素毎の勾配Ｓに関するデータ、及びエッジ画素の合致領域上の位置に関するデータなどを読出し、後述する対象物方向特定用情報格納部１０から、勾配方向ＡＮＧ（Ｓ）毎の方向一致パターンと対象物の指示方向を示すものとして予め定められた指示方向との対応関係を示す対応関係テーブル（対応付け情報：図８（ａ）など参照）又は、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布と指示方向との対応関係を示す対応関係テーブル（対応付け情報：図９（ｂ）など参照）を読出し、対応関係テーブルを参照して、合致領域に含まれる画素毎の勾配方向ＡＮＧ（Ｓ）の分布から、指示方向を特定する。

なお、指示方向の特定は、上述した対応関係テーブルに基づいて行ってもよいし、対応関係テーブルを用いずに、合致領域に含まれる画素毎の勾配方向ＡＮＧ（Ｓ）と一致画素数のみを用いて行ってもよい。

対象物方向特定用情報格納部１０には、上述したように、勾配方向ＡＮＧ（Ｓ）毎の方向一致パターンと指示方向との対応関係を示す対応関係テーブル又は、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布と指示方向との対応関係を示す対応関係テーブルなどが格納される。

ところで、撮像時に生じたノイズ又は画素の欠陥等によるエラー画素が、勾配Ｓに影響を及ぼし、指示方向の特定精度が低下してしまう可能性がある。

そこで、このような問題点を解決するために、上述した一致画素数算出部５は、照合領域上のエッジ抽出部３によって特定されたエッジ画素を含む領域とモデルパターンとの照合を行うようにしても良い。

これにより、あまり重要でないエッジ画素以外の画素を除外し、エッジ画素についてのみパターンマッチングを行うようにしているので、上述したエラー画素などの大部分を除外することができる。これにより指示方向の特定精度を向上させることができるので、指示方向を安定して検出することができる。

次に、対象物座標特定部１１は、合致領域情報格納部８から合致領域の画像データ上の位置に関するデータ、エッジ画素の合致領域上の位置に関するデータ、及び合致領域に含まれる画素毎の一致画素数に関するデータなどを読出し、合致領域に含まれる画素毎に算出された一致画素数の分布から、撮像画像上の対象物の指示位置を特定する。

よって、合致領域に含まれる画素毎の一致画素数の分布から撮像画像上の対象物の指示位置を特定することができる。

例えば、合致領域に含まれる画素毎の一致画素数のうち、最大の一致画素数をもつ画素の位置を対象物の指示位置としても良いし、合致領域に含まれる画素毎の一致画素数を重みとした重み付け平均によって求めた位置を対象物の指示位置としても良い。

なお、上述した算出／抽出データ保持部４、モデルパターン格納部６、合致領域情報格納部８、及び対象物方向特定用情報格納部１０は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ(magneto-optic)／ＭＤ（magnetic disk）／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable ROM）／ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

次に、図２（ａ）〜（ｄ）に基づき、画像処理装置１の液晶ディスプレイの各画素に内蔵されたフォトダイオードによって撮像される対象物として、指の腹（以下「指腹」という）の例を挙げ、それぞれの撮像画像（画像データ）の特徴の概要について説明する。

図２（ａ）は、周囲が暗い場合における指腹の撮像の様子を示す概要図であり、図２（ｂ）は、周囲が暗い場合における指腹の撮像画像の特徴を示す概要図である。

まず、周囲が暗い状況で、図２（ａ）に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図２（ｂ）の示す撮像画像（画像データ）３１は、バックライトが撮像対象（指の腹）に反射して得られる画像となるため、白い円形状がぼやけたような画像となる。

また、各画素における勾配方向ＡＮＧ（Ｓ）は、凡そ撮像画像３１上のエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。なお、勾配方向ＡＮＧ（Ｓ）は、濃度差が発生する方向であって、ここでは、暗い部分から明るい部分に向かう向きを正としている。また、各画素における勾配の大きさＰＯＷ（Ｓ）（濃度差）は、おおよそ、指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示している。

次に、図２（ｃ）は、周囲が明るい場合の指腹の撮像の様子を示す概要図であり、図２（ｄ）は、周囲が明るい場合の指腹の撮像画像の特徴を示す概要図である。

周囲が暗い状況で、図２（ｃ）に示すように、ユーザが液晶ディスプレイの表示画面に人差し指の腹を接触させると、図２（ｄ）に示す撮像画像（画像データ）３２は、外光が液晶ディスプレイの表示画面に入射することによって得られる画像（接触した場合は、バックライトによる反射光も混じる）となるため、人差し指で外光が遮られることによって生じた指の影と、液晶ディスプレイの表示画面に接触した指腹にバックライトの光が反射した成分が混ざり合い、黒に近い灰色の円形状となる。

撮像画像３２の場合、周囲が外光で明るいので、各画素における勾配方向ＡＮＧ（Ｓ）は、図２（ｂ）に示す撮像画像３１の白い円形状の部分における勾配方向ＡＮＧ（Ｓ）と逆向きの傾向を示している。

一方、撮像画像３２における、各画素における勾配の大きさＰＯＷ（Ｓ）は、凡そ指の付け根側は小さく、指の先端に向かうほど大きくなる傾向を示しており、この傾向は、撮像画像３１の傾向と同じである。

したがって、勾配Ｓを特徴量として用いれば、合致領域に含まれる画素のうち、エッジ画素毎の勾配Ｓの分布が示す上述した傾向を利用できるので、合致領域に含まれるエッジ画素毎の勾配Ｓの分布から、撮像画像上の対象物の指示方向を特定することができる。

よって、単一の合致領域のみを用いて指示方向を特定できるので、特許文献１に開示された操作入力装置のように対象物が第１領域及び第２領域の２つの領域にまたがらない場合に、操作方向を検出できないという問題点は生じない。よって、安定した指示方向の特定が可能である。

また、勾配Ｓは、上述したように画素値の差分であるから、例えば、指の角度の変動等に連動して、指の付け根側の画素値が変動したとしても、勾配の大きさＰＯＷ（Ｓ）が、指の付け根側は小さく、指の先端に向かうほど大きくなるという傾向、及びその勾配方向ＡＮＧ（Ｓ）はあまり変動せず、特許文献１に開示された操作入力装置のように、指の付け根側の画素値の変動により操作方向を安定して算出できなくなるという問題点は生じない。よって、安定した指示方向の特定が可能である。

以上のように、本実施形態の画像処理装置１によれば、撮像対象物の指示方向を安定して検出することができる。

（全体的な動作の概要）
次に、図１及び図４に基づいて、画像処理装置１（電子機器２０）の動作の概要について説明する。図４は、画像処理装置１の全体的な動作の概要を示すフローチャートである。

まず、ステップＳ１０１（以下「Ｓ１０１」のように記載する。）では、勾配特徴量算出部２が、画像データ上の画素毎に、勾配Ｓを算出し、Ｓ１０２に進む（勾配特徴量算出過程：勾配特徴量算出ステップ）。

Ｓ１０２では、エッジ抽出部３が、所定の閾値以上の勾配の大きさＰＯＷ（Ｓ）を持つ画素をエッジ画素として特定し、エッジ画素として特定されなかった画素については、勾配方向は「無方向」、勾配の大きさは「０」に設定し直す（エッジ画素特定過程：エッジ画素特定ステップ）。

このように、あまり重要でない画素や、撮像時のエラー画素などにおける勾配方向ＡＮＧ（Ｓ）を一律無方向及び／又は勾配の大きさＰＯＷ（Ｓ）を０とみなすことで、後述する指示位置特定や指示方向特定の精度をさらに向上させることができる。

Ｓ１０３では、一致画素数算出部５が、照合領域と、モデルパターンとの照合を行って、一致画素数を算出した後に、合致領域特定部７が、一致画素数算出部５が算出した一致画素数が最大となる合致領域を特定してＳ１０４に進む（パターンマッチング過程：合致度算出ステップ／合致領域特定ステップ）。

Ｓ１０４では、対象物方向特定部９が、合致領域に含まれるエッジ画素毎の勾配Ｓの分布から対象物の指示方向を特定し、対象物座標特定部１１が、一致画素数算出部５が算出した、画素毎の一致画素数分布から、対象物の指示位置を特定し、「エンド」となる（対象物位置・方向特定過程：位置特定／方向特定ステップ）。

なお、対象物の指示位置の特定においては、一致画素数の分布の重心位置（合致領域に含まれる画素毎の一致画素数を重み付けとする重み付け平均で求めた位置）を対象物の指示位置として特定する方法が考えられるが、この方法に限定されるものではない。

例えば、一致画素数が最大である位置を対象物の指示位置として特定してもよい。また、合致領域をそのまま対象物の存在範囲（位置及び大きさ）として特定してもよい。さらに、一致画素数の分布の重心又は一致画素数が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物の存在範囲としてもよい。

また、対象物の指示方向の特定においては、Ｓ１０３において、一致画素数が最大である位置（画素）において特定された勾配方向ＡＮＧ（Ｓ）を、対象物の指示方向として特定する方法が考えられるが、この方法に限定されるものではない。例えば、各画素において特定された勾配方向ＡＮＧ（Ｓ）をベクトルの方向とし、一致画素数又は勾配の大きさＰＯＷ（Ｓ）と一致画素数との積のいずれかを長さとした方向ベクトル（第１方向ベクトル又は第２方向ベクトル）を定義し、エッジ画素毎の方向ベクトルを合成して得られた合成ベクトルが示す方向を、対象物の指示方向として特定してもよい。

また、各勾配方向ＡＮＧ（Ｓ）について、勾配の大きさＰＯＷ（Ｓ）の平均値を算出し、該平均値を長さとするベクトル（第３方向ベクトル）を定義してもよい。

さらに、各勾配方向ＡＮＧ（Ｓ）について、勾配の大きさＰＯＷ（Ｓ）のメディアン（中央値）を算出し、該メディアンを長さとするベクトル（第３方向ベクトル）を定義してもよい。

ここで、一致画素数が大きい勾配方向ＡＮＧ（Ｓ）は、対象物の指示方向との関係が強いので、勾配方向ＡＮＧ（Ｓ）毎の一致画素数を長さとする第１方向ベクトルの分布を用いれば、指示方向との関係の強弱によってエッジ画素を選り分けることができるので、精度よく指示方向を特定することができる。

なお、上述した第１方向ベクトルでは、勾配の大きさＰＯＷ（Ｓ）の自由度は捨象して指示方向の特定を行った。しかしながら、勾配Ｓは、厳密には、勾配の大きさＰＯＷ（Ｓ）という自由度を持っているので、勾配の大きさＰＯＷ（Ｓ）の自由度を含めた第２方向ベクトルの分布から、指示方向を特定するようにすれば、より精度の高い指示方向の特定が可能となる。

また、上述したように勾配の大きさＰＯＷ（Ｓ）は、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、上述した第２方向ベクトルでは、最終的に算出される第２方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、より精度よく指示方向を特定することができる。

さらに、上述したように勾配の大きさは、指の付け根側から指の先端付近に向けて大きくなる傾向があるので、上述した第３方向ベクトルでは、最終的に算出される第３方向ベクトルの合成ベクトルに対して、このような傾向を含めることができるので、精度よく指示方向を特定することができる。

以上が、画像処理装置１の全体の動作の概要である。次に、図１及び図５（ａ）〜図９（ｄ）に基づき、パターンマッチング過程における画像処理装置１の各動作の詳細について説明する。

まず、図５（ａ）及び（ｂ）、並びに図６（ａ）及び（ｂ）に基づき、照合領域と照合されるモデルパターンの具体例について説明する。

図５（ａ）は、指腹のモデルパターンの一例を示す概要図である。また、図５（ｂ）は、周囲が明るい場合における、指腹の周囲を囲む影のモデルパターンの一例を示す概要図であり、図５（ａ）のモデルパターンと比較すると、各画素の勾配方向が逆向き（１８０度異なる向き）になっている。

また、図５（ａ）は、バックライトの光の反射光が指腹に当たった状態を基礎として撮像された画像データを想定したものであり、中央に向かうほど明るくなっている様子を示している。一方、図５（ｂ）は、指の影が撮像された画像データを想定したものであり、画像のエッジ部分に向けて明るくなっている様子を示している。

図６（ａ）は、周囲が暗い場合における画像データと照合されるモデルパターンの他の例を示す概要図である。図５（ａ）のモデルパターンとの違いは、１つの画素ごとに、２つの勾配方向の自由度が与えられている点である。このようなモデルパターンを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。一方、図６（ｂ）は、指の影が撮像された画像データを想定したものであり、図６（ａ）と同様に、１つの画素ごとに、２つの勾配方向の自由度が与えられている。

次に、図７は、図１に示す画像処理装置１の動作のうち、パターンマッチング過程の動作を示すフローチャートである。

まず、Ｓ２０１では、一致画素数算出部５が、各勾配方向ＡＮＧ（Ｓ）の一致画素数を全て「０」に初期化して、Ｓ２０２に進む。

Ｓ２０２では、一致画素数算出部５が、１画素ごとに、モデルパターンによる照合処理を行って、Ｓ２０３に進む。

Ｓ２０３では、一致画素数算出部５が、Ｓ２０２での照合処理によって、モデルパターンと勾配方向ＡＮＧ（Ｓ）が一致したかどうかを判定する。勾配方向ＡＮＧ（Ｓ）が一致すれば（Ｙｅｓ）、Ｓ２０４に進み、一致しなければ（Ｎｏ）、Ｓ２０５に進む。

Ｓ２０４では、一致画素数算出部５が、各勾配方向ＡＮＧ（Ｓ）の一致画素数について、Ｓ２０２でモデルパターンと勾配方向ＡＮＧ（Ｓ）が一致した画素数を加算して更新し、Ｓ２０５に進む。

Ｓ２０５では、一致画素数算出部５が、モデルパターンの全要素（画素）について照合を完了したかどうかを判定する。照合が完了していれば（Ｙｅｓ）、Ｓ２０６に進み、完了していなければ（Ｎｏ）、Ｓ２０２に進み、モデルパターンの次の要素（画素）について照合処理を行う。

Ｓ２０６では、一致画素数算出部５が、勾配方向ＡＮＧ（Ｓ）毎の一致画素数を合算した値を出力し、Ｓ２０７へ進む。Ｓ２０６で出力された合算値は、図４のＳ１０４での対象物位置・方向特定過程で使用される。

Ｓ２０７では、対象物方向特定部９が、勾配方向ＡＮＧ（Ｓ）毎の一致画素数に基づき、対象物の指示方向を特定して出力し、パターンマッチング過程を終了する。本実施形態における、対象物の指示方向の特定方法については、以下で詳しく述べる。

次に、図８（ａ）〜図９（ｆ）に基づき、対象物方向特定部９による対象物の指示方向特定処理の具体例について説明する。

図８（ａ）及び（ｂ）は、一致画素数算出部５が算出した、勾配方向ＡＮＧ（Ｓ）毎の一致方向の存否を示す一致画素数のパターン（又は方向一致パターン）と、対象物の指示方向との対応関係を示す対応関係テーブルの一例を示す概要図である。ここで、方向一致パターンとは、勾配方向ＡＮＧ（Ｓ）毎で「有」「無」のいずれかの値を取るデータであり、「有」は、勾配方向ＡＮＧ（Ｓ）の一致画素数が１以上であり、「無」は、勾配方向ＡＮＧ（Ｓ）の一致画素数が０であることを示している。

なお、図８（ａ）に示す対応関係テーブルは、モデルパターンとマッチした勾配方向の偏りが大きい場合に好適である。

対象物方向特定部９は、一致画素数算出部５で算出された勾配方向ＡＮＧ（Ｓ）毎の一致画素数が、図８（ａ）及び（ｂ）に例示されるような対応関係テーブルの一致画素数のどのパターンに該当するかを判定し、対象物の指示方向を特定する。

次に、対応関係テーブルを用いた指示方向の特定処理について、さらに詳しく述べる。

図８（ａ）は、周囲が暗い場合における対応関係テーブルの一例を示す概要図であり、図８（ｂ）は、周囲が明るい場合における対応関係テーブルの一例を示す概要図であり、図８（ａ）の対応関係テーブルと比較すると、対象物の指示方向が逆向き（１８０度異なる向き）になっている。

図８（ａ）は、バックライトの光の反射光が指の腹に当たった状態を基礎として撮像された画像データを想定したものであり、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ＡＮＧ（Ｓ）とは逆向き（１８０度異なる向き）として対応付けられている。

一方、図８（ｂ）は、指の影が撮像された画像データを想定したものであり、撮像画像は、画像のエッジ部分に向けて明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ＡＮＧ（Ｓ）と同じ向きとして対応付けられている。

なお、図８（ａ）及び（ｂ）においては、照合処理によって３種類の勾配方向ＡＮＧ（Ｓ）がマッチングした場合のみを図示しているが、４種類以上の勾配方向ＡＮＧ（Ｓ）がマッチングした場合においても同様の対応関係テーブルが定義できる。

また、対応関係テーブルは、可能性のある全てのマッチングの組合せにおいて定義しても良いし、図８（ａ）及び（ｂ）に示すように一部のマッチングの組合せのみを定義しておいても良い。一部の組合せのみを定義している場合、対象物方向特定部９は、定義されていない勾配方向ＡＮＧ（Ｓ）のマッチング状態が出現したときは、他のマッチング状態と同じ方向を特定してもよいし、方向が未定義（無方向）であるとしてもよい。

次に、図９（ａ）は、勾配特徴量算出部２が算出した、画素毎の勾配方向ＡＮＧ（Ｓ）の分布の一例を示す概要図であり、図９（ｂ）は、一致画素数算出部５が算出した、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布の一例（対応付け情報）を示す概要図である。なお、勾配特徴量算出部２によって「無方向」と特定された画素（エッジ画素ではない画素）は、図９（ａ）においては、空箱として示してある。また、図９（ａ）は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの一例である。

一方、図９（ｄ）は、勾配特徴量算出部２が算出した、画素毎の勾配方向ＡＮＧ（Ｓ）の分布の他の一例を示す概要図であり、図９（ｅ）は、一致画素数算出部５が算出した、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布の他の一例（対応付け情報）を示す概要図である。なお、勾配特徴量算出部２によって「無方向」と特定された画素（エッジ画素ではない画素）は、図９（ｄ）においては、空箱として示してある。また、図９（ｄ）は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの他の一例である。

なお、図９（ａ）及び（ｂ）に示す一致画素数の分布は、モデルパターンとマッチした勾配方向の偏りが小さい場合に好適である。なお、一致画素数の分布は、一致画素数が大きな勾配方向ＡＮＧ（Ｓ）が、指示方向との関係が強いものとして設定される。

まず、図９（ａ）では、画像の上部にエッジ画素が集中して存在しており、照合処理によってマッチングしたエッジ画素は、網掛け部分で示されている。図９（ｂ）の勾配方向ＡＮＧ（Ｓ）毎の一致画素数を参照すると、右下方向、下方向、左下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしている。

また、図９（ａ）は、周囲が暗い場合の画像データであるから、対象物方向特定部９は、対応関係テーブルとして、図８（ａ）に示す対応関係テーブルを用いることになる。図８（ａ）を参照すると、右下方向、下方向、左下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしたパターンに対応付けられた対象物の指示方向は、上方向であると定義されている。したがって、図９（ａ）に示す撮像画像では、対象物方向特定部９は、対象物の指示方向を、上方向であると特定することになる（図９（ｃ））。

一方、図９（ｄ）では、画像の左上部にエッジ画素が集中して存在しており、照合処理によってマッチングしたエッジ画素は、網掛け部分で示されている。図９（ｅ）の勾配方向ＡＮＧ（Ｓ）毎の一致画素数を参照すると、右方向、右下方向、下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしている。図９（ａ）に示す例と同じように、図８（ａ）に示す対応関係テーブルを参照すると、右方向、右下方向、下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしたパターンに対応付けられた対象物の指示方向は、左上方向であると定義されている。したがって、図９（ｄ）に示す撮像画像では、対象物方向特定部９は、対象物の指示方向を、左上方向であると特定することになる（図９（ｆ））。

なお、周囲が明るい場合の画像データについては、対象物方向特定部９は、図８（ｂ）の対応関係テーブルを参照することによって、対象物の指示方向を特定することになる。

以上説明したように、本実施形態における画像処理装置１によれば、撮像された撮像画像の画像データから、所定の閾値以上の勾配の大きさＰＯＷ（Ｓ）を持つ画素をエッジ画素として特定した上で、パターンマッチングの技術を用いて、撮像対象物の指示方向及び指示位置を特定するので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示方向及び指示位置を高精度に特定することができる。

なお、以上の説明では、対象物方向特定部９は、図８（ａ）及び（ｂ）に示すような、勾配方向ＡＮＧ（Ｓ）毎の一致画素数のパターンと、対象物の指示方向との対応関係テーブルを用いる構成としたが、このような構成に限定されるものではない。すなわち、対応関係テーブルを用いずに対象物の指示方向を特定する構成としてもよい。

次に、対応関係テーブルを用いない場合について、図１０（ａ）〜（ｅ）に基づき、具体例を説明する。

図１０（ａ）は、勾配特徴量算出部２が算出した、画素毎の勾配方向ＡＮＧ（Ｓ）の分布のさらに他の一例を示す概要図であり、図１０（ｂ）は、一致画素数算出部５が算出した、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布のさらに他の一例を示す概要図である。なお、図９（ａ）及び（ｄ）と同様、勾配特徴量算出部２によって「無方向」と特定された画素（エッジ画素ではない画素）は、空箱として示してある。

また、図１０（ａ）は、図９（ａ）及び（ｂ）と同様、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データのさらに他の一例である。

図１０（ａ）では、照合処理によってマッチングしたエッジ画素が、網掛け部分として示されており、右下方向、下方向、左下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしている。

ここで、各勾配方向ＡＮＧ（Ｓ）について、一致画素数を長さとするベクトル（第１方向ベクトル）を定義すると、図１０（ｃ）に示すベクトル５１のような３つの第１方向ベクトルが得られる。

次に、図１０（ｃ）に示すベクトル５１に示された３つの第１方向ベクトルを合成すると、図１０（ｄ）に示すベクトル５２のような合成ベクトルが得られる。

ここで、図１０（ａ）は、バックライトの光の反射光が指の腹に当たった状態を基礎として撮像された画像データの例であり、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向は、画像中の勾配方向ＡＮＧ（Ｓ）とは逆向き（１８０度異なる向き）となると考えられる。

したがって、対象物方向特定部９は、図１０（ｄ）に示すベクトル５２を逆向き（１８０度異なる向き）に変換した方向、すなわち、上方向を、対象物の指示方向として特定することになる（図１０（ｅ））。

なお、周囲が明るい場合の画像データについては、対象物方向特定部９は、各勾配方向ＡＮＧ（Ｓ）について、上述した第１方向ベクトルを定義し、その第１方向ベクトルを全て合成した結果得られた合成ベクトルが示す方向を、そのまま、対象物の指示方向として特定することになる。

なお、以上の説明では、各勾配方向ＡＮＧ（Ｓ）について、一致画素数を長さとする第１方向ベクトルを定義したが、一致画素数そのものではなく、各勾配方向ＡＮＧ（Ｓ）について、一致画素数と、勾配の大きさＰＯＷ（Ｓ）との積を長さとするベクトル（第２方向ベクトル）を定義してもよい。

また、各勾配方向ＡＮＧ（Ｓ）について、勾配の大きさＰＯＷ（Ｓ）の平均値を算出し、該平均値を長さとするベクトル（第３方向ベクトル）を定義してもよい。

さらに、各勾配方向ＡＮＧ（Ｓ）について、勾配の大きさＰＯＷ（Ｓ）のメディアン（中央値）を算出し、該メディアンを長さとするベクトル（第３方向ベクトル）を定義してもよい。

また、以上の説明では、対象物座標特定部１１は、パターンマッチング過程により、一致画素数を得ることができたエッジ画素の全てを用いて、対象物の指示位置を特定したが、このような特定方法に限定されるものではない。

例えば、予め一致画素数の下限の閾値を準備しておき、パターンマッチング過程によって得られた一致画素数の合算値が、当該閾値を下回る場合は、一致画素数が得られたエッジ画素については、対象物の指示位置の特定に用いない（一致画素数を０とする）ようにしても良い。このような構成とすることで、画像データ中のノイズ等により生じた不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。

〔第２の実施形態〕
本発明の第２の実施形態である画像処理装置１（電子機器２０）について図１、図８、図１１及び図１２に基づいて説明すれば、以下の通りである。

第１の実施形態では、エッジ抽出部３がエッジ画素を特定する際の所定の閾値は、１つだけであった。

しかしながら、対象物の指示方向をより高い精度で求めたい場合、対象物の置かれる角度等の変動に対して比較的安定した勾配の大きさＰＯＷ（Ｓ）が得られる対象物の先端付近のみが、エッジ画素として特定されるよう、前記所定の閾値を大きめに設定する必要がある。

一方、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の先端付近のみならず、対象物の接触面全体が、エッジ画素として特定されるよう、前記所定の閾値をあまり大きく設定できないという問題が生じる。

第２の実施形態の画像処理装置１（電子機器２０）では、以上のような問題点を解決するために、エッジ抽出部３が、エッジ画素を特定する際の閾値を２つ設定できるようにした点が、第１の実施形態と異なっており、それ以外の構成は、第１の実施形態と同様である。なお、第２の実施形態における画像処理装置１の構成は、第１の実施形態における画像処理装置１の構成と同一で動作の一部が異なっているだけなので各構成についての説明は省略し、ここでは、本実施形態の画像処理装置１の動作の概要について説明する。

なお、全体的な動作の概要については、図４に示す第１の実施形態の画像処理装置１における全体的な動作の概要とほぼ同一であるので、説明を省略する。但し、エッジ画素特定過程においては、図１に示すエッジ抽出部３が、第１閾値を用いて第１エッジ画素を特定し、第２閾値を用いて第２エッジ画素を特定する点が第１の実施形態と異なる。

次に、第１の実施形態とは異なる動作を行う本実施形態の画像処理装置１のパターンマッチング過程について、図８、図１１及び図１２に基づいて説明する。

図１１は、本実施形態の画像処理装置１におけるパターンマッチング過程の動作を示すフローチャートである。

まず、Ｓ３０１では、一致画素数算出部５が、第１エッジ画素についての各勾配方向ＡＮＧ（Ｓ）の一致画素数を全て「０」に初期化して、Ｓ３０２に進む。

Ｓ３０２では、一致画素数算出部５が、第２エッジ画素についての各勾配方向ＡＮＧ（Ｓ）の一致画素数を全て「０」に初期化して、Ｓ３０３に進む。

Ｓ３０３では、一致画素数算出部５が、１画素ごとに、第１エッジ画素に対してモデルパターンによる照合処理を行って、Ｓ３０４に進む。

Ｓ３０４では、一致画素数算出部５が、Ｓ３０３での照合処理によって、モデルパターンと勾配方向ＡＮＧ（Ｓ）が一致したかどうかを判定する。勾配方向ＡＮＧ（Ｓ）が一致すれば（Ｙｅｓ）、Ｓ３０５に進み、一致しなければ（Ｎｏ）、Ｓ３０７に進む。

Ｓ３０５では、一致画素数算出部５が、第２エッジ画素に対してモデルパターンによる照合処理を行って、Ｓ３０６に進む。

本実施形態においては、第１エッジ画素を特定するための第１閾値よりも、第２エッジ画素を特定するための第２閾値のほうを、大きく設定する。従って、第２エッジ画素は、第１エッジ画素よりも、勾配の大きさＰＯＷ（Ｓ）が大きくなる。また、第１閾値及び第２閾値の２つの閾値の大小関係より、第２エッジ画素の位置には、必ず、第１エッジ画素が存在することになる。

よって、Ｓ３０５での照合処理によって、第２エッジ画素でのマッチング結果が必ず得られることになる。換言すれば、第２エッジ画素とモデルパターンの照合を行うと、必ず、勾配方向ＡＮＧ（Ｓ）が一致する結果が得られることになる。

Ｓ３０６では、第１エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数、及び第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数について、Ｓ３０３及びＳ３０５でモデルパターンと勾配方向ＡＮＧ（Ｓ）が一致した画素数を新たに加算して更新し、Ｓ３０７に進む。

Ｓ３０７では、一致画素数算出部５が、モデルパターンの全要素（画素）について照合を完了したかどうかを判定する。照合が完了していれば（Ｙｅｓ）、Ｓ３０８に進み、完了していなければ（Ｎｏ）、Ｓ３０３に進み、モデルパターンの次の要素について照合処理を行う。

Ｓ３０８では、一致画素数算出部５が、第１エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数を合算した値、及び、第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数を合算した値を出力し、Ｓ３０９へ進む。Ｓ３０８で出力された合算値は、図４のＳ１０４での対象物位置・方向特定過程で使用される。

Ｓ３０９では、対象物方向特定部９が、第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布に基づき、対象物の指示方向を特定して出力し、パターンマッチング過程を終了する。

次に、図８（ａ）及び（ｂ）、並びに図１２（ａ）〜（ｃ）に基づき、対象物方向特定部９による対象物の指示方向特定処理の具体例について説明する。本実施形態における、対象物の指示方向の特定方法については、以下で詳しく述べる。

図１２（ａ）は、勾配特徴量算出部２が算出したエッジ画素毎の勾配方向ＡＮＧ（Ｓ）の分布の様子を示す概要図である。

また、図１２（ｂ）は、一致画素数算出部５が算出した第１エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布の一例を示す概要図であり、図１２（ｃ）は、第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布の一例を示す概要図である。

なお、図１２（ａ）では、勾配特徴量算出部２によって「無方向」と特定された画素（エッジ画素ではない画素）は、空箱として示してある。また、図１２（ａ）は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データのさらに他の一例である。

図１２（ａ）では、照合処理によってマッチングしたエッジ画素は、濃い網掛け部分と薄い網掛け部分で示されている。なお、薄い網掛け部分が、第１エッジ画素かつ第２エッジ画素として特定された画素であり、濃い網掛け部分が、第１エッジ画素としてのみ特定された画素である。

ここで、上述したように、対象物の先端付近は、対象物の表示面への接触角度等にあまり影響を受けず、比較的安定した勾配の大きさＰＯＷ（Ｓ）を持つことから、第２エッジ画素として、対象物の先端付近のエッジのみが特定されるように、第２閾値を設定している。

次に、図１２（ｂ）に示す第１エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布を参照すると、８方向全ての勾配方向ＡＮＧ（Ｓ）がマッチングしている。従って、対象物の接触部分の形状は、丸に近いものであると考えられ、パターンマッチング過程により、ノイズ等ではなく、正しく対象物を検知できていると考えられる。しかしながら、８方向全ての勾配方向ＡＮＧ（Ｓ）がマッチングしていることから、このままでは対象物の指示方向を正しく特定できないおそれがある。

一方、図１２（ｃ）に示す第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布を参照すると、右方向、右下方向、下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしている。

ここで、第２エッジ画素として、対象物の先端付近のエッジのみが特定されるようにしているから、第２エッジ画素の勾配方向ＡＮＧ（Ｓ）毎の一致画素数をもとに、対象物の指示方向を特定することで、精度よく指示方向を特定することができる。

図１２（ａ）は、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの例であることから、勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布と対象物の指示方向の対応付け情報として、図８（ａ）に示す対応関係テーブルを参照すると、右方向、右下方向、下方向の３つの勾配方向ＡＮＧ（Ｓ）がマッチングしたパターンに対応付けられた対象物の指示方向は、左上方向であると定義されている。

したがって、図１２（ａ）の例では、対象物方向特定部９は、対象物の指示方向を、左上方向であると特定できることになる（図１２（ｃ））。

なお、周囲が明るい場合の画像データについては、対象物方向特定部９は、図８（ｂ）の対応関係テーブルを参照することによって、対象物の指示方向を特定することになる。

以上説明したように、第２の実施形態における画像処理装置１によれば、ノイズ等の出現している位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を特定できるとともに、対象物の指示方向をより精度よく特定することができる。

なお、以上の説明では、対象物方向特定部９は、図８（ａ）及び（ｂ）に示すような、方向一致パターンと、対象物の指示方向との対応関係を示す対応関係テーブルを用いる構成としたが、このような構成に限定されるものではない。例えば、第１の実施形態で説明したのと同様に、対応関係テーブルを用いずに対象物の指示方向を特定する構成としてもよい。すなわち、対象物方向特定部９を、各勾配方向ＡＮＧ（Ｓ）について、一致画素数を長さとした第１方向ベクトルを定義し、その第１方向ベクトルを全て合成した結果得られた合成ベクトルが示す方向から、対象物の指示方向を特定する構成としてもよい。

また、以上の説明では、対象物座標特定部１１は、パターンマッチング過程により、一致画素数を得ることができたエッジ画素全てを用いて、対象物の指示位置を特定する構成としていたが、このような構成に限定されるものではない。たとえば、第１の実施形態で説明したのと同様に、あらかじめ一致画素数の下限の閾値を準備しておき、パターンマッチング過程によって得られた一致画素数の合算値が、下限の閾値を下回る場合は、一致画素数が得られたエッジ画素については、対象物の指示位置の特定に使用しない（一致画素数を０とする）構成としてもよい。このような構成とすることで、画像データ中のノイズ等により生じた不当なエラー画素の影響を排除し、安定して対象物の指示位置を特定することが可能となる。

以上のように、所定の閾値は、予め定められた第１閾値と、該第１閾値よりも大きい第２閾値とを、少なくとも含んでいても良い。

また、本実施形態の画像処理装置１の一致画素数算出部５は、第１エッジ画素について照合領域とモデルパターンとの照合を行った結果から、第１エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数（第１合致度）及び第２エッジ画素について照合を行った結果から、第２エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数（第２合致度）を算出する。

ここで、上述したように、例えば、指の先端付近の勾配の大きさＰＯＷ（Ｓ）は比較的大きく、指の付け根側の勾配の大きさＰＯＷ（Ｓ）の大きさは小さくなる傾向がある。

そこで、例えば、指の先端付近の勾配Ｓを検出するための閾値を第２閾値とし、少なくとも指の付け根側の勾配Ｓを検出するための閾値を第１閾値とすれば、第１閾値以上の画素によって、指全体のエッジ（第１エッジ画素）を検出することができ、第２閾値以上の画素によって、指の先端付近のエッジ（第２エッジ画素）を検出することができる。

なお、第１合致度は、指全体のエッジに関係する一致画素数であり、第２合致度は、指の先端付近のエッジに関係する一致画素数となる。

一方、本実施形態の画像処理装置１の対象物座標特定部１１は、第１エッジ画素毎に算出された、第１エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数、及び第２エッジ画素毎に算出された、第２エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数の、合致領域上の分布から指示位置を特定する。

ここで、上述したように例えば、指の先端付近の勾配Ｓを検出するための閾値を第２閾値とし、少なくとも指の付け根側の勾配Ｓを検出するための閾値を第１閾値とすれば、一致画素数が大きい第１エッジ画素は、指の腹の中心に近く、一致画素数が大きい第２エッジ画素は、指の先端付近の位置（以下、先端位置という）に近くなる傾向を示す。

よって、第１エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布から特定した指示位置は、指の腹の中心に近くなり、第２エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布から特定した指示位置は、先端位置に近くなる。

また、第１エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数及び第２エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数の分布から特定した指示位置は、指の腹の中心と、先端位置との中間の位置に近くなる。

よって、第１合致度及び第２合致度のうち少なくとも一方の、合致領域上の分布から指示位置を特定すれば、指の腹の中心、先端位置、又は中間の位置に近い位置を指示位置として特定することが可能となる。

また、第１エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数、第２エッジ画素に関する勾配方向ＡＮＧ（Ｓ）毎の一致画素数又はこれらの一致画素数の組合せのいずれかを選択することにより、指の腹の中心、先端位置、又は中間の位置に近い位置のいずれかを対象物の指示位置として特定することも可能となる。

〔実施の形態３〕
第１の実施形態や第２の実施形態においては、対象物の指示位置の特定方法として、画素毎の一致画素数の分布の重心位置として特定する方法、一致画素数のが最大である位置として特定する方法、合致領域を、そのまま、対象物の存在範囲（位置及び大きさ）として特定する方法、一致画素数の分布の重心又は一致画素数の分布が最大である位置を中心として、モデルパターンの大きさ分の範囲を、対象物の存在範囲（位置及び大きさ）として特定する方法などを例示して説明した。

ところで、ノイズ等の出現している位置を誤って対象物の指示位置として特定しないようにするには、対象物の接触面全体が、エッジ画素として特定されるようにして、パターンマッチングによって、対象物の形状を比較的厳密に照合することが望ましい。したがって、第１の実施形態における、エッジ画素を特定するための閾値や、第２の実施形態における、第１エッジ画素を特定するための第１閾値は、あまり大きく設定することができない。

しかしながら、例えば、人間の手や指を検出する場合、表示面に対する手や指の角度の変動によって、接触している部位のうち、先端では無い側（指であれば、付け根側）の輝度が変動し、それに従い付け根側のエッジの面積や形状が変化する。

よって、あまり閾値（第１閾値）を小さくしすぎると、接触している部位のうち、先端では無い側の面積が大きくなり、閾値（第１閾値）を用いて特定したエッジ画素の一致画素数を用いて位置を特定した場合、安定性に欠けることになる。したがって、閾値（第１閾値）の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題点が生じる。

言い換えれば、上述した対象物の指示位置は、ノイズ等の影響や、対象物の接触面全体の形状の変化による影響を受けやすいと言える。

第３の実施形態の画像処理装置１（電子機器２０）では、以上のような問題点を解決するために、まず対象物の指示方向を特定し、その後に、特定された対象物の指示方向を用いて、対象物の指示位置（又は先端位置）を特定する方法を採用している点が、上述した実施形態と異なっている。

第２の実施形態の説明で述べたように、対象物の接触面に対する角度等の変動に対して比較的安定した勾配の大きさＰＯＷ（Ｓ）が得られる対象物の先端付近のデータを用いて、対象物の指示方向を特定することにより、精度よく指示方向を特定することができる。

また、精度のよい指示方向が特定できれば、対象物の先端位置も精度よく特定できることになる。したがって、対象物の先端位置を対象物の指示位置として特定すれば、安定した位置を特定できることになる。

本発明の第３の実施形態の画像処理装置１について図１、図１３及び図１４に基づいて説明すれば、以下の通りである。なお、第３の実施形態における画像処理装置１の構成は、第１の実施形態及び第２の実施形態における画像処理装置１の構成と同一であるため、説明を省略する。

まず、本発明の第３の実施形態である画像処理装置１の動作の概要について説明する。

全体的な動作の概要については、図４に示す第１の実施形態の画像処理装置１における全体的な動作の概要と同一であるので、説明を省略する。

次に、第３の実施形態の画像処理装置１の動作として、第１の実施形態及び第２の実施形態とは異なる動作を行う対象物位置特定過程について、図１３及び図１４に基づいて説明する。

図１３は、本実施形態の画像処理装置１における対象物位置特定過程の動作を示すフローチャートである。なお、ここでは、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データに対して動作することを想定している。

まず、Ｓ４０１では、対象物座標特定部１１が、対象物方向特定部９によって特定された対象物の指示方向を、１８０度回転させた勾配方向ＡＮＧ（Ｓ）を特定した後に、その勾配方向ＡＮＧ（Ｓ）を有する合致領域内のエッジ画素を特定して、Ｓ４０２へ進む。

なお、Ｓ４０１で、対象物の指示方向を１８０度回転させているのは、周囲が暗い場合の画像データを想定しており、撮像画像は中央に向かうほど明るくなる傾向を示すことから、対象物の指示方向と、対象物の先端位置の画素の勾配方向は、互いに反対である（２つの方向は１８０度の角度をなす）ためである。

一方、周囲が明るい場合の画像データに対しては、Ｓ４０１において、対象物方向特定部９によって特定された対象物の指示方向と同一の勾配方向ＡＮＧ（Ｓ）であるエッジ画素を特定するようにすればよい。

Ｓ４０２では、対象物座標特定部１１が、Ｓ４０１で特定された各エッジ画素の勾配の大きさＰＯＷ（Ｓ）を調べ、最も勾配の大きさＰＯＷ（Ｓ）の大きい画素を、対象物の指示位置として特定し、対象物位置特定過程を終了する。

次に、図１４（ａ）及び（ｂ）に基づき、対象物座標特定部１１による対象物の対象物位置特定処理の具体例について説明する。

図１４（ａ）及び（ｂ）は、勾配特徴量算出部２が算出したエッジ画素毎の勾配方向ＡＮＧ（Ｓ）と、対象物方向特定部９が特定した対象物の指示方向の一例を示す概要図である。なお、勾配特徴量算出部２によって「無方向」と特定された画素（エッジ画素ではない画素）は、図１４（ｂ）では空箱として示してある。

また、図１４（ｂ）は、周囲が暗い場合に、バックライトの光の反射光が指の腹に当たった状態を撮像した画像データの一例である。

図１４（ａ）に示すように、対象物の指示方向は左上方向と特定されているため、対象物の指示方向を１８０度回転させた勾配方向ＡＮＧ（Ｓ）は右下方向となる。また、勾配方向ＡＮＧ（Ｓ）が右下方向であるエッジ画素を特定すると、図１４（ｂ）の薄い網掛け部分及び濃い網掛け部分となる。そして、最も勾配の大きさＰＯＷ（Ｓ）の大きい画素は、図示していない勾配の大きさＰＯＷ（Ｓ）を参照することにより、濃い網掛け部分の画素であると特定される。したがって、対象物座標特定部１１は、対象物の指示位置として、濃い網掛け部分の画素の位置を特定することになる。

ここで、例えば、対象物方向特定部９が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が多い領域は、合致領域のうち、対象物の先端位置に近い領域であると考えられる。

また、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したとしても、合致領域上の先端位置に近い領域の位置や、先端位置に近い領域に含まれる画素の勾配方向はあまり変化しないと考えられる。

よって、以上説明したように、対象物座標特定部１１が、対象物方向特定部９が特定した指示方向と同一又は逆方向に近い勾配方向を持つ画素が存在する領域から対象物の先端位置を特定するようにすれば、対象物の接触面全体の形状、特に指の付け根側の画像の面積や形状が変化したか否かに関わらず、精度よく先端位置を特定することができる。

以上説明したように、第３の実施形態における画像処理装置１によれば、ノイズ等の出現している位置を誤って対象物の指示位置として特定されることを防ぎつつ、対象物の指示位置（先端位置）をより安定して取得することが可能となる。

また、対象物座標特定部１１は、合致領域に含まれるエッジ画素毎の勾配方向ＡＮＧ（Ｓ）の分布、対象物方向特定部９が特定した指示方向、及び勾配の大きさＰＯＷ（Ｓ）から、撮像画像上の対象物の先端位置を特定しても良い。

ところで、上述したように、指の付け根側から指の先端付近に向かう程、勾配の大きさＰＯＷ（Ｓ）は大きくなる傾向がある。よって、対象物方向特定部９が特定した指示方向と同一又は逆方向に近い勾配方向ＡＮＧ（Ｓ）を持つ画素が多く存在する領域のうち、画勾配の大きさＰＯＷ（Ｓ）が大きい画素の位置は、対象物の先端位置に近い位置であると考えられる。

よって、対象物座標特定部１１は、例えば、合致領域に含まれるエッジ画素毎の勾配方向ＡＮＧ（Ｓ）の分布、対象物方向特定部９が特定した指示方向から、指の先端付近の領域を特定し、さらに指の先端付近の領域から勾配の大きさＰＯＷ（Ｓ）が大きい画素の位置を先端位置とすることができるので、より高精度に対象物の先端位置を特定することができる。

また、対象物座標特定部１１は、合致領域に含まれるエッジ画素毎の勾配方向ＡＮＧ（Ｓ）のうち、対象物方向特定部９が特定した指示方向と同方向の勾配方向が算出されているエッジ画素の分布から、撮像画像上の対象物の先端位置を特定しても良い。

ところで、例えば、撮像センサ内蔵型液晶ディスプレイの場合、バックライトから出射した出射光が対象物で反射した反射光と、外光との重ね合わせ光が、撮像センサによって検出される。

このような重ね合わせ光を撮像センサによって撮像した撮像画像では、周囲が明るい場合と、周囲が暗い場合とで、エッジ部分の勾配方向ＡＮＧ（Ｓ）は、互いに逆向きになる傾向がある。

そこで、対象物座標特定部１１は、周囲が明るい場合を想定して、エッジ画素毎の勾配方向ＡＮＧ（Ｓ）のうち、指示方向と同方向の勾配方向ＡＮＧ（Ｓ）が算出されているエッジ画素の分布から先端位置を特定している。

これにより、周囲が明るい場合でも精度良く先端位置を特定することができる。

また、対象物座標特定部１１は、合致領域に含まれるエッジ画素毎の勾配方向ＡＮＧ（Ｓ）のうち、対象物方向特定部９が特定した指示方向と逆方向の勾配方向ＡＮＧ（Ｓ）が算出されているエッジ画素の分布から、撮像画像上の対象物の先端位置を特定しても良い。

対象物座標特定部１１は、周囲が暗い場合を想定して、エッジ画素毎の勾配方向ＡＮＧ（Ｓ）のうち、指示方向と逆方向の勾配方向ＡＮＧ（Ｓ）が算出されているエッジ画素の分布から先端位置を特定している。

これにより、周囲が暗い場合でも精度良く先端位置を特定することができる。

なお、以上の説明では、対象物座標特定部１１は、対象物の指示方向に対応する勾配方向ＡＮＧ（Ｓ）のエッジ画素のうち、勾配の大きさＰＯＷ（Ｓ）が最も大きい画素の位置を、対象物の指示位置として特定する構成としているが、この構成に限定されるものではない。例えば、対象物の指示方向に対応する勾配方向ＡＮＧ（Ｓ）を有する各エッジ画素の重心を、対象物の指示位置として特定する構成としてもよい。

また、対象物の指示方向に対応する勾配方向ＡＮＧ（Ｓ）を有するエッジ画素のうち、勾配の大きさＰＯＷ（Ｓ）が最も大きい画素の位置から、指示方向又は指示方向と１８０度異なる方向に、所定の量だけ移動した位置を、対象物の指示位置として特定する構成としてもよい。

〔第４の実施形態〕
ところで、第１の実施形態や第２の実施形態で説明した指示位置の特定方法では、対象物の指示位置は、対象物の接触部分の中心付近に特定されることになる。

しかしながら、第３の実施形態の説明した通り、第１の実施形態や第２の実施形態の特定方法では、閾値（第１閾値）の調整を非常に慎重に行わないと、対象物の指示位置を安定して取得できないという問題が生じた。

一方、第３の実施形態においては、対象物の先端位置は、対象物の接触部分の先端付近に近い位置に特定されることになる。しかしながら、対象物の指示位置として、対象物の接触部分の中心付近を特定したい場合、第３の実施形態だけでは、どの位置が中心付近であるかを、安定して取得し続けることは難しいという問題点が残存している。

第４の実施形態の画像処理装置１（電子機器２０）では、以上のような問題点を解決するために、対象物座標特定部１１は、前回の動作で第１の実施形態又は第２の実施形態の手法により指示位置が特定されており、前回及び今回の動作で第３の実施形態の手法により先端位置が特定された場合に、前回の動作で特定された先端位置から今回の動作で特定された先端位置までの変位量だけ、前回の動作で特定された指示位置を変位させた位置を今回の対象物の指示位置とするようにしている点が、上述した実施形態と異なっている。

これにより、前回の動作で指示位置が特定されたが、何らかの原因により、今回の動作で指示位置が特定できなかったとしても、前回及び今回の動作で先端位置が特定された先端位置を用いて指示位置を特定するようにしているので、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置を高精度に特定することができる。

次に、第１の実施形態〜第３の実施形態とは異なる動作を行う本実施形態の画像処理装置１の対象物位置特定過程について、図１及び図１５に基づいて説明する。

なお、第４の実施形態における画像処理装置１の構成は、第１の実施形態〜第３の実施形態における画像処理装置１の構成と同一であるため、説明を省略する。また、画像処理装置１の全体的な動作の概要についても、図４に示す第１の実施形態の画像処理装置１における全体的な動作の概要と同一であるので、説明を省略する。

図１５は、本実施形態の画像処理装置１における対象物位置特定過程の動作を示すフローチャートである。

以下では、本実施形態の画像処理装置１における全体的な動作のうち、第１の実施形態〜第３の実施形態とは異なる動作を行う対象物位置特定過程について説明する。

まず、所定の単位時間ごとに、対象物の第１の位置（指示位置）と、第１の位置とは異なる第２の位置（先端位置）とを記憶しておく。

ここで、対象物座標特定部１１は、撮像された画像データから、第１の位置として、第１の実施形態や第２の実施形態にあるような対象物の指示位置の特定方法を用いて、対象物の接触部分の中心付近の位置を特定する。

次に、対象物座標特定部１１は、撮像された画像データから、第２の位置として、第３の実施形態にあるような対象物の先端位置の特定方法を用いて、対象物の先端に近い位置を特定する。

次に、対象物座標特定部１１は、記憶されている第１の位置の読み出しを試みる。第１の位置の読み出しに成功した場合、すなわち、第１の位置が既に記憶されていた場合は、対象物座標特定部１１は、記憶されていた第２の位置を読み出し、撮像された画像データから特定された第２の位置と、既に記憶されていた第２の位置の、座標の差分を算出し、算出された差分を、記憶されていた第１の位置と足し合わせて、新しい第１の位置を算出する。

一方、第１の位置の読み出しに失敗した場合、すなわち、第１の位置がまだ記憶されていない場合は、撮像された画像データから特定された第１の位置を、そのまま、新しい第１の位置とする。

そして、対象物座標特定部１１は、新しい第１の位置を、対象物の指示位置として特定し、新しい第１の位置と、撮像された画像データから新たに特定された第２の位置とを記憶して、対象物位置特定過程を終了する。なお、第１の位置が特定されなかった場合は、記憶されている第１の位置を消去する。

次に、図１５は、以上で説明した第４の実施形態における対象物位置特定過程の動作を示すフローチャートである。なお、第４の実施形態においては、画像処理装置１は、所定の単位時間ごとに、本フローチャートに示す動作を繰り返し実行するものとする。

まず、Ｓ５０１では、対象物座標特定部１１が、対象物の第１の位置が記憶されているかどうかを調べる。記憶されていれば（Ｙｅｓ）、Ｓ５０４に進み、記憶されていなければ（Ｎｏ）、Ｓ５０２へ進む。

Ｓ５０２では、対象物座標特定部１１が、撮像された画像データから、第１の位置として、第１の実施形態や第２の実施形態における対象物の指示位置の特定方法を用いて、対象物の接触部分の中心付近の位置の特定を試みた後に、Ｓ５０３へ進む。

Ｓ５０３では、対象物座標特定部１１が、Ｓ５０２で中心付近の位置が特定できたかどうかを調べる。特定できていれば（Ｙｅｓ）、Ｓ５０５へ進み、特定できていなければ（Ｎｏ）、Ｓ５１２へ進む。

Ｓ５０４では、対象物座標特定部１１が、記憶されている第１の位置を読み出し、Ｓ５０５へ進む。

Ｓ５０５では、対象物座標特定部１１が、撮像された画像データから、第２の位置として、第３の実施形態における対象物の先端位置の特定方法を用いて、対象物の先端に近い位置の特定を試みた後に、Ｓ５０６へ進む。

Ｓ５０６では、対象物座標特定部１１が、Ｓ５０５で先端付近の位置が特定できたかどうかを調べる。特定できていれば（Ｙｅｓ）、Ｓ５０７へ進み、特定できていなければ（Ｎｏ）、Ｓ５１２へ進む。

Ｓ５０７では、対象物座標特定部１１が、対象物の第２の位置が記憶されているかどうかを調べる。記憶されていれば（Ｙｅｓ）、Ｓ５０８へ進み、記憶されていなければ（Ｎｏ）、Ｓ５０９へ進む。

Ｓ５０８では、対象物座標特定部１１が、Ｓ５０５で特定された新しい第２の位置と、既に記憶されている第２の位置の、座標の差分を算出し、算出された差分を、既に記憶されている第１の位置と足し合わせて、新しい第１の位置を算出し、Ｓ５０９へ進む。

Ｓ５０９では、対象物座標特定部１１が、Ｓ５０５で特定された新しい第２の位置を記憶し、Ｓ５１０へ進む。

Ｓ５１０では、対象物座標特定部１１が、第１の位置を、対象物の指示位置として特定し、Ｓ５１１へ進む。ここで、対象物の指示位置として特定される位置は、Ｓ５０８の処理が行われていれば、新しく算出された第１の位置であり、Ｓ５０８の処理が行われていなければ、記憶されていた第１の位置、あるいは、Ｓ５０２で特定された（まだ記憶されていない）第１の位置となる。

Ｓ５１１では、対象物座標特定部１１が、（新しい）第１の位置を記憶し、対象物位置特定過程を終了する。

Ｓ５１２では、対象物座標特定部１１が、記憶されている第１の位置、及び第２の位置を消去したうえで、対象物の指示位置を特定せずに、対象物位置特定過程を終了する。この場合、対象物の指示位置は特定できなかったことになる。

以上説明したように、第４の実施形態における画像処理装置１によれば、対象物の接触部分の中心付近の位置を、精度よく、安定して取得し続けることが可能になる。

最後に、画像処理装置１（電子機器２０）の各ブロック、特に勾配特徴量算出部２、エッジ抽出部３、一致画素数算出部５、合致領域特定部７、対象物方向特定部（方向特定手段）９及び対象物座標特定部（位置特定手段）１１は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１（電子機器２０）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、前記プログラムを格納したＲＯＭ（read only memory）、前記プログラムを展開するＲＡＭ（random access memory）、前記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１（電子機器２０）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１（電子機器２０）に供給し、そのコンピュータ（又はＣＰＵやＭＰＵ:micro processing unit）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。

さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。

また、画像処理装置１（電子機器２０）を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、コンピュータ読取可能媒体内に符号化されたコンピュータプログラムであって、前記画像処理装置が、前記読取可能媒体を備え、コンピュータによって実行されるときに、前記画像処理装置における前記各手段の機能を実現するコンピュータプログラムとして実現することもできる。

また、本発明は、以下のように表現することもできる。

すなわち、本発明の画像処理装置は、撮像された撮像画像の画像データ上の画素ごとに、隣接する画素との画素値差に応じた特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量が閾値以上であるエッジ画素を特定するエッジ特定手段と、前記エッジ画素の特定結果に基づいて、前記画像データ上の一部の領域に含まれる照合領域と、あらかじめ定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物の位置を特定する位置特定手段と、前記エッジ特定手段が特定したエッジ画素の、画素ごとの分布、及び、前記合致度算出手段が算出した合致度の、画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定する方向特定手段とを備えていても良い。

また、本発明の画像処理装置は、前記閾値は、第１閾値と、第１閾値よりも大きい第２閾値との、少なくとも２つの閾値を含み、前記エッジ特定手段は、前記特徴量算出手段により算出された特徴量が前記第１閾値以上である第１エッジ画素と、前記特徴量算出手段により算出された特徴量が前記第２閾値以上である第２エッジ画素の、少なくとも２種類のエッジ画素を特定し、前記合致度算出手段は、前記第１エッジ画素の特定結果に基づいた第１合致度と、前記第２エッジ画素の特定結果に基づいた第２合致度の、少なくとも２種類の合致度を算出し、前記位置特定手段は、前記合致度算出手段が算出した第１合致度と第２合致度のいずれか又は両方を用いて、対象物の位置を特定し、前記方向特定手段は、前記合致度算出手段が算出した第２合致度から、対象物の方向を特定しても良い。

また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の方向を示す勾配方向を含んでも良い。

また、本発明の画像処理装置は、前記合致度算出手段は、前記勾配方向ごとに、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する一致画素数を算出しても良い。

また、本発明の画像処理装置は、あらかじめ、前記勾配方向ごとの一致画素数と、対象物が指し示す方向とを対応付けた対応付け情報が定められており、前記方向特定手段は、前記対応付け情報と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。

また、本発明の画像処理装置は、前記方向特定手段は、前記勾配方向ごとの前記一致画素数を長さとしたベクトル量と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。

また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の大きさと、画素の輝度の勾配の方向を示す勾配方向を持つベクトル量を含み、前記方向特定手段は、前記勾配方向ごとの前記一致画素数に前期勾配の大きさを乗じた量を長さとしたベクトル量と、前記合致度の画素ごとの分布から、前記撮像画像上の対象物が指し示す方向を特定しても良い。

また、本発明の画像処理装置は、前記位置特定手段は、前記エッジ特定手段が特定した、前記エッジ画素の画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から、前記撮像画像上の対象物の位置を特定しても良い。

また、本発明の画像処理装置は、前記特徴量は、少なくとも、画素の輝度の勾配の大きさを含み、前記位置特定手段は、前記エッジ特定手段が特定した、前記エッジ画素の輝度の勾配の大きさ及び画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から、前記撮像画像上の対象物の位置を特定しても良い。

また、本発明の画像処理装置は、前記位置特定手段は、前記方向特定手段が特定した対象物が指し示す方向と同じ勾配方向を持つ、前記エッジ画素の画素ごとの分布と、前記合致度算出手段が算出した合致度の画素ごとの分布から、対象物の位置を決定しても良い。

また、本発明の画像処理装置は、前記位置特定手段は、前記方向特定手段が特定した対象物が指し示す方向を１８０度回転した勾配方向を持つ、前記エッジ画素の画素ごとの分布と、前記合致度算出手段が算出した合致度の画素ごとの分布から、指先位置を決定しても良い。

また、本発明の画像処理装置は、所定の単位時間ごとに、画像を撮像し、撮像された撮像画像から、前記撮像画像上の対象物の位置及び指し示す方向を特定することを繰り返すことを特徴とする画像処理装置であって、前記所定の単位時間ごとに、少なくとも、対象物の第１の位置と、第１の位置とは異なる第２の位置とを記憶する、位置記憶手段を備え、前記位置特定手段は、前記合致度算出手段が算出した合致度の、画素ごとの分布から特定された、前記撮像画像上の対象物の位置を、第１の位置として特定し、前記エッジ特定手段が特定した、前記エッジ画素の画素ごとの分布と、前記方向特定手段が特定した、対象物が指し示す方向と、前記合致度算出手段が算出した合致度の画素ごとの分布から特定された、前記撮像画像上の対象物の位置を、第２の位置として特定し、前記位置記憶手段に前記第１の位置が記憶されている場合は、前記特定された第１の位置を、前記位置記憶手段に記憶されている前記第１の位置と、前記位置記憶手段に記憶されている前記第２の位置と、前記特定された第２の位置から算出し直し、前記第１の位置を、対象物の位置として特定しても良い。

また、本発明の画像処理装置は、前記合致度算出手段は、算出した前記合致度が所定の閾値未満である場合には、前記合致度を０に設定しても良い。

以上の各構成では、主として撮像された撮像画像の画像データから、所定の閾値以上の特徴量を持つ画素をエッジ画素として特定した上で、パターンマッチングの技術を用いて、撮像対象物の指示方向及び指示位置を特定している。それゆえ、撮像画像中のノイズ等の位置を誤って対象物の指示位置として特定することを防ぎつつ、対象物の指示位置及び指示方向を高精度に特定することができる。

なお、本発明は、上述した画像処理装置（電子機器）の例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、また、〔実施の形態１〕〜〔実施の形態４〕の各項目にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の画像処理装置は、例えば携帯電話やＰＤＡなどのように、液晶などの表示装置のディスプレイに、指等の物体でタッチすることにより、操作や指示を行うような装置に適用することができる。具体的には、表示装置として、例えば、アクティブマトリクス型の液晶表示装置に用いることができると共に、電気泳動型ディスプレイ、ツイストボール型ディスプレイ、微細なプリズムフィルムを用いた反射型ディスプレイ、デジタルミラーデバイス等の光変調素子を用いたディスプレイの他、発光素子として、有機ＥＬ発光素子、無機ＥＬ発光素子、ＬＥＤ（Light Emitting Diode）等の発光輝度が可変の素子を用いたディスプレイ、フィールドエミッションディスプレイ（ＦＥＤ）、プラズマディスプレイにも利用することができる。

１ 画像処理装置
２ 勾配特徴量算出部（勾配特徴量算出手段）
３ エッジ抽出部（エッジ画素特定手段）
５ 一致画素数算出部（合致度算出手段）
７ 合致領域特定部（合致領域特定手段）
９ 対象物方向特定部（方向特定手段）
１１ 対象物座標特定部（位置特定手段）
３１，３２ 撮像画像
Ｓ 勾配（画素値勾配特徴量）
Ｓｘ 横方向勾配量（画素値勾配特徴量）
Ｓｙ 縦方向勾配量（画素値勾配特徴量）
ＰＯＷ（Ｓ） 勾配の大きさ（画素値勾配特徴量）
ＡＮＧ（Ｓ） 勾配方向（画素値勾配特徴量）

Claims (19)

1. 撮像された撮像画像の画像データから画素値勾配特徴量を算出する勾配特徴量算出手段と、
   前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定手段と、
   前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出手段と、
   前記合致度算出手段が算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定手段と、
   前記合致領域特定手段が特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布が、
   所定の接触面に接触する対象物の先端側の前記画素値勾配特徴量の大きさが、前記接触面に接触しない前記対象物の付け根側よりも大きくなるという傾向により特定の方向に偏っている場合に、
   その偏りから特定される方向を前記撮像画像上の対象物の指示方向を特定する方向特定手段とを備えていることを特徴とする画像処理装置。
2. 前記合致度算出手段は、前記照合領域上の前記エッジ画素特定手段によって特定された前記エッジ画素を含む領域と前記モデルパターンとの照合を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記合致度算出手段は、前記照合領域に含まれる注目画素を、前記画像データに含まれる全ての画素に合わせながら、前記照合領域を一画素づつ走査することによって複数の照合領域を設定するとともに、各照合領域について算出される合致度を、前記各照合領域に対応する各注目画素について算出することで、前記画像データに含まれる全ての画素について前記合致度を算出し、
   前記合致領域に含まれる画素毎の前記合致度の分布から、前記撮像画像上の対象物の指示位置を特定する位置特定手段を備えていることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の閾値は、予め定められた第１閾値と、該第１閾値よりも大きい第２閾値とを、少なくとも含んでおり、
   前記エッジ画素特定手段は、前記勾配特徴量算出手段が算出した前記画素値勾配特徴量の大きさが前記第１閾値以上である第１エッジ画素と、前記第２閾値以上である第２エッジ画素とを前記エッジ画素として特定し、
   前記合致度算出手段は、前記第１エッジ画素について前記照合領域と前記モデルパターンとの照合を行った結果から第１合致度、及び前記第２エッジ画素について前記照合を行った結果から第２合致度を、前記合致度として算出し、
   前記方向特定手段は、前記合致領域に含まれる前記第２エッジ画素毎の前記画素値勾配特徴量の分布から前記指示方向を特定し、
   前記位置特定手段は、前記合致領域に含まれる画素毎の前記第１合致度及び前記第２合致度のうち少なくとも一方の分布から、前記指示位置を特定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画素値勾配特徴量は、少なくとも画素値の勾配方向を示す特徴量であることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記合致度算出手段は、前記勾配方向毎に、前記照合領域に含まれる前記勾配方向と、前記モデルパターンに含まれる前記勾配方向とが一致する画素の数を示す一致画素数を、前記合致度として算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記勾配方向毎の一致画素数の分布と、前記指示方向との対応関係を示す対応付け情報
   が予め定められており、
   前記方向特定手段は、前記対応付け情報を参照して、前記合致度算出手段が算出した前記勾配方向毎の一致画素数の分布から前記指示方向を特定することを特徴とする請求項６に記載の画像処理装置。
8. 前記方向特定手段は、前記勾配方向毎の一致画素数を長さとする第１方向ベクトルを合成した合成ベクトルから特定される方向を、前記指示方向とすることを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記方向特定手段は、前記勾配方向毎の一致画素数と前記画素値勾配特徴量の大きさとの積を長さとする第２方向ベクトルを合成した合成ベクトルから特定される方向を、前記指示方向とすることを特徴とする請求項６又は７に記載の画像処理装置。
10. 前記方向特定手段は、前記勾配方向毎の、前記画素値勾配特徴量の大きさを長さとする第３方向ベクトルを合成した合成ベクトルから特定される方向を、前記指示方向を特定することを特徴とする請求項６又は７に記載の画像処理装置。
11. 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、及び前記方向特定手段が特定した前記指示方向から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項６に記載の画像処理装置。
12. 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向の分布、前記方向特定手段が特定した前記指示方向、及び該画素値勾配特徴量の大きさから、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項６に記載の画像処理装置。
13. 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と同方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項６に記載の画像処理装置。
14. 前記位置特定手段は、前記合致領域に含まれる前記エッジ画素毎の前記勾配方向のうち、前記方向特定手段が特定した指示方向と逆方向の前記勾配方向が算出されている前記エッジ画素の分布から、前記撮像画像上の対象物の先端位置を特定することを特徴とする請求項６に記載の画像処理装置。
15. 前記位置特定手段は、前回の動作で前記指示位置が特定されており、前回及び今回の動作で前記先端位置が特定された場合に、前回の動作で特定された前記先端位置から今回の動作で特定された前記先端位置までの変位量だけ、前回の動作で特定された前記指示位置を変位させた位置を今回の前記対象物の指示位置とすることを特徴とする請求項１１から１４までのいずれか１項に記載の画像処理装置。
16. 前記合致度算出手段は、算出された合致度が予め定められた閾値未満である場合には、前記合致度を０に設定することを特徴とする請求項１から１５までのいずれか１項に記載の画像処理装置。
17. 請求項１から１６までのいずれか１項に記載の画像処理装置における各手段としてコンピュータを動作させるための画像処理装置の制御プログラム。
18. 請求項１７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
19. 撮像された撮像画像の画像データを用いて、前記撮像画像上の対象物の指示方向を特定する機能を備えた画像処理装置の制御方法であって、
    前記画像データから画素値勾配特徴量を算出する勾配特徴量算出ステップと、
    前記勾配特徴量算出ステップで算出した前記画素値勾配特徴量の大きさが所定の閾値以上であるエッジ画素を特定するエッジ画素特定ステップと、
    前記画像データ上に設定される所定の大きさの照合領域と、予め定められたモデルパターンとを照合し、前記照合領域と前記モデルパターンとのマッチングの度合いを示す合致度を算出する合致度算出ステップと、
    前記合致度算出ステップで算出した前記合致度が最大となる前記照合領域を合致領域として特定する合致領域特定ステップと、
    前記合致領域特定ステップで特定した前記合致領域に含まれる前記エッジ画素毎の前記画素値勾配特徴量の分布が、
    所定の接触面に接触する対象物の先端側の前記画素値勾配特徴量の大きさが、前記接触面に接触しない前記対象物の付け根側よりも大きくなるという傾向により特定の方向に偏っている場合に、
    その偏りから特定される方向を前記撮像画像上の対象物の指示方向を特定する方向特定ステップとを含んでいることを特徴とする画像処理装置の制御方法。
    

Images