JP4721238B2 - 画像処理装置、画像処理方法、画像処理プログラム、およびコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、撮像された撮像画像の画像データに基づいて撮影対象の位置を取得するための画像処理装置に関するものである。

携帯電話やＰＤＡ（Personal Digital Assistants）などの各種機器に、画像表示部として液晶パネルを備えた画像表示装置（以下、「液晶表示装置」と呼ぶ。）が幅広く利用されている。特に、ＰＤＡでは、古くからタッチセンサを備えることにより、直接指などを液晶パネルに接触させることによって情報を入力するタッチ入力が可能となっている。また、携帯電話やその他の機器においても、タッチセンサを備える液晶表示装置が普及してきている。

このようなタッチセンサを備える液晶表示装置の一例が、特開２００６−２４４４４６号公報（特許文献１）に開示されている。

上記従来の液晶表示装置は、主としてエッジ検出回路、接触判定回路及び座標計算回路を備えている。エッジ検出回路は、撮影された画像のエッジを検出して、エッジ画像を得るようになっている。

また、接触判定回路は、エッジ検出回路によって得られたエッジ画像を用いて物体が表示画面に接触したか否かを判定するようになっている。この接触判定回路は、エッジ毎にその移動方向（エッジの座標の時間変化）を調べ、互いに逆方向に移動するエッジがある場合に物体が表示画面に接触したと判定するようになっている。これは、物体が接触しない限りはエッジが互いに逆方向に移動することはないという原理を利用したものである。具体的には、逆方向への移動量が所定の閾値以上の場合に接触したと判定することで、判定の精度を高めるようになっている。

さらに、座標計算回路は、物体が接触したと判定されたときに、エッジの重心を物体の座標位置として計算するようになっている。これにより、物体が接触する前に座標位置を計算しないようにして、位置算出の精度の向上を図ることを可能としている。

また、タッチセンサを備える液晶表示装置の他の例が、特開２００８−２５０９４９号公報（特許文献２）、特開２００８−２５０９５０号公報（特許文献３）、特開２００８−２５０９５１号公報（特許文献４）に開示されている。

上記特許文献２〜４に記載の液晶表示装置は、主として画素値勾配を特定する手段、モデルパターンと照合する合致度算出手段、合致度から指示位置を特定する指示位置特定手段とから、撮像対象の指示位置を特定するようになっている。

特開２００６−２４４４４６号公報 特開２００８−２５０９４９号公報 特開２００８−２５０９５０号公報 特開２００８−２５０９５１号公報

しかしながら、上記従来の液晶表示装置では、パネルに物体がタッチしているか否かの検出と、当該物体の座標位置を特定することを可能としているが、当該物体のパネルに対する近接度合いを特定することはできない。すなわち、当該物体がパネルに接触した場合にのみ、検出されたタッチ座標（位置）が出力される。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、撮像対象とパネルとの接触状態のみでなく、近接状態をも検出することを可能とすることにある。その結果、従来よりも柔軟な応答処理を実行可能な画像処理装置を提供することを目的とする。

本発明の１つの局面に従うと、パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出する勾配量算出手段と、画素毎の画素値の勾配量に基づいて、パネルと撮像対象とが近接且つ非接触状態であることを特定する近接特定手段とを備える、画像処理装置が提供される。

好ましくは、画像処理装置は、パネルと撮像対象とが接触状態であることを特定する接触特定手段をさらに備える。接触特定手段と近接特定手段とは、所定範囲内の画像値を有する画素に関して状態の特定を行う。接触特定手段と近接特定手段とは、画像データ中に含まれる画素値の勾配量、画素値の勾配方向、所定範囲の少なくともいずれかについて、互いに異なる基準に基づいて状態の特定を行う。

好ましくは、画像処理装置は、撮像対象に関するモデルパターンを記憶するメモリと、画像データ上の注目画素毎に、当該画素の画素値と複数の隣接画素の画素値とから勾配方向を特定する勾配方向特定手段と、注目画素の周囲で所定数の画素を含む照合領域とモデルパターンとの照合を行うことによって、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数から、照合領域とモデルパターンとの合致度を算出する合致度算出手段とをさらに備える。

好ましくは、勾配方向特定手段は、画素毎の勾配方向を特定する際に、画素の画素値、または画素の画素値と複数の隣接画素の画素値とに基づいて、当該画素値が所定範囲外である場合に画素の勾配方向を無方向と特定する。接触特定手段と近接特定手段とは、勾配方向特定手段による勾配方向の特定のために、画素の勾配方向を無方向と特定するための互いに異なる所定範囲を設定する。

好ましくは、画像処理装置は、勾配量が第１閾値以上である第１エッジ画素を特定する第１エッジ特定手段をさらに備える。接触特定手段と近接特定手段とは、第１エッジ特定手段による第１エッジ画素の特定のために、互いに異なる第１閾値を設定する。

好ましくは、画像処理装置は、第１エッジ画素のうち、勾配量が第１閾値よりも大きい第２閾値以上である第２エッジ画素を特定する第２エッジ特定手段と、第１エッジ画素数と第２エッジ画素数との比率及び合致度算出手段により算出された合致度に基づいて、撮像対象による指示位置を特定する位置特定手段とをさらに備える。接触特定手段と近接特定手段とは、第２エッジ特定手段による第２エッジ画素の特定のために、互いに異なる第２閾値基準を設定する、または、位置特定手段による指示位置の特定のために、第１エッジ画素数と第２エッジ画素数との比率を用いるか否かをそれぞれに設定する。

好ましくは、メモリは、複数種類のモデルパターンを記憶する。合致度算出手段は、モデルパターンに含まれる画素の勾配方向と一致する照合領域に含まれる画素の個数と、当該一致した画素の勾配方向の種類の組み合わせとに基づいて、合致度を算出する。接触特定手段と近接特定手段とは、合致度算出手段による合致度の算出のために、互いに異なる種類のモデルパターン、または互いに異なる組み合わせを設定する。

好ましくは、メモリは、異なる大きさのモデルパターンを記憶する。接触特定手段と近接特定手段とは、合致度算出手段による合致度の算出のために、互いに異なる大きさのモデルパターンを設定する。

好ましくは、画像処理装置は、合致度算出手段が算出した合致度が最大となる注目画素の位置に基づいて、撮像対象による撮像画像上の指示位置を特定する位置特定手段をさらに備える。

好ましくは、接触特定手段は接触特定の際に、パネル上の接触位置情報を特定する。近接特定手段は近接特定の際に、パネル上の近接位置情報を特定する。画像処理装置は、接触特定手段と近接特定手段とがそれぞれ特定した位置情報を統合する情報統合手段をさらに備える。

好ましくは、情報統合手段は、接触位置情報と近接位置情報とが近傍である場合に、近接位置情報を削除して接触位置情報を残すことによって位置情報を統合する。

この発明の別の局面に従うと、プロセッサを備える画像処理装置における画像処理方法が提供される。画像処理方法は、プロセッサが、パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出するステップと、プロセッサが、画素毎の画素値の勾配量に基づいて、パネルと撮像対象とが近接且つ非接触状態であることを特定するステップとを備える。

この発明の別の局面に従うと、プロセッサを備える画像処理装置で実行される画像処理プログラムが提供される。画像処理プログラムは、プロセッサに、パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出するステップと、画素毎の画素値の勾配量に基づいて、パネルと撮像対象とが近接且つ非接触状態であることを特定するステップとを実行させる。

この発明の別の局面に従うと、上記の画像処理プログラムを記録したコンピュータ読取可能な記録媒体が提供される。

この発明の別の局面に従うと、パネルを介して撮像された画像に対して画像処理を行なう画像処理装置が提供される。画像は画素毎に画素値を含む。画像処理装置は、画素毎の画素値の勾配量を算出する勾配量算出手段と、画素の中から勾配量が第１の閾値以上である第１の画素を抽出する第１の抽出部と、画素の中から勾配量が第１の閾値よりも大きい第２の閾値以上である第２の画素を抽出する第２の抽出部と、第１の画素の数と第２の画素の数とに基づいて、パネルに物体が接触しているか、パネルの近傍に物体が位置するかを判断する判断部とを備える。

好ましくは、画像処理装置は、画素毎の画素値の勾配方向を特定する勾配方向特定手段と、勾配方向に基づいて、物体に対応するパネル上の位置を算出する位置算出手段とをさらに備える。

好ましくは、画像処理装置は、物体に対応する画像に関する画素毎の勾配方向を示すモデルパターンを記憶するメモリと、勾配方向特定手段によって特定された勾配方向と、モデルパターンの勾配方向との合致度を算出する合致度算出手段とを備える。判断部は、合致度が第３の閾値以上である場合に判断を実行し、合致度が第３の閾値未満である場合に物体がパネルの近傍に位置しないと判断する。

好ましくは、勾配方向特定手段は、画素値が所定範囲外である画素の勾配方向を無方向と特定する。

本発明によれば、撮像対象とパネルとの近接状態を検出することが可能となる。

本実施の形態に係る画像処理装置の外観を示した図である。 本実施の形態に係る画像処理装置の動作概要を説明するためのイメージ図である。 本実施の形態に係る画像処理装置のハードウェア構成を表わすブロック図である。 液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。 液晶パネルとバックライトとの断面図である。 光センサ回路を動作させる際のタイミングチャートを示した図である。 液晶パネルとバックライトとの断面図であって、スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した図である。 画像処理装置のハードウェア構成を表すブロック図である。 本実施の形態に係る画像処理装置のＣＰＵが実現する機能構成を示すブロック図である。 画像処理装置における全体的な処理手順を示すフローチャートである。 位置特定過程における処理手順を示すフローチャートである。 画像処理装置における勾配方向・無方向特定過程の処理手順を示すフローチャートである。 勾配方向・無方向特定過程において参照される第１および第２のテーブルを示すイメージ図である。 照合効率化を示すイメージ図である。 照合効率化前の画像データと照合されるモデルパターンの一例を示す概要図である。 照合効率化後の画像データと照合されるモデルパターンの一例を示す第１の概要図である。 照合効率化後の画像データと照合されるモデルパターンの他の例を示す概要図である。 照合効率化後の画像データと照合されるモデルパターンの一例を示す第２の概要図である。 照合効率化後の画像データと照合されるモデルパターンのさらに他の例を示す概要図である。 照合効率化後の画像データと照合されるモデルパターンのさらに他の例を示す概要図である。 パターンマッチングを示す第１のイメージ図である。 パターンマッチングを示す第２のイメージ図である。 パターンマッチングを示す第３のイメージ図である。 画像処理装置におけるパターンマッチング過程の処理手順を示すフローチャートである。 パターン合致度算出過程の一例を示すフローチャートである。 パターン合致度算出過程の他の例を示すフローチャートである。 パターン合致度算出過程の第１の例を示す概要図である。 パターン合致度算出過程の第２の例を示す概要図である。 パターン合致度算出過程の第３の例を示す概要図である。 パターン合致度算出過程の第４の例を示す概要図である。 パターン合致度算出過程の第５の例を示す概要図である。 パターン合致度算出過程の第６の例を示す概要図である。 画像処理装置における接触・非接触特定過程の処理手順を示すフローチャートである。 接触状態における抽出された第１エッジ画素の勾配方向を示すイメージ図である。 接触状態における抽出された第２エッジ画素を示すイメージ図である。 近接状態における抽出された第１エッジ画素の勾配方向を示すイメージ図である。 近接状態における抽出された第２エッジ画素を示すイメージ図である。 画像処理装置におけるポインティング位置特定過程の処理手順を示すフローチャートである。 ピーク画素の有無の判定方法を示すイメージ図である。 座標算出部のポインティング（補間）座標（撮像対象による撮像画像上の指示位置）の算出方法を示すイメージ図である。 画像処理装置における情報統合過程の処理手順を示すフローチャートである。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第１の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第２の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第３の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第４の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第５の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第６の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第７の例である。 接触位置特定部および近接位置特定部が管理する各処理の組み合わせ条件テーブルの第８の例である。 画像処理装置における接触・非接触特定過程の変形例の処理手順を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。

＜画像処理装置の外観＞
図１は、本実施の形態に係る画像処理装置１００の外観を示した図である。画像処理装置１００は、ＰＤＡ（Personal Digital Assistant）、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。ただし、後述するように、画像処理装置１００は、１つの光センサ内蔵液晶パネル２４０を備えるものであってもよい。

図１を参照して、本実施の形態に係る画像処理装置１００は、第１の筐体１００Ａと第２の筐体１００Ｂとを含む。第１の筐体１００Ａと第２の筐体１００Ｂとは、ヒンジ１００Ｃにより折畳み可能に接続されている。第１の筐体１００Ａは、光センサ内蔵液晶パネル１４０を備える。第２の筐体１００Ｂは、光センサ内蔵液晶パネル２４０を備える。このように、画像処理装置１００は、光センサ内蔵液晶パネルを２つ備える。

＜画像処理装置の動作概要＞
図２は、本実施の形態に係る画像処理装置１００の動作概要を説明するためのイメージ図である。以下では図２（ａ）〜（ｌ）に基づき、画像処理装置１００の液晶パネルの各画素に内蔵されたフォトダイオードによって撮像される撮像対象の例として、「指の腹」の例を挙げ、それぞれの撮像画像（又は画像データ）の特徴の概要について説明する。

まず、図２（ａ）は、液晶パネル２４０面から離れている指９９の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｂ）は、液晶パネル２４０面から離れている指９９の腹の撮像画像の撮像の図２（ａ）と異なる視点からの様子を示す概要図であり、図２（ｃ）は、液晶パネル２４０面から離れている指９９の腹の撮像画像の特徴を示す概要図であり、図２（ｄ）は、液晶パネル２４０面から離れている指９９の腹の撮像画像の断面特徴を示す概要図である。

すなわち、図２（ｂ）に示すように、液晶パネル２４０の表面から離れたところに、人差し指９９がある場合について考える。この場合、図２（ｃ）の撮像画像は、全面が真っ暗な画像となる。なお、各画素における画素値の勾配方向（以降、単に「勾配方向」とも言う）は、全面が真っ暗であるため、特定できず、無方向になる傾向を示している。（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）
次に、人差し指９９が液晶パネル２４０に近づいてきた場合について説明する。図２（ｅ）は、液晶パネル２４０面に近接（非接触）している指９９の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｆ）は、液晶パネル２４０面に近接（非接触）している指９９の腹の撮像画像の撮像の図２（ｅ）と異なる視点からの様子を示す概要図であり、図２（ｇ）は、液晶パネル２４０面に近接（非接触）している指９９の腹の撮像画像の特徴を示す概要図であり、図２（ｈ）は、液晶パネル２４０面に近接（非接触）している指９９の腹の撮像画像の断面特徴を示す概要図である。

すなわち、図２（ｆ）に示すように、液晶パネル２４０の表面に、人差し指９９の腹が近接（非接触）した場合について考える。この場合、図２（ｇ）の撮像画像は、バックライトが撮像対象（指９９の腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。ここで、図２（ｇ）の撮像画像は、指９９が液晶パネル２４０面に接触していないため、後述する図２（ｋ）に比べて相対的に暗くて、よりぼやけた画像となる。なお、各画素における勾配方向は、図２（ｋ）と同様に、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。なお、ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。

本実施の形態に係る画像処理装置１００は、このように、液晶パネル２４０の表面に、人差し指９９の腹が近接（非接触）した場合においても、指９９が液晶パネル２４０に近接している旨を出力したり、液晶パネル２４０の当該指９９の位置に対応する座標を出力することができるものである。

次に、人差し指９９が液晶パネル２４０に接触した場合について説明する。図２（ｉ）は、液晶パネル２４０面に接触している指９９の腹の撮像画像の撮像の様子を示す概要図であり、図２（ｊ）は、液晶パネル２４０面に接触している指９９の腹の撮像画像の撮像の図２（ｉ）と異なる視点からの様子を示す概要図であり、図２（ｋ）は、液晶パネル２４０面に接触している指９９の腹の撮像画像の特徴を示す概要図であり、図２（ｌ）は、液晶パネル２４０面に接触している指９９の腹の撮像画像の断面特徴を示す概要図である。

すなわち、図２（ｊ）に示すように、液晶パネル２４０の表面に、人差し指９９の腹が接触した場合について考える。この場合、図２（ｋ）の撮像画像は、バックライトが撮像対象（指９９の腹）に反射して得られる画像であり、白い円形状がぼやけたような画像となる。なお、各画素における勾配方向は、おおよそ、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示している。（ここでは、勾配方向は暗い部分から明るい部分に向かう向きを正としている。）

以上のような、各勾配方向の分布は、例えば、指のように表面が柔らかく、面に接触することにより接触面が円形になる場合、または先が丸いペンのように表面が固くても接触面が円形になるような場合には、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中心付近に向かう傾向を示す。また、接触面がその他の形状であっても、撮像画像におけるエッジ部分からエッジ部分に囲まれた領域の中に向かうか、或いは、エッジ部分に囲まれた領域の中からその領域の外側に向かうかのいずれかの傾向を示す。さらに、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量と考えられる。

以下、このような機能を実現するための画像処理装置１００の具体的な構成について詳述する。

＜ハードウェア構成＞
次に、図３を参照して、本実施の形態に係る画像処理装置１００の具体的構成の一態様について説明する。図３は、本実施の形態に係る画像処理装置１００のハードウェア構成を表わすブロック図である。

本実施の形態に係る画像処理装置１００は、第１ユニット１００１と、第２ユニット１００２とを含む。第２ユニット１００２は、画像処理装置１００から着脱可能に第１ユニット１００１に接続されている。第１ユニット１００１は、本体装置１０１と、表示装置１０２とを含む。第２ユニット１００２は、表示装置１０３と、本体装置１０４とを含む。

第１の筐体１００Ａは、表示装置１０２を含む。第２の筐体１００Ｂは、本体装置１０１を含む。また、第２の筐体１００Ｂは、第２ユニット１００２を含む。

（第１ユニットについて）
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、外部通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７と、電源スイッチ１９１と、電源回路１９２と、電源検出部１９３と、ＵＳＢ（Universal Serial Bus）コネクタ１９４と、アンテナ１９５と、ＬＡＮ（Local Area Network）コネクタ１９６とを含む。各構成要素（１１０，１７１〜１７７，１９３）は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。

ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、画像処理装置１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書込みおよび消去が可能なＲＯＭである。

外部通信部１７４は、他の画像処理装置と通信を行なう。具体的には、外部通信部１７４は、ＵＳＢコネクタ１９４を介して、たとえば第２ユニット１００２と通信を行なう。また、外部通信部１７４は、アンテナ１９５を介して、たとえば第２ユニット１００２と無線通信を行なう。さらに、外部通信部１７４は、ＬＡＮコネクタ１９６を介して、他の画像処理装置との間で有線通信を行なう。

なお、本体装置１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）以外の無線通信により、他の画像処理装置と通信を行なってもよい。たとえば、外部通信部１７４は、図示しない無線ＬＡＮアンテナを介して、ＬＡＮに接続された他の画像処理装置との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の画像処理装置との間で無線通信を行なってもよい。

電源スイッチ１９１は、画像処理装置１００を起動させるためのスイッチである。
電源スイッチ１９１がオンすると、電源回路１９２は、電源検出部１９３を介して、データバスＤＢ１に接続されている各構成要素と表示装置１０２とに電力を供給する。また、電源スイッチ１９１がオンすると、電源回路１９２は、電源検出部１９３を介することなく、外部通信部１７４に電力を供給する。

電源検出部１９３は、電源回路１９２からの出力を検出する。また、電源検出部１９３は、当該検出した出力に関する情報（たとえば、電圧値や電流値）を、ＣＰＵ１１０に送る。

ＵＳＢコネクタ１９４は、第１ユニット１００１を第２ユニット１００２に接続するために用いられる。なお、本体装置１０１は、ＵＳＢコネクタ１９４に加えて他のＵＳＢコネクタを備えていてもよい。

第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２にデータを送信する。また、第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２からデータを受信する。さらに、第１ユニット１００１は、ＵＳＢコネクタ１９４を介して、第２ユニット１００２に電力を供給する。

アンテナ１９５は、第１ユニット１００１と、他の通信装置（たとえば第２ユニット１００２）との間における、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に沿った通信に用いられる。ＬＡＮコネクタ１９６は、画像処理装置１００をＬＡＮに接続するために用いられる。

表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。

ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。

液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。

内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。

バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。

画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データはコマンドを含む。上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドなどを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。

ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。

タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。

なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、画像処理装置１００が常に備える構成ではなく、画像処理装置１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。

ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。

（第２ユニットについて）
第２ユニット１００２は、第１ユニット１００１から電力の供給を受ける。具体的には、後述するＵＳＢコネクタ２９４と第１ユニット１００１のＵＳＢコネクタ１９４とを接続することにより、第２ユニット１００２は、第１ユニット１００１の電源回路１９２から電力の供給を受ける。

本体装置１０４は、ＣＰＵ２１０と、ＲＡＭ２７１と、ＲＯＭ２７２と、外部通信部２７４と、電源検出部２９３と、ＵＳＢコネクタ２９４と、アンテナ２９５と、信号強度検出部２９７とを含む。各構成要素（２１０，２７１，２７２，２７４，２９３）は、相互にデータバスＤＢ２によって接続されている。

ＣＰＵ２１０は、プログラムを実行する。ＲＡＭ２７１は、ＣＰＵ２１０によるプログラムの実行により生成されたデータを揮発的に格納する。ＲＯＭ２７２は、データを不揮発的に格納する。また、ＲＯＭ２７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書込みおよび消去が可能なＲＯＭである。

外部通信部２７４は、他の画像処理装置との間で通信を行なう。具体的には、外部通信部２７４は、ＵＳＢコネクタ２９４を介して、たとえば第１ユニット１００１と通信を行なう。また、外部通信部２７４は、アンテナ２９５を介して、たとえば第１ユニット１００１と通信を行なう。

なお、本体装置１０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）以外の無線通信により、他の画像処理装置（たとえば、第１ユニット１００１）と通信を行なってもよい。たとえば、外部通信部２７４は、図示しない赤外線ポートを介して、他の画像処理装置との間で無線通信を行なってもよい。

信号強度検出部２９７は、アンテナ２９５を介して受信した信号についての強度を検出する。そして、信号強度検出部２９７は、検出した強度を外部通信部２７４に送る。

ＵＳＢコネクタ２９４は、第２ユニット１００２を第１ユニット１００１に接続するために用いられる。

第２ユニット１００２は、ＵＳＢコネクタ２９４を介して、第１ユニット１００１にデータを送信する。また、第２ユニット１００２は、ＵＳＢコネクタ２９４を介して、第１ユニット１００１からデータを受信する。さらに、第２ユニット１００２は、上述したように、ＵＳＢコネクタ２９４を介して、第１ユニット１００１から電力の供給を受ける。なお、第２ユニット１００２は、第１ユニット１００１から供給された電力を、図示しないバッテリに蓄電する。

アンテナ２９５は、第２ユニット１００２と、たとえば第１ユニット１００１との間における、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に沿った通信に用いられる。

電源検出部２９３は、ＵＳＢコネクタ２９４を介して給電された電力を検出する。また、電源検出部２９３は、当該検出した電力についての情報を、ＣＰＵ２１０に送る。

また、本体装置１０４は、赤外線通信を行なうための機能を備えていてもよい。
表示装置１０３は、ドライバ２３０と、光センサ内蔵液晶パネル２４０（以下、「液晶パネル２４０」と称する）と、内部ＩＦ２７８と、バックライト２７９と、画像処理エンジン２８０とを含む。画像処理エンジン２８０は、ドライバ制御部２８１と、タイマ２８２と、信号処理部２８３とを含む。

表示装置１０３は、表示装置１０２と同様な構成を有する。つまり、ドライバ２３０、液晶パネル２４０、内部ＩＦ２７８、バックライト２７９、および画像処理エンジン２８０は、表示装置１０２における、ドライバ１３０、液晶パネル１４０、内部ＩＦ１７８、バックライト１７９、画像処理エンジン１８０と同じ構成をそれぞれ有する。ドライバ制御部２８１、タイマ２８２、および信号処理部２８３は、表示装置１０２における、ドライバ制御部１８１、タイマ１８２、信号処理部１８３と同じ構成をそれぞれ有する。したがって、表示装置１０３に含まれる各機能ブロックについての説明は、繰り返さない。

ところで、画像処理装置１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。

図３に示される画像処理装置１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、画像処理装置１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図４は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。

図４を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。

また、図３に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。

走査信号線駆動回路１３１は、図３に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。

データ信号線駆動回路１３２は、図３に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。

なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。

画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図４の縦方向にｍ個、横方向にｎ個配されている。

画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。

なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。

Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。

ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。

光センサ駆動回路１３３は、図３に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。

そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。

また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。

なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。

光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。

フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。

ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。

スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。

アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図３に示した信号処理部１８３に送られる。

なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。

図５は、液晶パネル１４０とバックライト１７９との断面図である。図５を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。

アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図５には示していないが、アクティブマトリクス基板１５１Ａは、図４に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。

また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。

対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。

また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。

カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。

液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。

なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。

ここで、光センサ回路１４４の動作について説明する。図６は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図６において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図４に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。

以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光（赤外線や可視光などを含む。）をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。

まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。

ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ
それゆえ、ノードＮの電位は、図６に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。

ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。

次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。

このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図６に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。

なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。

次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。

このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図６に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。

この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図４参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図６のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。

ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図６のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。

ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。

まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図４における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。

なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。

１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。

以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。

なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指９９）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。

また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。

以下では、画像処理装置１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。

このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。

図７は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。画像処理装置１００は、可視光のみを発するバックライト１７９を装備してもよいし、可視光のみを発するバックライト１７９と赤外線のみを発するバックライトとを装備してもよいし、可視光と赤外線とを発するバックライト１７９を装備してもよい。

図７を参照して、ユーザの指９９が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９９（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。

また、指９９が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９９にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９９が接触していないため、指９９が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９９に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。

ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９９により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９９の接触位置、指９９の接触している範囲（指９９の押圧力によって定まる）、液晶パネル１４０の表面に対する指９９の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。

以上により、表示装置１０２は、指９９によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。そして、画像処理エンジン１８０は、ＣＰＵ１１０からのコマンドの内容を解析し、当該解析の結果に従った画像データ（つまり、応答データ）をＣＰＵ１１０に送り返す。

なお、指９９以外のスキャン対象物としては、スタイラスペンなどが挙げられる。
ところで、本実施の形態においては、画像処理装置１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。

＜表示装置１０３について＞
表示装置１０３の動作は、表示装置１０２の動作と同様、ＣＰＵ２１０からのコマンドに応じて制御される。表示装置１０３は表示装置１０２と同様な構成を有する。それゆえ、表示装置１０３が表示装置１０２と同じコマンドをＣＰＵ２１０から受け付けた場合、表示装置１０３は表示装置１０２と同様の動作を行う。このため、表示装置１０３の構成や動作についての説明は繰り返さない。なお、ＣＰＵ１１０が、実行中のアプリケーションに基づいて、表示装置１０３を直接制御してもよい。

なお、表示装置１０２の液晶パネル１４０のサイズと表示装置１０３の液晶パネル２４０のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル１４０の解像度と液晶パネル２４０の解像度とは、同じであってもよいし又は異なっていてもよい。

＜表示装置１０２の変形例について＞
本実施の形態では、画像処理装置１００が、液晶パネル１４０と液晶パネル２４０といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。さらに、画像処理装置１００は、１つの筐体あるいは１つのユニットから構成されてもよい。

図８は、画像処理装置１５０のハードウェア構成を表すブロック図である。本変形例に係る画像処理装置１５０は、画像処理装置１００と同様、第１の筐体１００Ａと、第２の筐体１００Ｂとを含む。また、図８を参照して、画像処理装置１５０は、第１ユニット１００１Ａと、第２ユニット１００２とを含む。第１ユニット１００１Ａは、本体装置１０１と、表示装置１０２Ａとを含む。第２ユニット１００２は、本体装置１０４と、表示装置１０３とを含む。

表示装置１０２Ａは、光センサを内蔵しない液晶パネル（つまり、表示機能のみを有する液晶パネル）を含む。画像処理装置１５０は、第１ユニット１００１Ａが光センサを内蔵しない液晶パネルを含む点で、第１ユニット１００１が光センサを内蔵した液晶パネル２４０を含む画像処理装置１００と異なる。このような画像処理装置１５０は、第２ユニット１００２の表示装置１０３を用いて上述したセンシングを行なう。

また、第１ユニット１００１は、光センサを内蔵した液晶パネル１４０の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。

また、本実施の形態では、表示装置１０２がタイマ１８２を備え、表示装置１０３がタイマ２８２を備える構成として説明するが、表示装置１０２と表示装置１０３とが１つのタイマを共有する構成としてもよい。

また、本実施の形態では、画像処理装置１００を折畳型の機器として説明するが、画像処理装置１００は必ずしも折畳型に限定されるものではない。たとえば、画像処理装置１００は、第１の筐体１００Ａが第２の筐体１００Ｂに対してスライドする構成のスライド式の機器であってもよい。

本実施の形態に係る画像処理装置１００は、上記のように構成されているため、第２ユニット１００２が、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１に着脱自在になっている。

そして、本実施の形態に係る画像処理装置１００は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第１ユニット１００１の電源スイッチ１９１を押下すると、第１ユニット１００１は電源回路１９２からの電力を利用することによってＢＩＯＳ（Basic Input/Output System）を起動させる。

第２ユニット１００２は、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１から電力を取得する。第２ユニット１００２は、当該電力を利用することによって、第１ユニット１００１との間でデータを送受信することができる。このとき、第２ユニット１００２のＣＰＵ２１０は、ＵＳＢコネクタ１９４，２９４からの電力を使用することによって、液晶パネル２４０にＯＳ（Operation System）の種類を選択可能に表示させることができる。

ユーザは、液晶パネル２４０を介して、起動したいＯＳを選択する。ＣＰＵ２１０は、ユーザの選択に応じ、ＵＳＢコネクタ１９４，２９４を介して第１ユニット１００１へと、起動すべきＯＳを指定するコマンド（たとえば、図１０に示す「第１のＯＳ」コマンド）を送信する。第１ユニット１００１は、当該コマンドに応じて、ＯＳを起動する。

また、たとえば、第２ユニット１００２は、アンテナ２９５を介して外部の携帯電話などとの間でデータの送受信を行う。第２ユニット１００２のＣＰＵ２１０は、アンテナ２９５を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをＲＡＭ２７１などに格納する。ＣＰＵ２１０は、ＲＡＭ２７１からサムネイルデータを読み出して、液晶パネル２４０に写真のサムネイル画像を選択可能に表示させる。

そして、外部からの選択命令に応じて、ＣＰＵ２１０は、液晶パネル２４０に写真画像を表示させる。あるいは、ＣＰＵ２１０は、ＵＳＢコネクタ２９４を介して、写真画像を液晶パネル１４０あるいは表示装置１０２Ａに表示させる。

＜１．画像処理装置１００の機能構成＞
図９は、本実施の形態に係る画像処理装置１００のＣＰＵ２１０あるいはＣＰＵ１１０が実現する機能構成を示すブロック図である。まず、図９及び図２（ａ）〜（ｌ）に基づいて、本発明の一実施形態である画像処理装置１００の構成及び撮像画像の例について説明する。

まず、画像処理装置１００の構成の概要及び画像処理装置１００の撮像原理について説明する。上述したように、画像処理装置１００は、表示機能を有しており、複数の画素から構成される液晶パネル２４０（ディスプレイ）及び該液晶パネル２４０に光を照射するバックライト２７９を有する。そして、画像処理装置１００の液晶パネル２４０は、各画素内に光センサ回路１４４（撮像センサ）を内蔵し、光センサ回路１４４によって液晶パネル２４０の表面に近接してきた外部の物体（撮像対象）を撮像することによって、画像データ（撮像センサによって撮像された画像データ）をＣＰＵ２１０に受け渡すことができる。

なお、液晶パネルは、複数の画素のうち所定数の画素のそれぞれに撮像センサとしての光センサ回路１４４が内蔵されているものであっても良い。ただし、光センサ回路１４４による撮像画像の解像度の観点から、上述したように、光センサ回路１４４はすべての画素に内蔵されていることが好ましい。ただし、撮像センサとしては、フォトダイオードを利用するものに限られず、光電効果を動作原理とし、液晶パネル２４０などの各画素に内蔵できるものであれば他のセンサ回路であっても良い。

以上の構成により、画像処理装置１００は、液晶パネル２４０本来の画像を表示する表示機能に加え、液晶パネル２４０の表面に近接してきた外部の物体（撮像対象）の画像を撮像する撮像機能を有する。それゆえ、画像処理装置１００のユーザは、液晶パネル２４０の表面に対するタッチ入力が可能である。

画像処理装置１００は、撮像された撮像画像の画像データを用いて、撮像対象による撮像画像上の指示位置と、液晶パネル２４０面に対する撮像対象の距離（近接度合い）に関する情報とを特定する機能を有する。画像処理装置１００は、低解像度化部２、画素値縦勾配量算出部３ａ、画素値横勾配量算出部３ｂ、エッジ抽出部４、勾配方向・無方向特定部５、照合効率化部６、一致画素数算出部７、モデルパターン・比較用一致パターン格納部８、パターン合致度算出部９、スコア算出部１０、位置特定部１１と、第２エッジ抽出部１５、接触位置特定部１６、近接位置特定部１７、情報統合部１８を備えるものである。

なお、低解像度化部２、画素値縦勾配量算出部３ａ、画素値横勾配量算出部３ｂ、エッジ抽出部４、方向特定部５、照合効率化部６、一致画素数算出部７、パターン合致度算出部９、スコア算出部１０、位置特定部１１と、第２エッジ抽出部１５、接触位置特定部１６、近接位置特定部１７、情報統合部１８は、ＣＰＵ２１０あるいはＣＰＵ１１０が、メモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）に記憶されているプログラムを実行することによって実現されるモジュールやオブジェクトであっても良いし、ハードウェアのロジック回路であってもよい。また、複数のモジュールによって１つのブロックが実現されてもよいし、１つのモジュールによって複数のブロックが実現されてもよい。なお、モデルパターン・比較用一致パターン格納部８は、メモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）によって実現される。

低解像度化部２は、撮像された撮像画像の画像データ（画像処理エンジン２８０からの画像データ）を低解像度化するものである。

画素値縦勾配量算出部３ａ及び画素値横勾配量算出部３ｂは、画像データ上の画素ごとに、注目画素の画素値と複数の隣接画素の画素値とから注目画素の画素値の縦方向勾配量及び横方向勾配量を算出するものである。具体的には、Ｓｏｂｅｌ（ソベル）オペレータ、Ｐｒｅｗｉｔｔ（プリウイット）オペレータなどのエッジ抽出オペレータを用いれば良い。

例えば、Ｓｏｂｅｌオペレータについて説明すると、各画素の画素位置ｘ（ｉ，ｊ）における局所的な縦方向勾配Ｓｙ及び横方向勾配Ｓｘは、次式（１）のように求められる。

Ｓｘ＝ｘ_i+1,j-1−ｘ_i-1,j-1＋２ｘ_i+1,j−２ｘ_i-1,j＋ｘ_i+1,j+1−ｘ_i-1,j+1
Ｓｙ＝ｘ_i-1,j+1−ｘ_i-1,j-1＋２ｘ_i,j+1−２ｘ_i,j-1＋ｘ_i+1,j+1−ｘ_i+1,j-1 …（１）
ここで、ｘ_i,jは画素位置ｘ（ｉ，ｊ）における画素値を表し、ｉは水平方向における画素の位置を、ｊは垂直方向における画素の位置をそれぞれ表す。ここに、ｉ及びｊは正の整数である。

ここで、式（１）は、次式（２）・（３）の３×３のＳｏｂｅｌオペレータ（行列演算子Ａｘ及びＡｙ）を、画素位置ｘ（ｉ，ｊ）を注目画素とする３×３画素に適用することと等価である。

なお、縦方向勾配Ｓｙ及び横方向勾配Ｓｘに基づけば、画素位置ｘ（ｉ，ｊ）における勾配の大きさＡＢＳ（Ｓ）及び勾配方向ＡＮＧ（Ｓ）は、次のように与えられる。なお、以下では、演算子としての縦方向勾配Ｓｙ及び横方向勾配Ｓｘを各画素に適用することによって得られた縦方向勾配量及び横方向勾配量をそれぞれ、便宜上縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘと記載する場合がある。

ＡＢＳ（Ｓ）＝（Ｓｘ²＋Ｓｙ²）^1/2 …（４）
ＡＮＧ（Ｓ）＝ｔａｎ^-1（Ｓｙ／Ｓｘ） …（５）
第１エッジ抽出部４は、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素である第１エッジ画素を抽出（特定）する。

ここで、第１エッジ画素とは、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。具体的には、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が所定の第１閾値以上である画素のことである。

なお、この第１エッジ画素を抽出する目的は、方向特定部５が、抽出された複数の第１エッジ画素については勾配方向を特定し、第１エッジ画素以外の画素については一律無方向と看做して特定するようにする点にある。

パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向である。

したがって、あまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、以下で説明する撮像対象による撮像画像上の指示位置を検出する際のメモリ容量を少量化し、処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減することができる。

方向特定部５は、上述したように、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘから、画素ごとの勾配方向ＡＮＧ（Ｓ）と、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第１閾値未満である無方向とのいずれかを特定するものである。

ここでは、無方向を第１閾値未満であると定義しているが、第１閾値以下と定義しても良い。

あらかじめ無方向を設定しておくことで、ノイズ等により不要な多数の勾配方向が発生することを抑制することができる。また、エッジ近傍の勾配方向に照合対象を絞りこむことが可能となり、照合の効率化を図ることができる。

なお、方向特定部５は、第１エッジ抽出部４によって特定された複数の第１エッジ画素の勾配方向を特定し、第１エッジ画素以外の画素を無方向と看做して特定することが好ましい。パターンマッチングにおいて重要な情報は、エッジ部分の第１エッジ画素における勾配方向であると言える。

したがって、パターンマッチングにおいてあまり重要でない画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。

ここで、勾配方向ＡＮＧ（Ｓ）は、０ｒａｄ〜２πｒａｄの範囲で変化する連続量であるから、本実施の形態においては、これを例えば８方向に量子化したものを勾配方向としてパターンマッチングに使用する特徴的な量（以下、「特徴量」と呼ぶことがある。）とする。

なお、より精度の高いパターンマッチングを行なうために、１６方位等に量子化しても良い。具体的な方向の量子化の詳細な手順については後述する。また、方向の量子化とは、勾配方向ＡＮＧ（Ｓ）が所定の範囲内にある方向を一律にある特定の方向の勾配方向であると看做して取り扱うことを言う。

照合効率化部６は、注目画素の周囲で所定の画素数を含む領域である照合領域と、あらかじめ定められたモデルパターンとの照合（以下、「パターンマッチング」と呼ぶこともある。）を行なう場合に、照合領域とモデルパターンとの照合の効率化を行なう。

一致画素数算出部７は、例えば、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（以下、「一致画素数」と呼ぶ。）を算出する。

モデルパターン・比較用一致パターン格納部８は、モデルパターンと、比較用一致パターンとを格納する。比較用一致パターンは、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンを分析することによってあらかじめ定めたパターンである。上述したように、モデルパターン・比較用一致パターン格納部８は、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

パターン合致度算出部９は、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度を算出する。

画素値の勾配はベクトル量であり、大きさ（勾配の大きさＡＢＳ（Ｓ））と向き（勾配方向ＡＮＧ（Ｓ））とを持つものである。ここで、特に、勾配方向（向き）は、例えば８方向に量子化したりすることによって、１つの画素がとり得る状態を８（無方向を含めると９）という極めて少ない状態に離散化することでき、さらにそれぞれの状態には、方向が異なるという識別が容易な特徴を持たせる事ができる。

また、勾配方向は、上述したような傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、勾配方向は、パターンマッチングに適した量である。

スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度から、照合領域とモデルパターンとのマッチングの度合いを示す合致度を算出する。なお、スコア算出部１０は、一致画素数算出部７が算出した一致画素数、及びパターン合致度算出部９が算出したパターン合致度のいずれか１つを使用するよう構成しても良い。

また、スコア算出部１０は、照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにしても良い。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。よって、例えば、勾配方向の種類数が８方向の場合、パターンマッチングで一致する勾配方向の種類数は８に近いものとなるはずである。したがって、上記の照合領域内において合致する勾配方向の種類数が、あらかじめ定められた規定種類数以上の場合に、合致度を算出するようにすれば、指示位置の検出処理のメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

さらに、スコア算出部１０は、自身が算出した合致度が所定の値以上である場合には、後述する第２エッジ抽出部１５から、その合致度に対応する照合領域についての、第１エッジ抽出部４により抽出された第１エッジ画素数及び第２エッジ抽出部１５により抽出された第２エッジ画素数を取得する。

ここで、第２エッジ画素は、第１エッジ抽出部４により抽出される第１エッジ画素と同様、画像データを構成する各画素のうち、明るさが急激に変化する部分（エッジ）における画素である。そして、この第２エッジ画素は、第１エッジ抽出部４により先に抽出された第１エッジ画素のうち、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第１閾値よりも大きい第２閾値以上である画素のことである。

そして、スコア算出部１０は、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているか否かを判断し、超えているとの判断結果に基づいて自身が算出した合致度を位置特定部１１に出力する。一方、スコア算出部１０は、超えていないとの判断に基づいて自身が算出した合致度は、位置特定部１１に利用されることが回避されることになる。

要は、スコア算出部１０が、自身が算出する合致度のうち、それぞれに対応する、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているものに限り、位置特定部１１に出力するように構成されていればよい。

位置特定部１１は、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定する。位置特定部１１は、ピーク探索部１２と、座標算出判定部１３と、座標算出部１４と、を有している。

ピーク探索部１２は、注目画素の周囲で所定の画素数を含む探索領域（以下、「第１領域」と呼ぶ場合がある。）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索する。

座標算出判定部１３は、探索領域の画素数よりも少ない所定の画素数を有すると共に、探索領域内に完全に包含される小領域（以下、「第２領域」と呼ぶ場合がある。）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４に撮像対象による撮像画像上の指示位置を算出させる。

座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとの合致度を用いて、撮像対象による撮像画像上の指示位置を算出するものである。

第２エッジ抽出部１５は、縦勾配量算出部３ａ及び横勾配量算出部３ｂが算出した各画素の縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘの算出結果から、撮像画像のエッジ部分の画素である第２エッジ画素を抽出（特定）する。

画像処理装置１００の表示画面に近接して来る外部の物体である指９９の腹、スタイラスペン等が液晶パネル１４０の表面に実際に接触した場合、当該表面に直接接触した指９９のエッジにおける明るさの変化幅、つまり、そのエッジ強さは、当該表面に近接するものの直接は接触しないエッジと比較して、大きくなる傾向にある。例えば、表面に接触した指９９と表面から離れている指９９とでは、指９９の周囲のエッジの強さ、つまり、指９９と背景との画素値の差は異なるものとなる。表面に接触している指９９の撮像画像は指９９と背景との境界がはっきりするため、そのエッジは強いが、表面に接触していない指９９は撮像画像は指９９と背景との境界がぼけるため、そのエッジは弱くなる。

そこで、第２エッジ抽出部１５は、第１エッジ抽出部４により抽出された第１エッジ画素のうち、第１閾値よりも大きい第２閾値以上である、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘ、または勾配の大きさＡＢＳ（Ｓ）を持つ、第２エッジ画素を抽出する。

そして、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えていれば表示画面に近接する外部の物体が実際に表示画面に接触しているものとする。このことが第２エッジ画素を抽出する目的である。

接触位置特定部１６は、低解像度化部２、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９を制御して、撮像対象が液晶パネル２４０面に接触している位置を特定する。

近接位置特定部１７は、低解像度化部２、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９を制御して、撮像対象が液晶パネル２４０面に近接（非接触）している位置を特定する。

情報統合部１８は、接触位置特定部１６及び近接位置特定部１７から出力される、接触位置情報と近接位置情報を統合して、指示位置（以降、ポインティング位置とも言う。）並びに、指示距離（以降、ポインティング距離とも言う。）を出力する。接触位置特定部１６及び近接位置特定部１７から出力される位置情報は、接触位置の近傍に同時に近接位置も得られる場合があり、近傍位置を示す接触位置と近接位置とを統合することが好ましい。なぜなら、出力される位置情報と距離情報とを用いて動作する画像処理装置１００を構築する際に、同じような位置で同時に接触かつ近傍（非接触）と出力されると、混乱が生じるからである。

＜２．画像処理装置における各種処理手順＞
次に、本実施の形態に係る画像処理装置１００における各種処理手順について説明する。

なお、＜２．画像処理装置における全体的な処理手順＞において説明すること以外の構成は、＜１．画像処理装置の構成＞と同じである。また、説明の便宜上、＜１．画像処理装置の構成＞の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明は繰り返さない。なお、以下適宜項目を設けるが、この場合においては、上記なお書き以下の同様の説明は繰り返さない。

（１．全体的な処理手順）
図１０は、画像処理装置１００における全体的な処理手順を示すフローチャートである。

ステップＳ１０１では、図９の接触位置特定部１６が接触位置を特定し、Ｓ１０２に進む。

ステップＳ１０２では、図９の近接位置特定部１７が接触位置を特定し、Ｓ１０３に進む。

ステップＳ１０３では、図９の情報統合部１８が、接触位置特定部１６が出力する接触位置情報と、図９の近接位置特定部１７が出力する近接位置情報とから、近傍に位置する接触と近接（非接触）の各情報を統合して出力し、処理を終了する。

ここで、近傍に位置する接触と近接（非接触）の各情報を統合した後に出力される情報は、位置情報とポインティング距離（「接触状態であること」あるいは「近接かつ非接触状態であること」）である。ステップＳ１０３における情報統合処理過程の詳細については後述する。

（２．位置特定過程）
図１１は、位置特定過程における処理手順を示すフローチャートである。より詳細には、図１１は、画像処理装置１００の接触位置特定部１６並びに近接位置特定部１７が、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９を制御して、撮像対象が液晶パネル２４０面に接触または近接している位置を特定する動作の概要を示すフローチャートである。

ステップＳ２０１では、接触位置特定部１６または近接位置特定部１７の制御の別に応じて、接触位置特定過程であるか、近接（非接触）位置特定過程であるかを判定し、接触位置特定過程であれば、Ｓ２０２に進み、接触位置特定過程でなければ（または近接位置特定過程であれば）、Ｓ２０３に進む。

ステップＳ２０２では、接触位置特定部１６が、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９を制御するための動作条件を設定する。

ステップＳ２０３では、近接位置特定部１７が、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９を制御するための動作条件を設定する。

なお、動作条件設定の詳細並びに具体例については、後述する。
ステップＳ２０４では、図９の低解像度化部２が画像データを低解像度化し、Ｓ２０５に進む。例えば、３２０×２４０画素の画像データであれば、１６０×１２０画素（低解像度化率１／２）、又は８０×６０画素（低解像度化率１／４）等のようにバイリニア縮小させる。ここで、バイリニア縮小とは、例えば２×２の各画素が持つ画素値の平均値をとり、２×２画素のデータを、該平均値を持った１×１画素のデータに置き換えることにより、全体として１／４の情報圧縮を行なうことを言う。

なお、高速処理の観点からは、できるだけ低解像度化することが好ましいが、必要なエッジ情報等を得るためには、例えば３２０×２４０画素（１５０ｄｐｉ）の画像データの場合であれば、８０×６０画素（低解像度化率１／４）を低解像度化の限度とすることが好ましい。また、高精度処理の観点からは、低解像度化を全く行なわないか、低解像度化するとしても、１６０×１２０画素（低解像度化率１／２）に留めることが好ましい。

以上の画像データの低解像度化により、パターンマッチングの処理コストやメモリ容量の少量化、及び処理時間の短縮化を図ることがきる。

Ｓ２０５では、縦勾配量算出部３ａ及び横勾配量算出部３ｂが、画像データ上の画素ごとに、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出してから、方向特定部５が、画素ごとの勾配方向と無方向とのいずれかを特定するまでの過程（勾配方向・無方向特定過程）を経た上で、Ｓ２０６に進む。

Ｓ２０６では、照合効率化部６で、照合領域と、モデルパターンとの照合を行なう場合に、照合領域とモデルパターンとの照合の効率化を図るか否か、つまり、照合効率化の要否を選択する。照合効率化を行なう場合（Ｙｅｓ）には、Ｓ２０７に進み、照合効率化部６で照合効率化を行った上でＳ２０８に進み、照合効率化を行なわない場合（Ｎｏ）にはＳ２１２に進み、照合効率化部６は何もせず、そのままの情報（画像データ、但し、低解像度化部２で、低解像度化している場合には、低解像度化後の画像データ）でＳ２０８に進む。

Ｓ２０８では、一致画素数算出部７が、照合領域とモデルパターンとの照合を行って、一致画素数を算出し、パターン合致度算出部９が、パターン合致度を算出してから、スコア算出部１０が、一致画素数算出部７が算出した一致画素数、及び、パターン合致度算出部９が算出したパターン合致度から、合致度を算出するまでの過程（パターンマッチング過程）を経た上で、Ｓ２０９に進む。

Ｓ２０９では、接触位置特定部１６または近接位置特定部１７からの動作条件設定に従い、スコア算出部１０が、第２エッジ画素に基づく接触・非接触特定過程を経るか否かを判定し、接触・非接触特定する場合、Ｓ２１０に進み、接触・非接触特定しない場合、Ｓ２１１に進む。

Ｓ２１０では、第２エッジ抽出部１５が、第２エッジ画素を抽出してから、スコア算出部１０が、自身が算出した合致度を位置特定部１１に出力するまでの過程（接触・非接触判定過程）を経た上で、Ｓ２１１に進む。

Ｓ２１１では、位置特定部１１が、スコア算出部１０が算出した合致度が最大となる画素（以下、「ピーク画素」と呼ぶ。）の位置から、撮像対象による撮像画像上の指示位置を特定して、ポインティング位置特定過程を終了する。

以下では、勾配方向・無方向特定過程、照合効率化、パターンマッチング過程、接触・非接触特定過程、ポインティング位置特定過程及び情報統合過程における画像処理装置１００の各動作について説明する。

（３．勾配方向・無方向特定過程）
図９、図１２、図１３（ａ）及び図１３（ｂ）に基づいて、勾配方向・無方向特定過程における画像処理装置１００の動作について説明する。

図１２は、画像処理装置１００における勾配方向・無方向特定過程の処理手順を示すフローチャートである。図１３（ａ）は、勾配方向・無方向特定過程において参照される第１のテーブルを示すイメージ図である。図１３（ｂ）は、勾配方向・無方向特定過程において参照される第２のテーブルを示すイメージ図である。

図１２のフローチャートでは、まず、縦勾配量算出部３ａ及び横勾配量算出部３ｂがそれぞれ、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘを算出することから処理をスタートする。

Ｓ３０１では、接触位置特定部１６または近接位置特定部１７からの動作条件設定に従い、方向特定部５が、画素値に基づいて勾配方向・無方向を特定するか否かを判定し、画素値に基づいて勾配方向・無方向特定する場合、Ｓ３０２に進み、画素値に基づく処理をしない場合、Ｓ３１２に進む。

Ｓ３１２に進んだ場合には、方向特定部５は、対象となっている画素、つまり、第１エッジ画素以外の画素を無方向と設定（特定）し、次の画素へ進んで、Ｓ３０１に戻る。

Ｓ３０２では、第１エッジ抽出部４が、各画素における画素値Ｖが、閾値Ｔｖ以上か否かを判定し、Ｖ≧Ｔｖならば（Ｙｅｓ）、Ｓ３０２に進み、Ｖ＜Ｔｖならば（Ｎｏ）、Ｓ３１２に進む。なお、本実施の形態では、各画素における画素値Ｖについて判定しているが、判定対象画素として、近傍（例えば３×３領域）の画素を用いて判定してもよい。例えば、近傍を含む９画素のうち、１つでも閾値Ｔｖ以上の画素があればＳ３０２に進む、としてもよい。また、本実施の形態では、閾値が画素値の下限を示す場合について説明しているが、入力画像の性質（明暗を示す画素値の大小など）に応じて上限値で閾値判定したり、あるいは、画素値の上下限値を閾値判定するようにしてもよい。

Ｓ３０３では、第１エッジ抽出部４が、各画素における勾配の大きさＡＢＳ（Ｓ）が第１閾値以上か否かを判定し、ＡＢＳ（Ｓ）≧第１閾値ならば（Ｙｅｓ）、Ｓ３０３に進み、ＡＢＳ（Ｓ）＜第１閾値ならば（Ｎｏ）、Ｓ３１２に進む。なお、本実施の形態では、ＡＢＳ（Ｓ）＝Ｓｘ×Ｓｘ＋Ｓｙ×Ｓｙとして計算しているが、この量は、上式（４）における厳密な意味で勾配の大きさと異なる。しかし、実装上はこのように勾配の大きさを定義しても問題は無い。

Ｓ３１２に進んだ場合には、方向特定部５は、対象となっている画素、つまり、第１エッジ画素以外の画素を無方向と設定（特定）し、次の画素へ進んで、Ｓ３０１に戻る。なお、Ｓ３０４に進んだ場合には、対象となっている画素は、無論、第１エッジ画素である。

Ｓ３０４では、方向特定部５が、横方向勾配量Ｓｘが０以外であるか否かを判定し、Ｓｘ≠０ならば（Ｙｅｓ）Ｓ３０５に進み、Ｓｘ＝０ならば（Ｎｏ）Ｓ３０８に進む。

Ｓ３０５では、方向特定部５は、横方向勾配量Ｓｘが正の値をとるか否かを判定し、Ｓｘ＞０ならば（Ｙｅｓ）Ｓ３０６に進み、方向特定部５は、図１３（ａ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

一方、Ｓｘ＞０でないならば（ＮＯ）Ｓ３０７に進み、方向特定部５は、図１３（ｂ）のテーブルにしたがって、該当画素について、勾配方向ＡＮＧ（Ｓ）に応じて量子化された勾配方向を設定する。

次に、Ｓ３０８では、方向特定部５は、縦方向勾配量Ｓｙが０以外か否かを判定し、Ｓｙ≠０ならば（Ｙｅｓ）Ｓ３０９に進み、Ｓｙ＝０ならば（Ｎｏ）Ｓ３１２に進み、該当画素を無方向と設定し、次の画素へ進んでＳ３０１に戻る。

Ｓ３０９では、方向特定部５は、縦方向勾配量Ｓｙが正の値をとるか否かを判定し、Ｓｙ＞０ならば（Ｙｅｓ）Ｓ３１０に進み、該当画素の勾配方向を上向きに設定して、Ｓ３０１に戻る。

一方、方向特定部５は、Ｓｙ＜０ならば（Ｎｏ）Ｓ３１１に進み、該当画素の勾配方向を下向きに設定して、次の画素へ進んでＳ３０１に戻る。

以上の工程は、すべての画素の勾配方向・無方向の設定が終わるまで繰り返される。
パターンマッチングにおいて重要な情報は、エッジ部分の画素である第１エッジ画素における勾配方向である。したがって、上記の動作により、あまり重要でない第１エッジ画素以外の画素における勾配方向を一律無方向と看做すことで、パターンマッチングの効率化をさらに向上させることができる。また、撮像対象による撮像画像上の指示位置の検出を可能としてメモリ容量を少量化すること及び処理時間を短縮化することを可能とし、指示位置の検出処理のコストをさらに削減させることができる。

（４．照合効率化過程）
次に、画像処理装置１００における照合効率化過程について説明する。

図９に示す照合効率化部６は、照合領域を、複数の同一画素数の分割領域に分割すると共に、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることで、照合領域とモデルパターンとの照合の効率化を図る。

また、スコア算出部１０は、照合効率化部６によって照合の効率化が行なわれた照合領域とモデルパターンとの照合を行なって、照合領域内のそれぞれの分割領域に含まれる勾配方向と、モデルパターンにおける勾配方向との一致数を、合致度として算出する。

上述のように、勾配方向は、おおよその傾向がある。また、これらの傾向は、撮像対象の状況等に応じて、大きく変わることは無い。したがって、分割領域の画素数をあまり大きくしなければ、該分割領域内における勾配方向の画素の位置は、勾配方向を用いたパターンマッチングにおいてあまり重要な情報ではない。

そこで、分割領域ごとに、分割領域に含まれる画素ごとの勾配方向及び無方向の情報を、分割領域に含まれる勾配方向及び無方向の情報に置き換えることにより、パターンマッチングの照合精度を維持しつつ、照合効率化が可能となる。また、この効率化に伴い、撮像対象による撮像画像上の指示位置の検出処理に要するコストを削減することもできる。

以上より、パターンマッチングの照合精度を維持しつつ、照合効率化を可能とし、撮像対象による撮像画像上の指示位置の検出処理に要するコストを削減することができる画像処理装置１００を提供することができる。

図１４は、照合効率化を示すイメージ図である。図１４（ａ）及び図１４（ｂ）に基づき、画像処理装置１００における照合効率化の具体例について説明する。

まず、図１４（ａ）に示すように、画像データの各画素における勾配方向の分布の特徴は、中央にほぼ円形状である、無方向の画素の領域があり、その回りをとり囲むようにして該無方向の領域に向かう向きの勾配方向を持つ画素が多数分布している。

次に、図１４（ｂ）は、図１４（ａ）の画像データについて照合効率化を行った後の様子を示す概要図である。

図１４（ａ）に示すように、１４×１４画素の領域（照合領域）を、複数の２×２画素の領域（分割領域）に分割すると共に、２×２画素の領域ごとに、２×２画素の領域に含まれる画素ごとの勾配方向及び無方向の情報を、２×２画素の領域に含まれる勾配方向及び無方向の情報に置き換えることで、１４×１４画素の領域とモデルパターン（モデルパターンの例については後に詳しく説明する。）との照合の効率化が行われる。

たとえば、図１４（ａ）に示す１４×１４画素の領域を分割した複数の２×２画素領域のうち、上から２つめ、左から１つめの２×２画素の領域には、左上の画素が「無方向」、右上の画素が「右下向き（勾配方向）」、左下の画素が「右向き（勾配方向）」、及び右下の画素が「右下向き（勾配方向）」となっている。この２×２画素の領域について各勾配方向の存在位置に関する情報を省略したものが、図１４（ｂ）の上から２つめ、左から１つめのブロック（以下、便宜上「画素」と呼ぶ場合がある。）である。他のブロックも同様にして生成することができる。結果として、図１４（ａ）に示す１４×１４画素領域は、合計７×７＝４９個の２×２画素領域に分割される。

次に、図１５に基づき、照合領域と照合されるモデルパターン８ａの具体例について説明する。図１５は、照合効率化前の画像データと照合されるモデルパターン８ａの一例を示す概要図である。また、図１５のモデルパターンは、図１４（ａ）に示す１４×１４画素の領域とパターンマッチングを行なう場合を想定したものである。また、撮像対象としては、指腹を想定している。モデルパターン８ａは、メモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）に格納される。

ところで、図１５のモデルパターンは、１３×１３画素のモデルパターンとなっている。この場合、図１４（ａ）に示す１４×１４画素の領域と全画素数が異なっているが、この例のように照合領域とモデルパターンとの画素数は必ずしも一致しなくても良い。

また、奇数×奇数（１３×１３）としているのは、中心の画素が１つとなるようにするためである。この中心の画素を画像データ上の着目画素にあわせて１画素ずつ、ずらせてパターンマッチングを行なう。

この場合の一致画素数は、１画素ごとに照合されて算出されるので、１３×１３＝１６９画素の照合が必要となる。

次に、図１６は、照合効率化後の画像データと照合されるモデルパターン８ｂの一例を示す概要図である。図１６のモデルパターンは、図１４（ｂ）の照合効率化後の照合領域とのパターンマッチングを想定したものである。この例のように、照合領域とモデルパターンとデータ形式は必ずしも同一でなくても良い。この例では、２×２画素の領域を１画素（与えられる勾配方向は１つ）と看做してモデルパターンを簡略化することにより、さらなる照合の効率化を図っている。モデルパターン８ｂも、メモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）に格納される。

図１７は、照合効率化後の画像データと照合されるモデルパターン８ｃの他の例を示す概要図である。図１７のモデルパターン８ｃは、図１６のモデルパターン８ｂと比較して、２×２画素分が１つの領域に纏められている点において同じであるが、該１つの領域ごとに、２つの勾配方向（又は無方向）の自由度が与えられている点で異なる。このように、モデルパターン８ｂ，８ｃを工夫することにより、照合の効率化を図りつつ、照合精度を高めることができる。

図１８〜図２０は、照合効率化後の画像データと照合されるモデルパターン８ｂ，８ｄ，８ｅの他の例を示す概要図であり、図１８のモデルパターン８ｂは図１６のモデルパターン８ｂと同一である。図１９のモデルパターン８ｄは、図１８のモデルパターン８ｂと比べて、相対的に大きなサイズの指９９のパターンを検出するためのモデルである。また、図２０のモデルパターン８ｅは、図１８のモデルパターン８ｂと比べて、さらに相対的に大きなサイズの指９９のパターンを検出するためのモデルである。このように、モデルパターンのサイズを複数用意することによって、検出対象となる白丸状の画像の大きさに関して、種々の大きさに対応することが可能となる。

（５．パターンマッチング過程）
次に、画像処理装置１００におけるパターンマッチングの過程について説明する。まず、パターンマッチング過程におけるスコア算出部１０の具体的なスコア（合致度）算出方法について説明する。

図２１は、パターンマッチングを示す第１のイメージ図である。より詳細には、図２１（ａ）は、照合効率化前の指が液晶パネル２４０面に接触している場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図である。図２１（ｂ）は、その合致度算出方法の一例を示す図である。

図２１（ａ）は、図１４（ａ）の照合領域と、図１５のモデルパターン８ａとのパターンマッチングを行ったものを示している。ここで、図の中央の７行７列（以下では、横方向に並ぶ画素を「列」、縦方向に並ぶ画素を「行」と呼ぶ。また、上から行、左から列を数える。）にある１×１画素はスコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターン８ａとで、勾配方向が一致している画素を示している。

図２１（ｂ）に示す一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図２１（ｂ）に示す一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の１３行１３列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、勾配方向が与えられている画素で、モデルパターンの勾配方向と一致した画素を「１」とし、無方向及びモデルパターンの勾配方向と一致していない画素は「０」として計算している。なお、無方向と判定された画素は、最初から計算に含めない構成としても良い。ここでは、網掛けで示された一致画素数は「８５」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数（合致度）を用いても良い。

次に、図２１（ｂ）に示す正規化一致画素数について説明する。この正規化一致画素数は、例えば、照合精度を高めるためモデルパターンを複数種類用意してパターンマッチングを行なう場合（例えば、２１×２１、１３×１３、及び７×７画素の３種類のモデルパターン）に、モデルパターンのサイズに依存しない量として一致画素数を正規化するものである。

ここでは、正規化一致画素数を、次式（６）で定義する。
正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数） …（６）
なお、「適当な定数」は、計算の便宜等を考慮して適宜定めれば良い。ここでは、正規化一致画素数が０〜１０の範囲となるように、適当な定数＝１０と設定している。なお、以下で説明するパターンマッチングの例においても正規化一致画素数を使用しているが、説明は繰り返さない。

（６）式から、図２１（ａ）の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数＝１０×（８５／１３６）＝６．２５≒６
次に、図２２は、パターンマッチングを示す第２のイメージ図である。より詳細には、図２２（ａ）は、照合効率化後の指が液晶パネル２４０面に接触している場合における照合領域と、モデルパターンとのパターンマッチングを説明するための概要図であり、図２２（ｂ）は、その合致度算出方法の一例を示す図である。

図２２（ａ）は、図１４（ｂ）の照合効率化後の照合領域と、図１５のモデルパターン８ａとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターン８ａとで、勾配方向が一致している場合がある画素を示している。

図２２（ｂ）に示す一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図２２（ｂ）に示す一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出する方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、１つであるが、「右下」である。従って、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターン８ａの勾配方向は、１つであるが、「右下」である。勾配方向は、「右下」が「２つ」一致しているが、「右」は一致していない。従って、この場合の一致画素数は、「２」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

以上の計算をすべての画素について行なえば、網掛けで示された部分の一致画素数は「９１」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

ここでは、正規化一致画素数を、次式（７）で定義する。
正規化一致画素数＝適当な定数×（一致画素数／モデル中の方向成分が存在する要素数を４倍した値） …（７）
適当な定数＝１０と設定している。

（７）式から、図２２（ａ）の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数＝１０×（９１／１７６）＝５．１７≒５
図２３は、パターンマッチングを示す第３のイメージ図である。より詳細には、図２３（ａ）は、図１３（ｂ）の照合効率化後の照合領域と、図１７のモデルパターン８ｃとのパターンマッチングを行ったものを示している。ここで、図の中央の４行４列にある１×１画素（２×２画素に相当するものであるが、便宜上「画素」と言う。）は、スコアが付与される注目画素の位置である。網掛けされた部分は、照合領域とモデルパターン８ｃとで、勾配方向が一致している場合がある画素を示している。

図２３（ｂ）に示す一致パターンは、一致した方向の種類数を見る場合のテーブルを示している。本例では、８方向のすべてについて一致した画素が存在していることを示している。

次に、図２３（ｂ）に示す一致画素数の計算は、上記網掛けの部分を左上の１行１列の画素から、右下の７行７列の画素までの一致画素数を算出方法の一例を示すものである。ここでは、例えば、１行２列では、照合領域では、勾配方向が「右下」の画素が「３つ」存在しており、一方、モデルパターンの勾配方向は、２つであり、「右下」が「１つ」に「下」が「１つ」である。従って、「右下」が一致しているので、この場合の一致画素数は、「３」と計算する。

他の例では、２行１列では、照合領域では、勾配方向が「右下」の画素が「２つ」と、「右」が「１つ」存在しており、一方、モデルパターンの勾配方向は、２つであるが、「右」が「１つ」と「右下」が「１つ」である。勾配方向は、「右」が「１つ」と「右下」が「２つ」一致している。従って、この場合の一致画素数は、「３」と計算する。なお、ここでは、無方向と判定された画素は、最初から計算に含めない構成としている。

ここで、下線を引いた数字と、引いてない数字とが記載されているが、下線を引いた数字は、図２２（ａ）の場合と比較して、一致画素数が増加しているものを示している。

この結果は、図１６のモデルパターン８ｂよりも図１７のモデルパターン８ｃを使用した場合の方が、より変形に強い（円形からの歪に対するロバスト性の高い）パターンマッチングが行なえることを示している。

以上の計算をすべての画素について行なえば、網掛けで示された部分の一致画素数は「１１９」であるとの算出結果を得ている。なお、この一致画素数をスコア（合致度）として用いても良いが、以下で説明するような正規化一致画素数を用いても良い。

（７）式から、図２３（ａ）の場合の正規化一致画素数を求めると以下のようになる。
正規化一致画素数＝１０×（１１９／１７６）＝６．７６≒７
次に、図２４〜図３２に基づき、図９のスコア算出部１０が、一致画素数と合致パターンとを併用して、スコア（合致度）を算出する場合について説明する。

図２４は、画像処理装置１００におけるパターンマッチング過程の処理手順を示すフローチャートである。より詳細には、図２４は、画像処理装置１００が一致画素数とパターン合致度とを併用する場合について説明するためのフローチャートである。

図２４のＳ５０１では、一致画素数算出部７が、一致画素数を初期化して、Ｓ５０２に進む。Ｓ５０２では、パターン合致度算出部９が一致パターンの初期化を行ってＳ５０３に進む。ここでは、勾配方向の種類数を初期化している様子を示している。すべての勾配方向が「無」と表示されているのは、このことを示している。

Ｓ５０３では、一致画素数算出部７とパターン合致度算出部９とが１画素ごとに（照合効率化後の画素も含む）勾配方向の照合等を行って、Ｓ５０４に進む。

Ｓ５０４では、方向が一致すれば（Ｙｅｓ）Ｓ５０５に進み、一致画素数算出部７が一致画素数に一致した方向の要素数（効率化処理なしの場合は「１」）を加えてＳ５０６に進み、一方、方向が一致する画素が全くなければ（Ｎｏ）Ｓ５０７に進む。

Ｓ５０６では、パターン合致度算出部９が一致した勾配方向を「有」と更新して、Ｓ５０７に進む。

Ｓ５０７では、一致画素数算出部７及びパターン合致度算出部９がモデルパターンの全要素（画素）について照合が終了した場合（Ｙｅｓ）にはＳ５０８に進み、照合が終了していない場合（Ｎｏ）にはＳ５０３に戻る。

Ｓ５０８では、パターン合致度算出部９が一致パターンのチェックを行ない、Ｓ５０９に進む。この一致パターンのチェックの詳細については、後に説明する。

Ｓ５０９では、パターン合致度算出部９が、モデルパターン・比較用一致パターン格納部８を参照して、「許可パターン」に該当するか否かを判定し、許可パターンに該当する場合（Ｙｅｓ）はＳ５１０に進む。一方、許可パターンに該当しない場合（Ｎｏ）はＳ５０４に戻る。

なお、パターン合致度算出部９は、「許可パターン」に該当する場合にはパターン合致度を「１」とし、「許可パターン」に該当しない場合にはパターン合致度を「０」とし、スコア算出部１０は、一致画素数算出部７が算出した一致画素数にこれらの数値を掛ける構成が考えられる。

Ｓ５１０では、スコア算出部１０が、一致画素数算出部７が算出した一致画素数から正規化一致画素数を算出してパターンマッチングのスコア（合致度）とする。

次に、図２５及び図２６に基づき、上記パターンマッチングにおける一致パターンのチェックの一例について説明する。

図２５は、パターン合致度算出過程の一例を示すフローチャートである。図２６は、パターン合致度算出過程の他の例を示すフローチャートである。

なお、ここでは、勾配方向の種類は８方向あり、勾配方向種類数の閾値（ＤＮ）を５に設定した場合について説明する。

図２５に示すように、Ｓ６０１では、パターン合致度算出部９が、一致パターンの「有」の数が５以上の場合には、Ｓ６０２に進み、一致パターンの許可を行なう。

一方、パターン合致度算出部９は、一致パターンの「有」の数（勾配方向種類数）が５未満の場合には、Ｓ６０３に進み、一致パターンの不許可を行なう。

同様に、図２６には、パターン合致度算出部９が、一致パターン中の最大連接数（連続一致数）を算出し、一致パターン中の最大連接数（連続一致数）の閾値（ＤＮ）を上記と共通の５に設定した場合が異なること以外は、Ｓ７０１〜Ｓ７０３のフローは、図２５のＳ６０１〜Ｓ６０３のフローと同様であるので、ここでは、説明を繰り返さない。

次に、図２７〜図２９に基づき、一致パターンのチェックにおける第１の例を説明する。より詳細には、図２７は、パターン合致度算出過程の第１の例を示す概要図である。図２８は、パターン合致度算出過程の第２の例を示す概要図である。図２９は、パターン合致度算出過程の第３の例を示す概要図である。

図２７では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「８」方向がすべて存在しているので、閾値の５を超えており、図２５のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「８」となり、閾値の５を超えており、図２６のフローでも、「許可パターン」と判定される。したがって、図２７の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図２８では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図２５のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図２６のフローでも、「許可パターン」と判定される。したがって、図２８の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

図２９では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図２５のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「６」となり、閾値の５を超えており、図２６のフローでも、「許可パターン」と判定される。なお、この例のように、一致パターンのテーブルの左端と右端とは、繋がっている（周期的境界条件）ものとして、一致パターン中の最大連接数を算出する。

以上の結果、図２９の場合には、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

次に、図３０〜図３２に基づき、一致パターンのチェックにおける第２の例を説明する。より詳細には、図３０は、パターン合致度算出過程の第４の例を示す概要図である。図３１は、パターン合致度算出過程の第５の例を示す概要図である。図３２は、パターン合致度算出過程の第６の例を示す概要図である。

図３０では、一致画素数は「２４」と算出している。また、勾配方向の一致パターンは、「６」方向が存在しているので、閾値の５を超えており、図２５のフローでは、「許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５未満であり、図２６のフローでは、「不許可パターン」と判定される。

したがって、図３０の場合には、図２５のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「１」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「１」とを掛け算したのち、正規化一致画素数を算出してスコアとする。

一方、図２６のフローを用いた場合、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２４」と「０」とを掛け算して「０」をスコアとする。

図３１では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５未満であり、図２５のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「２」となり、閾値の５未満であり、図２６のフローでも、「不許可パターン」と判定される。

したがって、図３１の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

図３２では、一致画素数は「２２」と算出している。また、勾配方向の一致パターンは、「４」方向が存在しているので、閾値の５未満であり、図２５のフローでは、「不許可パターン」と判定される。一方、一致パターン中の最大連接数、「有」が連接して存在する数は、「４」となり、閾値の５未満であり、図２６のフローでも、「不許可パターン」と判定される。

以上の結果、図３２の場合には、パターン合致度算出部９は、パターン合致度として「０」を算出し、スコア算出部１０は、一致画素数算出部７が算出した、一致画素数「２２」と「０」とを掛け算して「０」をスコアとする。

以上のように、スコア算出部１０は、照合領域と、モデルパターンとの照合を行って、照合領域に含まれる勾配方向と、モデルパターンに含まれる勾配方向とが一致する画素数（一致画素数）、及び、照合領域に含まれる画素ごとの勾配方向とモデルパターンに含まれる画素ごとの勾配方向との一致パターンと、あらかじめ定められた比較用一致パターンとが類似する度合いを示すパターン合致度から、スコア（合致度）を算出する。

（６．接触・非接触特定過程）
次に、画像処理装置１００における接触・非接触特定過程について説明する。

図３３は、画像処理装置１００における接触・非接触特定過程の処理手順を示すフローチャートである。

図３３においては、Ｓ８０１では、スコア算出部１０が、自身が算出した合致度が所定の値以上である場合（Ｙｅｓ）にはＳ８０２に進む。一方、自身が算出した合致度が所定の値以上でない場合（Ｎｏ）には本接触・非接触特定過程の動作が終了する。

Ｓ８０２では、第２エッジ抽出部１５は、合致度が所定の値以上であるとのスコア算出部１０の判断に基づいて、第２エッジ画素を抽出して、Ｓ８０３に進む。

Ｓ８０３では、スコア算出部１０が、第２エッジ抽出部１５から第１エッジ画素数及び第２エッジ画素数を取得し、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているか否かを判断する。そして、所定の値を超えていれば（Ｙｅｓ）、スコア算出部１０はＳ８０４に進む。一方、所定の値を超えていなければ（Ｎｏ）、スコア算出部１０は、本接触・非接触特定過程の動作を終了する。

Ｓ８０４では、スコア算出部１０が、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているとの自身の判断に基づいて、今回自身が算出した合致度を位置特定部１１に出力する。

このようにして、図３３に示す接触・非接触特定過程の動作が実行されることになる。
ここで、この動作の効果について具体例を用いて説明する。図２（ｃ）に示したように、指９９が液晶パネル２４０面から離れている時は、撮像画像は全面が真っ暗になるが、図２（ｇ）及び図２（ｋ）に示したように、指９９が液晶パネル２４０の表面に接触または近接（非接触）した時は、指９９の腹からの反射光によって白丸状の像が撮像画像中に含まれる。

まず、指９９が液晶パネル２４０の表面に接触している場合、すなわち図２（ｋ）の状態を考える。この場合、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図３４に示すような配置となる。そして、図中のＡ部においてパターンマッチングが行なわれることになる。また、第２エッジ抽出部１５により抽出された第２エッジ画素は図３５に示すような配置となる。

一方、指が液晶パネル２４０の表面に近接（非接触）している場合、すなわち図２（ｇ）の状態を考える。この場合、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図３６に示すような配置、すなわち図３４と同様の配置となる場合がある。この場合、図中のＢ部においてパターンマッチングが行なわれてしまう可能性がある。

しかしながら、図２（ｇ）に示す撮像画像においては、図３７に示すように、第２エッジ抽出部１５により第２エッジ画素が抽出されることがない。なぜなら、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第２閾値以上である第２エッジ画素が第１エッジ画素のうちに存在しないからである。

したがって、仮に、非接触の指の画像データに対してパターンマッチングが行なわれたとしても、第２エッジ画素を抽出することにより、接触・非接触の特定をより精度良く行なうことができる。

（７．ポインティング位置特定過程）
次に、画像処理装置１００におけるポインティング位置特定過程の処理手順について説明する。図３８は、画像処理装置１００におけるポインティング位置特定過程の処理手順を示すフローチャートである。

図３８を参照して、Ｓ９０１では、ピーク探索部１２が、注目画素の周囲で所定の画素数を含む第１領域（探索領域）内で、スコア算出部１０が算出した合致度が最大値をとる画素であるピーク画素を探索して、ピーク画素を発見したらＳ９０２に進む。なお、図示していないが、ピーク探索部１２が、ピーク画素を発見できない場合には、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ９０１に戻る。

Ｓ９０２では、座標算出判定部１３が、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合には、Ｓ９０３に進み、座標算出判定部１３は、「ピーク画素あり」と判定し、Ｓ９０４に進む。一方、座標算出判定部１３が、第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在しなかった場合には、Ｓ９０５に進み、座標算出判定部１３は、「ピーク画素なし」と判定し、注目画素を所定数（例えば、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ））ずらしてＳ９０１に戻る。

以上の手順は、座標算出部１４がポインティング（補間）位置を算出するまで繰り返される。

Ｓ９０４では、座標算出部１４が、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、撮像対象による撮像画像上の指示位置を算出して「ＥＮＤ」となる。

なお、上述の説明では、座標算出部１４がポインティング（補間）位置を算出するまで処理を繰り返す場合について説明したが、複数のポインティング（補間）位置を算出可能な構成としてもよく、この場合、画像全体に対して処理を終了するまで、第１・第２領域を移動して、図３８に示すフローチャートの処理を実行すればよい。

次に、図３９は、ピーク画素の有無の判定方法を示すイメージ図である。より詳細には、図３９（ａ）は画像処理装置１００における座標算出判定部１３がピーク画素が無いと判定する場合を説明するための概要図であり、図３９（ｂ）は座標算出判定部１３がピーク画素が有ると判定する場合を説明するための概要図である。

図３９（ａ）に示す実線が第１領域であり、破線が第２領域である。第１領域の画素数は、９×９画素であり、第２領域の画素数は、５×５画素である。それぞれ、奇数×奇数としているのは、中央の注目画素が１画素となるようにするためである。

図３９（ａ）の例では、第１領域内にピーク画素である「９」が存在しているが、該ピーク画素は、第２領域内には存在していない。したがって、この場合は、座標算出判定部１３は、「ピーク画素なし」と判定する。

一方、図３９（ｂ）の例では、第１領域内にピーク画素である「９」が存在しており、かつ、第２領域内にも存在している。したがって、この場合は、座標算出判定部１３は、「ピーク画素あり」と判定する。

なお、上述の例では、第１領域にピーク画素が存在している場合において、第２領域内にピーク画素が無い場合には、第１領域の注目画素から端の画素までの最短コース（第２領域の一辺のサイズ）である「５画素」だけ、第１領域及び第２領域を動かせば、必ず、ピーク画素が第２領域内に入ってくるように、第１領域と第２領域との画素数との差が設定されている。

次に、図４０は、座標算出部１４のポインティング（補間）座標（撮像対象による撮像画像上の指示位置）の算出方法を示すイメージ図である。図４０（ａ）は画像処理装置１００における撮像対象による撮像画像上における指示位置の算出のために使用されるピーク画素領域について説明するための概要図である。図４０（ｂ）は画像処理装置１００におけるポインティング（補間）座標の座標算出方法を説明するための概要図である。

図４０（ａ）は、座標算出判定部１３が「ピーク座標あり」と判定した場合であり、図３９（ｂ）の場合と同じである。なお、図４０（ａ）は第１領域及び第２領域とも破線の領域で示されている。一方、実線で示した５×５画素の領域が、ピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域である。

図４０（ａ）に示す例では、このピーク画素領域も第２領域と同様に、第１領域に完全に包含されている。この場合は、ピーク画素領域内のスコアをあらためて調べる必要が無い。このように、第２領域の端にピーク画素が存在する場合でも、ピーク画素領域が第１領域内に包含されるように構成することが好ましい。

次に、図４０（ｂ）に基づき、座標算出部１４のポインティング座標算出方法について説明する。本実施の形態においては、画像データの画素数が、３２０×２４０画素である場合に、図９の低解像度化部２が、バイリニア縮小を２回行ない、さらに、照合効率化部６が、２×２画素について照合効率化を行ない、スコア画像（スコアのデータを画素ごとに付与したもの）のサイズが４０×３０画素になっている場合を想定している。

したがって、スコア画像の全領域を８倍に拡大したものが、画像データの全領域に相当する。したがって、補間量（スケール拡大量）＝８となっている。

具体的な計算方法は、以下のとおりである。まず、ピーク画素領域における行ごとのスコアの和を計算する（図４３の１９、２８、３３、２４、及び１１）。

次に、ピーク画素領域における列ごとのスコアの和を計算する（図４３の１６、２４、２８、２６、及び２１）。また、ピーク画素領域内（５×５画素）のスコアの総和を求める（図４０（ｂ）の１１５）。

次に、ピーク画素領域内のスコアの値が質量分布に相当するものとして、スコア画像の全領域における重心座標を求め、スケールを８倍に拡大すると、次式（１４）及び（１５）の座標を得る。

次に、画素のサイズを考慮して目盛り位置の調整を行うと、ポインティング座標（Ｘ，Ｙ）は、次式（１６）となる。

以上によれば、ピーク探索部１２は、第１領域（探索領域）内で探索するので、全画素数を含む画像データ領域において、ピーク画素を探索するよりも処理コストを低減、及びメモリ容量を少量化させることができる。

例えば、第１領域の画素数が小さいということは、データ画像（スコア画像）全体（＝全画素）のスコアをバッファに保存しておく必要がなく、ピーク探索を実行する第１領域に必要なメモリ容量（例えば９×９画素の第１領域の場合、９ライン分のラインバッファ）があればよい、ということになる。

このように、ラインバッファで実装することにより、メモリ容量を少量化できる効果は、ピーク探索に限らず、縦横の各勾配量の一時保存や、勾配方向の一時保存等、後段処理に受け渡す際にバッファメモリが介在するような実装を行なう場合には、全て共通して言えることである。

さらに、座標算出部１４は、ピーク探索部１２が発見したピーク画素を中心とする所定の画素数を含む領域であるピーク画素領域内の、画素ごとのスコアを用いて、ポインティング位置を算出する。例えば、エッジ画像を用いてその重心位置からポインティング位置を求める場合、撮像画像が歪な形に変形するほど算出が困難になると考えられる。

しかし、画像処理装置１００では、ピーク画素領域内の、画素ごとのパターンマッチングによるスコアを用いて、ポインティング位置を算出する。このパターンマッチングにおけるスコアの最大値近傍は、撮像画像が歪な形に変形したとしても、該最大値近傍を中心として、放射状に合致度が減少していくという、ほぼ変形前と同様の分布傾向を示すものと考えられる。

したがって、撮像画像が歪な形に変形するか否かに関係なく、所定の手順（例えば、ピーク画素領域内でスコアの重心を算出する等）で、ポインティング位置を算出することができる。それゆえ、座標位置の検出精度の維持との両立を図りつつ、ポインティング位置を算出するための画像処理量の軽減、処理コストの低減、及びメモリ容量の少量化が可能となる。

以上より、撮像対象の撮像画像へのタッチ・非タッチの検出に関係なく、１フレームの画像データのみを用いたパターンマッチングを行なうことで、ポインティング位置の検出を可能としてメモリ容量を少量化し、及び処理時間を短縮化しつつ、ポインティング位置の算出において、画像処理量の軽減とポインティング位置の検出精度の維持との両立、及びメモリ容量の少量化を実現することができる画像処理装置１００を提供することができる。

また、座標算出判定部１３は、第１領域と共通の注目画素をもち、第１領域の画素数よりも少ない所定の画素数を有すると共に、第１領域内に完全に包含される第２領域（小領域）内に、ピーク探索部１２が発見したピーク画素が存在することを判定した場合に、座標算出部１４にポインティング位置を算出させることが好ましい。

ピーク画素領域は、第２領域内に存在するピーク画素を注目画素としてその周囲に広がる領域であるので、第１領域と共通する画素が多数存在することになる。また、ピーク画素領域と第１領域との共通の画素のスコアは既に算出されているので、非共通の画素のスコアを調べれば、座標算出部１４にポインティング位置を算出させることができる。

また、ピーク画素領域と第１領域とのそれぞれの画素数を調整すれば、ピーク画素領域を第１領域に包含させることも可能である。この場合、ピーク画素領域の各画素のスコアは既に判明しているので、ポインティング位置算出のためにあらためて判明していない各画素のスコアを調べる必要が無い。

以上より、ポインティング位置の算出において、さらに画像処理量の軽減及びメモリ容量の少量化を実現することができる。また、ピーク座標判定時に第１領域の外側に向けてスコアの上昇が連接している場合への対応と、ハードウェア実装等において各処理モジュールをパイプライン処理する際等に、参照すべきスコアの保持バッファ容量を少量化（例えば画像全体ではなく９ラインのみ）できる。

（８．情報統合過程）
次に、画像処理装置１００における情報統合過程について説明する。図４１は、画像処理装置１００における情報統合過程の処理手順を示すフローチャートである。

Ｓ１００１では、情報統合部１８が、接触位置特定部１６及び近接位置特定部１７から出力される、接触位置情報及び近接位置情報を参照して、接触特定位置近傍に近接特定情報があるか否かを判定する。すなわち、接触位置特定部１６及び近接位置特定部１７から出力される位置情報において、接触位置の近傍に同時に近接位置も特定されているか否かを判定する。接触特定位置近傍に近接特定情報がある場合、Ｓ１００２に進む。接触特定位置近傍に近接特定情報がない場合、情報統合処理過程を終了する。ただし、複数の接触特定位置情報が存在する場合、次の接触特定位置情報についてＳ１００１からの処理を繰り返し、全ての接触特定位置情報についてＳ１００１からＳ１００２の処理をした後に、情報統合処理過程を終了する。

Ｓ１００２では、情報統合部１８が、近接特定情報を削除する。より具体的には、Ｓ１００１で接触特定位置近傍に存在すると判定された近接特定情報を削除する。Ｓ１００２の処理により、近傍位置を示す接触位置と近接位置とが同時に出力されることを回避することが可能となり、例えば、出力される位置情報と距離情報とを用いて動作する画像処理装置１００を構築する際に、同じような位置で同時に接触かつ近傍（非接触）と出力されることによる混乱（接触で且つ非接触）を回避することが可能となる。

Ｓ１００３では、情報統合部１８が、接触特定情報を出力する。より具体的には、接触として特定されたポインティング位置と共に、ポインティング距離情報として「接触」状態であることを示す情報を出力する。

Ｓ１００４では、情報統合部１８が、近接特定情報を出力する。より具体的には、近接として特定されたポインティング位置と共に、ポインティング距離情報として「近接」状態であることを示す情報を出力する。

ここで、ポインティング距離情報としては、例えば、接触状態であれば「１」、近接状態であれば「２」というように、番号を予め規定するなどしておけばよい。

＜各種条件＞
次に、図４２〜図４５に基づいて、接触位置特定部１６並びに近接位置特定部１７が管理する照合条件、すなわち各処理の組み合わせ条件について説明する。接触位置特定部１６は、図１１におけるステップＳ２０２において接触位置特定用の各種条件を設定する。近接位置特定部１７は、図１１におけるステップＳ２０３において近接位置特定用の各種条件を設定する。

図４２〜図４５において、図４２は、接触位置特定部１６および近接位置特定部１７が管理する各処理の組み合わせ条件テーブルの一例である。図４３，４４，４５は、接触位置特定部１６並びに近接位置特定部１７が管理する各処理の組み合わせ条件テーブルの他の例である。

図４２〜図４５に示される各処理について説明する。まず、「低解像度化」は、低解像度化部２で低解像度化処理を行う際の縮小度合いを示す。本実施の形態では、１／２、または、１／４の場合について示すが、低解像度化部２で低解像度化する際に、近接位置特定用の設定値の方が、接触位置特定用の設定値と同等またはより低解像度になるように設定すれば、１／２、または、１／４のみに限定するものではない。

次に、「接触・非接触特定」は、スコア算出部１０が、スコアを算出する際に、接触・非接触特定過程を経るか否かを示す。本実施の形態では、接触・非接触特定過程を経るか否かの設定例を示すが、第２エッジ抽出部１５で第２エッジを抽出する際の閾値を、接触位置特定用ではより厳しい閾値（近接位置特定用と比べて大きいエッジ勾配量を抽出）、近接位置特定用ではより緩い閾値（接触位置特定用と比べて小さいエッジ勾配量を抽出）を設定するようにしてもよい。

次に、「画素値判定」は、方向特定部５が、勾配方向を特定する際に、画素値に基づく判定を行うか否か、または、画素値判定の際に用いる閾値を示す。本実施の形態では、下限値を設定するか、または画素値判定を行わない場合について説明したが、先に説明した通り、上限値または画素値範囲を設定するようにしてもよい。この場合、近接位置特定用の設定値の方が、接触位置特定用の設定値よりも緩い基準（特徴量をより得やすい基準）となるようにすればよい。

次に、「照合効率化」は、照合効率化部６が、照合効率化を行うか否か、または、照合効率化時の縮小度合いを示す。本実施の形態では、照合効率化の度合いが１／２、または、１／４の場合について示すが、照合効率化部６で照合効率化する際に、近接位置特定用の設定値の方が、接触位置特定用の設定値と同等またはより低解像度になるように設定すれば、１／２、または、１／４のみに限定するものではない。

次に、「モデルパターン」は、一致画素数算出部７が一致画素数を算出する際に用いるモデルパターンの大きさを示す。本実施の形態では、１１×１１、または、１５×１５の場合について示すが、近接位置特定用の大きさの方が、接触位置特定用の大きさと同等またはより大きくなるように設定すれば、１１×１１、または、１５×１５のみに限定するものではない。

次に、「比較用一致パターン閾値」は、パターン合致度算出部９が、一致パターンと比較用一致パターンとの合致度合いを算出する際に用いる閾値ＤＮを示す。本実施の形態では、５または７の場合について示すが、近接位置特定用の閾値ＤＮの方が、接触位置特定用の閾値ＤＮと同等またはより緩い基準（小さい閾値）となるように設定すれば、５または７のみに限定するものではない。

図４２では、接触位置特定用の照合条件と、近接位置特定用の照合条件とで、「低解像度化」、「接触・非接触判定」、「画素値判定」の各処理条件が異なっている。

図４３では、接触位置特定用の照合条件と、近接位置特定用の照合条件とで、「接触・非接触判定」、「画素値判定」、「照合効率化」の各処理条件が異なっている。

図４４では、接触位置特定用の照合条件と、近接位置特定用の照合条件とで、「接触・非接触判定」、「画素値判定」、「モデルパターン」の各処理条件が異なっている。

図４５では、接触位置特定用の照合条件と、近接位置特定用の照合条件とで、「接触・非接触判定」、「画素値判定」、「比較用一致パターン閾値」の各処理条件が異なっている。

以上の図４２〜図４５に示した例からわかるように、「接触・非接触判定」と「画素値判定」の処理条件については、どの例においても、接触位置特定用の照合条件と、近接位置特定用の照合条件とで異なっている。これは、接触時と非接触時とでは、接触時の方が非接触時よりも相対的に勾配量が小さく、また画素値が小さく（暗く）なる傾向があるためである。

上述のように、各処理部の処理条件について、近接位置特定用の照合条件が接触位置特定用の照合条件よりも緩い基準で照合するように照合条件を切り替え、または各照合条件に応じた位置特定用の各処理部（低解像度化部２、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９）を構築することで、接触位置と近接位置とを同時に特定することが可能となる。

次に、図４６〜図４９に基づいて、接触位置特定部１６並びに近接位置特定部１７が管理する照合条件、すなわち各処理の組み合わせ条件の他の例について説明する。図４６〜図４９は、接触位置特定部１６並びに近接位置特定部１７が管理する各処理の組み合わせ条件テーブルの図４２〜図４５と異なる他の例である。

なお、図４２〜図４９に示す条件テーブルのいずれかが、メモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）に記憶されていてもよい。また、それらの複数が、ユーザからの選択命令や、ユーザからの条件変更命令や、ＣＰＵ２１０あるいはＣＰＵ１１０によって実行されるアプリケーションなどによって、選択可能にメモリ（ＲＡＭ２７１、ＲＡＭ１７１、ＲＯＭ２７２、ＲＯＭ１７２）に記憶されていてもよい。

図４６〜図４９では、図４２〜図４５と比べて、近接位置特定用の「画素値判定」処理条件が異なっている。すなわち、図４２〜図４５では接触位置特定用と近接位置特定用とで「画素値判定」時の閾値を異なる値にしているが、図４６〜図４９では接触位置特定用と近接位置特定用とで「画素値判定」を行うか否かで異なる条件としている。

上述のように、各処理部の処理条件について、近接位置特定用の照合条件が接触位置特定用の照合条件よりも緩い基準で照合するように照合条件を切り替え、または各照合条件に応じた位置特定用の各処理部（低解像度化部２、第１エッジ抽出部４、第２エッジ抽出部１５、一致画素数算出部７、パターン合致度算出部９）を構築すれば、その条件の組み合わせの詳細について限定するものではない。

ただし、上述の通り、「接触・非接触判定」と「画素値判定」の処理条件については、接触時と非接触時とでは、接触時の方が非接触時よりも相対的に勾配量が小さく、また画素値が小さく（暗く）なる傾向があるため、接触位置特定用の照合条件よりも近接位置特定用の照合条件を相対的に緩めに設定することが好ましい。

また、図４２〜図４９で具体的な照合条件の例をいくつか示したので、詳細な説明は繰り返さないが、第１エッジ抽出部４で、撮像画像のエッジ部分の画素である第１エッジ画素を抽出（特定）する際に、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が所定の第１閾値以上であることを判定する際に用いる第１閾値を、接触位置特定用の照合条件よりも近接位置特定用の照合条件を相対的に緩め（小さな値）に設定することが好ましい。

また、本実施の形態では、ポインティング距離情報として接触または近接の２段階の場合について説明したが、距離情報の段階は２段階に特定するものではなく、３段階以上の各段階を特定するようにしてもよい。この場合、例えば、近接位置特定部１７をさらにもう１つまたは２つ以上設けて、「第１近接位置特定部」、「第２近接位置特定部」、「第３近接位置特定部」などのように各距離段階に応じた近接位置特定を処理を行い、より接触に近い（距離の近い）近接位置情報を優先するように、情報統合処理を行えばよい。

上述のように、近接を複数段階で特定する場合、図４２〜図４９を用いて説明した照合条件について、より距離の遠い近接位置特定用の照合条件ほど、解像度が粗く、画素値判定基準を緩く（閾値をより小さく）、モデルパターンをより大きく、比較用一致パターンをより緩く（閾値を小さく）するという方向で照合条件を設定すればよい。

上述したように、画像処理装置１００の各ブロック、特に低解像度化部２、縦勾配量算出部３ａ、横勾配量算出部３ｂ、第１エッジ抽出部４、方向特定部５、照合効率化部６、一致画素数算出部７、パターン合致度算出部９、スコア算出部１０、位置特定部１１、第２エッジ抽出部１５、接触位置特定部１６、近接位置特定部１７、及び情報統合部１８は、ハードウェアロジック回路によって構成してもよいし、次のようにＣＰＵ２１０やＣＰＵ１１０を用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１００は、各機能を実現する制御プログラムの命令を実行するためのＣＰＵ２１０，ＣＰＵ１１０、上記プログラムを格納するためのＲＯＭ２７２，１７２、上記プログラムを展開するためのＲＡＭ２７１，１７１、上記プログラムおよび各種データを格納するための図示しないメモリ等の記憶装置（記録媒体）等を装備している。そして、本実施の形態に係る画像処理装置１００は、上述した機能を実現するソフトウェアである画像処理装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を上記画像処理装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が当該記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやコンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。

また、画像処理装置１００を通信ネットワークと接続可能に構成し、その通信ネットワークを介して上記プログラムコードを画像処理装置１００に供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（value added network）、ＣＡＴＶ通信網、仮想専用網、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high dynamic range）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

＜接触・非接触特定過程の変形例＞
次に、画像処理装置１００における接触・非接触特定過程について説明する。

図５０は、画像処理装置１００における接触・非接触特定過程の変形例の処理手順を示すフローチャートである。

図５０においては、Ｓ１８０１では、スコア算出部１０が、自身が算出した合致度が所定の値以上である場合（Ｙｅｓ）にはＳ１８０３に進む。一方、自身が算出した合致度が所定の値以上でない場合（Ｎｏ）には、スコア算出部１０は、「外部の物体が検知できないこと」すなわち「外部の物体が液晶パネル２４０の近傍に存在しないこと」を出力する（ステップＳ１８０２）。スコア算出部１０は、本接触・非接触特定過程を終了する。

Ｓ１８０３では、第２エッジ抽出部１５は、合致度が所定の値以上であるとのスコア算出部１０の判断に基づいて、第２エッジ画素を抽出してＳ１８０４に進む。

Ｓ１８０４では、スコア算出部１０が、第２エッジ抽出部１５から第１エッジ画素数及び第２エッジ画素数を取得し、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているか否かを判断する。そして、所定の値を超えていれば（Ｙｅｓ）、スコア算出部１０はＳ１８０６に進む。一方、所定の値を超えていなければ（Ｎｏ）、スコア算出部１０は、「外部の物体が液晶パネル２４０の近傍に存在するが未だ非接触であること」を出力する（ステップＳ１８０５）。スコア算出部１０は、本接触・非接触特定過程を終了する。

Ｓ１８０６では、スコア算出部１０が、第１エッジ画素のうち第２エッジ画素が占める割合が所定の値を超えているとの自身の判断に基づいて、「外部の物体が液晶パネル２４０に接触していること」を出力する。

このようにして、図５０に示す接触・非接触特定過程の動作が実行されることになる。なお、この場合には、情報統合過程において、情報統合部１８は、スコア算出部１０による判断結果に基づいて、ステップＳ１００３およびステップＳ１００４のいずれか１つを実行してもよい。より詳細には、スコア算出部１０が「外部の物体が液晶パネル２４０の近傍に存在するが未だ非接触であること」を出力した場合、情報統合部１８はステップＳ１００４を実行する。一方、スコア算出部１０が「外部の物体が液晶パネル２４０に接触していること」を出力した場合、情報統合部１８はステップＳ１００３を実行する。

あるいは、画像処理装置１００は、接触・非接触特定過程に先立って、ポインティング位置特定過程を実行してもよい。この場合には、スコア算出部１０が「外部の物体が液晶パネル２４０の近傍に存在するが未だ非接触であること」を出力する際に、すなわちステップＳ１８０５において情報統合部１８が近接位置情報を出力する。一方、スコア算出部１０が「外部の物体が液晶パネル２４０に接触していること」を出力する際に、すなわちステップＳ１８０６において情報統合部１８は接触位置情報を出力する。

ここで、この動作の効果について具体例を用いて説明する。図２（ｃ）に示したように、指９９が液晶パネル２４０面から離れている時は、撮像画像は全面が真っ暗になるが、図２（ｇ）及び図２（ｋ）に示したように、指９９が液晶パネル２４０の表面に接触または近接（非接触）した時は、指９９の腹からの反射光によって白丸状の像が撮像画像中に含まれる。

まず、指９９が液晶パネル２４０の表面に接触している場合、すなわち図２（ｋ）の状態を考える。この場合、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図３４に示すような配置となる。そして、図中のＡ部においてパターンマッチングが行なわれることになる。また、第２エッジ抽出部１５により抽出された第２エッジ画素は図３５に示すような配置となる。

一方、指が液晶パネル２４０の表面に近接（非接触）している場合、すなわち図２（ｇ）の状態を考える。この場合、第１エッジ抽出部４により抽出された第１エッジ画素の勾配方向は図３６に示すような配置、すなわち図３４と同様の配置となる場合がある。この場合、図中のＢ部においてパターンマッチングが行なわれてしまう可能性がある。

しかしながら、図２（ｇ）に示す撮像画像においては、図３７に示すように、第２エッジ抽出部１５により第２エッジ画素が抽出されることがない。なぜなら、縦方向勾配量Ｓｙ及び横方向勾配量Ｓｘのそれぞれ、又は、勾配の大きさＡＢＳ（Ｓ）が第２閾値以上である第２エッジ画素が第１エッジ画素のうちに存在しないからである。

したがって、仮に、非接触の指の画像データに対してパターンマッチングが行なわれたとしても、第２エッジ画素を抽出することにより、接触・非接触の特定をより精度良く行なうことができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２ 低解像度化部、３ａ 縦勾配量算出部、３ｂ 横勾配量算出部、４ エッジ抽出部、５ 方向特定部、６ 照合効率化部、７ 一致画素数算出部、８ パターン格納部、８ａ，８ｂ，８ｃ，８ｄ，８ｅ モデルパターン、９ パターン合致度算出部、１０ スコア算出部、１１ 位置特定部、１２ ピーク探索部、１３ 座標算出判定部、１４ 座標算出部、１５ エッジ抽出部、１６ 接触位置特定部、１７ 近接位置特定部、１８ 情報統合部、９９ 指、１００，１５０ 画像処理装置、１００Ａ，１００Ｂ 筐体、１００Ｃ ヒンジ、１０１ 本体装置、１０２，１０２Ａ，１０３ 表示装置、１０４ 本体装置、１３０ ドライバ、１３１ 走査信号線駆動回路、１３２ データ信号線駆動回路、１３３ 光センサ駆動回路、１３４ スイッチ、１３５ アンプ、１４０ 光センサ内蔵液晶パネル、１４１ 画素回路、１４１ｂ，１４１ｇ，１４１ｒ サブピクセル回路、１４３ 電極対、１４３ａ 画素電極、１４３ｂ 対向電極、１４４ 光センサ回路、１４５ フォトダイオード、１４６ コンデンサ、１５１Ａ アクティブマトリクス基板、１５１Ｂ 対向基板、１５２ 液晶層、１５３ｂ，１５３ｇ，１５３ｒ カラーフィルタ、１５７ データ信号線、１６１ 偏光フィルタ、１６２ ガラス基板、１６３ 遮光膜、１６４ 配向膜、１７３ メモリカードリーダライタ、１７４ 外部通信部、１７５ マイク、１７６ スピーカ、１７７ 操作キー、１７９ バックライト、１８０ 画像処理エンジン、１８１ ドライバ制御部、１８２ タイマ、１８３ 信号処理部、１９１ 電源スイッチ、１９２ 電源回路、１９３ 電源検出部、１９４ コネクタ、１９５ アンテナ、１９６ コネクタ、２３０ ドライバ、２４０ 光センサ内蔵液晶パネル、２７４ 外部通信部、２７９ バックライト、２８０ 画像処理エンジン、２８１ ドライバ制御部、２８２ タイマ、２８３ 信号処理部、２９３ 電源検出部、２９４ コネクタ、２９５ アンテナ、２９７ 信号強度検出部、１７３ メモリカード。

Claims (7)

1. パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出する勾配量算出手段と、
   前記画素毎の画素値の勾配量に基づいて、前記パネルと撮像対象とが近接且つ非接触状態であることを特定する近接特定手段と、
   前記パネルと前記撮像対象とが接触状態であることを特定する接触特定手段とを備え、
   前記接触特定手段と前記近接特定手段とは、所定範囲内の画像値を有する画素に関して前記状態の特定を行い、
   前記接触特定手段と前記近接特定手段とは、前記画像データ中に含まれる前記画素値の勾配量、前記画素値の勾配方向、前記所定範囲の少なくともいずれかについて、互いに異なる基準に基づいて前記状態の特定を行い、
   前記撮像対象に関するモデルパターンを記憶するメモリと、
   前記画像データ上の注目画素毎に、当該画素の画素値と複数の隣接画素の画素値とから前記勾配方向を特定する勾配方向特定手段と、
   前記注目画素の周囲で所定数の画素を含む照合領域と前記モデルパターンとの照合を行うことによって、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する画素数から、前記照合領域と前記モデルパターンとの合致度を算出する合致度算出手段と、
   前記勾配量が第１閾値以上である第１エッジ画素を特定する第１エッジ特定手段と、
   前記第１エッジ画素のうち、前記勾配量が前記第１閾値よりも大きい第２閾値以上である第２エッジ画素を特定する第２エッジ特定手段と、
   第１エッジ画素数と第２エッジ画素数との比率及び前記合致度算出手段により算出された合致度に基づいて、前記撮像対象による指示位置を特定する位置特定手段とをさらに備え、
   前記接触特定手段と前記近接特定手段とは、
   前記第１エッジ特定手段による第１エッジ画素の特定のために、互いに異なる前記第１閾値を設定し、
   前記第２エッジ特定手段による第２エッジ画素の特定のために、互いに異なる前記第２閾値基準を設定する、または、前記位置特定手段による前記指示位置の特定のために、第１エッジ画素数と第２エッジ画素数との比率を用いるか否かをそれぞれに設定する、画像処理装置。
2. パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出する勾配量算出手段と、
   前記画素毎の画素値の勾配量に基づいて、前記パネルと撮像対象とが近接且つ非接触状態であることを特定する近接特定手段と、
   前記パネルと前記撮像対象とが接触状態であることを特定する接触特定手段とを備え、
   前記接触特定手段と前記近接特定手段とは、所定範囲内の画像値を有する画素に関して前記状態の特定を行い、
   前記接触特定手段と前記近接特定手段とは、前記画像データ中に含まれる前記画素値の勾配量、前記画素値の勾配方向、前記所定範囲の少なくともいずれかについて、互いに異なる基準に基づいて前記状態の特定を行い、
   前記撮像対象に関するモデルパターンを記憶するメモリと、
   前記画像データ上の注目画素毎に、当該画素の画素値と複数の隣接画素の画素値とから前記勾配方向を特定する勾配方向特定手段と、
   前記注目画素の周囲で所定数の画素を含む照合領域と前記モデルパターンとの照合を行うことによって、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する画素数から、前記照合領域と前記モデルパターンとの合致度を算出する合致度算出手段とを備え、
   前記メモリは、複数種類の前記モデルパターンを記憶し、
   前記合致度算出手段は、前記モデルパターンに含まれる画素の勾配方向と一致する前記照合領域に含まれる画素の個数と、当該一致した画素の勾配方向の種類の組み合わせとに基づいて、前記合致度を算出し、
   前記接触特定手段と前記近接特定手段とは、前記合致度算出手段による前記合致度の算出のために、互いに異なる種類の前記モデルパターン、または互いに異なる組み合わせを設定する、画像処理装置。
3. パネルを介して撮像された撮像画像の画像データに基づいて、画素毎の画素値の勾配量を算出する勾配量算出手段と、
   前記画素毎の画素値の勾配量に基づいて、前記パネルと撮像対象とが近接且つ非接触状態であることを特定する近接特定手段と、
   前記パネルと前記撮像対象とが接触状態であることを特定する接触特定手段とを備え、
   前記接触特定手段と前記近接特定手段とは、所定範囲内の画像値を有する画素に関して前記状態の特定を行い、
   前記接触特定手段と前記近接特定手段とは、前記画像データ中に含まれる前記画素値の勾配量、前記画素値の勾配方向、前記所定範囲の少なくともいずれかについて、互いに異なる基準に基づいて前記状態の特定を行い、
   前記撮像対象に関するモデルパターンを記憶するメモリと、
   前記画像データ上の注目画素毎に、当該画素の画素値と複数の隣接画素の画素値とから前記勾配方向を特定する勾配方向特定手段と、
   前記注目画素の周囲で所定数の画素を含む照合領域と前記モデルパターンとの照合を行うことによって、前記照合領域に含まれる勾配方向と、前記モデルパターンに含まれる勾配方向とが一致する画素数から、前記照合領域と前記モデルパターンとの合致度を算出する合致度算出手段とを備え、
   前記メモリは、異なる大きさの前記モデルパターンを記憶し、
   前記接触特定手段と前記近接特定手段とは、前記合致度算出手段による前記合致度の算出のために、互いに異なる大きさの前記モデルパターンを設定する、画像処理装置。
4. パネルを介して撮像された画像に対して画像処理を行なう画像処理装置であって、
   前記画像は画素毎に画素値を含み、
   前記画素毎の前記画素値の勾配量を算出する勾配量算出手段と、
   前記画素の中から前記勾配量が第１の閾値以上である第１の画素を抽出する第１の抽出部と、
   前記画素の中から前記勾配量が前記第１の閾値よりも大きい第２の閾値以上である第２の画素を抽出する第２の抽出部と、
   前記第１の画素の数と前記第２の画素の数とに基づいて、前記パネルに物体が接触しているか、前記パネルの近傍に前記物体が位置するかを判断する判断部とを備える、画像処理装置。
5. 前記画素毎の前記画素値の勾配方向を特定する勾配方向特定手段と、
   前記勾配方向に基づいて、前記物体に対応する前記パネル上の位置を算出する位置算出手段とをさらに備える、請求項４に記載の画像処理装置。
6. 前記物体に対応する画像に関する画素毎の勾配方向を示すモデルパターンを記憶するメモリと、
   前記勾配方向特定手段によって特定された勾配方向と、前記モデルパターンの勾配方向との合致度を算出する合致度算出手段とを備え、
   前記判断部は、前記合致度が第３の閾値以上である場合に前記判断を実行し、前記合致度が第３の閾値未満である場合に前記物体が前記パネルの近傍に位置しないと判断する、請求項５に記載の画像処理装置。
7. 前記勾配方向特定手段は、画素値が所定範囲外である画素の勾配方向を無方向と特定する、請求項５または６に記載の画像処理装置。

Images