JP6107398B2 - 検出装置及び検出プログラム - Google Patents

Description

本発明は、検出装置及び検出プログラムに関する。

ディスプレイ装置の表示画面を撮影して得られた画像に含まれる利用者の指の位置に基づいて、表示画面に表示されたアイコンの中から利用者の指が最も接近しているアイコンを特定する技術が提案されている(例えば、特許文献１参照)。

また、反射部材に投影された画像を撮影して得られた画像に含まれる利用者の指などの実像と反射部材に映った指などの鏡像との位置関係に基づいて、投影された画像への指などの接触の有無を判定する技術が提案されている(例えば、特許文献２参照)。

特開２００８−１８１４０３号公報 特開２００９−１２９０２１号公報

表示画面を撮影して得られた画像に含まれる利用者の指の位置から、利用者の指が近づいたアイコン等を特定する技術では、アイコンが表示された箇所に利用者の指が接触したか否かを判定することは困難である。

また、利用者の指などの実像と反射部材に映った指などの鏡像との位置関係に基づいて接触の有無を判定する技術では、投影された画像を撮影して得られた画像から、反射部材に映った指などの鏡像を判別しにくい場合に、接触の有無の判定が困難になってしまう。

本件開示の検出装置及び検出プログラムは、利用者の指などによる表示画面への接触の、表示画面を撮影して得られる画像に基づいた検出の精度を従来よりも高精度化する技術を提供することを目的とする。

一つの観点によれば、検出装置は、表示装置の表示画面を撮像する撮像部と、撮像部による撮像で得られた画像に含まれる表示画面上の位置の指示に用いられる物体の画像の大きさが、物体の画像の位置毎に設定された第１閾値以下である場合に、物体の画像の位置で示される表示画面上の箇所への物体の接触を検出する第１検出部とを有する。

別の観点によれば、検出プログラムは、表示装置の表示画面を撮像部に撮像させ、撮像部による撮像で得られた画像に含まれる表示画面上の位置の指示に用いられる物体の画像の大きさが、物体の画像の位置毎に設定された第１閾値以下である場合に、物体の画像の位置で示される表示画面上の箇所への物体の接触を検出する処理をコンピュータに実行させる。

本件開示の検出装置及び検出プログラムでは、利用者の指などによる表示画面への接触の、表示画面を撮影して得られる画像に基づいた検出の精度を従来よりも高精度化することができる。

検出装置及び検出プログラムの一実施形態を示す図である。 図１に示した撮像部による撮像で得られる画像の例を示す図である。 図１に示した検出装置の動作を示す図である。 検出装置の別実施形態を示す図である。 図４に示した表示画面に映る利用者の指の鏡像の例を示す図である。 表示画面に映った指の鏡像からの光がフロントカメラに入射する光路の例を示す図である。 図４に示した第２検出部の検出限界に着目した切り替えを行う場合の検出装置の動作を示す図である。 画像において同じ位置に実像が結像される指の位置の例を示す図である。 図４に示した第１検出部の検出限界に着目した切り替えを行う場合の検出装置の動作の別例を示す図である。 検出装置の別実施形態を示す図である。 マスク画像の例を示す図である。 図１０に示した設定制御部が処理装置を介して表示装置に表示させる設定画面の例を示す図である。 検出装置のハードウェア構成例を示す図である。 図１３に示したプロセッサが実行する検出処理を示す図である。 図１３に示したプロセッサが実行する設定処理を示す図である。

以下、図面に基づいて、実施形態を説明する。

図１は、検出装置及び検出プログラムの一実施形態を示す。

図１に示した検出装置１０は、撮像部１１と、第１検出部１２とを有する。検出装置１０は、撮像部１１により、表示装置ＤＵの表示画面ＳＣを撮影することで得られた画像ＩＭＧに基づいて、例えば、利用者の指ｆｎｇによる表示画面ＳＣへの接触を検出し、検出結果を処理装置ＰＣに渡す。処理装置ＰＣは、表示装置ＤＵ及び検出装置１０の動作を制御する上位装置である。表示装置ＤＵ及び検出装置１０がコンピュータ装置に含まれている場合に、処理装置ＰＣは、コンピュータ装置の全体を制御するプロセッサなどである。

検出装置１０に含まれる第１検出部１２は、特定用途向けＩＣ(Integrated Circuit)などを用いたハードウェアで実現されてもよいし、コンピュータ装置のプロセッサが、図３を用いて説明するプログラムを実行することで実現されてもよい。

検出装置１０は、利用者が指ｆｎｇで表示画面ＳＣに触れる場合に限らず、例えば、表示画面ＳＣ上の位置の指示に用いられるスタイラスペンなどの指示部材で触れる場合にも、表示画面ＳＣへの接触を検出することができる。以下では、利用者が指ｆｎｇで表示画面ＳＣに触れる場合に好適な検出装置１０の実施形態について説明する。

撮像部１１は、表示装置ＤＵの表示画面ＳＣを撮像し、撮像で得られた画像ＩＭＧを第１検出部１２に渡す。

第１検出部１２は、撮像部で得られた画像ＩＭＧに含まれる指ｆｎｇの画像の大きさが、画像ＩＭＧにおける指ｆｎｇの画像の位置毎に予め設定された第１閾値以下である場合に、指の画像の位置で示される表示画面ＳＣ上の箇所への指ｆｎｇの接触を検出する。また、第１検出部１２は、接触を検出した場合に、指ｆｎｇの画像の位置で示される表示画面ＳＣ上の箇所に利用者の指ｆｎｇが接触した旨を示す情報を処理装置ＰＣに通知する。

ここで、図２を用いて、第１検出部１２により、表示画面ＳＣへの指ｆｎｇの接触を検出する方法について説明する。

図２は、図１に示した撮像部１１による撮像で得られる画像ＩＭＧの例を示す。なお、図２に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図２に破線で囲んで示した画像ＩＭＧは、図１に示した撮像部１１の撮像範囲が表示画面ＳＣの全体を含むように撮像部１１を配置した場合に得られる画像の例である。コンピュータ装置の利用者の手が、表示画面ＳＣ上に接触した場合や、利用者の手が表示画面ＳＣ上にかざされた場合に、画像ＩＭＧは、利用者の手の像ｈｔ(または像ｈｆ)を含む。

図２に実線で示した像ｈｔは、表示画面ＳＣ上に利用者の手が接触している場合に画像ＩＭＧに含まれる画像の例である。点線で示した像ｈｆは、表示画面ＳＣ上に利用者の手がかざされている場合(即ち、利用者の手が表示画面ＳＣから離れている場合)に画像ＩＭＧに含まれる画像の例である。

図２に示した像ｈｔと像ｈｆとでは、画像ＩＭＧにおける指の先端部の位置が同一の点Ｐで示されている。即ち、画像ＩＭＧにおいて、指が表示画面ＳＣに接触している状態と非接触である状態とで、画像ＩＭＧにおいて利用者の指が対向する表示画面ＳＣ上の点の見かけの位置が一致している。そして、画像ＩＭＧにおいて、表示画面ＳＣ上の同一の箇所に対向して見える２つの像ｈｔと像ｈｆとの大きさとを比べると、像ｈｔよりも像ｈｆの方が大きい。表示画面ＳＣ上の同一の箇所に対向して見える２つの像ｈｔと像ｈｆとの大きさの違いは、表示画面ＳＣに利用者の指が接触している場合に比べて、利用者の指が表示画面ＳＣから離れている場合の方が、撮像部１１から見た視野角が大きくなることによって生じる。

つまり、画像ＩＭＧに含まれる利用者の指の画像の大きさに基づいて、画像ＩＭＧにおける指の先端部の位置に対応する表示画面ＳＣ上の箇所に、利用者の指が接触しているか否かを判定することができる。例えば、第１検出部１２は、表示画面ＳＣ上の点Ｐに利用者の指が接触した状態を撮像部１１で撮像して得られた画像ＩＭＧに含まれる指の画像の幅Ｗｔを、画像ＩＭＧにおける点Ｐに対応する第１閾値としてもよい。同様にして、第１検出部１２は、画像ＩＭＧに含まれる各画素についての第１閾値を設定しておくことができる。また、第１検出部１２は、画像ＩＭＧに含まれる指の画像の幅が、例えば、指の先端部に対応する画素について設定された第１閾値以下である場合に、表示画面ＳＣの対応する箇所への指の接触を検出してもよい。

なお、各画素に対応する第１閾値は、例えば、撮像部１１と表示画面ＳＣとの位置関係から予め算出しておくことが望ましい。例えば、第１検出部１２は、表示画面ＳＣの各画素に対応する箇所に接触させた平均的な太さの指を撮像部１１で撮像する場合の視野角に相当する画素数を、各画素の位置に対応する第１閾値として求め、求めた第１閾値を位置に対応して保持してもよい。また、第１検出部１２は、図１０及び図１２を用いて後述するようにして、撮像部１１により、表示画面ＳＣに設定されたサンプル点に接触させた利用者の指を撮像して得られる画像ＩＭＧから、サンプル点に対応して求められた第１閾値を示す情報を受けてもよい。

また、第１検出部１２が第１閾値として用いる値は、表示画面ＳＣに接触した指を撮像した画像ＩＭＧにおける指の画像の幅に相当する値に限られない。つまり、第１検出部１２が第１閾値として用いる値は、画像ＩＭＧにおいて表示画面ＳＣの同じ箇所に対向して見える、表示画面ＳＣに接触した指と非接触である指の画像の大きさの違いが反映される値であればよい。例えば、第１検出部１２は、表示画面ＳＣの各画素に対応する箇所に接触させた平均的な大きさの爪を持つ指を撮像部１１で撮像して得た画像ＩＭＧに含まれる爪の部分の面積を示す値を第１閾値として設定してもよい。

図３は、図１に示した検出装置１０の動作を示す。即ち、図３は、図１に示した撮像部１１で得られた画像ＩＭＧに含まれる指の画像の大きさに基づいて、表示画面ＳＣへの指の接触を検出するための検出プログラムの一実施形態を示す。

ステップＳ３０１において、撮像部１１は、表示画面ＳＣの画像ＩＭＧを取得する。

ステップＳ３０２において、第１検出部１２は、画像ＩＭＧに含まれる利用者の指の画像の幅と、画像ＩＭＧにおける利用者の指の位置に対応する第１閾値とを比較する。

ステップＳ３０３において、第１検出部１２は、画像ＩＭＧに含まれる指の画像の幅が第１閾値以下であるか否かを判定する。

指の画像の幅が第１閾値以下である場合に(ステップＳ３０３の肯定判定)、第１検出部１２は、ステップＳ３０４の処理に進み、ステップＳ３０３の否定判定の場合に、第１検出部１２０は、ステップＳ３０４の処理を実行せずに、処理を終了する。

ステップＳ３０４において、第１検出部１２は、画像ＩＭＧにおける指の画像の位置で示される表示画面ＳＣの箇所に、利用者の指が接触したことを検出した旨の情報を処理装置ＰＣに送出する。

上述のように、図１に示した検出装置１０によれば、撮像部１１で得られた画像ＩＭＧに含まれる利用者の指の画像の位置毎に設定された第１閾値と、指の画像の大きさとの比較に基づき、利用者の指が表示画面ＳＣに接触したか否かを判定することができる。即ち、検出装置１０によれば、画像ＩＭＧに含まれる指の画像の大きさが、指の画像の画像ＩＭＧにおける位置に対応する第１閾値以下である場合に、画像ＩＭＧにおける指の画像の位置に対応する表示画面ＳＣ上の箇所への利用者の指の接触を検出することができる。

これにより、図１に示した表示装置ＤＵが指などの接触を感知する機能を持たない場合でも、表示画面ＳＣを撮像することで得られた画像ＩＭＧに基づいて、表示画面ＳＣへの利用者の指などの接触を検出することが可能となる。即ち、本件開示の検出装置１０により、タッチパネルを用いた場合と同等のインタフェースを提供することが可能となる。つまり、タッチパネルを搭載していないコンピュータ装置に、本件開示の検出装置１０を搭載することで、タッチパネルによる操作を前提としたオペレーティングシステムやアプリケーションプログラムの利用を可能にすることができる。

ところで、コンピュータ装置は、例えば、コンピュータ装置を操作する利用者の顔などを撮像するために、表示装置ＤＵの筐体に組み込まれたカメラ（以下の説明ではフロントカメラと称する）を含んでいる場合がある。例えば、図４に示すように、フロントカメラＣＡＭは、表示装置ＤＵに設けられた表示画面ＳＣの上側の中央付近に組み込まれる場合が多い。次に、図４〜図９を用いて、フロントカメラＣＡＭが組み込まれた表示装置ＤＵを有するコンピュータ装置に搭載される場合に好適な検出装置１０の実施形態を説明する。

図４は、検出装置１０の別実施形態を示す。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図４に示した撮像部１１は、フロントカメラＣＡＭと、フロントカメラＣＡＭに対向するミラーＭＩＲとを含んでいる。また、検出装置１０は、上述の撮像部１１と、図１に示した第１検出部１２に加えて、第２検出部１３と、制御部１４とを含んでいる。

撮像部１１に含まれるミラーＭＩＲは、フロントカメラＣＡＭの光軸Ｚ１を表示画面ＳＣの法線Ｚ２と角θをなして交差するように折り曲げる。即ち、フロントカメラＣＡＭの光軸は、表示画面ＳＣに斜めに当たる方向に屈曲される。これにより、フロントカメラＣＡＭの撮影範囲に表示画面ＳＣの全体が含まれる。

例えば、ミラーＭＩＲは、フロントカメラＣＡＭから法線Ｚ２方向に数センチメートル離れた位置に配置された円錐状あるいは円筒状の反射面を持つ光学部材であり、ミラーＭＩＲの反射面を表示画面ＳＣに対して傾斜させて設置することが望ましい。また、ミラーＭＩＲの反射面の傾斜角度は、例えば、フロントカメラＣＡＭの光軸Ｚ１を表示画面ＳＣの中央部分に当たる方向に屈曲させる角度に調整されることが望ましい。また、ミラーＭＩＲの反射面は、表示画面ＳＣの全体からの光をフロントカメラＣＡＭの方向に反射させる曲率を持つ曲面として設計されることが望ましい。

これにより、利用者の視界を妨げることなく、表示画面ＳＣの全体をフロントカメラＣＡＭの撮像範囲に収めることができる。なお、ミラーＭＩＲによって折り曲げられた光軸Ｚ１と表示画面ＳＣの法線Ｚ２とがなす角θは、フロントカメラＣＡＭとミラーＭＩＲとの距離を、フロントカメラＣＡＭと表示画面ＳＣの中心との距離で除した値を正接とする角度を用いて示すことができる。例えば、フロントカメラＣＡＭとミラーＭＩＲとの距離を１０ミリメートルとし、フロントカメラＣＡＭと表示画面ＳＣの中心との距離を１００ミリメートルとすると、角θは、角度９０度からａｒｃｔａｎ(０．１)を差し引いた角度として示される。

ところで、図４に示した撮像部１１によって表示画面ＳＣを撮像することで得られた画像ＩＭＧは、表示画面ＳＣに一部を覆う位置にある手の指ｆｎｇの画像とともに、表示画面ＳＣに映った指ｆｎｇの鏡像を示す画像を含んでいる場合がある。以下の説明では、撮像部１１により指ｆｎｇを撮像することで画像ＩＭＧに含まれる像を「指ｆｎｇの実像」と称し、撮像部１１により、表示画面ＳＣに映った指ｆｎｇの鏡像を撮像することで画像ＩＭＧに含まれる像を「指ｆｎｇの鏡像を示す画像」と称する。なお、指ｆｎｇの実像は、図１〜図３を用いて説明した実施形態における「画像ＩＭＧに含まれる指の画像」と同等である。

第２検出部１３は、表示画面ＳＣの一部を覆う位置にある手の指ｆｎｇの実像及び表示画面ＳＣに映った指ｆｎｇの鏡像を示す画像とを含む画像ＩＭＧを受ける。また、第２検出部１３は、受けた画像ＩＭＧにおいて、指ｆｎｇの実像と表示画面ＳＣに映った指ｆｎｇの鏡像を示す画像とが接続している場合に、指ｆｎｇの実像の位置で示される表示画面ＳＣ上の箇所に指ｆｎｇが接触したことを検出する。例えば、第２検出部１３は、指ｆｎｇの実像と表示画面ＳＣに映った指ｆｎｇの鏡像を示す画像との距離を求め、求めた距離が所定の第２閾値以下である場合に、指ｆｎｇの実像の位置で示される表示画面ＳＣ上の箇所に指ｆｎｇが接触したと判定してもよい。なお、第２検出部１３は、平均的な太さの指が表示画面ＳＣの中央部分に接触している状態を撮像部１１で撮像することで得られた画像ＩＭＧに含まれる指の実像の幅の半分程度の値を第２閾値として設定することが望ましい。

制御部１４は、指ｆｎｇの実像の位置または実像の大きさに基づいて、第１検出部１２と第２検出部１３とのいずれか一方に、指ｆｎｇによる表示画面ＳＣへの接触を検出させる。

例えば、制御部１４は、指ｆｎｇの実像が、表示画面ＳＣにおいてフロントカメラＣＡＭからの距離に基づいて設定された所定の範囲に対応する画像ＩＭＧの領域に含まれる場合に、第１検出部１２に表示画面ＳＣへの利用者の指ｆｎｇの接触を検出させる。また、制御部１４は、指ｆｎｇの実像が、表示画面ＳＣに設定された所定の範囲に対応する画像ＩＭＧの領域の外側に含まれる場合に、第２検出部１３に表示画面ＳＣへの利用者の指の接触を検出させる。ここで、所定の範囲の境界は、例えば、第１検出部１２による検出の精度が所定値以上となる範囲を示す境界と、第２検出部１３による検出の精度が所定値以下となる範囲を示す境界との少なくとも一方に基づいて設定されることが望ましい。なお、所定の範囲の境界を設定する手法については、図６及び図８を用いて後述する。

ところで、指ｆｎｇの実像の大きさは、指ｆｎｇがフロントカメラＣＡＭに近づくほど大きくなる。したがって、表示画面ＳＣにおいてフロントカメラＣＡＭからの距離に基づいて設定された所定の範囲は、指ｆｎｇの実像の大きさが所定値以上である範囲として捉えることができる。

すなわち、制御部１４は、指ｆｎｇの実像の大きさが、指ｆｎｇの実像の大きさを示す指標の一つである幅が所定値以上であるか否かにより、第１検出部１２による検出と第２検出部１３による検出とを切り替えてもよい。つまり、制御部１４は、指ｆｎｇの実像の幅が所定値以上である場合に、第１検出部１２に表示画面ＳＣへの利用者の指ｆｎｇの接触を検出させ、指ｆｎｇの実像の幅が所定値以下である場合に、第２検出部１３に表示画面ＳＣへの利用者の指の接触を検出させてもよい。

制御部１４は、第１検出部１２と第２検出部１３とのそれぞれによる検出の限界に基づいて、指ｆｎｇの実像の位置と比較する所定の範囲あるいは指ｆｎｇの実像の幅と比較する所定値を設定することが望ましい。

図５は、図４に示した表示画面ＳＣに映る利用者の指の鏡像の例を示す。なお、図５に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５(Ａ)は、表示画面ＳＣの中心よりもフロントカメラＣＡＭから遠い位置で表示画面ＳＣに接触している手ｈ１と、表示画面ＳＣに映った手ｈ１を示す鏡像Ｉｒ１を示している。

また、図５(Ｂ)は、表示画面ＳＣの中心よりもフロントカメラＣＡＭに近い位置で表示画面ＳＣに接触している手ｈ２と、表示画面ＳＣに映った手ｈ２を示す鏡像Ｉｒ２を示している。

図４に示したフロントカメラＣＡＭにより、図５(Ａ)に示した表示画面ＳＣを撮像した場合と、図５(Ｂ)に示した表示画面ＳＣを撮像した場合とを比べると、画像ＩＭＧにおいて、鏡像Ｉｒ２の方が鏡像Ｉｒ１に比べて暗い像として写る場合がある。

画像ＩＭＧに含まれる利用者の指の鏡像を示す像の明るさは、図６を用いて後述する理由のために、利用者の指の位置がフロントカメラＣＡＭに近づくほど、暗くなる傾向がある。このため、利用者の指の位置がフロントカメラＣＡＭに近づくほど、画像ＩＭＧにおいて、指の鏡像を示す像を判別することが困難になり、これに伴って、指の実像の位置と指の鏡像を示す像の位置との距離を求めることも困難になる。即ち、利用者の指がフロントカメラＣＡＭに近づくほど、第２検出部１３により、利用者の指と表示画面ＳＣとの接触の有無を判定することが難しくなる。

一方、フロントカメラＣＡＭによって取得した画像ＩＭＧに含まれる利用者の指の実像の大きさは、フロントカメラＣＡＭに利用者の指が近づくほど大きくなる。しかも、フロントカメラＣＡＭと利用者の指との距離の変動に対する実像の大きさの変動は、フロントカメラＣＡＭに利用者の指が近づくほど大きくなる。すなわち、表示画面ＳＣにおいてフロントカメラＣＡＭに近い領域では、フロントカメラＣＡＭから遠い領域に比べて、第１検出部１２により、利用者の指が表示画面ＳＣに接触しているか否かを高い精度で判定することができる。

したがって、図４に示した第２検出部１３による検出の限界に着目すれば、制御部１４は、画像ＩＭＧに含まれる利用者の指の鏡像を示す像が、実像との距離を判定することが可能な程度以上の明るさを持つ範囲を所定の範囲として設定することが望ましい。また、図４に示した第１検出部１２による検出限界に着目すれば、制御部１４は、表示画面ＳＣに利用者の指が接触しているか否かを、画像ＩＭＧに含まれる利用者の指の実像の大きさの変化として検出可能な範囲を所定の範囲として設定することが望ましい。

次に、図６を用いて、第２検出部１３による検出の限界に着目した場合に、上述した所定の範囲の境界を示す閾値として好適なフロントカメラＣＡＭからの距離について検討する。

図６は、表示画面ＳＣに映った指ｆｎｇの鏡像からの光がフロントカメラＣＡＭに入射する光路の例を示す。なお、図６に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図６に破線で示した光路ｒｔは、利用者の指ｆｎｇの先端部分と表示画面ＳＣとの接点から、表示画面ＳＣの法線方向に距離ｄだけ離れた点Ｑの鏡像Ｑ’からの光がミラーＭＩＲで反射されて、フロントカメラＣＡＭに到達する経路を示す。即ち、光路ｒｔは、点Ｑからの光が、表示画面ＳＣ上の点Ｕで反射された後に、更に、ミラーＭＩＲで反射されて、フロントカメラＣＡＭに到達する経路を示す。ここで、点Ｑ及び点Ｑの鏡像Ｑ’と表示画面ＳＣとの距離ｄは、画像ＩＭＧにおいて、点Ｑから指ｆｎｇの先端部までの実像と対応する部分の鏡像とをそれぞれ判別できる程度の長さに設定することが望ましい。例えば、距離ｄの好適な例は、長さ０．５センチメートルである。

フロントカメラＣＡＭで得られる画像ＩＭＧにおいて指ｆｎｇの鏡像を示す像が判別可能となる条件は、次の２つである。条件の一つは、指ｆｎｇの鏡像からの光としてフロントカメラＣＡＭに到達する光の強度Ｖｉが、フロントカメラＣＡＭに含まれる撮像素子の感度で検出可能な最小の強度Ｖｍｉｎよりも大きいことである。もう一つの条件は、鏡像からフロントカメラＣＡＭに到達する光の強度Ｖｉと、鏡像からの光が辿る光路ｒｔに沿って表示画面ＳＣ上の点Ｕから放射される光の強度Ｖｄとの比Ｒ(Ｒ＝Ｖｉ／Ｖｄ)が、所定の閾値Ｒｔｈ(例えば、Ｒｔｈ＝２)を超えていることである。

光路ｒｔにおいて、点Ｑからの光が表示画面ＳＣで反射される際の表示画面ＳＣへの入射角φは、指ｆｎｇと表示画面ＳＣとの接点とフロントカメラＣＡＭとの距離に依存し、接点がフロントカメラＣＡＭに近づくほど、入射角φは小さくなる。そして、入射角φが小さくなるほど、鏡像からフロントカメラＣＡＭに到達する光の強度Ｖｉは小さくなる。なぜなら、表示画面ＳＣは、入射角が小さくなるほど低い反射率で光を反射する特性を持っているためである。すなわち、フロントカメラＣＡＭに到達する鏡像からの光の強度Ｖｉは、表示画面ＳＣにおいて利用者の指が接触または近接している箇所がフロントカメラＣＡＭに近くなるほど小さくなる。

一方、表示画面ＳＣにアイコンなどの画像が表示されている場合に、表示画面ＳＣから放射される光の強度は、表示画面ＳＣの法線方向から計った角度が小さくなるに従って大きくなる。つまり、表示画面ＳＣ上の点Ｕから光路ｒｔの方向に放射される光の強度Ｖｄは、光路ｒｔと表示画面ＳＣの法線とがなす角、即ち、鏡像に対応する反射角φが小さくなるほど大きくなる。したがって、上述の比Ｒは、鏡像に対応する反射角φ、即ち、鏡像に対応する箇所からの光の表示画面ＳＣへの入射角φが小さくなるほど小さくなる。つまり、上述の比Ｒは、表示画面ＳＣにおいて利用者の指が接触または近接している箇所がフロントカメラＣＡＭに近くなるほど小さくなる。

したがって、制御部１４は、最初に述べた条件を満たす反射角φの最小値φ１と、２番目の条件を満たす入射角φの最小値φ２と大きい方で示される限界の入射角φｍに対応する範囲を、第２検出部１３による検出を適用する範囲として設定することが望ましい。つまり、表示画面ＳＣに接触している利用者の指ｆｎｇから上述の限界の入射角φで表示画面ＳＣに入射した光がフロントカメラＣＡＭに到達する表示画面ＳＣ上の位置が、第２検出部１３によって接触の有無を判定可能な限界、即ち、検出限界を示す。

例えば、制御部１４は、表示画面ＳＣに接触している指ｆｎｇの鏡像からの光としてフロントカメラＣＡＭに到達する光の表示画面ＳＣへの入射角φが、第３閾値に相当する入射角φｍ以下となる範囲を、画像ＩＭＧにおける所定の範囲として設定すればよい。

最初に述べた条件を満たす反射角φの最小値φ１は、式(１)を解くことで取得できる。式(１)において、図６に示した指ｆｎｇの平均的な輝度を符号Ｖｆで示し、表示画面ＳＣの反射角φに対する反射特性を関数ｆ(φ)として示した。
Ｖｍｉｎ＝Ｖｉ(φ１)＝Ｖｆ×ｆ(φ１) ・・・（１）
また、二番目に述べた条件を満たす反射角φの最小値φ２は、式(２)を解くことで取得できる。式(２)において、図６に示した指ｆｎｇの平均的な輝度を符号Ｖｆで示し、表示画面ＳＣの平均的な輝度を符号Ｖｇで示し、また、表示画面ＳＣから放射される光の強度の角度依存性を関数ｇ(φ)として示した。

なお、指ｆｎｇの平均的な輝度Ｖｆは、利用者として想定される人物の平均的な肌色や表示画面ＳＣがおかれる環境において想定される平均的な照度などに基づいて、予め求めておくことができる。また、表示画面ＳＣの反射角φに対する反射特性ｆ(φ)は、表示画面ＳＣの材質などに基づいて予め求めておくことができる。同様に、表示画面ＳＣの平均的な輝度Ｖｇ及び表示画面ＳＣから放射される光の強度の角度依存性を示す関数ｇ(φ)は、表示画面ＳＣの特性から予め求めておくことができる。

また、例えば、表示画面ＳＣを覆う偏光フィルタを設置することで、フロントカメラＣＡＭに入射する表示画面ＳＣからの放射光の強度を低減させてもよい。表示画面ＳＣを覆う偏光フィルタを設置した場合に、二番目に述べた条件を満たす反射角φの最小値φ２は、式(２)において、上述の輝度Ｖｇ(φ２)に偏光フィルタで除去される向きの偏光を持つ放射光の割合を反映した減衰率ρを乗じることで算出できる。なお、この場合に、利用者の指ｆｎｇからの光の強度Ｖｉ(φ２)は、入射角度φに対する偏光フィルタの反射特性を示す関数ｆ’(φ)を用いて求めることが望ましい。

上述のように、式(１)で示される最小値φ１および式(２)で示される最小値φ２は、例えば、コンピュータ装置に搭載される表示画面ＳＣ毎に予め求めておくことができる。また、予め求めた最小値φ１、φ２に基づいて、限界の入射角φｍを予め求めておくことができる。

ここで、図６に示したミラーＭＩＲからフロントカメラＣＡＭまでの光路ｒｔが表示画面ＳＣに交差する角度を直角で近似すれば、上述の２つの条件を満たす入射角φｍに対応する範囲の境界とフロントカメラＣＡＭとの距離Ｌｍを式(３)から求めることができる。なお、式(３)において、距離ＤｍはフロントカメラＣＡＭとミラーＭＩＲとの距離を示し、反射角φｍは、式(１)から求めた反射角φ１と式(２)から求めた反射角φ２との最大値、即ち、ｍａｘ(φ１，φ２)を示す。
Ｌｍ＝(Ｄｍ＋ｄ)×ｃｏｔａｎ(φｍ) ・・・（３）
第２検出部１３の検出限界に着目すれば、図４に示した制御部１４は、フロントカメラＣＡＭを中心とする半径Ｌｍの半円の領域を所定の範囲として設定し、第１検出部１２と第２検出部１３との切り替えに用いることが望ましい。

図７は、図４に示した第２検出部１３の検出限界に着目した切り替えを行う場合の検出装置１０の動作を示す。なお、図７に示したステップのうち、図３に示したステップと同等の処理については、同一の符号を付して示し、その説明は省略する。

ステップＳ３１１において、制御部１４は、ステップＳ３０１の処理で取得した画像ＩＭＧに含まれる指ｆｎｇの実像の位置を特定する。制御部１４は、例えば、所定の輝度よりも明るい肌色の領域を画像ＩＭＧから抽出し、抽出した領域の境界を示すエッジの集合から概ね平行な直線状のエッジを検出し、検出したエッジに挟まれた部分を、利用者の指ｆｎｇの実像として抽出してもよい。なお、制御部１４は、例えば、平均的な指ｆｎｇの輝度と同程度に設定された基準の輝度よりも明るい肌色の領域を抽出することが望ましい。また、制御部１４は、抽出した利用者の指の実像に含まれる画素のうち、平均的な肌色を基準として色相あるいは彩度の差が最も大きい色を示す画素を検出することで、画像ＩＭＧにおいて利用者の指の先端部を特定してもよい。

ステップＳ３１２において、制御部１４は、ステップＳ３１１の処理で特定した位置が、第２検出部１３の検出限界に着目して設定された所定の範囲内であるか否かを判定する。即ち、制御部１４は、指ｆｎｇの先端を示す画素が、フロントカメラＣＡＭを中心とし、上述の式(３)で示される長さＬｍを半径とする半円の内部に対応する画像ＩＭＧの領域に含まれるか否かを判定する。

ステップＳ３１１の処理で特定した位置が、上述の範囲の外側である場合に（ステップＳ３１２の否定判定(ＮＯ)）、制御部１４は、第２検出部１３にステップＳ３１３及びステップＳ３１４の処理を実行させる。

一方、ステップＳ３１１の処理で特定した位置が、上述の範囲内である場合に（ステップＳ３１２の肯定判定(ＹＥＳ)）、制御部１４は、第１検出部１２にステップＳ３０２及びステップＳ３０３の処理を実行させる。

ステップＳ３１３において、第２検出部１３は、制御部１４からの指示に応じて、画像ＩＭＧに含まれる利用者の指ｆｎｇの実像と、表示画面ＳＣに映った指ｆｎｇの鏡像を示す像との距離を求める。なお、第２検出部１３は、ステップＳ３１３の処理の過程で、画像ＩＭＧに含まれる利用者の指ｆｎｇの実像の位置の近傍の領域から、上述の基準の輝度よりも暗い肌色の領域を抽出することで、指ｆｎｇの鏡像を示す像を抽出してもよい。

ステップＳ３１４において、第２検出部１３は、ステップＳ３１３の処理で求めた距離が、例えば、平均的な指の太さに基づいて予め設定された第２閾値以下であるか否かを判定する。

ステップＳ３１３の処理で得られた距離が上述の第２閾値以下である場合に（ステップＳ３１４の肯定判定(ＹＥＳ)）、第２検出部１３は、ステップＳ３０４の処理に進む。一方、ステップＳ３１３の処理で得られた距離が上述の第２閾値よりも大きい場合に（ステップＳ３１４の否定判定(ＮＯ)）、第２検出部１３は、利用者の指ｆｎｇは表示画面ＳＣに触れていないと判断し，ステップＳ３０４の処理を行わずに、処理を終了する。

図４に示した制御部１４が、ステップＳ３１１，Ｓ３１２の処理を行うことは、画像ＩＭＧにおける指ｆｎｇの実像の位置に基づいて、第１検出部１２による接触の検出と第２検出部１３による接触の検出とを切り替える制御の一例である。

上述の制御を行う制御部１４を有する検出装置１０によれば、表示画面ＳＣに映った利用者の指ｆｎｇの鏡像をフロントカメラＣＡＭで得られた画像ＩＭＧにおいて判別可能な場合に限って第２検出部１３による検出を行わせることができる。

また、図４に示した制御部１４は、利用者の指とフロントカメラＣＡＭとの距離について、第１検出部１２による検出が可能な上限に基づいて、第１検出部１２に接触の検出を行わせる所定の範囲を設定してもよい。例えば、制御部１４は、利用者の指とフロントカメラＣＡＭとの距離について、指の接触の有無により画像ＩＭＧにおける指の実像の幅に１画素以上の変化が現れる距離の上限を求め、求めた距離の上限で示される範囲を所定の範囲として設定してもよい。

次に、図８を用いて、制御部１４により、第１検出部１２による検出の限界に着目した場合に、第１検出部１２による検出と第２検出部１３による検出とを切り替える閾値として好適なフロントカメラＣＡＭからの距離について検討する。

図８は、画像ＩＭＧにおいて同じ位置に実像が結像される指の位置の例を示す。なお、図８に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図８において、点線で示した光路ｒｔは、指ｈｃと表示画面ＳＣとの接点Ｑｃからの光がミラーＭＩＲを介してフロントカメラＣＡＭに到達する経路を示している。上述の光路ｒｔ上の点Ｑａと、表示画面ＳＣから距離ｄｔだけ離れている指ｈａの指先とが一致する場合に、画像ＩＭＧにおいて、指ｈａの実像は、指ｈｃの実像と同じ位置に結像される。ここで、距離ｄｔは、利用者の指が表示画面ＳＣに接触していないと判定されることが望ましい距離の最小値に相当し、例えば、距離ｄｔは０．１センチメートル程度である。

指ｈｃの実像の幅Ｗｃと指ｈａの実像の幅Ｗａとの差が、例えば、フロントカメラＣＡＭに含まれる撮像素子の１画素のサイズよりも大きければ、図４に示した第１検出部１２は、利用者の指の実像の幅に基づいて、表示画面ＳＣへの接触の有無を判断できる。つまり、指ｈｃの実像の幅Ｗｃと指ｈａの実像の幅Ｗａとの差が１画素の幅となる表示画面ＳＣ上の位置が、第１検出部１２によって接触の有無を判定可能な限界、即ち、現出限界を示す。

指ｈｃの実像の幅Ｗｃを与える視野角θｃと指ｈａの実像の幅Ｗａを与える視野角θａとは、指ｈｃ，ｈａの平均的な太さＷｓと、点Ｑｃ及び点Ｑａから光路ｒｔとミラーＭＩＲとの交点Ｑｒまでの距離Ｄｃ，Ｄａを用いてそれぞれ式(４)、(５)で示される。

なお、ミラーＭＩＲからフロントカメラＣＡＭまでの光路ｒｔが表示画面ＳＣに交差する角度を直角で近似すれば、上述の距離Ｄａは、ミラーＭＩＲとフロントカメラＣＡＭとの距離Ｄｍと上述の距離ｄｔとを用いて、式(６)で示される。

また、上述の式(４)から(６)を用いれば、フロントカメラＣＡＭに含まれる撮像素子の１画素に対応する視野角θｍと、視野角θａと視野角θｃとの差とが等しくなるための条件は、例えば、式(７)で示される。したがって、式(７)を解くことにより、視野角θａと視野角θｃとの差がフロントカメラＣＡＭに含まれる撮像素子の１画素に対応する視野角θｍとなる距離Ｄｃを求めることができる。

そして、上述の式(７)から求めた距離ＤｃとミラーＭＩＲからフロントカメラＣＡＭまでの距離Ｄｍとを用いて、第１検出部１２による検出が可能な範囲を示すフロントカメラＣＡＭからの距離の上限Ｌｕは、式(８)で示される。

第１検出部１２の検出限界に着目すれば、図４に示した制御部１４は、フロントカメラＣＡＭを中心とする表示画面ＳＣ上の半径Ｌｕの半円の領域を所定の範囲として設定し、第１検出部１２と第２検出部１３との切り替えに用いることが望ましい。

例えば、図７に示したステップＳ３１２において、制御部１４は、ステップＳ３１１の処理で特定された位置が、第１検出部１２の検出限界に着目して設定された所定の範囲内であるか否かを判定すればよい。即ち、制御部１４は、表示画面ＳＣ上で、フロントカメラＣＡＭを中心とし、上述の式(８)で示される距離Ｌｕを半径とする半円の領域に対応する画像ＩＭＧの領域に、指ｆｎｇの先端部の実像が含まれるか否かを判定すればよい。

また、上述の式(８)で示される距離Ｌｕで示される範囲に基づく判定結果に応じて、制御部１４は、第１検出部１２と第２検出部１３との一方に指ｆｎｇの表示画面ＳＣへの接触を検出させればよい。これにより、制御部１４は、利用者の指ｆｎｇが表示画面ＳＣに接触しているか否かによる画像ＩＭＧでの実像の幅の変化が検出可能である場合に限って、第１検出部１２による検出を行わせることができる。

なお、第１検出部１２と第２検出部１３との少なくとも一方で、表示画面ＳＣの任意の箇所への指ｆｎｇの接触を検出するためには、上述の距離Ｌｍが距離Ｌｕ以下であることが望ましい。ここで、式(３)及び式(８)から分かるように、距離Ｌｍ及び距離Ｌｕは、図６及び図８に示したミラーＭＩＲとフロントカメラＣＡＭとの距離Ｄｍなど、撮像部１１に含まれる光学部品の位置決めに依存する。したがって、距離Ｌｍを距離Ｌｕ以下とする位置に、撮像部１１に含まれるミラーＭＩＲなどの光学部品を配置することが望ましい。

また、制御部１４は、フロントカメラＣＡＭからの距離が上述の距離Ｌｕとなる位置に利用者の指がある場合に画像ＩＭＧに含まれる指の実像の幅Ｗｔｈに基づいて、第１検出部１２と第２検出部１３とを切り替えてもよい。ここで、上述の実像の幅Ｗｔｈは、フロントカメラＣＡＭに含まれる撮像素子において、表示画面ＳＣの幅方向に対応して配列された画素数Ｎｈと、フロントカメラＣＡＭの表示画面ＳＣの幅方向に対応する方向の視野角θｓとを用いて、式(９)で示される。
Ｗｔｈ＝（θｃ／θｓ）×Ｎｈ ・・・（９）
式(９)で示される実像の幅Ｗｔｈは、第１検出部１２による接触の検出が可能な範囲において画像ＩＭＧに含まれる利用者の指の実像の幅の最小値を示す。

図９は、図４に示した第１検出部１２の検出限界に着目した切り替えを行う場合の検出装置１０の動作の別例を示す。なお、図９に示したステップのうち、図３または図７に示したステップと同等の処理については、同一の符号を付して示し、その説明は省略する。

ステップＳ３１５において、制御部１４は、ステップＳ３０１の処理で取得した画像ＩＭＧに含まれる指ｆｎｇの実像について、画像ＩＭＧにおける広がりの幅を取得する。制御部１４は、例えば、上述のステップＳ３１１と同様に、概ね平行なエッジに挟まれた肌色の領域を見つけ、見つけた領域を利用者の指の実像として抽出してもよい。また、制御部１４は、利用者の指の実像として抽出した領域の境界に含まれる概ね平行なエッジの間隔を求めることで、指ｆｎｇの実像の画像ＩＭＧにおける幅を取得してもよい。

ステップＳ３１６において、制御部１４は、ステップＳ３１５の処理で取得した指ｆｎｇの実像の幅が、第１検出部１２の検出限界に着目して設定された利用者の指の実像の幅の最小値Ｗｔｈ以上であるか否かを判定する。

ステップＳ３１５の処理で特定した指ｆｎｇの実像の幅が、上述の最小値Ｗｔｈよりも小さい場合に（ステップＳ３１６の否定判定(ＮＯ)）、制御部１４は、第２検出部１３にステップＳ３１３及びステップＳ３１４の処理を実行させる。

一方、ステップＳ３１５の処理で特定した特定した指ｆｎｇの実像の幅が、上述の最小値Ｗｔｈ以上である場合に（ステップＳ３１６の肯定判定(ＹＥＳ)）、制御部１４は、第１検出部１２にステップＳ３０２及びステップＳ３０３の処理を実行させる。

図４に示した制御部１４が、ステップＳ３１５，Ｓ３１６の処理を行うことは、指ｆｎｇの実像の大きさに基づいて、第１検出部１２による接触の検出と、第２検出部１３による接触の検出とを切り替える制御の一例である。

上述の制御を行う制御部１４を有する検出装置１０によれば、利用者の指ｆｎｇが表示画面ＳＣに接触しているか否かによる画像ＩＭＧでの実像の幅の変化が検出可能である場合に限って、第１検出部１２による検出を行わせることができる。

図１０は、検出装置１０の別実施形態を示す。なお、図１０に示した構成要素のうち、図１または図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１０に示した制御部１４は、画像処理部１４１と、第１抽出部１４２と、第２抽出部１４３とを含んでいる。また、図１０に示した設定部１５は、閾値保持部１５１と、決定部１５２と、表示制御部１５３とを含んでいる。

画像処理部１４１は、処理装置ＰＣを介して、フロントカメラＣＡＭで得られた画像を取得する。また、画像処理部１４１は、取得した画像に対してゆがみ補正処理を行うことで、例えば、表示画面ＳＣとほぼ同等の縦横比を持つ矩形の画像を生成し、生成した画像を撮像部１１で得られた画像ＩＭＧとして第１抽出部１４２及び第２抽出部１４３に渡す。

第１抽出部１４２は、画像ＩＭＧのうち、図１１を用いて後述するマスク画像Ｍｓｋ１で覆われていない部分から、利用者の指ｆｎｇの実像を抽出する。

第２抽出部１４２は、画像ＩＭＧのうち、図１１を用いて後述するマスク画像Ｍｓｋ２で覆われていない部分から、利用者の指ｆｎｇの実像および指ｆｎｇの鏡像を示す像を抽出する。

図１１は、マスク画像Ｍｓｋ１，Ｍｓｋ２の例を示す。図１１(Ａ)は、第１抽出部１４２で用いるマスク画像Ｍｓｋ１を示し、図１１(Ｂ)は、第２抽出部１４３で用いるマスク画像ＭＳＫ２を示す。

図１１(Ａ)に示したマスク画像Ｍｓｋ１は、画像ＩＭＧにおいてフロントカメラＣＡＭに対応する位置を中心とし、半径ｒｍを持つ半円の外側の領域をマスクする。上述の半円の半径ｒｍは、画像ＩＭＧにおいて、図６を用いて説明した距離Ｌｍに相当する長さに設定することが望ましい。

図１１(Ｂ)に示したマスク画像Ｍｓｋ２は、画像ＩＭＧにおいてフロントカメラＣＡＭに対応する位置を中心とし、上述の半径ｒｍを持つ半円の内側の領域をマスクする。

上述した距離Ｌｍに対応する半径ｒｍが設定されたマスク画像Ｍｓｋ１を用いれば、図１０に示した第１抽出部１４２により、第２検出部１３の検出限界に基づいて設定した所定の範囲内にある指ｆｎｇの実像を抽出することができる。また、第１抽出部１４２は、上述の範囲から指ｆｎｇの実像が得られた場合に、得られた実像の大きさや位置を示す情報を第２検出部１３に渡す
つまり、図１０に示した制御部１４によれば、第１抽出部１４２で指ｆｎｇの実像が得られた場合に、得られた実像を第１検出部１２に渡すことで、第２の検出部１３による接触の検出が困難な範囲において、第１検出部１２に、接触の検出を行わせることができる。

同様に、上述した距離Ｌｍに対応する半径ｒｍが設定されたマスク画像Ｍｓｋ２を用いれば、図１０に示した第２抽出部１４３により、第２検出部１３による接触の検出が可能な範囲内にある指ｆｎｇの実像及び鏡像を示す像を抽出することができる。また、第２抽出部１４３は、指ｆｎｇの実像及び鏡像を示す像が得られた場合に、得られた実像及び鏡像を示す像を示す情報を第２検出部１３に渡す。

つまり、図１０に示した制御部１４によれば、第２抽出部１４３で得られた実像及び鏡像を第２検出部１３に渡すことで、第２の検出部１３による接触の検出が可能な範囲に限って、第２検出部１３に、指ｆｎｇの表示画面ＳＣへの接触を検出させることができる。

また、図１０に示した閾値保持部１５１は、例えば、図１１を用いて説明したマスク画像Ｍｓｋ２に対応する領域に含まれる画像ＩＭＧの各画素に対応して、第１検出部１２による指ｆｎｇの実像の幅との比較に用いられる第１閾値を保持する。

決定部１５２は、処理装置ＰＣから受けた画像ＩＭＧに基づいて、マスク画像Ｍｓｋ２で示される領域内の各画素に対応して閾値保持部１５１に保持する第１閾値を決定する。

設定制御部１５３は、例えば、第１検出部１２による接触の検出に先立って、処理装置ＰＣを介して、図１２を用いて後述する第１閾値の設定のための設定画面を表示装置ＤＵに表示させる。また、設定制御部１５３は、表示装置ＤＵに表示させた設定画面の状況に合わせて、決定部１５２に各画素に対応する第１閾値を決定させる。

図１２は、図１０に示した設定制御部１５３が処理装置ＰＣを介して表示装置ＤＵに表示させる設定画面の例を示す。

図１２(Ａ)に示した設定画面は、表示画面ＳＣの上側の辺の中点を中心とする半円形の領域Ａｒと、領域Ａｒの内部に表示された複数のサンプル点Ｐｓａｍと、破線で囲んだメッセージＭＥＳ１とを含んでいる。

また、図１２(Ｂ)に示した設定画面は、上述の領域Ａｒと、破線で囲んだメッセージＭＥＳ２とを含んでいる。

図１２(Ａ)，(Ｂ)に示した領域Ａｒの半径は、図１１(Ａ)、(Ｂ)に示したマスク画像Ｍａｓｋ１，Ｍａｓｋ２の境界と同様に、図１０に示した第１検出部１２と第２検出部１３との切り替えの閾値を示す半径ｒｍに設定されることが望ましい。

また、図１２(Ａ)に示したサンプル点Ｐｓａｍは、例えば、領域Ａｒの内部に、等間隔で配置されてもよいし、領域Ａｒにおいてランダムに配置されてもよい。また、サンプル点Ｐｓａｍの数は、複数であれば、図１２(Ａ)に示したサンプル点Ｐｓａｍの数より多くてもよいし、逆に少なくてもよい。なお、図１２(Ａ)は、図１０に示した設定制御部１５３により、サンプル点Ｐｓａｍの一つの表示を点滅させ、メッセージＭＥＳ１として、表示画面ＳＣをタッチする操作を促すテキスト「点滅している点をタッチしてください」を表示させた状態を示している。

図１０に示した設定制御部１５３は、例えば、図１２(Ａ)に示した設定画面において、各サンプル点Ｐｓａｍを順次に強調表示させる。また、設定制御部１５３は、サンプル点Ｐｓａｍの一つを強調表示させる毎に、決定部１５２に対して、強調表示させたサンプル点に対応する領域Ａｒ内の画素を特定する情報を渡すとともに、当該サンプル点の位置に対応する第１閾値の決定を指示する。

決定部１５２は、例えば、処理装置ＰＣを介してフロントカメラＣＡＭで得られる画像ＩＭＧを所定の時間間隔で取得することで、利用者の指が表示画面ＳＣに近づく過程においてフロントカメラＣＡＭで時系列的に得られる複数の画像ＩＭＧを取得する。また、決定部１５２は、取得した画像ＩＭＧのそれぞれに含まれる利用者の指の実像の幅を順次に比較することで、実像の幅の最小値、即ち、利用者の指が表示画面ＳＣに接触した際の実像の幅を検出する。また、決定部１５２は、検出した実像の幅の最小値に基づいて、設定制御部１５３から受けた情報で示される画素に対応する第１閾値を決定する。決定部１５２は、例えば、検出した最小値に所定値αを加算した値を第１閾値として求め、求めた第１閾値を強調表示されたサンプル点に対応する画素に対応して、閾値保持部１５１に保持してもよい。なお、決定部１５２は、所定値αとして、例えば、フロントカメラＣＡＭによる視野角の分解能の半分程度に対応する値を設定することが望ましい。また、決定部１５２は、図１２(Ａ)に示した各サンプル点Ｐｓａｍに対応して決定した第１閾値に基づいて、領域Ａｒ内の各画素に対応する第１閾値を求め、求めた第１閾値を閾値保持部１５１に保持させる。例えば、決定部１５２は、各サンプル点Ｐｓａｍに対応して決定した第１閾値について線形補間処理を適用することで、領域Ａｒ内の各画素に対応する第１閾値を求めてもよい。

一方、図１２(Ｂ)に示した設定画面は、図１０に示した設定制御部１５３により、メッセージＭＥＳ２として、表示画面ＳＣをなぞる操作を促すテキスト「半円部分を塗り潰して下さい」を表示させた例を示している。

設定制御部１５３は、図１２(Ｂ)の設定画面が表示させた場合に、決定部１５２に対して、領域Ａｒに含まれる各画素に対応する第１閾値の決定を指示する。つまり、図１２(Ｂ)に示した設定画面は、図１２(Ａ)に示したサンプル点Ｐｓａｍとして領域Ａｒ内の各画素を指定した場合に相当する。

決定部１５２は、例えば、設定制御部１５３からの指示を受けた後、所定の期間にわたって、処理装置ＰＣを介してフロントカメラＣＡＭで時系列的に得られる画像ＩＭＧを取得することで、領域Ａｒ内をなぞる利用者の指の実像を含む複数の画像ＩＭＧを取得する。また、決定部１５２は、取得した画像ＩＭＧのそれぞれに含まれる指の実像の位置を特定するとともに、指の実像の幅を取得し、特定した位置に対応する第１閾値を指の実像の幅に基づいて決定する。決定部１５２は、例えば、領域Ａｒに含まれる各画素の位置に先端部分が検出された指の実像の幅に上述の所定値αを加算した値を求め、求めた値を各画素の位置に対応する第１閾値として閾値保持部１５１に保持させればよい。

また、設定制御部１５３は、図１２に示した領域Ａｒ内に単一のサンプル点を表示させ、決定部１５２に、上述のサンプル点に利用者の指が接触する過程で得られる画像ＩＭＧに基づいて、領域Ａｒに含まれる各画素に対応する第１閾値を決定させてもよい。

決定部１５２は、例えば、設定制御部１５３から、単一のサンプル点とフロントカメラＣＡＭとの距離を示す情報を受け、受けた情報とフロントカメラＣＡＭの焦点距離などに基づいて、表示画面ＳＣに接触した利用者の指の太さを求める。また、決定部１５２は、求めた指の太さと、領域Ａｒに含まれる各画素とフロントカメラＣＡＭとの距離及びフロントカメラＣＡＭの焦点距離などに基づいて、領域Ａｒに含まれる各画素に接触した指の画像ＩＭＧにおける実像の幅を算出してもよい。また、決定部１５２は、算出した指の実像の幅に上述した所定値αを加算した値を、各画素に対応する第１閾値として閾値保持部１５１に保持させてもよい。

上述した閾値保持部１５１、決定部１５２及び設定制御部１５３を有する設定部１５によれば、検出装置１０による検出に先立って、図１２(Ａ)，(Ｂ)に示した領域Ａｒ内の各画素に対応する第１閾値を設定し、第１検出部１２に渡すことができる。

つまり、図１０に示した設定部１５を有する検出装置１０では、表示装置ＤＵを含むコンピュータ装置を利用する利用者の実際の指の太さを反映した第１閾値を用いて、表示画面ＳＣへの利用者の指の接触を検出することができる。

したがって、図１０に示した検出装置１０によれば、平均的な指の太さに基づいて設定された第１閾値を適用する場合に比べて、高い精度で、利用者の指による表示画面ＳＣへの接触を検出することができる。

ところで、検出装置１０に含まれる撮像部１１は、図４に示したフロントカメラＣＡＭとミラーＭＩＲとの組み合わせに限らず、利用者の視界を妨げない位置に設置され、かつ、表示画面ＳＣのほぼ全体を視野に含めるように配置された外付けのカメラでもよい。

また、図１，４，１０に示した第１検出部１２、第２検出部１３および制御部１４と、図１０に示した設定部１５とは、いずれもコンピュータ装置のプロセッサにより、アプリケーションプログラムを実行することで実現できる。

図１３は、検出装置１０のハードウェア構成例を示す。なお、図１３に示した構成要素のうち、図１、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１３に示したコンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、表示制御部２５と、ネットワークインタフェース２６と、光学ドライブ装置２７とを含んでいる。図１３に示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、表示制御部２５と、ネットワークインタフェース２６と、光学ドライブ装置２７とは、バスを介して互いに接続されている。また、プロセッサ２１は、汎用インタフェース２４を介して、コンピュータ装置２０に外付けされたカメラＥ＿ＣＡＭに接続されている。また、プロセッサ２１は、表示制御部２５を介して、表示装置ＤＵによる表示を制御する。

図１３に示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と汎用インタフェース２４と、カメラＥ＿ＣＡＭとは、検出装置１０に含まれる。なお、カメラＥ＿ＣＡＭは、例えば、魚眼レンズなど広い視野角を持つレンズを用いて実現してもよいし、図１０に示したフロントカメラＣＡＭと同等の焦点距離を持つ撮像装置と円錐形あるいは円筒形のミラーとを組み合わせた光学系で実現してもよい。

上述した光学ドライブ装置２７は、光ディスクなどのリムーバブルディスク２８を装着可能であり、装着したリムーバブルディスク２８に記録された情報の読出および記録を行う。また、プロセッサ２１は、ネットワークインタフェース２６を介してネットワークＮＷに接続されており、ネットワークＮＷに設けられたサーバ装置ＳＶとの間で情報の授受が可能である。

図１３に示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した検出処理を実行するためのアプリケーションプログラムを格納している。なお、上述した検出処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２８に記録して頒布することができる。そして、このリムーバブルディスク２８を光学ドライブ装置２７に装着して読み込み処理を行うことにより、検出処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、ネットワークインタフェース２６を介して、検出処理を実行するためのアプリケーションプログラムをサーバ装置ＳＶからダウンロードし、メモリ２２およびハードディスク装置２３に読み込ませることもできる。

また、プロセッサ２１は、メモリ２２に格納された検出処理のためのアプリケーションプログラムを実行することにより、図１、図４、図１０に示した第１検出部１２、第２検出部１３、制御部１４および図１０に示した設定部１５の機能を果たす。なお、図１０に示した設定部１５に含まれる閾値保持部１５１は、例えば、メモリ２２あるいはハードディスク装置２３に設けた記憶領域に、図１５を用いて後述する設定処理で得られた第１閾値を保持させることで実現してもよい。また、プロセッサ２１は、メモリ２２などに格納されたオペレーティングシステムなどを実行することにより、図１、図４、図１０に示した処理装置ＰＣの機能を果たす。

図１４は、図１３に示したプロセッサ２１が実行する検出処理を示す。なお、図１４に示したステップのうち、図３または図７に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。

図１４に示したステップＳ３０１〜ステップＳ３２３の各処理は、図１３に示したカメラＥ＿ＣＡＭで得られる画像ＩＭＧに基づいて利用者の指の表示画面への接触を検出する処理、即ち、検出処理のためのアプリケーションプログラムに含まれる処理の一例である。また、ステップＳ３０１〜ステップＳ３２３の各処理は、プロセッサ２１によって実行される。

ステップＳ３０１において、プロセッサ２１は、汎用インタフェース２４を介して、カメラＥ＿ＣＡＭによって表示画面ＳＣを撮像することで得られる画像ＩＭＧを取得する。

ステップＳ３２１において、プロセッサ２１は、画像ＩＭＧのうち、図１１(Ａ)に示したマスク画像ＭＳＫ１の外側、即ち、図１２(Ａ)，(Ｂ)に示した領域Ａｒに含まれる部分から、図１３に示した利用者の指ｆｎｇの実像を抽出する。プロセッサ２１は、図７に示したステップＳ３１１と同様にして、画像ＩＭＧの上述の領域Ａｒに含まれる部分から、上述の基準の輝度よりも明るい肌色の領域を指ｆｎｇの実像として抽出することで、ステップＳ３２１の処理を実現してもよい。

ステップＳ３２２において、プロセッサ２１は、ステップＳ３２１の処理で指ｆｎｇの実像が抽出できたか否かを判定する。

画像ＩＭＧの領域Ａｒから指ｆｎｇの実像が抽出された場合に（ステップＳ３２２の肯定判定(ＹＥＳ)）、プロセッサ２１は、ステップＳ３０２及びステップＳ３０３の処理を実行することで、指ｆｎｇの実像の大きさに基づく接触の検出を行う。

一方、画像ＩＭＧの領域Ａｒから指ｆｎｇの実像が抽出されなかった場合に（ステップＳ３２２の否定判定(ＮＯ)）、プロセッサ２１は、ステップＳ３２３、ステップＳ３１３及びステップＳ３１４の処理を実行する。

ステップＳ３２３において、プロセッサ２１は、画像ＩＭＧのうち、図１１（Ｂ）に示したマスク画像ＭＳＫ２の外側、即ち、上述の領域Ａｒの外側の部分から、利用者の指ｆｎｇの実像及び表示画面ＳＣに映った指ｆｎｇの鏡像を示す像を抽出する。プロセッサ２１は、画像ＩＭＧの上述の領域Ａｒの外側の部分から、上述の基準の輝度よりも明るい肌色の領域と暗い肌色の領域とをそれぞれ指ｆｎｇの実像及び指ｆｎｇの鏡像を示す像として抽出することで、ステップＳ３２３の処理を実現してもよい。

ステップＳ３１３において、プロセッサ２１は、図７を用いて説明したようにして、ステップＳ３２３の処理で画像ＩＭＧから抽出された指ｆｎｇの実像と指ｆｎｇの鏡像を示す像との画像ＩＭＧにおける距離を求める。

ステップＳ３１４において、プロセッサ２１は、ステップＳ３１３の処理で得られた距離が第２閾値以下であるか否かを判定することで、指ｆｎｇの実像と指ｆｎｇの鏡像を示す像との間の距離に基づく接触の検出を行う。

以上に説明したようにして、プロセッサ２１は、画像ＩＭＧに含まれる指ｆｎｇの実像の位置に応じて、実像の大きさに基づく接触の検出と実像と鏡像を示す像との距離に基づく接触の検出との一方を選択的に実行することができる。

なお、プロセッサ２１は、図１４に示したステップＳ３２１の処理の代わりに、ステップＳ３２３の処理を先に実行してもよい。また、プロセッサ２１は、ステップＳ３２３の処理で指ｆｎｇの実像及び鏡像祖示す像が抽出できた場合に、ステップＳ３１３、Ｓ３１４の処理を実行し、抽出できなかった場合に、ステップＳ３２１、Ｓ３０２、Ｓ３０３の処理を実行してもよい。

更に、プロセッサ２１は、ステップＳ３２１の処理とステップＳ３２３の処理とを並行して実行してもよい。この場合に、プロセッサ２１は、ステップＳ３２１の処理とステップＳ３２３の処理とで得られた処理結果に基づいて、実像の大きさに基づく接触の検出と実像と鏡像を示す像との距離に基づく接触の検出とのどちらを実行するかを選択すればよい。

つまり、プロセッサ２１が、図１４に示した各処理を含むアプリケーションプログラムを実行することにより、図１３に示したコンピュータ装置２０のハードウェアを利用して、図１０に示した検出装置１０を実現することができる。

これにより、図４あるいは図１０に示したようなフロントカメラＣＡＭを含まないコンピュータ装置２０の利用者にも、本件開示の検出装置１０の機能、即ち、表示画面ＳＣへの指などの接触を検出する機能を提供することができる。

次に、図１５を用いて、図１３に示した検出装置１０による検出処理に先立って行われる設定処理について説明する。

図１５は、図１３に示したプロセッサ２１が実行する設定処理を示す。図１５に示したステップＳ３３１〜ステップＳ３３７の各処理は、図１４に示した検出処理に先立って行われる設定処理のためのアプリケーションプログラムに含まれる処理の一例である。また、ステップＳ３３１〜ステップＳ３３７の各処理は、プロセッサ２１によって実行される。

ステップＳ３３１において、プロセッサ２１は、例えば、図１２(Ａ)に示した設定画面を表示するための表示情報を生成し、生成した表示情報を表示制御部２５に渡すことにより、表示装置ＤＵに設定画面を表示させる。

ステップＳ３３２において、プロセッサ２１は、図１２(Ａ)に示した設定画面に含まれるサンプル点Ｐｓａｍを順次に強調表示させる。

ステップＳ３３３において、プロセッサ２１は、図１３に示したカメラＥ＿ＣＡＭにより、所定の期間内に時系列的に得られる複数の画像ＩＭＧを、汎用インタフェース２４を介して取得する。プロセッサ２１は、例えば、図１２(Ａ)に示した設定画面に含まれるメッセージＭＥＳ１に応じて利用者が指ｆｎｇで表示画面ＳＣに接触する操作にかかる平均的な時間に基づいて上述の所定の期間を設定することが望ましい。

ステップＳ３３４において、プロセッサ２１は、取得した画像ＩＭＧのそれぞれから指ｆｎｇの実像を抽出し、抽出した実像の幅を互いに比較することで、指ｆｎｇの実像の幅の最小値を検出する。

ステップＳ３３５において、プロセッサ２１は、ステップＳ３３４で検出された最小値に基づいて、ステップＳ３３２の処理で強調表示されたサンプル点Ｐｓａｍの位置に対応する第１閾値を設定する。例えば、プロセッサ２１は、検出された最小値に所定値αを加算した値を、図１３に示したハードディスク装置２３などに設けられた閾値保持部１５１に、上述のサンプル点Ｐｓａｍの位置に対応して保持させればよい。

ステップＳ３３６において、プロセッサ２１は、第１閾値の設定処理が完了していない位置に対応するサンプル点Ｐｓａｍがあるか否かを判定する。

未処理のサンプル点Ｐｓａｍがある場合に(ステップＳ３３６の肯定判定(ＹＥＳ))、プロセッサ２１は、ステップＳ３３２の処理に戻って、新たなサンプル点Ｐｓａｍについての処理を開始する。

一方、図１２(Ａ)に示した全てのサンプル点Ｐｓａｍについての設定処理が完了した場合に(ステップＳ３３６の否定判定(ＮＯ))、プロセッサ２１は、ステップＳ３３７の処理を実行する。

ステップＳ３３７において、プロセッサ２１は、例えば、各サンプル点Ｐｓａｍについて得られた第１閾値を線形補間することで、図１２(Ａ)に示した領域Ａｒに含まれる全ての画素に対応する第１閾値を求め、各画素に対応して閾値保持部１５１に保持させる。

上述のステップＳ３３１〜ステップＳ３３３及びステップＳ３３６の処理をプロセッサ２１が実行することは、図１０に示した設定制御部１５３の実施形態の一つである。また、ステップＳ３３３，Ｓ３３４及びＳ３３７の処理をプロセッサ２１が実行することは、図１０に示した決定部１５２の実施形態の一つである。なお、プロセッサ２１は、ステップＳ３３３，Ｓ３３４及びＳ３３７の処理に代えて、図１２(Ｂ)に示した設定画面に対応する処理を実行してもよい。また、プロセッサ２１は、サンプル点Ｐｓａｍの一つに対応して得た最小値に基づいて利用者の指ｆｎｇの太さを求め、求めた利用者の指ｆｎｇの太さとカメラＥ＿ＣＡＭの焦点距離などから、領域Ａｒの各画素に対応する第１閾値を求める処理を実行してもよい。

以上に説明したように、プロセッサ２１が、図１５に示したステップＳ３３１〜ステップＳ３３７の処理を実行することにより、図１３に示したコンピュータ装置２０のハードウェアを用いて、図１０に示した設定部１５の機能を実現することができる。

つまり、コンピュータ装置２０の利用者の実際の指の太さを反映した第１閾値を用いて、表示画面ＳＣの領域Ａｒ内の箇所への利用者の指の接触を検出することで、平均的な指の太さを反映した第１閾値を用いる場合に比べて、検出精度を向上することができる。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

以上の説明に関して、更に、以下の各項を開示する。
(付記１)
表示装置の表示画面を撮像する撮像部と、
前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第１検出部と
を備えたことを特徴とする検出装置。
(付記２)
付記１に記載の検出装置において、
前記第１検出部は、前記画像に含まれる前記物体の実像の幅を前記物体の実像の大きさを示す値として、前記第１閾値と比較する
ことを特徴とする検出装置。
(付記３)
付記１に記載の検出装置において、
前記撮像部の光軸は、前記表示画面に対して斜めに設定され、
更に、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第２検出部と、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置が前記表示画面に設定された所定の範囲に対応する領域に含まれる場合に、前記第１検出部に前記接触を検出させ、前記物体の画像の位置が前記領域の外側である場合に、前記第２検出部に前記接触を検出させる制御部とを備え、
前記制御部は、前記第１検出部による検出の精度が所定値以上となる範囲と前記第２検出部による検出の精度が所定値以下となる範囲との少なくとも一方に基づいて、前記所定の範囲を設定する
ことを特徴とする検出装置。
(付記４)
付記１に記載の検出装置において、
前記撮像部の光軸は、前記表示画面に対して斜めに設定され、
更に、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第２検出部と、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の大きさが所定値以上である場合に、前記第１検出部に前記接触を検出させ、前記物体の画像の大きさが前記所定値未満である場合に、前記第２検出部に前記接触を検出させる制御部と
を備えたことを特徴とする検出装置。
(付記５)
付記３に記載の検出装置において、
前記制御部は、前記表示画面に接触している前記物体の鏡像からの光として前記撮像部に到達する光の前記表示画面への入射角が所定の第３閾値以下となる前記表示画面上の範囲を前記所定の範囲として設定する
ことを特徴とする検出装置。
(付記６)
付記３に記載の検出装置において、
前記制御部は、前記撮像部による撮像で得られた画像における結像位置が同じ箇所を示す、前記表示画面に接触した物体と前記表示画面から所定の距離だけ離れた物体とのそれぞれを前記撮像部から見た視野角の差が所定の第４閾値以上となる前記表示画面上の範囲を前記所定の範囲として設定する
ことを特徴とする検出装置。
(付記７)
付記３乃至付記６のいずれか１に記載の検出装置において、
前記撮像部は、
前記表示装置に搭載され、前記表示画面に対向する所定の範囲を撮像するカメラと、
前記カメラの光軸を前記表示画面と斜めに当たる方向に屈曲させる反射部材とを有する
ことを特徴とする検出装置。
(付記８)
付記１乃至付記７のいずれか１に記載の検出装置において、
更に、
前記第１検出部による接触の検出に先立って、前記表示画面の少なくとも一部に対応する領域内に設定された少なくとも一つの箇所に接触した前記物体を前記撮像部によって撮像することで得られた画像に基づいて、前記少なくとも一つの箇所に対応する前記第１閾値を求め、求めた前記第１閾値を前記第１検出部に渡す設定部を有する
ことを特徴とする検出装置。
(付記９)
表示装置の表示画面を撮像部に撮像させ、
前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する
処理をコンピュータに実行させることを特徴とする検出プログラム。
(付記１０)
表示装置の表示画面に対して斜めの方向に光軸が設定された撮像部に前記表示画面を撮像させ、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置が前記表示画面に設定された所定の範囲に対応する領域に含まれる場合に、
前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出し、
前記物体の画像の位置が前記領域の外側である場合に、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する
処理をコンピュータに実行させることを特徴とする検出プログラム。
(付記１０)
表示装置の表示画面に対して斜めの方向に光軸が設定された撮像部に前記表示画面を撮像させ、
前記撮像部で撮像された画像に含まれる前記物体の画像の幅が所定値以上である場合に
前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出し、
前記物体の画像の幅が所定値未満である場合に、
前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する
処理をコンピュータに実行させることを特徴とする検出プログラム。

１０…検出装置；１１…撮像部；１２…第１検出部；１３…第２検出部；１４…制御部；１５…設定部；１４１…画像処理部；１４２…第１抽出部；１４３…第２抽出部；１５１…閾値保持部；１５２…決定部；１５２…設定制御部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…汎用インタフェース；２５…表示制御部；２６…ネットワークインタフェース；２７…光学ドライブ装置；２９…リムーバブルディスク；ＤＵ…表示装置；ＳＣ…表示画面；ＰＣ…処理装置；ＩＭＧ…画像；ＮＷ…ネットワーク；ＳＶ…サーバ装置

Claims (7)

1. 表示装置の表示画面を撮像する撮像部と、
   前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第１検出部と
   を備えたことを特徴とする検出装置。
2. 請求項１に記載の検出装置において、
   前記撮像部の光軸は、前記表示画面に対して斜めに設定され、
   更に、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第２検出部と、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置が前記表示画面に設定された所定の範囲に対応する領域に含まれる場合に、前記第１検出部に前記接触を検出させ、前記物体の画像の位置が前記領域の外側である場合に、前記第２検出部に前記接触を検出させる制御部とを備え、
   前記制御部は、前記第１検出部による検出の精度が所定値以上となる範囲と前記第２検出部による検出の精度が所定値以下となる範囲との少なくとも一方に基づいて、前記所定の範囲を設定する
   ことを特徴とする検出装置。
3. 請求項１に記載の検出装置において、
   前記撮像部の光軸は、前記表示画面に対して斜めに設定され、
   更に、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する第２検出部と、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の大きさが所定値以上である場合に、前記第１検出部に前記接触を検出させ、前記物体の画像の大きさが前記所定値未満である場合に、前記第２検出部に前記接触を検出させる制御部と
   を備えたことを特徴とする検出装置。
4. 請求項２または請求項３に記載の検出装置において、
   前記撮像部は、
   前記表示装置に搭載され、前記表示画面に対向する所定の範囲を撮像するカメラと、
   前記カメラの光軸を前記表示画面と斜めに当たる方向に屈曲させる反射部材とを有する
   ことを特徴とする検出装置。
5. 表示装置の表示画面を撮像部に撮像させ、
   前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する
   処理をコンピュータに実行させることを特徴とする検出プログラム。
6. 表示装置の表示画面に対して斜めの方向に光軸が設定された撮像部によって前記表示画面を撮像させ、
   前記撮像部で撮像された画像に含まれる前記物体の画像の位置が前記表示画面に設定された所定の範囲に対応する領域に含まれる場合に、
   前記撮像部による撮像で得られた画像に含まれる前記表示画面上の位置の指示に用いられる物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置に対応する前記表示画面上の箇所への前記物体の接触を検出し、
   前記画像に含まれる前記物体の画像の位置が前記領域の外側である場合に、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出する
   処理をコンピュータに実行させることを特徴とする検出プログラム。
7. 表示装置の表示画面に対して斜めの方向に光軸が設定された撮像部によって前記表示画面を撮像させ、
   前記撮像部で撮像された画像に含まれる前記物体の画像の幅が所定値以上である場合に、
   前記撮像部による撮像で得られた画像に含まれる前記物体の画像の大きさが、前記物体の画像の位置毎に設定された第１閾値以下である場合に、前記物体の画像の位置で示される前記表示画面上の箇所への前記物体の接触を検出し、
   前記物体の画像の幅が前記所定値未満である場合に、
   前記撮像部で撮像された画像に含まれる前記物体の画像の位置と前記表示画面に映った前記物体の鏡像を示す画像の位置との距離が第２閾値以下である場合に、前記物体の画像の位置に対応する前記表示画面上の箇所への前記物体の接触を検出する
   処理をコンピュータに実行させることを特徴とする検出プログラム。
   

Images