JP4733600B2 - 操作検出装置とそのプログラム - Google Patents

Description

この発明は、操作情報を入力する操作検出装置とそのプログラムに関する。

プロジェクタを用いて映像を投影する情報提示装置において、ユーザの体の特定部位を検出することで、その特定部位に映像を投影する情報提示装置が発明されている（例えば、非特許文献１を参照。）。また、一般的に、人は位置を指定したり物を選択する際に、人差し指で対象物に接しながら指し示す指差しの動作を行うことが多い。例えば、手の平に投影された映像に対する指差し動作を検出することで、その動作に応じた情報を提示することが可能となる。

石井陽子、小林稔、中山彰、細田真道、"情報との出会いを演出する手の平表示インタフェース"、信学技報、MVE-2005-42、Sep.2005、社団法人電子情報通信学会

関靖夫、"セグメントの形状情報を利用したステレオマッチング"、情報処理学会、コンピュータビジョン研究会報告、Vol.1998 No.5、pp.55-62.

ところが、手の所定の位置を人差し指で指し示す場合、手と手とが重なり合うため、ビデオカメラなどの撮像装置から得られる色や温度情報から指し示した指先を検出することは難しい。さらに、手に指先が接した事を検出するには、等特殊な手袋をはめたり、指先にタッチセンサ等の機器をつける必要があり、人の自然な動作を妨げるという問題がある。

この発明は上記事情に着目してなされ、その目的とするところは、特殊な機器を用いることなく操作情報を検出することができる操作検出装置とそのプログラムを提供することにある。

上記目的を達成するためにこの発明に関わる操作検出装置とそのプログラムは、照明手段及び撮像手段と共に使用される操作検出装置であって、前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段とを具備することを特徴とする。

したがってこの発明によれば、照明が当たった特定部位を撮像し、撮像された画像データをもとに、特定部位の領域の影の付き方から指差し動作とその位置を検出することができる。これにより、ユーザは、特殊な手袋をはめたり、指先にタッチセンサ等の機器をつけることなく、自然な動作を行うだけで指差し位置が検出されるため、誰でも簡単に操作できるユーザインタフェースを実現することができる。

また、この発明は、次のような各種構成を備えることも特徴とする。
第１の構成は、前記検出された線分同士が成す鋭角の二等分線を求め、この二等分線が前記操作者の特定部位の輪郭と交わる位置を検出し、検出された位置に基づいて指差し動作が前記操作者により行われたか前記操作者以外により行われたかを判定する手段をさらに具備することを特徴とする。

上記第１の構成では、さらに指差し動作が行われた方向を検出し、操作者か操作者以外が指差し動作を行ったかを区別するようにしている。このようにすることで、指差し動作を行った人物に応じた処理を行うことが可能となり、よりインタラクティブな操作を実現することが可能となる。

第２の構成は、前記操作者の赤外線画像を取得する手段をさらに具備し、前記操作者の特定部位の領域を検出する手段は、前記取得された赤外線画像が表す温度分布に基づいて前記操作者の特定部位の領域を検出することを特徴とする。
このように構成すると、色情報により操作者の特定部位の判別が困難な場合でも、確実に手の領域を検出することが可能となる。

第３の構成は、前記照明手段に投影装置が用いられ、この投影装置から動画が投影される場合に、前記操作者を前記撮像手段に撮像させる手段は、前記動画の明るさが所定の閾値以上の場合に、前記操作者を前記撮像手段に撮像させることを特徴とする。
このように構成することにより、明るさが変化する動画が投影される場合であっても、指差し位置を正確に検出することが可能となる。

要するにこの発明によれば、特殊な機器を用いることなく操作情報を入力することができる操作検出装置とそのプログラムを提供することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施形態）
この発明の第１の実施形態は、例えば、手の平に投影された画像を指差すような指差し動作が行われた場合に、指差し動作とその位置の検出、さらに指差し動作を行った人物を特定するものである。

図１は、この発明の第１の実施形態に係わる操作検出装置の構成を示すブロック図である。
人物３が存在する空間に、ビデオカメラ２と、ライト４とが配置される。ライト４は、人物３を照らすように配置され、人物３が手の所望の位置を指差した際に指差した指の影がくっきりと現れる様、ライト４の光量を調整しておく。また、ライト４は、色温度の高い昼光色を用いる。ビデオカメラ２は人物３の頭上に設置され、ライト４で照らされた状態の人物３を撮像する。

操作検出装置１は、ＣＰＵ等の制御部１１と、カメラ入力インタフェース（カメラ入力Ｉ／Ｆ）１２と、データメモリ１３と、プログラムメモリ１４とを備える。カメラ入力Ｉ／Ｆ１２にはビデオカメラ２が接続され、制御部１１は、カメラ入力Ｉ／Ｆ１２によりビデオカメラ２により撮像された画像データを取得する。取得された画像データはデータメモリ１３に格納される。プログラムメモリ１４には、この発明を実現する制御プログラムとして、手領域検出プログラム１４ａと、影抽出プログラム１４ｂと、指差し検出プログラム１４ｃと、指差し人物検出プログラム１４ｄとが格納される。

手領域検出プログラム１４ａは、制御部１１の制御の下、データメモリ１３からビデオカメラ２により撮像された画像データを読み出し、肌色抽出アルゴリズム等を用いて人物３の手の領域を検出する。影抽出プログラム１４ｂは、上記検出された手の領域の中から影の部分のみを影情報として抽出する。指差し検出プログラム１４ｃは、抽出された影情報の中から、指差し動作からできる影を抽出し、指差し動作で指定された位置を求めて出力する。指差し人物検出プログラム１４ｄは、指差した動作を行っている指がどの方向から出ているのかを検出することで、指差し動作を人物３（本人）であるか否かを検出する。

次に、このように構成される操作検出装置１の指差し動作検出処理について詳しく説明する。制御部１１は手領域検出プログラム１４ａを実行して、ビデオカメラ２により撮像された画像から肌色領域を検出する。この検出処理のため、例えば上記撮像画像をＨＳＶ（Hue、Saturation、Value）変換する。ＨＳＶ変換では、色情報をＨ成分（色相）、Ｓ成分（彩度）、Ｖ成分（明度）の３つの成分で表される。ＨＳＶ変換された画像において、Ｈ成分（色成分）とＳ成分（彩度成分）とが、それぞれある閾値より大きくある閾値より小さい場合に肌色として検出する。そして、肌色と検出された領域の中から、ある閾値より大きくある閾値より小さい大きさの領域を手の領域として検出する。

次に、制御部１１は影抽出プログラム１４ｂを実行して手の上の影の部分を抽出する。影抽出プログラム１４ｂでは、上記抽出された手の領域の画像データをＨＳＶ変換し、Ｖ成分（明るさ成分）を抽出する。抽出されたＶ成分の中から、ある閾値より大きく、ある閾値より小さい明るさの箇所を抽出することで、影部分を抽出する。

また、図２に示すように、手に接しながら指差した様子を真上から撮像すると、指の先に向けて鋭角の影ができる。一方、図３に示すように、指差しの指が手から離れている場合、その影はぼやけ、丸みを持った影として抽出することができる。指差し検出プログラム１４ｃでは、この違いに着目して、指差し動作とその位置を検出する。以下に、その手順を説明する。図４は、指差し動作とその位置の検出処理を説明する図である。

制御部１１は、指差し検出プログラム１４ｃを実行して、影抽出プログラム１４ｂにより抽出された影部分に対して、ノイズを除去するため、領域の拡大または縮小処理を行う。その後、線分を検出することのできる一般的な処理であるハフ変換を行い、影部分のエッジの線分を検出する（図４中、影近似線１００，１０１）。影部分のエッジは厳密には緩やかな曲線を描くことが多いが、ハフ変換の閾値を変更することで、影部分のエッジを線分として検出することが可能となる。検出された線分の中から、最も鋭角を成す交点を検出することで、その交点の位置を指差し位置（図４中、指差し位置１０４、１０５）として検出する。

次に、制御部１１は、指差し人物検出プログラム１４ｄにより、指差し動作を行った人物が本人であるか本人以外であるのかを検出する。指差し人物検出プログラム１４ｄでは、指差し動作によりできる影の角度を用いて検出する。ライト４の向きが変化しない場合、指差し動作によりできる影の鋭角の二等分線（図４中、二等分線１０２，１０３）が鋭角に向かう方向を指差し動作の方向として検出する。さらに、この二等分線が手の領域の輪郭と交わる位置を検出し、検出された位置に基づいて指差し動作が本人により行われたか本人以外により行われたかを判定する。

例えば、図４においては、人物３は、左手に対して右手で指差し動作を行っているため、手の親指の付け根から手首、小指側の側面、中指にかけての辺りを本人の指差し動作と認識する領域と予め定めておく。そして、上記二等分線が手の輪郭と交わる位置がこの指差し動作と認識する領域に含まれると判定された場合に、本人により指差し動作がなされたものと検出する。一方、指差し動作と認識する領域以外で、二等分線と手の輪郭とが交わる位置が検出された場合は、他人の指により指し示されたとして判定する。これは、人が自分の手で自然に指差す場合、指差す指の位置はほぼこの範囲に収まることから、この様に人物の検出を行うことができる。

以上述べたように、上記実施形態では、ビデオカメラ２は人物３の頭上に設置され、ライト４で照らされた状態の人物３を撮像する。操作検出装置１は、カメラ入力Ｉ／Ｆ１２によりビデオカメラ２により撮像された画像データを取得する。制御部１１は、手領域検出プログラム１４ａを実行し、肌色抽出により人物３の手の領域を検出する。続いて、影抽出プログラム１４ｂにより、手の領域の画像から影部分を抽出する。さらに、制御部１１は、指差し検出プログラム１４ｃを実行して、ハフ変換により影部分のエッジを線分として複数検出し、検出された線分の中から、鋭角を成す交点を検出することで、その交点の位置を指差し位置として検出するものである。

したがって、上記実施形態によれば、ユーザは、特殊な手袋をはめたり、指先にタッチセンサ等の機器をつけることなく、自然な動作を行うだけで、指差し位置が検出される。特別な操作を必要としないため、誰でも簡単に操作できるユーザインタフェースを実現することができる。また、上記実施形態では、指差し動作を行った人物が本人であるか否かを区別するようにしている。このようにすることで、指差し動作を行った人物に応じた処理を行うことが可能となる。例えば、手に表示された複数枚の写真の中から、気に入った写真を指差すだけで、当てはまる人物へ写真を割り当てることなどが可能となる。

（第２の実施形態）
この発明の第２の実施形態は、照明手段としてプロジェクタを用いると共に、さらに赤外線カメラを設置し、赤外線カメラにより得られる赤外線画像から手の領域を抽出するものである。
図５は、この発明の第２の実施形態に係わる操作検出装置の構成を示すブロック図である。なお、同図において、上記第１の実施形態の図１と同一部分には同一符号を付し、詳しい説明については省略する。

人物３が存在する空間に、ビデオカメラ２と、赤外線カメラ５と、プロジェクタ６とが配置される。赤外線カメラ５及びプロジェクタ６は、ビデオカメラ２と同様に人物３の頭上に設置されている。操作検出装置１Ａは、制御部１１と、カメラ入力Ｉ／Ｆ１２と、データメモリ１３と、プログラムメモリ１４とに加え、赤外線カメラ入力インタフェース（赤外線カメラ入力Ｉ／Ｆ）１５とプロジェクタ出力インタフェース（プロジェクタ出力Ｉ／Ｆ）１６とを備える。

プロジェクタ出力Ｉ／Ｆ１６には、プロジェクタ６が接続される。データメモリ１３にはプロジェクタ６が投影する静止画の投影データが予め記憶される。制御部１１は、データメモリ１３に格納される投影データ（静止画）を読み出し、プロジェクタ出力Ｉ／Ｆ１６を介してプロジェクタ６に出力する。プロジェクタ６は操作検出装置１Ａから出力される投影データをもとに人物３の手に向けて静止画を投影する。赤外線カメラ入力Ｉ／Ｆ１５には赤外線カメラ５が接続され、制御部１１は、赤外線カメラ入力Ｉ／Ｆ１５により赤外線カメラ５により撮像された赤外線画像データを取得する。取得された赤外線画像データはデータメモリ１３に格納される。

このように構成される操作検出装置１Ａの動作について説明する。
この実施形態では、制御部１１は、手領域検出プログラム１４ａにより赤外線カメラ５により得られる赤外線画像データを用いて手の領域を検出する。赤外線カメラ５で撮像すると、撮像対象の温度分布を得ることができるため、温度の高い人の肌の領域を抽出することができる。そして抽出された領域の中から、ある閾値より大きくある閾値より小さい大きさの領域を手の領域であるとして検出する。これによりプロジェクタ６により手に静止画像が提示されている場合でも、確実に手の領域を抽出することができる。

次に、制御部１１は影抽出プログラム１４ｂを実行して手の上の影の部分を抽出する。影抽出プログラム１４ｂでは、上記抽出された手の領域の画像データを例えばＨＳＶ変換し、Ｖ成分（明るさ成分）を抽出する。抽出されたＶ成分の中から、ある閾値より大きく、ある閾値より小さい明るさの箇所を抽出することで、影部分を抽出する。影抽出プログラム１４ｂにより得られた領域と、手領域検出プログラム１４ａにより得られた領域の重なり合う領域を求め、重なり合う部分を手の上の影の領域として検出する。このとき、ビデオカメラ２と赤外線カメラ５の光軸が一致していない場合、各カメラより得られた画像がそれぞれ別のカメラより得られた画像のどこに一致するのかのマッチングが必要になる。マッチングの処理には、例えば、非特許文献２に挙げるような手法などを用いる。

手に接しながら指差した様子を真上から撮像すると、上記図２に示すように、指の先に向けて鋭角の影ができる。また、上記図３に示すように、指差しの指が手から離れている場合、その影はぼやけ、丸みを持った影として抽出することができる。そこで指差しを行った際にできる鋭角の影の形のテンプレートを作成しておく。そして制御部１１は、指差し検出プログラム１４ｃを実行して、影抽出プログラム１４ｂにより抽出された影のみを抽出した画像に対してテンプレートマッチングを行い手に接している指差しの位置を検出することが可能となる。

上記第２の実施形態によれば、赤外線カメラ５を設け、赤外線カメラ５により撮像して得られる赤外線画像を用いて人物３の手の領域を検出するようにしている。このようにすると、色情報により操作者の特定部位の判別が困難な場合でも、確実に手の領域を検出することが可能となる。つまり、手に画像等が提示されている場合でも、正しく手の領域を検出することが可能となる。このようにしても、上記第１の実施形態と同様に、ユーザに特殊な機器を装着することなく、指差し位置を検出することが可能となる。

なお、上記第１の実施形態における肌色抽出による手の領域の検出と、第２の実施形態で述べた赤外線画像の温度分布による手の領域の検出を同時に行い、両方の検出結果の組み合わせから手の領域を判定するように構成しても良い。このように構成することにより、さらに確実に手の領域を検出することができるようになる。

（第３の実施形態）
この発明の第３の実施形態は、上記第２の実施形態と同様に照明手段としてプロジェクタを設け、プロジェクタにより投影される動画によってできる影を検出することにより指差し動作を検出するものである。
図６は、この発明の第３の実施形態に係わる操作検出装置の構成を示すブロック図である。なお、同図において、上記第２の実施形態の図５と同一部分には同一符号を付し、詳しい説明については省略する。

人物３が存在する空間に、ビデオカメラ２と、プロジェクタ６とが配置される。プロジェクタ６は、ビデオカメラ２と同様に人物３の頭上に設置されている。操作検出装置１Ｂは、制御部１１と、カメラ入力Ｉ／Ｆ１２と、データメモリ１３と、プログラムメモリ１４とに加え、プロジェクタ出力インタフェース（プロジェクタ出力Ｉ／Ｆ）１６とを備える。

プロジェクタ出力Ｉ／Ｆ１６には、プロジェクタ６が接続される。データメモリ１３にはプロジェクタ６が投影する動画の投影データとタイムライン情報とが予め記憶される。制御部１１は、データメモリ１３に格納される投影データ（動画）を読み出し、プロジェクタ出力Ｉ／Ｆ１６を介してプロジェクタ６に出力する。プロジェクタ６は操作検出装置１Ａから出力される投影データをもとに人物３の手に動画を投影する。タイムライン情報は、動画中のある閾値以上の明るさを有する場面のタイムラインで構成される。制御部１１は、動画の再生時刻を監視し、このタイムライン情報に当てはまる時刻に、ビデオカメラ２から撮像画像を取得する。

このように構成される操作検出装置１Ｂの動作について説明する。
制御部１１は手領域検出プログラム１４ａを実行して、ビデオカメラ２により得られた画像データを例えばＨＳＶ変換し、その中でＨ成分（色成分）とＳ成分（彩度成分）がそれぞれある閾値より大きくある閾値より小さい場合に肌色として検出する。

次に、制御部１１は影抽出プログラム１４ｂを実行して手の上の影の部分を抽出する。本実施形態では、プロジェクタ６は動画を投影しており、その映像は手に投影されている間も様々に変化する。ところが、手の上の影を抽出するには、手にある程度の明るさの光が当たっている必要がある。そこで、影抽出プログラム１４ｂでは、手の上の影を正しく抽出するために、動画の中でその明るさを満たす場面で手の上の影を抽出する処理を行うようにする。

具体的には、予め動画の中からある閾値以上の明るさを持つ場面のタイムラインを抽出し、そのタイムライン情報をデータメモリ１３に記憶しておく。制御部１１は、データメモリ１３に記憶される投影データを再生し、プロジェクタ出力Ｉ／Ｆ１６に出力することで、プロジェクタ６により手に動画が提示される。あるタイムラインの場面が再生された際に制御部１１は、に映像撮影の命令を送り、カメラ入力Ｉ／Ｆ１２を介してビデオカメラ２より映像を取得する。この際に、プロジェクタ６から映像が提示された瞬間にビデオカメラ２で撮影を行うために、プロジェクタ６とビデオカメラ２は同期のとれる機器を用いる必要がある。

得られた画像に対して例えばＨＳＶ変換を行い、Ｖ成分（明るさ成分）を抽出する。抽出されたＶ成分の中から、ある閾値より大きく、ある閾値より小さい明るさの箇所を抽出することで、影を抽出する。影抽出プログラム１４ｂにより得られた領域と、手領域検出プログラム１４ａにより得られた領域の重なり合う領域を求め、それを手の上の影の領域として検出する。

また、手に接しながら指差した様子を真上から撮像すると、指の先に向けて鋭角の影ができ、指差しの指が手から離れている場合、その影はぼやけ、丸みを持った影として抽出することができる。そこで、指差し検出プログラム１４ｃでは、この違いに着目して、指差し動作とその位置を検出する。以下に、その手法を説明する。影抽出プログラム１４ｂにより抽出された影に対して、ノイズを除去するため、領域の拡大縮小処理を行う。その後直線を検出することのできる一般的な処理であるハフ変換を行い、影のエッジの線分を検出する。（上記図４中、影近似線１００、１０１）影のエッジは厳密には緩やかな曲線を描くことが多いが、ハフ変換の閾値を変更することで、影のエッジを線分として検出することが可能となる。検出された線分の中から、最も鋭角を成す交点を検出することで、その交点の位置を指差し位置（上記図４中、指差し位置１０４、１０５）として検出する。

上記第３の実施形態では、プロジェクタ６から動画が投影される状態で、動画が所定の閾値以上の明るさの時にビデオカメラ２から撮像画像を取得して指差し動作を検出するようにする。このように構成することで、明るさが変化する動画が投影される場合であっても、指差し位置を正確に検出することが可能となる。

なお、この発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる操作検出装置の構成を示すブロック図。 指差し動作の例を示す図。 指差し動作とならない例を示す図。 指差し位置の検出処理を説明する図。 この発明の第２の実施形態に係わる操作検出装置の構成を示すブロック図。 この発明の第３の実施形態に係わる操作検出装置の構成を示すブロック図。

符号の説明

１，１Ａ，１Ｂ…操作検出装置、２…ビデオカメラ、３…人物、４…ライト、１１…制御部、１２…カメラ入力Ｉ／Ｆ、１３…データメモリ、１４…プログラムメモリ、１４ａ…手領域検出プログラム、１４ｂ…影抽出プログラム、１４ｃ…指差し検出プログラム、１４ｄ…指差し人物検出プログラム、５…赤外線カメラ、１５…赤外線カメラ入力Ｉ／Ｆ、６…プロジェクタ、１６…プロジェクタ出力Ｉ／Ｆ。

Claims (4)

1. 照明手段及び撮像手段と共に使用される操作検出装置であって、
   前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、
   前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、
   前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、
   前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と、
   前記検出された線分同士が成す鋭角に基づいて指差し動作が行われた方向を検出し、この方向で前記操作者の特定部位の輪郭上の位置を検出し、検出された位置に基づいて指差し動作が前記操作者により行われたか前記操作者以外により行われたかを判定する手段と
   を具備することを特徴とする操作検出装置。
2. 照明手段及び撮像手段と共に使用される操作検出装置であって、
   前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、
   前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、
   前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、
   前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と、
   前記検出された線分同士が成す鋭角の二等分線を求め、この二等分線が前記操作者の特定部位の輪郭と交わる位置を検出し、検出された位置に基づいて指差し動作が前記操作者により行われたか前記操作者以外により行われたかを判定する手段を具備することを特徴とする操作検出装置。
3. 照明手段及び撮像手段と共に使用される操作検出装置であって、
   前記照明手段により照らされた状態で操作者を前記撮像手段に撮像させる手段と、
   前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、
   前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、
   前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と
   を具備し、
   前記照明手段に投影装置が用いられ、この投影装置から動画が投影される場合に、前記操作者を前記撮像手段に撮像させる手段は、前記動画の明るさが所定の閾値以上の場合に、前記操作者を前記撮像手段に撮像させることを特徴とする操作検出装置。
4. 請求項１乃至請求項３のいずれか１項に記載の操作検出装置を構成する各手段としてコンピュータを機能させるための操作検出プログラム。

Images