JP6361332B2

JP6361332B2 - ジェスチャ認識装置およびジェスチャ認識プログラム

Info

Publication number: JP6361332B2
Application number: JP2014139087A
Authority: JP
Inventors: 一樹長村; 村瀬　太一; 太一村瀬; 松田　高弘; 高弘松田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-07-04
Filing date: 2014-07-04
Publication date: 2018-07-25
Anticipated expiration: 2034-07-04
Also published as: JP2016018276A; US20160004386A1

Description

本発明は、ジェスチャ認識装置等に関する。

現実の物体にプロジェクタを使って仮想画像を投影させ、現実の物体に関連付けられた注釈やメニューを提示する技術がある。また、ステレオカメラを用いて利用者の指先を認識し、仮想画像をタッチすることや、仮想画像上で線を描くといったインタラクションを実現する技術がある。

利用者の手領域を検出する技術の一例として、従来技術１を説明する。従来技術１は、カメラが撮影した画像から肌色領域を抽出し、抽出した肌色領域の形状の特徴から手領域を抽出する技術である。図１２は、従来技術１を説明するための図である。

図１２に示すように、従来技術１は、カメラ等から取得したＲＧＢ（Red Green Blue）表示系の入力画像１０ａを、ＨＳＶ（Hue Saturation Value）表示系のＨＳＶ画像１０ｂに変換する。従来技術１は、肌色に対応する色閾値と、ＨＳＶ画像１０ｂとを比較して、肌色の領域を特定する。従来技術１は、肌色の領域を画素「０」に設定し、肌色でない領域を画素「１」に設定することで、２値化画像１０ｃを生成する。従来技術１は、２値化画像１０ｃの形状と、指先の特徴とをパターンマッチングすることで、指先を特定する。例えば、画像１０ｄに示す例では、指先１，２，３，４，５が抽出されている。

図１３は、従来技術１で用いられる肌色に対応する色閾値の一例を示す図である。従来技術１では、Ｈ軸、Ｓ軸、Ｖ軸に、上限と下限の色閾値を設定する。例えば、Ｈ軸の色閾値は、Ｈ_ｍｉｎからＨ_ｍａｘまでとなる。Ｓ軸の色閾値は、Ｓ_ｍｉｎからＳ_ｍａｘまでとなる。Ｖ軸の色閾値は、Ｖ_ｍｉｎからＶ_ｍａｘまでとなる。各軸の閾値をより具体的に示すと、例えば、Ｈ軸の色閾値を０＜Ｈ＜１９、１７１＜Ｈ＜１８０とする。Ｓ軸の色閾値を４０＜Ｓ＜１２１とする。Ｖ軸の色閾値を４８＜Ｖ＜２２３とする。図１２に示したＨＳＶ画像１０ｂの各画素のうち、図１３に示した色閾値に含まれる画素は、肌色の領域に対応する画素となる。

ここで、従来技術１では、プロジェクタ光が手に重なると、手領域の色分布が変化し、手領域に対応する色閾値の抽出範囲からはずれるため、手領域を抽出することができない。このため、プロジェクタ光が手に重なった場合でも、手領域を検出するために、色閾値の範囲を広げる従来技術２がある。

例えば、従来技術２では、Ｈ軸の色閾値を０＜Ｈ＜２１、１７６＜Ｈ＜１８０とする。Ｓ軸の色閾値を４０＜Ｓ＜１７８とする。Ｖ軸の色閾値を４５＜Ｖ＜２３６とする。このように、従来技術２では、色閾値の範囲を広げることで、手領域の色分布の変化に対応して、手領域を含む領域を抽出することができる。

特開２０１１−１１８５３３号公報特開２００５−２４２５８２号公報

しかしながら、上述した従来技術では、手領域を誤検出するという問題がある。

例えば、従来技術２では、従来技術１と比較して、色閾値の範囲を広げているため、手領域を抽出するだけでなく、手領域ではない背景の領域まで手領域として抽出してしまう。

１つの側面では、手領域の誤検出を防止することができるジェスチャ認識装置およびジェスチャ認識プログラムを提供することを目的とする。

第１の案では、ジェスチャ認識装置は、撮影部と、取得部と、抽出部とを有する。撮影部は、プロジェクタ光が照射される照射領域を撮影する。取得部は、撮影部が撮影した画像を基にして、手領域にプロジェクタ光が照射されていない場合の手領域の色情報を示す第１色情報と、手領域にプロジェクタ光が照射された場合の手領域の色情報を示す第２色情報とを取得する。抽出部は、撮影部が撮影した画像から、プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を第１色情報に基づいて抽出し、プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、第２色情報に基づいて抽出する。

本発明の１実施態様によれば、手領域の誤検出を防止することができるという効果を奏する。

図１は、本実施例に係るジェスチャ認識装置の構成を示す機能ブロック図である。図２は、プロジェクタ光が照射されていない場合の画像データの一例を示す図である。図３は、取得部が色閾値Ｔｈ１を特定する処理を説明するための図である。図４は、プロジェクタ光が照射されている場合の画像データの一例を示す図である。図５は、取得部が色閾値Ｔｈ２を特定する処理を説明するための図である。図６は、タッチ領域と手領域とが重なるか否かを判定する処理を説明するための図（１）である。図７は、タッチ領域と手領域とが重なる場合の抽出部の処理を補足説明するための図である。図８は、色閾値Ｔｈ１および色閾値Ｔｈ２を算出する処理を示すフローチャートである。図９は、手領域を抽出する処理手順を示すフローチャートである。図１０は、タッチ領域と手領域とが重なるか否かを判定する処理を説明するための図（２）である。図１１は、ジェスチャ認識プログラムを実行するコンピュータの一例を示す図である。図１２は、従来技術１を説明するための図である。図１３は、従来技術１で用いられる肌色に対応する色閾値の一例を示す図である。

以下に、本願の開示するジェスチャ認識装置およびジェスチャ認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例に係るジェスチャ認識装置の構成の一例について説明する。図１は、本実施例に係るジェスチャ認識装置の構成を示す機能ブロック図である。図１に示すように、このジェスチャ認識装置は、プロジェクタ光源１１０と、撮影部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、制御部１６０とを有する。

プロジェクタ光源１１０は、プロジェクタ光制御部１６０ａから受け付ける情報を基にして各種の色や画像に対応するプロジェクタ光を照射する装置である。プロジェクタ光源１１０は、例えば、ＬＥＤ（Light Emitting Diode）光源に対応する。

撮影部１２０は、プロジェクタ光源１１０から照射される照射領域の画像を撮影する装置である。撮影部１２０は、撮影した画像の画像データを、取得部１６０ｂ、抽出部１６０ｃに出力する。撮影部１２０は、カメラ等に対応する。

入力部１３０は、各種の情報をジェスチャ認識装置１００に入力する入力装置である。入力部１３０は、例えば、キーボードやマウス、タッチパネル等に対応する。

表示部１４０は、制御部１６０から出力される情報を表示する表示装置である。表示部１４０は、例えば、液晶ディスプレイやタッチパネル等に対応する。

記憶部１５０は、色閾値情報１５０ａを有する。記憶部１５０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

色閾値情報１５０ａは、初期色閾値と、色閾値Ｔｈ１と、色閾値Ｔｈ２とを含む。初期色閾値は、確実に手領域が抽出できるように、広く閾値を取った色閾値である。例えば、初期色閾値は、式（１）、式（２）、式（３）で定義される。

０＜Ｈ＜２０、１７０＜Ｈ＜１８０・・・（１）

６０＜Ｓ＜２００・・・（２）

４５＜Ｖ＜２５５・・・（３）

色閾値Ｔｈ１は、後述する取得部１６０ｂにより生成される色閾値である。色閾値Ｔｈ１は、手領域を抽出する色閾値であり、上記の初期色閾値と比較して狭いものとなる。取得部１６０ｂが、色閾値Ｔｈ１を生成する説明は後述する。

色閾値Ｔｈ２は、詳述する取得部１６０ｂにより生成される色閾値である。色閾値Ｔｈ２は、手領域のうち、プロジェクタ光が照射された部分の領域を抽出する色閾値である。取得部１６０ｂが、色閾値Ｔｈ２を生成する説明は後述する。

制御部１６０は、プロジェクタ光制御部１６０ａと、取得部１６０ｂと、抽出部１６０ｃと、認識部１６０ｄとを有する。制御部１４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

プロジェクタ光制御部１６０ａは、プロジェクタ光源１１０に情報を出力することで、各種の色や画像に対応するプロジェクタ光を照射させる。プロジェクタ光制御部１６０ａは、取得部１６０ｂからプロジェクタ光の照射要求を受け付けた場合には、取得部１６０ｂにより指定される位置にプロジェクタ光を照射させる。例えば、取得部１６０により指定される位置は、手領域の重心位置となる。

プロジェクタ光生成部１６０ａは、取得部１６０ｂからプロジェクタ光の照射停止要求を受け付けた場合には、プロジェクタ光源１１０がプロジェクタ光を照射することを抑止する。

取得部１６０ｂは、撮影部１２０から取得する画像データを基にして、手領域にプロジェクタ光が照射されていない場合の手領域の色閾値Ｔｈ１を特定する処理部である。また、取得部１６０ｂは、手領域にプロジェクタ光が照射されている間に、撮影部１２０から取得する画像データを基にして、手領域にプロジェクタ光が照射されている場合の色閾値Ｔｈ２を特定する処理部である。取得部１６０ｂが、色閾値Ｔｈ１および色閾値Ｔｈ２を特定する間、利用者はプロジェクタ光の照射範囲に手を置き、手を動かさないものとする。

取得部１６０ｂが、色閾値Ｔｈ１を特定する処理の一例について説明する。取得部１６０ｂは、プロジェクタ光源１１０によって画像や、各種の色が照射されていない状態の画像データを撮影部１２０から取得する。図２は、プロジェクタ光が照射されていない場合の画像データの一例を示す図である。図２に示す画像データ２０は、ＲＧＢ表示系の画像データであり、背景に手指以外ない状態で撮影された画像データである。取得部１６０ｂは、画像データ２０を取得する場合には、プロジェクタ光制御部１６０ａに対して、照射停止要求を出力する。

取得部１６０ｂは、ＲＧＢ表示系の画像データ２０を、ＨＳＶ表示系のＨＳＶ画像に変換する。取得部１６０ｂは、色識別情報１５０ａに含まれる初期色閾値と、ＨＳＶ画像の画素の値とを比較して、初期色閾値に含まれる画素を特定する。取得部１６０ｂは、特定した画素の領域を手領域として設定する。

取得部１６０ｂは、手領域に含まれる各画素のＨＳＶ表示系の範囲に基づいて、色閾値Ｔｈ１を特定する。図３は、取得部が色閾値Ｔｈ１を特定する処理を説明するための図である。図３において、Ｈ軸は、ＨＳＶ表示系のHueに対応する軸である。Ｓ軸は、Saturationに対応する軸である。Ｖ軸は、Valueに対応する軸である。

取得部１６０ｂは、図３において、手領域に含まれる全画素に対応するＨの値のうち、最大のＨの値を色閾値Ｔｈ１のＨ_ｍａｘに設定する。取得部１６０ｂは、手領域に含まれる全画素に対応するＨの値のうち、最小のＨの値を色閾値Ｔｈ１のＨ_ｍｉｎに設定する。

取得部１６０ｂは、図３において、手領域に含まれる全画素に対応するＳの値のうち、最大のＳの値を色閾値Ｔｈ１のＳ_ｍａｘに設定する。取得部１６０ｂは、手領域に含まれる全画素に対応するＳの値のうち、最小のＳの値を色閾値Ｔｈ１のＳ_ｍｉｎに設定する。

取得部１６０ｂは、図３において、手領域に含まれる全画素に対応するＶの値のうち、最大のＶの値を色閾値Ｔｈ１のＶ_ｍａｘに設定する。取得部１６０ｂは、手領域に含まれる全画素に対応するＶの値のうち、最小のＶの値を色閾値Ｔｈ１のＶ_ｍｉｎに設定する。

取得部１６０ｂは、上記のように、各軸の最大値および最小値を特定することで、色閾値Ｔｈ１を特定する。取得部１６０ｂは、特定した色閾値Ｔｈ１の情報によって、色閾値情報１５０ａを更新する。

続いて、取得部１６０ｂが、色閾値Ｔｈ２を特定する処理の一例について説明する。取得部１６０ｂは、上記の色閾値Ｔｈ１を特定する処理と同様にして、手領域を特定する。取得部１６０ｂは、手領域の重心位置を算出する。取得部１６０ｂは、手領域の重心位置をプロジェクタ光制御部１６０ａに出力し、照射要求を行う。

取得部１６０ｂは、照射要求を行った後に、プロジェクタ光が照射された状態の画像データを撮影部１２０から取得する。図４は、プロジェクタ光が照射されている場合の画像データの一例を示す図である。図４に示す例では、画像データ３０の重心位置３０ａに、プロジェクタ光が照射されている。画像データ３０は、ＲＧＢ表示系の画像データである。

取得部１６０ｂは、ＲＧＢ表示系の画像データ３０を、ＨＳＶ表示系のＨＳＶ画像に変換する。取得部１６０ｂは、変換したＨＳＶ画像について、重心位置から所定範囲内の画像を特定する。この重心位置は、上記の手領域の重心位置に対応するものである。

取得部１６０ｂは、重心位置から所定範囲に含まれる各画素のＨＳＶ表示系の範囲に基づいて、色閾値Ｔｈ２を特定する。図５は、取得部が色閾値Ｔｈ２を特定する処理を説明するための図である。図５における各軸の説明は、図３における各軸の説明と同様である。

取得部１６０ｂは、図５において、重心位置から所定範囲に含まれる全画素のＨの値のうち、最大のＨの値を色閾値Ｔｈ２のＨ_ｍａｘに設定する。取得部１６０ｂは、重心位置から所定範囲に含まれる全画素のＨの値のうち、最小のＨの値を色閾値Ｔｈ２のＨ_ｍｉｎに設定する。

取得部１６０ｂは、図５において、重心位置から所定範囲に含まれる全画素のＳの値のうち、最大のＳの値を色閾値Ｔｈ２のＳ_ｍａｘに設定する。取得部１６０ｂは、重心位置から所定範囲に含まれる全画素のＳの値のうち、最小のＳの値を色閾値Ｔｈ２のＳ_ｍｉｎに設定する。

取得部１６０ｂは、図５において、重心位置から所定範囲に含まれる全画素のＶの値のうち、最大のＶの値を色閾値Ｔｈ２のＶ_ｍａｘに設定する。取得部１６０ｂは、重心位置から所定範囲に含まれる全画素のＶの値のうち、最小のＶの値を色閾値Ｔｈ２のＶ_ｍｉｎに設定する。

取得部１６０ｂは、上記のように、各軸の最大値および最小値を特定することで、色閾値Ｔｈ２を特定する。取得部１６０ｂは、特定した色閾値Ｔｈ２の情報によって、色閾値情報１５０ａを更新する。

抽出部１６０ｃは、プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を、色閾値Ｔｈ１に基づいて抽出する。また、抽出部１６０ｃは、プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、色閾値Ｔｈ２に基づいて抽出する。抽出部１６０ｃは、色閾値Ｔｈ１に基づいて抽出した手領域の一部と、色閾値Ｔｈ２に基づいて抽出した手領域の一部とを結合した領域を、手領域として特定する。抽出部１６０ｃは、手領域の情報を認識部１６０ｄに出力する。

まず、抽出部１６０ｃが、プロジェクタ光によって照射されるタッチ領域と手領域とが重なるか否かを判定する処理の一例について説明する。抽出部１６０ｃは、撮影部１２０から、ＲＧＢ表示系の画像データを取得し、上述した取得部１６０ｂと同様にして、手領域の指先を特定する。

例えば、抽出部１６０ｃは、ＲＧＢ表示系の画像データを、ＨＳＶ表示系の画像データに変換する。抽出部１６０ｃは、色閾値情報１５０ａに含まれる色閾値Ｔｈ１と、ＨＳＶ画像の画素の値とを比較して、色閾値Ｔｈ１に含まれる画素を特定する。抽出部１６０ｃは、特定した画素の領域を手領域として設定する。

抽出部１６０ｃは、手領域と、指先の特徴とをパターンマッチングすることで、指先を特定し、特定した画像データ上の指先の座標を算出する。抽出部１６０ｃは、指先の座標と、タッチ領域の座標との距離が閾値未満である場合に、タッチ領域と手領域とが重なると判定する。一方、抽出部１６０ｃは、指先の座標と、タッチ領域の座標との距離が閾値以上である場合には、タッチ領域と手領域とが重なると判定する。なお、抽出部１６０ｃは、画像データ上のタッチ領域の座標を予め保持しているものとする。

図６は、タッチ領域と手領域とが重なるか否かを判定する処理を説明するための図（１）である。図６の画像４０ａにおいて、タッチ領域の座標４１ａと、指先の座標４１ｂとの距離が閾値以上となっている。このため、画像４０ａの場合には、抽出部１５０ｃは、タッチ領域と手領域とが重ならないと判定する。

図６の画像４０ｂ，４０ｃにおいて、タッチ領域の座標４１ａと、指先の座標４１ｂとの距離が閾値未満となっている。このため、画像４０ｂ，４０ｃの場合には、抽出部１５０ｃは、タッチ領域と手領域とが重なると判定する。

続いて、手領域とタッチ領域とが重ならない場合に、抽出部１６０ｃが手領域を抽出する処理について説明する。抽出部１６０ｃは、撮影部１２０から、ＲＧＢ表示系の画像データを取得し、ＲＧＢ表示系の画像データを、ＨＳＶ表示系の画像に変換する。抽出部１６０ｃは、色閾値情報１５０ａに含まれる色閾値Ｔｈ１と、ＨＳＶ画像の画素の値とを比較して、色閾値Ｔｈ１に含まれる画素を特定する。抽出部１６０ｃは、特定した画素の領域を手領域として特定する。抽出部１６０ｃは、特定した手領域の情報を、認識部１６０ｄに出力する。

続いて、手領域とタッチ領域とが重なる場合に、抽出部１６０ｃが手領域を抽出する処理について説明する。手領域とタッチ領域とが重なる場合には、抽出部１６０ｃは、色閾値Ｔｈ１を基に抽出した手領域の一部と、色閾値Ｔｈ２を基に抽出した手領域の一部とを結合した領域を、手領域として特定する。

まず、抽出部１６０ｃは、撮影部１２０から、ＲＧＢ表示系の画像データを取得し、ＲＧＢ表示系の画像データを、ＨＳＶ表示系の画像に変換する。抽出部１６０ｃは、色閾値情報１５０ａに含まれる色閾値Ｔｈ１と、ＨＳＶ画像の画素の値とを比較して、色閾値Ｔｈ１に含まれる画素を特定する。抽出部１６０ｃは、特定した画素の領域を手領域の一部として特定する。

抽出部１６０ｃは、色閾値情報１５０ａに含まれる色閾値Ｔｈ２と、ＨＳＶ画像の画素の値とを比較して、色閾値Ｔｈ２に含まれる画素を特定する。抽出部１６０ｃは、特定した画素の領域を手領域の一部として特定する。

図７は、タッチ領域と手領域とが重なる場合の抽出部の処理を補足説明するための図である。図７の画像５０ａに示す手領域５１は、色閾値Ｔｈ１を基に抽出した手領域の一部を示すものである。図７の画像５０ｂに示す手領域５２は、色閾値Ｔｈ２を基に抽出した手領域の一部を示すものである。画像５０ｃに示す手領域５３は、抽出部１６０ｃが、手領域５１と、手領域５２とを結合することで生成される手領域５３を示す。抽出部１６０ｃは、結合した手領域５０の情報を認識部１６０ｄに出力する。

認識部１６０ｄは、抽出部１６０ｃから受け付けた手領域の情報を基にして、各種のジェスチャを認識し、認識結果に応じた各種の処理を実行する処理部である。例えば、認識部１６０ｄは、順次、手領域の情報を抽出部１６０ｃから取得し、手領域の指先の軌跡と、所定のパターンとを比較し、軌跡に対応するパターンに応じた処理を実行する。また、認識部１６０ｄは、抽出部１６０ｃと同様にして、タッチ領域と手領域とが重なるか否かを判定し、タッチ領域が利用者によってタッチされたか否かを判定し、タッチされたタッチ領域に応じた処理を実行してもよい。

次に、本実施例に係るジェスチャ認識装置１００の処理手順について説明する。図８は、色閾値Ｔｈ１および色閾値Ｔｈ２を算出する処理手順を示すフローチャートである。図８に示すように、ジェスチャ認識装置１００の取得部１６０ｂは、撮影部１２０から画像データを取得する（ステップＳ１０１）。

取得部１６０ｂは、画像データをＨＳＶ表示系のＨＳＶ画像データに変換する（ステップＳ１０２）。取得部１６０ｂは、初期色閾値とＨＳＶ画像データとを比較して、肌色に対応する画素を特定し（ステップＳ１０３）、手領域を抽出する（ステップＳ１０４）。

取得部１６０ｂは、手領域に含まれる画素のＨＳＶの値を基にして、色閾値Ｔｈ１を算出する（ステップＳ１０５）。取得部１６０ｂは、手領域の重心位置を算出する（ステップＳ１０６）。

ジェスチャ認識装置１００のプロジェクタ光制御部１６０ａは、プロジェクタ光源１１０を制御して、手領域の重心位置にプロジェクタ光を照射する（ステップＳ１０７）。取得部１６０ｂは、プロジェクタ光の影響を加味した色閾値Ｔｈ２を算出する（ステップＳ１０８）。

図９は、手領域を抽出する処理を示すフローチャートである。図９に示すように、ジェスチャ認識装置１００の抽出部１６０ｃは、撮影部１２０から画像データを取得する（ステップＳ２０１）。

抽出部１６０ｃは、画像データをＨＳＶ表示系のＨＳＶ画像データに変換する（ステップＳ２０２）。抽出部１６０ｃは、色閾値Ｔｈ１とＨＳＶ画像データとを基にして、肌色に対応する画素を特定し（ステップＳ２０３）、色閾値Ｔｈ１に基づく手領域の一部を抽出する（ステップＳ２０４）。

抽出部１６０ｃは、タッチ領域と指先との距離が閾値未満であるか否かを判定する（ステップＳ２０５）。抽出部１６０ｃは、タッチ領域と指先との距離が閾値未満でない場合には（ステップＳ２０５，Ｎｏ）、最終フレームであるか否かを判定する（ステップＳ２０６）。

抽出部１６０ｃは、最終フレームである場合には（ステップＳ２０６，Ｙｅｓ）、処理を終了する。一方、抽出部１６０ｃは、最終フレームでない場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０１に移行する。

ステップＳ２０５の説明に戻る。抽出部１６０ｃは、タッチ領域と指先との距離が閾値未満の場合には（ステップＳ２０５，Ｙｅｓ）、色閾値Ｔｈ２とＨＳＶ画像データとを基にして、肌色に対応する画素を特定し（ステップＳ２０７）、色閾値Ｔｈ２に基づく手領域の一部を抽出する（ステップＳ２０８）。

抽出部１６０ｃは、色閾値Ｔｈ１に基づく手領域の一部と、色閾値Ｔｈ２に基づく手領域の一部とを結合して、手領域を特定し（ステップＳ２０９）、ステップＳ２０６に移行する。

次に、本実施例に係るジェスチャ認識装置１００の効果について説明する。ジェスチャ認識装置１００は、プロジェクタ光源１１０により照射されたタッチ領域と利用者の指先とが重なるか否かを判定する。ジェスチャ認識装置１００は、タッチ領域と利用者の指先とが重なる場合に、色閾値Ｔｈ１と色閾値Ｔｈ２とを用いて手領域を特定する。このため、ジェスチャ認識装置１００によれば、手領域にプロジェクタ光を照射されている場合でも、手領域を正確に抽出することができる。

また、ジェスチャ認識装置１００は、プロジェクタ光によって照射されるタッチ領域の位置と、手領域の位置と距離に基づいて、プロジェクタ光と手領域とが重なるか否かを判定する。このため、ジェスチャ認識装置１００は、プロジェクタ光と手領域とが重なるか否かを正確に特定でき、手領域の誤検出を防止することができる。

また、ジェスチャ認識装置１００は、色閾値Ｔｈ１に基づいて抽出した手領域の一部と、色閾値Ｔｈ２とに基づいて抽出した手領域の一部とを結合して、手領域を判定する。このため、プロジェクタ光と重ならない手領域と、プロジェクタ光と重なる手領域とを抽出でき、背景画像を抽出してしまうことを防止することができる。

ところで、上述した抽出部１６０ｃは、タッチ領域と手領域とが重なるか否かをタッチ領域と指先との距離に基づいて判定していたが、これに限定されるものではない。例えば、抽出部１６０ｃは、撮影部１２０からタッチ領域の画像データを取得し、画像データの差分を基にして、タッチ領域と手領域とが重なるか否かを判定してもよい。

図１０は、タッチ領域と手領域とが重なるか否かを判定する処理を説明するための図（２）である。画像データ６０ａは、抽出部１６０ｃが予め保持する背景画像データである。画像データ６０ｂは、抽出部１６０ｃが撮影部１２０から取得した画像データである。

抽出部１６０ｃは、画像データ６０ａの各画素の画素値と画像データ６０ｂの各画素の画素値との差分を算出することで差分画像データを生成する。抽出部１６０ｃは、差分画像データにおいて、画素値が０以外となる画素の数が所定の閾値以上である場合に、タッチ領域と手領域とが重なると判定する。なお、ここでは、画素の数に基づいて、画像データ６０ａと画像データ６０ａとの違いから、タッチ領域と手領域との重なりを検出したが、抽出部１６０ｃは、その他の処理によって、重なりを検出してもよい。

上記のように、抽出部１６０ｃは、タッチ領域の画像データの差分を基にして、タッチ領域と手領域とが重なるか否かを判定するため、簡易的な手法により、タッチ領域が利用者の指先にタッチされたか否かを判定することができる。

次に、上記実施例に示したジェスチャ認識装置１００と同様の機能を実現する電子透かし情報検出プログラムを実行するコンピュータの一例について説明する。図１１は、ジェスチャ認識プログラムを実行するコンピュータの一例を示す図である。

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、画像を撮影するカメラ２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａおよび抽出プログラム２０７ｂを有する。ＣＰＵ２０１は、取得プログラム２０７ａおよび抽出プログラム２０７ｂを読み出してＲＡＭ２０６に展開する。取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。抽出プログラム２０７ａは、抽出プロセス２０６ｂとして機能する。

取得プロセス２０６ａは、取得部１６０ｂに対応する。抽出プロセス２０６ｂは、抽出部１６０に対応する。

なお、取得プログラム２０７ａ、抽出プログラム２０７ｂについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が取得プログラム２０７ａ、抽出プログラム２０７ｂを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）プロジェクタ光が照射される照射領域を撮影する撮影部と、
前記撮影部が撮影した画像を基にして、手領域に前記プロジェクタ光が照射されていない場合の前記手領域の色情報を示す第１色情報と、前記手領域に前記プロジェクタ光が照射された場合の前記手領域の色情報を示す第２色情報とを取得する取得部と、
前記撮影部が撮影した画像から、前記プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を前記第１色情報に基づいて抽出し、前記プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、前記第２色情報に基づいて抽出する抽出部と
を有することを特徴とするジェスチャ認識装置。

（付記２）前記抽出部は、前記プロジェクタ光によって照射されるタッチ領域の画像を前記撮像部から取得し、画像の差分を基にして、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする付記１に記載のジェスチャ認識装置。

（付記３）前記抽出部は、前記プロジェクタ光によって照射されるタッチ領域の位置と、前記手領域の位置と距離に基づいて、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする付記１または２に記載のジェスチャ認識装置。

（付記４）前記抽出部は、前記第１色情報に基づいて抽出した手領域の一部と、前記第２色情報に基づいて抽出した手領域の一部とを結合して手領域を判定することを特徴とする付記１、２または３に記載のジェスチャ認識装置。

（付記５）コンピュータに、
撮影装置により撮影されたプロジェクタ光が照射される照射領域の画像を基にして、手領域に前記プロジェクタ光が照射されていない場合の前記手領域の色情報を示す第１色情報と、前記手領域に前記プロジェクタ光が照射された場合の前記手領域の色情報を示す第２色情報とを取得し、
前記撮影装置が撮影した画像から、前記プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を前記第１色情報に基づいて抽出し、前記プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、前記第２色情報に基づいて抽出する
処理を実行させることを特徴とするジェスチャ認識プログラム。

（付記６）前記抽出する処理は、前記プロジェクタ光によって照射されるタッチ領域の画像を前記撮像部から取得し、画像の差分を基にして、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする付記５に記載のジェスチャ認識プログラム。

（付記７）前記抽出する処理は、前記プロジェクタ光によって照射されるタッチ領域の位置と、前記手領域の位置と距離に基づいて、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする付記５または６に記載のジェスチャ認識プログラム。

（付記８）前記抽出する処理は、前記第１色情報に基づいて抽出した手領域の一部と、前記第２色情報に基づいて抽出した手領域の一部とを結合して手領域を判定することを特徴とする付記５、６または７に記載のジェスチャ認識プログラム。

１００ジェスチャ認識装置
１２０撮影部
１６０ｂ取得部
１６０ｃ抽出部

Claims

プロジェクタ光が照射される照射領域を撮影する撮影部と、
前記撮影部が撮影した画像を基にして、手領域に前記プロジェクタ光が照射されていない場合の前記手領域の色情報を示す第１色情報と、前記手領域に前記プロジェクタ光が照射された場合の前記手領域の色情報を示す第２色情報とを取得する取得部と、
前記撮影部が撮影した画像から、前記プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を前記第１色情報に基づいて抽出し、前記プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、前記第２色情報に基づいて抽出する抽出部と
を有することを特徴とするジェスチャ認識装置。
前記抽出部は、前記プロジェクタ光によって照射されるタッチ領域の画像を前記撮影部から取得し、画像の差分を基にして、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする請求項１に記載のジェスチャ認識装置。
前記抽出部は、前記プロジェクタ光によって照射されるタッチ領域の位置と、前記手領域の位置と距離に基づいて、前記プロジェクタ光と前記手領域とが重なるか否かを判定することを特徴とする請求項１または２に記載のジェスチャ認識装置。
前記抽出部は、前記第１色情報に基づいて抽出した手領域の一部と、前記第２色情報に基づいて抽出した手領域の一部とを結合して手領域を判定することを特徴とする請求項１、２または３に記載のジェスチャ認識装置。
コンピュータに、
撮影装置により撮影されたプロジェクタ光が照射される照射領域の画像を基にして、手領域に前記プロジェクタ光が照射されていない場合の前記手領域の色情報を示す第１色情報と、前記手領域に前記プロジェクタ光が照射された場合の前記手領域の色情報を示す第２色情報とを取得し、
前記撮影装置が撮影した画像から、前記プロジェクタ光によって照射されるタッチ領域と重ならない手領域の一部を前記第１色情報に基づいて抽出し、前記プロジェクタ光によって照射されるタッチ領域と重なる手領域の一部を、前記第２色情報に基づいて抽出する
処理を実行させることを特徴とするジェスチャ認識プログラム。