WO2015015843A1

WO2015015843A1 - ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体

Info

Publication number: WO2015015843A1
Application number: PCT/JP2014/060392
Authority: WO
Inventors: 雄大中村; 宣比古山岸; 智教福田; 恵明楠
Original assignee: 三菱電機株式会社
Priority date: 2013-08-02
Filing date: 2014-04-10
Publication date: 2015-02-05
Also published as: US20160132124A1; JPWO2015015843A1; CN105393281B; CN105393281A; DE112014003563B4; JP6121534B2; DE112014003563T5

Abstract

　撮像画像から操作者の手の領域（Ｒｈ）を検出し、手の掌の中心（Ｐｏ）と手首の中心の位置（Ｗｏ）とを特定し、手の座標系の原点座標（Ｃｈｏ）と手の座標系の座標軸（Ｃｈｕ）の方向を設定し、手の動きの特徴量（Ｄ１５ｈ）を算出する。また、手の領域（Ｒｈ）のうち、手の座標系を用いて手の形状を検出し、手の形状の特徴量（Ｄ１４）を算出する。さらに、手の形状の特徴量（Ｄ１４）に基づき、指の動きの特徴量（Ｄ１５ｆ）を算出する。算出された特徴量に基づきジェスチャー判定を行う。操作領域に入れられている手の角度、或いは手を動かす方向の違いを考慮したジェスチャー判定を行うので、操作の誤認識を低減することができる。

Description

ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体

　本発明は、ジェスチャー判定装置及び方法、並びにジェスチャー操作装置に関する。本発明はまた、プログラム及び記録媒体に関する。

　家電機器、車両搭載機器等の機器操作においては、リモコンを用いることなく、また操作パネルに触れることなく操作を行うことが可能な、手の形状、或いは動きによるジェスチャー操作が有効である。しかし、ジェスチャー操作の一つの問題は、操作者の意識的な動作（操作入力を意図した動作）と無意識的な動作（操作入力を意図しない動作）との区別が難しいことである。この問題の解決のため、操作領域を操作者の近くに設定し、操作領域における動作のみを操作者が意識的に行ったジェスチャーとして認識することが提案されている。特に、車両内或いは航空機内のような、操作者の位置が限定される環境では、操作領域を固定しても操作者にとって大きな不都合は生じない（例えば、特許文献１、特許文献２）。

特開２００４－１４２６５６号公報特開２００５－２５０７８５号公報国際公開第２０１１／１４２３１７号

　特許文献３については後述する。

　しかしながら、操作領域を固定すると、操作領域に対する操作者の相対位置、身体の大きさの違い、操作領域への手の入れ方により、操作領域における手の角度或いは、手振り動作の方向に違いが生じるという問題があった。

　本発明はこのような事情を鑑みてなされたもので、本発明の目的は、操作領域における手の角度或いは手振り動作の方向の違いを考慮した上でジェスチャー判定を行うことで、操作者の手の形状、或いは手の又は指の動きを正確に、かつ確実に検出して操作の誤認識を低減し、ユーザの意図に応じた正確な操作を実行させることである。

　この発明の第１の態様のジェスチャー判定装置は、
　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
　前記手領域情報に基づき前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
　前記手の座標系に基づき、前記操作者の手の動き特徴量を算出する動き特徴量算出部と、
　前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
　を有することを特徴とする。

　この発明の第２の態様のジェスチャー判定装置は、
　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
　前記手領域情報に基づき前記操作者の手の特定の部位から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
　前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
　前記手の座標系に基づく前記操作者の手の動き特徴量の算出と、
前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
　前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
　を有することを特徴とする。

　この発明によれば、手の座標系に基づいて手の動きの特徴量を算出することで、或いは手の形状の特徴量と手又は指の動きの特徴量を算出することで、操作者によって、操作領域に入れられる手の角度、手振り動作の方向などに違いがあっても、誤認識の少ないジェスチャー判定が可能となり、該ジェスチャー判定に基づく機器の操作を操作者の意図に合致したものとすることが可能となる。

本発明の実施の形態１のジェスチャー操作装置の使用例を示す図である。実施の形態１のジェスチャー操作装置のブロック図である。実施の形態１における撮像画像の座標系と手の座標系を示す図である。実施の形態１で用いられる座標系設定部１３が算出する掌の特徴を示す図である。実施の形態１で用いられる座標系設定部１３が手首位置を特定する動作を示す図である。実施の形態１で用いられる座標系設定部１３が手の座標系を設定する動作を示す図である。実施の形態１で用いられる座標系設定部１３が出力する手の座標系のパラメータの例を示す図である。（ａ）～（ｃ）は、実施の形態１で用いられる座標系設定部１３が設定する手の座標系の例を示す図である。実施の形態１で用いられる形状特徴量算出部１４の形状特徴量の算出を示す図である。実施の形態１で用いられる動き特徴量算出部１５による動き特徴量の算出を示す図である。実施の形態１におけるジェスチャーの種類とコマンドの対応関係の一例を示す図である。実施の形態１におけるジェスチャーの種類とジェスチャーに係るパラメータとコマンドとの対応関係の他の例を示す図である。実施の形態１に係るジェスチャー操作装置で実行されるジェスチャー操作方法の処理の手順を示すフローチャートである。本発明の実施の形態２に係るジェスチャー操作装置のブロック図である。実施の形態２に係るジェスチャー操作装置で実行されるジェスチャー操作方法の処理の手順を示すフローチャートである。本発明の実施の形態３に係るジェスチャー操作装置のブロック図である。実施の形態３に係るジェスチャー操作装置で実行されるジェスチャー操作方法の処理の手順を示すフローチャートである。本発明の実施の形態４に係るジェスチャー操作装置のブロック図である。実施の形態４における撮像画像の座標系と手の座標系を示す図である。実施の形態４で用いられる動き特徴量算出部１５による動き特徴量の算出を示す図である。

実施の形態１．
　図１は、この発明の実施の形態１のジェスチャー操作装置の使用例を示す図である。図示のように、ジェスチャー操作装置１は、車両の運転席、助手席、後部座席等の座席２に着席した操作者３から手が届く範囲に予め定められた操作領域４において、操作者３によりなされるジェスチャーを認識し、操作制御部５を介して、複数の被操作機器としての車両搭載機器６ａ、６ｂ、６ｃへ操作指示を与える。

　以下では、被操作機器が地図案内装置（カーナビ）６ａ、オーディオ装置６ｂ、及びエアコン（空気調和装置）６ｃである場合を想定する。地図案内装置６ａ、オーディオ装置６ｂ、及びエアコン６ｃへの操作指示は、操作制御部５の表示部５ａに表示される操作案内により行われ、操作案内に応じた操作入力がジェスチャー操作装置１によって行われる。

　図２は、本実施の形態に係るジェスチャー操作装置１の構成を示すブロック図である。図示のジェスチャー操作装置１は、撮像部１１と、ジェスチャー判定装置１０と、操作決定部１７とを備える。ジェスチャー判定装置１０は、手領域検出部１２と、座標系設定部１３と、形状特徴量算出部１４と、動き特徴量算出部１５と、ジェスチャー判定部１６とを備える。

　まず、ジェスチャー操作装置１の概要を説明する。
　撮像部１１は、操作領域４を含む空間を予め定められたフレームレートで撮像し、該空間の動画像を表す一連のフレームの画像データＤ１１を生成し、生成した画像データＤ１１を手領域検出部１２へ出力する。
　撮像部１１は、例えば、イメージセンサー又は測距センサーを含むものであり、カラー画像、グレースケール画像、２値画像、距離画像等の画像を出力する。また、撮像対象の空間の明るさが不十分な場合は、撮像対象の空間に近赤外線を照射して、その反射光を近赤外線用のイメージセンサーで取得し、画像を出力する機能を有していても良い。

　手領域検出部１２は、撮像部１１から与えられる画像データＤ１１から、操作領域４に入れられた操作者の手を検出し、画像上の手領域Ｒｈとして抽出して、抽出した手領域Ｒｈを示す情報（手領域情報）Ｄ１２を生成する。
　手領域情報Ｄ１２は、抽出した手領域Ｒｈのみをハイレベル、それ以外の領域をローレベルとしてラベリングした画像データ、例えば、手領域Ｒｈ内の画素の画素値を第１の値、例えば「１」とし、それ以外の領域内の画素の画素値を第２の値、例えば「０」とした画像データである。
　例えば、手領域検出部１２は、入力される画像データＤ１１に対して、パターン認識法、背景差分法、肌色抽出法、及びフレーム間差分法等の手法を適用して、画像における操作者の手の領域Ｒｈを抽出する。
　手領域検出部１２で生成された手領域情報Ｄ１２は、座標系設定部１３及び形状特徴量算出部１４へ供給される。

　座標系設定部１３は、入力として与えられる手領域情報Ｄ１２から、撮像画像の座標系（以下では単に「画像の座標系」と言う）における手の座標系の原点座標と、画像の座標系に対する手の座標系の相対角度を決定し、これらを表す情報を手の座標系のパラメータＤ１３として形状特徴量算出部１４及び動き特徴量算出部１５へ出力する。

　形状特徴量算出部１４は、座標系設定部１３から与えられる手の座標系のパラメータＤ１３に基づいて、手領域情報Ｄ１２から、指先の位置と、伸ばしている指の本数Ｍの少なくとも１つを手の形状を表す特徴量（形状特徴量）として算出し、算出した形状特徴量を示す情報（形状特徴量情報）Ｄ１４を動き特徴量算出部１５及びジェスチャー判定部１６へ出力する。

　動き特徴量算出部１５は、座標系設定部１３から与えられる手の座標系のパラメータＤ１３に基づいて、手の動き（手の全体の動き）を表す特徴量（手動き特徴量）を算出し、手動き特徴量を表す手動き特徴量情報Ｄ１５ｈを生成するとともに、座標系設定部１３から与えられる手の座標系のパラメータＤ１３と形状特徴量算出部１４から与えられる形状特徴量情報Ｄ１４とに基づいて、指の動きを表す特徴量（指動き特徴量）を算出し、指動き特徴量を表す指動き特徴量情報Ｄ１５ｆを生成し、生成した手動き特徴量情報Ｄ１５ｈ及び指動き特徴量情報Ｄ１５ｆを、ジェスチャー判定部１６へ出力する。

　ジェスチャー判定部１６は、形状特徴量算出部１４から与えられる形状特徴量情報Ｄ１４及び動き特徴量算出部１５から与えられる動き特徴量情報Ｄ１５ｈ、Ｄ１５ｆを、それぞれに対して予め定義される基準値Ｄ１４ｒ、Ｄ１５ｈｒ、Ｄ１５ｆｒと照合して、照合の結果に基づいてジェスチャーの種類を判別し、ジェスチャーに係るパラメータを生成して、ジェスチャーの種類を示す情報Ｄ１６ａ及びジェスチャーに係るパラメータＤ１６ｂを操作決定部１７に出力する。

　操作決定部１７は、ジェスチャー判定部１６から出力されるジェスチャーの種類を表す情報Ｄ１６ａ及びジェスチャーに係るパラメータＤ１６ｂに基づいて、コマンドＤ１７を生成し、操作制御部５に出力する。
　このコマンドＤ１７は、被操作機器６ａ、６ｂ、６ｃに対する操作指示、或いはその操作に先立って行われる被操作機器の選択のための操作制御部５に対する指示である。
　操作制御部５は、被操作機器の選択及び被操作機器に対する操作のための案内を表示する画面（操作画面）を表示し、操作者３は、操作画面の案内に応じてジェスチャーにより操作入力を行う。ジェスチャーによる操作入力は、操作領域４に手を入れ、手を予め定められた形状にし、手の全体を予め定められたパターンで動かすことにより、或いは指を予め定められたパターンで動かすことによって行われる。

　以下、座標系設定部１３、形状特徴量算出部１４、動き特徴量算出部１５、ジェスチャー判定部１６及び操作決定部１７の動作をより詳しく説明する。

　座標系設定部１３は、手領域検出部１２から与えられる手領域情報Ｄ１２から、画像の座標系における手の座標系の原点座標（画像の座標系の原点に対する手の座標系の原点の相対位置）と、画像の座標系に対する手の座標系の相対角度（回転角度）を決定し、これらを表す情報を手の座標系のパラメータＤ１３として形状特徴量算出部１４及び動き特徴量算出部１５へ出力する。

　ここで、画像の座標系と実施の形態１で用いられる手の座標系とについて図３を用いて説明する。
　図３は画像の座標系Ｃｉと手の座標系Ｃｈの関係を示している。
　画像の座標系Ｃｉとは、撮像部１１により取得される画像を基準とする座標系であり、直交座標系かつ右手座標系である。例えば、図３に示す矩形状の画像１０１においては、画像の左下を画像の座標系Ｃｉの原点Ｃｉｏとし、水平方向の軸Ｃｉｘを第１軸、垂直方向の軸Ｃｉｙを第２軸と設定することができる。
　一方、手の座標系Ｃｈとは、画像における手の領域Ｒｈを基準とする座標系であり、直交座標系かつ右手座標系である。例えば、図３に示す手の領域Ｒｈにおいては、掌の中心Ｐｏを手の座標系の原点Ｃｈｏとし、原点を通る第１軸Ｃｈｕ、及び第２軸Ｃｈｖが設定される。

　図３では、手の領域Ｒｈで示される手が、図１と同じ向きに描かれている。これは操作領域４にある手を上から撮像した場合に得られる画像である。図１に示すように、ジェスチャー操作装置１が操作領域４の下側に位置し、従って撮像部１１が下方から操作領域４を撮像する場合には、撮像部１１による撮像で得られる画像を左右反転することにより図３に示す画像が得られる。以下では、このような左右反転を行うことで得られる画像を用いるものとして説明する。そのような左右反転を行うことで、操作領域４にある手を上から、即ち操作者と同じ視点で見た画像を想定することができるためである。

　画像の座標系Ｃｉにおける第１軸Ｃｉｘの成分をｘ、第２軸Ｃｉｙの成分をｙとし、各点の座標を（ｘ，ｙ）と表記する。
　手の座標系Ｃｈにおける第１軸Ｃｈｕの成分をｕ、第２軸Ｃｈｖの成分をｖとし、各点の座標を（ｕ，ｖ）と表記する。
　画像の座標系Ｃｉにおける、手の座標系Ｃｈの原点Ｃｈｏの座標（画像の座標系の原点Ｃｉｏに対する手の座標系の原点の相対位置）が（Ｈｘ，Ｈｙ）で表され、画像の座標系の第１軸Ｃｉｘに対して手の座標系の第１軸Ｃｈｕがなす角（相対角度）がθで表されている。

　座標系設定部１３は、画像の座標系Ｃｉにおける手の座標系Ｃｈの原点Ｃｈｏの座標（Ｈｘ，Ｈｙ）を決定するとともに、画像の座標系Ｃｉにおける手の座標系の第１軸Ｃｈｕの方向と第２軸Ｃｈｖの方向を決定する。具体的には、掌の中心Ｐｏを手の座標系Ｃｈの原点Ｃｈｏとして決定し、手首の中心から掌の中心へ向かうベクトルの方向から、手の座標系Ｃｈの第１軸Ｃｈｕ及び第２軸Ｃｈｖの方向を決定する。

　まず、座標系設定部１３は、手領域情報Ｄ１２から、掌の特徴量を算出する。掌の特徴量としては、図４に示されるように、掌の中心Ｐｏと、掌の半径Ｐｒとが算出される。

　例えば、手領域Ｒｈ内の各点に対して、手領域Ｒｈの輪郭までの最短距離を求め、その最短距離が最大となる点を掌の中心Ｐｏの座標（Ｈｘ，Ｈｙ）として算出する。そして、掌の中心Ｐｏから手領域Ｒｈの輪郭までの最短距離を掌の半径Ｐｒとして算出する。

　なお、掌の中心を算出する手法は上記の方法に限定されず、例えば特許文献３に記載されるように、手領域内に収まり、かつ最も大きい正方形の中心を掌の中心としても良い。

　次に、座標系設定部１３は手領域情報Ｄ１２と、算出された掌の特徴量（掌の中心Ｐｏ及び半径Ｐｒ）に基づいて手首の位置を算出する。
　具体的には、座標系設定部１３はまず掌の特徴量から、手首領域を特定するための手首探索線Ｓｓを決定する。次に、手首の太さの特徴量から探索線Ｓｓ上にある手首領域Ｒｗを特定し、手首の中心の位置Ｗｏを算出する。

　まず、座標系設定部１３は手領域情報Ｄ１２に基づいて、掌の外側の領域を探索し、指の太さと手首の太さの違いから、手首の領域を特定する。
　具体的には、手領域情報Ｄ１２で示される手領域を含む画像において、図５に示す掌の中心Ｐｏを中心とし、半径α×Ｐｒの円を探索線Ｓｓとして描く。掌の半径Ｐｒに掛ける係数αを、α＞１を満たすように設定することで、掌の外側に探索線Ｓｓを描くことができる。つまり、掌よりも外側に位置する、手首領域を探索することができる。この探索線Ｓｓに沿って手領域を含む画像を探索し、探索線Ｓｓと手領域Ｒｈとの重なりを調べる。なお、αは、例えばα＝１．２と設定される。

　探索線Ｓｓは、下記の式（１）の関係を満たす座標（ｘ，ｙ）を有する点の集合である。

　上記のように探索を行うと、手首の領域Ｒｗと、伸ばしている指の領域Ｒｆ１～ＲｆＭ（Ｍは伸ばしている指の数）において、それぞれ探索線Ｓｓと手領域Ｒｈの重なり（探索線Ｓｓによって手領域Ｒｈが横切られる部分）が生じる。手領域Ｒｈと重なる探索線Ｓｓの長さに注目すると、手首の太さは指の太さよりも大きく、探索線Ｓｓのうち手首領域Ｒｗと重なる部分Ｓｓｗの長さは、掌の半径Ｐｒよりも大きく、探索線Ｓｓのうち各指領域Ｒｆｍと重なる部分Ｓｓｆｍの長さは掌の半径Ｐｒよりも小さい。

　そこで、座標系設定部１３は探索線Ｓｓと手領域Ｒｈとが重なる部分の探索線の長さ（探索線のうちの手領域Ｒｈと重なる部分の長さ）を記録し、各々の重なりに対し、重なった探索線の長さと掌の半径と比較することで、手首領域を特定する。具体的には、探索線Ｓｓと手領域Ｒｈが重なる度に各々の重なりに対してインデックスｉ（ｉ∈１，…，Ｎ）を付け、重なった部分の探索線の長さをｆ［１］，…，ｆ［Ｎ］と記録する。ここで、Ｎは探索線Ｓｓと手領域Ｒｈとが重なる部分の数を示す。例えば、１つ目に重なった探索線の長さがＦ１であった場合、ｆ［１］＝Ｆ１と記録し、２つ目に重なった探索線の長さがＦ２であった場合、同様にｆ［２］＝Ｆ２と記録する。なお、「探索線Ｓｓのうちの手領域Ｒｈと重なる部分の長さ」としては、円弧状の探索線に沿う長さであっても良く、代わりに、重なりが始まる点と重なりが終わる点を結ぶ直線の長さを求めることとしても良い。

　上記のようにして記録された長さｆ［ｉ］の各々について、掌の半径との比較を行い、
　ｆ［ｉ］＞β×Ｐｒ
を満たす部分を手首領域として特定する。掌の半径Ｐｒに掛ける係数βを、β≧１を満たすように設定することが好ましく、手領域Ｒｈと重なる探索線の長さが、掌の半径Ｐｒと等しいか、それより大きな部分を特定することができる。なお、βは、例えばβ＝１．０と設定する。
　座標系設定部１３は、このように特定した手首領域と重なる探索線の中点を手首の中心Ｗｏの座標（Ｗｘ，Ｗｙ）として算出する。

　なお、上記の例では、円形の探索線Ｓｓを用いているが、本発明はこれに限定されず、探索線の形状は、掌の外側を探索できるものであれば、他の形状でもよく、例えば、多角形、例えば６角形でも８角形でも良い。

　座標系設定部１３は、上記のように算出した掌の中心座標（Ｈｘ，Ｈｙ）を画像の座標系における手の座標系の原点座標とするとともに、掌の中心座標（Ｈｘ，Ｈｙ）と手首の中心座標（Ｗｘ，Ｗｙ）から座標系の第１軸Ｃｈｕ及び第２軸Ｃｈｖの方向を決定する。

　即ち、図６に示すように、座標系設定部１３は、画像の座標系における掌の中心Ｐｏの座標（Ｈｘ，Ｈｙ）を、手の座標系の原点Ｃｈｏ（ｕ＝０，ｖ＝０）として決定する。
　次に、手首の中心Ｗｏから掌の中心Ｐｏへ向かうベクトルＤｐｗの方向に対して、時計回りに９０度の方向を、手の座標系の第１軸Ｃｈｕの方向として決定し、上記ベクトルＤｐｗの方向を、手の座標系の第２軸Ｃｈｖの方向として決定する。

　なお、手の座標系の第１軸Ｃｈｕ及び第２軸Ｃｈｖの方向は、上記の例に限定されず、手首の中心Ｗｏから掌の中心Ｐｏへ向かうベクトルを基準として任意の方向に決定して良い。

　座標系設定部１３は、手の座標系の第１軸Ｃｈｕ及び第２軸Ｃｈｖの方向が決定されたら、その方向を示す情報を出力する。例えば、画像の座標系に対する手の座標系の相対角度θを示す情報を出力する。
　画像の座標系に対する手の座標系の相対角度としては、例えば、画像の座標系の第１軸Ｃｉｘと手の座標系の第１軸Ｃｈｕとの成す角を用いても良く、代わりに、画像の座標系Ｃｉの第２軸Ｃｉｙと手の座標系Ｃｈの第２軸Ｃｈｖとの成す角を用いても良い。より一般的には、画像の座標系Ｃｉの第１軸Ｃｉｘ及び第２軸Ｃｉｙのいずれかと手の座標系Ｃｈの第１軸Ｃｈｕ及び第２軸Ｃｈｖのいずれかとの成す角を用いても良い。

　以下では、図７に示すように、画像の座標系Ｃｉにおける第１軸Ｃｉｘに対し、手の座標系Ｃｈにおける第１軸Ｃｈｕが反時計回りになす角を、画像の座標系Ｃｉに対する手の座標系Ｃｈの相対角度θとして用いる。
　上記の相対角度θを示す情報は、画像の座標系における手の座標系の原点座標（Ｈｘ，Ｈｙ）を示す情報とともに、手の座標系のパラメータＤ１３として出力される。

　画像の座標系に対して、互いに異なる相対角度で設定された手の座標系の例を図８（ａ）～（ｃ）に示す。図８（ａ）の例ではθ＝－４５°、図８（ｂ）の例ではθ＝０°、図８（ｃ）の例ではθ＝４５°である。上記のように、手の座標系の相対角度θは、手首の中心Ｗｏから掌の中心Ｐｏに向かうベクトルの方向を基準として定められるので、図８（ａ）～（ｃ）は、互いに異なる手の角度に対応して設定されたものである。

　画像の座標系Ｃｉにおける手の座標系Ｃｈの原点が（Ｈｘ，Ｈｙ）で表され、画像の座標系の第１軸Ｃｉｘに対する手の座標系Ｃｈの第１軸Ｃｈｕの相対角度がθで表され、手の座標系Ｃｈと画像の座標系Ｃｉとで単位長さが同じである場合、画像の座標系Ｃｉにおける各点の座標（ｘ，ｙ）は、下記の変換式（２Ａ）及び（２Ｂ）で、手の座標系Ｃｈの座標（ｕ，ｖ）に変換することができる。

　次に、形状特徴量算出部１４の処理を、図９を用いて説明する。図９は手の座標系Ｃｈの第１軸Ｃｈｕ、第２軸Ｃｈｖ、指候補領域Ｒｆｃ、指先位置Ｆｔ１～ＦｔＭを示している。ここで、Ｍは伸ばしている指の本数であり、図９に示す例ではＭ＝５である。
　形状特徴量算出部１４は、手領域情報Ｄ１２から、指先Ｆｔｍ（ｍは１乃至Ｍのいずれか）の位置を表す座標と、伸ばしている指の本数Ｍとの少なくともいずれか１つを手の形状を表す特徴量（形状特徴量）として算出する。

　形状特徴量の算出に当たっては、指先Ｆｔｍの位置を、手の座標系Ｃｈの座標（ｕ，ｖ）で表すのが望ましい。
　このためには、形状特徴量算出部１４は、手の座標系Ｃｈの原点座標及び第１軸及び第２軸の方向を示すパラメータＤ１３を用いて、撮像画像の各画素の位置を表す画像の座標系における座標を、手の座標系における座標へ変換する。この変換は式（２Ａ）及び（２Ｂ）の演算により行われる。

　伸ばしている指の特定は以下のようにして行われる。
　まず、手の座標系Ｃｈの座標軸Ｃｈｕ、Ｃｈｖとの関係で所定の条件を満たす画素からなる領域を、指の存在し得る領域（候補領域）Ｒｆｃとして特定する。
　例えば、指は掌の中心Ｐｏよりも手の座標系Ｃｈの第２軸Ｃｈｖの正の方向に位置するため、手領域Ｒｈのうちの、第２軸方向の座標成分ｖが、ｖ＞０を満たす領域を、指候補領域Ｒｆｃとして設定する。言い換えると、手の座標系の原点Ｃｈｏを基点として、第１軸Ｃｈｕから反時計回りに０～１８０度の範囲に位置する手領域Ｒｈを指の候補領域Ｒｆｃとして設定する。

　次に、形状特徴量算出部１４は、設定した指の候補領域Ｒｆｃに対して、指先Ｆｔｍの座標と、伸ばしている指の本数Ｍを算出する。例えば、指の候補領域の輪郭の凹凸から指先Ｆｔｍを識別し、その位置を示す座標を算出する。
　そのために、指候補領域Ｒｆｃの各輪郭点について、掌の中心Ｐｏからの距離を算出する。そして、各輪郭点について、近くの輪郭点における距離と比較し、その両側の輪郭点よりも距離が大きい輪郭点（距離が極大となる輪郭点）を指先候補点Ｆｔｃｍとして特定する。

　掌の中心Ｐｏから指先Ｆｔｍまでの距離は、掌の半径Ｐｒよりも大きい。そこで、掌の中心Ｐｏから指先候補点Ｆｔｍｃまでの距離をＤｕとし、
　Ｄｕ＞γ×Ｐｒ
を満たす指先候補点を、真の指先Ｆｔｍとして特定する。
　指先の候補点Ｆｔｍｃの座標が（ｕ，ｖ）で表される場合、掌の中心Ｐｏから指先の候補点Ｆｔｍｃまでの距離Ｄｕは、下記の式（３）で求められる。

　掌の半径Ｐｒに掛ける係数γを、γ≧１を満たすように設定することで、掌の中心Ｐｏからの距離が掌の半径Ｐｒよりも大きい点を指先Ｆｔｍとして特定することができる。特定した指先Ｆｔｍの、手の座標系Ｃｈにおける座標を（Ｆｕｍ，Ｆｖｍ）で表す。
　形状特徴量算出部１４はまた、特定した指先Ｆｔｍの数を、伸ばしている指の本数Ｍとして求めることができる。
　形状特徴量算出部１４は、検出した指先Ｆｔｍの座標（Ｆｕｍ，Ｆｖｍ）と、伸ばしている指の本数Ｍとの少なくとも一方を、手の形状を表す特徴量（形状特徴量情報）Ｄ１４として、動き特徴量算出部１５とジェスチャー判定部１６に出力する。

　なお、上記の例では、指先の識別を、手領域Ｒｈの輪郭線上の各点の、掌の中心からの距離の極大に基づいて行うこととしているが、本発明はこれに限定されず、他の方法、例えばパターンマッチング法、多角形近似法等を利用して指先の識別を行っても良い。
　また、指先の座標は画像の座標系における座標（Ｆｘｍ，Ｆｙｍ）として算出しても良い。

　上記のように、形状特徴量算出部１４は、手の座標系に基づいて指の候補領域Ｒｆｃを限定した上で、手の形状の特徴量に基づく指の特定を行っているので、指以外の領域を指として誤って認識する可能性が低い。

　動き特徴量算出部１５は、手の動きの特徴量Ｄ１５ｈと、指の動きの特徴量Ｄ１５ｆを算出する。
　手の動きの特徴量Ｄ１５ｈとしては、手の速度と、手の加速度と、手の移動量（例えばある位置（初期位置）からの移動量）の少なくとも一つが算出され、指の動きの特徴量Ｄ１５ｆとしては、指の速度と、指の加速度と、指の移動量（例えばある位置（初期位置）からの移動量）の少なくとも一つが算出される。
　これらの動きの速度及び移動量は、少なくとも２つの、異なる時刻間での位置の差に基づいて算出される。加速度は、少なくとも２つの、異なる時刻間での速度の差に基づいて算出される。

　まず、指の動きについて説明する。指の動きの特徴量Ｄ１５ｆは、伸ばしている指の各々について求めても良く、代表的な指、例えば第三指についてのみ求めても良い。

　形状特徴量算出部１４で指先の位置を手の座標系において算出している場合は、動き特徴量算出部１５は、手の座標系において速度、加速度、移動量を求め、指の動きの特徴量Ｄ１５ｆとして算出する。

　指先の位置を画像の座標系の座標を用いて表している場合、座標の変化は指の動きによる成分と手の動き（手全体の動き）による成分を合成したものとなるが、指先の位置を手の座標系の座標を用いて表している場合、座標の変化は、指の動きによる成分のみを表すものとなる。従って、指の速度、指の加速度、及び指の移動量の算出に、手の座標系における指先位置の座標を用いることで、掌の中心に対する指の動きを、手の全体の動きから分離することができ、個々の指の動きの特徴量Ｄ１５ｆの算出を容易にかつ短時間で行うことができる。

　次に手の動きは以下のように求められる。
　図１０は操作領域４において手を動かしたときの手の座標系Ｃｈの変化を示している。
　例えば画像があるフレーム周期（画像取得周期）Δｔごとに取得される場合、時刻ｔにおける（例えばある画像フレーム（ｊ番目のフレーム）における）手の座標系Ｃｈ（ｔ）は、その原点の座標が、（Ｈｘ（ｔ），Ｈｙ（ｔ））、画像の座標系に対する相対角度がθ（ｔ）で示され、時刻ｔ＋Δｔにおける（例えば上記ある画像フレームの次のフレーム（（ｊ＋１）番目のフレーム）における）手の座標系Ｃｈ（ｔ＋Δｔ）は、その原点の座標が（Ｈｘ（ｔ＋Δｔ），Ｈｙ（ｔ＋Δｔ））、画像の座標系に対する相対角度がθ（ｔ＋Δｔ）で示されている。

　動き特徴量算出部１５は、手の動き（手全体の動き）として、例えば掌の中心の動きを検出する。
　手の座標系は、掌の中心を原点とするので、掌の中心の動きは、手の座標系で表すと常にゼロとなる。
　しかしながら、掌の中心の動きは、各時点における、手の座標系の第１軸Ｃｈｕの方向の成分、及び第２軸Ｃｈｖの方向の成分、即ち画像の座標系Ｃｉにおける、第１軸Ｃｉｘに対して相対角度θの方向の成分と、θ＋９０度の方向の成分とに分解して検出するのが有利である。これらの方向の成分は、それぞれ手首の中心と掌の中心を結ぶ直線に対して直交する方向及び手首の中心と掌の中心を結ぶ直線の方向の動きを表し、操作者は、手を動かす際に、撮像部１１で生成される画像の方向（撮像部１１の撮像面の方向）を基準とするよりも自分の手の上記の２つの方向を基準とする方が動かす方向についての認識及び制御が容易であるためである。

　そこで、本実施の形態では、手の動き、例えば掌の動きを検出する際に、ある時点、例えば動き追跡の開始の時点における掌の中心の位置を起点とし、それ以降の各時点における上記相対角度θの方向の微小時間当たりの移動量（相前後するフレーム間での移動量）Δｐを積算することで移動量ｐを算出し、上記相対角度θ＋９０度の方向の微小時間当たりの移動量Δｑを積算することで移動量ｑを算出する。以下では、このようにして求めた移動量ｐ、ｑを、「各時点における手の座標系Ｃｈ（ｔ）の第１軸Ｃｈｕ（ｔ）、第２軸Ｃｈｖ（ｔ）の方向の移動量」と言う。また、単位時間当たりの上記移動量を速度、単位時間当たりの速度の変化を加速度と言う。

　この移動量ｐ、ｑは以下のようにして求められる。
　図１０に示すように、時刻ｔ及び時刻ｔ＋Δｔにおける手の座標の原点、相対角度がそれぞれ図１０に示されるように変化する場合、これの時間Δｔ中の動きΔｐ、Δｑは、図１０に示される関係から、以下の式で与えられる。なお、図１０で１１１、１１２はそれぞれ座標の原点Ｃｈｏ（ｔ）、Ｃｈｏ（ｔ＋Δｔ）を通り、軸Ｃｉｘに平行な線分を示す。

　式（４）、（５）において、

であり、また、φ（ｔ）は、手の座標系の第１軸Ｃｈｕの方向と、原点の移動の方向とが成す角であり、下記の式（８）で与えられる。

　式（８）で、Ψ（ｔ）は手の座標系の原点の移動の方向と、画像の座標系の第１軸Ｃｉｘとの成す角であり、下記の式（９）で与えられる。

　式（４）、（５）で示されるΔｐ、Δｑを積算することで、各時点における第１軸Ｃｈｕ（ｔ）の方向の移動量ｐ、及び第２軸Ｃｈｖ（ｔ）の方向の移動量ｑを求めることができる。

　例えば図１０に示すように、掌の中心と手首を結ぶ直線の延長線上の点、例えば肘関節を中心にして掌を円運動させた場合（例えば、手振り動作の際にこのような円運動が行われる）、移動量ｐは時間経過とともに次第に大きくなる一方、移動量ｑはゼロを維持する。完全な円運動でなく、それから少しずれた動きであっても、移動量ｑはゼロに近い値となる。
　これに対し、掌の中心と手首を結ぶ直線に沿って、掌を移動させた場合、移動量ｑは時間経過とともに次第に大きくなる一方、移動量ｐはゼロを維持する。完全な直線運動でなく、それから少しずれた動きであっても、移動量ｐはゼロに近い値となる。
　これらの場合、図１０に示す角度φは一定或いは略一定に保たれる。
　また、上記の方向以外であっても、手首と掌を結ぶ直線に対して一定或いは略一定の角度を成す方向への運動が続けられた場合には、角度φは略一定に保たれる。

　このように、操作者に取って動きの方向が把握しやすい方向に移動した場合に、移動量ｐ又は移動量ｑの値がゼロ又はそれに近い値となり、或いは角度φが略一定となるので、動きの特徴量の特定が容易となる。

　なお、手の動きの特徴量Ｄ１５ｈとして、上記の例では、掌の中心位置の変化量を検出しているが、本発明はこれに限定されず、例えば手領域Ｒｈの重心位置の変化量を検出しても良く、手の他の部位の位置の変化量を手の動きの特徴量Ｄ１５ｈとして用いても良い。

　このように、動き特徴量算出部１５は、指の動きに関し、画像の座標系における各座標の成分を、手の座標系の座標の成分に変換し、指の動きの特徴量Ｄ１５ｆとして算出してジェスチャー判定部１６へ出力する。
　また、動き特徴量算出部１５は、手の動きに関し、画像の座標系における各座標の成分を、各時点における手の座標系の座標の成分、即ち、手首の中心と掌の中心を結ぶ直線に対して直交する方向の成分（θ方向の成分）及び上記直線の方向の成分（θ＋９０度の方向の成分）に変換し、変換後のデータを用いて、手の動きの特徴量Ｄ１５ｈを算出し、算出結果を、ジェスチャー判定部１６に出力する。

　ジェスチャー判定部１６は、形状特徴量算出部１４から入力される手の形状の特徴量と、動き特徴量算出部１５から入力される動きの特徴量Ｄ１５ｈ、Ｄ１５ｆに基づいて、ジェスチャーの種類を判定して判定結果を示す情報Ｄ１６ａを操作決定部１７に出力するとともに、ジェスチャーの特徴量を算出し、算出した特徴量を表す情報をジェスチャーに係るパラメータＤ１６ｂとして操作決定部１７に出力する。

　ここで、ジェスチャーの種類の例としては、「グー」、「チョキ」、「パー」等の手の形状、又は手振り動作のような手の動き、指先でダイヤルをつまむような指の動き、あるいは手の形状と手又は指の動きの組み合わせが挙げられる。
　これらのジェスチャーの認識乃至判別のため、ジェスチャー判定動作の実行に先立って、上記の形状の特徴量及び／又は動きの特徴量が満たすべき条件を予め定義し、メモリ、例えばジェスチャー判定部１６内のメモリ１６ｍに記憶させておき、ジェスチャー判定動作時に撮像部１１から出力される画像データＤ１１に基づいて形状特徴量算出部１４及び動き特徴量算出部１５で算出された形状の特徴量と動きの特徴量が、メモリ１６ｍに記憶された条件を満たすか否かの判定を行い、判定結果に基づいてジェスチャーの認識を行う。
　ジェスチャーの特徴量の例としては、手の形状を判定したときの指先の座標、特定の手の形状を維持した時間、手振りが判定された際の手の速度などがある。

　まず、手の形状によるジェスチャーの判定について説明する。
　手の形状によるジェスチャーの判定では、例えば、予め定められた本数Ｍの指が伸ばされている状態が、予め定められた時間Ｔｓ以上継続されたときに、ある種類の（ある操作入力のための）ジェスチャーが行われたと判定する。
　その判定のため、「予め定められた本数Ｍの指が伸ばされている状態が、予め定められた時間Ｔｓ以上継続されること」を満たすべき条件として予め定義し、メモリ１６ｍに記憶させておく。そして、ジェスチャー判定動作中に、撮像部１１から出力される画像データＤ１１に対して形状特徴量算出部１４で算出された手の形状の特徴量が、上記の条件を満たす場合に、ジェスチャー判定部１６は、上記ある種類のジェスチャーが行われたと判定する。

　例えば、指を２本伸ばした「チョキ」によるジェスチャーを判定する場合には、手の形状の特徴量として伸ばしている指の本数Ｍが２本であるという状態が、予め定められた時間Ｔｓ継続されることを満たすべき条件としてメモリ１６ｍに記憶しておく。
　そして、ジェスチャー判定動作中に、撮像部１１から出力される画像データＤ１１に対して形状特徴量算出部１４で算出された手の形状の特徴量として伸ばしている指の本数Ｍが２本であることを示す情報が、時間Ｔｓ以上継続したとき（例えば継続してジェスチャー判定部１６に入力されたとき）に、ジェスチャー判定部１６は、「チョキ」のジェスチャーが行われたと判定する。

　時間Ｔｓは、短すぎる場合は操作者の示す手の形状に対して過敏になるため、操作者の操作入力を意図しない動作が、操作入力のためのジェスチャーと誤認識される可能性が高くなる。また、時間Ｔｓが長いほど、ジェスチャーの認識に長い時間を要するため、応答性が悪くなる。時間Ｔｓは、これらを勘案して定められ、例えば０．３秒と設定される。

　次に、手又は指の動きによるジェスチャー判定について説明する。
　手の動きによるジェスチャーの判定では、例えば、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対してある特定の角度を成す方向（即ち、各時点における手の座標系の座標軸（Ｃｈｕ、Ｃｈｖ）に対してある特定の角度を成す方向）の動きが続けられた場合、その動きの速度と、動きが継続される時間、或いは上記の特定の角度を成す方向の移動量が、予め定めた条件を満たすとき（例えば各時点における手の座標系のある特定の方向の手の動きが予め定められた範囲内の速度で、予め定められた時間以上継続されるとき）、ある種類のジェスチャー（ある操作入力のためのジェスチャー）が行われたと判定する。

　その判定のため、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対してある特定の角度を成す方向（即ち、各時点における手の座標系の座標軸（Ｃｈｕ、Ｃｈｖ）に対してある特定の角度を成す方向）の動きに関し、動きの速度と、動きが継続される時間、或いは上記の特定の角度を成す方向の移動量が、満たすべき条件を予め定義して、メモリ１６ｍに記憶させておく。
　そして、ジェスチャー判定動作中に、撮像部１１から出力される画像データＤ１１に対して動き特徴量算出部１５で算出された動きの特徴量が、上記の条件を満たす場合に、上記のある種類のジェスチャーが行われたと判定する。

　例えば、手を右方向に振る動作（肘を中心として、手を右方向に、即ち反時計方向に回転させる動作）をある種類のジェスチャーと判定する場合に、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対して９０度±μ度（μは予め定められた許容幅）の範囲内の方向に（即ち、各時点における手の座標系の第１軸Ｃｈｕを中心として±μ度の範囲内の方向に）、閾値Ｖｕｔｈ以上の速度の動きが、ある時間Ｔｄ以上継続されることを満たすべき条件として予め定義して、メモリ１６ｍに記憶させておき、ジェスチャー判定動作中に、撮像部１１から出力される画像データＤ１１に対して動き特徴量算出部１５で算出された動きの特徴量が、上記の条件を満たすときに、ジェスチャー判定部１６は、手を右方向に振るジェスチャーが行われたと判定する。

　時間Ｔｄは、短すぎる場合は操作者の手の動きに対して過敏になるため、操作者の操作入力を意図しない動作が、操作入力のためのジェスチャーと誤認識される可能性が高くなる。また、時間Ｔｄが長いほど、ジェスチャーの認識に長い時間を要するため、応答性が悪くなる。時間Ｔｄは、これらを勘案して定められ、例えば０．２秒と設定される。

　ジェスチャー判定部１６によって判定されたジェスチャーの種類Ｄ１６ａと、ジェスチャーに係るパラメータＤ１６ｂは操作決定部１７へ出力される。

　操作決定部１７は、ジェスチャー判定部１６から入力されるジェスチャーの種類Ｄ１６ａとジェスチャーに係るパラメータＤ１６ｂから、操作制御部５或いは被操作機器６ａ、６ｂ、６ｃに対する操作内容（操作の種類及び／又は操作量）を決定する。

　ここで、ジェスチャーの種類とジェスチャーの特徴量から、操作制御部５或いは被操作機器６ａ、６ｂ、６ｃに対する操作内容を決定する動作を、例を用いて説明する。

　まず、ジェスチャーの種類として手の形状を利用して、操作制御部５の表示部５ａの表示内容（操作画面）を切り替える動作の一例を図１１及び図１２を用いて説明する。

　ジェスチャー判定動作に先立って、ジェスチャーの種類である手の形状と、各操作画面への切り替えの対応を予め定義し、メモリ、例えば操作決定部１７内のメモリ１７ｍに記憶させておく。例えば、図１１に示すように、「グー」のジェスチャーは「地図案内の画面」への切り替え動作、「チョキ」のジェスチャーは「オーディオ画面」への切り替え動作、「パー」のジェスチャーは「エアコン調節画面」への切り替え動作とそれぞれ対応付けておく。
　「地図案内の画面」は、地図案内のための初期画面、「オーディオ画面」はオーディオ機能の操作のための初期画面、「エアコン調節画面」は、エアコン操作のための初期画面をそれぞれ意味する。

　そしてジェスチャー判定動作時に、ジェスチャー判定部１６から、「グー」のジェスチャーが行われたとの判定結果が操作決定部１７へ入力された場合は、操作決定部１７は、表示部５ａの表示内容を「地図案内の画面」へ切り替えるためのコマンドを生成し、操作制御部５へ出力する。
　また、「チョキ」のジェスチャーが行われたとの判定結果が操作決定部１７へ入力された場合は、操作決定部１７は、表示部５ａの表示内容を「オーディオ画面」に切り替えるコマンドを生成し、操作制御部５へ出力する。
　また、「パー」のジェスチャーが行われたとの判定結果が操作決定部１７へ入力された場合は、操作決定部１７は、表示部５ａの表示内容を「エアコン調節画面」に切り替えるコマンドを生成し、操作制御部５へ出力する。

　また、手の形状と、ジェスチャーの特徴量を利用して、操作制御部５の表示部５ａの表示内容を順次切り替えるように構成することができる。例えば、「グー」のジェスチャーを表示内容の切り替えに対応付け、「グー」のジェスチャーが予め定められた時間維持される毎に、その時点で「グー」のジェスチャーを終了した場合に選択される表示内容（操作画面）を、予め定められた順に、例えば循環的に切り替える。

　例えば、図１２に示すように、操作者が「グー」のジェスチャーを行っている間、表示部５ａの表示内容が、「地図案内の画面」、「オーディオ画面」、「エアコンの調節画面」等、一定間隔Ｔｍ秒で切り替わるように構成しておく。そして、「グー」のジェスチャーが維持されている間、各時点において、その時点で「グー」のジェスチャーを終了した場合に選択される操作画面が何であるかを表示する。この表示は、表示部５ａの表示画面の一部又は全部を用いて行い得る。

　表示画面の全体を用いる場合には、例えば選択される操作画面と同じ内容の画面が候補として表示され、その時点で「グー」のジェスチャーが終了されれば、表示されている候補画面が、操作画面として確定することとしても良い。

　これらの場合、「グー」のジェスチャーが終了されると、その時点で候補として表示されていた画面を選択する情報が操作制御部５へ出力される。

　なお、時間Ｔｍは、短すぎる場合は画面の切り替わりが速くなり、操作者が望む操作画面を選択することが難しくなる。また、時間Ｔｍが長いほど、画面の切り替わりに要する時間が長くなるため、操作者が煩わしさを感じる可能性が高くなる。時間Ｔｍは、これらを勘案して定められ、例えば１．０秒と設定される。

　次に、ジェスチャーの種類として手の動きを利用した場合の、手の動きと操作内容の関係の一例を説明する。
　以下では、「地図案内」が選択され、案内地図が表示部５ａに表示されている状態で、地図を横にスクロールさせる場合の動作を説明する。

　ジェスチャー判定動作の実行に先立って、ジェスチャーの種類である、手の動きと、その動きの特徴量とを、地図をスクロールさせる方向、スクロールする速さ等に予め対応させ、対応関係をメモリ、例えば操作決定部１７内のメモリ１７ｍに記憶させておく。
　例えば、ジェスチャーの種類として、手を左に振る動作は左方向へのスクロール、手を右に振る動作は右方向へのスクロールと対応させる。即ち、手を振る方向にスクロールの方向に対応付ける。
　また、動きの特徴量として、手を振る速度をスクロールする速さに対応させる。そして、これらの対応関係をメモリ１７ｍに記憶させておく。

　そして、ジェスチャー判定動作時に、ジェスチャー判定部１６から、手を左に振る動作があったとの判定結果、及び手を振る速度を示す情報が操作決定部１７に入力されたら、操作決定部１７は、地図を左方向に、手を振る速度に対応する速度でスクロールさせるためのコマンドを生成し、操作制御部５を介して地図案内装置６ａへ出力する。

　また、ジェスチャー判定部１６から、手を右に振る動作があったとの判定結果、及び手を振る速度を示す情報が操作決定部１７に入力されたら、操作決定部１７は、地図を右方向に、手を振る速度に対応する速度でスクロールさせるためのコマンドを生成し、操作制御部５を介して地図案内装置６ａへ出力する。

　このように、操作決定部１７は、ジェスチャー判定部１６の出力に基づき、ジェスチャーの種類とジェスチャーの特徴量に応じたコマンドを、操作制御部５或いは被操作機器６ａ、６ｂ、６ｃへ出力する。
　操作決定部１７は、手の形状と手又は指の動きの組み合わせによるジェスチャーについても同様に、コマンドを出力するよう構成されていても良い。

　ここで、実施の形態１のジェスチャー操作装置１で実施される方法（ジェスチャー操作方法）における処理の手順を図１３のフローチャートを用いて、説明する。
　まず、撮像部１１が、操作領域４を含む空間を撮像し、該空間の画像を生成する（ＳＴ１）。

　次に、手領域検出部１２が、撮像部１１から入力として与えられた画像から操作領域４に入れられた操作者の手領域Ｒｈを検出し、手領域情報Ｄ１２を生成する（ＳＴ２）。
　ステップＳＴ２で生成された手領域情報Ｄ１２は座標系設定部１３及び形状特徴量算出部１４へ送られる。

　ステップＳＴ３で、座標系設定部１３が、ステップＳＴ２で生成された手領域情報Ｄ１２を元に手の座標系を設定し、手の座標系の原点座標及び相対角度を算出する。
　ステップＳＴ３で算出された手の座標系の原点座標及び相対角度は手の座標系のパラメータとして、座標系設定部１３から形状特徴量算出部１４及び動き特徴量算出部１５へ送られる。

　ステップＳＴ４で、形状特徴量算出部１４が、ステップＳＴ２で出力された手領域情報Ｄ１２と、ステップＳＴ３で算出された座標系の原点座標及び相対角度から、形状特徴量Ｄ１４を算出し、算出した形状特徴量を表す情報（形状特徴量情報）Ｄ１４を動き特徴量算出部１５及びジェスチャー判定部１６へ送る。

　ステップＳＴ５で、動き特徴量算出部１５が、ステップＳＴ３で算出された座標系の原点座標及び相対角度と、ステップＳＴ４で算出された形状特徴量情報Ｄ１４から、手の動きの特徴量と、指の動きの特徴量を算出し、ジェスチャー判定部１６へ動きの特徴量を表す情報Ｄ１５ｈ、Ｄ１５ｆを送る。

　ステップＳＴ６では、ジェスチャー判定部１６が、ステップＳＴ４で算出された形状特徴量情報Ｄ１４と、ステップＳＴ５で算出された動きの特徴量Ｄ１５ｈ、Ｄ１５ｆから、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出し、ジェスチャーの種類を示す情報Ｄ１６ａと、ジェスチャーに係るパラメータＤ１６ｂを操作決定部１７へ送る。

　ステップＳＴ７では、操作決定部１７が、ステップＳＴ６で決定されたジェスチャーの種類と、ジェスチャーの特徴量から操作内容を決定し、操作内容を示すコマンドを、操作制御部５或いは被操作機器６ａ、６ｂ、６ｃへ出力して、終了する。

　以上のように構成された本実施の形態に係るジェスチャー判定装置１０では、座標系設定部１３で手の座標系を設定し、手の座標系に基づいて手の形状の特徴量及び手及び指の動きの特徴量を算出することとし、例えば、手の座標系における手の形状の特徴量及び指の動きの特徴量を算出するとともに、各時点における手の座標系の特定の方向の手の動きの特徴量を算出することで、個々の操作者によって異なる、操作領域４における手の角度の違い、手振り動作等の動きの方向の違いに影響されることなく、誤認識を低減した正確なジェスチャー判定が可能である。

　また、掌の中心を手の座標系の原点と決定し、手首の中心から掌の中心に向かう方向ベクトルから手の座標系の軸の方向を決定することで、操作者がどのような角度で操作領域に手を入れている場合でも、正確に手の座標系を設定することができる。

　また、形状特徴量算出部１４が、手領域情報Ｄ１２で示される手の領域Ｒｈのうち、手の座標系に基づいて予め定められた条件を満たす部分を指の候補領域Ｒｆｃと特定し、特定された指の候補領域Ｒｆｃ内において、指先の位置を検出し、手の形状を表す特徴量（形状特徴量）を算出するので、手の座標系に基づいて指の候補領域を絞り込んだ上で形状特徴量を算出することができ、指以外の領域を指として誤認識する可能性を低減し、候補領域を絞り込まない場合と比べて計算量を減じることができる。

　また、動き特徴量算出部１５が、手及び指の動きの特徴量Ｄ１５ｈ、Ｄ１５ｆを手の座標系に基づいて算出することとし、例えば、指の動きの特徴量Ｄ１５ｆを手の座標系における座標を用いて算出するとともに、手の動きの特徴量Ｄ１５ｈを、各時点における手の座標系の座標軸の方向、又は座標軸に対して特定の方向における動きに基づいて算出することで、操作者によって異なる、操作領域４における手の角度、手振り動作等の動きの方向の違いに影響されることなく、安定的に特徴量を得ることができる。

　また、ジェスチャー判定部１６が、例えば、手の座標系における手の形状の特徴量Ｄ１４及び指の動きの特徴量Ｄ１５ｆと、各時点における手の座標系の特定の方向の手の動きの特徴量Ｄ１５ｈに基づいて、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出することで、画像の座標系における手の動きの方向の違いに影響されることなく、誤認識の少ないジェスチャー判定が可能である。

　本実施の形態に係るジェスチャー操作装置１は、上記の効果を有するジェスチャー判定装置１０による判定結果を利用して操作を行うので、的確な判定結果に基づいて的確な操作を行うことができる。

　なお、上記の例では、動き特徴量算出部１５が、手動き特徴量情報Ｄ１５ｈと指動き特徴量情報Ｄ１５ｆの双方の算出を行うが、動き特徴量算出部１５が、手動き特徴量情報Ｄ１５ｈと指動き特徴量情報Ｄ１５ｆのいずれか一方のみの算出を行うことしてもよい。

実施の形態２．
　図１４は、この発明の実施の形態２に係るジェスチャー操作装置の構成を示すブロック図である。図１４に示すジェスチャー操作装置は、図２に示されるジェスチャー操作装置と概して同じであり、図２と同じ符号は同一又は相当部分を示すが、モード制御部１８及びメモリ１９が付加され、図２に示される座標系設定部１３の代わりに座標系設定部１３ａが設けられている点で異なる。

　まず、装置の概要を説明する。
　モード制御部１８は、外部からモード選択情報ＭＳＩが与えられ、座標系設定部１３ａへモード制御情報Ｄ１８を出力する。

　座標系設定部１３ａは、手領域検出部１２から手領域情報Ｄ１２が与えられ、モード制御部１８からモード制御情報Ｄ１８が与えられ、手領域情報Ｄ１２及びモード制御情報Ｄ１８に基づいて、手を含む操作領域の画像から手の座標系Ｃｈのパラメータを算出する。
　一方、モード制御情報Ｄ１８により座標系設定モードが選択されているときは、座標系のパラメータの一部、例えば、相対角度を算出し、算出した相対角度θをメモリ１９に記憶させる。
　即ちモード制御情報Ｄ１８により特徴量算出モードが選択されているときは、座標系設定部１３ａは、手領域検出部１２からの手領域情報Ｄ１２に基づいて、座標系のパラメータの残りの部分、例えば原点座標（Ｈｘ，Ｈｙ）を算出し、算出した原点座標（Ｈｘ，Ｈｙ）を形状特徴量算出部１４及び動き特徴量算出部１５に出力する。

　座標系設定モードが選択されているときは、メモリ１９は座標系設定部１３ａから画像の座標系に対する手の座標系の相対角度を表す情報を受け取り、記憶する。
　一方、特徴量算出モードが選択されているときは、メモリ１９に記憶された相対角度θが読み出され、形状特徴量算出部１４及び動き特徴量算出部１５へ供給される。

　形状特徴量算出部１４は、手領域検出部１２から手領域情報Ｄ１２を与えられ、座標系設定部１３ａから手の座標系の原点座標（Ｈｘ，Ｈｙ）を表す情報を与えられ、メモリ１９から画像の座標系に対する手の座標系の相対角度θを表す情報を与えられ、これらに基づいて形状特徴量を算出して、動き特徴量算出部１５及びジェスチャー判定部１６へ出力する。

　動き特徴量算出部１５は、手領域検出部１２から手領域情報Ｄ１２を与えられ、座標系設定部１３ａから手の座標系の原点座標（Ｈｘ，Ｈｙ）を表す情報を与えられ、メモリ１９から画像の座標系に対する手の座標系の相対角度θを表す情報を与えられ、これらに基づいて動きの特徴量Ｄ１５ｈ、Ｄ１５ｆを算出してジェスチャー判定部１６へ出力する。

　以下、各部の動作をより詳しく説明する。
　モード制御部１８は、外部から入力されるモード選択情報ＭＳＩに基づいて、モード制御情報Ｄ１８を生成し、座標系設定部１３ａへ出力する。
　ここで、モード選択情報ＭＳＩは、外部から与えられる座標系設定モードの選択に関する情報であり、例えば、座標系設定モードを選択すべきか、特徴量算出モードを選択すべきかを示すモード指定情報である。
　モード制御情報Ｄ１８は、外部から与えられるモード選択情報ＭＳＩに基づいて生成されるもので、例えば、座標系設定モードが選択されている場合は第１の値、例えば「０」を出力し、特徴量算出モードが選択されている状態は第２の値、例えば「１」を出力する。

　なお、座標系設定モードを選択すべきか、特徴量算出モードを選択すべきかを示すモード指定情報の代わりに、座標系設定モードを選択している状態と、特徴量算出モードを選択している状態との切り替わりを指示する情報（切り替わり情報）を、モード選択情報ＭＳＩとしてモード制御部１８に入力することとしても良い。
　切り替わり情報としては、例えば次の３種類の情報がある。
（ａ）　「特徴量算出モードを選択している状態」から「座標系設定モードを選択している状態」へ切り替わりを指示する情報。
（ｂ）　「座標系設定モードを選択している状態」から「特徴量算出モードを選択している状態」へ切り替わりを指示する情報。
（ｃ）　上記（ａ）の切り替わり、及び上記（ｂ）の切り替わりのいずれも不要であることを示す情報。
　モード制御部１８は、上記（ａ）～（ｃ）の切り替わり情報を受けて、各時点においてどのモードで動作すべきかを判断し、判断結果に基づくモード制御情報Ｄ１８を出力する。

　座標系設定部１３ａは、モード制御部１８から与えられるモード制御情報Ｄ１８に基づいてその処理内容を切り替える。
　モード制御部１８からモード制御情報Ｄ１８として「０」が与えられた場合、すなわち座標系設定モードが選択されている場合は、座標系設定部１３ａは、実施の形態１で座標系設定部１３に関して説明したのと同様にして、手領域情報Ｄ１２から手の座標系の相対角度を算出し、画像の座標系に対する手の座標系の相対角度をメモリ１９へ出力する。
　一方、モード制御部１８からモード制御情報Ｄ１８として「１」が与えられた場合、すなわち特徴量算出モードが選択されている場合は、座標系設定部１３ａは、実施の形態１で座標系設定部１３に関して説明したのと同様にして、手領域情報Ｄ１２から手の座標系の原点座標（Ｈｘ，Ｈｙ）を算出し（一方、相対角度θを算出せず）、形状特徴量算出部１４及び動き特徴量算出部１５へ出力する。

　ここで、実施の形態２のジェスチャー操作装置で実行される操作方法における処理手順を図１５のフローチャートを用いて説明する。なお、図１４に示すフローチャートにおいて図１３と同じ符号は、同一又は相当するステップを示す。図１５に示される操作方法は、図１３に示される方法と概して同じであるが、ステップＳＴ１１～ＳＴ１３が付加され、ステップＳＴ３～ＳＴ５の代わりにステップＳＴ１４、ＳＴ４ａ、ＳＴ５ａを含む点で異なる。図１５で図１３と同一の符号は同一又は相当するステップを示す。

　ステップＳＴ２で手領域情報Ｄ１２を出力した後、モード制御部１８が、ステップＳＴ１１で、座標系設定モードが選択されているかどうかを判断する。この判断は、モード選択情報ＭＳＩに基づいて行われる。
　座標系設定モードが選択されている場合は、モード制御部１８がその旨を座標系設定部１３ａに伝え、ステップＳＴ１２で、座標系設定部１３ａはステップＳＴ１２で出力された手領域情報Ｄ１２から、画像の座標系に対する手の座標系の相対角度を設定する。
　そしてステップＳＴ１３で、座標系設定部１３ａは、ステップＳＴ１２で出力した手の座標系の相対角度をメモリ１９に記憶させ、処理を終了する。

　ステップＳＴ１１で、操作者が特徴量算出モードを選択していると判定した場合は、モード制御部１８はその旨を座標系設定部１３ａに伝え、ステップＳＴ１４で、座標系設定部１３ａはステップＳＴ２で出力される手領域情報Ｄ１２から手の座標系の原点座標（Ｈｘ，Ｈｙ）を算出して設定し、形状特徴量算出部１４及び動き特徴量算出部１５へ出力する。

　次にステップＳＴ４ａで、形状特徴量算出部１４が、ステップＳＴ２で出力された手領域情報Ｄ１２と、メモリ１９に記憶されている画像の座標系に対する手の座標系の相対角度θと、ステップＳＴ１４で設定された手の座標系の原点座標（Ｈｘ，Ｈｙ）から、形状特徴量を算出し、算出した形状特徴量を示す情報（形状特徴量情報）Ｄ１４を動き特徴量算出部１５及びジェスチャー判定部１６へ出力する。

　ステップＳＴ５ａで、動き特徴量算出部１５が、メモリ１９に記憶されている画像の座標系に対する手の座標系の相対角度θと、ステップＳＴ１４で設定された手の座標系の原点座標（Ｈｘ，Ｈｙ）から、手の動きの特徴量Ｄ１５ｈと指の動きの特徴量Ｄ１５ｆを算出し、算出した動き特徴量Ｄ１５ｈ、Ｄ１５ｆをジェスチャー判定部１６へ出力する。

　ステップＳＴ６では、ジェスチャー判定部１６が、ステップＳＴ４ａで算出された形状特徴量と、ステップＳＴ５ａで算出された動き特徴量Ｄ１５ｈ、Ｄ１５ｆから、ジェスチャーの種類を判定するとともに、ジェスチャーに係るパラメータを生成し、操作決定部１７へ送る。なお、動き特徴量としては、実施の形態１で述べたのと同様に、手の動きの特徴量及び指の動きの特徴量の一方のみを用いてジェスチャーの種類の判定を行っても良い。

　このように構成された本実施の形態に係るジェスチャー判定装置１０及びジェスチャー操作装置１では、メモリ１９を有する構成であるため、手の座標系の相対角度θを記憶することができる。
　また、モード制御部１８を有する構成であるため、手の座標系の相対角度θを記憶するモードと、記憶されている相対角度θを利用して特徴量の算出を行うモードのいずれかを選択することができる。

　以上のように、実施の形態１では、手の座標系の相対角度θが手振り動作に伴って変化するものとして処理を行っているのに対し、実施の形態２では、座標系設定モードが選択されていないとき、即ち特徴量算出モードが選択されているときは、相対角度θは一定であるとして処理を行っている。
　操作者３が座席２に着席している場合、操作者が同一人物であれば、操作領域４に手を入れる度に、手の座標系の原点座標は変化するが、画像の座標系に対する手の座標系の相対角度は大きく変化しない。
　また、手振り動作をする場合にも、手振りの回転角が小さい場合には、相対角度θは大きく変化しないので、一定としても十分高精度にジェスチャーの判定を行うことができる。

　そこで、実施の形態２では、座標系設定モードが選択されているときのみ、座標系設定部１３ａが画像の座標系に対する手の座標系の相対角度θを算出して、算出した相対角度θをメモリ１９に記憶させる。そして、特徴量算出モードが選択されているときは、座標系設定部１３ａは手の座標系の原点座標のみを算出し、手の座標系の相対角度θを示す情報、即ち第１軸及び第２軸の方向を示す情報はメモリ１９から読み出して利用する。このように構成することで、手領域情報Ｄ１２が与えられるたびに画像の座標系に対する手の座標系の相対角度を算出する処理を省き、少ない計算量でジェスチャー判定及びジェスチャー操作を実現できる。

　このように少ない計算量でジェスチャー操作を実現できるため、操作者がジェスチャー操作してから、ジェスチャー操作装置がジェスチャー判定を行い機器へのコマンドを生成するまでの処理を高速化できる。つまり、操作者の動作に対する機器の応答性を高め、操作者の使い勝手を向上させることができる。

　また、少ない計算量でジェスチャー判定及びジェスチャー操作を実現できるため、処理能力の低い低コストの処理装置で実装が可能であり、装置のコストを削減できる。

　このように構成された本実施の形態に係るジェスチャー判定装置１０及びジェスチャー操作装置１では、モード選択情報ＭＳＩに基づいて、モード制御部１８が座標系設定部１３ａの動作を制御する。これにより、画像の座標系に対する手の座標系の相対角度を任意のタイミングで設定し、メモリ１９へ記憶させることができる。このような構成であれば、一人の操作者がジェスチャー操作装置を利用する場合は、画像の座標系に対する手の座標系の相対角度を一度だけ設定し、その相対角度を示す情報を利用し続けることができる。また、複数の操作者がジェスチャー操作装置を利用する場合は、操作者が変わったときに、画像の座標系に対する手の座標系の相対角度を設定し、メモリ１９へ記憶させて利用することができる。つまり、操作者が変わった場合でも、少ない計算量でジェスチャー判定及びジェスチャー操作を行うことができる。

　なお、モード選択情報ＭＳＩは、操作者が本発明のジェスチャー操作装置又は他の操作入力装置を用いて入力しても良く、操作者がジェスチャー操作装置の使用を開始し始めたときに座標系設定モードを自動的に選択し、画像の座標系に対する手の座標系の相対角度を示す情報をメモリ１９に記憶させた後に、座標系設定モードの選択を自動的に解除しても良い。
　また、周期的に、或いは何等かの条件が満たされたときに自動的に、座標系設定モードの選択と特徴量算出モードの選択との切り換えを行い、座標系設定モードで新たな手の座標系の相対角度が算出される度に、メモリ１９の記憶内容（記憶されている手の座標系の相対角度）を更新しても良い。

　以上、座標系パラメータの一部として、手の座標系の相対角度θを示す情報がメモリ１９に記憶される場合について説明したが、本発明はこれに限定されず、メモリ１９に記憶されるパラメータは、相対角度θ以外の、手の座標系の第１軸及び第２軸の方向を規定するパラメータであっても良く、これら以外のパラメータであっても良く、いずれにせよ、座標系設定モードでは、座標系のパラメータの一部を記憶し、特徴量算出モードでは、記憶されたパラメータを読み出して、形状特徴量及び動き特徴量の算出に利用する構成であれば良く、そのような場合にも、特徴量の算出の度にパラメータを算出する必要がなくなるので、計算の負荷を減らすことができる。

実施の形態３．
　図１６は、この発明の実施の形態３に係るジェスチャー操作装置の構成を示すブロック図である。図１６に示すジェスチャー操作装置は、図２に示されるジェスチャー操作装置と概して同じであり、図２と同じ符号は同一又は相当部分を示す。

　図１６に示すジェスチャー操作装置は、図２に示されるジェスチャー操作装置と概して同じであるが、操作者推定部２０が付加され、操作決定部１７の代わりに操作決定部１７ａが設けられている点で異なる。

　操作者推定部２０は、座標系設定部１３が出力する手の座標系の原点座標及び相対角度の一方又は双方に基づいて操作者を推定し、操作者情報Ｄ２０を操作決定部１７ａへ出力する。ここでの操作者の推定は、例えば、操作している人はどの座席に着席しているかの推定でもよく、どの人物が操作しているかの推定でも良い。前者の場合には、例えば座席に応じた識別番号が操作者情報となり、後者の場合には、例えば人物識別情報が操作者情報となる。

　例えば、操作者推定部２０は、手の座標系の原点座標及び相対角度の一方又は双方から、操作者の位置を特定し、操作者情報を生成する。例えば、手の座標系の軸の方向から、操作者の位置を特定することができる。座標系設定部１３で手首の中心から掌の中心へ向かうベクトルと同じ方向に手の座標系の第２軸Ｃｈｖを設定する場合、画像の座標系に対する手の座標系の相対角度θが、－９０度～０度の間であれば、操作者は画像の中心から左下方向に位置していると推定する。また、θが０度～９０度の間であれば、操作者は画像の中心から右下方向に位置していると推定する。なお、ここでも、実施の形態１で説明したのと同様に、操作領域４にある手を上から撮像した場合の画像が得られるものとしている。

　そして、推定した操作者の位置と座席の位置とを対応付けることで、操作者情報を決定することができる。また、操作者の位置と特定の人物を対応付けることで、操作者情報を決定することもできる。

　操作決定部１７ａは、ジェスチャー判定部１６から出力されるジェスチャーの種類を表す情報Ｄ１６ａと、ジェスチャーに係るパラメータＤ１６ｂと、操作者推定部２０から出力される操作者情報Ｄ２０に基づいて、操作制御部５又は被操作機器６ａ、６ｂ、６ｃへのコマンドを決定し、出力する。

　ここで、実施の形態３のジェスチャー操作装置で実行される操作方法における処理の手順を図１７のフローチャートを用いて説明する。
　図１７に示される操作方法は、図１３に示される方法と概して同じであるが、ステップＳＴ２１が付加され、ステップＳＴ７の代わりにステップＳＴ７ａを含む点で異なる。図１７で図１３と同一の符号は同一又は相当するステップを示す。

　ステップＳＴ２１では、操作者推定部２０が、ステップＳ３で設定された手の座標系の原点座標及び相対角度の一方又は双方に基づいて操作者を推定し、推定結果を操作決定部１７ａへ出力する。

　ステップＳＴ７ａでは、操作決定部１７ａが、ステップＳＴ６で決定されたジェスチャーの種類を示す情報Ｄ１６ａと、ジェスチャーに係るパラメータＤ１６ｂと、ステップＳＴ２１による推定で生成された操作者情報Ｄ２０とから、操作内容を示すコマンドを生成し、操作制御部５或いは被操作機器６ａ、６ｂ、６ｃへ出力して、終了する。

　このように構成された本実施の形態に係るジェスチャー操作装置では、操作者推定部２０を有する構成であるため、操作領域４において同じジェスチャーが行われた場合でも、操作者に応じて操作内容（操作の種類及び／又は操作量）を変更することができる。例えば、ある操作者の場合には「チョキ」が「オーディオ画面」の選択を意味するのに対して、他の操作者では、「１本の指のみを伸ばしているジェスチャー」が「オーディオ画面の選択を意味することとしても良い。また動きの速度又は同じジェスチャーの持続時間（同じ形状が維持される時間、同じ動きが続けられる時間）についても操作者によって異なる設定とすることができる。つまり、個々の操作者に応じてジェスチャーと操作内容の対応付けを変えることで、操作者の好み、特性を考慮した、使い勝手の良いジェスチャー操作装置を実現することができる。

　また、実施の形態１乃至３において、説明の便宜上、画像の座標系及び手の座標系を直交座標系かつ右手座標系としたが、本発明は特定の種類の座標系に限定されない。また、手の座標系の原点座標及び相対角度を、手の座標系のパラメータとしているが、本発明はこれに限定されず、画像の座標系から、手の座標系の原点座標と、第１軸及び第２軸の方向とを特定することができるパラメータであれば良い。

実施の形態４．
　実施の形態１乃至３では、座標系設定部１３が２本の座標軸Ｃｈｕ、Ｃｈｖを設定しているが、本発明はこれに限定されず、設定される座標軸の数は１でもよく、３以上でもよい。要するに少なくとも１本の座標軸を設定すればよい。
　また、形状特徴量算出部１４によって算出される形状の特徴量と、動き特徴量算出部１５によって算出される手の動きの特徴量又は指の動きの特徴量に基づいてジェスチャー判定を行うこととしているが、形状特徴量及び指の動きの特徴量を用いず、手の動きの特徴量のみに基づいてジェスチャー判定を行うこととしてよい。
　以下では、手の座標系において１本の座標軸のみが設定され、かつ手の動きの特徴量のみに基づいてジェスチャー判定が行われる構成について説明する。

　図１８は、この発明の実施の形態４に関わるジェスチャー操作装置の構成を示すブロック図である。図１８に示すジェスチャー操作装置は、図２に示されるジェスチャー操作装置と概して同じであり、図２と同じ符号は同一又は相当部分を示すが、図２に示される形状特徴量算出部１４が設けられておらず、座標系設定部１３の代わりに座標系設定部１３ｂが設けられており、動き特徴量算出部１５の代わりに動き特徴量算出部１５ｂが設けられており、ジェスチャー判定部１６の代わりにジェスチャー判定部１６ｂが設けられている点で異なる。

　まず、装置の概要を説明する。
　座標系設定部１３ｂは、入力として与えられる手領域情報Ｄ１２から、画像の座標系における手の座標系の原点座標と、画像の座標系に対する手の座標系の相対角度を決定し、これらを表す情報を手の座標系のパラメータＤ１３ｂとして動き特徴量算出部１５ｂへ出力する。

　動き特徴量算出部１５ｂは、座標系設定部１３ｂから与えられる手の座標系のパラメータＤ１３ｂに基づいて、手の動き（手の全体の動き）の特徴量（手動き特徴量）を算出し、算出した手動き特徴量を示す情報（手動き特徴量情報）Ｄ１５ｈを生成して、ジェスチャー判定部１６ｂへ出力する。

　ジェスチャー判定部１６ｂは、動き特徴量算出部１５ｂから与えられる手動き特徴量情報Ｄ１５ｈを、予め定義される基準値Ｄ１５ｈｒと照合して、照合の結果に基づいてジェスチャーの種類を判別し、ジェスチャーに係るパラメータを生成して、ジェスチャーの種類を示す情報Ｄ１６ａ及びジェスチャーに係るパラメータＤ１６ｂを操作決定部１７に出力する。

　手領域検出部１２及び操作決定部１７の動作は、実施の形態１で述べたのと同様である。
　以下、座標系設定部１３ｂ、動き特徴量算出部１５ｂ及びジェスチャー判定部１６ｂの動作をより詳しく説明する。

　座標系設定部１３ｂは、手領域検出部１２から与えられる手領域情報Ｄ１２から、画像の座標系における手の座標系の原点座標（画像の座標系の原点に対する手の座標系の原点の相対位置）と、画像の座標系に対する手の座標系の相対角度（回転角度）を決定し、これらを表す情報を手の座標系のパラメータＤ１３ｂとして動き特徴量算出部１５ｂへ出力する。

　ここで、画像の座標系と実施の形態４で用いられる手の座標系とについて図１９を用いて説明する。
　図１９は画像の座標系Ｃｉと手の座標系Ｃｈの関係を示している。図示のように、手の座標系において１本の座標軸Ｃｈｕのみが設定されている。

　座標系設定部１３ｂは、実施の形態１で説明したのと同様にして、画像の座標系Ｃｉにおける手の座標系Ｃｈの原点Ｃｈｏの座標（Ｈｘ，Ｈｙ）を決定するとともに、画像の座標系Ｃｉにおける手の座標系の座標軸Ｃｈｕの方向を決定する。

　例えば、座標系設定部１３ｂは、図６に示すように、画像の座標系における掌の中心Ｐｏの座標（Ｈｘ，Ｈｙ）を、手の座標系の原点Ｃｈｏ（ｕ＝０，ｖ＝０）として決定する。
　次に、手首の中心Ｗｏから掌の中心Ｐｏへ向かうベクトルＤｐｗに垂直なベクトルの方向を、手の座標系の座標軸Ｃｈｕの方向として決定する。

　なお、手の座標系の座標軸Ｃｈｕの方向は、上記の例に限定されず、手首の中心Ｗｏから掌の中心Ｐｏへ向かうベクトルを基準として任意の方向に決定して良い。また、基準となるベクトルは手首の中心Ｗｏから掌の中心Ｐｏへ向かうベクトルに限らず、手の任意の２点を結んだベクトルを基準として良い。

　座標系設定部１３ｂは、手の座標系の座標軸Ｃｈｕの方向が決定されたら、その方向を示す情報を出力する。例えば、画像の座標系に対する手の座標系の相対角度θを示す情報を出力する。
　画像の座標系に対する手の座標系の相対角度としては、例えば、画像の座標系の第１軸Ｃｉｘと手の座標系の座標軸Ｃｈｕとの成す角を用いても良く、代わりに、画像の座標系Ｃｉの第２軸Ｃｉｙと手の座標系Ｃｈの座標軸Ｃｈｕとの成す角を用いても良い。

　以下では、画像の座標系の第１軸に対して手の座標系の座標軸Ｃｈｕが反時計回りになす角を、画像の座標系Ｃｉに対する手の座標系Ｃｈの相対角度θとして用いる。
　上記の相対角度θを示す情報は、画像の座標系における手の座標系の原点座標（Ｈｘ，Ｈｙ）を示す情報とともに、手の座標系のパラメータＤ１３ｂとして出力される。

　次に、動き特徴量算出部１５ｂの処理を説明する。動き特徴量算出部１５ｂは、手の動きの特徴量Ｄ１５ｈを算出する。
　手の動きの特徴量Ｄ１５ｈとしては、手の速度と、手の加速度と、手の移動量（例えばある位置（初期位置）からの移動量）の少なくとも一つが算出される。これらの動きの速度及び移動量は、少なくとも２つの、異なる時刻間での位置の差に基づいて算出される。加速度は、少なくとも２つの、異なる時刻間での速度の差に基づいて算出される。

　動き特徴量算出部１５ｂは、手の動き（手全体の動き）として、例えば掌の中心の動きを検出する。
　手の動きは、手の座標系の座標軸の方向成分に基づいて検出するのが有利である。操作者は、手を動かす際に、撮像部１１で生成される画像の方向（撮像部１１の撮像面の方向）を基準とするよりも自分の手の上記の方向を基準とする方が動かす方向についての認識及び制御が容易であるためである。

　そこで、手の座標系の座標軸に対して特定の角度εを成す方向における移動量ｒを算出し、これに基づいて手の動きの特徴量Ｄ１５ｈを算出する。
　座標軸Ｃｈｕに対して特定の角度εを成す方向における微小時間（画像取得周期）当たりの移動量Δｒを積算することで移動量ｒを算出する。以下では、このようにして求めた移動量ｒを「各時点における手の座標系Ｃｈ（ｔ）の角度εを成す方向の移動量」と言う。また、単位時間あたりの上記移動量を速度、単位時間当たりの速度の変化を加速度と言う。

　この移動量ｒは、実施の形態１で移動量ｐ、ｑについて説明したのと同様に、以下のようにして求められる。
　図２０に示すように、時刻ｔ及び時刻ｔ＋Δｔにおける手の座標の原点、相対角度がそれぞれ図２０に示されるように変化する場合、これの時間Δｔ中の動きΔｒは、図２０に示される関係から、以下の式で与えられる。

　式（１０）で示されるΔｒを積算することで、各時点におけるεの方向の移動量ｒを求めることができる。

　また、角度εは任意の値を取ってよく、例えばε＝０の場合は手の座標系の座標軸方向の移動量、速度、加速度が動きの特徴量Ｄ１５ｈとして算出される。

　また、角度εは複数用意してもよく、その場合はεk（k=１，２，…，Ｍ、Ｍ≧１）として、各時点における手の座標系Ｃｈ（ｔ）のεkの方向の移動量、速度、加速度の少なくとも１つを動きの特徴量Ｄ１５ｈとして算出する。

　このように、動き特徴量算出部１５ｂは、手の動きに関し、画像の座標系における各座標の成分を、各時点における手の座標系に対して特定の角度をなす方向の成分に変換し、変換後のデータを用いて、動きの特徴量Ｄ１５ｈを算出し、算出結果を、ジェスチャー判定部１６ｂに出力する。
　動き特徴量算出部１５ｂは、上記のように、手の動きについて特定の角度ε又はεｋを成す方向の成分とともに、該特定の角度ε又はεｋを示す情報をもジェスチャー判定部１６ｂに出力する。

　ジェスチャー判定部１６ｂは、動き特徴量算出部１５ｂから入力される動き特徴量に基づいて、手の動きによるジェスチャーの種類を判定して判定結果を示す情報Ｄ１６ａを操作決定部１７に出力するとともに、ジェスチャーの特徴量を算出し、算出した特徴量を表す情報をジェスチャーに係るパラメータＤ１６ｂとして操作決定部１７に出力する。

　手の動きによるジェスチャー判定では、例えば、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対してある特定の角度を成す方向（即ち、各時点における手の座標系の座標軸Ｃｈｕに対してある特定の角度を成す方向）の動きが続けられた場合、その動きの速度と、動きが継続される時間、或いは上記の特定の角度を成す方向の移動量が、予め定めた条件を満たすとき（例えば各時点における手の座標系のある特定の方向の動きが予め定められた範囲内の速度で、予め定められた時間以上継続されるとき）、ある種類のジェスチャー（ある操作入力のためのジェスチャー）が行われたと判定する。

　その判定のため、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対してある特定の角度を成す方向（即ち、各時点における手の座標系の座標軸Ｃｈｕに対してある特定の角度を成す方向）の動きに関し、動きの速度と、動きが継続される時間、あるいは上記特定の角度を成す方向の移動量が、満たすべき条件を予め定義して、メモリ１６ｍに記憶させておく。
　そして、ジェスチャー判定動作中に、撮像部１１から出力される画像データＤ１１に対して動き特徴量算出部１５ｂで算出された動きの特徴量Ｄ１５ｈが、上記の条件を満たす場合に、上記のある種類のジェスチャーが行われたと判定する。

　なお、手の座標系において、１本の座標軸を設定したが、設定される座標軸の数は１本に限定されず、２本、３本でもよい。即ち、２本以上の座標軸を設定し、それぞれの座標軸の方向における移動量、速度、加速度などを算出することとしてもよい。
　２本以上の座標軸を設定する場合には、第１軸以外の座標軸については、第１軸を基準として特定の角度を成す方向を軸の方向と定めてもよく、手の部位の位置を基準にしてそれぞれの座標軸の方向を別個に定めてもよい。

　また、図２で示すように形状特徴量算出部１４と組み合わせることで、手の形状によるジェスチャーと手の動きの組合せによるジェスチャーを判定するように構成して良い。

　以上のように構成された本実施の形態にかかわるジェスチャー判定装置１０では、座標系設定部１３ｂで手の座標系を設定し、手の座標系に基づいて動きの特徴量Ｄ１５ｈを算出することで、個々の操作者によって異なる、操作領域４における手の角度の違い、手振り動作等の動きの方向の違いに影響されることなく、誤認識を低減した正確なジェスチャー判定が可能である。

　なお、実施の形態４で説明した特徴に実施の形態２及び３で説明した特徴を組合わせることも可能である。

　また、実施の形態１乃至４において、本発明を車両搭載機器の操作に適用した場合について説明したが、本発明はこれに限定されず、家電機器、情報機器、産業機器の操作に適用しても良い。

　以上本発明のジェスチャー操作装置及びジェスチャー判定装置について説明したが、ジェスチャー操作装置で実施されるジェスチャー操作方法、及びジェスチャー判定装置で実施されるジェスチャー判定方法もまた本発明の一部を成す。また、ジェスチャー操作装置又はジェスチャー判定装置を構成する要素の一部並びにジェスチャー操作方法及びジェスチャー判定方法の処理の一部はソフトウェアで、即ちプログラムされたコンピュータで実現可能である。従って、上記の装置を構成する要素の一部及び上記の方法の処理の一部をコンピュータに実行させるためのプログラム、並びに該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

　　１　ジェスチャー操作装置、　２　座席、　４　操作領域、　５　操作制御部、　６ａ　地図案内装置、　６ｂ　オーディオ装置、　６ｃ　エアコン、　１０　ジェスチャー判定装置、　１１　撮像部、　１２　手領域検出部、　１３、１３ａ、１３ｂ　座標系設定部、　１４　形状特徴量算出部、　１５、１５ｂ　動き特徴量算出部、　１６　ジェスチャー判定部、　１７、１７ａ　操作決定部、　１８　モード制御部、　１９　メモリ、　２０　操作者推定部、　Ｃｈ　手の座標系、　Ｃｉ　画像の座標系、　Ｒｈ　手領域。

Claims

　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
　前記手領域情報に基づき前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
　前記手の座標系に基づき、前記操作者の手の動き特徴量を算出する動き特徴量算出部と、
　前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
　を有するジェスチャー判定装置。
　前記動き特徴量算出部は、各時点における前記手の座標系の特定の方向における手の動きに基づいて、前記操作者の手の動き特徴量を算出することを特徴とする請求項１に記載のジェスチャー判定装置。
　前記動き特徴量算出部は、各時点における前記手の座標系の特定の方向の手の動きを積算することで、前記特定の方向の移動量を求めることを特徴とする請求項１又は２に記載のジェスチャー判定装置。
　前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴を表す形状特徴量を算出する形状特徴量算出部をさらに備え、
　前記動き特徴量算出部は、前記手の座標系と、前記形状特徴量とに基づいて、前記操作者の指の動き特徴量をも算出し、
　前記ジェスチャー判定部は、前記手の動き特徴量のみならず、前記指の動き特徴量及び前記形状特徴量にも基づいて、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出する
　ことを特徴とする請求項１から３のいずれか１項に記載のジェスチャー判定装置。
　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
　前記手領域情報に基づき前記操作者の手の特定の部位から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
　前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
　前記手の座標系に基づく前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
　前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
　を有するジェスチャー判定装置。
　前記動き特徴量算出部は、
　前記手の座標系における座標で表される前記形状特徴量に基づき、前記操作者の指の動き特徴量を算出する
　ことを特徴とする請求項４又は５に記載のジェスチャー判定装置。
　前記動き特徴量算出部は、前記手の座標系における前記指の位置の変化を前記指の動きとして求めることを特徴とする請求項４、５又は６に記載のジェスチャー判定装置。
　前記ジェスチャー判定部は、予め定義される動き特徴量の基準値と、前記動き特徴量算出部によって出力される動き特徴量とを照合することで、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出することを特徴とする請求項１から７のいずれか１項に記載のジェスチャー判定装置。
　前記予め定義されるジェスチャーの動き特徴量は、前記手の座標系に基づいて定義されることを特徴とする請求項８に記載のジェスチャー判定装置。
　前記手の座標系のパラメータの一部を記憶するメモリと、
　座標系設定モードと特徴量算出モードのいずれかを指定するモード制御部とをさらに備え、
　前記モード制御部により、前記座標系設定モードが指定されているときに、前記座標系設定部は、前記手の座標系のパラメータの一部を算出して、前記メモリに記憶させ、
　前記モード制御部により、前記特徴量算出モードが指定されているときに、前記動き特徴量算出部は、前記メモリに記憶されている前記パラメータの一部を利用して、前記手の動き特徴量又は指の動き特徴量の算出を行うことを特徴とする請求項１から９のいずれか１項に記載のジェスチャー判定装置。
　前記形状特徴量算出部は、前記手の座標系の原点より前記手の座標系の前記少なくとも一つの座標軸の方向に基づいて定められた領域において前記指の候補領域と特定する
　ことを特徴とする請求項４又は５に記載のジェスチャー判定装置。
　前記ジェスチャー判定部は、予め定義される形状特徴量の基準値と、前記形状特徴量算出部によって出力される前記形状特徴量とを照合することで、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出することを特徴とする請求項４、５、又は１１に記載のジェスチャー判定装置。
　前記手の座標系のパラメータの一部を記憶するメモリと、
　座標系設定モードと特徴量算出モードのいずれかを指定するモード制御部とをさらに備え、
　前記モード制御部により、前記座標系設定モードが指定されているときに、前記座標系設定部は、前記手の座標系のパラメータの一部を算出して、前記メモリに記憶させ、
　前記モード制御部により、前記特徴量算出モードが指定されているときに、前記形状特徴量算出部は、前記メモリに記憶されている前記パラメータの一部を利用して、前記形状特徴量の算出を行うことを特徴とする請求項４、５、１１、又は１２に記載のジェスチャー判定装置。
　前記手の座標系のパラメータの一部が、前記撮像画像の座標系の少なくとも一つの座標軸と前記手の座標系の前記少なくとも一つの座標軸とがなす角度を示す情報であることを特徴とする請求項１０又は１３に記載のジェスチャー判定装置。
　前記手の特定の部位が掌の中心と手首の中心を含み、
　前記座標系設定部は、前記手領域情報から前記掌の中心と掌の半径を算出し、
　前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
　前記掌の中心を、前記手の座標系の原点として求め、
　前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
　ことを特徴とする請求項１から１４のいずれか１項に記載のジェスチャー判定装置。
　前記座標系設定部は、
　前記撮像画像の座標系における前記手の座標系の原点の座標と、前記撮像画像の座標系の一つの座標軸と前記手の座標系の前記少なくとも一つの座標軸とがなす角度とを、前記手の座標系のパラメータとして設定する
　ことを特徴とする請求項１から１５のいずれか１項に記載のジェスチャー判定装置。
　請求項１から１６のいずれか１項に記載のジェスチャー判定装置と、
　前記ジェスチャー判定部により算出されるジェスチャーの種類と、前記ジェスチャーの特徴量とから操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部と
　を備えるジェスチャー操作装置。
　前記座標系設定部で設定された前記原点座標ならびに前記少なくとも一つの座標軸の方向に基づいて操作者を推定する操作者推定部をさらに備え、
　前記操作決定部は、前記ジェスチャー判定部で判定された前記ジェスチャーの種類と、前記ジェスチャー判定部で算出された前記ジェスチャーの特徴量と、前記操作者推定部で推定された前記操作者とに基づいて前記操作内容を決定する
　ことを特徴とする請求項１７に記載のジェスチャー操作装置。
　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出ステップと、
　前記手領域情報に基づき前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定ステップと、
　前記手の座標系に基づき、前記操作者の手の動き特徴量を算出する動き特徴量算出ステップと、
　前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定ステップと
　を有するジェスチャー判定方法。
　撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出ステップと、
　前記手領域情報に基づき前記操作者の手の特定の部位から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定ステップと、
　前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出ステップと、
　前記手の座標系に基づく前記操作者の手の動き特徴量の算出と、
前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出ステップと、
　前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定ステップと
　を有するジェスチャー判定方法。
請求項１９又は２０に記載のジェスチャー判定方法における処理をコンピュータに実行させるためのプログラム。
請求項２１に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。