JP6021488B2 - 制御装置、制御方法、および制御プログラム - Google Patents

Description

本発明は、撮影の結果得られた画像における被写体の動きに応じて認識されたジェスチャの内容に基づいて機器の制御を行うための制御装置、制御方法、および制御プログラムに関する。

従来、撮影の結果得られた画像から人間などの被写体の動作（ジェスチャという）を認識して、テレビなどの電気機器を遠隔操作する制御装置（ジェスチャ認識装置ともいう）が知られている。

一般に、電気機器などを制御する際には、例えば、当該電気機器に対応した操作リモコンが必要であるが、ジェスチャ認識装置が搭載された電気機器では、操作リモコンが不要となる。さらに、ジェスチャ認識装置を搭載すれば、キーボード又はリモコンなどの入力装置が適さない環境においても操作が可能であるのでユーザビリティを向上させることができる。

また、複数の人間の身振り又は手振り（ジェスチャ）を同時に認識することができるジェスチャ認識装置を搭載した電気機器において、認識した複数のジェスチャに応じた制御を行う際、人間の属性および周囲の環境、そして、多数決に基づいて選択された１つの制御を実行するようにしたものがある（特許文献１参照）。

さらに、電気機器を遠隔制御する際、赤外線リモートコントローラーによる制御およびジェスチャ動作による制御の双方が可能な制御装置が知られている（特許文献２参照）

特開平１１−３２７７５３号公報 特開２００９−２１８９１０号公報

ところが、特許文献１に記載の制御手法では、電気機器に対して実行される制御は１つに絞られてしまう。つまり、特許文献１に記載の制御手法では、複数のジェスチャに応じた制御を行う際１つの制御が選択される結果、選択実行された制御とは異なる制御を実行することを意図してジェスチャを行ったユーザの意思を反映させることができない。

一方、ジェスチャ動作の認識に応じた制御を行う際には、赤外線リモートコントローラー又は操作キーによる制御と異なり、時系列的な動きベクトルの変化を検出する必要がある。この結果、ジェスチャ動作の認識開始から認識完了までに時間が掛かってしまい、電機機器の制御が遅くなってしまう。

このため、上記の特許文献２では、ジェスチャ動作による制御よりも、赤外線リモートコントローラー又は操作キーによる制御が率先して実行されやすい。

例えば、ジェスチャ動作の認識途中において、ジェスチャ動作中の手指などが画角から欠けるなどの時系列画像として使用できなくなる程の撮影画質の変化が生じると、制御装置はジェスチャ動作の認識に失敗する。この結果、制御装置はジェスチャ動作に応じた制御を行うことができなくなってしまう。

つまり、ジェスチャ動作の認識途中で、ユーザがジェスチャ動作以外の操作を行うなどの外乱があると、連続画像が時系列画像として用いることができなくなってしまい、制御装置はジェスチャ動作の認識に失敗する。

加えて、従来の制御装置においては、電気機器を操作する意図のない被写体の動きをジェスチャ動作として誤認識してしまう可能性がある。さらに、電気機器が撮像装置である場合に、複数の被写体が頻繁に画角操作に関するジェスチャ動作に行うと、例えば、動画撮影際の画角および露出が頻繁に変化して鑑賞に堪えない動画となってしまう可能性がある。

従って、本発明の第１の目的は、複数のユーザのジェスチャを認識して電気機器の制御を行う際、複数のユーザの意図を反映させて適切な制御結果を得ることのできる制御装置、制御方法、および制御プログラムを提供することにある。

また、本発明の第２の目的は、ジェスチャ動作の認識の失敗を低減して、ジェスチャ動作による制御を良好に行うことのできる制御装置、制御方法、および制御プログラムを提供することにある。

さらに、本発明の第３の目的は、電気機器を操作する意図のない被写体の動きをジェスチャ動作として誤認識してしまうことがない制御装置、制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による制御装置は、被写体が行ったジェスチャ動作に応じて機器を制御する制御装置であって、予め定められたジェスチャ動作を登録ジェスチャとして記憶する記憶手段と、前記被写体を撮影した結果得られた画像に応じて前記被写体が行ったジェスチャ動作が前記記憶手段に登録された登録ジェスチャに存在するか否かを検出する検出手段と、前記検出手段によって前記被写体が行ったジェスチャ動作が前記記憶手段に登録された登録ジェスチャに存在すると判定された場合に、前記登録ジェスチャに対応付けられた前記機器を制御するための制御命令を前記画像において前記被写体の各々に対応付けて表示する際に、前記検出手段によって検出された回数が少ない被写体の優先順位を高くして、当該優先順位に基づいて前記制御命令を表示する際の表示形態を異ならせる表示制御手段と、前記表示制御手段によって表示された制御命令のうちユーザによって選択された制御命令を実行する制御手段とを有することを特徴とする。

本発明によれば、複数のユーザのジェスチャ動作を認識して機器の制御を行う際、複数のユーザの意図を反映させて適切な制御結果を得ることができる。

また、本発明によれば、ジェスチャ動作の認識の失敗を低減して、ジェスチャ動作による制御を良好に行うことができる。そして、本発明によれば、機器を操作する意図のない被写体の動きをジェスチャ動作として誤認識してしまうことを低減することができる。

本発明の第１の実施形態による制御装置の一例についてその構成を示すブロック図である。 図１に示す制御装置が搭載されたテレビの一例を示す図であり、（ａ）は制御装置と被写体との関係の一例を示す図、（ｂ）は（ａ）に示す状態において被写体を撮像した結果得られる画像の一例を示す図である。 図１に示す制御装置で行われる制御動作の一例を説明するための図である。 図１に示す撮像部による撮影の結果得られた時系列画像におけるジェスチャを説明するための図であり、（ａ）はジェスチャの一例を示す図、（ｂ）はジェスチャの他の例を示す図である。 図１に示すメモリに登録された特定のジェスチャ動作を説明するための図であり、（ａ）は登録ジェスチャ動作の一例を示す図、（ｂ）は登録ジェスチャ動作の他の例を示す図である。 本発明の第２の実施形態による制御装置１００の制御動作を説明するためのフローチャートである。 本発明の第２の実施形態による制御装置に設定された制御項目と制御命令との対応を示すテーブルの一例を示す図である。 本発明の第３の実施形態による制御装置においてＣＰＵで行われる動きベクトル変化の解析処理を説明するためのフローチャートである。 本発明の第３の実施形態による制御装置においてＣＰＵで行われるジェスチャ認識処理を説明するためのフローチャートである。 本発明の第３の実施形態による制御装置１００で行われるジェスチャ認識を説明するための図であり、（ａ）はジェスチャ認識に用いられる連続画像を示す図、（ｂ）は検出した動きベクトルを示す図、（ｃ）は図８で説明した変化解析処理後の動きベクトルを示す図、（ｄ）は図１に示すＨＤＤに記録されたジェスチャ認識辞書として登録される動きベクトルを示す図、（ｅ）は特徴動作として登録される動きベクトルが検出されるジェスチャ動作の一例を示す図である。 本発明の第３の実施形態による制御装置においてＣＰＵの制御制限レベル選択を説明するためのフローチャートである。 図１１で説明した制御制限レベルで設定される制御制限内容を規定する制御制限テーブルの一例を示す図である。 図１２で説明した所定の制御に該当する制御および該当しない制御の一例についてその一覧を示す図である。 本発明の第３の実施形態による制御装置においてＣＰＵで行われる主制御処理を説明するためのフローチャートである。 図１４に示す制限処理を説明するためのフローチャートである。 本発明の第４の実施形態による制御装置の制御動作を説明するためフローチャートである。 本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第１の例を説明するための図であり、（ａ）はディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。 本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第２の例を説明するための図であり、（ａ）はディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。 本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第３の例を説明するための図であり、（ａ）はディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。 本発明の第４の実施形態による制御装置で行われる制御命令の実行タイミング変更処理の一例を説明するための図である。 図１７に示す状態においてズームインがタッチ操作された際にディスプレイに表示される画像を説明するための図であり、（ａ）はズームイン前の画像を示す図、（ｂ）はズームイン後の画像を示す図である。 本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第４の例を説明するための図であり、（ａ）はディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。 本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第５の例を説明するための図であり、（ａ）はディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。 本発明の第５の実施形態による制御装置の制御動作を説明するためのフローチャートである。 本発明の第５の実施形態による制御装置によるジェスチャ検出および制御命令の一例を説明するための図であり、（ａ）はズームイン前のディスプレイに表示されたジェスチャ動作を示す図、（ｂ）はズームイン後の画面を示す図、（ｃ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

以下、本発明の実施の形態による制御装置の一例について図面を参照して説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

［第１の実施形態］
図１は、本発明の第１の実施形態による制御装置１００の一例についてその構成を示すブロック図である。

図示の制御装置１００は、例えば、テレビ、パーソナルコンピュータ（以下ＰＣという）、ビデオカメラ、ＤＶＤレコーダー、ＢＤレコーダー、オーディオプレイヤー、メディアプレイヤー、エアコン、照明機器、洗濯機、又はゲーム機などの電気機器に搭載される。なお、以下の説明では、制御装置１００はテレビに搭載されているものとして説明する。

制御装置１００はＣＰＵ１０１、ハードディスクドライブ（ＨＤＤ）１０２、メモリ１０３（例えば、ＲＯＭおよびＲＡＭ）、表示制御部１０４、キー操作などを行うための操作部１０５、ドライブ装置１０６、通信部１０７、および撮像部１１０を有している。そして、これらＣＰＵ１０１、ハードディスクドライブ（ＨＤＤ）１０２、メモリ１０３、表示制御部１０４、操作部１０５、ドライブ装置１０６、通信部１０７、および撮像部１１０はバス１０９で相互に接続されている。また、表示制御部１０４にはディスプレイ１０８が接続されている。

ＨＤＤ１０２には、例えば、映像音声データ、その他のデータ、およびＣＰＵ１０１で動作する各種プログラムなどが格納されている。

ＣＰＵ１０１は、ＨＤＤ１０２に格納されたプログラムに応じて、メモリ１０３をワークメモリとして用い、制御装置１００の制御を行う。なお、ＣＰＵ１０１で動作するプログラムは、ＨＤＤ１０２の他に、例えば、ＲＯＭに予め格納するようにしてもよい。

操作部１０５は、ユーザの操作を受け付けて、当該操作に応じた指示信号をＣＰＵ１０１に与える。例えば、操作部１０５は、ユーザの操作を受け付ける入力デバイスとして、キーボードなどの文字情報入力デバイス、マウスおよびタッチパネルなどのポインティングデバイスを有している。タッチパネルは、操作部１０５の接触位置に応じた座標情報を出力する入力デバイスである。

なお、ＣＰＵ１０１はユーザ操作に応じた指示信号に基づいて制御装置１００を制御する。これによって、ユーザはユーザ操作に応じた動作を撮像装置１００に行わせることができる。

表示制御部１０４は、ＣＰＵ１０１の制御下でディスプレイ１０８に画像を表示する。例えば、ＣＰＵ１０１が表示制御部１０４に対して表示制御信号を与えると、表示制御部１０４は表示制御信号に応じた画像表示信号を生成してディスプレイ１０８に出力する。そして、ディスプレイ１０８には、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面が表示される。

なお、操作部１０５としてタッチパネルを用いる場合には、操作部１０５とディスプレイ１０８とを一体的に構成することができる。この際には、タッチパネルによってディスプレイ１０８の表示が妨げられないようにして、ディスプレイ１０８の表示面上にタッチパネルが配置される。そして、タッチパネルにおける入力座標とディスプレイ１０８上の表示座標とが対応付けられる。

これによって、ユーザはディスプレイ１０８に表示された画面を直接的に操作可能なＧＵＩを構成することができる。

操作部１０５がタッチパネルである場合には、ＣＰＵ１０１はタッチパネルに対する次の操作を検出する。

タッチパネルを指又はペンで触れたこと（以下タッチダウンと呼ぶ）。タッチパネルを指又はペンで触れている状態であること（以下タッチオンと呼ぶ）。タッチパネルを指又はペンで触れたまま移動していること（以下ムーブと呼ぶ）。タッチパネルに触れていた指又はペンを離したこと（以下タッチアップと呼ぶ）。タッチパネルに何も触れていない状態（以下タッチオフと呼ぶ）。

上記の操作およびタッチパネルに触れた位置座標はタッチ情報として内部バス１０９を介してＣＰＵ１０１に送られる。そして、ＣＰＵ１０１はタッチ情報に基づいてタッチパネルに対してどのような操作が行なわれたかを判定する。

ムーブについては、ＣＰＵ１０１はタッチパネルで移動する指又はペンの移動方向を、位置座標の変化に基づいてその垂直成分および水平成分毎に判定する。タッチパネルをタッチダウンしてから一定のムーブを経てタッチアップをしたとき、これはストロークを描いたとされる。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネルに指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作である。言い換えると、フリックはタッチパネル上を指ではじくように素早くなぞる操作である。

ＣＰＵ１０１は所定の距離以上かつ所定の速度以上でムーブしたことを検出して、そのままタッチアップを検出するとフリックが行なわれたと判定する。また、ＣＰＵ１０１は所定の距離以上かつ所定の速度未満でムーブしたことを検出すると、ドラッグが行なわれたと判定する。

ドライブ装置１０６には、ＣＤおよびＤＶＤなどの外部記憶媒体（図示せず）が装着とされる。そして、ドライブ装置０６はＣＰＵ１０１の制御下で、外部記憶媒体からデータを読み出すとともに、外部記憶媒体に対するデータの書き込みを行う。

なお、ドライブ装置１０６が装着可能な外部記憶媒体は、ＣＤ又ＤＶＤなどのディスク記録媒体に限られず、例えば、メモリカードなどの不揮発性半導体メモリをドライブ装置１０６に装着するようにしてもよい。

通信部１０７は、ネットワークなどを介して外部と通信を行う。例えば、通信部１０７は外部から操作信号を受信して、当該操作信号に応じた指示信号を生成して、ＣＰＵ１０１に送る。なお、通信部１０７はネットワークに限らず、例えば、赤外線通信又は電波による無線通信で外部と通信を行うようにしてもよい。

撮像部１１０はレンズユニットおよび絞り部などの光学部を有しており、光学部を通過した光学像が撮像素子（図示せず）に結像する。そして、撮像部１１０においては撮像素子からの出力である画像信号がＡ／Ｄ変換されて画像データとされる。そして、ＣＰＵ１０１は必要に応じて当該画像データを画像処理した後メモリ１０３に書き込む。

つまり、ＣＰＵ１０１はメモリ１０３又はハードディスクドライブ（ＨＤＤ）１０２に格納された画像データ、撮像部１１０による撮像の結果得られた映像信号（画像データ）、そして、通信部１０７を介して取得した画像データなどに対して各種の画像処理を施す。当該画像処理には、例えば、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、および色変換処理が含まれる。

撮像部１１０は、ＣＰＵ１０１の制御に下で所定の範囲の色温度および輝度となるように、色バランス、絞り値、シャッター速度、および焦点距離などを制御する。この結果、撮像部１１０による撮影の結果得られた画像は時系列的に連続性が保たれる。

メモリ１０３に格納された画像データはＣＰＵ１０１によって圧縮処理されてドライブ装置１０６で記録媒体に記録される。この圧縮、記録処理と並行して、ＣＰＵ１０１はメモリ１０３に格納された画像データを最適なサイズにリサイズ処理して、操作アイコンおよび顔枠等を重畳した表示制御信号を表示制御部１０４に送る。これによってリアルタイムで撮影の結果得られた画像がディスプレイ１０８に表示される。

また、ＣＰＵ１０１は撮像部１１０から出力された映像信号（を受信して、当該映像信号が示す画像から人間などの被写体が撮影された領域である被写体領域を検出する。そして、ＣＰＵ１０１は当該被写体領域から動きベクトルなどの動作特徴量を抽出する。

例えば、動作特徴量の抽出の際、ＣＰＵ１０１は顔および腕などの人体を構成する各パーツの領域を推定するため、被写体領域に形状モデルを当てはめる。形状モデルとは、予め単純化された３次元パーツモデル（円筒、楕円体、超２次曲面（ｓｕｐｅｒｑｕａｄｒｉｃｓ）など）により近似された人体各部の形状モデルである。例えば、ＣＰＵ１０１は顔部（頭部）の位置および姿勢を基準として、腕、手、足、および胴体などの存在範囲を推定する。

ＣＰＵ１０１は対象となる人物を構成するパーツごとの特徴量（局所的かつ幾何学的な特徴、動きベクトル、色成分特徴など）をパーツの代表点付近における平均的特徴量として、所定の記憶手段であるＨＤＤ１０２又はメモリ１０３に格納する。そして、ＣＰＵ１０１はパーツ単位で代表点位置を動作特徴量として抽出する。

続いて、ＣＰＵ１０１は抽出された動作特徴量とＨＤＤ１０２又はメモリ１０３に記憶された動作モデルとの照合を行う。ＣＰＵ１０１はこの動作モデルを通信部１０７を介して外部から取得することが可能である。

ＣＰＵ１０１は照合の結果として、抽出された動作特徴量と各動作モデルとの類似度を算出する。算出した類似度に基づいて、ＣＰＵ１０１は抽出した動作特徴量と動作モデルが同一の動作を示すか否かを判定する。ここで、動作モデルとは、１つ以上のパーツによる時系列的な特徴量である。

なお、人物動作の抽出技術については、例えば、星野、「人物動作における個性の抽出と再構成」画像電子学会誌第３０巻、ｐｐ．６３１−６４０，２００１などに記載されている。

また、動作モデルとのマッチング処理の基本的な方法として、例えば、入力画像の遷移系列とモデルとの対応付けをＤｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇという手法で行う方法（Ｔ．Ｊ．Ｄａｒｅｌｌ ａｎｄ Ａ．Ｐ．Ｐｅｎｔｌａｎｄ， １９９３ “Ｓｐａｃｅ−Ｔｉｍｅ Ｇｅｓｔｕｒｅｓ，”）、動作の状態遷移を確率モデルで行う隠れマルコフモデルを用いた手法（Ｊ．Ｙａｍａｔｏ， Ｊ．Ｏｈｙａ， ａｎｄ Ｋ．Ｉｓｈｉｉ， １９９２ “Ｒｅｃｏｇｎｉｚｉｎｇ Ｈｕｍａｎ Ａｃｔｉｏｎ ｉｎ Ｔｉｍｅ−Ｓｅｑｕｅｎｔｉａｌ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ，” Ｐｒｏｃ． ＣＶＰＲ， ｐｐ． ３７９−３８５）、および時空間エッジ画像ベクトル列の連続動的計画法（Ｃｏｎｔｉｎｕｏｕｓ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）による方法（西村、岡「ジェスチャ動画像の逆時間動作や静止動作をスポッティング認識するためのＮｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰ」、信学技報、ＰＲＭＵ９６−３２、ｐｐ．４９−５６，１９９６）などがある。

この動作モデルは制御命令と対応づけてＨＤＤ１０２又はメモリ１０３に記憶される。そして、抽出された動作特徴量と動作モデルとの照合結果である類似度が所定の閾値以上である場合には、ＣＰＵ１０１は当該動作モデルと対応した制御命令を実行する。そして、類似度が所定の閾値未満である場合には、ＣＰＵ１０１は特に処理を実行しない。

図２は、図１に示す制御装置１００が搭載されたテレビの一例を示す図である。そして、図２（ａ）は制御装置１００と被写体との関係の一例を示す図であり、図２（ｂ）は図２（ａ）に示す状態において被写体を撮像した結果得られる画像の一例を示す図である。

制御装置１００は、前述のように表示部であるディスプレイ１０８および撮像部１１０を有しており、図２（ａ）に示すように、人間である被写体２０１および２０２はディスプレイ１０８と対面している。そして、図示の例では、撮像部１１０はディスプレイ１０８の左上隅に配置され、被写体２０１および２０２は撮像部１１０の画角内に入る。図２（ａ）に示す状態で、撮像部１１０によって撮影を行うと、図２（ｂ）に示す画像が得られる。

なお、図２（ｂ）においては、画像中の被写体像を図２（ａ）に示す被写体と同一の参照番号で示している。

図３は、図１に示す制御装置１００で行われる制御動作の一例を説明するための図である。なお、ここでは、被写体が行ったジェスチャに対応して予め制御命令が規定されているものとする。

まず、ＣＰＵ１０１は撮像部１１０を制御して、撮像部１１０によって撮影された時系列画像データを取得する。そして、ＣＰＵ１０１は当該画像データが示す画像から被写体領域を抽出して、ジェスチャ認識を行う（ステップＳ３０１）。

続いて、ＣＰＵ１０１は認識したジェスチャ動作があったか否か、つまり、ジェスチャ動作の認識を完了したか否かを判定する（ステップＳ３０２）。ジェスチャ動作の認識が完了していないと（ステップＳ３０２において、ＮＯ）、ＣＰＵ１０１はステップＳ３０１の処理に戻って、ジェスチャ動作の認識処理を行う。一方、ジェスチャ動作の認識が完了すると（ステップＳ３０２において、ＹＥＳ）、ＣＰＵ１０１は認識完了ジェスチャが登録ジェスチャとしてメモリ１０３に記憶（登録）されているか否かを判定する（ステップＳ３０３）。

認識完了ジェスチャが登録ジェスチャとしてメモリ１０３に登録されていると（ステップＳ３０３において、ＹＥＳ）、ＣＰＵ１０１は認識完了ジェスチャと登録ジェスチャとに対応する制御命令を比較する（ステップＳ３０４）。そして、ＣＰＵ１０１は制御命令が同一であるか否かを判定する（ステップＳ３０５）。

制御命令が同一でないと（ステップＳ３０５において、ＮＯ）、ＣＰＵ１０１は認識完了ジェスチャに対応する制御命令を実行する（ステップＳ３０６）。なお、認識完了ジェスチャが登録ジェスチャとしてメモリ１０３に登録されていないと（ステップＳ３０３において、ＮＯ）、ＣＰＵ１０１はステップＳ３０６の処理に進んで、認識完了ジェスチャに対応する制御命令を実行する。

次に、ＣＰＵ１０１は他にジェスチャ認識処理中の被写体が存在するか否かを判定する（ステップＳ３０７）。なお、制御命令が同一であれば（ステップＳ３０５において、ＹＥＳ）、ＣＰＵ１０１はステップＳ３０７の処理に進む。

他にジェスチャ認識処理中の被写体が存在すると（ステップＳ３０７において、ＹＥＳ）、ＣＰＵ１０１はステップＳ３０２で認識した認識完了ジェスチャをメモリ１０３に登録して、制御処理を終了する。一方、他にジェスチャ認識処理中の被写体が存在しないと（ステップＳ３０７において、ＮＯ）、ＣＰＵ１０１は当該認識完了ジェスチャが既にメモリ１０３に登録されているか否かを判定する（ステップＳ３１０）。

認識完了ジェスチャが既にメモリ１０３に登録されていると（ステップＳ３１０において、ＹＥＳ）、ＣＰＵ１０１はメモリ１０３に登録された認識完了ジェスチャを削除して（ステップＳ３１１）、制御処理を終了する。認識完了ジェスチャがメモリ１０３に登録されていないと（ステップＳ３１０において、ＮＯ）、ＣＰＵ１０１は制御処理を終了する。

このように、ＣＰＵ１０１は、既にメモリ１０３に認識ジェスチャが記憶されているか否かを判定し、その判定結果に応じて認識ジェスチャに対応付けられた制御命令を選択的に実行することになる。

図４は、図１に示す撮像部１１０による撮影の結果得られた時系列画像におけるジェスチャを説明するための図である。そして、図４（ａ）はジェスチャの一例を示す図であり、図４（ｂ）はジェスチャの他の例を示す図である。

図４（ａ）に示す例では、時系列画像において被写体４０１のみが制御装置１００に対する制御命令を実行するためのジェスチャ動作を行っている。一方、図４（ｂ）に示す例では、被写体４０１が制御装置１００に対する制御命令を実行するためのジェスチャ動作を行っている際、被写体４０２が制御装置１００に対する制御命令を実行するためのジェスチャ動作を開始している。

ＣＰＵ１０１は、前述したように、抽出した被写体領域の動きを時系列にメモリ１０３に記憶するとともに、抽出された被写体領域の動きを、メモリ１０３に登録された登録ジェスチャと照合する。

図５は、図１に示すメモリ１０３に登録された特定のジェスチャ動作を説明するための図である。そして、図５（ａ）は登録ジェスチャ動作の一例を示す図であり、図５（ｂ）は登録ジェスチャ動作の他の例を示す図である。

図５（ａ）に示す例では、被写体５０１が特定のジェスチャ動作として、「左手を肩付近で左右に移動する」動作を行うジェスチャ動作が登録ジェスチャとして登録されている。図５（ｂ）に例では、被写体５０１が特定のジェスチャ動作として、「左手を肩付近で上下に移動する」動作を行うジェスチャ動作が登録ジェスチャとして登録されている。

図５（ａ）および図５（ｂ）に示すジェスチャ動作は制御装置１００に対する制御命令と関係付けられてメモリ１０３に登録される。例えば、図５（ａ）に示すジェスチャ動作に対しては「チャンネル操作」を「＋１」とする制御命令が対応付けられている。また、図５（ｂ）に示すジェスチャ動作に対しては「音量操作」を「＋１」とする制御命令が対応付けられている。

この他にも、制御装置１００がテレビである場合には、「チャンネル操作」の「−１」、「音量操作」の「−１」、「電源操作」の「消す」、「メニュー操作」の「開く」、「メニュー操作」の「閉じる」、「カーソル操作」の「上に移動」、「下に移動」、「左に移動」、および「右に移動」などの制御命令がジェスチャ動作に対してメモリ１０３に登録されている。

なお、ジェスチャ動作の認識完了とは、例えば、図５（ａ）又は図５（ｂ）において左図、中央図、および右図の一連のジェスチャ動作の流れを最後まで認識できた場合をいう。図４（ａ）および図４（ｂ）に示す例では、ＣＰＵ１０１は被写体４０１についてはその中央図においてジェスチャの認識を完了したと判定する。一方、被写体４０２については、ＣＰＵ１０１は図４（ｂ）においてその右図でジェスチャの認識を完了したと判定することになる。

以下、図４（ａ）に示す例の場合における制御装置１０１の制御動作について説明する。なお、制御装置１００を起動した際には、メモリ１０３には認識完了ジェスチャは未だ登録されていない。

前述のステップＳ３０３において、ＣＰＵ１０１は認識完了ジェスチャがメモリ１０３に登録されているか否かを判定するが、図４（ａ）に示す例では、ＣＰＵ１０１が被写体４０１のジェスチャを認識した時点では、メモリ１０３には登録認識ジェスチャは未だメモリ１０３に登録されていない。従って、ＣＰＵ１０１は認識完了ジェスチャがメモリ１０３に登録認識ジェスチャとして登録されていないとし（ステップＳ３０３において、ＮＯ）、ステップＳ３０６において当該認識完了ジェスチャに対して予め対応付けられた制御命令を実行する。

図４（ａ）に示す例では、被写体４０１のジェスチャは、図５（ｂ）に示すジェスチャと同様であるので、ここでは、ＣＰＵ１０１は制御命令として「音量操作」の「＋１」を実行することになる。

続いて、ＣＰＵ１０１は、ステップＳ３０７において被写体４０１と異なる被写体に対してジェスチャ認識処理を行っているか否かを判定することになる。ここでは、被写体４０１のジェスチャを認識した時点における図４（ａ）の中央図では、被写体４０１以外の被写体はジェスチャ動作を行っていない。よって、ＣＰＵ１０１は被写体４０１と異なる被写体に対するジェスチャ認識処理を行っていないと判定し、ステップＳ３１０においてメモリ１０３に認識完了ジェスチャが登録されているか否かを判定することになる。

図４（ａ）に示す例では、被写体４０１に対するジェスチャ認識完了の際には、認識完了ジェスチャはメモリ１０３に未だ登録されていないので、ＣＰＵ１０１は、ステップＳ３１０においてメモリ１０３に認識完了ジェスチャが登録されていないと判定して、制御処理を終了する。

これによって、図４（ａ）に示すように、複数の被写体が撮影されてそのうちの一人がジェスチャ動作を行った場合には、当該一人が行ったジェスチャ動作に応じた制御命令が実行される。従って、制御装置１００は一人（図４（ａ）においては、被写体４０１）が期待した制御命令を実行することになる。

次に、図４（ｂ）に示す例の場合における制御装置１０１の制御動作について説明する。

図４（ｂ）に示す例の場合には、まず被写体４０１のジェスチャ動作がＣＰＵ１０１によって認識される。この場合、未だメモリ１０３には認識完了ジェスチャが登録ジェスチャとして登録されていないので、ステップＳ３０３の処理では、ＣＰＵ１０１はメモリ１０３に認識完了ジェスチャが登録されていないと判定することになる。そして、ステップＳ３０６において、ＣＰＵ１０１は被写体４０１に係る認識完了ジェスチャに対応する制御命令を実行する。

ステップＳ３０７において、被写体４０１のジェスチャを認識した時点における図４（ｂ）の中央図では、被写体４０１以外に被写体４０２がジェスチャ動作を開始しているので、ステップＳ３０７において、ＣＰＵ１０１はジェスチャ認識処理中の被写体が存在すると判定することになる（ステップＳ３０７において、ＹＥＳ）。これによって、ＣＰＵ１０１は、ステップＳ３０８において被写体４０１に係る認識完了ジェスチャをメモリ１０３に登録して、制御処理を終了する。

なお、メモリ１０３に認識完了ジェスチャを登録する際には、ＣＰＵ１０１は、例えば、抽出したジェスチャ動作の特徴量およびＩＤ、そして、当該ジェスチャに対応する制御命令がメモリ１０３に記憶される。

その後、ステップＳ３０１およびＳ３０２で被写体４０２に対するジェスチャ認識が完了すると（図４（ｂ）の右図参照）、ＣＰＵ１０１はステップＳ３０３においてメモリ１０３に認識完了ジェスチャが登録されていると判定することになる。ここでは、前述のように、被写体４０１に係る認識完了ジェスチャがメモリ１０３に登録されている。

ステップＳ３０４において、ＣＰＵ１０１は被写体４０２に係る認識完了ジェスチャとメモリ１０３に登録された被写体４０１に係る認識完了ジェスチャをと比較する。ここでは、ＣＰＵ１０１は被写体４０２の認識完了ジェスチャに対応する制御命令と被写体４０１の認識完了ジェスチャに対応する制御命令とを比較する。そして、ＣＰＵ１０１は、ステップＳ３０５において制御命令が同一であるか否かを判定することになる。

図４（ｂ）に示す例では、被写体４０２の認識完了ジェスチャに対応する制御命令は「チャンネル操作」の「＋１」であるのに対し、被写体４０１の認識完了ジェスチャに対応する制御命令は「音量操作」の「＋１」である。従って、図４（ｂ）に示す例においては、ＣＰＵ１０１は制御命令が異なると判定することになる。

制御命令が互いに異なっているので、ＣＰＵ１０１は、ステップＳ３０７において認識完了が最も新しい被写体４０２に係る認識完了ジェスチャに対応する制御命令を実行する。ここでは、図４（ｂ）における被写体５０１のジェスチャ動作は、図５（ａ）と同様のジェスチャ動作であるので、ＣＰＵ１０１は制御命令として「チャンネル操作」の「＋１」を実行する。

上述のように、図４（ｂ）に示す被写体４０２は、被写体４０１とは異なる制御命令を実行するためのジェスチャ動作を行っていたので、ステップＳ３０６において、ＣＯＵ１０１は被写体４０２のジェスチャ動作に対応した制御命令を実行する。一方、被写体４０２が被写体４０１のジェスチャ動作と同様の制御命令に対応するジェスチャ動作を行った場合には、ＣＰＵ１０１はステップＳ３０６をスキップする。この結果、被写体４０２のジェスチャ動作に対応する制御命令は実行されない。

これによって、複数の被写体が同一のジェスチャ動作を行った場合に、重複して制御命令が実行されて、先のジェスチャ動作に対応する制御命令が行われた後、後のジェスチャ動作に対応する制御命令が再度実行されることを防止することができる。

例えば、先のジェスチャ動作によって制御命令として「チャンネル操作」の「＋３」が実行された後、後のジェスチャ動作によって制御命令として再度「チャンネル操作」の「＋３」が実行されると、先のジェスチャ動作前のチャンネルから「＋６」のチャンネル操作が行われることになる。一方、上述のようにして、複数の被写体が同一のジェスチャ動作を行った場合に、重複して制御命令を実行しないようにすれば、ジェスチャ動作をした２人のユーザのいずれもが意図しないチャンネルに変更されてしまうという事態を防止することができる。

また、上述したように、複数の被写体が互いに異なるジェスチャ動作を行った場合には、ＣＰＵ１０１はこれらジェスチャ動作に対応する制御命令を実行することになる。例えば、先のジェスチャ動作によって制御命令として「チャンネル操作」の「＋３」を実行した後、後のジェスチャ動作によって制御命令として「音量操作」の「＋３」を実行すれば、チャンネルおよび音量の両方の変更が行われて、複数のユーザの要望を満たすことができる。

続いて、ＣＰＵ１０１は、ステップＳ３０７において、被写体４０２とは異なる被写体に対するジェスチャ認識処理を実行しているかを判定することになるが、図４（ｂ）に示す例では、被写体４０１および４０２以外に被写体は存在しないので、ＣＰＵ１０１はステップＳ３１０の処理に進む。

ステップＳ３１０においては、メモリ１０３に被写体４０１に係る認識完了ジェスチャが登録されているので、ＣＰＵ１０１はステップＳ３１１の処理に進んで、被写体４０１に係る認識完了ジェスチャをメモリ１０３から削除して、制御処理を終了する。

なお、認識完了ジェスチャを削除するタイミングは、ステップＳ３１０の判定処理直後であってもよく、判定処理後から所定の時間が経過した後でもよい。

このように、本発明の第１の実施形態では、第１の被写体のジェスチャ動作に応じた制御命令を実行した後、第２の被写体がジェスチャ動作を行っていると、第１の被写体のジェスチャ動作をメモリに記憶する。そして、第２の被写体のジェスチャ動作を認識した後、当該第２の被写体のジェスチャ動作がメモリに記憶した第１の被写体のジェスチャ動作と同一の制御命令に対応するジェスチャ動作であるか否かを判定する。そして、その比較結果に応じて制御命令を実行するか否かを決定するようにしたので、複数の被写体によるジェスチャ動作が連続的に行われた場合であっても、複数のユーザの意図した制御命令を的確に行うことができる。

なお、第１の実施形態では制御装置１００がテレビに搭載されている場合について説明したが、例えば、制御装置１００はＤＶＤ又はＢＤレコーダーに搭載するようにしてもよい。この場合には、予め登録されているジェスチャ動作に対応する制御命令として、「再生」および「停止」、「早送り」、「巻き戻し」、「一時停止」などの制御命令がジェスチャ動作に対応付けて登録される。

制御装置１００が照明機器に搭載されている場合には、調色・調光のレベルが制御される。この際には、制御命令として、「明るく＋１」、「暗く＋１」、「寒色＋１」、「暖色＋１」および直接明るさを指定する「明るさＭＡＸ」、「省エネライト」、「消灯」などがジェスチャ動作に対応付けて登録される。

［第２の実施形態］
次に、本発明の第２の実施形態による制御装置の一例について説明する。なお、第２の実施形態による制御装置の構成は図１に示す制御装置と同様である。また、ここでは、制御装置１００はテレビに搭載されているものとして説明する。

図６は、本発明の第２の実施形態による制御装置１００の制御動作を説明するためのフローチャートである。なお、図６において、図３に示すステップと同一のステップについては同一の参照部号を付して説明を省略する。

ステップＳ３０５において、制御命令が同一でないと判定すると（ステップＳ３０５において、ＮＯ）、ＣＰＵ１０１は今回の認識完了ジェスチャとメモリ１０３に登録された認識完了ジェスチャとに対応する制御項目を比較する（ステップＳ６２０）。そして、ＣＰＵ１０１は制御項目が同一であるか否かを判定する（ステップＳ６２１）。

図７は、図１に示す制御装置１００に設定された制御項目と制御命令との対応を示す制御テーブルの一例を示す図である。なお、図７に示す制御テーブルは、例えば、ＨＤＤ１０２に記憶されている。

図７において、制御テーブルは制御項目および制御命令を備えており、制御項目とは、例えば、電気機器における制御操作を示している。テレビにおいては、制御項目として「音量操作」および「チャンネル操作」などがあり、これら制御項目に対応付けて制御命令が設定される。例えば、「音量操作」については制御命令として音量「＋１」および「−１」があり、「チャンネル操作」については制御命令としてチャンネル「＋１」およびチャンネル「−１」がある。

また、再生プレーヤーでは、制御項目として「再生操作」があり、「再生操作」について制御命令として「開始」、「停止」、「早送り」、および「巻き戻し」がある。

なお、図７に示す例では、制御テーブルには、制御項目として「カーソル移動（上下）」および「カーソル移動（左右）」があり、「カーソル移動（上下）」については制御命令として「カーソルを上に移動」および「カーソルを下に移動」がある。また、「カーソル移動（左右）」については制御命令として「カーソルを左に移動」および「カーソルを右に移動」がある。

ステップＳ６２０およびＳ６２１１においては、ステップＳ３０５で制御命令が異なると判定した際に、ＣＰＵ１０１は図７に示す制御テーブルを参照して、これら制御命令が同一の制御項目に属するか否かを判定することになる。そして、同一の制御項目に属しないと判定すると（ステップＳ６２１において、ＮＯ）、ＣＰＵ１０１はステップＳ３０６に進んで、認識完了ジェスチャに対応する制御命令を実行する。

一方、制御項目が同一であると判定すると（ステップＳ６２１において、ＹＥＳ）、ＣＰＵ１０１は表示制御部１０４を制御して認識完了ジェスチャに対応する制御命令を実行するか否かを示すメッセージをディスプレイ１０８に表示して、ユーザに通知する（ステップＳ６２２）。なお、ＣＰＵ１０１は図示しないスピーカなどによって音声で通知を行うようにしてもよい。

続いて、ＣＰＵ１０１は上記の通知に応答してユーザが、例えば、操作部１０５から了解の旨を入力したか否かを確認して、制御命令を実行するか否かを判定する（ステップＳ６２３）。制御命令を実行しないと判定すると（ステップＳ６２３において、ＮＯ）、ＣＰＵ１０１は制御処理を終了する。一方、制御命令を実行すると判定すると（ステップＳ６２３において、ＹＥＳ）、ＣＰＵ１０１はステップＳ３０６の処理に進んで、認識完了ジェスチャに対応する制御命令を実行する。

ここで、前述の図４（ｂ）に示す被写体４０２のジェスチャ動作の認識が完了した場合について説明する。この際、被写体４０１のジェスチャ動作の認識は図４（ｂ）の中央図の時に完了しており、メモリ１０３には被写体４０１に係る認識完了ジェスチャが記憶されているものとする。

図４（ｂ）に示す例では、被写体４０２の認識完了ジェスチャに対応する制御命令は「チャンネル操作」の「＋１」、つまり、チャンネルを＋１回すであり、被写体４０１の認識完了ジェスチャに対応する制御命令は「音量操作」の「＋１」、つまり、音量を＋１とするであるので、制御命令が異なっている。従って、ＣＰＵ１０１はステップＳ６２０およびＳ６２１において制御項目が同一であるか否かを判定することになる。

図７に示す制御テーブルにおいては、「チャンネルを＋１回す」の制御項目は「チャンネル操作」であり、「音量を＋１とする」の制御項目は音量操作であるので、ＣＰＵ１０１はステップＳ６２１において制御項目が異なると判定する。この結果、ＣＰＵ１０１はステップＳ３０６において被写体４０１の認定完了ジェスチャに対応する制御命令を実行する。

上述のように、図４（ｂ）に示す被写体４０２は、被写体４０１と異なる制御項目に対応する制御命令を実行するためのジェスチャ動作を行っていたので、ＣＰＵ１０１はステップＳ３０６において被写体４０２のジェスチャ動作に対応する制御命令を実行することになる。一方、被写体４０２のジェスチャ動作が被写体４０１のジェスチャ動作とその制御項目が同一の場合には、ＣＰＵ１０１はステップＳ６２２の処理に移行して、ユーザに制御命令を実行するか否かを通知することになる。

このように、本発明の第２の実施形態では、ＣＰＵ１０１は第１の被写体のジェスチャ動作に対応する制御命令が実行された後、第２の被写体のジェスチャ動作を認識する。そして、ＣＰＵ１０１は第１の被写体のジェスチャ動作に対応する制御命令が属する制御項目と第２の被写体のジェスチャ動作に対応する制御命令が属する制御項目が同一であるか否かを判定する。制御項目が同一であると、第２の被写体のジェスチャ動作に対応する制御命令における制御量が異なっていても、ＣＰＵ１０１は第２の被写体のジェスチャ動作に対応する制御命令を実行しない。

つまり、第１および第２の被写体にジェスチャ動作に対応する制御命令が互いに相反する場合には、ＣＰＵ１０１は第１の被写体のジェスチャ動作に対応する制御命令のみを実行する。そして、ＣＰＵ１０１は第２の被写体のジェスチャ動作に対応する制御命令については実行するか否かをユーザに確認するので、全てのユーザについてその意図した制御命令を適切に行うことができる。

なお、第２の実施形態では制御装置１００がテレビに搭載されている場合について説明したが、例えば、制御装置１００はＤＶＤ又はＢＤレコーダーに搭載するようにしてもよい。この場合には、「再生」および「停止」をグループ化した「再生制御」、そして、「早送り」および「巻き戻し」をグループ化した「スキップ制御」などの制御項目が制御命令に対応付けて制御テーブルに登録される。

また、制御装置１００が照明機器に搭載されている場合には、調色・調光のレベルが制御される。この際には、調色・調光のレベルを変更する「明るく＋１」および「暗く＋１」をグループ化した「調光制御」、そして、「寒色＋１」および「暖色＋１」をグループ化した「調色制御」などの制御項目が制御命令に対応付けて制御テーブルに登録される。

［第３の実施形態］
続いて、本発明の第３の実施形態による制御装置について説明する。なお、第３の実施形態による制御装置の構成は図１に示す制御装置と同様であるので説明を省略する。また、ここでは、制御装置１００は撮像装置に搭載されているものとして説明する。

第３の実施形態による制御装置１００においては、ＨＤＤ１０２には、ジェスチャ認識用辞書データが格納される。ジェスチャ認識用辞書データとは、ジェスチャ認識用の動きベクトル変化を示すデータである。ＣＰＵ１０１は、メモリ１０３に格納された画像データから動きベクトルなどの動作特徴量を検出して、その検出結果をメモリ１０３に記録する。なお、ここでは、動きベクトルの検出の際には、勾配法又はブロックマッチングなどの動きベクトル検出手法が用いられる。

ＣＰＵ１０１は、動きベクトルとジェスチャ認識用辞書データと照合して類似するものがあるか否かを判定する。この照合の際には、数学的な相似計算が行われるか又はパターンマッチングなどの照合手法が用いられる。

図８は本発明の第３の実施形態による制御装置１００においてＣＰＵ１０１で行われる動きベクトル変化の解析処理を説明するためのフローチャートである。

動きベクトル変化解析処理が開始されると、ＣＰＵ１０１はメモリ１０３に格納された画像データにおいて前回のフレームから今回のフレームの間に動きベクトルが検出されたか否かを判定する（ステップＳ８０１）。動きベクトルが検出されないと（ステップＳ８０１において、ＮＯ）、ＣＰＵ１０１は処理を終了する。

一方、動きベクトルが検出されると（ステップＳ８０１において、ＹＥＳ）、ＣＰＵ１０１は検出された動きベクトルから判定対象の動きベクトルを選択する（ステップＳ８０２）。そして、ＣＰＵ１０１は所定のフレーム数以内で過去に遡って判定対象の動きベクトルの始点が終点となる動きベクトルが存在するか否かを判定する（ステップＳ８０３）。

判定対象の動きベクトルの始点が終点となる動きベクトルが存在すると（ステップＳ８０３において、ＹＥＳ）、ＣＰＵ１０１は今回検出した動きベクトルは過去に検出した動きベクトルの継続動作であると判定する（ステップＳ８０４）。そして、ＣＰＵ１０１は今回検出した動きベクトルに関する動きベクトル情報を継続動作とした過去の動きベクトルの動きベクトル変化履歴に追加してメモリ１０３に保存する（ステップＳ８０５）。

続いて、ＣＰＵ１０１は、検出した動きベクトルの全てについて継続動作又は新規動作であるかの解析が終了したか否かを判定する（ステップＳ８０６）。全ての動きベクトルについて解析が終了すると（ステップＳ８０６において、ＹＥＳ）、ＣＰＵ１０１は解析処理を終了する。一方、全ての動きベクトルについて解析が終了していなと（ステップＳ８０６において、ＮＯ）、ＣＰＵ１０１は検出した動きベクトルから判定対象とする次の動きベクトルを選択して（ステップＳ８０７）、ステップＳ８０３の処理に戻る。

判定対象の動きベクトルの始点が終点となる動きベクトルが存在しないと（ステップＳ８０３において、ＮＯ）、ＣＰＵ１０１は今回検出した動きベクトルは過去との継続性がなく、検出した動きベクトルは新規動作であると判定する（ステップＳ８０８）。そして、ＣＰＵ１０１は今回検出した動きベクトルに係る動きベクトル情報について、新規の動きベクトル変化履歴を作成してメモリ１０３保存する（ステップＳ８０９）。その後、ＣＰＵ１０１はステップＳ８０６の処理に進む。

このようにして、ＣＰＵ１０１は所定フレーム数以内の過去に遡ることによって、ジェスチャ動作の可能性がある動きベクトル変化履歴をメモリ１０３に保存する。

図９は本発明の第３の実施形態による制御装置１００においてＣＰＵ１０１で行われるジェスチャ認識処理を説明するためのフローチャートである。

ジェスチャ認識処理を開始すると、ＣＰＵ１０１は、メモリ１０３に保存された動きベクトル変化履歴から認識対象とする動きベクトル変化履歴を選択する（ステップＳ９０１）。続いて、ＣＰＵ１０１は、選択した動きベクトル変化履歴について、後述の第１特徴動作まで動きベクトル変化履歴が類似するジェスチャ動作がジェスチャ認識用辞書データに存在するか否かを判定する（ステップＳ９０２）。

図１０は、本発明の第３の実施形態による制御装置１００で行われるジェスチャ認識を説明するための図である。そして、図１０（ａ）はジェスチャ認識に用いられる連続画像を示す図であり、図１０（ｂ）は検出した動きベクトルを示す図である。また、図１０（ｃ）は図８で説明した変化解析処理後の動きベクトルを示す図であり、図１０（ｄ）は図１に示すＨＤＤ１０２記録されたジェスチャ認識用辞書に登録される動きベクトルを示す図である。また、図１０（ｅ）は特徴動作として登録される動きベクトルが検出されるジェスチャ動作の一例を示す図である。

図１０（ａ）において、（１）の画像は時刻Ｔにおける画像を示し、（２）の画像は時刻ＴからＸ経過後の時刻Ｔ２に画像を示す。（３）の画像は時刻Ｔ２からＸ経過後の時刻Ｔ３における画像を示し、（４）の画像は時刻Ｔ３からＸ経過後の時刻Ｔ４における画像を示す。また、参照番号１００１は撮像範囲を示し、画像には被写体１００２および１００３が存在する。

図１０（ｂ）において、（１）は時刻Ｔと時刻Ｔ２間の動きベクトル１００４および１００５を示し、（２）は時刻Ｔ２と時刻Ｔ３間の動きベクトル１００６を示す。また、（３）は時刻Ｔ３と時刻Ｔ４間の動きベクトル１００７および１００８を示す。

図１０（ｂ）に示す動きベクトル１００４〜１００８について、図８で説明した変化解析処理を行うと、図１０（ｃ）に示すように、（１）において時刻Ｔ２までの動きベクトル１００４および１００５、（２）において時刻Ｔ３までの動きベクトル１００６、そして、（３）において時刻Ｔ４までの動きベクトル１００７が得られる。

つまり、図１０（ｂ）に示すような動きベクトルの変化があると、図１０（ｃ）の（１）では動きベクトル１００４および１００５が新規動作としてメモリ１０３に保存される。また、図１０（ｃ）の（１）では動きベクトル１００４の継続動作として動きベクトル１００６が追加でメモリ１０３に保存される。そして、図１０（ｃ）の（３）ででは動きベクトル１００４の継続動作である動きベクトル１００６の継続動作として動きベクトル１００７が追加でメモリ１０３保存される。なお、図１０（ｃ）において、動きベクトル１００４、１００６、および１００７は一連の動作として扱われる。

図１０（ｄ）に示すように、ハードディスク１０２記録されたジェスチャ認識辞書に動きベクトルが辞書データとして登録される。図１０（ｄ）の（１）に示す動きベクトル１００９は図中上から下へ向かう動きベクトルであり、第１特徴動作とされる。図１０（ｄ）の（２）に示す動きベクトル１０１０は下から上に向かう動きベクトルで、で、第２特徴動作とされる。そして、図１０（ｄ）の（３）に示す動きベクトル１０１１は中心から周囲に向かう動きベクトルであり、第３特徴動作とされる。

図１０（ｅ）の（１）では、腕を上から下に下ろすジェスチャ動作が示され、図１０（ｅ）の（２）では腕を下から上に上げるジェスチャ動作が示されている。また、図１０（ｅ）の（３）では、手の平を広げるジェスチャ動作が示されている。

図１０（ａ）の（１）から（２）においては、図１０（ｅ）の（１）に示すジェスチャ動作が含まれており、このジェスチャ動作は図１０（ｄ）の（１）に示す第１特徴動作と類似している。そこで、例えば、図１０（ｃ）の（１）に示す動きベクトル１００４又は１００５が存在すれば、類似するジェスチャ動作がジェスチャ認識用辞書にあると判定されることになる。

選択した動きベクトル変化履歴において、第１特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書データに存在すると（ステップＳ９０２において、ＹＥＳ）、ＣＰＵ１０１は、選択した動きベクトル変化履歴について第２特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在するか否かを判定する（ステップＳ９０３）。

図１０（ａ）の（２）から（３）に示す例では、図１０（ｅ）の（２）に示すジェスチャ動作が含まれているので、図１０（ｄ）の（２）に示す第２特徴動作と類似している。そこで、図１０（ｃ）の（２）に示す動きベクトル１００４に続く動きベクトル１００６が存在すると、ＣＰＵ１０１は類似するジェスチャ動作がジェスチャ認識用辞書にあると判定することになる。

一方、図１０（ｃ）の（２）で示すように、図１０（ｃ）の（１）に示す動きベクトル１００５に続くジェスチャ動作が検出されないと、ＣＰＵ１０１は動きベクトル１００５に続く第２特徴動作が出現していないと判定する。

選択した動きベクトル変化履歴について第２特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在すると（ステップＳ９０３において、ＹＥＳ）、ＣＰＵ１０１は選択した動きベクトル変化履歴がジェスチャ認識用辞書の第２特徴動作まで類似し第３特徴動作まで類似する可能性があるとする。そして、ＣＰＵ１０１はジェスチャ認識途中フラグをオンとする（ステップＳ９０４）。

続いて、ＣＰＵ１０１は選択した動きベクトル変化履歴について第３特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在するか否かを判定する（ステップＳ９０５）。選択した動きベクトル変化履歴について第３特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在すると（ステップＳ９０５において、ＹＥＳ）、ＣＰＵ１０１は選択した動きベクトル変化履歴についてジェスチャ認識に成功とする。そして、ＣＰＵ１０１はジェスチャ認識途中フラグをオフにする（ステップＳ９０６）。

次に、ＣＰＵ１０１はジェスチャ動作の認識に成功したとし、現在保存中の他の動きベクトル変化履歴を全て削除する（ステップＳ９０７）。そして、ＣＰＵ１０１はジェスチャ認識処理を終了する。

選択した動きベクトル変化履歴について第３特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在しないと（ステップＳ９０５において、ＮＯ）、ＣＰＵ１０１は選択した動きベクトル変化履歴に未だ第３特徴動作が出現していないか否かを判定する（ステップＳ９０８）。選択した動きベクトル変化履歴に未だ第３特徴動作が出現していないと（ステップＳ９０８において、ＹＥＳ）、ＣＰＵ１０１は第１特徴動作を継続中か又は第２特徴動作に移る前の一時停止中である可能性があるする。そして、ＣＰＵ１０１は次回に再判定を行うため、選択した動きベクトル変化履歴を再保存する（ステップＳ９０９）。

続いて、ＣＰＵ１０１は保存中の動きベクトル変化履歴の全てについてジェスチャ認識が終了したか否かを判定する（ステップＳ９１０）。保存中の動きベクトル変化履歴の全てについてジェスチャ認識が終了すると（ステップＳ９１０において、ＹＥＳ）、ＣＰＵ１０１はジェスチャ認識処理を終了する。

一方、保存中の動きベクトル変化履歴の全てについてジェスチャ認識が終了していないと（ステップＳ９１０において、ＮＯ）、ＣＰＵ１０１は保存された動きベクトル変化履歴から認識対象とする次の動きベクトルを選択して（ステップＳ９１１）、ステップＳ９０２の処理に戻る。

選択した動きベクトル変化履歴に第３特徴動作が出現していると（ステップＳ９０８において、ＮＯ）、ＣＰＵ１０１は選択した動きベクトル変化履歴に類似するジェスチャ動作がジェスチャ認識用辞書に登録されていないとする。そして、ＣＰＵ１０１は選択した動きベクトル変化履歴を削除して（ステップＳ９１２）、ステップＳ９１０の処理に進む。

選択した動きベクトル変化履歴について第２特徴動作まで類似するジェスチャ動作がジェスチャ認識用辞書に存在しないと（ステップＳ９０３において、ＮＯ）、ＣＰＵ１０１は選択した動きベクトル変化履歴に未だ第２特徴動作が出現していないか否かを判定する（ステップＳ９１３）。選択した動きベクトル変化履歴に未だ第２特徴動作が出現していないと（ステップＳ９１３において、ＹＥＳ）、ＣＰＵ１０１は次回に再判定を行うため、選択した動きベクトル変化履歴を再保存する（ステップＳ９１４）。そして、ＣＰＵ１０１はステップＳ９１０の処理に進む。

一方、選択した動きベクトル変化履歴に第２特徴動作が出現していると（ステップＳ９１３において、ＮＯ）、ＣＰＵ１０１は選択した動きベクトル変化履歴に類似するジェスチャ動作がジェスチャ認識用辞書に登録されていないとする。そして、ＣＰＵ１０１は選択した動きベクトル変化履歴を削除して（ステップＳ９１５）、ステップＳ９１０の処理に進む。

上述のように、制御装置１００はジェスチャ認識用辞書に記録されたジェスチャ動作と最後まで類似するジェスチャ動作を認識するジェスチャ認識成功を判定する。さらに、制御装置１００は途中までのジェスチャ動作の類似を認識するジェスチャ認識途中状態を判定する。

続いて、上述した制御装置１００が搭載されたビデオカメラを例に挙げて説明する。そして、ここでは、ジェスチャ認識途中に赤外線リモートコントローラ（図示せず）から操作信号を受信した際に当該操作信号によるビデオカメラの制御を制限する例について説明する。

図１に示す制御装置１００において、操作部１０５を操作してユーザが電源を入れると、電源部（図示せず）から制御装置１００に電源が供給される。電源が投入された後、ビデオカメラによって撮影を開始する前に、ジェスチャ認識途中で操作部１０５又は通信部１０７から操作信号がＣＰＵ１０１に送られたとする。なお、制御装置１００には予め制御制限レベルが選択設定される。

図１１は本発明の第３の実施形態による制御装置１００においてＣＰＵ１０１の制御制限レベル選択を説明するためのフローチャートである。

ユーザが、例えば、操作部１０５を用いて制御制限レベル選択指示を入力すると、ＣＰＵ１０１は制御制限レベル選択処理を開始する。

まず、ＣＰＵ１０１はジェスチャ認識途中において制御制限レベル選択操作を促す画面を、表示制御部１０４を介してディスプレイ１０８に表示する（ステップＳ１１０１）。続いて、ＣＰＵ１０１は操作部１０５において制御制限レベルを確定する操作が行われたか否かを判定する（ステップＳ１１０２）。制御制限レベルを確定する操作が行われないと（ステップＳ１１０２において、ＮＯ）、ＣＰＵ１０１は待機する。

一方、制御制限レベルを確定する操作が行われると（ステップＳ１１０２において、ＹＥＳ）、ＣＰＵ１０１はユーザが選択した制御制限レベルをＨＤＤ１０２に保存して（ステップＳ１１０３）、制御制限レベル選択処理を終了する。

図１２は、図１１で説明した制御制限レベルで設定される制御制限内容を規定する制御制限テーブルの一例を示す図である。なお、この制御制限テーブルは、例えば、ＨＤＤ１０２に格納されている。

図１２において、制御制限レベルとして、「無制限」、「推奨制限」、および「全制限」がある。「無制限」の場合には、ＣＰＵ１０１は操作部１０５又は通信部１０７から送られる操作信号に応じた制御を制限しない。「推奨制限」の場合には、ＣＰＵ１０１は操作部１０５又は通信部１０７から送られた操作信号に応じた制御のうち所定の制御のみ制限する。

ここで、所定の制御は後述するように予め指定されており、例えば、撮影画質変化によって撮影画像が時系列情報として使用できなくなるような変化を惹起する制御をいう。

「全制限」の場合には、ＣＰＵ１０１は操作部１０５又は通信部１０７から送られた操作信号に応じた制御を全て制限する。この場合には、ジェスチャ認識による操作以外は全て制限されることになる。

図１３は、図１２で説明した所定の制御に該当する制御および該当しない制御の一覧である特定制御テーブルの一例を示す図である。なお、この特定制御テーブルは、例えば、ＨＤＤ１０２に格納されている。

図１３において、所定の制御に該当する制御には、ズーム操作、ホワイトバランス（つまり、色相）変更、スローシャッター（つまり、フレームレートの変更）、絞り手動変更、およびフォーカス手動変更がある。手動ズーム操作においては画角の変化が生じ、ジェスチャを行っている被写体においてその手および指が画角外に外れる恐れがある。このため、ズーム操作は所定の制御に該当するとされる。

手動操作によるホワイトバランス変更においては、ジェスチャ認識に用いる色情報における時系列方向の連続性が断ち切られる恐れがある。このため、ホワイトバランス変更は所定の制御に該当するとされる。動画撮影中におけるスローシャッターへの変更では、撮像素子における蓄積時間が変わるので、ジェスチャ認識に用いる画像情報において時系列方向の連続性が断ち切られる恐れがある。このため、スローシャッターは所定の制御に該当するとされる。

手動操作による絞り変更においては、ジェスチャ認識に用いる輝度情報においてその時系列方向の連続性が断ち切られる恐れがある。このため、絞り手動変更は所定の制御に該当するとされる。手動操作によるフォーカス変更においては、焦点位置が変わるのでジェスチャ認識に用いる画像情報においてその時系列方向の連続性が断ち切られる恐れがある。このため、フォーカス手動変更は所定の制御に該当するとされる。

一方、所定の制御に該当しない制御には、動画撮影中の静止画記録、動画撮影開始トリガ、および動画撮影終了トリガがある。動画撮影中の静止画記録とは、撮影中の動画の１フレームを静止画ファイルとして動画ファイルとは別にドライブ装置１０６に記録することをいう。静止画記録はジェスチャ認識に用いる画像に影響を与えないので、所定の制御に該当しない。

動画撮影開始トリガは、動画を動画ファイルとしてドライブ装置１０６に記録することを開始するものであり、ジェスチャ認識に用いる画像に影響を与えないので、特定制御に該当しない。動画撮影終了トリガは、動画ファイルのドライブ装置１０６への記録を終了するものであり、ジェスチャ認識に用いる画像に影響を与えないので、特定制御に該当しない。

図１４は、本発明の第３の実施形態による制御装置１００においてＣＰＵ１０１で行われる主制御処理を説明するためのフローチャートである。

主制御処理を開始すると、ＣＰＵ１０１は、通信部１０７から操作信号（つまり、操作入力）が送られてきたか否かを判定する（ステップＳ１４０１）。通信部１０７から操作信号が送られてくると（ステップＳ１４０１において、ＹＥＳ）、ＣＰＵ１０１は前述のジェスチャ認識途中フラグがオンであるか否かを判定する（ステップＳ１４０２）。

ジェスチャ認識途中フラグがオンであると（ステップＳ１４０２において、ＹＥＳ）、ＣＰＵ１０１は操作信号に関して後述の制限処理を行う（ステップＳ１４０３）。そして、ＣＰＵ１０１は主制御処理を終了する。

図１５は、図１４に示すステップＳ１４０３の制限処理を説明するためのフローチャートである。

制限処理を開始すると、ＣＰＵ１０１は、図１１で説明した制御制限レベル選択で選択された制御制限レベルが無制限であるか否かを判定する（ステップＳ１５０１）。制御制限レベルが無制限であると（ステップＳ１５０１において、ＹＥＳ）、ＣＰＵ１０１は操作信号に応じた制御を実行して（ステップＳ１５０２）、制限処理を終了する。

一方、制御制限レベルが無制限でないと（ステップＳ１５０１において、ＮＯ）、ＣＰＵ１０１は制御制限レベル選択で選択された制御制限レベルが推奨制限であるか否かを判定する（ステップＳ１５０３）。制御制限レベルが推奨制限でないと（ステップＳ１５０３において、ＮＯ）、ＣＰＵ１０１は当該操作信号に係る制御が全制限されているとして、この制御信号を削除する（ステップＳ１５０４）。そして、ＣＰＵ１０１は、表示制御部１０４を介して、受信した操作信号に係る操作（つまり、制御）が制限中の操作であることをディスプレイ１０８に表示して（ステップＳ１５０５）、主制御処理を終了する。

制御制限レベルが推奨制限であると（ステップＳ１５０３において、ＹＥＳ）、ＣＰＵ１０１は、図１３に示す特定制御テーブルを参照して、操作信号に応じて行われる制御が所定の制御に該当するか否かを判定する（ステップＳ１５０６）。操作信号に応じて行われる制御が所定の制御に該当しないと（ステップＳ１５０６において、ＮＯ）、ＣＰＵ１０１は当該操作信号に応じた制御を実行する（ステップＳ１５０７）。そして、ＣＰＵ１０１は主制御処理を終了する。

操作信号に応じて行われる制御が所定の制御に該当すると（ステップＳ１５０６において、ＹＥＳ）、ＣＰＵ１０１は操作信号に係る制御がホワイトバランス変更であるか否かを判定する（ステップＳ１５０８）。操作信号に係る制御がホワイトバランス変更でないと（ステップＳ１５０８において、ＮＯ）、ＣＰＵ１０１は操作信号に係る制御がスローシャッター変更であるか否かを判定する（ステップＳ１５０９）。

操作信号に係る制御がスローシャッター変更でないと（ステップＳ１５０９において、ＮＯ）、ＣＰＵ１０１は操作信号に係る制御が絞り変更であるか否かを判定する（ステップＳ１５１０）。操作信号に係る制御が絞り変更でないと（ステップＳ１５１０において、ＮＯ）、ＣＰＵ１０１は操作信号に係る制御がフォーカス変更であるとして、当該操作信号を削除する（ステップＳ１５１１）。そして、ＣＰＵ１０１は、表示制御部１０４を介して、受信した操作信号に係る操作が制限中の操作であることをディスプレイ１０８に表示して（ステップＳ１５１２）、主制御処理を終了する。

操作信号に係る制御が絞り変更であると（ステップＳ１５１０において、ＹＥＳ）、ＣＰＵ１０１は当該操作信号に係る制御についてその制御量を所定の制御量に制限して実行する（ステップＳ１５１３）。そして、ＣＰＵ１０１はステップＳ１５１２の処理に移行する。

操作信号に係る制御がスローシャッター変更であると（ステップＳ１５０９において、ＹＥＳ）、ＣＰＵ１０１は当該操作信号をジェスチャ認識の完了まで待機させる操作信号であるとして、この操作信号を一旦メモリ１０４に保存する（ステップＳ１５１４）。そして、ＣＰＵ１０１は表示制御部１０４を介して、受信した操作信号に係る操作が制限中の操作であることをディスプレイ１０８に表示して（ステップＳ１５１５）、主制御処理を終了する。

操作信号に係る制御がホワイトバランス変更であると（ステップＳ１５０８において、ＹＥＳ）、ＣＰＵ１０１はステップＳ１５１４の処理に進む。

このように制御制限レベルが推奨制限であると、ＣＰＵ１０１は操作信号に係る制御が所定の制御であると、当該所定の制御の一部についてはジェスチャ認識の完了まで待機させるか又は時系列的な映像変化を所定の制御量によって制限することになる。

再び、図１４を参照して、ジェスチャ認識途中フラグがオフであると（ステップＳ１４０２において、ＮＯ）、ＣＰＵ１０１はジェスチャ認識完了まで待機中の操作信号があるか否かを判定する（ステップＳ１４０４）。ジェスチャ認識完了まで待機中の操作信号があると（ステップＳ１４０４において、ＹＥＳ）、ＣＰＵ１０１は待機中の操作信号に係る処理を実行して（ステップＳ１４０５）、主制御処理を終了する。

一方、ジェスチャ認識完了まで待機中の操作信号がないと（ステップＳ１４０４において、ＮＯ）、ＣＰＵ１０１は通信部１０７又は操作部１０５から入力される操作信号を優先して、当該操作信号に応じた制御を実行する（ステップＳ１４０６）。そして、ＣＰＵ１０１は主制御処理を終了する。

通信部１０７から操作信号が送られてこないと（ステップＳ１４０１において、ＮＯ）、ＣＰＵ１０１は操作部１０５から操作信号があるか否かを判定する（ステップＳ１４０７）。操作部１０５から操作信号があると（ステップＳ１４０７において、ＹＥＳ）、ＣＰＵ１０１はステップＳ１４０２の処理に進む。

一方、操作部１０５から操作信号がないと（ステップＳ１４０７において、ＮＯ）、ＣＰＵ１０１はジェスチャ認識途中フラグがオンであるか否かを判定する（ステップＳ１４０８）。ジェスチャ認識途中フラグがオンであると（ステップＳ１４０８において、ＹＥＳ）、ＣＰＵ１０１は主制御処理を終了する。

ジェスチャ認識途中フラグがオフであると（ステップＳ１４０８において、ＮＯ）、ＣＰＵ１０１はジェスチャ認識完了まで待機中の操作信号があるか否かを判定する（ステップＳ１４０９）。ジェスチャ認識完了まで待機中の操作信号があると（ステップＳ１４０９において、ＹＥＳ）、ＣＰＵ１０１は待機中の操作信号に係る処理を実行して（ステップＳ１４１０）、主制御処理を終了する。

ジェスチャ認識完了まで待機中の操作信号がないと（ステップＳ１４０９において、ＮＯ）、ＣＰＵ１０１は主制御処理を終了する。

上記のように、本発明の第３の実施形態では、被写体のジェスチャ動作開始から予め設定された段階まで被写体のジェスチャ動作が登録ジェスチャと一致すると、通信部１０７又は操作部１０５から操作信号を受けたとしても当該操作信号に応じた制御命令の実行を制限することになる。例えば、ＣＰＵ１０１は通信部１０７又は操作部１０５から操作信号に応じた制御命令の実行を制限する際、当該制御命令を実行するタイミングを所定のタイミングだけ遅延させる。

このように、本発明の第３の実施形態では、制御装置１００がジェスチャ認識途中であると、通信部１０７又は操作部１０５から入力される操作信号に係る制御命令において時系列情報として用いることができなくなる撮影画質変化を生じる制御を制限する。従って、制御装置１００におけるジェスチャ認識の失敗を低減することができる。その結果、ユーザはジェスチャ動作による制御が行い易くなる。

［第４の実施形態］
次に、本発明の第４の実施形態による制御装置の一例について説明する。なお、第４の実施形態における制御装置１００の構成は図１に示す制御装置の構成と同様である。また、ここでは、制御装置１００は撮像装置に搭載されているものとして説明する。

第４の実施形態による制御装置１００では、ＣＰＵ１０１は撮像部１１０による撮影の結果得られた画像データに応じて、被写体検出処理を行うが、ここでは、例えば、被写体検出処理として画像データが示す画像における人物顔検出、人物顔の位置、その大きさ、性別、年齢、および顔特徴などの算出が行われる。なお、図示はしないが、制御装置１００にはマイクなどの音声検出部が備えられており、マイクから入力された音声は、ＣＰＵ１０１で処理されて画像データに対応付けてＨＤＤ１０２に音声情報として記録される。

ＣＰＵ１０１は後述するようにして、画像データに応じて被写体によるジェスチャ動作の検出を行うが、ＣＰＵ１０１が検出すべきジェスチャ動作は、予めメモリ１０３に格納され、これらジェスチャ動作に対してＣＰＵ１０１が行うべき制御が割り当てられている。

図１６は、本発明の第４の実施形態による制御装置１００の制御動作を説明するためフローチャートである。

制御装置１００の電源が投入されると、ＣＰＵ１０１はまず制御装置１００の初期化処理を行って、撮影動作を行う。この際、メモリ１０３のＲＯＭに格納されたプログラムがメモリ１０３のＲＡＭに展開されて、ＣＰＵ１０１は当該プログラムを実行する。そして、撮像部１１０はＣＰＵ１０１の制御下で撮影動作を開始する。

撮像部１１０による撮影の結果得られた画像データが示す画像において、ＣＰＵ１０１は被写体（人物）の検出を行う。被写体が検出されると、ＣＰＵ１０１は当該被写体がメモリ１０２のＲＯＭに予め格納されたジェスチャ動作に対応するジェスチャ動作を行っているか否かを検出する検出処理を行う（ステップＳ１６０１）。なお、当該検出処理の際には、例えば、被写体の手が特定の状態で静止していることを検出するようにしてもよく、又は被写体が所定の動作を行うことによって完結するジェスチャを検出するようにしてもよい。

図１７は、本発明の第４の実施形態による制御装置１００によるジェスチャ検出および制御命令の第１の例を説明するための図である。そして、図１７（ａ）はディスプレイ１０８に表示されたジェスチャ動作を示す図であり、図１７（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。なお、図１７（ｂ）に示す制御テーブルは、例えば、メモリ１０２のＲＯＭに格納されている。

ここでは、ＣＰＵ１０１は表示制御部１０４を介してディスプレイ１０８に画像データに応じた画像を表示する。図示の例では、被写体１７０１はジェスチャ動作として「左手振り」を行っており、被写体１７０２はジェスチャ動作として「右手振り」を行っている。ジェスチャ動作が「右手振り」であると、ＣＰＵ１０１は制御命令が「ズームイン（Ｚｏｏｍ ＩＮ）」１７０４であるとする。また、ジェスチャ動作が「左手振り」であると、ＣＰＵ１０１は制御命令が「ズームアウト（Ｚｏｏｍ ＯＵＴ）」１７０３であるとする。

なお、ステップＳ１６０１の処理では、ＣＰＵ１０１は画像において被写体１７０１および１７０２を検出して、それぞれ左手振りおよび右手振りのジェスチャ動作を検出したものとする。

続いて、ＣＰＵ１０１はジェスチャ動作が検出されたか否かを判定する（ステップＳ１６０２）。ジェスチャ動作が検出されないと判定すると（ステップＳ１６０２において、ＮＯ）、ＣＰＵ１０１はステップＳ１６０１の処理に戻って、続く画像においてジェスチャ動作の検出を行う。

ジェスチャ動作が検出されたと判定すると（ステップＳ１６０２において、ＹＥＳ）、ＣＰＵ１０１は検出した制御命令テーブルを参照してジェスチャ動作に対応する制御命令を特定する。そして、複数のジェスチャ動作が検出されている場合には、ＣＰＵ１０１はこれらジェスチャ動作に対応する制御命令相互の優先度判定処理を行うとともに、制御命令が重複しているかを判定する重複判定処理を行う（ステップＳ１６０３：優先度・重複判定処理）。次に、ＣＰＵ１０１は優先度・重複判定処理の結果に応じてディスプレイ１０８の表示を切り替えるリフレッシュ処理を行う（ステップＳ１６０４）。

図１７に示す例では、被写体１７０１および被写体１７０２は互いに異なるジェスチャ動作を行っており、これらジェスチャ動作に対応する制御命令に優先度（優先順位ともいう）の相違がない。ここでは、ＣＰＵ１０１は表示制御部１０４を制御して被写体１７０１に関連付けてズームアウト１７０３の要求を示す要求命令表示をディスプレイ１０８に表示する。また、ＣＰＵ１０１は表示制御部１０４を制御して被写体１７０２に関連付けてズームイン１７０４の要求を示す要求命令表示をディスプレイ１０８に表示する。

ここで、図１６に示すステップＳ１６０３において複数のジェスチャ動作に対応する制御命令で優先度の相違又は制御命令の重複があった場合の処理について説明する。

図１８は、本発明の第４の実施形態による制御装置１００によるジェスチャ検出および制御命令の第２の例を説明するための図である。そして、図１８（ａ）はディスプレイに表示されたジェスチャ動作を示す図であり、図１８（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

ここでは、図１８（ａ）に示すように、被写体１８０１および１８０２は双方ともに「右手振り」のジェスチャ動作を行っている。そして、図１８（ｂ）に示すように、ジェスチャ動作が「右手振り」であると、制御命令は「録画開始」となる。なお、図１８（ａ）に示す例では、被写体１８０２の方が被写体１８０１よりも早くジェスチャ動作を開始したものとする。

ここでは、被写体１８０１および１８０２ともにジェスチャ動作によって録画開始要求を行っていることになるが、この要求は互いに重複する要求であって、２回連続して実行する必要のない要求である。このため、ＣＰＵ１０１は画面を見易くするため、優先度・重複判定処理において被写体１８０２が優先するとして、被写体１８０１に関連付けた要求命令表示を行わずに、被写体人物１８０２に関連付けて「録画（ＲＥＣ）」１８０３を要求命令表示として、表示制御部１０４を介してディスプレイ１０８に表示する。

図１９は本発明の第４の実施形態による制御装置１００によるジェスチャ検出および制御命令の第３の例を説明するための図である。そして、図１９（ａ）はディスプレイに表示されたジェスチャ動作を示す図であり、図１９（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

ここでは、図１９（ａ）に示すように、被写体１９０１および１９０２はそれぞれ「左手振り」および「右手振り」のジェスチャ動作を行っている。そして、図１９（ｂ）に示すように、ジェスチャ動作が「右手振り」であると、制御命令は「ズームイン」となり、ジェスチャ動作が「左手振り」であると、制御命令は「ズームアウト」となる。なお、ここでは、ステップＳ１６０３の優先度・重複判定処理において、ＣＰＵ１０１は被写体１９０２のジェスチャ動作の方が被写体１９０１のジェスチャ動作よりも優先度が高いと判定したものとする。

この場合には、ＣＰＵ１０１は表示制御部１０４を制御して被写体１９０１に関連付けてズームアウト１９０３の要求を示す要求命令表示をディスプレイ１０８に表示する。また、ＣＰＵ１０１は表示制御部１０４を制御して被写体１９０２に関連付けてズームイン１９０４の要求を示す要求命令表示をディスプレイ１０８に表示する。この際、ＣＰＵ１０１は優先度の高いズームイン１９０４の要求を示す要求命令表示を点滅させて強調表示する（つまり、表示形態を変更することになる）。

続いて、図１６に示すステップＳ１６０３で行われる優先度判定について説明する。

ＣＰＵ１０１は被写体１９０１および１９０２について個人認証を行っており、被写体１９０１および１９０２が今までに行ったジェスチャ動作に要求の回数をカウントする。そして、ＣＰＵ１０１はカウントされたジェスチャ動作による要求の回数が多い被写体についてその要求の優先度を高く設定する。

図１９に示す例では、被写体１９０２の方が被写体１９０１よりもジェスチャ動作による要求を多く行っていることになる。このようにして優先度を設定すると、偶然撮像部１１０の画角（つまり、撮影範囲）に入ってきた被写体の偶発的なジェスチャ動作による要求を実行することを防止することができる。

前述のように、ステップＳ１６０４において、ＣＰＵ１０１は表示のリフレッシュ処理を行った後、要求命令表示に対応する制御命令が選択されたか否かを判定する（ステップＳ１６０５）。ここでは、例えば、図１７（ａ）に示すように、ユーザは指１７０５によってディスプレイ１０８に表示されているズームアウト１７０３又はズームイン１７０４をタッチ操作することによって要求命令表示に対応する制御命令を選択する。

要求命令表示に対応する制御命令が選択されないと、つまり、タッチ操作がないと（ステップＳ１６０５において、ＮＯ）、ＣＰＵ１０１はステップＳ１６０１の処理に戻ってジェスチャ動作の検出処理を行う。

要求命令表示に対応する制御命令が選択されると、つまり、タッチ操作があると（ステップＳ１６０５において、ＹＥＳ）、当該タッチ操作によって、ＣＰＵ１０１はそのタッチ位置を検出して、タッチ位置、つまり、要求命令表示に対応する制御命令を実行する（ステップＳ１６０６）。

この際、制御命令が、例えば、ズームイン、ズームアウト、又は露出変更要求などの撮影の結果得られる動画像に影響を与える命令である場合には、これらの制御命令を実行すると、動画像に係る画角又は露出が頻繁に変更されて鑑賞性の悪いものになることがある。このような不都合を防止するため、ＣＰＵ１０１は次のようにして制御命令の実行タイミング変更処理を行う。

図２０は、本発明の第４の実施形態による制御装置１００で行われる制御命令の実行タイミング変更処理の一例を説明するための図である。

ＣＰＵ１０１は前回のジェスチャ動作に対応する制御命令の実行が終了した終了時刻をメモリ１０３に保持する。そして、次にジェスチャ動作に対応する制御命令を実行する際、上記の終了時刻から予め設定された所定の時間が経過していないと、ＣＰＵ１０１は次の制御命令を実行しない。

図２０に示す例では、前回の実行命令が終了してから所定の時間Ｔが経過する前に、ユーザが図１７（ａ）に示すズームイン１７０４を示す命令要求表示をタッチ操作したものとする。この場合、前回の制御命令の実行期間が終了してから所定の時間Ｔが経過した後、ＣＰＵ１０１はタッチ操作されたズームイン１７０４に対応する制御命令（つまり、ズームイン命令）を実行する。図示の例においては、ズームインは所謂電子ズームによって行われる。

図２１は、図１７に示す状態においてズームインがタッチ操作された際にディスプレイに表示される画像を説明するための図である。そして、図２１（ａ）はズームイン前の画像を示す図であり、図２１（ｂ）はズームイン後の画像を示す図である。

図２１（ａ）に示すズームイン１７０４がタッチ操作されると、ＣＰＵ１０１は当該タッチ操作に応じた制御命令であるズームイン命令を実行する。これによって、ディスプレイ１０８には被写体１７０１が電子ズームでズームインされた画角で表示される。

図１６を参照して、続いて、ＣＰＵ１０１はジェスチャ動作に対応する制御命令の実行によって要求命令表示のリフレッシュ処理を行う（ステップＳ１６０７）。ここでは、ズームイン１７０４に対応する制御命令が実行されたので、ＣＰＵ１０１は表示制御部１０４を制御してズームイン１７０４を示す要求命令表示をディスプレイ１０８の画面から消去する。この後、ＣＰＵ１０１はステップＳ１６０１の処理に戻ってジェスチャ検出処理を行う。

このように、本発明の第４の実施形態では、図１６で説明した処理を行うので、ジェスチャ動作によって撮影操作などを行う意図のない被写体の動きをジェスチャ動作として誤認識してしまう可能性を低減することができる。そして、複数の被写体が頻繁にジェスチャ動作を行った場合でも、動画像の画角が頻繁に変化して鑑賞に堪えない動画像となる可能性を低減することができる。

なお、第４の実施形態では、優先度の高いジェスチャ動作について、図１９（ａ）に示すように要求命令表示を点滅させるようにしたが、別の形態で要求命令表示を表示するようにしてもよい。

図２２は、本発明の第４の実施形態による制御装置１００によるジェスチャ検出および制御命令の第４の例を説明するための図である。そして、図２２（ａ）はディスプレイに表示されたジェスチャ動作を示す図であり、図２２（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

ここでは、図２２（ａ）に示すように、被写体２２０１および２２０２はそれぞれ「左手振り」および「右手振り」のジェスチャ動作を行っている。そして、図２２（ｂ）に示すように、ジェスチャ動作が「右手振り」であると、制御命令は「ズームイン」となり、ジェスチャ動作が「左手振り」であると、制御命令は「ズームアウト」となる。そして、ステップＳ１６０３の優先度・重複判定処理において、ＣＰＵ１０１は被写体２２０２のジェスチャ動作の方が被写体２２０１のジェスチャ動作よりも優先度が高いと判定したものとする。

この場合には、ＣＰＵ１０１は表示制御部１０４を制御して被写体２２０１に関連付けて（破線矢印で示すように）ズームアウト２２０３の要求を示す要求命令表示をディスプレイ１０８に表示する。また、ＣＰＵ１０１は表示制御部１０４を制御して被写体２２０２に関連付けてズームイン２２０４の要求を示す要求命令表示をディスプレイ１０８に表示する。この際、ＣＰＵ１０１はズームアウト２２０３およびズームイン２２０４を画面の左上隅に纏めて表示し、優先度の高いズームイン２２０４を示す要求命令表示を、ズームアウト２２０３を示す要求命令表示の上側に表示する。

さらに、多数の被写体を撮影するシチュエーションにおいては、多数の被写体の要求に応じた方がよいこともある。この場合には、過去にジェスチャ動作による命令要求を行った頻度の少ない被写体の要求命令についてその優先度を高く設定するように制御装置１００を設定変更することができるようにしてもよい。

また、過去に命令要求を行った頻度ではなく、過去に被写体検出された頻度の少ない被写体の要求命令について優先度を高く設定するようにしてもよい。

加えて、ＣＰＵ１０１は検出したジェスチャ動作の検出信頼度（つまり、認識精度）を算出して、検出信頼度の高いジェスチャ動作に係る要求命令の優先度を高くしてディスプレイ１０８に表示するようにしてもよい。このようにすれば、被写体が意図しない要求命令に対してＣＰＵ１０１が制御命令を実行する可能性を低減することができる。

本発明の第４の実施形態では、上述のように、ユーザ（例えば、撮影者）がタッチ操作などの選択操作をすると、ＣＰＵ１０１は当該選択操作に対応する制御命令を実行する。一方、同時刻に予め設定された人数以上（閾値数以上）の被写体が同一のジェスチャ動作を行った際に、ＣＰＵ１０１は当該ジェスチャ動作に対応する制御命令を実行するようにしてもよい。

図２３は、本発明の第４の実施形態による制御装置によるジェスチャ検出および制御命令の第５の例を説明するための図である。そして、図２３（ａ）はディスプレイに表示されたジェスチャ動作を示す図であり、図２３（ｂ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

ここでは、図２３（ａ）に示すように、被写体２３０１〜２３０４はともに「右手振り」のジェスチャ動作を行っている。そして、図２３（ｂ）に示すように、ジェスチャ動作が「右手振り」であると、制御命令は「録画開始」となる。なお、図２３（ａ）に示す例では、被写体２３０１〜２３０４は同時刻にジェスチャ動作を開始したものとする。

いま、閾値数（人数閾値）が”３”であるとすると、図２３（ａ）に示す例では、被写体２３０１〜２３０４の４人が同一のジェスチャ動作を行っているので、ＣＰＵ１０１はユーザの選択操作を待つことなく、当該ジェスチャに対応する制御命令である録画開始を実行する。この際には、ＣＰＵ１０１は表示制御部１０４を制御して、ディスプレイ１０８の画面上に録画開始を示す「ＲＥＣ開始」を点滅表示する。

上述のように、ユーザによって要求命令が選択操作された回数の多い被写体によるジェスチャ動作についてその優先度を高くしている。一方、選択操作された回数（選択回数）ではなく、被写体の検出頻度による検出時間が多い被写体が行うジェスチャ動作についてその優先度を高くするようにしてもよい。なお、優先度（優先順位）の設定を行う際には、選択操作された回数（選択回数）の少ない被写体について優先度を高くするようにしてもよく、被写体の検出頻度による検出時間が少ない被写体について優先度を高くするようにしてもよい。

［第５の実施形態］
続いて、本発明の第５の実施形態による制御装置１００の一例について説明する。なお、第５の実施形態による制御装置１００の構成は図１に示す制御装置と同様である。また、ここでは、制御装置１００は撮像装置に搭載されているものとして説明する。

図２４は、本発明の第５の実施形態による制御装置の制御動作を説明するためのフローチャートである。なお、図２４に示すフローチャートにおいて、図１６と同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ１６０５において、要求命令表示に対応する制御命令が選択されると、つまり、タッチ操作があると、ＣＰＵ１０１は当該制御命令による制御が撮像部１１０による撮影の際に光軸方向の変化を必要とするか否かを判定する（ステップＳ２４０１）。

図２５は、本発明の第５の実施形態による制御装置１００によるジェスチャ検出および制御命令の一例を説明するための図である。そして、図２５（ａ）はズームイン前のディスプレイに表示されたジェスチャ動作を示す図であり、図２５（ｂ）はズームイン後の画面を示す図である。また、図２５（ｃ）はジェスチャ動作に対応する制御命令が規定された制御命令テーブルの一例を示す図である。

図２５（ａ）では、被写体２５０１はジェスチャ動作として「左手振り」を行っており、被写体２５０２はジェスチャ動作として「右手振り」を行っている。ジェスチャ動作が「右手振り」であると、ＣＰＵ１０１は制御命令が「ズームイン」２５０４であるとする。また、ジェスチャ動作が「左手振り」であると、ＣＰＵ１０１は制御命令が「ズームアウト」２５０３であるとする（図２５（ｃ）参照）。

なお、ここでは、ユーザ（撮影者）が被写体２５０２に対応するズームイン２５０４を示す要求命令表示を選択操作したとする。この場合、ＣＰＵ１０１は制御命令に応じて撮像部１１０を制御してズームイン動作を行い、被写体２５０２を中心として、図２５（ｂ）に示す画角で撮影する。この際、電子ズームを用いないと、つまり、光学ズームを用いると、制御装置１００自体を動かしてレンズの光軸方向を変更する必要がある。

制御命令による制御が光軸方向の変化を必要とすると（ステップＳ２４０１において、ＹＥＳ）、ＣＰＵ１０１は、表示制御部１０４を制御して、制御装置１００を動かすこと、つまり、光軸方向を変化させることをユーザに促すＵＩ（ユーザインタフェース）表示をディスプレイ１０８の画面上に表示する。図２５（ａ）に示す例では、ＣＰＵ１０１は矢印２５０５で示すＵＩ表示をディスプレイ１０８に表示して、光軸方向を変化させる方向を報知する。

ユーザは矢印２５０５を目視して矢印２５０５で示す方向に制御装置１００、つまり、撮像部１１０をパン動作させて、被写体２５０２が画角の中央に位置するようにする。そして、ＣＰＵ１０１は光軸が所定の方向となった否かを判定する（ステップ２４０３）。光軸が所定の方向とならないと（ステップＳ２４０３において、ＮＯ）、ＣＰＵ１０１はステップＳ２４０２の処理に戻って、再度ＵＩ表示を行う。図２５（ａ）および（ｂ）に示す例では、ＣＰＵ１０１は被写体２５０２が画角の中央に位置するか否かを判定して、光軸が所定の方向となったか否かを判定することになる。

一方、光軸が所定の方向となると（ステップＳ２４０３において、ＹＥＳ）、ＣＰＵ１０１は、ステップＳ１６０６の処理に移行して制御命令に応じてズームイン動作を行う。

このように、本発明の第５の実施形態では、撮影の際にレンズの光軸方向の変化を伴う制御命令を実行する際、ユーザに光軸方向の変更を促すようにする。これによって、例えば、複数の被写体のジェスチャ動作によってズーム要求などの光軸の変化を伴う要求を受けた際においても、ユーザは光軸方向を適切に変更することができ、かつに光学ズームによってズームを行うことができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを制御装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 制御装置
１０１ ＣＰＵ
１０２ ＨＤＤ
１０３ メモリ
１０４ 表示制御部
１０５ 操作部
１０６ ドライブ装置
１０７ 通信部
１０８ ディスプレイ
１１０ 撮像部

Claims (8)

1. 被写体が行ったジェスチャ動作に応じて機器を制御する制御装置であって、
   予め定められたジェスチャ動作を登録ジェスチャとして記憶する記憶手段と、
   前記被写体を撮影した結果得られた画像に応じて前記被写体が行ったジェスチャ動作が前記記憶手段に登録された登録ジェスチャに存在するか否かを検出する検出手段と、
   前記検出手段によって前記被写体が行ったジェスチャ動作が前記記憶手段に登録された登録ジェスチャに存在すると判定された場合に、前記登録ジェスチャに対応付けられた前記機器を制御するための制御命令を前記画像において前記被写体の各々に対応付けて表示する際に、前記検出手段によって検出された回数が少ない被写体の優先順位を高くして、当該優先順位に基づいて前記制御命令を表示する際の表示形態を異ならせる表示制御手段と、
   前記表示制御手段によって表示された制御命令のうちユーザによって選択された制御命令を実行する制御手段とを有することを特徴とする制御装置。
2. 前記表示制御手段は予め受け付け否とされた制御命令の表示を行わないことを特徴とする請求項１に記載の制御装置。
3. 動画撮影の際において、ユーザによって予め定められた制御命令が選択された後、さらに同一の制御命令が再び選択されると、前記制御手段は前回の制御命令による制御が終了した時刻から所定の時間が経過した後、前記同一の制御命令を実行することを特徴とする請求項１又は２に記載の制御装置。
4. 前記予め定められた制御命令は、露出の変更を行う制御命令あることを特徴とする請求項３に記載の制御装置。
5. 前記予め定められた制御命令は、前記被写体をズームする制御命令であることを特徴とする請求項３記載の撮像装置。
6. 前記検出手段によって前記画像において複数の被写体におけるジェスチャ動作が前記記憶手段に登録された登録ジェスチャに存在すると判定され場合に、前記制御手段は、前記複数の被写体におけるジェスチャ動作に対応する制御命令が同一であって、かつ前記被写体の数が予め設定された閾値数以上であると、ユーザの選択操作に拘わらず、当該制御命令を実行することを特徴とする請求項１〜５のいずれか１項に記載の制御装置。
7. 被写体が行ったジェスチャ動作に応じて機器を制御する制御装置の制御方法であって、
   予め定められたジェスチャ動作を登録ジェスチャとしてメモリに記憶する記憶ステップと、
   前記被写体を撮影した結果得られた画像に応じて前記被写体が行ったジェスチャ動作が前記メモリに登録された登録ジェスチャに存在するか否かを検出する検出ステップと、
   前記検出ステップで前記被写体が行ったジェスチャ動作が前記メモリに登録された登録ジェスチャに存在すると判定された場合に、前記登録ジェスチャに対応付けられた前記機器を制御するための制御命令を前記画像において前記被写体の各々に対応付けて表示する際に、前記検出手段によって検出された回数が少ない被写体の優先順位を高くして、当該優先順位に基づいて前記制御命令を表示する際の表示形態を異ならせる表示制御ステップと、
   前記表示制御ステップで表示された制御命令のうちユーザによって選択された制御命令を実行する制御ステップとを有することを特徴とする制御方法。
8. 被写体が行ったジェスチャ動作に応じて機器を制御する制御装置で用いられる制御プログラムであって、
   前記制御装置が備えるコンピュータに、
   予め定められたジェスチャ動作を登録ジェスチャとしてメモリに記憶する記憶ステップと、
   前記被写体を撮影した結果得られた画像に応じて前記被写体が行ったジェスチャ動作が前記メモリに登録された登録ジェスチャに存在するか否かを検出する検出ステップと、
   前記検出ステップで前記被写体が行ったジェスチャ動作が前記メモリに登録された登録ジェスチャに存在すると判定された場合に、前記登録ジェスチャに対応付けられた前記機器を制御するための制御命令を前記画像において前記被写体の各々に対応付けて表示する際に、前記検出手段によって検出された回数が少ない被写体の優先順位を高くして、当該優先順位に基づいて前記制御命令を表示する際の表示形態を異ならせる表示制御ステップと、
   前記表示制御ステップで表示された制御命令のうちユーザによって選択された制御命令を実行する制御ステップとを実行させることを特徴とする制御プログラム。

Images