JP4561914B2 - 操作入力装置、操作入力方法、プログラム - Google Patents

Description

本発明は、例えば操作入力に応答してしかるべき動作を実行する操作入力装置と、その
方法に関する。また、操作入力装置が実行するプログラムに関する。

特許文献１には、撮影装置として、例えば被撮影者の所定の動きとして、例えば両目が
開いた状態から一方の目が閉じられた後に両目が開いた状態になる動きを検出したときに
シャッターを切って静止画を撮影するようにした構成が記載されている。これにより、遠
隔操作により被撮影者の望むタイミングで撮影が行えるようにしようというものである。

特開２００８−７２１８３号公報

本願発明としても、例えば被写体として撮像されている人などの所定の動作により撮像
装置などの装置をリモートコントロール（遠隔操作）しようというものである。そのうえ
で、このような装置についてより実用性、有用性が高いものが得られるようにすることを
目的とする。

そこで本願発明は上記した課題を解決するために、操作入力装置として次のように構成することとした。
つまり、画像データの画内容において存在する被写体における所定の身体部分を検出する身体部分検出手段と、この身体部分検出手段により上記身体部分が複数検出される場合において、これら複数の身体部分ごとに、優先度設定条件に対応する所定の状態について判定する状態判定手段と、この状態判定手段の判定結果に基づいて、上記複数の身体部分ごとに優先度を設定する優先度設定手段と、上記身体部分検出手段により検出される身体部分により、操作に相当する所定の動きが行われたか否かについての判定を行うもので、上記優先度に基づいて設定した、判定対象とする身体部分についての判定受容度に従って判定を行う操作判定手段と、この操作判定手段により上記操作に相当する所定の動きが行われたことが判定されたのに応じて、本操作入力装置の所定の動作が実行されるようにして制御する制御手段とを備えることとした。

上記構成では、画像データに存在する被写体における特定の身体部分についての操作に相当する動きを判定するようにされている。そして、この操作に相当する動きが判定されたことに応じて、操作入力装置は所定の動作を実行する。つまり、ユーザが特定の身体の動きをすることにより装置に対するリモートコントロールを行える。
そのうえで、上記特定の身体部分についての所定の状態に応じて優先度を設定し、操作に相当する動きの判定に際しては、この優先度に応じた判定の受容度を反映させるようにする。これにより、複数の被写体に対応する身体部分のうち、或る身体部分については動きの判定が行われやすく、或る身体部分については動きの判定がされにくくするようにできる。

上記の構成により、本願発明によっては、被写体の動作により遠隔操作が可能な撮像装
置として、これまでよりも実用性が高く、有用なものが得られる。

以下、本願発明を実施するための最良の形態（以下、実施形態という）について、下記
の順により説明する。

１．デジタルスチルカメラの構成
２．顔ジェスチャパターン例
３．顔ジェスチャ認識処理例
４．優先度設定
５．実現構成例

１．デジタルスチルカメラの構成

図１は、本実施形態の撮像装置であるデジタルスチルカメラ１の内部構成例を示してい
る。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなど
も含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光とし
てイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを
駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例
えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制
御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、
いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像
光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷
を、所定タイミングにより順次出力するようにされる。これにより、撮像光に対応した電
気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素
子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯ
ＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳ
センサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に
述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とするこ
とができる。

上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力され
ることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号につい
て、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このように
して取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止
画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成するこ
とができる。

上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒
体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画
像データを信号処理部２４からエンコード／デコード部２５に対して出力するようにされ
る。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像
画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで
、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された撮像画
像データの形式に変換する。そして、このようにして生成した撮像画像データをメディア
コントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って
、メモリカード４０に対して、転送されてくる撮像画像データを書き込んで記録させる。
この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、
内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒
体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の
種別、形式などとされてもよい。

また、本実施形態としての信号処理部２４は、撮像画像データとしての画像内容から、
被写体における身体部分の１つである顔を検出するための画像処理（顔検出処理）を実行
することも可能とされている。本実施形態における顔検出処理がどのようなものであるの
かについては後述する。

また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用し
て表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスル
ー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のよ
うにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の
撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレー
ム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成
される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する
。これにより、スルー画の表示が行われる。

表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像
データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出
力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像デ
ータに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのと
きに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つ
まり、スルー画像が表示される。

また、デジタルスチルカメラ１は、メモリカード４０に記録されている撮像画像データ
を再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が撮像画像データを指定して、メディアコントローラ２６に
対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディ
アコントローラ２６は、指定された撮像画像データが記録されているメモリカード４０上
のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／
デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントロ
ーラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを
取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１
つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライ
バ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録
されている撮像画像データの画像が再生表示されることになる。

また表示部３３に対しては、上記のスルー画像や撮像画像データの再生画像などととも
に、ユーザインターフェイス画像も表示させることができる。この場合には、例えばその
ときの動作状態などに応じて制御部２７が必要なユーザインターフェイス画像としての表
示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これ
により、表示部３３においてユーザインターフェイス画像が表示されることになる。なお
、このユーザインターフェイス画像は、例えば特定のメニュー画面などのようにスルー画
像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能
であるし、スルー画像や撮像画像データの再生画像上の一部において重畳・合成されるよ
うにして表示させることも可能である。

制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成る
もので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ
２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチ
ルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵの
ための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて
変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮
発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシ
ュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュ
メモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい
。

操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に
対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力
部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に
応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の
動作が実行されることになる。

本実施形態のデジタルスチルカメラ１は、対応する雲台に載置させるようにして取り付
けることが可能とされている。雲台は、パン（横、水平）方向及びチルト(縦、垂直)方向
に沿って、それぞれ、回転軸を中心にして回転するようにして移動可能とされている。こ
れにより、デジタルスチルカメラ１が載置された状態で雲台が移動することによっては、
デジタルスチルカメラ１により撮像できる視野範囲が水平方向及び垂直方向により変更さ
れることになる。
そして、雲台に載置された状態において、デジタルスチルカメラ１は、有線又は無線に
より雲台と通信を行うことが可能とされている。これにより、例えばデジタルスチルカメ
ラ１により、パン位置、チルト位置を指定するようにして、雲台１０の動きを制御するこ
とが可能となる。

雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信
方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対
して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線によ
る通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応
する通信処理を実現するための構成とを有して成る。

音声出力部３５は、制御部２７の制御により所定の音色と発音パターンによる電子音を
出力する部位である。
ＬＥＤ部３６は、例えばデジタルスチルカメラ１の筐体前面部に表出して設けられるＬ
ＥＤ(Light Emitting Diode)と、このＬＥＤを点灯駆動する回路部などから成り、制御部
２７の制御に応じて、ＬＥＤを点灯、消灯する。

なお、本実施形態のデジタルスチルカメラ１に対応する雲台１０について、その外観例
を図２４〜図２９に示しておく。
図２４は、雲台１０の正面図を示す。図２５は、雲台１０の背面図を示す。図２６は、
雲台１０の左側面図を示す。図２７は、雲台１０の右側面図を示す。図２８は、雲台１０
の平面図を示す。図２９は、雲台１０の底面図を示す。

２．顔ジェスチャパターン例

本実施形態のデジタルスチルカメラ１は、そのときの撮像画像において検出されている
人の顔についての所定の動きのパターンに応答して、この所定の動きに予め対応して決め
られている動作を実行する。つまり、ユーザは、デジタルスチルカメラ１により自身の顔
を撮像させている状態において、例えばウィンクであるとか顔を傾けるなど、自身の顔に
ついて所定のパターンにより動かすことにより、デジタルスチルカメラ１の動作をリモー
トコントロールすることができる。
なお、以降においては、リモートコントロールのための顔の動きについては顔ジェスチ
ャということにする。

顔ジェスチャの理解のために、図２〜図４により、顔ジェスチャのパターン（顔ジェス
チャパターン）例について示しておく。
図２〜図４には、リモートコントロール操作を行うユーザ(操作者)の顔が模式的に示さ
れる。
図２においては、先ず、操作者が両目を開けている状態から片目(この場合には右目)を
閉じ、この後再び閉じた片目を開いて両目が開いた状態にする、という顔ジェスチャパタ
ーンが示されている。
図３においては、操作者が両目を開けている状態から両目を閉じ、この後再び両目を開
いた状態にする、という顔ジェスチャパターンが示されている。
図４においては、先ずは、顔の傾かせずにまっすぐに正立させて目を開いた状態から片
目(右目)を閉じ、さらにこの片目を閉じた状態を維持しながら、顔を左（紙面では右とな
る）に傾ける、という顔ジェスチャパターンが示されている。

例えば、上記図２〜図４に例示したように、顔ジェスチャとしては、両目が開く、片目
若しくは両目が閉じられる、顔が傾くなどの単一的な動き（状態）の要素が考えられる。
顔ジェスチャパターンは、１又は複数による上記単一の動きの要素から構成されるもので
、複数の単一の動きの要素により構成する場合には、これらの単一の動きの要素を所定の
規則に従って組み合わせたものとなる。
そして、このようにして作られる顔ジェスチャパターンごとに、デジタルスチルカメラ
１が実行すべき所定の動作を割り当てるようにするものである。つまり、或る特定の１つ
の顔ジェスチャパターンが、リモートコントロール装置が送信する或る特定の命令内容を
示すコマンドコードに相当するものとなる。
なお、上記単一の動きについては、顔ジェスチャパターン、すなわちコマンドを構成す
る最小単位であることに因み、単位コマンドともいう。

このような顔ジェスチャを用いたリモートコントロールにより可能な操作としては、例
えば、静止画による撮像画像の記録、セルフタイマーによる記録、連写撮影記録、動画に
よる撮像画像の記録開始・停止、フラッシュのオン・オフ切り換えなどをはじめ、多様に
考えることができる。
また、後述もするようにして、顔ジェスチャによっては、デジタルスチルカメラ１側で
顔ごとに設定する優先度を意図的に高くさせるなど、デジタルスチルカメラ１の撮像に関
する動作とは直接関係のない動作についても操作することができる。

３．顔ジェスチャ認識処理例

続いては、デジタルスチルカメラ１が実行する、顔ジェスチャパターンについての認識
処理の例について、図５〜図７を参照して説明する。
ここでの説明にあたっては、図２に示した顔ジェスチャパターンを、セルフタイマー撮
影の操作コマンドとして割り当てた場合を例に挙げることとする。

先ず、操作者は、自分の顔がデジタルスチルカメラ１の撮像視野に入り、かつ、顔の向
きが撮像方向（光学系の光軸）に対してほぼ真向かいとなるようにする。このときには、
通常に両目を開いた状態でよい。なお、この通常に両目を開いた状態においては、瞬きは
していても構わない。後述するようにして本実施形態の動きの認識処理によっては、瞬き
としての目の動きと、操作のために意識的に行われる目の開閉の動きとを弁別できるよう
になっている。

上記の操作者の状態に対応してデジタルスチルカメラ１は、図５における時点ｔ１とし
て示すように、このときの撮像画像データから撮像されている操作者の顔を正常に認識す
る。そして、このようにして顔を認識すると、顔を認識したことをユーザに通知するため
に、ＬＥＤ部３６のＬＥＤを点灯させる。これにより、操作者は、以降において、自身が
顔ジェスチャを行えば、デジタルスチルカメラ１がこれをコマンドとして受け付けてくれ
る状態にあることを知ることができる。

上記時点ｔ１にてＬＥＤが点灯した後の時点ｔ２において、操作者は、セルフタイマー
撮影のために、先ず、片目を閉じる。そして、時点ｔ１において最初に目を閉じてから、
ほぼ０．６秒が経過するまで、この目を閉じた状態を継続させると、デジタルスチルカメ
ラ１においては、今回の片目を閉じた顔の動作が、リモートコントロールのための顔ジェ
スチャパターンを成す単一の動作、状態の要素、即ち単位コマンド（目つぶりコマンド）
であることを認識する。そして、時点ｔ３として示すように、目つぶりコマンドを認識し
たことに応じて、デジタルスチルカメラ１は、音声出力部３５から目つぶりコマンドを認
識したことをユーザ側に通知するための音（通知音）を出力する。
ここでは、目つぶりコマンドの認識のためには、０．６秒以上にわたって片目を閉じた
状態を維持することが必要であるとしている。これにより、例えば瞬きにより目が閉じら
れるときとの弁別を行い、瞬きを目つぶりコマンドとして誤認識しないようにしている。
なお、この目つぶりコマンドの認識のための期間（目つぶりコマンド認識期間）を０．６
秒としているのは、本願発明者等が検討した結果、妥当であるとして得られた時間長では
ある。しかし、あくまでも一例であって、目つぶりコマンド認識期間として必要な時間長
は特に限定されるものではない。

上記のようにして時点ｔ３において出力される通知音を聴くことで、操作者は、自身が
行った目を閉じた動作が単位コマンドとして受け付けられたことを知る。そこで、操作者
は、顔ジェスチャパターンを成す次の単位コマンドとして、これまで開いていた目を開く
。
このようにして目が開かれたことに応じては、デジタルスチルカメラ１は、図７により
後述するようにして、今回の片目を閉じた顔の動作が、リモートコントロールのための顔
ジェスチャパターンを成す単位コマンド（目開きコマンド）であることを認識する。これ
に応じて、デジタルスチルカメラ１は、時点ｔ４として示すように、時点ｔ３の場合と同
様にして通知音を出力する。また、ここまでの顔ジェスチャが行われた段階で、デジタル
スチルカメラ１は、両目を開いた状態→片目を閉じた状態→両目を開いた状態という、図
２に示したのと同じ単位コマンドの組み合わせ方による顔ジェスチャパターンであること
を判定する。つまり、この判定結果に従って、デジタルスチルカメラ１は、時点ｔ４にて
、セルフタイマー撮影の操作入力が行われたものとして判断することになる。
そこで、デジタルスチルカメラ１は、時点ｔ４から予め設定されたセルフタイマー期間
としての時間（例えば２秒程度）だけ待機する。この間、操作者は、ポーズなどを取った
り表情を作るなどして準備しておくことができる。そして、このセルフタイマー期間が完
了したとされる時点ｔ５に至ると、そのときに撮像されている画像を静止画として記録す
る動作が実行される。

図６は、上記図５により説明した目つぶりコマンド認識期間における目つぶりコマンド
認識のための検出処理を示している。
ここでは、先ず、時点ｔ０において操作者が片目を閉じたとする。また、デジタルスチ
ルカメラ１においては、0.1秒の検出時間間隔intごとのサイクルで、顔ジェスチャに対応
する顔の状態（顔状態）を検出することとしている。また、顔状態の検出は、0.1秒ごと
に連続3回の検出が1セットとなる。つまり、1セットの検出は、図示するようにして1回目
の検出タイミングDt1と、その0．1秒後となる2回目の検出タイミングDt2と、さらにその0
．1秒後となる3回目の検出タイミングDt3から成る。そして、この1セット分の検出を繰り
返す。
この場合、時点ｔ０からほぼ0.1秒が経過した時点ｔ１とこれに続く時点ｔ２，ｔ３が1
セットとなっている。目つぶりコマンドの判定においては、先ず、1セットを成す3回の検
出タイミングのうち、2回以上の検出タイミングにより顔状態が目つぶりであるとして検
出されると、目つぶりの状態であるとみなす判定を行う。つまり、図６の場合であれば、
時点ｔ３において、1回目の目つぶり状態であるとの判定結果が得られる（目つぶり状態
判定１）

時点ｔ１，ｔ２，ｔ３による１セットに続いては、時点ｔ３から０．１秒を経過した時
点ｔ４と、これに続く時点ｔ５、ｔ６により、次の２回目の１セットによる顔状態の検出
が行われることになる。そして、この場合においては、この時点ｔ４，ｔ５，ｔ６による
セットにおいても、2回以上の検出タイミングにより顔状態が目つぶりであるとして検出
され、目つぶり状態であるとの判定結果が得られたとする（目つぶり判定２）

目つぶりコマンドであるとして認識されるための条件は、２セット以上連続して目つぶ
り状態であるとの判定結果が得られることとしている。従って、図６の場合には、時点ｔ
６において、目つぶりコマンドであることが認識されることになる（目つぶりコマンド判
定）。

既に本願発明者等が確認しているが、例えば、瞬きの場合には、２セット連続して目つ
ぶり状態であるとして判定されることはほとんどない。このような目つぶりコマンドの認
識処理としていることで、本実施形態では、操作者が意図的に行う目つぶりコマンドとし
ての目の動きと、無意識に短時間で行われる瞬きとしての目の動きとをほぼ確実に弁別で
きるようにしている。

図６は、上記図５において目つぶりコマンドが認識された後において、目開きコマンド
を認識するための検出処理を示している。
この図において時点ｔ７は、図６に示した時点ｔ６から或る時間が経過した時点となる
もので、操作者は、時点ｔ６まで維持していた片目を閉じた状態を、この時点ｔ７に至っ
たときにも継続しているものとする。
また、この時点ｔ７は、１セットにおける３回目の検出タイミングDt3とされており、
この結果、時点ｔ７においては、n-1回目の目つぶり状態であるとの判定結果が得られた
ものとする。また、このときには、時点ｔ６にてはじめて認識された目つぶりコマンドが
、まだ継続しているものとして認識されている。
さらに、この時点ｔ７に続く時点ｔ８，ｔ９，ｔ１０の検出タイミングから成るセット
においても、操作者の片目を閉じた状態が継続されていたことで、時点ｔ１０の段階で、
n-1回目の目つぶり状態であるとの判定結果が得られたものとする。これに応じて、時点
１０においても、時点ｔ６にて認識された目つぶりコマンドが継続しているものとして認
識される。

そして、時点ｔ１０に続く次のセット（時点ｔ１１，ｔ１２，ｔ１３）において、時点
ｔ１１，ｔ１２の各検出タイミングDt1,Dt2では、片目を閉じていると認識したが、時点
ｔ１２経過の直後に操作者が閉じていた片目を開いて両目が開かれた状態になったとする
。すると、このセットにおいて3回目となる時点ｔ１３の検出タイミングDt3において、顔
状態は両目が開かれている状態であるとの検出結果が得られることになる。

目開きコマンドについては、上記時点ｔ１１，ｔ１２，ｔ１３に対応するセットの場合
のようにして、３回の検出タイミングのうち、少なくとも１回の検出タイミングにおいて
目が開いていることが検出されたとすると、そのセットは目開きコマンドであるとして認
識する。

目つぶりコマンドの認識に関しては、２回以上の検出タイミングにより目つぶり状態で
あるとの検出結果となるセットが２回連続することを条件としていた。
これに対して、目開きコマンドの認識に関しては、少なくとも１回の検出タイミングで
目開き状態であることが検出されれば、その１セットのみにより、ただちに目開きコマン
ドであると認識するようにしている。本願発明者等は、目開きコマンドについて上記の条
件を設定しさえしておけば、目開きコマンドついては、図７の条件であっても、高い精度
で認識できることを確認している。これにより、目開きコマンドの認識のための認識期間
については短いものとなるので、それだけ、顔ジェスチャによるコマンドに対するデジタ
ルスチルカメラ１の応答も速くすることができる。

４．優先度設定

上記したデジタルスチルカメラ１による顔ジェスチャの認識処理は、例えば撮像画像の
画枠において１つの顔のみが検出されている場合であれば、この１つの顔のみを認識対象
とすればよいので、特に問題にはならない。
しかし、例えば複数の被写体が撮像されていることに応じて、画枠内に複数の顔が検出
されている状態においては次のような問題を生じる。
先に図２にて説明したように、本実施形態における顔ジェスチャパターンを形成する要
素（単位コマンド）は、目を閉じる、目を開く、顔を傾けるなどの動作などが対応する。
人がこのような動作を意識せずにしてしまう可能性のあることは否定できない。このため
に、操作者以外の被撮影者がたまたま何らかの操作に相当する顔ジェスチャと同じ顔の動
きをしてしまった場合には、その顔ジェスチャに応答してデジタルスチルカメラ１が動作
してしまうことになる。つまり、被撮影者が複数の場合には、操作者以外の被撮影者がた
またま顔ジェスチャによる操作を行ってしまい、本来望んでいない誤った動作をデジタル
スチルカメラ１が実行してしまう不都合が生じる可能性がある。そこで本実施形態では、
上記の不都合を下記のようにして回避する。

つまり、本実施形態のデジタルスチルカメラ１は、撮像画像の画枠内において検出され
ている顔が複数の場合には、これらの顔ごとについて、以下に述べる各条件に従って優先
度（優先順位）を与える。そして、顔ごとについての顔ジェスチャによる操作が判定、認
識されやすくする度合い（判定受容度）を、設定された優先度に応じて変更できるように
した。

図８〜図１２により、画枠内にて検出される顔についての優先度評価のための条件（優
先度設定条件）例について説明する。なお、これらの図においては、説明を分かりやすく
簡単なものとすることの便宜上、画枠３００内において検出されている顔は２つである場
合を例に挙げている。

先ず図８では、画枠３００において、２つの顔Ａ、顔Ｂが検出されている状態が示され
ている。これらの顔Ａ、顔Ｂを画枠３００内におけるサイズについてみると、顔Ｂよりも
顔Ａのほうが大きい。例えば、説明を分かりやすくするために、顔Ａと顔Ｂの実物サイズ
が同じであるとする。すると、図８においては、そのサイズが大きい顔Ａのほうが顔Ｂよ
りも、被写体距離が短い、すなわち、デジタルスチルカメラ１により近いことになる。こ
こでの被写体距離とは、デジタルスチルカメラ１からその被写体物までの距離をいう。複
数の顔（被写体）のうちで、操作者となるべき者は、デジタルスチルカメラ１により近い
位置にいる可能性が高い。そこで、本実施形態では、優先度設定の条件の１つとして、被
写体距離が近い顔、すなわち、画枠内においてサイズが大きい顔ほど、優先度を高く設定
することとした。図８の場合には、顔Ｂよりも顔Ａのほうに高い優先度を設定することに
なる。

ただし現実には、例えば同じ画枠に収まる被写体（顔）が大人と子供であったり、また
、男性と女性であったりする可能性は避けられない。実物の顔のサイズは、大人と子供で
は子供の方が小さく、男性と女性では女性のほうが小さい。これらの顔の組み合わせの場
合において、このような実物のサイズの差を考慮せずに単に画枠内の顔のサイズのみによ
り優先度を設定すると、正しい被写体距離が反映されない可能性がある。
そこで、本実施形態のデジタルスチルカメラ１では、後述もするようにして、画枠内の
顔サイズに基づいて優先度を設定するときには、そのときに判定された顔についての年齢
、性別の属性に基づいて、顔サイズについて修正、正規化を行ったうえで、この修正後の
顔サイズに基づいて被写体距離に応じた優先度を設定する。

次に図９の画枠３００においては、水平サイズの中点を通過する分割線Lyと、垂直サイ
ズの中点を通過する分割線Lxとが仮想的に示されている。ここでは、この分割線Ly，Lxの
交点を画枠３００の中心位置とする。

本実施形態においては、画枠における中心に近い顔ほど、操作者である可能性が高い者
として扱う。このことに基づき、画枠内における顔の位置に関しては、画枠の中心位置に
より近い顔ほど優先度を高く設定することとした。
図９の場合には、顔Ａと顔Ｂのうち、画枠の中心位置により近いのは顔Ｂなので、顔Ａ
よりも顔Ｂのほうに高い優先度を設定することになる。

例えば、画枠にて検出される顔を、或る連続したフレーム期間にわたって観測した場合
には、画枠内における顔の位置の変化、つまり、動きを検出することができる。
図１０には、この動き検出の結果として、画枠３００内にて検出された顔Ａ、顔Ｂのう
ち、顔Ｂは静止していることが検出されているのに対して、顔Ａは、動いていることが検
出されているものとする。
このような顔（被写体）の動きに関すれば、動きの小さな顔ほど操作者である可能性が
高いといえる。そこで、顔の動きに関しては、動きが小さいほど高い優先度を設定する。
図１０の場合には、顔Ｂのほうに顔Ａよりも高い優先度を設定する。

図１１（ａ）は或る時刻に得られた画枠３００の画内容を示し、図１１（ｂ）は、図１
１（ａ）から或る時間を経過したときの画枠３００の画内容を示している。
図１１（ａ）の画内容は、これまで両目を開けていた顔Ａのほうが片目（この場合は右
目）を閉じたが、顔Ｂのほうは、両目を開けたままの状態を示している。図１１（ｂ）は
、図１１（ａ）の画内容が得られて或る時間を経過して顔Ｂも片目を閉じたときの画内容
を示す。

例えば、図８〜図１０の各条件に対応させては、操作者が意識して自分が優先されるよ
うにしようとすれば、ほかの被撮影者よりもデジタルスチルカメラ１の近くに移動しよう
とする、もしくは、ほかの被撮影者よりも画枠の中心位置に近いところで撮像されるよう
に移動しようとする、もしくは、できるだけ静止していようとすることが通常である。図
１１の優先度設定の例は、操作者により積極的に顔の動作を求めるものとなる。

つまり、図１１に対応する例では、先ず、或る所定の顔ジェスチャに相当する動作を優
先動作として決めておく。そして、時系列において、この優先動作としての顔ジェスチャ
を先に行った顔について高い優先度を設定する。
図１１での具体例としては、上記優先動作を、「片目を閉じる」という顔ジェスチャで
あるとして決めている。従って、図１１の場合においては、顔Ａ，顔Ｂのいずれも片目を
閉じる顔ジェスチャをしているが、顔Ａのほうが時間的に早く片目を閉じる動作を行って
いるので、顔Ａのほうにより高い優先度を設定することになる。

図１２においては、画枠３００にて検出されている顔Ａ、顔Ｂのうち、顔Ｂは両目を開
いたままで特に顔ジェスチャは行っていないのに対して、顔Ａは、片目（この場合は右目
）を閉じた状態で、かつ、顔自体を左（画面では右となる）に傾ける、という顔ジェスチ
ャパターンを行った状態が示される。

この図１２に示す例も、条件として操作者に対して積極的に顔の動作を求めるものの１
つとなる。つまり、図１２の例では、優先動作として予め定めた特定の顔ジェスチャパタ
ーンを先に行った顔について、高い優先度を与えようというものである。

図１２の場合、上記優先動作としての特定の顔ジェスチャパターンは、顔Ａが行った、
片目を閉じながら顔自体を左に傾けるものとして定めているものとする。従って、図１２
の場合には、顔Ａに対して高い優先度を設定する。

なお、図１２の場合のようにして、操作者に対して顔ジェスチャのパターンまで要求す
る条件とする場合、操作者は、図１１の場合よりも相当に強い意志で自信が操作者になろ
うとしているといえる。
そこで、図１２の場合については、例えば、優先動作としての顔ジェスチャパターンの
動きをした顔について、図１１の場合よりも高い優先度が与えられるようにすることが妥
当となる。

なお、図８〜図１２に関しては共通に前提となる条件が定められている。つまり、顔が
正面を向いている、すなわち、デジタルスチルカメラ１の撮像光学系にほぼ正面から向き
合う状態でいる顔のみを優先度設定の対象とすべきものとして規定されている。
正面以外の方向を向いている顔は、例えば顔ジェスチャを認識することが難しくなる。
また、このことから、正面以外の方向を向いている顔（被撮影者）は、操作者である可能
性は非常に低いといえる。このようなことに基づき、本実施形態では、上記の前提条件を
設定することとしている。

上記図８〜図１２により説明した条件に従った優先度設定の一具体例について、図１３
および図１４を参照して説明する。
ここでの説明にあたり、先ず、優先動作としては、図１２の顔Ａが行う顔ジェスチャパ
ターンを採用する。また、図５により説明したように、両目を開いていた状態から片目を
閉じ、再び両目を開けるという一連の顔ジェスチャコマンドからなる顔ジェスチャパター
ンを、セルフタイマー撮影を指示する操作として規定する。そのうえで、ここで説明する
流れとしては、画枠内にて検出される顔Ａと顔Ｂのうち、顔Ａが、図１２の顔ジェスチャ
パターンを行うことでジェスチャ認識対象となり、さらにこのジェスチャ認識対象とされ
た顔Ａが、セルフタイマー撮影指示操作に応じた図５の顔ジェスチャパターンを行うとい
うものである。

図１３，図１４には、画枠３００において検出されている２つの顔Ａ，顔Ｂが示されて
いるが、その画内容は、図１３（ａ）（ｂ）（ｃ）（ｄ）、図１４（ａ）（ｂ）（ｃ）の
順で時間経過に対応させたものとなっている。また、ここでは顔Ａ、顔Ｂに対応する実物
の顔の大きさは同じであることとする。

図１３（ａ）においては、先ず、顔Ａ、顔Ｂともに目を開いている状態にある。また、
画枠内における顔サイズも同じであり、従って両者の被写体距離も同じ状態にある。また
、顔Ａ、顔Ｂとも静止している状態にある。
そこで、この場合には、顔Ａと顔Ｂについての画枠中心位置に対する距離の条件に基づ
いて優先度を設定する。図１３（ａ）においては、顔Ａのほうが顔Ｂよりも画枠の中心位
置に近いので、顔Ａのほうに高い優先度を与えることとする。
ここでは、顔Ａに対して優先度２０を与え、顔Ｂには、優先度０を与えている。この優
先度としての値が大きいほど、設定された優先度が高いことを示す。

図１３（ａ）に示す状態から或る時間が経過して、図１３（ｂ）に示す状態に変化した
とする。図１３（ｂ）においては、顔Ａが片目（この場合は右目）を閉じるという顔ジェ
スチャによる優先動作を先に行ったが、顔Ｂのほうは図１３（ａ）のときのまま両目を開
いている状態が示される。
この場合には、図１１にて説明したように顔Ａのほうに高い優先度が設定される。図１
３（ｂ）では、図１３（ａ）の状態から、顔Ａのほうに優先度５０を加算して優先度７０
を設定し、顔Ｂについては特に優先度は加算せず優先度０のままとしている。

次に、図１３（ｃ）においては、顔Ｂは図１３（ａ）のときから変わらず両目を開いた
ままとしているのに対して、顔Ａは、図１３（ｂ）において片目を閉じたままの状態から
、さらに顔を左に傾けた状態が示されている。
これが、図１２にて説明した、優先動作としての特定の顔ジェスチャパターンを行った
場合に相当する。そこでこの場合には、図１３（ｂ）のときから、さらに顔Ａに対して優
先度５０を加算して優先度１２０を設定する。顔Ｂには、依然として優先度０を設定する
。

ここで、デジタルスチルカメラ１は、そのとき設定されている優先度に基づいてジェス
チャ認識対象とする顔を設定する。ジェスチャ認識対象の顔とは、デジタルスチルカメラ
１が、操作に対応する顔ジェスチャパターンを認識する対象として設定している顔のこと
をいう。
そのうえで、例えば複数の顔のうちで優先度が１００以上のものが１つもないときには
、これら全ての複数の顔についてジェスチャ認識対象として設定する。
これに対して、複数のうちの１つの顔について、優先度が１００以上に至った場合には
、この優先度が１００以上となった顔のみをジェスチャ認識対象として設定し、これ以外
の他の顔は、ジェスチャ認識対象から外すこととする。つまり、ジェスチャ認識対象を、
優先度が１００以上となった１つの顔に固定する。そして、このジェスチャ認識対象の固
定は、その後において、その顔の優先度が１００未満となるまで継続される。

なお、上記のようにしてジェスチャ認識対象が固定される期間（認識対象固定期間）に
おいても、図８〜図１２に従った優先度の設定に関しては、画枠内にて検出されている各
顔について行っている。このために、認識対象固定期間において、ジェスチャ認識対象以
外の顔について１００以上の優先度に至る結果となる場合がある。しかし、ジェスチャ認
識対象設定期間においては、あくまでも、はじめにジェスチャ認識対象として設定された
顔のみを固定的にジェスチャ認識対象とし、他の顔については、優先度が１００以上に至
ったか否かにかかわらず認識対象とはしない。

ここで、図１３（ａ）〜図１３（ｃ）までのあいだでのジェスチャ認識対象の設定内容
について確認しておく。
図１３（ａ）においては、顔Ａには優先度２０が設定され、顔Ｂには優先度０が設定さ
れており、いずれも１００未満となっている。つまり、優先度が１００以上の顔は１つも
ない。このような状況では、全ての顔をジェスチャ認識対象として設定する。図１３（ｂ
）の場合も、図１３（ａ）と同じく、全ての顔をジェスチャ認識対象として設定する。
そして、図１３（ｃ）に至ると、顔Ａについて優先度１２０が与えられ、顔Ｂについて
優先度０が与えられている。従って、この場合には、顔Ａのみをジェスチャ認識対象とし
て設定し、顔Ｂはジェスチャ認識対象外として設定することになる。

次に、図１３（ｃ）から或る時間が経過した図１３（ｄ）においては、顔Ａの優先度は
１２０から１００に小さくなるようにして変化している。これは、画枠の中心位置からの
距離についての顔Ｂとの相対的な差に基づいて設定された負の優先度−２０が加算された
ことによる。しかし、１００以上を維持しているので図１３（ｃ）のタイミングで設定さ
れたジェスチャ認識対象が継続して有効になっている。
また、図１３（ｄ）においては、顔Ｂが画枠３００の中心に近づいたことにより、優先
度０の状態から優先度２０が加算され、優先度２０が設定されている。また、このときに
は顔Ａに対して依然としてジェスチャ認識対象を設定しているので、顔Ｂも、図１３（ｃ
）からのジェスチャ認識対象外として設定された状態を継続する。

図１３（ｄ）から或る時間を経過したときの画枠内の状態は、図１４（ａ）に示される
。
図１４（ａ）においては、これ以前までは両目を開いていた顔Ａが片目を閉じる顔ジェ
スチャを行っている。デジタルスチルカメラ１では、この片目を閉じる動作、つまり目つ
ぶりコマンドを認識することになる。これに応じて、顔Ａの優先度は、５０加算されるこ
とで１００から１５０に増加しており、ジェスチャ認識対象としての固定設定が継続され
る。この場合の顔Ｂは優先度２０で変化はしておらず、ジェスチャ認識対象外として設定
された状態を継続する。

図１４（ａ）から或る時間を経過した図１４（ｂ）では、顔Ａが片目を閉じていた状態
から再び両目を開く動作をしている。これにより、デジタルスチルカメラ１は、この動作
を目開きコマンドとして認識する。
ここでは、顔Ａ，顔Ｂの優先度は、図１４（ａ）と同じで変化しておらず、図１４（ａ
）のときと同じく、顔Ａがジェスチャ認識対象として設定され、顔Ｂがジェスチャ認識対
象外として設定されている。

そして、図１４（ａ）（ｂ）の流れによっては、顔Ａにより、両目を開いた状態から片
目を閉じ、再び両目を開くという、セルフタイマー撮影指示操作に相当する顔ジェスチャ
パターンが行われたことになる。デジタルスチルカメラ１は、この顔ジェスチャパターン
を認識したことに応じて、セルフタイマー撮影の動作を実行する。

図１４（ｃ）は、セルフタイマー撮影の動作が完了した時点に対応する。このタイミン
グに応じては、先ず、顔Ａの優先度を０にリセットする。つまり、顔ジェスチャパターン
による操作に応答した動作を完了したことに応じては、この顔ジェスチャパターンによる
操作を行った顔についての優先度を０にリセットするものとしている。また、画枠内にお
ける顔の位置などの条件は、図１４（ｂ）と同じであるので、顔Ｂについては、これまで
と同じ優先度２０が設定されている。これにより、図１４（ｃ）では、顔Ａ、顔Ｂのいず
れもがジェスチャ認識対象として設定されることになる。

５．実現構成例

続いて、これまでに述べてきた顔ジェスチャによるリモートコントロール（顔ジェスチ
ャ・リモートコントロール）を実現するための技術構成例について説明する。

図１５は、本実施形態の顔ジェスチャ・リモートコントロール機能に対応するデジタル
スチルカメラ１のシステム構成例を示している。
この図に示されるシステム構成としては、信号処理部２４における顔検出部６１、顔画
像生成部６２と、制御部２７における顔情報評価部７１、優先顔評価部７２、及びリモコ
ン操作制御部７３と、音声出力部３５、ＬＥＤ部３６から成るものとしている。
また、図１６のフローチャートは、上記図１５に示すシステムが実行する基本的な処理
の流れを示している。図１５に示す各部の機能を、図１６のフローチャートを併用しなが
ら説明する。

先ず、信号処理部２４内の顔検出部６１は、図１６のステップＳ１０１として示すよう
に、撮像部位（光学系部２１、イメージセンサ２２）により撮像されてＡ／Ｄコンバータ
２３を介して入力される画像データを入力して顔検出処理を実行する。つまり、画像デー
タとしての画枠内において存在する顔として認識される画像部分（顔画像部分）を検出す
る。
この顔画像検出処理の結果としては、検出した顔画像部分ごとについての画枠内におけ
る位置（重心）、及び画枠内におけるサイズの情報が得られる。顔検出部６１は、これら
の情報を、顔検出情報として顔画像生成部６２に渡す。

なお、顔検出部６１に適用できる顔検出の方式、手法はいくつか知られているが、本実
施形態においてどの方式とするのかについては特に限定されるべきものではなく、検出精
度や設計難易度などを考慮して適当とされる方式が採用されればよい。

顔画像生成部６２は、顔検出部６１が入力するのと同じ画像データと、顔検出部６１か
ら渡される顔検出情報とを入力する。そして、ステップＳ１０２として、顔検出情報が示
す顔画像部分の位置及びサイズの情報を利用して、画像データとしてのフレーム画像領域
から顔画像部分の領域を切り出す処理を実行する。ここでは、切り出されたフレーム画像
領域について「顔画像エリア」という。
顔画像生成部６２は、顔画像エリアとしての画像データと、これに対応する顔検出情報
とを、制御部２７における顔情報評価部７１に対して渡す。

上記信号処理部２４による顔検出処理は、ＤＳＰ(Digital signal Processor)による画
像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクション
により実現できる。従って、信号処理部２４内に備えられるとされる顔検出部６１、顔画
像生成部６２についても、ＤＳＰにより実現できることになる。

顔情報評価部７１は、ステップＳ１０３として、受け取った顔画像エリアのデータを利
用して、その顔についての特徴量を評価（推定）する処理を実行する。なお、ステップＳ
１０３の処理は、検出された顔が複数の場合には、１つの顔に対応した評価を行うものと
なる。

ここで評価、推定する顔の特徴量は、例えば目の開閉状態、口の開閉状態、年齢、性別
、顔方向、顔の傾き、被写体距離などとなる。
ここでは、目の開閉状態の評価については、目が開いているか閉じているかについての
判定を行う。
口の開閉状態の評価については、口が開いているか閉じているかについての判定を行う
。
年齢については、所定の年齢幅により年齢を推定する。本実施形態では、例えば必要最
小限で、大人、子供の２段階による年齢の推定が可能であればよい。
性別については、男性、女性のいずれであるのかについて判定する。
顔方向は、デジタルスチルカメラ１に対して向いている方向を正面としたうえで、その
顔が向いている方向を判定する。本実施形態との対応では、最小限として、正面を向いて
いるとみなせる状態であるか否かについて判定できればよい。
顔の傾きは、例えば図４にて説明した顔の傾きについて判定する。例えば傾いていない
正立の状態、左に傾いた状態、右に傾いた状態のうちのいずれであるのかを判定するとう
にする。
被写体距離は、先に図８にて説明したように、デジタルスチルカメラ１から被写体まで
の距離であり、本実施形態では、同じ図８により説明したように、画枠内における顔画像
エリアのサイズにより推定できる。また、この際において、より高い精度で被写体距離を
求めるために、推定された年齢に応じて顔画像エリアごとにサイズの修正・正規化を行っ
たうえで、このサイズから被写体距離を求めるようにする。ここでは、これらの評価処理
の結果として得た情報を顔特徴量情報という。

なお、被写体距離については、例えば、撮像装置が焦点制御に用いる測距の手法、構成
を利用して求めるようにしても良い。このような測距の方式としては、例えば投光式三角
測距によるアクティブ方式、また、パッシブ方式などが知られている。

顔情報評価部７１は、ステップＳ１０３としての１つの顔に対応した顔特徴量の評価処
理を実行すると、ステップＳ１０４により、検出された全ての顔についての評価が完了し
たか否かについての判別を行う。ここで、否定の判別結果が得られたのであれば、ステッ
プＳ１０３に戻り、次の顔画像エリアを対象とする顔特徴量評価の処理を実行する。
そして、全ての顔画像エリアについての評価が完了したとしてステップＳ１０４にて肯定
の判別結果が得られたのであれば、例えば、これまでの評価処理により得た顔画像エリア
ごとの顔特徴量情報を、優先顔評価部７２に対して渡す。即ち、ステップＳ１０４からス
テップＳ１０５に進む。

優先顔評価部７２は、先ず、ステップＳ１０５にて、顔情報評価部７１から受け取った
顔特徴量情報の内容に基づいて、有効な顔特徴量情報が１つ以上得られているか否かにつ
いて判別する。例えば実際においては、顔検出処理によって顔が検出されたとしても、こ
れに応じて切り出された顔画像エリアのデータの画像内容が不鮮明であるために、有効な
顔特徴量情報が得られない可能性がある。有効な顔特徴量情報が１つもない場合、以降に
おいて、適切に顔ジェスチャを認識することはできない。

有効な顔特徴量情報が１つもないとしてステップＳ１０５として否定の判別結果を得た
場合には、ステップＳ１０１としての顔検出部６１による顔検出処理に戻る。これに対し
て肯定の判別結果が得られたのであれば、ステップＳ１０６以降の処理に進む。

優先顔評価部７２は、ステップＳ１０６により、有効な顔特徴量情報に対応する顔を対
象にして優先度（優先順位）を設定する処理を実行する。
この優先度設定の処理手順例については、図１７〜図２３により後述するが、例えば図
８〜図１２により説明した設定条件のうちの少なくとも１つを採用して優先度を設定する
。

ステップＳ１０７として、操作制御部７３は、設定された優先度に基づいて、ジェスチ
ャ認識対象とする顔画像エリアを選択する。そして、ジェスチャ認識対象として選択した
顔画像エリアについて、顔ジェスチャとしての動きについての認識処理を実行する。この
認識処理において、例えば図６、図７などにより説明した手法による目つぶり状態判定や
目開き状態判定などが行われる。

次に操作制御部７３は、ステップＳ１０８として、顔画像エリアの動き（顔ジェスチャ
）に関して、操作に対応するパターン条件を満たしたか否かについて判別する。つまり、
上記ステップＳ１０７によるジェスチャ認識の結果、或る特定の操作に対応する顔ジェス
チャパターンが得られたか否かについて判別する。
ステップＳ１０８において否定の判別結果が得られたのであれば、ステップＳ１１１に
より、今回のステップＳ１０３により得られたとする有効な顔特徴量情報を記録して保持
するための処理を実行する。この特徴量情報の記録（書き込み）は、例えばＲＡＭ２７に
対して行うようにすればよい。

ステップＳ１０６による優先度設定として、例えば図１０の顔の移動速度、図１１、図
１２の顔ジェスチャの条件に基づく場合には、時間軸上での顔画像エリアの変化を検出す
る必要がある。このためには、今回検出された顔画像エリアについての情報のみではなく
、これより前の時刻に対応する情報も必要になる。ステップＳ１１１は、この前の検出タ
イミングに対応する顔画像エリアについての情報を確保することを目的に行われる。

ステップＳ１１１に続いては、例えば優先顔評価部７２がステップＳ１１２により、ス
テップＳ１０６により設定した顔ごとの優先度に応じて、図１６に示す処理に関する所定
のパラメータについての変更設定を行う。
ステップＳ１１２として、どのようなパラメータをどのようにして変更するのかについ
ては後述するが、このステップＳ１１２により、図１６の処理はそのときに設定されてい
る優先度に対応して最適化されることになる。これにより、例えば操作者の誤認の確率を
低くして、顔ジェスチャ・リモートコントロールの信頼性を高めることができる。

また、ステップＳ１０８において肯定の判別結果が得られた場合にはステップＳ１０９
に進む。
ステップＳ１０９では、操作制御部７３は、ステップＳ１０８に対応して認識した顔ジ
ェスチャパターンによる操作に応答したしかるべき動作が実行されるようにして制御する
。
そして操作に応答した動作が完了したとされると、ステップＳ１１０により、このとき
にジェスチャ認識対象として設定されていた顔画像エリアに設定されていた優先度を０に
リセットする。
この後は、例えば必要に応じて他のルーチンの処理を実行したうえで、ステップＳ１０
１からの処理を繰り返す。

また、図１７のフローチャートは、図１６の処理と併行して優先顔評価部７２と操作制
御部７３が繰り返し実行するもので、音声、ＬＥＤの点灯により通知を行うための処理と
なる。
先ず、優先顔評価部７２は、ステップＳ２０１により顔情報評価部７１から受け取った
顔特徴量情報の内容に基づいて、有効な顔特徴量情報が１つ以上得られているか否かにつ
いて判別する。このステップＳ２０１の処理は、例えば図１６におけるステップＳ１０５
と同じであり、ステップＳ１０５による処理結果をそのまま利用すればよい。
ここで否定の判別結果が得られた場合には、ステップＳ２０５にてＬＥＤ部３６のＬＥ
Ｄを消灯させル制御を行ったうえで、この図に示す処理を抜け、しかるべきタイミングで
ステップＳ２０１に戻る。
これに対して、ステップＳ２０１にて肯定の判別結果が得られたのであれば、ステップ
Ｓ２０２によりＬＥＤ部３６のＬＥＤを点灯させステップＳ２０３に進む。これにより、
図５の時点ｔ１に対応したＬＥＤの点灯が実現される。

ステップＳ２０３は、操作制御部７３により、図１６のステップＳ１０７によるジェス
チャ認識処理の結果に基づき、顔画像エリアの動き（顔ジェスチャ）が、顔ジェスチャと
して規定されたコマンド（例えば図５における目つぶりコマンドや目開きコマンドなど）
となる条件を満たしたか否かについて判別する。
ここで否定の判別結果が得られた場合には、この図に示す処理を抜けて、しかるべきタ
イミングでステップＳ２０１に戻る。
これに対して肯定の判別結果が得られたのであれば、ステップＳ２０４により、操作受
付音を出力する。これにより、図５の時点ｔ３、時点ｔ５に対応した通知音の出力が行わ
れることになる。

続いて、図１６のフローチャートにおけるステップＳ１０６としての優先度設定処理に
ついて説明する。
この説明に先立ち、図１６のステップＳ１１１にて記録される顔特徴量情報の内容例を
図１８に示す。なお、ステップＳ１１１により記録される顔特徴量情報については、ステ
ップＳ１０３により得られる現時刻（今回の検出タイミング）の顔特徴量情報（現顔特徴
量情報）と区別するために、ここでは記録顔特徴量情報という。
この図においては、検出タイミングｔ１〜ｔｎごとに対応してステップＳ１１１にて記
録される記録顔特徴量情報が示されている。ここでの１回の検出タイミングが、図１６に
示されるステップＳ１０１〜Ｓ１１２までの１シーケンスを実行するタイミングに対応す
る。つまり、図６，図７における１回の検出タイミングDtに対応する。

１回の検出タイミングごとの記録顔特徴量情報は、情報項目として、顔ＩＤ、顔位置、
顔サイズ、目状態、口状態、年齢、性別、顔方向、顔傾き度、被写体距離（距離）から成
るものとしている。
顔ＩＤは、有効な特徴量情報が検出された顔画像エリアごとに固有となるようにして割
り与えられる識別子であり、ここでは、１から昇順に従った番号が割り当てられる。この
顔ＩＤに対応する顔ごとに、上記顔位置、顔サイズ、目状態、口状態、年齢、性別、顔方
向、顔傾き度、被写体距離の情報が対応つけられる構造となっている。

顔位置は、対応する顔画像エリアについての画枠内にて検出された位置を示すもので、
例えばここでは、顔枠に対して設定したｘ，ｙ座標により表すものとしている。
顔サイズは、対応する顔画像エリアについての画枠内におけるサイズを示す。
目状態は、対応する顔画像エリアについて判定された目の状態として、開／閉のいずれ
であるのかを示す情報となる。なお、この場合には、片方の目の少なくともいずれか一方
が閉じている状態であると判定されれば、目状態としては閉じていることを示すものとす
る。
口状態は、対応する顔画像エリアについて判定された口の状態として、開／閉のいずれ
であるのかを示す情報となる。
年齢は、対応する顔画像エリアについて判定された年齢を示す。ここでは、年齢として
の数値により表している。
性別は、対応する顔画像エリアについて判定された性別が男性・女性のいずれであるの
かを示す。
顔方向は、対応する顔画像エリアについて判定された顔の向きを示すもので、ここでは
正面・右向き・左向きのいずれであるのかを示すこととしている。
顔傾き度は、顔の傾きを示すもので、ここでは度数により示されている。この傾き度と
しての値が０の場合には成立した状態を示し、例えば正・負の数の絶対値が大きくなるの
に応じて、それぞれ左・右への傾きの度合いが大きくなっていく。
被写体距離については、ここではcm単位により表している。

ステップＳ１１１においては、今回のステップＳ１０３により得られたとする有効な顔
特徴量情報として、例えばこの図１８に示される構造による情報を記録する。なお、ステ
ップＳ１１１による記録の仕方として、例えば、その前の検出タイミングにおけるステッ
プＳ１１１により記録された記録顔特徴量情報を上書き消去するようにして、今回の顔特
徴量情報を記録すればよい。あるいは、現検出タイミングから所定回数分だけ過去の記録
顔特徴量情報を保持しておくこととして、今回の顔特徴量情報の記録に際しては、もっと
も過去の顔特徴量情報を上書きするようにして記録していくようにしてもよい。

このようにして記録顔特徴量情報として、過去の顔特徴量情報を保持しておくことで、
現検出タイミングにて得られた顔特徴量情報と比較することによって、顔の動きの変化を
認識することができる。
例えば図１９には、検出タイミングｔ１〜ｔ６ごとでの、顔ＩＤ=1の顔特徴量情報にお
ける目状態の項目を抜き出して示している。また、ここでは、検出タイミングｔ１〜ｔ６
に対してそれぞれ、検出タイミングDt1,Dt2,Dt3,Dt1,Dt2,Dt3を対応させている。
このようにして時系列に従って目状態の検出結果を認識していくことで、例えばこの場
合には、検出タイミングｔ１〜ｔ３までは目が開いている状態であるとして判定されるこ
とになる。次に、検出タイミングｔ４、ｔ５では継続して目が閉じた状態が検出され、検
出タイミングｔ６において目が開いた状態が検出されている。ここで、検出タイミングｔ
４，ｔ５，ｔ６は、それぞれ、検出タイミングDt1,Dt2,Dt3に対応する。従って、図６の
説明に従い、この検出タイミングｔ４，ｔ５，ｔ６に対応する期間において、目つぶり状
態が判定されることになる。

図２０のフローチャートは、優先顔評価部７２が実行するものとされる、図１６のステ
ップＳ１０６としての優先度設定処理としての手順例を示している。
先ず、優先顔評価部７２は、ステップＳ３０１にて、今回のステップＳ１０３により得
られたとする有効な顔特徴量情報（現顔特徴量情報）に基づいて、所定の優先度設定条件
に対応させて、現顔特徴量情報が得られた顔ごとに、優先度として加算すべき加算値を予
め定めた規則に従って設定する。そして、求めた加算値を、これまで各顔に設定されてい
た優先度に対して加算し、優先度の変更を行う。

このステップＳ３０１にて加算値を設定する際に用いることのできる上記優先度設定条
件は、例えば図８〜図１２により説明したもののうちでは、図８に示した顔画像エリアの
サイズに基づいた被写体距離と、図９に示した顔ごとの画枠内の中心位置に対する距離差
となる。
ステップＳ３０１においては、例えば、上記被写体距離と中心位置に対する距離差のい
ずれかを採用して加算値を求めるようにすることができる。もしくは、それぞれの優先度
設定条件ごとに加算値を求めてこれまでの優先度に加算する処理とすることもできる。

次のステップＳ３０２では、現時点において記録顔特徴量情報が保持されているか否か
について判別する。
ここで否定の判別結果が得られたのであれば、ステップＳ３０３〜Ｓ３０５はスキップ
してステップＳ３０６の手順に進む。これに対して、肯定の判別結果が得られたのであれ
ば、ステップＳ３０３〜Ｓ３０５の手順を実行してから、ステップＳ３０６に進む。

ここで説明するステップＳ３０３〜Ｓ３０５の手順は、例えば図１０の顔の移動速度、
図１１、図１２の顔ジェスチャなどのようにして、顔画像エリアについての時系列的な変
化を検知、認識する必要のある優先度設定条件にしたがった優先度評価のための処理とな
る。
また、ここで説明するステップＳ３０３〜Ｓ３０５の手順は、例えば上記図１０、図１
１１，図１２の各優先度設定条件について共通となる上位概念的な処理手順となる。図１
０、図１１，図１２の各優先度設定条件に対応した、より具体的な優先度評価の処理につ
いては、図２１〜図２３により後述する。

先ず、ステップＳ３０３においては、現顔特徴量情報と記録顔特徴量情報とにおける所
定の情報項目の内容について比較し、その比較結果を保持する。ここで比較する情報項目
の種類、及び数などは、優先度評価に用いる優先度設定条件に応じて異なってくる。

ステップＳ３０４においては、上記ステップＳ３０３により得られた比較結果を利用し
て、顔画像エリアごとについて、その動きを検出する。
なお、このステップＳ３０４において変化を検出すべき動きの内容に関しても、優先度
評価に用いる優先度設定条件に応じて異なってくる。

ステップＳ３０５においては、ステップＳ３０４の処理により検出された動きの結果に
基づいて顔ごとの加算値を求めたうえで、これまでの優先度に対して今回求めた加算値を
加算して優先度を更新する。

ステップＳ３０６においては、現在において、図１３、図１４により説明した閾値以上
の優先度を持つ顔が有るか否かについて判別する。ここで肯定の判別結果が得られた場合
には、図１３、図１４にて説明したようにして、閾値以上の優先度を持つ顔をジェスチャ
認識対象として設定する。
このようにしてジェスチャ認識対象が設定されている場合、ステップＳ１０８において
は、ジェスチャ認識対象の顔のみの顔画像エリアの動きのみを対象にして判別を行う。

一方、ステップＳ３０６において否定の判別結果が得られた場合には、ステップＳ３０
８を実行したうえで、この図に示す処理を終了する。
ステップＳ３０８では、これまでにおいてジェスチャ認識対象として設定されていた顔
が有る場合には、このジェスチャ認識対象の設定を解除する処理となる。

図２１のフローチャートは、上記図２０におけるステップＳ３０３〜Ｓ３０５の処理、
すなわち、時系列における顔画像エリアの動きの変化に基づく優先度評価の処理として、
図１０により説明した移動速度の優先度設定条件に対応させた場合の例を示している。
ここでは先ず、ステップＳ４０１により、予め定めた順序に従って選択した１つの記録
顔特徴量情報における顔位置の情報（記録顔位置情報）を抽出して取得する。つまり、現
時刻より過去の顔位置の情報を取得する。
ステップＳ４０２においては、今回のステップＳ１０３により取得された有効な顔特徴
量情報から顔位置の情報（現顔位置情報）を抽出して取得する。つまり、現時刻に対応す
る最新の顔位置の情報を取得する。

ステップＳ４０３においては、記録顔位置情報が示す位置からの現顔位置情報が示す位
置までの変位差を算出し、次のステップＳ４０４により、この変位差に基づいて顔の移動
速度を求める。

ステップＳ４０５では、全ての顔についての移動速度を求めたか否かを判別することと
している。ここで、まだ移動速度を求めていない顔が残っているとして否定の判別結果が
得られた場合には、ステップＳ４０１に戻ることで、次の顔についての移動速度を求める
。
これに対して、全ての顔についての移動速度を求めたとしてステップＳ４０５にて肯定
の判別結果が得られた場合には、ステップＳ４０６に進む。
ステップＳ４０６においては、これまでの処理によって求められたとする各顔の移動速
度を比較して、移動速度に応じた顔の順番を設定する。そして、ステップＳ４０７により
、例えば予め定めた規則に従って、移動速度が遅くなるのに応じて高くなるようにして、
各顔の加算値を設定し、この設定した加算値を加算して優先度の値を更新する。

図２２のフローチャートは、図２０におけるステップＳ３０３〜Ｓ３０５としての優先
度評価の処理として、図１１により説明した、顔ジェスチャパターンを形成し得る動き要
素の１つ（例えば図６，図７にて認識される目つぶりコマンド、目開きコマンド）に相当
する顔の動きを優先動作条件とする場合の例を示している。

まず、ステップＳ５０１においては、記録顔特徴量情報を参照して、現検出タイミング
より１つ前の検出タイミングに至ってはじめて、優先動作条件を満足した顔（優先動作と
して規定される動きを行ったとされる顔）についての判定を行うようにする。このために
は、例えば１つ前の検出タイミングから所定回数の検出タイミング分の記録顔特徴量情報
を保持しておくこととして、例えば図１９に示したようにして、これらの記録顔特徴量情
報における所要の情報項目における内容の変化をみるようにすればよい。例えば、ここで
の優先動作条件が、図１１のとおりのものであるとすれば、記録顔特徴量情報における目
状態についての時間経過に従った変化をみることにより、目つぶりコマンド→目開きコマ
ンドの順による動作が得られているかどうかを判定することになる。そして、このような
判定を、各顔について行う。

ステップＳ５０２においては、ステップＳ５０１による判定結果から、優先動作条件を
満足した動きを完了させた顔が有ったか否かについて判別する。ここで、肯定の判別結果
が得られた場合には、前回の検出タイミングにおいて、後述するステップＳ５０５により
、既に優先動作条件を満たしたことに応じた優先度についての加算が行われている。そこ
で、この場合にはこの図に示す処理を抜けて、図２０のステップＳ３０６に進む。
これに対して、ステップＳ５０２において否定の判別結果が得られたのであれば、ステ
ップＳ５０３に進む。

ステップＳ５０３においては、記録顔特徴量情報と現顔特徴量情報とを参照して、今回
の検出タイミング（現検出タイミング）に至ってはじめて優先動作条件を満足する動きを
完了させた顔が有ったか否かについて判別する。
ここで否定の判別結果が得られた場合には、この図に示す処理を抜けて図２０のステッ
プＳ３０６に進む。この結果、今回の検出タイミングに応じては、優先度が加算（変更）
される顔は無いことになる。
これに対してステップＳ５０３にて肯定の判別結果が得られた場合にはステップＳ５０
５の手順に進む。
ステップＳ５０５においては、現検出タイミングに至ってはじめて優先動作条件を満た
したと判定された顔について、例えば予め設定した加算値を加算して優先度を高くする。

図２３のフローチャートは、図２０におけるステップＳ３０３〜Ｓ３０５としての優先
度評価の処理として、図１２により説明した、特定の顔ジェスチャパターンに相当する顔
の動きを優先動作条件とする場合の例を示している。
先ずステップＳ６０１、Ｓ６０２により、記録顔特徴量情報と現顔特徴量情報とを参照
して、各顔を対象にして、顔の動きについての判定を行う。

そして、この後、ステップＳ６０３により、現検出タイミングに至って、優先動作条件
として設定されている顔ジェスチャパターンの動きをした顔が有るか否かについて判別す
る。
ステップＳ６０３において否定の判別結果が得られた場合には、この図に示す処理を抜
けて、図２０のステップＳ３０６に進む。これに対して、ステップＳ６０３において肯定
の判別結果が得られた場合にはステップＳ６０４に進む。
ステップＳ６０４においては、今回の検出タイミングにおいて、上記顔ジェスチャパタ
ーンとしての優先動作条件を満たしたものとして判定された顔について、予め設定した加
算値を加算して優先度を高く設定する。

図２０におけるステップＳ３０３〜Ｓ３０５の処理としては、上記図２１、図２２、図
２３に示した処理のうち、いずれか１つを採用してよい。また、図２１、図２２、図２３
に示した処理における２以上を併用してステップＳ３０３〜Ｓ３０５としてもよい。この
ようにして、複数の優先度設定条件を併用したほうが、優先度設定についての信頼性は高
くなる。

次に、図１６のステップＳ１１２の処理である、設定された優先度に対応したパラメー
タ設定の具体例として、第１例〜第３例について説明する。
先ず第１例としては、優先度が一定以上に高い顔については、図１６のステップＳ１０
１〜Ｓ１１２として示す１回の検出タイミングとしての処理を繰り返し実行する際の開始
時間の間隔（検出時間間隔）を短くするというものである。すなわち、この場合には、パ
ラメータとして検出時間間隔を変更する。
優先度が高い顔について検出時間間隔を短くすれば、それだけ、優先度の高い顔につい
て顔ジェスチャを認識できるのに要する時間も短縮することが可能になり、それだけ顔ジ
ェスチャ認識の結果を早く得ることができる。

また、第２例としては、優先度に応じて、優先動作に対応する顔の動きを検出する際に
用いる閾値を可変設定するものである。
図６，図７にて説明した検出タイミングごとにおける動き（状態）の検出にあたっては
、その検出すべき特定の動きごとについて、検出のための閾値が設定されている。例えば
目つぶり状態の検出に関すれば、まずは目の開き具合を数値化して検出し、この開き具合
を示す数値が閾値以下であるときに、目つぶりの状態であるとの検出結果を出力する。そ
こで、目つぶり検出については、例えば優先度が高くなるのに応じて、判定のための閾値
が小さくなるようにして設定する。
パラメータとして、このような閾値の可変設定を行えば、判定対象としている動きにつ
いての判定結果が得られやすくなる。

また、例えば信号処理部２４や制御部２７の処理能力などによっては、現実には、図１
６に示される１回の検出タイミングに応じた処理において、優先度評価を行うことのでき
る顔の最大数が制限される場合がある。
画枠内において有効な顔特徴量情報が検出された全て顔についての優先度評価を実行で
きない場合がある。この場合には、基本的には、１回の検出タイミングごとに異なる顔に
ついての優先度評価を行うようにして、これを循環させるようにしている。例えば、１回
の検出タイミングで最大３つの顔についての優先度評価が限度であるとして、６つの顔（
顔ＩＤ１〜６）が検出されているとする。この場合の基本的な処理としては、先の検出タ
イミングにより顔ＩＤ＝１〜３までの顔についての優先度評価を実行し、次の検出タイミ
ングにより顔ＩＤ＝４〜６までの顔についての優先度評価を実行し、これを繰り返し行う
ようにする。この場合、１つの顔についての検出頻度（単位時間あたりにおける検出回数
）は２回の検出タイミングごとに１回となる、つまり、１／２となる。

第３例では、優先度が一定以上に高いとされる顔については、パラメータとして上記の
検出頻度をより高くするようにして設定する。例えば上記の例の場合であれば、優先度が
一定以上に高い顔については１／２より大きな検出頻度として１を設定し、検出タイミン
グごとに優先度評価を行うようにするものである。
これにより、判定対象としている動きについての判定結果がより速く得られることにな
る。

図１６のステップＳ１１２としては、例えば上記第１例〜第３例のうちから１つを選択
して採用することができる。あるいは、第１例〜第３例のうちから２以上を選択し、これ
らを併用したアルゴリズムとすることができる。
そして、このようにしてステップＳ１１２が実行されることで、次の検出タイミングに
おいては、変更されたパラメータに従った処理動作が得られることとなる。

上記した第１例〜第３例の制御は、いずれも、複数の顔が検出されている状況において
、設定された優先度（優先順位）に応じて、顔ごとに、顔ジェスチャを認識してもらえる
度合いが変化するものとなる。つまり、顔ジェスチャの判定についてのデジタルスチルカ
メラ１側での受容度（判定受容度）を変化させる処理であるといえる。そして、ステップ
Ｓ１１２として、このような処理が実行される結果、先にも述べたように、例えば顔ジェ
スチャ認識精度の向上、及び操作としての顔ジェスチャパターンに対するデジタルスチル
カメラ１の応答速度などの向上がはかられることになる。

先にも述べたように、顔ジェスチャ・リモートコントロールにより可能な操作について
は多様に考えることができる。
ここで、先に挙げた以外の例として、デジタルスチルカメラ１を雲台に取り付けた場合
に可能となる操作の例を述べておく。
先に図１により説明したように、デジタルスチルカメラ１を対応する雲台に取り付けた
状態では、デジタルスチルカメラ１と雲台との通信により、デジタルスチルカメラ１から
雲台のパン・チルト方向における移動を制御することができる。そこで、このことを利用
して、操作者が行った特定の顔ジェスチャパターンに対応しては、デジタルスチルカメラ
１は、その操作者を被写体とした最適構図の撮像視野が得られるようにしてパン・チルト
方向への移動が行われるようにして雲台を制御するように構成する。このような構成であ
れば、例えば単に撮像記録が行われるだけでなく、常に良い構図の写真（静止画像データ
）を記録していくことができる。

また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、
ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させ
るほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインスト
ール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシ
ュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４など
のデータインターフェース経由により、他のホストとなる機器からの制御によってプログ
ラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサ
ーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネット
ワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成する
ことも考えられる。

なお、これまでの説明においては、操作に相当する顔ジェスチャパターンを認識するの
にあたり、単位コマンドとしては、目の開閉の動き（状態）と顔の傾き度とを利用するこ
ととしていた。しかし、例えば、図１８に例示した顔特徴量情報には、口の開閉の状態を
示す情報などもある。従って、この口の開閉の状態も単位コマンドとして利用できる。さ
らに、そのうえで、特定の顔ジェスチャパターンについて、例えば年齢、性別などの顔ご
との属性の情報を組み合わせることも考えられる。これによっては、例えば男性か女性の
いずれかしか操作できないようにしたり、大人もしくは子供のいずれかしか操作できない
ようにすることができる。

また、これまでの説明では、顔のみの動きを対象にして操作に応じた動きを認識するこ
ととしているが、例えば手、腕、足、胴体など、顔以外の身体部分の動きを操作として認
識できるように構成することが考えられる。
また、この場合において、顔の動きと、他の身体部分の動きを組み合わせたジェスチャ
パターンを、特定の操作に対応させるようにすれば、例えば顔のみの場合よりも多くのジ
ェスチャパターンを考えることができる。つまり、より多様なリモートコントロール操作
が可能になる。

また、顔などのジェスチャを認識して操作として受け付けるという、操作入力のための
構成は、デジタルスチルカメラなどとしての撮像装置以外の装置やシステムにも適用する
ことができる。この際において、その構成や用途によっては、操作者の画像は、必ずしも
リアルタイムな撮像により得られているものである必要はない。

実施形態に対応するデジタルスチルカメラの内部構成例を示すブロック図である。 特定の操作に対応させることのできる顔ジェスチャパターンの例を示す図である。 特定の操作に対応させることのできる顔ジェスチャパターンの例を示す図である。 特定の操作に対応させることのできる顔ジェスチャパターンの例を示す図である。 顔ジェスチャパターンの認識処理例を示す図である。 顔ジェスチャパターンにおける目つぶりコマンドの認識処理例を示す図である。 顔ジェスチャパターンにおける目開きコマンドの認識処理例を示す図である。 顔サイズに応じた被写体距離を優先度設定条件とした場合の優先度設定例を示す図である。 画枠内中心位置までの顔の距離を優先度設定条件とした場合の優先度設定例を示す図である。 画枠内における顔の移動速度を優先度設定条件とした場合の優先度設定例を示す図である。 １つの顔ジェスチャコマンドを優先動作条件とした場合の優先度設定例を示す図である。 １つの顔ジェスチャパターンを優先動作条件とした場合の優先度設定例を示す図である。 図８〜図１２の優先度設定条件に基づく優先度設定の一具体例を時間経過に従って示す図である。 図８〜図１２の優先度設定条件に基づく優先度設定の一具体例を時間経過に従って示す図である。 実施形態の顔ジェスチャ・リモートコントロール機能に対応するデジタルスチルカメラのシステム構成例を示す図である。 図１５のシステムが実行するものとされる顔ジェスチャ・リモートコントロール機能に対応する処理手順例を示すフローチャートである。 図１５のシステムが実行するものとされる顔ジェスチャに対応した通知制御のための処理手順例を示すフローチャートである。 記録顔特徴量情報の内容例を示す図である。 記録顔特徴量情報の内容の時間経過に応じた変化例を示す図である。 優先度設定処理を示すフローチャートである。 優先度設定条件が移動速度である場合の優先度設定処理を示すフローチャートである。 優先動作条件が顔ジェスチャコマンドである場合の優先度設定処理を示すフローチャートである。 優先動作条件が顔ジェスチャパターンである場合の優先度設定処理を示すフローチャートである。 実施形態のデジタルスチルカメラに対応する雲台の正面図である。 実施形態のデジタルスチルカメラに対応する雲台の背面図である。 実施形態のデジタルスチルカメラに対応する雲台の左側面図である。 実施形態のデジタルスチルカメラに対応する雲台の右側面図である。 実施形態のデジタルスチルカメラに対応する雲台の平面図である。 実施形態のデジタルスチルカメラに対応する雲台の底面図である。

符号の説明

１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１
光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５
エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、
２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表
示部、３４ 雲台対応通信部、３５ 雲台対応部、３６ ＬＥＤ部、４０ メモリカード
、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用
駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 撮
像記録ブロック、６２ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、
６４ 通信制御処理ブロック

Claims (14)

1. 画像データの画内容において存在する被写体における所定の身体部分を検出する身体部分検出手段と、
   上記身体部分検出手段により上記身体部分が複数検出される場合において、これら複数の身体部分ごとに、優先度設定条件に対応する所定の状態について判定する状態判定手段と、
   上記状態判定手段の判定結果に基づいて、上記複数の身体部分ごとに優先度を設定する優先度設定手段と、
   上記身体部分検出手段により検出される身体部分により、操作に相当する所定の動きが行われたか否かについての判定を行うもので、上記優先度に基づいて設定した、判定対象とする身体部分についての判定受容度に従って判定を行う操作判定手段と、
   上記操作判定手段により上記操作に相当する所定の動きが行われたことが判定されたのに応じて、本操作入力装置の所定の動作が実行されるようにして制御する制御手段と、
   を備える操作入力装置。
2. 上記状態判定手段は、上記身体部分ごとについての被写体距離を判定し、
   上記優先度設定手段は、上記被写体距離に基づいて上記複数の身体部分ごとに優先度を設定する、
   請求項１に記載の操作入力装置。
3. 上記状態判定手段は、上記画像データに対応する画枠における上記身体部分のサイズに基づいて被写体距離について判定する、
   請求項２に記載の操作入力装置。
4. 上記状態判定手段は、上記画像データに対応する画枠における、上記身体部分ごとについての当該画枠の中心位置までの距離を判定し、
   上記優先度設定手段は、上記距離に基づいて上記複数の身体部分ごとに優先度を設定する、
   請求項１乃至請求項３のいずれかに記載の操作入力装置。
5. 上記状態判定手段は、上記画像データに対応する画枠における、上記身体部分ごとの移動速度を判定し、
   上記優先度設定手段は、上記移動速度に基づいて上記複数の身体部分ごとに優先度を設定する、
   請求項１乃至請求項４のいずれかに記載の操作入力装置。
6. 上記状態判定手段は、上記身体部分が、予め優先度設定条件として定められた所定の動きとして、所定の単一の動きをしたか否かについて判定を行い、
   上記優先度設定手段は、上記の判定結果に基づいて優先度を設定する、
   請求項１乃至請求項５のいずれかに記載の操作入力装置。
7. 上記状態判定手段は、上記身体部分が、予め優先度設定条件として定められた所定の動きとして、所定の複数の単一の動きを組み合わせて得られる所定の動きパターンが行われたか否かについて判定を行い、
   上記優先度設定手段は、上記の判定結果に基づいて優先度を設定する、
   請求項１乃至請求項５のいずれかに記載の操作入力装置。
8. 上記操作判定手段は、上記優先度が閾値以上の身体部分があるときには、この身体部分のみを対象として判定を行う、
   請求項１乃至請求項７のいずれかに記載の操作入力装置。
9. 上記優先度が一定以上の身体部分については、上記身体部分検出手段による身体部分の検出、及び操作判定手段による判定の実行を繰り返す時間間隔を、上記優先度が一定以下の身体部分よりも短く設定する、
   請求項１乃至請求項８のいずれかに記載の操作入力装置。
10. 上記操作判定手段は、所定の動きを判定するのに利用する閾値を、優先度に応じて、身体部分ごとに変更する、
    請求１乃至請求項９のいずれかに記載の操作入力装置。
11. 上記優先度が一定以上の身体部分については、上記身体部分検出手段による身体部分の検出、及び操作判定手段による判定についての単位時間あたりにおける回数を、上記優先度が一定以下の身体部分よりも多く設定する、
    請求項１乃至請求項１０のいずれかに記載の操作入力装置。
12. 上記操作判定手段は、所定の単一の動きについて判定する場合には、予め定めた時間間隔による検出タイミングごとに上記所定の単一の動きに対応する状態が得られたか否かについて判定し、ａ回の連続した検出タイミングにおいてｂ（ａ＞ｂ）回以上、上記単一の動きに対応する状態が得られたのであれば、上記所定の単一の動きが行われたとの認識結果を得るようにされ、さらに、この認識結果が、連続してｃ（ｃは１以上の自然数）回以上得られたときに、上記所定の単一の動きが行われたとの判定結果を得る、
    請求項１乃至請求項１１のいずれかに記載の操作入力装置。
13. 画像データの画内容において存在する被写体における所定の身体部分を検出する身体部分検出手順と、
    上記身体部分検出手順により上記身体部分が複数検出される場合において、これら複数の身体部分ごとに、優先度設定条件に対応する所定の状態について判定する状態判定手順と、
    上記状態判定手順の判定結果に基づいて、上記複数の身体部分ごとに優先度を設定する優先度設定手順と、
    上記身体部分検出手順により検出される身体部分により、操作に相当する所定の動きが行われたか否かについての判定を行うもので、上記優先度に基づいて設定した、判定対象とする身体部分についての判定受容度に従って判定を行う操作判定手順と、
    上記操作判定手順により上記操作に相当する所定の動きが行われたことが判定されたのに応じて、本操作入力装置の所定の動作が実行されるようにして制御する制御手順と、
    を実行する操作入力方法。
14. 画像データの画内容において存在する被写体における所定の身体部分を検出する身体部分検出手順と、
    上記身体部分検出手順により上記身体部分が複数検出される場合において、これら複数の身体部分ごとに、優先度設定条件に対応する所定の状態について判定する状態判定手順と、
    上記状態判定手順の判定結果に基づいて、上記複数の身体部分ごとに優先度を設定する優先度設定手順と、
    上記身体部分検出手順により検出される身体部分により、操作に相当する所定の動きが行われたか否かについての判定を行うもので、上記優先度に基づいて設定した、判定対象とする身体部分についての判定受容度に従って判定を行う操作判定手順と、
    上記操作判定手順により上記操作に相当する所定の動きが行われたことが判定されたのに応じて、本操作入力装置の所定の動作が実行されるようにして制御する制御手順と、
    を操作入力装置に実行させるプログラム。

Images