JPH09311759A - ジェスチャ認識方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】カメラによるジェスチャ認識時に必須な、ジェ
スチャの開始・終了を認識可能なジェスチャ認識方法及
び装置の提供を目的とする。 【解決手段】被験者に所定色に点灯・消灯するペンライ
トを所持させると共に、ジェスチャ認識装置に上記ペン
ライトの点灯によりジェスチャの開始を認識させ、上記
ペンライトの消灯によりジェスチャの終了を認識させ、
上記開始から終了までのペンライトの移動状態からジェ
スチャの種別を認識させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ワークステーショ
ン、グラフィックワークステーション、パーソナルコン
ピュータ、画像処理ボード、ビデオカメラ、ビデオ記録
装置、磁気センサ、超音波センサ、光センサ等を含むシ
ステムにおける処理方式に係り、特に、計算機の生成す
るオブジェクトを人の動作に対応して変化表示させた
り、もしくは電化製品等を始めとする各種電子機器を制
御するための各種の指示を入力するために好適な、ジェ
スチャ認識方法および装置に関する。

【０００２】

【従来の技術】近年、バーチャルリアリティの研究が盛
んに行われ、その実用化も、各種シミュレーション、室
内・外ウォークスルー、アーケードゲーム等を中心に急
速に進んでいる。バーチャルリアリティを実現する上で
不可欠なのが、計算機等で生成された仮想世界と被験者
のいる実世界との間のインタフェースである。上記イン
タフェースで特に必要とされるのは、例えば仮想世界へ
送るべき指示あるいはメッセージを表すために行われ
る、被験者の体や手の動きを計算機に取り込み、仮想世
界へ反映させる機能である。

【０００３】上記機能を実現するためのデバイスとして
代表的なものに、特殊な手袋型センサを装着し手指の曲
がり具合を検出して数値出力するデータグローブや、特
殊なマウスの３次元的な位置や姿勢を磁気や超音波を用
い測定して数値出力する３次元マウス等がある。

【０００４】上記デバイスをバーチャルリアリティのイ
ンタフェースに適用するためには、前述したような特殊
な装置を被験者の体に装着する必要がある。このため、
長時間の使用は被験者にとって負担となり、また、その
使用感は必ずしも自然なものとは言えなかった。

【０００５】より自然なインターフェースを実現する方
式として、ビデオカメラを用い被験者の手や指の動きを
捉え、これを画像認識し、その動きを計算機上で再現す
る方式（電子情報通信学会、Ｄ−ＩＩ Ｖｏｌ．Ｊ７７
−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１５６２−１５７０ １
９９４年８月）がある。この方式では、被験者の手にご
く簡単な色マーカを付け、上記色マーカをつけた手の動
きを所定一定時間ビデオカメラで撮像し、撮像した動画
像データの各フレームから上記色マーカを抽出し、それ
により被験者の手の動きを再現するものである。

【０００６】

【発明が解決しようとする課題】人の手の一連の動きに
は特定の意味がある場合がある。例えば、手を左右に動
かすことで「ばいばい」を表現し、手を前から手前に動
かして「おいで」を表現するのはその代表例である。ま
た、手の動きだけでなく、その他の特定の体の動きにも
同様に特定の意味を持たせることができる。したがっ
て、これら手や体のその他の部分の一連の特定な動き
（以下ではジェスチャと呼ぶ）を画像認識することによ
って、仮想世界への指示やある特定の情報を入力するこ
とができる。

【０００７】ところで、これらジェスチャを認識する際
重要なのは、被験者が行う手や体の動きのうちどこから
どこまでが、被験者の伝えようとする指示等に対応する
ジェスチャに相当するのかを判断することである。

【０００８】上記ビデオカメラによる方式（電子情報通
信学会、Ｄ−ＩＩ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ Ｎｏ．
８ ｐｐ．１５６２−１５７０ １９９４年８月）で
は、ジェスチャの開始および終了の認識を考慮していな
い。そのため、伝えようとする指示に対応するジェスチ
ャの開始位置まで手や指を移動する動きや、上記ジェス
チャを終了して手や指を体の自然な位置に戻す際の動き
等、本来上記ジェスチャと無関係な動きまで捉えてしま
い、実用上誤認識の原因になる場合があるという問題点
がある。

【０００９】さらに、対戦型ゲーム等のように複数の被
験者が各々非同期にジェスチャを行う場合には、各人の
ジェスチャをそれぞれ捉え認識するという機能が、この
種のバーチャルリアリティのインタフェースとして必要
になる。しかし、上記方式では複数のジェスチャを分離
し、各ジェスチャをそれぞれ認識するという機能につい
ては全く考慮されていない。よって、上記方式は複数の
被験者が参加するような場合には適しないという問題点
があった。

【００１０】本発明は、上述した問題点を鑑みてなされ
たもので、認識されるべき被験者のジェスチャがより確
実に把握されることができる、ジェスチャ認識方法及び
装置を提供することを目的とする。

【００１１】より具体的には、被験者が伝えようとして
いる指示等に対応するジェスチャを、当該被験者が行う
それ以外の不要なジェスチャから分離し特定することが
できるジェスチャ認識方法及び装置を提供することを、
本発明の目的とする。また、複数の被験者が行う多数の
ジェスチャの中から、各被験者が伝えようとしている指
示等に対応するジェスチャを、他の被験者が行うジェス
チャから分離し特定することができるジェスチャ認識方
法及び装置を提供することを、本発明の目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に本発明は、被験者のジェスチャを時系列画像データと
して撮像入力し、当該入力された時系列画像データに基
づいて前記ジェスチャを認識するジェスチャ認識方法に
おいて、前記ジェスチャは、予め定めた色、形状、およ
び大きさのうち少なくとも一つによって特徴づけられた
マークを、撮像可能な状態を維持しつつ動かされること
で行われるものであり、前記入力された時系列画像デー
タにおいて、前記マークに対応する画素データの出現に
て前記ジェスチャの開始を検出し、それ以降の前記マー
クに対応する画素データの移動状態を記憶し、前記マー
クに対応する画素データの消滅にて前記ジェスチャの終
了を検出し、当該ジェスチャについてこれまでに記憶し
た前記マークに対応する画素データの移動状態から、当
該ジェスチャの種別を判定する。

【００１３】また、上記目的を達成するために、本発明
によるジェスチャ認識装置は、ある特定の色の付された
部位を表示する状態と表示しない状態のうち一方の状態
をとる所定色提示手段を動かして行われる被験者のジェ
スチャを時系列画像データとして撮像入力する入力手段
と、前記入力された時系列画像データの各フレームにお
いて、前記ある特定の色の画素パターンの有無を検知す
る第１の検知手段と、上記画素パターンが存在する場合
には、認識すべきジェスチャが開始されたと判断して、
当該画素パターンの位置情報を抽出・記憶する抽出記憶
手段と、上記画素パターンが存在しない場合には、当該
フレームよりも過去のフレームについて抽出・記憶され
た上記位置情報の有無を検知する第２の検知手段と、上
記位置情報が過去フレームに存在する場合、前記認識す
べきジェスチャが終了したと判断して、当該ジェスチャ
について今までに記憶されたきた上記位置情報の移動状
態から当該ジェスチャの種別を判定するジェスチャ判別
手段と、上記位置情報が過去フレームに存在しない場
合、認識すべきジェスチャが未実施であると判断する判
断手段とを備える。

【００１４】より具体的には、例えば以下の方法が考え
られる。

【００１５】即ち、被験者の行うジェスチャを認識する
際に、まず被験者に所定の色に点灯・消灯するペンライ
トを所持させ、そのペンライトを点灯した状態で、円、
縦振り、横振り、８の字、波等の予め定めたジェスチャ
パターンを空間で描くようにペンライトの発光点を移動
させ、ジェスチャ終了時にそのペンライトを消灯させる
ものとして、被験者のジェスチャを時系列画像データと
して撮像入力する手段と、上記撮像手段により入力され
た時系列画像データの各フレームにおいて、所定色の画
素パタンの有無を検知する手段と、上記画素パターンが
存在する場合にはジェスチャが開始されたと判断して上
記画素パターンの位置情報を抽出記憶する手段と、上記
画素パターンが存在しない場合には過去フレームから抽
出記憶した上記位置情報の有無を検知する手段と、上記
位置情報が存在する場合にはジェスチャが終了したと判
断して上記位置情報に基づきジェスチャ種別を判定する
手段と、上記位置情報が存在しない場合にはジェスチャ
が未実施であると判断する手段からなるジェスチャ認識
方法である。

【００１６】また、次のような方法も考えられる、即
ち、色１、色２、…、色ｎ（ｎ≧２：自然数）を互いに
異なる色とするとき、１人もしくは最大ｎ人の被験者各
々に上記色１、色２、…、色ｎに点灯・消灯するペンラ
イトを所持させ、その各々のペンライトを点灯した状態
で、円、縦振り、横振り、８の字、波等の予め定めたジ
ェスチャパターンを空間で描くようにペンライトの発光
点を移動させ、ジェスチャ終了時にそのペンライトを消
灯させるものとして、上記撮像手段により入力された時
系列画像データの各フレームにおいて、上記ジェスチャ
認識方法における所定色の画素パタンの有無を検知する
手段が上記色ｉ（ｉ＝１〜ｎ）を所定色として上記処理
を実行し、ｉが１〜ｎの全ての自然数をとるまで上記処
理を繰り返すジェスチャ認識方法である。

【００１７】

【発明の実施の形態】最初、本発明によるジェスチャ認
識方法及び装置における基本的な考え方について説明す
る。

【００１８】本発明において、被験者は、予め定めた色
や形状や大きさ等の画像的に特定可能なマークを、本発
明の装置側が認識できるように提示し、さらに当該マー
クが装置側に認識できないように提示をやめることで、
あるジェスチャの開始と終了とを表現し、本発明の装置
は、上記マークの提示及びその提示の中止をそれぞれ検
出することで、上記ジェスチャの開始と終了とのタイミ
ングを認識する。

【００１９】具体的には、被験者が、例えばペンライト
等の発光体を所持し、そのペンライトを点灯させ、その
点灯状態を保ったままで、円、縦振り、横振り、８の
字、波等の予め定めたジェスチャパターンを空間で描く
ようにその発光点を移動させ、ジェスチャ終了時に消灯
する。これらのジェスチャパターンは、２次元に限ら
ず、３次元であってもよい。

【００２０】また、本発明では、上記マークを複数設
け、これらマークを互いに分離できるようにそれぞれ設
定しておき、装置側がその設定に応じて各マークを識別
することによって、複数の被験者（ｎ人）が行うジェス
チャを、各被験者毎に認識できる構成を備えている。例
えば、被験者各々に互いに異なる色（以下色１、色２、
…、色ｎ）のペンライトを所持させ、上述の方法で各々
独立にジェスチャを実施させれば良い。

【００２１】以下で行う本発明の実施形態の説明では、
簡潔にするため、被験者の人数を２人とし、各々異なる
色（以下色１、色２とする）のペンライトを所持させジ
ェスチャを実施することにするが、これらの条件は本発
明を制限するものではもちろんない。

【００２２】ここで、ペンライトのような発光体を用い
る理由は、被験者がペンライトの点灯、消灯によりジェ
スチャの開始および終了を明確化することができるから
である。従って、画像処理において、少なくとも開始お
よび終了を明確化できるものであれば、ジェスチャを行
なう道具は、発光体に限られない。例えば、反射率の高
い領域を一部に設け、ジェスチャを行なうとき、それが
撮像可能であるように露出させ、ジェスチャを行なわな
いときには、それが露出しないようにすることもでき
る。

【００２３】例えば、手袋の指の一部に螢光塗料を塗布
しておき、ジェスチャを行なうとき、それが塗布されて
いる指を立て、それ以外のときは、その指を折った状態
にしておくことによっても実現することができる。ま
た、先端に特定の色を塗布した指揮棒を用意し、ジェス
チャを行なうとき、先端を露出し、指示を行なわないと
き、先端を覆うようにしてもよい。

【００２４】また、通常、被験者が身に付けていると考
えられるもの、例えばボールペン等の筆記用具、時計、
キーホルダー等の一部に、特定の色や大きさのテープを
予め貼りつけたり、あるいは特定の色を発光する発光部
を設け、これを利用するようにしても良い。

【００２５】本発明によるジェスチャ認識方法の一実施
形態では、例えば図１に示すように、上記の説明にある
ような、所定色の付された部位を表示する状態と表示し
ない状態のうち一方の状態をとる所定色提示装置２００
を用いて被験者が実施したジェスチャを、時系列画像デ
ータとしてカメラ等の撮像装置により入力する（ステッ
プ５０）。

【００２６】次に、入力された画像データの各フレーム
から所定色１の画素パターンを抽出し（ステップ６
０）、上記画素パターンが存在する場合には色１による
ジェスチャが開始されたと判断し上記画素パタンの位置
情報を抽出記憶する（ステップ７０）。上記画素パター
ンが存在しない場合には、過去フレームから抽出記憶し
た上記画素パターンの位置情報の有無を検知し（ステッ
プ８０）、上記位置情報が検出されている場合には色１
によるジェスチャが終了したと判断して、上記位置情報
すなわち上記色１画素パターンの移動状態から色１によ
るジェスチャの種別を判定する（ステップ９０）。

【００２７】上記位置情報が検出されていない場合に
は、色１によるジェスチャが未実施であると判断し、同
様に上記処理を所定色を色２として繰り返すことによ
り、例えば色１及び色２に点灯・消灯するペンライトを
所持した２人の被験者の非同期に実行するジェスチャを
それぞれ捉え、認識することができる。

【００２８】本実施形態のジェスチャ認識方法を実現す
る装置の概略構成の一例及びその動作を、図２を参照し
て説明する。本図において、実線はデータの流れ、点線
は制御の流れを示している。

【００２９】なお、全体制御手順格納部２０には、後述
するＣＰＵ１（図３参照）の動作を記述するプログラム
が内蔵されている。従って、ＣＰＵ１は、全体制御手順
格納部２０に格納されているプログラムに従って全体制
御（点線で示すＡ／Ｄコンバータ８、色１ジェスチャ認
識部２１ａ、色２ジェスチャ認識部２２ａの起動等の制
御）を行う。また、色１ジェスチャ認識部２１ａ、色２
ジェスチャ認識部２２ａでの認識処理は、後述する色１
ジェスチャ認識手順格納部２１、色２ジェスチャ認識手
順格納部２２に格納されているプログラムに従って行な
われる。

【００３０】被験者のジェスチャは、カメラ１（５）、
カメラ２（６）で異なる２方向から撮像される。各カメ
ラ１、２により撮像された各アナログ動画像はビデオエ
フェクタ７により１つのアナログ動画像にまとめられ、
Ａ／Ｄコンバータ８に送られる。Ａ／Ｄコンバータ８
は、送られてきたアナログ動画像を毎フレームデジタイ
ズし、その結果得たデジタル動画像においてカメラ１に
よるデジタル動画像部分をカメラ１撮像動画像格納領域
３１に、カメラ２によるデジタル動画像部分をカメラ２
撮像動画像格納領域３２に各々格納する。

【００３１】カメラ１撮像動画像格納領域３１およびカ
メラ２撮像動画像格納領域３２に格納されたデジタル動
画像を入力データとして、色１ジェスチャ認識部２１
ａ、色２ジェスチャ認識部２２ａはそれぞれ、色１によ
ってなされたジェスチャ、色２によってなされたジェス
チャの開始・終了の検出、認識結果の出力等を実行す
る。特徴量辞書４は、色１ジェスチャ認識部２１ａ、色
２ジェスチャ認識部２２ａでのジェスチャ認識処理にお
いて参照される辞書である。

【００３２】本実施形態では２台のカメラを用いるが、
本発明で使用するカメラの数はこれに限定されるもので
はなく、１台でも２台以上でもかまわない。ただし、２
台以上用意することで、ジェスチャの３次元的な動きも
捉え認識することができるため、実用上は２台以上が好
ましい。

【００３３】本実施形態によるジェスチャ認識装置のハ
ードウェア構成の一例を、図３を参照して説明する。

【００３４】本実施形態によるジェスチャ認識装置は、
ＣＰＵ１、ＣＰＵ１の動作が記述されているプログラム
を記憶するメモリ２、各種必要データを記憶するための
メモリ３、プログラムがジェスチャ認識処理を実行する
際に参照する特徴量辞書４、被験者のジェスチャを撮像
するカメラ１（５）、同じく被験者のジェスチャを撮像
するカメラ２（６）、カメラ１、２が撮像したアナログ
動画像について各種画質調整を実施し１つのアナログ動
画像にまとめるビデオエフェクタ７、アナログ動画像を
デジタイズしデジタル動画像にデータ変換するＡ／Ｄコ
ンバータ８、およびこれら構成要素を相互に結合するバ
ス９から構成される。

【００３５】メモリ２は、全体制御手順格納部２０、色
１ジェスチャ認識手順格納部２１、および色２ジェスチ
ャ認識手順格納部２２を備えている。ＣＰＵ１は、全体
制御手順格納部２０に格納されているプログラムに従っ
て全体制御（図２で点線で示す、８、２１ａ、２２ａの
起動等の制御）を行い、また、色１ジェスチャ認識手順
格納部２１、色２ジェスチャ認識手順格納部２２に格納
されているプログラムに従って、それぞれ、色１による
ジェスチャ、色２によるジェスチャの認識処理を行う。

【００３６】メモリ３は、ＣＰＵ１の各種処理実行時に
使用する作業領域３０、カメラ１（５）で撮像した画像
データを格納するカメラ１撮像動画像格納領域３１、カ
メラ２（６）で撮像した画像データを格納するカメラ２
撮像動画像格納領域３２から構成される。ビデオエフェ
クタ７は、一般のビデオ編集機器に相当するものであ
り、複数のアナログ動画像を１つのアナログ動画像に
（ワイプ、ミックス等の手法により）まとめたり、ある
特定範囲の色対象について着色処理するなどの特殊効果
を実現できるものとする。

【００３７】この装置構成で行われる処理例は、図２を
参照して説明した通りなので詳しく説明することは避け
るが、概要を述べると以下のようになる。なお、以下の
処理は、ＣＰＵ１が行う。カメラ１（５）、カメラ２
（６）によって撮像された被験者のジェスチャはビデオ
エフェクタ７で１つのアナログ動画像にまとめられる。
Ａ／Ｄコンバータ８はビデオエフェクタ７から出力され
たアナログ動画像を毎フレームデジタイズし、カメラ
１、カメラ２によるデジタル動画像部分を、各々カメラ
１撮像動画像格納領域３１、カメラ２撮像動画像格納領
域３２に格納する。色１ジェスチャ認識手順格納部２
１、色２ジェスチャ認識手順格納部２２に格納されたプ
ログラムは、上記格納領域３１、３２に格納されたデジ
タル動画像データ双方から、色１及び色２によってなさ
れたジェスチャを個別に分離抽出し、色１及び色２によ
ってなされたジェスチャ各々の認識処理を実行する。

【００３８】ＣＰＵ１が実行する、本実施形態によるジ
ェスチャ認識装置の基本処理手順を図４のフローチャー
トを参照して説明する。

【００３９】ステップ１０００では、予め設けられてい
るカウンタＣｎｔ１，Ｃｎｔ２の値を０に初期化する。
ステップ２０００では、Ａ／Ｄコンバータ８を起動し、
ビデオエフェクタ７によって１つにまとめられたカメラ
１（５）、カメラ２（６）からのアナログ動画像を１フ
レームデジタイズし、それにより得たデジタル画像中、
カメラ１、カメラ２によるデジタル動画像部分を各々カ
メラ１撮像動画像格納領域３１、カメラ２撮像動画像格
納領域３２に格納する。

【００４０】ステップ３０００では、上記格納領域３
１、３２のそれぞれに格納されたデジタル画像中におけ
る、色１によりなされたジェスチャの抽出処理および認
識処理を実行する。ステップ４０００では、上記格納領
域３１、３２のそれぞれに格納されたデジタル画像中に
おける、色２によりなされたジェスチャの抽出処理およ
び認識処理を実行する。ステップ５０００では、ユーザ
によるシステム終了指示があるならばシステムを終了
し、なければステップ２０００に戻る。

【００４１】図４のステップ３０００で実行する色１ジ
ェスチャ認識処理の詳細を、図５のフローチャートを参
照して説明する。

【００４２】ステップ３１００では、色１に点灯するペ
ンライト部分の抽出処理を実行する。上記点灯部分の抽
出処理は、例えば次のように行う。上記格納領域３１、
３２に格納されたデジタル画像が、各画素Ｒ，Ｇ，Ｂ各
々２５６階調でデジタルデータ化されていると仮定する
と、本抽出処理においては、上記２つの格納領域３１、
３２に格納されたそれぞれのデジタル画像中から、色１
を含む適当な色範囲１（例えば、１５０≦Ｒ≦２５５，
０≦Ｇ≦５０，０≦Ｂ≦５０とする）をもつ画素を抽出
し、さらに、上記抽出した画素の中から、所定サイズの
画素８連結成分（上下、左右、斜め上下）のみを抽出
し、これをペンライト点灯部分とする。

【００４３】なお、上記色範囲１は、ペンライトの点灯
部分の色が撮像する方向によりいくらか変化することを
考慮して決定する。

【００４４】また、本実施形態では、所定サイズの色領
域を選択的に抽出することにより、散発的に発生したノ
イズのために誤って抽出された、所定サイズよりも小さ
い、１または複数の画素からなるノイズ部分を排除する
ことができる。

【００４５】ステップ３２００では、ステップ３１００
での抽出処理によりペンライト点灯部分が検出された場
合はステップ３３００へ、検出されない場合はステップ
３５００へ進む。

【００４６】ステップ３３００では、ステップ３１００
により抽出した、カメラ１およびカメラ２により撮像さ
れたペンライト点灯部分の座標位置をそれぞれ算出し、
作業領域３０に記憶する。上記座標位置とは、例えば撮
像解像度が横２００×縦１００画素であるとすると、左
上隅の画素を原点（０，０）とする２次元座標系
｛（ｘ，ｙ）｜０≦ｘ≦１９９，０≦ｙ≦９９、ｘ，ｙ
は整数｝を撮像範囲に想定し、ステップ３１００で抽出
したペンライト点灯部分の重心位置が上記座標系のどの
座標に位置するかを算出すればよい。

【００４７】ステップ３４００では、カウンタＣｎｔ１
を１インクリメントする。ここで、Ｃｎｔ１の値は、取
り込まれた座標位置データの個数に対応する。

【００４８】ステップ３５００では、カウンタＣｎｔ１
＞０であるならばステップ３６００へ、Ｃｎｔ１≦０で
あるならば、このフローチャートでの処理を終了する。

【００４９】ステップ３６００では、ステップ３３００
で記憶した２つのカメラによって撮像されたペンライト
点灯位置の座標データに基づき特徴量を抽出する。特徴
量の抽出方法については，図７を用い後述する。

【００５０】ステップ３７００では、ステップ３７００
で抽出した特徴量と予め用意した特徴量辞書４とのマッ
チングを行い、その結果を色１でなされたジェスチャ１
の認識結果として出力する。

【００５１】ステップ３８００では、カウンタＣｎｔ１
を０に初期化する。

【００５２】本処理手順では、ステップ３２００および
３５００の判定処理により、色１のペンライトの点灯状
態の変化に対応した処理を実行している。すなわち、本
処理手順では、ペンライトの点灯開始に対応して点灯部
分の座標位置データの取り込みを開始し、その後該点灯
しているペンライトが消されるまで上記データ取込処理
を継続すると共に、ペンライトの消灯動作に対応して、
上記取り込まれたデータに基づいたステップ３６００の
特徴量抽出処理が実行される。

【００５３】図４ステップ４０００で実行する色２ジェ
スチャ認識処理の詳細を、図６のフローチャートを参照
して説明する。なお、本処理は、認識すべき色の違いを
除いて、図５のフローチャートでの処理と同じである。

【００５４】ステップ４１００では、色２に点灯するペ
ンライト部分の抽出処理を実行する。上記点灯部分の抽
出処理は、例えば次のように行う。上記格納領域３１、
３２に格納されたデジタル画像が各画素Ｒ，Ｇ，Ｂ各々
２５６階調でデジタルデータ化されていると仮定する
と、本抽出処理においては、上記格納されたそれぞれの
デジタル画像中から色２を含む適当な色範囲２（例え
ば、０≦Ｒ≦５０，０≦Ｇ≦５０，１５０≦Ｂ≦２５５
とする）をもつ画素を抽出し、さらにその中から所定サ
イズの画素８連結成分のみをペンライト点灯部分として
抽出する。色範囲２は、ペンライトの点灯部分の色が撮
像する方向によりいくらか変化することを考慮して決定
すればよい。

【００５５】ステップ４２００では、ステップ４１００
での抽出処理によりペンライト点灯部分が検出された場
合はステップ４３００へ、検出されない場合はステップ
４５００へ進む。

【００５６】ステップ４３００では、ステップ４１００
で抽出した、カメラ１およびカメラ２により撮像された
ペンライト点灯部分の座標位置をそれぞれ算出し、作業
領域３０に記憶する。上記座標位置とは、例えば撮像解
像度が横２００×縦１００画素であるとすると、左上隅
の画素を原点（０，０）とする２次元座標系｛（ｘ，
ｙ）｜０≦ｘ≦１９９，０≦ｙ≦９９、ｘ，ｙは整数｝
を撮像範囲に想定し、ステップ４１００で抽出したペン
ライト点灯部分の重心位置が上記座標系のどの座標に位
置するかを算出すればよい。

【００５７】ステップ４４００では、カウンタＣｎｔ２
を１インクリメントする。ここで、Ｃｎｔ２の値は、取
り込まれた座標位置データの個数に対応する。

【００５８】ステップ４５００では、カウンタＣｎｔ２
＞０であるならばステップ４６００へ、Ｃｎｔ２≦０で
あるならばこのフローチャートを終了する。

【００５９】ステップ４６００では、ステップ４３００
で記憶した２つのカメラによって撮像されたペンライト
点灯位置の座標データに基づき特徴量を抽出する。特徴
量の抽出方法については、図７を用い後述する。

【００６０】ステップ４７００では、ステップ４７００
で抽出した特徴量と予め用意した特徴量辞書４とのマッ
チングを行い、その結果を色２でなされたジェスチャ２
の認識結果として出力する。

【００６１】ステップ４８００では、カウンタＣｎｔ２
を０に初期化する。

【００６２】図７は、上記図５のステップ３３００また
は上記図６のステップ４３００で算出記憶した、単一の
カメラにより撮像されたペンライト点灯部分の座標位置
データと、それに対する特徴量の抽出法の一例を示した
ものである。

【００６３】本図において、点４００は、ステップ３３
００またはステップ４３００で算出記憶したペンライト
点灯部分の座標位置である。曲線４１０は、上記点４０
０を滑らかにつないだ曲線であり、被験者が動した、点
灯しているペンライトの軌跡に相当する。また、矩形３
００は曲線４１０の外接矩形（幅（７００）、高さ（８
００））である。

【００６４】上記図５のステップ３６００および上記図
６のステップ４６００における特徴量抽出処理の詳細
を、図８のフローチャートを参照して説明する。

【００６５】ステップ４６１０では、上記抽出したペン
ライトの座標位置の軌跡に対する外接矩形（図７の３０
０）を求める。ステップ４６２０では、上記外接矩形に
対応して設定される所定の水平線（図７の５００）およ
び所定の垂直線（図７の６００）と、ペンライトの軌跡
（図７の４１０）との交差回数をカウントする。

【００６６】ここで、ステップ４６１０、４６２０は、
カメラ１、カメラ２により撮像された２つの画像データ
についてそれぞれ実行する構成としても良いし、あるい
は、両者の画像データは原則的には同じ特徴量を持つと
して想定し、いずれか一方のデータについてのみ実行す
る構成としても良い。

【００６７】ステップ４６３０では、被験者の行ったジ
ェスチャの深さ方向の動きを検出する。

【００６８】次に、上記ステップ４６３０でのジェスチ
ャの深さ方向の動きを検出する方法について説明する。
図９は、本実施形態における、ジェスチャを行う被験者
とジェスチャを撮像するカメラ１（５）およびカメラ２
（６）との位置関係の一例を示した図である。

【００６９】被験者１００は、色１のペンライト２００
を所持し、ペンライトの点灯と共にジェスチャを開始
し、ペンライトの消灯と共にジェスチャを終了する。上
記被験者１００のジェスチャは、被験者の左側から撮像
するカメラ５と右側から撮像するカメラ６により、２方
向から同時に撮像される。

【００７０】同様に被験者１１０は、色２のペンライト
２１０を所持し、ペンライトの点灯と共にジェスチャを
開始し、ペンライトの消灯と共にジェスチャを終了す
る。上記被験者１１０のジェスチャは、被験者の左側か
ら撮像するカメラ５と右側から撮像するカメラ６によ
り、２方向から同時に撮像される。

【００７１】上述したような環境において、本実施形態
では、被験者に対し横方向（ＡＢ方向）と深さ方向（Ｃ
Ｄ方向）を図１０のように定義する。なお、図１０は図
９の環境を真上から見た図である。上記定義によれば、
横方向および深さ方向について、図１１、図１２に示す
ような関係が得られる。

【００７２】例えば、被験者１００がＡＢ方向にペンラ
イトを動かすジェスチャを行ったとする。これをカメラ
５で撮像した際には、図１１の９００に示すように、ペ
ンライトの軌跡が移動する。また、同じジェスチャをカ
メラ６で撮像した際には、図１１の９１０のようにペン
ライトの軌跡が移動する。すなわち、横方向（ＡＢ方
向）のペンライトの動きは、カメラ５およびカメラ６の
撮像において同じ方向に移動する。

【００７３】一方、被験者１００がＣＤ方向にペンライ
トを動かすジェスチャを行い、このジェスチャをカメラ
５で撮像したとすると、ペンライトの軌跡は図１２の９
２０のように移動する。ところが、同じジェスチャをカ
メラ６で撮像すると、ペンライトの軌跡は図１２の９３
０のように移動する。すなわち、深さ方向（ＣＤ方向）
のペンライトの動きは、カメラ５およびカメラ６の撮像
において互いに異なる方向に移動する。

【００７４】本実施形態では、図１０に示すように深さ
方向を定義することで満足される以上のような関係を利
用するものであり、上記図８のステップ４６３０におけ
る深さ方向の判定は、カメラ５およびカメラ６によって
撮像されたペンライトの軌跡における、互いに対応する
部分での移動方向が互いに同じか異なるかにより判定で
きる。

【００７５】次に、上記図５のステップ３７００におけ
る特徴量辞書４とのマッチングについて説明する。

【００７６】本実施形態では、上記図８のステップ４６
００により抽出された特徴量に対応するジェスチャを、
例えば図１３に示すような辞書データが格納されている
特徴量辞書４を参照してマッチングを行うことで決定す
る。

【００７７】特徴量辞書４には、識別すべき各ジェスチ
ャ４１を特徴づける辞書データとして、ジェスチャ軌跡
の外接矩形の高／幅（高さ÷幅）４２、ジェスチャ軌跡
と水平線との交差数４３、ジェスチャ軌跡と垂直線との
交差数４４、ジェスチャ軌跡の深さ方向の動きの有無４
５などが格納、登録されている。

【００７８】例えば、「バイバイ」というジェスチャで
は、ジェスチャ軌跡の外接矩形の高／幅（高さ÷幅）が
「０．５未満」、ジェスチャ軌跡と水平線との交差数が
「ｄｏｎ’ｔ ｃａｒｅ」（何回でもよい）、ジェスチ
ャ軌跡と垂直線との交差数が「２回以上」、ジェスチャ
軌跡の深さ方向の動きは「なし」となる。

【００７９】マッチングに際しては、上記図８のステッ
プ４６１０で求められたペンライトの軌跡に対する外接
矩形の幅７００および高さ８００、ステップ４６２０で
求められた上記外接矩形内の所定水平線・垂直線とペン
ライトの軌跡との交差回数、およびステップ４６３０で
判定されたペンライトの軌跡における深さ方向への移動
の有無に関するデータを、それぞれに該当する各辞書デ
ータと比較し、両者のマッチングがとれている場合に対
応するジェスチャを、被験者が行ったジェスチャである
として、その認識結果を出力する。

【００８０】なお、上記図８のステップ４６１０、４６
２０で抽出される特徴量には、カメラ１およびカメラ２
が撮像したデータから得られた２組の特徴量を考慮して
求められる代表的な値を用いても良いし、あるいは、カ
メラ１およびカメラ２のうち一方のデータから得られた
特徴量を用いても良い。

【００８１】以上、本実施形態によれば、被験者のジェ
スチャの開始および終了を容易に検出することができ
る。このため、被験者がジェスチャの開始位置に手や指
を移動する動きやジェスチャを終了して手や指を体の自
然な位置に戻す際の動き等、本来ジェスチャと無関係な
動きをジェスチャ認識の対象から排除ができるだけでな
く、さらには、ジェスチャの速さに関する個人的な違い
を吸収でき、より正確で実用的なジェスチャ認識システ
ムを構築することができる。

【００８２】ここで、ペンライトのような発光体を用い
ている理由は、点灯、消灯によりジェスチャの開始およ
び終了を明確化することができるからであり、従って、
画像処理において、少なくとも開始および終了を明確化
できるものであれば、ジェスチャを行なう道具は、発光
体に限られないことは前述の通りである。

【００８３】さらに、本実施形態によれば、複数の被験
者各々にペンライトを所持させることで、複数被験者の
ジェスチャを同時に認識させることができる。例えば、
色１、色２、…、色ｎ（ｎ≧２：自然数）を互いに異な
る色とするとき、１人もしくは最大ｎ人の被験者各々に
上記色１、色２、…、色ｎに点灯・消灯するペンライト
を所持させ、複数の被験者が各々非同期に実行するｎ種
のジェスチャ種別の判定を同時に実行することができ
る。

【００８４】ここで、各被験者が所持するペンライトの
数は、本実施形態のように１本に限定されるものではな
く、それぞれが複数本所持する構成としても良い。ま
た、各被験者が複数本のペンライトを所持する代わり
に、複数の色を切り換えて点灯・消灯することができる
発光手段を用いても良い。

【００８５】また、カメラは１台でもかまわないが、で
きれば２台以上が好ましい。２台以上用意することで、
ジェスチャの３次元的な動きも捉え認識することができ
る。本実施形態では説明を簡潔にするためカメラを２台
とした構成を示したが、これは本発明を制限するもので
はない。また、複数の被験者がいる場合や多くの被験者
がいる場合には、各被験者あるいは予め定めたグループ
毎にカメラをセットする構成としても良い。

【００８６】また、特徴量の抽出方法、抽出すべき特徴
量の種類、識別すべきジェスチャの特徴付け方法、特徴
量辞書の具体的内容等については、上述した例に限ら
ず、所望のジェスチャを、取り込まれた画像データから
識別できる方法であれば、他の方法を用いても良い。

【００８７】

【発明の効果】本発明によれば、認識されるべき被験者
のジェスチャがより確実に把握されることができる、ジ
ェスチャ認識方法及び装置を提供することができる。

【００８８】より具体的には、本発明によれば、被験者
が伝えようとしている指示等に対応するジェスチャを、
当該被験者が行うそれ以外の不要なジェスチャから分離
し特定することができると共に、複数の被験者が行う多
数のジェスチャの中から、各被験者が伝えようとしてい
る指示等に対応するジェスチャを、他の被験者が行うジ
ェスチャから分離し特定することができるジェスチャ認
識方法及び装置を提供することができる。

【図面の簡単な説明】

【図１】本発明にかかるジェスチャ認識方法の基本概念
を示した説明図である。

【図２】本発明にかかる装置のデータ・制御の流れを示
す構成図である。

【図３】本発明にかかる装置構成例を示す構成図であ
る。

【図４】ＣＰＵが実行する処理を示すフローチャートで
ある。

【図５】色１により実行されたジェスチャの認識処理を
示すフローチャートである。

【図６】色２により実行されたジェスチャの認識処理を
示すフローチャートである。

【図７】ジェスチャ種別を判別するために抽出する特徴
量の例を示した説明図である。

【図８】ジェスチャ種別を判別するための特徴量抽出処
理を示すフローチャートである。

【図９】ジェスチャを実行する被験者とジェスチャを撮
像するカメラの位置関係を示した説明図である。

【図１０】図９の環境を真上から示した説明図である。

【図１１】被験者が横方向にペンライトを移動した際に
２つのカメラが捉えるペンライトの移動方向を示した説
明図である。

【図１２】被験者が深さ方向にペンライトを移動した際
に２つのカメラが捉えるペンライトの移動方向を示した
説明図である。

【図１３】特徴量辞書に格納する辞書データの１例を示
した説明図である。

【符号の説明】

１…ＣＰＵ、２…プログラム格納メモリ、３…処理デー
タ格納メモリ、４…特徴量辞書、５…ジェスチャ撮像用
カメラ１、６…ジェスチャ撮像用カメラ２、７…ビデオ
エフェクタ、８…Ａ／Ｄコンバータ、９…バス。

Claims (10)

【特許請求の範囲】
1. 【請求項１】被験者のジェスチャを時系列画像データと
   して撮像入力し、当該入力された時系列画像データに基
   づいて前記ジェスチャを認識するジェスチャ認識方法に
   おいて、 前記ジェスチャは、予め定めた色、形状、および大きさ
   のうち少なくとも一つによって特徴づけられたマーク
   を、撮像可能な状態を維持しつつ動かされることで行わ
   れるものであり、 前記入力された時系列画像データにおいて、前記マーク
   に対応する画素データの出現にて前記ジェスチャの開始
   を検出し、それ以降の前記マークに対応する画素データ
   の移動状態を記憶し、 前記マークに対応する画素データの消滅にて前記ジェス
   チャの終了を検出し、当該ジェスチャについてこれまで
   に記憶した前記マークに対応する画素データの移動状態
   から、当該ジェスチャの種別を判定することを特徴とす
   るジェスチャ認識方法。
2. 【請求項２】ある特定の色の付された部位を表示する所
   定色提示手段を動かして行われる被験者のジェスチャを
   時系列画像データとして撮像入力し、当該入力された時
   系列画像データに基づいて前記ジェスチャを認識するジ
   ェスチャ認識方法において、 前記被験者は、前記所定色提示手段の色部位を表示する
   状態、表示しない状態とすることで、認識させるべきジ
   ェスチャの開始、終了をそれぞれ示すものであり、 前記入力された時系列画像データの各フレームにおい
   て、前記ある特定の色の画素パターンの有無を検知し、 前記ある特定の色の画素パターンが存在する場合には、
   認識すべきジェスチャが開始されたと判断して、当該画
   素パターンの位置情報を抽出・記憶し、 前記ある特定の色の画素パターンが存在しない場合に
   は、過去のフレームについて抽出・記憶された前記位置
   情報の有無を検知し、 前記位置情報が過去フレームに存在する場合、前記認識
   すべきジェスチャが終了したと判断し、当該ジェスチャ
   についていままでに記憶されてきた前記位置情報の移動
   状態から当該ジェスチャの種別を判定し、 前記位置情報が過去フレームに存在しない場合、認識す
   べきジェスチャが未実施であると判断することを特徴と
   するジェスチャ認識方法。
3. 【請求項３】請求項２に記載したジェスチャ認識方法に
   おいて、 上記所定色提示手段が、上記ある特定の色に点灯および
   消灯する照明部を少なくとも備えることを特徴とするジ
   ェスチャ認識方法。
4. 【請求項４】請求項２に記載したジェスチャ認識方法に
   おいて、 上記所定色提示手段が、上記ある特定の色に点灯および
   消灯するペンライトであることを特徴とするジェスチャ
   認識方法。
5. 【請求項５】請求項２に記載したジェスチャ認識方法に
   おいて、 色１、色２、…、色ｎ（ｎ≧２：ｎは自然数）を互いに
   異なる色とした場合、１人あるいは最大ｎ人の被験者に
   色１、色２、…、色ｎに点灯・消灯する前記所定色提示
   手段を所持させ、各被験者が所持した前記所定色提示手
   段をそれぞれ任意に動かすことで上記ジェスチャを行う
   ものであり、 前記１人あるいは最大ｎ人の被験者が行うジェスチャを
   撮像入力した時系列画像データの各フレームにおいて、
   前記色ｉ（ｉ＝１〜ｎ）を上記ある特定の色として設定
   して、該当する色ｉの画素パターンの有無を検知し、 上記色ｉの画素パターンが存在する場合には、上記色ｉ
   の所定色提示手段によるジェスチャが開始されたと判断
   し、当該画素パターンの位置情報を抽出・記憶し、 上記色ｉの画素パターンが存在しない場合には、過去の
   フレームについて抽出・記憶された当該色ｉの画素パタ
   ーンの位置情報の有無を検知し、 前記位置情報が過去フレームに存在する場合、上記色ｉ
   の所定色提示手段によるジェスチャが終了したと判断
   し、当該ジェスチャについていままでに記憶された前記
   位置情報の移動状態から、上記色ｉの所定色提示手段に
   よるジェスチャの種別を判定し、 前記位置情報が過去フレームに存在しない場合、上記色
   ｉの所定色提示手段によるジェスチャが未実施であると
   判断し、 以上の各フレームにおける処理をｉが１〜ｎまでの全て
   の自然数となるまで繰り返すことを特徴とするジェスチ
   ャ認識方法。
6. 【請求項６】予め定めた色、形状、および大きさのうち
   少なくとも一つによって特徴づけられたマークをうごか
   して行われる被験者のジェスチャを時系列画像データと
   して撮像入力する手段と、 前記入力された時系列画像データにおいて、前記マーク
   に対応する画素データの出現にて、前記ジェスチャの開
   始を検出する手段と、 前記開始が検出された時点以降の前記マークに対応する
   画素データの移動状態を記憶する手段と、 前記マークに対応する画素データの消滅にて、前記ジェ
   スチャの終了を検出する手段と、 前記終了が検出された時点までに記憶された前記マーク
   に対応する画素データの移動状態から、前記ジェスチャ
   の種別を判定する手段とを有することを特徴とするジェ
   スチャ認識装置。
7. 【請求項７】ある特定の色の付された部位を表示する状
   態と表示しない状態のうち一方の状態をとる所定色提示
   手段を動かして行われる被験者のジェスチャを時系列画
   像データとして撮像入力する入力手段と、 前記入力された時系列画像データの各フレームにおい
   て、前記ある特定の色の画素パターンの有無を検知する
   第１の検知手段と、 上記画素パターンが存在する場合には、認識すべきジェ
   スチャが開始されたと判断して、当該画素パターンの位
   置情報を抽出・記憶する抽出記憶手段と、 上記画素パターンが存在しない場合には、当該フレーム
   よりも過去のフレームについて抽出・記憶された上記位
   置情報の有無を検知する第２の検知手段と、 上記位置情報が過去フレームに存在する場合、前記認識
   すべきジェスチャが終了したと判断して、当該ジェスチ
   ャについて今までに記憶されたきた上記位置情報の移動
   状態から当該ジェスチャの種別を判定するジェスチャ判
   別手段と、 上記位置情報が過去フレームに存在しない場合、認識す
   べきジェスチャが未実施であると判断する判断手段とを
   備えたことを特徴とするジェスチャ認識装置。
8. 【請求項８】請求項７に記載したジェスチャ認識装置に
   おいて、 上記所定色提示手段が、上記ある特定の色に点灯および
   消灯する照明部を少なくとも備えることを特徴とするジ
   ェスチャ認識装置。
9. 【請求項９】請求項７に記載したジェスチャ認識方法に
   おいて、 上記所定色提示手段が、上記ある特定の色に点灯および
   消灯するペンライトであることを特徴とするジェスチャ
   認識方法。
10. 【請求項１０】請求項７に記載したジェスチャ認識装置
    において、 色１、色２、…、色ｎ（ｎ≧２：ｎは自然数）を互いに
    異なる色とした場合、１人あるいは最大ｎ人の被験者に
    色１、色２、…、色ｎに点灯・消灯する前記所定色提示
    手段を所持させ、各被験者が所持した前記所定色提示手
    段をそれぞれ任意に動かすことで上記ジェスチャを行う
    ものであり、 前記入力手段が、前記１人あるいは最大ｎ人の被験者が
    行うジェスチャを時系列画像データとして撮像入力し、 前記入力された時系列画像データの各フレームにおい
    て、前記色ｉ（ｉ＝１〜ｎ）を上記ある特定の色として
    設定し、該当する色ｉについて、前記第１の検知手段、
    前記抽出記憶手段、前記第２の検知手段、前記ジェスチ
    ャ判別手段、および前記判断手段の処理を、前記ｉが１
    〜ｎの全ての自然数となるまで繰り返すことを特徴とす
    るジェスチャ認識装置。