JP5175755B2 - ジェスチャ認識装置、その方法及びそのプログラム - Google Patents

ジェスチャ認識装置、その方法及びそのプログラム Download PDF

Info

Publication number
JP5175755B2
JP5175755B2 JP2009023806A JP2009023806A JP5175755B2 JP 5175755 B2 JP5175755 B2 JP 5175755B2 JP 2009023806 A JP2009023806 A JP 2009023806A JP 2009023806 A JP2009023806 A JP 2009023806A JP 5175755 B2 JP5175755 B2 JP 5175755B2
Authority
JP
Japan
Prior art keywords
speed motion
current
speed
motion
immediately preceding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009023806A
Other languages
English (en)
Other versions
JP2010182014A (ja
Inventor
隆三 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009023806A priority Critical patent/JP5175755B2/ja
Publication of JP2010182014A publication Critical patent/JP2010182014A/ja
Application granted granted Critical
Publication of JP5175755B2 publication Critical patent/JP5175755B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、人間が行うジェスチャに対するジェスチャ認識装置、その方法及びそのプログラムに関するものである。
特許文献1及び特許文献2に開示されている従来のジェスチャ認識装置は、手や顔などの身体特定部位の往復運動を検出する。
特開2005−352531公報 特開2003−248829公報
ところで、特定部位のジェスチャによって機器の送り操作を行うためには、送り動作と、復帰動作とを区別する必要がある。しかし、これら従来技術においては、人間の送り動作と、送り動作からの復帰動作を区別する方法は開示されていない。また、これら従来技術を送り動作検出に応用しようとしても、往復運動終了後に判定が行われるため、送り動作が完了した時点では送り動作を検出することができない。
そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、ユーザの送り動作と復帰動作を区別することができるジェスチャ認識装置、その方法及びそのプログラムを提供すことを目的とする。
本発明は、入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、を備え、前記現高速運動検出部は、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、前記動作判定部は、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、ことを特徴とするジェスチャ認識装置である。
本発明によれば、ユーザの送り動作と復帰動作を区別することができる。
以下、本発明の一実施形態のジェスチャ認識装置について図面に基づいて説明する。
(第1の実施形態)
以下、本発明の第1の実施形態のジェスチャ認識装置について図1〜図3に基づいて説明する。
本実施形態のジェスチャ認識装置の構成について図1に基づいて説明する。図1は、ジェスチャ認識装置を示すブロック図である。
ジェスチャ認識装置は、追跡部2、速度計算部3、現高速運動検出部4、直前高速運動取得部5及び動作判定部6を備える。撮像部1及び記憶部7は、ジェスチャ認識装置の内部に設けられても良いし、外部に接続されても良い。
なお、このジェスチャ認識装置は、例えば、コンピュータをハードウェアとして用いることでも実現することが可能である。すなわち、このジェスチャ認識装置の各部は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、ジェスチャ認識装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータにインストールすることで実現してもよい。
撮像部1は、例えばイメージセンサなどの撮像素子を用いて、時系列の画像を撮影する。
追跡部2は、撮像部1で撮影された時系列の画像に対して、特開2006−268825公報で開示されているパターン認識法、特許第3777650号公報で開示されている背景差分法、又は、肌色抽出法、フレーム間差分法、及び、これらの組み合わせた方法を適用することにより、ユーザの手、顔などの特定部位を画像毎に検出して、時系列に追跡する。
速度計算部3は、時系列の画像に対応した追跡結果から、手の画像内を移動する速度を計算する。速度計算部3が行う手の速度の計算方法としては、以下のようなものがある。
第1の方法は、追跡部2で得られた手の画像内の位置の微分値(フレーム間の差分値)により特定部位の速度を計算する。
第2の方法は、追跡部2で得られた特定部位の画像内の位置周辺で各画素の速度(オプティカルフロー)を計算し、その平均値や最頻値を特定部位の速度とする。
第3の方法は、追跡部2で得られた手の画像内の位置を観測値、手の位置と速度を状態変数とし、観測値と等速運動などの状態変数の運動モデルによって最適な状態を推定するカルマンフィルタなどのフィルタによって特定部位の速度を計算する。観測値として、特定部位の画像内の位置周辺の画素の速度(オプティカルフロー)の平均値をさらに用いても良い。
現高速運動検出部4は、特定部位の現在の運動であって、ベクトルで示される現高速運動vcについて、基準速度V0を基準に検出する。すなわち、現高速運動検出部4は、現高速運動vcの絶対値が、基準速度V0より高速であれば、現高速運動vcが存在すると判定し、基準速度V0より低速であれば、現高速運動vcが存在しないと判定する。そして、現高速運動vcの情報である、速度と時間情報(画像のフレーム番号)を記憶部7に運動履歴Aとして格納する。
直前高速運動取得部5は、記憶部7に格納されている運動履歴Aから、現在より一定時間前に検出された過去の現高速運動vcを直前高速運動vpとして取得する。前記一定時間前とは、例えば、1〜10フレーム前の時間、又は、0.01〜0.1秒前の時間である。
動作判定部6は、現高速運動vcと直前高速運動vpの情報から、図2に示す判定を行って、送り動作を検出する。すなわち、動作判定部6の判定は、図2に示すように、4つの判定パターンに分けられる。なお、「送り動作」とは、上下左右及びこれらの方向の組合せなどの予め定められた方向への特定部位の高速動作であり、「復帰動作」とは、送り動作の後に元の位置の方向に特定部位を戻す動作をいう。
第1の判定パターンは、現高速運動vcが検出され、直前高速運動vpが存在しない場合は、前記現在の状態が送り動作と判定する。
第2の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が復帰動作の場合に、前記現在の状態が送り動作と判定する。
第3の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が送り動作の場合に、前記現在の状態が復帰動作と判定する。
第4の判定パターンは、現高速運動vcも直前高速運動vpも存在せず、直前の状態が送り動作又は復帰動作の場合に、前記現在の状態が動作終了と判定する。
なお、上記いずれの判定パターンにも該当しない場合は、直前の動作状態が現在も継続していると判定する。
ジェスチャ認識装置の処理動作について図3に基づいて説明する。図3は、ジェスチャ認識装置の処理フローチャートを示す。
ステップS1において、現高速運動検出部4は、初期化処理として現在の状態を無動作に設定する。
ステップS2において、撮像部1は、ユーザの現在の状態を撮影して、現在の画像として入力する。
ステップS3において、追跡部2は、現在の画像に対して、ユーザの特定部位の検出し、時系列に追跡処理を行う。
ステップS4において、速度計算部3は、特定部位の速度を計算する。
ステップS5において、現高速運動検出部4は、現高速運動vcについて、基準速度V0を基準に検出する。そして、現高速運動vcの情報である、速度と時間情報(画像のフレーム番号)を記憶部7に運動履歴Aとして格納する。
ステップS6において、直前高速運動取得部5は、直前高速運動vpを記憶部7の運動履歴Aから取得する。なお、運動履歴Aに直前高速運動vpがなければ、直前高速運動vpは存在しないとする。
ステップS7において、動作判定部6は、図3の動作判定を行う。詳しくは後述する。
ステップS8、S9、S10において、ジェスチャ認識装置は、現在の状態をステップS7の判定結果に応じて遷移させる。これらのステップについても後から詳しく後述する。
ステップS11において、動作判定部6は、送り動作が発生したと判定したときは、任意のコマンドを発生して対象の機器を操作する。
次に、動作判定部6の動作処理について図2と図3に基づいて説明する。
ステップS71において、動作判定部6は、現高速運動vcが存在するか否かを、現高速運動検出部4の検出状況に基づいて判定する。そして、現高速運動vcが存在すればステップS72に進み(Yの場合)、存在しなければステップS75に進む(Nの場合)。
ステップS72において、動作判定部6は、現高速運動vcが存在するため、直前高速運動vpが存在するか否かを直前高速運動取得部5の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS73に進み(Yの場合)、存在しなければステップS8に進む(Nの場合)。
ステップS73において、動作判定部6は、現高速運動vcと直前高速運動vpが存在するため、現高速運動vcの方向と直前高速運動vpの方向となす角θと第1の基準角度θ1とを比較する。θ>θ1であればステップS74に進み(Yの場合)、θ<=θ1であれば動作が継続しているとして、ステップS11に進む(Nの場合)。
ステップS74において、動作判定部6は、θ>θ1であるので、直前の状態が復帰動作であればステップS8に進み、一方、直前の状態が送り動作であればステップS9に進む。
ステップS75において、動作判定部6は、現高速運動vcが存在しないため、直前の状態が送り動作、又は、復帰動作であればステップS76に進み、直前の状態が動作なしであれば動作が継続しているとして、ステップS11に進む。
ステップS76において、動作判定部6は、現高速運動vcが存在せず、また、直前の状態が送り動作、又は、復帰動作であるため、直前高速運動vpが存在するか否かを直前高速運動取得部5の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS10に進み(Nの場合)、存在しなければ動作が継続しているとして、ステップS11に進む(Yの場合)。
ステップS8において、動作判定部6は、現在の状態が送り動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図2の第1、2の判定パターンである。
ステップS9において、動作判定部6は、現在の状態が復帰動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図2の第3の判定パターンである。
ステップS10において、動作判定部6は、現在の状態が動作なしであると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図2の第4の判定パターンである。
ジェスチャ認識装置の動作を順番に説明する。
第1に、特定部位が高速運動を始めたときに送り動作が検出され、同じ方向の高速運動を保っている間は送り動作が継続していると判定される。
第2に、高速運動を保ったまま方向が逆方向に変化(θ>θ1)すれば復帰運動と判定され、同じ方向に高速運動を保っている間は復帰動作が継続していると判定される。
第3に、復帰運動の状態から、さらに高速運動を保ったまま方向が逆方向に変化(θ>θ1)すれば、再び送り動作として判定される。
第4に、送り動作や復帰動作を行っていて、高速運動が観測されなくなり一定時間が経過するとする。この場合には、現在及び過去の一定時間内にも高速運動が観測されなくなったとして、動作終了したと判定される。
第5に、そのまま高速運動が観測されなければ動作終了の状態が継続していると判定される。
本実施形態によれば、送り動作と復帰動作を正しく区別することができるため、ユーザがリモートコントローラー、センサー、マーカーなどを持ったりすることなく、手の特定部位の動きによって機器を容易に操作することができる。
また、送り動作判定結果として現在の画像における送り動作の有無と、送り動作が存在した場合にその属性として手の方向や動作の速さなどを出力できる。
(第2の実施形態)
以下、本発明の第2の実施形態のジェスチャ認識装置について図4〜図5に基づいて説明する。
本実施形態のジェスチャ認識装置は、第1の実施形態と同様に、撮像部1、追跡部2、速度計算部3、現高速運動検出部4、直前高速運動取得部5、動作判定部6、記憶部7を備えている。
そして、動作判定部6の動作のみが異なるため、以下に説明する。動作判定部6は、現高速運動vcと直前高速運動vpの情報から、図4に示すような判定を行うことにより送り動作を検出する。すなわち、動作判定部6の判定は、図4に示すように5つの判定パターンに分けられる。
第1の判定パターンは、現高速運動vcが検出され、直前高速運動vpが存在しない場合は、前記現在の状態が送り動作と判定する。
第2の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第2の基準角度θ2より大きく、第1の基準角度θ1(但し、θ2<θ1である)より小さい場合に、前記現在の状態が送り動作と判定する。
第3の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が復帰動作の場合に、前記現在の状態が送り動作と判定する。
第4の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が送り動作の場合に、前記現在の状態が復帰動作と判定する。
第5の判定パターンは、現高速運動vcも直前高速運動vpも存在せず、直前の状態が送り動作又は復帰動作の場合に、前記現在の状態が動作終了と判定する。
なお、上記いずれの判定パターンにも該当しない場合は、直前の動作状態が現在も継続していると判定する。
ジェスチャ認識装置の処理動作について図5に基づいて説明する。図5は、ジェスチャ認識装置の処理フローチャートを示す。
なお、ステップS1〜S6とS11は、第1の実施形態と同様であるので説明は省略し、本実施形態の特徴であるステップS7〜S10について説明する。
ステップS71において、動作判定部6は、現高速運動vcが存在するか否かを、現高速運動検出部4の検出状況に基づいて判定する。そして、現高速運動vcが存在すればステップS72に進み(Yの場合)、存在しなければステップS75に進む(Nの場合)。
ステップS72において、動作判定部6は、現高速運動vcが存在するため、直前高速運動vpが存在するか否かを直前高速運動取得部5の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS721に進み(Yの場合)、存在しなければステップS8に進む(Nの場合)。
ステップS721において、動作判定部6は、現高速運動vcと直前高速運動vpが存在するため、T2<θ<θ1であるか否かを判定する。この条件を具備していればステップS73に進み(Nの場合)、具備していなければステップS8に進む(Yの場合)。
ステップS73において、動作判定部6は、現高速運動vcと直前高速運動vpが存在するため、前記なす角θと第1の基準角度θ1とを比較する。θ>θ1であればステップS74に進み(Yの場合)、θ<=θ1であれば動作が継続しているとして、ステップS11に進む(Nの場合)。
ステップS74において、動作判定部6は、θ>θ1であるので、直前の状態が復帰動作であればステップS8に進み、一方、直前の状態が送り動作であればステップS9に進む。
ステップS75において、動作判定部6は、現高速運動vcが存在しないため、直前の状態が送り動作、又は、復帰動作であればステップS76に進み、直前の状態が動作なしであれば動作が継続しているとして、ステップS11に進む。
ステップS76において、動作判定部6は、現高速運動vcが存在せず、また、直前の状態が送り動作、又は、復帰動作であるため、直前高速運動vpが存在するか否かを直前高速運動取得部5の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS10に進み(Nの場合)、存在しなければ動作が継続しているとして、ステップS11に進む(Yの場合)。
ステップS8において、動作判定部6は、現在の状態が送り動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図4の第1、2、3の判定パターンである。
ステップS9において、動作判定部6は、現在の状態が復帰動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図4の第4の判定パターンである。
ステップS10において、動作判定部6は、現在の状態が動作なしであると判定して、ステップS11に進む。また、この現在の状態を記憶部7に運動履歴Aとして格納する。このステップが、図4の第5の判定パターンである。
本実施形態によれば、送り動作と復帰動作を正しく区別することができる。特に、現高速運動vcの方向と直前高速運動vpの方向のなす角をθ1とθ2の二段階で判定するため、より正確に区別することができる。
(応用例)
上記各実施形態のジェスチャ認識装置の3つの応用例について図6〜図8に基づいて説明する。なお、これら応用例は、あくまでも例示であり、ジェスチャ認識装置を他の機器に応用してもよい。
図6に示す第1の応用例は、テレビ受像機100のチャンネル操作をジェスチャで行う例である。ジェスチャ認識装置は、テレビ受像機100に内蔵されている。
テレビ受像機100には、カメラ102が取り付けられており、視聴者を撮影している。ジェスチャ認識装置は、視聴者の手104を特定部位として検出追跡し、送り動作を認識する。テレビ画面106には現在チャンネル4が表示されている。視聴者は手104を左にすばやく動かす送り動作を行うことによりチャンネル3に変更でき、右に送り動作を行うことによりチャンネル4に変更できる。
図7に示す第2の応用例は、パソコン108の画面110のウィンドウ112内に表示されたウェブコンテンツや文書を、手104のジェスチャによってスクロールさせる例である。ジェスチャ認識装置は、パソコン108に内蔵されている。
まず、パソコン108には、カメラ102が取り付けられており、ユーザを撮影している。ジェスチャ認識装置は、ユーザの手104を特定部位として検出追跡して送り動作を認識し、パソコン108に対して検出された送り動作の方向へのスクロールのコマンドを実行する。このとき、スクロールバー111で示されるスクロール量は予め定めておいた一定量でもよいし、速い送り動作ならスクロール量を大きくするなど、送り動作の速度に応じて変化させてもよい。
これにより、ユーザは、送り動作を行った方向に、ウィンドウ112内の表示内容をスクロールさせて、ウェブコンテンツや文書などを閲覧するできる。
図8に示す第3の応用例は、手術中の医者114に情報を提供する情報端末116に関する例である。ジェスチャ認識装置は、医療用の情報端末116に内蔵されている。
手術中の医者114は手104を清潔に保つ必要があるため、医者114に患者のモニタリング情報や検査結果等の情報提供を行う情報端末116を手104で直接触って操作することができない。
そこで、この情報端末116にジェスチャ認識装置を組み込むことにより、医者114が手104のジェスチャによって非接触で情報端末116を操作できる。
情報端末116にはカメラ102が取り付けられており、医者114を撮影している。ジェスチャ認識装置は、医者114の手104を特定部位として検出追跡して送り動作を認識し、情報端末116に対して検出された送り動作の方向へのスクロールコマンドや、表示情報の変更コマンドを実行する。
(変更例)
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
例えば、上記各実施形態では、ユーザの特定部位として手104で説明したが、これに代えて顔、足などのその他の特定部位でもよい。
また、上記応用例として、テレビ受像機100、パソコン108、医療用の情報端末116で説明したが、これに限らず、ゲーム機器などの他の機器に適用してもよい。すなわち、ユーザがリモートコントローラー、センサー、マーカーなどを持ったり、身に付けたりすることなく機器を容易に操作するジェスチャーインターフェースに関し、機器制御のためのメニューや機器に表示されたコンテンツ等の送り操作行うことができる機器に応用できる。
本発明の第1の実施形態のジェスチャ認識装置の構成を示すブロック図である。 同じく動作判定部の判定内容を示す説明図である。 同じくジェスチャ認識装置の処理の流れを示すフローチャートである。 第2の実施形態における送り動作の方向変化を考慮した動作判定部の判定内容を示す説明図である。 ジェスチャ認識装置の処理の流れを示すフローチャートである。 テレビ受像機の操作に関する第1の応用例の説明図である。 パソコンでの第2の応用例の説明図である。 医療用の情報端末への第3の応用例の説明図である。
1 撮像部
2 追跡部
3 速度計算部
4 現高速運動検出部
5 直前高速運動取得部
6 動作判定部

Claims (5)

  1. 入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、
    前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、
    前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、
    前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、
    を備え
    前記現高速運動検出部は、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、
    前記動作判定部は、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、
    ことを特徴とするジェスチャ認識装置。
  2. 前記動作判定部は、
    前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が第1の基準角度θ1より大きく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記現在の状態が前記復帰動作と判定し、
    前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
    前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
    ことを特徴とする請求項記載のジェスチャ認識装置。
  3. 前記動作判定部は、
    前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が第2の基準角度θ2より大きく、第1の基準角度θ1(但し、θ2<θ1である)より小さく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記復帰動作と判定し、
    前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
    前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
    ことを特徴とする請求項記載のジェスチャ認識装置。
  4. 追跡部が、入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡ステップと、
    速度計算部が、前記追跡ステップでの追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算ステップと、
    現高速運動検出部が、前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出ステップと、
    動作判定部が、前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定ステップと、
    を備え
    前記現高速運動検出ステップは、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、
    前記動作判定ステップは、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、
    ことを特徴とするジェスチャ認識方法。
  5. コンピュータに、
    入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡機能と、
    前記追跡機能からの追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算機能と、
    前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出機能と、
    前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定機能と、
    を実現させ、
    前記現高速運動検出機能は、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、
    前記動作判定機能は、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、
    ジェスチャ認識プログラム。
JP2009023806A 2009-02-04 2009-02-04 ジェスチャ認識装置、その方法及びそのプログラム Expired - Fee Related JP5175755B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009023806A JP5175755B2 (ja) 2009-02-04 2009-02-04 ジェスチャ認識装置、その方法及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009023806A JP5175755B2 (ja) 2009-02-04 2009-02-04 ジェスチャ認識装置、その方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2010182014A JP2010182014A (ja) 2010-08-19
JP5175755B2 true JP5175755B2 (ja) 2013-04-03

Family

ID=42763570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009023806A Expired - Fee Related JP5175755B2 (ja) 2009-02-04 2009-02-04 ジェスチャ認識装置、その方法及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5175755B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
JP5789771B2 (ja) * 2011-05-27 2015-10-07 パナソニックIpマネジメント株式会社 操作入力装置、プログラム
WO2013022222A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
JP5701714B2 (ja) 2011-08-05 2015-04-15 株式会社東芝 ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
EP3413575A1 (en) 2011-08-05 2018-12-12 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
JP5703194B2 (ja) 2011-11-14 2015-04-15 株式会社東芝 ジェスチャ認識装置、その方法、及び、そのプログラム
JP2013250637A (ja) 2012-05-30 2013-12-12 Toshiba Corp 認識装置
CN104918574B (zh) 2013-07-22 2017-06-23 奥林巴斯株式会社 医疗用便携终端装置
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ウェアラブル端末及びウェアラブル端末の制御方法
CN107533363B (zh) 2015-04-17 2020-06-30 三菱电机株式会社 手势识别装置、手势识别方法以及信息处理装置
JP6551941B2 (ja) * 2016-04-19 2019-07-31 株式会社東海理化電機製作所 ジェスチャ判定装置
JP6173625B1 (ja) * 2017-01-04 2017-08-02 京セラ株式会社 電子機器、プログラムおよび制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135439A (ja) * 2004-12-28 2005-05-26 Toshiba Corp 操作入力装置

Also Published As

Publication number Publication date
JP2010182014A (ja) 2010-08-19

Similar Documents

Publication Publication Date Title
JP5175755B2 (ja) ジェスチャ認識装置、その方法及びそのプログラム
TWI489317B (zh) 電子裝置的操作方法及系統
JP5318189B2 (ja) インターフェース制御装置、及びその方法
EP2577426B1 (en) Information processing apparatus and method and program
US9405373B2 (en) Recognition apparatus
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US8644556B2 (en) Image processing apparatus and method and program
US20160300100A1 (en) Image capturing apparatus and method
US8860676B2 (en) Display control device, method, program, and integrated circuit
US20130034265A1 (en) Apparatus and method for recognizing gesture, and non-transitory computer readable medium thereof
US20120293486A1 (en) Image processing apparatus and image processing method
JP2011232894A (ja) インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2011059528A (ja) 表示装置および制御方法
CN106933343A (zh) 用于识别虚拟现实头戴装置中的手势的设备和方法
JP5932082B2 (ja) 認識装置
JP2013037467A (ja) コマンド発行装置、コマンド発行方法およびプログラム
JP2011095985A (ja) 画像表示装置
CN107168637A (zh) 一种通过缩放手势进行显示缩放的智能终端
JP4717445B2 (ja) 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
JP5360406B2 (ja) 画像表示装置
WO2011096571A1 (ja) 入力装置
CN110945867B (zh) 监视装置、监视方法和存储介质
JP2017041079A (ja) 動作認識装置
KR101294212B1 (ko) 로봇에서 입력 장치 기능을 위한 움직임 검출 시스템 및 그방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160111

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees