JP5318189B2 - インターフェース制御装置、及びその方法 - Google Patents
インターフェース制御装置、及びその方法 Download PDFInfo
- Publication number
- JP5318189B2 JP5318189B2 JP2011500374A JP2011500374A JP5318189B2 JP 5318189 B2 JP5318189 B2 JP 5318189B2 JP 2011500374 A JP2011500374 A JP 2011500374A JP 2011500374 A JP2011500374 A JP 2011500374A JP 5318189 B2 JP5318189 B2 JP 5318189B2
- Authority
- JP
- Japan
- Prior art keywords
- speed
- current
- motion
- speed motion
- specific part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims description 57
- 238000012840 feeding operation Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 3
- 238000012567 pattern recognition method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、ユーザの特定部位の動きによって、制御対象機器を操作するインターフェース制御装置、及びその方法に関する。
従来のインターフェース制御装置では、機器を操作する際、特許文献1に開示されているように、機器を制御するための操作画面内に配置された特定の領域(アイコン)に、画像処理によって得られた身体の特定部位(例えば手である)の位置を重ねることにより、そのアイコンに対応付けられたコマンドを実行する。
また、特許文献2に開示されているように、ユーザを撮影した画像内の複数の狭い領域内の動きを観測し、その領域内で動きが観測された場合には、各領域に対応付けられたコマンドを実行する。
また、特許文献3では、各アイコンに特定の手形状を割り当て、画像認識により検出された手形状に対応するアイコンに割り当てられたコマンドを実行する。
しかし、上記従来技術では、ユーザの特定部位による複雑な動作が必要であるという問題点があった。
そこで本発明は、ユーザの簡単な動作で制御命令を変更できるインターフェース制御装置、その方法を提供することを目的とする。
本発明の一態様に係るインターフェース制御装置は、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、表示部と、前記制御命令が割り当てられた項目を、前記表示部の画面上に複数表示する表示制御部と、をさらに備え、前記主制御部は、前記送り動作に応じて前記項目を選択し、前記表示制御部は、前記表示部の前記画面の中央に前記選択された項目を表示し、前記送り動作検出部は、入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、を備えたインターフェース制御装置である。
本発明によれば、ユーザの簡単な動作で制御命令を変化させることができる。
以下、本発明の一実施例のインターフェース制御装置(以下、単に「制御装置」という)について図面に基づいて説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
実施例1の制御装置について図1〜図10に基づいて説明する。
本実施例では、テレビ受像機100を制御対象機器として、このテレビ受像機100のチャンネル操作を、ユーザの手102のジェスチャで行う制御装置の例を説明する。図2は、その概略図であり、ユーザが左方向への送り動作を行った場合はチャンネルを1つ下げ、右方向に送り動作を行った場合はチャンネルを1つ上げる例が示されている。
図1は、本実施例に係わる制御装置の構成を示すブロック図である。
制御装置は、送り動作検出部2、主制御部3を備えている。画像取得部1は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
画像取得部1は、撮像装置104によって、ユーザの時系列の画像を撮影して、これら画像を取得する。撮像装置104は、図2に示すようにテレビ受像機100に取り付けられている。
送り動作検出部2は、時系列の画像を解析することによって、ユーザの手102の動きを「送り動作」として検出する。
主制御部3は、検出された送り動作の方向に応じて画面106に表示するチャンネルを変更する。
次に、送り動作検出部2の構成について図3に基づいて説明する。図3は、送り動作検出部2を示すブロック図である。
送り動作検出部2は、追跡部21、速度計算部22、現高速運動検出部23、直前高速運動検出部24及び動作判定部25を備える。記憶部26は、送り動作検出部2の内部に設けられても良いし、外部に接続されても良い。
追跡部21は、画像取得部1で撮影された時系列の画像に対して、特開2006−268825公報で開示されているパターン認識法、特許第3777650号公報で開示されている背景差分法、又は、肌色抽出法、フレーム間差分法、及び、これらの組み合わせた方法を適用することにより、ユーザの手、顔などの特定部位を画像毎に検出して、時系列に追跡する。
速度計算部22は、時系列の画像に対応した追跡結果から、手の画像内を移動する速度を計算する。速度計算部22が行う手の速度の計算方法としては、以下のようなものがある。
第1の方法は、追跡部21で得られた手の画像内の位置の微分値(フレーム間の差分値)により特定部位の速度を計算する。
第2の方法は、追跡部21で得られた特定部位の画像内の位置周辺で各画素の速度(オプティカルフロー)を計算し、その平均値や最頻値を特定部位の速度とする。
第3の方法は、追跡部21で得られた手の画像内の位置を観測値、手の位置と速度を状態変数とし、観測値と等速運動などの状態変数の運動モデルによって最適な状態を推定するカルマンフィルタなどのフィルタによって特定部位の速度を計算する。観測値として、特定部位の画像内の位置周辺の画素の速度(オプティカルフロー)の平均値をさらに用いても良い。
現高速運動検出部23は、特定部位の現在の運動であって、ベクトルで示される現高速運動vcについて、基準速度V0を基準に検出する。すなわち、現高速運動検出部23は、特定部位の現在の速度の絶対値が、基準速度V0より高速であれば、現高速運動vcが存在すると判定し、基準速度V0より低速であれば、現高速運動vcが存在しないと判定する。そして、現高速運動vcの情報である、速度と時間情報(画像のフレーム番号)を記憶部26に運動履歴Aとして格納する。
直前高速運動検出部24は、記憶部26に格納されている運動履歴Aから、現在より一定時間前に検出された過去の現高速運動vcを直前高速運動vpとして取得する。前記一定時間前とは、例えば、1〜10フレーム前の時間、又は、0.01〜0.1秒前の時間である。
動作判定部25は、現高速運動vcと直前高速運動vpの情報から、図4に示す判定を行って、送り動作を検出する。すなわち、動作判定部25の判定は、図4に示すように、4つの判定パターンに分けられる。なお、「送り動作」とは、上下左右及びこれらの方向の組合せなどの予め定められた方向への特定部位の高速動作であり、「復帰動作」とは、送り動作の後に元の位置の方向に特定部位を戻す動作をいう。
第1の判定パターンは、現高速運動vcが検出され、直前高速運動vpが存在しない場合は、前記現在の状態が送り動作と判定する。
第2の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が復帰動作の場合に、前記現在の状態が送り動作と判定する。
第3の判定パターンは、現高速運動vcと直前高速運動vpが存在し、現高速運動vcの方向と直前高速運動vpの方向のなす角θが第1の基準角度θ1より大きく、かつ、直前の状態が送り動作の場合に、前記現在の状態が復帰動作と判定する。
第4の判定パターンは、現高速運動vcも直前高速運動vpも存在せず、直前の状態が送り動作又は復帰動作の場合に、前記現在の状態が動作終了と判定する。
なお、上記いずれの判定パターンにも該当しない場合は、直前の動作状態が現在も継続していると判定する。
送り動作検出部2の処理動作について図5に基づいて説明する。図5は、送り動作検出部2の処理フローチャートを示す。
ステップS1において、現高速運動検出部23は、初期化処理として現在の状態を無動作に設定する。
ステップS2において、画像取得部1は、ユーザを撮影して、現在の画像として入力する。
ステップS3において、追跡部21は、現在の画像に対して、ユーザの特定部位を検出し、時系列に追跡処理を行う。
ステップS4において、速度計算部22は、特定部位の速度を計算する。
ステップS5において、現高速運動検出部23は、現高速運動vcについて、基準速度V0を基準に検出する。そして、現高速運動vcの情報である、速度と時間情報(画像のフレーム番号)を記憶部26に運動履歴Aとして格納する。
ステップS6において、直前高速運動検出部24は、直前高速運動vpを記憶部26の運動履歴Aから取得する。なお、運動履歴Aに直前高速運動vpがなければ、直前高速運動vpは存在しないとする。
ステップS7において、動作判定部25は、図4の動作判定を行う。詳しくは後述する。
ステップS8、S9、S10において、送り動作検出部2は、現在の状態をステップS7の判定結果に応じて遷移させる。これらのステップについても後から詳しく後述する。
ステップS11において、動作判定部25は、送り動作が発生したと判定したときは、任意のコマンドを発生して対象の機器を操作する。
次に、動作判定部25の動作処理について図4と図5に基づいて説明する。
ステップS71において、動作判定部25は、現高速運動vcが存在するか否かを、現高速運動検出部23の検出状況に基づいて判定する。そして、現高速運動vcが存在すればステップS72に進み(Yの場合)、存在しなければステップS75に進む(Nの場合)。
ステップS72において、動作判定部25は、現高速運動vcが存在するため、直前高速運動vpが存在するか否かを直前高速運動検出部24の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS73に進み(Yの場合)、存在しなければステップS8に進む(Nの場合)。
ステップS73において、動作判定部25は、現高速運動vcと直前高速運動vpが存在するため、現高速運動vcの方向と直前高速運動vpの方向となす角θと第1の基準角度θ1とを比較する。θ>θ1であればステップS74に進み(Yの場合)、θ<=θ1であれば動作が継続しているとして、ステップS11に進む(Nの場合)。
ステップS74において、動作判定部25は、θ>θ1であるので、直前の状態が復帰動作であればステップS8に進み、一方、直前の状態が送り動作であればステップS9に進む。
ステップS75において、動作判定部25は、現高速運動vcが存在しないため、直前の状態が送り動作、又は、復帰動作であればステップS76に進み、直前の状態が動作なしであれば動作が継続しているとして、ステップS11に進む。
ステップS76において、動作判定部25は、現高速運動vcが存在せず、また、直前の状態が送り動作、又は、復帰動作であるため、直前高速運動vpが存在するか否かを直前高速運動検出部24の取得状況に基づいて判定する。直前高速運動vpが存在すればステップS10に進み(Nの場合)、存在しなければ動作が継続しているとして、ステップS11に進む(Yの場合)。
ステップS8において、動作判定部25は、現在の状態が送り動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部26に運動履歴Aとして格納する。このステップが、図4の第1、2の判定パターンである。
ステップS9において、動作判定部25は、現在の状態が復帰動作であると判定して、ステップS11に進む。また、この現在の状態を記憶部26に運動履歴Aとして格納する。このステップが、図4の第3の判定パターンである。
ステップS10において、動作判定部25は、現在の状態が動作なしであると判定して、ステップS11に進む。また、この現在の状態を記憶部26に運動履歴Aとして格納する。このステップが、図4の第4の判定パターンである。
送り動作検出部2の動作を順番に説明する。
第1に、特定部位が高速運動を始めたときに送り動作が検出され、同じ方向の高速運動を保っている間は送り動作が継続していると判定される。
第2に、高速運動を保ったまま方向が逆方向に変化(θ>θ1)すれば復帰運動と判定され、同じ方向に高速運動を保っている間は復帰動作が継続していると判定される。
第3に、復帰運動の状態から、さらに高速運動を保ったまま方向が逆方向に変化(θ>θ1)すれば、再び送り動作として判定される。
第4に、送り動作や復帰動作を行っていて、高速運動が観測されなくなり一定時間が経過するとする。この場合には、現在及び過去の一定時間内にも高速運動が観測されなくなったとして、動作終了したと判定される。
第5に、そのまま高速運動が観測されなければ動作終了の状態が継続していると判定される。以上により、送り動作検出部2は、送り動作判定結果として現在の画像における送り動作の有無と、送り動作が存在した場合にその属性として方向や動作の速さなどを出力する。
次に、主制御部3の構成について説明する。
主制御部3は、送り動作検出部2で検出された送り動作の方向に応じて、現在選択されているチャンネルを他のチャンネルに切り替える。
例えば、図2に示すように、送り動作検出部2で右向きの送り動作が検出された場合、主制御部3では現在選択されているチャンネル4をチャンネル5に切り替える。
また、チャンネル以外に音量などを調整してもよい。
本実施例によれば、ユーザの手102の送り動作によって、テレビ受像機100のチャンネルを簡単に操作できる。
実施例2の制御装置について図7〜図10に基づいて説明する。
図8は、本実施例に係わる制御装置の構成を示すブロック図である。
図8に示すように、制御装置は、実施例1と同様に、送り動作検出部2、主制御部3を備え、さらに、表示制御部4を備えている。画像取得部1は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
表示制御部4は、図7に示すように、項目表示領域112と、現在選択されている項目を示すカーソル108とを、ユーザが見ているコンピュータの表示装置200の画面106に表示させると共に、項目表示領域112よりも広い領域を認識領域110として設定する。なお、「項目」とは、制御対象機器の制御命令が割り当てられた領域である。項目表示領域112とは、ユーザが選択可能な項目の全て、又は、一部を表示する領域である。認識領域110とは、ユーザの特定部位の形状や移動の状態を、制御装置が認識できる範囲であり、図7では点線で示しているが、実際にはユーザには見ることができない状態で設定する。
主制御部3は、追跡部21で取得した画像内の手102の位置を、ユーザが閲覧する画面106の座標系に変換する。その変換位置が、認識領域110内にあるときには、送り動作に応じて認識領域110に含まれる項目に関する制御を行う。
すなわち、主制御部3では、画面106に項目が順番に左右方向に列挙されて表示されており、送り動作検出部2で検出された送り動作の方向に応じて、現在選択されている項目の隣の項目が選択される。例えば、送り動作検出部2で右向きの送り動作が検出された場合、主制御部3では現在選択されている項目の右隣の項目にカーソル108を切り替える。
なお、項目の配置は、画面106における2次元平面で、上下左右に項目を並べても良いし、環状、又は、球状に配置してもよい。
また、項目としては、異なる制御命令を表示した項目を並べたもの(例えば、コンピュータで実行されるソフトウェアの「ファイル」、「編集」、「表示」といったメニューなどである)でもよい。
本実施例によれば、項目表示領域112とカーソル108を、画面106に表示することにより、制御命令をユーザにフィードバックすることができる。
また、ユーザの手102が認識領域110内のどこにあっても、認識領域110内に入っていれば項目を選択できる。
そのために、本実施例であれば、ユーザの操作をさらに簡単にできる。
次に、本実施例の変更例について説明する。
変更例1においては、図9に示すように、項目表示領域112とカーソル108の表示方法を変更する。すなわち、カーソル108を固定の位置に表示し、項目表示を送り動作の方向に移動させる。また、項目表示を固定しておいてカーソル108を送り動作の方向に移動させても良い。
変更例2においては、変更例1に示すような項目表示領域112とカーソル108の表示しないで、選択された項目を常に中央部分に表示するようにしてもよい。この場合に、項目表示を送り動作の方向に移動させる。
変更例3においては、図6に示すように、項目を示す数値に対応した目盛り画像の表示を行って、連続値を必要とする制御を行う。この場合には、帯状の目盛り画像109には、数値を示す目盛りを任意の間隔で表示し、カーソル108を中央に固定する。そして、送り動作によって、選択したい数値に対応した位置を中央部分に移動させて、選択する。
変更例4においては、多数の項目を取り扱う場合のユーザの利便性を向上させるため、項目を複数の項目グループに分類する。表示制御部4は、項目グループ毎に項目表示領域112を持ち、それぞれ項目表示領域112よりも広い認識領域110を設定する。画像内の手102の位置を、画面106の座標系に変換した位置が、認識領域110内にあるとき、主制御部3は、対応する項目グループに関する選択を行う。これにより、ユーザは手102を移動させることによって、制御したい項目グループを選択し、ユーザの手102が各認識領域110の内のどこにあっても、対応する項目グループを操作できる。
変更例5においては、図10に示すように、項目グループの選択を行う場合、ユーザの手102の位置の操作を簡単にするものである。すなわち、表示制御部4は、画像内の手102の位置を、画面106の座標系に変換した位置が、ある項目表示領域112に近づいた場合には、対応する項目表示領域112又は認識領域110を拡大して表示する。これにより、ユーザが項目グループの選択を行うときに、手102の移動量を少なくすることができ、項目グループの選択を簡単に行うことができる。
実施例3の制御装置について図11に基づいて説明する。
図11は、本実施例に係わる制御装置の構成を示すブロック図である。
本実施例の制御装置は、実施例1と同様に、送り動作検出部2、主制御部3を備え、さらに、第1動作検出部5、決定制御部6とを備えている。画像取得部1は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
第1動作検出部5は、特定部位が予め定められた形状、又は予め定められた運動を決定動作として検出することにより、特定部位の画像内の位置によらず決定動作を検出する。
決定制御部6は、前記決定動作が検出されたら、主制御部3によって現在選択されている項目を決定項目とし、その項目に割り当てられた命令を発生させる。
画像取得部1、送り動作検出部2、主制御部3については、実施例1と同様であるため説明を省略する。以下では、実施例1と同様に、ユーザの特定部位を手102として第1動作検出部5と決定制御部6の構成について説明する。
第1動作検出部5は、パターン認識方法(特開2006−268825号公報参照)、輪郭形状マッチング方法(特許文献1参照)等の画像認識方法を用いて、ユーザの手102が第1特定形状をしているかどうかを検出する。第1特定形状としては、手102を握った状態や、OKサインなどを用いることができる。
決定制御部6は、第1動作検出部5で手102の特定形状が検出されたとき、主制御部3で現在選択されている項目を決定項目とし、その決定項目に対応付けられている制御を制御対象機器に対して実行する。
本実施例によれば、ユーザは送り動作により次々に項目を移動させ、所望の項目が選択された状態で手102を特定形状にすることにより、手102が画面内のどこにあっても、その位置に関係なく簡単に制御命令を決定できる。
実施例4の制御装置について図12に基づいて説明する。
図12は、本実施例に係わる制御装置の構成を示すブロック図である。
本実施例に係わる制御装置は、実施例1と同様に、送り動作検出部2、主制御部3を備え、さらに、第2動作検出部6、選択制御部7を備えている。画像取得部1は、制御装置内部に設けられてもよいし、外部に設けられてもよい。
第2動作検出部6は、手102が予め定められている第2特定形状を保った状態で移動していることをドラッグ動作として検出する。第2特定形状としては、手を握った状態などである。
選択制御部7は、第2動作検出部6において前記ドラッグ動作が検出されると、手102の移動量、移動速度、移動方向に応じて現在選択されている項目を別の項目に変化させる。この場合には、項目表示領域を移動させてもよく、また、カーソル108を移動させてもよい。
画像取得部1、送り動作検出部2、主制御部3については、実施例1と同様であるため説明を省略する。以下では、ユーザの特定部位を手102として、第2動作検出部6と選択制御部7について説明する。
第2動作検出部6は、第1動作検出部5と同様にパターン認識方法や、輪郭形状マッチング方法等の画像認識方法を用いて、ユーザの手102が特定形状をしているかどうかを検出、追跡し、その移動速度や移動方向を速度計算部22と同様の方法で取得する。ユーザの手102が特定形状をしており、さらに画像内を移動していれば、ドラッグ動作として検出すると共に、その移動速度、移動方向を出力する。
第2の決定制御部7は、主制御部3と同様にユーザが選択可能な項目が列挙されて配置されており、第2動作検出部6でドラッグ動作が検出されたとき、ドラッグ動作の方向と大きさに応じて、現在選択されている項目の隣の項目が選択される。
図7に示すようなコンピュータの表示装置の画面表示によってユーザにフィードバックを行う場合、実施例2と同様に、ドラッグ動作によって項目表示領域112を移動させても良いし、カーソル108を移動させても良い。
本発明は上記各実施例に限らず、その主旨を逸脱しない限り種々に変更することができる。例えば、実施例3,4においても、実施例2の構成である表示制御部4を追加してもよい。また、上記各実施例では、特定部位として手102で説明したが、頭などの他の部位でもよい。また、上記各実施例では、制御装置の制御対象として、テレビ受像機100、コンピュータ200を例に挙げて説明したが、これに限定されず、例えば、医療機器その他の電気機器などにも適用されてもよい。
また、制御装置の制御対象となる機器は、表示部を有していなくてもよい。例えば、表示部を持たないラジオなどの装置において音量や選曲などを行う場合にも適用でき、ラジオに撮像装置104を取り付け、ユーザの送り動作によって音量や選曲などをできるようにしてもよい。
上記の各実施例における制御装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、送り動作検出部2、主制御部3は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、制御装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
1・・・画像取得部、2・・・送り動作検出部、3・・・主制御部、4・・・表示制御部、5・・・第1動作検出部、6・・・決定制御部、7・・・第2動作検出部、8・・・選択制御部
Claims (11)
- 入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、
前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、
表示部と、
前記制御命令が割り当てられた項目を、前記表示部の画面上に複数表示する表示制御部と、
をさらに備え、
前記主制御部は、前記送り動作に応じて前記項目を選択し、
前記表示制御部は、前記表示部の前記画面の中央に前記選択された項目を表示し、
前記送り動作検出部は、
入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、
前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、
前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、
前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、
を備えたインターフェース制御装置。 - 前記表示制御部は、前記項目を表示する項目表示領域よりも広い領域を、前記画面上に認識領域として設定し、
前記主制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記認識領域内にあるとき、前記送り動作に応じて、前記認識領域に含まれる前記項目に関する制御を行う、
請求項1に記載のインターフェース制御装置。 - 前記特定部位の予め定められた第1特定形状を検出することにより、前記制御命令に対する決定動作を検出する第1動作検出部と、
前記決定動作が検出されたときに、前記選択されている項目を決定項目とし、前記決定項目に割り当てられた前記制御命令を発生させる決定制御部と、
をさらに備えた請求項1に記載のインターフェース制御装置。 - 前記特定部位の予め定められた第2特定形状を保った状態で移動している状態を、ドラッグ動作として検出する第2動作検出部と、
前記ドラッグ動作が検出された場合に、前記特定部位の移動量、移動速度、又は、移動方向に応じて現在選択されている前記項目を、他の前記項目に変化させる選択制御部と、
をさらに備えた請求項1に記載のインターフェース制御装置。 - 前記複数の項目が項目グループに分類されている、
請求項1に記載のインターフェース制御装置。 - 前記表示制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記項目表示領域に近づいた場合に、前記項目を拡大して表示する、
請求項2に記載のインターフェース制御装置。 - 前記表示制御部は、前記項目に対応した数値を示す目盛り画像を表示し、
前記主制御部は、前記送り動作に応じて前記目盛り画像上の位置を選択することによって前記項目を選択する、
請求項2に記載のインターフェース制御装置。 - 送り動作検出部が、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出ステップと、
主制御部が、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御ステップと、
表示制御部が、前記制御命令が割り当てられた項目を、表示部の画面上に複数表示する表示制御ステップと、
をさらに備え、
前記主制御ステップは、前記送り動作に応じて前記項目を選択し、
前記表示制御ステップは、前記表示部の前記画面の中央に前記選択された項目を表示し、
前記送り動作検出ステップは、
入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡ステップと、
前記追跡ステップの追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算ステップと、
前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出ステップと、
前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定ステップと、
を備えたインターフェース制御方法。 - 前記現高速運動検出部は、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、
前記動作判定部は、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、
請求項1記載のインターフェース制御装置。 - 前記動作判定部は、
前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
前記現高速運動と前記直前高速運動が存在し、前記なす角が第1の基準角度θ1より大きく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記現在の状態が前記復帰動作と判定し、
前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
請求項9記載のインターフェース制御装置。 - 前記動作判定部は、
前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
前記現高速運動と前記直前高速運動が存在し、前記なす角が第2の基準角度θ2より大きく、第1の基準角度θ1(但し、θ2<θ1である)より小さく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第1の基準角度θ1より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記復帰動作と判定し、
前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
請求項9記載のインターフェース制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011500374A JP5318189B2 (ja) | 2009-02-18 | 2009-12-14 | インターフェース制御装置、及びその方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009035578 | 2009-02-18 | ||
JP2009035578 | 2009-02-18 | ||
JP2011500374A JP5318189B2 (ja) | 2009-02-18 | 2009-12-14 | インターフェース制御装置、及びその方法 |
PCT/JP2009/006846 WO2010095204A1 (ja) | 2009-02-18 | 2009-12-14 | インターフェース制御装置、及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010095204A1 JPWO2010095204A1 (ja) | 2012-08-16 |
JP5318189B2 true JP5318189B2 (ja) | 2013-10-16 |
Family
ID=42633507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011500374A Expired - Fee Related JP5318189B2 (ja) | 2009-02-18 | 2009-12-14 | インターフェース制御装置、及びその方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8593399B2 (ja) |
JP (1) | JP5318189B2 (ja) |
WO (1) | WO2010095204A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012089112A (ja) * | 2010-09-22 | 2012-05-10 | Nikon Corp | 画像表示装置 |
JP2014029565A (ja) * | 2010-11-24 | 2014-02-13 | Panasonic Corp | 情報処理装置 |
KR101322465B1 (ko) * | 2011-11-17 | 2013-10-28 | 삼성전자주식회사 | 셀프 카메라 촬영을 위한 방법 및 장치 |
JP5509227B2 (ja) * | 2012-01-31 | 2014-06-04 | 株式会社コナミデジタルエンタテインメント | 移動制御装置、移動制御装置の制御方法、及びプログラム |
JP5935529B2 (ja) * | 2012-06-13 | 2016-06-15 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2014032502A (ja) * | 2012-08-02 | 2014-02-20 | Alpine Electronics Inc | 操作入力装置、それを用いた車載機器及び操作入力処理方法 |
JP2014085964A (ja) * | 2012-10-25 | 2014-05-12 | Nec Personal Computers Ltd | 情報処理方法、情報処理装置、及びプログラム |
JP6179412B2 (ja) * | 2013-01-31 | 2017-08-16 | 株式会社Jvcケンウッド | 入力表示装置 |
EP3033318B1 (en) * | 2013-08-15 | 2020-11-11 | SLLP 134 Limited | Hydrocarbon production and storage facility |
DE112016001794T5 (de) | 2015-04-17 | 2018-02-08 | Mitsubishi Electric Corporation | Gestenerkennungsvorrichtung, Gestenerkennungsverfahren und Informationsverarbeitungsvorrichtung |
JP6302007B2 (ja) * | 2016-06-30 | 2018-03-28 | アース環境サービス株式会社 | クリーンルーム入室者の清浄度管理方法及び管理システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007029393A1 (ja) * | 2005-09-05 | 2007-03-15 | Sony Computer Entertainment Inc. | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム |
JP2008052590A (ja) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | インターフェース装置及びその方法 |
JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
JP3777650B2 (ja) | 1995-04-28 | 2006-05-24 | 松下電器産業株式会社 | インターフェイス装置 |
JP2002083302A (ja) | 2000-09-07 | 2002-03-22 | Sony Corp | 情報処理装置、動作認識処理方法及びプログラム格納媒体 |
TW200806029A (en) * | 2006-07-14 | 2008-01-16 | Asustek Comp Inc | Display system and control method thereof |
EP2327005B1 (en) * | 2008-07-25 | 2017-08-23 | Qualcomm Incorporated | Enhanced detection of waving gesture |
-
2009
- 2009-12-14 WO PCT/JP2009/006846 patent/WO2010095204A1/ja active Application Filing
- 2009-12-14 JP JP2011500374A patent/JP5318189B2/ja not_active Expired - Fee Related
- 2009-12-14 US US13/201,643 patent/US8593399B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007029393A1 (ja) * | 2005-09-05 | 2007-03-15 | Sony Computer Entertainment Inc. | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム |
JP2008052590A (ja) * | 2006-08-25 | 2008-03-06 | Toshiba Corp | インターフェース装置及びその方法 |
JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US8593399B2 (en) | 2013-11-26 |
US20120026083A1 (en) | 2012-02-02 |
WO2010095204A1 (ja) | 2010-08-26 |
JPWO2010095204A1 (ja) | 2012-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5318189B2 (ja) | インターフェース制御装置、及びその方法 | |
US12045394B2 (en) | Cursor mode switching | |
US9405373B2 (en) | Recognition apparatus | |
JP5175755B2 (ja) | ジェスチャ認識装置、その方法及びそのプログラム | |
US8896535B2 (en) | Image processing apparatus and method, and program therefor | |
US8552976B2 (en) | Virtual controller for visual displays | |
JP4725526B2 (ja) | 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム | |
EP1779227B1 (en) | Electronic device and a method for controlling the functions of the electronic device as well as a program product for implementing the method | |
US20150338651A1 (en) | Multimodal interation with near-to-eye display | |
CN103797513A (zh) | 对内容的基于计算机视觉的双手控制 | |
JP6618276B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2011054117A (ja) | 情報処理装置、表示制御方法及び表示制御プログラム | |
JP2004258837A (ja) | カーソル操作装置、その方法およびそのプログラム | |
JP5932082B2 (ja) | 認識装置 | |
KR101654311B1 (ko) | 사용자 모션 인식 방법 및 장치 | |
CN101815173B (zh) | 一种前端摄像机的远程控制方法及系统 | |
Siam et al. | Human computer interaction using marker based hand gesture recognition | |
JP5733056B2 (ja) | 仮想マウスによるデータ入力方法 | |
JP2017211739A (ja) | ユーザインターフェース装置およびユーザインターフェースプログラム | |
EP2908218B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
Huerta et al. | Hand Gesture Recognition With a Novel Particle Filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130709 |
|
LAPS | Cancellation because of no payment of annual fees |