JP5766956B2 - ジェスチャ入力装置 - Google Patents

ジェスチャ入力装置 Download PDF

Info

Publication number
JP5766956B2
JP5766956B2 JP2011005296A JP2011005296A JP5766956B2 JP 5766956 B2 JP5766956 B2 JP 5766956B2 JP 2011005296 A JP2011005296 A JP 2011005296A JP 2011005296 A JP2011005296 A JP 2011005296A JP 5766956 B2 JP5766956 B2 JP 5766956B2
Authority
JP
Japan
Prior art keywords
fluctuation amount
output
user
gesture input
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011005296A
Other languages
English (en)
Other versions
JP2012146220A (ja
Inventor
三由 貴史
貴史 三由
小坂 明生
明生 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011005296A priority Critical patent/JP5766956B2/ja
Publication of JP2012146220A publication Critical patent/JP2012146220A/ja
Application granted granted Critical
Publication of JP5766956B2 publication Critical patent/JP5766956B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置に関する。
ジェスチャ入力装置として、例えば、ユーザの頭部に装着される撮像装置によりマーカや背景を撮像し、その撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果によりパーソナルコンピュータなどの外部装置のGUIの表示や非表示の判定を行うものがある(例えば、特許文献1参照)。
また、他のジェスチャ入力装置として、例えば、ユーザの手形状を認識する認識手段と、その認識した手形状の特徴に応じて選択メニューを表示するものがある(例えば、特許文献2参照)。
特開2009−251154号公報 特許3777650号公報
上述のように、ユーザの身体に装着される撮像装置からの撮像画像に基づいてユーザにより行われるジェスチャを認識し、その認識結果を外部装置の動作を制御するための指示に変換するジェスチャ入力装置では、ユーザの身体の動きに伴い撮像装置も動いてしまう。すると、撮像装置の動きに併せて撮像装置の撮像範囲も動いてしまうため、あたかもユーザの手指が移動したとジェスチャ入力装置により判断されて、ユーザの意図しない指示が外部装置に出力されるおそれがある。
そこで、本発明は、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない動作制御指示が外部装置に出力されることを低減することが可能なジェスチャ入力装置を提供することを目的とする。
本発明のジェスチャ入力装置は、撮像手段と、認識手段と、指示出力手段と、変動量検出手段と、指示出力許可手段とを備える。
前記撮像手段は、ユーザの身体に装着される。
前記認識手段は、前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する。
前記指示出力手段は、前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する。
前記変動量検出手段は、前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める。
前記指示出力許可手段は、前記変動量が閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する。
本発明によれば、ユーザの手指のジェスチャの認識結果を外部装置の動作制御指示に変換するジェスチャ入力装置において、ユーザの身体にジェスチャ認識用の撮像装置を装着する場合においても、ユーザの意図しない指示が外部装置に出力されることを低減することができる。
本発明の第1実施形態のジェスチャ入力装置を示す図である。 ジェスチャ入力装置がメガネ型冶具に取り付けられた例を示す図である。 ジェスチャ入力装置がペンダント型に構成された例を示す図である。 撮像装置の撮像範囲の一例を示す図である。 撮像画像の一例を示す図である。 撮像範囲の移動に伴う撮像画像内のユーザの手指の移動の一例を示す図である。 ユーザの手指のサイズ及び撮像装置からユーザの手指までの距離を示す図である。 撮像画像に対応する2次元座標と実空間に対応する3次元座標との関係を示す図である。 3次元座標における手指マーカhとその手指マーカhを外包する球との関係を示す図である。 撮像画像内のユーザの手指の画素数及び撮像画像の縦方向の画素数を示す図である。 本発明の第2実施形態のジェスチャ入力装置を示す図である。 空間に配置されるマーカの一例を示す図である。 撮像画像内のマーカの一例を示す図である。 本発明の第3実施形態のジェスチャ入力装置を示す図である。 静止時のユーザを示す図である。 姿勢測定装置から出力される姿勢データの一例を示す図である。 フーリエ変換後の姿勢データの周波数成分の一例を示す図である。 特定の周波数帯域に対応する姿勢データを示す図である。 バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。 歩行時又は走行時のユーザを示す図である。 姿勢測定装置から出力される姿勢データの一例を示す図である。 フーリエ変換後の姿勢データの周波数成分の一例を示す図である。 特定の周波数帯域に対応する姿勢データを示す図である。 バンドカットフィルタ装置から出力される姿勢データの一例を示す図である。 本発明の第4実施形態のジェスチャ入力装置を示す図である。 モード切替装置の動作を示すフローチャートである。
<第1実施形態>
図1は、本発明の第1実施形態のジェスチャ入力装置を示す図である。
図1に示すジェスチャ入力装置1は、画像認識装置2(認識手段)と、コマンド生成認識装置3(指示出力手段)と、姿勢測定装置4(例えば、ジャイロ、地磁気を利用した方位センサー、加速度計を用いた重力方向センサーなど)(変動量検出手段)と、撮像装置姿勢認識装置5(変動量検出手段)と、認識制御装置6(指示出力許可手段)と、撮像装置7(例えば、小型カメラなど)(撮像手段)と、通信装置8とを備える。
すなわち、撮像装置7は、画像認識装置2に接続され、画像認識装置2は、コマンド生成認識装置3に接続される。姿勢測定装置4は、撮像装置姿勢認識装置5に接続され、撮像装置姿勢認識装置5は、コマンド生成認識装置3に接続される。撮像装置姿勢認識装置5は、認識制御装置6に接続され、認識制御装置6は、画像認識装置2に接続される。認識制御装置6は、コマンド生成認識装置3に接続される。コマンド生成認識装置3及び撮像装置姿勢認識装置5は、それぞれ、無線通信又は有線通信を行う通信装置8を介して外部制御装置9(外部装置)に接続される。また、コマンド生成認識装置3は、表示装置10に接続される。
なお、ジェスチャ入力装置1は、例えば、パーソナルコンピュータや携帯電話などの外部制御装置9のマウス、キーボード、又はタッチパネルなどに相当する入力装置として利用されるものであって、外部制御装置9の動作を制御するための指示を出力する。また、図2Aに示すように、ジェスチャ入力装置1や表示装置10は、メガネ型治具11に取り付けられてもよい。図2Aに示す例では、撮像装置7の画角とユーザの視野とが互いに同じ方向になるように、ジェスチャ入力装置1がメガネ型治具11に取り付けられている。また、図2Aに示す例では、HMD(Head Mounted Display)などのように、表示装置10に表示される内容が常にユーザの視野に入るように、表示装置10がメガネ型治具11に取り付けられている。また、図2Bに示すように、ジェスチャ入力装置1は、ペンダント型に構成してもよい。図2Bに示す例では、ユーザがジェスチャ入力装置1を首にかけたとき、撮像装置7の画角とユーザの視野とが互いに同じ方向になるように、撮像装置7がジェスチャ入力装置1に内蔵されている。すなわち、ジェスチャ入力装置1は、図2Aや図2Bに示すように、ユーザの身体に装着されるものであって、その形態や装着場所は特に限定されない。
第1実施形態のジェスチャ入力装置1は、撮像装置7からの撮像画像に基づいて、ユーザにより行われるジェスチャを認識し、その認識結果をコマンド(外部制御装置9の動作を制御するための指示)に変換した後、そのコマンドを通信装置8を介して外部制御装置9に出力し、そのコマンドに対応する動作を外部制御装置9に実行させる。
撮像装置7は、結像レンズ、撮像素子、及び画像処理エンジンなどを備え、主にユーザの手指の画像を撮像し、その撮像画像を画像認識装置2に出力する。また、撮像装置7は、カメラ撮影パラメータ・サムネイル画像データを通信装置8を介して外部制御装置9に出力する。
画像認識装置2は、入力される撮像画像に基づいて、ユーザの手指の形や動作すなわちジェスチャを認識し、その認識結果をコマンド生成認識装置3に出力する。なお、撮像画像からジェスチャを認識する技術は、予め手指に付けられる1以上のマーカの撮像画像に基づいてジェスチャ認識を行うなど、種々の既存の技術を利用することができる。例えば、特開2006−155244号公報や特許4013100号公報などに記載されている技術を利用することができる。
コマンド生成認識装置3は、画像認識装置2から出力される認識結果に対応するコマンドを通信装置8を介して外部制御装置9に送信したり、外部制御装置9から送信されるコマンド(ジェスチャ入力装置1の動作を制御するための指示)を通信装置8を介して受信する。
外部制御装置9は、受信するコマンドに基づいて、マウスカーソルの移動、クリック、画像の再生や停止などの各種動作を実行する。
ここで、例えば、図3に示すように、ジェスチャ入力装置1がユーザの頭部に装着され、図4に示すように、撮像装置7の撮像範囲(画角)にユーザの手指や外部制御装置9が入っている場合を想定する。このような場合において、ユーザが頭部を上から下に振ると、ユーザの頭部とともに撮像装置7の撮像範囲は下方に移動し、撮像画像内のユーザの手指は、図5に示すように、上方に移動する。そのため、画像認識装置2は、あたかもユーザが手指を上方に振り上げたようなジェスチャが行われたと認識してしまうおそれがある。そして、このようなジェスチャの誤認識が発生すると、その認識結果に対応するコマンドがコマンド生成認識装置3から出力されてしまい、ユーザが意図しない動作(例えば、カーソルを下から上に移動させる動作)が外部制御装置9により実行されてしまう。すなわち、ユーザの何気ない身体の動作に伴う撮像装置7の姿勢の変動により、ユーザが意図しないコマンドが出力されてしまい、外部制御装置9が誤動作するおそれがある。
第1実施形態のジェスチャ入力装置1では、このようなユーザが意図しないコマンドが出力されることを低減するために、姿勢測定装置4、撮像装置姿勢認識装置5、及び認識制御装置6を備えている。
姿勢測定装置4は、撮像装置7との相対距離が固定されており、姿勢測定装置4自体が縦方向に回転するときの回転角の変動量を測定し、その変動量を姿勢データとして撮像装置姿勢認識装置5に出力する。例えば、ジェスチャ入力装置1がユーザの頭部に装着され、ユーザの頭部が縦方向に動いていないとき、姿勢測定装置4は一定の姿勢データを出力する。
撮像装置姿勢認識装置5は、入力される姿勢データに基づいて、撮像装置7が縦方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置6に出力する。なお、撮像装置姿勢認識装置5は、撮像装置姿勢データを通信装置8を介して外部制御装置9に出力してもよい。
認識制御装置6は、入力される撮像装置姿勢データに基づいて、画像認識装置2において認識されるジェスチャをコマンドに変換することを許可するか否かを示す許可・不許可データをコマンド生成認識装置3に出力する。
例えば、ユーザの手指が所定距離(例えば、±5mm)以上移動したとき、そのユーザの手指のジェスチャが画像認識装置2において予め決められているジェスチャとして認識される場合を想定する。なお、上記所定距離は、以下、「ジェスチャ分解能」とし、予め決められているジェスチャに応じて設定されているものとする。
このような場合において、認識制御装置6は、撮像装置姿勢データが閾値(例えば、±2.5mm(撮像装置姿勢データをユーザの手指の移動距離に換算したときの値))以下であると判断すると、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データをコマンド生成認識装置3に出力する。コマンド生成認識装置3は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、画像認識装置2において認識されるジェスチャをコマンドに変換する。また、コマンド生成認識装置3は、ジェスチャからコマンドへの変換を許可することを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置9の動作制御が可能である旨を表示装置10に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置9が制御可能である旨を伝えることができ、現在の姿勢を維持することをユーザに促すことができる。
一方、認識制御装置6は、撮像装置姿勢データが閾値を超えたと判断すると、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データをコマンド生成認識装置3に出力する。コマンド生成認識装置3は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、画像認識装置2において認識されるジェスチャをコマンドに変換しない。また、コマンド生成認識装置3は、ジェスチャからコマンドへの変換を許可しないことを示す許可・不許可データが入力されると、ジェスチャによる外部制御装置9の動作制御が不可能であり、頭部の動作をやめさせる旨を表示装置10に表示させるようにしてもよい。これにより、ユーザに対して外部制御装置9が制御不能である旨を伝えることができ、外部制御装置9が制御可能になる姿勢を取ることをユーザに促すことができる。また、外部制御装置9が制御可能になる姿勢をユーザが取ることができない場合、外部制御装置9が誤動作しないように、わざと手指から視線(撮像装置7の撮像範囲)を外すことをユーザに促すことができる。
なお、上記閾値は、特には限定されないが、上述のように「ジェスチャ分解能」の1/2としてもよいし、ユーザが意図しないコマンドが発生する場合としない場合のそれぞれの姿勢データの実測値に基づいて設定してもよい。
また、上記閾値は、撮像装置7からユーザの手指までの距離が短くなる程、大きくなるように変化させてもよい。例えば、図6に示すように、姿勢データをθH[deg]、等角射影のレンズを有する撮像装置7からユーザの手指に付けられた楕円状のマーカ12までの距離をLh、手指のサイズをWh、手指のサイズのうちジェスチャ認識の不感帯幅となる割合をα[%]、上記閾値をΔθHとすると、閾値ΔθH=tan−1(Wh×α/100Lh)という式(1)が成り立つ
また、上述の式(1)は、図9に示すように、撮像画像上の手指のサイズ(画素数)をWh1、撮像画像の縦サイズ(画素数)をWL1とすると、閾値ΔθH=tan−1(α・(π/18000)・(Wh1/WL1)・θL)と表すこともできる。また、撮像画像上における手指のサイズWh1は、ジェスチャ毎に変化するため、サイズWh1の変化量を考慮して閾値ΔθHを計算するようにしてもよい。
このように、第1実施形態のジェスチャ入力装置1は、撮像装置姿勢データが閾値以下のときのみ、すなわち、撮像装置7の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置3からのコマンド出力を許可するように構成している。そのため、撮像装置7がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置3から出力されることを低減することができる。
なお、上記撮像装置姿勢認識装置5は、姿勢測定装置4が縦方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求める構成であるが、姿勢測定装置4が縦方向に回転するときの回転角の変動量及び姿勢測定装置4が横方向に回転するときの回転角の変動量を示す姿勢データに基づいて、撮像装置姿勢データを求めるようにしてもよい。このように構成する場合、認識制御装置6は、撮像装置7が縦方向に回転するときの回転角の変動量が第1閾値以下のときのみ又は撮像装置7が横方向に回転するときの回転角の変動量が第2閾値以下のときのみ、コマンド生成認識装置3からのコマンド出力を許可する。これにより、ユーザが意図しないコマンドがコマンド生成認識装置3から出力されることをさらに精度よく低減することができる。
また、上記第1実施形態のジェスチャ入力装置1では、撮像装置7の姿勢の変動量が閾値以下であるか否かによりコマンド出力制御を行う構成であるが、撮像装置7の姿勢の変動量の連続的な変化に基づいてコマンド出力制御を行うように構成してもよい。
<第2実施形態>
図10は、本発明の第2実施形態のジェスチャ入力装置を示す図である。なお、図10において、図1に示す構成と同じ構成には同じ符号を付している。
第2実施形態のジェスチャ入力装置13において、第1実施形態のジェスチャ入力装置1と異なる点は、姿勢測定装置4により測定される姿勢データではなく、空間に配置されるマーカ(例えば、図11や図12に示すように、机上に配置されるマーカAや外部制御装置9のディスプレイに表示されるマーカB)の撮像画像に基づいて、コマンド出力を許可するか否かを判断する点である。そのため、第2実施形態のジェスチャ入力装置13では、姿勢測定装置4を備えていない。
第2実施形態の画像認識装置2は、入力される撮像画像内のマーカの移動量を求め、その求めた移動量を姿勢データ(撮像装置7が縦方向や横方向に回転するときの回転角の変動量に相当する値)として撮像装置姿勢認識装置5に出力する。なお、撮像画像内のマーカの移動量の求め方は、種々の既存の技術を利用することができる。例えば、特許4455294号公報などに記載される技術を利用することができる。また、上述したように、3次元座標におけるマーカの中心位置(x,y,z)を定期的に求め、そのマーカの中心位置の変化量をマーカの移動量として求めてもよい。
第2実施形態の撮像装置姿勢認識装置5は、入力される姿勢データに基づいて、撮像装置7が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置6に出力する。
第2実施形態の認識制御装置6及びコマンド生成認識装置3の動作は、第1実施形態の認識制御装置6及びコマンド生成認識装置3の動作と同様である。
このように、第2実施形態のジェスチャ入力装置13は、第1実施形態のジェスチャ入力装置1と同様に、撮像装置7の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置3からのコマンド出力を許可するように構成している。そのため、撮像装置7がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置3から出力されることを低減することができる。
また、第2実施形態のジェスチャ入力装置13は、第1実施形態のジェスチャ入力装置1に比べて、姿勢測定装置4を備えていない分、より簡易な構成にすることができる。
<第3実施形態>
図13は、本発明の第3実施形態のジェスチャ入力装置を示す図である。なお、図13において、図1に示す構成と同じ構成には同じ符号を付している。
第3実施形態のジェスチャ入力装置14において、第1実施形態のジェスチャ入力装置1と異なる点は、姿勢測定装置4や撮像装置姿勢認識装置5に接続されるバンドカットフィルタ装置15(移動量補正手段)をさらに備えている点である。なお、バンドカットフィルタ装置15は、第2実施形態のジェスチャ入力装置13において、画像認識装置2と撮像装置姿勢認識装置5との間に備えてもよい。
すなわち、バンドカットフィルタ装置15は、姿勢測定装置4から出力される姿勢データをフーリエ変換して特定の周波数帯域の姿勢データをカットした後、逆フーリエ変換を行い、その逆フーリエ変換後の姿勢データを補正後の姿勢データとして撮像装置姿勢認識装置5に出力する。
例えば、図14Aに示すように、ユーザが静止している場合では、図14Bに示すような姿勢データが姿勢測定装置4から出力される。この姿勢データは、主にユーザの身体の動きに伴う変動(振幅)が含まれており、バンドカットフィルタ装置15においてフーリエ変換が行われ、例えば、図14Cに示すような特定の周波数帯域の姿勢データがカットされる。この特定の周波数帯域は、ユーザが歩行や走行を行っているときなどユーザが周期的な動作を行っているときに姿勢測定装置4により測定される姿勢データの周波数帯域であり、この特定の周波数帯域の姿勢データは、ユーザが静止している場合、例えば、図14Dに示すように、ほぼ変動がない姿勢データとなる。その後、バンドカットフィルタ装置15において逆フーリエ変換が行われると、図14Eに示すような姿勢データとなる。すなわち、ユーザが静止している場合の補正後の姿勢データは、補正前の姿勢データと比べてあまり変化がない。
また、図15Aに示すように、ユーザが歩行や走行を行っている場合では、図15Bに示すような姿勢データが姿勢測定装置4から出力される。この姿勢データは、ユーザの身体の動きに伴う変動(振幅)の他に、ユーザの歩行や走行に伴う変動が重畳されており、バンドカットフィルタ装置15においてフーリエ変換が行われ、例えば、図15Cに示すような特定の周波数帯域(図14Cに示す特定の周波数帯域と同様)の姿勢データがカットされる。この特定の周波数帯域の姿勢データは、ユーザが歩行や走行を行っている場合、例えば、図15Dに示すように、周期的な変動がある姿勢データとなる。その後、バンドカットフィルタ装置15において逆フーリエ変換が行われると、図15Eに示すような姿勢データとなる。すなわち、図15Eに示す姿勢データは、ユーザが静止しているときの姿勢データとほぼ同じものとして扱うことができる。
このように、バンドカットフィルタ装置15から出力される補正後の姿勢データは、ユーザが歩行や走行を行っていても、ユーザが静止しているときの姿勢データとして扱うことができる。
第3実施形態の撮像装置姿勢認識装置5は、バンドカットフィルタ装置15から出力される姿勢データに基づいて、撮像装置7が縦方向や横方向に回転するときの回転角の変動量を求め、その変動量を撮像装置姿勢データとして認識制御装置6に出力する。
第3実施形態の認識制御装置6及びコマンド生成認識装置3の動作は、第1及び第2実施形態の認識制御装置6及びコマンド生成認識装置3の動作と同様である。
このように、第3実施形態のジェスチャ入力装置14は、第1実施形態のジェスチャ入力装置1や第2実施形態のジェスチャ入力装置13と同様に、撮像装置7の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置3からのコマンド出力を許可するように構成している。そのため、撮像装置7がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置3から出力されることを低減することができる。
また、第3実施形態のジェスチャ入力装置14は、ユーザの歩行や走行の際に生じる姿勢データの変動をキャンセルすることができるため、ユーザが歩行や走行を行っているときでも、精度を落とすことなく、姿勢データに基づいて、コマンド出力を許可するか否かを判断することができる。
<第4実施形態>
図16は、本発明の第4実施形態のジェスチャ入力装置を示す図である。なお、図16において、図1に示す構成と同じ構成には同じ符号を付している。
第4実施形態のジェスチャ入力装置16において、第1実施形態のジェスチャ入力装置1と異なる点は、認識制御装置6に接続されるモード切替装置17(閾値変更手段)をさらに備えている点である。なお、モード切替装置17は、第2実施形態のジェスチャ入力装置13において、認識制御装置6に接続されるようにして備えられてもよい。
モード切替装置17は、コマンド生成認識装置3や通信装置8から出力されるコマンドを常時確認し、そのコマンドがモード切替用のコマンドのとき、モード切替を実施する。モード切替とは、認識制御装置6で使用される閾値を変更することである。例えば、ユーザの親指と人差し指とで輪を形成するジェスチャが5秒間行われたことを認識した結果によりコマンド生成認識装置3からモード切替用のコマンドが出力されると、モード切替装置17は、そのモード切替用のコマンドに対応する閾値を認識制御装置6に出力する。そして、認識制御装置6は、モード切替装置17から出力される閾値に基づいて、ジェスチャからコマンドへの変換を許可するか否かを判断する。例えば、画像認識装置2において細かい動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置17に入力されると、認識制御装置6で使用される閾値を小さくする。一方、画像認識装置2において大きな動きのジェスチャを認識させるモードに切り替えるためのコマンドがモード切替装置17に入力されると、認識制御装置6で使用される閾値を大きくする。これにより、指先を動かすジェスチャなど細かな動きのジェスチャを行う際にユーザが意図しないコマンドが頻繁に出力されることや腕を使ったジェスチャなど大きな動きのジェスチャを行う際にユーザが意図するコマンドがなかなか出力されないことを低減することができる。
図17は、モード切替装置17の動作を説明するフローチャートである。
まず、モード切替装置17は、コマンドが入力されると(ステップS1がYes)、その入力されたコマンドとモード切替装置17内の記憶部に記憶されているコマンドとを比較して(ステップS2)、入力されたコマンドが変更されているか否かを判断する(ステップS3)。
次に、モード切替装置17は、変更されていないと判断した場合(ステップS3がNo)、ステップS1に戻り、変更されていると判断した場合(ステップS3がYes)、入力されたコマンドを記憶部に上書きすることによりコマンドを書き換える(ステップS4)。
そして、モード切替装置17は、その書換え後のコマンドに対応する閾値を記憶部から読み出し(ステップS5)、認識制御装置6に新しい閾値として出力する。
このように、第4実施形態のジェスチャ入力装置16においても、第1実施形態のジェスチャ入力装置1や第2実施形態のジェスチャ入力装置13と同様に撮像装置7の姿勢の変動量が閾値以下のときのみ、コマンド生成認識装置3からのコマンド出力を許可するように構成している。そのため、撮像装置7がユーザの身体に装着される場合であっても、ユーザが意図しないコマンドがコマンド生成認識装置3から出力されることを低減することができる。
1 ジェスチャ入力装置
2 画像認識装置
3 コマンド生成認識装置
4 姿勢測定装置
5 撮像装置姿勢認識装置
6 認識制御装置
7 撮像装置
8 通信装置
9 外部制御装置
10 表示装置
11 メガネ型冶具
12 マーカ
13 ジェスチャ入力装置
14 ジェスチャ入力装置
15 バンドカットフィルタ装置
16 ジェスチャ入力装置
17 モード切替装置

Claims (7)

  1. ユーザの身体に装着される撮像手段と、
    前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する認識手段と、
    前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する指示出力手段と、
    前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める変動量検出手段と、
    前記変動量に基づいて、前記指示出力手段から動作制御指示が出力されることを許可する指示出力許可手段と、
    を備え、
    前記指示出力許可手段は、前記変動量が閾値以下のときに動作制御指示が出力され、前記変動量が前記閾値より大きいときに動作制御指示を停止することを特徴とするジェスチャ入力装置。
  2. 請求項1に記載のジェスチャ入力装置であって、
    前記変動量検出手段は、前記撮像手段が縦方向又は横方向に回転するときの回転角の変動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
  3. 請求項1に記載のジェスチャ入力装置であって、
    前記撮像手段は、空間に配置されるマーカを撮像し、
    前記変動量検出手段は、前記撮像手段により撮像される撮像画像内のマーカの移動量を前記撮像手段の姿勢の変動量として求めることを特徴とするジェスチャ入力装置。
  4. 請求項1〜3の何れか1項に記載のジェスチャ入力装置であって、
    前記変動量検出手段により求められる変動量をフーリエ変換して特定の周波数帯域の変動量をカットした後、逆フーリエ変換を行い出力する変動量補正手段をさらに備え、
    前記指示出力手段は、前記変動量補正手段から出力される変動量が前記閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する
    ことを特徴とするジェスチャ入力装置。
  5. 請求項1〜3の何れか1項に記載のジェスチャ入力装置であって、
    前記指示出力手段から出力される動作制御指示に応じて、前記閾値を変更する閾値変更手段をさらに備えることを特徴とするジェスチャ入力装置。
  6. 前記指示出力手段は、前記変動量が閾値以下のとき、前記指示出力許可手段が制御指示の出力を許可した状態である旨を表示手段に表示させる指示を出力し、前記変動量が閾値より大きいとき、前記指示出力許可手段が動作制御指示の出力を停止した状態である旨を表示手段に表示させる指示を出力することを特徴とする請求項1〜のいずれか一項に記載のジェスチャ入力装置。
  7. ユーザの身体に装着される撮像手段と、
    前記撮像手段により撮像される前記ユーザの手指の撮像画像に基づいて、前記ユーザにより行われる手指のジェスチャを認識する認識手段と、
    前記認識手段により認識されるジェスチャに対応する動作制御指示を出力する指示出力手段と、
    前記ユーザの身体の動きに伴う前記撮像手段の姿勢の変動量を求める変動量検出手段と、
    前記変動量に基づいて、前記指示出力手段から動作制御指示が出力されることを許可する指示出力許可手段と、
    前記変動量検出手段により求められる変動量をフーリエ変換して特定の周波数帯域の変動量をカットした後、逆フーリエ変換を行い出力する変動量補正手段と、
    を備え、
    前記指示出力手段は、前記変動量補正手段から出力される変動量が閾値以下のときのみ、前記指示出力手段から動作制御指示が出力されることを許可する
    ことを特徴とするジェスチャ入力装置。
JP2011005296A 2011-01-13 2011-01-13 ジェスチャ入力装置 Expired - Fee Related JP5766956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011005296A JP5766956B2 (ja) 2011-01-13 2011-01-13 ジェスチャ入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011005296A JP5766956B2 (ja) 2011-01-13 2011-01-13 ジェスチャ入力装置

Publications (2)

Publication Number Publication Date
JP2012146220A JP2012146220A (ja) 2012-08-02
JP5766956B2 true JP5766956B2 (ja) 2015-08-19

Family

ID=46789709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011005296A Expired - Fee Related JP5766956B2 (ja) 2011-01-13 2011-01-13 ジェスチャ入力装置

Country Status (1)

Country Link
JP (1) JP5766956B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171223B2 (en) 2012-12-18 2015-10-27 Hyundai Motor Company System and method for effective section detecting of hand gesture
JP6514889B2 (ja) * 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP6483556B2 (ja) * 2015-07-15 2019-03-13 株式会社東芝 操作認識装置、操作認識方法及びプログラム
JP6589995B2 (ja) * 2016-01-07 2019-10-16 富士通株式会社 電子機器、及び、電子機器の駆動制御方法
GB201812080D0 (en) * 2018-07-24 2018-09-05 Kano Computing Ltd Motion sensing controller

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
JP2003281297A (ja) * 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法

Also Published As

Publication number Publication date
JP2012146220A (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
US10591990B2 (en) Fast wake-up in gaze tracking system
US10553033B2 (en) Head-mounted display system and method for presenting display on head-mounted display
US20210263593A1 (en) Hand gesture input for wearable system
US9916015B2 (en) Recognition device, recognition method, and non-transitory recording medium
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
JP6524661B2 (ja) 入力支援方法、入力支援プログラムおよび入力支援装置
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US11609428B2 (en) Information processing apparatus and information processing method
JP5766956B2 (ja) ジェスチャ入力装置
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
KR20150130495A (ko) 적어도 두 개의 제어 객체들에 의해 수행되는 제스처의 검출
US20160282937A1 (en) Gaze tracking for a mobile device
JP2006209359A (ja) 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
KR20210093866A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2010146230A (ja) 入力装置およびデータ処理システム
JP2015099574A (ja) 認識装置、認識方法、認識プログラム及び端末装置
JP6204686B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
US9671875B2 (en) Information processing device, information processing method and program
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
WO2017134732A1 (ja) 入力装置、入力支援方法および入力支援プログラム
TWI476733B (zh) 運動軌跡重建方法及其裝置
CN113867562B (zh) 触摸屏报点的校正方法、装置和电子设备
TW201017477A (en) Locus smoothing method and navigation device using the same
JP2013205896A (ja) 表示制御装置、表示制御方法およびプログラム
JP2016081286A (ja) 端末操作支援装置および端末操作支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150618

R151 Written notification of patent or utility model registration

Ref document number: 5766956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees