JP6121534B2 - ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 - Google Patents
ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6121534B2 JP6121534B2 JP2015529404A JP2015529404A JP6121534B2 JP 6121534 B2 JP6121534 B2 JP 6121534B2 JP 2015529404 A JP2015529404 A JP 2015529404A JP 2015529404 A JP2015529404 A JP 2015529404A JP 6121534 B2 JP6121534 B2 JP 6121534B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- coordinate system
- feature amount
- gesture
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000004364 calculation method Methods 0.000 claims description 123
- 210000000707 wrist Anatomy 0.000 claims description 51
- 230000005057 finger movement Effects 0.000 claims description 32
- 230000001133 acceleration Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
前記手の座標系の変化に基づき、前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを前記操作者の手の動き特徴量として算出する動き特徴量算出部と、
前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記座標系設定部は、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とする。
撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
前記手の座標系の変化に基づいて前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを算出する前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記座標系設定部は、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とする。
図1は、この発明の実施の形態1のジェスチャー操作装置の使用例を示す図である。図示のように、ジェスチャー操作装置1は、車両の運転席、助手席、後部座席等の座席2に着席した操作者3から手が届く範囲に予め定められた操作領域4において、操作者3によりなされるジェスチャーを認識し、操作制御部5を介して、複数の被操作機器としての車両搭載機器6a、6b、6cへ操作指示を与える。
撮像部11は、操作領域4を含む空間を予め定められたフレームレートで撮像し、該空間の動画像を表す一連のフレームの画像データD11を生成し、生成した画像データD11を手領域検出部12へ出力する。
撮像部11は、例えば、イメージセンサー又は測距センサーを含むものであり、カラー画像、グレースケール画像、2値画像、距離画像等の画像を出力する。また、撮像対象の空間の明るさが不十分な場合は、撮像対象の空間に近赤外線を照射して、その反射光を近赤外線用のイメージセンサーで取得し、画像を出力する機能を有していても良い。
手領域情報D12は、抽出した手領域Rhのみをハイレベル、それ以外の領域をローレベルとしてラベリングした画像データ、例えば、手領域Rh内の画素の画素値を第1の値、例えば「1」とし、それ以外の領域内の画素の画素値を第2の値、例えば「0」とした画像データである。
例えば、手領域検出部12は、入力される画像データD11に対して、パターン認識法、背景差分法、肌色抽出法、及びフレーム間差分法等の手法を適用して、画像における操作者の手の領域Rhを抽出する。
手領域検出部12で生成された手領域情報D12は、座標系設定部13及び形状特徴量算出部14へ供給される。
このコマンドD17は、被操作機器6a、6b、6cに対する操作指示、或いはその操作に先立って行われる被操作機器の選択のための操作制御部5に対する指示である。
操作制御部5は、被操作機器の選択及び被操作機器に対する操作のための案内を表示する画面(操作画面)を表示し、操作者3は、操作画面の案内に応じてジェスチャーにより操作入力を行う。ジェスチャーによる操作入力は、操作領域4に手を入れ、手を予め定められた形状にし、手の全体を予め定められたパターンで動かすことにより、或いは指を予め定められたパターンで動かすことによって行われる。
図3は画像の座標系Ciと手の座標系Chの関係を示している。
画像の座標系Ciとは、撮像部11により取得される画像を基準とする座標系であり、直交座標系かつ右手座標系である。例えば、図3に示す矩形状の画像101においては、画像の左下を画像の座標系Ciの原点Cioとし、水平方向の軸Cixを第1軸、垂直方向の軸Ciyを第2軸と設定することができる。
一方、手の座標系Chとは、画像における手の領域Rhを基準とする座標系であり、直交座標系かつ右手座標系である。例えば、図3に示す手の領域Rhにおいては、掌の中心Poを手の座標系の原点Choとし、原点を通る第1軸Chu、及び第2軸Chvが設定される。
手の座標系Chにおける第1軸Chuの成分をu、第2軸Chvの成分をvとし、各点の座標を(u,v)と表記する。
画像の座標系Ciにおける、手の座標系Chの原点Choの座標(画像の座標系の原点Cioに対する手の座標系の原点の相対位置)が(Hx,Hy)で表され、画像の座標系の第1軸Cixに対して手の座標系の第1軸Chuがなす角(相対角度)がθで表されている。
具体的には、座標系設定部13はまず掌の特徴量から、手首領域を特定するための手首探索線Ssを決定する。次に、手首の太さの特徴量から探索線Ss上にある手首領域Rwを特定し、手首の中心の位置Woを算出する。
具体的には、手領域情報D12で示される手領域を含む画像において、図5に示す掌の中心Poを中心とし、半径α×Prの円を探索線Ssとして描く。掌の半径Prに掛ける係数αを、α>1を満たすように設定することで、掌の外側に探索線Ssを描くことができる。つまり、掌よりも外側に位置する、手首領域を探索することができる。この探索線Ssに沿って手領域を含む画像を探索し、探索線Ssと手領域Rhとの重なりを調べる。なお、αは、例えばα=1.2と設定される。
f[i]>β×Pr
を満たす部分を手首領域として特定する。掌の半径Prに掛ける係数βを、β≧1を満たすように設定することが好ましく、手領域Rhと重なる探索線の長さが、掌の半径Prと等しいか、それより大きな部分を特定することができる。なお、βは、例えばβ=1.0と設定する。
座標系設定部13は、このように特定した手首領域と重なる探索線の中点の座標を手首の中心Woの座標(Wx,Wy)として算出する。
次に、手首の中心Woから掌の中心Poへ向かうベクトルDpwの方向に対して、時計回りに90度の方向を、手の座標系の第1軸Chuの方向として決定し、上記ベクトルDpwの方向を、手の座標系の第2軸Chvの方向として決定する。
画像の座標系に対する手の座標系の相対角度としては、例えば、画像の座標系の第1軸Cixと手の座標系の第1軸Chuとの成す角を用いても良く、代わりに、画像の座標系Ciの第2軸Ciyと手の座標系Chの第2軸Chvとの成す角を用いても良い。より一般的には、画像の座標系Ciの第1軸Cix及び第2軸Ciyのいずれかと手の座標系Chの第1軸Chu及び第2軸Chvのいずれかとの成す角を用いても良い。
上記の相対角度θを示す情報は、画像の座標系における手の座標系の原点座標(Hx,Hy)を示す情報とともに、手の座標系のパラメータD13として出力される。
形状特徴量算出部14は、手領域情報D12から、指先Ftm(mは1乃至Mのいずれか)の位置を表す座標と、伸ばしている指の本数Mとの少なくともいずれか1つを手の形状を表す特徴量(形状特徴量)として算出する。
このためには、形状特徴量算出部14は、手の座標系Chの原点座標及び第1軸及び第2軸の方向を示すパラメータD13を用いて、撮像画像の各画素の位置を表す画像の座標系における座標を、手の座標系における座標へ変換する。この変換は式(2A)及び(2B)の演算により行われる。
まず、手の座標系Chの座標軸Chu、Chvとの関係で所定の条件を満たす画素からなる領域を、指の存在し得る領域(候補領域)Rfcとして特定する。
例えば、指は掌の中心Poよりも手の座標系Chの第2軸Chvの正の方向に位置するため、手領域Rhのうちの、第2軸方向の座標成分vが、v>0を満たす領域を、指候補領域Rfcとして設定する。言い換えると、手領域Rhのうち手の座標系の原点Choを基点として、第1軸Chuから反時計回りに0〜180度の範囲に位置する部分を指の候補領域Rfcとして設定する。
そのために、指候補領域Rfcの各輪郭点について、掌の中心Poからの距離を算出する。そして、各輪郭点について、近くの輪郭点における距離と比較し、その両側の輪郭点よりも距離が大きい輪郭点(距離が極大となる輪郭点)を指先候補点Ftcmとして特定する。
Du>γ×Pr
を満たす指先候補点を、真の指先Ftmとして特定する。
指先の候補点Ftmcの座標が(u,v)で表される場合、掌の中心Poから指先の候補点Ftmcまでの距離Duは、下記の式(3)で求められる。
形状特徴量算出部14はまた、特定した指先Ftmの数を、伸ばしている指の本数Mとして求めることができる。
形状特徴量算出部14は、検出した指先Ftmの座標(Fum,Fvm)と、伸ばしている指の本数Mとの少なくとも一方を、手の形状を表す特徴量(形状特徴量情報)D14として、動き特徴量算出部15とジェスチャー判定部16に出力する。
また、指先の座標は画像の座標系における座標(Fxm,Fym)として算出しても良い。
手の動きの特徴量D15hとしては、手の速度と、手の加速度と、手の移動量(例えばある位置(初期位置)からの移動量)の少なくとも一つが算出され、指の動きの特徴量D15fとしては、指の速度と、指の加速度と、指の移動量(例えばある位置(初期位置)からの移動量)の少なくとも一つが算出される。
これらの動きの速度及び移動量は、少なくとも2つの、異なる時刻間での位置の差に基づいて算出される。加速度は、少なくとも2つの、異なる時刻間での速度の差に基づいて算出される。
図10は操作領域4において手を動かしたときの手の座標系Chの変化を示している。
例えば画像があるフレーム周期(画像取得周期)Δtごとに取得される場合、時刻tにおける(例えばある画像フレーム(j番目のフレーム)における)手の座標系Ch(t)は、その原点の座標が、(Hx(t),Hy(t))、画像の座標系に対する相対角度がθ(t)で示され、時刻t+Δtにおける(例えば上記ある画像フレームの次のフレーム((j+1)番目のフレーム)における)手の座標系Ch(t+Δt)は、その原点の座標が(Hx(t+Δt),Hy(t+Δt))、画像の座標系に対する相対角度がθ(t+Δt)で示されている。
手の座標系は、掌の中心を原点とするので、掌の中心の動きは、手の座標系で表すと常にゼロとなる。
しかしながら、掌の中心の動きは、各時点における、手の座標系の第1軸Chuの方向の成分、及び第2軸Chvの方向の成分、即ち画像の座標系Ciにおける、第1軸Cixに対して相対角度θの方向の成分と、θ+90度の方向の成分とに分解して検出するのが有利である。これらの方向の成分は、それぞれ手首の中心と掌の中心を結ぶ直線に対して直交する方向及び手首の中心と掌の中心を結ぶ直線の方向の動きを表し、操作者は、手を動かす際に、撮像部11で生成される画像の方向(撮像部11の撮像面の方向)を基準とするよりも自分の手の上記の2つの方向を基準とする方が動かす方向についての認識及び制御が容易であるためである。
図10に示すように、時刻t及び時刻t+Δtにおける手の座標系の原点、相対角度がそれぞれ図10に示されるように変化する場合、これの時間Δt中の動きΔp、Δqは、図10に示される関係から、以下の式で与えられる。なお、図10で111、112はそれぞれ座標系の原点Cho(t)、Cho(t+Δt)を通り、軸Cixに平行な線分を示す。
これに対し、掌の中心と手首を結ぶ直線に沿って、掌を移動させた場合、移動量qは時間経過とともに次第に大きくなる一方、移動量pはゼロを維持する。完全な直線運動でなく、それから少しずれた動きであっても、移動量pはゼロに近い値となる。
これらの場合、図10に示す角度φは一定或いは略一定に保たれる。
また、上記の方向以外であっても、手首と掌を結ぶ直線に対して一定或いは略一定の角度を成す方向への運動が続けられた場合には、角度φは略一定に保たれる。
また、動き特徴量算出部15は、手の動きに関し、画像の座標系における各座標の成分を、各時点における手の座標系の座標の成分、即ち、手首の中心と掌の中心を結ぶ直線に対して直交する方向の成分(θ方向の成分)及び上記直線の方向の成分(θ+90度の方向の成分)に変換し、変換後のデータを用いて、手の動きの特徴量D15hを算出し、算出結果を、ジェスチャー判定部16に出力する。
これらのジェスチャーの認識乃至判別のため、ジェスチャー判定動作の実行に先立って、上記の形状の特徴量及び/又は動きの特徴量が満たすべき条件を予め定義し、メモリ、例えばジェスチャー判定部16内のメモリ16mに記憶させておき、ジェスチャー判定動作時に撮像部11から出力される画像データD11に基づいて形状特徴量算出部14及び動き特徴量算出部15で算出された形状の特徴量と動きの特徴量が、メモリ16mに記憶された条件を満たすか否かの判定を行い、判定結果に基づいてジェスチャーの認識を行う。
ジェスチャーの特徴量の例としては、手の形状を判定したときの指先の座標、特定の手の形状を維持した時間、手振りが判定された際の手の速度などがある。
手の形状によるジェスチャーの判定では、例えば、予め定められた本数Mの指が伸ばされている状態が、予め定められた時間Ts以上継続されたときに、ある種類の(ある操作入力のための)ジェスチャーが行われたと判定する。
その判定のため、「予め定められた本数Mの指が伸ばされている状態が、予め定められた時間Ts以上継続されること」を満たすべき条件として予め定義し、メモリ16mに記憶させておく。そして、ジェスチャー判定動作中に、撮像部11から出力される画像データD11に対して形状特徴量算出部14で算出された手の形状の特徴量が、上記の条件を満たす場合に、ジェスチャー判定部16は、上記ある種類のジェスチャーが行われたと判定する。
そして、ジェスチャー判定動作中に、撮像部11から出力される画像データD11に対して形状特徴量算出部14で算出された手の形状の特徴量として伸ばしている指の本数Mが2本であることを示す情報が、時間Ts以上継続したとき(例えば継続してジェスチャー判定部16に入力されたとき)に、ジェスチャー判定部16は、「チョキ」のジェスチャーが行われたと判定する。
手の動きによるジェスチャーの判定では、例えば、画像の座標系において、手首の中心と掌の中心を結ぶ直線に対してある特定の角度を成す方向(即ち、各時点における手の座標系の座標軸(Chu、Chv)に対してある特定の角度を成す方向)の動きが続けられた場合、その動きの速度と、動きが継続される時間、或いは上記の特定の角度を成す方向の移動量が、予め定めた条件を満たすとき(例えば各時点における手の座標系のある特定の方向の手の動きが予め定められた範囲内の速度で、予め定められた時間以上継続されるとき)、ある種類のジェスチャー(ある操作入力のためのジェスチャー)が行われたと判定する。
そして、ジェスチャー判定動作中に、撮像部11から出力される画像データD11に対して動き特徴量算出部15で算出された動きの特徴量が、上記の条件を満たす場合に、上記のある種類のジェスチャーが行われたと判定する。
「地図案内の画面」は、地図案内のための初期画面、「オーディオ画面」はオーディオ機能の操作のための初期画面、「エアコン調節画面」は、エアコン操作のための初期画面をそれぞれ意味する。
また、「チョキ」のジェスチャーが行われたとの判定結果が操作決定部17へ入力された場合は、操作決定部17は、表示部5aの表示内容を「オーディオ画面」に切り替えるコマンドを生成し、操作制御部5へ出力する。
また、「パー」のジェスチャーが行われたとの判定結果が操作決定部17へ入力された場合は、操作決定部17は、表示部5aの表示内容を「エアコン調節画面」に切り替えるコマンドを生成し、操作制御部5へ出力する。
以下では、「地図案内」が選択され、案内地図が表示部5aに表示されている状態で、地図を横にスクロールさせる場合の動作を説明する。
例えば、ジェスチャーの種類として、手を左に振る動作は左方向へのスクロール、手を右に振る動作は右方向へのスクロールと対応させる。即ち、手を振る方向にスクロールの方向に対応付ける。
また、動きの特徴量として、手を振る速度をスクロールする速さに対応させる。そして、これらの対応関係をメモリ17mに記憶させておく。
操作決定部17は、手の形状と手又は指の動きの組み合わせによるジェスチャーについても同様に、コマンドを出力するよう構成されていても良い。
まず、撮像部11が、操作領域4を含む空間を撮像し、該空間の画像を生成する(ST1)。
ステップST2で生成された手領域情報D12は座標系設定部13及び形状特徴量算出部14へ送られる。
ステップST3で算出された手の座標系の原点座標及び相対角度は手の座標系のパラメータとして、座標系設定部13から形状特徴量算出部14及び動き特徴量算出部15へ送られる。
図14は、この発明の実施の形態2に係るジェスチャー操作装置の構成を示すブロック図である。図14に示すジェスチャー操作装置は、図2に示されるジェスチャー操作装置と概して同じであり、図2と同じ符号は同一又は相当部分を示すが、モード制御部18及びメモリ19が付加され、図2に示される座標系設定部13の代わりに座標系設定部13aが設けられている点で異なる。
モード制御部18は、外部からモード選択情報MSIが与えられ、座標系設定部13aへモード制御情報D18を出力する。
即ち、モード制御情報D18により座標系設定モードが選択されているときは、座標系のパラメータの一部、例えば、相対角度を算出し、算出した相対角度θをメモリ19に記憶させる。
一方、モード制御情報D18により特徴量算出モードが選択されているときは、座標系設定部13aは、手領域検出部12からの手領域情報D12に基づいて、座標系のパラメータの残りの部分、例えば原点座標(Hx,Hy)を算出し、算出した原点座標(Hx,Hy)を形状特徴量算出部14及び動き特徴量算出部15に出力する。
一方、特徴量算出モードが選択されているときは、メモリ19に記憶された相対角度θが読み出され、形状特徴量算出部14及び動き特徴量算出部15へ供給される。
モード制御部18は、外部から入力されるモード選択情報MSIに基づいて、モード制御情報D18を生成し、座標系設定部13aへ出力する。
ここで、モード選択情報MSIは、外部から与えられる座標系設定モードの選択に関する情報であり、例えば、座標系設定モードを選択すべきか、特徴量算出モードを選択すべきかを示すモード指定情報である。
モード制御情報D18は、外部から与えられるモード選択情報MSIに基づいて生成されるもので、例えば、座標系設定モードが選択されている場合は第1の値、例えば「0」を出力し、特徴量算出モードが選択されている場合は第2の値、例えば「1」を出力する。
切り替わり情報としては、例えば次の3種類の情報がある。
(a) 「特徴量算出モードを選択している状態」から「座標系設定モードを選択している状態」へ切り替わりを指示する情報。
(b) 「座標系設定モードを選択している状態」から「特徴量算出モードを選択している状態」へ切り替わりを指示する情報。
(c) 上記(a)の切り替わり、及び上記(b)の切り替わりのいずれも不要であることを示す情報。
モード制御部18は、上記(a)〜(c)の切り替わり情報を受けて、各時点においてどのモードで動作すべきかを判断し、判断結果に基づくモード制御情報D18を出力する。
モード制御部18からモード制御情報D18として「0」が与えられた場合、すなわち座標系設定モードが選択されている場合は、座標系設定部13aは、実施の形態1で座標系設定部13に関して説明したのと同様にして、手領域情報D12から手の座標系の相対角度を算出し、画像の座標系に対する手の座標系の相対角度をメモリ19へ出力する。
一方、モード制御部18からモード制御情報D18として「1」が与えられた場合、すなわち特徴量算出モードが選択されている場合は、座標系設定部13aは、実施の形態1で座標系設定部13に関して説明したのと同様にして、手領域情報D12から手の座標系の原点座標(Hx,Hy)を算出し(一方、相対角度θを算出せず)、形状特徴量算出部14及び動き特徴量算出部15へ出力する。
座標系設定モードが選択されている場合は、モード制御部18がその旨を座標系設定部13aに伝え、ステップST12で、座標系設定部13aはステップST12で出力された手領域情報D12から、画像の座標系に対する手の座標系の相対角度を設定する。
そしてステップST13で、座標系設定部13aは、ステップST12で出力した手の座標系の相対角度をメモリ19に記憶させ、処理を終了する。
また、モード制御部18を有する構成であるため、手の座標系の相対角度θを記憶するモードと、記憶されている相対角度θを利用して特徴量の算出を行うモードのいずれかを選択することができる。
操作者3が座席2に着席している場合、操作者が同一人物であれば、操作領域4に手を入れる度に、手の座標系の原点座標は変化するが、画像の座標系に対する手の座標系の相対角度は大きく変化しない。
また、手振り動作をする場合にも、手振りの回転角が小さい場合には、相対角度θは大きく変化しないので、一定としても十分高精度にジェスチャーの判定を行うことができる。
また、周期的に、或いは何等かの条件が満たされたときに自動的に、座標系設定モードの選択と特徴量算出モードの選択との切り換えを行い、座標系設定モードで新たな手の座標系の相対角度が算出される度に、メモリ19の記憶内容(記憶されている手の座標系の相対角度)を更新しても良い。
図16は、この発明の実施の形態3に係るジェスチャー操作装置の構成を示すブロック図である。図16に示すジェスチャー操作装置は、図2に示されるジェスチャー操作装置と概して同じであり、図2と同じ符号は同一又は相当部分を示す。
図17に示される操作方法は、図13に示される方法と概して同じであるが、ステップST21が付加され、ステップST7の代わりにステップST7aを含む点で異なる。図17で図13と同一の符号は同一又は相当するステップを示す。
実施の形態1乃至3では、座標系設定部13が2本の座標軸Chu、Chvを設定しているが、本発明はこれに限定されず、設定される座標軸の数は1でもよく、3以上でもよい。要するに少なくとも1本の座標軸を設定すればよい。
また、形状特徴量算出部14によって算出される形状の特徴量と、動き特徴量算出部15によって算出される手の動きの特徴量又は指の動きの特徴量に基づいてジェスチャー判定を行うこととしているが、形状特徴量及び指の動きの特徴量を用いず、手の動きの特徴量のみに基づいてジェスチャー判定を行うこととしてよい。
以下では、手の座標系において1本の座標軸のみが設定され、かつ手の動きの特徴量のみに基づいてジェスチャー判定が行われる構成について説明する。
座標系設定部13bは、入力として与えられる手領域情報D12から、画像の座標系における手の座標系の原点座標と、画像の座標系に対する手の座標系の相対角度を決定し、これらを表す情報を手の座標系のパラメータD13bとして動き特徴量算出部15bへ出力する。
以下、座標系設定部13b、動き特徴量算出部15b及びジェスチャー判定部16bの動作をより詳しく説明する。
図19は画像の座標系Ciと手の座標系Chの関係を示している。図示のように、手の座標系において1本の座標軸Chuのみが設定されている。
次に、手首の中心Woから掌の中心Poへ向かうベクトルDpwに垂直なベクトルの方向を、手の座標系の座標軸Chuの方向として決定する。
画像の座標系に対する手の座標系の相対角度としては、例えば、画像の座標系の第1軸Cixと手の座標系の座標軸Chuとの成す角を用いても良く、代わりに、画像の座標系Ciの第2軸Ciyと手の座標系Chの座標軸Chuとの成す角を用いても良い。
上記の相対角度θを示す情報は、画像の座標系における手の座標系の原点座標(Hx,Hy)を示す情報とともに、手の座標系のパラメータD13bとして出力される。
手の動きの特徴量D15hとしては、手の速度と、手の加速度と、手の移動量(例えばある位置(初期位置)からの移動量)の少なくとも一つが算出される。これらの動きの速度及び移動量は、少なくとも2つの、異なる時刻間での位置の差に基づいて算出される。加速度は、少なくとも2つの、異なる時刻間での速度の差に基づいて算出される。
手の動きは、手の座標系の座標軸の方向成分に基づいて検出するのが有利である。操作者は、手を動かす際に、撮像部11で生成される画像の方向(撮像部11の撮像面の方向)を基準とするよりも自分の手の上記の方向を基準とする方が動かす方向についての認識及び制御が容易であるためである。
座標軸Chuに対して特定の角度εを成す方向における微小時間(画像取得周期)当たりの移動量Δrを積算することで移動量rを算出する。以下では、このようにして求めた移動量rを「各時点における手の座標系Ch(t)の角度εを成す方向の移動量」と言う。また、単位時間あたりの上記移動量を速度、単位時間当たりの速度の変化を加速度と言う。
図20に示すように、時刻t及び時刻t+Δtにおける手の座標系の原点、相対角度がそれぞれ図20に示されるように変化する場合、これの時間Δt中の動きΔrは、図20に示される関係から、以下の式で与えられる。
動き特徴量算出部15bは、上記のように、手の動きについて特定の角度ε又はεkを成す方向の成分とともに、該特定の角度ε又はεkを示す情報をもジェスチャー判定部16bに出力する。
そして、ジェスチャー判定動作中に、撮像部11から出力される画像データD11に対して動き特徴量算出部15bで算出された動きの特徴量D15hが、上記の条件を満たす場合に、上記のある種類のジェスチャーが行われたと判定する。
2本以上の座標軸を設定する場合には、第1軸以外の座標軸については、第1軸を基準として特定の角度を成す方向を軸の方向と定めてもよく、手の部位の位置を基準にしてそれぞれの座標軸の方向を別個に定めてもよい。
Claims (17)
- 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
前記手の座標系の変化に基づき、前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを前記操作者の手の動き特徴量として算出する動き特徴量算出部と、
前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記座標系設定部は、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とするジェスチャー判定装置。 - 前記動き特徴量算出部は、各時点における前記手の座標系の特定の方向における手の動きに基づいて、前記操作者の手の動き特徴量を算出することを特徴とする請求項1に記載のジェスチャー判定装置。
- 前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴を表す形状特徴量を算出する形状特徴量算出部をさらに備え、
前記動き特徴量算出部は、前記手の座標系と、前記形状特徴量とに基づいて、前記操作者の指の動き特徴量をも算出し、
前記ジェスチャー判定部は、前記手の動き特徴量のみならず、前記指の動き特徴量及び前記形状特徴量にも基づいて、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出する
ことを特徴とする請求項1又は2に記載のジェスチャー判定装置。 - 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
前記手の座標系の変化に基づいて前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを算出する前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記座標系設定部は、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とするジェスチャー判定装置。 - 前記動き特徴量算出部は、
前記手の座標系における座標で表される前記形状特徴量に基づき、前記操作者の指の動き特徴量を算出する
ことを特徴とする請求項4に記載のジェスチャー判定装置。 - 前記ジェスチャー判定部は、前記手の座標系に基づいて予め定義される動き特徴量の基準値と、前記動き特徴量算出部によって出力される動き特徴量とを照合することで、ジェスチャーの種類を判定し、ジェスチャーの特徴量を算出することを特徴とする請求項1から5のいずれか1項に記載のジェスチャー判定装置。
- 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
前記手の座標系の変化に基づき、前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを前記操作者の手の動き特徴量として算出する動き特徴量算出部と、
前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記手の座標系のパラメータの一部を記憶するメモリと、
座標系設定モードと特徴量算出モードのいずれかを指定するモード制御部とをさらに備え、
前記モード制御部により、前記座標系設定モードが指定されているときに、前記座標系設定部は、前記手の座標系のパラメータの一部を算出して、前記メモリに記憶させ、
前記モード制御部により、前記特徴量算出モードが指定されているときに、前記動き特徴量算出部は、前記メモリに記憶されている前記パラメータの一部を利用して、前記手の動き特徴量又は指の動き特徴量の算出を行う
ことを特徴とするジェスチャー判定装置。 - 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
前記手の座標系の変化に基づいて前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを算出する前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有し、
前記手の座標系のパラメータの一部を記憶するメモリと、
座標系設定モードと特徴量算出モードのいずれかを指定するモード制御部とをさらに備え、
前記モード制御部により、前記座標系設定モードが指定されているときに、前記座標系設定部は、前記手の座標系のパラメータの一部を算出して、前記メモリに記憶させ、
前記モード制御部により、前記特徴量算出モードが指定されているときに、前記動き特徴量算出部は、前記メモリに記憶されている前記パラメータの一部を利用して、前記手の動き特徴量又は指の動き特徴量の算出を行う
ことを特徴とするジェスチャー判定装置。 - 前記条件は、前記手の座標系の原点と、前記手の座標系の前記少なくとも一つの座標軸の方向とに基づいて定められるものであることを特徴とする請求項3から5のいずれか1項に記載のジェスチャー判定装置。
- 前記手の座標系のパラメータの一部を記憶するメモリと、
座標系設定モードと特徴量算出モードのいずれかを指定するモード制御部とをさらに備え、
前記モード制御部により、前記座標系設定モードが指定されているときに、前記座標系設定部は、前記手の座標系のパラメータの一部を算出して、前記メモリに記憶させ、
前記モード制御部により、前記特徴量算出モードが指定されているときに、前記形状特徴量算出部は、前記メモリに記憶されている前記パラメータの一部を利用して、前記形状特徴量の算出を行う
ことを特徴とする請求項3、4、5又は9に記載のジェスチャー判定装置。 - 前記手の座標系のパラメータの一部が、前記撮像画像の座標系の少なくとも一つの座標軸と前記手の座標系の前記少なくとも一つの座標軸とがなす角度を示す情報であることを特徴とする請求項7から10のいずれか1項に記載のジェスチャー判定装置。
- 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定部と、
前記手の座標系の変化に基づき、前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを前記操作者の手の動き特徴量として算出する動き特徴量算出部と、
前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有するジェスチャー判定装置と、
前記ジェスチャー判定部により判定されたジェスチャーの種類と、前記ジェスチャー判定部により算出された前記ジェスチャーの特徴量とから操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部と
を備え、
前記座標系設定部で設定された前記原点座標ならびに前記少なくとも一つの座標軸の方向に基づいて操作者を推定する操作者推定部をさらに備え、
前記操作決定部は、前記ジェスチャー判定部で判定された前記ジェスチャーの種類と、前記ジェスチャー判定部で算出された前記ジェスチャーの特徴量と、前記操作者推定部で推定された前記操作者とに基づいて前記操作内容を決定する
ことを特徴とするジェスチャー操作装置。 - 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出部と、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定部と、
前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出部と、
前記手の座標系の変化に基づいて前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを算出する前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出部と、
前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定部と
を有するジェスチャー判定装置と、
前記ジェスチャー判定部により判定されたジェスチャーの種類と、前記ジェスチャー判定部により算出された前記ジェスチャーの特徴量とから操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部と
を備え、
前記座標系設定部で設定された前記原点座標ならびに前記少なくとも一つの座標軸の方向に基づいて操作者を推定する操作者推定部をさらに備え、
前記操作決定部は、前記ジェスチャー判定部で判定された前記ジェスチャーの種類と、前記ジェスチャー判定部で算出された前記ジェスチャーの特徴量と、前記操作者推定部で推定された前記操作者とに基づいて前記操作内容を決定する
ことを特徴とするジェスチャー操作装置。 - 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出ステップと、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの座標軸を設定する座標系設定ステップと、
前記手の座標系の変化に基づき、前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを前記操作者の手の動き特徴量として算出する動き特徴量算出ステップと、
前記手の動き特徴量からジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定ステップと
を有し、
前記座標系設定ステップは、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とするジェスチャー判定方法。 - 撮像画像から操作者の手の領域を検出し、検出した手の領域を示す手領域情報を出力する手領域検出ステップと、
前記手領域情報に基づき掌の中心位置と手首の中心位置とを含む前記操作者の手の特定の部位の位置から手の座標系の原点座標と前記手の座標系の少なくとも一つの軸を設定する座標系設定ステップと、
前記手領域情報で示される前記手の領域のうち、前記手の座標系を用いて定められる条件を満たす部分を指の候補領域と特定し、特定された指の候補領域内において、手の形状を検出し、手の形状の特徴量を表す形状特徴量を算出する形状特徴量算出ステップと、
前記手の座標系の変化に基づいて前記操作者の手の速度、加速度、又は移動量のうちの少なくとも1つを算出する前記操作者の手の動き特徴量の算出と、前記手の座標系及び前記形状特徴量に基づく、前記操作者の指の動き特徴量の算出の少なくとも一方を行う動き特徴量算出ステップと、
前記手の動き特徴量及び前記指の動き特徴量の少なくとも一方と、前記形状特徴量とからジェスチャーの種類を判定し、ジェスチャーの特徴量を算出するジェスチャー判定ステップと
を有し、
前記座標系設定ステップは、前記手領域情報から前記掌の中心と掌の半径を算出し、
前記掌の中心と前記掌の半径から探索線を決定し、前記探索線に基づいて前記操作者の手の手首の中心の位置を特定し、
前記掌の中心を、前記手の座標系の原点として求め、
前記手首の中心の位置から前記掌の中心へ向かう方向ベクトルから予め定められた角度をなす方向を、前記手の座標系の前記少なくとも一つの座標軸の方向として求める
ことを特徴とするジェスチャー判定方法。 - 請求項14又は15に記載のジェスチャー判定方法における処理をコンピュータに実行させるためのプログラム。
- 請求項16に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013161419 | 2013-08-02 | ||
JP2013161419 | 2013-08-02 | ||
PCT/JP2014/060392 WO2015015843A1 (ja) | 2013-08-02 | 2014-04-10 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015015843A1 JPWO2015015843A1 (ja) | 2017-03-02 |
JP6121534B2 true JP6121534B2 (ja) | 2017-04-26 |
Family
ID=52431392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015529404A Active JP6121534B2 (ja) | 2013-08-02 | 2014-04-10 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160132124A1 (ja) |
JP (1) | JP6121534B2 (ja) |
CN (1) | CN105393281B (ja) |
DE (1) | DE112014003563B4 (ja) |
WO (1) | WO2015015843A1 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102016545B1 (ko) * | 2013-10-25 | 2019-10-21 | 한화테크윈 주식회사 | 검색 시스템 및 그의 동작 방법 |
US9734391B2 (en) * | 2014-07-11 | 2017-08-15 | Ryan Fink | Systems and methods of gesture recognition |
JP6606335B2 (ja) * | 2015-02-25 | 2019-11-13 | 株式会社メガチップス | 画像認識装置 |
JP6304095B2 (ja) * | 2015-03-26 | 2018-04-04 | 株式会社Jvcケンウッド | 電子機器 |
JP6562752B2 (ja) * | 2015-07-30 | 2019-08-21 | キヤノン株式会社 | 情報処理装置とその制御方法、プログラム、記憶媒体 |
KR101817583B1 (ko) * | 2015-11-30 | 2018-01-12 | 한국생산기술연구원 | 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법 |
JP6716897B2 (ja) * | 2015-11-30 | 2020-07-01 | 富士通株式会社 | 操作検出方法、操作検出装置、及び操作検出プログラム |
CN108369451B (zh) * | 2015-12-18 | 2021-10-29 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
EP3425481B1 (en) | 2016-03-04 | 2020-11-11 | Sony Interactive Entertainment Inc. | Control device |
JP6658188B2 (ja) | 2016-03-24 | 2020-03-04 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6657024B2 (ja) * | 2016-06-15 | 2020-03-04 | 株式会社東海理化電機製作所 | ジェスチャ判定装置 |
JP6676256B2 (ja) * | 2016-08-10 | 2020-04-08 | 株式会社東海理化電機製作所 | 画像処理装置及び画像処理方法 |
CN106598240B (zh) * | 2016-12-06 | 2020-02-18 | 北京邮电大学 | 一种菜单项选择方法及装置 |
EP3582068A4 (en) * | 2017-02-13 | 2020-02-19 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
EP3617845A4 (en) * | 2017-04-27 | 2020-11-25 | Sony Interactive Entertainment Inc. | CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM |
DE102017210317A1 (de) * | 2017-06-20 | 2018-12-20 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Erfassen einer Nutzereingabe anhand einer Geste |
CN107341473B (zh) * | 2017-07-04 | 2018-07-06 | 深圳市利众信息科技有限公司 | 手掌特征识别方法、手掌特征识别设备、及存储介质 |
TWI653550B (zh) * | 2017-07-06 | 2019-03-11 | 鴻海精密工業股份有限公司 | 電子裝置及電子裝置的顯示控制方法 |
CN107589850A (zh) * | 2017-09-26 | 2018-01-16 | 深圳睛灵科技有限公司 | 一种手势移动方向的识别方法及系统 |
US11130050B2 (en) | 2017-10-16 | 2021-09-28 | Sony Interactive Entertainment Inc. | Information processing system, controller device, and information processing apparatus |
CN108088032B (zh) * | 2017-10-31 | 2020-04-21 | 珠海格力电器股份有限公司 | 空调的控制方法和装置 |
WO2019104696A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市柔宇科技有限公司 | 角度调整方法、智能座椅及计算机存储介质 |
CN108052202B (zh) * | 2017-12-11 | 2021-06-11 | 深圳市星野信息技术有限公司 | 一种3d交互方法、装置、计算机设备及存储介质 |
CN108446657B (zh) * | 2018-03-28 | 2022-02-25 | 京东方科技集团股份有限公司 | 手势抖动识别方法及装置、手势识别方法 |
CN108710443B (zh) * | 2018-05-21 | 2021-09-07 | 云谷(固安)科技有限公司 | 位移数据的生成方法和控制系统 |
CN111222379A (zh) * | 2018-11-27 | 2020-06-02 | 株式会社日立制作所 | 一种手部检测方法及装置 |
CN113412501A (zh) * | 2019-02-13 | 2021-09-17 | 索尼集团公司 | 信息处理装置、信息处理方法和记录介质 |
JP2021068088A (ja) * | 2019-10-21 | 2021-04-30 | 株式会社東海理化電機製作所 | 画像処理装置、コンピュータプログラム、および画像処理システム |
JP7421923B2 (ja) * | 2019-12-23 | 2024-01-25 | フォルシアクラリオン・エレクトロニクス株式会社 | 位置推定装置、及び位置推定方法 |
CN111709268B (zh) * | 2020-04-24 | 2022-10-14 | 中国科学院软件研究所 | 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置 |
CN111639765A (zh) * | 2020-05-15 | 2020-09-08 | 视若飞信息科技(上海)有限公司 | 一种使用点轨迹和检测域的交互方法 |
CN113032282B (zh) * | 2021-04-29 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 一种手势识别装置的测试方法、装置及设备 |
CN113189798A (zh) * | 2021-05-11 | 2021-07-30 | Tcl通讯(宁波)有限公司 | 一种智能眼镜设备及智能眼镜设备控制方法 |
CN113320448B (zh) * | 2021-06-01 | 2022-07-29 | 智己汽车科技有限公司 | 一种座椅调节方法、装置及计算机可读存储介质 |
KR20230026832A (ko) * | 2021-08-18 | 2023-02-27 | 삼성전자주식회사 | 동작 제스처를 감지하는 전자 장치 및 그 동작 방법 |
CN114063772B (zh) * | 2021-10-26 | 2024-05-31 | 深圳市鸿合创新信息技术有限责任公司 | 手势识别方法、装置、设备及介质 |
CN115273282B (zh) * | 2022-07-26 | 2024-05-17 | 宁波芯然科技有限公司 | 一种基于掌静脉识别的车门解锁方法 |
CN115778333B (zh) * | 2022-11-10 | 2023-07-14 | 北京悬丝医疗科技有限公司 | 一种视觉定位寸、关、尺脉搏穴位的方法和装置 |
CN115778320B (zh) * | 2022-11-10 | 2023-06-09 | 北京悬丝医疗科技有限公司 | 一种移动关节式诊脉仪 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
JP3900122B2 (ja) * | 2003-07-30 | 2007-04-04 | 日産自動車株式会社 | 非接触式情報入力装置 |
JP2005063092A (ja) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | ハンドパターンスイッチ装置 |
JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
CN101394500B (zh) * | 2005-12-14 | 2010-11-17 | 日本胜利株式会社 | 电子设备及其控制方法 |
JP5569062B2 (ja) | 2010-03-15 | 2014-08-13 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム |
US9069386B2 (en) * | 2010-05-11 | 2015-06-30 | Nippon Systemware Co., Ltd. | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
JP2011243031A (ja) * | 2010-05-19 | 2011-12-01 | Canon Inc | ジェスチャ認識装置及びジェスチャ認識方法 |
US8971572B1 (en) * | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
-
2014
- 2014-04-10 US US14/897,595 patent/US20160132124A1/en not_active Abandoned
- 2014-04-10 JP JP2015529404A patent/JP6121534B2/ja active Active
- 2014-04-10 DE DE112014003563.7T patent/DE112014003563B4/de active Active
- 2014-04-10 CN CN201480040658.3A patent/CN105393281B/zh not_active Expired - Fee Related
- 2014-04-10 WO PCT/JP2014/060392 patent/WO2015015843A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20160132124A1 (en) | 2016-05-12 |
CN105393281B (zh) | 2018-02-13 |
DE112014003563T5 (de) | 2016-04-21 |
JPWO2015015843A1 (ja) | 2017-03-02 |
WO2015015843A1 (ja) | 2015-02-05 |
DE112014003563B4 (de) | 2023-10-05 |
CN105393281A (zh) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6121534B2 (ja) | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 | |
JP7191714B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
JP5261554B2 (ja) | 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース | |
US9239624B2 (en) | Free hand gesture control of automotive user interface | |
US9547792B2 (en) | Control apparatus, vehicle, and portable terminal | |
US11644901B2 (en) | Method and device for detecting a user input on the basis of a gesture | |
CN102591450B (zh) | 信息处理装置及其操作方法 | |
JP2016520946A (ja) | 人間対コンピュータの自然な3次元ハンドジェスチャベースのナビゲーション方法 | |
JP2009042796A (ja) | ジェスチャー入力装置および方法 | |
WO2018061603A1 (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
CN105759955B (zh) | 输入装置 | |
CN105718188A (zh) | 用于运行输入设备的方法、输入设备、机动车 | |
JP4563723B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
KR100939831B1 (ko) | 입력 에러를 감소시키기 위한 조작 입력 장치 및 정보 기기조작 장치 | |
KR101976498B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
US11602992B2 (en) | Method for displaying points of interest on a digital map | |
JP2015191250A (ja) | 情報処理装置、及びその制御方法、プログラム、記録媒体 | |
JP6289655B2 (ja) | 画面操作装置及び画面操作方法 | |
JP7163649B2 (ja) | ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム | |
JP7293620B2 (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
JP6373541B2 (ja) | ユーザインタフェース装置及びユーザインタフェース方法 | |
US20230123623A1 (en) | Gesture detecting apparatus and gesture detecting method | |
JP6588834B2 (ja) | 操作装置 | |
JP3572625B2 (ja) | 表示オブジェクト指定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161011 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170329 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6121534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |