JP6651388B2 - ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム - Google Patents
ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム Download PDFInfo
- Publication number
- JP6651388B2 JP6651388B2 JP2016043922A JP2016043922A JP6651388B2 JP 6651388 B2 JP6651388 B2 JP 6651388B2 JP 2016043922 A JP2016043922 A JP 2016043922A JP 2016043922 A JP2016043922 A JP 2016043922A JP 6651388 B2 JP6651388 B2 JP 6651388B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- region
- image
- fingertip
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Description
閉空間が存在する画像の深度値に対して強度の平滑化を適用することにより、空間内の背景領域と手領域の細かな位置関係は無視され、閉空間は指周辺から閉空間の中央に向けてなだらかに深度が変化していくような凹状の窪みになる。
モニター11は、各種情報を含む画像及びユーザの操作を検出した結果を示す画像を表示する。
ジェスチャモデリングシステム1は、フィルタリング処理(S10)、手領域の抽出と抽象深度勾配画像の生成を実施する処理(S20)、凹状領域の検出(S30)、指先接触の判定処理(S40)、重回帰分析による平面近似処理(S50)、指先位置と手指の姿勢を推定する処理(S60)、複数の手指の識別処理(S70)、手形状の認識(S80)、つまみ動作を利用した入力情報の構築(S90)等の各処理を順に実施する。以下、上記の各処理の一例について、順に説明する。
深度センサ13から直接取得できる画像の深度値には多量のノイズが発生しているので、ジェスチャモデリングシステム1は、事前処理として3種類のフィルタを重ねがけすることでノイズの除去と平滑化を行う。フィルタリングの適用前後の深度値の様子を図5に示す。
ジェスチャモデリングシステム1のフィルタリング部1501は、一又は複数の手法のフィルタ処理を、一段又は複数段に分けて、深度センサ13から取得した画像(図5(a))に適用して、その画像を平滑化して、図5(b)に示すような連続した滑らかな面を示す画像を生成する。
図29は、実施形態の手領域の抽出処理の手順を示すフローチャートであり、図30は、実施形態の勾配の算出処理の手順を示すフローチャートである。
つまみ動作の検出に移る前に、ジェスチャモデリングシステム1の手領域抽出部1502は、手領域のシルエット画像と以下で述べる強度の平滑化をかけた画像の深度勾配を計算する(S21)。手領域抽出部1502は、フィルタリング部1501によって1.のフィルタリングを施した画像(図5(b))とは別に、上記のフィルタリングを施した画像にさらに2次元のガウシアンフィルタを複数回適用した、強度の平滑化画像である手領域のシルエット画像を生成する(S22)。例えば、手領域抽出部1502は、上記のガウシアンフィルタのマスクサイズを11×11ピクセルとし、そのフィルタを適用する回数を8回とする。手領域抽出部1502は、ガウシアンフィルタのマスクサイズを、前述のガウシアンフィルタのマスクサイズに比べ演算対象範囲が広くなるように決定することにより、より平滑化の程度を高めることができる。
次に、抽象深度勾配画像生成部1503は、この2種類の画像(図6(a)、図6(b))に対し、2次元のScharrフィルタなどを用いてx方向の勾配およびy方向の勾配をそれぞれ計算する(S23)。例えば、上記のScharrフィルタのマスクサイズを3×3ピクセルとする。抽象深度勾配画像生成部1503は、深度画像の方に対しては、2方向の勾配ベクトルの絶対値を勾配強度として計算する(S231)。そして、抽象深度勾配画像生成部1503は、画素の深度値および勾配強度がともに一定以内となる画素を2値化処理することで手領域のシルエット画像(強度平滑化画像)を作成する(S232、図6(c))。次に、抽象深度勾配画像生成部1503は、強度平滑画像に対しては2方向のベクトルから画像上での勾配方向を計算する(S233)。
次に、勾配画像生成部1503は、上記の勾配強度と勾配方向を含む情報を格納した画像を生成し、生成した画像を抽象深度勾配画像として定義する(S24、図6(d))。
図31は、実施形態の凹状領域の検出処理の手順を示すフローチャートである。
ジェスチャモデリングシステム1は、抽象深度勾配画像の勾配情報に基づいて、つまみ動作中の手領域に発生する凹状の窪みを抽出する。ジェスチャモデリングシステム1の凹状領域検出部1504は、抽象深度勾配画像に対し、図7のようなテンプレートを用いてマッチングを行う(S31)。図7に示すテンプレートは、その中心を最も凹んだ地点とし、中心から放射状に遠のくほど、中心より高さが単調に高くなる勾配をモデル化したものである。例えば、その勾配のモデルは、注目画素を中心とする周辺の画素が、放射状の勾配を有する面に位置することを示す。ジェスチャモデリングシステム1は、図7に示すテンプレートを用いることにより、注目画素の周辺の複数の画素が放射状の勾配になっているかを判定する。例えば、注目画素の周辺の複数の画素は、同図に示すように中心から等距離にある8画素であってもよい。
次に、凹状領域検出部1504は、この領域に対しオープニング処理を施し(S33)、その後、灰色の類似画素が存在する領域をラベリング処理によって領域分けを行い、その領域中で白色の高い類似画素が存在する領域(高類似画素領域)のみを抽出する(S34)。図8(c)は、その結果を示す一例である。
次に、凹状領域検出部1504は、抽出された画素(図8(c))の中で最も面積の大きな領域を検出し、その領域にガウシアン平滑化を後、凸包で領域抽出したものをつまみ動作による凹状領域と判断して、凹状領域を抽出する(S35)。図8(d)は、その結果を示す一例である。図8(d)に示す、凹状領域は抽象深度勾配画像を元に検出されているので、つまみ動作において指同士が完全に接触する前の段階でも、凹状領域検出部1504は、つまみ動作における指同士の接触の検出が可能である。
図32は、実施形態の指先の接触判定処理の手順を示すフローチャートである。
ジェスチャモデリングシステム1の指先接触判定部1505は、凹状領域を利用して、指先の接触状態からつまみ動作の有無を検出する。例えば、指先接触判定部1505は、3.凹状領域の抽出において検出した凹状領域に対し、ガウシアン平滑化を行い(S41)、ガウシアン平滑化を行った後、凸包によって凹状領域の輪郭線を抽出する(S42)。次に、指先接触判定部1505は、2.手領域の抽出と抽象深度勾配画像の生成において生成した手のシルエット領域に輪郭線を重ね合わせる(S43)。指先接触判定部1505は、輪郭線を形成する画素が全てシルエット領域上あるか否かを判定する(S44)。指先接触判定部1505は、輪郭線を形成する画素が全てシルエット領域上ある場合、指が閉じていると判定する(S45)。つまり、ジェスチャモデリングシステム1は、つまみ動作が発生していると判断する。逆に輪郭線が1画素でも手の領域外に存在する場合は、ジェスチャモデリングシステム1は、指が開いていて、つまみ動作が発生していないと判断する(S46)。
図33は、実施形態の重回帰分析による平面近似処理の手順を示すフローチャートである。
手の姿勢を推定するために、ジェスチャモデリングシステム1の平面近似部1506は、3.凹状領域の抽出において述べた凹状領域(図9(a))の輪郭線付近の手指の深度情報から手の指先付近の形状を3次元空間上の平面に近似する。例えば、平面近似部1506は、輪郭線の画素とその画素の周辺8近傍の画素のうち、手領域上の画素を近似のサンプリング点として抽出し(S51)、そのサンプリング点を以下の処理で使用する。この領域中の各画素は3次元座標を持った点群であり、最小二乗法を用いた重回帰分析によって点群を3次元空間上の平面103に近似することができる(図9(b))。3次元空間上の平面は以下の式(3)により定義され、係数a、b、cはn個のサンプリング点(xi、yi、zi)を元に式(4)に基づいて定義される。
図34は、実施形態の指先位置及び手指の姿勢の推定処理の手順を示すフローチャートである。
ジェスチャモデリングシステム1は、5.重回帰分析による平面近似で求めた指領域周辺の近似平面103をもとに手指の3次元空間上の姿勢を定義する。3次元空間上の手の姿勢は近似平面103の法線ベクトルと近似平面103上の指先の位置によって一意に定められる。
図35は、実施形態の複数の手指の識別処理の手順を示すフローチャートである。
画像上で複数手指が撮像されている場合、3.凹状領域の検出の結果によるような凹状領域を、つまみ動作が行われている手指の本数分だけを適切に抽出する必要がある。以下、複数の手指で同時につまみ動作が行われている状態を示す画像から、複数の手指のつまみ動作による凹状領域をそれぞれ抽出する方法について述べる。
図36は、実施形態の指の抱え込みを含む手形状に対応する処理の手順を示すフローチャートである。
複数の凹状領域を同一の領域と見なすことで、人差し指と親指以外の指を手に抱え込んで動作を行う場合等でも、ジェスチャモデリングシステム1はつまみ動作の認識が行える。
この処理は組み込まれなくともつまみ動作の認識は可能であるが、組み込むことでより多くの形態のつまみ方に対応することができる。例えば、つまみ動作の多くの形態として、図4(a)に示したような片手の中指、薬指、小指を握らずに軽く曲げた状態にして、親指と示指とによるつまみ動作、図4(b)に示したような片手の中指、薬指、小指を握り、親指と示指とによるつまみ動作などが挙げられる。上記は例示に過ぎず、上記以外の動作を検出対象の動作に決定してもよい。
最後に、手形状認識部1510は、線上の各画素のうち、上記の最大凸状領域と重複する画素があるかないかを判定する(S87)。重複画素がない(稜線を跨がない)場合、その候補領域は凹状領域と同一であると判定し、ラベリング番号を凹状領域と同じにして領域を統合する(S88、図12)。重複画素がある(稜線を跨ぐ)場合、その候補領域は凹状領域と異なる同一であると判定し、別の凹状領域として扱う(S89)。
つまみ動作を利用した入力情報の構築について説明する。
図37は、実施形態のつまみ動作を利用した入力情報の構築処理の手順を示すフローチャートである。
つまみ動作認識で抽出できる独立した入力制御量のひとつとして、指で囲まれた輪の大きさを例示して、その入力制御量を利用するための第1の手法について述べる。画像上での輪の大きさは、深度センサ13からの手Hの見え方が変化することによって、意図せずに変化してしまう。そこで、ジェスチャモデリングシステム1は、つまみ動作認識で定義される近似平面を利用することで、手Hの見え方の変化による影響を低減する。
図38は、実施形態のつまみ動作を利用した入力情報の構築処理の手順を示すフローチャートである。
この第2の手法を用いることで図14に示すような通常のつまみ動作(図14(a))と、図15に示すような人差し指を立てたつまみ動作を識別できる。この違いは、指が接触した時の凹状領域の輪郭線105(図14(b)、(c)および図15(b)、(c))の状態によって判断する。
(被験者実験)
本発明における入力インターフェースとしての有用性を評価するために、被験者による比較実験を行った。各被験者にはジェスチャモデリングシステム1を用いた本発明による入力方法と既存の入力デバイス(比較例)による入力方法の2種類の方法で同じ作業を行ってもらい、その作業時間を計測する。比較例となる入力デバイスには3Dconnexion社の3Dマウス(SpaceNavigator)を用いる。比較例の入力デバイスは3DCADや3Dモデリングソフトで使用されることがその利用方法として想定された専用デバイスであり、位置・姿勢の6自由度を同時に入力することができるものである。
サブジェクト(SubjectAからSubjectJ)として示す被験者10名による実験の結果を図20および図21に示す。図20と図21は、サブジェクト(被験者)ごとの平均パフォーマンス時間(performance time)を示す図である。双方の図に示すように、多くの被験者で3Dマウスによる入力方法(Mouse)よりも提案手法による入力方法(Pinch)の方が、平均作業時間が短くなることが確認された。2種類の入力における平均作業時間でt検定を行ったところ、入力方法の違いによる有意差(p<0.05)が認められ、本発明による入力方法によって作業時間が短縮できることが確認できた。
本発明において同時に認識可能である手の本数とその時の認識処理速度を計測した結果を図22に示す。図22は、手の本数(number of hands)と、処理速度(processing speed)との関係を示す図である。認識処理に使用したCPUはIntel社製Corei7-3770K (3.50GHz)である。計測の結果、一台の深度センサ13で最大25本の手指の動作を同時に認識できることが確認でき、その場合の処理速度は35[fps]であった。また、手指が1つの場合の最高処理速度は106[fps]であった。センサの撮像速度は60[fps]なので、図22より、同時に認識される手指が9本までは認識速度を全く低下させることなく、つまみ動作を認識することができる。一台の深度センサ13で複数の手指の動作を同時に認識する処理の詳細は、前述の図18を参照する。
(1)深度センサ(デプスカメラ)1台で撮像された手指の映像から、3次元的な指先の位置・手指の姿勢、指先の接触によるオン、オフのトリガ入力を正確に取得できる。
(2)つまみ動作という、日常で慣れ親しんだ指先動作により、3次元物体操作やCGモデリング等のアプリケーションに利用することができる。
(3)1台のセンサで両手の動作を認識できることから、片手で物体を持ち、もう片手で道具を持って作業行なう等、現実世界と同等の感覚で作業ができる。
(4)1台の深度センサで複数の手を認識できることから、多人数で行なうインタラクティブなゲーム等のアプリケーションに利用することができる。
(5)指の輪のよる入力やつまみ方の違いの識別と複数手指の認識を組み合わせることで、多量の独立した入力情報を構築できるため、マウスやキーボード等の補助を一切必要とせずに様々なアプリケーションの操作が行なえる。
Claims (4)
- 強度の平滑化を適用した深度画像を用いて手指の凹状領域を検出する検出部と、
前記検出部により検出された結果に基づいて、利用者のつまみ動作を認識する認識部と、
重回帰分析による指領域の平面近似を用いた指先の位置および/または手指の姿勢を定義することで利用者の操作を受け付ける制御部と
を備えることを特徴とするジェスチャモデリング装置。 - 強度の平滑化を適用した深度画像を用いて手指の凹状領域を検出する処理と、
前記検出された結果に基づいて、利用者のつまみ動作を認識する処理と、
重回帰分析による指領域の平面近似を用いた指先の位置および/または手指の姿勢を定義することで利用者の操作を受け付ける処理とを含む
ジェスチャモデリング方法。 - 情報処理装置のコンピュータに、
強度の平滑化を適用した深度画像を用いて手指の凹状領域を検出する処理と、
前記検出された結果に基づいて、利用者のつまみ動作を認識する処理と、
重回帰分析による指領域の平面近似を用いた指先の位置および/または手指の姿勢を定義することで利用者の操作を受け付ける処理と、を実行させる、
ジェスチャモデリングシステム用のプログラム。 - 処理対象となる操作物体を表示する表示装置と、
強度の平滑化を適用した深度画像を用いて手指の凹状領域を検出する検出部と、
前記検出部により検出された結果に基づいて、利用者のつまみ動作を認識する認識部と、
重回帰分析による指領域の平面近似を用いた指先の位置および/または手指の姿勢を定義することで利用者の操作を受け付ける制御部と、
前記検出部で検出されて、前記制御部により定義された前記指先の位置および/または手指の姿勢の少なくとも一方の情報を用いて、前記表示装置に表示された前記操作物体に所定の処理を施す処理部と、
を備えるジェスチャモデリングシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015045162 | 2015-03-06 | ||
JP2015045162 | 2015-03-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167268A JP2016167268A (ja) | 2016-09-15 |
JP6651388B2 true JP6651388B2 (ja) | 2020-02-19 |
Family
ID=56897632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043922A Active JP6651388B2 (ja) | 2015-03-06 | 2016-03-07 | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6651388B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018184233A1 (zh) * | 2017-04-07 | 2018-10-11 | 深圳市柔宇科技有限公司 | 一种手势识别方法及相关装置 |
CN109923583A (zh) * | 2017-07-07 | 2019-06-21 | 深圳市大疆创新科技有限公司 | 一种姿态的识别方法、设备及可移动平台 |
JP7203436B2 (ja) * | 2020-11-13 | 2023-01-13 | ディープインサイト株式会社 | ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム |
WO2022209220A1 (ja) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
CN113111844B (zh) * | 2021-04-28 | 2022-02-15 | 中德(珠海)人工智能研究院有限公司 | 一种作业姿态评估方法、装置、本地终端及可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9135503B2 (en) * | 2010-11-09 | 2015-09-15 | Qualcomm Incorporated | Fingertip tracking for touchless user interface |
US9424645B2 (en) * | 2011-06-06 | 2016-08-23 | Panasonic Intellectual Property Management Co., Ltd. | Calibration device and calibration method for a stereo camera without placing physical markers |
JP5961945B2 (ja) * | 2011-08-18 | 2016-08-03 | 株式会社リコー | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
JP5834615B2 (ja) * | 2011-08-18 | 2015-12-24 | 株式会社リコー | プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体 |
JP2014029656A (ja) * | 2012-06-27 | 2014-02-13 | Soka Univ | 画像処理装置および画像処理方法 |
JP2014235634A (ja) * | 2013-06-04 | 2014-12-15 | 国立大学法人 筑波大学 | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム |
JP2015022489A (ja) * | 2013-07-18 | 2015-02-02 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP6248462B2 (ja) * | 2013-08-08 | 2017-12-20 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
-
2016
- 2016-03-07 JP JP2016043922A patent/JP6651388B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016167268A (ja) | 2016-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6360050B2 (ja) | 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム | |
US8897491B2 (en) | System for finger recognition and tracking | |
JP3863809B2 (ja) | 手の画像認識による入力システム | |
JP6651388B2 (ja) | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム | |
Oka et al. | Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems | |
AU2012268589A1 (en) | System for finger recognition and tracking | |
JPH10214346A (ja) | ハンドジェスチャ認識システムおよび方法 | |
JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
JP2014165660A (ja) | バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム | |
JP2014235634A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
Vishwakarma et al. | Hand gesture recognition in low-intensity environment using depth images | |
Vivek Veeriah et al. | Robust hand gesture recognition algorithm for simple mouse control | |
KR102052449B1 (ko) | 가상 마우스 시스템 및 그 제어 방법 | |
Augustauskas et al. | Robust hand detection using arm segmentation from depth data and static palm gesture recognition | |
Hartanto et al. | Real time hand gesture movements tracking and recognizing system | |
JP6425299B2 (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
KR101085536B1 (ko) | 제스처 인식을 이용한 인터페이스 구성방법 | |
Feng et al. | An HCI paradigm fusing flexible object selection and AOM-based animation | |
Annabel et al. | Design and Development of Multimodal Virtual Mouse | |
Verma et al. | 7 Machine vision for human–machine interaction using hand gesture recognition | |
Prabhakar et al. | AI And Hand Gesture Recognition Based Virtual Mouse | |
Babu et al. | Touchless User Interface for Sketching Using Hand Gesture Recognition | |
Muhammad et al. | LPI: learn postures for interactions | |
Yuan et al. | Virtual programming with bare-hand-based interaction | |
Hsieh et al. | Robust visual mouse by motion history image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6651388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |