JP5887775B2 - ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 - Google Patents

ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 Download PDF

Info

Publication number
JP5887775B2
JP5887775B2 JP2011198544A JP2011198544A JP5887775B2 JP 5887775 B2 JP5887775 B2 JP 5887775B2 JP 2011198544 A JP2011198544 A JP 2011198544A JP 2011198544 A JP2011198544 A JP 2011198544A JP 5887775 B2 JP5887775 B2 JP 5887775B2
Authority
JP
Japan
Prior art keywords
hand
region
image
interest
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011198544A
Other languages
English (en)
Other versions
JP2012059271A (ja
Inventor
ホアイシヌ ション
ホアイシヌ ション
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2012059271A publication Critical patent/JP2012059271A/ja
Application granted granted Critical
Publication of JP5887775B2 publication Critical patent/JP5887775B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ヒューマンコンピュータインタラクション（ＨＣＩ）システムにおける、操作者の手と手指示点の位置決め方法、及び操作者の手指のジェスチャ決定方法に関する。
コンピュータ技術や、画像処理技術の飛躍的な発展に伴い、社会の各分野に益々映像が応用されてきている。映像分析処理は、画像処理分野の研究のホットスポットとなっており、キーとなる処理技術としては、映像列における運動物体や対象への検知を行うことであり、その検知結果は、通常、対象追跡や、分類等のような、より高次元の分析や処理に用いられている。各種会議においては、補助ツールとして、プロジェクタが講演の進行に非常に役立つものとなっている。しかしながら、講演中に、講演者は通常、投影領域内の内容を指して聴衆に聞いた内容と表示内容とを組み合わせられるようにするか、講演のスライドフィルムをめくりながら、下線を引き、マークを付けるなどのインタラクション操作を行う。通常、前述の操作は、操作者によるコンピュータのマウス等の操作により実施され、操作者が投影領域とコンピュータとの間を頻繁に行き来しなければならない。言うまでもなく、このような形式は、操作者にとって非常に不便なものである。このため、自分の手や、手に持ったもので直接投影領域内の内容とインタラクティブな操作ができ、或いは、簡単に言えば、手指により一部のマウスの機能を代替可能なヒューマンコンピュータインタラクションシステムが求められている。
米国特許US6594616B2には、視覚による手ジェスチャのインタラクションシステムが提案されている。該システムにおいては、手指を直観的な入力装置とし、四角形パネル上の手指の動作により、遠隔の仮想表示装置とのインタラクションを可能にしている。ここで、上記パネルは、表示装置とコンピュータとの間の架け橋のようなものである。パネルの４つの角点及び４辺の検知により、パネル領域内の手の検知がさらに容易となる。しかしながら、該発明は、操作パネルによる遠隔の仮想表示装置の制御にのみ適しており、手指と仮想表示装置との直接的なインタラクションは不可能である。同時に、このような非直接的な形式の場合、指先位置の微小な検知誤差が、遠隔の表示装置に拡大されることになり、写像されたマウス位置にぶれが生じてしまう。
また、米国特許US20030178493には、描画、位置決め可能なシステムが提案されている。該システムにおいては、操作者が仮想表示領域の前に立ち、仮想表示装置（即ち、投影スクリーン）と直接インタラクションを行っている。しながしながら、該特許は、発光可能なペンや、ポインティング機能を有するポインティンググローブ（pointing glove）といった、マーク付き物体の検知及び追跡に過ぎず、このようなポインティング機能を有するグローブの使用は利便性や融通性に劣り、使用者に容易に受け入れられないのは言うまでもない。
また、文章“Real-time Hand Tracking and Finger Tracking for Interaction”(CSC2503F Project Report By:Shahzad Malik (smalik@cs.toronto.edu)と、“Multi-Finger Interactions with Paper Augmented Tabletops (作者Son DoLenh) ”には、背景減算技術により前景抽出を行うとともに、肌色検知手段により、前景画像から襟などの手じゃない部分を削除することで、手の検知を行っている。肌色検知は、通常、周囲の明るさの変化に比較的敏感であるため、会議室の講演投影環境のような、特別な環境のもので、安定した検知結果を得ることは困難である。このため、該方法は、実際の応用において大きな制限性がある。
他の文章の“A Virtual 3D Blackboard:3D Finger Tracking using a Single Camera”(University of Central Florida)においては、まず、肌色検知により、潜在的に可能な腕領域を取得し、その後、最速移動の重心点を動作中の腕と仮定し、これにより、腕領域の最終判定を行っている。該方法によっては、腕検知を迅速に行うことができるが、肌色の信頼性が低く、運動の仮設も終始成立しているわけではない。
また、“Bare-Hand Human-computer Interaction”(proceedings of the ACM Workshop on Perceptive User Interfaces 2001)の文章には、２種類の局所特徴の検索による指先形状の検知方法が提案されている。該検索の特徴の一つとしては、指先内部には、通常、一回り充填された画素である前景画素に取り囲まれており、２つ目の特徴としては、指先以外の正方形内部は、非充填画素からなる長鎖と充填画素からなる短鎖に取り囲まれている。正確に前述の特徴を量子化することは、言うまでもなく困難なことであり、不適なパラメータは、検知漏れや誤検知の原因になってしまう。
言うまでもなく、リアルタイム処理は、ヒューマンコンピュータインタラクションシステムにおける重要な目標である。この目標に達するために、多くの方法や、容易に検知可能な特徴、例えば、四辺形のパネルや標識付き物体の導入や、全体や一部の画像からの肌色検知や、運動情報による手の検知処理工程の加速化等がある。通常、このように導入された検知可能な特徴は、応用においてさほど便利ではなく、肌色と運動情報は使用条件によっては得られない場合があるため、迅速な手と手指の検知は位置決め方法において非常に価値がある。同時に、どのように、単眼撮像手段の視角不良による、手指形状の特徴不鮮明の検知問題を解決するかについて、前述の方法は有効な解決方法ではない。
本発明は、従来技術のヒューマンコンピュータインタラクションシステムにおける前述の問題を鑑みてなされている。本発明の目的は、ヒューマンコンピュータインタラクションシステムにおける、操作者の手と手指示点の位置決め方法、及び操作者の手指のジェスチャ決定方法を提供することにある。
上述の目的を達成するために、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手位置決め方法が提供される。この手位置決め方法は、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するステップと、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行うステップと、２値化前景画像の最小凸包の画素頂点集合を取得するとともに、前景画像の最小凸包の各画素頂点を中心点に関心領域を構築して、潜在的に手が含まれる候補領域とするステップと、各構築した関心領域から手画像特徴を抽出し、パターン認識方法により、候補領域における、手が含まれる関心領域を決定するステップと、を含む。
通常、ヒューマンコンピュータインタラクションシステムにおいて、外部照度条件が悪い場合や、複雑すぎて肌色の表現の変化が大きく信頼度が落ちるため、撮像ヘッドを表示領域から離れた場所に載置しないと、大きな視野範囲から仮想表示領域全体の画像を取得することができない。このように取得した画像における手の領域が比較的小さく、明確ではないため、手指検知が極めて困難になる。このような問題を鑑みて、本発明による手位置決め方法は、入力された画像全体から、画像自身の特徴に応じて、迅速に少量の手候補領域を取得し、さらにパターン認識方法により、候補領域から正確な手領域を得ることができる。本発明の基本思想は、操作者の身体外形に存在する凸包の属性を手の検知に適用することである。実験データの統計結果によると、通常操作の場合、操作者の手が身体外形の凸包頂点に出現する可能性は９９．６％に近いことが判明されている。このため、本発明は、まず、操作者の身体外形の凸包頂点集合の算出を行うとともに、各頂点を中心に手の関心領域を構築する。通常、このような関心領域の数は２０を超えないため、本発明は、少ない数の候補領域から、手検知を迅速に行うことができる。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記パターン認識方法は、BPニューラルネットワーク方法、SVM方法、決定木方法のいずれか一つであるが、これに限るものではない。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記前景画像の抽出ステップは、画像差分技術により、入力された画像から操作者を含まない背景画像を減算するか、入力された画像から隣り合うフレームの画像を減算して運動領域を検知する形式で前景画像を抽出する。また、前記前景画像の抽出ステップは、撮像位置の距離画像（depth map）を取得することで、所定の深さ情報によって前景画像を抽出してもよい。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記抽出した前景画像の２値化処理を行うステップは、前景画像のエッジ画像を算出するステップと、前景画像の勾配画像を算出して２値化を行うステップと、所定の閾値により前景画像の２値化を行い、２値化結果を取得するステップと、前述の３つの結果を「OR」論理演算により、新たな２値化画像を生成するステップと、得られた２値化画像における輪郭閉領域を充填するステップとを含む。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記前景画像上の任意の２点の連結線は、前記最小凸包からなる多辺形の辺上や、前記凸多辺形の内部に位置している。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記関心領域は、矩形フレームや、円形状の領域であり、その大きさは操作者の手を丁度覆う大きさであり、前記関心領域の大きさは、検知中は固定不変のものである。
本発明のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法では、前記特徴値は、関心領域内の、画素情報による面積、色、エッジ、或いは、全体情報による形状、テクスチャー、勾配方向のヒストグラムを含み、同時に領域外であるものの、関心領域と一対一の関連のある、手を操作者の身体の他の部位と分別可能な、例えば、関心領域に直接接続された腕領域から適合された楕円のアスペクト比という形状特徴のような特徴やその組み合わせも含んでいる。
また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法が提供される。この指示点決定方法は、撮像された画像から手を含む領域を検知するとともに、手領域内の指示点の特徴から手領域内の指示点の候補画素点集合を算出するステップと、検知した手を含む領域に密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行うステップと、楕円適合の結果が有効であると、適合された楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素点を、手領域内の指示点に決定するステップとを含む。前述の手領域から指先（即ち、指示点）を決定する方法においては、人類の全体から一部への認知習慣を十分に参照し、腕の楕円適合により、適合された楕円の長軸方向に最も離れた点を探す方式で指先の位置を取得している。該方法により、手指特徴が、単レンズの視角不良により、不鮮明になることや、速すぎる運動により画像が不鮮明になることによる検知困難が解消される。例えば、撮像ヘッドの方向と講演者の身体とが平行時、指先の形状は、最終的に形成された画像において大幅に弱まり、検知困難になる。本発明は、全体情報と一部情報を組み合わせることで、人類の認知習慣にあった信頼性のある位置決め結果を得ることができ、一部特徴のみを用いることによる不十分さを避けることができ、誤検知率を減らすことができるため、ヒューマンコンピュータインタラクションシステムにおける連続運動の手指の検知及び位置決めにさらに適している。
本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、前記指示点は、手の人差し指の指先位置や、任意の位置決め特徴を有する携帯物の頂点である。
本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、手領域内の指示点の候補画素点集合は、手の凸包頂点、手輪郭線上の高曲率点、Harris角点、手指形状のフィルタリングにより得られた位置点のうちのいずれか一つ、またはこれらの組み合わせである。
本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、前記検知した手を含む領域と密接する疑似腕領域を取得するステップは、前景画像の重心点と、手領域を含む関心領域の中心点との連結線から1点を取り、該点から手領域を含む関心領域の中心点までの距離が、通常の腕長さの半分となるようにし、前記連結線から取った点を中心に、前記通常の腕長さの半分を半径として円を描き、得られた円の内部領域を疑似腕領域としている。
本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、擬似腕領域形状の楕円適合ステップの後、手領域内の指示点の決定ステップ前は、擬似腕領域形状の楕円適合の結果が有効か否かで、真の腕領域であるか否かを判断するステップを含み、該ステップでは、適合楕円の長軸と短軸の比を算出し、適合楕円の長軸と短軸の比と所定の比例値閾値とを比較し、長軸と短軸の比が、所定の比例値閾値を超えた場合に、適合楕円を有効とし、所定の比例値閾値以下であると、適合楕円を無効としている。
本発明の他の実施形態によると、手領域を含む関心領域の中心点と前景画像の重心点との連結線と、適合楕円の長軸とがなす角度を算出し、算出した角度が、所定の角度閾値未満であると、適合楕円を有効とし、所定の角度閾値以上であると、適合楕円を無効としている。
本発明のヒューマンコンピュータインタラクションシステムにおける手領域内の指示点決定方法では、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素点を、手領域内の指示点に決定するステップでは、各候補画素点の適合楕円の長軸上の垂直投影位置を算出した後、適合楕円の長軸に沿って手の方向へ最も離れた投影位置を検出するとともに、該投影位置に対応する候補画素点を手領域内の指示点に決定するか、適合楕円の中心点から、手方向の反対方向の楕円長軸上で1点を選択し、該点から各候補画素点までの距離を順次算出するとともに、算出した最大距離に対応する候補画素点を手領域内の指示点に決定している。
また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法が提供される。この手指のジェスチャの開閉識別方法は、入力された画像から手を含む領域を検知して、指示点としての指先の位置を決めるステップと、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先を検知するステップと、次の指先の位置点が検出されていないと、現在のジェスチャを「閉」状態と識別し、次の指先の位置点が検出されると、引き続き以下の操作を行うステップと、位置決定した指示点から検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち、変曲点の位置を検出し、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別するステップとを含む。
本発明における手指のジェスチャとは、手指の異なる開閉の組み合わせからなる分類状態を指している。2つの手指のジェスチャのうちの一方とは、人差し指だけ伸ばし、他の指を握りしめた状態を指し、所謂「閉」状態であり、他方の手指のジェスチャとは、親指と人差し指を同時に開いた状態を指し、所謂「開」状態である。
本発明の手指のジェスチャの開閉識別方法は、手指の位置とその幾何学的関係の検知により、２つの手指のジェスチャを識別しており、これは1種の直観的な識別方法である。手指の開閉によるジェスチャ表現において、手指の開いた数と、その開いた後に形成される幾何学的位置関係は、手指のジェスチャの区分識別において最も重要で最も安定した特徴である。本発明はこの特徴に着目して、人類の認知習慣に基づき、指先検知と、幾何学的規則による判断とを根拠としているため、簡単でかつ高効率の手指のジェスチャの識別を実現している。本発明は、従来のパターン認識における高次元の特徴ベクトルのトレーニング分類器を用いた方法に存在する、サンプルが大きすぎることや、収斂が遅いことや、訓練されたモデルの拡張性に不安定な要素が存在することや、識別工程におけるブラックボックス効果等が存在する等の、様々な問題を防止することができる。本発明は、主動的な識別方法であり、優れた識別効果が得られる。
本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、決定した指示点と、次の指先の位置点とが、それぞれ前記変曲点となす二辺の夾角の大きさが、所定範囲内であり、かつ３つの辺の各辺の長さが、所定の長さ閾値を超えた場合に、手指のジェスチャが、「開」状態と判定し、逆の場合は、手指のジェスチャが、「閉」状態と判定している。
本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、検知した次の疑似指先とは、検知した手を含む領域の手輪郭のうち、その輪郭の曲率方向が正で、かつ所定の曲率閾値よりも大きくなる潜在の指先の位置点を指している。
本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ次の疑似指先を検出するステップにおいて、片側で検知した長さは、検知結果が重複しないように、手輪郭線の半分を超えないようにした。
本発明のヒューマンコンピュータインタラクションシステムにおける手指のジェスチャの開閉識別方法では、前記変曲点位置とは、取得した輪郭点からなる曲線のうち、曲率の方向が負で、かつ、絶対値が他の所定の曲率閾値を超える輪郭点を指している。
また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。このヒューマンコンピュータインタラクションシステムは、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するモジュールと、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行うモジュールと、２値化前景画像の最小凸包の頂点集合を取得するとともに、前景画像の最小凸包の各画素頂点を中心点に、手が含まれる候補領域として関心領域を構築するモジュールと、各構築した関心領域から、手画像特徴を抽出し、パターン認識により、候補領域における手が含まれる関心領域を決定するモジュールと、を有する。
また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。このヒューマンコンピュータインタラクションシステムは、撮像された画像から手を含む領域を検知するとともに、手領域内の指示点の特徴から手領域内の指示点の候補画素点集合を算出するモジュールと、検知した手を含む領域と密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行うモジュールと、楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素を、手領域内の指示点に決定するモジュールと、を有する。
また、本発明の一態様によれば、ヒューマンコンピュータインタラクションシステムが提供される。入力された画像から手を含む領域を検知して、指先の位置を指示点として位置決定するモジュールと、位置決定した指示点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置を検知するモジュールと、次の指先位置点が検出されないと、当該ジェスチャを「閉」状態と識別するモジュールと、次の指先位置点が検出されると、位置決定した指示点から、検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち変曲点位置を検出するモジュールと、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別するモジュールと、を有する。
前述の本発明の簡単な説明から、本発明のヒューマンコンピュータインタラクションシステムの検知方法及びシステムには、以下の３つの特徴があることが分かる。一つ目の特徴は、凸包の頂点集合の利用により、候補の関心領域の数を減らすことができ、物体の迅速な検知が可能になる。2つ目の特徴は、人類の全体から一部への認知習慣の特徴から、指先の位置決めを実現することができ、単レンズの視角不良により手指特徴が弱められることや、腕の速すぎる運動により手指がぼやけて見えないことなどによる検知困難を解消することができる。3つ目の特徴は、手指検知及び手指の幾何学的関係の規則を用いることにより、2種類の簡単な手指のジェスチャを識別することができる。
本発明の実施例におけるヒューマンコンピュータインタラクションシステムの略図である。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手と指示点の位置決め及びジェスチャ識別方法の全体フローチャートである。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手位置決めのフローチャートである。 図３のフローチャートにおける、前景画像抽出の実例を示した図である。 図３のフローチャートにおける、抽出した前景画像の２値化処理の実例を示した図である。 図３のフローチャートにおける、凸包の多辺形演算における凸包の概念及び演算の略図である。 図３のフローチャートにおける、凸包の多辺形演算における凸包の概念及び演算の略図である。 図６Aと６Bの演算工程を具体的な前景画像に適用した実例を示した図である。 本発明の実施例による、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点の位置決め方法のフローチャートである。 図８の疑似腕領域画定の実例を示した略図である。 図８の腕領域の形状の楕円適合の実例を示した略図である。 図８の手指示点の位置決めの実施例を示した略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 本発明の実施例による、画像からのジェスチャの識別の略図である。 画像からの手指のジェスチャの識別の実例図である。 本発明の実施例による方法を実現するシステムのブロック図である。
本発明の目的、技術手段、および効果をより明確にするために、以下、実施例と図面を参照して、本発明をさらに詳細に説明する。
図１は、本発明の実施例によるヒューマンコンピュータインタラクションシステムの略図である。図１に示されたように、前記ヒューマンンコンピュータインタラクションシステムには、プロジェクタ１と、撮像手段２と、コンピュータ３と、投影スクリーン（仮想表示画面）４とが設けられている。講演者５は、仮想表示画面（投影領域）の前に立って、仮想表示装置とのインタラクション操作を直接行っている。撮像手段２は、画像を取得してコンピュータ３へ送信し、コンピュータ３は、画像データを分析して手や指示点位置の検知と手指のジェスチャの識別を行う。次に、予め定義された動作応答規則により、コンピュータ操作をシミュレーションし、スクリーン内容を更新し、更新後のスクリーン表示画像は、さらにプロジェクタ１を経由して仮想表示装置にフィードバックされることで、操作者と仮想表示装置とのインタラクションが可能になる。
図２は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける、手と指示点の位置決め及びジェスチャ識別方法の全体フローチャートである。図２に示されたように、ステップS21において、コンピュータ３は、撮像手段２で投影領域を撮像して送信されてきた映像画像を受信する。次に、コンピュータ３は、ステップS22において、受信した画像における各フレームの画像における手領域の検知を行う。その後、ステップS23において、コンピュータ３は、手を検出したか否かを判定し、手が検出されない場合は、ステップS21に戻り、次のフレームの画像に対し、ステップS21〜S22を実行する。ステップS23で手を検出したと判定されると、ステップS24に進み、手指示点の検知を行う。換言すると、手の伸ばした指先や、手に持った指示部品の先端の検知を行う。その後、ステップS25に進み、手指のジェスチャの開閉の識別を行う。最後に、ステップS２６において、検知した指示点の位置と手指のジェスチャを出力する。次に、コンピュータ３は、検知した指示点の位置における指示対象に基づき、コンピュータのマウス操作及びキーボード操作をシミュレーションし、表示内容の更新を行う。
図３は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける手位置決めのフローチャートである。図３に示されたように、ステップS31において、撮像された画像フレームから前景画像を抽出する。前景画像の抽出を実現する具体的な方法の一つとしては、画像差分技術がある。即ち、入力された画像から、操作者を含まない背景画像を引き、或いは、入力された画像から隣り合うフレームの画像を引き、運動領域を検知する方法で前景画像を得る方法である。前景画像の抽出を実現する他の具体的な方法としては、景物の深さ距離情報を取得可能な画像取得装置により、距離画像を取得し、一定の深さ情報を抽出して、良好な前景画像の抽出効果を得ることができる。図４は、図３のフローチャートにおける、前景画像抽出の実例を示した図である。図４に示された背景差分により、前景抽出を行う具体的な実現方法においては、先ず、背景画像（背景画像には、場面の背景情報のみ含まれ、移動可能な物体が一切含まれない）を構築し、次に、入力された各画像から背景画像を引いて差分画像を取得する。差分画像の２値化処理後、背景及び環境光の影響が入力画像から消去されることで、前景画像となる操作者の身体部は自然に増強される。背景差分以外に、運動検知の技術によっても、前景画像の抽出を行うことができる。他の最適な実現方法としては、可視光の干渉をフィルタリングすることで、安定したクリアな前景画像を取得可能な赤外フィルタ付き撮像ヘッドにより、画像を撮像することができる。
次に、ステップS32において、抽出した前景画像の２値化処理を行う。前景画像の２値化画像処理は、前景エッジを検索するとともに、閉じたエッジを充填する方法により行われる。図５は、図３のフローチャートにおける、抽出した前景画像の２値化処理の実例を示した図である。図５に示されたように、先ず、図５の左から右への工程において、入力された各前景差分画像に対し、先ず、対応するCANNYエッジ画像、勾配画像、及び高閾値のもとで得られた比較的保守的な２値化画像をそれぞれ算出し、次に、「OR」演算でこれらの３つの図を合併するとともに、そのうちのエッジ閉領域を充填（Ｆｉｌｌ、即ち、埋め尽くす）し、最後に得られる画像が、即ち前景画像の２値化結果である。該方法により得られる結果は、比較的安定で、特に、明るさのコントラストが低い場合に有効である。もちろん、前景画像への２値化方法は、前記方法に限らず、例えば、OTSU（大津）法のような汎用の演算法も用いることができる。
次に、ステップS33において、２値化前景画像の最小凸包の画素頂点集合を取得する。
図６Aは、凸包概念のイメージを示している。１つの点集合Qの凸包とは、最小の凸多辺形Pを指し、点集合Qのいずれかの１点、或いは任意の２点を結ぶ線については、凸多辺形Pの辺上にあるか、凸多辺形Pの内部にある。テストデータの統計によると、正常の操作プロセスにおいて、操作者の手が身体の外形凸包の頂点に出現する可能性は、ほぼ９９．６％になっていることが判明されている。このため、操作者の凸包からの手領域の検知は、迅速な手検知を実現可能は方法である。
図６Bは、図３のフローチャートにおける、凸包の多辺形演算の略図である。所定の「ｎ」個点の点集合に対し、先ず、最小位置の点P0（最小ｙ座標点）を検索し、次に、すべての点を走査してPk+1点を検索して、すべての点がPkPk+1の左側に位置するようにし、Pk+1がP0と等しくなるまで順次検索していくことで、最小凸包（図６B）を取得する。
図７は、図６Aと６Bの演算工程を具体的な前景画像に適用した実例を示した図であり、映像から切り取った１フレームの画像における凸包の多辺形演算結果を示している。本発明の具体的な実施例として、２値化前景画像の輪郭点は、凸包の多辺形の演算に用いられる。該図において、小さな丸い円が、最小凸包の頂点を示し、頂点間を結ぶ線が、凸多辺形を構成している。
最後に、ステップS34において、前景画像の最小凸包の各画素頂点を中心点に、手を含む候補領域として関心領域を構築する。図７は、同時に、凸包の頂点集合により構築したすべての手関心領域を示している。前記手関心領域は、凸包頂点集合における各点を中心点に、矩形フレーム（あるいは円）を描画し、該矩形フレーム（あるいは円）のサイズは、固定であり、かつ正常に手を覆うことができる。隣り合う凸包の頂点の距離が非常に近い（図７に示されたように、手近傍の２つの凸包の頂点）と、これらに対応している関心領域を１つに合併し、合併した関心領域の中心点が、２つの凸包の頂点を結ぶ線の中心となる。
手領域の候補関心領域の取得後、候補の関心領域から、手を含む候補領域がどれかを判定するためには、パターン認識方法を用いる必要があり、このようなパターン認識方法には、例えば、マシン学習の方法や、決定による方法がある。マシン学習の方法の典型的な代表として、BPニューラルネットワーク、SVMサポートベクトルマシン及びBoosting方法があり、決定による方法には、決定木がある。いずれの方法においても、先ず認識すべき物体から特徴を抽出する必要がある。このため、ステップS35において、各構築した関心領域から手画像特徴を抽出する。
本発明において、身体の他の部位から手を分別可能な測定及びその組み合わせは、すべて特徴として手の識別に用いることができ、関心領域内の画素情報に基づく面積、カラー、エッジや、全体情報に基づく形状、テクスチャー、勾配方向のヒストグラムが含まれる。同時に、特徴値には、領域外であり、かつ関心領域とそれぞれ関連のある、手と操作者の身体の他の部位とを分別可能な特徴やその組み合わせも含まれ、例えば、関心領域に直接繋がっている腕領域に適合した楕円アスペクト比の形状特徴がある。
以下、手特徴を説明した具体的な実例を示す。本発明は、以下の３つの方向とは関係のない特徴を定義することにより、手領域を説明している。
特徴A=AW/AB、ここで、AWは、２値化画像における関心領域内の前景画素数の総和であり、ABは、関心領域の面積である。該特徴は、手領域の関心領域における面積の比を表している。
特徴B＝SD/AW、ここで、SDは、関心領域のマスク画像（即ち、２値化画像）に対応している前景差分画像上の画素点のグレースケールの累積和である。該特徴は、手の平均グレースケールを表している。
特徴C=SC/AW、ここで、SCは、関心領域内の前景差分画像上のCANNYエッジ点の数であり、該特徴は、手エッジのテクスチャーの複雑度を表している。
次に、ステップS36において、パターン認識方法により、候補領域から手を含む関心領域を判定する。依然として、以上の実例を例として、予め、前記ヒューマンコンピュータインタラクションシステムから得られた手領域の画像サンプリングにおけるそれぞれの特徴の確率分布のヒストグラムにより、各候補の関心領域に対し、それぞれの特徴値ABCを算出後、該特徴の確率分布から各自の確率値P(A)、P(B)、P(C)を得ることができる。本発明の簡単な実施例として、候補領域からの手識別において、各関心領域の各特徴の確率を累積し、P=P(A)+P(B)+P(C)が得られる。同時に、ここから最大の「P」を選択し、最大の該確率「P」が所定の確率閾値を超えた場合、該最大累積確率値「P」に対応する関心領域が手を含む領域と識別される。すべての関心領域に対応する累積確率値「P」が、すべて前記所定確率閾値未満であると、当該入力された画像上には操作者の手が存在しないと判断される。
前記手領域を識別する具体的な実施例においては、改善された方法として、先ずすべての候補関心領域から、最大ｎ個（例えば、３個）の最大「P」値を有する関心領域を検索し、その後、該ｎ個の関心領域にそれぞれ関連する疑似腕領域の楕円適合を行い（具体的な方法として、関心領域の中心点を円心に、腕の長さを半径とする円内から、最大の連通領域を検索し、疑似腕とする）、最終的に適合した楕円の最大のアスペクト比を有する対応の関心領域を手領域と識別する。
前述の方法よりも複雑な、例えば、SVMや決定木のような、パターン認識方法を用いると、手識別の効果がより良好になる。前記パターン認識方法自体は従来技術であり、当業者が前述のように開示された実施例のもとで、SVMや決定木を用いてそれぞれの特徴を抽出して識別することができるため、ここでは、各種方法の具体的な応用についての説明は割愛する。
操作者の直接的なヒューマンコンピュータインタラクションを容易にするために、また、操作者の伸ばした手指の指示点や携帯物の指示点によるヒューマンコンピュータインターアクションの操作を可能にするためには、画像中の手の位置決め後の、操作者の指示点の位置の正確な取得が必要となる。
このため、本発明は、手位置決めのもと、ヒューマンコンピュータインタラクションシステムで手領域内の指示点も確定することができる。図８は、本発明の一実施例による、ヒューマンコンピュータインタラクションシステムにおける手領域内の指示点の位置決め方法のフローチャートである。該フローで行うものは、ステップS24で実現する指示点の識別工程である。
図８に示されたように、手領域を決定した後、ステップS81において、手領域内の指示点の特性に応じて、手領域内の指示点の候補画素点集合を算出する。
手領域内の指示点の候補画素点集合には、手の凸包頂点、手輪郭線上の高曲率点、Harris角点、或いは、文章“Bare-Hand Human-Computer Interaction”に記載された形状検知演算子により検知された点等がある。これらの候補点により、指先位置の一部の特性が反映される。その計算方法は、当該分野の従来技術であり、それぞれの実現プロセスは、オープンソースプロジェクト「OpenCV」に提供されているため、ここではその詳細な説明は割愛する。前記指示点は、手の人差し指の指先の位置や、任意の位置決め特徴を有する携帯物の頂点であってもよい。
次に、ステップS82において、手を含む領域の関心領域の中心点及び前景画像の重心点に基づき、腕領域を取得する。人類の認知習慣は、通常、全体から一部へとなっているため、本発明は、腕とその方向情報による、候補点の集合からの最終の指先の位置決めを試みている。このためには、先ず、腕の位置を取得する必要がある。図９は、図８の疑似腕領域画定の実例を示した略図である。図９に示された内容は、入力された２値化画像から指定された手のひらに関連する腕領域を如何に検索するかを示している。図９に示されたように、前景画像の重心点と、手を含む領域の中心点とを結ぶ線上で１点を取得し、該点から手を含む領域の中心点までの距離が、通常の腕の長さの半分Rになるようにする。また、前記線上から取得した点を中心に、前記通常の腕の長さの半分Rを半径として円を描き、得られた円内部の領域を腕領域とする。
その後、ステップS83において、腕領域内の輪郭点や、腕領域内の２値化画像データに基づき、腕形状の楕円適合を行う。図１０は、図８の腕領域の形状の楕円適合の実例を示した概略図である。図１０に示されたように、腕の規則的な幾何学的形状を取得するために、本発明は、従来の「OpenCV」にある対応の楕円適合関数を用いて、腕領域内のデータの楕円適合を行う。楕円適合に関わる点は、２値化画像上の前景点でもよく、腕領域内の輪郭点でもよい。
楕円適合の結果には、通常の腕輪郭を満足しないものがあるため、一部の適合結果は無効になることがある。このため、無効の適合結果を放棄し、即時次の画像の操作に進むように、ステップS８４において、適合結果の有効性を判断する必要がある。楕円適合の結果の有効性の判断は、下記工程により行われる。即ち、適合楕円の長軸と短軸の比の算出、及び、手領域を含む関心領域の中心点と前景画像の重心点とを結ぶ線と、適合楕円の長軸とがなす夾角の算出を行い、算出した比例値が、所定の比例値閾値を超え、かつ算出した夾角が所定の角度閾値未満であると、適合楕円が有効であると判断し、前述の２つの条件のうちのいずれかが満たされないと、適合楕円が無効であると判断される。通常、前記所定の比例値閾値は、１．５以上であり、例えば、１．５、１．８、２．０、２．８等であり、前記所定の角度閾値は、３０度よりも小さく、例えば、２５度、２０度、１８度である。前記特性から得られた評価結果が、有効であると、下記の指先の位置決め操作が引き続き行われ、ステップS85に進み、そうでなければ、ステップS８６に進み、当該操作を放棄する。
ステップS85において、各候補指示点の画素点の適合楕円の長軸上の垂直投影位置を算出する。図１１は、図８の手指示点の位置決めの実施例を示した略図である。
図１１に示されたように、図面には４つの候補点があり（例示的に、３つ、５つ、６つ、或いはその以上）、それぞれ「A」、「B」、「C」、「D」（即ち、手の凸包頂点）に標記し、先ず、各候補点に対し、各点の楕円長軸上の垂直投影点を算出し、各候補点について、「ａ」、「ｂ」、「ｃ」、「ｄ」が得られる。
次に、ステップＳ８７において、適合楕円の長軸に沿って手方向へ最も離れた投影位置を探す。図１１に示されたように、楕円長軸に沿って手方向へ最も離れた投影点が、「ａ」である。他の最も離れた投影位置の決定方法として、適合楕円の中心点から、手方向の反対方向に沿った楕円長軸上で１点を選択し、該点から各候補画素点までの距離を順次算出し、算出した最大距離の投影点を最も離れた投影位置とする。
最後に、ステップＳ８８において、該投影位置に対応する候補画素点を手領域内の指示点と決定する。実際に、図１１に示されたように、該投影点「ａ」に対応する候補点が、人類の全体から一部への認知習慣のもとでの最終の指先や指示点の位置である。
本発明の実施例によると、指先や指示部品の迅速な位置決めが可能になるとともに、手指の開閉ジェスチャへの高効率かつ安定した識別方法が得られる。本発明の前述の「閉」の手指のジェスチャとは、手のひらを握りしめた状態で人差し指のみ伸ばした状態をいい、本発明の前述の「開」の手指のジェスチャとは、親指及び人差し指を同時に開いた状態をいう。「開」、「閉」とも、人差し指は常に開いた状態で、指先位置がマウスのような位置決め機能を果たしている。
図１２A〜１２Fは、本発明の一実施例による、画像からの手指のジェスチャの識別の略図である。具体的な実施例において、先ず、本発明の指先の指示点の位置決め方法により、入力された画像から人差し指の指先位置を取得し、該位置点を中心に、手のひらや拳を覆う矩形枠や円を作り、２つの手指のジェスチャを識別する研究領域（即ち、関心領域）とする。該研究領域内で、先ず、手指の形状及び出現の特徴により、開いた全ての指先の候補点を算出する。計算方法は、先ず該関心領域内の手の凸包の頂点を検出し、次に該凸包の各頂点が手指か否かを考察する。これは、手のひらの一部において、指を開いた時の指先位置は、必ず手のひらの凸包頂点にあるからである。図１２Aに示されたように、該手のひらには、３つの凸包頂点が存在し、そのうち２つは指先位置である。
次に、手のひらの凸包頂点集合から、手指特徴を満たさない点をさらに排除し、開いた全ての指先の疑似位置を探す。開いた指先として、その位置は、必ず高曲率点であるため、本ステップの具体的な実施形態は、該凸包頂点の存在する輪郭曲率を算出するとともに、その曲率が所定の値よりも大きく、曲率方向が正（内向き）かを判断する。
画像のエッジ点の曲率の算出は、該点を基準点に、該点の付近の前列と後列のエッジから一点ずつ取って２つのベクトルを形成し、ベクトルの内積計算により、その曲率の大きさと方向を予測する。曲率の計算は、従来の技術であるため、ここではその詳細な説明を割愛する。なお、本ステップでは、文章Bare-Hand Human-Computer Interactionに開示された形状検知方式による、手のひらの凸包頂点集合からの全疑似指先の位置点の検出を用いることができる。図１２Bは、手指検知の結果を示している。
指先位置の検知の正確性が高いと、検知した手指の数により、手指のジェスチャへの簡単な識別が可能になる。本発明は、検知結果に通常一定のノイズが含まれていることを考慮し、さらに、一定の幾何学的位置関係の組み合わせにより、その識別の正確性を高めている。
先ず、図１２ｃに示されたように、手の人差し指の指先点（位置決め点）を起点F0に、手のひらの輪郭線（即ち、手のひらの２値化画像のエッジ）に沿って両側方向へ、それぞれ次に出現する指先点を探し、検索結果が重複しないように、各自方向に辿る輪郭線の長さが手のひらの輪郭線の半分を超えないようにする。検索した手指点をF1とすると、検索した手指の結果は、データ対｛F0、F1、F0F1｝と記録することができる。F0F1は、図１２Dに示されたように、F0からF1まで辿った手のひらのエッジである。エッジに沿って検索した各手指点は、全てこのような形式で記録していく。
本発明の一実施例では、｛F0、F1、F0F1｝のような、各組の指先のデータ記録に対し、F0F1により表される輪郭点からなる曲線中の変曲点位置を算出し、該変曲点は、手のひらの付け根部分の位置点とイメージ的に認識され、特徴としては、該点の所在する曲率が所定値を超え、かつ、曲率方向が負（外向き）である。変曲点が存在しない場合は、該組のデータを放棄する。変曲点の算出後、１組の指先のデータ記録がなければ、該手指のジェスチャは「閉」と判断され、終了して戻る。図１２Eは、該変曲点が存在する演算結果を示している。
残りの指先のデータ記録に対しては、各組のデータにおける対をなす指先及び変曲点からなる三角形の幾何学的関係から、手指のジェスチャが「開」状態を示すか否かを判断している。判断は、変曲点を頂点に両指の夾角が必ず所定の範囲内（３０〜１５０度の範囲）にあり、３辺の辺長とも所定の長さ未満であることを具体的な根拠としている。なお、変曲点から人差し指の指先までの長さが変曲点から親指の指先までの長さ以上であることも、判断の根拠にすることができる。図１２Fは、「開」状態のジェスチャにおける合理的な三角形の幾何学的関係を表した図である。
図１３は、画像からの手指のジェスチャの識別の具体的な実例である。７２０×４８０サイズの原画像に、本発明の手指のジェスチャ検知方式を用いた検知速度は、略５８ｍｓ/フレームであり、該データは、何ら最適化も施されていない状態で得られたもので、本発明の検知及び識別速度がリアルタイム処理のニーズを完全に満たしていることは明らかである。
図１４は、本発明の実施例による方法を実現するシステムのブロック図であり、主に、手検知部１４１と、指示点位置決め部１４２と、手指ジェスチャ識別部１４３と、指令操作インタラクション部１４４の４つの部分に分けられる。手検知部１４１は、被制御領域の画像を連続取得して、前景物が含まれる画像列を取得する画像入力モジュール１４１１と、撮像した画像から前景画像を抽出するとともに、抽出した前景画像の２値化処理を行う前景画像抽出モジュール１４１２と、２値化前景画像の最小凸包の画素頂点集合を取得するとともに、前景物の最小凸包の各頂点を中心点に、手が含まれる候補領域となる関心領域を構築する関心領域構築モジュール１４１３と、各構築した関心領域から、手画像特徴を抽出し、パターン認識により、候補領域における手が含まれる関心領域を決定する手領域認識モジュール１４１４と、手領域出力モジュール１４１５と、を有する。指示点位置決め部１４２は、撮像された画像から手を含む領域を検知する手領域入力モジュール１４２１と、検知した手を含む領域と密接する疑似腕領域を取得するとともに、疑似腕領域の形状の楕円適合を行う腕領域楕円適合モジュール１４２２と、楕円適合の結果の有効性を判断する楕円適合結果判断モジュール１４２３と、手領域内の指示点の特性に応じて、手領域内の指示点の候補画素点集合を選択する候補指示点位置取得モジュール１４２４と、楕円適合の結果が有効であると、適合楕円の長軸に沿って手方向へ最も離れた手領域内の指示点の候補画素を、手領域内の指示点に決定する指示点位置決めモジュール１４２５と、指示点位置出力モジュール１４２６と、を有する。
手指ジェスチャ識別部１４３は、入力された画像から手を含む領域を検知して、指先位置を指示点として位置決める指示点位置入力モジュール１４３１と、位置決定した指先位置点を起点として、手のひらの輪郭線に沿って両側方向へ、次の疑似指先位置を検知する次指先検知モジュール１４３２と、位置決定した指示点から、検知した次の指先の位置点までの輪郭点を取得し、得られた輪郭点からなる曲線のうち変曲点の位置を検出する変曲点位置決めモジュール１４３３と、位置決定した指示点と、検知された次の指先の位置点と、検出された変曲点の位置点とからなる三角形の三辺の関係から、当該ジェスチャの開閉状態を識別する手指ジェスチャ判断モジュール１４３４と、手指ジェスチャ出力モジュール１４３５と、を有する。最後に、指令操作インタラクション部１４４は、検知した指示位置及び手指ジェスチャの結果に基づき、一定の規則によりコンピュータの操作指令に変換し、ヒューマンコンピュータインタラクションを実現している。
本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアに内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、MOや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に保存（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
前述の具体的な実施例によって、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、実施例の修正や代替が可能なことは言うまでもない。換言すると、本発明は説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。

Claims (7)

  1. 被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するステップと、
    撮像した前記画像から前景画像を抽出し、抽出した前記前景画像の２値化処理を行って、２値化前景画像を生成するステップと、
    前記２値化前景画像の最小凸包の画素頂点集合を取得し、該最小凸包の各画素頂点を中心点に、手が含まれる候補領域として関心領域を構築するステップと、
    構築した前記各関心領域から手画像特徴を抽出し、パターン認識方法により、前記候補領域における前記手が含まれる関心領域を決定するステップと、
    を含む、ヒューマンコンピュータインタラクションシステムに用いる手位置決め方法。
  2. 前記抽出した前景画像の２値化処理を行うステップは、
    前記前景画像のエッジ画像を算出し、前記前景画像の勾配画像を算出し、該エッジ画像及び該勾配画像に対してそれぞれ２値化処理を行うステップと、
    所定の閾値により前記前景画像の２値化処理を行って２値化結果を取得するステップと、
    前記３つの２値化処理の結果を論理和「OR」により処理し、新たな２値化画像を生成し、生成された前記２値化画像における閉領域を充填するステップと、
    を含む、請求項１に記載のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法。
  3. 前記関心領域は、矩形フレーム又は円形状の領域であり、前記関心領域の大きさは、操作者の手を覆う大きさである、請求項１又は２に記載のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法。
  4. 前記パターン認識方法は、BPニューラルネットワーク方法、SVM方法、又は、決定木方法である、請求項１乃至３の何れか一項に記載のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法。
  5. 前記手画像特徴は、前記関心領域内における、画素情報による面積、色、及びエッジ、又は、全体情報による形状、テクスチャー、及び勾配方向のヒストグラムを含み、また、前記関心領域外でありかつ前記関心領域と一対一の関係がある、手を操作者の身体の他の部位と区分可能な特徴又はその組み合わせを含む、請求項１乃至４の何れか一項に記載のヒューマンコンピュータインタラクションシステムに用いる手位置決め方法。
  6. 被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するモジュールと、
    撮像した前記画像から前景画像を抽出し、抽出した該前景画像の２値化処理を行って２値化前景画像を生成するモジュールと、
    前記２値化前景画像の最小凸包の頂点集合を取得し、該最小凸包の各頂点を中心点に、手が含まれる候補領域として関心領域を構築するモジュールと、
    構築した前記各関心領域から、手画像特徴を抽出し、パターン認識方法により、前記候補領域における手が含まれる関心領域を決定するモジュールと、
    を有する、ヒューマンコンピュータインタラクションシステム。
  7. ヒューマンコンピュータインタラクションシステムに用いる手位置決めプログラムであって、
    コンピュータに、
    被制御領域の画像を連続取得して、前景物が含まれる画像列を取得するステップと、
    撮像した前記画像から前景画像を抽出し、抽出した前記前景画像の２値化処理を行って、２値化前景画像を生成するステップと、
    前記２値化前景画像の最小凸包の画素頂点集合を取得し、該最小凸包の各画素頂点を中心点に、手が含まれる候補領域として関心領域を構築するステップと、
    構築した前記各関心領域から手画像特徴を抽出し、パターン認識方法により、前記候補領域における前記手が含まれる関心領域を決定するステップと、
    を実行させるためのプログラム。
JP2011198544A 2010-09-13 2011-09-12 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法 Active JP5887775B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010279511.3 2010-09-13
CN201010279511.3A CN102402680B (zh) 2010-09-13 2010-09-13 人机交互系统中手部、指示点定位方法和手势确定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015147129A Division JP6079832B2 (ja) 2010-09-13 2015-07-24 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法

Publications (2)

Publication Number Publication Date
JP2012059271A JP2012059271A (ja) 2012-03-22
JP5887775B2 true JP5887775B2 (ja) 2016-03-16

Family

ID=45806338

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011198544A Active JP5887775B2 (ja) 2010-09-13 2011-09-12 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
JP2015147129A Expired - Fee Related JP6079832B2 (ja) 2010-09-13 2015-07-24 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015147129A Expired - Fee Related JP6079832B2 (ja) 2010-09-13 2015-07-24 ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法

Country Status (3)

Country Link
US (1) US8970696B2 (ja)
JP (2) JP5887775B2 (ja)
CN (1) CN102402680B (ja)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013056431A1 (en) * 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
JP5593339B2 (ja) * 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
SE1200428A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US20140035924A1 (en) * 2012-08-01 2014-02-06 Apollo Group, Inc. Trend highlighting
US9208580B2 (en) * 2012-08-23 2015-12-08 Qualcomm Incorporated Hand detection, location, and/or tracking
CN102854983B (zh) * 2012-09-10 2015-12-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
US8933970B2 (en) * 2012-09-11 2015-01-13 Longsand Limited Controlling an augmented reality object
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
CN103810488B (zh) * 2012-11-09 2017-08-08 阿里巴巴集团控股有限公司 图像特征提取方法、图像搜索方法、服务器、终端及系统
US10126820B1 (en) * 2012-11-29 2018-11-13 Amazon Technologies, Inc. Open and closed hand detection
TWI471815B (zh) * 2012-12-07 2015-02-01 Chunghwa Picture Tubes Ltd 手勢辨識裝置及方法
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US20140208274A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Controlling a computing-based device using hand gestures
CN104766330B (zh) * 2013-01-28 2017-09-12 海信集团有限公司 一种图像处理方法及电子设备
CN103970262B (zh) * 2013-02-06 2018-01-16 原相科技股份有限公司 光学式指向系统
KR101258910B1 (ko) * 2013-02-07 2013-04-29 (주)유한프리젠 프리젠테이션 시스템에서 레이저 포인터를 이용한 영상 판서 방법
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
CN103197761B (zh) * 2013-03-28 2016-12-28 深圳泰山在线科技有限公司 手势识别方法及装置
CN103226388B (zh) * 2013-04-07 2016-05-04 华南理工大学 一种基于Kinect的手写方法
CN103208002B (zh) * 2013-04-10 2016-04-27 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和系统
JP6155786B2 (ja) * 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
US9563955B1 (en) 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
CN104217192B (zh) * 2013-06-03 2018-04-17 株式会社理光 基于深度图像的手定位方法和设备
CN103761011B (zh) * 2013-06-04 2016-09-07 深圳先进技术研究院 一种虚拟触摸屏的方法、系统及计算设备
KR101472455B1 (ko) * 2013-07-18 2014-12-16 전자부품연구원 손동작 기반 사용자 인터페이스장치 및 그 방법
CN104375626B (zh) * 2013-08-14 2017-10-17 华为技术有限公司 显示指示标识的处理方法、装置和系统
CN104423663B (zh) * 2013-08-29 2017-11-28 联想(北京)有限公司 一种输入识别方法和电子设备
US10846942B1 (en) * 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
CN103473549B (zh) * 2013-09-23 2017-04-19 北京智诺英特科技有限公司 图像目标检测方法和装置
CN103530613B (zh) * 2013-10-15 2017-02-01 易视腾科技股份有限公司 一种基于单目视频序列的目标人手势交互方法
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
JP6221656B2 (ja) * 2013-11-08 2017-11-01 株式会社リコー 情報処理装置、情報処理方法およびプログラム
TWI522871B (zh) * 2013-12-04 2016-02-21 原相科技股份有限公司 光學觸控系統之物件影像之處理方法
JP2015115682A (ja) * 2013-12-10 2015-06-22 セイコーエプソン株式会社 画像表示装置、プロジェクター、および画像表示装置の制御方法
CN104714701A (zh) * 2013-12-13 2015-06-17 原相科技股份有限公司 光学触控系统的物体图像的处理方法
KR20150072090A (ko) 2013-12-19 2015-06-29 삼성전자주식회사 관심 영역 검출 장치 및 그 방법
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9300893B2 (en) 2014-03-24 2016-03-29 Intel Corporation Image matching-based pointing techniques
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
CN104102347A (zh) * 2014-07-09 2014-10-15 东莞万士达液晶显示器有限公司 指尖定位方法及指尖定位终端
CN104299004B (zh) * 2014-10-23 2018-05-01 浙江大学 一种基于多特征融合和指尖检测的手势识别方法
TWI603270B (zh) * 2014-12-11 2017-10-21 由田新技股份有限公司 偵測人員使用手持裝置的方法及裝置
CN105787419A (zh) * 2014-12-23 2016-07-20 阿里巴巴集团控股有限公司 手掌图像的手掌检测方法及系统
CN105989365A (zh) * 2015-01-30 2016-10-05 深圳市思路飞扬信息技术有限责任公司 助视装置、助视系统及助视方法
CN104899591B (zh) * 2015-06-17 2018-01-05 吉林纪元时空动漫游戏科技集团股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN104968121B (zh) * 2015-07-15 2018-02-16 深圳市通普科技有限公司 一种自动学习的灯光控制方法和装置
CN105184216B (zh) * 2015-07-24 2019-01-11 山东大学 一种心二区掌纹的数字提取方法
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
CN105068662B (zh) * 2015-09-07 2018-03-06 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
JP6390799B2 (ja) * 2015-09-28 2018-09-19 日本電気株式会社 入力装置、入力方法、及びプログラム
CN105426817B (zh) * 2015-10-30 2019-08-20 上海集成电路研发中心有限公司 基于红外成像的手势位置识别装置及识别方法
JP6728865B2 (ja) * 2016-03-25 2020-07-22 富士ゼロックス株式会社 手上げ検出装置及び手上げ検出プログラム
CN107357414B (zh) * 2016-05-09 2020-01-14 株式会社理光 一种点击动作的识别方法及点击动作识别装置
CN106095201B (zh) * 2016-05-30 2018-10-09 安徽慧视金瞳科技有限公司 一种投影交互系统的双击检测方法
CN106326860A (zh) * 2016-08-23 2017-01-11 武汉闪图科技有限公司 基于视觉的手势识别方法
CN107801098B (zh) * 2016-08-31 2021-10-29 中兴通讯股份有限公司 机顶盒的指令执行方法和装置
CN106502380A (zh) * 2016-09-18 2017-03-15 乐视控股（北京）有限公司 一种判断目标跟踪效果的方法和装置
CN107886387A (zh) * 2016-09-30 2018-04-06 阿里巴巴集团控股有限公司 采用增强现实技术提供手掌装饰虚拟图像的实现方法及其装置
CN108089693A (zh) * 2016-11-22 2018-05-29 比亚迪股份有限公司 手势识别方法及装置、智能穿戴终端及服务器
CN106599812A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种用于智能家居系统的3d动态手势识别方法
CN108230328B (zh) 2016-12-22 2021-10-22 新沂阿凡达智能科技有限公司 获取目标对象的方法、装置和机器人
CN109643372A (zh) * 2017-02-28 2019-04-16 深圳市大疆创新科技有限公司 一种识别方法、设备以及可移动平台
CN109202886A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 基于固定背景下的手势识别方法及系统
CN107743219B (zh) * 2017-09-27 2019-04-12 歌尔科技有限公司 用户手指位置信息的确定方法及装置、投影仪、投影系统
CN107817898B (zh) * 2017-10-31 2022-07-22 努比亚技术有限公司 操作模式识别方法、终端及存储介质
CN107813310B (zh) * 2017-11-22 2020-10-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108229324B (zh) * 2017-11-30 2021-01-26 北京市商汤科技开发有限公司 手势追踪方法和装置、电子设备、计算机存储介质
KR102421856B1 (ko) 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
JP6765545B2 (ja) 2017-12-22 2020-10-07 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 動的ジェスチャ認識方法および装置、ジェスチャ対話制御方法および装置
EP3731073A4 (en) * 2017-12-22 2021-02-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN109960980B (zh) * 2017-12-22 2022-03-15 北京市商汤科技开发有限公司 动态手势识别方法及装置
CN108108709B (zh) * 2017-12-29 2020-10-16 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备
CN108509837A (zh) * 2018-01-29 2018-09-07 上海数迹智能科技有限公司 一种基于深度图像的具有旋转不变性的指尖识别方法
CN108595005A (zh) * 2018-04-20 2018-09-28 深圳市天轨年华文化科技有限公司 基于增强现实的交互方法、装置及计算机可读存储介质
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
TWI710973B (zh) * 2018-08-10 2020-11-21 緯創資通股份有限公司 手勢識別方法、手勢識別模組及手勢識別系統
CN109190516A (zh) * 2018-08-14 2019-01-11 东北大学 一种基于手掌边缘轮廓矢量化的静态手势识别方法
CN110874179B (zh) * 2018-09-03 2021-09-14 京东方科技集团股份有限公司 指尖检测方法、指尖检测装置、指尖检测设备及介质
CN111104821A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 图像生成方法和装置
KR102203933B1 (ko) * 2018-11-26 2021-01-15 재단법인 실감교류인체감응솔루션연구단 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11036995B2 (en) 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
CN111526422B (zh) * 2019-02-01 2021-08-27 网宿科技股份有限公司 一种视频帧中目标对象的拟合方法、系统及设备
CN109947247B (zh) * 2019-03-14 2022-07-05 海南师范大学 一种体感交互展示系统及方法
US11106949B2 (en) * 2019-03-22 2021-08-31 Microsoft Technology Licensing, Llc Action classification based on manipulated object movement
CN110046603B (zh) * 2019-04-25 2020-11-27 合肥工业大学 一种中国普乐手语编码的手势动作识别方法
JP7198416B2 (ja) 2019-05-29 2023-01-04 トヨタ紡織株式会社 乗物用調光システム
CN110308817B (zh) * 2019-06-10 2023-04-07 青岛小鸟看看科技有限公司 一种触控动作识别方法及触控投影系统
WO2020252008A1 (en) * 2019-06-11 2020-12-17 Synaptics Incorporated Fingertip tracking for touchless input device
CN110298314A (zh) * 2019-06-28 2019-10-01 海尔优家智能科技（北京）有限公司 手势区域的识别方法及装置
CN110837326B (zh) * 2019-10-24 2021-08-10 浙江大学 一种基于物体属性递进式表达的三维目标选择方法
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
EP4111291A4 (en) * 2020-02-26 2023-08-16 Magic Leap, Inc. HAND GESTURE INPUT FOR A PORTABLE SYSTEM
JP2021193499A (ja) 2020-06-08 2021-12-23 セイコーエプソン株式会社 位置検出システム、位置検出装置、プロジェクター及び位置検出方法
KR102431386B1 (ko) * 2020-09-15 2022-08-09 광운대학교 산학협력단 손 제스처 인식에 기초한 인터랙션 홀로그램 디스플레이 방법 및 시스템
CN112114732B (zh) * 2020-09-18 2022-03-25 歌尔科技有限公司 屏幕内容的放大方法、设备及计算机可读存储介质
CN115100747B (zh) * 2022-08-26 2022-11-08 山东宝德龙健身器材有限公司 基于视觉检测的跑步机智能辅助系统
CN115761602B (zh) * 2023-01-07 2023-04-18 深圳市蓝鲸智联科技有限公司 用于车窗控制系统的视频智能识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
DE10039432C1 (de) * 2000-08-11 2001-12-06 Siemens Ag Bedieneinrichtung
NO311740B1 (no) 2000-09-11 2002-01-14 Tormod Njoelstad Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US6654001B1 (en) * 2002-09-05 2003-11-25 Kye Systems Corp. Hand-movement-sensing input device
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법
CN101694694B (zh) * 2009-10-22 2011-09-28 上海交通大学 用于交互式演示系统中的手指识别方法

Also Published As

Publication number Publication date
CN102402680A (zh) 2012-04-04
US20120062736A1 (en) 2012-03-15
JP2015222591A (ja) 2015-12-10
JP2012059271A (ja) 2012-03-22
US8970696B2 (en) 2015-03-03
CN102402680B (zh) 2014-07-30
JP6079832B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
Zhou et al. A novel finger and hand pose estimation technique for real-time hand gesture recognition
Mukherjee et al. Fingertip detection and tracking for recognition of air-writing in videos
Plouffe et al. Static and dynamic hand gesture recognition in depth data using dynamic time warping
Gurav et al. Real time finger tracking and contour detection for gesture recognition using OpenCV
Hasan et al. RETRACTED ARTICLE: Static hand gesture recognition using neural networks
US8768006B2 (en) Hand gesture recognition
Prisacariu et al. 3D hand tracking for human computer interaction
Wen et al. A robust method of detecting hand gestures using depth sensors
Feng et al. Features extraction from hand images based on new detection operators
US10108270B2 (en) Real-time 3D gesture recognition and tracking system for mobile devices
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
Krejov et al. Multi-touchless: Real-time fingertip detection and tracking using geodesic maxima
CN106200971A (zh) 基于手势识别的人机交互系统装置及操作方法
She et al. A real-time hand gesture recognition approach based on motion features of feature points
Antoshchuk et al. Gesture recognition-based human–computer interaction interface for multimedia applications
CN105335711A (zh) 一种复杂环境下指尖检测方法
Vivek Veeriah et al. Robust hand gesture recognition algorithm for simple mouse control
Yousefi et al. 3D gesture-based interaction for immersive experience in mobile VR
Elakkiya et al. Intelligent system for human computer interface using hand gesture recognition
Vidhate et al. Virtual paint application by hand gesture recognition system
Simion et al. Finger detection based on hand contour and colour information
Vančo et al. Gesture identification for system navigation in 3D scene
Thakur Robust hand gesture recognition for human machine interaction system
Grzejszczak et al. Tracking of dynamic gesture fingertips position in video sequence

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160201

R151 Written notification of patent or utility model registration

Ref document number: 5887775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151