JP6400110B2 - カーソル制御装置及びカーソル制御方法 - Google Patents

カーソル制御装置及びカーソル制御方法 Download PDF

Info

Publication number
JP6400110B2
JP6400110B2 JP2016551393A JP2016551393A JP6400110B2 JP 6400110 B2 JP6400110 B2 JP 6400110B2 JP 2016551393 A JP2016551393 A JP 2016551393A JP 2016551393 A JP2016551393 A JP 2016551393A JP 6400110 B2 JP6400110 B2 JP 6400110B2
Authority
JP
Japan
Prior art keywords
feature point
operator
angle
point
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016551393A
Other languages
English (en)
Other versions
JPWO2016051520A1 (ja
Inventor
弘記 向山
弘記 向山
将則 増井
将則 増井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Engineering Co Ltd
Original Assignee
Mitsubishi Electric Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Engineering Co Ltd filed Critical Mitsubishi Electric Engineering Co Ltd
Publication of JPWO2016051520A1 publication Critical patent/JPWO2016051520A1/ja
Application granted granted Critical
Publication of JP6400110B2 publication Critical patent/JP6400110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置及びカーソル制御方法に関するものである。
従来から、モニタ(例えば展示会向けの大型ディスプレイ)に表示された画面に対し、操作者がジェスチャを行うことで、当該画面上のカーソルを動かして操作を行うシステムが知られている(例えば特許文献1参照)。
このシステムでは、例えばモーションセンサ(特徴点検出センサ)を用い、ある決められた3次元空間において、操作者の特徴点(例えば手)の位置(空間座標値)を検出している。そして、この手の空間座標値を、モニタに表示された画面上の2次元座標(モニタ座標)に対応させることで、カーソルの位置を設定している。具体的には、例えば図8に示すように、x座標については、空間座標の最小値xをモニタ座標の最小値xminに対応させ、空間座標の最大値xをモニタ座標の最大値xmaxに対応させる。また、y座標についても同様に、空間座標の最小値yをモニタ座標の最小値yminに対応させ、空間座標の最大値yをモニタ座標の最大値ymaxに対応させる。このようにしてカーソルの位置を設定することで、操作者が手を動かすことにより、モニタに表示された画面上のカーソルを動かすことができる。
特開2013−143148号公報
上述したように、従来技術では、操作者の手の空間座標値をモニタ座標に対応させている。よって、操作者の手の水平方向、垂直方向における移動量に応じて、画面上のカーソルが移動することになる。しかしながら、この場合には、操作者の体格によって操作負担が異なるという課題があった。すなわち、体格の小さい操作者の場合には、体格の大きい操作者に対して、より大きなジェスチャが必要となり、身体的負担が大きくなる。
この発明は、上記のような課題を解決するためになされたもので、操作者の体格差に依存することなく、カーソルの位置を制御することができるカーソル制御装置及びカーソル制御方法を提供することを目的としている。
この発明に係るカーソル制御装置は、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部と、操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部と、特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、角度算出部により算出された角度を、カーソルの位置に変換する変換部とを備えたものである。
この発明に係るカーソル制御方法は、操作者検出部が、特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出ステップと、特徴点抽出部が、操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出ステップと、角度算出部が、特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出ステップと、変換部が、角度算出部により算出された角度を、カーソルの位置に変換する変換ステップとを有するものである。
この発明によれば、上記のように構成したので、操作者の体格差に依存することなく、カーソルの位置を制御することができる。
この発明の実施の形態1に係るカーソル制御装置を含むシステム全体の構成を示す図である。 この発明の実施の形態1に係るカーソル制御装置の動作を示すフローチャートである。 この発明の実施の形態1に係るカーソル制御装置の動作を説明する図であり、(a)水平方向の角度θ=0の場合を示す図であり、(b)垂直方向の角度θ=0の場合を示す図であり、(c)(a),(b)の場合における画面上のカーソル位置を示す図である。 この発明の実施の形態1に係るカーソル制御装置の動作を説明する図であり、(a)水平方向の角度θ=θx1の場合を示す図であり、(b)垂直方向の角度θ=0の場合を示す図であり、(c)(a),(b)の場合における画面上のカーソル位置を示す図である。 この発明の実施の形態1に係るカーソル制御装置の動作を説明する図であり、(a)水平方向の角度θ=θx1の場合を示す図であり、(b)垂直方向の角度θ=−θy1の場合を示す図であり、(c)(a),(b)の場合における画面上のカーソル位置を示す図である。 この発明の実施の形態1に係るカーソル制御装置の効果を説明する図である。 この発明の実施の形態1に係るカーソル制御装置における座標オフセットを説明する図である。 従来のカーソル制御を説明する図であり、(a)空間座標を示す図であり、(b)モニタ座標を示す図である。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係るカーソル制御装置3を含むシステム全体の構成を示す図である。
図1に示すシステムでは、モニタ1、モーションセンサ(特徴点検出センサ)2及びカーソル制御装置3が設けられている。
モニタ1は、各種コンテンツ(画面)を表示するものである。
モーションセンサ2は、所定のサンプリング間隔で、3次元空間内における人の特徴点の位置(空間座標値)を検出するものであり、モニタ1に表示された画面を操作する操作者を検出することができる場所に設置される。このモーションセンサ2は、予め決められた空間内を撮像してカラー画像を取得するカメラと、上記空間内に存在する物体の深度を検出する深度センサとを有している。また、人のシルエットに対して各特徴点(頭部、肩、手、腰、足等)の位置を示すモデルを保持するデータベースも有している。そして、モーションセンサ2では、カメラにより撮像されたカラー画像と深度センサによる検出結果から上記空間内に存在する物体のシルエットを抽出する。そして、このシルエットをデータベースに保持されたモデルとマッチングさせることで、人を検出し、当該人の特徴点の位置を検出する。
カーソル制御装置3は、モーションセンサ2により検出された3次元空間内における人の特徴点の位置を用いて、モニタ1に表示された画面上のカーソルの位置を制御するものである。このカーソル制御装置3は、図1に示すように、操作者検出部31、特徴点抽出部32、角度算出部33及び変換部34を有している。なお、カーソル制御装置3は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
操作者検出部31は、モーションセンサ2による検出結果から操作者の特徴点の位置を検出するものである。なお、操作者検出部31は、検出した操作者の特徴点の位置を逐一記憶する機能を有している。
また、例えば展示会で本システムを用いる場合には、モーションセンサ2が検出を行う空間内には多くの人が存在することが想定される。そこで、操作者検出部31は、操作者と認識した人のみを追従する機能を有している。
この機能では、上記空間内の所定位置(例えば真ん中)に来た人を操作者と認識して追従する。具体的には、まず、操作者を検出する範囲を上記空間の一部の範囲(例えば真ん中)に限定する。そして、この検出範囲内に入った人を操作者として認識する。その後、検出範囲を上記空間全体に広げ、当該操作者の動きを追従し続ける。以後、他の人が検出範囲内に入ったとしても、操作者が検出範囲内にいる限りは、操作権を譲渡しない。その後、操作者が検出範囲の外に出た場合には、操作権を放棄したものとみなす。そして、再び検出範囲を狭め、新たな操作者の認識を待つ。
また、上記検出範囲内で他の人に操作権を譲渡する機能を付加してもよい。この場合、操作者を認識後に他の人が検出範囲に入り、双方が予め決められたジェスチャ(握手、手を振る等)を行う。これにより、操作権の譲渡を認める。
特徴点抽出部32は、操作者検出部31により検出された操作者の特徴点のうち、動作点となる特徴点(画面上のカーソルに対応する特徴点)の位置と、基点となる特徴点(動作点に対して軸となる特徴点)の位置とを抽出するものである。
角度算出部33は、特徴点抽出部32により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出するものである。なお、基準軸は、動作点及び基点とは独立に設定してもよいし、関連させてもよい。
変換部34は、角度算出部33により算出された角度を、カーソルの位置に変換するものである。
次に、上記のように構成されたカーソル制御装置3の動作について、図2〜5を参照しながら説明する。なお以下では、操作者がモーションセンサ2の前で手を動かすことで、モニタ1に表示された画面上のカーソルを移動させる場合を例に説明を行う。また、モーションセンサ2は、所定のサンプリング間隔で、3次元空間内における人の特徴点の位置を検出している。
カーソル制御装置3の動作では、図2に示すように、まず、操作者検出部31は、モーションセンサ2による検出結果から操作者の特徴点の位置を検出する(ステップST1、操作者検出ステップ)。
次いで、特徴点抽出部32は、操作者検出部31により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する(ステップST2、特徴点抽出ステップ)。図3〜5では、動作点は操作者の手であり、基点は操作者の頭部としている。
次いで、角度算出部33は、特徴点抽出部32により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する(ステップST3〜5、角度算出ステップ)。例えば図3〜5では、操作者の頭部とモーションセンサ2のセンサ位置とを結ぶ線(Z軸)を基準軸としている。そして、角度算出部33は、手と頭部の位置を結ぶ線分と基準軸とのなす水平方向(XZ成分)の角度θ及び垂直方向(YZ成分)の角度θを算出する。
次いで、変換部34は、角度算出部33により算出された角度を、カーソルの位置に変換する(ステップST6、変換ステップ)。この際、図3〜5に示すように、変換部34は、例えば水平方向の角度θ=0の場合をモニタ座標の中心値xに対応させ、予め決められた正方向(図の右側)の最大角度θ=θx1をモニタ座標の最大値xmaxに対応させ、予め決められた負方向(図の左側)の最大角度θ=−θx1をモニタ座標の最小値xminに対応させる。同様に、例えば、垂直方向の角度θ=0の場合をモニタ座標の中心値yに対応させ、予め決められた負方向(図の下側)の最大角度θ=−θy1をモニタ座標の最大値ymaxに対応させ、予め決められた正方向(図の上側)の最大角度θ=θy2をモニタ座標の最小値yminに対応させる。なお、最大角度以上に手を動かした場合にはモニタ座標の極値(最大値、最小値)に対応させる。なお図3は、手と頭部とを結ぶ線分と基準軸とのなす角度がθ=0,θ=0の場合でのカーソル101の位置を示している。また図4は、上記角度がθ=θx1,θ=0の場合でのカーソル101の位置を示している。また図5は、上記角度がθ=θx1,θ=−θy1の場合でのカーソル101の位置を示している。
次に、本発明の効果について、図6を用いて従来技術の場合と比較しながら説明する。以下では、操作者が手を水平方向に動かして、モニタ1に表示された画面上のカーソルを横に移動させる場合を例に説明を行う。
まず、従来技術の場合には、モーションセンサ2により検出された手の空間座標値をモニタ座標に変換している。
この手法では、図6に示すように、腕の長さがL1の場合には、ある角度θだけ手を動かすと、手の水平方向の移動距離はX1となり、次式(1)よりカーソルの移動量はM1となる。なお、αは係数である。
M1=αX1 (1)
一方、腕の長さがL2(>L1)の場合には、ある角度θだけ手を動かすと、手の水平方向の移動距離はX2(>X1)となり、次式(2)よりカーソルの移動量はM2(>M1)となる。
M2=αX2 (2)
したがって、操作者の体格によってカーソルの移動量が変わり、操作負担が変わることになる。
これに対し、本発明の場合には、モーションセンサ2により検出された動作点(手)と基点(頭部)とを結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を、モニタ座標に変換している。
この手法では、図6に示すように、手を動かす角度θによってカーソルの移動量M3が決まるため、腕の長さがL1であってもL2であってもカーソルの移動量M3は変化せず、操作負担は変わらない。なお、この場合でのカーソルの移動量M3は次式(3)となる。ここで、Dは手を動かす最大角度であり、Pは画面上の最大距離のピクセル数である。
M3=(θ/D)×P (3)
以上のように、この実施の形態1によれば、モーションセンサ2による検出結果から操作者の特徴点の位置を検出する操作者検出部31と、操作者検出部31により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部32と、特徴点抽出部32により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部33と、角度算出部33により算出された角度を、カーソルの位置に変換する変換部34とを備えたので、操作者の体格差に依存することなく画面上のカーソル位置を制御することができ、どんな操作者でも同じ操作体験を得ることができる。
なお上記では、動作点を操作者の手とした場合について示したが、これに限るものではなく、操作者の他の特徴点(指先等)であってもよい。また上記では、基点を操作者の頭部とした場合について示したが、これに限るものではなく、動作点に対して軸となる点であればよく、操作者の他の特徴点(肩、肘、首の付け根、腕の付け根等)であってもよい。
また、例えば、モーションセンサ2により操作者の手(動作点)と肩(基点)の位置を検出する場合、手の位置によっては肩が手で隠れてしまい、肩の位置を検出できない場合がある。そこで、このような場合に、特徴点抽出部32が、肩が手に重なったと判断して当該肩の位置を推定するようにしてもよい。この際の推定方法としては、例えば、肩が手に重なる直前の肩の位置から推定する方法や、肩が手に重なる前後の肩の位置からその中心位置とする方法、手と重ならない操作者の他の特徴点(例えば頭部等)の位置からデータベースに保持されたモデルに従い肩の位置を推定する方法等が考えられる。
また、特徴点抽出部32は、操作者検出部31により操作者が認識された際に、その操作者の各特徴点(頭部、手、肘、肩、腰等)の位置関係から、隣接する特徴点を結ぶ線分の長さを記憶する。その後、各特徴点の動きを処理毎(1フレーム毎)に記憶する。そして、いずれかの特徴点が認識できない場合に、直前の数フレームでの各特徴点の位置を示す変化と、初めに記憶した各特徴点を結ぶ線分の長さから、その特徴点の位置を推定するようにしてもよい。
また上記では、特徴点抽出部32が1つの基点の位置を抽出する場合を示した。しかしながら、これに限るものではなく、複数の基点の位置を抽出するようにしてもよい。複数の基点の位置を抽出することで、操作者の障害や癖、操作疲れ等を考慮してカーソル制御を行うことができる。
例えば、手を前方に動かす場合、肩を軸にして手を動かす人の他に、肘を軸にして手を動かす人もいる。そのため、手と肩の位置のみを抽出する場合、肘を軸にして手を動かす人については、操作者が意図する角度変化より検出結果が小さくなる場合がある。そこで、特徴点抽出部32が複数の基点の位置を抽出し、変換部34が、角度算出部33により算出された複数組の角度のうち、角度変化の大きい角度を用いるように構成してもよい。
また、ジェスチャによるカーソル制御では、操作者の手を静止させることが難しいため、カーソルを静止させることは難しい。そこで、カーソル制御装置3にフィルタ部を追加し、角度算出部33により算出された今回の角度が、前の角度(1〜数フレーム前の角度等)に対して閾値内である場合に、当該今回の角度を当該前の角度に置き換えるようにしてもよい。これにより、手のブレ等の閾値内の動作については、ノイズであるとして除外し、カーソルを静止させることができる。
また上記では、特徴点検出センサとしてモーションセンサ2を用いた場合について示した。しかしながら、これに限るものではなく、3次元空間における人の特徴点の位置を検出することができるセンサであればよい。
また、角度算出部33による処理において、特徴点、基準軸の位置をオフセットさせてもよい。これにより、例えば、操作者の障害や癖、操作疲れ等を考慮することができ、操作性が向上する。図7の例では、何らかの要因により手を大きく上側に動かせない操作者のため、基点(頭部)及び基準軸の位置を下方向にオフセットした場合を示している。符号102がオフセット後の仮想の頭部の位置を示し、破線の軸がオフセット後の仮想の基準軸の位置を示している。なお、このオフセット設定は、画面操作を開始する前に設定してもよいし、画面操作中に変更するようにしてもよい。
また上記では、展示会向けの大型ディスプレイ(モニタ1)の画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムを想定して説明を行った。しかしながら、これに限るものではなく、モニタ1に表示される画面に対し、操作者がジェスチャを行うことで、画面上のカーソルを動かして操作を行うシステムであれば、本発明を適用可能であり、同様の効果を得ることができる。
例えば、工場で作業員が作業手袋をはめたままパソコン上の作業手順書を確認する場合、キーボードに触れることができないため、ジェスチャにより操作する方法が考えられる。このような場合にも本発明を適用でき、例えば動作点を指先とし、基点を掌とすることで、同様の効果を得ることができる。
また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
この発明に係るカーソル制御装置は、操作者の体格差に依存しない操作性を実現することができ、特徴点検出センサにより検出された3次元空間における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置等に用いるのに適している。
1 モニタ、2 モーションセンサ(特徴点検出センサ)、3 カーソル制御装置、31 操作者検出部、32 特徴点抽出部、33 角度算出部、34 変換部。

Claims (5)

  1. 特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御装置において、
    前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出部と、
    前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出部と、
    前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出部と、
    前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換部とを備えた
    ことを特徴とするカーソル制御装置。
  2. 前記角度算出部により算出された今回の角度が、前の角度に対して閾値内である場合に、当該今回の角度を当該前の角度に置き換えるフィルタ部を備えた
    ことを特徴とする請求項1記載のカーソル制御装置。
  3. 前記特徴点抽出部は、前記基点の位置が抽出できなくなった場合に、当該基点が前記動作点に重なったと判断して当該基点の位置を推定する
    ことを特徴とする請求項1記載のカーソル制御装置。
  4. 前記特徴点抽出部は、基点となる特徴点の位置を複数抽出し、
    前記変換部は、前記角度算出部により算出された複数組の角度のうち、角度変化の大きい角度を用いる
    ことを特徴とする請求項1記載のカーソル制御装置。
  5. 特徴点検出センサにより検出された3次元空間内における人の特徴点の位置を用いて、モニタに表示された画面上のカーソルの位置を制御するカーソル制御方法において、
    操作者検出部が、前記特徴点検出センサによる検出結果から操作者の特徴点の位置を検出する操作者検出ステップと、
    特徴点抽出部が、前記操作者検出部により検出された操作者の特徴点のうち、動作点及び基点となる特徴点の位置を抽出する特徴点抽出ステップと、
    角度算出部が、前記特徴点抽出部により抽出された動作点及び基点の位置を結ぶ線分と、基準軸とのなす水平方向及び垂直方向の角度を算出する角度算出ステップと、
    変換部が、前記角度算出部により算出された角度を、前記カーソルの位置に変換する変換ステップとを有する
    ことを特徴とするカーソル制御方法。
JP2016551393A 2014-09-30 2014-09-30 カーソル制御装置及びカーソル制御方法 Active JP6400110B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076128 WO2016051520A1 (ja) 2014-09-30 2014-09-30 カーソル制御装置及びカーソル制御方法

Publications (2)

Publication Number Publication Date
JPWO2016051520A1 JPWO2016051520A1 (ja) 2017-04-27
JP6400110B2 true JP6400110B2 (ja) 2018-10-03

Family

ID=55629612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016551393A Active JP6400110B2 (ja) 2014-09-30 2014-09-30 カーソル制御装置及びカーソル制御方法

Country Status (2)

Country Link
JP (1) JP6400110B2 (ja)
WO (1) WO2016051520A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108309A (ja) * 2001-09-28 2003-04-11 Fuji Photo Optical Co Ltd プレゼンテーションシステム
JP4575829B2 (ja) * 2005-03-30 2010-11-04 財団法人エヌエイチケイエンジニアリングサービス 表示画面上位置解析装置及び表示画面上位置解析プログラム
JP2008065522A (ja) * 2006-09-06 2008-03-21 Seiko Epson Corp 情報表示システム、及び、ポインティング制御方法
JP2013125985A (ja) * 2011-12-13 2013-06-24 Sharp Corp 表示システム

Also Published As

Publication number Publication date
WO2016051520A1 (ja) 2016-04-07
JPWO2016051520A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
TWI489317B (zh) 電子裝置的操作方法及系統
CN105223957B (zh) 一种手势操控无人机的方法和装置
JP5183398B2 (ja) 入力装置
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
US20140139429A1 (en) System and method for computer vision based hand gesture identification
US20150262002A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
JP5175755B2 (ja) ジェスチャ認識装置、その方法及びそのプログラム
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
TWI496094B (zh) 手勢辨識模組及手勢辨識方法
TWI403922B (zh) 徒手人機介面操作系統及其方法
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US10372223B2 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
US20180129875A1 (en) Gesture identification with natural images
JP2014165660A (ja) バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム
JP2017084335A (ja) ユーザーインターフェースのリアルタイムインタラクティブ操作のためのシステム及び方法
JP2016224686A5 (ja)
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
JP6452369B2 (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
JP6400110B2 (ja) カーソル制御装置及びカーソル制御方法
JP2017041079A (ja) 動作認識装置
JP6289655B2 (ja) 画面操作装置及び画面操作方法
KR101360322B1 (ko) 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법
CN102411426A (zh) 电子装置的操作方法
JP2013109538A (ja) 入力方法及び入力装置
JP6514889B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180904

R150 Certificate of patent or registration of utility model

Ref document number: 6400110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250