JP7406817B2 - 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 - Google Patents

客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 Download PDF

Info

Publication number
JP7406817B2
JP7406817B2 JP2021122615A JP2021122615A JP7406817B2 JP 7406817 B2 JP7406817 B2 JP 7406817B2 JP 2021122615 A JP2021122615 A JP 2021122615A JP 2021122615 A JP2021122615 A JP 2021122615A JP 7406817 B2 JP7406817 B2 JP 7406817B2
Authority
JP
Japan
Prior art keywords
coordinates
vector
motion
control means
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021122615A
Other languages
English (en)
Other versions
JP2022032985A (ja
Inventor
ジュン キム，ソク
Original Assignee
ブイタッチ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210005570A external-priority patent/KR102448108B1/ko
Application filed by ブイタッチ・カンパニー・リミテッド filed Critical ブイタッチ・カンパニー・リミテッド
Publication of JP2022032985A publication Critical patent/JP2022032985A/ja
Application granted granted Critical
Publication of JP7406817B2 publication Critical patent/JP7406817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0426—Programming the control sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands

Description

本発明は客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。
ディスプレイのタッチ過程、ボタンを押す過程およびスイッチをオンオフする過程で不可避な接触が発生することになるが、ウイルス（例えば、ＣＯＶＩＤ－１９）などに感染した感染者の飛沫がついているところに手を接触した人が、その手で自身の粘膜を触ることになると、接触感染が起きることになる。特に、不特定多数が共に接触する公共場所のタッチディスプレイ、ボタン、スイッチなどの場合に接触する人が多いだけその危険性も大きくなることになる。
近来に入って、このような問題を解決するために非接触式で客体を制御するための多様な方式が紹介されている。
これに関する従来技術の一例として、韓国公開特許公報第２０１６－９７４１０号に開示された技術が挙げられるが、これによると、使用者から入力事項を提供されるための入力インターフェースにおいて、表示部、一つ以上の感知装置を有し、前記感知装置を通じて使用者の非接触の手の動作を感知する感知部、前記感知部から感知された非接触感知信号を分析して非接触動作認識情報を生成する動作認識部、および前記生成された非接触動作認識情報により制御された画面を前記表示部にディスプレイする制御部を含んで構成される、動作認識を通じての非接触式入力インターフェースが紹介されたことがある。
しかし、前記のような従来技術をはじめとしてこれまで紹介された技術によると、制御手段（例えば、手、手先）の位置が変動する場合に、制御手段に基づいて制御対象領域上での制御位置（例えば、カーソル、ポインタ）を特定するのに利用された指示ベクターで制御対象領域上での変動する制御位置を特定している。このような方式の場合、使用者と制御対象領域の間の位置関係によって制御対象領域での制御位置が使用者の意図よりさらに多くまたはさらに少なく変動せざるを得ないため、使用者による直観的な制御が難しい問題があった。
これに対して本発明者（ら）は、制御手段の位置が変動する場合に、指示ベクターを基盤として制御対象領域での変動する制御位置を特定するためのベクターを特定し、これに基づいて制御対象領域での変動する制御位置を特定することによって、使用者による直観的な制御がなされ得るようにする新規かつ進歩した技術を提案するところである。
本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。
また、本発明は、使用者が制御対象領域での制御位置を直観的かつ精巧に制御できるように支援することをその目的とする。
また、本発明は、使用者の意図に符合する制御位置を特定するための指示ベクターが動的に決定されるようにすることをさらに他の目的とする。
前記目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によると、客体制御を支援するための方法であって、制御手段の移動に関するトリガーイベントの発生の有無および前記制御手段のモーション座標と制御対象領域の間の距離のうち少なくとも一つを参照して指示ベクターを決定する段階、および前記制御手段の位置が変動すると、前記位置が変動する前の前記指示ベクターの延長線に基づいて特定される仮想の基準地点と前記位置が変動した後の前記制御手段のモーション座標を連結するベクターを参照して前記制御対象領域での制御位置を決定する段階を含む方法が提供される。
本発明の他の態様によると、客体制御を支援するための方法であって、制御手段の移動に関するトリガーイベントの発生の有無および前記制御手段のモーション座標と制御対象領域の間の距離のうち少なくとも一つを参照して指示ベクターを決定する段階、および前記制御手段の位置が変動すると、前記位置が変動する前の前記制御手段のモーション座標を参照して特定される第１ガイドベクターと前記位置が変動した後の前記制御手段のモーション座標を参照して特定される第２ガイドベクターの間の関係に基づいて補正された前記指示ベクターを参照して前記制御対象領域での制御位置を決定する段階を含む方法が提供される。
本発明のさらに他の態様によると、客体制御を支援するためのシステムであって、制御手段の移動に関するトリガーイベントの発生の有無および前記制御手段のモーション座標と制御対象領域の間の距離のうち少なくとも一つを参照して指示ベクターを決定する指示ベクター決定部、および前記制御手段の位置が変動すると、前記位置が変動する前の前記指示ベクターの延長線に基づいて特定される仮想の基準地点と前記位置が変動した後の前記制御手段のモーション座標を連結するベクターを参照して前記制御対象領域での制御位置を決定する制御位置管理部を含むシステムが提供される。
本発明のさらに他の態様によると、客体制御を支援するためのシステムであって、制御手段の移動に関するトリガーイベントの発生の有無および前記制御手段のモーション座標と制御対象領域の間の距離のうち少なくとも一つを参照して指示ベクターを決定する指示ベクター決定部、および前記制御手段の位置が変動すると、前記位置が変動する前の前記制御手段のモーション座標を参照して特定される第１ガイドベクターと前記位置が変動した後の前記制御手段のモーション座標を参照して特定される第２ガイドベクターの間の関係に基づいて補正された前記指示ベクターを参照して前記制御対象領域での制御位置を決定する制御位置管理部を含むシステムが提供される。
この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を遂行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
本発明によると、使用者が制御対象領域での制御位置を直観的かつ精巧に制御することができる。
また、本発明によると、使用者の意図に符合する制御位置を特定するための指示ベクターが動的に決定され得る。
本発明の一実施例に係る客体制御支援システムの内部構成を詳細に図示する図面である。 本発明の一実施例により制御手段のモーション座標と制御対象領域の間の距離によって指示ベクターが動的に決定される過程を例示的に示す図面である。 本発明の一実施例により制御対象領域で制御位置が変動する過程を例示的に示す図面である。 本発明の一実施例により制御対象領域で制御位置が変動する過程を例示的に示す図面である。 本発明の一実施例により制御対象領域で制御位置が変動する過程を例示的に示す図面である。 本発明の一実施例により制御対象領域で制御位置が変動する過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例によりモーションベクターが決定される過程を例示的に示す図面である。 本発明の一実施例により指示ベクターによって制御対象領域で制御位置が特定される過程を例示的に示す図面である。 本発明の一実施例により指示ベクターによって制御対象領域で制御位置が特定される過程を例示的に示す図面である。 本発明の一実施例に係る指示ベクターによって制御対象領域で変動する制御位置を例示的に示す図面である。 本発明の一実施例に係る垂直ベクターが決定される過程を例示的に示す図面である。 本発明の一実施例に係る仮想の基準地点が特定される過程を例示的に示す図面である。 本発明の一実施例に係る仮想の基準地点が特定される過程を例示的に示す図面である。 本発明の一実施例に係る仮想の基準地点が特定される過程を例示的に示す図面である。 本発明の一実施例に係る仮想の基準地点が特定される過程を例示的に示す図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明することにする。
［客体制御支援システムの構成］
以下では、本発明の具現のために重要な機能を遂行する客体制御支援システム１００の内部構成および各構成要素の機能について詳察することにする。
図１は、本発明の一実施例に係る客体制御支援システム１００の内部構成を詳細に図示する図面である。
図１を参照すると、本発明の一実施例に係る客体制御支援システム１００は、指示ベクター決定部１１０、制御位置管理部１２０、通信部１３０および制御部１４０を含むことができる。また、本発明の一実施例によると、指示ベクター決定部１１０、制御位置管理部１２０、通信部１３０および制御部１４０は、そのうち少なくとも一部が外部システム（図示されず）と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、アプリケーションモジュールおよびその他プログラムモジュールの形態で客体制御支援システム１００に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは客体制御支援システム１００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは、本発明により後述する特定の業務を遂行したり特定の抽象データ類型を遂行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。
一方、客体制御支援システム１００に関して前記のように説明されたが、このような説明は例示的なものであり、客体制御支援システム１００の構成要素または機能のうち少なくとも一部が必要に応じて後述するデバイス内で具現されたり、このようなデバイス内に含まれてもよいことは当業者に自明である。また、場合によっては、客体制御支援システム１００のすべての機能とすべての構成要素がデバイス内ですべて遂行されたりデバイス内にすべて含まれてもよい。
本発明の一実施例に係るデバイスはメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタル機器であって、スマートグラス、スマートウォッチ、スマートバンド、スマートリング、スマートネックレス、スマートイヤセット、スマートイヤホン、スマートイヤリングなどのようなウェアラブルデバイスやスマートフォン、スマートパッド、デスクトップコンピュータ、サーバー、ノートパソコン、ワークステーション、ピーディーエー（ＰＤＡ）、ウェブパッド、移動電話機、リモートコントローラなどのような多少伝統的なデバイスが含まれ得、デバイスは前述した例示だけでなく本発明の目的を達成できる範囲内でいくらでも変更され得る。また、本発明の一実施例に係るデバイスは制御手段（例えば、ポインタ、使用者の目または手先部位など）を撮影するためのカメラモジュール（図示されず）を含んだり公知の通信網を通じてカメラモジュール（またはカメラモジュールを含む他のデバイス）と通信可能であり得る。
一方、本発明の一実施例に係る前記デバイスには本発明に係る客体制御を支援するためのアプリケーションが含まれていてもよい。このようなアプリケーションは外部のアプリケーション配布サーバー（図示されず）からダウンロードされたものであり得る。一方、このようなプログラムモジュールの性格は後述するような客体制御支援システム１００の指示ベクター決定部１１０、制御位置管理部１２０、通信部１３０および制御部１４０と全般的に類似していてもよい。ここで、アプリケーションはその少なくとも一部が必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置で置換されてもよい。
まず、本発明の一実施例に係る指示ベクター決定部１１０は、制御手段の移動に関するトリガーイベントの発生の有無および制御手段のモーション座標と制御対象領域の間の距離のうち少なくとも一つを参照して指示ベクターを決定する機能を遂行することができる。本発明の一実施例に係る制御手段の移動に関するトリガーイベントには、制御手段の移動方向の転換、制御手段の移動停止などが含まれ得る。より具体的には、このようなトリガーイベントには、制御手段が前進後に後進をしたり、前進後に停止をすることが含まれ得る。このような前進および後進などの方向は制御対象領域、使用者の特定身体部位（例えば、目）または後述する仮想の基準地点を基準として特定されてもよい。ここで、本発明の一実施例に係る制御対象領域は使用者によって制御可能な少なくとも一つの客体がディスプレイされる領域を意味し得る。
例えば、指示ベクター決定部１１０は、制御手段の移動に関するトリガーイベントが発生する場合に、制御手段のモーション座標のうち、制御手段の移動に関するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定することができ、トリガー座標とモーション座標の間の距離、トリガー座標とモーション座標によって特定される直線区間、第１座標とモーション座標の間の距離および第１座標とモーション座標によって特定される直線区間のうち少なくとも一つを参照して第２座標を決定することができ、第１座標および第２座標に基づいて決定されるベクター（以下、「モーションベクター」という。）を指示ベクターとして決定することができる。より具体的には、指示ベクター決定部１１０は前記第２座標を始点とし、前記第１座標を終点とするモーションベクターを決定することができる。このようなモーションベクターの決定方式に関連した詳しい内容は後述することにする。
他の例を挙げると、指示ベクター決定部１１０は、制御手段のモーション座標と制御対象領域の間の距離が所定水準以下（例えば、２．５ｃｍ以下）であるか、制御手段の移動に関するトリガーイベントが発生して前記モーションベクターが有効でない場合に、前記トリガー座標または第１座標を通り、制御対象領域に垂直なベクター（以下、「垂直ベクター」という。）を指示ベクターとして決定することができる。
より具体的には、指示ベクター決定部１１０は、制御手段が前進後に停止するトリガーイベントが発生し、第１座標（または制御手段のモーション座標）が制御対象領域との距離が所定距離以内（より具体的には、１ｃｍ～２．５ｃｍ）であり、モーションベクターが有効でない場合に、第１座標を通り、制御対象領域に垂直なベクターを指示ベクター（例えば、第１座標を始点とし、第１座標と最短距離に存在する制御対象領域の所定地点を終点とするベクター）として決定することができる。また、指示ベクター決定部１１０は、制御手段が前進後に後進するトリガーイベントが発生し、第１座標（または制御手段のモーション座標）が制御対象領域との距離が所定距離以内（より具体的には、１ｃｍ～２．５ｃｍ）であり、前記モーションベクターが有効でない場合に、トリガー座標を通り、制御対象領域に垂直なベクター（例えば、トリガー座標を始点とし、第１座標と最短距離に存在する制御対象領域の所定地点を終点とするベクター）を指示ベクターとして決定することができる。また、指示ベクター決定部１１０は、第１座標（または制御手段のモーション座標）が制御対象領域との距離が所定距離以内（より具体的には、０ｃｍ～１ｃｍ）であり、前記モーションベクターが有効でない場合に、第１座標を通り、制御対象領域に垂直なベクターを指示ベクター（例えば、第１座標を始点とし、第１座標と最短距離に存在する制御対象領域の所定地点を終点とするベクター）として決定することができる。
さらに他の例を挙げると、指示ベクター決定部１１０は、制御手段のモーション座標および制御対象領域との距離が所定水準以上（例えば、８ｃｍ以上）の場合に、制御手段のモーション座標および使用者の身体座標に基づいて特定されるベクター（以下、「指称ベクター」という。）を指示ベクター（例えば、使用者の身体座標を始点とし、制御手段のモーション座標を終点とするベクター）で決定することができる。本発明の一実施例に係る使用者身体座標は、使用者の目（例えば、優位眼、両眼など）、頭、手、手先などの多様な身体部位に関する身体座標が含まれ得る。一方、本発明に係る制御手段が使用者の身体部位である場合には、該当身体部位とそれと同一の使用者の他の身体部位に基づいて指示ベクターが決定され得る。
より具体的には、指示ベクター決定部１１０は、制御手段が使用者の手先である場合に、該当使用者の手先のモーション座標および制御対象領域の間の距離が８ｃｍ以上である場合に、該当使用者の目（具体的には、優位眼）の座標を始点とし、手先のモーション座標を終点とするベクターを指示ベクターとして決定することができる。
図２は、本発明の一実施例により制御手段のモーション座標と制御対象領域の間の距離によって指示ベクターが動的に決定される過程を例示的に示す図面である。
図２を参照すると、まず、本発明の一実施例に係る制御手段のモーション座標が使用者の手先の座標（すなわち、第１身体座標）であり、その制御手段のモーション座標が制御対象領域から第２距離（例えば、８ｃｍ）以上に存在する場合に、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が指示ベクターとして決定され得る。例えば、制御手段のモーション座標が制御対象領域から第１距離（例えば、３０ｃｍ）以上に存在する場合には、使用者の手先の座標（すなわち、第１身体座標）および使用者の優位眼の座標（すなわち、第２身体座標）を連結するベクター２０１が指示ベクターとして決定され得、制御手段のモーション座標が制御対象領域から第２距離（例えば、８ｃｍ）以上および第１距離未満（例えば、３０ｃｍ）に存在する場合には、（ｉ）使用者の手先の座標（すなわち、第１身体座標）および使用者の優位眼の座標（すなわち、第２身体座標）を連結するベクター２０１または（ｉｉ）使用者の手先の座標（すなわち、第１身体座標）および使用者の両眼の中心座標（すなわち、第２身体座標）を連結するベクター２０２が指示ベクターとして決定され得る。
その後、本発明の一実施例により制御手段のモーション座標が制御対象領域から第３距離（例えば、２．５ｃｍ）以上、第２距離（例えば、８ｃｍ）未満に存在する場合には、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２とモーションベクター２０３のうちいずれか一つのベクターが指示ベクターとして決定され得る。例えば、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が決定され得る場合には、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が指示ベクターとして決定され、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が決定され得ないか有効でない場合、モーションベクター２０３が指示ベクターとして決定され得る。
その後、本発明の一実施例により制御手段のモーション座標が制御対象領域から第３距離（例えば、２．５ｃｍ）未満に存在する場合には、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２、モーションベクター２０３および垂直ベクター２０４のうちいずれか一つのベクターが指示ベクターとして決定され得る。例えば、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が決定され得る場合には、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が指示ベクターとして決定され、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２が決定され得ないか有効でない場合には、モーションベクター２０３が指示ベクターとして決定され得る。また、使用者の手先の座標（すなわち、第１身体座標）および使用者の目の座標（すなわち、第２身体座標）に基づいて特定されるベクター２０１、２０２とモーションベクター２０３が決定され得ないか有効でない場合には、制御対象領域に垂直なベクターである垂直ベクター（例えば、トリガー座標または第１座標を通るベクター）２０４が指示ベクターとして決定され得る。
次に、本発明の一実施例に係る制御位置管理部１２０は制御手段の位置が変動すると、その位置が変動する前の指示ベクターの延長線に基づいて特定される仮想の基準地点と前記位置が変動した後の制御手段のモーション座標を連結するベクター（以下、「連結ベクター」という。）を参照して制御対象領域での制御位置を決定する機能を遂行することができる。
例えば、制御位置管理部１２０は制御手段の位置が変動すると、その位置が変動する前の指示ベクターが向かう方向の反対方向の延長線上に存在する所定の地点を仮想の基準地点として特定し、その仮想の基準地点と前記位置が変動した後の制御手段のモーション座標を連結するベクターを決定することができ、前記連結ベクターの延長線と制御対象領域が交差する地点（または領域）を制御位置として決定することができる。
より具体的には、図３を参照すると、指示ベクターがモーションベクターであり、制御手段の位置が変動する場合に、制御位置管理部１２０はその位置が変動する前３０１にモーションベクター３１０が向かう方向の反対方向の延長線上に存在する所定の地点のうち、モーションベクター（例えば、モーションベクターの始点または終点）から４０～５０ｃｍ離れた地点を仮想の基準地点３０２として特定し、その仮想の基準地点３０２と前記位置が変動した後の制御手段のモーション座標３０３を連結するベクター３２０（すなわち、連結ベクター）を決定することができ、そのベクター３２０またはそのベクター３２０の延長線と制御対象領域が交差する地点を制御位置３３０として決定することができる。
また、図４を参照すると、指示ベクターが垂直ベクターであり、制御手段の位置が変動する場合に、制御位置管理部１２０はその位置が変動する前４０１に垂直ベクター４１０が向かう方向の反対方向の延長線上に存在する所定の地点のうち、垂直ベクター（例えば、垂直ベクターの始点または終点）から４０～５０ｃｍ離れた地点を仮想の基準地点４０２として特定し、その仮想の基準地点４０２と前記位置が変動した後の制御手段のモーション座標４０３を連結するベクター４２０（すなわち、連結ベクター）を決定することができ、そのベクター４２０またはそのベクター４２０の延長線と制御対象領域が交差する地点を制御位置４３０で決定することができる。
また、制御位置管理部１２０は制御手段の位置が変動すると、その位置が変動する前の制御手段のモーション座標を参照して特定される第１ガイドベクターと前記位置が変動した後の制御手段のモーション座標を参照して特定される第２ガイドベクターの間の関係（例えば、位置関係）に基づいて、補正された指示ベクターを参照して制御対象領域での制御位置を決定する機能を遂行することができる。
例えば、制御位置管理部１２０は制御手段の位置が変動すると、その位置が変動する前の制御手段のモーション座標を参照して特定される第１ガイドベクターおよび前記位置が変動した後の制御手段のモーション座標を参照して特定される第２ガイドベクターの間の位置または方向の変化の程度に基づいて指示ベクターを平行移動（例えば、第１ガイドベクターおよび第２ガイドベクターの間の位置（より具体的には、各ガイドベクターの終点または各始点間の位置）が変化しただけ平行移動）または指示ベクターが向かう方向（例えば、第１ガイドベクターおよび第２ガイドベクターの間の方向または角度が変化しただけ方向）を補正することができ、その補正された指示ベクターまたはその補正された指示ベクターの延長線と制御対象領域が交差する地点（または領域）を制御位置として決定することができる。このようなガイドベクターは、制御手段（または使用者の制御意図）と関連する方向を特定するために設定されるベクターであり、例えば、制御手段のモーション座標およびそのモーション座標と関連する制御手段の他の座標を連結して特定されるベクターであり得る。より具体的には、制御手段のモーション座標が手の人差し指の先の座標である場合に、人差し指の先を終点とし、人差し指の節（またはジョイント）の座標を始点とするベクター（例えば、フィンガーベクター）がガイドベクターとして特定されるか、制御手段のモーション座標が手の平の中心の座標である場合に、人差し指の先を終点とし、手の平の中心の座標を始点とするベクターがガイドベクターとして特定され得る。一方、本発明に係る前記他の座標は必ずしも制御手段の他の座標にのみ限定されず、制御手段の他に、その制御手段と隣接した他の座標に変更されてもよいことを明らかにしておく。
より具体的には、図５を参照すると、指示ベクターがモーションベクター５１０であり制御手段の位置が変動する場合に、制御位置管理部１２０はその位置が変動する前の制御手段のモーション座標５０１（例えば、手の人差し指の先の座標）を参照して特定される第１フィンガーベクター５１１（例えば、人差し指の先の座標を終点とし、人差し指の節の座標を始点とするベクター）（すなわち、ガイドベクター）および前記位置が変動した後の制御手段のモーション座標５０３を参照して特定される第２フィンガーベクター５２１の間の位置の変化の程度５５１および方向の変化の程度５５２を参照して、モーションベクター５１０を平行移動（例えば、その位置変化だけ平行移動）し、そのモーションベクター５１０が向かう方向（例えば、その方向の変化だけ回転変換）を補正することによって補正されたモーションベクターを決定することができる。その後、その補正されたモーションベクターまたはその補正されたモーションベクターの延長線と制御対象領域が交差する地点を制御位置５３０として決定することができる。
また、図６を参照すると、指示ベクターが垂直ベクター６１０であり制御手段の位置が変動する場合に、制御位置管理部１２０はその位置が変動する前の制御手段のモーション座標６０１（例えば、手の人差し指の先の座標）を参照して特定される第１フィンガーベクター６１１（例えば、人差し指の先の座標を終点とし、人差し指の節の座標を始点とするベクター）（すなわち、ガイドベクター）および前記位置が変動した後の制御手段のモーション座標６０３を参照して特定される第２フィンガーベクター６２１の間の位置の変化の程度および方向の変化の程度を参照して、垂直ベクター６１０を平行移動（例えば、その位置変化だけ平行移動）とその指示ベクター６１０が向かう方向（例えば、その方向の変化だけ回転変換）を補正することによって補正された垂直ベクターを決定することができる。その後、その補正された垂直ベクター６２０またはその補正された垂直ベクター６２０の延長線と制御対象領域が交差する地点を制御位置６３０として決定することができる。
一方、本発明の一実施例により制御手段の方向がさらに変動する場合を考慮して見ることができる。ここで、制御手段の方向は使用者の制御意図と関連する方向を意味し、制御手段のモーション座標およびそのモーション座標と関連する制御手段の他の座標に基づいて特定されるか制御手段の形状に基づいて特定されてもよい。例えば、制御手段のモーション座標が手の人差し指の先の座標である場合に、人差し指が示す方向が制御手段の方向であり得る。このような制御手段の方向は前記で詳察したガイドベクターの方向と同一であってもよいが、必要に応じて異なるように設定されてもよい。
例えば、本発明の一実施例により制御位置管理部１２０は制御手段の位置および方向が変動すると、その位置および方向が変動する前の制御手段のモーション座標および制御手段の方向を参照して特定（例えば、前記位置および方向が変動する前の制御手段のモーション座標を始点に、制御手段の方向と同一または平行な方向に延びて制御対象領域と会う点を終点として特定されるか、前記位置および方向が変動する前の制御手段のモーション座標を始点に、制御手段の方向と同一または平行な方向に所定長さだけ延びて特定）される第１ガイドベクターと前記位置および方向が変動した後の制御手段のモーション座標および制御手段の方向を参照して特定（例えば、前記位置および方向が変動した後の制御手段のモーション座標を始点に、制御手段の方向と同一または平行な方向に延びて制御対象領域と会う点を終点として特定されるか、前記位置および方向が変動する前の制御手段のモーション座標を始点に、制御手段の方向と同一または平行な方向に所定長さだけ延びて特定）される第２ガイドベクターの間の関係（例えば、位置または方向の間の関係）に基づいて、補正された指示ベクターを参照して制御対象領域での制御位置を決定する機能を遂行することができる。
また、制御位置管理部１２０は使用者の客体制御パターン（または使用者の選好制御パターン）を参照して、前記連結ベクターおよび前記補正された指示ベクターのうち該当使用者の客体制御に利用されるベクターを決定することができ、そのベクターの延長線と制御対象領域が交差する地点を制御位置として決定することができる。
例えば、制御位置管理部１２０は前記連結ベクターおよび前記補正された指示ベクターのうち、使用者によって所定水準以上に頻繁に使われるベクター、使用者のフィードバックを参照して特定されるベクター（例えば、正確度または満足度が高いものとして特定されるベクター）または使用者の使用パターンを分析または学習して特定されるベクターを、該当使用者の客体制御に利用されるベクターとして決定することができる。
次に、本発明の一実施例によると、通信部１３０は指示ベクター決定部１１０および制御位置管理部１２０からの／へのデータの送受信を可能にする機能を遂行することができる。
最後に、本発明の一実施例によると、制御部１４０は指示ベクター決定部１１０、制御位置管理部１２０および通信部１３０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部１４０は、客体制御支援システム１００の外部からの／へのデータの流れまたは客体制御支援システム１００の各構成要素間のデータの流れを制御することによって、指示ベクター決定部１１０、制御位置管理部１２０および通信部１３０でそれぞれ固有機能を遂行するように制御することができる。
［モーションベクターの決定過程］
以下では、前記で詳察したモーションベクターを決定する過程に対して詳察することにする。
本発明の一実施例に係る指示ベクター決定部１１０は、制御手段のモーション座標のうち、制御手段の移動に関するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定する機能を遂行することができる。
例えば、指示ベクター決定部１１０は制御手段のモーション座標のうち、制御手段が制御対象領域に向かって前進後に停止するトリガーイベントが発生する時点での座標すなわち、トリガー座標を第１座標として決定することができる。
他の例を挙げると、指示ベクター決定部１１０は制御手段が制御対象領域に向かって前進後に後進するトリガーイベントが発生した場合に、そのトリガーイベントが発生する時点での制御手段のモーション座標すなわち、トリガー座標を基準として所定の以前（ｐｒｅｖｉｏｕｓ）時点（例えば、すぐ直前の時点）での制御手段のモーション座標を第１座標として決定することができる。ここでの、所定の以前時点は制御手段を撮影する撮影モジュール（例えば、カメラ）の撮影間隔またはフレーム速度に基づいて特定されてもよい。
また、トリガーイベントが発生する時点では制御手段の揺れが発生し得るが、これを補正するために指示ベクター決定部１１０はトリガー座標を基準として特定される制御手段の少なくとも一つのモーション座標を参照して第１座標を決定することができる。
例えば、指示ベクター決定部１１０はトリガー座標が特定される時点を基準として、所定時間の間特定される制御手段の複数のモーション座標を統計分析して第１座標を決定することができる。本発明の一実施例に係る統計分析には、複数のモーション座標に対する平均、加重平均、分散、標準偏差などに基づいた分析が含まれ得る。より具体的には、指示ベクター決定部１１０はトリガー座標が特定される時点を基準として０．０１秒～０．１秒の間に特定される複数のモーション座標の平均座標を第１座標として決定することができる。
他の例を挙げると、指示ベクター決定部１１０はトリガー座標から所定距離以内に存在する制御手段の複数のモーション座標を統計分析して第１座標を決定することができる。より具体的には、指示ベクター決定部１１０はトリガー座標から５～１０ｍｍ以内で特定される制御手段の複数のモーション座標の平均座標を第１座標として決定することができる。
一方、指示ベクター決定部１１０は前記トリガー座標およびそのトリガー座標から所定距離以内のモーション座標のうち少なくとも一つを統計分析の対象から除外されるようにすることができる。
例えば、指示ベクター決定部１１０は制御手段が前進後に停止したり制御手段が前進後に後進するトリガーイベントが発生することになると、そのトリガーイベントが発生する時点を基準として特定されるトリガー座標およびそのトリガー座標から５ｍｍ以内のモーション座標は揺れが大きく発生し得るため、トリガー座標およびそのトリガー座標から５ｍｍ以内のモーション座標は統計分析の対象から除外されるようにすることができる。
また、指示ベクター決定部１１０はトリガー座標または第１座標と制御手段のモーション座標の間の距離を参照して第２座標を決定することができる。
例えば、指示ベクター決定部１１０は、トリガー座標または第１座標と制御手段のモーション座標の間の距離が所定水準以上になる時点での制御手段のモーション座標を第２座標として決定することができる。より具体的には、図７を参照すると、指示ベクター決定部１１０は、トリガー座標７０１および制御手段のモーション座標の間の距離が４０～５０ｍｍ以上になる時点での制御手段のモーション座標７０２を第２座標として決定することができる。
他の例を挙げると、指示ベクター決定部１１０はトリガー座標から距離が所定水準以上になる制御手段のモーション座標のうち、第１座標が特定される時点を基準として最も近接した時点のモーション座標を第２座標として決定することができる。より具体的には、図７を参照すると、指示ベクター決定部１１０はトリガー座標７０１から距離が５０ｍｍ以上である制御手段のモーション座標のうち、第１座標７０３が特定される時点を基準として最も近接した時点のモーション座標７０２を第２座標として決定することができる。
また、指示ベクター決定部１１０はトリガー座標または第１座標と制御手段のモーション座標によって特定される直線区間を参照して第２座標を決定することができる。
例えば、指示ベクター決定部１１０は第１座標（またはトリガー座標）が特定される時点を基準として、時間的に隣接した他の時点での制御手段のモーション座標それぞれを前記第１座標（またはトリガー座標）と連結して直線区間が特定されるモーション座標のうち、前記第１座標（またはトリガー座標）から最も遠い距離に存在するモーション座標を第２座標として決定することができる。ここで、第１座標（またはトリガー座標）が特定される時点から前記他の時点までの時間的に隣接したすべてのモーション座標が、前記第１座標（またはトリガー座標）と前記他の時点での制御手段のモーション座標を連結する直線から所定距離以内に存在すれば、直線区間が特定され得るものであり得る。
より具体的には、指示ベクター決定部１１０は第１座標（またはトリガー座標）が特定される時点が第１時点であり、その第１時点を基準として時間的に隣接した第２時点での制御手段のモーション座標が第２モーション座標であり、その第２時点を基準として時間的に隣接した第３時点での制御手段のモーション座標が第３モーション座標であり、その第３時点を基準として時間的に隣接した第４時点での制御手段のモーション座標が第４モーション座標である場合に、第１座標（またはトリガー座標）と第３モーション座標を連結する直線から第２モーション座標が所定距離以内に存在する場合に、指示ベクター決定部１１０は第１座標（またはトリガー座標）、第２モーション座標および第３モーション座標が直線区間であると特定することができる。また、第１座標（またはトリガー座標）と第４モーション座標を連結する直線から第２モーション座標および第３モーション座標がすべて所定距離以内に存在する場合に、指示ベクター決定部１１０は第１座標（またはトリガー座標）、第２モーション座標、第３モーション座標および第４モーション座標が直線区間であると特定することができる。
また、指示ベクター決定部１１０は第１座標（またはトリガー座標）が特定される時点を基準として、時間的に隣接した他の時点での制御手段のモーション座標を時間的に隣接した順でそれぞれ連結して特定され得る直線区間のうち最も長い直線区間を特定し、その最も長い直線区間に存在する制御手段の複数のモーション座標のうち、第１座標（またはトリガー座標）から最も遠い距離に位置するモーション座標を第２座標として決定することができる。一方、直線区間に存在する制御手段の複数のモーション座標の間の間隔は所定距離以内であり得る。
また、図８を参照すると、指示ベクター決定部１１０は第１座標８２１が特定される時点が第１時点であり、第１時点を基準として時間的に隣接した第２時点での制御手段のモーション座標が第２モーション座標８２２であり、第２時点を基準として時間的に隣接した第３時点での制御手段のモーション座標が第３モーション座標８２３であり、第３時点を基準として時間的に隣接した第４時点での制御手段のモーション座標８２４が第４モーション座標である場合に、第１座標８２１と第２モーション座標８２２を連結する第１直線区間、第１座標８２１と第３モーション座標８２３を連結する第２直線区間および第１座標８２１と第４モーション座標８２４を連結する第３直線区間を特定可能な直線区間として決定し、その複数の直線区間（すなわち、第１直線区間、第２直線区間および第３直線区間）のうち最も長い直線区間に存在する第３直線区間内の複数のモーション座標のうち、第１座標８２１から最も遠い距離に存在するモーション座標８２４を第２座標として決定することができる。
一方、指示ベクター決定部１１０はトリガー座標（または第１座標）と制御手段のモーション座標の間の距離を参照して決定される座標および第１座標（またはトリガー座標）と制御手段のモーション座標によって特定される直線区間を参照して決定される座標のうち、第１座標（またはトリガー座標）に近い座標を第２座標として決定することができる。
例えば、図９を参照すると、指示ベクター決定部１１０は、（ｉ）トリガー座標と制御手段のモーション座標の間の距離が所定水準以上になる時点での制御手段のモーション座標９１０、９１２、９１４、９１６、９２０、９２２および（ｉｉ）第１座標が特定される時点を基準として、時間的に隣接した他の時点での制御手段のモーション座標それぞれを前記第１座標と連結して直線区間が特定され得るモーション座標のうち、前記第１座標から最も遠い距離に位置するモーション座標９１１、９１３、９１５、９１７、９２１、９２３を決定し、複数のモーション座標９１０、９１１、９１２、９１３、９１４、９１５、９１６、９１７、９２０、９２１、９２２、９２３のうち第１座標に近いモーション座標９１１、９１３、９１５、９１７、９２０、９２２を第２座標として決定することができる。
また、指示ベクター決定部１１０は第１座標および第２座標に基づいて決定されるモーションベクターを決定することができる。
例えば、指示ベクター決定部１１０は前記第２座標を始点とし、前記第１座標を終点とするベクターをモーションベクターとして決定することができる。
一方、指示ベクター決定部１１０はトリガー座標または第１座標と制御手段のモーション座標の間の距離が所定水準以上になるモーション座標が存在しない場合、モーションベクターが特定され得ないものとして決定することができる。
例えば、図１０を参照すると、指示ベクター決定部１１０はトリガー座標または第１座標と制御手段のモーション座標によって特定される直線区間を参照して決定される第２座標１００１、１００２が特定され得るとしても、トリガー座標または第１座標と制御手段のモーション座標の間の距離を参照して決定される第２座標が特定され得ないのであれば、モーションベクターが特定され得ないものとして決定することができる。
また、指示ベクター決定部１１０はモーションベクターの長さ、速度、方向および第１座標の位置のうち少なくとも一つを参照してモーションベクターの有効性を検証することができる。
例えば、指示ベクター決定部１１０はモーションベクターの長さを所定倍数スケーリングした長さが制御対象領域および第１座標の間の長さより長い場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。
他の例を挙げると、指示ベクター決定部１１０はモーションベクターの長さに基づいて有効領域を特定し、その有効領域内に制御対象領域が存在する場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。より具体的には、図１１を参照すると、指示ベクター決定部１１０はモーションベクターの長さを所定水準だけスケーリングして特定される領域（または延びる領域）を有効領域１１０２として特定し、その有効領域１１０２と制御対象領域の間の共通領域が存在する場合に、該当ベクターを有効なモーションベクターとして決定することができる。
さらに他の例を挙げると、指示ベクター決定部１１０はモーションベクターの長さが所定長さ（例えば、１０～２０ｍｍ）より長い場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。
さらに他の例を挙げると、指示ベクター決定部１１０はモーションベクターの速度が所定速度（例えば、１０ｍｍ／ｓ～２０ｍｍ／ｓ）以上の場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。
さらに他の例を挙げると、図１２を参照すると、指示ベクター決定部１１０はモーションベクターおよび制御対象領域がなす角度（具体的には、制御対象領域の法線ベクターがなす角）が所定角度以内（例えば、－４５度≦θｘ≦４５度であり、３０度≦θｙ≦６０度以内）の場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。
さらに他の例を挙げると、指示ベクター決定部１１０は前記第１座標（すなわち、モーションベクターの終点）が制御対象領域から所定距離以内（例えば、１００ｍｍ以内）に存在する場合に、該当モーションベクターを有効なモーションベクターとして決定することができる。
一方、図１３および図１４を参照すると、使用者の視線またはヘッドポーズによって特定される注視ベクターを利用してモーションベクターの有効性が検証されてもよい。
例えば、本発明に係るモーションベクターを利用して制御対象領域で特定される第１制御位置と使用者の視線またはヘッドポーズによって特定される注視ベクターを利用して制御対象領域で特定される第２制御位置の間の誤差が所定水準以下である場合に、該当モーションベクターが有効なモーションベクターとして決定され得る。
［第１実施例］
以下では、本発明の一実施例に係る客体制御支援システム１００が含まれたデバイスを利用する使用者に、本発明に係る客体制御が支援される状況を詳察することにする。本発明の一実施例に係る制御手段は使用者の手先（例えば、人差し指の先）であり得る。
まず、本発明の一実施例に係るデバイスは、制御手段のモーション座標と制御対象領域の間の距離が所定水準以下（例えば、８ｃｍ間）であり制御手段の移動に関するトリガーイベントが発生する場合に、使用者の手先のモーション座標のうち、制御対象領域に向かって進む方向に前進後に停止するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定することができる。
例えば、使用者の手先が制御対象領域に向かって進む方向に前進後に停止するトリガーイベントが発生する場合に、使用者の手先のモーション座標のうちそのトリガーイベントが発生する時点での座標すなわち、トリガー座標が第１座標として決定され得る。
その後、前記トリガー座標と使用者の手先のモーション座標の間の距離および前記第１座標と使用者の手先のモーション座標によって特定される直線区間を参照して第２座標が決定され得る。
具体的には、前記トリガー座標と使用者の手先のモーション座標の間の距離を参照して決定される座標および第１座標（またはトリガー座標）と使用者の手先のモーション座標によって特定される直線区間を参照して決定される座標のうち、前記第１座標に近い座標が第２座標として決定され得る。
その後、前記第２座標を始点とし、前記第１座標を終点として特定されるベクター（すなわち、モーションベクター）の長さ、速度、方向および前記第１座標の位置のうち少なくとも一つを参照して、前記モーションベクターの有効性が検証され得る。
その後、前記モーションベクターが有効なものとして決定される場合に、モーションベクターが指示ベクターとして決定され得、制御対象領域のうちモーションベクターの延長線と会う領域が使用者によって意図される制御位置として決定され得る。
一方、本発明の一実施例により前述されたトリガーイベントの発生と関連する方向（例えば、トリガーイベントの発生の有無の基準となる方向）は、指示ベクターの類型（またはその指示ベクターが特定される基準）または制御手段のモーション座標と制御対象領域の間の距離によって決定されてもよい。
例えば、本発明の一実施例に係る指示ベクターのうち指称ベクターの場合には、使用者の特定身体部位（例えば、目）を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得、指示ベクターのうちモーションベクターの場合には、モーションベクター（またはその延長線）に基づいて特定される仮想の基準地点を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得、指示ベクターのうち垂直ベクターの場合には制御対象領域を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定されるか垂直ベクター（またはその延長線）に基づいて特定される仮想の基準地点を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得る。
他の例を挙げると、本発明の一実施例に係る制御手段のモーション座標および制御対象領域との距離が第１距離（例えば、８ｃｍ）以上の場合には、使用者の特定身体部位（例えば、目）を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得、制御手段のモーション座標および制御対象領域との距離が第１距離未満、第２距離（例えば、２．５ｃｍ）以上の場合には、仮想の基準地点（例えば、モーションベクター（またはその延長線）に基づいて特定される仮想の基準地点）を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得、制御手段のモーション座標および制御対象領域との距離が第２距離未満（例えば、０ｃｍ以上、第２距離未満）の場合には、制御対象領域を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定されるか仮想の基準地点（例えば、垂直ベクター（またはその延長線）に基づいて特定される仮想の基準地点）を基準としてその方向（すなわち、トリガーイベントの発生の有無の基準となる方向）が特定され得る。一方、本発明に係る距離の区分方式（例えば、区間の数）が必ずしも前記列挙されたものにのみ限定されるものではなく、本発明の目的を達成できる範囲内でより細分化されるなど、多様に変形され得ることを明らかにしておく。
その後、図１５を参照すると、前記使用者の手先の位置が変動する場合に、その位置が変動する前のモーションベクターの延長線に基づいて特定される仮想の基準地点とその位置が変動した後の使用者の手先のモーション座標を連結するベクター（すなわち、連結ベクター）を参照して制御対象領域での変動する制御位置となるか、前記位置が変動する前の使用者の手先のモーション座標を参照して特定される第１ガイドベクターと前記位置が変動した後の使用者の手先のモーション座標を参照して特定される第２ガイドベクターの間の関係に基づいて補正された前記モーションベクター（すなわち、補正されたモーションベクター）を参照して制御対象領域での変動する制御位置が決定され得る。一方、使用者の客体制御パターン（または使用者に既設定される客体制御方式）を参照して、前記連結ベクターおよび前記補正されたモーションベクターのうち該当使用者の客体制御に利用されるベクターが決定され得る。
［第２実施例］
以下では、本発明の一実施例に係る客体制御支援システム１００が含まれたデバイスを利用する使用者に、本発明に係る客体制御が支援される他の状況を詳察することにする。本発明の一実施例に係る制御手段は使用者の手先（例えば、人差し指の先）であり得る。
まず、本発明の一実施例に係るデバイスは、制御手段のモーション座標と制御対象領域の間の距離が所定水準以下（例えば、２．５ｃｍ以下）であり制御手段の移動に関するトリガーイベントが発生する場合に、使用者の手先のモーション座標のうち、制御対象領域に向かって進む方向に前進後に停止するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定することができる。
その後、前記トリガー座標と使用者の手先のモーション座標の間の距離および前記第１座標と使用者の手先のモーション座標によって特定される直線区間を参照して第２座標が決定され得る。
その後、前記第１座標および第２座標に基づいて決定されるベクター（すなわち、モーションベクター）の長さ、速度、方向および前記第１座標の位置のうち少なくとも一つを参照して、前記モーションベクターの有効性が検証され得る。
その後、前記第１座標および第２座標に基づいて決定されるベクター（すなわち、モーションベクター）が有効でない場合に、前記トリガー座標または第１座標を通り、制御対象領域に垂直なベクター（１６０１）（すなわち、垂直ベクター）が指示ベクターとして決定され得る。
その後、再び図１５を参照すると、前記使用者の手先の位置が変動する場合に、その位置が変動する前の垂直ベクターの延長線に基づいて特定される仮想の基準地点とその位置が変動した後の使用者の手先のモーション座標を連結するベクター（すなわち、連結ベクター）を参照して制御対象領域での変動する制御位置が決定されるか、前記位置が変動する前の使用者の手先のモーション座標を参照して特定される第１ガイドベクターと前記位置が変動した後の使用者の手先のモーション座標を参照して特定される第２ガイドベクターの間の関係に基づいて補正された前記垂直ベクター（すなわち、補正された垂直ベクター）を参照して制御対象領域での変動する制御位置が決定され得る。一方、使用者の客体制御パターン（または使用者に既設定される客体制御方式）を参照して、前記連結ベクターおよび前記補正された垂直ベクターのうち該当使用者の客体制御に利用されるベクターが決定され得る。
［仮想の基準地点の特定と関連した拡張的な実施例］
本発明の一実施例に係る制御手段が制御対象領域と近接したり遠ざかる過程で、トリガーイベントの発生の有無または制御手段のモーション座標と制御対象領域の間の距離によって、それぞれの時点別に指示ベクターが決定（すなわち、複数の指示ベクターが決定）され得ることになる。以下では、このような場合に仮想の基準地点および制御位置が決定される具体的な状況を詳察することにする。
例えば、図１７を参照すると、本発明の一実施例によりｔ時点での制御手段のモーション座標がＰＦＴｔであり、ｔ時点での仮想の基準地点がＲＰｔであり、ｔ時点での制御対象領域での制御位置がＣｔである場合に、ｔ＝－５時点ではモーションベクターが有効に決定されないためこれに基づいた仮想の基準地点が特定されず、制御対象領域での制御位置Ｃ－５（１７２１）も決定されない可能性がある。その後、本発明の一実施例に係るｔ＝－４時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－４（１７０２）が特定され得、仮想の基準地点ＲＰ－４（１７０２）および制御手段のモーション座標ＰＦＴ－４（１７１２）に基づいて制御対象領域での制御位置Ｃ－４（１７２２）が決定され得る。その後、本発明の一実施例に係るｔ＝－３時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－３（１７０３）が特定され得、仮想の基準地点ＲＰ－３（１７０３）および制御手段のモーション座標ＰＦＴ－３（１７１３）に基づいて制御対象領域での制御位置Ｃ－３（１７２３）が決定され得る。その後、本発明の一実施例に係るｔ＝－２時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－２（１７０４）が特定され得、仮想の基準地点ＲＰ－２（１７０４）および制御手段のモーション座標ＰＦＴ－２（１７１４）に基づいて制御対象領域での制御位置Ｃ－２（１７２４）が決定され得る。その後、本発明の一実施例に係るｔ＝－１時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－１（１７０５）が特定され得、仮想の基準地点ＲＰ－１（１７０５）および制御手段のモーション座標ＰＦＴ－１（１７１５）に基づいて制御対象領域での制御位置Ｃ－１（１７２５）が決定され得る。その後、本発明の一実施例に係るｔ＝０時点でモーションベクターが有効に決定されないとこれに基づいた仮想の基準地点が特定されず、以前の時点での有効な仮想の基準地点（具体的には、直前または最近時点での有効な仮想の基準地点）のＲＰ－１（１７０５）および制御手段のモーション座標ＰＦＴ０（１７１６）に基づいて制御対象領域での制御位置Ｃ０（１７２６）が決定され得る。
また、本発明の一実施例により以前時点での有効な仮想の基準地点（具体的には、直前または最近時点での有効な仮想の基準地点）に基づいて現在の仮想の基準地点が補正される過程を詳察することにする。
図１８を参照すると、本発明の一実施例により、まず、ｔ＝－５時点でモーションベクターが有効に決定されないと、これに基づいた仮想の基準地点が特定されず、制御対象領域での制御位置Ｃ－５（１８２１）も決定されない可能性がある。その後、本発明の一実施例に係るｔ＝－４時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－４（１８０２）が特定され得、仮想の基準地点ＲＰ－４（１８０２）および制御手段のモーション座標ＰＦＴ－４（１８１２）に基づいて制御対象領域での制御位置Ｃ－４（１８２２）が決定され得る。その後、本発明の一実施例に係るｔ＝－３時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－３（１８０３）が特定され得、以前の時点（または直前時点）での有効な仮想の基準地点ＲＰ－４（１８０２）および現在の仮想の基準地点ＲＰ－３（１８０３）に基づいて特定（例えば、二地点の座標に対する統計的分析を通じて特定され得、このような統計的分析には、平均、加重平均、分散、標準偏差などが利用される）される仮想の基準地点ＲＰ’－３（１８０６）と制御手段のモーション座標ＰＦＴ－３（１８１３）に基づいて制御対象領域での制御位置Ｃ’－３（１８２３）が決定され得る。その後、本発明の一実施例に係るｔ＝－２時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－２（１８０４）が特定され得、以前の時点での有効な仮想の基準地点ＲＰ’－３（１８０６）および現在の仮想の基準地点ＲＰ－２（１８０４）に基づいて特定（例えば、二地点の座標に対する統計的分析を通じて特定され得、このような統計的分析には、平均、加重平均、分散、標準偏差などが利用される）される仮想の基準地点ＲＰ’－２（１８０７）と制御手段のモーション座標ＰＦＴ－２（１８１４）に基づいて制御対象領域での制御位置Ｃ’－２（１８２４）が決定され得る。その後、本発明の一実施例に係るｔ＝－１時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－１（１８０５）が特定され得、以前の時点での有効な仮想の基準地点ＲＰ’－２（１８０７）および現在の仮想の基準地点ＲＰ－１（１８０５）に基づいて特定（例えば、二地点の座標に対する統計的分析を通じて特定され得、このような統計的分析には、平均、加重平均、分散、標準偏差などが利用される）される仮想の基準地点ＲＰ’－１（１８０８）と制御手段のモーション座標ＰＦＴ－１（１８１５）に基づいて制御対象領域での制御位置Ｃ’－１（１８２５）が決定され得る。その後、本発明の一実施例に係るｔ＝０時点でモーションベクターが有効に決定されないと、これに基づいた仮想の基準地点が特定されず、以前の時点での有効な仮想の基準地点（具体的には、直前または最近時点での有効な仮想の基準地点）のＲＰ’－１（１８０８）および制御手段のモーション座標ＰＦＴ０（１８１６）に基づいて制御対象領域での制御位置Ｃ’０（１８２６）が決定され得る。
また、本発明の一実施例により有効なモーションベクターのみを利用して仮想の基準地点が特定される過程を詳察することにする。
図１９を参照すると、本発明の一実施例により、まず、ｔ＝－５～－２時点でモーションベクターが有効に決定されないとこれに基づいた仮想の基準地点が特定されず、制御対象領域での制御位置Ｃ－５（１９２１）、Ｃ－４（１９２２）、Ｃ－３（１９２２）およびＣ－２（１９２４）も決定されない可能性がある。その後、本発明の一実施例に係るｔ＝－１時点でモーションベクターが有効に決定されると、そのモーションベクターに基づいて仮想の基準地点ＲＰ－１（１９０５）が特定され得、仮想の基準地点ＲＰ－１（１９０５）および制御手段のモーション座標ＰＦＴ－１（１９１５）に基づいて制御対象領域での制御位置Ｃ－１（１９２５）が決定され得る。次に、本発明の一実施例に係るｔ＝０時点でモーションベクターが有効に決定されないと、これに基づいた仮想の基準地点が特定されず、以前の時点での有効な仮想の基準地点（具体的には、直前または最近時点での有効な仮想の基準地点）のＲＰ－１（１９０５）および制御手段のモーション座標ＰＦＴ０（１９１６）に基づいて制御対象領域での制御位置Ｃ０（１９２６）が決定され得ることになる。
他の例を挙げると、図２０を参照すると、本発明の一実施例によりｔ時点での制御手段のモーション座標がＰＦＴｔであり、ｔ時点での仮想の基準地点がＲＰｔであり、ｔ時点での制御対象領域での制御位置がＣｔである場合に、まず、ｔ＝－５～－２時点でモーションベクターおよび垂直ベクター（例えば、制御対象領域と制御手段のモーション座標の間の距離が所定距離以上に該当して有効でない）が有効に決定されないためこれに基づいた仮想の基準地点が特定されず、制御対象領域での制御位置Ｃ－５（２０２１）、Ｃ－４（２０２２）、Ｃ－３（２０２２）およびＣ－２（２０２４）も決定されない可能性がある。その後、本発明の一実施例に係るｔ＝－１時点でモーションベクターが有効でなく、垂直ベクターが有効（例えば、制御対象領域と制御手段のモーション座標の間の距離が所定距離以下に該当）に決定されると、その垂直ベクターに基づいて仮想の基準地点ＲＰ－１（２００５）が特定され得、その仮想の基準地点ＲＰ－１（２００５）および制御手段のモーション座標ＰＦＴ－１（２０１５）に基づいて制御対象領域での位置Ｃ－１（２０２５）が決定され得る。次に、本発明の一実施例に係るｔ＝０時点でモーションベクターおよび垂直ベクター（例えば、制御対象領域と制御手段のモーション座標の間の距離が所定距離以上に該当して有効でない）が有効に決定されないとこれに基づいた仮想の基準地点が特定されず、以前の時点での有効な仮想の基準地点（具体的には、直前または最近時点での有効な仮想の基準地点）のＲＰ－１（２００５）および制御手段のモーション座標ＰＦＴ０（２０１６）に基づいて制御対象領域での制御位置Ｃ０（２０２６）が決定され得ることになる。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されて非一過性のコンピュータ読み取り可能な記録媒体に記録され得る。前記非一過性のコンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一過性のコンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっている使用可能なものであってもよい。非一過性のコンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同じである。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正および変形を図ることができる。
したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等にまたは等価的に変形されたすべてのものは本発明の思想の範疇に属するものと言える。
１００：客体制御支援システム
１１０：指示ベクター決定部
１２０：制御位置管理部
１３０：通信部
１４０：制御部

Claims (8)

  1. 客体制御を支援するための方法であって、
    指示ベクターを決定する段階、および
    制御手段の位置が変動すると、前記位置が変動する前の前記指示ベクターの延長線に基づいて特定される仮想の基準地点と前記位置が変動した後の前記制御手段のモーション座標を連結するベクターを参照して制御対象領域での制御位置を決定する段階を含み、
    前記指示ベクターを決定する段階で前記指示ベクターは、
    （ｉ）前記制御手段のモーション座標のうち前記制御手段の移動に関するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定し、前記トリガー座標と前記モーション座標間の距離、前記トリガー座標と前記モーション座標によって特定される直線区間、前記第１座標と前記モーション座標間の距離および前記第１座標と前記モーション座標によって特定される直線区間のうち少なくとも一つを参照して第２座標を決定して、前記第１座標を終点とし前記第２座標を始点とするモーションベクター、
    （ｉｉ）前記トリガー座標または前記第１座標を通り、前記制御対象領域に垂直な垂直ベクター、および
    （ｉｉｉ）前記制御手段のモーション座標および使用者の身体座標に基づいて特定される指称ベクター
    のうちいずれか一つに決定され、
    前記制御手段は手、手先またはポインタであり、
    前記トリガーイベントは前記制御手段の移動方向の転換、前記制御手段の移動停止を含み、
    前記制御対象領域は少なくとも一つの客体がディスプレイされる領域であり、
    前記仮想の基準地点は、前記制御手段の位置が変動する前の前記指示ベクターが向かう方向と反対方向の延長線上に存在する地点のうち、前記指示ベクターの始点または終点から所定の距離だけ離れた地点に決定される、方法。
  2. 前記指示ベクターを決定する段階で、前記制御手段のモーション座標と前記制御対象領域の間の距離が第２距離未満であり第３距離以上であるとき、前記モーションベクターを前記指示ベクターとして決定する、請求項１に記載の方法。
  3. 前記指示ベクターを決定する段階で、前記制御手段のモーション座標と制御対象領域の間の距離が前記第３距離未満であるか前記第１座標および前記第２座標に基づいて決定されるベクターが有効でない場合に、前記垂直ベクターを前記指示ベクターとして決定する、請求項２に記載の方法。
  4. 前記指示ベクターを決定する段階で、前記制御手段のモーション座標および前記制御対象領域との距離が前記第２距離以上である場合に、前記指称ベクターを前記指示ベクターとして決定する、請求項２に記載の方法。
  5. 前記指示ベクターを決定する段階で、前記制御手段の移動に関するトリガーイベントの発生の有無を特定するための方向は前記指示ベクターの類型により決定される、請求項１に記載の方法。
  6. 前記指示ベクターを決定する段階で、前記制御手段の移動に関するトリガーイベントの発生の有無を特定するための方向は前記制御手段のモーション座標と制御対象領域の間の距離を参照して決定される、請求項１に記載の方法。
  7. 請求項１に記載された方法を遂行するためのコンピュータプログラムを記録する、非一過性のコンピュータ読み取り可能記録媒体。
  8. 客体制御を支援するためのシステムであって、
    指示ベクターを決定する指示ベクター決定部、および
    制御手段の位置が変動すると、前記位置が変動する前の前記指示ベクターの延長線に基づいて特定される仮想の基準地点と前記位置が変動した後の前記制御手段のモーション座標を連結するベクターを参照して制御対象領域での制御位置を決定する制御位置管理部を含み、
    前記指示ベクターを決定する段階で前記指示ベクターは、
    （ｉ）前記制御手段のモーション座標のうち前記制御手段の移動に関するトリガーイベントが発生する時点での座標をトリガー座標として参照して第１座標を決定し、前記トリガー座標と前記モーション座標間の距離、前記トリガー座標と前記モーション座標によって特定される直線区間、前記第１座標と前記モーション座標間の距離および前記第１座標と前記モーション座標によって特定される直線区間のうち少なくとも一つを参照して第２座標を決定して、前記第１座標を終点とし前記第２座標を始点とするモーションベクター、
    （ｉｉ）前記トリガー座標または前記第１座標を通り、前記制御対象領域に垂直な垂直ベクター、および
    （ｉｉｉ）前記制御手段のモーション座標および使用者の身体座標に基づいて特定される指称ベクター
    のうちいずれか一つに決定され、
    前記制御手段は手、手先またはポインタであり、
    前記トリガーイベントは前記制御手段の移動方向の転換、前記制御手段の移動停止を含み、
    前記制御対象領域は少なくとも一つの客体がディスプレイされる領域であり、
    前記仮想の基準地点は、前記制御手段の位置が変動する前の前記指示ベクターが向かう方向と反対方向の延長線上に存在する地点のうち、前記指示ベクターの始点または終点から所定の距離だけ離れた地点に決定される、システム。
JP2021122615A 2020-08-14 2021-07-27 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 Active JP7406817B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2020-0102814 2020-08-14
KR20200102814 2020-08-14
KR20200121843 2020-09-21
KR10-2020-0121843 2020-09-21
KR1020210005570A KR102448108B1 (ko) 2020-08-14 2021-01-14 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2021-0005570 2021-01-14

Publications (2)

Publication Number Publication Date
JP2022032985A JP2022032985A (ja) 2022-02-25
JP7406817B2 true JP7406817B2 (ja) 2023-12-28

Family

ID=77226762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021122615A Active JP7406817B2 (ja) 2020-08-14 2021-07-27 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Country Status (4)

Country Link
US (1) US20220050432A1 (ja)
EP (1) EP4020136A1 (ja)
JP (1) JP7406817B2 (ja)
CN (1) CN114077309A (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157398A1 (en) 2016-12-05 2018-06-07 Magic Leap, Inc. Virtual user input controls in a mixed reality environment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US9501152B2 (en) * 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9501138B2 (en) * 2014-05-05 2016-11-22 Aquifi, Inc. Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
CN109074819B (zh) * 2016-04-29 2023-05-16 维塔驰有限公司 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
KR101980725B1 (ko) * 2017-07-11 2019-08-28 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102455382B1 (ko) * 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법
CN110874179B (zh) * 2018-09-03 2021-09-14 京东方科技集团股份有限公司 指尖检测方法、指尖检测装置、指尖检测设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157398A1 (en) 2016-12-05 2018-06-07 Magic Leap, Inc. Virtual user input controls in a mixed reality environment

Also Published As

Publication number Publication date
CN114077309A (zh) 2022-02-22
EP4020136A1 (en) 2022-06-29
JP2022032985A (ja) 2022-02-25
US20220050432A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
KR102517425B1 (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
EP3090331B1 (en) Systems with techniques for user interface control
EP2929424B1 (en) Multi-touch interactions on eyewear
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
US9176652B1 (en) Method and system for dynamically defining scroll-wheel functionality on a touchpad
US20110148755A1 (en) User interface apparatus and user interfacing method based on wearable computing environment
US20140043229A1 (en) Input device, input method, and computer program
US10372223B2 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit
WO2023173668A1 (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
JP2023515525A (ja) ウェアラブルシステムのための手のジェスチャ入力
KR20200005243A (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
JP7406817B2 (ja) 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
JP7142387B2 (ja) 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR102448108B1 (ko) 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101980725B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11755124B1 (en) System for improving user input recognition on touch surfaces
US10996763B2 (en) System for and method of managing gestures in virtual reality
KR102636996B1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
JP2023525196A (ja) 滑りの影響を受けない視線追跡ユーザインターフェイス
KR102633495B1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
KR102539045B1 (ko) 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
KR101549031B1 (ko) 포인팅 기능을 제공하는 장치, 방법 및 기록매체
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
KR102198867B1 (ko) 사용자 입력 방법 및 이를 수행하기 위한 사용자 인터페이스 장치
Nagy et al. Evaluation of AI-Supported Input Methods in Augmented Reality Environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231211

R150 Certificate of patent or registration of utility model

Ref document number: 7406817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150