JP7094280B2 - 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 - Google Patents

客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP7094280B2
JP7094280B2 JP2019521658A JP2019521658A JP7094280B2 JP 7094280 B2 JP7094280 B2 JP 7094280B2 JP 2019521658 A JP2019521658 A JP 2019521658A JP 2019521658 A JP2019521658 A JP 2019521658A JP 7094280 B2 JP7094280 B2 JP 7094280B2
Authority
JP
Japan
Prior art keywords
control
coordinate system
vector
user
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019521658A
Other languages
English (en)
Other versions
JP2019536140A (ja
Inventor
ジョン キム ソク
Original Assignee
ブイタッチ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブイタッチ・カンパニー・リミテッド filed Critical ブイタッチ・カンパニー・リミテッド
Publication of JP2019536140A publication Critical patent/JP2019536140A/ja
Application granted granted Critical
Publication of JP7094280B2 publication Critical patent/JP7094280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35444Gesture interface, controlled machine observes operator, executes commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。
最近、使用者が家電デバイスのような現実の客体やアバターのような仮想客体を、ジェスチャー(gesture)に基づいて制御できるように支援する技術が紹介されている。
特に、最近では、拡張現実(AR;Augmented Reality)や仮想現実(VR;Virtual Reality)に関する関心が高まり、関連技術分野の研究開発が活発に行われるにつれて、使用者が実際の現実または仮想の現実に存在する相互に作用可能な客体を円滑に制御できるように支援する技術に対する要求が増えているのが実情である。
従来には、使用者やシステムによってあらかじめ指定された対象客体についてのみ使用者の制御命令が伝達されるようにする技術と、使用者がマウスカーソルなどのポインタで対象客体を指示したり、対象客体の名前を別途に話す(例えば、「リビングルームの照明を消して」、「301号のエアコンの温度を下げてください」等)等の明示的な行為をすることによって、対象客体に対して使用者の制御命令が伝達されるようにする技術が紹介されたところがある。
しかし、前記のような従来技術によると、使用者があらかじめ定められた客体以外の他の客体を制御できなくなったり、客体を制御するたびに制御の対象となる客体を非常に具体的に直接特定しなければならない不都合な点があるため、実際的な使用環境において柔軟性が少なく、利便性が悪いという限界が存在する。
特に、オフィスや住宅のような室内空間には多様な種類の客体(例えば、家電デバイス、家具など)が存在するのが一般的であるが、これらの客体は大きさ、機能などの属性が互いに異なるため、客体を制御する方式も該当客体の属性に応じて適応的に設定される必要がある。例えば、照明をつけたり消すことは照明の電源スイッチを押したり回すジェスチャーによって制御され得、窓を開いたり閉じることは窓を上下側向または左右方向にスライディングするジェスチャーによって制御され得る。しかし、従来に紹介された技術によると、客体の属性が反映されていない画一的な制御方式を通じてのみ客体が制御され得るだけであるため、多様な種類の客体を効果的に制御し難いという限界が存在する。
そこで、本発明者は、使用者が自分の身体部位や所定のベクター制御手段を利用して直観的に行うジェスチャーまたは操作に応じて、実世界の座標系で特定される制御ベクターを該当客体の属性により定義される客体基準座標系上の制御座標とマッピング(mapping)させることによって、使用者が直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確に制御できるようにする技術を提案するところである。
本発明は前述した問題点をすべて解決することをその目的とする。
また、本発明は、使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定し、制御ベクターによって指示される客体を使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行し、マッピングによって特定される制御座標を参照して対象客体に対して適用される制御命令を決定することによって、使用者が制御ベクターを生成(または特定)するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようにする方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
前記目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によると、客体の制御を支援するための方法であって、使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定する段階、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定する段階、前記対象客体の属性に基づいて定義される対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行する段階、および前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する段階、を含む方法が提供される。
本発明の他の態様によると、客体の制御を支援するためのシステムであって、使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定し、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、前記対象客体の属性に基づいて定義される対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行し、前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する客体制御管理部、および前記使用者および前記客体に関する空間情報を保存する空間情報管理部を含むシステムが提供される。
その他、本発明を具現するための他の方法、システムおよび前記方法を遂行するためのコンピュータプログラムを記録するための非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
本発明によると、使用者が自分の身体部位または所定のベクター制御手段を利用して直観的に行うジェスチャーまたは操作により実世界の座標系で特定される制御ベクターを、該当客体の属性により定義される客体基準座標系上の制御座標とマッピング(mapping)させることによって、使用者が制御ベクターを生成(または特定)するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようになる効果が達成される。
また、本発明によると、使用者が自分の視点から見る時、自分の指先に重なって見える客体を対象客体として決定できるため、有効領域(すなわち、制御可能領域)に関する制限がなく、使用者が目で見ることができる領域に存在するすべての客体を制御できるようになる効果が達成される。
また、本発明によると、使用者が自分が操作できるベクター制御手段によって指示される客体を対象客体として決定できるため、有効領域(すなわち、制御可能領域)に関する制限がなく、使用者がベクター制御手段によって指示できるものと直観的に予測(または見計らい)できる領域に存在するすべての客体を制御できるようになる効果が達成される。
また、本発明によると、制御の対象となる対象客体を決定する過程と対象客体に対して適用される制御命令を決定する過程が共に遂行されるため、制御の対象となる客体が変更(すなわち、第1客体から第2客体への転換)される場合に、対象客体および制御命令のうちいずれか一つのみを切り離して変更する必要がなくなり、その結果、利便性が向上する効果が達成される。
また、本発明によると、制御の対象となる対象客体を決定する過程と対象客体に対して適用される制御命令を決定する過程が共に遂行されるため、使用者が意図していないにもかかわらず、該当客体が所定の動作(すなわち、誤動作)を遂行するようになる場合が発生する可能性を顕著に低下させるようになる効果が達成される。
本発明の一実施例により客体の制御を支援するための全体システムの構成を例示的に示す図面。 本発明の一実施例により客体の制御支援システムの内部構成を例示的に示す図面。 本発明の一実施例により対象空間内に制御可能な多様な客体が存在する状況を例示的に示す図面。 本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。 本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。 本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。 本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。 本発明の一実施例により使用者がベクター制御手段を利用して行う操作により制御ベクターが特定される構成を例示的に示す図面。 本発明の一実施例により使用者がベクター制御手段を利用して行う操作により制御ベクターが特定される構成を例示的に示す図面。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は当業者が本発明を実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造および特性は、一実施例に関連して本発明の精神および範囲を逸脱することなく他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置または配置は、本発明の精神および範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味のものではなく、本発明の範囲は、適切に説明されるのであれば、その請求項が主張するものと均等なすべての範囲とともに添付された請求項によってのみ限定される。図面で類似の参照符号は多様な側面にかけて同一または類似する機能を指し示す。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明する。
全体システムの構成
図1は、本発明の一実施例により客体の制御を支援するための全体システムの構成を例示的に示す図面である。
図1に図示された通り、本発明の一実施例に係る全体システムは、通信網100、客体制御支援システム200および客体300を含んで構成され得る。
まず、本発明の一実施例に係る通信網100は有線通信や無線通信のような通信の形態を問わずに構成され得、近距離通信網(LAN;Local Area Network)、都市圏通信網(MAN;Metropolitan Area Network)、広域通信網(WAN;Wide Area Network)等の多様な通信網で構成され得る。好ましくは、本明細書で言う通信網100は公知のインターネットまたはワールドワイドウェブ(WWW;World Wide Web)であり得る。しかし、通信網100はこれに限定される必要はなく、公知の有無線データ通信網、公知の電話網または公知の有無線テレビ通信網を、その少なくとも一部において含んでもよい。
例えば、通信網100は無線データ通信網であって、無線周波数(RF;Radio Frequency)通信、Wi-Fi(WiFi)通信、セルラー(LTEなど)通信、ブルートゥース(登録商標)(通信さらに具体的には、低電力ブルートゥース(登録商標)(BLE;Bluetooth(登録商標) Low Energy))、赤外線通信、超音波通信などのような従来の通信方法を、少なくともその一部分において具現するものであり得る。他の例として、通信網100は光通信網であって、ライパイ(LiFi(Light Fidelity))通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。
次いで、本発明の一実施例に係る客体の制御支援システム200は、メモリー手段を具備し、マイクロ・プロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような客体の制御支援システム200はサーバーシステムであり得る。
このために、客体の制御支援システム200は、下記で詳述されるように、使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定し、制御ベクターによって指示される客体を使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行し、マッピングによって特定される制御座標を参照して対象客体に対して適用される制御命令を決定することによって、使用者が制御ベクターを生成(または特定)するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようにする機能を遂行することができる。客体の制御支援システム200の機能については下記でより詳察することにする。
一方、客体の制御支援システム200について前記のように説明したが、このような説明は例示的なものであり、客体の制御支援システム200に要求される機能や構成要素の少なくとも一部が必要に応じて制御の対象となる客体300(すなわち、デバイス)または外部システム(図示されず)内で実現されたり、客体300または外部システム(図示されず)内に含まれてもよいことは、当業者に自明である。
次いで、本発明の一実施例によると、客体300は使用者のジェスチャーまたは操作によって制御され得る対象としての機能を遂行することができる。すなわち、本発明の一実施例によると、客体300は客体の制御支援システム200、他の客体300または外部システム(図示されず)から使用者のジェスチャーまたは操作による制御命令を受信し、前記受信される制御命令により自分の動作または機能が制御されるようにすることができる。本発明の一実施例によると、客体300は実世界に存在する実物客体であり得、仮想現実に存在するか実世界に対して拡張(augmented)、混合(mixed)または融合(merged)され得る仮想客体であり得る。
具体的には、本発明の一実施例に係る客体300は、客体の制御支援システム200、他の客体300または外部システム(図示されず)に接続してから通信できる機能を含むデバイスであり得、メモリー手段を具備し、マイクロ・プロセッサを搭載して演算能力を備えたデバイスであればいくらでも本発明に係る客体300として採択され得る。具体的には、本発明の一実施例によると、客体300はスマートグラス、スマートウォッチ、スマートバンド、スマートリング、ネックレスなどのようなウェアラブルデバイスやスマートフォン、スマートパッド、デスクトップコンピュータ、ノートパソコン、ワークステーション、PDA、ウェブパッド、移動電話機などのような少々伝統的なデバイスであり得る。また、本発明の一実施例によると、客体300は、TV、スピーカー、電灯、エアコン、加湿器、タンス、窓、ブラインドなどのようなIoT(Internet of Things)デバイスであり得る。
また、本発明の一実施例に係る客体300は、客体の制御支援システム200、他の客体300または外部システム(図示されず)と通信できる機能が備えられていないかメモリー手段またはマイクロ・プロセッサが備えられていないまま、実世界で所定の物理的な位置を有する一般的な事物でもよい。例えば、温度計、写真、絵、人形、鏡のような一般的な事物が本発明の一実施例に係る客体300として採択され得る。
一方、本発明の一実施例によると、デバイスである客体300には本発明に係る機能を遂行するためのアプリケーションプログラムがさらに含まれていてもよい。このようなアプリケーションは該当デバイス内でプログラムモジュールの形態で存在し得る。このようなプログラムモジュールの性格は、前述したような客体の制御支援システム200の空間情報管理部210および客体制御管理部220と全般的に類似し得る。ここで、アプリケーションはその少なくとも一部が、必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置に置換されてもよい。
客体の制御支援システムの構成
以下では、本発明の具現のために重要な機能を遂行する客体の制御支援システム200の内部構成および各構成要素の機能について詳察する。
図2は、本発明の一実施例に係る客体の制御支援システムの内部構成を例示的に示す図面である。
図2を参照すると、本発明の一実施例に係る客体制御支援システム200は、空間情報管理部210、客体制御管理部220、データベース230、通信部240および制御部250を含むことができる。本発明の一実施例によると、空間情報管理部210、客体制御管理部220、データベース230、通信部240および制御部250は、そのうち少なくとも一部が外部システム(図示されず)と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、アプリケーションモジュールおよびその他プログラムモジュールの形態で客体の制御支援システム200に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは客体の制御支援システム200と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは、本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。
一方、客体の制御支援システム200について前記のように説明したが、このような説明は例示的なものであって、客体の制御支援システム200の構成要素または機能のうち少なくとも一部が、必要に応じて制御の対象となる客体300(例えば、IoTデバイスなど)または外部システム(図示されず)内で具現されたり、客体300または外部システム(図示されず)内に含まれてもよいことは、当業者に自明である。場合によっては、客体の制御支援システム200のすべての機能とすべての構成要素が客体300または外部システム(図示されず)内で全部実行されるか客体300または外部システム(図示されず)内に全部含まれてもよい。
まず、本発明の一実施例によると、空間情報管理部210は、使用者が所定のジェスチャーまたは操作を行うことによって周辺空間(以下、「対象空間」という)に存在する多様な客体を制御するために必要な空間情報を獲得する機能を遂行することができる。
具体的には、本発明の一実施例に係る空間情報管理部210は、対象空間に存在する少なくとも一つの使用者および客体を識別するために必要な情報を獲得することができる。例えば、使用者の識別子、優位眼などに関する情報と客体の識別子、属性、動作状態、通信手段などに関する情報が獲得され得る。
また、本発明の一実施例に係る空間情報管理部210は、対象空間に存在する少なくとも一つの使用者および客体の位置および姿勢を特定するために必要な情報を獲得することができる。例えば、対象空間を基準として定義される実世界(real world)座標系で特定される使用者(より具体的には、使用者の優位眼および使用者が客体に重なって見えるようにする身体部位)の位置および姿勢に関する情報と実世界の座標系で特定される客体300の位置および姿勢に関する情報が獲得され得る。
一方、本発明の一実施例によると、前記のように獲得される空間情報は、所定の時間を周期としてリアルタイムに更新されるか、使用者または客体300の位置または姿勢が変化するなどのイベントが発生することによって動的に更新され得る。
図3は、本発明の一実施例により対象空間内に制御可能な多様な客体が存在する状況を例示的に示す図面である。
図3を参照すると、本発明の一実施例に係る空間情報管理部210は、使用者が対象空間350内に存在する客体を特定するか客体の動作または機能を制御するためにジェスチャーまたは操作を行うにおいて、基準とすることができる0次元の点、1次元の線、2次元領域または3次元空間を該当客体の属性を参照して設定することができる。例えば、ボタンを押したりダイヤルを回す操作が加えられる属性を有する照明301、306、スピーカー304、305、鏡302、加湿器303、エアコン307等の客体については基準点301A~307Aが設定され得、上下または左右方向にスライディングする操作が加えられる属性を有するブラインド308、タンス309、窓310等の客体については基準線308A~310Aが設定され得、2次元画面についての操作が加えられる属性を有するTV311等の客体については2次元基準領域311Aが設定され得、3次元空間を基準として操作が加えられる属性を有する拡張現実客体312等の客体については3次元基準空間312Aが設定され得る。
一方、本発明の一実施例に係る空間情報管理部210は、客体の属性を参照して客体基準座標系を定義することができる。例えば、ボタンを押したりダイヤルを回す操作が加えられる属性を有する照明301、306、スピーカー304、305、鏡302、加湿器303、エアコン307等の客体については、該当客体の基準点301A~307Aを原点とする0次元の客体基準座標系が定義され得る。他の例として、上下または左右方向にスライディングする操作が加えられる属性を有するブラインド308、タンス309、窓310等の客体については、該当客体の基準線308A~310Aを軸とする1次元の客体基準座標系が定義され得る。さらに他の例として、2次元画面について、点、線または領域を特定する操作が加えられる属性を有するTV311等の客体については、該当客体の2次元基準領域311Aに対応する2次元客体基準座標系が定義され得る。さらに他の例として、所定の3次元空間を基準として操作が加えられる属性を有する拡張現実客体312等の客体については、該当客体の3次元基準空間312Aに対応する3次元客体基準座標系が定義され得る。
次いで、本発明の一実施例に係る客体制御管理部220は、使用者が自分の視点から見る時、自分の指先などの身体部位を自分が制御しようとする対象客体と対応させる(すなわち、重なって見えるようにする)動作を行うことによって自分が制御しようとする対象客体を特定できるようにすることができる。
また、本発明の一実施例に係る客体制御管理部220は、使用者が対象客体と重なって見えるようにしている指先などの身体部位を利用して対象客体の属性に符合するジェスチャーを行ったり、リモコン、レーザーポインタなどのベクター制御手段を利用して客体の属性に符合する操作を行うことによって対象客体の動作または機能を制御できるようにすることができる。
以下では、本発明の一実施例に係る客体制御管理部220の動作について詳察する。
まず、本発明の一実施例によると、客体制御管理部220は、使用者が行うジェスチャーに対応する制御ベクター(vector)を実世界の座標系で特定することができる。ここで、本発明の一実施例によると、使用者が自分の視点から見る時、自分の指先を自分が制御しようとする客体と重なって見えるようにするジェスチャーを取る場合に、前記ジェスチャーに対応する制御ベクターは使用者の目(より正確には、優位眼)の位置を始点とし、使用者の指先の位置を終点とするベクターとして特定され得る。
また、本発明の一実施例によると、客体制御管理部220は、使用者が行う操作に対応する制御ベクター(vector)を実世界の座標系で特定することができる。ここで、本発明の一実施例によると、使用者がリモコン、レーザーポインタなどのベクター制御手段を利用して自分が制御しようとする客体を指示する操作を行う場合に、前記のジェスチャーに対応する制御ベクターは使用者操作の対象となるベクター制御手段の姿勢またはベクター制御手段によって発生する制御信号の方向に基づいて特定され得る。例えば、本発明の一実施例に係る制御ベクターは、ベクター制御手段の姿勢を特定するベクター制御手段上の二点を連結するベクターであり得、ベクター制御手段の姿勢を定義する軸に該当するベクターであり得、ベクター制御手段によって発生する指示信号(レーザーポインタのレーザー信号、リモコンの赤外線(IR)信号など)の方向に該当するベクターであり得、ベクター制御手段で指示信号を発生させる信号発生部の位置に該当する点とベクター制御手段上の所定の基準点(信号発生部の反対側に位置し得る)を連結するベクターであり得る。
次いで、本発明の一実施例によると、客体制御管理部220は、対象空間内で使用者のジェスチャーまたは操作に対応して特定される制御ベクターによって指示される客体を、該当使用者のジェスチャーまたは操作により制御される対象客体として決定することができる。
具体的には、本発明の一実施例に係る客体制御管理部220は、使用者および客体に関する空間情報を参照して、対象空間内で制御ベクターによって指示される客体を対象客体として決定することができる。より具体的には、本発明の一実施例に係る客体制御管理部220は、対象空間内で制御ベクターまたは制御ベクターの延長線と交差するか近接する客体を対象客体として決定することができる。換言すれば、本発明の一実施例によると、対象客体が制御ベクターまたは制御ベクターの延長線と必ずしも交差する必要はなく、制御ベクターと制御ベクターの始点から客体の基準点への基準ベクターの間の角(すなわち、誤差角)が既設定された水準以下である場合にも、該当客体を制御ベクターによって指示される客体(すなわち、対象客体)であるものとして決定することができる。
次いで、本発明の一実施例によると、客体制御管理部220は、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行できる。
次いで、本発明の一実施例によると、客体制御管理部220は、前記マッピングによって特定される制御座標の値を参照して対象客体に対して適用される制御命令を決定することができる。
図4~図7は、本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面である。
まず、図4を参照すると、使用者のジェスチャーによりエアコン307の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部220は、使用者の目(すなわち、優位眼)410の位置を始点とし、使用者の指先420の位置を終点とする制御ベクター430(または制御ベクターの430の延長線)によって指示されるエアコン307を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター430がエアコン307の基準点307Aを正確に示さなくても、制御ベクター430が制御ベクター430の始点410からエアコン307の基準点307Aへの基準ベクター(図示されず)と対比して許容される誤差範囲460(すなわち、誤差角度範囲)内に含まれると、エアコン307を制御ベクター430によって指示される対象客体であるものとして決定することができる。
続けて、図4を参照すると、本発明の一実施例に係る客体制御管理部220は、対象客体であるエアコン307の属性に基づいて定義される0次元のエアコンの基準座標系において、制御ベクター430の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター430の大きさ(以下、「大きさ」という)およびエアコン307の基準点307Aを中心とした制御ベクター430の回転角470(以下、「回転角」という)によって特定され得る。
続けて、図4を参照すると、本発明の一実施例に係る客体制御管理部220は、前記特定される制御座標を参照してエアコン307に対して適用される制御命令を決定することができる。
例えば、使用者が自分の視点から見る時、自分の指先420をエアコン307の基準点307Aに対応させた状態でエアコン307に近い方向に指先を移動させるジェスチャーを行うことによって実世界の座標系で制御ベクター430が特定されると、前記制御ベクター430がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値が決定され得、前記決定される制御座標の大きさ値に基づいてエアコンの電源がオンとなるかオフとなり得る。
他の例として、使用者が自分の視点から見る時、自分の指先420がエアコン307の基準点307Aを中心として時計回り方向または反時計回り方向に回転させるジェスチャーを行うことによって実世界の座標系で制御ベクターが特定されると、前記制御ベクター430がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の回転角値が決定され得、前記決定される制御座標の回転角値に基づいてエアコン307の設定温度または風量が調節され得る。
さらに他の例として、使用者が自分の視点から見る時、自分の指先420をエアコン307の基準点307Aの右側領域(例えば、誤差角が3~6度で回転角が45~135度である領域など)に対応させた状態でエアコン307の基準点307Aの右側方向に指先を移動させるジェスチャー(すなわち、エアコン307の右側領域をタブするジェスチャー(Right Tab))を行うことによって実世界の座標系で制御ベクター430が特定されると、前記制御ベクター430がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン307の風量が調節され得る。
さらに他の例として、使用者が自分の視点から見る時、自分の指先420がエアコン307の基準点307Aを基準として下側領域(例えば、誤差角が3~6度で回転角が135~225度である領域など)から上側領域(例えば、誤差角が3~6度で回転角315~45度である領域など)に移動するジェスチャー(すなわち、エアコン307を下から上へ払いのけるジェスチャー(Swipe))を行うことによって実世界の座標系で制御ベクター430が特定されると、前記制御ベクター430がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン307の風向きが調節され得る。
さらに他の例として、使用者が自分の視点から見る時、自分の指先420がエアコン307の基準点307Aを基準として右側領域(例えば、誤差角が3~6度で回転角が135~225度である領域など)から中心領域(例えば、誤差角が0~3度である領域)に移動するジェスチャー(すなわち、エアコン307の右側面をタブするジェスチャー(Right-side Tab))を行うことによって実世界の座標系で制御ベクター430が特定されると、前記制御ベクター430がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン307の動作モードが変更され得る。
次いで、図5を参照すると、使用者のジェスチャーによりブラインド308の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部220は、使用者の目(すなわち、優位眼)510の位置を始点とし、使用者の指先521、522の位置を終点とする制御ベクター531、532(または制御ベクターの531、532の延長線)によって指示されるブラインド308を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター531、532がブラインド308の基準線308Aを正確に示さなくても、制御ベクター531、532が制御ベクター531、532の始点510からブラインド308の基準線308Aへの基準ベクター(図示されず)と対比して許容される誤差範囲(すなわち、誤差角度範囲)内に含まれると、ブラインド308を制御ベクター531、532によって指示される対象客体であるものとして決定することができる。
続けて、図5を参照すると、本発明の一実施例に係る客体制御管理部220は、対象客体であるブラインド308の属性に基づいて定義される1次元のブラインド基準座標系で、制御ベクター531、532の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター531、532の大きさおよび制御ベクター531、532がブラインド308の基準線308Aと会うか最も近接する地点の1次元座標によって特定され得る。
続けて、図5を参照すると、本発明の一実施例に係る客体制御管理部220は、前記特定される制御座標を参照してブラインド308に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先521、522がブラインド308の基準線308Aに対応されて見える地点が相対的に上側に存在する地点541から相対的に下側に存在する地点542に移動するようにするジェスチャーを行うことによって実世界の座標系で制御ベクター531、532の方向が変化するようになると、前記制御ベクター531、532がブラインド基準座標系上の制御座標にマッピングされることによって制御座標の1次元座標値が変化され得、前記変化する1次元座標値に基づいてブラインド308が上がったり降りたりする動作または機能が遂行され得る。
次いで、図6を参照すると、使用者のジェスチャーによりTV311の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部220は、使用者の目(すなわち、優位眼)610の位置を始点とし、使用者の指先620の位置を終点とする制御ベクター630(または制御ベクターの630の延長線)によって指示されるTV311を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター630がTV311の基準領域311Aを正確に示さなくても、制御ベクター630が制御ベクター630の始点610からTV311の基準領域311Aへの基準ベクター(図示されず)と対比して許容される誤差範囲(すなわち、誤差角度範囲)内に含まれると、TV311を制御ベクター630によって指示される対象客体であるものとして決定することができる。
続けて、図6を参照すると、本発明の一実施例に係る客体制御管理部220は、対象客体であるTV311の属性に基づいて定義される2次元のTV基準座標系で、制御ベクター630の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター630の大きさおよび制御ベクター630がTV311の基準領域311Aと会うか最も近接する地点の2次元座標によって特定され得る。
続けて、図6を参照すると、本発明の一実施例に係る客体制御管理部220は、前記特定される制御座標を参照してTV311に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先620がTV311の基準領域311A内の左側上の上端付近のある地点640に対応されるようにするジェスチャーを行うことによって実世界の座標系で制御ベクター630の方向が特定されると、前記制御ベクター630がTV基準座標系上の制御座標にマッピングされることによって制御座標の2次元座標値が特定され得、前記特定される2次元座標値に基づいてTV311の表示画面のうち前記特定される2次元座標値に対応するピクセルに表示されるグラフィック要素が選択される動作または機能が遂行され得る。
次いで、図7を参照すると、使用者のジェスチャーにより人形に対する拡張現実客体312(すなわち、仮想客体)の動作または機能が制御される場合を仮定することができる。ここで、拡張現実客体312に関する視覚的な情報は、スマートフォン、タブレット、スマートグラス、プロジェクターなどのデバイスを通じて使用者に提供され得ることを明かしておく。このような場合に、本発明の一実施例に係る客体制御管理部220は、使用者の目(すなわち、優位眼)710の位置を始点とし、使用者の指先721、722、723の位置を終点とする制御ベクター731、732、733(または制御ベクターの731、732、733の延長線)によって指示される拡張現実客体312を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター731、732、733が拡張現実客体312の基準空間312Aを正確に示さなくても、制御ベクター731、732、733が制御ベクター731、732、733の始点710から拡張現実客体312の基準空間312Aへの基準ベクター(図示されず)と対比して許容される誤差範囲(すなわち、誤差角度範囲)内に含まれると、拡張現実客体312を制御ベクター731、732、733によって指示される対象客体であるものとして決定することができる。
続けて、図7を参照すると、本発明の一実施例に係る客体制御管理部220は、対象客体である拡張現実客体312の属性に基づいて定義される3次元の拡張現実客体基準座標系で、制御ベクター731、732、733の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター731、732、733の大きさおよび制御ベクター731、732、733が拡張現実客体312の基準空間308Aと会うか最も近接した地点の3次元座標によって特定され得る。
続けて、図7を参照すると、本発明の一実施例に係る客体制御管理部220は、前記特定される制御座標を参照して人形に対する拡張現実客体312に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先721、722、723が拡張現実客体312の基準空間312Aに対応されて見える地点がそれぞれ拡張現実客体312の耳部分741、顔部分742および足部分743となるようにするジェスチャーを行うことによって実世界の座標系で制御ベクター731、732、733の方向がそれぞれ特定されると、前記制御ベクター731、732、733が拡張現実客体基準座標系上の制御座標にマッピングされることによって制御座標の3次元座標値がそれぞれ特定され得、前記それぞれ特定される3次元座標値に基づいて拡張現実客体312の耳部分741、顔部分742および足部分743がそれぞれ選択される動作または機能が遂行され得る。
図4~図7において、使用者が行うジェスチャーに基づいて客体が制御される実施例について主に説明されたが、本発明は必ずしも図4~図7に例示された実施例に限定されるものではなく、本発明の目的を達成できる範囲内でいくらでも変更できることを明しておく。
他の例として、使用者がリモコン、レーザーポインタなどのベクター制御手段を利用して行う操作に対応する制御ベクターを特定し、前記特定される制御ベクターによって指示される対象客体を決定し、前記決定される対象客体の基準座標系で制御ベクターに対応する制御座標を特定するマッピングを遂行し、前記特定される制御座標を参照して対象客体に対して適用される制御命令を決定する実施例もいくらでも想定できるであろう。
図8および図9は、本発明の一実施例により使用者がベクター制御手段を利用して行う操作により制御ベクターが特定される構成を例示的に示す図面である。
図8および図9を参照すると、ベクター制御手段800、900で制御信号(リモコン800の赤外線信号またはレーザーポインタ900のレーザー信号)を発生させる信号発生部の位置に該当する点820、920とベクター制御手段800、900で信号発生部の反対側に位置する所定の基準点810、910を連結するベクターが制御ベクター830、930として特定され得る。
続けて、図8および図9を参照すると、前記のように特定される制御ベクター830、930または制御ベクターの延長線840、940によって指示される客体であるエアコン307が使用者の操作により制御される対象客体であるものとして決定され得る。
一方、本発明の一実施例によると、データベース230には、本発明に係る客体の制御が遂行される空間内に存在する使用者および客体に関する多様な空間情報が保存され得、客体の制御を遂行するにおいて導き出される制御ベクター、制御座標および制御命令に関する多様な情報が保存され得る。たとえば図2でデータベース230が客体制御支援システム200に含まれて構成されるものとして図示されているが、本発明を具現する当業者の必要に応じて、データベース230は客体制御支援システム200と別個に構成されてもよい。一方、本発明でのデータベース230は、コンピュータ読み取り可能な記録媒体を含む概念であって、狭義のデータベースだけでなくファイルシステムに基づいたデータ記録などを含む広義のデータベースでもよく、単なるログの集合であってもこれを検索してデータを抽出できるものであれば本発明でのデータベース230となり得る。
次いで、本発明の一実施例に係る通信部240は客体制御支援システム200が外部装置と通信できるようにする機能を遂行する。
最後に、本発明の一実施例に係る制御部250は、空間情報管理部210、客体制御管理部220、データベース230および通信部240間のデータの流れを制御する機能を遂行する。すなわち、制御部250は外部からのまたは客体制御支援システム200の各構成要素間のデータの流れを制御することによって、空間情報管理部210、客体制御管理部220、データベース230および通信部240でそれぞれ固有の機能を遂行するように制御する。
以上で説明された本発明に係る実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、非一過性のコンピュータ読み取り可能な記録媒体に記録され得る。前記非一過性のコンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一過性のコンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされていて使用可能なものでもよい。非一過性のコンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、およびROM、RAM、フラッシュメモリなどのようなプログラム命令語を保存し遂行するように、特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語のコードだけでなく、インタープリターなどを使ってコンピュータによって遂行され得る高級な言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同じである。
以上において本発明が、具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されず、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正および変形ができるはずである。
したがって、本発明の思想は前述された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等にまたは等価的に変形された全てのものは本発明の思想の範疇に属するものと言える。
100:使用者デバイス
200:客体制御支援システム
210:空間情報管理部
220:客体制御管理部
230:データベース
240:通信部
250:制御部

Claims (7)

  1. 客体の制御を支援するための方法であって、
    使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定する段階、
    前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定する段階、
    対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行する段階、および
    前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する段階を含み、
    前記対象客体基準座標系は、基準点により定義される0次元対象客体基準座標系、基準線により定義される1次元対象客体基準座標系、基準領域により定義される2次元対象客体基準座標系、及び、基準空間により定義される3次元対象客体基準座標系を含み、前記対象客体に加えられ得るジェスチャーまたは操作に関連した属性に応じて、前記基準点、前記基準線、前記基準領域及び前記基準空間のいずれか1つが選択的に設定され、設定された前記基準点、前記基準線、前記基準領域又は前記基準空間により、前記0次元対象客体基準座標系、前記1次元対象客体基準座標系、前記2次元対象客体基準座標系、及び前記3次元対象客体基準座標系のいずれか1つが前記対象客体に対して選択的に定義され、
    前記制御座標は、前記制御ベクターと前記基準点、前記基準線、前記基準領域または前記基準空間の間の関係に基づいて特定される方法。
  2. 前記制御ベクターは、前記使用者の目の位置を始点とし、前記使用者の他の身体部位の位置を終点とするベクターである、請求項1に記載の方法。
  3. 前記制御ベクターは、前記操作の対象となるベクター制御手段の姿勢または前記ベクター制御手段によって発生する制御信号の方向に基づいて特定されるベクターである、請求項1に記載の方法。
  4. 前記客体は、前記使用者の周辺に存在する実物客体であるか仮想客体である、請求項1に記載の方法。
  5. 前記対象客体決定段階において、
    前記使用者および前記客体に関する空間情報を参照して、前記実世界の座標系で前記制御ベクターまたは前記制御ベクターの延長線と交差するか最も近接する客体を前記対象客体として決定する、請求項1に記載の方法。
  6. 請求項1に記載された方法を遂行するためのコンピュータプログラムを記録した,非一過性のコンピュータ読み取り可能な記録媒体。
  7. 客体の制御を支援するためのシステムであって、
    使用者が行うジェスチャーまたは操作に対応する制御ベクター(vector)を実世界の座標系で特定し、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング(mapping)を遂行し、前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する客体制御管理部と、
    前記使用者および前記客体に関する空間情報を保存する空間情報管理部とを含み、
    前記対象客体基準座標系は、基準点により定義される0次元対象客体基準座標系、基準線により定義される1次元対象客体基準座標系、基準領域により定義される2次元対象客体基準座標系、及び、基準空間により定義される3次元対象客体基準座標系を含み、前記対象客体に加えられ得るジェスチャーまたは操作に関連した属性に応じて、前記基準点、前記基準線、前記基準領域及び前記基準空間のいずれか1つが選択的に設定され、設定された前記基準点、前記基準線、前記基準領域又は前記基準空間により、前記0次元対象客体基準座標系、前記1次元対象客体基準座標系、前記2次元対象客体基準座標系、及び前記3次元対象客体基準座標系のいずれか1つが前記対象客体に対して選択的に定義され、
    前記制御座標は、前記制御ベクターと前記基準点、前記基準線、前記基準領域または前記基準空間の間の関係に基づいて特定されるシステム。
JP2019521658A 2016-10-24 2017-10-24 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 Active JP7094280B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0138662 2016-10-24
KR1020160138662A KR101937823B1 (ko) 2016-10-24 2016-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
PCT/KR2017/011788 WO2018080142A1 (ko) 2016-10-24 2017-10-24 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2019536140A JP2019536140A (ja) 2019-12-12
JP7094280B2 true JP7094280B2 (ja) 2022-07-01

Family

ID=62023803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019521658A Active JP7094280B2 (ja) 2016-10-24 2017-10-24 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US10948995B2 (ja)
EP (1) EP3531242A4 (ja)
JP (1) JP7094280B2 (ja)
KR (1) KR101937823B1 (ja)
CN (1) CN109891370B (ja)
WO (1) WO2018080142A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP7091983B2 (ja) * 2018-10-01 2022-06-28 トヨタ自動車株式会社 機器制御装置
US11474690B2 (en) * 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
KR102477006B1 (ko) * 2020-08-14 2022-12-14 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114546210A (zh) * 2022-01-28 2022-05-27 联想(北京)有限公司 一种映射方法以及增强现实设备
US20230409122A1 (en) * 2022-06-21 2023-12-21 Apple Inc. Hand-Gesture Activation of Actionable Items

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184499A1 (en) 2011-07-11 2014-07-03 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069734A (ja) * 2003-08-20 2005-03-17 Tokyo Univ Of Marine Science & Technology 指さし行為による物体の空間位置の教示方法
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2006268209A (ja) * 2005-03-23 2006-10-05 Akinori Yoshino ユーザの身体動作による遠隔命令入力装置
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
JP5207513B2 (ja) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
CA2748037C (en) * 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
KR101585466B1 (ko) * 2009-06-01 2016-01-15 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
JP5256265B2 (ja) * 2010-09-17 2013-08-07 株式会社ソニー・コンピュータエンタテインメント コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101343748B1 (ko) * 2012-04-23 2014-01-08 주식회사 브이터치 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101334585B1 (ko) * 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101441882B1 (ko) * 2012-11-12 2014-09-22 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
WO2015008164A2 (en) * 2013-06-27 2015-01-22 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
JP6079614B2 (ja) * 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20160024272A (ko) * 2014-08-25 2016-03-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
KR101630153B1 (ko) * 2014-12-10 2016-06-24 현대자동차주식회사 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
PL411339A1 (pl) * 2015-02-23 2016-08-29 Samsung Electronics Polska Spółka Z Ograniczoną Odpowiedzialnością Sposób sterowania urządzeniem za pomocą gestów i system do sterowania urządzeniem za pomocą gestów
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
KR20170124104A (ko) * 2016-04-29 2017-11-09 주식회사 브이터치 동작-음성의 다중 모드 명령에 기반한 최적 제어 방법 및 이를 적용한 전자 장치
US10299032B2 (en) * 2017-09-11 2019-05-21 Apple Inc. Front port resonator for a speaker assembly
KR102463712B1 (ko) * 2017-11-24 2022-11-08 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184499A1 (en) 2011-07-11 2014-07-03 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device

Also Published As

Publication number Publication date
KR20180044757A (ko) 2018-05-03
US10948995B2 (en) 2021-03-16
KR101937823B1 (ko) 2019-01-14
EP3531242A1 (en) 2019-08-28
US20190250716A1 (en) 2019-08-15
WO2018080142A1 (ko) 2018-05-03
CN109891370B (zh) 2023-07-07
CN109891370A (zh) 2019-06-14
JP2019536140A (ja) 2019-12-12
EP3531242A4 (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP7094280B2 (ja) 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
US11157168B2 (en) Method and apparatus for controlling a plurality of internet of things devices
US20190129607A1 (en) Method and device for performing remote control
KR102471977B1 (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US10397643B2 (en) Electronic device for identifying peripheral apparatus and method thereof
US9329716B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US20130024819A1 (en) Systems and methods for gesture-based creation of interactive hotspots in a real world environment
JP6602045B2 (ja) ディスプレイを用いる入力処理方法及び装置
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
JP7062833B2 (ja) 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
Kang et al. Minuet: Multimodal interaction with an internet of things
US20140009407A1 (en) Display device including touchscreen and method for controlling the same
US20190035152A1 (en) Augmented reality sensor
KR20150092962A (ko) 입력 처리 방법 및 그 전자 장치
US20230066318A1 (en) Handcrafted augmented reality effort evidence
KR101968547B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20230062366A1 (en) Handcrafted augmented reality experiences
WO2024061163A1 (zh) 人机交互方法、显示方法、装置、设备
US11863963B2 (en) Augmented reality spatial audio experience
US20230066686A1 (en) Augmented reality prop interactions
US20230162450A1 (en) Connecting Spatially Distinct Settings
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
WO2024049597A1 (en) Virtual interfaces for controlling iot devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210604

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210604

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210614

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210615

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210625

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210629

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211012

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220104

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220125

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220510

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220607

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R150 Certificate of patent or registration of utility model

Ref document number: 7094280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150