JP6713445B2 - 触覚フィードバックを備えた拡張現実ユーザ・インタフェース - Google Patents
触覚フィードバックを備えた拡張現実ユーザ・インタフェース Download PDFInfo
- Publication number
- JP6713445B2 JP6713445B2 JP2017250980A JP2017250980A JP6713445B2 JP 6713445 B2 JP6713445 B2 JP 6713445B2 JP 2017250980 A JP2017250980 A JP 2017250980A JP 2017250980 A JP2017250980 A JP 2017250980A JP 6713445 B2 JP6713445 B2 JP 6713445B2
- Authority
- JP
- Japan
- Prior art keywords
- feedback
- augmented reality
- environment
- control signal
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003190 augmentative effect Effects 0.000 title claims description 109
- 238000004891 communication Methods 0.000 claims description 99
- 230000003993 interaction Effects 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000012790 confirmation Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 2
- 230000016776 visual perception Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 44
- 238000003860 storage Methods 0.000 description 35
- 230000004044 response Effects 0.000 description 33
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000956 alloy Substances 0.000 description 3
- 229910045601 alloy Inorganic materials 0.000 description 3
- 229920001746 electroactive polymer Polymers 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000002520 smart material Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 210000004905 finger nail Anatomy 0.000 description 2
- 108091008717 AR-A Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
スは、通信チャネルを介し、拡張現実デバイスに位置、方位またはその両方を提供するよう構成することができる。入力コンポーネントは、例えば、ボタン押し、ジェスチャ、および/または他の入力などの入力を受け取るよう構成することが可能である。この入力は、プロセッサによって通信チャネルを介して拡張現実デバイスに伝達することができる。
Resonant Actuator)、または、圧電物質、電気活性ポリマーまたは形
状合金などの「スマート材料」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および/または、触覚(例、振動触覚)フィードバックなどの物理的フィードバック提供する他の種類のアクチュエータなど、アクチュエータを含めることができる。触覚出力デバイスには、静電気摩擦(ESF:electrostatic friction)、超音波表面摩擦(USF:ultrasonic surface friction)を使うもの、または超音波触覚トランスデューサを使い音響放
射圧を誘導するもの、または触覚基板とフレキシブルまたは変形可能表面とを使うもの、またはエア・ジェットを用いたエア吐き出しなどの射出触覚出力を与えるものなど、非機
械的または非振動型のデバイスを含めることが可能である。視覚デバイスは、デバイスでの可視光など視覚フィードバックを生成するよう構成することができる。例えば、視覚フィードバックは、拡張現実環境中のイベントの発生を視覚的に示すことが可能である。
ンポーネントを含めることが可能である。通信ポートには、例えば本デバイスとの、通信チャネルの維持を可能にするためのインターフェースを含めることができる。カメラなどの撮像デバイスは、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、拡張現実デバイスの撮像デバイスには、カメラ、赤外線検出装置、および/または他の画像記録デバイスを含めることができる。プロセッサは、物理空間に合わさった拡張現実空間を生成するよう構成することができる。プロセッサは、物理空間中の少なくとも一つの物理オブジェクトを認識し、拡張現実空間において、一つ以上の仮想オブジェクトを使って該少なくとも一つの物理オブジェクトを拡張するよう構成することが可能である。プロセッサは、拡張現実環境内のイベントを判定し、有線または無線通信チャネルを介して、本デバイスにそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、本デバイスでフィードバックを生成させることができる。
130、位置/方位デバイス140、入力コンポーネント150、識別子デバイス160、および/または他のコンポーネントを含めることができる。後記で詳しく説明するように、いくつかの実施態様において、デバイス100は手袋、指ぬき、指輪、および/または身に着けられる他のデバイスを含み得る。いくつかの実施態様において、デバイス100は、タッチペン、ジョイスティック、携帯電話、ビデオ・ゲーム・コントローラ、および/またはARデバイス200と通信可能に連結できる他の携帯端末など、携帯端末として構成することが可能である。いくつかの実施態様において、デバイス100とARデバイス200とは、単一の物理デバイス中の別個のデバイスとすることもでき、単一の物理デバイスに組み込むことも可能である。
述した例に限定されない。
の物理オブジェクトを拡張するよう構成することが可能である。プロセッサ210は、AR環境内のイベントを判定し、有線または無線通信チャネル300を介して、デバイス100にそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、デバイス100においてフィードバックを生成させることができる。撮像デバイス220は、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、撮像デバイス220には、一つ以上のカメラ、赤外線検出装置、ビデオ・カメラ、および/または他の画像記録デバイスを含めることができる。通信ポート230には、例えば、デバイス100との通信チャネル300の維持を可能にするためのインターフェースを含めることができる。
、および/または、プロセッサ210の他のモジュールと、のうちの一つ以上に送信することができる。
理空間520中に存在する一つ以上の物理オブジェクト520a、520b、…、520nに一致してまたは関連付けて表示させ、これにより、AR環境500中の一つ以上の物理オブジェクト520a、520b、…、520nを拡張することができる。単一の仮想オブジェクト510aが、単一の物理オブジェクト520aを拡張することもあるいは複数の物理オブジェクト520a、520b、…、520nを拡張することも可能である。複数の仮想オブジェクト510a、510b、…、510nが、単一の物理オブジェクト520aを拡張することもあるいは複数の物理オブジェクト520a、520b、…、520nを拡張することも可能である。物理空間520中に存在する物理オブジェクト520a、520b、…、520nを拡張する仮想オブジェクト510a、510b、…、510nの数および種類は、上述の例には限定されない。
を行なえるように、受信情報を含めイベント・データをサーバ400に送信することができる。受信情報の一部または全部が、サーバ400のストレージに格納されているイベントに関連付けられている場合、サーバ400は、関連するイベントに関連する情報をイベント処理モジュール213に伝達することが可能である。イベント処理モジュール213は、受信情報および関連イベントに関連するデータ含むイベント・データを、制御信号生成モジュール214に送信することができる。受信情報が、サーバ400のストレージに格納されているイベントに関連付けられていない場合、サーバ400は、合致するものが見付からなかった旨を連絡することができる。
。この指標には、製品コード、QRコード、デバイス100に関連付けられた画像、および/またはデバイス100を識別するのに用いられる他の画像を含めることが可能である。ARデバイス200のプロセッサ210は、可聴署名、赤外線署名、および/またはデバイス100によって生成される他の署名を認識するよう構成することができる。これらの実施態様において、制御信号生成モジュール214が、デバイス100の認識を表すことが可能な制御信号を生成して、デバイス100で生成されるフィードバックがその認識を示すようにすることが可能である。
分を含む)には、プロセッサ、通信ポート、および/またはARデバイス200の他のコンポーネントを含めることができる。いくつかの実施態様において、眼鏡アーム210A,210Bには、プロセッサと、通信ポートと、および/またはARデバイス200の他のコンポーネントとのうちの一つ以上を含めることが可能である。他の構成も同様に用いることができる。
理し、データを送信し、および/または他の機能を提供するよう構成することが可能である。いくつかの実施態様において、サーバ400は、デバイス100のプロセッサ110から制御信号を受信するよう構成することができる。サーバ400のストレージには、複数の制御信号と複数のフィードバック応答とを含む、デバイス100のルックアップ・テーブルと類似または同じ仕方で構成可能な、ルックアップ・テーブルを含めることができる。このルックアップ・テーブルが当該制御信号に関連するエントリを含む場合、サーバ400は、フィードバック応答を含む情報をフィードバック制御モジュール111に伝達することが可能である。サーバ400のルックアップ・テーブルが制御信号に関連するエントリを含まない場合、サーバ400は、その制御信号に合致するものが見付からなかった旨を、フィードバック制御モジュール111に連絡することができる。いくつかの実施態様において、サーバ400は、デバイス100から受信したデータに関連する画像処理および/またはオブジェクト認識を実施することができる。
イス200、および/またはサーバ400と交信する他のデバイスとの通信チャネル300の維持を可能にするためのインターフェースを含めることができる。データおよび/または信号は、通信チャネル300、および/または、サーバ400がデータおよび/または信号を受信するための他の通信チャネル、を介して受信することが可能である。
きる。フィードバック制御モジュール111は、フィードバック・デバイス120に、デバイス100を介してフィードバックを提供させることが可能である。いくつかの実施態様において、フィードバック制御モジュール111は、フィードバック・デバイス120に制御信号を与えるように構成することができる。これの実施形態において、制御信号をフィードバック・デバイス120に直接印加してフィードバックを行わせることが可能である。いくつかの実施態様において、フィードバック制御モジュール111は、受信した制御信号に基づいてフィードバック応答を決めるよう構成することができる。フィードバック制御モジュール111は、一つ以上の種類のフィードバックと生成対象の指定フィードバックの種類の一つ以上のフィードバック信号とを含むフィードバック応答を提供することができる。フィードバック制御モジュール111は、フィードバック応答の指定フィードバック信号を生成し、そのフィードバック信号をそれら信号が対応するそれぞれのフィードバック・デバイス120に送信するよう構成することが可能である。
ト認識モジュール211から受信したデータをストレージ中に格納されたデータと比較して、そのデータがあるイベントと関連付けられているかどうかを判定することができる。受信した情報の一部または全部が、デバイス100の認識を含むイベントに関連している場合、イベント処理モジュール213は、受信情報およびデバイス100の認識に関連するデータを含むイベント・データを、制御信号生成モジュール214に送信することが可能である。制御信号生成モジュール214は、イベント処理モジュール213からイベント・データを受信し、デバイス100に送信するため、該イベント・データに基づいて制御信号を生成するよう構成することができる。
イス200(例えば、オブジェクト認識モジュール211、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)が、サービス100とAR環境500との間の相互作用を検出した場合、ARデバイス200(例えば、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)は、相互作用の検出に基づいて、デバイス100に送信するための制御信号を生成することが可能である。
ジュールまたはデバイスを含む)は、デバイス100および/またはARデバイス200に関連する情報を有するユーザ間の相互作用だけを検出することができる。いくつかの実施態様において、ARデバイス200(例えば、オブジェクト認識モジュール211、イベント処理モジュール213、制御信号生成モジュール214、および/またはARデバイス200の他のモジュールまたはデバイスを含む)は、任意のユーザとAR環境500との間の相互作用を検出することが可能である。
Claims (20)
- 拡張現実環境に基づいてフィードバックを提供するよう構成されたデバイスであって、
前記デバイスの遠隔に存在して前記拡張現実環境を生成する拡張現実デバイスから、前記拡張現実環境において生じているイベントを表す制御信号を受信するべく構成されたプロセッサと、
前記受信された制御信号に基づいてフィードバックを提供するべく構成されたフィードバック・デバイスと
を含み、
前記拡張現実環境は、物理空間に存在する複数の物理オブジェクトに一致してまたは関連付けて複数の仮想オブジェクトが表示される拡張現実空間を含み、
前記イベントは、前記デバイスと前記複数の仮想オブジェクトの一つ以上との相互作用を含み、
前記フィードバック・デバイスは、視覚フィードバックを提供するべく構成された視覚デバイスを含み、
前記視覚デバイスは、前記デバイスにおいて複数の視覚フィードバックを生成するべく構成され、
前記複数の視覚フィードバックは、前記複数の仮想オブジェクトそれぞれの一つ以上の特徴に対応するように互いに異なる、デバイス。 - 前記フィードバック・デバイスはさらに、触覚効果を提供するべく構成された触覚出力デバイス、または聴覚効果を提供するべく構成された聴覚デバイスを含む、請求項1に記載のデバイス。
- 前記フィードバック・デバイスは、触覚効果を生成するべく構成されたアクチュエータを含む、請求項1に記載のデバイス。
- 前記フィードバック・デバイスは、触覚効果を生成するべく構成された非機械的触覚出力デバイスを含む、請求項1に記載のデバイス。
- 前記イベントは、前記デバイスと前記拡張現実環境との相互作用、前記拡張現実環境に対して起きているアクションの確認、または前記デバイスが前記拡張現実デバイスによって認識されていることの確認を含む、請求項1に記載のデバイス。
- 前記拡張現実デバイスとの無線または有線通信チャネルを確立するべく構成された通信ポートをさらに含み、
前記制御信号は前記無線または有線通信チャネルを介して受信される、請求項1に記載のデバイス。 - 前記拡張現実デバイスに、前記無線または有線通信チャネルを介して、位置、方位、またはその両方を提供するべく構成された位置または方位デバイス、をさらに含む、請求項6に記載のデバイス。
- 入力を受け取るべく構成された入力コンポーネントをさらに含み、
前記プロセッサは、前記入力を前記無線または有線通信チャネルを介して前記拡張現実デバイスに伝達するべく構成される、請求項6に記載のデバイス。 - 前記デバイスの表面上に配置された拡張現実シンボルをさらに含み、
前記拡張現実シンボルは、前記拡張現実環境内での前記デバイスの方位を測定するために用いられる、請求項1に記載のデバイス。 - 前記拡張現実デバイスによって前記デバイスを識別するために用いられる識別指標を生成するべく構成された識別子デバイスをさらに含む、請求項1に記載のデバイス。
- 前記識別指標が光学署名または不可視の署名を含む、請求項10に記載のデバイス。
- 前記デバイスが指輪である、請求項1に記載のデバイス。
- 前記フィードバック・デバイスが前記指輪周りに配置された発光バンドを含む、請求項12に記載のデバイス。
- 拡張現実空間と物理空間とを含む拡張現実環境を生成するべく構成された拡張現実デバイスであって、
あるデバイスとの有線または無線通信チャネルを確立するべく構成された通信ポートと、
前記物理空間を画像化するべく構成された撮像デバイスと、
プロセッサと
を含み、
前記プロセッサは、
前記物理空間と合わさった前記拡張現実空間を生成し、
前記物理空間における少なくとも一つの物理オブジェクトを認識して、前記拡張現実空間における一つ以上の仮想オブジェクトを使って前記少なくとも一つの物理オブジェクトを拡張することと、
前記拡張現実環境におけるイベントを判定することと、
前記イベントを表す制御信号を、前記有線または無線通信チャネルを介して前記デバイスに伝達し、前記制御信号が前記デバイスにおいてフィードバックを生成させることと
を行うべく構成され、
前記デバイスは、前記制御信号に基づいてフィードバックを提供するべく構成されたフィードバック・デバイスを含み、
前記拡張現実環境は、前記物理空間に存在する複数の物理オブジェクトに一致してまたは関連付けて複数の仮想オブジェクトが表示される拡張現実空間を含み、
前記イベントは、前記デバイスと前記複数の仮想オブジェクトの一つ以上との間の相互作用を含み、
前記フィードバック・デバイスは、視覚フィードバックを提供するべく構成された視覚デバイスを含み、
前記視覚デバイスは、前記デバイスにおいて複数の視覚フィードバックを生成するべく構成され、
前記複数の視覚フィードバックは、前記複数の仮想オブジェクトそれぞれの一つ以上の特徴に対応するように互いに異なる、拡張現実デバイス。 - 前記プロセッサは、前記デバイスが前記撮像デバイスの視界内且つ前記物理空間内で移動されるとき、前記デバイスを認識するべく構成される、請求項14に記載の拡張現実デバイス。
- 前記制御信号が、前記デバイスの前記認識を表し、前記デバイスで生成される前記フィードバックが前記認識を示すようにする、請求項15に記載の拡張現実デバイス。
- 前記プロセッサが、
前記デバイスから、前記デバイスの位置、前記デバイスの方位、または前記デバイスの前記位置および前記デバイスの前記方位の両方を受信することと、
前記デバイスの前記受信された位置、前記デバイスの前記受信された方位、または前記受信された方位および前記受信された位置の両方に基づいて、前記拡張現実環境内の前記デバイスの前記位置、前記デバイスの前記方位、または前記デバイスの前記位置および前記方位の両方を測定することと、
を行うべく構成される、請求項16に記載の拡張現実デバイス。 - 前記プロセッサが、前記少なくとも一つの物理オブジェクトと前記デバイスとの間の距離を顧慮せずに、前記デバイスを前記拡張現実環境内に位置付けるべく構成される、請求項14に記載の拡張現実デバイス。
- 前記拡張現実デバイスが眼鏡である、請求項14に記載の拡張現実デバイス。
- 前記拡張現実環境が前記眼鏡のレンズを介して伝えられる、請求項19に記載の拡張現実デバイス。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/741,826 US20140198130A1 (en) | 2013-01-15 | 2013-01-15 | Augmented reality user interface with haptic feedback |
US13/741,826 | 2013-01-15 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Division JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018073433A JP2018073433A (ja) | 2018-05-10 |
JP6713445B2 true JP6713445B2 (ja) | 2020-06-24 |
Family
ID=49958279
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Expired - Fee Related JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
JP2017250980A Expired - Fee Related JP6713445B2 (ja) | 2013-01-15 | 2017-12-27 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014001010A Expired - Fee Related JP6271256B2 (ja) | 2013-01-15 | 2014-01-07 | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140198130A1 (ja) |
EP (1) | EP2755113A3 (ja) |
JP (2) | JP6271256B2 (ja) |
KR (1) | KR20140092267A (ja) |
CN (2) | CN110262666A (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101661368B1 (ko) | 2008-07-15 | 2016-09-29 | 임머숀 코퍼레이션 | 햅틱 메시지 송신을 위한 시스템 및 방법 |
WO2012177719A2 (en) * | 2011-06-21 | 2012-12-27 | Northwestern University | Touch interface device and method for applying lateral forces on a human appendage |
US9041647B2 (en) | 2013-03-15 | 2015-05-26 | Immersion Corporation | User interface device provided with surface haptic sensations |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
EP3940509A1 (en) * | 2014-10-31 | 2022-01-19 | Sony Group Corporation | Electronic device and feedback providing method |
CN107004044A (zh) * | 2014-11-18 | 2017-08-01 | 皇家飞利浦有限公司 | 增强现实设备的用户引导系统和方法、使用 |
US9846484B2 (en) * | 2014-12-04 | 2017-12-19 | Immersion Corporation | Systems and methods for controlling haptic signals |
CN105739671A (zh) * | 2014-12-08 | 2016-07-06 | 北京蚁视科技有限公司 | 一种振动反馈装置及含有该装置的近眼显示器 |
CN107209582A (zh) * | 2014-12-16 | 2017-09-26 | 肖泉 | 高直观性人机界面的方法和装置 |
US20160189427A1 (en) * | 2014-12-31 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications |
US10921896B2 (en) | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
WO2017043400A1 (ja) * | 2015-09-08 | 2017-03-16 | ソニー株式会社 | 情報処理装置、方法およびコンピュータプログラム |
US9857874B2 (en) * | 2015-11-03 | 2018-01-02 | Chunghwa Picture Tubes, Ltd. | Augmented reality system and augmented reality interaction method |
WO2017127128A1 (en) * | 2016-01-22 | 2017-07-27 | Elwha Llc | Feedback for enhanced situational awareness |
US20210385299A1 (en) * | 2016-01-25 | 2021-12-09 | Hiscene Information Technology Co., Ltd | Method and apparatus for augmented reality interaction and presentation |
CN106997235B (zh) * | 2016-01-25 | 2018-07-13 | 亮风台(上海)信息科技有限公司 | 用于实现增强现实交互和展示的方法、设备 |
DE102016113060A1 (de) | 2016-07-15 | 2018-01-18 | Beckhoff Automation Gmbh | Verfahren zum Steuern eines Objekts |
KR20180019270A (ko) * | 2016-08-16 | 2018-02-26 | (주)알비케이이엠디 | 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스 |
US10427039B2 (en) * | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
US10019875B1 (en) * | 2016-12-30 | 2018-07-10 | Immersion Corporation | Inertial haptic actuators having a cantilevered beam and a smart material |
WO2018175257A1 (en) | 2017-03-21 | 2018-09-27 | Pcms Holdings, Inc. | Method and system for the detection and augmentation of tactile interactions in augmented reality |
EP3635520A4 (en) * | 2017-06-08 | 2021-05-19 | Honeywell International Inc. | APPARATUS AND METHOD FOR RECORDING AND REPLAYING INTERACTIVE AUGMENTED / VIRTUAL REALITY CONTENT IN INDUSTRIAL AUTOMATION SYSTEMS AND OTHER SYSTEMS |
CN109147001A (zh) * | 2017-06-19 | 2019-01-04 | 亮风台(上海)信息科技有限公司 | 一种用于呈现虚拟指甲的方法与设备 |
KR102364678B1 (ko) * | 2017-06-20 | 2022-02-18 | 엘지전자 주식회사 | 이동 단말기 |
CN107422942A (zh) * | 2017-08-15 | 2017-12-01 | 吴金河 | 一种沉浸式体验的控制系统及方法 |
US20190155387A1 (en) * | 2017-11-22 | 2019-05-23 | Immersion Corporation | Haptic Accessory Apparatus |
JP6453501B1 (ja) * | 2018-02-01 | 2019-01-16 | 株式会社Cygames | 複合現実システム、プログラム、方法、及び携帯端末装置 |
US10572016B2 (en) * | 2018-03-06 | 2020-02-25 | Microsoft Technology Licensing, Llc | Spatialized haptic device force feedback |
US20190324538A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment |
US11270597B2 (en) | 2018-05-01 | 2022-03-08 | Codescribe Llc | Simulated reality technologies for enhanced medical protocol training |
US11875693B2 (en) | 2018-05-01 | 2024-01-16 | Codescribe Corporation | Simulated reality technologies for enhanced medical protocol training |
EP3599538B1 (en) * | 2018-07-24 | 2023-07-19 | Nokia Technologies Oy | Method and apparatus for adding interactive objects to a virtual reality environment |
CN110928472B (zh) * | 2018-09-19 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 物品处理方法、装置及电子设备 |
KR20200033388A (ko) * | 2018-09-20 | 2020-03-30 | (주)리얼감 | 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체 |
CN109917911B (zh) * | 2019-02-20 | 2021-12-28 | 西北工业大学 | 一种基于信息物理交互的振动触觉反馈装置设计方法 |
US10852827B1 (en) | 2019-03-25 | 2020-12-01 | Facebook Technologies, Llc | Tactile simulation of initial contact with virtual objects |
CN110442233B (zh) * | 2019-06-18 | 2020-12-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠系统 |
KR102467436B1 (ko) * | 2020-11-13 | 2022-11-16 | (주)에이트원 | 산업 안전 가상 훈련 시스템 및 그 방법 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1758156A (en) * | 1928-12-27 | 1930-05-13 | Frederick W Huber | Method and means for cementing oil wells |
JP2002082751A (ja) * | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
EP2793101A3 (en) * | 2001-11-01 | 2015-04-29 | Immersion Corporation | Method and apparatus for providing tactile feedback sensations |
JP2003316493A (ja) * | 2002-04-19 | 2003-11-07 | Seiko Epson Corp | 触覚提示装置 |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
US20060017654A1 (en) * | 2004-07-23 | 2006-01-26 | Romo Justin R | Virtual reality interactivity system and method |
US7812815B2 (en) * | 2005-01-25 | 2010-10-12 | The Broad of Trustees of the University of Illinois | Compact haptic and augmented virtual reality system |
JP4926799B2 (ja) * | 2006-10-23 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
CA2699844A1 (en) * | 2007-08-19 | 2009-02-26 | Ringbow Ltd. | Finger-worn devices and related methods of use |
JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
US20090289955A1 (en) * | 2008-05-22 | 2009-11-26 | Yahoo! Inc. | Reality overlay device |
JP5344388B2 (ja) * | 2008-07-10 | 2013-11-20 | 学校法人立命館 | 操作システム |
US8747116B2 (en) * | 2008-08-21 | 2014-06-10 | Lincoln Global, Inc. | System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback |
CN102203695B (zh) * | 2008-10-27 | 2015-09-02 | 索尼电脑娱乐公司 | 用于传送视觉信息的控制设备 |
US9978288B2 (en) * | 2009-02-13 | 2018-05-22 | University Of Florida Research Foundation, Inc. | Communication and skills training using interactive virtual humans |
US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
US8542105B2 (en) * | 2009-11-24 | 2013-09-24 | Immersion Corporation | Handheld computer interface with haptic feedback |
US8633916B2 (en) * | 2009-12-10 | 2014-01-21 | Apple, Inc. | Touch pad with force sensors and actuator feedback |
CN101819462B (zh) * | 2010-03-12 | 2011-07-20 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现系统 |
US20110310227A1 (en) * | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
JP6316186B2 (ja) * | 2011-05-06 | 2018-04-25 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 広範囲同時遠隔ディジタル提示世界 |
US20130002425A1 (en) * | 2011-07-01 | 2013-01-03 | General Electric Company | Augmented reality excessive noise display and warning system |
US20130265300A1 (en) * | 2011-07-03 | 2013-10-10 | Neorai Vardi | Computer device in form of wearable glasses and user interface thereof |
CN106484115B (zh) * | 2011-10-28 | 2019-04-19 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
-
2013
- 2013-01-15 US US13/741,826 patent/US20140198130A1/en not_active Abandoned
-
2014
- 2014-01-07 JP JP2014001010A patent/JP6271256B2/ja not_active Expired - Fee Related
- 2014-01-15 KR KR1020140005006A patent/KR20140092267A/ko not_active Application Discontinuation
- 2014-01-15 EP EP14151258.2A patent/EP2755113A3/en not_active Ceased
- 2014-01-15 CN CN201910688902.1A patent/CN110262666A/zh active Pending
- 2014-01-15 CN CN201410018078.6A patent/CN103970265B/zh not_active Expired - Fee Related
-
2017
- 2017-12-27 JP JP2017250980A patent/JP6713445B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014139784A (ja) | 2014-07-31 |
CN103970265B (zh) | 2019-08-23 |
KR20140092267A (ko) | 2014-07-23 |
CN103970265A (zh) | 2014-08-06 |
EP2755113A3 (en) | 2016-12-28 |
EP2755113A2 (en) | 2014-07-16 |
CN110262666A (zh) | 2019-09-20 |
US20140198130A1 (en) | 2014-07-17 |
JP2018073433A (ja) | 2018-05-10 |
JP6271256B2 (ja) | 2018-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6713445B2 (ja) | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース | |
US10269222B2 (en) | System with wearable device and haptic output device | |
US11045725B1 (en) | Controller visualization in virtual and augmented reality environments | |
US10395116B2 (en) | Dynamically created and updated indoor positioning map | |
CN110018736B (zh) | 人工现实中的经由近眼显示器界面的对象增强 | |
CN110488974B (zh) | 用于提供虚拟输入界面的方法和可穿戴装置 | |
US20160180594A1 (en) | Augmented display and user input device | |
US20150109197A1 (en) | Information processing apparatus, information processing method, and program | |
US10896545B1 (en) | Near eye display interface for artificial reality applications | |
CN111857365B (zh) | 用于头戴式设备的基于触笔的输入 | |
KR20150028733A (ko) | 자동 원격 감지 및 햅틱 변환 시스템 | |
CN104298340A (zh) | 控制方法和电子设备 | |
KR102360176B1 (ko) | 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 | |
CN110968190B (zh) | 用于触摸检测的imu | |
WO2016138509A1 (en) | Controller visualization in virtual and augmented reality environments | |
JP2023531849A (ja) | オーディオ認識を行う拡張現実デバイスおよびその制御方法 | |
KR102118434B1 (ko) | 모바일 디바이스 및 그 제어 방법 | |
WO2024049463A1 (en) | Virtual keyboard | |
KR20170093057A (ko) | 미디어 중심의 웨어러블 전자 기기를 위한 손 제스쳐 명령의 처리 방법 및 장치 | |
KR20160027813A (ko) | 글래스형 단말기 | |
KR20240028897A (ko) | HMD(head mounted display) 장치에서 가상키보드를 표시하는 방법 및 장치 | |
CN116204060A (zh) | 鼠标指针基于手势的移动和操纵 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190415 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190827 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6713445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |