JP7277064B2 - 空間的3d環境に対するコンテンツのマッチング - Google Patents
空間的3d環境に対するコンテンツのマッチング Download PDFInfo
- Publication number
- JP7277064B2 JP7277064B2 JP2022143449A JP2022143449A JP7277064B2 JP 7277064 B2 JP7277064 B2 JP 7277064B2 JP 2022143449 A JP2022143449 A JP 2022143449A JP 2022143449 A JP2022143449 A JP 2022143449A JP 7277064 B2 JP7277064 B2 JP 7277064B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- user
- elements
- content element
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 257
- 238000013507 mapping Methods 0.000 claims description 46
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 description 80
- 210000003128 head Anatomy 0.000 description 72
- 230000008569 process Effects 0.000 description 71
- 239000013598 vector Substances 0.000 description 51
- 238000009877 rendering Methods 0.000 description 44
- 230000007613 environmental effect Effects 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 15
- 230000004044 response Effects 0.000 description 13
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000002085 persistent effect Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000001976 improved effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000011449 brick Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 235000013570 smoothie Nutrition 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000386 athletic effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000004441 surface measurement Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010027646 Miosis Diseases 0.000 description 1
- 208000006550 Mydriasis Diseases 0.000 description 1
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 208000018747 cerebellar ataxia with neuropathy and bilateral vestibular areflexia syndrome Diseases 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003547 miosis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- PGSADBUBUOPOJS-UHFFFAOYSA-N neutral red Chemical compound Cl.C1=C(C)C(N)=CC2=NC3=CC(N(C)C)=CC=C3N=C21 PGSADBUBUOPOJS-UHFFFAOYSA-N 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
- H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Description
本発明は、例えば、以下を提供する。
(項目1)
方法であって、
コンテンツを受信することと、
前記コンテンツ内の1つ以上の要素を識別することと、
1つ以上の表面を決定することと、
前記1つ以上の要素を前記1つ以上の表面にマッチングさせることと、
前記1つ以上の要素を仮想コンテンツとして前記1つ以上の表面上に表示することと
を含む、方法。
(項目2)
前記コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも1つを含む、項目1に記載の方法。
(項目3)
前記1つ以上の要素を識別することは、前記コンテンツを解析し、前記1つ以上の要素を識別することを含む、項目1に記載の方法。
(項目4)
前記1つ以上の要素を識別することは、前記1つ以上の要素毎に、1つ以上の属性を決定することを含む、項目1に記載の方法。
(項目5)
前記1つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも1つを含む、項目4に記載の方法。
(項目6)
前記1つ以上の要素毎に、前記1つ以上の属性を決定することは、前記コンテンツ内の明示的インジケーションに基づく、項目4に記載の方法。
(項目7)
前記1つ以上の要素毎に、前記1つ以上の属性を決定することは、前記コンテンツ内の前記1つ以上の要素の場所に基づく、項目4に記載の方法。
(項目8)
前記1つ以上の要素を1つ以上の論理構造の中に記憶することをさらに含む、項目1に記載の方法。
(項目9)
前記1つ以上の論理構造は、順序付けられたアレイ、階層テーブル、ツリー構造、または論理グラフ構造のうちの少なくとも1つを含む、項目8に記載の方法。
(項目10)
前記1つ以上の表面は、物理的表面または仮想表面のうちの少なくとも1つを含む、項目1に記載の方法。
(項目11)
前記1つ以上の表面を決定することは、環境を解析し、前記1つ以上の表面のうちの少なくとも1つを決定することを含む、項目1に記載の方法。
(項目12)
前記1つ以上の表面を決定することは、
未加工センサデータを受信することと、
前記未加工センサデータを簡略化し、簡略化されたデータを生産することと、
前記簡略化されたデータに基づいて、1つ以上の仮想表面を作成することと
を含み、
前記1つ以上の表面は、前記1つ以上の仮想表面を含む、項目1に記載の方法。
(項目13)
前記未加工センサデータを簡略化することは、
前記未加工センサデータをフィルタリングし、フィルタリングされたデータを生産することと、
前記フィルタリングされたデータをポイントクラウド点別に1つ以上のグループの中にグループ化することと
を含み、
前記簡略化されたデータは、前記1つ以上のグループを含む、項目12に記載の方法。
(項目14)
前記1つ以上の仮想表面を作成することは、
前記1つ以上のグループのそれぞれを順に処理し、1つ以上の実世界表面を決定することと、
前記1つ以上の実世界表面に基づいて、前記1つ以上の仮想表面を作成することと
を含む、項目13に記載の方法。
(項目15)
前記1つ以上の表面を決定することは、前記1つ以上の表面毎に、1つ以上の属性を決定することを含む、項目1に記載の方法。
(項目16)
前記1つ以上の属性は、優先順位属性、配向属性、アスペクト比属性、寸法属性、面積属性、相対的視認位置属性、色属性、コントラスト属性、位置タイプ属性、マージン属性、コンテンツのタイプ属性、焦点属性、可読性インデックス属性、または設置するための表面のタイプ属性のうちの少なくとも1つを含む、項目15に記載の方法。
(項目17)
前記1つ以上の表面を1つ以上の論理構造の中に記憶することをさらに含む、項目1に記載の方法。
(項目18)
前記1つ以上の要素を前記1つ以上の表面にマッチングさせることは、
前記1つ以上の要素を優先順位化することと、
前記1つ以上の要素の要素毎に、
前記要素の1つ以上の属性と前記1つ以上の表面のそれぞれの1つ以上の属性を比較することと、
前記要素の1つ以上の属性および前記1つ以上の表面のそれぞれの1つ以上の属性に基づいて、マッチングスコアを計算することと、
最高マッチングスコアを有する最良マッチング表面を識別することと
を含む、項目1に記載の方法。
(項目19)
前記1つ以上の要素毎に、
前記要素と前記最良マッチング表面との間の関連付けを記憶することをさらに含む、項目18に記載の方法。
(項目20)
1つの要素は、1つ以上の表面にマッチングされる、項目1に記載の方法。
(項目21)
前記1つ以上の表面の各表面をユーザに表示することと、
表示される前記1つ以上の表面からの勝利表面を示すユーザ選択を受信することと、
前記ユーザ選択から、前記勝利表面の表面属性をユーザ選好データ構造内に保存することと
をさらに含む、項目20に記載の方法。
(項目22)
前記コンテンツは、コンテンツプロバイダからデータストリーミングされる、項目1に記載の方法。
(項目23)
前記1つ以上の要素は、複合現実デバイスを通して、ユーザに表示される、項目1に記載の方法。
(項目24)
少なくとも部分的に、ユーザの変化した視野に基づいて、前記1つ以上の要素を表示するための1つ以上の付加的表面オプションを表示することをさらに含む、項目1に記載の方法。
(項目25)
前記1つ以上の付加的表面オプションの表示は、少なくとも部分的に、前記変化した視野に対応する時間閾値に基づく、項目24に記載の方法。
(項目26)
前記1つ以上の付加的表面オプションの表示は、少なくとも部分的に、頭部姿勢変化閾値に基づく、項目24に記載の方法。
(項目27)
前記1つ以上の要素の表示をマッチングされていた前記1つ以上の表面上にオーバーライドすることをさらに含む、項目1に記載の方法。
(項目28)
前記1つ以上の要素の表示を前記1つ以上の表面上にオーバーライドすることは、少なくとも部分的に、履歴上頻繁に使用された表面に基づく、項目27に記載の方法。
(項目29)
少なくとも部分的に、ユーザが異なる表面に移動されることになる前記1つ以上の表面に表示される特定の要素を選択することに基づいて、前記1つ以上の表面上に表示される前記1つ以上の要素を異なる表面に移動させることをさらに含む、項目1に記載の方法。
(項目30)
前記異なる表面に移動される特定の要素は、ユーザによって少なくとも視認可能である、項目29に記載の方法。
(項目31)
第1の視野から第2の視野へのユーザの視野の変化に応答して、前記1つ以上の要素の表示を新しい表面上にゆっくりと移動させ、前記第2の視野への前記ユーザの視野変化に追従させることをさらに含む、項目1に記載の方法。
(項目32)
前記1つ以上の要素は、前記コンテンツを前記ユーザの第2の視野の真正面に移動させることの前記ユーザから受信された確認に応じてのみ、前記ユーザの第2の視野の真正面に移動し得る、項目31に記載の方法。
(項目33)
少なくとも部分的に、ユーザが前記第1の場所から前記第2の場所に移動することに基づいて、第1の場所における前記1つ以上の表面上への前記1つ以上の要素の表示を一時停止し、第2の場所における1つ以上の他の表面上への前記1つ以上の要素の表示を再開することをさらに含む、項目1に記載の方法。
(項目34)
前記1つ以上の要素の表示を一時停止することは、少なくとも部分的に、前記ユーザが前記第1の場所から前記第2の場所に移動中である、または移動したことの決定に基づいて、自動で行われる、項目33に記載の方法。
(項目35)
前記1つ以上の要素の表示の再開は、少なくとも部分的に、前記1つ以上の他の表面の識別および前記第2の場所における前記1つ以上の要素とのマッチングに基づいて、自動で行われる、項目33に記載の方法。
(項目36)
前記1つ以上の表面を決定することは、前記1つ以上の要素を表示するために、1つ以上の仮想オブジェクトを識別することを含む、項目1に記載の方法。
(項目37)
前記1つ以上の仮想オブジェクトを識別することは、少なくとも部分的に、好適な表面の欠如を示す、1つ以上のセンサから受信されたデータに基づく、項目36に記載の方法。
(項目38)
前記1つ以上の要素の要素は、TVチャンネルである、項目1に記載の方法。
(項目39)
ユーザは、ユーザに表示される1つ以上のアイテムまたはサービスを購入することによって表示される前記1つ以上の要素の要素と相互作用する、項目1に記載の方法。
(項目40)
第1の場所から第2の場所への環境の変化を検出することと、
前記第2の場所における1つ以上の付加的表面を決定することと、
前記第1の場所に現在表示されている前記1つ以上の要素を前記1つ以上の付加的表面にマッチングさせることと、
前記1つ以上の要素を仮想コンテンツとして前記第2の場所における前記1つ以上の付加的表面上に表示することと
をさらに含む、項目1に記載の方法。
(項目41)
前記1つ以上の付加的表面の決定は、前記環境の変化が時間的閾値を超えた後に開始される、項目40に記載の方法。
(項目42)
ユーザは、前記第1の場所に表示されているアクティブコンテンツを一時停止し、前記アクティブコンテンツを前記第2の場所において表示されるように再開し、前記アクティブコンテンツは、前記ユーザが前記第1の場所における前記アクティブコンテンツを一時停止した場所と同一相互作用点において再開する、項目40に記載の方法。
(項目43)
前記ユーザが前記第1の場所を離れるにつれて、前記第1の場所に表示されたコンテンツと関連付けられた場所からユーザに送達されている空間化オーディオを前記ユーザの頭部の中心に指向されるオーディオ仮想スピーカに遷移させることと、
前記ユーザの頭部の中心に指向される前記オーディオ仮想スピーカから前記1つ以上の要素を前記第2の場所に表示する前記1つ以上の付加的表面からユーザに送達される空間化オーディオに遷移させることと
をさらに含む、項目40に記載の方法。
(項目44)
コンテンツを複合現実システムのユーザにプッシュ配信するための方法であって、前記方法は、
1つ以上の利用可能な表面をユーザの環境から受信することと、
1つの利用可能な表面の寸法にマッチングさせる1つ以上のコンテンツを前記1つ以上の利用可能な表面から識別することと、
前記1つ以上のコンテンツの1つ以上の制約と前記1つの利用可能な表面の1つ以上の表面制約を比較することに基づいて、スコアを計算することと、
コンテンツを最高スコアを有する前記1つ以上のコンテンツから選択することと、
前記選択されたコンテンツと前記1つの利用可能な表面の1対1マッチングを記憶することと、
前記利用可能な表面上において、ユーザに、前記選択されたコンテンツを表示することと
を含む、方法。
(項目45)
ユーザの環境は、前記ユーザの個人宅である、項目44に記載の方法。
(項目46)
前記ユーザの環境からの前記1つ以上の利用可能な表面は、前記ユーザの焦点ビューエリアの周辺である、項目44に記載の方法。
(項目47)
前記1つ以上のコンテンツは、広告である、項目44に記載の方法。
(項目48)
前記広告は、特定の環境に位置するユーザの特定のグループに標的化される、項目47に記載の方法。
(項目49)
前記1つ以上のコンテンツは、アプリケーションからの通知である、項目44に記載の方法。
(項目50)
前記アプリケーションは、ソーシャルメディアアプリケーションである、項目49に記載の方法。
(項目51)
前記1つ以上のコンテンツの1つ以上の制約の制約のうちの1つは、配向である、項目44に記載の方法。
(項目52)
前記選択されたコンテンツは、3Dコンテンツである、項目44に記載の方法。
(項目53)
拡張現実(AR)ディスプレイシステムであって、
頭部搭載型システムであって、
1つ以上のセンサと、
外向きに向いたカメラを備える1つ以上のカメラと
を備える、頭部搭載型システムと、
プログラムコード命令のセットを実行するためのプロセッサと、
前記プログラムコード命令のセットを保持するためのメモリであって、前記プログラムコード命令のセットは、
コンテンツを受信することと、
前記コンテンツ内の1つ以上の要素を識別することと、
1つ以上の表面を決定することと、
前記1つ以上の要素を前記1つ以上の表面にマッチングさせることと、
前記1つ以上の要素を仮想コンテンツとして前記1つ以上の表面上に表示することと、
を実施するためのプログラムコードを備える、メモリと
を備える、システム。
(項目54)
前記コンテンツは、プル配信コンテンツまたはプッシュ配信コンテンツのうちの少なくとも1つを含む、項目53に記載のシステム。
(項目55)
前記1つ以上の要素を識別することは、前記コンテンツを解析し、前記1つ以上の要素を識別することを含む、項目53に記載のシステム。
(項目56)
前記1つ以上の要素を識別することは、前記1つ以上の要素毎に、1つ以上の属性を決定することを含む、項目53に記載のシステム。
(項目57)
前記1つ以上の要素を1つ以上の論理構造の中に記憶するためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目58)
前記1つ以上の表面は、物理的表面または仮想表面のうちの少なくとも1つを含む、項目53に記載のシステム。
(項目59)
前記1つ以上の表面を決定することは、環境を解析し、前記1つ以上の表面のうちの少なくとも1つを決定することを含む、項目53に記載のシステム。
(項目60)
前記1つ以上の表面を決定することは、
未加工センサデータを受信することと、
前記未加工センサデータを簡略化し、簡略化されたデータを生産することと、
前記簡略化されたデータに基づいて、1つ以上の仮想表面を作成することと
を含み、
前記1つ以上の表面は、前記1つ以上の仮想表面を含む、項目53に記載のシステム。
(項目61)
前記1つ以上の表面を決定することは、前記1つ以上の表面毎に、1つ以上の属性を決定することを含む、項目53に記載のシステム。
(項目62)
前記1つ以上の表面を1つ以上の論理構造の中に記憶するためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目63)
前記1つ以上の要素を前記1つ以上の表面にマッチングさせることは、
前記1つ以上の要素を優先順位化することと、
前記1つ以上の要素の要素毎に、
前記要素の1つ以上の属性と前記1つ以上の表面のそれぞれの1つ以上の属性を比較することと、
前記要素の1つ以上の属性および前記1つ以上の表面のそれぞれの1つ以上の属性に基づいて、マッチングスコアを計算することと、
最高マッチングスコアを有する最良マッチング表面を識別することと
を含む、項目53に記載のシステム。
(項目64)
1つの要素は、1つ以上の表面にマッチングされる、項目53に記載のシステム。
(項目65)
前記コンテンツは、コンテンツプロバイダからデータストリーミングされる、項目53に記載のシステム。
(項目66)
少なくとも部分的に、前記ユーザの変化した視野に基づいて、前記1つ以上の要素を表示するための1つ以上の表面オプションを表示するためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目67)
前記1つ以上の要素の表示をマッチングされていた前記1つ以上の表面上にオーバーライドするためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目68)
少なくとも部分的に、ユーザが異なる表面に移動されることになる前記1つ以上の表面に表示される特定の要素を選択することに基づいて、前記1つ以上の表面上に表示される前記1つ以上の要素を異なる表面に移動させるためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目69)
第1の視野から第2の視野へのユーザの視野の変化に応答して、前記1つ以上の要素の表示を新しい表面上にゆっくりと移動させ、前記第2の視野への前記ユーザの視野変化に追従させるためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目70)
少なくとも部分的に、ユーザが前記第1の場所から前記第2の場所に移動することに基づいて、第1の場所における前記1つ以上の表面上への前記1つ以上の要素の表示を一時停止し、第2の場所における1つ以上の他の表面上への前記1つ以上の要素の表示を再開するためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目71)
前記1つ以上の表面を決定することは、前記1つ以上の要素を表示するために、1つ以上の仮想オブジェクトを識別することを含む、項目53に記載のシステム。
(項目72)
前記1つ以上の要素の要素は、TVチャンネルである、項目53に記載のシステム。
(項目73)
前記ユーザは、ユーザに表示される1つ以上のアイテムまたはサービスを購入することによって表示される前記1つ以上の要素の要素と相互作用する、項目53に記載のシステム。
(項目74)
第1の場所から第2の場所への環境の変化を検出することと、
前記第2の場所における1つ以上の付加的表面を決定することと、
前記第1の場所に現在表示されている前記1つ以上の要素を前記1つ以上の付加的表面にマッチングさせることと、
前記1つ以上の要素を仮想コンテンツとして前記第2の場所における前記1つ以上の付加的表面上に表示することと
を行うためのプログラムコードをさらに備える、項目53に記載のシステム。
(項目75)
拡張現実(AR)ディスプレイシステムであって、
頭部搭載型システムであって、
1つ以上のセンサと、
外向きに向いたカメラを備える1つ以上のカメラと
を備える、頭部搭載型システムと、
プログラムコード命令のセットを実行するためのプロセッサと、
前記プログラムコード命令のセットを保持するためのメモリであって、前記プログラムコード命令のセットは、
1つ以上の利用可能な表面をユーザの環境から受信することと、
1つの利用可能な表面の寸法にマッチングさせる1つ以上のコンテンツを前記1つ以上の利用可能な表面から識別することと、
前記1つ以上のコンテンツの1つ以上の制約と前記1つの利用可能な表面の1つ以上の表面制約を比較することに基づいて、スコアを計算することと、
コンテンツを最高スコアを有する前記1つ以上のコンテンツから選択することと、
前記選択されたコンテンツと前記1つの利用可能な表面の1対1マッチングを記憶することと、
前記利用可能な表面上において、ユーザに、前記選択されたコンテンツを表示することと
を実施するためのプログラムコードを備える、メモリと
を備える、システム。
(項目76)
ユーザの環境は、前記ユーザの個人宅である、項目75に記載のシステム。
(項目77)
前記ユーザの環境からの前記1つ以上の利用可能な表面は、前記ユーザの焦点ビューエリアの周辺である、項目75に記載のシステム。
(項目78)
前記1つ以上のコンテンツは、広告である、項目75に記載のシステム。
(項目79)
前記1つ以上のコンテンツは、アプリケーションからの通知である、項目75に記載のシステム。
(項目80)
前記1つ以上のコンテンツの1つ以上の制約の制約のうちの1つは、配向である、項目75に記載のシステム。
(項目81)
前記選択されたコンテンツは、3Dコンテンツである、項目75に記載のシステム。
図1Aは、いくつかの実施形態による、コンテンツのコンテンツ要素を空間的3次元(3D)環境にマッチングさせる例示的システムおよびコンピュータ実装方法を図示する。システム100は、コンテンツ構造化プロセス120と、環境構造化プロセス160と、合成プロセス140とを含む。システム100またはその一部は、頭部搭載型ディスプレイデバイス等のデバイス上に実装されてもよい。
一般的属性
上記に述べられたように、解析器115は、コンテンツ要素毎に、属性を識別/決定および記憶してもよく、環境解析器168は、表面毎に、属性を決定および記憶してもよい。コンテンツ要素の属性は、コンテンツ110のコンテンツ設計者によって明示的に示されてもよい、または解析器115によって決定または別様に推測されてもよい。表面の属性は、環境解析器168によって決定されてもよい。
コンテンツ要素は、例えば、優先順位、表面のタイプ、位置タイプ、マージン、コンテンツのタイプ、および/または焦点属性等のコンテンツ要素に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、コンテンツ要素が付加的属性を有してもよいことを理解し得る。
表面は、例えば、表面輪郭、テクスチャ、および/または占有属性等の表面に特有の属性を有してもよい。これらの属性に関するさらなる詳細が、下記に提供される。当業者は、表面が付加的属性を有してもよいことを理解し得る。
コンテンツ要素と表面のマッチング(概要)
図4は、いくつかの実施形態による、コンテンツ要素を表面にマッチングさせるための方法を図示する、フロー図である。本方法は、410において、コンテンツを受信するステップと、420において、コンテンツ内のコンテンツ要素を識別するステップと、430において、表面を決定するステップと、440において、コンテンツ要素を表面内にマッチングさせるステップと、450において、コンテンツ要素を仮想コンテンツとしてマッチングされた表面上にレンダリングするステップとを含む。解析器115は、コンテンツ110を受信する410。解析器115は、コンテンツ110内のコンテンツ要素を識別する420。解析器115は、コンテンツ要素毎に、属性を識別/決定および記憶してもよい。環境解析器168は、環境内の表面を決定する430。環境解析器168は、表面毎に、属性を決定および記憶してもよい。いくつかの実施形態では、環境解析器168は、環境内の表面を持続的に決定する430。いくつかの実施形態では、環境解析器168は、解析器115がコンテンツ110を受信し410、および/またはコンテンツ110内のコンテンツ要素を識別する420につれて、環境内の表面を決定する430。マッチングモジュール142は、コンテンツ要素の属性および表面の属性に基づいて、コンテンツ要素を表面にマッチングさせる440。レンダリングモジュール146は、コンテンツ要素をそのマッチングされた表面にレンダリングする450。記憶モジュール152は、将来におけるコンテンツ要素をその表面上に設置するためのユーザ指定等による将来的使用のために、表面を登録する。いくつかの実施形態では、記憶モジュール152は、知覚フレームワーク166内にあってもよい。
図5は、いくつかの実施形態による、コンテンツ内のコンテンツ要素を識別するための方法を図示する、フロー図である。図5は、いくつかの実施形態による、図4の420におけるコンテンツ内の要素を識別するステップを開示する詳細なフローである。本方法は、図4の420におけるコンテンツ内の要素を識別するステップと同様に、510において、コンテンツ内のコンテンツ要素を識別するステップを含む。本方法は、属性を識別/決定する次のステップ520に進む。例えば、属性は、コンテンツの場所に関するタグから識別/決定されてもよい。例えば、コンテンツ設計者は、コンテンツを設計および構成しながら、属性(上記に説明される)を使用してコンテンツ要素を表示する場所および方法を定義してもよい。属性は、相互に対する特定の場所におけるコンテンツ要素の場所に関連してもよい。いくつかの実施形態では、属性を識別/決定するステップ520は、属性を推測するステップを含んでもよい。例えば、コンテンツ要素のそれぞれの属性は、相互に対するコンテンツ内のコンテンツ要素の場所に基づいて、決定または推測されてもよい。ヒント/タグを各コンテンツ要素から抽出するステップが、530において実施される。ヒントまたはタグは、コンテンツのコンテンツ設計者によって提供される、フォーマッティングヒントまたはフォーマッティングタグであってもよい。コンテンツ要素に関する代替表示形態をルックアップ/検索するステップが、540において実施される。あるフォーマッティングルールが、特定の視認デバイス上に表示されるコンテンツ要素に関して規定されてもよい。例えば、あるフォーマッティングルールは、ウェブページ上の画像に関して規定されてもよい。システムは、代替表示形態にアクセスしてもよい。識別されたコンテンツ要素を記憶するステップが、550において実施される。本方法は、コンテンツ要素を表面にマッチングさせるために合成プロセス140において使用されるために、識別された要素を非一過性記憶媒体の中に記憶してもよい。いくつかの実施形態では、コンテンツ要素は、一過性記憶媒体内に記憶されてもよい。
図6は、いくつかの実施形態による、ユーザの環境から表面を決定するための方法を図示する、フロー図である。図6は、図4の430における表面を決定するステップを開示する例示的詳細なフローである。図6は、610において、表面を決定するステップから開始する。610において表面を決定するステップは、環境の深度情報をセンサ162の深度センサから収集するステップと、再構成および/または表面分析を実施するステップとを含んでもよい。いくつかの実施形態では、センサ162は、点のマップを提供し、システム100は、点間の一連の接続される頂点を再構成し、環境を表す仮想メッシュを作成する。いくつかの実施形態では、平面抽出または分析が、実施され、共通表面または表面の内容(例えば、壁、天井等)の解釈を示す、メッシュプロパティを決定する。本方法は、620において、ユーザの姿勢を決定する次のステップに進み、これは、頭部姿勢ベクトルをセンサ162から決定するステップを含んでもよい。いくつかの実施形態では、センサ162は、慣性測定ユニット(IMU)データを収集し、ユーザ上のデバイスの回転を決定する。いくつかの実施形態では、センサ162は、カメラ画像を収集し、実世界に対するユーザ上のデバイスの位置を決定する。いくつかの実施形態では、頭部姿勢ベクトルが、IMUおよびカメラ画像データの一方または両方から導出される。620においてユーザの姿勢を決定するステップは、ユーザの姿勢が表面に関連するユーザに関する視点を提供するであろうため、表面を識別するための重要なステップである。630において、本方法は、表面の属性を決定する。各表面は、対応する属性とタグ付けおよびカテゴリ化される。本情報は、コンテンツ要素および表面をマッチングさせるときに使用されるであろう。いくつかの実施形態では、図1からのセンサ162は、処理するために、未加工データをCVPU164に提供し、CVPU164は、環境解析器168のためのデータを準備するために、処理されたデータを知覚フレームワーク166に提供する。環境解析器168は、知覚フレームワーク166からの環境データを解析し、環境内の表面および対応する属性を決定する。640において、本方法は、抽出された要素を特定の表面にマッチング/マッピングするために、合成プロセス/マッチング/マッピングルーチンによって使用されるように、表面のインベントリを非一過性記憶媒体の中に記憶する。非一過性記憶媒体は、データ記憶デバイスを含んでもよい。決定された表面は、下記に説明される図15に開示されるテーブル等の特定のテーブル内に記憶されてもよい。いくつかの実施形態では、識別された表面は、一過性記憶媒体内に記憶されてもよい。いくつかの実施形態では、640における記憶するステップは、コンテンツ要素の将来的マッチングのために、表面を好ましい表面として指定するステップを含む。
図7A-7Bは、コンテンツ要素を表面にマッチングさせるための種々の方法を図示する、フロー図である。
IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号に説明され、コンテンツを選択された表面に整合させるステップはさらに、2016年8月11日に優先権を請求し、「AUTOMATIC PLACEMENT OF A VIRTUAL OBJECT IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/673,135号(それぞれの内容は、参照することによって本明細書に組み込まれる)に説明される。
これまで開示されたものは、環境内のコンテンツ要素を表示すべき場所のコンテンツ駆動であった。言い換えると、ユーザは、ユーザの環境の中に表示されるための種々のコンテンツ(例えば、ウェブページからのプル配信コンテンツ)を選択し得る。しかしながら、いくつかの実施形態では、環境が、少なくとも部分的に、ユーザの環境および/または環境内の表面に基づいて、ユーザに表示されるコンテンツを駆動し得る。例えば、表面のリストが、常に、センサ162からのデータに基づいて、環境解析器168によって評価されている。表面のリストは、ユーザが、ある環境から別の環境に移動する、または環境内を動き回るにつれて、常に、環境解析器168によって評価されているため、ユーザがコンテンツを検索する、またはその上で選択する必要なく、ユーザの環境の中にプッシュ配信(例えば、プッシュ配信コンテンツ)され得、ウェブページから生じ得ない、あるコンテンツのタイプを表示するために適している場合がある、新しい/付加的表面が、利用可能になり得る。例えば、あるタイプのプッシュ配信コンテンツは、(a)株価通知、ニュースフィード等の種々のアプリケーションからの通知、(b)例えば、ソーシャルメディアアプリケーション、電子メール更新、および同等物からの更新および通知等の優先順位化されたコンテンツ、および/または(c)広標的グループおよび/または具体的標的グループおよび同等物を標的化する広告を含んでもよい。これらのタイプのプッシュ配信コンテンツはそれぞれ、広告をその最も効果的形態で表示するために、例えば、サイズ、寸法、配向、および同等物等の関連付けられた属性を有してもよい。環境に応じて、ある表面は、これらの環境駆動コンテンツ(例えば、プッシュ配信コンテンツ)が表示される機会を提示し得る。いくつかの実施形態では、プル配信コンテンツは、最初に、環境内の表面にマッチング/マッピングされてもよく、プッシュ配信コンテンツは、そこにマッチング/マッピングされたプル配信コンテンツを有していない、環境内の任意の表面にマッチング/マッピングされてもよい。
図11を参照すると、環境1100は、本明細書に説明されるプロセス(例えば、ユーザの物理的環境1105内の表面上に表示されるようにウェブページ内のコンテンツからのコンテンツ要素をマッチングさせる)を実装するための物理的環境およびシステムを表す。環境1100の代表的物理的環境およびシステムは、ユーザ1108によって頭部搭載型システム1160を通して視認されるようなユーザの物理的環境1105を含む。環境1100の代表的システムはさらに、ネットワーク1120に動作可能に結合されるウェブブラウザ1110を介して、コンテンツ(例えば、ウェブページ)にアクセスするステップを含む。いくつかの実施形態では、コンテンツへのアクセスは、ビデオストリーミングアプリケーション等のアプリケーション(図示せず)を介してもよく、ビデオストリームは、アクセスされているコンテンツであってもよい。いくつかの実施形態では、ビデオストリーミングアプリケーションは、スポーツ組織であってもよく、ストリーミングされているコンテンツは、実際のライブ試合、概要、まとめ/ハイライト、ボックススコア、実況、チーム統計、プレーヤ統計、関連ビデオ、ニュースフィード、製品情報、および同等物であってもよい。
図19は、いくつかの実施形態による、表面にマッチングされたコンテンツ要素を含む、環境1900の実施例を示す。
いくつかの実施形態では、環境1900は、動的である。すなわち、環境自体が、変化しており、オブジェクトが、ユーザおよび/またはデバイスの視野内外に移動し、新しい表面を作成するか、またはユーザが、新しい環境に移動しながら、以前にマッチングされた表面がもはや前の合成プロセス140の結果下で適格ではないようなコンテンツ要素を受信するかのいずれかである。例えば、図19におけるように、環境1900内でバスケットボールの試合を観賞する間、ユーザは、台所に歩いて行き得る。
図22は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム2200のブロック図である。コンピューティングシステム2200は、プロセッサ2207、システムメモリ2208(例えば、RAM)、静的記憶デバイス2209(例えば、ROM)、ディスクドライブ2210(例えば、磁気または光学)、通信インターフェース2214(例えば、モデムまたはEthernet(登録商標)カード)、ディスプレイ2211(例えば、CRTまたはLCD)、入力デバイス2212(例えば、キーボードおよびマウス)等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス2206または他の通信機構を含む。
Claims (20)
- コンテンツ要素をユーザの環境の複数の表面にマッチングさせるための方法であって、前記方法は、
コンテンツ内の複数のコンテンツ要素のうちの1つのコンテンツ要素を識別することであって、前記コンテンツ要素は、前記複数の表面のそれぞれの複数の異なる属性に対応する複数の異なる属性を有するものである、ことと、
前記コンテンツ要素の前記複数の異なる属性にそれぞれ対応する前記複数の表面のそれぞれの複数の異なる属性を決定することと、
前記コンテンツ要素の前記複数の異なる属性と、前記複数の表面のそれぞれの前記複数の異なる属性とをそれぞれ比較することと、
前記それぞれの比較に基づいて、前記それぞれの複数の表面に対して複数のスコアを計算することと、
前記複数の表面から最高スコアを有する表面を選択することと、
前記選択された表面への前記コンテンツ要素のマッピングを記憶することと、
前記ユーザに対して前記コンテンツ要素を前記選択された表面上に表示することと
を含む、方法。 - 前記識別されたコンテンツ要素は、3Dコンテンツ要素である、請求項1に記載の方法。
- 前記コンテンツ要素の前記複数の異なる属性は、異なるように重み付けられている、請求項1に記載の方法。
- 前記コンテンツ要素の前記複数の異なる属性は、ドット積配向表面関係とテクスチャと色とを含む、請求項1に記載の方法。
- 前記コンテンツ要素が前記ユーザに対して表示される前記表面は、前記選択された表面である、請求項1に記載の方法。
- 前記方法は、前記最高スコアと閾値スコアとを比較することと、前記比較に基づいて前記選択された表面または仮想表面のいずれかの上に前記コンテンツ要素を表示することとをさらに含む、請求項1に記載の方法。
- 前記最高スコアが前記閾値スコアよりも大きい場合には、前記コンテンツ要素は、前記選択された表面上に表示され、前記最高スコアが前記閾値スコアよりも小さい場合には、前記コンテンツ要素は、前記仮想表面上に表示される、請求項6に記載の方法。
- 前記方法は、前記選択された表面をオーバーライドすることと、別の表面を選択することとをさらに含み、前記コンテンツ要素が前記ユーザに対して表示される前記表面は、前記別の表面である、請求項1に記載の方法。
- 前記方法は、前記表示されたコンテンツ要素を前記表面から別の表面に移動させることをさらに含む、請求項1に記載の方法。
- 前記表示されたコンテンツ要素は、前記表面から別の表面に前記ユーザの手のジェスチャを介して移動される、請求項1に記載の方法。
- 拡張現実(AR)ディスプレイシステムであって、前記拡張現実(AR)ディスプレイシステムは、
頭部搭載型システムと、
プログラムコード命令のセットを実行するためのプロセッサと、
前記プログラムコード命令のセットを保持するためのメモリと
を備え、
前記頭部搭載型システムは、
1つ以上のセンサと、
外向きに向いたカメラを含む1つ以上のカメラと
を備え、
前記プログラムコード命令のセットは、
コンテンツ内の複数のコンテンツ要素のうちの1つのコンテンツ要素を識別することであって、前記コンテンツ要素は、前記複数の表面のそれぞれの複数の異なる属性に対応する複数の異なる属性を有するものである、ことと、
前記コンテンツ要素の前記複数の異なる属性にそれぞれ対応する前記複数の表面のそれぞれの複数の異なる属性を決定することと、
前記コンテンツ要素の前記複数の異なる属性と、前記複数の表面のそれぞれの前記複数の異なる属性とをそれぞれ比較することと、
前記それぞれの比較に基づいて、前記それぞれの複数の表面に対する複数のスコアを計算することと、
前記複数の表面から最高スコアを有する表面を選択することと、
前記選択された表面への前記コンテンツ要素のマッピングを記憶することと、
ユーザに対して前記コンテンツ要素を前記選択された表面上に表示することと
を実行するためのプログラムコードを含む、拡張現実(AR)ディスプレイシステム。 - 前記識別されたコンテンツ要素は、3Dコンテンツ要素である、請求項11に記載のシステム。
- 前記コンテンツ要素の前記複数の異なる属性は、異なるように重み付けられている、請求項11に記載のシステム。
- 前記コンテンツ要素の前記複数の異なる属性は、ドット積配向表面関係とテクスチャと色とを含む、請求項11に記載のシステム。
- 前記コンテンツ要素が前記ユーザに対して表示される前記表面は、前記選択された表面である、請求項11に記載のシステム。
- 前記プログラムコードは、前記最高スコアと閾値スコアとを比較することと、前記比較に基づいて前記選択された表面または仮想表面のいずれかの上に前記コンテンツ要素を表示することとをさらに実行する、請求項11に記載のシステム。
- 前記最高スコアが前記閾値スコアよりも大きい場合には、前記コンテンツ要素は、前記選択された表面上に表示され、前記最高スコアが前記閾値スコアよりも小さい場合には、前記コンテンツ要素は、前記仮想表面上に表示される、請求項16に記載のシステム。
- 前記プログラムコードは、前記選択された表面をオーバーライドすることと、別の表面を選択することとをさら実行し、前記コンテンツ要素が前記ユーザに対して表示される前記表面は、前記別の表面である、請求項11に記載のシステム。
- 前記プログラムコードは、前記表示されたコンテンツ要素を前記表面から別の表面に移動させることをさらに実行する、請求項11に記載のシステム。
- 前記プログラムコードは、前記表示されたコンテンツ要素が、前記表面から別の表面に前記ユーザの手のジェスチャを介して移動されることをさらに可能にする、請求項11に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023076383A JP2023093763A (ja) | 2017-05-01 | 2023-05-04 | 空間的3d環境に対するコンテンツのマッチング |
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762492292P | 2017-05-01 | 2017-05-01 | |
US62/492,292 | 2017-05-01 | ||
US201762610108P | 2017-12-22 | 2017-12-22 | |
US62/610,108 | 2017-12-22 | ||
US201862644377P | 2018-03-16 | 2018-03-16 | |
US62/644,377 | 2018-03-16 | ||
PCT/US2018/030535 WO2018204419A1 (en) | 2017-05-01 | 2018-05-01 | Matching content to a spatial 3d environment |
JP2019559343A JP7141410B2 (ja) | 2017-05-01 | 2018-05-01 | 空間的3d環境に対するコンテンツのマッチング |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559343A Division JP7141410B2 (ja) | 2017-05-01 | 2018-05-01 | 空間的3d環境に対するコンテンツのマッチング |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076383A Division JP2023093763A (ja) | 2017-05-01 | 2023-05-04 | 空間的3d環境に対するコンテンツのマッチング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022168142A JP2022168142A (ja) | 2022-11-04 |
JP7277064B2 true JP7277064B2 (ja) | 2023-05-18 |
Family
ID=63916781
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559343A Active JP7141410B2 (ja) | 2017-05-01 | 2018-05-01 | 空間的3d環境に対するコンテンツのマッチング |
JP2022143449A Active JP7277064B2 (ja) | 2017-05-01 | 2022-09-09 | 空間的3d環境に対するコンテンツのマッチング |
JP2023076383A Pending JP2023093763A (ja) | 2017-05-01 | 2023-05-04 | 空間的3d環境に対するコンテンツのマッチング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559343A Active JP7141410B2 (ja) | 2017-05-01 | 2018-05-01 | 空間的3d環境に対するコンテンツのマッチング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023076383A Pending JP2023093763A (ja) | 2017-05-01 | 2023-05-04 | 空間的3d環境に対するコンテンツのマッチング |
Country Status (9)
Country | Link |
---|---|
US (4) | US10930076B2 (ja) |
EP (1) | EP3619688A4 (ja) |
JP (3) | JP7141410B2 (ja) |
KR (3) | KR20230108352A (ja) |
CN (2) | CN116203731A (ja) |
AU (2) | AU2018261328B2 (ja) |
CA (1) | CA3060209A1 (ja) |
IL (2) | IL301087A (ja) |
WO (1) | WO2018204419A1 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3060209A1 (en) * | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
US11682045B2 (en) * | 2017-06-28 | 2023-06-20 | Samsung Electronics Co., Ltd. | Augmented reality advertisements on objects |
US10712899B2 (en) * | 2017-10-17 | 2020-07-14 | Microsoft Technology Licensing, Llc | Human-machine interface tethered to a user position in a three-dimensional VR or AR environment |
US10586360B2 (en) * | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
CN111684495A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
US10699485B2 (en) * | 2018-01-04 | 2020-06-30 | Universal City Studios Llc | Systems and methods for textual overlay in an amusement park environment |
US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
IL301281A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | Shoot an object with physical manipulation |
IL301443A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | A browser for mixed reality systems |
WO2019164514A1 (en) * | 2018-02-23 | 2019-08-29 | Google Llc | Transitioning between map view and augmented reality view |
USD886836S1 (en) | 2018-05-01 | 2020-06-09 | Magic Leap, Inc. | Display panel or portion thereof with graphical user interface |
WO2019236568A1 (en) | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
WO2019236344A1 (en) * | 2018-06-07 | 2019-12-12 | Magic Leap, Inc. | Augmented reality scrollbar |
US20190378334A1 (en) * | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Augmented reality portal-based applications |
US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
US10996831B2 (en) | 2018-06-29 | 2021-05-04 | Vulcan Inc. | Augmented reality cursors |
CN116300091A (zh) | 2018-07-23 | 2023-06-23 | 奇跃公司 | 用于使用位置向量解析半球模糊度的方法和系统 |
JP7445642B2 (ja) | 2018-08-13 | 2024-03-07 | マジック リープ, インコーポレイテッド | クロスリアリティシステム |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
US10930049B2 (en) * | 2018-08-27 | 2021-02-23 | Apple Inc. | Rendering virtual objects with realistic surface properties that match the environment |
US11004270B2 (en) | 2018-09-11 | 2021-05-11 | Houzz, Inc. | Virtual item placement system |
US11348316B2 (en) * | 2018-09-11 | 2022-05-31 | Apple Inc. | Location-based virtual element modality in three-dimensional content |
US11104454B2 (en) * | 2018-09-24 | 2021-08-31 | The Boeing Company | System and method for converting technical manuals for augmented reality |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
US10997630B2 (en) * | 2018-12-20 | 2021-05-04 | Rovi Guides, Inc. | Systems and methods for inserting contextual advertisements into a virtual environment |
US11475092B2 (en) * | 2018-12-21 | 2022-10-18 | Home Box Office, Inc. | Preloaded content selection graph validation |
US11853533B1 (en) | 2019-01-31 | 2023-12-26 | Splunk Inc. | Data visualization workspace in an extended reality environment |
US11644940B1 (en) * | 2019-01-31 | 2023-05-09 | Splunk Inc. | Data visualization in an extended reality environment |
US10940387B2 (en) * | 2019-03-15 | 2021-03-09 | Disney Enterprises, Inc. | Synchronized augmented reality gameplay across multiple gaming environments |
JP7300287B2 (ja) * | 2019-03-20 | 2023-06-29 | 任天堂株式会社 | 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法 |
CN113728621A (zh) * | 2019-04-09 | 2021-11-30 | 麦克赛尔株式会社 | 头戴式信息处理装置 |
WO2020220208A1 (en) * | 2019-04-29 | 2020-11-05 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for object positioning and image-guided surgery |
JP7311643B2 (ja) | 2019-06-21 | 2023-07-19 | マジック リープ, インコーポレイテッド | モード式ウィンドウを介したセキュアな認可 |
US11494953B2 (en) * | 2019-07-01 | 2022-11-08 | Microsoft Technology Licensing, Llc | Adaptive user interface palette for augmented reality |
US11222460B2 (en) * | 2019-07-22 | 2022-01-11 | Scale AI, Inc. | Visualization techniques for data labeling |
CN110674618A (zh) * | 2019-09-03 | 2020-01-10 | 北京达佳互联信息技术有限公司 | 一种内容展示方法、装置、设备及介质 |
DE112020000573T5 (de) * | 2019-09-25 | 2021-12-02 | Apple Inc. | Anzeigen von darstellungen von umgebungen |
KR20210136116A (ko) * | 2019-09-27 | 2021-11-16 | 애플 인크. | 가상 객체들 제어 |
CN114616534A (zh) | 2019-10-15 | 2022-06-10 | 奇跃公司 | 具有无线指纹的交叉现实系统 |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
JP2023504775A (ja) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム |
US11442593B2 (en) * | 2019-12-06 | 2022-09-13 | Magic Leap, Inc. | Dynamic browser stage |
EP4073763A4 (en) | 2019-12-09 | 2023-12-27 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT |
JP6758473B1 (ja) * | 2019-12-25 | 2020-09-23 | 株式会社ドワンゴ | オブジェクト管理システム、オブジェクト管理方法、およびオブジェクト管理プログラム |
US10817648B1 (en) * | 2020-01-30 | 2020-10-27 | Leap Tools Inc. | Systems and methods for product visualization using a single-page application |
CA3166296C (en) * | 2020-01-30 | 2023-03-07 | Stefan-Alexandru Ghiaus | Systems and methods for product visualization using a single-page application |
US11194952B2 (en) * | 2020-01-30 | 2021-12-07 | Leap Tools, Inc. | Systems and methods for product visualization using a single-page application |
EP4104034A4 (en) | 2020-02-10 | 2024-02-21 | Magic Leap Inc | POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT |
WO2021163295A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
US11410395B2 (en) | 2020-02-13 | 2022-08-09 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
US11562525B2 (en) | 2020-02-13 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
US11363247B2 (en) * | 2020-02-14 | 2022-06-14 | Valve Corporation | Motion smoothing in a distributed system |
CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实系统 |
US11875539B2 (en) * | 2020-03-16 | 2024-01-16 | Samsung Electronics Co., Ltd. | Partial access metadata for video-based point cloud compression data |
USD997953S1 (en) * | 2020-04-17 | 2023-09-05 | Magic Leap, Inc. | Display panel with a graphical user interface |
WO2021222371A1 (en) | 2020-04-29 | 2021-11-04 | Magic Leap, Inc. | Cross reality system for large scale environments |
US20210390778A1 (en) * | 2020-06-10 | 2021-12-16 | Nvidia Corporation | Environment generation using one or more neural networks |
CN111880648B (zh) * | 2020-06-19 | 2022-01-28 | 华为技术有限公司 | 一种三维元素的操纵方法和终端 |
JP2022015647A (ja) * | 2020-07-09 | 2022-01-21 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像表示方法 |
KR20220012073A (ko) | 2020-07-22 | 2022-02-03 | 삼성전자주식회사 | 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치 |
CN111949173B (zh) * | 2020-07-31 | 2022-02-15 | 广州启量信息科技有限公司 | 一种全景vr画面切换方法、装置、终端设备及存储介质 |
CN114554243B (zh) * | 2020-11-26 | 2023-06-20 | 腾讯科技(深圳)有限公司 | 点云媒体的数据处理方法、装置、设备及存储介质 |
KR102517919B1 (ko) * | 2020-12-07 | 2023-04-04 | 한국과학기술원 | 3차원 공간에서 광고 구분을 위한 광고 표식을 제공하는 방법 및 장치 |
US20220188545A1 (en) * | 2020-12-10 | 2022-06-16 | International Business Machines Corporation | Augmented reality enhanced situational awareness |
KR20230144042A (ko) | 2021-02-08 | 2023-10-13 | 사이트풀 컴퓨터스 리미티드 | 생산성을 위한 확장 현실 |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
US20220345793A1 (en) * | 2021-04-27 | 2022-10-27 | Rovi Guides, Inc. | Systems and methods for generating interactive 360-degree content |
KR102386822B1 (ko) * | 2021-04-30 | 2022-04-14 | 인하대학교 산학협력단 | 산업용 확장현실 컨텐츠 플랫폼에서 다중 사용자를 위한 업무 할당 및 컨텐츠 저작 방법 및 장치 |
US11978158B2 (en) * | 2021-07-27 | 2024-05-07 | Raytheon Company | Determining minimum region for finding planar surfaces |
WO2023009580A2 (en) * | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
US11928756B2 (en) | 2021-09-22 | 2024-03-12 | Google Llc | Geographic augmented reality design for low accuracy scenarios |
TWI777801B (zh) * | 2021-10-04 | 2022-09-11 | 邦鼎科技有限公司 | 擴增實境的顯示方法 |
US20230139635A1 (en) * | 2021-11-03 | 2023-05-04 | Tencent America LLC | Method for streaming dynamic 5g ar/mr experience to 5g devices with updatable scenes |
WO2023091506A1 (en) * | 2021-11-16 | 2023-05-25 | Figma, Inc. | Commenting feature for graphic design systems |
WO2023095935A1 (ko) * | 2021-11-23 | 2023-06-01 | 이은령 | 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법 |
US20230168786A1 (en) * | 2021-11-30 | 2023-06-01 | Verizon Patent And Licensing Inc. | Methods and Systems for Location-Based Accessing of Predesignated Data Payloads Using Extended Reality |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
US11887151B2 (en) | 2022-02-14 | 2024-01-30 | Korea Advanced Institute Of Science And Technology | Method and apparatus for providing advertisement disclosure for identifying advertisements in 3-dimensional space |
US11868583B2 (en) * | 2022-03-28 | 2024-01-09 | Google Llc | Tangible six-degree-of-freedom interfaces for augmented reality |
KR20240030345A (ko) * | 2022-08-30 | 2024-03-07 | 네이버랩스 주식회사 | 기 설정된 커스텀 영역에 사용자 단말이 위치함에 기반하여 사용자 단말에 가상 현실 콘텐츠를 표시하는 방법 및 장치 |
KR102642665B1 (ko) * | 2023-07-11 | 2024-03-04 | 주식회사 비브스튜디오스 | 가상 카메라를 조정하는 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120266101A1 (en) | 2011-04-18 | 2012-10-18 | Google Inc. | Panels on touch |
JP2016508257A (ja) | 2012-12-18 | 2016-03-17 | クアルコム,インコーポレイテッド | 拡張現実対応デバイスのためのユーザインターフェース |
US20160077677A1 (en) | 2008-05-20 | 2016-03-17 | Israel Valdes | Apparatus and method for user configurable content |
WO2016203792A1 (ja) | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5923318A (en) | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6629065B1 (en) | 1998-09-30 | 2003-09-30 | Wisconsin Alumni Research Foundation | Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments |
US9208270B2 (en) | 2000-08-02 | 2015-12-08 | Comsol Ab | System and method for establishing bidirectional links between multiphysics modeling and design systems |
US7043695B2 (en) | 2000-09-19 | 2006-05-09 | Technion Research & Development Foundation Ltd. | Object positioning and display in virtual environments |
WO2004038657A2 (en) | 2002-10-22 | 2004-05-06 | Artoolworks | Tracking a surface in a 3-dimensional scene using natural visual features of the surface |
JP2007058332A (ja) | 2005-08-22 | 2007-03-08 | Canon Inc | オブジェクト操作装置及びオブジェクト操作方法 |
US20070074125A1 (en) | 2005-09-26 | 2007-03-29 | Microsoft Corporation | Preview information for web-browsing |
US7595810B2 (en) | 2006-03-22 | 2009-09-29 | Apple Inc. | Methods of manipulating a screen space of a display device |
US20080115081A1 (en) | 2006-11-09 | 2008-05-15 | Microsoft Corporation | Enhanced windows management feature |
US20090028142A1 (en) * | 2007-07-25 | 2009-01-29 | Schmidt Brian K | Streaming data content in a network |
US8245241B2 (en) | 2007-10-02 | 2012-08-14 | International Business Machines Corporation | Arrangements for interactivity between a virtual universe and the world wide web |
US8191001B2 (en) | 2008-04-05 | 2012-05-29 | Social Communications Company | Shared virtual area communication environment based apparatus and methods |
US10872322B2 (en) | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US8924862B1 (en) | 2008-09-05 | 2014-12-30 | Cisco Technology, Inc. | Optimizing desktop sharing for wireless clients during networked collaboration |
KR101082487B1 (ko) * | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
US20120212484A1 (en) | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US9069577B2 (en) | 2010-11-23 | 2015-06-30 | Apple Inc. | Grouping and browsing open windows |
EP2691935A1 (en) * | 2011-03-29 | 2014-02-05 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
CN103702726B (zh) | 2011-05-23 | 2016-01-13 | 乐高公司 | 玩具搭建系统、产生构建指令的方法和数据处理系统 |
US8912979B1 (en) | 2011-07-14 | 2014-12-16 | Google Inc. | Virtual window in head-mounted display |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
KR20140066258A (ko) | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
US9734633B2 (en) | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9069455B2 (en) | 2012-06-22 | 2015-06-30 | Microsoft Technology Licensing, Llc | 3D user interface for application entities |
US20130342572A1 (en) | 2012-06-26 | 2013-12-26 | Adam G. Poulos | Control of displayed content in virtual environments |
US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
WO2014031899A1 (en) | 2012-08-22 | 2014-02-27 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
US9461876B2 (en) | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
US9070194B2 (en) | 2012-10-25 | 2015-06-30 | Microsoft Technology Licensing, Llc | Planar surface detection |
US9407824B2 (en) * | 2012-11-01 | 2016-08-02 | Google Inc. | Multi-directional content capture on mobile devices |
KR101984915B1 (ko) * | 2012-12-03 | 2019-09-03 | 삼성전자주식회사 | 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템 |
CA2896985A1 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US20140200863A1 (en) | 2013-01-11 | 2014-07-17 | The Regents Of The University Of Michigan | Monitoring proximity of objects at construction jobsites via three-dimensional virtuality in real-time |
US20140225922A1 (en) | 2013-02-11 | 2014-08-14 | Rocco A. Sbardella | System and method for an augmented reality software application |
JP2014157466A (ja) | 2013-02-15 | 2014-08-28 | Sony Corp | 情報処理装置及び記憶媒体 |
GB201303707D0 (en) * | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US20140267228A1 (en) | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Mapping augmented reality experience to various environments |
US20140282274A1 (en) | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a gesture performed with at least two control objects |
NZ751593A (en) * | 2013-03-15 | 2020-01-31 | Magic Leap Inc | Display system and method |
US20150277699A1 (en) * | 2013-04-02 | 2015-10-01 | Cherif Atia Algreatly | Interaction method for optical head-mounted display |
KR20140133361A (ko) | 2013-05-10 | 2014-11-19 | 삼성전자주식회사 | 디스플레이 장치 및 그 ui 화면 제공 방법 |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US10861224B2 (en) | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
WO2015033377A1 (ja) | 2013-09-06 | 2015-03-12 | 株式会社マーズフラッグ | 情報処理装置、検索サーバ、ウェブサーバ及びコンピュータプログラム |
US20180225885A1 (en) | 2013-10-01 | 2018-08-09 | Aaron Scott Dishno | Zone-based three-dimensional (3d) browsing |
KR101512084B1 (ko) | 2013-11-15 | 2015-04-17 | 한국과학기술원 | 가상현실 기반의 3차원 웹 검색 인터페이스를 제공하는 웹 검색 시스템 및 그 제공 방법 |
US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
US9411422B1 (en) * | 2013-12-13 | 2016-08-09 | Audible, Inc. | User interaction with content markers |
US20150185825A1 (en) | 2013-12-30 | 2015-07-02 | Daqri, Llc | Assigning a virtual user interface to a physical object |
US20150206343A1 (en) | 2014-01-17 | 2015-07-23 | Nokia Corporation | Method and apparatus for evaluating environmental structures for in-situ content augmentation |
US9201578B2 (en) * | 2014-01-23 | 2015-12-01 | Microsoft Technology Licensing, Llc | Gaze swipe selection |
KR102184402B1 (ko) | 2014-03-06 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입의 이동 단말기 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US20150302651A1 (en) | 2014-04-18 | 2015-10-22 | Sam Shpigelman | System and method for augmented or virtual reality entertainment experience |
US9361732B2 (en) | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US9971853B2 (en) * | 2014-05-13 | 2018-05-15 | Atheer, Inc. | Method for replacing 3D objects in 2D environment |
US20150331240A1 (en) * | 2014-05-15 | 2015-11-19 | Adam G. Poulos | Assisted Viewing Of Web-Based Resources |
US10156967B2 (en) | 2014-05-31 | 2018-12-18 | Apple Inc. | Device, method, and graphical user interface for tabbed and private browsing |
CN106937531B (zh) | 2014-06-14 | 2020-11-06 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
US20160027214A1 (en) * | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US9734634B1 (en) | 2014-09-26 | 2017-08-15 | A9.Com, Inc. | Augmented reality product preview |
US10726593B2 (en) | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
JP5767386B1 (ja) * | 2014-12-15 | 2015-08-19 | 株式会社コロプラ | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US10255302B1 (en) * | 2015-02-27 | 2019-04-09 | Jasmin Cosic | Systems, methods, apparatuses, and/or interfaces for associative management of data and inference of electronic resources |
US20160300392A1 (en) | 2015-04-10 | 2016-10-13 | VR Global, Inc. | Systems, media, and methods for providing improved virtual reality tours and associated analytics |
WO2016176511A1 (en) | 2015-04-29 | 2016-11-03 | Data Cocoon LLC | Tessellated data visualization system |
EP3113106A1 (en) * | 2015-07-02 | 2017-01-04 | Nokia Technologies Oy | Determination of environmental augmentation allocation data |
KR20170005602A (ko) | 2015-07-06 | 2017-01-16 | 삼성전자주식회사 | 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치 |
WO2017030306A1 (en) | 2015-08-18 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method and system for bookmarking a webpage |
US10057078B2 (en) | 2015-08-21 | 2018-08-21 | Samsung Electronics Company, Ltd. | User-configurable interactive region monitoring |
US10318225B2 (en) | 2015-09-01 | 2019-06-11 | Microsoft Technology Licensing, Llc | Holographic augmented authoring |
CN108139803B (zh) * | 2015-10-08 | 2021-04-20 | Pcms控股公司 | 用于动态显示器配置的自动校准的方法及系统 |
KR102641655B1 (ko) | 2015-10-20 | 2024-02-27 | 매직 립, 인코포레이티드 | 3차원 공간에서 가상 객체들 선택 |
US20170256096A1 (en) * | 2016-03-07 | 2017-09-07 | Google Inc. | Intelligent object sizing and placement in a augmented / virtual reality environment |
TWI567691B (zh) | 2016-03-07 | 2017-01-21 | 粉迷科技股份有限公司 | 立體空間的場景編輯方法與系統 |
CN109310476B (zh) | 2016-03-12 | 2020-04-03 | P·K·朗 | 用于手术的装置与方法 |
US10373381B2 (en) | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
US10268266B2 (en) | 2016-06-29 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selection of objects in three-dimensional space |
CN109643373B (zh) | 2016-06-30 | 2023-06-27 | 奇跃公司 | 估计3d空间中的姿态 |
US10489978B2 (en) | 2016-07-26 | 2019-11-26 | Rouslan Lyubomirov DIMITROV | System and method for displaying computer-based content in a virtual or augmented environment |
WO2018031621A1 (en) | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
US20180082480A1 (en) | 2016-09-16 | 2018-03-22 | John R. White | Augmented reality surgical technique guidance |
EP3523783A4 (en) | 2016-10-05 | 2019-10-16 | Magic Leap, Inc. | SYSTEMS AND METHOD FOR SURFACE MODELING |
US11290572B2 (en) | 2016-11-07 | 2022-03-29 | Constructive Labs | System and method for facilitating sharing of virtual three-dimensional space |
US10271043B2 (en) | 2016-11-18 | 2019-04-23 | Zspace, Inc. | 3D user interface—360-degree visualization of 2D webpage content |
US10599823B2 (en) | 2016-11-18 | 2020-03-24 | Invensense, Inc. | Systems and methods for coordinating applications with a user interface |
US20180150204A1 (en) | 2016-11-30 | 2018-05-31 | Google Inc. | Switching of active objects in an augmented and/or virtual reality environment |
WO2018176010A2 (en) | 2017-03-24 | 2018-09-27 | Inmentis, Llc | Social media system with navigable, artificial-intelligence-based graphical user interface with broadcasting |
US11086396B2 (en) * | 2017-03-31 | 2021-08-10 | Sony Interactive Entertainment LLC | Depth-keying of web content |
CA3060209A1 (en) * | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
US10339714B2 (en) * | 2017-05-09 | 2019-07-02 | A9.Com, Inc. | Markerless image analysis for augmented reality |
US10304251B2 (en) | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
US10719870B2 (en) | 2017-06-27 | 2020-07-21 | Microsoft Technology Licensing, Llc | Mixed reality world integration of holographic buttons in a mixed reality device |
US20190005724A1 (en) * | 2017-06-30 | 2019-01-03 | Microsoft Technology Licensing, Llc | Presenting augmented reality display data in physical presentation environments |
US10444975B2 (en) | 2017-07-18 | 2019-10-15 | Google Llc | Graphical icon manipulation |
US10803663B2 (en) | 2017-08-02 | 2020-10-13 | Google Llc | Depth sensor aided estimation of virtual reality environment boundaries |
CN111684495A (zh) | 2017-12-22 | 2020-09-18 | 奇跃公司 | 用于在混合现实系统中管理和显示虚拟内容的方法和系统 |
IL301281A (en) | 2018-02-22 | 2023-05-01 | Magic Leap Inc | Shoot an object with physical manipulation |
-
2018
- 2018-05-01 CA CA3060209A patent/CA3060209A1/en active Pending
- 2018-05-01 KR KR1020237023413A patent/KR20230108352A/ko active Application Filing
- 2018-05-01 CN CN202310220705.3A patent/CN116203731A/zh active Pending
- 2018-05-01 WO PCT/US2018/030535 patent/WO2018204419A1/en unknown
- 2018-05-01 EP EP18794284.2A patent/EP3619688A4/en active Pending
- 2018-05-01 IL IL301087A patent/IL301087A/en unknown
- 2018-05-01 AU AU2018261328A patent/AU2018261328B2/en active Active
- 2018-05-01 CN CN201880043910.4A patent/CN111133365B/zh active Active
- 2018-05-01 US US15/968,673 patent/US10930076B2/en active Active
- 2018-05-01 JP JP2019559343A patent/JP7141410B2/ja active Active
- 2018-05-01 KR KR1020227027516A patent/KR102555443B1/ko active IP Right Grant
- 2018-05-01 KR KR1020197035273A patent/KR102432283B1/ko active IP Right Grant
-
2019
- 2019-10-28 IL IL270249A patent/IL270249B2/en unknown
-
2021
- 2021-01-05 US US17/142,210 patent/US11373376B2/en active Active
-
2022
- 2022-05-17 US US17/663,792 patent/US11875466B2/en active Active
- 2022-09-09 JP JP2022143449A patent/JP7277064B2/ja active Active
- 2022-11-17 AU AU2022271460A patent/AU2022271460B2/en active Active
-
2023
- 2023-05-04 JP JP2023076383A patent/JP2023093763A/ja active Pending
- 2023-11-29 US US18/523,763 patent/US20240096038A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160077677A1 (en) | 2008-05-20 | 2016-03-17 | Israel Valdes | Apparatus and method for user configurable content |
US20120266101A1 (en) | 2011-04-18 | 2012-10-18 | Google Inc. | Panels on touch |
JP2016508257A (ja) | 2012-12-18 | 2016-03-17 | クアルコム,インコーポレイテッド | 拡張現実対応デバイスのためのユーザインターフェース |
WO2016203792A1 (ja) | 2015-06-15 | 2016-12-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20220115824A (ko) | 2022-08-18 |
US20210304503A1 (en) | 2021-09-30 |
IL270249B1 (en) | 2023-04-01 |
KR102555443B1 (ko) | 2023-07-12 |
CN116203731A (zh) | 2023-06-02 |
US20220335695A1 (en) | 2022-10-20 |
US20180315248A1 (en) | 2018-11-01 |
CN111133365B (zh) | 2023-03-31 |
AU2022271460B2 (en) | 2023-11-16 |
KR20190141758A (ko) | 2019-12-24 |
IL270249A (ja) | 2019-12-31 |
JP2023093763A (ja) | 2023-07-04 |
CN111133365A (zh) | 2020-05-08 |
US11373376B2 (en) | 2022-06-28 |
US11875466B2 (en) | 2024-01-16 |
AU2018261328A1 (en) | 2019-11-07 |
EP3619688A1 (en) | 2020-03-11 |
JP7141410B2 (ja) | 2022-09-22 |
US10930076B2 (en) | 2021-02-23 |
KR102432283B1 (ko) | 2022-08-11 |
IL270249B2 (en) | 2023-08-01 |
JP2020520498A (ja) | 2020-07-09 |
EP3619688A4 (en) | 2020-03-11 |
AU2022271460A1 (en) | 2022-12-22 |
CA3060209A1 (en) | 2018-11-08 |
IL301087A (en) | 2023-05-01 |
AU2018261328B2 (en) | 2022-08-25 |
JP2022168142A (ja) | 2022-11-04 |
KR20230108352A (ko) | 2023-07-18 |
US20240096038A1 (en) | 2024-03-21 |
WO2018204419A1 (en) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7277064B2 (ja) | 空間的3d環境に対するコンテンツのマッチング | |
JP7136931B2 (ja) | 空間3d環境へのコンテンツのマッチング | |
US20230100461A1 (en) | Content discovery refresh | |
US11621997B2 (en) | Dynamically assigning storage locations for messaging system data | |
JP6681921B2 (ja) | 統計データ提供方法及び統計データ提供装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230504 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7277064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |