JP6585213B2 - 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 - Google Patents
仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 Download PDFInfo
- Publication number
- JP6585213B2 JP6585213B2 JP2018045063A JP2018045063A JP6585213B2 JP 6585213 B2 JP6585213 B2 JP 6585213B2 JP 2018045063 A JP2018045063 A JP 2018045063A JP 2018045063 A JP2018045063 A JP 2018045063A JP 6585213 B2 JP6585213 B2 JP 6585213B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- portable computer
- computer platform
- user
- illuminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 10
- 239000007921 spray Substances 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本明細書で使用する用語「仮想現実」(VR)は、現実世界または仮想世界のある場所における物理的存在をシミュレート可能なコンピュータシミュレーション環境として定義される。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの感覚体験を再現可能である。多くの従来のVRシステムは三次元(3D)仮想環境を提示するニアアイ(near eye)ディスプレイを使用する。
本発明の別の実施形態によれば、第2レンズ要素の回折面は、第1レンズ要素の表面に面して感度回折面を保護し、不要な外部要素と回折面との接触を防止する。
例示的な実施形態によれば、手の動きの追跡は、親指や他の指の微動などの手の動きの検出を可能とするように設計された光パターンを使用して実行される。構造化された光の使用は、例えば、参照によりその全体が本明細書に組み込まれる、国際公開第2013/088442号に開示されている。
任意で、光パターンは、二次元ビデオデータ(例えば、通常のビデオカメラからストリーミングされたビデオ画像)で手の指の動きを追跡するように特別に設計されてもよい。具体的には、光パターンは、指によるパターンの歪みに応じて、二次元ビデオデータ内において指(即ち、親指や他の指)や手のひらの検出および追跡を可能にするように設計されてもよい。
手のひらによる縦縞の区分によって生成されたストリップセグメントの集合は、ユーザの手の指のストリップセグメント集合とX軸において重なる上部ストリップセグメント831を含む。上部ストリップセグメント831はX軸において4つの指集合に重なるが、4つの指集合の下部セグメントの最小および最大X値を超えない。
本発明の教示の原理および使用は、実施例や添付の図面を参照することによって、より良く理解され得る。
また、本発明は種々の方法で実行または実施することができ、上述した説明以外の実施形態でも実施することができる。
明細書または特許請求の範囲が「一つ」の要素を参照する場合、そのような参照は、その要素が1つのみ存在すると解釈されるべきではない。
特許請求の範囲および明細書に記載した説明、実施例、方法および材料は、限定として解釈されるべきでなく、単に例示として解釈されるべきである。
本発明は、本明細書で説明するものと同等または類似の方法および材料を用いて試験または実施において実施することができる。
Claims (16)
- 携帯型コンピュータプラットフォームに接続可能な装置であって、
構造化光によりシーンを照明するように構成された照明器と、
前記シーン内の少なくとも1つの物体からの前記構造化光の反射を撮影するように構成されたカメラと、
プリプロセッサであって、
前記カメラからの前記撮影された反射に関連するデータの初期画像処理を行い、
前記反射に基づく前記少なくとも1つの物体の深さマップを生成するために、前記初期画像処理後のデータを前記携帯型コンピュータプラットフォームのプロセッサに供給するように構成されたプリプロセッサと、を備え、前記装置は、前記携帯型コンピュータプラットフォームおよびニアアイディスプレイとインターフェースする、装置。 - 前記照明器と、前記カメラとが赤外線(IR)領域で動作し、前記カメラはIRフィルタによって覆われている、請求項1に記載の装置。
- 当該装置を前記携帯型コンピュータプラットフォームに接続し、前記携帯型コンピュータプラットフォームに電力を供給するインターフェースをさらに備える請求項1に記載の装置。
- 前記携帯型コンピュータプラットフォームは、スマートフォン、ラップトップパーソナルコンピュータ(PC)、およびタブレットPCを含む群から選択される、請求項1に記載の装置。
- 前記装置に接続された前記ニアアイディスプレイは、仮想現実(VR)シーンと、前記深さマップに基づいて得られる前記少なくとも1つの物体の少なくとも1つの3D画像とをユーザに提示するように構成されている、請求項1に記載の装置。
- 前記少なくとも1つの物体が、前記ユーザの少なくとも1つの身体部分を含む、請求項5に記載の装置。
- 前記少なくとも1つの物体の深さマップが、前記ユーザの少なくとも1つの身体部分に関連する1つまたは複数のジェスチャに関する情報を含む、請求項6に記載の装置。
- 前記カメラの視野が、前記ニアアイディスプレイのユーザ周辺のシーンを含む、請求項5に記載の装置。
- 前記照明器は、少なくとも1つの光学要素に結合された光源を含み、
前記少なくとも1つの光学要素は、前記光源から照射された光を用いて前記構造化光を生成する、請求項1に記載の装置。 - 前記少なくとも1つの光学要素が、非球面レンズ、シリンドリカルレンズ、回折素子、ビームスプリッタ要素、正の光学面、および負の光学面のうちの少なくとも1つを含む、請求項9に記載の装置。
- 前記構造化光は、第1方向に連続的な特徴を有し、前記第1方向に対し垂直な第2方向に非連続的な特徴を有する光パターンを含む、請求項1に記載の装置。
- 前記照明器に対する前記カメラの位置は、前記撮影された前記構造化光の反射が、前記少なくとも1つの物体の少なくとも1つの深さずれに関連する前記連続的な特徴に沿った少なくとも1つの不連続部分を有するように選択される、請求項11に記載の装置。
- 方法であって、
照明器とカメラとを備える装置を、携帯型コンピュータプラットフォームに接続すること、
前記照明器から照射された構造化光によりシーンを照明すること、
前記シーン内の少なくとも1つの物体からの前記構造化光の反射を前記カメラによって撮影すること、
前記カメラからの前記撮影された反射に関連するデータの初期画像処理を行うこと、
前記反射に基づく前記少なくとも1つの物体の深さマップを生成するために、前記初期画像処理後のデータを前記携帯型コンピュータプラットフォームのプロセッサに供給することを備え、前記装置は、前記携帯型コンピュータプラットフォームおよびニアアイディ1スプレイとインターフェースする、方法。 - 前記装置を前記携帯型コンピュータプラットフォームに接続するインターフェースを介して、前記装置から前記携帯型コンピュータプラットフォームに電力を供給することをさらに備える請求項13に記載の方法。
- 第1方向に連続的な特徴を有し、前記第1方向に対し垂直な第2方向に非連続的な特徴を有する前記構造化光を、前記照明器の少なくとも1つの光学要素を用いて生成することをさらに備え、前記少なくとも1つの光学要素が、前記照明器の非球面レンズ、シリンドリカルレンズ、回折素子、ビームスプリッタ要素、正の光学面、および負の光学面のうちの少なくとも1つを含む、請求項13に記載の方法。
- 前記深さマップが、前記装置に接続された前記ニアアイディスプレイを着用しているユーザの少なくとも1つの身体部分に関する情報を含む、請求項13に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462093490P | 2014-12-18 | 2014-12-18 | |
US62/093,490 | 2014-12-18 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017532895A Division JP6309174B1 (ja) | 2014-12-18 | 2015-12-18 | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018133093A JP2018133093A (ja) | 2018-08-23 |
JP6585213B2 true JP6585213B2 (ja) | 2019-10-02 |
Family
ID=56127744
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017532895A Active JP6309174B1 (ja) | 2014-12-18 | 2015-12-18 | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
JP2018045063A Active JP6585213B2 (ja) | 2014-12-18 | 2018-03-13 | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017532895A Active JP6309174B1 (ja) | 2014-12-18 | 2015-12-18 | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9858703B2 (ja) |
EP (1) | EP3234685B1 (ja) |
JP (2) | JP6309174B1 (ja) |
KR (1) | KR101908057B1 (ja) |
CN (2) | CN112530025A (ja) |
WO (1) | WO2016100933A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011036618A2 (en) * | 2009-09-22 | 2011-03-31 | Pebblestech Ltd. | Remote control of computer devices |
US10684485B2 (en) * | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
CN108700743A (zh) | 2016-01-22 | 2018-10-23 | 康宁股份有限公司 | 宽视场个人显示器 |
US10225655B1 (en) | 2016-07-29 | 2019-03-05 | Relay Cars LLC | Stereo user interface elements placed in 3D space for virtual reality applications in head mounted displays |
EP3282285B1 (en) * | 2016-08-09 | 2020-09-09 | Facebook Technologies, LLC | Multiple emitter illumination source for depth information determination |
US10827163B2 (en) * | 2016-08-09 | 2020-11-03 | Facebook Technologies, Llc | Multiple emitter illumination source for depth information determination |
US10209360B2 (en) * | 2017-02-01 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reduced phase sampling for high speed depth sensing |
US10620316B2 (en) * | 2017-05-05 | 2020-04-14 | Qualcomm Incorporated | Systems and methods for generating a structured light depth map with a non-uniform codeword pattern |
US10976551B2 (en) | 2017-08-30 | 2021-04-13 | Corning Incorporated | Wide field personal display device |
CN107390370B (zh) * | 2017-09-21 | 2020-05-01 | 中新国际电子有限公司 | 一种vr头显 |
CN107782250B (zh) * | 2017-09-30 | 2020-03-06 | 维沃移动通信有限公司 | 一种深度信息测量方法、装置和移动终端 |
CN108196679B (zh) * | 2018-01-23 | 2021-10-08 | 河北中科恒运软件科技股份有限公司 | 基于视频流的手势捕捉和纹理融合方法及系统 |
US11156842B2 (en) * | 2018-02-07 | 2021-10-26 | Facebook Technologies, Llc | Head-mounted-display system including three-dimensional knitted layer |
US10572002B2 (en) * | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
US10528133B2 (en) * | 2018-03-13 | 2020-01-07 | Facebook Technologies, Llc | Bracelet in a distributed artificial reality system |
CN108830891B (zh) * | 2018-06-05 | 2022-01-18 | 成都精工华耀科技有限公司 | 一种钢轨鱼尾板紧固件松动检测方法 |
US10909373B1 (en) | 2018-08-24 | 2021-02-02 | Snap Inc. | Augmented reality system using structured light |
CN110072046B (zh) * | 2018-08-24 | 2020-07-31 | 北京微播视界科技有限公司 | 图像合成方法和装置 |
US11210772B2 (en) * | 2019-01-11 | 2021-12-28 | Universal City Studios Llc | Wearable visualization device systems and methods |
CN113302578A (zh) | 2019-01-22 | 2021-08-24 | 惠普发展公司,有限责任合伙企业 | 混合现实呈现 |
EP3942401A1 (en) | 2019-06-20 | 2022-01-26 | Dirtt Environmental Solutions Ltd. | Voice communication system within a mixed-reality environment |
CN110827605A (zh) * | 2019-11-27 | 2020-02-21 | 国网江苏省电力有限公司技能培训中心 | 一种基于虚拟现实的培训方法和装置 |
US11592907B2 (en) * | 2020-10-20 | 2023-02-28 | Google Llc | Gesture-triggered augmented-reality |
CN112416125A (zh) | 2020-11-17 | 2021-02-26 | 青岛小鸟看看科技有限公司 | Vr头戴式一体机 |
US11704835B2 (en) | 2021-07-29 | 2023-07-18 | Summer Robotics, Inc. | Dynamic calibration of 3D acquisition systems |
US11785200B1 (en) | 2022-03-14 | 2023-10-10 | Summer Robotics, Inc. | Stage studio for immersive 3-D video capture |
US20230316657A1 (en) * | 2022-04-05 | 2023-10-05 | Summer Robotics, Inc. | Auxiliary device for augmented reality |
CN114757829B (zh) * | 2022-04-25 | 2024-09-06 | 歌尔股份有限公司 | 拍摄校准方法、系统、设备及存储介质 |
US11974055B1 (en) | 2022-10-17 | 2024-04-30 | Summer Robotics, Inc. | Perceiving scene features using event sensors and image sensors |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000070303A1 (en) | 1999-05-14 | 2000-11-23 | 3Dmetrics, Incorporated | Color structured light 3d-imaging system |
US7440590B1 (en) * | 2002-05-21 | 2008-10-21 | University Of Kentucky Research Foundation | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns |
CN1926497A (zh) * | 2003-12-09 | 2007-03-07 | 雷阿卡特瑞克斯系统公司 | 自主交互式视频显示系统 |
US7659915B2 (en) * | 2004-04-02 | 2010-02-09 | K-Nfb Reading Technology, Inc. | Portable reading device with mode processing |
US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
JP5174684B2 (ja) * | 2006-03-14 | 2013-04-03 | プライムセンス リミテッド | スペックル・パターンを用いた三次元検出 |
JP2008028552A (ja) | 2006-07-19 | 2008-02-07 | Nikon Corp | 表示装置 |
US8100539B2 (en) | 2007-04-10 | 2012-01-24 | Tunable Optix Corporation | 3D imaging system employing electronically tunable liquid crystal lens |
US8285025B2 (en) * | 2008-03-25 | 2012-10-09 | Electro Scientific Industries, Inc. | Method and apparatus for detecting defects using structured light |
US7885012B2 (en) * | 2008-07-23 | 2011-02-08 | Eastman Kodak Company | Shearing radiation beam for imaging printing media |
US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
JP6047013B2 (ja) * | 2009-04-03 | 2016-12-21 | アイシーイーイー ホールディングス プティ リミテッド | ボックス用ブランクの製造方法 |
KR20190006088A (ko) | 2009-09-28 | 2019-01-16 | 산에이겐 에후.에후. 아이. 가부시키가이샤 | 심황 색소 조성물 및 그 조제 방법 |
US9341846B2 (en) * | 2012-04-25 | 2016-05-17 | Rockwell Collins Inc. | Holographic wide angle display |
US8446492B2 (en) * | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8396252B2 (en) * | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US8485668B2 (en) * | 2010-05-28 | 2013-07-16 | Microsoft Corporation | 3D interaction for mobile device |
WO2012011044A1 (en) * | 2010-07-20 | 2012-01-26 | Primesense Ltd. | Interactive reality augmentation for natural interaction |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US9511291B2 (en) | 2010-11-15 | 2016-12-06 | Bally Gaming, Inc. | System and method for enhanced augmented reality tracking |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
JP5960796B2 (ja) * | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
US9245307B2 (en) * | 2011-06-01 | 2016-01-26 | Empire Technology Development Llc | Structured light projection for motion detection in augmented reality |
US20120327116A1 (en) * | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US9069164B2 (en) * | 2011-07-12 | 2015-06-30 | Google Inc. | Methods and systems for a virtual input device |
GB2507020A (en) | 2011-07-13 | 2014-04-16 | Faro Tech Inc | Device and method using a spatial light modulator to find 3D coordinates of an object |
WO2013052781A1 (en) * | 2011-10-07 | 2013-04-11 | Massachusetts Institute Of Technology | Method and apparatus to determine depth information for a scene of interest |
US9518864B2 (en) | 2011-12-15 | 2016-12-13 | Facebook, Inc. | Controllable optical sensing |
US8970960B2 (en) * | 2011-12-22 | 2015-03-03 | Mattel, Inc. | Augmented reality head gear |
US20130250087A1 (en) * | 2012-03-23 | 2013-09-26 | Peter A. Smith | Pre-processor imaging system and method for remotely capturing iris images |
WO2014010251A1 (en) * | 2012-07-13 | 2014-01-16 | Panasonic Corporation | Hand and object tracking in three-dimensional space |
US9332243B2 (en) * | 2012-10-17 | 2016-05-03 | DotProduct LLC | Handheld portable optical scanner and method of using |
US20140157209A1 (en) * | 2012-12-03 | 2014-06-05 | Google Inc. | System and method for detecting gestures |
US20140160162A1 (en) * | 2012-12-12 | 2014-06-12 | Dhanushan Balachandreswaran | Surface projection device for augmented reality |
US9720505B2 (en) * | 2013-01-03 | 2017-08-01 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
US10019843B2 (en) | 2013-08-08 | 2018-07-10 | Facebook, Inc. | Controlling a near eye display |
WO2015077455A1 (en) * | 2013-11-25 | 2015-05-28 | Digimarc Corporation | Methods and systems for contextually processing imagery |
KR102046944B1 (ko) | 2014-01-13 | 2019-11-20 | 페이스북, 인크. | 서브-레졸루션 광학 검출 |
US9274340B2 (en) * | 2014-02-18 | 2016-03-01 | Merge Labs, Inc. | Soft head mounted display goggles for use with mobile computing devices |
US9749513B2 (en) * | 2014-04-29 | 2017-08-29 | Facebook, Inc. | System and method for generating a light pattern for object illumination |
US9785247B1 (en) * | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
JP2016038889A (ja) * | 2014-08-08 | 2016-03-22 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | モーション感知を伴う拡張現実 |
US9501810B2 (en) * | 2014-09-12 | 2016-11-22 | General Electric Company | Creating a virtual environment for touchless interaction |
KR101930657B1 (ko) * | 2014-10-24 | 2018-12-18 | 유센스, 인코퍼레이티드 | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 |
US9858459B2 (en) * | 2014-10-29 | 2018-01-02 | The Code Corporation | Barcode-reading system |
US9746921B2 (en) * | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US20170059305A1 (en) * | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
US9613423B2 (en) * | 2015-06-12 | 2017-04-04 | Google Inc. | Using a depth map of a monitored scene to identify floors, walls, and ceilings |
-
2015
- 2015-12-18 JP JP2017532895A patent/JP6309174B1/ja active Active
- 2015-12-18 CN CN202011551779.8A patent/CN112530025A/zh active Pending
- 2015-12-18 US US14/975,492 patent/US9858703B2/en active Active
- 2015-12-18 KR KR1020177016128A patent/KR101908057B1/ko active IP Right Grant
- 2015-12-18 EP EP15871245.5A patent/EP3234685B1/en active Active
- 2015-12-18 CN CN201580074404.8A patent/CN107209960B/zh active Active
- 2015-12-18 WO PCT/US2015/066909 patent/WO2016100933A1/en active Application Filing
-
2017
- 2017-11-07 US US15/806,222 patent/US10559113B2/en active Active
-
2018
- 2018-03-13 JP JP2018045063A patent/JP6585213B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2016100933A1 (en) | 2016-06-23 |
US9858703B2 (en) | 2018-01-02 |
JP6309174B1 (ja) | 2018-04-11 |
JP2018512095A (ja) | 2018-05-10 |
CN112530025A (zh) | 2021-03-19 |
KR20170095860A (ko) | 2017-08-23 |
KR101908057B1 (ko) | 2018-10-15 |
EP3234685B1 (en) | 2021-02-03 |
EP3234685A1 (en) | 2017-10-25 |
US20180068483A1 (en) | 2018-03-08 |
US20160180574A1 (en) | 2016-06-23 |
CN107209960B (zh) | 2021-01-01 |
JP2018133093A (ja) | 2018-08-23 |
US10559113B2 (en) | 2020-02-11 |
EP3234685A4 (en) | 2018-06-13 |
CN107209960A (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6585213B2 (ja) | 仮想現実環境におけるユーザインターフェースを提供するシステム、装置、および方法 | |
US9972136B2 (en) | Method, system and device for navigating in a virtual reality environment | |
US11086416B2 (en) | Input device for use in an augmented/virtual reality environment | |
CN108475120B (zh) | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 | |
KR102283747B1 (ko) | 시선 추적을 갖는 타겟 위치결정 | |
US10019843B2 (en) | Controlling a near eye display | |
KR20220120649A (ko) | 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템 | |
US20140168261A1 (en) | Direct interaction system mixed reality environments | |
KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
EP2984539A1 (en) | Holographic object feedback | |
EP3649502A1 (en) | Driving an image capture system to serve plural image-consuming processes | |
KR20220018561A (ko) | 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들 | |
KR20220018562A (ko) | 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅 | |
US10026231B1 (en) | System and method for providing views of virtual content in an augmented reality environment | |
KR20160000986A (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
TWM563585U (zh) | 用於虛擬實境環境的動作捕捉系統 | |
JP2017084323A (ja) | 情報処理装置、方法及びプログラム | |
Reddy et al. | IIMR: A Framework for Intangible Mid-Air Interactions in a Mixed Reality Environment | |
WO2024064231A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190313 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190604 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6585213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |