KR102246841B1 - 표면 모델링 시스템들 및 방법들 - Google Patents

표면 모델링 시스템들 및 방법들 Download PDF

Info

Publication number
KR102246841B1
KR102246841B1 KR1020197013015A KR20197013015A KR102246841B1 KR 102246841 B1 KR102246841 B1 KR 102246841B1 KR 1020197013015 A KR1020197013015 A KR 1020197013015A KR 20197013015 A KR20197013015 A KR 20197013015A KR 102246841 B1 KR102246841 B1 KR 102246841B1
Authority
KR
South Korea
Prior art keywords
polygon
physical environment
surface model
image processor
boundary
Prior art date
Application number
KR1020197013015A
Other languages
English (en)
Other versions
KR20190058624A (ko
Inventor
빅터 응-쏘우-힝
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217012225A priority Critical patent/KR102317776B1/ko
Publication of KR20190058624A publication Critical patent/KR20190058624A/ko
Application granted granted Critical
Publication of KR102246841B1 publication Critical patent/KR102246841B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Nonlinear Science (AREA)
  • Processing Or Creating Images (AREA)
  • Prostheses (AREA)
  • Materials For Medical Uses (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

물리적 환경의 표면 모델을 생성하는 방법은 물리적 환경의 이미지를 획득하는 단계를 포함한다. 방법은 또한, 적어도 이미지로부터 평면 다각형 메쉬(planar polygon mesh)를 생성하는 단계를 포함한다. 방법은 평면 다각형 메쉬의 경계 다각형을 추출하는 단계를 더 포함한다. 더욱이, 방법은 표면 메쉬의 경계 다각형에 대한 컨벡스 헐(convex hull)을 생성하는 단계를 포함한다. 게다가, 방법은 컨벡스 헐로부터 최소 영역 배향 경계 다각형(minimal area oriented boundary polygon)을 생성하는 단계를 포함한다. 방법은 또한, 평면 다각형 메쉬의 경계 다각형 내부에 최대 영역 배향 내부 다각형을 생성하는 단계를 포함할 수 있다.

Description

표면 모델링 시스템들 및 방법들
[0001] 본 개시내용은 모바일 카메라 시스템들에 의해 캡처된 이미지들을 이용한 표면 모델링에 관한 것이다.
[0002] 현대의 컴퓨팅 및 디스플레이 기술들은 소위 "VR"("virtual reality"), "AR"("augmented reality") 및/또는 "MR"("mixed reality") 경험들을 위한 시스템들의 개발을 가능하게 하였다. 이는 머리-장착 디스플레이를 통해 사용자에게 컴퓨터-생성 이미저리를 제시함으로써 행해질 수 있다. 이러한 이미저리는 사용자를 시뮬레이팅된 환경에 몰입시키는 감각적 경험을 생성한다. VR 시스템들은 통상적으로 실제 실세계 시각 입력에 대한 투과성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션과 관련된다.
[0003] AR 시스템들은 일반적으로 시뮬레이팅된 엘리먼트들로 실세계 환경을 보완한다. 예컨대, AR 시스템들은 머리-장착 디스플레이를 통해 주변 실세계 환경의 뷰(view)를 사용자에게 제공할 수 있다. 컴퓨터-생성 이미저리가 또한 주변 실세계 환경을 향상시키기 위해 머리-장착 디스플레이 상에 제시될 수 있다. 이 컴퓨터-생성 이미저리는 주변 실세계 환경과 맥락적으로 관련된 엘리먼트들을 포함할 수 있다. 이러한 엘리먼트들은 시뮬레이팅된 텍스트, 이미지들, 객체들 등을 포함할 수 있다. MR 시스템들은 또한, 시뮬레이팅된 객체들을 실세계 환경에 도입하지만 이러한 객체들은 통상적으로 AR 시스템들에서보다 더 뛰어난 정도의 상호작용성(interactivity)을 특징으로 한다.
[0004] 다양한 광학 시스템들은 VR/AR/MR 시나리오들을 디스플레이하기 위해 다양한 깊이들의 이미지들을 생성한다. 일부 이러한 광학 시스템들은 미국 특허 출원 일련번호 제14/555,585호(대리인 문서 번호 ML.20011.00) 및 제14/738,877호(대리인 문서 번호 ML.20019.00)에 설명되며, 이들의 내용들은 미리 인용에 의해 본원에 포함되었다.
[0005] AR/MR 시나리오들은 종종 실세계 객체들과 관계하는 가상 이미지 엘리먼트들의 프리젠테이션을 포함한다. 예컨대, 도 1을 참조하면, AR/MR 장면(scene)(100)이 도시되며, 여기서 AR/MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(104)을 특징으로 하는 실세계 공원-형 세팅(102)을 본다. 이들 아이템들에 더하여, AR/MR 기술의 사용자는 그가 실세계 플랫폼(104) 상에 서있는 로봇 동상(106), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(108)를 보는 것을 지각하는데, 로봇 동상(106) 및 만화-형 아바타 캐릭터(108)는 실세계 환경에 존재하지 않는다. 도 1은 AR/MR 시나리오를 개략적으로 도시하지만, AR/MR 시나리오의 품질은 AR/MR 시스템의 품질에 의존하여 변동된다. 도 1은 종래 기술의 AR/MR 시나리오를 도시하는 것이 아니라, 오히려 일 실시예에 따른 AR/MR 시나리오를 도시한다.
[0006] 뇌의 시각화 센터(visualization center)는 두 눈들 및 그의 컴포넌트들의 서로에 대한 움직임으로부터 귀중한 지각 정보를 획득한다. 서로에 대한 두 눈들의 이접운동(vergence) 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향하는 또는 서로 멀어지는 동공들의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 원근조절(또는 포커싱)과 밀접하게 연관된다. 정상 조건들하에서, 상이한 거리에 있는 객체를 포커싱하기 위해 눈들의 렌즈들의 포커스를 변화시키거나, 또는 눈들을 원근조절하는 것은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계하에서, 동일한 거리에 대한 이접운동에서의 매칭하는 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는 정상 조건들하에서, 원근조절의 매칭 변화를 트리거할 것이다. 대부분의 종래의 스테레오스코픽 VR/AR/MR 구성들이 그런 것처럼 이 반사에 대한 작용은 사용자들에게 눈의 피로, 두통들 또는 다른 형태들의 불편함을 초래하는 것으로 알려져 있다.
[0007] 스테레오스코픽 웨어러블 안경은 일반적으로, 3-차원 원근감이 인간 시각 시스템에 의해 지각되도록 약간 상이한 엘리먼트 프리젠테이션으로 이미지들을 디스플레이하도록 구성되는 2개의 디스플레이들(왼쪽 눈에 대해 하나 그리고 오른쪽 눈에 대해 하나)을 특징으로 한다. 이러한 구성들은 3차원들로 이미지들을 지각하기 위해 극복되어야 하는, 이접운동 및 원근조절 사이의 미스매치(mismatch)("이접운동-원근조절 충돌")로 인해 다수의 사용자들에게 불편한 것으로 밝혀졌다. 사실상, 일부 사용자들은 스테레오스코픽 구성들을 용인할 수 없다. 이러한 제한들이 VR, AR 및 MR 시스템들에 적용된다. 따라서, 대부분의 종래의 VR/AR/MR 시스템들은 사용자에게 편안하고 최대로 유용한 방식으로 풍부한 양안 3-차원 경험을 제시하는 데 최적으로 적합하진 않은데, 부분적으로 그 이유는, 종래의 시스템들은 이접운동-원근조절 충돌을 포함해서, 인간 지각 시스템의 기본적인 양상들 중 일부를 해결하지 못하기 때문이다.
[0008] 미국 특허 출원 일련 번호 제14/555,585호(대리인 문서 번호 ML.20011.00)에 설명된 것들과 같은 VR/AR/MR 시스템들은, 광 및 광에 의해 렌더링되는 이미지들이 다수의 깊이 평면들로부터 비롯된 것처럼 보이도록 하나 이상의 광-안내 광학 엘리먼트들을 사용하여 사용자의 눈들에 광을 프로젝팅함으로써 이접운동-원근조절 충돌을 해결한다. 광-안내 광학 엘리먼트들은, 디지털 또는 가상 객체들에 대응하는 가상 광을 인-커플링(in-couple)하고, 이를 "TIR"(total internal reflection)에 의해 전파하고, 그 후 가상 광을 아웃-커플링(out-couple)하여 가상 객체들을 사용자의 눈들에 디스플레이하도록 설계된다. AR/MR 시스템들에서, 광-안내 광학 엘리먼트들은 또한 실제의 실세계 객체들로부터의 (예컨대, 이로부터 반사되는) 광에 대해 투명하게 되도록 설계된다. 따라서, 광-안내 광학 엘리먼트들 중 일부들은 AR/MR 시스템들에서 실세계 객체들로부터의 실세계 광에 대해 투명하게 되면서, TIR을 통한 전파를 위해 가상 광을 반사하도록 설계된다.
[0009] 다수의 광 안내 광학 엘리먼트 시스템들을 구현하기 위해, 하나 이상의 광원으로부터의 광은 광 안내 광학 엘리먼트 시스템들 각각에 제어 가능하게 분배되어야 한다. 광은 현실적인 3-D 경험을 제공하기 위해 비교적 높은 레이트(예컨대, 360 Hz 또는 1 KHz)로 렌더링되는 가상 이미지 데이터로 인코딩된다. 이러한 속도들 및 고해상도로 동작하는(예컨대, 가상 콘텐츠를 렌더링하는) 현재의 "GPU"(graphics processing unit)들은 (휴대용 배터리의 용량에 비해) 대량의 전력을 소비하고 AR/MR 시스템을 착용한 사용자에게 불편할 수 있는 열을 생성한다.
[0010] AR/MR 시나리오들은 종종 가상 객체들과 실세계 물리적 환경 사이의 상호작용들(예컨대, 도 1에서 실세계 플랫폼(104) 상에 서있는 로봇 동상(106))을 포함한다. 유사하게, 일부 VR 시나리오들은 완전 가상 객체들과 다른 가상 객체들 사이의 상호작용들을 포함한다.
[0011] 물리적 환경의 표면들을 묘사하는 것(delineating)은 그러한 상호작용들의 경계들 및 한계들을 정의함으로써(예컨대, 물리적 환경에서 특정 표면의 범위를 정의함으로써) 가상 객체들과의 상호작용들을 가능하게 한다. 예컨대, AR/MR 시나리오가 물리적 환경에서 특정 표면으로부터 연장되는 가상 객체(예컨대, 촉수 또는 주먹)를 포함하는 경우, 표면의 범위를 정의하는 것은 AR/MR 시스템이 보다 현실적인 AR/MR 시나리오를 제시할 수 있게 한다. 일 실시예에서, 표면의 범위가 정의되지 않거나 부정확하게 정의되는 경우, 가상 객체는 표면으로부터 대신에, 표면에 인접한 허공으로부터 부분적으로 또는 전체적으로 연장된 것처럼 보일 수 있다. 다른 실시예에서, AR/MR 시나리오가 물리적 환경에서 특정 수평 표면을 따라 걷는 가상 캐릭터를 포함하는 경우, 표면의 범위를 부정확하게 정의하는 것은 가상 캐릭터가 표면으로부터 벗어나 공중에서 떨어지지 않고 오히려 떠 있는 채로 걷는 것처럼 보이게 할 수 있다.
[0012] 가상 객체들과 실세계 물리적 환경 사이의 상호작용들을 가능하게 하기 위해, 다양한 AR/MR 시스템들은 기준 마커들(도 2의 ArUco 마커들(200) 참조)을 활용하여 기준 마커들이 배치되는 실세계 물리적 표면들에 대한 포지션 및 배향(즉, 포즈) 정보를 제공한다. 그러나 ArUco 마커들(200)은 물리적 표면의 범위와 관련된 어떠한 정보도 제공하지 않는다. 또한, 소수의 애플리케이션들 또는 상황들만이 실세계 물리적 환경의 하나 이상의 표면들 상에 ArUco 200 마커들을 배치할 수 있다. 예컨대, ArUco 마커들(200)은 시각적 마커가 표면 상에 배치되도록 요구함으로써 그 표면의 미학(aesthetics)을 변경할 수 있다.
[0013] 일부 VR/AR/MR 시스템들이 물리적 환경의 표면들을 묘사하고 그리고/또는 표현하기 위해 다각형 메쉬(polygon mesh)들을 생성할 수 있지만, 이러한 다각형 메쉬들은 가상 객체들과 실세계 물리적 환경 사용 사이의 상호작용들을 가능하게 하기 위한 정보를 너무 많이 제공할 수 있다. 예컨대, VR/AR/MR 시스템은 물리적 충돌들의 시뮬레이팅, 휴면 접촉(resting contact)의 시뮬레이팅, 및 다양한 조명 효과들(예컨대, 그림자들 및 반사들)과 같은 다양한 애플리케이션들/기능들/프로세스들을 위해 다각형 메쉬들을 추가로 프로세싱할 필요가 있을 것이다. 현실적이고, 그럴듯하며 그리고/또는 전달 가능한 VR/AR/MR 경험을 가능하게 하기에 충분한 속도와 해상도로 이들 다양한 애플리케이션들/기능들/프로세스들에 대한 다각형 메쉬들을 추가로 프로세싱하는 것은 다수의 프로세서 사이클들을 요구할 수 있다. 프로세서 관련 요건들은 결국, VR/AR/MR 시스템들에 성능(예컨대, 렌더링과 같은 다른 기능들을 위한 프로세서 사이클들), 전력(예컨대, 배터리 수명), (예컨대, 사용자 신체에 대한 근접도를 고려한) 열 및 크기(예컨대, 휴대성) 관련 제약들을 부과할 수 있다. 최소 프로세싱으로 넓은 편평한 구역들의 위치와 같은 환경의 핵심적인 양상들을 표현하기 위해 환경의 보다 추상적이고 쉽게 소화 가능한 표현들에 대한 필요성이 존재한다. 다각형 메쉬들은 유용한 정보를 추출하기 위해 추가의 프로세싱을 요구한다. 본원에서 설명된 시스템들 및 방법들은 이들 및 다른 난제들을 해결하도록 구성된다.
[0014] 일 실시예에서, 물리적 환경의 표면 모델을 생성하는 방법은 물리적 환경의 이미지를 획득하는 단계를 포함한다. 방법은 또한, 적어도 이미지로부터 경계 다각형(boundary polygon)을 추출하는 단계를 포함한다. 더욱이, 방법은 경계 다각형에 대한 컨벡스 헐(convex hull)을 생성하는 단계를 포함한다. 게다가, 방법은 컨벡스 헐로부터 최소 영역 배향 경계 다각형(minimal area oriented boundary polygon)을 생성하는 단계를 포함한다.
[0015] 하나 이상의 실시예들에서, 방법은 또한, 적어도 이미지로부터 평면 다각형 메쉬(planar polygon mesh)를 생성하는 단계를 포함한다. 적어도 이미지로부터 경계 다각형을 추출하는 단계는 평면 다각형 메쉬로부터 경계 다각형을 추출하는 단계를 포함할 수 있다. 물리적 환경의 이미지를 획득하는 단계는, 이미징 디바이스(imaging device)를 이용하여 물리적 환경에 대응하는 3-D 포인트 클라우드(point cloud)를 획득하는 단계, 및 이미징 디바이스에 대한 포즈(pose) 정보를 획득하는 단계를 포함할 수 있다. 방법은 또한 포즈 정보를 사용하여 3-D 포인트 클라우드에 대한 트룬케이티드 부호화 거리 함수(truncated signed distance function)를 컴퓨팅하는 단계를 포함할 수 있다. 평면 다각형 메쉬를 생성하는 단계는 트룬케이티드 부호화 거리 함수를 모자이크화(tessellating)하는 단계를 포함할 수 있다. 방법은 또한, 2개의 더 작은 평면 다각형 메쉬들을 하나의 큰 평면 다각형 메쉬로 결합하는 단계를 포함할 수 있다.
[0016] 하나 이상의 실시예들에서, 방법은 또한 중력 벡터(gravity vector)를 획득하는 단계를 포함하며, 여기서, 생성된 평면 다각형 메쉬는 중력 벡터에 대해 실질적으로 평행하고 직교하는 것 중 적어도 하나이다. 컨벡스 헐을 생성하는 단계는 Graham-Scan 알고리즘을 이용하는 단계를 포함할 수 있다. 최소 영역 배향 경계 다각형을 생성하는 단계는 회전 캘리퍼스 알고리즘(rotating calipers algorithm)을 사용하는 단계를 포함할 수 있다. 최소 영역 배향 경계 다각형은 평면 다각형 메쉬의 경계 다각형 외부에 있을 수 있다.
[0017] 하나 이상의 실시예들에서, 방법은 또한, 평면 다각형 메쉬의 경계 다각형 내부에 최대 영역 배향 내부 다각형을 생성하는 단계를 포함한다. 최대 영역 배향 내부 다각형을 생성하는 단계는 경계 다각형에 의해 정의된 검색 영역에서 검색을 수행하는 단계를 포함할 수 있다. 최대 영역 배향 내부 다각형을 생성하는 단계는 검색 영역에 그리드(grid)를 형성하는 단계를 포함할 수 있다. 방법은 또한 검색 영역의 크기에 기초하여 그리드의 해상도를 조정하는 단계를 포함할 수 있다.
[0018] 하나 이상의 실시예들에서, 방법은 또한, 평면 다각형 메쉬의 경계 다각형 내부의 포인트의 선택을 수신하는 단계를 포함한다. 최대 영역 배향 내부 다각형을 생성하는 단계는 선택된 포인트를 사용하여 정의된 검색 영역에서 검색을 수행하는 단계를 포함할 수 있다. 최대 영역 배향 내부 다각형을 생성하는 단계는 검색 영역에 그리드(grid)를 형성하는 단계를 포함할 수 있다. 방법은 또한 검색 영역의 크기에 기초하여 그리드의 해상도를 조정하는 단계를 포함할 수 있다.
[0019] 하나 이상의 실시예들에서, 최소 영역 배향 경계 다각형 및 최대 영역 배향 내부 다각형은 동일한 형상을 가질 수 있다. 평면 다각형 메쉬는 마칭 큐브 알고리즘(marching cubes algorithm)에 기초하여 생성될 수 있다. 최소 영역 배향 경계 다각형은 직사각형, 삼각형 및 원형 중 적어도 하나일 수 있다. 방법은 또한 최소 영역 배향 경계 다각형과 경계 다각형 사이의 피팅(fit)을 결정하는 단계를 포함할 수 있다. 피팅을 결정하는 단계는 최소 영역 배향 경계 다각형의 제1 영역과 경계 다각형의 제2 영역 사이의 차이를 계산하는 단계를 포함할 수 있다.
[0020] 하나 이상의 실시예들에서, 방법은 또한 최소 영역 배향 경계 다각형을 표현하는 데이터를 저장하는 단계를 포함하며, 여기서, 최소 영역 배향 경계 다각형은 직사각형이다. 데이터는 직사각형에 대응하는 좌표들의 4개의 세트들을 포함할 수 있다. 데이터는 또한 직사각형의 길이, 직사각형의 폭, 및 직사각형의 중심을 포함할 수 있다. 좌표들의 4개의 세트들 각각은 한 쌍의 좌표들일 수 있다. 평면 다각형 메쉬를 생성하는 단계는 물리적 환경의 일련의 이미지들의 정적 부분들을 캡처하는 단계를 포함할 수 있다.
[0021] 다른 실시예에서, 물리적 환경의 표면 모델을 생성하기 위한 시스템은, 이미징 디바이스 및 카메라에 동작 가능하게 커플링된 이미지 프로세서를 포함한다. 이미지 프로세서는 이미징 디바이스로부터 적어도 부분적으로 물리적 환경의 이미지를 획득하도록 구성된다. 이미지 프로세서는 또한, 적어도 이미지로부터 경계 다각형(boundary polygon)을 추출하도록 구성된다. 더욱이, 이미지 프로세서는 경계 다각형에 대한 컨벡스 헐(convex hull)을 생성하도록 구성된다. 게다가, 이미지 프로세서는 컨벡스 헐로부터 최소 영역 배향 경계 다각형(minimal area oriented boundary polygon)을 생성하도록 구성된다.
[0022] 하나 이상의 실시예들에서, 시스템은 또한 이미징 디바이스 및 이미지 프로세서에 동작 가능하게 커플링된 포즈 센서를 포함한다. 이미지 프로세서는 또한, 포즈 정보를 사용하여 3-D 포인트 클라우드에 대한 트룬케이티드 부호화 거리 함수를 컴퓨팅하도록 구성될 수 있다. 이미지 프로세서는 추가로, 트룬케이티드 부호화 거리 함수를 모자이크화함으로써 적어도 이미지로부터 평면 다각형 메쉬를 생성하도록 구성될 수 있다. 적어도 이미지로부터 경계 다각형을 추출하는 것은 평면 다각형 메쉬의 경계 다각형을 추출하는 것을 포함할 수 있다. 물리적 환경의 이미지를 획득하는 것은, 이미징 디바이스를 이용하여 물리적 환경에 대응하는 3-D 포인트 클라우드를 획득하는 것, 그리고 포즈 센서를 사용하여 이미징 디바이스에 대한 포즈 정보를 획득하는 것을 포함할 수 있다.
[0023] 하나 이상의 실시예들에서, 이미지 프로세서는 또한, 적어도 이미지로부터 평면 다각형 메쉬를 생성하고, 그리고 평면 다각형 메쉬의 경계 다각형 내부에 최대 영역 배향 내부 다각형을 생성하도록 구성된다. 최대 영역 배향 내부 다각형을 생성하는 것은, 경계 다각형에 의해 정의된 검색 영역에서 검색을 수행하는 것, 검색 영역에 그리드를 형성하는 것, 그리고 검색 영역의 크기에 기초하여 그리드의 해상도를 조정하는 것을 포함할 수 있다.
[0024] 하나 이상의 실시예들에서, 이미지 프로세서는 또한, 평면 다각형 메쉬의 경계 다각형 내부의 포인트의 선택을 수신하도록 구성된다. 최대 영역 배향 내부 다각형을 생성하는 것은 또한, 선택된 포인트를 사용하여 정의된 검색 영역에서 검색을 수행하는 것, 그리고 검색 영역에 그리드를 형성하는 것을 포함할 수 있다. 이미지 프로세서는 또한, 검색 영역의 크기에 기초하여 그리드의 해상도를 조정하도록 구성될 수 있다. 최소 영역 배향 경계 다각형은 직사각형, 삼각형 및 원형 중 적어도 하나일 수 있다.
[0025] 하나 이상의 실시예들에서, 이미지 프로세서는 또한, 최소 영역 배향 경계 다각형을 표현하는 데이터를 저장하도록 구성되고, 최소 영역 배향 경계 다각형은 직사각형이다. 데이터는 직사각형에 대응하는 좌표들의 4개의 세트들을 포함할 수 있다. 데이터는 또한 직사각형의 길이, 직사각형의 폭, 및 직사각형의 중심을 포함할 수 있다. 좌표들의 4개의 세트들 각각은 한 쌍의 좌표들일 수 있다. 이미지 프로세서는 또한, 물리적 환경의 일련의 이미지들의 정적 부분들을 적어도 캡처함으로써 적어도 이미지로부터 평면 다각형 메쉬를 생성하도록 구성될 수 있다.
[0026] 하나 이상의 실시예들에서, 평면 다각형 메쉬는 마칭 큐브 알고리즘을 사용하여 생성된다. 방법은 또한 최소 영역 배향 경계 다각형의 중심 포인트를 결정하는 단계를 포함할 수 있다. 방법은 또한 최소 영역 배향 경계 다각형의 배향을 결정하는 단계를 포함할 수 있다. 방법은 또한 최소 영역 배향 경계 다각형에 대한 법선을 결정하는 단계를 포함할 수 있다. 방법은 또한 최소 영역 배향 경계 다각형을 포함하는 좌표계를 결정하는 단계를 포함할 수 있다.
[0027] 도면들은 본 개시내용의 다양한 실시예들의 설계 및 활용을 예시한다. 도면들은 실척대로 그려진 것이 아니며 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 유사한 참조 번호들로 표현된다는 것이 주의되어야 한다. 본 개시내용의 다양한 실시예들의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 개시내용들의 보다 상세한 설명이 첨부 도면들에서 예시되는 본 개시내용의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 개시내용의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 개시내용의 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면서, 본 개시내용은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0028] 도 1은 일 실시예에 따른 웨어러블 AR/MR 사용자 디바이스를 통한 증강 또는 혼합 현실의 개략도이다.
[0029] 도 2는 일 실시예에 따른 4개의 Aruco 기준 마커들을 도시한다.
[0030] 도 3은 일 실시예에 따른 AR/MR 시스템을 도시하는 블록도이다.
[0031] 도 4는 일 실시예에 따라 AR/MR 시스템을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법을 예시하는 흐름도이다.
[0032] 도 5는 다른 실시예에 따라 AR/MR 시스템을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법을 예시하는 흐름도이다.
[0033] 도 6은 일 실시예에 따라 실세계 물리적 환경의 표면을 표현하는 평면 다각형 메쉬를 도시한다.
[0034] 도 7은 일 실시예에 따라 평면 다각형 메쉬로부터 추출된 경계 다각형을 도시한다.
[0035] 도 8은 일 실시예에 따라 실세계 물리적 환경의 표면 모델과 상호작용하기 위한 사용자 인터페이스를 도시한다.
[0036] 도 9a 내지 도 9c는 다른 실시예에 따라 실세계 물리적 환경의 표면 모델과 상호작용하기 위한 사용자 인터페이스들의 3개의 인스턴스들을 도시한다.
[0037] 도 10은 일 실시예에 따른, 방의 하나 이상의 표면들을 표현하는 3-D 표면 모델을 도시한다.
[0038] 도 11은 또 다른 실시예에 따라 AR/MR 시스템을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법을 예시하는 흐름도이다.
[0039] 도 12는 또 다른 실시예에 따라 AR/MR 시스템을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법을 구현하기에 적합한 컴퓨팅 시스템을 예시하는 블록도이다.
[0040] 본 개시내용의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 표면 모델링 시스템들을 위한 시스템들, 방법들 및 제조 물품들에 관한 것이다. 본 개시내용의 다른 객체들, 특징들 및 장점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.
[0041] 당업자들이 본 개시내용을 실시하는 것을 가능하게 하도록 본 개시내용의 예시적인 예들로서 제공되는 도면들을 참조하여 다양한 실시예들이 이제 상세히 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 개시내용의 범위를 제한하는 것으로 의도되지 않는다. 본 개시내용의 소정의 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 본 개시내용의 이해에 필수적인 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 부분들만이 설명될 것이며, 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않도록 생략될 것이다. 또한, 다양한 실시예들은 예시로 본원에서 언급된 컴포넌트들에 대한 현재 알려진 등가물들 및 미래에 알려질 등가물들을 포함한다.
[0042] 표면 모델링 시스템들은 AR/MR 시스템들과 독립적으로 구현될 수 있지만, 이하의 다수의 실시예들은 단지 예시 목적들을 위해 AR/MR 시스템들과 관련하여 설명된다.
문제점 및 솔루션의 요약
[0043] 가상 객체들과 실세계 물리적 환경 사이의 현실적인 상호작용을 가능하게 하기 위해, 물리적 환경의 다양한 표면들의 포지션, 배향 및 범위가 결정되고 가상 객체들을 렌더링하는 프로세서(예컨대, GPU)에 통신되어야 한다. 물리적 환경의 표면들에 관한 정보는, 가상 객체들이 표면들에 대해 물리적 법칙들(예컨대, 중력)을 따르는 것처럼 보이도록, 프로세서가 이 가상 객체들을 렌더링할 수 있게 한다. 표면들에 관한 정보는 또한, 가상 객체들이 표면들과 일치하도록, 프로세서가 이 가상 객체들을 렌더링할 수 있게 한다. 일 예는, 벽 또는 테이블 너머로 연장되는 가상 미디어(예컨대, 만화책 또는 영화)가 없는, 벽 또는 테이블의 표면 상의 가상 미디어의 디스플레이이다.
[0044] 일부 증강 현실(AR)/혼합 현실(MR) 시스템들은 실세계 물리적 환경의 표면들의 포지션 및 배향을 제공하기 위해 기준 마커들(예컨대, ArUco 마커들)을 활용한다. 그러나, 그러한 마커들은 거슬릴 수 있고 표면들의 범위(크기, 형상 등)와 관련된 정보를 제공하지 않을 수 있다. 다른 AR/MR 시스템들은 물리적 환경의 표면들을 모델링하기 위해 다각형 메쉬를 생성한다. 그러나 다수의 애플리케이션들은 추가의 프로세싱으로부터의 증가된 컴퓨테이셔널 비용 없이 다각형 메쉬를 활용할 수 없다. 다각형 메쉬의 추가의 프로세싱에 소비되는 프로세서 사이클들은 고화질 이미지의 렌더링과 같은 다른 AR/MR 시스템 기능들을 위해 사용될 수 없다. 또한, 부가적인 프로세싱은 전력을 요구하여 배터리 수명을 감소시킨다. 더욱이, 부가적인 프로세싱은 열을 생성하여 잠재적으로 AR/MR 시스템을 착용하는 사용자에게 불편함을 야기한다. 또한, 부가적인 프로세싱을 수행하기 위해 프로세서들 및/또는 배터리들을 부가하는 것은 AR/MR 시스템의 최소 크기를 증가시킨다.
[0045] 본원에서 설명된 AR/MR 시스템들 및 방법들은, 더 작은 다각형 메쉬로부터 사용자 친화적인 더 큰 다각형들(예컨대, 직사각형들)을 추출하고, 그 후 추출된 더 큰 다각형들을 사용하여 물리적 환경의 표면들을 모델링함으로써 이러한 문제들을 해결한다. 시스템들 및 방법들은 가장 유용한 다각형들(예컨대, 수평 및 수직 평면들)을 추출할 수 있다. 그 후, 추출된 더 큰 다각형들은 간단하고 편리한 데이터 포멧으로 저장되고 AR/MR 시스템과 연관된 애플리케이션들/기능들/프로세스들에 전송된다. 물리적 환경의 표면들은 추출된 더 큰 다각형들로 모델링되기 때문에 그리고 더 큰 다각형들은 간단하고 편리한 데이터 포멧으로 저장되기 때문에, 이들은 최소한의 추가의 프로세싱으로, 최소 레이턴시 및 프로세싱 요건들을 갖는 현실적이고 고화질의 AR/MR 경험을 생성하는 데 사용될 수 있다.
증강 현실/혼합 현실 시스템들
[0046] 도 3은 일 실시예에 따른 AR/MR 시스템(300)(이하, "시스템(300)"으로서 지칭됨)을 예시한다. 시스템(300)은 하나 이상의 스택된 "LOE"(light-guiding optical element)들(390)을 사용하여 광을 각각의 하나 이상의 깊이 평면들로 사용자의 눈들에 안내한다. LOE들은 각각의 깊이 평면들로부터 기원하는 것처럼 보이는 이미지들을 생성하기 위해 깊이 평면 정보로 인코딩/프로그래밍/임베딩되는 체적 위상 홀로그램들 또는 표면 부조 홀로그램들일 수 있다. 즉, 회절 패턴, 또는 "DOE"(diffractive optical element)가 LOE 상에 각인되거나 또는 그 내에 임베딩될 수 있어서, 시준된 광(실질적으로 평면 파면들을 갖는 광 빔들)이 LOE를 따라 실질적으로 내부 전반사됨에 따라, 그 광이 다수의 위치들에서 회절 패턴과 교차하고 사용자의 눈을 향해 빠져나간다. DOE들은, LOE로부터 빠져나가는 광이 버징되어서(verged), 이들이 특정 깊이 평면으로부터 유래하는 것처럼 보이도록 구성된다.
[0047] 시스템(300)은 이미지 프로세서(310), 광원(320), 제어기(330), "SLM"(spatial light modulator)(340), 한 쌍의 전향 FOV(field of view) 카메라들(350), 전향 FOR 카메라들(350)에 대응하는 한 쌍의 포즈 센서들(360), 및 다중 평면 포커스 시스템으로서 기능하는 스택된 LOE들(390)의 적어도 하나의 세트를 포함한다. 시스템(300)은 또한 눈-추적 서브시스템(370)을 포함할 수 있다. 다른 실시예들은 스택된 LOE들(390)의 다수의 세트들을 가질 수 있다는 것이 인지되어야 한다.
[0048] 이미지 프로세서(310)는 사용자에게 디스플레이될 가상 콘텐츠를 생성하도록 구성된다. 이미지 프로세서(310)는 가상 콘텐츠와 연관된 이미지 또는 비디오를 3D로 사용자에게 프로젝팅될 수 있는 포맷으로 변환할 수 있다. 예컨대, 3-D 콘텐츠의 생성 시에, 가상 콘텐츠는 특정 이미지의 부분들이 특정 깊이 평면에 디스플레이되는 반면, 다른 것들은 다른 깊이 평면들에 디스플레이되도록 포맷팅될 필요가 있을 수 있다. 일 실시예에서, 모든 이미지는 단일 깊이 평면에서 생성될 수 있다. 다른 실시예에서, 이미지 프로세서(310)는, 함께 뷰잉될 때 가상 콘텐츠가 사용자의 눈들에 일관성 있고 편안하게 나타나도록 하기 위해 오른쪽 눈 및 왼쪽 눈에 약간 상이한 이미지들을 제공하도록 프로그래밍될 수 있다.
[0049] 이미지 프로세서(310)는 또한, (예컨대, 전향 FOV 카메라들(350)에 의해 캡처된 이미지들 및/또는 비디오들로부터) 실세계 물리적 환경의 표면 모델을 생성하도록 구성된다. 일 실시예에서, 이미지 프로세서(310)는 기준 마커들을 사용하지 않고 표면 모델을 생성하도록 구성된다. 표면 모델은 물리적 환경의 전체 표면들에 근사하는 더 큰 다각형들을 포함한다. 다른 실시예에서, 표면 모델은 메쉬들이 없다.
[0050] 이미지 프로세서(310)는 메모리(312), GPU(314), CPU(316), 그리고 이미지 생성 및 프로세싱, 및 표면 모델링을 위한 다른 회로를 더 포함할 수 있다. 이미지 프로세서(310)는 AR/MR 시스템(300)의 사용자에게 제시될 원하는 가상 콘텐츠로 프로그래밍될 수 있다. 이미지 프로세서(310)는 또한, 캡처된 이미지들 및/또는 비디오들로부터 표면 모델을 생성하기 위한 하나 이상의 알고리즘들로 프로그래밍될 수 있다. 일부 실시예들에서, 이미지 프로세서(310)는 시스템(300)의 웨어러블 디스플레이 유닛에 하우징될 수 있다. 다른 실시예들에서, 이미지 프로세서(310) 및 다른 회로는 웨어러블 디스플레이 유닛에 커플링되는 벨트 팩에 하우징될 수 있다. 이미지 프로세서(310)는 원하는 가상 콘텐츠 및 하나 이상의 공간 광 변조기들과 연관된 광을 프로젝팅하는 광원(320)에 동작 가능하게 커플링된다. 이미지 프로세서(310)는 또한 전향 FOV 카메라들(350) 및 포즈 센서들(360)에 동작 가능하게 커플링된다.
[0051] 광원(320)은 콤팩트하고 고해상도를 갖는다. 광원(320)은 제어기(330)에 동작 가능하게 커플링된다. 광원(320)은 다양한 지오메트리 구성들로 배치된 컬러 특정 LED들 및 레이저들을 포함할 수 있다. 대안적으로, 광원(320)은, 각각이 디스플레이의 시야의 특정 구역에 링크되는, 유사한 컬러의 LED들 또는 레이저들을 포함할 수 있다. 다른 실시예에서, 광원(320)은 방출 영역들 및 포지션들의 세그먼테이션(segmentation)을 위한 마스크 오버레이를 갖는 넓은 영역 이미터(broad-area emitter), 이를테면, 백열등 또는 형광등을 포함할 수 있다. 광원(320)이 도 3의 AR/MR 시스템(300)에 직접 연결되지만, 광원(320)은 광섬유들(도시되지 않음)을 통해 시스템(300)에 연결될 수 있다. 시스템(300)은 또한 광원(320)으로부터의 광을 시준하도록 구성된 콘덴서(도시되지 않음)를 포함할 수 있다.
[0052] SLM(340)은 다양한 실시예들에서 반사형(예컨대, LCOS, FLCOS, DLP DMD 또는 MEMS 미러 시스템), 투과형(예컨대, LCD) 또는 방사형(예컨대, FSD 또는 OLED)일 수 있다. SLM(340)의 유형(예컨대, 속도, 크기 등)은 3-D 지각의 생성을 개선하도록 선택될 수 있다. 더 높은 리프레시 레이트들로 동작하는 DLP DMD들이 고정 시스템들(300)에 쉽게 통합될 수 있지만, 웨어러블 시스템들(300)은 더 작은 크기 및 전력의 DLP를 사용할 수 있다. DLP의 전력은 3-D 깊이 평면들/초점 평면들이 생성되는 방식을 변경한다. 이미지 프로세서(310)는 원하는 가상 콘텐츠로 광원(320)으로부터의 광을 인코딩하는 SLM(340)에 동작 가능하게 커플링된다. 광원(320)으로부터의 광은, 그것이 SLM(340)으로부터 반사되거나, 이로부터 방출되거나 이를 통과할 때 이미지 정보로 인코딩될 수 있다.
[0053] SLM(340)으로부터의 광이 LOE들(390)로 지향되어서, SLM(340)에 의해 이미지 데이터로 인코딩된 광 빔들은 사용자의 눈으로의 전달을 위해 단일 LOE(390)를 따라 효과적으로 전파되게 된다. 각각의 LOE(390)는, 사용자의 망막 상에서 원하는 깊이 평면 또는 FOV 각 포지션(angular position)으로부터 기원하는 것처럼 보이는 이미지 또는 서브-이미지를 프로젝팅하도록 구성된다. 따라서, 광원(320) 및 LOE들(390)은, 공간에서 다양한 깊이 평면들 또는 포지션들로부터 기원하는 것처럼 보이는 이미지들(제어기(330)의 제어 하에서 SLM(340)에 의해 동기식으로 인코딩됨)을 선택적으로 프로젝팅할 수 있다. 충분히 높은 프레임 레이트(예컨대, 60Hz의 유효 풀-볼륨(full-volume) 프레임 레이트에서 하나의 컬러의 6개의 깊이 평면들에 대해 360Hz, 또는 60Hz에서 RGB 풀 컬러의 6개의 깊이 평면들에 대해 1080Hz)에서 광원(320) 및 LOE들(390) 각각을 사용하여 이미지들을 순차적으로 프로젝팅함으로써, 시스템(300)은 3-D 이미지에 동시에 존재하는 것처럼 보이는, 다양한 깊이 평면들에 있는 가상 객체들의 3-D 이미지를 생성할 수 있다.
[0054] 제어기(330)는 이미지 프로세서(310), 광원(320), 및 SLM(340)과 통신하고 이들과 동작 가능하게 커플링되어, 이미지 프로세서(310)로부터의 적절한 이미지 정보로 광원(320)으로부터의 광 빔들을 인코딩하도록 SLM(340)에 지시함으로써 이미지들의 동기식 디스플레이를 조절(coordinate)한다.
[0055] 전향 FOV 카메라들(350)은 사용자 FOV의 이미지들 및/또는 비디오들을 캡처하도록 구성된다. 전향 FOV 카메라들(350)은 가시광 및/또는 비가시 광, 이를테면, 적외선에 민감할 수 있다. 전향 FOV 카메라들(350)은 이미지 프로세서(310)에 동작 가능하게 커플링된다.
[0056] 포즈 센서들(360)은 전향 FOV 카메라들(350) 각각의 배향(예컨대, 롤, 피치 및 요(yaw))에 관련된 정보를 레코딩하도록 구성된다. 일 실시예에서, 포즈 센서들(360)은 하나 이상의 가속도계들, 자이로스코프들, 자력계들 등을 포함할 수 있는 "IMU"(inertial measurement unit)들이다. 포즈 센서들(360)은 N(예컨대, 6) 자유도에서 힘, 각도 변화 및/또는 자기장 변화를 측정할 수 있다. 각각의 전향 FOV 카메라들(350)에 대한 포즈 센서들(360)의 근접도는 전향 FOV 카메라들(350)에 대한 포즈 정보의 정확도를 증가시킨다. 일부 실시예들에서, 포즈 센서들(360)은 전향 FOV 카메라들(350)에 (영구적으로 또는 제거 가능하게) 커플링된다.
[0057] 시스템(300)은 또한 사용자의 눈들을 추적하고 사용자의 포커스를 결정하도록 구성된 선택적인 눈-추적 서브시스템(370)을 포함한다. 일 실시예에서, 시스템(300)은, 사용자의 포커스/원근조절과 일치하는 원하는 깊이 평면에서 이미지가 생성되도록 눈-추적 서브시스템(370)으로부터의 입력에 기초하여 LOE들(390)의 서브세트를 조명하도록 구성된다. 예컨대, 사용자의 눈들이 서로 평행한 경우, 시스템(300)은 사용자의 눈들에 시준된 광을 전달하도록 구성된 LOE(390)를 조명할 수 있어서, 이미지가 광학 무한대로부터 기원하는 것처럼 보이게 된다. 다른 예에서, 눈-추적 서브-시스템(370)이 사용자의 포커스가 1미터 떨어져 있다고 결정하는 경우, 그 범위 내에서 대략 포커싱하도록 구성된 LOE(390)가 대신 조명될 수 있다.
표면 모델링
[0058] 일 실시예에 따라, 실세계 물리적 환경의 표면들을 모델링하도록 구성된 시스템(300)이 위에서 설명되었다. 이러한 시스템을 사용하여 실세계 물리적 환경의 표면을 모델링하는 방법이 아래에서 설명된다.
[0059] 도 4는 일 실시예에 따라, 시스템(300)(전향 FOV(field of view) 카메라(350), 포즈 센서(360) 및 이미지 프로세서(310)를 포함함)을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법(400)을 예시하는 흐름도이다. 단계(402)에서, 시스템(300)(예컨대, 이미지 프로세서(310))은 시스템(300)이 배치되는 물리적 환경의 하나 이상의 이미지들 또는 비디오들을 수신한다. 이미지들/비디오들은 전향 FOV 카메라들(350)로부터 수신될 수 있다. 시스템(300)은, 물리적 환경들의 일련의 이미지들의 정적 부분들만이 캡처되는 반면, 동적 부분들이 무시되도록 전향 FOV 카메라들(350)을 사용하여 이미지들을 캡처하도록 구성될 수 있다.
[0060] 대안적으로, 이미지들/비디오들은 물리적 환경의 다른 시스템(300)의(예컨대, 다른 사용자들의) 카메라들로부터 수신될 수 있다. 이미지들/비디오들이 하나 이상의 카메라들로부터 수신될 때, 그 이미지들/비디오들의 포인트들이 공통 좌표계를 갖는 단일 참조 프레임에 등록된다. 이미지들/비디오들은 그들의 캡처에 관하여 실시간으로 수신될 수 있거나, 또는 이들은 이전에 캡처되고 (예컨대, 시스템(300)이 통신 가능하게 커플링된 서버의 메모리에) 저장되었을 수 있다. 하나 이상의 포지션들 및 배향들/각도들로부터 동일한 물리적 환경의 이미지들/비디오들을 수신하는 것은 어떠한 광학 정보도 없는 물리적 환경의 표면들의 양을 감소시킴으로써 표면 모델링의 정확도를 증가시킨다.
[0061] 포즈 정보는 각각의 전향 FOV 카메라들(350)에 인접하게 배치된 시스템(300)의 포즈 센서들(360)로부터 수신될 수 있다. 이미지 프로세서(310)는 포즈 정보를 사용하여 물리적 환경의 이미지들/비디오들로부터 물리적 환경에 대응하는 3-D 포인트 클라우드를 생성한다. 단일 이미지 실시예에서, 3-D 포인트 클라우드는, 이미지 및 이미지를 캡처한 전향 FOV 카메라(350)와 관련된 포즈 정보로부터 결정된 바와 같은 3차원 좌표계(예컨대, X, Y, Z)에서 각각의 샘플 포인트 및 그의 포지션을 표현한다. 이러한 정보는 비행 시간 정보 분석을 사용하여 획득될 수 있다. 다중 이미지 실시예에서, 3-D 포인트 클라우드는, 이미지들, 및 일부 경우들에서, 각각의 포즈 정보로부터 결정된 바와 같은 3차원 좌표계에서 평균 포지션 및 각각의 이미지의 각각의 샘플 포인트의 평균을 표현한다. 이러한 정보는 비행 시간 분석 및/또는 삼각측량을 사용하여 획득될 수 있다.
[0062] 깊이 감지 시스템이 또한 3-D 포인트 클라우드를 생성하는 데 사용될 수 있다. 깊이 감지는 3-D 공간의 알려진 포인트(예컨대, 깊이 센서 또는 전향 FOV 카메라(350))와 실세계 물리적 객체의 표면 상의 "POI"(point of interest) 사이의 거리의 결정이다. 깊이 감지는 AR/MR 시스템들을 포함한 많은 컴퓨터 비전 시스템들에 대해 유용하다. 깊이 감지에 대한 하나의 접근법은 표면 상의 단일 POI의 (알려진 배향으로 알려진 거리만큼 분리되는) 2개의 이미지들의 광학 축들 사이의 각각의 각도들 및 각각의 이미지들 상의 POI들을 측정하는 것을 포함한다. 표면의 깊이는, 이미지 캡처 위치들 사이의 알려진 거리 및 측정된 각도들을 삼각측량함으로써 결정된다. 비행 시간 카메라는 하나의 유형의 깊이 센서로 간주될 수 있다.
[0063] 단계(404)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))은 수신된 이미지들/비디오들로부터 평면 다각형 메쉬를 생성한다. 도 6을 간략히 참조하면, 도 6은 일 실시예에 따른 평면 다각형/삼각형 메쉬들(602)을 예시한다. 하나 이상의 평면 다각형 메쉬들(예컨대, 도 6에 도시된 바와 같은 평면 다각형/삼각형 메쉬들(602))은 물리적 환경의 표면들을 묘사하고 그리고/또는 표현하기 위해 물리적 환경으로부터 캡처되거나 구성되는 이미지들/비디오들/3-D 포인트 클라우드들로부터 형성될 수 있다. 일 실시예에서, 마칭 큐브(marching cube) 알고리즘이 사용되어 수신된 이미지들/비디오들로부터 비평면 메쉬를 생성하고, 비평면 메쉬로부터 평면 다각형 메쉬(602)가 유도된다.
[0064] 다른 실시예에서, 단계(404)에서, 시스템(300)은 3-D 포인트 클라우드에 대한 "TSDF"(truncated signed distance function)를 컴퓨팅함으로써 3-D 포인트 클라우드에 기초하여 평면 다각형 메쉬(602)를 생성한다. 예컨대, 3-D 포인트 클라우드에 대한 TSDF는, 예컨대, 마칭 큐브 알고리즘을 사용하여 비평면 메쉬를 생성하는 데 사용되고, 비평면 메쉬로부터 평면 다각형 메쉬(602)가 유도된다. TSDF는 3-D 포인트 클라우드의 각각의 포인트에 대한 숫자 값을 포함한다. 값은 포인트가 특정 평면에 있을 때 0이고, 포인트가 (특정 코트 시스템(court system)을 사용하여) 특정 평면 위에 있을 때 양수이고, 포인트가 특정 평면 아래에 있을 때 음수이다. 그 후, 컴퓨팅된 TSDF가 사용되어 특정 평면에, 그 위에 및 그 아래에 정렬되는 벽돌들 또는 박스들의 3-D 볼류메트릭 그리드를 정의한다. 마지막으로, 3-D 볼류메트릭 그리드는 비평면 메쉬를 생성하도록 마칭 큐브들로 모자이크화(tessellated)되고, 비평면 메쉬는 분석되어 특정 표면을 표현하는 평면 다각형 메쉬(602)로 변환된다. 모자이크화 프로세스는 둥근 또는 예리한 에지들을 포함하거나 배제하도록 제어될 수 있다. 또한, 비평면 메쉬는 동일한 배향을 갖는 근처/인접 다각형들을 더 큰 다각형들로 정리(collapsing)함으로써 단순화될 수 있다. 일부 예들에서, 생성된 평면 다각형 메쉬(602)는 또한, 동일한 배향을 갖는 근처/인접 다각형들을 더 큰 다각형들로 정리함으로써 단순화될 수 있다.
[0065] 다양한 실시예들은 또한 포즈 센서(360)(예컨대, IMU)에 의해 검출된 중력 벡터에 직교하는 평면성(planarity)을 강제할 수 있다. 즉, 물리적 환경이 다양한 객체들(예컨대, 전화들, 랩톱 컴퓨터들, 커피 머그들 등)을 갖는 회의 테이블을 포함하는 경우, 이들 실시예들은 평면 다각형 메쉬로부터 이들 객체들을 제거할 수 있어서, 메쉬는 회의 테이블의 수평 표면만을 묘사/표현하게 된다. 유사하게, 시스템(300)은 또한 벽들 및 화이트보드들과 같은 수직 표면들의 평면성을 강제하도록 구성될 수 있다. 다른 실시예들은 중력 벡터를 임의의 방향 벡터로 대체함으로써 임의의 미리 결정된 각도 및 평면성을 강제할 수 있다.
[0066] 단계(406)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))은 평면 다각형 메쉬의 경계 다각형을 추출한다. 도 7을 간략히 참조하면, 도 7은 일 실시예에 따라 도 6의 평면 다각형 메쉬들(602)로부터 추출된 경계 다각형(704)을 예시한다. 평면 다각형 메쉬(602)로부터 경계 다각형(704)을 추출하는 것은, 평면 다각형 메쉬(602)의 외부 표면을 향하지 않는 평면 다각형 메쉬(602)의 부분들을 제거하는 것을 포함할 수 있다. 도 7에 도시된 바와 같이, 경계 다각형(704)을 생성하는 것은 평면 다각형 메쉬(602)에서 다수의 더 작은 다각형들을 제거함으로써 표면의 모델을 단순화한다. 일반적으로, 더 많은 수(예컨대, 100,000s)의 더 작은 다각형들을 프로세싱하는 것이 더 많은 프로세서(예컨대, CPU/GPU) 사이클 및 배터리 전력을 필요로 하고 더 많은 열을 생성한다. 일부 실시예들에서, 다각형 메쉬(602)에서의 "랜드로킹된(landlocked)" 구멍들(즉, 구조에 의해 둘러싸인 구조 내의 공간들)은 경계 다각형(704)을 생성하는 데 있어 무시될 수 있는 반면에, 평면 다각형 메쉬(602)에서의 "베이(bay)"(즉, 지리적 맵에서 베이들과 같이 구조에 의해 대부분 둘러싸인 구조 내의 공간들)는 경계 다각형(704)을 생성하는 데 있어 포함될 수 있다.
[0067] 단계(408)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))은 추출된 경계 다각형으로부터 컨벡스 헐(convex hull)을 생성한다. 도 8을 간략히 참조하면, 도 8은 일 실시예에 따라 추출된 경계 다각형(804)으로부터 생성된 컨벡스 헐(806)을 예시한다. 경계 다각형(804) 주위의 컨벡스 헐(806)은 단단한 고무 밴드 또는 단단한 플라스틱 랩으로 경계 다각형(804)을 감싸는 것과 유사한 수학적 기능이다. 그 결과는, 컨벡스 헐(806) 상의 어떤 라인도 경계 다각형(804)을 관통하여 경계 다각형(804) 내부에 도달하지 않는다는 것이다. 일 실시예에서, 컨벡스 헐(806)은 Graham-Scan 알고리즘을 사용하여 경계 다각형(804)으로부터 생성된다. 경계 다각형(804)으로부터 컨벡스 헐(806)을 생성하는 것은 경계 다각형(804)의 "높은 포인트들"(예컨대, 경계 다각형(804) 중심으로부터 가장 멀리 떨어진 경계 다각형(804)의 포인트들)을 연결하는 드로잉 라인들을 포함할 수 있다.
[0068] 경계 다각형(804) 및 컨벡스 헐(806) 둘 모두는 실세계 물리적 화이트보드(802)의 수직 표면을 표현한다.
[0069] 단계(410)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))은 컨벡스 헐로부터 "MAOBP"(minimal area oriented boundary polygon)를 생성한다. 도 8을 간략히 참조하면, 도 8은 일 실시예에 따라 컨벡스 헐(806)로부터 생성된 MAOBP(808)를 예시한다. MAOBP(808)는 컨벡스 헐(806)(및 이에 따라 경계 다각형(804))을 포함할 수 있는 미리 결정된 형상의 가장 작은 다각형이다. 도 8에 도시된 실시예에서, MAOBP(808)는 중력 벡터를 따라 배향되고 바닥에 직교하는 직사각형이다. 일 실시예에서, MAOBP(808)는 회전 캘리퍼스(rotating calipers) 알고리즘을 사용하여 컨벡스 헐(806)로부터 생성된다. 컨벡스 헐(806)로부터 MAOBP(808)를 생성하는 것은 물리적 환경들의 표면들을 표현하는 다른 양식들보다 비교적 적은 컴퓨테이션을 필요로 한다.
[0070] MAOBP(808)는 전체 컨벡스 헐(806) 및 이에 따라 경계 다각형(804)을 포함하기 때문에 소정의 애플리케이션들에 특히 유용하다. MAOBP(808)가 적합한 하나의 애플리케이션은 물리적 환경의 표면 상의 가상 미디어(예컨대, 만화책 또는 영화)의 디스플레이이다. 일부 가상 디스플레이 애플리케이션들의 경우, 가상 미디어의 작은 부분들이 실제 물리적 표면 위로 그리고 공간 내로 연장되게 하는 것이 특히 산만하게 하지는 않는다. 또한, 일부 실시예들에서, MAOBP(808)는 다른 방법들보다 더 정확하게 전체 기본 표면을 캡처할 수 있어, MAOBP(808)의 작은 부분들의 매우 소수의 인스턴스들이 빈 공간으로 연장되게 한다.
[0071] 도 9a 내지 도 9c는 또한 각각의 경계 다각형들(904, 904') 주위에 형성된 2개의 MAOBP들(908, 908')을 예시한다. MAOBP들(908, 908') 및 각각의 경계 다각형들(904, 904') 둘 모두는 각각의 실세계 객체들(화이트보드(902), 테이블 윗면(902'))의 표면들을 표현한다. 도 9a 내지 도 9c에 도시된 바와 같이, 화이트보드(902)를 표현하는 MAOBP(908)는, 테이블 윗면(902')을 표현하는 MAOBP(908')와 비교하면, 대응하는 경계 다각형(904) 및 화이트 보드(902)에 더 양호한 피트(better fit)(즉, 보다 정확한 상관)이다(즉, 더 적은 추가의 빈 공간을 가짐). 도 9a 내지 도 9c는 실세계 물리적 환경의 표면 모델과 상호작용하기 위한 (예컨대 시스템(300)의 사용자에 디스플레이되는) 사용자 인터페이스들(900, 900', 900")의 3개의 인스턴스들을 도시한다.
[0072] 도 9a 내지 도 9c는 MAOBP들(908, 908')이 다른 애플리케이션들에 적합하지 않을 수 있음을 예시한다. 예컨대, 가상의 캐릭터가 테이블 윗면(902')을 따라 걷고 있는 애플리케이션에서 MAOBP(908')를 사용하는 것은 캐릭터가 테이블로부터 벗어나서 걷고 허공에 떠있게 할 수 있다. 이 문제를 해결하기 위해, 다른 다각형들이 생성되어 물리적 환경의 표면들을 묘사/표현할 수 있다.
[0073] 예컨대, 도 5는 다른 실시예에 따라, 시스템(300)(전향 FOV 카메라(350), 포즈 센서(360) 및 이미지 프로세서(310)를 포함함)을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법(500)을 예시하는 흐름도이다. 단계들(502 내지 510)은 각각 도 4의 대응하는 단계들(402 내지 410)과 동일하다. 도 4에 대해 위에서 설명된 바와 같이, 도 8에 대한 단계들(502 내지 510)의 결과는 경계 다각형(804), 컨벡스 헐(806) 및 MAOBP(808)이다.
[0074] 단계(512)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))은 경계 다각형의 "MAOIP"(maximal area oriented internal polygon)를 생성한다. 도 8을 간략히 참조하면, 도 8은 일 실시예에 따른 MAOIP(810)를 예시한다. MAOIP(810)는 중력 벡터를 따라 배향되고 바닥에 직교하는 직사각형이다. 일 실시예에서, MAOIP(810)는 (예컨대, MAOBP(808)에 의해 정의된) 검색 영역에서 검색을 수행함으로써 생성된다. 그리드가 검색 영역의 최상부 상에 오버레이되고, 그리드 내의 각각의 포인트는 경계 다각형(804)의 평면에서 순차적으로 연장되어 내부 다각형을 형성하며, 이 내부 다각형은 그 후 그것이 경계 다각형(804)에 완전히 포함되는지를 결정하기 위해 순차적으로 테스트된다. 경계 다각형(804) 외부의 부분들을 포함하는 내부 다각형들은 분석으로부터 폐기된다. 마지막으로, 경계 다각형(804)에 포함된 내부 다각형들 각각의 영역들이 비교되어 가장 큰 영역을 갖는 내부 다각형을 식별한다.
[0075] 위에서 설명된 그리드 및 검색 알고리즘을 사용하여 MAOIP(810)를 생성하는 것은 실세계 물리적 환경들의 표면들을 표현하는 다른 양식들(예컨대, MAOBP)과 비교하여 컴퓨테이셔널 비용이 많이 든다. 검색 영역으로서 MAOBP(808)를 사용하는 것은 시스템(300)이 최대 수의 그리드 포인트들을 지나치도록 요구한다. 이 이슈를 해결하기 위해, 방법은 검색 영역의 크기를 제한하기 위해 사용자 입력을 가능하게 하도록 도 8의 사용자 인터페이스(800)를 사용할 수 있다. 사용자 인터페이스(800)는 시스템(300)의 머리 착용 디스플레이로부터 돌출된 라인(814)에 의해 정의되는 커서(812)를 포함한다. 사용자는 화이트보드(802)에 대한 그들의 머리 또는 토템을 이동시킴으로써 커서(812)를 이동시킬 수 있다. 커서(812)는 경계 다각형(804)의 평면에서 X(816) 및 Y(818) 방향으로 연장됨으로써 검색 영역을 정의한다.
[0076] 도 8의 검색 영역이 MAOBP(808)보다 약간만 더 작지만, 다른 실시예들에서, 검색 영역이 MAOBP(808) 보다 상당히 작을 수 있다. 하나의 그러한 실시예는, 경계 다각형(904')이 테이블 윗면(902')과 상이한 형상을 갖는 도 9c의 사용자 인터페이스(900")에 도시된다. 검색 영역은 중력 벡터에 대해 직교하도록 배향되거나 중력 벡터에 대해 회전될 수 있다.
[0077] MAOIP(810)를 검색하는 컴퓨테이셔널 부하를 해결하기 위한 다른 방법은 검색 영역을 형성하는 그리드의 해상도를 조정하는 것이다. 그리드의 해상도를 감소시키는 것은 컴퓨테이셔널 부하를 감소시킨다. 일 실시예에서, 그리드의 해상도는 검색 영역의 크기에 기초하여 조정된다. 큰 검색 영역의 경우, 해상도가 감소된다. 반대로, 작은 검색 영역의 경우, 해상도가 증가된다.
[0078] MAOIP(810)는 경계 다각형(804) 내의 포인트들만을 포함하기 때문에 소정의 애플리케이션들에 특히 유용하다. MAOIP(810)가 적합한 하나의 애플리케이션은 가상 캐릭터가 테이블 윗면(902')을 걷는 애플리케이션 또는 게임이다. 이 애플리케이션에서, 경계 다각형(904')의 내부의 포인트들만을 포함하는 것으로 표면을 정의하는 것은 가상 캐릭터가 테이블 윗면(902')에서 벗어나서 걷고 허공에 떠있게 되는 이상 현상들을 방지한다.
저장 및 사용을 위한 데이터 구조
[0079] 도 10은 (내부에 가구를 포함하는) 방의 다수의 주요 표면들을 표현하는 3-D 표면 모델(1000)(이하, "모델(1000)"로서 지칭됨)을 도시한다. 모델(1000)은 위에서 설명된 바와 같이 생성되고 표면들은 중력 벡터에 평행하거나 직교하도록 선택되었다. 모델(1000)은 추출된 경계 다각형들(1004), 컨벡스 헐들(1006), MAOBP(1008) 및 MAOIP(1010)를 포함한다. 이 모델(1000)은 수직 표면들(예컨대, 디스플레이 미디어) 및 수평 표면들과 상호작용하는 애플리케이션들(예컨대, 중력에서 표면들과의 시뮬레이팅된 상호작용들을 갖는 가상 객체들의 배치)에 특히 유용할 것이다. 도 10에 도시된 모델(1000)과 같은 3-D 모델들은 최소 저장 및 대역폭을 사용하여 애플리케이션/AR/MR 시스템들에 저장되고 이에 송신될 수 있다. 또한, 이러한 3-D 모델들은 애플리케이션/AR/MR 시스템들에 의한 부가적인 최소 프로세싱으로 물리적 충돌들을 시뮬레이팅하고, 휴면 접촉을 시뮬레이팅하고, 다양한 조명 효과들(예컨대, 그림자 및 반사들)을 디스플레이하는 데 사용될 수 있다.
[0080] 도 10에 도시된 모델(1000)과 같은 3-D 표면 모델들은 기준 마커들(예컨대, ArUco 마커들)을 사용하지 않고 물리적 환경의 표면들에 대한 포지션 및 배향 정보를 제공한다. 또한, 3-D 표면 모델들은 기준 마커들에 의해 제공될 수 없는 추정된 표면 범위 정보를 제공한다. MAOBP는 표면의 범위를 크게 추정하고 MAOIP는 표면의 범위를 작게 추정한다.
[0081] 도 10의 추출된 경계 다각형들, 컨벡스 헐들, MAOBP 및 MAOIP는 메모리(예컨대, 시스템(300)의 메모리(312))에 저장되고, 물리적 환경들의 표면들을 표현하기 위해 평면 메쉬 다각형들을 사용하는 것에 비해 최소량의 메모리 및 대역폭을 사용하여 다양한 애플리케이션들에 통신될 수 있다. 일 실시예에서, 직사각형을 표현하는 데이터(예컨대, MAOBP 또는 MAOIP)는 미리 정의된 3-D 좌표계에서 (예컨대, 직사각형의 4개의 코너들의) X, Y, Z 좌표들일 수 있다. 다른 실시예에서, 직사각형을 표현하는 데이터는 직사각형의 중심을 표현하는 좌표들(예컨대, X, Y 좌표들) 및 직사각형의 길이 및 폭을 표현하는 사원수(quaternion)(4개의 수들)일 수 있다.
[0082] 이 데이터 포맷은 메모리 및 대역폭 요건들을 감소시키고, 혼합 현실 애플리케이션들에서 종종 사용되는 다른 표면 특성들에 도달하기까지 간단하고 낮은 컴퓨테이션 조작을 위해 구성된다. 예컨대, 직사각형의 길이 및 폭은 직사각형의 4개의 코너들의 좌표들을 감산함으로써 쉽게 계산될 수 있다. 유사하게, 직사각형의 중심은 직사각형의 4개의 코너들의 좌표들을 평균화함으로써 쉽게 계산될 수 있다. 또한, 직사각형의 길이 및 폭 방향의 벡터들은 (예컨대, 외적을 사용하여) 직사각형에 대한 법선을 계산하는 데 사용될 수 있다. 또한, 좌표계는 길이 벡터, 폭 벡터 및 법선 벡터에 기초하여 정의될 수 있다.
[0083] 직사각형을 표현하는 데이터(예컨대, MAOBP 또는 MAOIP)는 미리 정의된 좌표계에서 (예컨대, 직사각형의 4개의 코너들의) 좌표들일 수 있지만, 다른 실시예들에서, 직사각형을 표현하는 데이터는 또한 이들 컴퓨팅된 특성들(예컨대, 길이, 폭, 중심, 법선 및 좌표계) 중 일부를 포함할 수 있다. 이들 실시예들에서, 메모리 및 대역폭의 약간의 증가는 표면 모델들을 수신 및 프로세싱하는 애플리케이션들에 의한 감소된 컴퓨테이셔널 요건들에 의해 상쇄될 수 있다.
[0084] 위에서 설명된 실시예들에서의 MAOBP들 및 MAOIP들은 직사각형들이지만, 시스템(300)은 임의의 미리 정의된 형상(예컨대, 원, 삼각형, 오각형 등)으로 MAOBP들 및 MAOIP들을 생성하도록 구성될 수 있다. 단일 실시예에서의 MAOBP 및 MAOIP는 2개의 상이한 다각형들(예컨대, 삼각형 및 직사각형)일 수 있다. 다른 실시예들에서, 본원에 도시된 것과 같이, 단일 실시예에서의 MAOBP 및 MAOIP는 동일한 형상일 수 있지만, 스케일이 상이할 수 있다. 추출된 경계 다각형과 MAOBP 사이의 피팅(fit)은 MAOBP의 영역으로부터 추출된 경계 다각형의 영역을 감산함으로써 계산될 수 있다. 그 실시예에서, 영역의 차이가 작을수록, 피팅이 더 좋다.
[0085] 도 9a 내지 도 9c에 도시된 바와 같이, 화이트보드(902)를 표현하는 MAOBP(908)는, 테이블 윗면(902')을 표현하는 MAOBP(908')와 비교하면, 대응하는 경계 다각형(904) 및 화이트 보드(902)에 더 양호한 피트이다(즉, 더 적은 추가의 빈 공간을 가짐). 시스템(300)은 영역들의 계산된 차이를 비교함으로써 MAOBP의 피팅을 증가시키기 위해, 미리 결정된 일련의 알려진 형상들을 순환시키도록 구성될 수 있다. 이는 또한, 상관/피팅 값을 계산하고 그 값이 소정의 미리 결정된 임계치(예컨대, 0.9)보다 높은지를 결정함으로써 물리적 환경의 임의의 특정 표면의 형상에 관한 양호한 추정을 제공할 것이다.
[0086] 위에서 설명된 시스템(300)은 가상 이미지들을 렌더링하고 실세계 물리적 환경들의 표면들을 모델링하기 위한 단일 이미지 프로세서(310)를 포함하지만, 다른 실시예들은 렌더링 및 모델링을 위한 별개의 프로세서들을 포함한다. 사실상, 표면 모델링을 위한 별개의 프로세서들이 서버 컴퓨터에 상주할 수 있다. 별개의 프로세서들은 서로 통신 가능하고 동작 가능하게 커플링될 수 있다.
[0087] 위에서 설명된 시스템(300)은 전향 FOV 카메라들(350) 및 포즈 센서들(360)의 각각의 쌍들을 포함하지만, 다른 실시예들은 단일 전향 FOV 카메라(350) 및 단일 포즈 센서(360)만을 포함한다. 또 다른 실시예들은 한 쌍의 전향 FOV 카메라들(350)을 포함하고 포즈 센서들(360)을 포함하지 않는다. 이들 실시예들에서, 3-D 클라우드는 전통적인 삼각측량 기술들을 사용하여 생성된다.
[0088] 위에서 설명된 실세계 물리적 환경의 표면 모델을 생성하기 위해 AR/MR 시스템을 사용하는 방법들(400, 500)은 물리적 환경의 이미지들/비디오들로부터 평면 다각형 메쉬를 생성하는 것을 포함하지만, 다른 실시예들에서, 다각형 메쉬는 물리적 환경의 이미지들/비디오들로부터 생성된다. 또 다른 실시예들에서, 어떤 다각형 메쉬도 존재하지 않는다. 대신에, 이들 방법들은 (예컨대, 머신 비전 기술들을 사용하여) 물리적 환경의 이미지들/비디오들로부터 직접 경계 다각형을 추출한다.
[0089] 예컨대, 도 11은 또 다른 실시예에 따라, 시스템(300)을 사용하여 실세계 물리적 환경의 표면 모델을 생성하는 방법(1100)을 도시한다. 단계들(1102, 1108 및 1110)은 도 4의 대응하는 단계들(402, 408 및 410)과 동일하다. 도 4 및 도 11에 각각 도시된 방법들(400, 1100) 사이의 차이는, 방법(1100)의 단계(1106)에서, 시스템(300)(예컨대, 그의 이미지 프로세서(310))이 (예컨대, 머신 비전 및 수신된 포즈 정보를 사용하여) 물리적 환경의 수신된 이미지/비디오로부터 경계 다각형을 추출한다는 것이다. 방법(1100)은 효율적인 머신 비전을 위해 구성된 시스템에서 구현될 때, 평면 다각형 메쉬를 생성하는 단계를 포함하는 방법들(400, 500) 보다 적은 컴퓨테이셔널 전력(예컨대, 프로세서 사이클들)을 사용하여 물리적 환경들의 표면 모델들을 생성할 수 있다.
시스템 아키텍처
[0090] 도 12는 본 개시내용의 일 실시예를 구현하기에 적합한 예시적인 컴퓨팅 시스템(1200)의 블록도이다. 컴퓨터 시스템(1200)은 버스(1206) 또는 정보를 통신하기 위한 다른 통신 메커니즘을 포함하며, 이는 서브시스템들 및 디바이스들, 이를테면, 프로세서(들)(1207), 시스템(메인) 메모리(1208)(예컨대, RAM), 정적 저장 디바이스(1209)(예컨대, ROM), 디스크(저장) 드라이브(1210)(예컨대, 자기 또는 광학), 통신 인터페이스(1214), 디스플레이(1211), 입력 디바이스(1212), 데이터 인터페이스(1233) 및 커서 제어부를 상호연결한다.
[0091] 일 실시예에 따라, 컴퓨팅 시스템(1200)은, 프로세서(1207)가 시스템 메모리(1208)에 포함된 하나 이상의 명령들의 하나 이상의 시퀀스들을 실행함으로써 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(1209) 또는 디스크 드라이브(1210)와 같은 다른 컴퓨터 판독 가능/사용 가능 매체로부터 시스템 메모리(1208)로 판독될 수 있다. 대안적인 실시예들에서, 소프트웨어 명령들을 대신하여 또는 그와 조합하여, 하드-와이어드(hard-wired) 회로가 본 개시내용을 구현하는 데 사용될 수 있다. 따라서, 본 개시내용의 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합으로 제한되지 않는다. 일 실시예에서, "로직"이란 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는, 소프트웨어 또는 하드웨어의 임의의 조합을 의미할 수 있다.
[0092] 본원에서 사용되는 바와 같은 "컴퓨터 판독 가능 매체" 또는 "컴퓨터 사용 가능 매체"라는 용어는 실행을 위해 프로세서(1207)에 명령들을 제공하는 데 관여하는 임의의 매체를 지칭한다. 그러한 매체는, 비-휘발성 매체들 및 휘발성 매체들을 포함(그러나 이에 제한되지 않음)하는 다수의 형태들을 취할 수 있다. 비-휘발성 매체들은, 예컨대, 광학 또는 자기 디스크들, 이를테면, 디스크 드라이브(1210)를 포함한다. 휘발성 매체들은 동적 메모리, 이를테면, 시스템 메모리(1208)를 포함한다. "컴퓨터-판독 가능 매체"는 비-일시적 컴퓨터 판독 가능 저장 매체일 수 있다.
[0093] 일반적인 형태들의 컴퓨터 판독 가능 매체들은, 예컨대, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
[0094] 일 실시예에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨터 시스템(1200)에 의해 수행된다. 다른 실시예들에 따라, 통신 링크(1215)(예컨대, LAN, PTSN, 또는 무선 네트워크)에 의해 커플링되는 둘 또는 그 초과의 컴퓨터 시스템들(1200)은 서로 협력하여 본 개시내용을 실시하는데 필요한 명령들의 시퀀스를 수행할 수 있다.
[0095] 컴퓨터 시스템(1200)은 통신 링크(1215) 및 통신 인터페이스(1214)를 통해 프로그램, 예컨대, 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는, 그것이 수신될 때 프로세서(1207)에 의해 실행될 수 있고 그리고/또는 추후 실행을 위해 디스크 드라이브(1210) 또는 다른 비-휘발성 저장소에 저장될 수 있다. 컴퓨터 시스템(1200)은 데이터베이스 서버(1231)에 통신 가능하게 커플링된 데이터베이스(1232)로부터 데이터 인터페이스(1233)를 통해 데이터를 송신 및 수신할 수 있다.
[0096] 본원에서 설명된 시스템(300)이 전향 FOV 카메라들(350)을 갖지만, 이들 카메라들은 깊이 센서들 또는 그의 부분들로서 기능할 수 있다. 이러한 깊이 센서들은 미국 가특허 출원 일련 번호 제62/301,847호에 설명되며, 그의 내용들은 앞서 인용에 의해 본원에 포함되었다.
[0097] 본 개시내용의 다양한 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 행해진다. 그 예들은, 본 개시내용의 더 넓게 적용 가능한 양상들을 예시하기 위해 제공된다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, 등가물들이 본 개시내용의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다수의 수정들은, 특정 상황, 재료, 재료의 조성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 개시내용의 목적(들), 사상 또는 범위에 적응시키도록 행해질 수 있다. 추가로, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 여러개의 실시예들 중 임의의 실시예의 특징들로부터 쉽게 분리될 수 있거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다는 것이 당업자들에 의해 인지될 것이다. 그러한 모든 수정들은, 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[0098] 본 개시내용은, 본 발명의 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은, 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 최종 사용자가 본 방법에서 필수적인 디바이스를 제공하도록 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 파워-업 또는 달리 동작하는 것을 요구한다. 본원에서 인용된 방법들은, 논리적으로 가능한 임의의 순서의 인용된 이벤트들 뿐만 아니라 인용된 순서의 이벤트들로 수행될 수 있다.
[0099] 본 개시내용의 양상들은, 재료 선택 및 제조에 대한 세부사항들과 함께 위에서 기술되었다. 본 개시내용의 다른 세부사항들에 대해, 이들은, 위에서-참조된 특허들 및 공개공보들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 이들은 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 관점들에서 본 발명의 방법-기반 양상들에 적용될 수 있다.
[00100] 부가적으로, 본 개시내용이 다양한 특징들을 선택적으로 포함하는 여러개의 예들을 참조하여 설명되었지만, 본 개시내용은, 본 개시내용의 각각의 변동에 대해 고려된 바와 같이 설명되거나 표시된 것으로 제한되지 않을 것이다. 다양한 변화들이 설명된 발명에 대해 행해질 수 있으며, (본원에서 인용되었는지 또는 일부 간략화를 위해 포함되지 않았는지 여부에 관계없이) 등가물들이 본 개시내용의 실제 사상 및 범위를 벗어나지 않으면서 대체될 수 있다. 부가적으로, 다양한 값들이 제공되는 경우, 그 범위의 상한과 하한 사이의 모든 각각의 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 개시내용 내에 포함되는 것으로 해석된다.
[00101] 또한, 설명된 본 개시내용의 변동들의 임의의 선택적인 특징이 본원에 설명된 특징들 중 임의의 하나 이상에 독립적으로 또는 그에 조합하여 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는, 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 구체적으로, 본원 및 본원에 연관된 청구항들에서 사용된 바와 같이, 단수 형태들은, 명확하게 달리 언급되지 않으면 복수의 지시 대상들을 포함한다. 즉, 단수들의 사용은 본 개시내용과 연관된 청구항들뿐 아니라 위의 설명의 청구대상 아이템 중 "적어도 하나"를 허용한다. 이 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 작성될 수 있다는 것에 추가로 주의한다. 따라서, 이런 서술은 청구항 엘리먼트들의 나열과 관련하여 "오로지", "오직" 등 같은 그런 배타적인 용어의 사용, 또는 "부정적" 제한의 사용을 위한 선행 기초로서 역할을 하도록 의도된다.
[00102] 그런 배타적 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는, 주어진 수의 엘리먼트들이 그런 청구항들에 열거되는지, 또는 특징의 부가가 그 청구항들에 기술된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있는지 여부에 무관하게 임의의 부가적인 엘리먼트의 포함을 허용할 수 있다. 본원에 구체적으로 정의된 바를 제외하고, 본원에 사용된 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 한 일반적으로 이해되는 의미로 넓게 제공되어야 한다.
[00103] 본 개시내용의 범위는 제공된 예들 및/또는 본원 명세서로 제한되는 것이 아니라, 오히려 본 개시내용과 연관된 청구항 문언의 범위에 의해서만 제한된다.
[00104] 위의 명세서에서, 본 개시내용은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 개시내용의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 개시내용에 이루어질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 발명의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims (42)

  1. 물리적 환경의 표면 모델을 생성하는 방법으로서,
    상기 방법은 증강 현실(AR)/혼합 현실(MR) 시스템에 의해 수행되며, 상기 방법은:
    상기 AR/MR 시스템의 이미지 프로세서가 상기 물리적 환경의 이미지를 획득하는 단계;
    상기 AR/MR 시스템의 상기 이미지 프로세서가 적어도 상기 이미지로부터 평면 다각형 메쉬(planar polygon mesh)를 생성하는 단계;
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 평면 다각형 메쉬로부터 경계 다각형(boundary polygon)을 추출하는 단계;
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 경계 다각형에 대한 컨벡스 헐(convex hull)을 생성하는 단계; 및
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 컨벡스 헐로부터 최소 영역 배향 경계 다각형(minimal area oriented boundary polygon; MAOBP)을 생성하는 단계
    를 포함하고,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 다각형을 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  2. 제1 항에 있어서,
    상기 물리적 환경의 이미지를 획득하는 단계는,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 이미징 디바이스(imaging device)를 이용하여 상기 물리적 환경에 대응하는 3-D 포인트 클라우드(point cloud)를 획득하는 단계; 및
    상기 이미징 디바이스에 대한 포즈(pose) 정보를 획득하는 단계를 포함하고,
    상기 방법은, 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 포즈 정보를 사용하여 상기 3-D 포인트 클라우드에 대한 트룬케이티드 부호화 거리 함수(truncated signed distance function)를 컴퓨팅하는 단계를 더 포함하고,
    상기 평면 다각형 메쉬를 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 트룬케이티드 부호화 거리 함수를 모자이크화(tessellating)하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  3. 제2 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 2개의 더 작은 평면 다각형 메쉬들을 하나의 큰 평면 다각형 메쉬로 결합하는 단계를 더 포함하고, 상기 하나의 큰 평면 다각형 메쉬는 상기 2개의 더 작은 평면 다각형 메쉬들 보다 큰,
    물리적 환경의 표면 모델을 생성하는 방법.
  4. 제1 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 중력 벡터(gravity vector)를 획득하는 단계를 더 포함하고,
    상기 생성된 평면 다각형 메쉬는 상기 중력 벡터에 대해 평행하는 것 및 직교하는 것 중 적어도 하나인,
    물리적 환경의 표면 모델을 생성하는 방법.
  5. 제1 항에 있어서,
    상기 컨벡스 헐을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 Graham-Scan 알고리즘을 이용하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  6. 제1 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 회전 캘리퍼스 알고리즘(rotating calipers algorithm)을 사용하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  7. 제1 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 평면 다각형 메쉬의 경계 다각형을 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  8. 제1 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 평면 다각형 메쉬의 경계 다각형 내부에 완전히 포함되는 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계를 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  9. 제8 항에 있어서,
    상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 경계 다각형에 의해 정의되는 검색 영역에서 검색을 수행하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  10. 제9 항에 있어서,
    상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 검색 영역에 그리드(grid)를 형성하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  11. 제10 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 검색 영역의 크기에 기초하여 상기 그리드의 해상도를 조정하는 단계를 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  12. 제8 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 평면 다각형 메쉬의 경계 다각형 내부의 포인트의 선택을 수신하는 단계를 더 포함하고,
    상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 선택된 포인트를 사용하여 정의되는 검색 영역에서 검색을 수행하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  13. 제12 항에 있어서,
    상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 검색 영역에 그리드를 형성하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  14. 제13 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 검색 영역의 크기에 기초하여 상기 그리드의 해상도를 조정하는 단계를 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  15. 제8 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP) 및 상기 최대 영역 배향 내부 다각형(MAOIP)은 동일한 형상을 갖는,
    물리적 환경의 표면 모델을 생성하는 방법.
  16. 제1 항에 있어서,
    상기 평면 다각형 메쉬는 마칭 큐브 알고리즘(marching cubes algorithm)에 기초하여 상기 AR/MR 시스템의 상기 이미지 프로세서에 의해 생성되는,
    물리적 환경의 표면 모델을 생성하는 방법.
  17. 제1 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 직사각형, 삼각형 및 원형 중 적어도 하나인,
    물리적 환경의 표면 모델을 생성하는 방법.
  18. 제1 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 최소 영역 배향 경계 다각형(MAOBP)과 상기 경계 다각형 사이의 피팅(fit)을 결정하는 단계를 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  19. 제18 항에 있어서,
    상기 피팅을 결정하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 최소 영역 배향 경계 다각형(MAOBP)의 제1 영역과 상기 경계 다각형의 제2 영역 사이의 차이를 계산하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  20. 제1 항에 있어서,
    상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 최소 영역 배향 경계 다각형(MAOBP)을 표현하는 데이터를 저장하는 단계를 더 포함하고,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 직사각형인,
    물리적 환경의 표면 모델을 생성하는 방법.
  21. 제20 항에 있어서,
    상기 데이터는 상기 직사각형에 대응하는 좌표들의 4개의 세트들을 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  22. 제21 항에 있어서,
    상기 데이터는 상기 직사각형의 길이, 상기 직사각형의 폭, 및 상기 직사각형의 중심을 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  23. 제21 항에 있어서,
    상기 좌표들의 4개의 세트들 각각은 한 쌍의 좌표들인,
    물리적 환경의 표면 모델을 생성하는 방법.
  24. 제1 항에 있어서,
    상기 평면 다각형 메쉬를 생성하는 단계는 상기 AR/MR 시스템의 상기 이미지 프로세서가 상기 물리적 환경의 일련의 이미지들의 정적 부분들을 캡처하는 단계를 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  25. 물리적 환경의 표면 모델을 생성하기 위한 시스템으로서,
    상기 물리적 환경의 이미지를 획득하도록 구성된 이미징 디바이스; 및
    상기 이미징 디바이스에 동작 가능하게 커플링된 이미지 프로세서를 포함하고, 상기 이미지 프로세서는,
    상기 이미징 디바이스에 의해 획득되는 이미지를 수신하고;
    적어도 상기 이미지로부터 평면 다각형 메쉬를 생성하고;
    상기 평면 다각형 메쉬로부터 경계 다각형을 추출하고;
    상기 경계 다각형에 대한 컨벡스 헐을 생성하고; 그리고
    상기 컨벡스 헐로부터 최소 영역 배향 경계 다각형(MAOBP)을 생성하도록 구성되고,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 다각형을 포함하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  26. 제25 항에 있어서,
    상기 이미징 디바이스 및 상기 이미지 프로세서에 동작 가능하게 커플링된 포즈 센서를 더 포함하고,
    상기 이미지 프로세서는 또한,
    상기 포즈 센서로부터 수신되는 상기 이미징 디바이스에 대한 포즈 정보를 사용하여 3-D 포인트 클라우드에 대한 트룬케이티드 부호화 거리 함수를 컴퓨팅하고;
    상기 트룬케이티드 부호화 거리 함수를 모자이크화함으로써 상기 평면 다각형 메쉬를 생성하고; 그리고
    상기 평면 다각형 메쉬의 상기 경계 다각형을 추출함으로써 적어도 상기 이미지로부터 상기 경계 다각형을 추출하도록 구성되고,
    상기 이미징 디바이스는:
    상기 이미징 디바이스를 이용하여 상기 물리적 환경에 대응하는 3-D 포인트 클라우드를 획득하는 것; 및
    상기 포즈 센서를 사용하여 상기 이미징 디바이스에 대한 포즈 정보를 획득하는 것에 의해
    상기 물리적 환경의 이미지를 획득하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  27. 제25 항에 있어서,
    상기 이미지 프로세서는 또한,
    상기 평면 다각형 메쉬의 경계 다각형 내부에 완전히 포함되는 최대 영역 배향 내부 다각형(MAOIP)을 생성하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  28. 제27 항에 있어서,
    상기 이미지 프로세서는:
    상기 경계 다각형에 의해 정의된 검색 영역에서 검색을 수행하는 것;
    상기 검색 영역에 그리드를 형성하는 것; 및
    상기 검색 영역의 크기에 기초하여 상기 그리드의 해상도를 조정하는 것
    에 의해 상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  29. 제27 항에 있어서,
    상기 이미지 프로세서는 또한,
    상기 평면 다각형 메쉬의 경계 다각형(MAOIP) 내부의 포인트의 선택을 수신하고; 그리고
    선택된 포인트를 사용하여 정의된 검색 영역에서 검색을 수행하는 것; 및
    상기 검색 영역에 그리드를 형성하는 것
    에 의해 상기 평면 다각형 메쉬의 상기 경계 다각형 내부에 완전히 포함되는 상기 최대 영역 배향 내부 다각형(MAOIP)을 생성하도록 구성되고,
    상기 이미지 프로세서는 또한, 상기 검색 영역의 크기에 기초하여 상기 그리드의 해상도를 조정하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  30. 제25 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 직사각형, 삼각형 및 원형 중 적어도 하나인,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  31. 제25 항에 있어서,
    상기 이미지 프로세서는 또한, 상기 최소 영역 배향 경계 다각형(MAOBP)을 표현하는 데이터를 저장하도록 구성되고,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 직사각형이고,
    상기 데이터는 상기 직사각형에 대응하는 좌표들의 4개의 세트들을 포함하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  32. 제31 항에 있어서,
    상기 데이터는 상기 직사각형의 길이, 상기 직사각형의 폭, 및 상기 직사각형의 중심을 더 포함하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  33. 제31 항에 있어서,
    상기 좌표들의 4개의 세트들 각각은 한 쌍의 좌표들인,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  34. 제25 항에 있어서,
    상기 이미지 프로세서는 상기 물리적 환경의 일련의 이미지들의 정적 부분들을 적어도 캡처함으로써 적어도 상기 이미지로부터 상기 평면 다각형 메쉬를 생성하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  35. 제1 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 가장 작은 면적의 다각형을 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  36. 제35 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 가장 작은 면적의 직사각형을 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  37. 제35 항에 있어서,
    상기 AR/MR 시스템의 이미지 프로세서가 상기 평면 다각형 메쉬의 경계 다각형의 내부에 포함되는 최대 영역 배향 내부 다각형(MAOIP)을 생성하는 단계를 더 포함하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  38. 제37 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 모델링 중인 표면의 범위를 상기 평면 다각형 메쉬의 경계 다각형보다 크게 추정하고, 그리고 상기 최대 영역 배향 내부 다각형(MAOIP)은 모델링 중인 표면의 범위를 상기 평면 다각형 메쉬의 경계 다각형보다 작게 추정하는,
    물리적 환경의 표면 모델을 생성하는 방법.
  39. 제25 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 가장 작은 면적의 다각형을 포함하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  40. 제39 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 상기 컨벡스 헐 및 상기 경계 다각형을 포함하는 가장 작은 면적의 직사각형을 포함하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  41. 제39 항에 있어서,
    상기 이미지 프로세서는 상기 평면 다각형 메쉬의 경계 다각형의 내부에 포함되는 최대 영역 배향 내부 다각형(MAOIP)을 생성하도록 구성되는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
  42. 제41 항에 있어서,
    상기 최소 영역 배향 경계 다각형(MAOBP)은 모델링 중인 표면의 범위를 상기 평면 다각형 메쉬의 경계 다각형보다 크게 추정하고, 그리고 상기 최대 영역 배향 내부 다각형(MAOIP)은 모델링 중인 표면의 범위를 상기 평면 다각형 메쉬의 경계 다각형보다 작게 추정하는,
    물리적 환경의 표면 모델을 생성하기 위한 시스템.
KR1020197013015A 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들 KR102246841B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217012225A KR102317776B1 (ko) 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662404617P 2016-10-05 2016-10-05
US62/404,617 2016-10-05
PCT/US2017/055313 WO2018067801A1 (en) 2016-10-05 2017-10-05 Surface modeling systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217012225A Division KR102317776B1 (ko) 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20190058624A KR20190058624A (ko) 2019-05-29
KR102246841B1 true KR102246841B1 (ko) 2021-05-03

Family

ID=61757006

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217012225A KR102317776B1 (ko) 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들
KR1020197013015A KR102246841B1 (ko) 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217012225A KR102317776B1 (ko) 2016-10-05 2017-10-05 표면 모델링 시스템들 및 방법들

Country Status (9)

Country Link
US (3) US10585278B2 (ko)
EP (1) EP3523783A4 (ko)
JP (2) JP6911107B2 (ko)
KR (2) KR102317776B1 (ko)
CN (2) CN116310218A (ko)
AU (2) AU2017340609B2 (ko)
CA (1) CA3037276A1 (ko)
IL (2) IL294635B2 (ko)
WO (1) WO2018067801A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
IL308786A (en) * 2016-01-12 2024-01-01 Magic Leap Inc A beam angle sensor in a virtual/augmented reality system
CA3060209A1 (en) 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
CN111684495A (zh) 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
IL301443A (en) 2018-02-22 2023-05-01 Magic Leap Inc A browser for mixed reality systems
IL301281A (en) 2018-02-22 2023-05-01 Magic Leap Inc Shoot an object with physical manipulation
WO2019173672A1 (en) * 2018-03-08 2019-09-12 Simile Inc. Methods and systems for producing content in multiple reality environments
GB2574795B (en) 2018-05-04 2022-10-05 Signaturize Holdings Ltd Generating virtual representations
EP3788601A1 (en) * 2018-05-04 2021-03-10 Signaturize Holdings Ltd Generating virtual representations
US10853946B2 (en) * 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
CN108744520B (zh) * 2018-06-05 2022-02-22 网易（杭州）网络有限公司 确定游戏模型摆放位置的方法、装置和电子设备
WO2019236568A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Matching content to a spatial 3d environment
CN108919954B (zh) * 2018-06-29 2021-03-23 蓝色智库（北京）科技发展有限公司 一种动态变化场景虚实物体碰撞交互方法
CN112638251B (zh) * 2018-08-27 2023-12-05 季鹰 一种测量位置的方法
WO2020072472A1 (en) * 2018-10-01 2020-04-09 Google Llc Method and device for detecting a vertical planar surface
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
US11030474B1 (en) * 2019-05-28 2021-06-08 Apple Inc. Planar region boundaries based on intersection
KR102476057B1 (ko) 2019-09-04 2022-12-09 주식회사 윌러스표준기술연구소 클라우드 가상 현실을 위한 imu 센서 데이터를 활용한 비디오 인코딩 및 디코딩 가속 방법 및 장치
US20210373649A1 (en) * 2020-04-01 2021-12-02 Rajesh Dayal Moorjani Attaching Extended Reality (XR) Content To Physical Points Of Interest
KR102416216B1 (ko) * 2021-02-09 2022-07-05 주식회사 비젼그리드 영상인식을 이용한 3차원 실체 형상 데이터 생성 방법 및 장치
CN113094457B (zh) * 2021-04-15 2023-11-03 成都纵横自动化技术股份有限公司 一种数字正射影像地图的增量式生成方法及相关组件
GB202108778D0 (en) * 2021-06-18 2021-08-04 Pointfuse Ltd Pointcloud processing, especially for use with building intelligence modelling (BIM)
US20230215108A1 (en) * 2021-12-31 2023-07-06 Samsung Electronics Co., Ltd. System and method for adaptive volume-based scene reconstruction for xr platform applications
WO2023167430A1 (ko) * 2022-03-04 2023-09-07 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11908080B2 (en) * 2022-04-04 2024-02-20 Tencent America LLC Generating surfaces with arbitrary topologies using signed distance fields

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160077798A1 (en) 2014-09-16 2016-03-17 Salesforce.Com, Inc. In-memory buffer service
US20160078663A1 (en) 2010-06-08 2016-03-17 Styku, Inc. Cloud server body scan data system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952583B2 (en) * 2000-06-19 2011-05-31 Mental Images Gmbh Quasi-monte carlo light transport simulation by efficient ray tracing
US7623734B2 (en) * 2004-09-30 2009-11-24 Microsoft Corporation Method and system for automatically inscribing noisy objects in scanned image data within a minimum area rectangle
US9250704B2 (en) * 2009-03-25 2016-02-02 Sony Corporation Information processing device and information processing method
US8922558B2 (en) * 2009-09-25 2014-12-30 Landmark Graphics Corporation Drawing graphical objects in a 3D subsurface environment
US8983643B2 (en) * 2010-01-15 2015-03-17 Stratasys, Inc. Method for generating and building support structures with deposition-based digital manufacturing systems
US8134717B2 (en) * 2010-05-21 2012-03-13 LTS Scale Company Dimensional detection system and associated method
US10702216B2 (en) * 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US8930245B2 (en) * 2010-06-23 2015-01-06 Justin Streich Methods, systems and machines for identifying geospatial compatibility between consumers and providers of goods or services
JP5647072B2 (ja) * 2011-02-03 2014-12-24 日本電信電話株式会社 被写体認識装置、被写体認識方法及び被写体認識プログラム
JP5337844B2 (ja) * 2011-06-30 2013-11-06 株式会社東芝 領域検出装置、領域検出方法及びプログラム
EP2761592B1 (en) * 2011-09-30 2018-01-10 GE Healthcare Limited Variable-depth stereotactic surface projections
US9311746B2 (en) * 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US8898102B2 (en) * 2012-05-25 2014-11-25 Pgs Geophysical As Adaptive computational grid for inverse problems
US9211092B2 (en) 2013-01-03 2015-12-15 Dexcom, Inc. End of life detection for analyte sensors
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9575634B2 (en) * 2013-03-04 2017-02-21 Facebook, Inc. Techniques for asynchronous rendering
US9514574B2 (en) * 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
US10445400B2 (en) * 2013-10-28 2019-10-15 Brown University Non-convex hull surfaces
US11125912B2 (en) * 2013-11-25 2021-09-21 Schlumberger Technology Corporation Geologic feature splitting
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
JP6212398B2 (ja) * 2014-01-15 2017-10-11 大成建設株式会社 景観定量化装置
US20150242421A1 (en) * 2014-02-21 2015-08-27 Quixey, Inc. Location-Based Searching
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160140769A1 (en) * 2014-11-17 2016-05-19 Qualcomm Incorporated Edge-aware volumetric depth map fusion
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
US9893879B2 (en) * 2015-09-21 2018-02-13 Tektronix, Inc. Method for automatically finding the optimum sampling point in an eye diagram

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078663A1 (en) 2010-06-08 2016-03-17 Styku, Inc. Cloud server body scan data system
US20160077798A1 (en) 2014-09-16 2016-03-17 Salesforce.Com, Inc. In-memory buffer service

Also Published As

Publication number Publication date
US20180095276A1 (en) 2018-04-05
IL265739A (en) 2019-06-30
IL265739B (en) 2022-08-01
US20210311304A1 (en) 2021-10-07
EP3523783A1 (en) 2019-08-14
CN116310218A (zh) 2023-06-23
AU2022201769A1 (en) 2022-04-07
CN109791442A (zh) 2019-05-21
JP2019534510A (ja) 2019-11-28
KR20190058624A (ko) 2019-05-29
IL294635B1 (en) 2023-10-01
KR20210047977A (ko) 2021-04-30
IL294635B2 (en) 2024-02-01
AU2017340609B2 (en) 2021-12-16
WO2018067801A1 (en) 2018-04-12
EP3523783A4 (en) 2019-10-16
CN109791442B (zh) 2023-04-18
IL294635A (en) 2022-09-01
US10585278B2 (en) 2020-03-10
JP2021166078A (ja) 2021-10-14
JP7209777B2 (ja) 2023-01-20
US11378798B2 (en) 2022-07-05
AU2017340609A1 (en) 2019-04-04
KR102317776B1 (ko) 2021-10-25
US20200166745A1 (en) 2020-05-28
US11073690B2 (en) 2021-07-27
JP6911107B2 (ja) 2021-07-28
CA3037276A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
KR102246841B1 (ko) 표면 모델링 시스템들 및 방법들
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
US10802278B2 (en) Space carving based on human physical data
JP6352426B2 (ja) ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
US20160371884A1 (en) Complementary augmented reality
CN114245908A (zh) 用深度信息快速3d重建
JP2022537817A (ja) 動的オクルージョンのための高速の手のメッシュ化
US11508131B1 (en) Generating composite stereoscopic images
US11662808B2 (en) Virtual, augmented, and mixed reality systems and methods
US20210358173A1 (en) Computationally efficient method for computing a composite representation of a 3d environment

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant