KR20160079794A - 혼합 현실 스포트라이트 - Google Patents

혼합 현실 스포트라이트 Download PDF

Info

Publication number
KR20160079794A
KR20160079794A KR1020167011797A KR20167011797A KR20160079794A KR 20160079794 A KR20160079794 A KR 20160079794A KR 1020167011797 A KR1020167011797 A KR 1020167011797A KR 20167011797 A KR20167011797 A KR 20167011797A KR 20160079794 A KR20160079794 A KR 20160079794A
Authority
KR
South Korea
Prior art keywords
virtual
display
perspective
real world
perspective display
Prior art date
Application number
KR1020167011797A
Other languages
English (en)
Other versions
KR102257255B1 (ko
Inventor
아서 톰린
토니 엠브러스
론 아마도르-레온
니콜라스 게르바스 파즈트
라이언 헤스팅스
쥐. 카플란메튜
마이클 스카베즈
다니엘 매컬럭
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160079794A publication Critical patent/KR20160079794A/ko
Application granted granted Critical
Publication of KR102257255B1 publication Critical patent/KR102257255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

투시형 디스플레이를 사용해 디스플레이되는 영상에 객체(object)의 가상 그림자(virtual shadow)를 생성하는 것에 관련된 다양한 실시예들이 제공된다. 하나의 실시예에서, 가상 객체의 영상이 투시형 디스플레이를 사용해 디스플레이될 수 있다. 가상 객체는 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 전방에 있는 것처럼 보일 수 있다. 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기(relative brightness)가 증가될 수 있다. 가상 그림자는 투시형 디스플레이의 시점(vantage point)에 대해 고정되어 있는 스포트라이트로 인해 생기는 것처럼 보일 수 있다.

Description

혼합 현실 스포트라이트{MIXED REALITY SPOTLIGHT}
다양한 기술들은 사용자가 현실 세계(real world)와 가상 세계(virtual world)의 혼합을 경험할 수 있게 한다. 예를 들어, 다양한 헤드 마운티드 디스플레이 디바이스(head-mounted display device)들과 같은, 일부 디스플레이 디바이스들은 디스플레이되는 영상들을 현실 세계 배경 환경 상에 중첩시키는 것을 가능하게 하는 투시형 디스플레이(see-through display)들을 포함할 수 있다. 영상들은 투시형 디스플레이를 통해 보여질 때 현실 세계 배경 환경의 전방에 있는 것처럼 보일 수 있다. 상세하게는, 영상들이, 증강 현실(augmented reality)이라고 지칭될 수 있는 것에서 현실 세계 배경 환경에 있는 요소들과 섞여 있는 것처럼 보이도록, 투시형 디스플레이 상에 디스플레이될 수 있다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 대상의 핵심적인 특징들 또는 필수적인 특징들을 언급하기 위한 것이 아니며, 청구된 대상의 범주를 제한하기 위해 사용되기 위한 것도 아니다. 게다가, 청구된 대상은 본 개시 내용의 임의의 부분에서 살펴본 단점들의 일부 또는 전부를 해결하는 구현들로 제한되지 않는다.
투시형 디스플레이를 사용해 디스플레이되는 영상에 가상 객체(virtual object)의 가상 그림자(virtual shadow)를 생성하는 것에 관련된 다양한 실시예들이 제공된다. 하나의 실시예에서, 가상 객체의 영상이 투시형 디스플레이를 사용해 디스플레이될 수 있다. 가상 객체는 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 전방에 있는 것처럼 보일 수 있다. 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기(relative brightness)가 증가될 수 있다. 가상 그림자는 투시형 디스플레이의 시점(vantage point)에 대해 고정되어 있는 스포트라이트로 인해 생기는 것처럼 보일 수 있다. 일부 실시예들에서, 상대 밝기가 비네트 패턴(vignette pattern)으로 증가될 수 있다.
도 1은 본 개시 내용의 일 실시예에 따른, 헤드 마운티드 디스플레이 시스템(head-mounted display system)을 나타낸 도면.
도 2는 본 개시 내용의 일 실시예에 따른, 투시형 디스플레이를 작동시키는 방법을 나타낸 도면.
도 3은 본 개시 내용의 일 실시예에 따른, 투시형 디스플레이의 시점 및 시점에 대해 배치된 가상 스포트라이트의 뷰잉 프러스텀(viewing frustum)을 나타낸 도면.
도 4는 투시형 디스플레이의 시점에 대해 고정된 가상 스포트라이트의 일 예를 나타낸 도면.
도 5는 3차원 공간에서 시점에 대해 고정된 가상 스포트라이트의 일 예를 나타낸 도면.
도 6은 3차원 공간에서 시점에 대해 고정된 가상 스포트라이트의 다른 예를 나타낸 도면.
도 7은 본 개시 내용의 일 실시예에 따른, 가상 스포트라이트로부터 나오는 것처럼 보이도록 시뮬레이트된 투시형 디스플레이의 상대 밝기를 나타낸 도면.
도 8은 본 개시 내용의 일 실시예에 따른, 가상 스포트라이트에 기초하여 생성되는 가상 그림자를 나타낸 도면.
도 9는 본 개시 내용의 일 실시예에 따른, 비네트 패턴으로 증가되는 현실 세계 배경의 상대 밝기를 나타낸 도면.
도 10은 본 개시 내용의 일 실시예에 따른, 컴퓨팅 시스템을 개략적으로 나타낸 도면.
본 개시 내용은 투시형 디스플레이를 사용해 디스플레이되는 영상에 가상 객체의 가상 그림자를 생성하는 접근법에 관한 것이다. 이러한 방식으로 가상 그림자들을 생성하는 것은 가상 객체를 보다 사실적으로 보이게 만들 수 있다. 보다 상세하게는, 본 개시 내용은 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기를 증가시키는 것에 관한 것이다. 가상 객체를 보다 사실적으로 보이게 만들기 위해 상대 밝기를 증가시키는 데 다양한 효과들이 이용될 수 있다.
하나의 예에서, 가상 그림자는 투시형 디스플레이의 시점에 대해 고정되어 있는 가상 스포트라이트로 인해 생기는 것처럼 보일 수 있다. 환언하면, 시점의 위치가 변함에 따라 가상 스포트라이트의 위치가 동적으로 변할 수 있다. 가상 스포트라이트가 시점에 대해 고정되어 있기 때문에, 가상 그림자가 여전히 보이면서 가상 객체가 임의의 위치 및/또는 배향으로부터 보일 수 있다. 다른 한편으로, 가상 스포트라이트가 전역적으로는 고정되어 있지만 어쩌면 움직이는 시점에 대해서는 고정되어 있지 않은 경우, 가상 그림자가 가상 객체에 의해 가려지게 되거나 다른 한편으로 사용자의 시야를 벗어나게 될 특정 위치들이 있을 것이다. 이러한 상황들에서, 사용자는 현실 세계 배경과 관련하여 가상 객체에 공간 상황(spatial context)을 제공하는 데 도움을 주는 깊이 큐(depth queue)의 부족으로 인해 가상 객체를 덜 사실적인 것으로 지각할 수 있다.
다른 예로서, 가상 그림자 주위의 상대 밝기가 비네트 패턴으로 증가될 수 있다. 예를 들어, 비네트 패턴은 투시형 디스플레이의 주변에 점점 더 가까워짐에 따라 상대 밝기가 감소되게 할 수 있다. 다른 예로서, 비네트 패턴은 가상 그림자로부터 점점 더 멀어짐에 따라 상대 밝기가 감소되게 할 수 있다. 비네트 패턴에 따라 상대 밝기를 감쇠시키는 것에 의해, 투시형 디스플레이가 현실 세계 배경 환경과 조화를 이루도록 투시형 디스플레이의 주변에서의 밝기의 콘트라스트(contrast)가 매끄럽게 될 수 있다. 더욱이, 비네트 패턴은 투시형 디스플레이가 보다 커 보이게 할 수 있는데, 그 이유는 보다 작은 포커스(focus)가 디스플레이의 주변에 위치될 수 있기 때문이다. 다른 한편으로, 상대 밝기가 비네트 패턴에 따라 감쇠되지 않는 경우, 투시형 디스플레이 전체가 밝은 광에 휩싸여 있게 될 것이고, 이는 투시형 디스플레이의 주변에서 눈에 거슬리는 콘트라스트(harsh contrast)를 야기할 수 있을 것이다.
일부 실시예들에서, 비네트 패턴이 투시형 디스플레이의 화면 공간 좌표(screen-space coordinate)들에 렌더링될 수 있다. 환언하면, 비네트 패턴이 사용자의 시야에 대해 잠금되어 있을 수 있고, 비네트 패턴이 현실 세계 배경의 특성들과 무관하게 생성될 수 있다. 다른 한편으로, 일부 실시예들에서, 현실 세계 배경(예컨대, 가상 스포트라이트에 의해 향상되는 투시형 디스플레이의 영역) 및 가상 그림자의 상대 밝기가 월드 공간 좌표(world-space coordinate)들에 렌더링될 수 있다. 환언하면, 가상 그림자의 형상 및/또는 배향이 현실 세계 배경의 특성들에 기초할 수 있다.
비네트 패턴은 현실 세계 배경이 투시형 디스플레이의 주변을 벗어나 보일 수 있도록 사용자의 시야가 투시형 디스플레이 디바이스의 시야보다 더 클 수 있는 실시예들에 특히 적용 가능할 수 있다. 게다가, 비네트 패턴는 영상 콘텐츠 및/또는 조명을 사용해 증강될 수 있는 증강 가능 부분(augmentable portion) 및 영상 콘텐츠 및/또는 조명을 사용해 증강되지 않을 수 있는 비증강 가능 부분(non-augmentable portion)을 포함하는 투시형 디스플레이의 실시예들에 특히 적용 가능할 수 있다.
도 1은 예시적인 헤드 마운티드 디스플레이 시스템(100)을 도시한 것이다. 헤드 마운티드 디스플레이 시스템(100)은 도 1의 웨어러블 안경 또는 고글의 형태를 취한다. 헤드 마운티드 디스플레이 시스템(100)은 투시형 디스플레이를 통해 물리적 환경을 보고 있는 사용자에 대해 물리적 환경의 모습을 시각적으로 증강시키도록 구성될 수 있는 투시형 디스플레이(102)를 포함한다. 헤드 마운티드 디스플레이 시스템(100)은, 다양한 조명 조건들을 가지며 상이한 색상들 및 그림자들을 가지는 다양한 현실 세계 객체들을 포함하는 현실 세계 환경의 현실(reality)을 증강시키도록 구성될 수 있다.
예를 들어, 그래픽 콘텐츠가 현실 세계 배경의 전방에 있는 것처럼 보일 수 있도록 투시형 디스플레이(102)를 사용해 제시될 수 있는 그래픽 콘텐츠에 의해 현실 세계 배경의 모습이 증강될 수 있다. 상세하게는, 영상 생성 시스템(103)은 투시형 디스플레이(102)를 사용해 가상 객체의 영상을 디스플레이하도록 구성될 수 있다. 게다가, 영상 생성 시스템은, 가상 그림자가 가상 스포트라이트로 인해 생기는 것처럼 보이도록, 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기를 증가시키도록 구성될 수 있다.
일부 실시예들에서, 헤드 마운티드 디스플레이 시스템은 홀로그래픽 광(holographic light)이 투시형 디스플레이 상에 디스플레이될 수 있는 가법적 디스플레이 시스템(additive display system)일 수 있다. 예를 들어, 하나 이상의 부분 투명 픽셀들이 사용자의 눈 쪽으로 광을 방출할 수 있다. 사용자는 픽셀을 통해 그리고/또는 픽셀 주위에 있는 현실 세계 객체들을 볼 수 있지만, 방출된 광은 외견상 픽셀을 통해 그리고/또는 픽셀 주위에 보여지는 배경 객체들을 조명할 수 있다.
헤드 마운티드 디스플레이 시스템(100)은 하나 이상의 광 센서들을 포함할 수 있는 광 센서 시스템(104)을 포함한다. 하나의 예에서, 광 센서 시스템(104)은 안쪽으로 향해 있는 광 센서(106) 및 바깥쪽으로 향해 있는 광 센서(108)를 포함한다. 안쪽으로 향해 있는 광 센서는 시선 검출(gaze detection) 또는 사용자의 눈에 대한 다른 분석을 수행하도록 구성될 수 있다. 바깥쪽으로 향해 있는 광 센서는 투시형 디스플레이(102)를 통해 사용자에 의해 관측되는 것과 같은 유사한 시점(예컨대, 가시선(line of sight))으로부터의 현실 세계 배경을 검출하도록 구성될 수 있다. 일부 실시예들에서, 센서 서브시스템은 2 개 이상의 상이한 안쪽으로 및/또는 바깥쪽으로 향해 있는 광 센서들(예컨대, 바깥쪽으로 향해 있는 컬러 카메라 및 바깥쪽으로 향해 있는 깊이 카메라)을 포함할 수 있다.
헤드 마운티드 디스플레이 시스템(100)은 관련 센서의 위치, 배향 및/또는 움직임을 평가하는 데 사용 가능한 위치 센서 정보를 출력하는 하나 이상의 위치 센서들(예컨대, 가속도계(들), 자이로스코프(들), 자력계(들), GPS(global positioning system)(들), 다변측정 추적기(multilateration tracker)(들) 등)을 포함할 수 있는 위치 센서 시스템(110)을 추가로 포함할 수 있다.
광 센서 시스템(104)으로부터 수신되는 광 센서 정보 및/또는 위치 센서 시스템(110)으로부터 수신되는 위치 센서 정보가 다른 환경 객체들에 대한 투시형 디스플레이의 시점의 위치 및 배향을 평가하는 데 사용될 수 있다. 일부 실시예들에서, 시점의 위치 및 배향은 6 자유도(six degrees of freedom)(예컨대, 월드 공간 X, Y, Z, 피치(pitch), 롤(roll), 요(yaw))를 사용해 특징지워질 수 있다. 시점은 전역적으로 또는 현실 세계 배경과 무관하게 특징지워질 수 있다. 온보드 컴퓨팅 시스템(on-board computing system)(예컨대, 온보드 컴퓨팅 시스템(112)) 및/또는 오프보드 컴퓨팅 시스템(off-board computing system)을 사용해 위치 및/또는 배향이 결정될 수 있다.
게다가, 깊이 분석, 표면 재구성, 환경 색상 및 조명 분석, 또는 다른 적당한 작업들과 같은, 현실 세계 배경의 분석을 수행하기 위해 광 센서 정보 및 위치 센서 정보가 컴퓨팅 시스템에 의해 사용될 수 있다. 상세하게는, 현실 세계 배경의 가상 모델을 생성하기 위해 광 및 위치 센서 정보가 사용될 수 있다. 일부 실시예들에서, 시점의 위치 및 배향이 이 가상 공간과 관련하여 특징지워질 수 있다. 더욱이, 가상 공간에서의 가상 객체들의 위치들, 가상 스포트라이트의 위치, 그리고 가상 객체들의 가상 그림자들의 크기, 형상, 및 위치를 결정하기 위해 가상 모델이 사용될 수 있다.
도 2는 본 개시 내용의 일 실시예에 따른, 투시형 디스플레이를 작동시키는 예시적인 방법(200)을 나타낸 것이다. 상세하게는, 투시형 디스플레이를 통해 보여질 때 가상 객체를 보다 사실적으로 보이게 만들기 위해 가상 객체의 가상 그림자를 생성하는 데 방법(200)이 수행될 수 있다. 예를 들어, 방법(200)이 도 1에 도시된 헤드 마운티드 디스플레이 시스템(100) 또는 도 10에 도시된 컴퓨팅 시스템(1000)에 의해 수행될 수 있다.
202에서, 방법(200)은 광 및 위치 센서 정보를 수신하는 단계를 포함할 수 있다. 하나의 예에서, 현실 세계 배경을 나타내는 광 정보가, 도 1에 도시된 광 센서(108)와 같은, 하나 이상의 바깥쪽으로 향해 있는 광 센서들에 의해 제공될 수 있다. 예를 들어, 광 센서 정보는 현실 세계 배경을 특징지우는 깊이 정보, 조명 정보, 색상 정보, 및 다른 시각적 정보를 포함할 수 있다. 게다가, 시점 및/또는 디스플레이 화면의 위치, 배향, 및/또는 움직임을 나타내는 위치 센서 정보가, 도 1에 도시된 위치 센서 시스템(100)과 같은, 위치 센서 시스템에 의해 수신될 수 있다.
204에서, 방법(200)은 투시형 디스플레이의 시점을 결정하는 단계를 포함할 수 있다. 시점은 위치 및 배향을 가질 수 있다. 일부 실시예들에서, 시점의 위치 및 배향이 현실 세계 배경과 관련하여 특징지워질 수 있다. 일부 실시예들에서, 시점의 위치 및 배향이 독립적으로 또는 현실 세계 배경을 고려함이 없이 특징지워질 수 있다. 하나의 예에서, 시점의 위치는 투시형 디스플레이의 위치에 대응할 수 있다.
206에서, 방법(200)은 센서 정보로부터 가상 모델을 구성하는 단계를 포함할 수 있다. 가상 모델에서의 현실 세계 배경 및 현실 세계 객체들을 재구성하기 위해 광 센서 정보 및 위치 센서 정보가 사용될 수 있다. 예를 들어, 현실 세계 배경에 대한 시점의 위치에 기초하여 가상 모델이 구성될 수 있다. 투시형 디스플레이를 사용해 디스플레이되는 가상 객체들은 물론 대응하는 가상 그림자들의 크기, 위치, 및 배향 정보를 결정하기 위해 가상 모델이 사용될 수 있다.
208에서, 방법(200)은 시점의 위치 및 배향에 기초하여 가상 스포트라이트의 위치 및 배향을 결정하는 단계를 포함할 수 있다. 일부 실시예들에서, 가상 스포트라이트는 시점에 대해 고정되어 있을 수 있다. 하나의 예에서, 가상 스포트라이트는 시점으로부터 수직으로 오프셋되어 있을 수 있고, 가상 스포트라이트의 투시도(perspective)가 시점의 투에 대해 아래쪽으로 기울어져 있을 수 있다. 가상 스포트라이트를 시점의 배향에 대해 고정된 아래쪽으로 향한 각도로 배향시키는 것에 의해, 시점이 (예컨대, 6 자유도에 걸쳐) 위치를 변경할 때에도, 가상 그림자가 가상 객체 아래쪽에 있는 것처럼 보일 수 있다.
210에서, 방법(200)은 투시형 디스플레이를 사용해 가상 객체의 영상을 디스플레이하는 단계를 포함할 수 있다. 가상 객체는 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 전방에 있는 것처럼 보일 수 있다. 예를 들어, 투시형 디스플레이 상에서의 가상 객체의 크기, 위치, 및 배향은 가상 모델 그리고 보다 상세하게는 시점에 기초하여 결정될 수 있다.
212에서, 방법(200)은 가상 객체의 가상 그림자를 결정하는 단계를 포함할 수 있다. 예를 들어, 가상 그림자가 시점 및 가상 스포트라이트에 대한 가상 객체의 위치에 기초하여 결정될 수 있다. 일부 실시예들에서, 가상 그림자가 월드 공간 좌표들에 렌더링될 수 있다. 그에 따라, 가상 그림자가 현실 세계 배경의 특성들에 기초하여 생성될 수 있다. 예를 들어, 가상 그림자가 또한 현실 세계 배경의 표면 재구성에 기초할 수 있다. 예를 들어, 현실 세계 배경에서 상이한 깊이들에 있는 상이한 표현들이 가상 그림자를 결정할 때 참작될 수 있는 가상 그림자의 왜곡을 야기할 수 있다. 일부 실시예들에서, 가상 그림자가 현실 세계 배경의 표면들을 고려함이 없이 결정될 수 있다.
214에서, 방법(200)은 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기를 증가시키는 단계를 포함할 수 있다. 가상 그림자 주위의 상대 밝기를 증가시키는 것에 의해, 가상 그림자를 실제로 어둡게 하는 일 없이 가상 그림자를 보다 어두운 것처럼 보이게 하는 시각적 효과를 생성하기 위해 콘트라스트가 증가될 수 있다. 그렇지만, 일부 실시예들에서, 가상 그림자 주위의 배경의 상대 밝기를 증가시키는 것과 함께 가상 그림자가 (예컨대, 필터의 적용을 통해) 실제로 어둡게 될 수 있다는 것을 잘 알 것이다.
선택적으로 또는 그에 부가하여, 216에서, 방법(200)은 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기를 비네트 패턴으로 증가시키는 단계를 포함할 수 있다. 하나의 예에서, 비네트 패턴은 투시형 디스플레이의 주변에 점점 더 가까워짐에 따라 상대 밝기가 감소되게 한다. 다른 예에서, 비네트 패턴은 가상 그림자로부터 점점 더 멀어짐에 따라 상대 밝기가 감소되게 한다. 비네트 패턴에서 상대 밝기를 감쇠시키는 것에 의해, 투시형 디스플레이의 주변이 덜 눈에 띌 수 있도록, 투시형 디스플레이와 현실 세계 배경 사이의 시각적 전환이 매끄럽게 될 수 있다. 일부 실시예들에서, 비네트 패턴이 화면 공간 좌표들에 렌더링될 수 있다. 상세하게는, 비네트 패턴이 시점에 따라 움직이도록, 비네트 패턴이 투시형 디스플레이의 시점에 잠금되어 있을 수 있다. 게다가, 비네트 패턴이 현실 세계 배경의 특성들과 무관하게 형성될 수 있다.
선택적으로 또는 그에 부가하여, 218에서, 방법(200)은 현실 세계 배경의 색상들에 대응하는 디스플레이 광(display light)을 사용해 투시형 디스플레이를 통해 보여질 때 가상 객체의 가상 그림자 주위의 현실 세계 배경의 상대 밝기를 증가시키는 단계를 포함할 수 있다. 하나의 예에서, 디스플레이 광의 색상이 현실 세계 배경의 색상에 일치될 수 있다. 다른 예에서, 디스플레이 광의 색상이 현실 세계 배경의 색상에 비해 더 밝거나 더 어두울 수 있다. 예를 들어, 배경 색상이 감청색(royal blue)일 수 있고, 디스플레이 광이 담청색(light blue)일 수 있다. 다른 예에서, 현실 세계 배경의 상이한 부분들이 복수의 상이한 색상들을 가질 수 있고, 디스플레이 광은 현실 세계 배경의 상이한 색상들에 대응하기 위해 투시형 디스플레이의 상이한 부분들 상에 디스플레이되는 복수의 상이한 색상들을 포함할 수 있다.
선택적으로 또는 그에 부가하여, 220에서, 방법(200)은 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 현실 세계 객체들의 전방에 그리고/또는 가상 객체 상에 있는 것처럼 보이는 반사 글리트(specular glit)들의 영상을 디스플레이하는 단계를 포함할 수 있다. 반사 글리트는 가상 스포트라이트로부터의 광이 시점의 방향으로 반사될 객체의 일부분 상에 시뮬레이트될 수 있다. 반사 글리트들은 가상 스포트라이트 및 시점에 대한 현실 세계 객체들 및/또는 가상 객체들의 위치에 기초할 수 있다. 예를 들어, 반사 글리트들은 가상 모델에서의 현실 세계 배경의 표면 재구성은 물론 가상 및 현실 광 정보로부터 결정될 수 있다. 반사 글리트들은 밝은 광을 사용해 글리트 위치들에 대응하는 픽셀들을 포화시키는 것에 의해 형성될 수 있다.
본 방법은 현실 세계 배경 환경과 관련하여 공간 상황을 제공하는 데 도움을 주는 가상 객체의 가상 그림자를 투시형 디스플레이를 사용해 생성하기 위해 수행될 수 있다. 그에 따라, 증강 현실이 보다 사실적인 것처럼 보일 수 있다.
도 3은 본 개시 내용의 일 실시예에 따른, 투시형 디스플레이(302)를 통한 사용자의 뷰 프러스텀(view frustum)(300)을 개략적으로 나타낸 것이다. 뷰 프러스텀(300)은 하나의 특정 시점에 대해 투시형 디스플레이(302)를 통해 보이는 현실 세계 환경 전체를 나타낸다. 도 3은 또한 증강 프러스텀(augmentation frustum)(304)을 개략적으로 나타내고 있다. 증강 프러스텀(304)은 투시형 디스플레이(302)에 의해 증가될 수 있는 현실 세계 환경의 그 부분들을 나타낸다. 일부 실시예들에서, 투시형 디스플레이는 투시형 디스플레이를 통해 보이는 무엇이라도 증강시키도록 구성될 수 있다(예컨대, 뷰 프러스텀(300)과 증강 프러스텀(304)이 일치함). 다른 실시예들에서, 증강 프러스텀이 뷰 프러스텀보다 더 작을 수 있다. 예를 들어, 헤드 마운티드 디스플레이의 렌즈의 일부분만이 현실을 증강시키도록 구성될 수 있다.
도 3은 또한 가상 스포트라이트(306)를 나타내고 있다. 투시형 디스플레이(302)의 시점이 변할 때, 가상 스포트라이트(306)의 위치 및 배향이 그에 따라 변하도록, 가상 스포트라이트(306)의 위치 및 배향이 투시형 디스플레이(302)의 시점(303)에 대해 고정되어 있을 수 있다. 이러한 방식으로, 투시형 디스플레이의 시점(303)이 어디에 위치해 있더라고 그리고/또는 투시형 디스플레이의 시점(303)이 어떻게 배향되더라도, 가상 스포트라이트(306)의 위치 및 배향이 투시형 디스플레이(302)의 시점(303)에 대해 고정된 채로 있을 것이다.
도 4 내지 도 6은 가상 스포트라이트와 투시형 디스플레이의 시점 간의 위치 관계의 다양한 예들을 개략적으로 나타낸 것이다.
도 4는 투시형 디스플레이의 시점(303)의 배향에 대한 가상 스포트라이트(306)의 배향의 일 예를 나타낸 것이다. 상세하게는, 시점(303) 및 가상 스포트라이트가 수직축(400)을 따라 수직으로 정렬되어 있을 수 있다. 수직축(400)은 투시형 디스플레이의 광축에 수직이고 투시형 디스플레이를 착용하고 있는 사용자의 머리의 횡단면에 수직일 수 있다. 가상 스포트라이트(306)의 투시도(402)는 시점(303)의 투시도(404)에 대해 아래쪽으로 기울어져 있을 수 있다. 환언하면, 수직축(400)과 가상 스포트라이트의 투시도(402) 사이에 형성되는 각도(406)가 수직축(400)과 시점의 투시도(404) 사이에 형성되는 각도(408)보다 작을 수 있다. 예를 들어, 각도(406)는 45도일 수 있고, 각도(408)는 90도일 수 있다. 본 개시 내용의 범주를 벗어남이 없이, 투시형 디스플레이의 시점에 대한 가상 스포트라이트의 거의 모든 배향이 사용될 수 있다.
도 5는 투시형 디스플레이의 시점(303)의 위치에 대한 가상 스포트라이트(306)의 위치의 일 예를 나타낸 것이다. 상세하게는, 가상 스포트라이트(306)는 수직축(예컨대, Y 축)을 따라 시점(303) 위쪽으로 수직으로 오프셋되어 있을 수 있고, 수평 오프셋(예컨대, X 및/또는 Z 오프셋)이 없을 수 있다. 환언하면, 가상 스포트라이트가 사용자의 머리 바로 위쪽에 배치될 수 있다.
도 6은 투시형 디스플레이의 시점(303)의 위치에 대한 가상 스포트라이트(306)의 위치의 다른 예를 나타낸 것이다. 상세하게는, 가상 스포트라이트(306)는 시점(303) 위쪽으로 수직으로 오프셋되고 측면으로 벗어나(skewed) 있을 수 있다. 환언하면, 가상 스포트라이트가 사용자의 머리 위쪽에 배치되고 우측 또는 좌측으로 벗어나 있을 수 있다. 다른 실시예들에서, 가상 스포트라이트가 그에 부가하여 또는 대안적으로 투시형 디스플레이의 전방으로 또는 후방으로 벗어나 있을 수 있다.
가상 스포트라이트가 시점으로부터 임의의 적당한 방향으로 그리고 임의의 적당한 거리에 오프셋되어 있을 수 있다는 것을 잘 알 것이다.
도 7은 가상 스포트라이트(306)를 시뮬레이트하기 위해 조명되는 증강 프러스텀(304)의 상대 밝기(700)를 나타낸 것이다. 유의할 점은, 상대 밝기(700)가 투시형 디스플레이를 사용해 증가될 수 있다는 것이다. 예를 들어, 픽셀들을 통해 보이는 객체들이 스포트라이트로부터의 광으로 휩싸여 있는 것처럼 보이도록 투시형 디스플레이의 픽셀들이 조명될 수 있다. 가상 스포트라이트는 기준점 - 이 기준점으로부터 상대 밝기를 렌더링하고 가상 그림자들을 구성함 - 을 제공한다. 상대 밝기의 증가는 가상 스포트라이트의 시점(point of view)으로부터 증강 프러스텀에 걸쳐 일정한 양의 가상 광(virtual light)의 시뮬레이트된 투영에 기초하여 결정될 수 있다.
도 8은 본 개시 내용의 일 실시예에 따른, 가상 스포트라이트(306)에 기초하여 생성되는 가상 그림자(800)를 나타낸 것이다. 가상 그림자(800) 내의 밝기는 증가시키지 않으면서 가상 그림자(800) 주위의 상대 밝기는 증가시키는 것에 의해 가상 그림자(800)가 생성될 수 있다. 환언하면, 사용자가 가상 그림자를 보는 픽셀들은 사용자가 가상 그림자 주위의 영역을 보는 픽셀들보다 지각되는 밝기를 덜 증가시킨다. 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 그림자가 없는(unshadowed) 나머지 부분들 전체보다 상대 밝기가 증가될 수 있다. 다수의 가상 그림자들을 형성하기 위해 다수의 가상 객체들이 투시형 디스플레이를 사용해 디스플레이되는 경우에, 그 가상 그림자들 이외의 투시형 디스플레이의 부분들 전체에서 상대 밝기가 증가될 수 있다. 가상 그림자의 위치 및 크기는 가상 스포트라이트(306)의 위치/배향, 가상 객체(802)의 위치, 및 가상 그림자가 보여야 하는 표면의 위치에 기초하여 결정될 수 있다. 예를 들어, 그림자의 크기 및 위치는 가상 객체가 환경에 실제로 존재하는 경우 스포트라이트로부터의 빛나는 광으로 인해 가상 객체에 생기게 될 그림자를 시뮬레이트할 수 있다.
도 9는 본 개시 내용의 일 실시예에 따른, 투시형 디스플레이를 통해 보여질 때 비네트 패턴(900)으로 증가되는 현실 세계 배경의 상대 밝기를 나타낸 것이다. 비네트 패턴(900)에서, 투시형 디스플레이의 주변에 점점 더 가까워짐에 따라 상대 밝기가 감소될 수 있다. 다른 실시예들에서, 가상 그림자로부터 점점 더 멀어짐에 따라 상대 밝기가 감소될 수 있다. 어느 경우든지, 비네트 패턴은 대칭이고, 하나 이상의 축들을 중심으로 비대칭이며, 그리고/또는 불규칙적일 수 있다. 하나의 예에서, 비네트 패턴이 가상 광 및 가상 그림자가 결정된 후에 후처리 조명 효과(post-processing lighting effect)로서 렌더링될 수 있다.
비네트 패턴(900)이 다양한 배치들로 위치될 수 있다. 하나의 특정 예에서, 비네트 패턴의 중심이 투시형 디스플레이의 중심과 정렬될 수 있다. 하나의 예에서, 비네트가 화면 공간 좌표들에 렌더링될 수 있다. 화면 공간 좌표들은 시점과 정렬될 수 있다. 비네트 패턴을 화면 공간 좌표들에 렌더링하는 것에 의해, 비네트 패턴이 투시형 디스플레이의 시점에 잠금될 수 있다. 그에 따라, 사용자가 머리를 움직임에 따라 비네트 패턴이 사용자 주위에서 이동할 수 있다. 더욱이, 비네트 패턴을 화면 공간 좌표들에 렌더링하는 것에 의해, 비네트 패턴이 현실 세계 배경과 무관하게 생성될 수 있다. 그에 따라, 비네트 패턴이 현실 세계 배경의 특성들에 기초하여 배치될 필요가 없고, 현실 세계 배경의 특성들의 변화에 대응할 필요가 없다.
다른 한편으로, 일부 실시예들에서, 가상 그림자가 월드 공간 좌표들에 렌더링될 수 있다. 가상 그림자를 월드 공간 좌표들에 렌더링하는 것에 의해, 가상 그림자의 형상 및/또는 배향이 현실 세계 배경의 특성들에 의존할 수 있다. 예를 들어, 현실 세계 배경에서의 벽과 가상 객체가 서로로부터 멀리 떨어져 있는 경우, 가상 그림자가 클 수 있다. 다른 한편으로, 벽과 가상 객체가 서로 가까이 있는 경우, 가상 그림자가 작을 수 있다.
더욱이, 일부 실시예들에서, 비네트 패턴이 가상 그림자 및 현실 세계 배경(예컨대, 가상 스포트라이트에 의해 향상되는 투시형 디스플레이의 영역)의 상대 밝기에만 적용될 수 있다. 비네트 패턴이 투시형 디스플레이 상의 다른 곳에 배치된 가상 객체들에는 적용되지 않을 수 있다. 예를 들어, 투시형 디스플레이 상의 비네트 패턴의 외측 주변을 벗어나 배치된 가상 객체가 사용자에게는 보일 수 있지만, 그 가상 객체가 가상 그림자를 드리우지 않을 수 있다.
예시된 예에서, 상대 밝기가 동심원의 둥근 패턴으로 감소된다. 상대 밝기가 임의의 적당한 패턴에 따라 감소되거나 감쇠될 수 있다는 것을 잘 알 것이다.
도 10은 앞서 기술된 방법들 및 프로세스들 중 하나 이상을 수행할 수 있는 컴퓨팅 디바이스(1002)를 포함하는 컴퓨팅 시스템(1000)의 비제한적 예를 개략적으로 나타낸 것이다. 컴퓨팅 시스템(1000)이 간략화된 형태로 도시되어 있다. 컴퓨팅 디바이스가, 본 개시 내용의 범주를 벗어남이 없이, 거의 모든 컴퓨터 아키텍처를 사용해 구현될 수 있다는 것을 잘 알 것이다. 상이한 실시예들에서, 컴퓨팅 시스템(1000)은 HMD 주변기기 제어 컴퓨터(HMD peripheral control computer), 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 이동 통신 디바이스, 게임 디바이스 등의 형태를 취할 수 있다.
컴퓨팅 시스템(1000)의 컴퓨팅 디바이스(1002)는 논리 기계(logic machine)(1004) 및 저장 기계(storage machine)(1006)를 포함한다. 컴퓨팅 디바이스(1002)은, 선택적으로, 입력 서브시스템(1007), 통신 서브시스템(1008), 및/또는 도 10에 도시되지 않은 다른 구성요소들을 포함할 수 있다.
논리 기계(1004)는 하나 이상의 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함할 수 있다. 예를 들어, 논리 기계는 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 객체들, 구성요소들, 데이터 구조들, 또는 다른 논리적 구성(logical construct)들의 일부인 하나 이상의 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 디바이스들의 상태를 변환하거나, 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
논리 기계는 소프트웨어 명령어들을 실행하도록 구성되는 하나 이상의 프로세서들을 포함할 수 있다. 그에 부가하여 또는 대안적으로,, 논리 기계는 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 기계들을 포함할 수 있다. 논리 기계의 프로세서들은 단일 코어 또는 멀티 코어일 수 있고, 논리 기계 상에서 실행되는 프로그램들은 병렬 또는 분산 처리를 하도록 구성될 수 있다. 논리 기계는, 선택적으로, 원격지에 위치되고 그리고/또는 조정된 처리(coordinated processing)를 하도록 구성될 수 있는, 2 개 이상의 디바이스들에 걸쳐 분산되어 있는 개별 구성요소들을 포함할 수 있다. 논리 서브시스템의 하나 이상의 양태들이 가상화될 수 있고, 클라우드 컴퓨팅 구성으로 구성되어 있는 원격적으로 액세스 가능한 네트워크화된 컴퓨팅 디바이스들에 의해 실행될 수 있다.
저장 기계(1006)는 본 명세서에 기술된 방법들 및 프로세스들을 구현하기 위해 논리 서브시스템에 의해 실행 가능한 데이터 및/또는 명령어들을 보유하도록 구성된 하나 이상의 물리적, 비일시적 디바이스들을 포함할 수 있다. 이러한 방법들 및 프로세스들이 구현될 때, 데이터 보유 서브시스템의 상태가 (예컨대, 상이한 데이터를 보유하도록) 변환될 수 있다.
저장 기계(1006)는 이동식 및/또는 내장형(built-in) 디바이스들을 포함할 수 있다. 저장 기계(1006)는, 그 중에서도 특히, 광 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 기계(1006)는 휘발성, 비휘발성, 동적, 정적, 판독/기입, 판독 전용, 랜덤 액세스, 순차 액세스, 위치 주소화(location-addressable), 파일 주소화(file-addressable), 및/또는 내용 주소화(content-addressable) 디바이스들을 포함할 수 있다.
저장 기계(1006)가 하나 이상의 물리 디바이스들을 포함한다는 것을 잘 알 것이다. 그렇지만, 본 명세서에 기술된 명령어들의 양태들은, 대안적으로, 물리 디바이스에 의해 유한한 지속기간 동안 보유되지 않는 통신 매체(예컨대, 전자기 신호, 광 신호 등)에 의해 전파될 수 있다.
논리 기계(1004) 및 저장 기계(1006)의 양태들이 하나 이상의 하드웨어 논리 구성요소들 내에 함께 통합될 수 있다. 이러한 하드웨어 논리 구성요소들은, 예를 들어, FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
포함될 때, 입력 서브시스템(1007)은 키보드, 마우스, 터치, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 디바이스들을 포함하거나 그와 인터페이싱할 수 있다. 일부 실시예들에서, 입력 서브시스템은 선택된 NUI(natural user input: 내추럴 사용자 입력) 구성요소를 포함하거나 그와 인터페이싱할 수 있다. 이러한 구성요소는 일체형이거나 주변기기일 수 있고, 입력 동작들의 변환(transduction) 및/또는 처리가 온보드(on-board)로 또는 오프보드(off-board)로 처리될 수 있다. 예시적인 NUI 구성요소는 발화(speech) 및/또는 음성(voice) 인식을 위한 마이크; 기계 시각(machine vision) 및/또는 제스처 인식을 위한 적외선, 컬러, 입체(stereoscopic,), 및/또는 깊이 카메라; 움직임 검출 및/또는 의도 인식을 위한 머리 추적기, 눈 추적기, 가속도계, 및/또는 자이로스코프는 물론; 뇌 활동을 평가하기 위한 전기장 감지 구성요소를 포함할 수 있다.
포함될 때, 헤드 마운티드 디스플레이 시스템(1014)과 같은 디스플레이 서브시스템은 저장 기계(1006)에 의해 보유된 데이터의 시각적 표현을 제시하기 위해 사용될 수 있다. 본 명세서에 기술된 방법들 및 프로세스들이 저장 기계에 의해 보유된 데이터를 변경하고 따라서 저장 기계의 상태를 변환시키기 때문에, 디스플레이 서브시스템의 상태가 마찬가지로 기본 데이터의 변화를 시각적으로 표현하도록(예컨대, 가상 객체들을 디스플레이하도록 그리고/또는 가상 그림자들의 효과(illusion)를 생성하도록) 변환될 수 있다. 디스플레이 서브시스템은 거의 모든 유형의 투시형 디스플레이 기술을 이용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들이 공유 인클로저(shared enclosure)에서 논리 기계(1004) 및/또는 저장 기계(804)와 결합될 수 있거나, 이러한 디스플레이 디바이스들이 주변기기 디스플레이 디바이스(peripheral display device)일 수 있다.
포함될 때, 통신 서브시스템(1008)은 컴퓨팅 디바이스(1002)를 하나 이상의 다른 컴퓨팅 디바이스들(원격 컴퓨팅 디바이스(1010) 등)과 통신 연결시키도록 구성될 수 있다. 통신 서브시스템(1008)은 하나 이상의 상이한 통신 프로토콜들과 호환되는 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예들로서, 통신 서브시스템은 무선 전화 네트워크, 무선 근거리 네트워크, 유선 근거리 네트워크, 무선 원거리 네트워크, 유선 원거리 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예들에서, 통신 서브시스템은 컴퓨팅 디바이스(1002)가 인터넷과 같은 네트워크(1012)를 통해 메시지들을 다른 디바이스들로 및/또는 그들로부터 송신 및/또는 수신할 수 있게 할 것이다.
컴퓨팅 시스템(1000)은, 도 10에 개략적으로 도시된 헤드 마운티드 디스플레이 시스템들(1014 및 1016)과 같은, 하나 이상의 헤드 마운티드 디스플레이 시스템들을 추가로 포함한다. 투시형 디스플레이(1018), 광 센서 시스템(1020), 위치 센서 시스템(1022), 및 통신 서브시스템(1024)을 포함하는 헤드 마운티드 디스플레이 시스템(1014)이 더 상세히 도시되어 있다. 헤드 마운티드 디스플레이 시스템(1016)도 이와 유사하게 투시형 디스플레이, 광 센서 시스템, 위치 센서 시스템, 및 통신 서브시스템을 포함할 수 있다. 도 1의 이전에 기술된 헤드 마운티드 디스플레이 시스템(100)은 헤드 마운티드 디스플레이 시스템들(1014 및 1016)을 나타내는 비제한적인 예를 제공한다. 헤드 마운티드 디스플레이 시스템들(1014 및 1016)은 유선 또는 무선 통신을 통해 컴퓨팅 디바이스(1002) 및/또는 원격 컴퓨팅 디바이스(1010)와 통신할 수 있다. 일부 실시예들에서, 헤드 마운티드 디스플레이 시스템은 온보드 컴퓨팅 디바이스를 포함할 수 있다. 환언하면, 컴퓨팅 디바이스(1002) 및 헤드 마운티드 디스플레이 시스템(1014)이 단일의 디바이스에 통합될 수 있다.
투시형 디스플레이(1018)는 투시형 디스플레이를 통해 물리적 환경을 보고 있는 사용자에 대해 물리적 환경의 모습을 시각적으로 증강시키도록 구성될 수 있다. 예를 들어, 물리적 환경의 모습은 투시형 디스플레이를 통해 제시되는 그래픽 콘텐츠(예컨대, 각각이 각자의 색상 및 밝기를 가지는 하나 이상의 픽셀들)에 의해 증강될 수 있다. 투시형 디스플레이는 사용자가 가상 객체를 디스플레이하고 있는 하나 이상의 부분 투명 픽셀들을 통해 물리적 공간에 있는 현실 객체를 볼 수 있도록 구성될 수 있다.
일부 실시예들에서, 투시형 디스플레이(1018)는, 헤드 마운티드 디스플레이 시스템을 착용하고 있는 사용자의 눈에 도달하기 전에, 물리적 환경으로부터 수광되는 광의 선택적 필터링(selective filtering)을 지원할 수 있다. 이러한 필터링은 개개의 픽셀들에 대해 또는 픽셀들의 그룹들에 대해 수행될 수 있다. 하나의 예로서, 주변광의 선택적 필터링 또는 제거가 조명된 그래픽 콘텐츠(예컨대, 조명된 픽셀들)의 제시를 위해 투시형 디스플레이에 의해 지원되는 해상도와 상이한 해상도(예컨대, 그보다 낮은 해상도 또는 그보다 높은 해상도)에서 투시형 디스플레이에 의해 지원될 수 있다. 일부 실시예들에서, 투명 디스플레이(1018)는 하나 이상의 조명된 픽셀들의 형태로 광을 부가하는 제1 디스플레이 층(display layer), 및 물리적 환경으로부터 수광되는 주변광을 필터링하는 제2 디스플레이 층을 포함할 수 있다. 이 층들은 상이한 디스플레이 해상도, 픽셀 밀도, 및/또는 디스플레이 능력을 가질 수 있다. 일부 실시예들에서, 광 필터들이 투시형 디스플레이로부터 생략될 수 있다.
광 센서 시스템(1020)은 물리적 환경 및/또는 사용자의 주변 조명 조건들의 가시 스펙트럼 및/또는 적외선 광을 관찰하기 위한 하나 이상의 광 센서들을 포함할 수 있다. 이 광 센서들 중 하나 이상은 깊이 카메라의 형태를 취할 수 있다. 이 깊이 카메라들 중 하나 이상으로부터의 시간 분해된 영상(time-resolved image)들이 서로에 대해 그리고/또는 가시 스펙트럼 카메라와 같은 다른 광 센서로부터의 영상들에 대해 위치 맞춤(register)될 수 있고, 깊이 분해된 비디오(depth-resolved video)를 생성하기 위해 결합될 수 있다.
깊이 카메라는 다양한 개별 특징들(예컨대, 라인 또는 점)을 포함하는 구조화된 적외선 조명(structured infrared illumination)을 투사하도록 구성되는 구조화된 광 깊이 카메라(structured light depth camera)의 형태를 취할 수 있다. 깊이 카메라는 구조화된 조명이 투사되는 장면으로부터 반사되는 구조화된 조명을 촬영하도록 구성될 수 있다. 장면의 깊이 맵(depth map)은 촬영된 장면의 다양한 영역들에서 인접한 특징들 간의 간격들에 기초하여 구성될 수 있다.
깊이 카메라는 펄스형 적외선 조명(pulsed infrared illumination)을 장면 상으로 투사하도록 구성된 TOF 깊이 카메라(time-of-flight depth camera)의 형태를 취할 수 있다. 이 깊이 카메라는 장면으로부터 반사되는 펄스형 조명을 검출하도록 구성될 수 있다. 이 깊이 카메라들 중 2개 이상은 펄스형 조명에 동기되어 있는 전자 셔터(electronic shutter)를 포함할 수 있지만, 2 개 이상의 깊이 카메라들의 노출 시간(integration time)이 상이할 수 있고, 따라서, 광원으로부터 장면까지 그리고 이어서 깊이 카메라들까지의 펄스형 조명의 픽셀 분해된(pixel-resolved) TOF(time-of-flight)가 2 개의 깊이 카메라들의 대응하는 픽셀들에 수광되는 광의 상대량(relative amount)으로부터 알 수 있게 된다.
위치 센서 시스템(1022)은 하나 이상의 위치 센서들을 포함할 수 있다. 이 위치들은 다차원 공간에서의 헤드 마운티드 디스플레이 시스템의 위치 및/또는 배향의 표시 또는 측정을 제공하는 가속도계들 및/또는 자이로스코프들을 포함할 수 있다. 하나의 예로서, 위치 센서 시스템(1022)은 6 축(six-axis) 또는 6 자유도(six-degree of freedom) 위치 센서 시스템으로서 구성될 수 있다. 이 예시적인 위치 센서 시스템은, 예를 들어, 3 개의 직교 축(예컨대, x, y, z)을 따라 3차원 공간 내에서의 헤드 마운티드 디스플레이 시스템의 위치의 변화 및 3 개의 직교 축(예컨대, 롤, 피치, 요)을 중심으로 한 헤드 마운티드 디스플레이 시스템의 배향의 변화를 표시하거나 측정하기 위해 3 개의 가속도계들 및 3 개의 자이로스코프들을 포함할 수 있다.
위치 센서 시스템(1022)은, GPS 또는 다른 전세계 내비게이션 시스템(global navigation system)과 같은, 다른 적당한 위치 결정 기법들을 지원할 수 있다. 예를 들어, 위치 센서 시스템(1022)은 위성들 및/또는 지상 기지국들로부터 브로드캐스트되는 무선 신호들을 수신하기 위해 무선 수신기(예컨대, GPS 수신기 또는 셀룰러 수신기)를 포함할 수 있다. 이 무선 신호들은 헤드 마운티드 디스플레이 시스템의 지리적 위치를 식별하는 데 사용될 수 있다. 헤드 마운티드 디스플레이 시스템의 위치 및/또는 배향의 표시를 제공하기 위해, 헤드 마운티드 디스플레이 시스템에 의해 수신되는 무선 신호들로부터 획득되는 위치 결정 정보(positioning information)가, 가속도계들 및/또는 자이로스코프들과 같은, 다른 위치 센서들로부터 획득되는 위치 결정 정보와 결합될 수 있다. 위치 센서 시스템들의 구체적인 예들이 기술되었지만, 다른 적당한 위치 센서 시스템들이 사용될 수 있다는 것을 잘 알 것이다.
본 명세서에 기술된 구성들 및/또는 접근법들이 사실상 예시적인 것이라는 것과, 다양한 변형들이 가능하기 때문에, 이 구체적인 실시예들 또는 예들이 제한하는 의미로 간주되어서는 안된다는 것을 잘 알 것이다. 본 명세서에 기술된 구체적인 루틴들 또는 방법들은 임의의 수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 그에 따라, 예시된 및/또는 기술된 다양한 동작들이 예시된 및/또는 기술된 순서로, 다른 순서로, 병렬로 수행될 수 있거나, 생략될 수 있다. 마찬가지로, 앞서 기술된 프로세스들의 순서가 변경될 수 있다.
본 개시 내용의 발명 요지는 본 명세서에 개시되어 있는 다양한 프로세스들, 시스템들 및 구성들과, 다른 특징들, 기능들, 동작들 및/또는 특성들은 물론, 이들의 모든 등가물들의 모든 신규의(novel) 비자명한(nonobvious) 콤비네이션들 및 서브콤비네이션들을 포함한다.

Claims (8)

  1. 투시형 디스플레이를 작동시키는 방법에 있어서,
    가상 객체가 상기 투시형 디스플레이를 통해 보여질 때 현실 세계 배경의 전방에 있는 것처럼 보이도록 상기 가상 객체의 영상을 디스플레이하는 단계; 및
    상기 가상 객체의 가상 그림자가 상기 투시형 디스플레이의 시점(vantage point)에 대해 고정되어 있는 스포트라이트로 인해 생기는 것처럼 보이도록 상기 투시형 디스플레이를 통해 보여질 때 상기 가상 그림자 주위의 상기 현실 세계 배경의 상대 밝기를 증가시키는 단계
    를 포함하는, 투시형 디스플레이를 작동시키는 방법.
  2. 제1항에 있어서, 상기 스포트라이트는 상기 시점으로부터 수직으로 오프셋되어 있고, 상기 스포트라이트의 투시도(perspective)가 상기 시점의 투시도에 대해 아래쪽으로 기울어져 있는, 투시형 디스플레이를 작동시키는 방법.
  3. 제1항에 있어서, 상기 상대 밝기가 상기 현실 세계 배경의 그림자가 없는(unshadowed) 부분들 전체에 걸쳐 증가되는, 투시형 디스플레이를 작동시키는 방법.
  4. 제1항에 있어서, 상기 상대 밝기가 비네트 패턴(vignette pattern)으로 증가되는, 투시형 디스플레이를 작동시키는 방법.
  5. 제4항에 있어서, 상기 상대 밝기가 상기 투시형 디스플레이의 주변에 점점 더 가까워짐에 따라 감소되는, 투시형 디스플레이를 작동시키는 방법.
  6. 제4항에 있어서, 상기 상대 밝기가 상기 가상 그림자로부터 점점 더 멀어짐에 따라 감소되는, 투시형 디스플레이를 작동시키는 방법.
  7. 제1항에 있어서, 상기 투시형 디스플레이는 상기 가상 그림자의 밝기를 증가시키지 않는, 투시형 디스플레이를 작동시키는 방법.
  8. 제1항에 있어서,
    상기 현실 세계 배경의 색상들에 대응하는 디스플레이 광(display light)을 사용해 상기 현실 세계 배경의 상대 밝기를 증가시키는 단계를
    추가로 포함하는, 투시형 디스플레이를 작동시키는 방법.
KR1020167011797A 2013-10-29 2014-10-27 혼합 현실 스포트라이트 KR102257255B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/066,442 US9652892B2 (en) 2013-10-29 2013-10-29 Mixed reality spotlight
US14/066,442 2013-10-29
PCT/US2014/062310 WO2015065860A1 (en) 2013-10-29 2014-10-27 Mixed reality spotlight

Publications (2)

Publication Number Publication Date
KR20160079794A true KR20160079794A (ko) 2016-07-06
KR102257255B1 KR102257255B1 (ko) 2021-05-26

Family

ID=51862604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011797A KR102257255B1 (ko) 2013-10-29 2014-10-27 혼합 현실 스포트라이트

Country Status (6)

Country Link
US (1) US9652892B2 (ko)
EP (1) EP3063739B1 (ko)
KR (1) KR102257255B1 (ko)
CN (1) CN105723420B (ko)
TW (1) TW201527683A (ko)
WO (1) WO2015065860A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210079976A (ko) * 2019-12-20 2021-06-30 네이버랩스 주식회사 증강 현실 기반 내비게이션 환경에서 객체의 그림자를 표시하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
EP3113158A1 (en) * 2015-07-03 2017-01-04 Nokia Technologies Oy Control of selective actuation of a light filter array
CN114995594A (zh) * 2016-03-31 2022-09-02 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
US10242643B2 (en) 2016-07-18 2019-03-26 Microsoft Technology Licensing, Llc Constrained head-mounted display communication
US11249304B2 (en) * 2016-12-02 2022-02-15 Disney Enterprises, Inc. Augmented reality camera frustum
CN110268806B (zh) * 2017-02-16 2022-01-04 昕诺飞控股有限公司 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
US10795178B2 (en) 2017-05-09 2020-10-06 Amtran Technology Co., Ltd. Device for mixed reality
US10970918B2 (en) * 2017-05-19 2021-04-06 Huawei Technologies Co., Ltd. Image processing method and apparatus using a pixelated mask image and terminal orientation for a reflection effect
US10274320B2 (en) 2017-08-04 2019-04-30 Motorola Solutions, Inc. Method and device for providing safe zone information for incident area
EP3454300A1 (en) 2017-09-12 2019-03-13 HTC Corporation Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof
CN108010118B (zh) * 2017-11-28 2021-11-30 杭州易现先进科技有限公司 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备
KR102004991B1 (ko) 2017-12-22 2019-10-01 삼성전자주식회사 이미지 처리 방법 및 그에 따른 디스플레이 장치
US10997781B1 (en) * 2017-12-27 2021-05-04 Disney Enterprises, Inc. Systems and methods of real-time ambient light simulation based on generated imagery
US11093770B2 (en) * 2017-12-29 2021-08-17 Idemia Identity & Security USA LLC System and method for liveness detection
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
KR101975757B1 (ko) * 2018-09-28 2019-05-08 오재환 상태감지 투시 보관함
US11087701B1 (en) * 2018-10-26 2021-08-10 Facebook Technologies, Llc Head mounted display with angle compensation
US11620794B2 (en) 2018-12-14 2023-04-04 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment
US10838214B2 (en) 2018-12-14 2020-11-17 Facebook Technologies, Llc Angle compensating lens and display
EP3899922A1 (en) * 2018-12-19 2021-10-27 BAE SYSTEMS plc Method and system for adjusting luminance profiles in head-mounted displays
US10783819B1 (en) 2019-01-22 2020-09-22 Facebook Technologies, Llc Digital color dispersion correction
US11948483B2 (en) 2020-03-17 2024-04-02 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
KR20230103379A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
CN115981467B (zh) * 2022-12-27 2023-09-01 北京字跳网络技术有限公司 一种图像合成参数确定方法、图像合成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080060052A (ko) * 2006-12-26 2008-07-01 삼성테크윈 주식회사 디지털 카메라의 비네팅 효과 구현 방법
KR20130083179A (ko) * 2012-01-12 2013-07-22 삼성전자주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2763772A (en) * 1952-08-25 1956-09-18 Sheldon H Hine Photographic illuminating device
JPH0778267A (ja) 1993-07-09 1995-03-20 Silicon Graphics Inc 陰影を表示する方法及びコンピュータ制御表示システム
US5737031A (en) 1996-07-30 1998-04-07 Rt-Set System for producing a shadow of an object in a chroma key environment
CA2310114A1 (en) 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
US6614408B1 (en) 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
JP2000284349A (ja) 1999-03-30 2000-10-13 Fuji Photo Film Co Ltd 撮像装置
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
EP1074943A3 (en) 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US6924798B2 (en) 2001-05-22 2005-08-02 Intel Corporation Real-time multi-resolution shadows
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
US20050007460A1 (en) * 2003-07-08 2005-01-13 Stavely Donald J. Systems and methods for counteracting lens vignetting
US7508455B2 (en) 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
CN101006492A (zh) 2004-06-01 2007-07-25 迈克尔·A.·韦塞利 水平透视显示
US7986351B2 (en) 2005-01-27 2011-07-26 Qualcomm Incorporated Luma adaptation for digital image processing
ATE428154T1 (de) 2005-05-03 2009-04-15 Seac02 S R L Augmented-reality-system mit identifizierung der realen markierung des objekts
JP4093279B2 (ja) 2005-10-24 2008-06-04 ソニー株式会社 背面投射型画像表示装置
JP2007219082A (ja) 2006-02-15 2007-08-30 Canon Inc 複合現実感表示システム
US7623137B1 (en) 2006-02-15 2009-11-24 Adobe Systems, Incorporated Successive-convolution-compositing technique for rendering translucent surfaces
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
EP1865462A1 (de) 2006-06-09 2007-12-12 Carl Zeiss NTS GmbH Verfahren zur Binarisierung eines digitalen Grauwertbildes
KR100925419B1 (ko) 2006-12-19 2009-11-06 삼성전자주식회사 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법
JP4948218B2 (ja) 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US9082213B2 (en) 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20090279178A1 (en) * 2008-05-09 2009-11-12 Chengwu Cui Scanhead For Image Illumination Uniformity And Method Thereof
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
JP2010145436A (ja) 2008-12-16 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8325186B2 (en) 2009-05-21 2012-12-04 Sony Computer Entertainment America Llc Method and apparatus for rendering shadows
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20120026079A1 (en) 2010-07-27 2012-02-02 Apple Inc. Using a display abstraction to control a display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US20130215395A1 (en) * 2012-02-21 2013-08-22 Lin Li Wide-angle imaging lens and low-profile projection light engine using the same
US9270959B2 (en) * 2013-08-07 2016-02-23 Qualcomm Incorporated Dynamic color shading correction
US9001238B1 (en) * 2013-09-16 2015-04-07 Himax Imaging Limited Lens shading correction method and image signal processor for performing the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080060052A (ko) * 2006-12-26 2008-07-01 삼성테크윈 주식회사 디지털 카메라의 비네팅 효과 구현 방법
KR20130083179A (ko) * 2012-01-12 2013-07-22 삼성전자주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210079976A (ko) * 2019-12-20 2021-06-30 네이버랩스 주식회사 증강 현실 기반 내비게이션 환경에서 객체의 그림자를 표시하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
CN105723420A (zh) 2016-06-29
EP3063739A1 (en) 2016-09-07
TW201527683A (zh) 2015-07-16
US9652892B2 (en) 2017-05-16
KR102257255B1 (ko) 2021-05-26
US20150116354A1 (en) 2015-04-30
CN105723420B (zh) 2019-07-23
WO2015065860A1 (en) 2015-05-07
EP3063739B1 (en) 2021-09-01

Similar Documents

Publication Publication Date Title
KR102257255B1 (ko) 혼합 현실 스포트라이트
US10083540B2 (en) Virtual light in augmented reality
CN108369457B (zh) 用于混合现实的现实混合器
US9734633B2 (en) Virtual environment generating system
US11024014B2 (en) Sharp text rendering with reprojection
US10740971B2 (en) Augmented reality field of view object follower
US9147111B2 (en) Display with blocking image generation
US9361732B2 (en) Transitions between body-locked and world-locked augmented reality
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
CN106489171B (zh) 立体图像显示器
US20150254905A1 (en) Fixed size augmented reality objects
US9171399B2 (en) Shadow rendering in a 3D scene based on physical light sources
US10134174B2 (en) Texture mapping with render-baked animation
US20180182160A1 (en) Virtual object lighting
US20140071163A1 (en) Augmented reality information detail
KR20160148557A (ko) 월드 락 디스플레이의 품질 피드백 기법
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
GB2481366A (en) 3D interactive display and pointer control
US20180330546A1 (en) Wind rendering for virtual reality computing device
EP2887639A1 (en) Augmented reality information detail
KR20150071613A (ko) 증강 현실 정보 상세도

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant