KR20140101406A - 씨스루 디스플레이를 통한 새도우의 디스플레이 - Google Patents
씨스루 디스플레이를 통한 새도우의 디스플레이 Download PDFInfo
- Publication number
- KR20140101406A KR20140101406A KR1020147018483A KR20147018483A KR20140101406A KR 20140101406 A KR20140101406 A KR 20140101406A KR 1020147018483 A KR1020147018483 A KR 1020147018483A KR 20147018483 A KR20147018483 A KR 20147018483A KR 20140101406 A KR20140101406 A KR 20140101406A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- shadow
- background scene
- brightness
- displaying
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Instrument Panels (AREA)
Abstract
씨스루 디스플레이 시스템 상에 디스플레이되는 객체의 이미지에 의해 실세계 배경 위에 캐스팅되는 새도우의 이미지의 표현과 관련된 다양한 실시예가 개시된다. 예를 들면, 하나의 개시된 실시예는 씨스루 디스플레이 스크린을 구비한 디스플레이 장치를 동작시키는 방법을 제공한다. 방법은 객체의 이미지를 씨스루 디스플레이 스크린 상에 디스플레이하는 단계와, 객체의 이미지를 디스플레이하면서, 장면의 이미지의 획득하고, 배경 장면의 이미지 내에 새도우의 위치를 결정하고, 새도우 내의 밝기와 비교해서 새도우에 인접한 영역 내의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된 이미지를 렌더링하고, 배경 장면의 강화된 이미지를 디스플레이함으로써 객체에 의해 캐스팅된 새도우의 이미지를 배경 장면 상으로 디스플레이하는 단계를 포함한다.
Description
다양한 기술들이 사용자로 하여금 실세계와 가상 세계의 혼합을 경험하게 할 수 있다. 예를 들면, 다양한 헤드 마운트 디슬레이 장치와 같은, 일부 디스플레이 장치는 디스플레이되는 이미지를 실세계 배경 위에 중첩시키게 하는 씨스루 디스플레이를 포함할 수 있다. 이런 방식으로, 이미지가 디스플레이되어, 이미지가 실세계 배경 내의 요소와 상호 혼합되게 보이게 될 수 있다.
씨스루 디스플레이 시스템 상에 디스플레이되는 가상 객체에 의해 실세계 배경 위에 캐스팅되는(cast) 새도우의 이미지의 표현과 관련된 다양한 실시예가 개시된다. 예를 들면, 하나의 개시된 실시예는 씨스루 디스플레이 스크린을 구비한 디스플레이 장치를 동작시키는 방법을 제공한다. 이 방법은 씨스루 디스플레이 스크린 상에 객체(object)의 이미지를 디스플레이하는 것과, 객체의 이미지를 디스플레이하면서 객체에 의해 배경 장면 상으로 캐스팅된 새도우의 이미지를 디스플레이하는 것을 포함한다. 새도우의 이미지는 배경 장면의 이미지를 획득하고, 배경 장면의 이미지 내에서 새도우의 위치를 결정하고, 새도우 내의 밝기와 비교해 새도우에 인접한 영역 내의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된(enhanced) 이미지를 렌더링하고, 배경 장면의 강화된 이미지를 디스플레이함으로써 디스플레이된다.
이 요약은 이하의 상세한 설명에서 추가적으로 설명되는, 간략한 형태로 선택된 개념들을 도입하기 위해 제공된다. 이 요약은 청구 대상의 주요 특징 또는 필수적 특징을 식별하기 위해 의도되지는 않으며, 청구 대상의 범위를 제한하기 위해 사용되는 것으로 의도되지도 않는다. 더 나아가, 청구 대상은 이런 개시의 임의의 부분에서 기재된 임의의 또는 모든 단점을 해결하는 구현에만 제한되지는 않는다.
도 1은 예시적인 사용 환경에서 사용자에 의해 착용되는 씨스루 디스플레이(see-through display)의 일 실시예를 도시한다.
도 2는 도 1의 사용 환경에서, 객체와, 배경 장면 위에 이 객체에 의해 캐스팅된(cast) 새도우의 이미지의 실시예를 시청하는 도 1의 사용자의 사시도를 도시한다.
도 3은 씨스루 디스플레이 시스템을 동작시키는 방법의 일 실시예를 묘사하는 흐름도를 도시한다.
도 4는 씨스루 디스플레이 시스템의 일 실시예의 블록도를 도시한다.
도 5는 도 1의 실시예의 사시도를 도시한다.
도 2는 도 1의 사용 환경에서, 객체와, 배경 장면 위에 이 객체에 의해 캐스팅된(cast) 새도우의 이미지의 실시예를 시청하는 도 1의 사용자의 사시도를 도시한다.
도 3은 씨스루 디스플레이 시스템을 동작시키는 방법의 일 실시예를 묘사하는 흐름도를 도시한다.
도 4는 씨스루 디스플레이 시스템의 일 실시예의 블록도를 도시한다.
도 5는 도 1의 실시예의 사시도를 도시한다.
위에서 언급한 바와 같이, 씨스루 디스플레이 장치는 실세계 배경 위에 디스플레이되는 이미지의 표현을 가능케 할 수 있어서, 디스플레이되는 이미지 내의 객체가 실세계 배경과 상호 혼합되게 보일 수 있게 된다. 하지만, 이러한 이미지 표현의 다양한 양상은 디스플레이되는 객체가 덜 실감나게 보이게 할 수 있다. 예를 들면, 실세계 객체에 의해 캐스팅되는 새도우는 디스플레이되는 장치 상에 디스플레이되는 객체로부터는 현저하게 부재할 수 있다.
실세계 배경 상에 가상 객체의 새도우의 이미지를 생성하는 것은 다양한 문제를 제기할 수 있다. 예를 들면, 투사를 통해서 또는 내장 발광 디스플레이 기술(예를 들면, 투명 유기 발광 장치)을 통해 씨스루 디스플레이 스크린 상에 이미지가 형성되는 경우, 디스플레이되는 이미지는 사용자가 시청하는 추가적인 장면에 광을 추가한다. 대조적으로, 새도우는 장면으로부터 광을 뺌으로써 생성된다. 이러한 기술은, 광이 실세계 배경 장면으로부터 빼지는 것을 허용하지 않기 때문에, 실세계 배경 상에서 가상 객체에 의해 캐스팅된 새도우를 디스플레이하는 것은 어려움을 야기할 수 있다.
따라서, 개시된 실시예는 사용자가 시청하는 배경 장면의 넌새도우(non-shadow) 영역의 상대적 밝기를 증가시킴으로써 씨스루 디스플레이 장치 내의 배경 장면 상에 새도우를 형성하는 것에 대한 것이다. 간단히 말하면, 배경 장면의 기준 이미지가 획득되고, 아마도 밝기가 전역적으로 감소되고, 그런 다음, 배경 장면의 강화된 이미지를 형성하기 위한 것과 같은 방식으로 재렌더링되며, 이러한 배경 장면에서 배경 이미지의 강화된 이미지의 넌새도우 영역은 새도우 영역보다 더 큰 상대적 밝기를 가진다. 그런 다음, 배경 장면의 강화된 이미지가 가상 객체 - 새도우의 이미지는 가상 객체의 이미지로부터 유래한 것으로 보임 - 의 이미지와 함께 실세계 배경 위에서 사용자에게 디스플레이된다. 실세계 배경 위에 배경 장면의 강화된 이미지의 디스플레이는 시청자(viewer)에 의해 인지되는 바와 같이 실세계 배경 장면의 요구되는 넌새도우 부분에 광을 효과적으로 추가시킨다. 이러한 동작은 디스플레이되는 가상 객체에 의해 배경 장면 내에 실세계 객체 상에 캐스팅되는 새도우의 이미지의 효과를 발생시킬 수 있다.
일부 실시예에서, 배경 장면의 강화된 이미지의 새도우 영역에 비교되는 배경 장면의 강화된 이미지의 넌새도우 영역의 밝기 증가는, 그 규모가 전역적일 수 있어서, 모든 넌새도우 영역이 새도우 영역과 비교해서 상대적으로 증가된다. 다른 실시예에서, 밝기의 증가는 각각의 새도우에 인접한 영역에 국부적일 수 있다. 더 나아가, 배경 장면의 강화된 이미지의 추가된 광의 효과를 경감시키도록, 일부 실시예에서, 씨스루 디스플레이 스크린은, 중립 밀도 필터와 같은 광학 장치를 포함하여, 씨스루 스크린을 통과하는 배경 광량을 감소시킬 수 있다.
도 1은 헤드 마운트 디스플레이 시스템의 형태인 씨스루 디스플레이 장치(100)의 일 실시예를 위한 사용 환경을 예증한다. 씨스루 디스플레이 장치(100)를 착용한 사용자(102)는 방에 위치해 있고, 벽(104)을 향하는 것으로 도시된다. 명료성을 위해, 어떠한 물리적 객체도 사용자의 시야 내의 방의 벽(104) 또는 바닥(106) 상에 도시되어 있지 않다. 하지만, 씨스루 디스플레이 장치(100)가 실제적으로 임의의 환경, 실내 또는 야외에서 사용될 수 있다는 것을 이해할 것이다.
사용자(102)의 관점으로부터 도시된 도 2는 씨스루 디스플레이 장치(100) 상에 디스플레이되는 마법사의 형태로 객체(200)의 이미지를 예증하여, 객체(200)는 도 1의 텅빈 시청 환경 내에 위치된 것으로 보인다. 더 나아가, 객체(200)에 의해 캐스팅되는 새도우(202)의 이미지는 실세계 배경 상에 캐스팅된 것처럼 도시된다. 묘사되는 환경에서, 새도우는 실제 새도우와 동일한 방식으로 바닥(106) 및 벽(104)의 윤곽을 따른다. 하지만, 다른 실시예는 다른 방식으로 배경 표면 윤곽 내의 변화 변이를 다룰 수 있다. 새도우의 외관을 계산하기 위해 이용되는 가상 광원(들)의 유형 및 위치에 따라, 새도우는 임의의 적절한 크기, 형태, 강도 및 방향을 가질 수 있다는 것을 이해할 것이다.
위에서 언급한 바와 같이, 새도우(202)의 이미지는 실제 배경 장면 위에 배경 장면의 이미지를 재렌더링함으로써 생성될 수 있어서, 넌새도우 영역의 상대적 밝기가 배경 장면의 이미지의 새도우 영역과 비교해서 증가된다. 도 3은 이런 방식으로 새도우의 이미지를 디스플레이하는 방법(300)의 예시적인 실시예를 묘사하는 흐름도를 도시한다.
방법(300)은 단계(302)에서 씨스루 디스플레이 스크린 상에 객체의 이미지를 디스플레이하는 단계와, 단계(304)에서 씨스루 디스플레이 장치의 사용자의 시야 내에 있는 배경 장면의 기준 이미지를 획득하는 단계를 포함한다. 배경 장면의 기준 이미지는 배경 장면의 강화된 이미지를 형성하도록 다양한 방식으로 처리될 수 있다. 예를 들면, 단계(305)에서 방법(300)은 디스플레이되는 객체에 의해 생성되는 새도우의 배경 장면 내의 위치를 결정하는 단계를 포함한다. 새도우의 위치는 컴퓨터 그래픽에서 사용되는 종래의 실시간 새도우 생성 기술을 통한 방식을 포함하는 임의의 적절한 방식으로 결정될 수 있지만, 이러한 기술로만 제한되지는 않는다. 새도우의 위치 및 외관은, 이용되는 특정 새도우 생성 방법뿐만 아니라, 새도우 위치를 결정할 때 적용되는 가상 광원 또는 광원들의 유형(예를 들면, 병렬 광선, 확산광 등) 및 위치(예를 들면, 머리 위에, 비스듬한, 등)에 종속될 수 있다.
위에서 언급한 바와 같이, 배경 이미지 내의 새도우의 위치는 사용 환경의 구조에 종속될 수 있다. 예를 들면, 새도우는 새도우가 캐스팅될 사용 환경 내의 표면의 형태 및 방위에 종속되는 방향 및/또는 형태를 변화시킬 수 있다. 그러므로, 일부 실시예에서, 이미지 처리는 새도우의 외관에 영향을 줄 수 있는 표면 윤곽 변이를 결정하도록 수행될 수 있고, 그러면 이러한 윤곽 변이는 새도우 위치를 결정할 때 고려될 수 있다.
새도우 위치를 결정한 후에, 방법(300)은 단계(308)에서 새도우 영역 내의 밝기와 비교해서 새도우 영역에 인접한 넌새도우 영역 내의 배경 장면의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된 이미지를 렌더링하는 단계를 포함한다. 이러한 단계는 다양한 프로세스들을 수반할 수 있다. 예를 들면, 일부 실시예에서, 먼저 배경 장면의 전체 이미지가 기초 이미지를 형성하도록 어둡게 될 수 있고, 그런 다음, 요구되는 넌새도우 영역이 새도우 영역과 비교해서 선택적으로 밝게 될 수 있다. 대안적으로 및/또는 추가적으로, 요구되는 새도우 영역은 넌새도우 영역과 비교해서 선택적으로 어둡게 될 수 있다. 배경 장면의 원래 이미지의 이러한 사전 어둡게함(pre-darkening)은 낮은 광의 사용 환경에서와 같이, 적절한 경우 생략될 수 있다는 것을 이해해야 할 것이다. 배경 장면의 원래 이미지가 어둡게 되는 분량이 고정적 또는 가변적일 수 있고, 중립 밀도 필터에 의해 제거되는 배경광량, 실제 사용 환경 또는 예상되는 사용 환경에서 배경 광의 강도 등과 같은 인자에 기초해서 선택되거나 가변적일 수 있다는 것을 또한 이해할 것이다.
일부 실시예에서, 단계(310)에서 표시되는 바와 같이, 이미지의 넌새도우 영역의 상대적 밝기는 전역적으로 밝게 될 수 있어서, 배경 장면의 강화된 이미지의 모든 넌새도우 영역의 상대적 밝기가 모든 새도우 영역과 비교해서 증가된다. 다른 실시예에서, 단계(312)에서 표시된 바와 같이, 넌새도우 영역의 상대적 밝기는 국부적으로 증가될 수 있다. 이러한 실시예에서, 상태적 밝기 차이는 새도우/넌새도우 경계에서 또는 이 경계 근처에서 최대값을 가질 수 있고, 새도우 영역으로부터 거리의 함수로서 최대값으로부터 감소된다. 충분히 점차적인 밝기 변화도(비제한적 예시로서, 20도를 넘는 각도 뷰)의 이용은 점차적 광 변화에 대한 인간의 시각 체계의 더 낮은 민감도 때문에, 새도우 주위의 밝은 점을 덜 현저하게 할 수 있다. 이러한 밝기 변화도들은, 좁은 범위에서 밝기 변화에 대한 인간의 눈의 민감도 때문에, 예를 들면, 배경 이미지 내의 상이한 컬러들, 질감들 등 사이에서 이러한 밝기 변화도들이 모서리를 가로지르는 곳에서 더 현저할 수 있다. 그러므로, 단계(314)에서 표시된 바와 같이, 새도우 영역에 인접한 넌새도우 영역의 상대적 밝기 증가는 배경 이미지 내의 (예를 들면, 미리 선택된 문턱값 변화도를 초과하는) 급격한 변화도에서 종료될 수 있다.
넌새도우 영역의 상대적 밝기가 전역적으로 증가되는 곳에서, 실세계 배경 위에 배경 장면의 강화된 이미지의 추가는 일부 상황에서 현저한 밝게함을 야기할 수 있다. 원하지 않는 밝게함을 회피하기 위해, 위에서 언급된 중립 밀도 필터 및/또는 다른 적절한 광학 장치가, 일부 배경광을 차단시킴으로써 사용자의 눈에 도달하는 이미지의 전체 밝기를 감소시키기 위해 이용될 수 있다. 상대적 밝기가 국부적으로 증가되는 실시예에서, 중립 밀도 필터가 생략될 수 있는데, 그 이유는 밝게된 영역이 사용자에 의해 보여지는 이미지의 전체 밝기에 현저하게 영향을 미치지 않을 수 있기 때문이다.
넌새도우 영역의 밝기는 새도우 영역의 밝기와 비교해서 임의의 적절한 상대적 분량만큼 증가될 수 있다. 실세계 새도우는 일반적으로 전체가 검지는 않지만, 반사 조명(bounced light)과 다른 주변 광원 때문에, 인접 넌새도우 영역과 비교해서 비교적 작은 강도 감소를 가질 수 있다. 그러므로, 일부 실시예에서, 새도우 영역과 넌새도우 영역간의 상대적 밝기 차이는 비교적 미묘할 수 있다. 밝기의 적절한 차이의 예시는 2 내지 3개의 스톱(stop)의 차이를 포함하지만, 이러한 차이에만 제한되지는 않는다.
주변 배경광은 시청 환경 내의 주변광원에 따라 상이한 컬러 분포를 가질 수 있다. 예를 들면, 내부 주변광은 이러한 내부 환경 내에서 이용되는 광원의 피크 파장에 대응하는 피크를 갖는 스펙트럼을 가질 수 있다. 마찬가지로, 상이한 외부 위치들은 환경 차이에 기인해서 상이한 주변 광 컬러 분포를 가질 수 있다. 예를 들면, 화창한 날에 건조한 환경에서 주변광은, 이러한 환경에서 반사광의 파장 분포에 기인해서 햇빛보다 더 강한 청색 성분(blue component)을 가질 수 있다.
그러므로, 상대적 밝기 강도의 증가가 더 자연스럽게 보이게 하기 위해, 방법(300)은 단계(316)에서 주변광에서의 컬러 분포를 결정하도록 컬러 분석(예를 들면, 강도 대 파장)을 수행하는 단계와, 컬러 강도 분포에 기초해서 상대적 밝기를 증가시키는 단계를 포함할 수 있다. 예를 들면, 만약 주변광이 비교적 균일한 분포의 컬러 강도를 갖는다는 것을 컬러 분석이 보여주면, 넌새도우 영역이 넌새도우 영역에 백색광을 추가함으로써 강도가 증가될 수 있다. 마찬가지로, 만약 주변광이 대부분 청색 분포를 가진다는 것을 컬러 분석이 보여주면, 유사하게 청색광이 배경 장면의 강화된 이미지의 넌새도우 영역에 추가될 수 있다.
도 3에서 계속하여, 배경 장면의 강화된 이미지를 형성한 후에, 방법(300)은 단계(318)에서, 씨스루 디스플레이 상에 객체의 이미지와 함께 배경 장면의 강화된 이미지를 디스플레이하는 단계를 포함한다. 이런 방식으로, 배경 장면의 강화된 이미지 내의 새도우가 실세계 배경 상으로 디스플레이되는 객체에 의해 캐스팅되는 것으로 보일 수 있다. 이러한 사실은 객체에 대한 깊이 관점을 제공하는 것을 도울 수 있어서, 디스플레이되는 객체가 사용 환경에서 실제로 존재한다는 감각을 전달하는 것을 도울 수 있다.
씨스루 디스플레이 장치의 처리 속도와, 사용자가 환경 내에서 관점을 변화시키고 있는 속도에 따라서, 사용자의 관점은, 배경 장면의 강화된 이미지가 현재의 인지되는 배경에 충분히 정렬되지 않도록 충분히 빠르게 변화할 수 있다. 그러므로, 일부 실시예에서, 씨스루 디스플레이 장치는 사용자의 움직임을 추적하고, 이에 응답해서 배경 장면의 강화된 이미지와 현재 인지되는 실세계 배경간의 임의의 오정렬에 대해 정정하도록 구성될 수 있다. 이러한 정정은, 예를 들면, 원래 이미지를 획득하는 것과 배경 장면의 강화된 이미지를 디스플레이하는 것 사이의 기간 동안에, 추적되는 사용자 움직임에 기초해서 배경 장면의 강화된 이미지를 위치상으로 오프셋함으로써 수행될 수 있다. 이러한 추적은 씨스루 디스플레이 장치 상에 배치된 움직임 센서를 통하는 것을 포함하는, 임의의 적절한 방식으로 수행될 수 있지만, 이러한 것에만 제한되지는 않는다.
씨스루 디스플레이 상에 새도우를 디스플레이하는 방법의 상기 설명된 실시예는 도 1의 헤드 마운트 디스플레이 시스템을 포함하는 임의의 적절한 씨스루 디스플레이 장치와 사용될 수 있지만, 이러한 시스템에만 제한되지는 않는다. 도 4는 씨스루 디스플레이 장치(100)의 실시예의 블록도를 도시하고, 도 5는 씨스루 디스플레이 장치(100)의 예시적인 물리적 실시예를 도시한다. 씨스루 디스플레이 장치(100)는 다양한 센서와 출력 장치를 포함할 수 있다. 예를 들면, 씨스루 디스플레이 장치(100)는, 예를 들면 렌즈의 형태로, 이미지를 생성하고, 씨스루 디스플레이 스크린(403) 상에 이미지를 디스플레이하도록 구성된 이미지 생성 시스템(402)을 구비한 씨스루 디스플레이 서브시스템(400)을 포함할 수 있다. 이미지 생성 시스템(402)은 씨스루 디스플레이 스크린(403) 상으로 이미지를 투사하거나, 씨스루 디스플레이 스크린(403)(예, 투명 OLED 디스플레이) 내로 통합된 이미지 생성 요소를 통해 이미지를 디스플레이거나, 임의의 다른 적절한 방식으로 구성될 수 있다. 씨스루 디스플레이 스크린(403)은 시청자에게 도달하는 배경 광량을 감소시키도록 중립 밀도 필터(404) 및/또는 다른 광학 장치를 포함할 수 있다. 오디오는 씨스루 디스플레이 장치(100) 상에 하나 이상의 스피커(405)를 통해 제공될 수 있다.
씨스루 디스플레이 장치(100)는 하나 이상의 이미지 센서(406)를 또한 포함할 수 있다. 이미지 센서(들)(406)은 배경 장면의 강화된 이미지로 처리하기 위해 배경 장면의 이미지를 획득하도록 구성된 바깥쪽으로 향하는 하나 이상의 이미지 센서를 포함할 수 있다. 마찬가지로, 이미지 센서(들)(406)는 디스플레이되는 이미지 내의 어디에 객체를 배치할 지를 결정하는 것과, 눈 제스쳐 등을 통해 수행된 사용자 입력을 검출하는 것과 같은, 다양한 목적을 위해 시청자의 눈동자가 추적되도록 이미지 데이터를 획득하기 위해 구성된 눈 추적 이미지 센서를 포함할 수 있다. 씨스루 디스플레이 장치(100)는 사용자 입력으로서 음성 명령어의 이용을 가능케 하도록 하나 이상의 마이크(407)를 더 포함할 수 있다.
씨스루 디스플레이 장치(100)는, 시청자가 씨스루 디스플레이 장치(100)를 착용하고 있을 때, 시청자 머리의 움직임을 검출하도록 하나 이상의 움직임 센서(408)를 또한 포함할 수 있다. 이 구성은 예를 들면, 배경 장면의 강화된 이미지가 현재의 배경 뷰와 정렬되게 할 수 있다. 마찬가지로, 움직임 센서(408)는 사용자 입력 장치로서 또한 이용될 수 있어서, 사용자는 목과 머리, 또는 심지어 몸통의 제스쳐를 통해 씨스루 디스플레이 장치(100)와 상호작용할 수 있다. 움직임 센서(408)는 병진(translational) 및/또는 상하(tilt) 움직임을 포함하는, 사용자의 머리의 임의의 적절한 움직임을 검출하도록 구성될 수 있다. 도 4에 예증된 센서는 예시의 목적을 위해 도시된 것이고, 임의의 적절한 센서들 및/또는 이러한 센서들의 조합이 활용될 수 있으므로, 임의의 방식으로든 제한하는 것으로 의도되지 않는다.
헤드 마운트 디스플레이 시스템(110)은 임의의 적절한 물리적 형태를 가질 수 있다. 예를 들면, 일부 실시예에서, 헤드 마운트 디스플레이 시스템(110)은 도 5에 도시된 바와 같이 안경 형태를 취할 수 있으며, 렌즈는 투명하거나, 중립 밀도 필터 또는 다른 적절한 광학 장치를 통해 어둡게 될 수 있다. 도 5에서, 바깥쪽으로 향하는 이미지 센서(406)는 안경의 플레임 상에 중앙 상단 위치에 배치되게 도시되지만, 이미지 센서(406)가 임의의 적절한 위치를 가질 수 있다는 것을 이해할 것이다. 더 나아가, 다른 실시예에서, 헤드 마운트 디스플레이 시스템(100)은 헬멧, 고글 등과 같은, 임의의 다른 적절한 형태를 취할 수 있으며, 이러한 형태 내에서 씨스루 디스플레이 시스템이 시청자의 눈 또는 눈들의 전면에서 지원된다.
도 4로 되돌아가면, 씨스루 디스플레이 장치(100)는 논리 서브시스템(412)과, 씨스루 디스플레이 장치(100)의 다양한 다른 부품과 통신하는 데이터 저장 서브시스템(414)을 구비한 제어기(410)를 또한 포함한다. 데이터 저장 서브시스템(414)은, 위에서 설명된 바와 같이, 예를 들면, 씨스루 디스플레이 스크린(403) 상에 객체의 이미지와 이 객체에 의해 형성되는 새도우를 디스플레이하도록, 논리 서브시스템(412)에 의해 실행가능한 이 서브시스템(414) 상에 저장된 명령어를 포함한다.
제어기(410)는 간략한 형태로 도시된다는 것을 이해할 것이다. 씨스루 디스플레이 장치(100)는,본 발명 개시의 범위를 이탈하지 않고 이용될 수 있는 임의의 적절한 컴퓨터 아키텍쳐를 이용할 수 있다는 것을 또한 이해할 것이다.
논리 서브시스템(412)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들면, 논리 서브시스템(412)은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 부품, 자료구조, 또는 다른 논리적 구조체의 일부인, 하나 이상의 명령어를 실행하기 위해 구성될 수 있다. 이러한 명령어는 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 장치의 상태를 변환하거나, 그렇치 않으면, 요구되는 결과에 도달하도록 구현될 수 있다.
논리 서브시스템(412)은 소프트웨어 명령어를 실행시키도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 논리 서브시스템(412)은 하드웨어 또는 펌웨어 명령어를 실행시키도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 서브시스템(412)의 프로세서는 단일 코어 또는 멀티코어일 수 있고, 이 프로세서 상에서 실행되는 프로그램은 병렬 또는 분산 처리를 위해 구성될 수 있다. 논리 서브시스템(412)은 원격으로 배치되고/되거나 조정된(coordinated) 처리를 위해 구성될 수 있는, 두 개 이상의 장치 전체에 걸쳐 분산되는 개별 부품들을 선택적으로 포함할 수 있다. 논리 서브시스템(412)의 하나 이상의 양상은 클라우드 컴퓨팅 구성에서 구성되는 원격 액세스 가능한 네트워크 연결된 컴퓨팅 장치들에 의해 가상화되고(virtualized) 실행될 수 있다.
데이터 저장 서브시스템(414)은 본 명세서에서 설명된 방법 및 프로세스를 구현하도록 논리 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 저장하도록 구성되는 하나 이상의 물리적, 비일시적 장치를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터 유지 서브시스템(414)의 상태가 (예를 들면, 상이한 데이터를 저장하도록) 변환될 수 있다.
데이터 저장 서브시스템(414)은 분리형 매체 및/또는 내장 장치를 포함할 수 있다. 데이터 저장 서브시스템(414)은 하기의 특징들: 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 주소지정 가능, 파일 주소지정 가능, 및 내용 주소지정 가능 중 하나 이상을 구비한 메모리 및/또는 장치를 포함할 수 있다. 일부 실시예에서, 논리 서브시스템(412)과 데이터 저장 서브시스템(414)은 주문형 반도체 또는 시스템 온 칩과 같은, 하나 이상의 일반적인 장치 내로 집적될 수 있다.
데이터 저장 서브시스템은 또한, 본 명세서에서 설명되는 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 명령어를 저장 및/또는 이동시키기 위해 이용될 수 있는, 분리형 컴퓨터 판독가능 저장매체(416)를 포함할 수 있다. 분리형 컴퓨터 판독가능 저장 매체(416)는 여러 유형들이 있지만, 그중에서도 DVD, CD, HD-DVD, 블루레이 디스크, EEPROM, 테이프 드라이브, 및/또는 플로피 디스크를 포함하는 임의의 적절한 유형의 저장 매체를 나타낼 수 있다.
제어기(410)는 또한, 씨스루 디스플레이 장치(100)를 하나 이상의 다른 컴퓨팅 장치와 통신으로 연결시키기 위해 구성된 통신 서브시스템(418)을 포함할 수 있다. 통신 서브시스템(418)은 하나 이상의 상이한 통신 프로토콜들과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적 예시로서, 통신 서브시스템(418)은 무선 전화 망, 무선 근거리통신망, 유선 근거리통신망, 무선 광역망, 유선 광역망 등을 통해 통신하기 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템(418)은 씨스루 디스플레이 장치(100)로 하여금, 인터넷과 같은 네트워크를 통해 다른 장치에 및/또는 다른 장치로부터 비디오 데이터, 게임 데이터, 이미지 데이터 등과 같은 데이터를 송신 및/또는 수신하게 할 수 있다.
데이터 저장 서브시스템(414)은 하나 이상의 물리적, 비일시적 장치를 포함한다는 것을 인식해야 한다. 대조적으로, 일부 실시예에서, 본 명세서에서 설명된 명령어의 양상은, 적어도 유한 기간 동안 물리적 장치에 의해 저장되지 않는 순수 신호(예를 들면, 전자기 신호, 광신호 등)에 의해 일시적 방식으로 전달될 수 있다. 더 나아가, 본 발명 개시와 관련된 데이터 및/또는 다른 형태의 정보는 순수 신호에 의해 전달될 수 있다.
본 명세서에서 설명된 구성 및/또는 접근법은 속성 상 예시적이고, 이러한 특정 실시예 또는 예시는, 다수의 변형들이 가능하기 때문에, 제한하는 의미로 고려되지 않아야 한다는 것을 이해해야 한다. 본 명세서에서 설명되는 특정 루틴 또는 방법은 임의의 개수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 따라서, 예증되는 다양한 동작들은 예증되는 순서로, 다른 순서로, 병렬로, 또는 일부 경우에서는 생략되어 수행될 수 있다. 마찬가지로, 위에서 설명된 프로세스들의 순서는 변경될 수 있다.
본 발명 개시의 대상은 본 명세서에서 개시된 다양한 프로세스, 시스템 및 구성, 그리고 다른 특징, 기능, 동작, 및/또는 속성의 모든 신규하고 자명하지 않은 조합과 서브조합과, 이러한 것들의 임의의 그리고 모든 등가물을 포함한다.
Claims (20)
- 씨스루 디스플레이 스크린을 구비한 디스플레이 장치를 동작시키는 방법에 있어서,
객체의 이미지를 상기 씨스루 디스플레이 스크린 상에 디스플레이하는 단계; 및
상기 객체의 이미지를 디스플레이하면서,
배경 장면의 이미지를 획득하고,
상기 배경 장면의 이미지 내에 상기 새도우의 위치를 결정하고,
상기 새도우 내의 밝기와 비교해서 상기 새도우에 인접한 영역 내의 상대적 밝기를 증가시킴으로써 상기 배경 장면의 강화된 이미지를 렌더링하고,
상기 배경 장면의 강화된 이미지를 디스플레이함으로써, 상기 객체에 의해 캐스팅된 새도우의 이미지를 상기 배경 장면 상으로 디스플레이하는 단계를
포함하는, 디스플레이 장치를 동작시키는 방법. - 제1항에 있어서, 중립 밀도 필터를 통해 상기 씨스루 디스플레이 스크린을 통과하는 자연광량을 감소시키는 단계를 더 포함하는, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 상기 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 새도우 내의 밝기를 증가시키는 않는 것을 포함하는 것인, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 상기 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 배경 장면의 이미지를 전역적으로 어둡게 하는 것을 포함하는 것인, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 상기 새도우에 인접한 영역 내의 상대적 밝기를 증가시키는 것은 넌새도우(non-shadow) 영역의 상대적 밝기를 전역적으로 증가시키는 것을 포함하는 것인, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 상기 새도우에 인접한 영역 내의 상대적 밝기를 증가시키는 것은 상기 상대적 밝기를 국부적으로 증가시켜, 상대적 밝기 차이가 상기 새도우로부터의 거리의 함수로서 감소하는 것을 포함하는 것인, 디스플레이 장치를 동작시키는 방법.
- 제6항에 있어서, 미리 선택된 문턱값 변화도를 초과하는 상기 배경 장면의 이미지 내의 에지를 검출하는 단계와, 상기 에지에서 상기 상대적 밝기의 증가를 종료시키는 단계를 더 포함하는, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 주변광의 컬러 분포를 결정하는 단계와, 상기 주변광의 컬러 분포에 기초해서 상기 상대적 밝기를 증가시킴으로써 상기 상대적 밝기를 증가시키는 단계를 더 포함하는, 디스플레이 장치를 동작시키는 방법.
- 제1항에 있어서, 상기 객체의 이미지와 상기 객체의 새도우의 이미지를 디스플레이하는 것은, 헤드 마운트 디스플레이 시스템 상에 상기 객체의 이미지와 상기 객체의 새도우의 이미지를 디스플레이하는 것을 포함하는, 디스플레이 장치를 동작시키는 방법.
- 헤드 마운트 디스플레이 시스템에 있어서,
씨스루 디스플레이 스크린;
상기 씨스루 디스플레이 스크린 상에 이미지를 디스플레이하도록 구성된 이미지 생성 시스템;
배경 장면의 이미지를 획득하도록 구성된 이미지 센서;
논리 서브시스템; 및
명령어들을 포함하는 데이터 저장 서브시스템을
포함하고,
상기 명령어들은,
상기 씨스루 디스플레이 스크린 상에 객체의 이미지를 디스플레이하고;
상기 객체의 이미지를 디스플레이하면서,
상기 배경 장면의 이미지를 획득하고,
상기 배경 장면의 이미지 내에 상기 새도우의 위치를 결정하고,
상기 새도우에 인접한 영역 내의 상대적 밝기가 상기 새도우 내의 밝기와 비교해서 증가되는, 상기 배경 장면의 강화된 이미지를 렌더링하고,
상기 씨스루 디스플레이 스크린 상에 상기 배경 장면의 강화된 이미지를 디스플레이함으로써 상기 객체에 의해 캐스팅된 새도우의 이미지를 상기 배경 장면 상으로 디스플레이하도록
상기 논리 서브시스템에 의해 실행가능한 것인, 헤드 마운트 디스플레이 시스템. - 제10항에 있어서, 상기 씨스루 디스플레이 스크린은 또한, 중립 밀도 필터를 포함하는 것인, 헤드 마운트 디스플레이 시스템.
- 제10항에 있어서, 상기 명령어들은, 상기 새도우 내의 상기 밝기를 증가시키지 않으면서 상기 새도우에 인접한 영역 내에서 상기 밝기를 증가시킴으로써, 상기 배경 장면의 상기 강화된 이미지를 렌더링하도록 실행가능한 것인, 헤드 마운트 디스플레이 시스템.
- 제10항에 있어서, 상기 명령어들은, 넌새도우 영역의 밝기를 전역적으로 증가시킴으로써 상기 새도우에 인접한 영역 내의 상대적 밝기를 증가시키도록 실행가능한 것인, 헤드 마운트 디스플레이 시스템.
- 제10항에 있어서, 상기 명령어들은, 상기 밝기를 국부적으로 증가시킴으로써 상기 새도우에 인접한 영역 내의 상대적 밝기를 증가시켜, 상대적 밝기 차이가 상기 새도우로부터의 거리의 함수로서 감소하도록 실행가능한 것인, 헤드 마운트 디스플레이 시스템.
- 제14항에 있어서, 상기 명령어들은, 미리 선택된 문턱값 변화도를 초과하는 상기 배경 장면의 이미지 내의 에지를 검출하고, 상기 에지에서 상기 상대적 밝기의 증가를 종료시키도록 실행가능한 것인, 헤드 마운트 디스플레이 시스템.
- 제10항에 있어서, 상기 명령어들은 또한, 주변광의 컬러 분포를 결정하고, 상기 주변광의 컬러 분포에 기초해서 상기 밝기를 증가시킴으로써 상기 상대적 밝기를 증가시키도록 실행가능한 것인, 헤드 마운트 디스플레이 시스템.
- 씨스루 디스플레이 스크린과 중립 밀도 필터를 포함하는 헤드 마운트 디스플레이 시스템 상에서, 배경 장면 위에 객체의 이미지와 상기 객체의 새도우의 이미지를 디스플레이하는 방법에 있어서,
객체의 이미지를 상기 씨스루 디스플레이 스크린 상에 디스플레이하는 단계; 및
상기 중립 밀도 필터를 통해 상기 씨스루 디스플레이 스크린을 통과하는 주변광량을 감소시키는 단계; 및
상기 객체의 이미지를 디스플레이하면서,
배경 장면의 이미지를 획득하고,
상기 배경 장면의 이미지 내에 상기 새도우의 위치를 결정하고,
상기 새도우 내의 밝기와 비교해서 상기 이미지의 넌새도우 영역의 상대적 밝기를 증가시킴으로써 상기 배경 장면의 강화된 이미지를 렌더링하고,
상기 씨스루 디스플레이 스크린 상에 상기 배경 장면의 강화된 이미지를 디스플레이함으로써, 상기 객체에 의해 캐스팅된 새도우의 이미지를 상기 배경 장면 상으로 디스플레이하는 단계를
포함하는, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법. - 제17에 있어서, 상기 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 새도우 내의 밝기를 증가시키는 않는 것을 포함하는 것인, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
- 제17항에 있어서, 상기 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 새도우에 인접한 영역을 밝게 하기 전에 상기 배경 장면의 이미지를 전역적으로 어둡게 하는 것을 포함하는 것인, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
- 제17항에 있어서, 주변광의 컬러 분포를 결정하는 단계와, 상기 주변광의 컬러 분포에 기초해서 상기 밝기를 증가시킴으로써 상기 상대적 밝기를 증가시키는 단계를 더 포함하는, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/323,403 | 2011-12-12 | ||
US13/323,403 US9311751B2 (en) | 2011-12-12 | 2011-12-12 | Display of shadows via see-through display |
PCT/US2012/069316 WO2013090474A1 (en) | 2011-12-12 | 2012-12-12 | Display of shadows via see-through display |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140101406A true KR20140101406A (ko) | 2014-08-19 |
KR102004010B1 KR102004010B1 (ko) | 2019-07-25 |
Family
ID=48571564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147018483A KR102004010B1 (ko) | 2011-12-12 | 2012-12-12 | 씨스루 디스플레이를 통한 새도우의 디스플레이 |
Country Status (12)
Country | Link |
---|---|
US (1) | US9311751B2 (ko) |
EP (1) | EP2791911B1 (ko) |
JP (1) | JP6023212B2 (ko) |
KR (1) | KR102004010B1 (ko) |
CN (1) | CN103988234B (ko) |
AU (1) | AU2012352273B2 (ko) |
BR (1) | BR112014014198B1 (ko) |
CA (1) | CA2857510C (ko) |
IN (1) | IN2014CN03962A (ko) |
MX (1) | MX347984B (ko) |
RU (1) | RU2627131C2 (ko) |
WO (1) | WO2013090474A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160042680A (ko) * | 2014-10-10 | 2016-04-20 | 엘지디스플레이 주식회사 | 투명 디스플레이 장치 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8872853B2 (en) | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
US9311751B2 (en) | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
KR101845350B1 (ko) * | 2013-03-26 | 2018-05-18 | 세이코 엡슨 가부시키가이샤 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
US9658454B2 (en) * | 2013-09-06 | 2017-05-23 | Omnivision Technologies, Inc. | Eyewear display system providing vision enhancement |
US9652892B2 (en) | 2013-10-29 | 2017-05-16 | Microsoft Technology Licensing, Llc | Mixed reality spotlight |
US9607409B2 (en) | 2013-12-23 | 2017-03-28 | Empire Technology Development Llc | Suppression of real features in see-through display |
KR20160021607A (ko) * | 2014-08-18 | 2016-02-26 | 삼성전자주식회사 | 배경 화면을 디스플레이하는 방법 및 장치 |
IL236243A (en) | 2014-12-14 | 2016-08-31 | Elbit Systems Ltd | Visual enhancement of color icons is shown |
US11468639B2 (en) * | 2015-02-20 | 2022-10-11 | Microsoft Technology Licensing, Llc | Selective occlusion system for augmented reality devices |
US10134198B2 (en) | 2016-04-19 | 2018-11-20 | Adobe Systems Incorporated | Image compensation for an occluding direct-view augmented reality system |
US10692288B1 (en) * | 2016-06-27 | 2020-06-23 | Lucasfilm Entertainment Company Ltd. | Compositing images for augmented reality |
KR102304701B1 (ko) * | 2017-03-28 | 2021-09-24 | 삼성전자주식회사 | 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치 |
EP3531244A1 (en) * | 2018-02-26 | 2019-08-28 | Thomson Licensing | Method, apparatus and system providing alternative reality environment |
WO2019051228A1 (en) * | 2017-09-08 | 2019-03-14 | Apple, Inc. | TRANSPARENT DISPLAY BASED ON A CAMERA |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
US10679404B2 (en) * | 2017-10-04 | 2020-06-09 | Google Llc | Shadows for inserted content |
KR102004991B1 (ko) * | 2017-12-22 | 2019-10-01 | 삼성전자주식회사 | 이미지 처리 방법 및 그에 따른 디스플레이 장치 |
DE102018208739A1 (de) * | 2018-06-04 | 2019-12-05 | Conti Temic Microelectronic Gmbh | Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern |
CN111127537A (zh) | 2018-10-29 | 2020-05-08 | 托比股份公司 | 用于检测头戴式装置中的阴影的方法和装置 |
CN111383340B (zh) * | 2018-12-28 | 2023-10-17 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的背景过滤方法、装置及系统 |
US11852813B2 (en) * | 2019-04-12 | 2023-12-26 | Nvidia Corporation | Prescription augmented reality display |
US11727321B2 (en) | 2019-05-22 | 2023-08-15 | InterDigital VC Holdings Inc. | Method for rendering of augmented reality content in combination with external display |
US11238662B2 (en) * | 2019-09-25 | 2022-02-01 | Apple Inc. | Optimal luminance mapping for augmented reality devices |
WO2021113719A1 (en) | 2019-12-06 | 2021-06-10 | Portl, Inc. | Holographic display device and method of use |
CN111093102A (zh) * | 2019-12-30 | 2020-05-01 | 星络智能科技有限公司 | 存储介质、交互设备及其视频高亮渲染播放方法 |
CN111093112A (zh) * | 2019-12-30 | 2020-05-01 | 星络智能科技有限公司 | 存储介质、交互设备及其视频阴影渲染播放方法 |
CN111182349A (zh) * | 2019-12-30 | 2020-05-19 | 星络智能科技有限公司 | 存储介质、交互设备及其视频播放方法 |
WO2021186581A1 (ja) | 2020-03-17 | 2021-09-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US11776503B2 (en) * | 2020-05-28 | 2023-10-03 | Apple Inc. | Generating display data based on modified ambient light luminance values |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070038944A1 (en) * | 2005-05-03 | 2007-02-15 | Seac02 S.R.I. | Augmented reality system with real marker object identification |
CN101002253A (zh) * | 2004-06-01 | 2007-07-18 | 迈克尔·A.·韦塞利 | 水平透视模拟器 |
US20070188522A1 (en) * | 2006-02-15 | 2007-08-16 | Canon Kabushiki Kaisha | Mixed reality display system |
US20070236485A1 (en) * | 2006-03-31 | 2007-10-11 | Microsoft Corporation | Object Illumination in a Virtual Environment |
US20080044095A1 (en) * | 2006-06-09 | 2008-02-21 | Michael Albiez | Method for binarizing a digital gray value image |
US20080144962A1 (en) * | 2006-12-19 | 2008-06-19 | Samsung Electronics Co., Ltd. | Apparatus and method for enhancing color images |
US20090128552A1 (en) * | 2007-11-07 | 2009-05-21 | Canon Kabushiki Kaisha | Image processing apparatus for combining real object and virtual object and processing method therefor |
US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
US20090231548A1 (en) * | 2005-10-24 | 2009-09-17 | Sony Corporation | Rear surface projection type image display device |
US20100281436A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Binding users to a gesture based system and providing feedback to the users |
US20100287500A1 (en) * | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
US20100295851A1 (en) * | 2009-05-21 | 2010-11-25 | Sony Computer Entertainment America Inc. | Method and apparatus for rendering shadows |
US20110002508A1 (en) * | 2001-02-01 | 2011-01-06 | AT&T Intellectual Property II, L.P.. | Digitally-generated lighting for video conferencing applications |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US20110234631A1 (en) * | 2010-03-25 | 2011-09-29 | Bizmodeline Co., Ltd. | Augmented reality systems |
US20110234619A1 (en) * | 2008-12-16 | 2011-09-29 | Brother Kogyo Kabushiki Kaisha | Head-mounted display |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0778267A (ja) | 1993-07-09 | 1995-03-20 | Silicon Graphics Inc | 陰影を表示する方法及びコンピュータ制御表示システム |
CA2233047C (en) | 1998-02-02 | 2000-09-26 | Steve Mann | Wearable camera system with viewfinder means |
US6614408B1 (en) | 1998-03-25 | 2003-09-02 | W. Stephen G. Mann | Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety |
JP2000284349A (ja) * | 1999-03-30 | 2000-10-13 | Fuji Photo Film Co Ltd | 撮像装置 |
US6552731B1 (en) | 1999-04-16 | 2003-04-22 | Avid Technology, Inc. | Multi-tone representation of a digital image on a digital nonlinear editing system |
EP1074943A3 (en) | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP2002049932A (ja) * | 2000-08-02 | 2002-02-15 | Taito Corp | ポリゴンモデルの影を表示する方法 |
US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
US7301547B2 (en) | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
US20050007460A1 (en) | 2003-07-08 | 2005-01-13 | Stavely Donald J. | Systems and methods for counteracting lens vignetting |
US7508455B2 (en) | 2004-03-26 | 2009-03-24 | Ross Video/Live Production Technology | Method, system, and device for automatic determination of nominal backing color and a range thereof |
US7986351B2 (en) | 2005-01-27 | 2011-07-26 | Qualcomm Incorporated | Luma adaptation for digital image processing |
US7623137B1 (en) * | 2006-02-15 | 2009-11-24 | Adobe Systems, Incorporated | Successive-convolution-compositing technique for rendering translucent surfaces |
JP4948218B2 (ja) | 2007-03-22 | 2012-06-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
RU2375840C2 (ru) * | 2007-04-19 | 2009-12-10 | Владимир Семенович Леонов | Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты) |
JP5177515B2 (ja) * | 2008-06-02 | 2013-04-03 | アイシン精機株式会社 | 周辺認知支援システム |
US20110115792A1 (en) * | 2008-07-24 | 2011-05-19 | Nobumasa Tamaoki | Image processing device, method and system |
DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
DE102009037865A1 (de) * | 2009-08-18 | 2011-02-24 | Schaeffler Technologies Gmbh & Co. Kg | Anordnung zur Lagerung einer Schaltschiene |
JP5446003B2 (ja) * | 2009-09-14 | 2014-03-19 | 国立大学法人 東京大学 | 仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム |
US8405658B2 (en) * | 2009-09-14 | 2013-03-26 | Autodesk, Inc. | Estimation of light color and direction for augmented reality applications |
US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
US20120026079A1 (en) * | 2010-07-27 | 2012-02-02 | Apple Inc. | Using a display abstraction to control a display |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US8872853B2 (en) * | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
US9311751B2 (en) | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
US9147111B2 (en) | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
-
2011
- 2011-12-12 US US13/323,403 patent/US9311751B2/en active Active
-
2012
- 2012-12-12 CN CN201280061125.4A patent/CN103988234B/zh active Active
- 2012-12-12 MX MX2014007101A patent/MX347984B/es active IP Right Grant
- 2012-12-12 WO PCT/US2012/069316 patent/WO2013090474A1/en active Application Filing
- 2012-12-12 EP EP12856812.8A patent/EP2791911B1/en active Active
- 2012-12-12 RU RU2014124160A patent/RU2627131C2/ru active
- 2012-12-12 BR BR112014014198-3A patent/BR112014014198B1/pt active IP Right Grant
- 2012-12-12 KR KR1020147018483A patent/KR102004010B1/ko active IP Right Grant
- 2012-12-12 AU AU2012352273A patent/AU2012352273B2/en active Active
- 2012-12-12 JP JP2014547394A patent/JP6023212B2/ja active Active
- 2012-12-12 CA CA2857510A patent/CA2857510C/en active Active
-
2014
- 2014-05-26 IN IN3962CHN2014 patent/IN2014CN03962A/en unknown
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110002508A1 (en) * | 2001-02-01 | 2011-01-06 | AT&T Intellectual Property II, L.P.. | Digitally-generated lighting for video conferencing applications |
CN101002253A (zh) * | 2004-06-01 | 2007-07-18 | 迈克尔·A.·韦塞利 | 水平透视模拟器 |
US20070038944A1 (en) * | 2005-05-03 | 2007-02-15 | Seac02 S.R.I. | Augmented reality system with real marker object identification |
US20090231548A1 (en) * | 2005-10-24 | 2009-09-17 | Sony Corporation | Rear surface projection type image display device |
US20070188522A1 (en) * | 2006-02-15 | 2007-08-16 | Canon Kabushiki Kaisha | Mixed reality display system |
US20070236485A1 (en) * | 2006-03-31 | 2007-10-11 | Microsoft Corporation | Object Illumination in a Virtual Environment |
US20080044095A1 (en) * | 2006-06-09 | 2008-02-21 | Michael Albiez | Method for binarizing a digital gray value image |
US20080144962A1 (en) * | 2006-12-19 | 2008-06-19 | Samsung Electronics Co., Ltd. | Apparatus and method for enhancing color images |
US20090225001A1 (en) * | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
US20090128552A1 (en) * | 2007-11-07 | 2009-05-21 | Canon Kabushiki Kaisha | Image processing apparatus for combining real object and virtual object and processing method therefor |
US20100287500A1 (en) * | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
US20110234619A1 (en) * | 2008-12-16 | 2011-09-29 | Brother Kogyo Kabushiki Kaisha | Head-mounted display |
US20100281436A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Binding users to a gesture based system and providing feedback to the users |
US20100295851A1 (en) * | 2009-05-21 | 2010-11-25 | Sony Computer Entertainment America Inc. | Method and apparatus for rendering shadows |
US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US20110234631A1 (en) * | 2010-03-25 | 2011-09-29 | Bizmodeline Co., Ltd. | Augmented reality systems |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160042680A (ko) * | 2014-10-10 | 2016-04-20 | 엘지디스플레이 주식회사 | 투명 디스플레이 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR102004010B1 (ko) | 2019-07-25 |
EP2791911B1 (en) | 2017-08-30 |
US20130147826A1 (en) | 2013-06-13 |
MX2014007101A (es) | 2014-07-28 |
WO2013090474A1 (en) | 2013-06-20 |
BR112014014198B1 (pt) | 2021-02-17 |
JP6023212B2 (ja) | 2016-11-09 |
EP2791911A1 (en) | 2014-10-22 |
RU2014124160A (ru) | 2015-12-20 |
CN103988234A (zh) | 2014-08-13 |
AU2012352273B2 (en) | 2017-10-26 |
AU2012352273A1 (en) | 2014-07-03 |
US9311751B2 (en) | 2016-04-12 |
CA2857510C (en) | 2019-04-30 |
MX347984B (es) | 2017-05-22 |
BR112014014198A2 (pt) | 2017-06-13 |
JP2015509230A (ja) | 2015-03-26 |
EP2791911A4 (en) | 2015-11-04 |
CN103988234B (zh) | 2017-05-03 |
IN2014CN03962A (ko) | 2015-10-23 |
RU2627131C2 (ru) | 2017-08-03 |
CA2857510A1 (en) | 2013-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102004010B1 (ko) | 씨스루 디스플레이를 통한 새도우의 디스플레이 | |
US11619989B2 (en) | Gaze and saccade based graphical manipulation | |
KR102257255B1 (ko) | 혼합 현실 스포트라이트 | |
JP6730286B2 (ja) | 拡張現実視野オブジェクトフォロワー | |
KR102281026B1 (ko) | 홀로그램 앵커링 및 동적 포지셔닝 기법 | |
US8884984B2 (en) | Fusing virtual content into real content | |
US9734633B2 (en) | Virtual environment generating system | |
US10671157B2 (en) | Vestibular anchoring | |
US10380803B1 (en) | Methods and systems for virtualizing a target object within a mixed reality presentation | |
US20130208014A1 (en) | Display with blocking image generation | |
TW201419216A (zh) | 擴增式實境資訊細節 | |
CN112154405B (zh) | 三维推送通知 | |
US20180190019A1 (en) | Augmented reality user interface visibility | |
US10708597B2 (en) | Techniques for extrapolating image frames | |
JP2016519322A (ja) | 表示画像の明るさの制御 | |
US11308652B2 (en) | Rendering objects to match camera noise | |
CN111612915A (zh) | 渲染对象以匹配相机噪声 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |