KR102004010B1 - 씨스루 디스플레이를 통한 새도우의 디스플레이 - Google Patents

씨스루 디스플레이를 통한 새도우의 디스플레이 Download PDF

Info

Publication number
KR102004010B1
KR102004010B1 KR1020147018483A KR20147018483A KR102004010B1 KR 102004010 B1 KR102004010 B1 KR 102004010B1 KR 1020147018483 A KR1020147018483 A KR 1020147018483A KR 20147018483 A KR20147018483 A KR 20147018483A KR 102004010 B1 KR102004010 B1 KR 102004010B1
Authority
KR
South Korea
Prior art keywords
image
shadow
real
background scene
brightness
Prior art date
Application number
KR1020147018483A
Other languages
English (en)
Other versions
KR20140101406A (ko
Inventor
매튜 램
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140101406A publication Critical patent/KR20140101406A/ko
Application granted granted Critical
Publication of KR102004010B1 publication Critical patent/KR102004010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Abstract

씨스루 디스플레이 시스템 상에 디스플레이되는 객체의 이미지에 의해 실세계 배경 위에 캐스팅되는 새도우의 이미지의 표현과 관련된 다양한 실시예가 개시된다. 예를 들면, 하나의 개시된 실시예는 씨스루 디스플레이 스크린을 구비한 디스플레이 장치를 동작시키는 방법을 제공한다. 방법은 객체의 이미지를 씨스루 디스플레이 스크린 상에 디스플레이하는 단계와, 객체의 이미지를 디스플레이하면서, 장면의 이미지의 획득하고, 배경 장면의 이미지 내에 새도우의 위치를 결정하고, 새도우 내의 밝기와 비교해서 새도우에 인접한 영역 내의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된 이미지를 렌더링하고, 배경 장면의 강화된 이미지를 디스플레이함으로써 객체에 의해 캐스팅된 새도우의 이미지를 배경 장면 상으로 디스플레이하는 단계를 포함한다.

Description

씨스루 디스플레이를 통한 새도우의 디스플레이{DISPLAY OF SHADOWS VIA SEE-THROUGH DISPLAY}
다양한 기술들이 사용자로 하여금 실세계와 가상 세계의 혼합을 경험하게 할 수 있다. 예를 들면, 다양한 헤드 마운트 디슬레이 장치와 같은, 일부 디스플레이 장치는 디스플레이되는 이미지를 실세계 배경 위에 중첩시키게 하는 씨스루 디스플레이를 포함할 수 있다. 이런 방식으로, 이미지가 디스플레이되어, 이미지가 실세계 배경 내의 요소와 상호 혼합되게 보이게 될 수 있다.
씨스루 디스플레이 시스템 상에 디스플레이되는 가상 객체에 의해 실세계 배경 위에 캐스팅되는(cast) 새도우의 이미지의 표현과 관련된 다양한 실시예가 개시된다. 예를 들면, 하나의 개시된 실시예는 씨스루 디스플레이 스크린을 구비한 디스플레이 장치를 동작시키는 방법을 제공한다. 이 방법은 씨스루 디스플레이 스크린 상에 객체(object)의 이미지를 디스플레이하는 것과, 객체의 이미지를 디스플레이하면서 객체에 의해 배경 장면 상으로 캐스팅된 새도우의 이미지를 디스플레이하는 것을 포함한다. 새도우의 이미지는 배경 장면의 이미지를 획득하고, 배경 장면의 이미지 내에서 새도우의 위치를 결정하고, 새도우 내의 밝기와 비교해 새도우에 인접한 영역 내의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된(enhanced) 이미지를 렌더링하고, 배경 장면의 강화된 이미지를 디스플레이함으로써 디스플레이된다.
이 요약은 이하의 상세한 설명에서 추가적으로 설명되는, 간략한 형태로 선택된 개념들을 도입하기 위해 제공된다. 이 요약은 청구 대상의 주요 특징 또는 필수적 특징을 식별하기 위해 의도되지는 않으며, 청구 대상의 범위를 제한하기 위해 사용되는 것으로 의도되지도 않는다. 더 나아가, 청구 대상은 이런 개시의 임의의 부분에서 기재된 임의의 또는 모든 단점을 해결하는 구현에만 제한되지는 않는다.
도 1은 예시적인 사용 환경에서 사용자에 의해 착용되는 씨스루 디스플레이(see-through display)의 일 실시예를 도시한다.
도 2는 도 1의 사용 환경에서, 객체와, 배경 장면 위에 이 객체에 의해 캐스팅된(cast) 새도우의 이미지의 실시예를 시청하는 도 1의 사용자의 사시도를 도시한다.
도 3은 씨스루 디스플레이 시스템을 동작시키는 방법의 일 실시예를 묘사하는 흐름도를 도시한다.
도 4는 씨스루 디스플레이 시스템의 일 실시예의 블록도를 도시한다.
도 5는 도 1의 실시예의 사시도를 도시한다.
위에서 언급한 바와 같이, 씨스루 디스플레이 장치는 실세계 배경 위에 디스플레이되는 이미지의 표현을 가능케 할 수 있어서, 디스플레이되는 이미지 내의 객체가 실세계 배경과 상호 혼합되게 보일 수 있게 된다. 하지만, 이러한 이미지 표현의 다양한 양상은 디스플레이되는 객체가 덜 실감나게 보이게 할 수 있다. 예를 들면, 실세계 객체에 의해 캐스팅되는 새도우는 디스플레이되는 장치 상에 디스플레이되는 객체로부터는 현저하게 부재할 수 있다.
실세계 배경 상에 가상 객체의 새도우의 이미지를 생성하는 것은 다양한 문제를 제기할 수 있다. 예를 들면, 투사를 통해서 또는 내장 발광 디스플레이 기술(예를 들면, 투명 유기 발광 장치)을 통해 씨스루 디스플레이 스크린 상에 이미지가 형성되는 경우, 디스플레이되는 이미지는 사용자가 시청하는 추가적인 장면에 광을 추가한다. 대조적으로, 새도우는 장면으로부터 광을 뺌으로써 생성된다. 이러한 기술은, 광이 실세계 배경 장면으로부터 빼지는 것을 허용하지 않기 때문에, 실세계 배경 상에서 가상 객체에 의해 캐스팅된 새도우를 디스플레이하는 것은 어려움을 야기할 수 있다.
따라서, 개시된 실시예는 사용자가 시청하는 배경 장면의 넌새도우(non-shadow) 영역의 상대적 밝기를 증가시킴으로써 씨스루 디스플레이 장치 내의 배경 장면 상에 새도우를 형성하는 것에 대한 것이다. 간단히 말하면, 배경 장면의 기준 이미지가 획득되고, 아마도 밝기가 전체적으로 감소되고, 그런 다음, 배경 장면의 강화된 이미지를 형성하기 위한 것과 같은 방식으로 재렌더링되며, 이러한 배경 장면에서 배경 이미지의 강화된 이미지의 넌새도우 영역은 새도우 영역보다 더 큰 상대적 밝기를 가진다. 그런 다음, 배경 장면의 강화된 이미지가 가상 객체 - 새도우의 이미지는 가상 객체의 이미지로부터 유래한 것으로 보임 - 의 이미지와 함께 실세계 배경 위에서 사용자에게 디스플레이된다. 실세계 배경 위에 배경 장면의 강화된 이미지의 디스플레이는 시청자(viewer)에 의해 인지되는 바와 같이 실세계 배경 장면의 요구되는 넌새도우 부분에 광을 효과적으로 추가시킨다. 이러한 동작은 디스플레이되는 가상 객체에 의해 배경 장면 내에 실세계 객체 상에 캐스팅되는 새도우의 이미지의 효과를 발생시킬 수 있다.
일부 실시예에서, 배경 장면의 강화된 이미지의 새도우 영역에 비교되는 배경 장면의 강화된 이미지의 넌새도우 영역의 밝기 증가는, 그 규모가 전체적일 수 있어서, 모든 넌새도우 영역이 새도우 영역과 비교해서 상대적으로 증가된다. 다른 실시예에서, 밝기의 증가는 각각의 새도우에 인접한 영역에 국부적일 수 있다. 더 나아가, 배경 장면의 강화된 이미지의 추가된 광의 효과를 경감시키도록, 일부 실시예에서, 씨스루 디스플레이 스크린은, 중립 밀도 필터와 같은 광학 장치를 포함하여, 씨스루 스크린을 통과하는 배경 광량을 감소시킬 수 있다.
도 1은 헤드 마운트 디스플레이 시스템의 형태인 씨스루 디스플레이 장치(100)의 일 실시예를 위한 사용 환경을 예증한다. 씨스루 디스플레이 장치(100)를 착용한 사용자(102)는 방에 위치해 있고, 벽(104)을 향하는 것으로 도시된다. 명료성을 위해, 어떠한 물리적 객체도 사용자의 시야 내의 방의 벽(104) 또는 바닥(106) 상에 도시되어 있지 않다. 하지만, 씨스루 디스플레이 장치(100)가 실제적으로 임의의 환경, 실내 또는 야외에서 사용될 수 있다는 것을 이해할 것이다.
사용자(102)의 관점으로부터 도시된 도 2는 씨스루 디스플레이 장치(100) 상에 디스플레이되는 마법사의 형태로 객체(200)의 이미지를 예증하여, 객체(200)는 도 1의 텅빈 시청 환경 내에 위치된 것으로 보인다. 더 나아가, 객체(200)에 의해 캐스팅되는 새도우(202)의 이미지는 실세계 배경 상에 캐스팅된 것처럼 도시된다. 묘사되는 환경에서, 새도우는 실제 새도우와 동일한 방식으로 바닥(106) 및 벽(104)의 윤곽을 따른다. 하지만, 다른 실시예는 다른 방식으로 배경 표면 윤곽 내의 변화 변이를 다룰 수 있다. 새도우의 외관을 계산하기 위해 이용되는 가상 광원(들)의 유형 및 위치에 따라, 새도우는 임의의 적절한 크기, 형태, 강도 및 방향을 가질 수 있다는 것을 이해할 것이다.
위에서 언급한 바와 같이, 새도우(202)의 이미지는 실제 배경 장면 위에 배경 장면의 이미지를 재렌더링함으로써 생성될 수 있어서, 넌새도우 영역의 상대적 밝기가 배경 장면의 이미지의 새도우 영역과 비교해서 증가된다. 도 3은 이런 방식으로 새도우의 이미지를 디스플레이하는 방법(300)의 예시적인 실시예를 묘사하는 흐름도를 도시한다.
방법(300)은 단계(302)에서 씨스루 디스플레이 스크린 상에 객체의 이미지를 디스플레이하는 단계와, 단계(304)에서 씨스루 디스플레이 장치의 사용자의 시야 내에 있는 배경 장면의 기준 이미지를 획득하는 단계를 포함한다. 배경 장면의 기준 이미지는 배경 장면의 강화된 이미지를 형성하도록 다양한 방식으로 처리될 수 있다. 예를 들면, 단계(305)에서 방법(300)은 디스플레이되는 객체에 의해 생성되는 새도우의 배경 장면 내의 위치를 결정하는 단계를 포함한다. 새도우의 위치는 컴퓨터 그래픽에서 사용되는 종래의 실시간 새도우 생성 기술을 통한 방식을 포함하는 임의의 적절한 방식으로 결정될 수 있지만, 이러한 기술로만 제한되지는 않는다. 새도우의 위치 및 외관은, 이용되는 특정 새도우 생성 방법뿐만 아니라, 새도우 위치를 결정할 때 적용되는 가상 광원 또는 광원들의 유형(예를 들면, 병렬 광선, 확산광 등) 및 위치(예를 들면, 머리 위에, 비스듬한, 등)에 종속될 수 있다.
위에서 언급한 바와 같이, 배경 이미지 내의 새도우의 위치는 사용 환경의 구조에 종속될 수 있다. 예를 들면, 새도우는 새도우가 캐스팅될 사용 환경 내의 표면의 형태 및 방위에 종속되는 방향 및/또는 형태를 변화시킬 수 있다. 그러므로, 일부 실시예에서, 이미지 처리는 새도우의 외관에 영향을 줄 수 있는 표면 윤곽 변이를 결정하도록 수행될 수 있고, 그러면 이러한 윤곽 변이는 새도우 위치를 결정할 때 고려될 수 있다.
새도우 위치를 결정한 후에, 방법(300)은 단계(308)에서 새도우 영역 내의 밝기와 비교해서 새도우 영역에 인접한 넌새도우 영역 내의 배경 장면의 상대적 밝기를 증가시킴으로써 배경 장면의 강화된 이미지를 렌더링하는 단계를 포함한다. 이러한 단계는 다양한 프로세스들을 수반할 수 있다. 예를 들면, 일부 실시예에서, 먼저 배경 장면의 전체 이미지가 기초 이미지를 형성하도록 어둡게 될 수 있고, 그런 다음, 요구되는 넌새도우 영역이 새도우 영역과 비교해서 선택적으로 밝게 될 수 있다. 대안적으로 및/또는 추가적으로, 요구되는 새도우 영역은 넌새도우 영역과 비교해서 선택적으로 어둡게 될 수 있다. 배경 장면의 원래 이미지의 이러한 사전 어둡게함(pre-darkening)은 낮은 광의 사용 환경에서와 같이, 적절한 경우 생략될 수 있다는 것을 이해해야 할 것이다. 배경 장면의 원래 이미지가 어둡게 되는 분량이 고정적 또는 가변적일 수 있고, 중립 밀도 필터에 의해 제거되는 배경광량, 실제 사용 환경 또는 예상되는 사용 환경에서 배경 광의 강도 등과 같은 인자에 기초해서 선택되거나 가변적일 수 있다는 것을 또한 이해할 것이다.
일부 실시예에서, 단계(310)에서 표시되는 바와 같이, 이미지의 넌새도우 영역의 상대적 밝기는 전체적으로 밝게 될 수 있어서, 배경 장면의 강화된 이미지의 모든 넌새도우 영역의 상대적 밝기가 모든 새도우 영역과 비교해서 증가된다. 다른 실시예에서, 단계(312)에서 표시된 바와 같이, 넌새도우 영역의 상대적 밝기는 국부적으로 증가될 수 있다. 이러한 실시예에서, 상대적 밝기 차이는 새도우/넌새도우 경계에서 또는 이 경계 근처에서 최대값을 가질 수 있고, 새도우 영역으로부터 거리의 함수로서 최대값으로부터 감소된다. 충분히 점차적인 밝기 변화도(비제한적 예시로서, 20도를 넘는 각도 뷰)의 이용은 점차적 광 변화에 대한 인간의 시각 체계의 더 낮은 민감도 때문에, 새도우 주위의 밝은 점을 덜 현저하게 할 수 있다. 이러한 밝기 변화도들은, 좁은 범위에서 밝기 변화에 대한 인간의 눈의 민감도 때문에, 예를 들면, 배경 이미지 내의 상이한 컬러들, 질감들 등 사이에서 이러한 밝기 변화도들이 모서리를 가로지르는 곳에서 더 현저할 수 있다. 그러므로, 단계(314)에서 표시된 바와 같이, 새도우 영역에 인접한 넌새도우 영역의 상대적 밝기 증가는 배경 이미지 내의 (예를 들면, 미리 선택된 문턱 변화도를 초과하는) 급격한 변화도에서 종료될 수 있다.
넌새도우 영역의 상대적 밝기가 전체적으로 증가되는 곳에서, 실세계 배경 위에 배경 장면의 강화된 이미지의 추가는 일부 상황에서 현저한 밝게함을 야기할 수 있다. 원하지 않는 밝게함을 회피하기 위해, 위에서 언급된 중립 밀도 필터 및/또는 다른 적절한 광학 장치가, 일부 배경광을 차단시킴으로써 사용자의 눈에 도달하는 이미지의 전체 밝기를 감소시키기 위해 이용될 수 있다. 상대적 밝기가 국부적으로 증가되는 실시예에서, 중립 밀도 필터가 생략될 수 있는데, 그 이유는 밝게된 영역이 사용자에 의해 보여지는 이미지의 전체 밝기에 현저하게 영향을 미치지 않을 수 있기 때문이다.
넌새도우 영역의 밝기는 새도우 영역의 밝기와 비교해서 임의의 적절한 상대적 분량만큼 증가될 수 있다. 실세계 새도우는 일반적으로 전체가 검지는 않지만, 반사 조명(bounced light)과 다른 주변 광원 때문에, 인접 넌새도우 영역과 비교해서 비교적 작은 강도 감소를 가질 수 있다. 그러므로, 일부 실시예에서, 새도우 영역과 넌새도우 영역간의 상대적 밝기 차이는 비교적 미묘할 수 있다. 밝기의 적절한 차이의 예시는 2 내지 3개의 스톱(stop)의 차이를 포함하지만, 이러한 차이에만 제한되지는 않는다.
주변 배경광은 시청 환경 내의 주변광원에 따라 상이한 컬러 분포를 가질 수 있다. 예를 들면, 내부 주변광은 이러한 내부 환경 내에서 이용되는 광원의 피크 파장에 대응하는 피크를 갖는 스펙트럼을 가질 수 있다. 마찬가지로, 상이한 외부 위치들은 환경 차이에 기인해서 상이한 주변 광 컬러 분포를 가질 수 있다. 예를 들면, 화창한 날에 건조한 환경에서 주변광은, 이러한 환경에서 반사광의 파장 분포에 기인해서 햇빛보다 더 강한 청색 성분(blue component)을 가질 수 있다.
그러므로, 상대적 밝기 강도의 증가가 더 자연스럽게 보이게 하기 위해, 방법(300)은 단계(316)에서 주변광에서의 컬러 분포를 결정하도록 컬러 분석(예를 들면, 강도 대 파장)을 수행하는 단계와, 컬러 강도 분포에 기초해서 상대적 밝기를 증가시키는 단계를 포함할 수 있다. 예를 들면, 만약 주변광이 비교적 균일한 분포의 컬러 강도를 갖는다는 것을 컬러 분석이 보여주면, 넌새도우 영역이 넌새도우 영역에 백색광을 추가함으로써 강도가 증가될 수 있다. 마찬가지로, 만약 주변광이 대부분 청색 분포를 가진다는 것을 컬러 분석이 보여주면, 유사하게 청색광이 배경 장면의 강화된 이미지의 넌새도우 영역에 추가될 수 있다.
도 3에서 계속하여, 배경 장면의 강화된 이미지를 형성한 후에, 방법(300)은 단계(318)에서, 씨스루 디스플레이 상에 객체의 이미지와 함께 배경 장면의 강화된 이미지를 디스플레이하는 단계를 포함한다. 이런 방식으로, 배경 장면의 강화된 이미지 내의 새도우가 실세계 배경 상으로 디스플레이되는 객체에 의해 캐스팅되는 것으로 보일 수 있다. 이러한 사실은 객체에 대한 깊이 관점을 제공하는 것을 도울 수 있어서, 디스플레이되는 객체가 사용 환경에서 실제로 존재한다는 감각을 전달하는 것을 도울 수 있다.
씨스루 디스플레이 장치의 처리 속도와, 사용자가 환경 내에서 관점을 변화시키고 있는 속도에 따라서, 사용자의 관점은, 배경 장면의 강화된 이미지가 현재의 인지되는 배경에 충분히 정렬되지 않도록 충분히 빠르게 변화할 수 있다. 그러므로, 일부 실시예에서, 씨스루 디스플레이 장치는 사용자의 움직임을 추적하고, 이에 응답해서 배경 장면의 강화된 이미지와 현재 인지되는 실세계 배경간의 임의의 오정렬에 대해 정정하도록 구성될 수 있다. 이러한 정정은, 예를 들면, 원래 이미지를 획득하는 것과 배경 장면의 강화된 이미지를 디스플레이하는 것 사이의 기간 동안에, 추적되는 사용자 움직임에 기초해서 배경 장면의 강화된 이미지를 위치상으로 오프셋함으로써 수행될 수 있다. 이러한 추적은 씨스루 디스플레이 장치 상에 배치된 움직임 센서를 통하는 것을 포함하는, 임의의 적절한 방식으로 수행될 수 있지만, 이러한 것에만 제한되지는 않는다.
씨스루 디스플레이 상에 새도우를 디스플레이하는 방법의 상기 설명된 실시예는 도 1의 헤드 마운트 디스플레이 시스템을 포함하는 임의의 적절한 씨스루 디스플레이 장치와 사용될 수 있지만, 이러한 시스템에만 제한되지는 않는다. 도 4는 씨스루 디스플레이 장치(100)의 실시예의 블록도를 도시하고, 도 5는 씨스루 디스플레이 장치(100)의 예시적인 물리적 실시예를 도시한다. 씨스루 디스플레이 장치(100)는 다양한 센서와 출력 장치를 포함할 수 있다. 예를 들면, 씨스루 디스플레이 장치(100)는, 예를 들면 렌즈의 형태로, 이미지를 생성하고, 씨스루 디스플레이 스크린(403) 상에 이미지를 디스플레이하도록 구성된 이미지 생성 시스템(402)을 구비한 씨스루 디스플레이 서브시스템(400)을 포함할 수 있다. 이미지 생성 시스템(402)은 씨스루 디스플레이 스크린(403) 상으로 이미지를 투사하거나, 씨스루 디스플레이 스크린(403)(예, 투명 OLED 디스플레이) 내로 통합된 이미지 생성 요소를 통해 이미지를 디스플레이거나, 임의의 다른 적절한 방식으로 구성될 수 있다. 씨스루 디스플레이 스크린(403)은 시청자에게 도달하는 배경 광량을 감소시키도록 중립 밀도 필터(404) 및/또는 다른 광학 장치를 포함할 수 있다. 오디오는 씨스루 디스플레이 장치(100) 상에 하나 이상의 스피커(405)를 통해 제공될 수 있다.
씨스루 디스플레이 장치(100)는 하나 이상의 이미지 센서(406)를 또한 포함할 수 있다. 이미지 센서(들)(406)은 배경 장면의 강화된 이미지로 처리하기 위해 배경 장면의 이미지를 획득하도록 구성된 바깥쪽으로 향하는 하나 이상의 이미지 센서를 포함할 수 있다. 마찬가지로, 이미지 센서(들)(406)는 디스플레이되는 이미지 내의 어디에 객체를 배치할 지를 결정하는 것과, 눈 제스쳐 등을 통해 수행된 사용자 입력을 검출하는 것과 같은, 다양한 목적을 위해 시청자의 눈동자가 추적되도록 이미지 데이터를 획득하기 위해 구성된 눈 추적 이미지 센서를 포함할 수 있다. 씨스루 디스플레이 장치(100)는 사용자 입력으로서 음성 명령어의 이용을 가능케 하도록 하나 이상의 마이크(407)를 더 포함할 수 있다.
씨스루 디스플레이 장치(100)는, 시청자가 씨스루 디스플레이 장치(100)를 착용하고 있을 때, 시청자 머리의 움직임을 검출하도록 하나 이상의 움직임 센서(408)를 또한 포함할 수 있다. 이 구성은 예를 들면, 배경 장면의 강화된 이미지가 현재의 배경 뷰와 정렬되게 할 수 있다. 마찬가지로, 움직임 센서(408)는 사용자 입력 장치로서 또한 이용될 수 있어서, 사용자는 목과 머리, 또는 심지어 몸통의 제스쳐를 통해 씨스루 디스플레이 장치(100)와 상호작용할 수 있다. 움직임 센서(408)는 병진(translational) 및/또는 상하(tilt) 움직임을 포함하는, 사용자의 머리의 임의의 적절한 움직임을 검출하도록 구성될 수 있다. 도 4에 예증된 센서는 예시의 목적을 위해 도시된 것이고, 임의의 적절한 센서들 및/또는 이러한 센서들의 조합이 활용될 수 있으므로, 임의의 방식으로든 제한하는 것으로 의도되지 않는다.
헤드 마운트 디스플레이 시스템(110)은 임의의 적절한 물리적 형태를 가질 수 있다. 예를 들면, 일부 실시예에서, 헤드 마운트 디스플레이 시스템(110)은 도 5에 도시된 바와 같이 안경 형태를 취할 수 있으며, 렌즈는 투명하거나, 중립 밀도 필터 또는 다른 적절한 광학 장치를 통해 어둡게 될 수 있다. 도 5에서, 바깥쪽으로 향하는 이미지 센서(406)는 안경의 플레임 상에 중앙 상단 위치에 배치되게 도시되지만, 이미지 센서(406)가 임의의 적절한 위치를 가질 수 있다는 것을 이해할 것이다. 더 나아가, 다른 실시예에서, 헤드 마운트 디스플레이 시스템(100)은 헬멧, 고글 등과 같은, 임의의 다른 적절한 형태를 취할 수 있으며, 이러한 형태 내에서 씨스루 디스플레이 시스템이 시청자의 눈 또는 눈들의 전면에서 지원된다.
도 4로 되돌아가면, 씨스루 디스플레이 장치(100)는 논리 서브시스템(412)과, 씨스루 디스플레이 장치(100)의 다양한 다른 부품과 통신하는 데이터 저장 서브시스템(414)을 구비한 제어기(410)를 또한 포함한다. 데이터 저장 서브시스템(414)은, 위에서 설명된 바와 같이, 예를 들면, 씨스루 디스플레이 스크린(403) 상에 객체의 이미지와 이 객체에 의해 형성되는 새도우를 디스플레이하도록, 논리 서브시스템(412)에 의해 실행가능한 이 서브시스템(414) 상에 저장된 명령어를 포함한다.
제어기(410)는 간략한 형태로 도시된다는 것을 이해할 것이다. 씨스루 디스플레이 장치(100)는,본 발명 개시의 범위를 이탈하지 않고 이용될 수 있는 임의의 적절한 컴퓨터 아키텍쳐를 이용할 수 있다는 것을 또한 이해할 것이다.
논리 서브시스템(412)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함할 수 있다. 예를 들면, 논리 서브시스템(412)은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 부품, 자료구조, 또는 다른 논리적 구조체의 일부인, 하나 이상의 명령어를 실행하기 위해 구성될 수 있다. 이러한 명령어는 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 장치의 상태를 변환하거나, 그렇치 않으면, 요구되는 결과에 도달하도록 구현될 수 있다.
논리 서브시스템(412)은 소프트웨어 명령어를 실행시키도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 논리 서브시스템(412)은 하드웨어 또는 펌웨어 명령어를 실행시키도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신을 포함할 수 있다. 논리 서브시스템(412)의 프로세서는 단일 코어 또는 멀티코어일 수 있고, 이 프로세서 상에서 실행되는 프로그램은 병렬 또는 분산 처리를 위해 구성될 수 있다. 논리 서브시스템(412)은 원격으로 배치되고/되거나 조정된(coordinated) 처리를 위해 구성될 수 있는, 두 개 이상의 장치 전체에 걸쳐 분산되는 개별 부품들을 선택적으로 포함할 수 있다. 논리 서브시스템(412)의 하나 이상의 양상은 클라우드 컴퓨팅 구성에서 구성되는 원격 액세스 가능한 네트워크 연결된 컴퓨팅 장치들에 의해 가상화되고(virtualized) 실행될 수 있다.
데이터 저장 서브시스템(414)은 본 명세서에서 설명된 방법 및 프로세스를 구현하도록 논리 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 저장하도록 구성되는 하나 이상의 물리적, 비일시적 장치를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 데이터 유지 서브시스템(414)의 상태가 (예를 들면, 상이한 데이터를 저장하도록) 변환될 수 있다.
데이터 저장 서브시스템(414)은 분리형 매체 및/또는 내장 장치를 포함할 수 있다. 데이터 저장 서브시스템(414)은 하기의 특징들: 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 주소지정 가능, 파일 주소지정 가능, 및 내용 주소지정 가능 중 하나 이상을 구비한 메모리 및/또는 장치를 포함할 수 있다. 일부 실시예에서, 논리 서브시스템(412)과 데이터 저장 서브시스템(414)은 주문형 반도체 또는 시스템 온 칩과 같은, 하나 이상의 일반적인 장치 내로 집적될 수 있다.
데이터 저장 서브시스템은 또한, 본 명세서에서 설명되는 방법 및 프로세스를 구현하도록 실행가능한 데이터 및/또는 명령어를 저장 및/또는 이동시키기 위해 이용될 수 있는, 분리형 컴퓨터 판독가능 저장매체(416)를 포함할 수 있다. 분리형 컴퓨터 판독가능 저장 매체(416)는 여러 유형들이 있지만, 그중에서도 DVD, CD, HD-DVD, 블루레이 디스크, EEPROM, 테이프 드라이브, 및/또는 플로피 디스크를 포함하는 임의의 적절한 유형의 저장 매체를 나타낼 수 있다.
제어기(410)는 또한, 씨스루 디스플레이 장치(100)를 하나 이상의 다른 컴퓨팅 장치와 통신으로 연결시키기 위해 구성된 통신 서브시스템(418)을 포함할 수 있다. 통신 서브시스템(418)은 하나 이상의 상이한 통신 프로토콜들과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적 예시로서, 통신 서브시스템(418)은 무선 전화 망, 무선 근거리통신망, 유선 근거리통신망, 무선 광역망, 유선 광역망 등을 통해 통신하기 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템(418)은 씨스루 디스플레이 장치(100)로 하여금, 인터넷과 같은 네트워크를 통해 다른 장치에 및/또는 다른 장치로부터 비디오 데이터, 게임 데이터, 이미지 데이터 등과 같은 데이터를 송신 및/또는 수신하게 할 수 있다.
데이터 저장 서브시스템(414)은 하나 이상의 물리적, 비일시적 장치를 포함한다는 것을 인식해야 한다. 대조적으로, 일부 실시예에서, 본 명세서에서 설명된 명령어의 양상은, 적어도 유한 기간 동안 물리적 장치에 의해 저장되지 않는 순수 신호(예를 들면, 전자기 신호, 광신호 등)에 의해 일시적 방식으로 전달될 수 있다. 더 나아가, 본 발명 개시와 관련된 데이터 및/또는 다른 형태의 정보는 순수 신호에 의해 전달될 수 있다.
본 명세서에서 설명된 구성 및/또는 접근법은 속성 상 예시적이고, 이러한 특정 실시예 또는 예시는, 다수의 변형들이 가능하기 때문에, 제한하는 의미로 고려되지 않아야 한다는 것을 이해해야 한다. 본 명세서에서 설명되는 특정 루틴 또는 방법은 임의의 개수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 따라서, 예증되는 다양한 동작들은 예증되는 순서로, 다른 순서로, 병렬로, 또는 일부 경우에서는 생략되어 수행될 수 있다. 마찬가지로, 위에서 설명된 프로세스들의 순서는 변경될 수 있다.
본 발명 개시의 대상은 본 명세서에서 개시된 다양한 프로세스, 시스템 및 구성, 그리고 다른 특징, 기능, 동작, 및/또는 속성의 모든 신규하고 자명하지 않은 조합과 서브조합과, 이러한 것들의 임의의 그리고 모든 등가물을 포함한다.

Claims (20)

  1. 씨스루(see-through) 디스플레이 스크린 및 이미지 센서를 구비한 광학 씨스루 디스플레이 장치를 동작시키는 방법에 있어서,
    객체(object)의 이미지를 상기 씨스루 디스플레이 스크린 상에 디스플레이하는 단계; 및
    상기 객체의 이미지를 디스플레이하면서, 상기 객체에 의해 캐스팅된(cast) 새도우(shadow)의 이미지를 실세계 배경 장면 상으로 디스플레이하는 단계
    를 포함하고,
    상기 새도우의 이미지를 상기 실세계 배경 장면 상으로 디스플레이하는 단계는,
    상기 씨스루 디스플레이 스크린을 통해 볼 수 있는 상기 실세계 배경 장면의 이미지를 상기 이미지 센서를 통해 획득하고,
    상기 실세계 배경 장면의 이미지 내의 상기 새도우의 위치를 결정하고,
    상기 새도우 내의 밝기와 비교해서 상기 새도우에 인접한 영역 내의 상기 실세계 배경 장면의 강화된(enhanced) 이미지 내의 상기 실세계 배경 장면의 밝기를 증가시킴으로써, 상기 실세계 배경 장면의 상기 강화된 이미지를 형성하도록 상기 실세계 배경 장면의 상기 이미지를 렌더링하고,
    상기 실세계 배경 장면 위에서 이 장면과 정렬된 상기 실세계 배경 장면의 상기 강화된 이미지를 상기 씨스루 디스플레이를 통해 디스플레이함으로써
    이루어지는 것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  2. 제1항에 있어서, 중립 밀도 필터(neutral density filter)를 통해 상기 씨스루 디스플레이 스크린을 통과하는 배경광량을 감소시키는 단계를 더 포함하는, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  3. 제1항에 있어서, 상기 실세계 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 새도우 내의 밝기를 증가시키는 것을 포함하지 않는 것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  4. 제1항에 있어서, 상기 실세계 배경 장면의 강화된 이미지를 렌더링하는 것은 상기 실세계 배경 장면의 이미지를 전체적으로 어둡게 하는 것을 포함하는 것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  5. 제1항에 있어서, 상기 새도우에 인접한 영역 내의 밝기를 증가시키는 것은 넌새도우(non-shadow) 영역의 밝기를 전체적으로 증가시키는 것을 포함하는 것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  6. 제1항에 있어서, 상기 새도우에 인접한 영역 내의 밝기를 증가시키는 것은, 밝기 차이가 상기 새도우로부터의 거리의 함수로서 감소하도록 상기 새도우에 인접한 영역에서의 밝기를 조절하는 것을 포함하는 것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  7. 제6항에 있어서, 미리 선택된 문턱 변화도(gradient)를 초과하는 상기 실세계 배경 장면의 이미지 내의 에지를 검출하는 단계와, 상기 에지에서 상기 밝기의 증가를 종료시키는 단계를 더 포함하는, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  8. 제1항에 있어서, 주변광의 컬러 분포를 결정하는 단계와, 상기 주변광의 컬러 분포에 기초해서 상기 밝기를 증가시킴으로써 상기 밝기를 증가시키는 단계를 더 포함하는, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  9. 제1항에 있어서, 상기 객체의 이미지와 상기 객체에 의해 캐스팅된 새도우의 이미지를 디스플레이하는 것은, 헤드 마운트 디스플레이 시스템 상에 상기 객체의 이미지와 상기 객체에 의해 캐스팅된 새도우의 이미지를 디스플레이하는 것을 포함하는것인, 광학 씨스루 디스플레이 장치를 동작시키는 방법.
  10. 광학 씨스루 헤드 마운트 디스플레이 시스템에 있어서,
    씨스루 디스플레이 스크린;
    상기 씨스루 디스플레이 스크린 상에 이미지를 디스플레이하도록 구성된 이미지 생성 시스템;
    상기 씨스루 디스플레이 스크린을 통해 볼 수 있는 실세계 배경 장면의 이미지를 획득하도록 구성된 이미지 센서;
    논리 서브시스템; 및
    명령어들을 포함하는 데이터 저장 서브시스템
    을 포함하고,
    상기 명령어들은,
    상기 씨스루 디스플레이 스크린 상에 객체의 이미지를 디스플레이하고;
    상기 객체의 이미지를 디스플레이하면서, 상기 객체에 의해 캐스팅된 새도우의 이미지를 실세계 배경 장면 상으로 디스플레이하도록
    상기 논리 서브시스템에 의해 실행가능하고,
    상기 새도우의 이미지를 상기 실세계 배경 장면 상으로 디스플레이하는 것은,
    상기 씨스루 디스플레이 스크린을 통해 볼 수 있는 상기 실세계 배경 장면의 이미지를 상기 이미지 센서를 통해 획득하고,
    상기 실세계 배경 장면의 이미지 내의 상기 새도우의 위치를 결정하고,
    상기 새도우에 인접한 영역 내의 상기 실세계 배경 장면의 강화된 이미지 내의 상기 실세계 배경 장면의 밝기가, 상기 새도우 내의 밝기와 비교해서 증가되는, 상기 실세계 배경 장면의 상기 강화된 이미지를 형성하도록 상기 실세계 배경 장면의 상기 이미지를 렌더링하며,
    상기 실세계 배경 장면 위에서 이 장면과 정렬된 상기 실세계 배경 장면의 상기 강화된 이미지를 상기 씨스루 디스플레이 스크린 상에 디스플레이함으로써
    이루어지는 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  11. 제10항에 있어서, 상기 씨스루 디스플레이 스크린은 중립 밀도 필터를 더 포함하는 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  12. 제10항에 있어서, 상기 명령어들은, 상기 새도우 내의 상기 밝기를 증가시키지 않으면서 상기 새도우에 인접한 영역 내에서 상기 밝기를 증가시킴으로써, 상기 실세계 배경 장면의 상기 강화된 이미지를 렌더링하도록 실행가능한 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  13. 제10항에 있어서, 상기 명령어들은, 넌새도우 영역의 밝기를 전체적으로 증가시킴으로써 상기 새도우에 인접한 영역 내의 밝기를 증가시키도록 실행가능한 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  14. 제10항에 있어서, 상기 명령어들은, 밝기 차이가 상기 새도우로부터의 거리의 함수로서 감소하도록 상기 새도우에 인접한 영역에서의 밝기를 조절함으로써 상기 새도우에 인접한 영역 내의 밝기를 증가시키도록 실행가능한 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  15. 제14항에 있어서, 상기 명령어들은, 미리 선택된 문턱 변화도를 초과하는 상기 실세계 배경 장면의 상기 이미지 내의 에지를 검출하고, 상기 에지에서 상기 밝기의 증가를 종료시키도록 실행가능한 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  16. 제10항에 있어서, 상기 명령어들은 또한, 주변광의 컬러 분포를 결정하고, 상기 주변광의 컬러 분포에 기초해서 상기 밝기를 증가시킴으로써 상기 밝기를 증가시키도록 실행가능한 것인, 광학 씨스루 헤드 마운트 디스플레이 시스템.
  17. 씨스루 디스플레이 스크린, 이미지 센서, 및 중립 밀도 필터를 포함하는 광학 씨스루 헤드 마운트 디스플레이 시스템 상에서, 상기 씨스루 디스플레이 스크린을 통해 볼 수 있는 실세계 배경 장면 위에 객체의 이미지와 상기 객체의 새도우의 이미지를 디스플레이하는 방법에 있어서,
    상기 객체의 상기 이미지를 상기 씨스루 디스플레이 스크린 상에 디스플레이하는 단계; 및
    상기 중립 밀도 필터를 통해 상기 씨스루 디스플레이 스크린을 통과하는 배경광량을 감소시키는 단계; 및
    상기 객체의 이미지를 디스플레이하면서, 상기 객체의 새도우의 이미지를 상기 실세계 배경 장면 상으로 디스플레이하는 단계
    를 포함하고,
    상기 객체의 새도우의 이미지를 상기 실세계 배경 장면 상으로 디스플레이하는 단계는,
    상기 씨스루 디스플레이 스크린을 통해 볼 수 있는 상기 실세계 배경 장면의 이미지를 상기 이미지 센서를 통해 획득하고,
    상기 실세계 배경 장면의 상기 이미지 내의 상기 새도우의 위치를 결정하고,
    상기 이미지의 넌새도우 영역 내의 상기 실세계 배경 장면의 강화된 이미지 내의 상기 실세계 배경 장면의 밝기를 증가시키고, 상기 새도우 내의 밝기를 증가시키지 않음으로써, 상기 실세계 배경 장면의 상기 강화된 이미지를 형성하도록 상기 실세계 배경 장면의 상기 획득된 이미지를 렌더링하고,
    광이 상기 넌새도우 영역에 추가되도록, 상기 실세계 배경 장면 위에서 이 장면과 정렬된 상기 실세계 배경 장면의 상기 강화된 이미지를, 상기 씨스루 디스플레이 스크린 상에 디스플레이함으로써
    이루어지는 것인, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
  18. 제17항에 있어서, 상기 실세계 배경 장면의 강화된 이미지를 렌더링하는 것은, 상기 새도우에 인접한 영역을 밝게 하기 전에, 상기 실세계 배경 장면의 이미지를 전체적으로 어둡게 하는 것을 포함하는 것인, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
  19. 제17항에 있어서, 주변광의 컬러 분포를 결정하는 단계와, 상기 주변광의 컬러 분포에 기초해서 상기 밝기를 증가시킴으로써 상기 밝기를 증가시키는 단계를 더 포함하는, 객체의 이미지와 객체의 새도우의 이미지를 디스플레이하는 방법.
  20. 삭제
KR1020147018483A 2011-12-12 2012-12-12 씨스루 디스플레이를 통한 새도우의 디스플레이 KR102004010B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/323,403 2011-12-12
US13/323,403 US9311751B2 (en) 2011-12-12 2011-12-12 Display of shadows via see-through display
PCT/US2012/069316 WO2013090474A1 (en) 2011-12-12 2012-12-12 Display of shadows via see-through display

Publications (2)

Publication Number Publication Date
KR20140101406A KR20140101406A (ko) 2014-08-19
KR102004010B1 true KR102004010B1 (ko) 2019-07-25

Family

ID=48571564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147018483A KR102004010B1 (ko) 2011-12-12 2012-12-12 씨스루 디스플레이를 통한 새도우의 디스플레이

Country Status (12)

Country Link
US (1) US9311751B2 (ko)
EP (1) EP2791911B1 (ko)
JP (1) JP6023212B2 (ko)
KR (1) KR102004010B1 (ko)
CN (1) CN103988234B (ko)
AU (1) AU2012352273B2 (ko)
BR (1) BR112014014198B1 (ko)
CA (1) CA2857510C (ko)
IN (1) IN2014CN03962A (ko)
MX (1) MX347984B (ko)
RU (1) RU2627131C2 (ko)
WO (1) WO2013090474A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
EP2979446A1 (en) 2013-03-26 2016-02-03 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US9658454B2 (en) * 2013-09-06 2017-05-23 Omnivision Technologies, Inc. Eyewear display system providing vision enhancement
US9652892B2 (en) 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
WO2015099683A1 (en) 2013-12-23 2015-07-02 Empire Technology Development, Llc Suppression of real features in see-through display
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR102262566B1 (ko) * 2014-10-10 2021-06-07 엘지디스플레이 주식회사 투명 디스플레이 장치
IL236243A (en) 2014-12-14 2016-08-31 Elbit Systems Ltd Visual enhancement of color icons is shown
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
US10134198B2 (en) * 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
KR102304701B1 (ko) * 2017-03-28 2021-09-24 삼성전자주식회사 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
US11250541B2 (en) * 2017-09-08 2022-02-15 Apple Inc. Camera-based transparent display
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10607403B2 (en) * 2017-10-04 2020-03-31 Google Llc Shadows for inserted content
KR102004991B1 (ko) 2017-12-22 2019-10-01 삼성전자주식회사 이미지 처리 방법 및 그에 따른 디스플레이 장치
DE102018208739A1 (de) * 2018-06-04 2019-12-05 Conti Temic Microelectronic Gmbh Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern
CN111127537A (zh) 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
US11852813B2 (en) * 2019-04-12 2023-12-26 Nvidia Corporation Prescription augmented reality display
CN113874918A (zh) 2019-05-22 2021-12-31 Pcms控股公司 用于与外部显示器结合来渲染增强现实内容的方法
US11238662B2 (en) * 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
EP3973361A4 (en) 2019-12-06 2023-06-28 Portl, Inc. Holographic display device and method of use
CN111093102A (zh) * 2019-12-30 2020-05-01 星络智能科技有限公司 存储介质、交互设备及其视频高亮渲染播放方法
CN111093112A (zh) * 2019-12-30 2020-05-01 星络智能科技有限公司 存储介质、交互设备及其视频阴影渲染播放方法
CN111182349A (zh) * 2019-12-30 2020-05-19 星络智能科技有限公司 存储介质、交互设备及其视频播放方法
JP7454648B2 (ja) 2020-03-17 2024-03-22 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11776503B2 (en) * 2020-05-28 2023-10-03 Apple Inc. Generating display data based on modified ambient light luminance values

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070038944A1 (en) 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
CN101002253A (zh) 2004-06-01 2007-07-18 迈克尔·A.·韦塞利 水平透视模拟器
US20070188522A1 (en) 2006-02-15 2007-08-16 Canon Kabushiki Kaisha Mixed reality display system
US20070236485A1 (en) 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20080044095A1 (en) 2006-06-09 2008-02-21 Michael Albiez Method for binarizing a digital gray value image
US20080144962A1 (en) 2006-12-19 2008-06-19 Samsung Electronics Co., Ltd. Apparatus and method for enhancing color images
US20090128552A1 (en) 2007-11-07 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090231548A1 (en) 2005-10-24 2009-09-17 Sony Corporation Rear surface projection type image display device
US20100281436A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Binding users to a gesture based system and providing feedback to the users
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US20100295851A1 (en) 2009-05-21 2010-11-25 Sony Computer Entertainment America Inc. Method and apparatus for rendering shadows
US20110002508A1 (en) 2001-02-01 2011-01-06 AT&T Intellectual Property II, L.P.. Digitally-generated lighting for video conferencing applications
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110234619A1 (en) 2008-12-16 2011-09-29 Brother Kogyo Kabushiki Kaisha Head-mounted display
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778267A (ja) 1993-07-09 1995-03-20 Silicon Graphics Inc 陰影を表示する方法及びコンピュータ制御表示システム
CA2233047C (en) 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US6614408B1 (en) 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
JP2000284349A (ja) * 1999-03-30 2000-10-13 Fuji Photo Film Co Ltd 撮像装置
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
EP1074943A3 (en) 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
JP2002049932A (ja) * 2000-08-02 2002-02-15 Taito Corp ポリゴンモデルの影を表示する方法
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
US20050007460A1 (en) 2003-07-08 2005-01-13 Stavely Donald J. Systems and methods for counteracting lens vignetting
US7508455B2 (en) 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US7986351B2 (en) 2005-01-27 2011-07-26 Qualcomm Incorporated Luma adaptation for digital image processing
US7623137B1 (en) * 2006-02-15 2009-11-24 Adobe Systems, Incorporated Successive-convolution-compositing technique for rendering translucent surfaces
JP4948218B2 (ja) 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
RU2375840C2 (ru) * 2007-04-19 2009-12-10 Владимир Семенович Леонов Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты)
JP5177515B2 (ja) * 2008-06-02 2013-04-03 アイシン精機株式会社 周辺認知支援システム
WO2010010601A1 (en) * 2008-07-24 2010-01-28 Thomson Licensing Image processing device, method, and system
DE102009037865A1 (de) * 2009-08-18 2011-02-24 Schaeffler Technologies Gmbh & Co. Kg Anordnung zur Lagerung einer Schaltschiene
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP5446003B2 (ja) * 2009-09-14 2014-03-19 国立大学法人 東京大学 仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20120026079A1 (en) * 2010-07-27 2012-02-02 Apple Inc. Using a display abstraction to control a display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002508A1 (en) 2001-02-01 2011-01-06 AT&T Intellectual Property II, L.P.. Digitally-generated lighting for video conferencing applications
CN101002253A (zh) 2004-06-01 2007-07-18 迈克尔·A.·韦塞利 水平透视模拟器
US20070038944A1 (en) 2005-05-03 2007-02-15 Seac02 S.R.I. Augmented reality system with real marker object identification
US20090231548A1 (en) 2005-10-24 2009-09-17 Sony Corporation Rear surface projection type image display device
US20070188522A1 (en) 2006-02-15 2007-08-16 Canon Kabushiki Kaisha Mixed reality display system
US20070236485A1 (en) 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20080044095A1 (en) 2006-06-09 2008-02-21 Michael Albiez Method for binarizing a digital gray value image
US20080144962A1 (en) 2006-12-19 2008-06-19 Samsung Electronics Co., Ltd. Apparatus and method for enhancing color images
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090128552A1 (en) 2007-11-07 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US20110234619A1 (en) 2008-12-16 2011-09-29 Brother Kogyo Kabushiki Kaisha Head-mounted display
US20100281436A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Binding users to a gesture based system and providing feedback to the users
US20100295851A1 (en) 2009-05-21 2010-11-25 Sony Computer Entertainment America Inc. Method and apparatus for rendering shadows
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems

Also Published As

Publication number Publication date
JP2015509230A (ja) 2015-03-26
WO2013090474A1 (en) 2013-06-20
AU2012352273B2 (en) 2017-10-26
JP6023212B2 (ja) 2016-11-09
MX2014007101A (es) 2014-07-28
BR112014014198B1 (pt) 2021-02-17
EP2791911A4 (en) 2015-11-04
CA2857510C (en) 2019-04-30
KR20140101406A (ko) 2014-08-19
US9311751B2 (en) 2016-04-12
EP2791911A1 (en) 2014-10-22
RU2627131C2 (ru) 2017-08-03
EP2791911B1 (en) 2017-08-30
CN103988234A (zh) 2014-08-13
RU2014124160A (ru) 2015-12-20
CA2857510A1 (en) 2013-06-20
IN2014CN03962A (ko) 2015-10-23
CN103988234B (zh) 2017-05-03
AU2012352273A1 (en) 2014-07-03
MX347984B (es) 2017-05-22
US20130147826A1 (en) 2013-06-13
BR112014014198A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
KR102004010B1 (ko) 씨스루 디스플레이를 통한 새도우의 디스플레이
US11619989B2 (en) Gaze and saccade based graphical manipulation
KR102257255B1 (ko) 혼합 현실 스포트라이트
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US8884984B2 (en) Fusing virtual content into real content
US10671157B2 (en) Vestibular anchoring
US9147111B2 (en) Display with blocking image generation
US20180314066A1 (en) Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US9734633B2 (en) Virtual environment generating system
KR20160047426A (ko) 표시 이미지의 휘도 제어
TW201419216A (zh) 擴增式實境資訊細節
CN112154405B (zh) 三维推送通知
US20180190019A1 (en) Augmented reality user interface visibility
US11792531B2 (en) Gaze-based exposure
JP2016519322A (ja) 表示画像の明るさの制御
US20210337176A1 (en) Blended mode three dimensional display systems and methods
CN111612915A (zh) 渲染对象以匹配相机噪声
WO2018013373A1 (en) Preserving scene lighting effects across viewing perspectives

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right