KR20160047426A

KR20160047426A - 표시 이미지의 휘도 제어

Info

Publication number: KR20160047426A
Application number: KR1020157025214A
Authority: KR
Inventors: 존 엔. 보더; 존 디. 해딕
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-03-05
Filing date: 2014-04-10
Publication date: 2016-05-02
Also published as: WO2014138751A1; EP2965143A1; US20140253605A1; CN105103033A

Abstract

본 개시는, 시스루 뷰의 측정된 휘도에 응답하여 시스루 디스플레이 상에 표시되는 이미지의 휘도를 조정하는 것에 관한 것이다. 하나의 예에서, 시스루 뷰의 휘도는, 측정된 휘도가 사용자의 눈에 의해 인지되는 휘도에 대응하도록, 시스루 디스플레이 뒤에 위치된 센서를 통해 측정된다. 표시 이미지의 휘도 변경은, 시스루 뷰의 측정된 휘도의 변경에 대응하여 결정된다.

Description

표시 이미지의 휘도 제어{CONTROLLING BRIGHTNESS OF A DISPLAYED IMAGE}

본 발명은 표시 이미지(displayed image)의 휘도(brightness) 제어에 관한 것이다.

시스루(see-through) 헤드 장착형 디스플레이는, 사용자에게 사용자 앞의 장면의 시스루 뷰(see-through view)와 표시 이미지를 포함하는 결합 이미지를 제공한다. 그리하여, 시스루 뷰로부터의 광은 표시 이미지를 보는 것을 어렵게 할 수 있다. 예를 들어, 사용자 앞의 장면이 더 밝을 때, 배경 장면과 표시 이미지 간의 콘트라스트가 감소할 수 있다. 이는 표시 이미지를 보는 것을 더 어렵게 할 수 있다.

시스루 뷰의 측정된 휘도에 응답하여 시스루 디스플레이 상에 표시되는 이미지의 휘도를 조정하는 것에 관련된 실시예가 여기에 개시된다. 예를 들어, 일부 실시예에서, 시스루 뷰의 휘도는, 측정된 휘도가 사용자의 눈에 의해 인지되는(perceived) 휘도에 대응하도록, 시스루 디스플레이 뒤에 위치된 센서를 통해 측정된다. 표시 이미지의 휘도 변경은 시스루 뷰의 측정된 휘도의 변경에 대응하여 결정된다.

도 1은 예시적인 시스루 헤드 마운티드 디스플레이(head mounted display) 디바이스의 예시이다.
도 2는 시스루 디스플레이 디바이스로 사용자에 의해 보이는 결합 이미지의 예의 예시이다.
도 3a 및 도 3b는 시스루 헤드 마운티드 디스플레이의 예시적인 렌즈 어셈블리의 단면도 예시이다.
도 4는 차폐 렌즈(shield lens) 뒤의 휘도 센서를 갖는, 사용자의 머리 상의 예시적인 렌즈 어셈블리의 단면도 예시이다.
도 5는 프레임 또는 암(arm) 상의 양측에 장착되고 차폐 렌즈 뒤의 휘도 센서를 갖는, 사용자의 머리 상의 예시적인 렌즈 어셈블리의 단면도 예시이다.
도 6은 사람 눈에 의해 인지되는 휘도(L^*)와, 장면 또는 표시 이미지의 측정된 광도(luminance) 간의 비선형 관계를 도시한 차트이다.
도 7은 d=2인 시스루 뷰의 인지된 휘도(L*)와 표시 이미지를 도시한 차트이다.
도 8은, 측정된 시스루 뷰 광도의 넓은 범위에 걸쳐 시스루 뷰에 비교하여 2배 더 밝게 인지되는 표시 이미지를 제공하도록(d=2) 디스플레이 광도와 측정된 시스루 광도 간의 비의 차트이다.
도 9는 디스플레이 휘도를 자동으로 제어하는 방법의 예를 도시한 흐름도이다.
도 10은 디스플레이 휘도를 자동으로 제어하는 방법의 또다른 예를 도시한 흐름도이다.
도 11은 예시적인 컴퓨팅 디바이스의 블록도이다.

시스루(see-through) 헤드 마운티드 디스플레이(head mounted display)에서, 주위 환경으로부터의 장면의 시스루 뷰(see-through view)가 보일 수 있는 동시에, 표시 이미지(displayed image)가 사용자에 의해 보일 수 있다. 그러나, 상기 언급한 바와 같이, 표시 이미지와 시스루 뷰의 상대 휘도에 따라, 주변 광은 표시 이미지를 보는 것을 어렵게 할 수 있다. 따라서, 시스루 디스플레이 상에 표시되는 이미지와, 시스루 디스플레이를 통해 볼 수 있는 배경 환경 간의 콘트라스트를 개선하는 것을 돕도록, 배경 장면의 휘도가 증가함에 따라 표시 이미지의 휘도가 증가될 수 있고, 그리고/또는 환경의 휘도 변경에 응답하여 자동으로 어둡게 하거나 밝게 하도록 전기변색(electrochromic) 또는 광변색(photochromic) 차폐 렌즈(shield lens)가 사용될 수 있다.

그러나, 표시 이미지와, 사용자 눈에 의해 보이는 시스루 뷰 간의 휘도 차이가 표시 이미지의 식별력(discernibility)을 결정한다. 따라서, 본 개시는, 시스루 디스플레이의, 사용자 눈과 동일 측에 위치된 광 센서를 통해 시스루 뷰의 휘도를 측정하고, 측정된 휘도에 기초하여 표시 이미지의 휘도를 조정하는 것을 통해, 시스루 헤드 마운티드 디스플레이 상에 표시되는 이미지의 휘도를 제어하는 것에 관한 것이다.

도 1은 예시적인 시스루 헤드 마운티드 디스플레이 디바이스(100)의 예시를 도시한다. 디바이스는, 디스플레이 영역(115) 및 클리어 영역(102)을 커버하는 하나 이상의 렌즈(110)를 구비한 프레임(105)을 포함한다. 도 3a 및 도 3b는 하나 이상의 렌즈(110)를 나타내는 두 버전의 렌즈 어셈블리(301 및 302)의 단면도 예시를 도시하며, 하나 이상의 렌즈(110)는, 일정한 착색(tint) 암도(darkness)로 착색될 수 있거나, 가변 광학 밀도 또는 가변 착색 암도를 갖는 전기변색 또는 광변색일 수 있는 차폐 렌즈(310)를 포함한다. 렌즈 어셈블리(301 및 302)는 또한, 디스플레이 광학기기(display optics)(320 및 330)를 각각 포함하며, 이는 이미지 소스 및 이미지 소스로부터 디스플레이 영역(115)에 이미지 광을 제시할 관련 광학기기(도시되지 않음)를 포함하고, 이미지 소스 및 관련 광학기기는 도 3b에 도시된 바와 같이 상부에, 하부에(도시되지 않음), 도 3a에 도시된 바와 같이 디스플레이 영역(115)의 측부(320)에, 또는 임의의 다른 적합한 위치에 위치될 수 있다. 시스루 헤드 마운티드 디스플레이 디바이스(100)에 대하여, 디스플레이 광학기기(320, 330) 및 관련 차폐 렌즈(310)의 적어도 일부는 투명하고, 그리하여 사용자 눈(350)에는 주위 환경의 시스루 뷰에 오버레이된 표시 이미지가 제공된다. 프레임(105)은 암(130)으로 시청자의 머리 상에 지지된다. 시스루 헤드 마운티드 디스플레이 디바이스(100)의 암(130) 및/또는 다른 부분은 또한, 디스플레이를 구동하기 위한 프로세서 및/또는 기타 적합한 로직 디바이스(들), 시스루 헤드 마운티드 디스플레이 디바이스의 다양한 기능을 동작시키도록 로직 디바이스(들)에 의해 실행가능한 명령어를 저장하기 위한 메모리, 및 인터넷 상에서 또는 와이파이(쨔랴), 블루투스(Bluetooth), 셀룰러 또는 기타 무선 기술을 통해 국부화된 서버로부터 얻어질 수 있는 것과 같은 다른 정보 소스에의 무선 접속(들) 및 배터리를 포함하는 주변 전자기기(127)를 포함한 전자기기(125)를 포함할 수 있다.

또한, 주위 환경의 이미지를 캡처하도록 카메라(120), 또는 복수의 카메라가 포함될 수 있다. 임의의 적합한 카메라 또는 카메라들이 사용될 수 있다. 예를 들어, 시스루 헤드 마운티드 디스플레이 디바이스(100)는, 밖을 향하는 컬러 이미지 카메라, 그레이스케일 카메라, 하나 이상의 깊이 카메라(예를 들어, 전파 시간 및/또는 구조화된 광 카메라(들)), 스테레오 카메라 쌍 등을 포함할 수 있다. 또한, 시스루 헤드 마운티드 디스플레이 디바이스(100)는 또한, 아이 트랙킹 시스템(eye tracking system)의 일부인 카메라와 같이, 하나 이상의 안을 향하는(예를 들어, 사용자를 향하는) 카메라를 포함할 수 있다. 아이 트랙킹 카메라는 하나 이상의 광원으로부터 사용자의 눈에 의해 반사되는 광을 이미징하도록 하나 이상의 광원과 함께 사용될 수 있다. 사용자 동공에 대한 반사의 위치는 시선(gaze) 방향을 결정하는 데 사용될 수 있다. 그 다음, 시선 방향은, 시스루 디스플레이 상에 표시된 사용자 인터페이스 상에 사용자가 응시하는 위치를 검출하도록 사용될 수 있다. 추가적으로, 시스루 헤드 마운티드 디스플레이 디바이스(100)는. 모션 센서(들), 위치 센서(예를 들어, GPS), 마이크로폰, 터치 센서(들) 등과 같은 다양한 센서를 포함하지만 이에 한정되는 것은 아닌, 임의의 기타 적합한 전자기기를 포함할 수 있다. 시스루 헤드 마운티드 디스플레이 디바이스(100)에서의 다양한 컴포넌트의 위치들은 예로서 도시된 것이며, 다른 위치가 가능하다는 것을 이해할 것이다.

시스루 헤드 마운티드 디스플레이 디바이스(100)는 디스플레이 영역(115)에 대한 제어가능한 감광(darkening) 층을 더 포함할 수 있으며, 제어가능한 감광 층은, 이미지가 표시되는 영역에서 투명, 반투명, 및 불투명 간의 동작 모드 변경을 가능하게 하도록, 디스플레이 영역(115)의 각자의 부분 뒤의 불투명도를 변경할 수 있다. 제어가능한 감광 층은 차폐 렌즈(310)에 또는 디스플레이 광학기기(320 및 330)에 포함될 수 있다. 제어가능한 감광 층은, 디스플레이 영역(115)의 상이한 부분들에 걸쳐 이미지가 표시될 수 있도록 분할될 수 있다.

도 2는 시스루 헤드 마운티드 디스플레이 디바이스(100)를 사용하여 사용자에 의해 보이는 결합 이미지(200)의 예를 도시하며, 시스루 헤드 마운티드 디스플레이 디바이스(100)는 투명 모드에서 동작 중이다. 도 2에서 볼 수 있는 대로, 사용자에 의해 보이는 결합 이미지(200)는, 사용자 앞의 장면의 시스루 뷰(210) 위에 오버레이되는, 이미지 소스에 의해 제공된 표시 이미지(220)를 포함한다. 도 2의 이미지는 예를 위한 목적으로 제시된 것이며 임의의 적합한 이미지 또는 이미지들이 표시될 수 있다는 것을 이해할 것이다. 예를 들어, (예컨대, 입체 이미지를 표시함으로써) 이미지가 배경 장면에 존재하는 것처럼 보이도록, 가상 이미지가 표시될 수 있다. 또한, 가상 이미지가 배경 장면 내의 객체에 대해 위치 고정되거나(예를 들어, 밖을 향하는 카메라에 의해 이미징된 객체의 인식을 통해), 디스플레이 장면에 대해 위치 고정되거나, 또는 임의의 기타 적합한 좌표 프레임에 대해 위치 고정되도록, 가상 이미지가 표시될 수 있다. 또한, 스틸 이미지, 비디오 이미지, 컴퓨터 그래픽 이미지, 사용자 인터페이스 이미지 등을 포함하지만 이에 한정되는 것은 아닌 다양한 유형의 이미지가 표시될 수 있다.

시스루 헤드 마운티드 디스플레이 디바이스(100)와 같은 시스루 헤드 마운티드 디스플레이 디바이스는 다양한 구성을 가질 수 있다. 예를 들어, 시스루 헤드 마운티드 디스플레이 디바이스는 사용자의 한쪽 눈 또는 사용자의 양쪽 눈에 이미지 정보를 제공할 수 있다. 사용자의 양쪽 눈에 이미지 정보를 제시하는 시스루 헤드 마운티드 디스플레이 디바이스는 하나 또는 둘의 이미지 소스를 가질 수 있다. 동일한 이미지 정보가 양쪽 눈에 제시되는 단안(monoscopic) 시청은 하나 또는 둘의 이미지 소스를 갖는 시스루 헤드 마운티드 디스플레이 디바이스를 이용해 행해지는 반면, 입체(stereoscopic) 시청은 상이한 이미지들이 사용자의 양 눈에 제시되며 두 개의 이미지 소스를 갖는 헤드 마운티드 디스플레이를 이용하고, 그 상이한 이미지들은 동일 장면의 상이한 관점들을 갖는 것이다.

예를 들어 OLED(organic light-emitting diode) 디스플레이, QLED(quantum dot based light emitting diode) 디스플레이, LCD(liquid crystal display), 또는 LCOS(liquid crystal on silicon) 디스플레이를 포함하는 디스플레이에 대하여 이미지를 제공하도록 다양한 이미지 소스들이 사용될 수 있다. 또한, 이미지 소스는, 사용자가 자신의 눈으로 표시 이미지를 볼 수 있도록 이미지 광을 디스플레이 영역(115)에 제시하기 위한 자기 발광 디스플레이 또는 관련 광학기기를 갖는 마이크로프로젝터 또는 마이크로디스플레이일 수 있다.

이미지 소스와 연관된 광학기기는 이미지 소스로부터의 이미지 광을 디스플레이 영역(115)으로 중계한다. 광학기기는 굴절 렌즈, 반사 렌즈, 미러, 회절 렌즈, 홀로그래픽 렌즈 또는 도파관을 포함할 수 있다. 시스루 헤드 마운티드 디스플레이 디바이스에 대하여, 사용자에게는, 사용자의 시야(field of view) 내에서 시스루 헤드 마운티드 디스플레이 디바이스 앞의 장면의 적어도 부분 뷰가 제공될 수 있다.

여기에 개시된 실시예는, 사용자의 눈에 제시된 표시 이미지(220)의 휘도의 자동 제어를 제공한다. 상기 기재된 바와 같이, 사용자 앞의 장면의 휘도는 조명에 따라 변한다. 예를 들어, 환경이 완전한 태양으로 비칠 때, 시스루 디스플레이 디바이스를 통해 보이는 배경 장면은, 환경이 달빛에 의해 비치는 경우보다 훨씬 더 밝다. 또한, 차폐 렌즈(310)의 광학 밀도 또는 암도는 변할 수 있다.

따라서, 시스루 뷰(210)에 대한 표시 이미지(220)의 보다 일관적인 인지 휘도를 유지하기 위해, 시스루 헤드 마운티드 디스플레이 디바이스(100)에 대한 제어 시스템은 사용자의 눈에 제시된 시스루 뷰(210)의 실제 휘도를 고려할 수 있다. 예를 들어, 시스루 헤드 마운티드 디스플레이 디바이스는, 사용자의 눈에 의해 보이는 휘도에 대응하는 방식으로 시스루 뷰(210)의 휘도를 측정하기 위해 차폐 렌즈(310) 뒤에 위치된 휘도 센서를 포함할 수 있다. 임의의 적합한 광 센서가 사용될 수 있다. 하나의 비한정적인 예는, San Jose(CA)의 Avago Technologies Americas Sales Office를 통해 입수가능한, Avago Technologies of Singapore로부터 입수가능한 APDS 9300 광 센서이다.

추가적으로, 일부 실시예에서, 시스루 헤드 마운티드 디스플레이 디바이스는, 제시될 표시 이미지(220)의 휘도를 결정하는 데 있어서 휘도 변경 및 사람 눈이 휘도의 상이한 레벨들을 인지하는 방식을 고려할 수 있다. 이러한 예에 대하여, 표시 이미지(220)의 휘도의 조정은, 환경의 휘도 변경 및 차폐 렌즈(310)의 암도 변경에 관계없이, 표시 이미지(220)가 시스루 뷰(210)의 측정된 휘도에 대하여 인지 휘도의 일관적인 차이가 제시될 수 있도록, 사람 눈의 비선형 감도를 고려한다. 이러한 조정은, 일정한 광학 밀도를 갖는 착색 렌즈, 환경의 휘도에 응답하여 변하는 광학 밀도를 갖는 전기변색 또는 광변색 렌즈, 및/또는 임의의 기타 적합한 방식을 통해 이루어질 수 있다.

도 4는 시스루 뷰(210)로부터의 광의 평균 휘도가 측정될 수 있게 하도록 차폐 렌즈(310) 뒤에 그리고 상부 근방에 제공된 광다이오드와 같은 단순한 휘도 센서(460)를 포함하는 예시적인 헤드 마운티드 디스플레이 디바이스를 도시한다. 도 5는, 차폐 렌즈(310) 뒤에 그리고 프레임(105)의 에지에 또는 암(130)에서 사용자 눈(350)의 측부 근방에 단순한 휘도 센서(560)가 위치되는 또다른 예를 도시한다. 단순한 휘도 센서(460 또는 560)가 차폐 렌즈 뒤에 위치되는 한, 렌즈 어셈블리(301) 뒤와 사용자 눈(350) 위와 같은 다른 예가 가능하다. 추가적으로, 단순한 휘도 센서(460 또는 560)는, 표시 이미지(220)가 사용자의 시스루 뷰(210)에서 차지하는 동일 방향으로 시야 및 포인트를 갖도록 선택되고 위치될 수 있다. 사용자의 시스루 시야에 센서 시야를 일치시키도록, 렌즈 또는 기타 광학 구조가 휘도 센서(460 또는 560)에 추가될 수 있다. 단순한 휘도 센서(460 또는 560)를 차폐 렌즈(310) 뒤에 위치시킴으로써, 차폐 렌즈(310)의 암도 또는 광학 밀도의 변경 및 시스루 뷰(210)의 관련 휘도 변경이 결정될 수 있고, 더 잘 볼 수 있는 표시 이미지(220) 및 더 잘 볼 수 있는 시스루 뷰(210)를 제공하도록 표시 이미지(220)의 휘도가 변경될 수 있다. 그에 의해, 시스루 뷰의 휘도 변경에 대응하여 표시 이미지(220)의 휘도를 자동으로 변경하는 제어 시스템이 제공될 수 있다.

시스루 뷰의 휘도 변경은, 장면의 구성 변경, 장면의 조명 변경, 차폐 렌즈의 암도 또는 광학 밀도의 변경, 또는 이들의 조합에 의해 야기될 수 있다. 예로서, 시스루 뷰(210)의 측정된 휘도가 2X만큼 변한 경우, 표시 이미지(220)의 평균 휘도는 2X만큼 또는 임의의 기타 적합한 양만큼 변경될 수 있다. 표시 이미지(220)의 평균 휘도는, 표시 이미지의 평균 디지털 휘도를 변경함; 디스플레이 광학기기에서 이미지 소스의 조명을 변경함(예를 들어 전류의 듀티 사이클 또는 전압 전류를 변경함으로써 LED 광원에의 전력을 증가시키는 것에 의해); (전기변색층과 같은) 가변 암도 층 또는 (가변 반사 미러와 같은) 가변 반사 층으로 디스플레이 광학기기의 조명 효율을 변경함;을 포함한 상이한 방법들에 의해 변경될 수 있다. 표시 이미지의 평균 디지털 휘도는 이미지 내의 픽셀 코드 값들을 평균화함으로써 결정될 수 있다 대안으로서, 표시 이미지의 평균 휘도는, 표시 이미지의 루마(luma)를 결정함으로써 결정될 수 있다("Brightness Calculation in Digital Image Processing", Sergey Bezryadin 등, Technologies for Digital Fulfillment 2007, Las Vegas, NV 참조). 휘도 편집을 위한 예시적인 디지털 방법이 미국 특허 7489420에 기재되어 있다. 결합 이미지(200)에서 표시 이미지(220)를 더 잘 보이게 하기 위해, 표시 이미지(220)가 시스루 뷰(210)보다 더 밝게 인지되도록 제공될 수 있지만, 실시예는 또한 시스루 뷰(210)보다 더 낮게 인지되는 휘도를 갖는 표시 이미지(220)를 제공하는 데 사용될 수 있다.

사람 눈은 장면 휘도에 대해 비선형 감도(non-linear sensitivity)를 갖는다. 낮은 레벨의 휘도에서, 사람 눈은 휘도 변경에 매우 민감한 반면에, 높은 레벨의 휘도에서 사람 눈은 상대적으로 둔감하다(즉, 사람 눈은 비선형임). 이와 달리, 단순한 휘도 센서(460 또는 560)와 같은 전자 센서는 휘도 변경에 선형으로 감지한다. 설명을 위한 목적으로, 인지 휘도(perceived brightness) 또는 인지 명도(perceived lightness)는 일반적으로 L^*으로 알려져 있다. 도 6은, 논문 "Gamma" 및 그의 변용: The Nonlinear Mappings of Intensity in Perception, CRTs, Film and Video" by Charles A. Poynton, SMPTE Journal, Dec 1993, pp1099-1108로부터 취한, 사람 눈에 의해 인지된 휘도(L^*) 대 측정된 휘도(광도) 간의 비선형 관계를 도시한다. 인지된 휘도(L^*)와, 장면 또는 표시 이미지의 광도 간의 다양한 수학식들이 문헌에 기재되어 왔지만, CIE(Commision Internationale de l'Eclairage, 색 측정을 위한 국제 기관)에 의해 주어지고 Poynton에 의해 제시된, L^*와 광도 Y 간의 관계는 예로서 아래에 나타난다.

식 1

및

여기에서, Y는 장면 또는 표시 이미지의 광도(cd/m2)이고, Y_n은 백색 기준 표면의 정규화 광도(normalizing luminance)이며, 이는 통상적으로 1 cd/m2이지만 다른 값일 수도 있다.

본 발명의 부가의 실시예에서, 제어 시스템에 의해 사용자에게 제공되는 표시 이미지(220)의 평균 광도가, 단순한 휘도 센서(460)에 의해 제공된 시스루 뷰의 측정된 광도에 대응하여 선택되는, 자동화된 휘도 제어 시스템이 제공된다. 이 제어 시스템은, 감마 곡선으로서 알려진 사람 눈의 비선형 감도를 고려한다. 제어 시스템에서, 미리 결정된 휘도 차이 d는, 인지된 평균 시스루 휘도(L^* _ast)과, 표시 이미지의 평균 인지 휘도(L^* _adi) 간의 원하는 비율이며, 이는 아래에 나타낸 식2이다. 휘도 차이 d는, 사용자의 시청 선호도에 일치하도록 사용자에 의해 선택될 수 있거나, 또는 사용자가 이동하고 있는지 아니면 고정되어 있는지 그리고 사용자가 얼마나 빨리 움직이고 있는지 또는 카메라(120)에 의해 결정된 외부 장면이 무엇인지와 같은, 검출된 사용 시나리오에 기초하여 자동으로 선택될 수 있다.

식 2

아래의 식 3에서 주어지는, 표시 이미지의 평균 광도(Y_adi)를 결정하기 위한 식을 제공하도록, 식 2는 식 1과 결합될 수 있으며, 여기서 항 Y_ast는 시스루 뷰의 측정된 광도를 칭한다.

식 3

및

그 결과, 시스루 헤드 마운티드 디스플레이 디바이스(100) 상의 표시 이미지가 시스루 뷰의 2배로 밝게 도시될 경우, 어둑한(dim) 환경에서는 표시 이미지(220)가 시스루 뷰(210)보다 약간만 더 밝으면 되는 반면에, 밝은 환경에서는 표시 이미지(220)가 시스루 뷰(210)보다 상당히 밝아야 할 수 있다. 도 7은 d=2에 대하여 시스루 뷰의 인지 휘도(L^*) 대 표시 이미지의 인지 휘도를 나타낸다. 넓은 범위의 도시된 인지 휘도에 걸쳐, 비(ratio)는 본 발명의 제어 시스템으로 인해 항상 2X이다. 반대로, 도 8은 표시 이미지(220)와 시스루 뷰(210)(d=2) 간의 인지 휘도의 일정한 2X 비를 제공하도록, 측정된 시스루 광도(Y_ast)에 대한 표시 광도(Y_adi)의 비를 나타내며, 볼 수 있듯이, 비는 어둑한 조건(낮은 광도)에서의 2에서부터 밝은 조건(높은 광도)에 대한 8까지 변한다.

도 9는 시스루 헤드 마운티드 디스플레이 디바이스를 동작시키기 위한 예시적인 방법의 흐름도이다. 단계 910에서, 사용자는 양호한 시청을 위해 시스루 뷰(210)에 대한 표시 이미지(220)의 휘도를 선택한다. 단계 920에서, 차폐 렌즈(310) 안에 위치된 휘도 센서(460 또는 560)를 사용하여 시스루 뷰(210)의 휘도가 측정된다. 단계 930에서, 시스루 뷰(210)의 측정된 휘도 변경에 대응하여 표시 이미지(220)의 휘도가 변경된다. 단계 920 및 930은, 사용자가 시스루 헤드 마운티드 디스플레이 디바이스(100)를 사용하고 있거나 또는 시스루 헤드 마운티드 디스플레이가 달리 동작 중인 시간에 걸쳐 자동으로 반복된다. 표시 이미지(220)의 휘도는, 표시 이미지의 평균 디지털 휘도를 변경함; 디스플레이 광학기기에서 이미지 소스의 조명을 변경함; (전기변색 층과 같은) 가변 암도 층 또는 (가변 반사 미러와 같은) 가변 반사 층으로 디스플레이 광학기기에서 조명 효율을 변경함;을 포함하는 상이한 방법들에 의해 변경될 수 있다.

도 10은 시스루 헤드 마운티드 디스플레이 디바이스를 동작시키기 위한 방법의 또다른 예의 흐름도이다. 단계 1010에서, 디스플레이 광학기기(320 또는 330)의 조명 효율이 결정되며, 조명 효율은 사용자 눈(350)에 제시되는 표시 이미지의 평균 휘도(Y_adi)에 대한, 표시 이미지(220)의 평균 디지털 휘도(루마)에 관련된다. 조명 효율은 디스플레이 광학기기(320 또는 330)에서의 이미지 소스에 적용된 조명 및 디스플레이 광학기기(320 또는 330)에서의 손실의 함수이다. 단계 1020에서, 사용자는 표시 이미지(220) 또는 시스루 뷰(210)의 양호한 시인성(viewability)을 제공하도록 표시 이미지(220)와 시스루 뷰(210) 간의 휘도 차이(d)를 선택한다. 단계 1030에서, 차폐 렌즈(310) 안에 위치된 휘도 센서(460 또는 560)를 사용하여 시스루 뷰의 휘도(Y_ast)가 측정된다. 단계 1040에서, 표시 이미지의 평균 디지털 휘도(루마) 및 디스플레이 광학기기(330 또는 340)의 조명 효율로부터 표시 이미지의 평균 휘도(Y_adi)가 결정된다. 단계 1050에서, 예를 들어 식 3에 의해 나타낸 바와 같이 사람 눈의 감도 및 시스루 뷰의 측정된 휘도 변경(Y_ast)에 대응하여, 표시 이미지의 휘도(Y_adi)가 변경된다. 단계 1030, 1040, 및 1050은, 사용자가 시스루 헤드 마운티드 디스플레이 디바이스(100)를 사용하고 있거나 시스루 헤드 마운티드 디스플레이 디바이스(100)가 달리 동작 중인 기간 동안, 자동으로 반복된다.

부가의 예에서, 휘도 센서(460 또는 560)는 복수의 픽셀들을 갖는 저해상도 이미지 센서일 수 있다. 이 방식에서, 시야의 상이한 부분들의 휘도가 결정될 수 있다. 표시 이미지의 휘도에 대한 변경은, 장면의 평균 휘도, 장면의 최대 휘도, 장면 중심의 휘도 및/또는 이미지가 표시되고 있는 에지와 같은 장면의 부분의 휘도에 기초하여 이루어질 수 있다. 다른 실시예에서, 이미지 센서를 포함하지만 이에 한정되지 않는 임의의 적합한 센서가 휘도 센서로서 사용될 수 있다는 것을 이해할 것이다.

또 다른 예에서, 장면의 측정된 휘도는 표시 이미지가 제시되는 방식을 변경하는 데 사용될 수 있다. 예를 들어, 장면이 매우 어둑한 것으로 결정되는 경우, 사용자의 눈을 어둑한 조건에 더 잘 적응할 수 있게 하도록 표시 이미지는 그레이 스케일 이미지, 또는 적색 또는 녹색 이미지로 변경될 수 있다. 대안으로서, 장면이 너무 밝은 것으로 결정되는 경우, 표시 이미지의 콘트라스트가 증가될 수 있다. 이 실시예에 대하여, 미리 결정된 임계값이 선택될 것이며, 임계값이 초과될 때 표시 이미지가 제시되는 방식의 변경이 일어난다. 임계값은 임계값보다 높거나 낮음으로써 초과된 것으로 선택될 수 있다.

이 제어 시스템의 이점은, 어둑함에서 밝음까지 넓은 범위의 주변 조건에 걸쳐 그리고 넓은 범위의 차폐 렌즈 암도 또는 광학 밀도에 걸쳐, 시스루 뷰 위에 오버레이된 표시 이미지의 보다 일관적인 시인성이 제공된다는 것이다. 사용자는 표시 이미지 대 시스루 뷰의 상대 휘도를 선택할 수 있고, 시스템은 보다 일정한 인지 차이를 유지할 수 있다.

일부 실시예에서, 여기에 기재된 방법 및 프로세스는 하나 이상의 컴퓨팅 디바이스의 컴퓨팅 시스템에 고정될 수 있다. 구체적으로, 이러한 방법 및 프로세스는 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API; application-programming interface), 라이브러리, 및/또는 기타 컴퓨터 프로그램 제품으로서 구현될 수 있다.

도 11은 상기 기재된 방법 및 프로세스의 하나 이상을 규정할 수 있는 컴퓨팅 시스템(1100)의 비한정적인 실시예를 개략적으로 도시한다. 컴퓨팅 시스템(1100)은 단순화된 형태로 도시되어 있다. 컴퓨팅 시스템(1100)은, 헤드 마운티드 디스플레이 디바이스, 기타 시스루 디스플레이 디바이스, 및/또는 하나 이상의 개인용 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게임 디바이스, 모바일 컴퓨팅 디바이스, 휴먼 인터페이스 디바이스, 이동 통신 디바이스(예를 들어, 스마트 폰), 및/또는 기타 컴퓨팅 디바이스의 형태를 취할 수 있다.

컴퓨팅 시스템(1100)은 로직 머신(logic machine)(1102) 및 스토리지 머신(storage machine)(1104)을 포함한다. 컴퓨팅 시스템(1100)은 디스플레이 서브시스템(1106), 입력 서브시스템(1108), 통신 서브시스템(1110), 및/또는 도 11에 도시되지 않은 다른 컴포넌트를 선택적으로 포함할 수 있다.

로직 머신(1102)은 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함한다. 예를 들어, 로직 머신은, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성의 일부인 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는, 작업을 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 컴포넌트의 상태를 변환하거나, 기술적 효과를 달성하거나, 또는 원하는 결과에 달리 도달하도록 구현될 수 있다.

로직 머신은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안으로서, 로직 머신은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 머신의 프로세서는, 싱글코어 또는 멀티코어일 수 있고, 그에 실행되는 명령어는 순차적, 병렬, 및/또는 분산 프로세싱을 위해 구성될 수 있다. 로직 머신의 개별 컴포넌트들은 선택적으로, 협력 프로세싱을 위해 구성되고/구성되거나 원격으로 위치될 수 있는 둘 이상의 분리된 디바이스들 사이에 분산될 수 있다. 로직 머신의 양상은 클라우드 컴퓨팅 구성으로 구성된 원격 액세스가능 네트워크형 컴퓨팅 디바이스에 의해 가상화 및 실행될 수 있다.

스토리지 머신(1104)은 여기에 기재된 방법 및 프로세스를 구현하기 위해 로직 머신에 의해 실행가능한 명령어를 보유하도록 구성된 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법 및 프로세스가 구현될 때, 스토리지 머신(1104)의 상태는, 예를 들어 상이한 데이터를 보유하도록 변환될 수 있다.

스토리지 머신(1104)은 분리식 및/또는 내장형 디바이스를 포함할 수 있다. 스토리지 머신(1104)은 특히, 광학 메모리(예를 들어, CD, DVD, HD-DVD, Blu-Ray Disc 등), 반도체 메모리(예를 들어, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 스토리지 머신(1104)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 어드레싱가능형(location-addressable), 파일 어드레싱가능형, 및/또는 컨텐츠 어드레싱가능형 디바이스를 포함할 수 있다. 스토리지 머신(804) 및 로직 머신(802)은 일부 실시예에서 휴먼 인터페이스 디바이스 상의 컨트롤러에 통합될 수 있다.

스토리지 머신(1104)은 하나 이상의 물리적 디바이스를 포함한다는 것을 알 것이다. 그러나, 여기에 기재된 명령어 양상은 대안으로서, 스토리지 매체를 통해 저장되는 것과 달리, 통신 매체(예를 들어, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.

로직 머신(1102) 및 스토리지 머신(1104)의 양상은 하나 이상의 하드웨어-로직 컴포넌트로 함께 통합될 수 있다. 이러한 하드웨어-로직 컴포넌트는, 예를 들어 FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuits), PSSP/ASSP(program- and application-specific standard products), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.

용어 "프로그램"은 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(1100)의 양상을 기술하는 데 사용될 수 있다. 일부 경우에, 프로그램은 스토리지 머신(1104)에 의해 보유된 명령어를 실행하는 로직 머신(1102)을 통해 초기화될 수 있다. 상이한 프로그램들이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 초기화될 수 있다는 것을 이해할 것이다. 마찬가지로, 동일한 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 객체, 루틴, API, 함수 등에 의해 초기화될 수 있다. 용어 프로그램은, 개별 또는 그룹의 실행 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등을 포함할 수 있다.

디스플레이 서브시스템(1106)은 스토리지 머신(1104)에 의해 보유된 데이터의 시각적 표현을 제시하도록 사용될 수 있고, 상기 기재된 바와 같이 시스루 디스플레이 상에 데이터를 표시할 수 있다. 여기에 기재된 방법 및 프로세스가 스토리지 머신에 의해 보유된 데이터를 변경하고, 따라서 스토리지 머신의 상태를 변환함에 따라, 디스플레이 서브시스템(1106)의 상태가 마찬가지로, 기본적인 데이터의 변경을 시각적으로 나타내도록 변환될 수 있다. 디스플레이 서브시스템(1106)은 사실상 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 이러한 디스플레이 디바이스는, 공유 인클로저에 로직 머신(1102) 및/또는 스토리지 머신(1104)과 결합될 수 있거나, 또는 이러한 디스플레이 디바이스는 주변 디스플레이 디바이스일 수 있다. 디스플레이 서브시스템(1106)은 또한, 표시 이미지의 콘트라스트 또는 다른 특성을 수정하는 것을 돕도록 전기변색, 광변색, 및/또는 착색 구조를 포함할 수 있다.

입력 서브시스템(1108)은, 이미지 센서, 휘도 센서, 마이크로폰, 아이 트랙킹 시스템 센서(예를 들어, 헤드 장작형 디스플레이 디바이스 상의 안으로 향하는 이미지 센서), GPS 센서, 모션 센서(예를 들어, 하나 이상의 관성 측정 유닛), 터치 센서, 버튼, 키보드, 게임 컨트롤러, 마우스, 광학 위치 추적기 등과 같은 하나 이상의 사용자 입력 디바이스를 포함하거나 이와 인터페이스할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 NUI(natural user input) 컴포넌트를 포함하거나 이와 인터페이스할 수 있다. 이러한 컴포넌트는 통합되거나 주변기기일 수 있고, 입력 동작의 전달 및/또는 처리는 온보드 또는 오프보드로 처리될 수 있다.

통신 서브시스템(1110)은 컴퓨팅 시스템(1100)을 하나 이상의 컴퓨팅 디바이스와 통신가능하게 연결하도록(예를 들어, 휴먼 인터페이스 디바이스를 호스트 컴퓨팅 디바이스에 통신가능하게 연결하도록) 구성될 수 있다. 통신 서브시스템(1110)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다.

여기에 기재된 구성 및/또는 접근법은 예를 위한 목적으로 제시된 것이고, 다수의 변형이 가능하기 때문에 이들 구체적 실시예 또는 예는 한정하는 의미로 간주되어서는 안 된다는 것을 이해할 것이다. 여기에 기재된 구체적 루틴 또는 방법은 하나 이상의 임의의 수의 프로세싱 전략을 나타낼 수 있다. 그리하여, 예시 및/또는 기재된 다양한 동작들은 예시 및/또는 기재된 순서로, 다른 순서로, 동시에 수행될 수 있거나 생략될 수 있다. 마찬가지로, 상기 기재된 프로세스의 순서가 변경될 수 있다.

본 개시의 주제는, 여기에 개시된 다양한 프로세스, 시스템 및 구성의 모든 신규의 그리고 자명하지 않은 조합 및 부분조합과, 기타 특징, 기능, 동작 및/또는 특성을 포함하며, 그 뿐만 아니라 이의 임의의 그리고 모든 등가물을 포함한다.

Claims

시스루(see-through) 헤드 마운티드 디스플레이(head mounted display)에 있어서,
시스루 디스플레이; 및
상기 시스루 디스플레이 뒤에 위치된 휘도 센서를 포함하는 자동 휘도 제어 시스템으로서, 상기 휘도 센서에 의해 측정되는 시스루 뷰(see-through view)의 측정된 휘도에 대응하여 표시 이미지(displayed image)의 휘도를 조정하도록 구성된 프로세서를 또한 포함하는 상기 자동 휘도 제어 시스템
을 포함하는 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 시스루 헤드 마운티드 디스플레이는 차폐 렌즈(shield lens)를 더 포함하고, 상기 휘도 센서는 상기 차폐 렌즈의 상부 근방에 그리고 상기 차폐 렌즈 뒤에 위치되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 시스루 헤드 마운티드 디스플레이는 차폐 렌즈를 더 포함하고, 상기 휘도 센서는 상기 차폐 렌즈의 측부(side) 근방에 그리고 상기 차폐 뒤에 위치되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 3에 있어서, 상기 휘도 센서는 상기 헤드 마운티드 디스플레이의 암(arm)에 그리고 상기 차폐 렌즈 뒤에 위치되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 3에 있어서, 상기 휘도 센서는 상기 헤드 마운티드 디스플레이의 프레임에 그리고 상기 차폐 렌즈 뒤에 위치되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 프로세서는, 상기 표시 이미지의 평균 인지 휘도(perceived brightness)와 시스루 뷰의 평균 인지 휘도 간의 일정 비를 유지하기 위해 상기 표시 이미지의 휘도를 조정하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 프로세서는, 사람 눈의 비선형 감도에 더 대응하여 상기 표시 이미지의 휘도를 조정하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 프로세서는, 이미지의 코드 값을 변경함으로써 또는 이미지 소스의 조명을 변경함으로써, 상기 표시 이미지의 휘도를 조정하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 8에 있어서, 상기 프로세서는, 이미지 소스에 대한 광원에의 전압, 전류 또는 전력의 듀티 사이클을 변경함으로써, 상기 이미지 소스의 조명을 변경하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 차폐 렌즈를 더 포함하고, 상기 휘도 센서는 상기 차폐 렌즈 뒤에 위치되고, 상기 차폐 렌즈는 광변색(photochromic) 차폐 렌즈, 전기변색(electrochromic) 차폐 렌즈, 또는 착색(tinted) 차폐 렌즈를 포함하는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 휘도 센서의 시야(field of view)는 상기 시스루 디스플레이의 시야와 실질적으로 동일한 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 휘도 센서는 상기 시스루 디스플레이의 시야의 상이한 부분들의 상대 휘도를 측정하기 위한 복수의 픽셀들을 갖는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 프로세서는 상기 측정된 휘도가 어두워지는(dim) 것에 기초하여 상기 이미지를 적색 또는 녹색 이미지로서 표시하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
청구항 1에 있어서, 상기 프로세서는, 미리 결정된 휘도 임계치가 상기 측정된 휘도에 의해 초과되는 경우, 상기 표시 이미지의 콘트라스트를 증가시키도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.
시스루 헤드 마운티드 디스플레이 상의 표시 이미지의 휘도를 제어하는 방법에 있어서, 상기 시스루 헤드 마운티드 디스플레이는 차폐 렌즈 뒤에 휘도 센서를 포함하고, 상기 방법은,
상기 헤드 마운티드 디스플레이 상의 시스루 뷰에 대한 표시 이미지의 휘도를 선택하는 단계;
상기 휘도 센서를 사용하여 상기 시스루 뷰의 휘도를 측정하는 단계;
상기 시스루 뷰의 휘도의 측정된 변경에 대응하여 자동으로 상기 표시 이미지의 휘도를 조정하는 단계; 및
상기 헤드 마운티드 디스플레이에 상기 조정된 휘도를 갖는 표시 이미지를 제공하는 단계를 포함하는 휘도 제어 방법.
청구항 15에 있어서, 상기 표시 이미지의 휘도를 조정하는 단계는, 사람 눈 감도에 대응하여 상기 표시 이미지의 휘도를 조정하는 단계를 더 포함하는 것인 휘도 제어 방법.
청구항 15에 있어서, 상기 표시 이미지의 휘도를 조정하는 단계는, 상기 표시 이미지의 디지털 휘도, 디스플레이 광학기기(display optics)에서의 조명, 디스플레이 광학기기에서의 광학 효율, 및 디스플레이 광학기기에서의 전기변색 층 중의 하나 이상을 조정하는 단계를 포함하는 것인 휘도 제어 방법.
청구항 1에 있어서, 상기 휘도 센서는, 상기 시스루 시야의 부분들의 휘도를 측정하고 상기 표시 이미지의 부분들을 조정하도록 복수의 픽셀들을 갖는 것인 휘도 제어 방법.
시스루 헤드 마운티드 디스플레이에 있어서,
시스루 디스플레이;
차폐 렌즈; 및
상기 차폐 렌즈 뒤에 위치된 휘도 센서를 포함하는 자동 휘도 제어 시스템으로서, 사람 눈의 비선형 감도에 대응하여, 상기 휘도 센서에 의해 측정되는 측정된 휘도에 대응하여, 표시 이미지의 휘도를 조정하도록 구성되는 프로세서를 또한 포함하는 상기 자동 휘도 제어 시스템
을 포함하는 시스루 헤드 마운티드 디스플레이.
청구항 19에 있어서, 상기 프로세서는, 상기 표시 이미지의 평균 인지 휘도와 시스루 뷰의 평균 인지 휘도 간의 일정 비를 유지하기 위해 상기 표시 이미지의 휘도를 조정하도록 구성되는 것인 시스루 헤드 마운티드 디스플레이.