KR20220092911A

KR20220092911A - 동공 크기에 기초한 이미지 조정을 위한 시스템들 및 방법들

Info

Publication number: KR20220092911A
Application number: KR1020227017531A
Authority: KR
Inventors: 배리 데이비드 실버스테인; 보 장; 위징 푸
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2019-11-04
Filing date: 2020-10-07
Publication date: 2022-07-04
Also published as: EP4055587A1; US20220215688A1; JP2023500026A; US11288503B2; CN114616537A; WO2021091644A1; US20210133440A1

Abstract

동공 크기에 기초하여 이미지를 조정하기 위한 시스템들 및 방법들이 개시된다. 특히, 디스플레이상에 제공되는 이미지를 조정하기 위한 시스템은 프로세서를 포함한다. 프로세서는 디스플레이상에 제공되는 이미지를 보는 사용자의 동공의 크기를 식별하고, 적어도 동공의 크기에 기초하에 세기 맵을 결정하며, 세기 맵을 사용하여 이미지의 적어도 일부분의 세기 값들을 조정하도록 구성된다. 세기 맵은 디스플레이되는 이미지의 적어도 일부분의 세기 값들에 대한 조정의 양을 나타낸다.

Description

동공 크기에 기초한 이미지 조정을 위한 시스템들 및 방법들

본 발명은 일반적으로 디스플레이 시스템들에 관한 것이다. 특히, 본 발명은 디스플레이 시스템들에서 동공 크기에 기초한 이미지 조정을 위한 시스템들 및 방법들에 관한 것이다.

디스플레이 시스템들은 사용자에게 이미지를 제공하기 위해 사용된다. 디스플레이 시스템들은 증강 현실(AR) 및/또는 가상 현실(VR) 시스템들에서 구현될 수 있다. 디스플레이상에 제공된 컬러 이미지는 복수의 픽셀들을 가지며 각각의 픽셀은 각각의 픽셀에서 디스플레이되는 컬러에 의존하여 각각 상이한 세기 값들을 가진 적색, 녹색, 및 청색 광을 포함한다. 관찰자는 의도된 컬러로부터 달라지는 컬러를 지각할 수 있으며, 이것은 사용자에 의해 관찰된 이미지에서 왜곡들 또는 결함들을 생성한다.

동공 크기에 기초하여 이미지를 조정하기 위한 시스템들 및 방법들이 본 출원에서 개시된다. 일 구현에서, 시스템은 하나 이상의 프로세서들에 결합된 비-일시적 컴퓨터-판독 가능한 저장 매체를 포함하며, 상기 컴퓨터-판독 가능한 저장 매체는 그것 상에 인코딩된 명령들을 갖고, 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금, 디스플레이상에 제공된 이미지를 보는 사용자의 동공의 크기를 식별하게 하고, 상기 동공의 크기에 기초하여 세기 맵(intensity map)을 결정하게 하고, 상기 세기 맵을 사용하여 이미지의 적어도 일부분의 세기 값들을 조정하게 한다. 상기 세기 맵은 이미지의 적어도 일부분의 세기 값들에 대한 조정의 양을 나타낼 수 있다.

몇몇 실시예들에서, 시스템은 동공의 크기를 검출하도록 구성된 눈 추적 시스템을 포함한다. 몇몇 실시예들에서, 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 하나 이상의 프로세서들로 하여금 눈 추적 시스템으로부터 동공의 크기를 수신하게 하기 위한 프로그램 명령들을 저장한다.

몇몇 실시예들에서, 상기 눈 추적 시스템은 또한 사용자의 응시 각(gaze angle)을 검출하도록 구성되며, 상기 세기 맵을 결정하는 것은 적어도 상기 동공의 크기 및 상기 사용자의 응시 각에 기초하여 세기 맵을 결정하는 것을 포함한다. 몇몇 실시예들에서, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 하나 이상의 프로세서들로 하여금 눈 추적 시스템으로부터 사용자의 응시 각을 수신하게 하며 적어도 상기 동공의 크기 및 상기 사용자의 응시 각에 기초하여 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 저장한다.

몇몇 실시예들에서, 상기 동공의 크기를 식별하는 것은 적어도 주변 광 및 상기 디스플레이상에 제공된 이미지의 세기에 기초하여 동공의 크기를 추정하는 것을 포함한다. 몇몇 실시예들에서, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 상기 하나 이상의 프로세서들로 하여금 적어도 주변 광 및 상기 디스플레이상에 제공된 이미지의 세기에 기초하여 동공의 크기를 추정함으로써 동공의 크기를 식별하게 하기 위한 프로그램 명령들을 저장한다.

몇몇 실시예들에서, 상기 세기 맵을 결정하는 것은 복수의 세기 맵들로부터 세기 맵을 선택하는 것을 포함할 수 있으며, 상기 세기 맵은 동공의 크기에 대응하며, 상기 복수의 세기 맵들의 각각은 동공의 상이한 크기에 대응한다. 몇몇 실시예들에서, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 상기 하나 이상의 프로세서들로 하여금 복수의 세기 맵들로부터 세기 맵을 선택함으로써 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 저장하며, 상기 세기 맵은 동공의 크기에 대응하며, 상기 복수의 세기 맵들의 각각은 동공의 상이한 크기에 대응한다.

몇몇 실시예들에서, 상기 세기 맵을 결정하는 것은 복수의 세기 맵들로부터 제1 세기 맵을 선택하는 것으로서, 상기 제1 세기 맵은 동공의 더 작은 크기에 대응하는, 상기 제1 세기 맵을 선택하는 것 및 적어도 상기 동공의 크기 및 상기 제1 세기 맵에 기초하여 상기 세기 맵을 보간하는 것을 포함한다. 몇몇 실시예들에서, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 상기 하나 이상의 프로세서들로 하여금 복수의 세기 맵들로부터 제1 세기 맵을 선택하는 것으로서, 상기 제1 세기 맵은 동공의 더 작은 크기에 대응하는, 상기 제1 세기 맵을 선택하는 것; 및 적어도 상기 동공의 크기 및 상기 제1 세기 맵에 기초하여 상기 세기 맵을 보간하는 것에 의해 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 저장한다.

몇몇 실시예들에서, 상기 세기 맵을 결정하는 것은 상기 복수의 세기 맵들로부터 제2 세기 맵을 선택하는 것으로서, 상기 제2 세기 맵은 상기 동공의 더 큰 크기에 대응하는, 상기 제2 세기 맵을 선택하는 것 및 상기 동공의 크기, 상기 제1 세기 맵, 및 상기 제2 세기 맵에 기초하여 상기 세기 맵을 보간하는 것을 포함한다. 몇몇 실시예들에서, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 상기 하나 이상의 프로세서들로 하여금: 상기 복수의 세기 맵들로부터 제2 세기 맵을 선택하는 것으로서, 상기 제2 세기 맵은 동공의 더 큰 크기에 대응하는, 상기 제2 세기 맵을 선택하는 것; 및 상기 동공의 크기, 상기 제1 세기 맵, 및 상기 제2 세기 맵에 기초하여 상기 세기 맵을 보간하는 것에 의해 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 저장한다.

몇몇 실시예들에서, 상기 보간은 선형 보간 알고리즘 또는 가중 보간 알고리즘을 포함한다.

몇몇 실시예들에서, 상기 세기 맵은 기준 이미지의 적색, 녹색, 및 청색 세기 값들에 대응하도록 상기 이미지의 적색, 녹색, 및 청색 세기 값들에 대한 조정의 미리 결정된 양을 나타낸다.

몇몇 실시예들에서, 상기 디스플레이는 도파관 및 투영 디바이스를 포함하며, 상기 투영 디바이스는 도파관을 향해 광 빔을 투영하도록 구성되고, 상기 도파관은 광 빔을 수신하고 디스플레이상에 이미지를 제공하도록 구성된다.

몇몇 실시예들에서, 이미지를 조정하는 것은 디스플레이의 투영 디바이스로 신호를 송신하는 것을 포함하며, 상기 신호는 디스플레이상에 제공된 이미지의 부분에 대응하는 적색, 녹색, 및 청색 세기 값들을 조정하기 위해 투영 디바이스로 하여금 광 빔의 적어도 일부분을 조정하게 하도록 구성된다. 몇몇 실시예들에서, 비-일시적 컴퓨터-판독 가능한 저장 매체는 또한 디스플레이의 투영 디바이스로 신호를 송신함으로써 하나 이상의 프로세서들이 이미지를 조정하게 하기 위한 프로그램 명령들을 저장하며, 상기 신호는 디스플레이상에 제공된 이미지의 부분에 대응하는 적색, 녹색, 및 청색 세기 값들을 조정하기 위해 투영 디바이스로 하여금 광 빔의 적어도 일부분을 조정하게 하도록 구성된다.

본 발명의 또 다른 구현은 착용 가능한 디바이스의 디스플레이상에서 이미지를 조정하기 위한 방법과 관련된다. 몇몇 실시예들에서, 착용 가능한 디바이스는 헤드-장착 디바이스(HMD)이다. 방법은, 착용 가능한 디바이스의 프로세서에 의해, 디스플레이상에 제공된 이미지를 보는 사용자의 동공의 크기를 결정하는 것, 상기 프로세서에 의해, 적어도 상기 동공의 크기에 기초하여 세기 맵을 결정하는 것, 및 상기 세기 맵을 사용하여 이미지의 적어도 일부분을 조정하는 것을 포함한다.

몇몇 실시예들에서, 세기 맵을 결정하는 것은, 메모리로부터의 프로세서에 의해, 복수의 세기 맵들로부터 세기 맵을 선택하는 것을 포함하며, 상기 복수의 세기 맵들의 각각은 동공의 각각의 크기에 대응한다.

몇몇 실시예들에서, 세기 맵을 결정하는 것은, 메모리로부터의 프로세서에 의해, 복수의 세기 맵들로부터 제1 세기 맵을 선택하는 것으로서, 상기 제1 세기 맵은 동공의 더 작은 크기에 대응하는, 상기 제1 세기 맵을 선택하는 것, 및 적어도 상기 동공의 크기 및 상기 제1 세기 맵에 기초하여 상기 세기 맵을 보간하는 것을 포함한다.

몇몇 실시예들에서, 세기 맵을 결정하는 것은 복수의 세기 맵들로부터 제2 세기 맵을 선택하는 것으로서, 상기 제2 세기 맵은 동공의 더 큰 크기에 대응하는, 상기 제2 세기 맵을 선택하는 것 및 상기 동공의 크기, 상기 제1 세기 맵, 및 상기 제2 세기 맵에 기초하여 상기 세기 맵을 보간하는 것을 추가로 포함한다.

몇몇 실시예들에서, 세기 맵을 결정하는 것은 적어도 상기 동공의 크기 및 사용자의 응시 각에 기초하여 상기 세기 맵을 선택하는 것을 추가로 포함한다.

몇몇 실시예들에서, 상기 세기 맵은 기준 이미지의 적색, 녹색, 및 청색 세기 값들에 대응하도록 상기 이미지의 부분을 조정하기 위한 적색, 녹색, 및 청색 세기 값들의 양을 나타내는 사전-구성된 맵이다.

몇몇 실시예들에서, 상기 디스플레이상에 이미지를 제공하는 것은, 투영 디바이스를 통해, 광 빔을 도파관 디스플레이를 향해 투영하는 것, 및 상기 도파관 디스플레이상에, 상기 광 빔에 대응하는 이미지를 제공하는 것을 포함한다.

몇몇 실시예들에서, 이미지를 조정하는 것은 신호를 디스플레이의 투영 디바이스로 송신하는 것을 포함하며, 상기 신호는 상기 디스플레이상에 제공된 이미지의 부분에서 적색, 녹색, 및 청색 세기 값들을 조정하기 위해 투영 디바이스로 하여금 광 빔의 적어도 일부분을 조정하게 하도록 구성된다.

본 발명의 또 다른 구현은 헤드 장착 디스플레이(HMD)와 관련된다. HMD는 사용자의 머리에 부착하도록 구성된 하우징, 사용자에게 이미지를 제공하도록 구성된 하우징 내에 배치된 디스플레이, 상기 하우징 내에 배치된 하나 이상의 프로세서들, 및 비-일시적 컴퓨터 판독 가능한 매체를 포함한다. 상기 컴퓨터-판독 가능한 저장 매체는 인코딩된 명령들을 갖고, 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 적어도 사용자의 동공의 크기에 대한 정보에 기초하여 세기 맵을 결정하게 하고 - 상기 세기 맵은 이미지의 적어도 일부분의 적색, 녹색, 및 청색 세기 값들에 대한 조정의 양을 나타냄 -, 상기 세기 맵을 사용하여 상기 이미지의 적어도 일부의 적색, 녹색 및 청색 세기 값들을 조정하게 한다.

이들 및 다른 양상들과 구현들이 이하에서 상세하게 논의된다. 앞서 말한 정보 및 다음의 상세한 설명은 다양한 양상들 및 구현들의 예시적인 예들을 포함하며, 청구된 양상들 및 구현들의 특징 및 문자를 이해하기 위한 개요 또는 프레임워크를 제공한다. 도면들은 다양한 양상들 및 구현들의 예시 및 추가 이해를 제공하며, 본 명세서에 포함되며 그것의 일부를 구성한다.

수반된 도면들은 일정한 비율로 그려지도록 의도되지 않는다. 다양한 도면들에서 유사한 참조 번호들 및 지정들은 유사한 요소들을 나타낸다. 명료함의 목적들을 위해, 모든 구성요소가 모든 도면에서 라벨링되는 것은 아닐 수 있다. 도면들에서:
도 1은 예시적인 실시예에 따른 디스플레이 시스템의 블록도이다.
도 2는 예시적인 실시예에 따른 헤드-장착 디스플레이(HMD) 시스템의 개략도이다.
도 3은 예시적인 실시예에 따라 이미지를 조정하기 위한 방법을 묘사한 흐름도이다.
도 4는 예시적인 실시예에 따른 세기 맵 생성을 묘사한 다이어그램이다.
도 5는 예시적인 실시예에 따라 세기 맵을 보간하는 다이어그램을 묘사한다.
도 6은 예시적인 실시예에 따라 세기 맵을 보간하는 다이어그램을 묘사한다.
도 7은 예시적인 실시예에 따라 이미지를 조정하는 다이어그램을 묘사한다.

본 발명의 다양한 양상들은 디스플레이상에 제공된 이미지를 조정하기 위한 시스템들 및 방법들에 관한 것이다. 몇몇 실시예들에서, 이미지 조정을 위한 시스템은 컴퓨팅 시스템 및 그것 상에 이미지들을 제공하도록 구성된 디스플레이를 포함한다. 디스플레이상에서의 이미지들을 보는 사용자의 동공 크기(및/또는 디스플레이에 대한 동공의 위치)로 인해, 이미지들은 사용자에 의해 지각되는 결함들을 가질 수 있다. 특히, 도파관 디스플레이들은 이미지들이 어떻게 도파관 디스플레이들 상에 제공되는지에 대한 특징으로 인해 이미지에서 랜덤화된 불-균일성을 보이는 이미지들을 디스플레이할 수 있다. 도파관 디스플레이들은 미리 결정된 방식으로 광 빔을 산란(scattering)시킴으로써 이미지를 제공할 수 있다. 항상 균일한 것은 아닌, 산란의 결과로서, 이미지는 사용자의 동공의 크기 및/또는 사용자의 눈(또는 눈들)의 위치(및 그에 의해 응시 각)에 기초하여 사용자에 의해 상이하게 지각될 수 있다. 그 결과, 이미지 조정이 적어도 동공의 크기에 기초하여 이미지를 보정하기 위해 사용될 수 있다. 이와 같이, 컴퓨팅 시스템은 이미지들에 대한 몇몇 보정을 제공하기 위해 동공의 크기를 식별하고 식별된 크기에 따라 이미지를 조정하도록 구성된다. 몇몇 실시예들에서, 시스템은 시스템에서 하나 이상의 센서들에 의해 감지된 주변 광에 기초하여 동공의 크기를 추정할 수 있다. 몇몇 실시예들에서, 시스템은 동공의 크기를 검출하도록 구성되는 눈 추적 시스템을 포함할 수 있다. 몇몇 실시예들에서, 눈 추적 시스템은 또한 눈 및 동공의 응시 각 또는 위치를 검출하도록 구성된다.

몇몇 실시예들에서, 컴퓨팅 시스템은 이미지의 적어도 일부분의 세기 값들(예컨대, 적색, 청색, 및 녹색 세기 값들)에 대한 조정의 양을 나타내는 미리 구성된 맵(예컨대, 세기 맵)을 결정하기 위해 식별된 동공 크기를 사용한다. 몇몇 실시예들에서, 컴퓨팅 시스템은 메모리 디바이스에 저장된 복수의 세기 맵들로부터 세기 맵을 선택하거나 또는 액세스함으로써 세기 맵을 결정할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템은 또한 사용자의 눈의 응시 각에 기초하여 세기 맵을 결정할 수 있다.

컴퓨팅 시스템은 제공되는(또는 이제 막 제공될) 이미지의 적어도 일부분의 세기 값들을 조정하기 위해 세기 맵을 사용한다. 즉, 컴퓨팅 시스템은 디스플레이되고 있는 이미지가 이미지의 부분의 하나 이상의 세기 값들을 조정하게 하는 신호를 생성하도록 세기 맵을 사용할 수 있다. 예를 들어, 컴퓨팅 시스템은 뷰어의 동공의 크기를 2.5 밀리미터(mm)인 것으로 식별할 수 있고, 프로세서는 그 후 메모리 디바이스로부터 2.5mm의 동공 크기에 대응하는 세기 맵을 액세스할 수 있다. 컴퓨팅 시스템은 세기 맵에 따라 이미지의 세기 값들을 조정하기 위해 디스플레이(예컨대, 또는 디스플레이의 투영 디바이스)와 통신할 수 있다. 이러한 방식으로, 시스템은 뷰어의 동공의 크기에 기초하여 뷰어에게 제공되는 이미지가 능동적으로 조정되는 것을 허용하며, 이것은 이미지의 지각된 품질을 증가시킨다.

이제 도 1을 참조하면, 이미지 조정을 위한 시스템(100)의 블록도가 예시적인 실시예에 따라 묘사된다. 시스템(100)은 도 2를 참조하여 설명된 HMD 시스템(200)을 사용하여 구현될 수 있다. 시스템(100)은 가상 현실(VR), 혼합 현실(MR), 및 증강 현실(AR) 시스템들의 특징들을 통합하며 그것의 특징들을 구현하기 위해 사용될 수 있다. 시스템(100)은 디스플레이(101), 및 컴퓨팅 시스템(102)을 포함한다. 본 출원에서 설명된 다양한 동작들은 하나 이상의 컴퓨터 시스템들(102) 상에서 구현될 수 있다.

컴퓨팅 시스템(102)은 예를 들어, 스마트폰, 다른 이동 전화, 태블릿 컴퓨터, 착용 가능한 컴퓨팅 디바이스(예컨대, 스마트 워치, 안경, 헤드 장착 디스플레이), 데스크탑 컴퓨터, 랩탑 컴퓨터와 같은 소비자 디바이스로서 구현될 수 있거나, 또는 분산형 컴퓨팅 디바이스들과 함께 구현될 수 있다. 컴퓨팅 시스템(102)은 VR, AR, MR 경험을 제공하기 위해 구현될 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 하나 이상의 프로세서들(160), 저장 디바이스(113), 네트워크 인터페이스(190), 사용자 입력 인터페이스(191), 및 사용자 출력 인터페이스(192)와 같은 컴퓨터 구성요소들을 포함할 수 있다.

네트워크 인터페이스(190)는 원격 서버 시스템의 WAN 인터페이스가 또한 연결되는 광역 네트워크(예컨대, 인터넷)로의 연결을 제공할 수 있다. 네트워크 인터페이스(190)는 유선 인터페이스(예컨대, 이더넷) 및/또는 Wi-Fi, 블루투스, 또는 셀룰러 데이터 네트워크 표준들(예컨대, 3G, 4G, 5G, 60GHz, LTE 등)과 같은 다양한 RF 데이터 통신 표준들을 구현한 무선 인터페이스를 포함할 수 있다.

사용자 입력 인터페이스(191)는 컴퓨팅 시스템(102)이 입력 디바이스들로부터 신호들을 수신하도록 허용하고; 컴퓨팅 시스템(102)은 특정한 사용자 요청들 또는 정보를 나타내는 것으로 신호들을 해석할 수 있다. 사용자 입력 인터페이스(191)는 피드백 시스템(104)(예컨대, 또는 그것의 구성요소들), 키보드, 터치 패드, 터치 스크린, 마우스 또는 다른 포인팅 디바이스, 스크롤 휠, 클릭 휠, 다이얼, 버튼, 스위치, 키패드, 마이크로폰, 센서들(예컨대, 모션 센서, 눈 추적 센서 등) 등으로부터 신호들을 수신하도록 구성된 입력 단말기(들)를 포함할 수 있다.

사용자 출력 인터페이스(192)는 컴퓨팅 시스템(102)이 하나 이상의 출력 디바이스들로 정보를 전달하거나 또는 송신하도록 허용한다. 예를 들어, 출력 디바이스는 디스플레이(101)를 포함할 수 있으며 사용자 출력 인터페이스는 디스플레이(101)가 컴퓨팅 시스템(102)에 의해 생성되거나 또는 그것으로 전달된 이미지들을 제공하게 하기 위해 디스플레이(101)로 신호들을 송신하도록 구성될 수 있다. 디스플레이(101)는 지원하는 전자장치들(예컨대, 디지털-대-아날로그 또는 아날로그-대-디지털 변환기들, 신호 프로세서들 등)과 함께, 다양한 이미지 생성 기술들, 예컨대, 액정 디스플레이(LCD), 유기 발광 다이오드들(OLED)을 포함한 발광 다이오드(LED), 투영 시스템, 음극선관(CRT) 등을 통합할 수 있다. 입력 및 출력 디바이스 양쪽 모두로서 기능하는 터치스크린과 같은 디바이스는 사용자 입력 인터페이스(191) 및 사용자 출력 인터페이스(192)를 통해 컴퓨팅 시스템과 인터페이싱하기 위해 사용될 수 있다. 사용자 출력 인터페이스 디바이스들(192)은 또한 컴퓨팅 시스템(102)이 디스플레이(101) 외에 또는 그 대신에 다른 출력 디바이스들로 정보를 전달하거나 또는 송신하도록 허용할 수 있다. 다른 출력 디바이스들의 예들은 표시 등들, 스피커들, 촉각 "디스플레이" 디바이스들, 프린터들 등을 포함한다.

몇몇 구현들은 마이크로프로세서들, 저장장치 및 컴퓨터 판독 가능한 저장 매체(예컨대, 비-일시적 컴퓨터 판독 가능한 매체)에 컴퓨터 프로그램 명령들을 저장하는 메모리와 같은, 전자 구성요소들을 포함한다. 본 명세서에서 설명된 특징들 중 많은 것이 컴퓨터 판독 가능한 저장 매체상에 인코딩된 프로그램 명령들의 세트로서 특정되는 프로세스들로서 구현될 수 있다. 이들 프로그램 명령들이 하나 이상의 프로세서들에 의해 실행될 때, 그것들은 프로세서들이 프로그램 명령들에 표시된 다양한 동작을 수행하게 한다. 프로그램 명령들 또는 컴퓨터 코드의 예들은 컴파일러에 의해 생성되는 것과 같은 기계 코드, 및 컴퓨터, 전자 구성요소, 또는 인터프리터를 사용한 마이크로프로세서에 의해 실행되는 상위-레벨 코드를 포함한 파일들을 포함한다. 적절한 프로그래밍을 통해, 프로세서(160)는 서버 또는 클라이언트에 의해 수행되는 것으로서 본 출원에서 설명된 기능 중 임의의 것, 또는 메시지 관리 서비스들과 연관된 다른 기능을 포함한, 컴퓨팅 시스템(102)에 대한 다양한 기능을 제공할 수 있다.

컴퓨팅 시스템(102)은 예시적이며 변화들 및 수정들이 가능하다는 것이 이해될 것이다. 본 발명과 관련하여 사용된 컴퓨터 시스템들은 여기에서 구체적으로 설명되지 않은 다른 능력들을 가질 수 있다. 뿐만 아니라, 컴퓨팅 시스템(102)은 특정한 블록들을 참조하여 설명되지만, 이들 블록들은 설명의 편리함을 위해 정의되며 구성요소 부분들의 특정한 물리적 배열을 내포하도록 의도되지 않는다는 것이 이해될 것이다. 예를 들어, 상이한 블록들은 동일한 설비에, 동일한 서버 랙에, 또는 동일한 마더보드 상에 위치될 수 있다. 뿐만 아니라, 블록들은 물리적으로 별개의 구성요소들에 대응할 필요는 없다. 블록들은 예컨대, 프로세서를 프로그램하거나 또는 적절한 제어 회로부를 제공함으로써, 다양한 동작들을 수행하도록 구성될 수 있으며, 다양한 블록들은 초기 구성이 어떻게 획득되는지에 의존하여 재구성 가능하거나 또는 재구성 가능하지 않을 수 있다. 본 발명의 구현들은 회로부 및 소프트웨어의 임의의 조합을 사용하여 구현된 전자 디바이스들을 포함한 다양한 장치에서 실현될 수 있다.

디스플레이(101)는 이미지를 디스플레이하고, 제공하거나 또는 보여주도록 구성된다. 몇몇 실시예들에서, 디스플레이는 이미지를 제공하기 위한 하나 이상의 디바이스들(예컨대, 도파관, 투영기, 미러-기반 투영기, 액정 디스플레이(LCD), 발광 다이오드(LED))을 포함한다. 몇몇 실시예들에서, 디스플레이는 도파관(110) 및 투영 디바이스(120)를 포함할 수 있다. 몇몇 실시예들에서, 투영 디바이스(120)는 이미지를 나타내는 광 빔을 생성하고 이를 도파관을 향해 투영하도록 구성된다. 도파관(110)은 광 빔을 수신하고 이미지를 제공하도록 구성된다. 투영 디바이스(120)는 컴퓨팅 시스템(102)에 통신 가능하게 결합된다. 도파관(110)은 미리 결정된 방식으로 광 빔을 산란시킴으로써 이미지를 제공할 수 있다. 항상 일정한 것은 아닌, 산란의 결과로서, 이미지는 사용자의 동공의 크기 및/또는 사용자의 눈(또는 눈들)의 위치(및 그에 의한 응시 각)에 기초하여 사용자에 의해 상이하게 지각될 수 있다. 그 결과, 이미지 조정은 적어도 동공의 크기에 기초하여 이미지를 보정하기 위해 사용된다.

몇몇 실시예들에서, 시스템(100)은 하나 이상의 피드백 시스템들(104)을 포함한다. 몇몇 실시예들에서, 피드백 시스템(104)은 디스플레이(101)와 통합될 수 있다. 몇몇 실시예들에서, 피드백 시스템(104)은 눈 추적 시스템이다. 몇몇 실시예들에서, 피드백 시스템(104)은 사용자의 눈과 디스플레이(101) 사이에서와 같은, 광의 세기를 감지하도록 구성되는 휘도 센서를 포함한다. 몇몇 실시예들에서, 시스템(100)은 디스플레이(101) 상에 제공되는 이미지의 세기에 기초하여 디스플레이(101)와 사용자의 눈 사이의 휘도의 양을 추정할 수 있다. 몇몇 실시예들에서, 피드백 시스템(104)의 하나 이상의 센서들은 컴퓨팅 시스템(102)에 연결되며 디스플레이의 상태 또는 위치, 사용자의 눈, 또는 시스템(100)의 주변 광을 나타내는 신호를 송신하도록 구성된다.

눈 추적 시스템은 눈의 동공 크기 또는 눈의 위치들 및 배향들(예컨대, 응시 방향들 또는 각도들)과 같은, 사용자의 눈들에 관한 데이터를 추적하기 위해 시스템(100) 또는 그것의 구성요소들에 의해 실행된 임의의 함수, 동작, 루틴, 로직, 또는 명령들을 포함할 수 있다. 예를 들어, 눈 추적 시스템은 하나 이상의 센서들, 카메라들, 또는 광학 요소들 중 적어도 하나를 사용하여 구현될 수 있다. 예를 들어, 눈 추적 시스템은 동공 크기 또는 눈 위치를 결정하거나 또는 검출하기 위해 센서들 또는 카메라들로부터의 눈 추적 데이터를 프로세싱할 수 있다. 몇몇 실시예들에서, 눈 추적 시스템은 눈의 동공 크기를 검출하며 검출된 동공 크기를 나타내는 신호를 컴퓨팅 시스템(102)으로 송신한다. 몇몇 실시예들에서, 눈 추적 시스템은 눈 추적 시스템에 의해 캡처된 원시 데이터/이미지를 나타내는 신호를 컴퓨팅 시스템(102)으로 송신하며, 여기에서 컴퓨팅 시스템(102)은 그 후 각각의 사용자의 동공의 크기를 식별하기 위해 눈의 이미지의 원시 데이터를 프로세싱할 수 있다.

이제 도 2를 참조하면, 몇몇 구현들에서, 헤드 장착 가능한 디바이스(HMD) 시스템(200)이 시스템(100)을 구현하기 위해 사용될 수 있다. 몇몇 실시예들에서, HMD는 안경의 형태로와 같은, 머리 상에 착용 가능한 머리 착용 디스플레이(HWD) 또는 디스플레이일 수 있다. 몇몇 실시예들에서, 시스템(100)은 디스플레이를 이용하는 임의의 착용 가능한 또는 정지된 시스템으로 구현될 수 있다. HMD 시스템(200)은 HMD 몸체(예컨대, 하우징)(201), 및 디스플레이(101)를 포함할 수 있다. 몇몇 실시예들에서, HMD는 또한 하나 이상의 센서들(224)을 포함한다. 몇몇 실시예들에서, 하나 이상의 센서들(224)은 피드백 시스템(104)의 부분일 수 있다. HMD 몸체(201)는 안경 또는 가청 헤드셋과 같은, 다양한 상이한 피처들을 가질 수 있다. 몇몇 실시예들에서, 센서들(224)은 HMD 몸체(201)에 장착되거나 또는 그것에 통합될 수 있다.

HMD 시스템(200)은 도 1을 참조하여 설명된 기능들 중 적어도 일부를 수행할 수 있는, 로컬 프로세서(281)를 포함할 수 있다. 예를 들어, 로컬 프로세서(281)는 센서들(224), 디스플레이(101), 또는 포함된다면, 눈 추적 시스템(묘사되지 않음)으로부터 데이터를 수신하며, 사용자의 눈의 동공 크기를 식별하기 위해 수신된 데이터를 프로세싱할 수 있다. 몇몇 실시예들에서, 로컬 프로세서(281)는 본 출원에서 설명된 하나 이상의 동작들을 수행한다. 몇몇 실시예에서, 로컬 프로세서(281)는 본 출원에서 설명된 동작들 중 하나 이상을 수행하기 위해 본 출원에서 설명된 다른 프로세서들 또는 디바이스들과 함께 작동한다.

HMD 시스템(200)은 통신 인터페이스(284)를 포함할 수 있다. 통신 인터페이스(284)는 클라이언트 디바이스(204) 또는 서버(203) 중 적어도 하나로 전자 통신 신호들을 송신하며 그로부터 전자 통신 신호들을 수신하기 위해 사용될 수 있는 회로부를 포함한다. 통신 인터페이스(284)는 다양한 시스템들, 디바이스들, 또는 네트워크들과의 데이터 통신들을 행하기 위해 유선 또는 무선 인터페이스들(예컨대, 잭들, 안테나들, 송신기들, 수신기들, 트랜시버들, 와이어 단자들)을 포함할 수 있다. 예를 들어, 통신 인터페이스(284)는 이더넷-기반 통신 네트워크를 통해 데이터를 송신하고 수신하기 위한 이더넷 카드 및 포트를 포함할 수 있다. 몇몇 실시예들에서, 통신 인터페이스(284)는 근거리 네트워크들(예컨대, 빌딩 LAN), 광역 네트워크들(예컨대, 인터넷, 셀룰러 네트워크)을 통해 통신하며, 및/또는 직접 통신들(예컨대, NFC, 블루투스)을 행할 수 있다. 통신 인터페이스(284)는 유선 및/또는 무선 통신들을 행할 수 있다. 예를 들어, 통신 인터페이스(284)는 하나 이상의 무선 트랜시버들(예컨대, Wi-Fi 트랜시버, 블루투스 트랜시버, NFC 트랜시버, 셀룰러 트랜시버)을 포함할 수 있다. 예를 들어, 통신 인터페이스(284)는 클라이언트 디바이스(204) 또는 서버(203) 중 적어도 하나와 유선 또는 무선 연결들을 수립할 수 있다. 몇몇 실시예들에서, 통신 인터페이스(284)는 클라이언트 디바이스(204)와 USB 연결을 수립할 수 있다.

클라이언트 디바이스(204)는 이동 또는 휴대용 디바이스(전화, 태블릿, 랩탑 등), 또는 데스크탑 또는 개인용 컴퓨팅(PC) 디바이스와 같은, 임의의 형태 인자로 임의의 형태 및 유형의 범용 또는 특수 목적 컴퓨팅 디바이스일 수 있다. 몇몇 실시예들에서, 클라이언트 디바이스(204)는 프로세서(241) 및 메모리(242)를 포함한다. 몇몇 실시예들에서, 클라이언트 디바이스(204)는 컴퓨팅 시스템 또는 그것의 부분들을 가질 수 있는, 스테이징 디바이스의 형태로와 같은, 특수 목적 디바이스일 수 있다. 특수 목적 디바이스는 임의의 유형 및 형태의 액세서리 부착물을 통해 옷 또는 몸에 클라이언트 디바이스(204)를 부착함으로써와 같은, HMD를 착용하는 동안 사용자에 의해 운반되도록 설계될 수 있다. 클라이언트 디바이스(204)는 이미지 생성, 동공 크기의 식별, 세기 맵을 결정하는 것, 및 본 출원에서 설명된 세기 맵을 사용하여 제공된 이미지를 조정하는 것의 임의의 부분을 수행하기 위해 사용될 수 있다. 몇몇 실시예들에서, 적어도 동공 크기에 대응하는 하나 이상의 세기 맵들은 메모리(242) 또는 다른 저장 매체에서와 같은, 클라이언트 디바이스(204)에 저장될 수 있다. HMD는 HMD의 것들보다 더 높은 규격들을 가질 수 있는 클라이언트 디바이스(204)의 컴퓨팅 전력 및 리소스들을 레버리징하기 위해 클라이언트 디바이스(204)와 데이터를 송신하고 수신할 수 있다.

서버(203)는 하나 이상의 클라이언트 디바이스들(204) 또는 클라이언트들로서 동작하는 다른 디바이스들(예컨대, HMD)로 애플리케이션들, 기능 또는 서비스들을 제공하는 임의의 유형 또는 형태의 컴퓨팅 디바이스일 수 있다. 몇몇 실시예들에서, 서버(203)는 프로세서(230) 및 메모리(231)를 포함한다. 몇몇 실시예들에서, 서버(203)는 클라이언트 디바이스(204)일 수 있다. 서버(203)는 하나 이상의 네트워크들을 통해 액세스 가능한 데이터 센터 또는 클라우드 컴퓨팅 환경에 배치될 수 있다. HMD 및/또는 클라이언트 디바이스(204)는 통신 인터페이스(284) 및/또는 하나 이상의 네트워크들을 통해 서버(203)의 컴퓨팅 전력 및 리소스들을 사용하고 레버리징할 수 있다. 즉, 서버(203)는 이미지 생성, 동공 크기의 식별, 세기 맵을 결정하는 것, 및 본 출원에서 설명된 세기 맵을 사용하여 제공된 이미지를 제공하는 것의 임의의 부분을 수행하기 위해 사용될 수 있다. 몇몇 실시예들에서, 적어도 동공 크기에 대응하는 하나 이상의 세기 맵들은 서버(203)의 메모리(231) 상에 저장될 수 있다. 몇몇 실시예들에서, 서버(203)는 HMD 및/또는 클라이언트 디바이스(204) 상에서의 애플리케이션들, 소프트웨어, 펌웨어, 실행 가능한 명령들 및/또는 데이터에 대한 임의의 업데이트로 HMD 및/또는 클라이언트 디바이스(204)를 업데이트하기 위해 사용될 수 있다.

몇몇 실시예들에서, 디스플레이(101)는 하나 이상의 도파관들(227)을 포함한다. 도파관들(227)은 하나 이상의 투영기들 또는 투영 디바이스들(232)로부터 디스플레이(101)에 의해 제공될 디스플레이 이미지들에 대응하는 광을 수신하며(예컨대, 인-커플) HMD의 사용자에 의한 시청을 위해서와 같은, 디스플레이 이미지들을 출력(예컨대, 아웃-커플)할 수 있다. 도파관들(227)은 적절한 스케일로 디스플레이 이미지들을 출력하기 위해 수신된 광의 수평 또는 수직 확대를 수행할 수 있다. 도파관들은 수신된 광에 기초하여 디스플레이 이미지들을 제공하기 위해 하나 이상의 렌즈들, 회절 격자들, 편광 표면들, 반사 표면들, 또는 그것의 조합들을 포함할 수 있다. 투영 디바이스(232)는 하나 이상의 도파관들(227)로 제공될 광을 생성하기 위해, 다른 것들 중에서, 액정 디스플레이(LCD), 발광 다이오드(LED), 유기 발광 다이오드(OLED), 디지털 마이크로미러 디바이스(DMD), 또는 실리콘 상에서의 액정 기술(LCOS) 디바이스들과 같은, 다양한 투영 디바이스들 중 임의의 것을 포함할 수 있다. 투영 디바이스들(232)은 컴퓨팅 시스템(102)으로부터 디스플레이 이미지들을 수신할 수 있다. 도파관들(227)은 디스플레이 표면(예컨대, 유리)을 통해 제공될 수 있다. 몇몇 실시예들에서, 디스플레이 표면은 적어도 부분적으로 투명하며 조합기(예컨대, 출력된 디스플레이 이미지들의 광과 HMD 주위에서의 실세계 환경으로부터의 광을 조합하는)로서 동작할 수 있다.

디스플레이(101) 및 도파관(227) 또는 투영 디바이스(232)와 같은, 그것의 구성요소들의 동작은 디스플레이를 보고 있는 사용자의 동공 크기의 식별에 응답하여 수정되거나 또는 제어될 수 있다. 예를 들어, 컴퓨팅 시스템(102)은 투영 디바이스(232)가 사용자의 한쪽 또는 양쪽 눈들의 동공 크기에 기초하여 도파관(227)을 통해 제공될 이미지를 나타내는 광 빔을 제공하거나 또는 조정하게 할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 투영 디바이스(232)가 사용자의 한쪽 또는 양쪽 눈들에 대응하는 동공 크기 및 동공 위치에 기초하여 이미지를 나타내는 광 빔을 조정하게 할 수 있다. 이러한 방식으로, 컴퓨팅 시스템(102)은 식별된 동공 크기에 기초하여 이미지의 일부분 또는 모두를 조정할 수 있다. 도 2는 헤드 장착 디바이스(HMD)를 참조하여 설명되지만, 몇몇 실시예들에서, HMD 또는 하우징(201)은 안경, 머리 착용 디스플레이들, 또는 임의의 착용 가능한 또는 정지된 디스플레이 디바이스들의 형태로 있을 수 있다.

도 3은 예시적인 실시예에 따른 세기 맵 생성을 묘사한 다이어그램(300)이다. 다이어그램(300)은 디스플레이의 지각된 이미지(301), 디스플레이의 기준 이미지(302), 및 세기 맵(303)을 포함한다. 몇몇 실시예들에서, 복수의 세기 맵들의 각각은 전자 또는 전기-기계 눈을 사용하여 생성될 수 있다. 전기-기계 눈은 사용자의 눈의 동공의 크기를 시뮬레이팅하기 위해 조정 가능한 애퍼처를 가질 수 있다. 몇몇 실시예들에서, 전기-기계 눈은 전기-기계 눈이 디스플레이에 대하여 다양한 위치들에 위치되도록 허용하는 조정 가능한 배치 및 배향 시스템을 가질 수 있다. 일 예에서, 전기-기계 눈은 디스플레이(101)에 대하여 제1 위치에(예컨대, 좌측으로 가장 멀리 및 최상부를 향해 더 멀리 및 HMD 시스템에서 디스플레이의 중심을 향해 배향되는) 배치된다. 전기-기계 눈의 애퍼처는 제1 개별 크기(예컨대, 1.5mm)로 설정할 수 있다. 이미지 생성기(160) 또는 컴퓨팅 시스템(102)의 방향을 통한 디스플레이(101)는 그 후 모두 백색인 이미지를 제공할 수 있다. 이 예에서, 전기-기계 눈은 지각된 이미지(301)로서 이미지를 캡처할 수 있다. 즉, 이미지의 결함들(예컨대, 랜덤화된 비-균일성들)은 지각된 이미지(301) 및 의도된 이미지(예컨대, 모두 백색)에서의 차이이다. 전기-기계 눈은 컴퓨팅 시스템(102)(예컨대, 또는 다른 프로세서)과 통신하며 이미지의 부분으로 하여금 이미지가 제1 위치 및 제1 개별 크기에서 전기-기계 눈에 백색으로 나타나게 하도록 세기 값들(예컨대, RGB 세기 값들)을 조정하게 한다. 몇몇 실시예들에서, 이미지의 부분들은 단일 픽셀들이다. 몇몇 실시예들에서, 이미지의 부분들은 픽셀들의 클러스터들이다. 몇몇 실시예들에서, 이미지의 부분들은 그리드형 구조로 분할되며, 상기 그리드는 부분들에 대해 10×10 픽셀들을 포함할 수 있다. 몇몇 실시예들에서, 그리드-형 구조는 각각의 부분에서 임의의 다양한 수 또는 배열의 픽셀들을 포함할 수 있다.

전기-기계 눈은 기계 눈에서 지각된 이미지가 수용 가능한 백색 이미지(예컨대, 지각된 백색 광은 동일한 RGB 세기들을 갖는다)의 미리 결정된 임계치 내에 있을 때까지 세기 값들(예컨대, RGB 세기 값들)을 조정하기 위해 컴퓨팅 시스템(102) 또는 다른 프로세싱 디바이스와 통신한다. 예를 들어, 기준 이미지(302)는 전기-기계 눈이 제1 동공 크기를 갖고 제1 위치에 있을 때 미리 결정된 임계치 내에 있는 대체로 백색 이미지일 수 있다. 기준 이미지(302)는 각각의 부분 또는 픽셀의 세기 값들이 미리 결정된 임계치 내에 있는 세기 값들로 조작되었을 때 또는 지각된 이미지(301)를 백색 이미지로 조정하려는 시도로 세기 값들을 조정하는 특정한 양의 시간 후 "대체로" 백색일 수 있다. 몇몇 실시예들에서, 전기-기계 눈의 뒤는 디스플레이(예컨대, 이미지(301))의 비-균일성을 캡처하도록 구성된 색도계 검출기(colorimeter detector)를 포함할 수 있다. 몇몇 실시예들에서, 전기기계 눈, 또는 전기-기계 눈에 연결된 컴퓨팅 시스템(102)은 디스플레이의 다양한 부분들 상에서 휘도를 수량화하는 수치 행렬을 생성할 수 있다. 컴퓨팅 시스템(102)은 수치 행렬을 사용하여 지각된 이미지(301)의 각각의 대응 부분의 세기 값들에 대한 조정의 양을 산출할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102) 또는 다른 프로세싱 디바이스는 전기-기계 눈이 초기 지각된 이미지(301) 대신에 기준 이미지(302)를 지각하도록 각각의 부분에 대해 조정되는 곳의 세기 값들의 양을 문서화한다. 각각의 부분에 대한 세기 값들의 문서화된 또는 산출된 양은 그 후 세기 맵(303)을 생성한다. 예를 들어, 세기 맵(303)은 복수의 부분들(예컨대, 그리드로 배열된)을 가지며, 여기에서 각각의 부분은 디스플레이(101) 상에서 부분, 픽셀, 또는 다수의 픽셀들에 대응한다. 세기 맵(303)의 복수의 부분들 각각은 세기 값들에 대한 미리 결정된 양의 조정을 나타낸다.

세기 맵은 기준 이미지(302)의 적색, 녹색, 및 청색 세기 값들에 대응하도록 이미지의 적색, 녹색, 및 청색 세기 값들에 대한 조정의 미리 결정된 양을 나타낸다. 예를 들어, 세기 맵(303)의 제1 부분(330)은 동공이 제1 동공 크기를 갖고 제1 위치에 있을 때 기준 이미지가(302)가 지각되도록 제1 부분(330)에 대응하는 모든 픽셀들이 적색 세기를 5 유닛들(예컨대, 5%)만큼 감소시키고, 청색 세기를 15 유닛들(예컨대, 15%)만큼 감소시키며, 녹색 세기를 40 유닛들(예컨대, 40%)만큼 감소시킴으로써 조정될 필요가 있다는 표시를 포함할 수 있다. 제2 부분(331)(예컨대, 이미지에 대응하는 하나 이상의 픽셀들을 포함한 세기 맵의 박스)은 동공이 제1 동공 크기를 갖고 제1 위치에 있을 때 기준 이미지(302)가 지각되도록 제2 부분(331)에 대응하는 모든 픽셀들이 적색 세기를 2 유닛들만큼 감소시키고, 청색 세기를 2 유닛들만큼 증가시키며, 녹색 세기를 4 유닛들만큼 감소시킴으로써 조정될 필요가 있다는 표시를 포함할 수 있다. 따라서, 세기 맵(303)은 사용자의 눈이 제1 위치에 있고 제1 동공 크기에 있을 때 이미지가 사용자에 의해 정확하게 지각된다는 것을 보장하기 위해 디스플레이상에 제공된 이미지에 대한 조정들을 나타낸다. 몇몇 실시예들에서, 부분들(예컨대, 그리드의 박스들 또는 행렬의 부분들)은 각각 디스플레이상에서 이미지의 하나의 픽셀에 대응한다. 몇몇 실시예들에서, 부분들은 각각 디스플레이상에서 픽셀들의 그룹(예컨대, 10×10)에 대응할 수 있다. 몇몇 실시예들에서, 세기 맵들은 세기 맵 데이터베이스 내에서 행렬로서 저장된다. 몇몇 실시예들에서, 세기 맵들은 행렬에 저장되며 행렬의 각각의 부분은 이미지에 대한 각각의 부분에 대응하고 특정한 대응하는 동공 크기 및 동공 위치(예컨대, 그에 따라 응시 각)에 대한 세기 값들의 양 변화(또는 베이스라인)의 표시를 포함한다.

세기 맵(303)은 저장 디바이스(113)의 세기 맵 데이터베이스에 저장될 수 있다. 전기 기계 눈은 그 후 제2 개별 크기(예컨대, 2.0mm)로 애퍼처 크기를 조정하며 프로세스를 반복할 수 있다. 이것은 예를 들어 복수의 세기 맵들이 생성되고 세기 맵 데이터베이스 내에 저장될 때까지 반복될 수 있다. 복수의 세기 맵들은 각각의 위치가 10개 이상의 별개의 동공 크기들을 갖는 눈의 50개 이상의 위치들에 대응하는 세기 맵들을 가질 수 있다. 몇몇 실시예들에서, 복수의 세기 맵들은 눈의 위치에 독립적이며 복수의 세기 맵들의 각각은 별개의 동공 크기에 대응한다. 몇몇 실시예들에서, 별개의 동공 크기들은 1밀리미터에서 8밀리미터까지 매 1/2 밀리미터이다. 몇몇 실시예들에서, 별개의 동공 크기들은 매 1/10 밀리미터일 수 있다. 몇몇 실시예들에서, 별개의 동공 크기들은 매 1/100 밀리미터일 수 있다. 도 4는 세기 맵을 생성하는 방법의 일 예로서 의도된다는 것이 이해될 것이다. 몇몇 실시예들에서, 전기-기계 눈은 요구되지 않으며 세기 맵들은 인공 지능의 사용자 및 사용자들로부터의 피드백에 기초하여 생성된다. 몇몇 실시예들에서, 맵들은 위치 정보를 포함하지 않으며, 오히려 복수의 세기 맵들의 각각이 단지 동공 크기에 대응할 수 있다. 몇몇 실시예들에서, 세기 맵들은 조정의 양을 나타내지 않으며, 오히려 세기 맵들이 기준 이미지가 각각의 동공 크기 및/또는 위치에서 지각되도록 각각의 부분 또는 픽셀의 베이스라인 값들을 나타낼 수 있다.

이제 도 4를 참조하면, 이미지를 조정하기 위한 방법(400)을 묘사한 흐름도가 예시된다. 도 1 및 도 2에 대한 참조는 입증 목적들로 도 3을 논의하면서 이루어질 수 있다. 간단한 개요에서, 이미지를 보는 사용자의 동공의 크기가 식별되고, 세기 맵이 결정되며, 세기 맵은 이미지의 적어도 일부분을 조정하기 위해 사용된다.

동작 401에서, 이미지를 보는 사용자의 동공의 크기가 식별된다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 동공의 크기를 식별한다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 눈 추적 시스템 또는 다른 프로세싱 디바이스로부터 동공의 크기의 표시를 수신한다. 몇몇 실시예들에서, 눈 추적 시스템은 카메라를 통해 동공의 크기를 검출한다. 몇몇 실시예들에서, 눈 추적 시스템은 또한 디스플레이에 대한 사용자의 동공(또는 눈)의 응시 각 또는 위치를 검출한다.

몇몇 실시예들에서, 컴퓨팅 시스템(102)은 디스플레이(101)의 휘도 세기에 기초하여 동공의 크기를 추정한다. 예를 들어, 사용자의 머리에 고정되는 HMD에서, 단지 디스플레이(101)와 사용자의 눈(208)의 눈 사이에서의 광만이 디스플레이의 휘도임을 가정할 수 있다. 따라서, 컴퓨팅 시스템(102)은 디스플레이(101)의 휘도(또는 세기)에 대해 수신되고, 액세스되거나, 또는 알려진 정보를 사용하며 눈의 동공의 크기를 보간하거나 또는 추정할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 사용자의 눈(208)과 디스플레이(101) 간에 존재하는 광의 세기를 측정하는 하나 이상의 센서들(224)에 연결될 수 있다. 컴퓨팅 시스템(102)은 그 후 눈(208)의 동공의 크기를 식별하고, 추정하거나, 또는 산출하기 위해 하나 이상의 센서들(224)로부터의 정보 또는 디스플레이의 알려진 휘도를 사용할 수 있다. 예를 들어, 컴퓨팅 시스템(102)은 사용자의 동공 크기를 추정하기 위해 디스플레이의 휘도에 대한 정보를 사용하여 선형 또는 가중 보간을 수행할 수 있다. 몇몇 실시예들에서, 디스플레이의 휘도에 동공 크기를 연관시키는 선형 또는 가중 보간 그래프 또는 식이 미리 결정되며 저장 디바이스(113) 내에 또는 컴퓨팅 시스템(102) 내에 저장될 수 있다. 몇몇 실시예들에서, 저장 디바이스(113)는 눈과 디스플레이 사이에서의 면적 또는 디스플레이의 다수의 휘도 세기 값들 및 이들 조건들하에서 눈의 각각의 가능성 있는, 미리 측정된 동공 크기를 포함하는 룩-업 테이블을 포함할 수 있다.

동작 402에서, 적어도 동공의 크기에 기초한 세기 맵이 결정된다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 식별된 동공의 크기에 기초하여 세기 맵을 결정한다. 예를 들어, 컴퓨팅 시스템(102)은 저장 디바이스(113) 내에 저장된 복수의 세기 맵들로부터 식별된 동공 크기에 대응하는 세기 맵을 선택하거나 또는 액세스할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 동공의 식별된 크기보다 크거나 또는 작은 동공 크기에 대응하는 제1 세기 맵을 선택하거나 또는 액세스할 수 있다. 컴퓨팅 시스템(102)은 그 후 제1 세기 맵으로부터 세기 맵을 보간하거나 또는 추정할 수 있다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 동공의 식별된 크기보다 작은 동공 크기에 대응하는 제1 세기 맵 및 동공의 식별된 크기보다 큰 동공 크기에 대응하는 제2 세기 맵을 선택하거나 또는 액세스할 수 있다. 컴퓨팅 시스템(102)은 그 후 제1 세기 맵과 제2 세기 맵 사이에서 선형 또는 가중 보간을 사용하여 세기 맵을 보간하거나 또는 추정할 수 있다. 예를 들어, 저장 디바이스(113) 내에 저장된 복수의 세기 맵들은 각각 별개의 동공 크기(예컨대, 2.5mm, 3.0mm, 3.5mm, 4.0mm, 4.5mm, 5.0mm 등)에 대응할 수 있다. 일 예에서, 동공의 식별된 크기가 2.5mm인 경우, 컴퓨팅 시스템(102)은 2.5mm 동공 크기에 대응하는 세기 맵을 액세스할 수 있다. 또 다른 예에서, 동공의 식별된 크기가 2.7mm인 경우, 컴퓨팅 시스템(102)은 2.5mm 동공 크기에 대응하는 세기 맵을 액세스하며 2.7mm 동공에 대한 세기 맵을 보간하거나 또는 추정할 수 있다. 또 다른 예에서, 동공의 식별된 크기가 2.7mm인 경우, 컴퓨팅 시스템(102)은 2.5mm 동공 크기에 대응하는 세기 맵을 액세스하며 3.0mm 동공 크기에 대응하는 세기 맵을 액세스하고 3.0mm 동공 크기에 대응하는 세기 맵 및 2.5mm 동공 크기에 대응하는 세기 맵을 사용하여 2.7mm 동공 크기에 대한 세기 맵을 보간하거나 또는 추정할 수 있다. 예를 들어, 눈(208)의 동공의 크기에 기초하여 세기 맵을 결정하는 하나의 예시적인 구현이 이하에서 도 5를 참조하여 설명된다.

몇몇 실시예들에서, 컴퓨팅 시스템(102)은 눈(208)의 동공의 크기 및 눈(208)의 위치 또는 응시 각에 기초하여 세기 맵을 결정한다. 예를 들어, 몇몇 실시예들에서, 저장 디바이스(113)에 저장된 복수의 맵들의 각각은 눈의 위치 및 동공 크기에 대응할 수 있다. 몇몇 실시예들에서, 복수의 맵들은 제1 세트의 세기 맵들 및 제2 세트의 세기 맵들을 포함할 수 있다. 이 예에서, 제1 세트의 세기 맵들의 각각은 동공 크기에 대응할 수 있으며 제2 세트의 세기 맵들의 각각은 눈의 위치 또는 응시 각에 대응할 수 있다. 예에서, 컴퓨팅 시스템(102)이 눈을 디스플레이에 대하여 제1 위치에 있으며 제1 동공 크기를 갖는 것으로 식별하는 경우, 컴퓨팅 시스템(102)은 제1 위치 및 제1 동공 크기에 대응하는 세기 맵을 액세스하거나, 결정하거나, 또는 선택할 수 있다. 또 다른 예에서, 컴퓨팅 시스템(102)은 4개의 세기 맵들을 액세스하며 세기 맵을 결정하기 위해 그것들을 보간할 수 있다. 예를 들어, 컴퓨팅 시스템(102)은 눈을 (예컨대, 위치 1.5에서의) 제1 위치에 있으며 제1 동공 크기(예컨대, 2.7mm)를 갖는 것으로 식별할 수 있다. 컴퓨팅 시스템(102)은 그 후 복수의 세기 맵들로부터 (예컨대, 위치 1에서의) 제1 위치에 인접하는 제2 위치 및 식별된 동공 크기보다 작은 동공 크기(예컨대, 2.5mm)에 대응하는 제1 세기 맵, (예컨대, 위치 2에서의) 제1 위치에 인접한 제3 위치 및 식별된 동공 크기보다 작은 동공 크기(예컨대, 2.5mm)에 대응하는 제2 세기 맵, (예컨대, 위치 1에서의) 제1 위치에 인접하는 제2 위치 및 식별된 동공 크기보다 큰 동공 크기(예컨대, 3.0mm)에 대응하는 제3 맵, (예컨대, 위치 2에서의) 제1 위치에 인접한 제3 위치 및 식별된 동공 크기보다 큰 동공 크기(예컨대, 3.0mm)에 대응하는 제2 세기 맵을 액세스할 수 있다. 컴퓨팅 시스템(102)은 그 후 세기 맵을 결정하기 위해 제1, 제2, 제3, 및 제4 세기 맵들을 보간할 수 있다. 예를 들어, 눈(208)의 동공의 크기 및 눈(208)의 위치 또는 응시 각에 기초하여 세기 맵을 결정하는 일 예시적인 구현이 이하에서 도 6을 참조하여 설명된다.

동작 403에서, 이미지의 적어도 일부분의 세기 값들은 세기 맵을 사용하여 조정된다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)(예컨대, 이미지 생성기(160))은 세기 맵을 사용하여 이미지의 적어도 일부의 세기 값들을 조정한다. 예를 들어, 세기 맵은 이미지 품질을 개선하기 위해 세기 값들이 일정량만큼 조정될 필요가 있음을 이미지의 하나 이상의 부분들에 대해 나타낼 수 있다. 일 예에서, 세기 맵은 제1 부분(예컨대, 디스플레이의 최상부 좌측 코너에서 픽셀들의 첫 10×10 블록)이 10%만큼(예컨대, 또는 10 유닛들만큼) 적색 세기를 감소시키고, 15%만큼(예컨대, 또는 15 유닛들만큼) 청색 세기를 감소시키며, 5%만큼(예컨대, 5 유닛들만큼) 녹색 세기를 증가시킬 필요가 있음을 나타낸다. 이 예에서, 이미지 생성기(160) 또는 컴퓨팅 시스템(102)은 세기 맵에서 표시된 양들만큼 디스플레이되거나 또는 디스플레이될 이미지의 제1 부분의 대응하는 세기 값들을 변경할 수 있다. 이러한 방식으로, 디스플레이상에서의 이미지는 적어도 동공 크기에 기초하여 조정될 수 있으며, 이것은 이미지들의 프리젠테이션 품질 및 그에 따라 사용자 경험을 증가시킨다.

도 5는 예시적인 실시예에 따라 세기 맵을 보간하는 다이어그램(500)을 묘사한다. 다이어그램(500)은 2.5mm의 동공 크기에 대응하는 제1 세기 맵(501) 및 3.0mm의 동공 크기에 대응하는 제2 세기 맵(502)을 포함한다. 다이어그램(500)은 또한 2.8mm의 동공 크기에 대응하는 보간된 최종 세기 맵(503)을 포함한다. 즉, 예에서, 컴퓨팅 시스템(102)은 디스플레이를 보는 사용자의 논의 동공 크기를 2.8mm인 것으로 식별하였다. 컴퓨팅 시스템(102)은 그 후 제1 세기 맵(501) 및 제2 세기 맵(502)을 액세스하였다. 동작 550에서, 제1 세기 맵(501) 및 제2 세기 맵(502)은 세기 맵(503)을 생성하기 위해 함께 보간된다. 동작 550은 선형 보간 또는 가중 보간을 포함할 수 있다. 동작 550의 입력들은 제1 세기 맵(501)(예컨대, 세기 값들의 제1 행렬), 제1 세기 맵(510)의 대응하는 동공 크기(예컨대, 2.5mm), 제2 세기 맵(502)(예컨대, 세기 값들의 제2 행렬), 제2 세기 맵(520)의 대응하는 동공 크기(예컨대, 3.0mm), 및 식별된 동공 크기(예컨대, 2.8mm)를 포함할 수 있다. 동작 550은 그 후 식별된 동공 크기(예컨대, 2.8mm)에 대응하는 최종 세기 맵(503)을 출력한다. 최종 세기 맵(503)은 그 후 이미지를 조정하기 위해 컴퓨팅 시스템(102)(예컨대, 및/또는 이미지 생성기(160))에 의해 사용될 수 있다.

도 6은 예시적인 실시예에 따라 세기 맵을 보간하는 다이어그램(600)을 묘사한다. 다이어그램(600)은 4개의 세기 맵들 및 세기 맵(605)을 포함한다. 제1 세기 맵(601)은 눈의 제1 위치(예컨대, 위치 1) 및 제1 동공 크기(예컨대, 2.5mm)에 대응한다. 제2 세기 맵(602)은 제2 위치(예컨대, 위치 2) 및 제1 동공 크기(예컨대, 2.5mm)에 대응한다. 제3 세기 맵(603)은 제1 위치(예컨대, 위치 1) 및 제2 동공 크기(예컨대, 3.0mm)에 대응한다. 제4 세기 맵(604)은 제2 위치(예컨대, 위치 2) 및 제2 동공 크기(예컨대, 3.0mm)에 대응한다. 이 예에서, 컴퓨팅 시스템(102)은 눈의 위치를 제1과 제2 위치들 사이에서의 위치(예컨대, 위치 1.3)에 있으며 2.8mm의 동공 크기를 갖는 것으로 식별하였다. 따라서, 컴퓨팅 시스템(102)은 식별된 위치 및 동공 크기에 대응하는 세기 맵(예컨대, 최종 세기 맵(605))을 결정하기 위해 식별된 위치 및 동공 크기에 인접한 4개(또는 이상)의 별개의 세기 맵들을 복수의 세기 맵들로부터 액세스하거나 또는 선택한다.

이 예에서, 컴퓨팅 시스템(102)은 동공 크기(예컨대, 2.8mm) 및 제1 위치에 대응하는 세기 맵을 생성하기 위해 프로세스 661에서 제1 세기 맵(601)과 제3 세기 맵(603)을 함께 보간할 수 있다. 컴퓨팅 시스템(102)은 또한 동공 크기(예컨대, 2.8mm) 및 제2 위치에 대응하는 세기 맵을 생성하기 위해 프로세스 660에서 제2 세기 맵(602)과 제4 세기 맵(604)을 보간할 수 있다. 컴퓨팅 시스템(102)은, 프로세스 662에서, 식별된 위치(예컨대, 위치 1.3) 및 식별된 동공 크기(예컨대, 2.8mm)에 대응하는 세기 맵(605)을 생성하거나, 결정하거나, 또는 추정하기 위해 프로세스 661로부터의 동공 크기(예컨대, 2.8mm) 및 제1 위치에 대응하는 세기 맵 및 프로세스 660으로부터의 동공 크기(예컨대, 2.8mm) 및 제2 위치에 대응하는 세기 맵을 보간할 수 있다. 도 5와 유사하게, 보간들의 각각은 선형 또는 가중 보간들일 수 있다. 도 6은 예로서 의도되며, 몇몇 실시예들에서, 4개 이상의 그래프들에서의 순서는 상이할 수 있다(예컨대, 보간 위치가 먼저 그 후 동공 크기)는 것이 또한 이해될 것이다.

도 7은 예시적인 실시예에 따라 이미지를 조정하는 다이어그램(700)을 묘사한다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)(예컨대, 또는 이미지 생성기(160))은 디스플레이(101) 상에 제공될 이미지를 수신하거나 또는 생성한다. 예를 들어, 이미지는 태양(750)의 이미지를 포함할 수 있다. 제1 이미지(701)에서, 태양(750)은 디스플레이(101) 상에 제공되지만 적어도 뷰어의 동공의 크기로 인한 결함들을 가진다. 컴퓨팅 시스템(102)은 사용자가 의도된 것으로(예컨대, 최소 결함들을 가진) 이미지를 지각하도록 제1 이미지를 조정하기 위해 결정된 세기 맵(702)을 사용한다. 컴퓨팅 시스템(102)(예컨대, 이미지 생성기(160)를 통해)은 그 후 세기 맵(702)을 사용하여 이미지의 하나 이상의 부분들의 세기 값들을 조정한다. 예를 들어, 세기 맵(702)(예컨대, 값들의 행렬)은 제1 이미지의 각각의 부분의 세기 값들이 세기 맵(702) 내에 표시된 양만큼 조정되도록 제1 이미지(701)(예컨대, 또는 제1 이미지에 대응하는 이미지 데이터)로 중첩될 수 있다. 몇몇 실시예들에서, 제1 이미지(701)의 각각의 부분은 적색 세기 조정의 양, 청색 세기 조정의 양, 및 녹색 세기 조정의 양만큼 조정된다. 조정의 결과로서, 조정된 이미지(703)는 그 후 사용자에 의해 지각될 수 있다. 조정된 이미지(702)는 태양(750)의 의도된 이미지를 더 정확하게 묘사한다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 그것이 디스플레이상에 제공되기 전에 세기 맵(702)을 사용하여 제1 이미지(701)를 조정한다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 동공의 위치 및 크기를 모니터링하고 이미지에 대한 조정을 위해 사용되는 세기 맵(702)을 업데이트함으로써 연속적으로(또는 거의 연속적으로) 이미지를 조정한다. 몇몇 실시예들에서, 컴퓨팅 시스템(102)은 먼저 세기 맵(702)을 결정하며 그 후 조정된 이미지(703)를 디스플레이하기 전에 세기 맵(702)에 의도된 이미지의 각각의 픽셀의 값들을 부가한다.

몇몇 실시예들에서, 저장 디바이스(113)는 세기 맵 데이터베이스를 포함할 수 있다. 몇몇 실시예들에서, 세기 맵 데이터베이스는 단지 하나의 세기 맵만을 포함할 수 있다. 예를 들어, 컴퓨팅 시스템(102)은 사용자의 눈의 응시 각, 사용자의 동공 크기, 또는 착용 가능한 디바이스 내에서의 주변 광 세기에 대한 정보를 모니터링하거나 또는 수신하며 모니터링된 정보의 미리 결정된 임계치들에 기초하여 이미지를 조정할지(예컨대, 세기 맵을 사용하지 않는다) 또는 하나의 세기 맵을 사용하여 이미지를 조정할지를 결정할 수 있다. 예를 들어, 몇몇 실시예들에서, 착용 가능한 디바이스는 동공 크기가 범위(예컨대, 2.5mm 내지 5mm, 또는 5mm 미만) 내에 있는 것으로 결정된다면 이미지를 조정하지 않으며 동공 크기가 범위 밖에 있다면((예컨대, 5mm보다 큰) 하나의 세기 맵을 사용하여 이미지를 조정할 수 있다. 또 다른 예에서, 착용 가능한 디바이스는 착용 가능한 디바이스의 아이박스 내에서의 주변 광의 세기가 미리 결정된 임계치를 초과한다면 이미지를 조정하지 않으며 아이박스 내에서의 주변 광의 세기가 미리 결정된 임계치 미만이면 하나의 세기 맵을 사용하여 이미지를 조정할 수 있다.

몇몇 실시예들에서, 동공 크기는 특정한 사용자에 대한 동공 크기의 사용자 프로필을 얻기 위해 시간에 걸쳐 결정되고 저장된다. 최대 동공 크기 및 최소 동공 크기가 결정될 수 있다. 몇몇 실시예들에서, 최대 양의 조정들을 가진 세기 맵은 최대 동공 크기에 대응하며 최대 음의 조정들을 가진 세기 맵은 최소 동공 크기에 대응한다. 평균 동공 크기가 또한 결정되며 적절한 세기 맵과 연관시킬 수 있다.

이제 몇몇 예시적인 구현들을 설명하였으며, 앞서 말한 것이 예시적이며 제한적이지 않고, 예로서 제공되었다는 것이 명백하다. 특히, 본 출원에서 제공된 예들 중 많은 것은 방법 동작들 또는 시스템 요소들의 특정 조합들을 수반하지만, 이들 동작들 및 이들 요소들은 동일한 목표들을 성취하기 위해 다른 방식들로 조합될 수 있다. 일 구현과 관련하여 논의된 동작들, 요소들 및 특징들은 다른 구현들 또는 구현예들에서 유사한 역할로부터 배제되도록 의도되지 않는다.

본 출원에서 개시된 실시예들과 관련하여 설명된 다양한 프로세스들, 동작들, 예시적인 논리들, 논리 블록들, 모듈들 및 회로들을 구현하기 위해 사용된 하드웨어 및 데이터 프로세싱 구성요소들은 범용 단일- 또는 다중-칩 프로세서, 디지털 신호 프로세서(DSP), 애플리케이션 특정 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA), 또는 다른 프로그램 가능한 논리 디바이스, 이산 게이트 또는 트랜지스터 논리, 이상 하드웨어 구성요소들, 또는 본 출원에서 설명된 기능들을 수행하도록 설계된 그것의 임의의 조합을 갖고 구현되거나 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 기계일 수 있다. 프로세서는 또한 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 함께 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성과 같은, 컴퓨팅 디바이스들의 조합으로서 구현될 수 있다. 몇몇 실시예들에서, 특정한 프로세서들 및 방법들은 주어진 기능에 특정적인 회로부에 의해 수행될 수 있다. 메모리(예컨대, 메모리, 메모리 유닛, 저장 디바이스 등)는 본 발명에서 설명된 다양한 프로세스들, 계층들 및 모듈들을 완성하거나 또는 가능하게 하기 위한 데이터 및/또는 컴퓨터 코드를 저장하기 위한 하나 이상의 디바이스들(예컨대, RAM, ROM, 플래시 메모리, 하드 디스크 저장장치 등)을 포함할 수 있다. 메모리는 휘발성 메모리 또는 비-휘발성 메모리이거나 또는 이를 포함할 수 있으며, 데이터베이스 구성요소들, 오브젝트 코드 구성요소들, 스크립트 구성요소들, 또는 본 발명에서 설명된 다양한 활동들 및 정보 구조들을 지원하기 위한 임의의 다른 유형의 정보 구조를 포함할 수 있다. 대표적인 실시예에 따르면, 메모리는 프로세싱 회로를 통해 프로세서에 통신 가능하게 연결되며 본 출원에서 설명된 하나 이상의 프로세스들을 실행하기 위한(예컨대, 프로세싱 회로 및/또는 프로세서에 의해) 컴퓨터 코드를 포함한다.

본 발명은 다양한 동작들을 성취하기 위해 방법들, 시스템들 및 임의의 기계-판독 가능한 미디어 상에서의 프로그램 제품들을 고려한다. 본 발명의 실시예들은 기존의 컴퓨터 프로세스들을 사용하여, 또는 이러한 또는 또 다른 목적을 위해 통합된, 적절한 시스템을 위한 특수 목적 컴퓨터 프로세서에 의해, 또는 하드와이어드 시스템에 의해 구현될 수 있다. 본 발명의 범위 내에서의 실시예들은 기계-실행 가능한 명령들 또는 데이터 구조들을 운반하거나 또는 그것 상에 저장하기 위한 기계-판독 가능한 미디어를 포함한 프로그램 제품들을 포함한다. 이러한 기계-판독 가능한 미디어는 범용 또는 특수 목적 컴퓨터 또는 프로세서를 가진 다른 기계에 의해 액세스될 수 있는 임의의 이용 가능한 미디어일 수 있다. 예로서, 이러한 기계-판독 가능한 미디어는 RAM, ROM, EPROM, EEPROM, 또는 다른 광학 디스크 저장장치, 자기 디스크 저장장치 또는 다른 자기 저장 디바이스들, 또는 기계-실행 가능한 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 운반하거나 또는 저장하기 위해 사용될 수 있으며 범용 또는 특수 목적 컴퓨터 또는 프로세서를 가진 다른 기계에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 상기의 조합들은 또한 기계-판독 가능한 미디어의 범위 내에 포함된다. 기계-실행 가능한 명령들은, 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 특수 목적 프로세싱 기계들이 특정한 기능 또는 기능들의 그룹을 수행하게 하는 명령들 및 데이터를 포함한다.

본 출원에서 사용된 어법 및 용어는 설명의 목적을 위한 것이며 제한적인 것으로 간주되지 않아야 한다. 본 출원에서 "포함시키는", "포함하는", "가진", "함유하는", "수반하는", "~에 의해 특성화되는", "~라는 점에서 특성화되는" 및 그것의 변형들의 사용은 이후 나열된 아이템들, 그것의 등가물들, 및 부가적인 아이템들, 뿐만 아니라 이후 나열된 아이템들로 이루어진 대안적인 구현들을 배타적으로 포함하도록 의도된다. 일 구현예에서, 본 출원에서 설명된 시스템들 및 방법들은 설명된 요소들, 동작들, 또는 구성요소들 중 하나, 하나 이상의 각각의 조합, 또는 모두로 이루어진다.

본 출원에서 단수형으로 참조된 시스템들 및 방법들의 구현들 또는 요소들 또는 동작들에 대한 임의의 참조들은 복수의 이들 요소들을 포함한 구현들을 또한 포괄할 수 있으며, 본 출원에서 임의의 구현 또는 요소 또는 동작에 대한 복수형으로의 임의의 참조들은 또한 단지 단일 요소만을 포함한 구현들을 포괄할 수 있다. 단수형 또는 복수형 형태에서의 참조들은 현재 개시된 시스템들 또는 방법들, 그것들의 구성요소들, 동작들, 또는 요소들을 단일 또는 복수형 구성들에 제한하도록 의도되지 않는다. 임의의 정보, 동작 또는 요소에 기초하는 임의의 동작 또는 요소에 대한 참조들은 동작 또는 요소가 임의의 정보, 동작, 또는 요소에 적어도 부분적으로 기초하는 구현들을 포함할 수 있다.

본 출원에서 개시된 임의의 구현은 임의의 다른 구현 또는 실시예와 조합될 수 있으며, "구현", "몇몇 구현들", "일 구현" 등에 대한 참조들은 반드시 상호 배타적인 것은 아니며 구현과 관련하여 설명된 특정한 특징, 구조, 또는 특성이 적어도 하나의 구현 또는 실시예에 포함될 수 있음을 나타내도록 의도된다. 본 출원에서 사용된 바와 같이 이러한 용어들은 반드시 모두가 동일한 구현을 나타내는 것은 아니다. 임의의 구현은 본 출원에서 개시된 양상들 및 구현들과 부합하는 임의의 방식으로, 포괄적으로 또는 배타적으로, 임의의 다른 구현과 조합될 수 있다.

도면들, 상세한 설명 또는 임의의 청구항에서의 기술적 특징들이 참조 부호들로 이어지는 경우, 참조 부호들은 도면들, 상세한 설명, 및 청구항들의 이해도를 증가시키기 위해 포함되었다. 따라서, 참조 부호들도 그것들의 부재도 임의의 청구항 요소들의 범위에 임의의 제한적인 효과를 갖지 않는다.

본 출원에서 설명된 시스템들 및 방법들은 그것의 특성들로부터 벗어나지 않고 다른 특정 형태들로 구체화될 수 있다. 추가의 상대적인 평행, 직각, 수직 또는 다른 배치 또는 배향 설명들은 완전한 수직, 평행 또는 직각 배치의 +/-10% 또는 +/-10도 내에서의 변화들을 포함한다. "대략", "약", "대체로" 또는 정도의 다른 용어들에 대한 참조들은 달리 명확하게 표시되지 않는다면 주어진 측정치, 유닛, 또는 범위로부터 +/-10%의 변화들을 포함한다. 결합된 요소들은 직접 또는 매개 요소들을 갖고 서로 전기적으로, 기계적으로, 또는 물리적으로 결합될 수 있다. 본 출원에서 설명된 시스템들 및 방법들의 범위는 따라서 앞서 말한 설명보다는, 첨부된 청구항들에 의해 표시되며, 청구항들의 등가물의 의미 및 범위 내에 있는 변화들이 그 안에 포괄된다.

용어 "결합된" 및 그것의 변형들은 서로에 직접 또는 간접적으로 두 개의 부재들의 접합을 포함한다. 이러한 접합은 정지되거나(예컨대, 영구적 또는 고정된) 또는 이동 가능할(예컨대, 착탈 가능한 또는 해제 가능한) 수 있다. 이러한 접합은 두 개의 부재들이 서로 직접 결합되고, 두 개의 부재들이 서로 결합된 별개의 매개 부재 및 임의의 부가적인 중간 부재들을 사용하여 서로 결합되거나, 또는 두 개의 부재들이 두 개의 부재들 중 하나와 단일 통합 몸체로서 일체형으로 형성되는 매개 부재를 사용하여 서로 결합되어 달성될 수 있다. "결합된" 또는 그것의 변형들이 부가적인 용어(예컨대, 직접 결합된)에 의해 수정된다면, 상기 제공된 "결합된"의 일반적인 정의는 부가적인 용어에 대한 평이한 언어 의미에 의해 수정되어(예컨대, "직접 결합된"은 임의의 별개의 매기 부재 없이 두 개의 부재들의 접합을 의미한다), 상기 제공된 "결합된"의 일반적인 정의보다 좁은 정의를 야기한다. 이러한 결합은 기계적이고, 전기적이거나, 또는 유동적일 수 있다.

"또는"에 대한 참조들은 "또는"을 사용하여 설명된 임의의 용어들이 단일, 하나 이상, 및 설명된 용어들 모두 중 임의의 것을 나타낼 수 있도록 포괄적인 것으로 해석될 수 있다. "'A' 및 'B' 중 적어도 하나"에 대한 참조는 단지 'A', 단지 'B', 뿐만 아니라 'A' 및 'B' 둘 모두를 포함할 수 있다. "포함하는" 또는 다른 개방형 용어와 함께 사용된 이러한 참조들은 부가적인 아이템들을 포함할 수 있다.

다양한 요소들의 크기들, 치수들, 구조들, 형태들 및 비율, 파라미터들의 값들, 장착 배열, 재료들의 사용, 컬러들, 배향들에서의 변화들과 같은 설명된 요소들 및 동작들의 수정들은 실질적으로 본 출원에서 개시된 주제의 교시들 및 이점들로부터 벗어나지 않고 일어날 수 있다. 예를 들어, 일체형으로 형성된 것으로 도시된 요소들은 다수의 부분들 또는 요소들로 구성될 수 있고, 요소들의 위치는 역전되거나 또는 그 외 변경될 수 있으며, 별개의 요소들 또는 위치들의 특징 또는 수는 변경되거나 또는 달라질 수 있다. 다른 대체들, 수정들, 변화들, 및 생략이 또한 본 발명의 범위로부터 벗어나지 않고 개시된 요소들 및 동작들의 설계, 동작 조건들 및 배열에서 이루어질 수 있다.

본 출원에서 요소들의 위치들에 대한 참조들(예컨대, "최상부", "최하부", "위", "아래")은 단지 도면들에서 다양한 요소들의 배향을 설명하기 위해 사용된다. 다양한 요소들의 배향은 다른 대표적인 실시예들에 따라 달라질 수 있으며 이러한 변화들은 본 발명에 의해 포함되도록 의도된다.

Claims

하나 이상의 프로세서들에 결합된 비-일시적 컴퓨터-판독 가능한 저장 매체로서, 인코딩된 명령들을 갖는, 상기 비-일시적 컴퓨터-판독 가능한 저장 매체에 있어서,
상기 명령들은 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
디스플레이상에 제공된 이미지를 보는 사용자의 동공의 크기를 식별하게 하고;
적어도 상기 동공의 크기에 기초하여 세기 맵(intensity map)을 결정하게 하고 - 상기 세기 맵은 상기 이미지의 적어도 일부분의 세기 값들에 대한 조정의 양을 나타냄 -;
상기 세기 맵을 사용하여 상기 이미지의 적어도 일부분의 세기 값들을 조정하게 하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항에 있어서, 상기 하나 이상의 프로세서들로 하여금 눈 추적 시스템으로부터 상기 동공의 크기를 수신하게 하기 위한 프로그램 명령들을 더 저장하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제2항에 있어서, 상기 하나 이상의 프로세서들로 하여금 상기 눈 추적 시스템으로부터 상기 사용자의 응시 각을 수신하게 하고 적어도 상기 동공의 크기 및 상기 사용자의 응시 각에 기초하여 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 더 저장하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들로 하여금 적어도 상기 디스플레이상에 제공된 이미지의 세기 및 주변 광에 기초하여 상기 동공의 크기를 추정함으로써 상기 동공의 크기를 식별하게 하기 위한 프로그램 명령들을 더 저장하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항 내지 제4항 중 어느 한 항에 있어서,
복수의 세기 맵들로부터 상기 세기 맵을 선택함으로써 - 상기 세기 맵은 상기 동공의 크기에 대응하며, 상기 복수의 세기 맵들 각각은 상기 동공의 상이한 크기에 대응함 -,
상기 하나 이상의 프로세서들로 하여금 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 더 저장하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항 내지 제5항 중 어느 한 항에 있어서,
복수의 세기 맵들로부터 제1 세기 맵을 선택하고 - 상기 제1 세기 맵은 상기 동공의 더 작은 크기에 대응함 -,
적어도 상기 동공의 크기 및 상기 제1 세기 맵에 기초하여 상기 세기 맵을 보간함으로써,
상기 하나 이상의 프로세서들로 하여금 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 더 저장하며;
바람직하게는,
상기 복수의 세기 맵들로부터 제2 세기 맵을 선택하고 - 상기 제2 세기 맵은 상기 동공의 더 큰 크기에 대응함 -,
상기 동공의 크기, 상기 제1 세기 맵, 및 상기 제2 세기 맵에 기초하여 상기 세기 맵을 보간함으로써,
상기 하나 이상의 프로세서들로 하여금 상기 세기 맵을 결정하게 하기 위한 프로그램 명령들을 더 저장하며;
바람직하게는 상기 보간은 선형 보간 알고리즘 또는 가중 보간 알고리즘을 포함하는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 세기 맵은 기준 이미지의 적색, 녹색, 및 청색 세기 값들에 대응하도록 상기 이미지의 적색, 녹색, 및 청색 세기 값들에 대한 조정의 미리 결정된 양을 나타내는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 디스플레이는 도파관 및 투영 디바이스를 더 포함하며, 상기 투영 디바이스는 상기 도파관을 향해 광 빔을 투영하도록 구성되고, 상기 도파관은 상기 광 빔을 수신하고 상기 디스플레이상에 이미지를 제공하도록 구성되고; 바람직하게는 상기 하나 이상의 프로세서들로 하여금 상기 디스플레이의 투영 디바이스로 신호를 송신함으로써 상기 이미지를 조정하게 하기 위한 프로그램 명령들을 더 저장하고, 상기 신호는 상기 디스플레이상에 제공된 상기 이미지의 부분에 대응하는 적색, 녹색, 및 청색 세기 값들을 조정하기 위해 상기 투영 디바이스가 광 빔의 적어도 일부분을 조정하게 하도록 구성되는, 비-일시적 컴퓨터-판독 가능한 저장 매체.
착용 가능한 디바이스의 디스플레이상에서 이미지를 조정하는 방법에 있어서:
착용 가능한 디바이스의 프로세서에 의해, 디스플레이상에 제공된 이미지를 보는 사용자의 동공의 크기를 결정하는 단계;
상기 프로세서에 의해, 적어도 상기 동공의 크기에 기초하여 세기 맵을 결정하는 단계; 및
상기 세기 맵을 사용하여 상기 이미지의 적어도 일부분을 조정하는 단계를 포함하는, 이미지를 조정하는 방법.
제9항에 있어서, 상기 세기 맵을 결정하는 단계는:
메모리로부터 상기 프로세서에 의해, 복수의 세기 맵들로부터 상기 세기 맵을 선택하는 단계로서, 상기 복수의 세기 맵들 각각은 동공의 각각의 크기에 대응하는, 상기 세기 맵을 선택하는 단계를 더 포함하는, 이미지를 조정하는 방법.
제9항 또는 제10항에 있어서,
상기 세기 맵을 결정하는 단계는:
메모리로부터 상기 프로세서에 의해, 복수의 세기 맵들로부터 제1 세기 맵을 선택하는 단계로서, 상기 제1 세기 맵은 상기 동공의 더 작은 크기에 대응하는, 상기 제1 세기 맵을 선택하는 단계; 및
적어도 상기 동공의 크기 및 상기 제1 세기 맵에 기초하여 상기 세기 맵을 보간하는 단계를 더 포함하며;
바람직하게는 상기 세기 맵을 결정하는 단계는:
상기 복수의 세기 맵들로부터 제2 세기 맵을 선택하는 단계로서, 상기 제2 세기 맵은 상기 동공의 더 큰 크기에 대응하는, 상기 제2 세기 맵을 선택하는 단계; 및
상기 동공의 크기, 상기 제1 세기 맵, 및 상기 제2 세기 맵에 기초하여 상기 세기 맵을 보간하는 단계를 더 포함하는, 이미지를 조정하는 방법.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 세기 맵을 결정하는 단계는 적어도 상기 동공의 크기 및 상기 사용자의 응시 각에 기초하여 상기 세기 맵을 선택하는 단계를 더 포함하는, 이미지를 조정하는 방법.
제9항 내지 제12항 중 어느 한 항에 있어서, 상기 세기 맵은 기준 이미지의 적색, 녹색, 및 청색 세기 값들에 대응하도록 상기 이미지의 부분을 조정하기 위한 적색, 녹색, 및 청색 세기 값들의 양을 나타내는 사전-구성된 맵인, 이미지를 조정하는 방법.
제9항 내지 제13항 중 어느 한 항에 있어서,
상기 디스플레이상에 상기 이미지를 제공하는 단계는:
투영 디바이스를 통해, 도파관 디스플레이를 향해 광 빔을 투영하는 단계; 및
상기 도파관 디스플레이상에, 상기 광 빔에 대응하는 이미지를 제공하는 단계를 포함하며;
바람직하게는 상기 이미지를 조정하는 단계는, 상기 디스플레이의 투영 디바이스로 신호를 송신하는 단계를 더 포함하며, 상기 신호는 상기 디스플레이상에 제공된 이미지의 부분에서 적색, 녹색, 및 청색 세기 값들을 조정하도록 상기 투영 디바이스가 광 빔의 적어도 일부분을 조정하게 하도록 구성되는, 이미지를 조정하는 방법.
헤드 장착 디스플레이에 있어서:
사용자의 머리 상에 착용되도록 구성된 하우징;
상기 사용자에게 이미지를 제공하도록 구성된 상기 하우징의 디스플레이; 및
인코딩된 명령들을 갖는 비-일시적 컴퓨터-판독 가능한 저장 매체에 결합된 하나 이상의 프로세서들을 포함하며,
상기 명령들은 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
적어도 상기 사용자의 동공의 크기에 관한 정보에 기초하여 세기 맵을 결정하게 하고 - 상기 세기 맵은 상기 이미지의 적어도 일부분의 적색, 녹색, 및 청색 세기 값들에 대한 조정의 양을 나타냄 -;
상기 세기 맵을 사용하여 상기 이미지의 적어도 일부분의 적색, 녹색 및 청색 세기 값들을 조정하게 하는, 헤드 장착 디스플레이.