KR20160123346A - 초점 이동에 반응하는 입체적 디스플레이 - Google Patents

Abstract

디스플레이 매트릭스를 갖는 입체적 디스플레이 시스템 상에 가상 이미지를 디스플레이하기 위한 방법. 가상 이미지는 사용자의 눈에 가시적인 개별적으로 랜더링가능한 자취들의 면을 나타낸다. 방법은, 가시 면의 각 자취에 대해, 디스플레이 매트릭스의 픽셀을 조명하는 단계를 포함한다. 조명되는 픽셀은 입체적 디스플레이 시스템에 의해 결정되는 눈의 동공 위치에 기반하여 선택된다. 가시 면의 각 자취에 대해, 조명되는 픽셀의 가상 이미지는 눈의 전방의 평면 내에 형성된다. 가상 이미지는 자취, 평면, 및 동공 위치를 통과하는 직선 상에 위치된다. 이러한 방식으로, 가상 이미지는 사용자의 동공 위치에 있어서의 변경을 추적한다.

Description

초점 이동에 반응하는 입체적 디스플레이{STEREOSCOPIC DISPLAY RESPONSIVE TO FOCAL-POINT SHIFT}

본 발명은 초점 이동에 반응하는 입체적 디스플레이에 관한 것이다.

최근, 3차원(three-dimensional; 3D) 디스플레이 기술은 특히 소비 시장에서 급격한 성장을 겪고 있다. 이제 고해상도 3D 안경들 및 바이저들이 가능하다. 관련된 이미지들을 우측 및 좌측 눈에 입체적으로 투사하기 위한 최신의(state-of-the-art) 마이크로프로젝션 기술을 사용하여, 이들 디스플레이 시스템들은 착용자를 그럴듯한(convincing) 가상 현실에 몰두하게 할 수 있다. 그럼에도 불구하고, 3D 디스플레이 시스템들에 대해 어떤 도전과제들이 남아 있다. 하나의 도전과제는 착용자의 초점에 있어서의 시시각각의(moment-to-moment) 변경들에도 불구하고, 가상 이미지를 깊이에 관하여 정확하게 위치시키는 것이다.

본 개시의 일 실시예는 디스플레이 매트릭스를 갖는 입체적 디스플레이 시스템 상에 가상 이미지를 디스플레이하기 위한 방법을 제공한다. 가상 이미지는 사용자의 눈에 가시(viewable)적인 개별적으로 랜더링가능한 자취(locus)들의 면(surface)을 나타낸다. 방법은, 가시 면(viewable surface)의 각 자취에 대해, 디스플레이 매트릭스의 픽셀을 조명하는 단계를 포함한다. 조명되는 픽셀은 입체적 디스플레이 시스템에 의해 결정되는 눈의 동공 위치에 기반하여 선택된다. 가시 면의 각 자취에 대해, 조명되는 픽셀의 가상 이미지는 눈의 전방의 평면 내에 형성된다. 가상 이미지는 자취, 평면, 및 동공 위치를 통과하는 직선 상에 위치된다. 이러한 방식으로, 가상 이미지는 사용자의 동공 위치에 있어서의 변경을 추적한다.

본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 제한시키려는 의도도 없다. 뿐만 아니라, 청구된 발명내용은 본 개시의 임의의 부분에서 언급된 단점들 모두 또는 그 일부를 해결하는 구현예들에 제한되지 않는다.

도 1은 일 예시에서의 착용가능한 입체적 디스플레이 시스템 및 컴퓨터 시스템의 양태들을 도시한다.
도 2는 예시적인 우측 또는 좌측 광학 시스템 및 연관된 디스플레이 윈도우의 양태들을 도시한다.
도 3 및 도 4는 일 예시에서의 가상 객체의 입체적 디스플레이를 예시한다.
도 5는 예시적인 동공 위치 및 눈에 관한 회전의 그 중심을 도시한다.
도 6은 입체적 디스플레이 시스템 상에 가상 이미지를 디스플레이하기 위한 예시적인 방법을 예시한다.
도 7은 입체적 디스플레이 시스템의 착용자의 동공 위치들을 예측하기 위한 예시적인 기하학적 모델의 양태들을 도시한다.
도 8은 사용자의 동공 위치들을 예측하기 위해 입체적 디스플레이 시스템에 의해 사용되는 파라미터 값들을 결정하기 위한 예시적인 방법을 예시한다.
도 9는 예시적인 컴퓨팅 시스템의 양태들을 도시한다.

이제 본 개시의 양태들이 예시에 의해 또한 위에 나열된 예시적 실시예들을 참조하여 설명될 것이다. 하나 이상의 실시예들에서 실질적으로 동일할 수 있는 컴포넌트들, 프로세스 단계들, 및 다른 엘리먼트들은 대등하게 식별되며 반복을 최소화하여 설명된다. 그러나, 대등하게 식별되는 엘리먼트들이 또한 어느 정도 상이할 수 있다는 점이 언급될 것이다. 본 개시 내에 포함되는 도면들이 개략적인 것이며 일반적으로 축척대로 도시되지 않은 점이 또한 언급될 것이다. 이보다는, 도면들 내에 도시된 다양한 도면 축척들, 애스팩트 비율들, 및 컴포넌트들의 개수들은, 어떤 피처들 또는 관계들을 보다 쉽게 보게 하기 위해 의도적으로 왜곡될 수 있다.

도 1은 외장(off-board) 컴퓨터 시스템(12A)에 함께 동작하도록(operatively) 커플링되는 착용가능한 입체적 디스플레이 시스템(10)의 양태들을 도시한다. 예시된 디스플레이 시스템은 보통의 안경류와 유사하다. 디스플레이 시스템은 착용자의 얼굴 상에 위치될 코 다리(16)와 함께 귀에 맞는 프레임(14)을 포함한다. 디스플레이 시스템은 또한 우측 디스플레이 윈도우(18R) 및 좌측 디스플레이 윈도우(18L)를 포함한다. 몇몇 실시예들에서, 우측 및 좌측 디스플레이 윈도우들(18)(즉, 18R 및 18L)은 착용자가 그들 주위를 명확하게 볼 수 있도록 착용자의 관점으로부터 전체적으로 또는 부분적으로 투명하다. 이 특징은 ‘증강 현실(augmented reality; AR)’의 일루젼을 위해, 컴퓨터화된 디스플레이 이미지가 주위로부터의 이미지와 혼합되도록 한다.

몇몇 실시예들에서, 디스플레이 이미지는 컴퓨터 시스템(12A)으로부터 디스플레이 시스템(10)에 실시간으로 전송된다. 컴퓨터 시스템은 예를 들어, 게임 콘솔, 데스크탑 컴퓨터, 또는 서버 시스템일 수 있다. 다른 실시예들에서, 컴퓨터 시스템은 랩탑 또는 태블릿 컴퓨터, 스마트폰, 핸드헬드 게이밍 디바이스 등일 수 있다. 디스플레이 이미지는 임의의 적절한 형식 - 즉, 전송 신호 및 데이터 구조의 타입 - 으로 전송될 수 있다. 디스플레이 이미지를 인코딩하는 신호는 임의의 종류의 유선 또는 무선 통신 링크를 통해 디스플레이 시스템의 마이크로컨트롤러(12B)에 전달될 수 있다. 다른 실시예들에서, 외장 컴퓨터 시스템(12A)에서 기인하는 본원에서의 몇몇 또는 모든 기능은 디스플레이 시스템(10)의 마이크로컨트롤러(12B), 또는 다른 내장(on-board) 로직 시스템에서 대신 실행될 수 있다. 따라서, 컴퓨터 시스템(12A)은 몇몇 실시예에서 필수적이지 않을 수 있다.

계속해서 도 1에서, 마이크로컨트롤러(12B)는 우측 및 좌측 광학 시스템들(20R 및 20L)에 함께 동작하도록 커플링된다. 예시된 실시예에서, 마이크로컨트롤러는 우측 및 좌측 광학 시스템들을 따라, 디스플레이 시스템 프레임 내에 은폐된다. 마이크로컨트롤러는, 자신이 컴퓨터 시스템(12A)으로부터 디스플레이 이미지를 수신할 수 있도록 적절한 입력/출력(IO) 컴포넌트를 포함할 수 있다. 마이크로컨트롤러는 또한 위치 감지 컴포넌트(22) - 예를 들어, 머리 배향 및/또는 이동 등을 가늠하기 위한 글로벌 포지셔닝 시스템(global-positioning system; GPS) 수신기 또는 관성 측정 유닛(inertial measurement unit; IMU) - 를 포함할 수 있다. 디스플레이 시스템(10)이 동작 중일 때, 마이크로컨트롤러(12B)는 우측 광학 시스템(20R)에 적절한 제어 신호들을 송신하고, 이는 우측 광학 시스템이 우측 디스플레이 윈도우(18R) 내에 우측 디스플레이 이미지를 형성하도록 한다. 마찬가지로, 마이크로컨트롤러는 좌측 광학 시스템(20L)에 적절한 제어 신호들을 송신하고, 이는 좌측 광학 시스템이 좌측 디스플레이 윈도우(18L) 내에 좌측 디스플레이 이미지를 형성하도록 한다. 디스플레이 시스템의 착용자는 각각 우측 및 좌측 눈을 통해 우측 및 좌측 디스플레이 이미지를 본다. 우측 및 좌측 디스플레이 이미지가 적절한 방식으로 구성되어 나타내어질 때, 착용자는 가상 이미지 - 즉, 특정 위치들에 있고, 특정 3D 컨텐츠 및 다른 디스플레이 특성들을 갖는 하나 이상의 가상 객체들 - 의 일루젼을 경험한다. 그러한 가상 이미지는 임의의 희망하는 복잡성을 가질 수 있는데, 가상 이미지는 예를 들어 전경 및 배경 부분들 둘 다를 갖는 완전한 가상 장면을 포함할 수 있다.

도 2는 하나의 비제한적인 실시예에서의 우측 또는 좌측 광학 시스템(20) 및 연관된 디스플레이 윈도우(18)의 양태들을 도시한다. 광학 시스템은 백라이트(backlight)(24) 및 액정 디스플레이(liquid-crystal display; LCD) 매트릭스(26)를 포함한다. 백라이트는 발광 다이오드(light-emitting diode; LED)들의 앙상블(ensemble) - 예를 들어, 화이트 LED들 또는 레드, 그린, 및 블루 LED들의 분배 - 을 포함할 수 있다. 백라이트는, 마이크로컨트롤러(12B)로부터의 제어 신호들에 기반하여 디스플레이 이미지를 형성하는 LCD 매트릭스를 통해 그 방출을 지향하도록 위치될 수 있다. LCD 매트릭스는 직사각형 그리드 또는 다른 기하학적 구조 상에 배열되는 다수의 개별적으로 어드레싱가능한 픽셀들을 포함할 수 있다. 몇몇 실시예들에서, 레드 광을 전송하는 픽셀들은, LCD 매트릭스가 컬러 이미지를 형성하도록 그린 및 블루 광을 전송하는 픽셀들과 매트릭스 내에서 병치(juxtapose)될 수 있다. LCD 매트릭스는 일 실시예에서 액정 온 실리콘(liquid-crystal-on-silicon; LCOS) 매트릭스일 수 있다. 다른 실시예들에서, 디지털 마이크로미러 어레이가 LCD 매트릭스 대신 사용될 수 있거나, 또는 능동 LED 매트릭스가 대신 사용될 수 있다. 또 다른 실시예들에서, 우측 및 좌측 디스플레이 이미지들을 형성하기 위해 주사 빔(scanned-beam) 기술이 사용될 수 있다. 요컨대, 본원에 개시된 입체적 랜더링 기술들은 임의의 적절한 디스플레이 기술과 함께 사용될 수 있다.

계속해서 도 2에서, 광학 시스템(20)은 또한 디스플레이 시스템(10)의 착용자의 우측 또는 좌측 눈(28)의 동공 위치를 감지하도록 구성되는 눈 추적 컴포넌트를 포함한다. 도 2의 실시예에서, 눈 추적 컴포넌트는 착용자의 눈에서 반사되는 눈 램프(30)로부터의 광을 이미징하는 이미징 시스템의 형식을 취한다. 눈 램프는 눈을 조명하도록 구성되는 적외선 또는 근적외선(near-infrared) LED를 포함할 수 있다. 일 실시예에서, 눈 램프는 눈의 각막(34) 상에 정반사성 글린트(specular glint)(32)를 형성하도록, 비교적 좁은 각도 조명을 제공할 수 있다. 이미징 시스템은 눈 램프의 방출 파장 범위 내의 광을 이미징하도록 구성되는 적어도 하나의 카메라(36)를 포함한다. 이 카메라는 눈으로부터 반사되는, 눈 램프로부터의 광을 캡처하도록 배열되고 또한 구성될 수 있다. 카메라로부터의 이미지 데이터는 마이크로컨트롤러(12B) 내의 또는 컴퓨터 시스템(12A) 내의 연관된 로직에 전달된다. 그 점에서, 이미지 데이터는 동공 중심(38), 동공 윤곽(40), 및/또는 각막으로부터의 하나 이상의 정반사성 글린트들(32)과 같은 피처들을 분석하도록 프로세싱될 수 있다. 이미지 데이터 내의 그러한 피처들의 위치들은, 피처 위치를 눈의 응시 벡터(42)에 관련시키는 모델 - 예를 들어, 다항(polynomial) 모델 - 에 있어서의 입력 파라미터들로서 사용될 수 있다. 착용자의 응시 벡터는 AR 응용들에서 다양한 방식으로 사용될 수 있다. 예를 들어, 응시 벡터는, 착용자의 현재 초점을 변경하지 않고, 착용자가 분석할 수 있는 알림 또는 다른 가상 객체를 어디에 또한 어떤 거리로 디스플레이할지 결정하도록 사용될 수 있다.

대부분의 경우들에서, LCD 매트릭스(26)로부터의 디스플레이 이미지는 디스플레이 시스템(10)의 착용자가 바로 보기에 적절하지 않을 것이다. 특히, 디스플레이 이미지는 착용자의 눈으로부터 상쇄될 수 있고, 바람직하지 않은 버전스(vergence) 및/또는 매우 작은 사출 동공(exit pupil)(즉, 착용자의 해부학적 동공과 혼동되지 않아야 하는, 디스플레이 광의 릴리즈 영역)을 가질 수 있다. 이들 문제들의 관점에서, LCD 매트릭스로부터의 디스플레이 이미지는 아래에서 더욱 설명되는 바와 같이, 착용자의 눈으로 가기 까지의 도중에 더 조절될 수 있다.

도 2의 실시예에서, LCD 매트릭스(26)로부터의 디스플레이 이미지는 수직 동공 확장기(expander)(44) 내에 수신된다. 수직 동공 확장기는 디스플레이 이미지를 착용자의 시야 내로 낮추고, 이와 같이 함으로써, 디스플레이 이미지의 사출 동공을 ‘수직’ 방향으로 확장시킨다. 이 문맥에서, 수직 방향은 착용자의 눈 사이를 잇는 축 및 착용자가 바라보고 있는 방향에 직교하는 방향이다. 수직 동공 확장기(44)로부터, 디스플레이 이미지는 디스플레이 윈도우(18)에 커플링되거나 또는 디스플레이 윈도우(18)로서 구현될 수 있는 수평 동공 확장기 내에 수신된다. 다른 실시예들에서, 수평 동공 확장기는 디스플레이 윈도우와 구별될 수 있다. 어떤 방식이든, 수평 동공 확장기는 디스플레이 이미지의 사출 동공을 ‘수평’ 방향으로 확장시킨다. 수평 방향은, 이 문맥에서, 디스플레이 시스템(10)의 착용자의 눈 사이를 잇는 축에 평행한 방향 - 즉, 도 2에서 페이지를 뚫고 들어가고 나오는 “‡향 - 이다. 수평 및 수직 동공 확장기들을 통과함으로써, 디스플레이 이미지는 실질적으로 눈을 커버하는 영역에 걸쳐 나타내어진다. 이는, 착용자가 광학 시스템과 눈 사이의 적절한 범위의 수평 및 수직 상쇄들을 통해 디스플레이 이미지를 볼 수 있도록 한다. 실제로, 이 상쇄들의 범위는, 착용자들 사이의 해부학적 눈 위치에 있어서의 가변성, 디스플레이 시스템(10)에 있어서의 제조 공차(manufacturing tolerance) 및 재료 유연성(material flexibility), 및 착용자의 머리 상의 디스플레이 시스템의 부정확한 위치와 같은 요소들을 반영할 수 있다.

몇몇 실시예들에서, 광학 시스템(20)은 디스플레이 이미지의 버전스를 조정하기 위해, LCD 매트릭스(26)로부터의 디스플레이 이미지에 광학 배율(optical power)을 적용할 수 있다. 그러한 광학 배율은 수직 및/또는 수평 동공 확장기들에 의해, 또는 LCD 매트릭스로부터의 디스플레이 이미지를 수직 동공 확장기에 커플링하는 렌즈(46)에 의해 제공될 수 있다. 예를 들어, 광선들이 LCD 매트릭스로부터 수렴성(convergent) 또는 발산성(divergent)으로 나오면, 광학 시스템은 광선들이 수신되어 착용자의 눈에 시준되도록 이미지 버전스를 반전시킬 수 있다. 이 전략은 멀리 떨어진 가상 객체의 디스플레이 이미지를 형성하도록 사용될 수 있다. 마찬가지로, 광학 시스템은 고정된 또는 조정가능한 발산을 착용자의 전방에 한정된 거리에 위치되는 가상 객체와 일치하는 디스플레이 이미지에 부여하도록 구성될 수 있다. 렌즈(46)가 전기적으로 조율가능한 렌즈인 몇몇 실시예들에서, 디스플레이 이미지의 버전스는, 착용자와 디스플레이되고 있는 가상 이미지 사이의 거리에 기반하여 동적으로 조정될 수 있다.

가상 디스플레이 이미지까지의 거리의 착용자의 인지는, 디스플레이 이미지 버전스에 의해서 뿐만아니라, 우측 및 좌측 디스플레이 이미지들 사이의 위치적 차이에 의해서도 영향을 받는다. 이 원리는 도 3의 예시에 의해 예시된다. 도 3은 예시의 목적을 위해 서로 오버레이되는, 우측 및 좌측 이미지 프레임들(48R 및 48L)을 도시한다. 우측 및 좌측 이미지 프레임들은 각각 우측 및 좌측 광학 시스템들의 LCD 매트릭스(26)의 이미지 형성 영역들에 대응한다. 그와 같이, 우측 이미지 프레임은 우측 디스플레이 이미지(50R)를 둘러싸고, 좌측 이미지 프레임은 좌측 디스플레이 이미지(50L)를 둘러싼다. 우측 및 좌측 디스플레이 이미지들은 적절히 랜더링되어, 착용자에게 가상 이미지로서 나타날 수 있다. 도 3의 예시에서, 가상 이미지는 착용자가 볼 수 있는 개별적으로 랜더링가능한 자취들의 면을 나타낸다. 도 4를 참조하면, 가시 면의 각 자취(i)는 우측 및 좌측 디스플레이 이미지들의 각 픽셀(X_i, Y_i)과 연관된 깊이 좌표(Z_i)를 갖는다. 희망하는 깊이 좌표는 다음의 방식으로 시뮬레이션될 수 있다.

처음에, 디스플레이 시스템(10)의 초점면(F)까지의 거리(Z₀)가 선택된다. 좌측 및 우측 광학 시스템들은 이어서, 선택된 거리에 적절한 버전스에서 시스템들의 개별적인 디스플레이 이미지들을 나타내도록 구성된다. 일 실시예에서, Z₀은 각 광학 시스템이 시준 광선들의 형식으로 디스플레이 이미지를 나타내도록, ‘무한’으로 설정될 수 있다. 다른 실시예에서, Z₀은 각 광학 시스템이 발산 광(diverging light)의 형식으로 디스플레이 이미지를 나타낼 것을 필요로 하는, 2 미터로 설정될 수 있다. 몇몇 실시예들에서, Z₀은 설계시에 선택될 수 있고 디스플레이 시스템에 의해 나타내어지는 모든 가상 이미지들에 대해 변경되지 않은 채 남아 있을 수 있다. 다른 실시예들에서, 광학 시스템들은, 가상 이미지가 나타내어질 거리들의 범위에 따라 Z₀이 동적으로 변화하도록, 전기적으로 조정가능한 광학 배율로 구성될 수 있다.

초점면까지의 거리(Z₀)가 확립되면, 가시 면 상의 모든 자취(i)에 대한 깊이 좌표(Z)가 설정될 수 있다. 이는, 우측 및 좌측 디스플레이 이미지들에 있어서의 자취(i)에 대응하는 2개의 픽셀들의 위치적 차이를, 이미지들의 개별적인 이미지 프레임들에 관련하여 조정함으로써 행해진다. 도 4에서, 우측 이미지 프레임에 있어서의 자취(i)에 대응하는 픽셀은 R_i로 표시되고, 좌측 이미지 프레임의 대응하는 픽셀은 L_i로 표시된다. 도 4에서, 위치적 차이는 포지티브이다 - 즉, R은 오버레이된 이미지 프레임들에 있어서 L_i의 우측에 있다 - . 이는 자취(i)가 초점면(F) 후방에 나타나도록 한다. 위치적 차이가 네거티브이면, 자취는 초점면의 전방에 나타날 것이다. 최종적으로, 우측 및 좌측 디스플레이 이미지들이 중첩되면(차이 없음, R_i 및 L_i 일치), 이때 자취는 초점면 바로 위에 놓여 나타날 것이다. 본 개시를 임의의 특정 이론과 결부시키지 않고, 위치적 차이(D)는 다음 식에 의해 Z, Z₀, 및 착용자의 동공간 거리(interpupilary distance; IPD)에 관련될 수 있다.

위에서 설명된 접근법에서, 우측 및 좌측 디스플레이 이미지들의 대응하는 픽셀들 사이에 도입하고자 하는 위치적 차이는 ‘수평 차이’이다 - 즉, 디스플레이 시스템(10)의 착용자의 동공간 축에 평행한 차이 - . 수평 차이는, 우측 및 좌측 눈에 수신되는 실제 객체의 이미지들이 동공간 축을 따라 자연적으로 생쇄되는 사람의 시각 시스템 상의 실제 객체 깊이의 효과를 모방한다.

이전의 분석의 관점에서, 임의의 희망하는 복잡성의 가상 이미지는 다음의 방식으로 랜더링될 수 있다. 일 실시예에서, 컴퓨터 시스템(12A) 또는 마이크로컨트롤러(12B) 내의 로직은, 디스플레이 시스템(10)에 대해 고정된 참조 프레임 내에, 착용자의 전방에, 카테시안 공간(Cartesian space)의 모델을 유지한다. 착용자의 동공 위치들은, 미리결정된 깊이(Z₀)에 위치되는 이미지 프레임들(48R 및 48L)과 같이, 이 공간 상에 맵핑된다(독자는 도 3 및 도 4로 다시 안내된다). 이어서, 이미지의 가시 면의 각 자취(i)가 공통 참조 프레임 내에 좌표들(X_i, Y_i, 및 Z_i)을 갖는 가상 이미지(52)가 구성된다. 가시 면의 각 자취에 대해, 2개의 라인 세그먼트들 - 착용자의 우측 눈의 동공 위치에 대한 제 1 라인 세그먼트 및 착용자의 좌측 눈의 동공 위치에 대한 제 2 라인 세그먼트 - 이 구성된다. 자취(i)에 대응하는 우측 디스플레이 이미지의 픽셀(R_i)은 우측 이미지 프레임(48R) 내의 제 1 라인 세그먼트의 교차점으로 취해진다. 마찬가지로, 좌측 디스플레이 이미지의 픽셀(L_i)은 좌측 이미지 프레임(48L) 내의 제 2 라인 세그먼트의 교차점으로 취해진다. 이 프로시저는, 가시 면을 정확히 랜더링하도록 적절한 양의 시프팅 및 스케일링을 자동으로 제공하여, 착용자로부터의 필요되는 거리에 모든 자취(i)를 위치시킨다.

위에서의 프로시저에 있어서의 하나의 어려움의 근원은, 이 프로시저가 착용자의 동공 위치 또는 적어도 IPD들의 정확한 추정을 필요로 한다는 점이다. 그러나, 동공 위치들은, 한명의 착용자로부터 다음 착용자에 대해, 상이한 시나리오들에서 동일한 착용자에 대해 변화할 수 있다. 예를 들어, 사람이 임의의 한정된 거리에서 실제 또는 가상 객체에 대한 초점을 시프팅할 때, 눈 근육들은 시력이 가장 좋은 눈의 중심와(fovea) 상에 그 객체를 이미징하도록, 자신의 수직 축에 대해 각 눈을 회전시킴으로써 반응한다. 이 반응은 동공 위치들을 변경시키고 따라서 위에서 설명된 바와 같이 가상 이미지의 랜더링에 있어서의 문제를 나타낸다. 요약하면, 위의 식은 우측과 좌측 이미지들 사이의 적절한 위치적 차이가 IPD의 함수라는 점을 입증한다. 그러나, IPD는 착용자가 자취 근방 또는 멀리에 초점을 두고 있는지의 여부에 따라 수 미리미터 정도 변경될 수 있다.

이 문제는 착용자의 동공 위치들에 있어서의 변경을 자동으로 추적하도록 디스플레이 시스템을 구성함으로써 처리될 수 있다. 동공 위치를 추정하기 위한 2개의 모드들 - 센서 모드 및 예측 모드 - 이 구상된다. 이들 모드들은 상이한 실시예들에서 분리적으로 사용될 수 있지만, 또한 추가적인 이점들을 위해 동일한 실시예에서 조합될 수 있다. 센서 모드는 가상 이미지의 전체 배치를 지원하도록 디스플레이 시스템(10) 내에 제공될 수 있는 눈 추적 컴포넌트를 활용한다. 눈 추적 컴포넌트는 착용자의 응시 벡터들에 기반하여 착용자의 동공 위치들을 감지한다. 예측 모드는, 디스플레이되고 있는 가상 이미지에 기반하여 착용자의 응시 벡터들에 관해 지능적 예측들을 행함으로써 동공 위치를 추정한다.

동공 위치들에 대해 바로 이미징하는 것의 이점들에도 불구하고, 일반적으로 실시간으로 동공 위치를 추적하는 것은 바람직하지 않을 수 있다. 우선, 짧은 또는 심지어 장기적인 기간 동안 안구(ocular)의 초점이 디스플레이 컨텐츠를 따라 시프팅하면, 착용자의 눈이 빠른 시프팅 이동을 행할 것이라는 점이 예상된다. 디스플레이 이미지에 대해 이들 시프트들을 지속적으로 추적하는 것이 혼란스럽거나 또는 기피될 수 있다. 또한, 동공 위치의 결정과 연관된 노이즈가 있을 수 있다. 디스플레이 이미지에 대해 그러한 노이즈에 반응하여 주변으로 시프트하는 것이 혼란스러울 수 있다. 최종적으로, 정확한, 디스플레이 이미지의 실시간 조정과 함께 시시각각의 눈 추적은 이용가능한 것보다 많은 연산 능력(compute power)을 필요로 할 수 있다.

위에서의 문제들 각각을 처리하기 위한 한가지 방식은 동공 위치 대신에 눈의 회전 중심을 감지하거나 예측하는 것이다. 일 실시예에서, 눈의 회전 중심은 시간에 따라 기록되는 동공 위치의 연속적인 측정으로부터 결정될 수 있다. 도 5는 일 실시예에서의 이 접근법의 양태들을 도시한다. 사실상, 회전 중심(C)은 동공 위치(K)에 대해 보다 안정적이고 노이즈가 적은 대안으로서 사용될 수 있다. 자연적으로, 이 근사법은 착용자가 앞을 똑바로 보고 있을 때, 회전의 중심이 동공 바로 후방에 있어서 가장 유효하고, 착용자가 위, 아래, 또는 측방을 보고 있을 때 적게 유효하다.

다양한 변형예들이 본 개시의 사상 및 범위 내에 있기 때문에, 이전의 설명 또는 도면들의 어떤 양태도 제한적인 의미로 해석되어서는 안된다. 예를 들어, 도 1의 디스플레이 시스템(10)이, 우측 디스플레이 이미지가 우측 디스플레이 윈도우 후방에 나타나고, 좌측 디스플레이 이미지가 좌측 디스플레이 윈도우 후방에 나타나는 근안(near-eye) 디스플레이 시스템일지라도, 우측 및 좌측 디스플레이 이미지들은 또한 동일한 스크린 상에 형성될 수 있다. 예를 들어, 랩탑 컴퓨터를 위한 디스플레이 시스템, 또는 개인적인 시청을 위해 구성되는 홈시어터 시스템에서, 우측 디스플레이 이미지는 하나의 편광 상태(polarization state)의 광을 사용하여 디스플레이 스크린 상에 형성될 수 있고, 좌측 디스플레이 이미지는 상이한 편광 상태의 광을 사용하여 동일한 디스플레이 스크린 상에 형성될 수 있다. 사용자의 안경류 내에 직교하여 정렬된 편광 필터들은, 각 디스플레이 이미지가 적절한 눈에 수신되는 점을 보장하도록 사용될 수 있다. 또한, 눈 추적 컴포넌트는 모든 디스플레이 시스템 실시예들에서 필수적이지는 않다.

위에서 설명된 구성들은 다양한 방법들이 가상 이미지를 디스플레이하도록 한다. 위에서의 구성들에 대한 참조를 이어가면서 몇몇 그러한 방법들이 이제 예시에 의해 설명된다. 그러나, 본원에서 설명되는 방법들 및 본 개시의 범위 내의 다른 방법들이 상이한 구성들에 의해서도 사용가능하다는 점이 이해될 것이다.

도 6은 착용가능한 디스플레이 시스템과 같은 입체적 디스플레이 시스템 상에 가상 이미지를 디스플레이하기 위한 예시적인 방법(54)을 도시한다. 본원에서 위에 언급된 바와 같이, 가상 이미지는 사용자의 눈을 통해 볼 수 있는 개별적으로 랜더링가능한 자취들의 면을 나타낸다.

방법(54)의 단계(56)에서, 디스플레이 시스템 내에서 동공 위치를 결정하는 센서 모드가 현재 인에이블될지의 여부가 결정된다. 자연적으로, 이 단계는 눈 추적 컴포넌트가 없는 구성들에서 생략될 수 있다. 그러나, 눈 추적 컴포넌트가 이용가능할지라도 종종 센서 모드가 디스에이블되는 시나리오들이 구상된다. 이는, 예를 들어 절전(power-save) 상태 동안 일어날 수 있다. 몇몇 실시예들에서, 센서 모드는 - 예를 들어, 불규칙한 눈의 기하학적 구조 또는 사용자가 착용한 컨택트 렌즈들로 인해 눈 추적이 신뢰적이지 않으면 - 자체 진단(self-diagnostic)에 의해 디스에이블될 수 있다. 몇몇 실시예들에서, 센서 모드는, 대안적인 예측 모드가 허용가능한 랜더링 정확도를 산출할 것이라고 결정되면, 디스에이블될 수 있다. 다른 실시예들에서, 센서 모드는, 사용자에게 나타내어질 가상 이미지의 거리 범위에 따라 인에이블되거나 또는 디스에이블될 수 있다.

센서 모드가 인에이블되면, 이어서 방법은 한쪽 또는 양쪽 눈의 동공 위치가 감지되는 단계(58)로 진행한다. 일 실시예에서, 동공 위치를 감지하는 것은 입체적 디스플레이 시스템의 눈 추적 컴포넌트에서 우측 및/또는 좌측 눈의 이미지를 획득하고 분석하는 액트들을 포함할 수 있다. 이를 위해, 우측 또는 좌측 눈의 이미지 또는 양쪽 눈의 이미지들 내에서 하나 이상의 안구 특징들을 식별하도록 디스플레이 시스템의 마이크로컨트롤러(12B) 내에 특화된 로직이 구성될 수 있다. 식별될 수 있는 예시적인 안구 특징들은 동공 중심, 동공 윤곽, 또는 눈의 각막으로부터의 하나 이상의 정반사성 글린트들을 포함할 수 있다. 단독으로 또는 조합으로, 그러한 안구 특징들은 눈 이미지들의 참조 프레임 내에서 사용자의 동공 위치들을 추정하는데 사용될 수 있다. 디스플레이 이미지 랜더링을 위해 이 정보를 사용하기 위해, 각각의 눈 이미지들의 참조 프레임들이 - 기하학적 구조 변형을 통해 - 가상 이미지들이 디스플레이될 참조 프레임과 관련된다.

방법(54)의 단계(60)에서, 루프가 시작된다. 방법은, 디스플레이될 가상 이미지의 가시 면의 각 자취에 대해 반복된다. 각 자취(i)에 대해, 우측 디스플레이 매트릭스의 픽셀이 조명을 위해 선택된다. 픽셀은, 입체적 디스플레이 시스템에 의해 결정됨에 따른 우측 눈의 동공 위치에 추가하여, 자취의 좌표들(X_i, Y_i, Z_i)에 기반하여 선택된다. 픽셀은, 디스플레이 시스템의 광학 구성의 관점 - 즉, 그 픽셀의 이미지가 어느 좌표들에서 형성될 것인가 - 에 대해 선택된다. 디스플레이 시스템은 사용자의 눈의 전방의 초점면(F)에 디스플레이 매트릭스의 각 픽셀의 이미지를 형성하도록 구성될 수 있다. 그러나, 선택된 픽셀은, 그 픽셀에 따라 형성되는 가상 이미지가, 자취(i)를 통과하고, 초점면(F)을 통과하고, 디스플레이 시스템에 의해 결정됨에 따른 우측 동공 위치를 통과하는 직선 상에, 그 픽셀에 대해 위치되는, 하나의 픽셀이 될 것이다. 다시, 동공 위치는, 디스플레이 시스템이 센서 모드(본원에서 위에 설명됨)에서 또는 예측 모드(본원에서 이후 설명됨)에서 동작하는지의 여부에 따라 감지되거나 예측될 수 있다. 유사한 방식으로, 가시 면의 각 자취에 대해, 좌측 디스플레이 매트릭스의 좌측 픽셀이 조명을 위해 선택된다. 좌측 픽셀은, 입체적 디스플레이 시스템에 의해 결정됨에 따른 좌측 눈의 동공 위치에 추가하여, 자취(i)의 특정 좌표들에 기반하여 선택된다. 우측 및 좌측 눈의 동공 위치들이 함께 취해져 사용자의 현재 IPD를 규정한다. 위의 식에서 언급된 바와 같이, IPD는 대응하는 우측과 좌측 픽셀 이미지들 사이의 필요되는 수평 차이에 대한 깊이 좌표(Z_i)와 관련된다. 따라서, 예시된 방법은, 사용자의 초점 변경에 따른 IPD 변경에 대해 교정하기 위해 실행 중인 IPD 추정의 반복되는 조정을 효과적으로 제공한다. 동일한 조정은 또한 상이한 사용자들 사이의 해부학적 IPD 가변성에 대해 교정한다.

계속해서 도 6에서, 방법(54)의 단계(62)에서, 선택된 픽셀들이 희망하는 레벨의 휘도(brightness)로 조명된다. 디스플레이 시스템이 컬러 디스플레이 시스템인 실시예들에서, 휘도뿐만 아니라 희망하는 컬러에 있어서의 자취를 랜더링하도록, 디스플레이 매트릭스의 레드 픽셀 및 병치되는 블루 및 그린 픽셀들의 조명이 함께 조정될 수 있다. 이 프로세스는 가상 이미지의 가시 면의 각 자취(i)에 대해 반복된다. 자연적으로, 용어들 ‘루핑’, ‘반복’ 등은, 예를 들어 현대의 그래픽 프로세싱 유닛에서 실행되는 것과 같은 병렬 프로세싱을 배제하지 않는다.

단계(56)에서, 센서 모드가 인에이블되지 않은 것으로 결정되면, 이어서 방법은 동공 위치가 예측 모드에서 추정되는, 단계(65)로 진행한다. 예측 모드의 본질은 디스플레이 시스템이 적어도 몇몇 시나리오들에서 사용자의 초점을 예측할 수 있다는 점이다. 초점 및 사용자의 해부학적 구조의 지식에 기반하여, 시스템은 사용자의 응시 벡터들을 재구성할 수 있으므로 우측 및 좌측 동공 위치들 및 그 사이의 IPD 둘 다를 추정할 수 있다. 일반적으로, 사용자의 초점은, 디스플레이되고 있는 가상 이미지의 타겟 자취와 일치하는 것으로 가정된다. 따라서, 도 6 내의 예시적인 예측 모드는 가상 이미지의 타겟 자취의 식별과 함께 시작한다.

타겟 자취는 본 개시의 상이한 실시예들에서 상이하게 식별될 수 있다. 일 실시예에서, 타겟 자취는 가상 이미지의 가장 밝은 또는 가장 두드러진(prominent) 자취일 수 있다. 다른 실시예에서, 타겟 자취는 가상 이미지의 가장 가까운 자취일 수 있다. 몇몇 시나리오들에서, 가령 가상 이미지가 하나의 가상 객체만을 포함할 때, 타겟 자취는 가상 이미지의 중심일 수 있다. 보다 복잡한 시나리오들에서, 타겟 자취는 체험(heuristic)에 기반하여 결정될 수 있다. 예를 들어, 타겟 자취는 하나의 가상 객체만이 이동하고 있는 경우, 이동하고 있는 가상 객체의 중심일 수 있다.

몇몇 실시예들 및 사용 시나리오들에서, 입체적 디스플레이 시스템(10)은 다수 사용자 디바이스로서 구성될 수 있다. 그와 같이, 복수의 사용자 프로파일들은 마이크로컨트롤러(12B) 내에 저장되고/되거나 마이크로컨트롤러(12B)에 의해 액세스가능할 수 있다. 선택적으로, 예측 모드(64)는 입체적 디스플레이 시스템의 현재 사용자를 저장된 사용자 프로파일들 중 하나에 매칭시키는 액트를 포함할 수 있다. 매칭은 컴퓨터 시스템(12A)의 입력 디바이스를 통한, 음성 인식과 같은 자연 사용자 입력을 통한, 또는 자동으로 입체적 디스플레이 시스템의 식별 감지 컴포넌트를 통한 직접 사용자 입력에 의해 행해질 수 있다. 그러한 식별 감지 컴포넌트는, 디스플레이 시스템의 프레임 상의 손가락 또는 엄지손가락 지문 센서, 또는 카메라(36)와 함께 사용되는 아이리스 매칭(iris-matching) 로직을 포함할 수 있다. 적절한 사용자 프로파일이 식별된 후, 그 프로파일은 동공 위치들을 예측하는데 사용되는 어떤 파라미터 값들을 불러오도록 오픈될 수 있다. 그러한 파라미터들은 다른 것들 중에서도, (a) 사용자의 눈 사이의 거리와 관련시킬 수 있는 눈 위치 파라미터, 및 (b) 사용자의 눈의 사이즈와 관련시킬 수 있는 눈 사이즈 파라미터를 포함할 수 있다. 일 실시예에서, 눈 위치 파라미터는, 사용자가 멀리 있는 객체 상에 전방으로 초점을 둘 때, 사용자의 IPD에 대해 수학적으로 감소가능할 수 있다. 눈 사이즈 파라미터는 사용자의 안구 직경에 대해 수학적으로 감소가능할 수 있다. 그러한 파라미터들을 복수의 사용자 프로파일들 각각 내에 저장함으로써, 예측되는 동공 위치 및 실효(working) IPD는 상이한 사용자들 사이의 눈 위치 및/또는 눈 치수들에 있어서의 변화에 반응하여 구성된다. 입체적 디스플레이 시스템이 단일 사용자 디바이스인 대안적인 실시예들에서, 단일 세트의 파라미터들은 마이크로컨트롤러 내에 저장되고 공통으로 모든 사용자들에 적용될 수 있다.

눈 위치 및 눈 사이즈 파라미터 값들은 사용자에 의한 직접 입력을 통하는 것 또는 카메라들(36)로부터의 이미지 데이터를 통하는 것을 포함하는, 임의의 적절한 방식으로 결정될 수 있다. 몇몇 실시예들에서, 이 목적을 위해 사용가능한 이미지 데이터는 어느 정도의 사용자에 의한 적극적인 참여로 획득될 수 있다. 예를 들어, 입체적 디스플레이 시스템에 대한 캘리브레이션(calibration) 프로시저 동안, 사용자는 카메라가 사용자의 눈의 이미지들을 획득하는 동안 멀리 있는 객체를 똑바로 보도록 요청받을 수 있다. 마이크로컨트롤러(12B) 내의 로직은 이어서 눈 위치 및 눈 사이즈 파라미터 값들을 추출하도록 이미지 데이터를 분석할 수 있다. 도 8(아래를 보라)은 파라미터 값들을 결정하기 위한 또 다른 방법을 예시한다.

눈 위치 및 눈 사이즈 파라미터 값들이 결정된 후, 도 7의 모델과 유사한 기하학적 모델을 구성하는 것이 가능해진다. 입체적 디스플레이 시스템(10)이 대칭적으로 착용자의 얼굴에 맞다고 가정하면, 눈 위치 및 눈 사이즈 파라미터가 함께 취해져, 눈 사이즈 파라미터 값에 기반하여 동공 궤도(O)가 그려질 수 있는 착용자의 눈의 중앙 위치(C)에 대한 추정값을 산출할 것이다. 이어서 예측 모드의 중심 이론 - 즉, 각 동공이 자신의 동공 궤도 상에서, 가상 이미지의 미리결정된 타겟 자취(j)에 가장 가까운 포인트(K)에 있음 - 이 적용된다. 예측된 동공 위치(K)로부터, 실효 IPD 추정값이 획득될 수 있다.

도 8은 사용자의 동공 위치들을 예측하도록 입체적 디스플레이 시스템에 의해 사용되는 하나 이상의 파라미터 값들을 결정하기 위한 예시적인 방법(66)을 예시한다. 방법(66)의 초입에서, 파라미터들 각각에 대한 현재 또는 디폴트 값이 이미 저장되어 있다고 가정할 것이다. 방법의 목적은 착용자의 해부학적 유일함의 관점에서, 현재 사용자에 대해 이들 값들을 최적화하는 것이다.

따라서, 방법(66)의 단계(68)에서, 바람직하게 단순한 가상 객체 - 예를 들어, 사용자가 향하고 있는 방향에 수직인 수직 평면 내의 평평한 객체 - 는 현재 저장된 파라미터 값들에 기반하여 소정 거리(z)에 디스플레이된다. 단계(70)에서, 디스플레이되고 있는 가상 객체의 위치 또는 선명도에 관해 사용자로부터 피드백이 수신된다. 피드백은 가령 사용자가 객체를 선명하게 인지하는지 또한 Z에 위치되었는지의 여부를 나타내는 것이다. 사용자의 피드백은 임의의 적절한 방식 - 수동으로, 구두로 등 - 으로 전달될 수 있다. 또한, 사용자는 임의의 적절한 방식으로 피드백을 제공하도록 유도될 수 있다. 일 예시에서, 단계(68)에서 디스플레이되는 가상 객체는 “이 박스가 당신으로부터 2 미터 떨어져서 나타납니까?”를 묻는 대화 박스일 수 있다. 대화 박스는, 예를 들어 “네”, “아니오, 너무 멀리 있습니다” 및 “아니오, 너무 가까이 있습니다”로 라벨링된 응답 버튼들을 포함할 수 있다.

단계(72)에서, 실효 파라미터 값들이 정확한지의 여부가 효과적으로 결정된다. 특히, 희망하는 거리(Z)에 객체가 나타나는지의 여부가 결정된다. 그렇다면, 방법은 리턴된다. 그렇지 않다면, 실효 파라미터 값들은 단계(74)에서 피드백에 기반하여 조정된다. 예를 들어, 가상 객체가 너무 먼 곳에 나타나면, 이어서 눈 위치 파라미터 값은 - 실효 IPD 추정값을 증가시키도록 효과적으로 - 변경될 수 있다. 방법은 단계(74)로부터, 이어서 거리(Z)에서의 가상 객체의 디스플레이가 다시 시도되는 단계(68)로 리턴된다. 당업자는, 눈 위치 및 눈 사이즈 파라미터 값들을 조정하기 위해 방법(66)의 다양한 변형들이 사용될 수 있다는 점을 자연적으로 이해할 것이다.

이전의 설명으로부터 명백한 바와 같이, 본원에서 설명된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 머신들의 컴퓨팅 시스템에 결부될 수 있다. 그러한 방법들 및 프로세스들은 컴퓨터 애플리케이션 프로그램 또는 서비스, 애플리케이션 프로그래밍 인터페이스(application-programming interface; API), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.

단순화된 형식으로 도 9에 도시된 것은 본원에서 설명된 방법들 및 프로세스들을 지원하는데 사용되는 컴퓨팅 시스템의 비제한적인 예시이다. 컴퓨팅 시스템 내의 각 컴퓨팅 머신(12)은 로직 머신(76) 및 명령어 저장 머신(78)을 포함한다. 컴퓨팅 시스템은 또한 광학 시스템들(20R 및 20L), 통신 시스템들(80A 및 80B), 위치 감지 컴포넌트(22), 및 도 9에 도시되지 않은 다양한 컴포넌트의 형식으로 디스플레이를 포함한다.

각 로직 머신(76)은 명령어들을 실행하도록 구성되는 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 객체들, 컴포넌트들, 데이터 구조들, 또는 다른 로직 구성물들의 일부인 명령어들을 실행하도록 구성될 수 있다. 그러한 명령어들은 태스크를 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변환하거나, 기술적 효과를 달성하거나, 또는 이와 다르게 희망하는 결과에 도달하도록 구현될 수 있다.

각 로직 머신(76)은 소프트웨어 명령어들을 실행하도록 구성되는 하나 이상의 프로세서들을 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신들을 포함할 수 있다. 로직 머신의 프로세서들은 단일 코어 또는 멀티 코어일 수 있고, 이들 상에서 실행되는 명령어들은 순차적, 병렬, 및/또는 분배형 프로세싱을 위해 구성될 수 있다. 선택적으로, 로직 머신의 개별적인 컴포넌트들은 통합 프로세싱을 위해 원격에 위치하고/하거나 구성될 수 있는 두 개 이상의 별개의 디바이스들간에 분배될 수 있다. 로직 머신의 양태들은 클라우드 컴퓨팅 구성 내에 구성된, 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.

각 명령어 저장 머신(78)은 본원에서 설명된 방법들 및 프로세스들을 구현하기 위해, 연관된 로직 머신(76)에 의해 실행가능한 명령어들을 홀딩하도록 구성되는 하나 이상의 물리적 디바이스들을 포함한다. 그러한 방법들 및 프로세스들이 구현될 때, 명령어 저장 머신의 상태는 - 예를 들어, 상이한 데이터를 홀딩하도록 - 변환될 수 있다. 명령어 저장 머신은 탈착가능 및/또는 빌트인 디바이스들을 포함할 수 있고, 명령어 저장 머신은 다른 것들 중에서도, 광학 메모리(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예를 들어, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)을 포함할 수 있다. 명령어 저장 머신은 휘발성, 비휘발성, 동적, 정적, 읽기/쓰기, 읽기 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레싱가능, 파일 어드레싱가능, 및/또는 컨텐츠 어드레싱가능 디바이스들을 포함할 수 있다.

각 명령어 저장 머신(78)이 하나 이상의 물리적 디바이스들을 포함하는 점이 이해될 것이다. 그러나, 본원에서 설명된 명령어들의 양태들은 대안적으로, 한정된 지속기간 동안 물리적 디바이스에 의해 홀딩되지 않는 통신 미디어들(예를 들어, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.

로직 머신(들) 및 명령어 저장 머신(들)의 양태들은 하나 이상의 하드웨어 로직 컴포넌트들 내에 함께 통합될 수 있다. 그러한 하드웨어 로직 컴포넌트들은 예를 들어, FPGA(field-programmable gate array), PASIC/ASIC(program application specific integrated circuit and application specific integrated circuit), PSSP/ASSP(program specific standard product and application specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.

용어 ‘모듈’, ‘프로그램’ 및 ‘엔진’은 특정 기능을 수행하도록 구현되는 컴퓨팅 시스템의 양태들을 설명하기 위해 사용될 수 있다. 몇몇 경우들에서, 모듈, 프로그램, 또는 엔진은 명령어 저장 머신에 의해 홀딩되는 명령어들을 실행시키는 로직 머신을 통해 예시될 수 있다. 상이한 모듈들, 프로그램들, 및/또는 엔진들이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 예시될 수 있다는 점이 이해될 것이다. 마찬가지로, 동일한 모듈, 프로그램, 및/또는 엔진은 상이한 애플리케이션들, 서비스들, 코드 블록들, 객체들, 루틴들, API들, 함수들 등에 의해 예시될 수 있다. 용어 ‘모듈’, ‘프로그램’ 및 ’엔진’은 실행가능한 파일들, 데이터 파일들, 라이브러리들, 드라이버들, 스크립트들, 데이터베이스 레코드들 등의 개개 또는 그룹들을 망라할 수 있다.

본원에서 사용되는 바와 같은 ‘서비스’가 다중 사용자 세션들에 걸쳐 실행가능한 애플리케이션 프로그램인 점이 이해될 것이다. 서비스는 하나 이상의 시스템 컴포넌트들, 프로그램들, 및/또는 다른 서비스들에 이용가능할 수 있다. 몇몇 구현예들에서, 서비스는 하나 이상의 서버 컴퓨팅 디바이스들 상에서 실행될 수 있다.

통신 시스템(80)은 컴퓨팅 머신을 하나 이상의 다른 머신들과 통신가능하게 커플링하도록 구성될 수 있다. 통신 시스템은 하나 이상의 상이한 통신 프로토콜들과 호환가능한 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예시들로서, 통신 시스템은 무선 전화기 네트워크, 또는 유선 또는 무선 근거리 네트워크 또는 광대역 네트워크를 통한 통신을 위해 구성될 수 있다. 몇몇 실시예들에서, 통신 시스템은 컴퓨팅 머신이 인터넷과 같은 네트워크를 통해 다른 디바이스들로 및/또는 다른 디바이스들로부터 메시지들을 송신하고/하거나 수신하도록 할 수 있다.

본원에서 설명된 구성들 및/또는 접근법들이 사실상 예시적인 것이며, 이러한 특정 실시예들 또는 예시들은 수많은 변형들이 가능하기 때문에 한정적인 의미로 간주되어서는 안된다는 점이 이해될 것이다. 본원에서 설명된 특정 루틴들 또는 방법들은 임의의 개수의 프로세싱 전략들 중 하나 이상을 나타낼 수 있다. 그와 같이, 예시되고/되거나 설명된 다양한 액트들은 예시되고/되거나 설명된 시퀀스로, 다른 시퀀스로, 병렬로 수행될 수 있거나, 또는 생략될 수 있다. 마찬가지로, 위에서 설명된 프로세스들의 순서는 변경될 수 있다.

본 개시의 발명내용은 본원에서 개시된 다양한 프로세스들, 시스템들 및 구성들과, 다른 특징들, 기능들, 액트들, 및/또는 특성들의 모든 신규하고 비자명한 조합들 및 서브조합들뿐만이 아니라, 이들의 임의의 그리고 모든 등가물들을 포함한다.

Claims (10)

1. 디스플레이 매트릭스를 갖는 입체적 디스플레이 시스템 상에 가상 이미지 - 상기 가상 이미지는 사용자의 눈에 가시(viewable)적인 개별적으로 랜더링가능한 자취(locus)들의 면(surface)을 나타냄 - 를 위치시키기 위한 방법에 있어서,
   가시 면(viewable surface)의 각 자취에 대해, 상기 디스플레이 매트릭스의 픽셀을 조명하는 - 상기 조명되는 픽셀은 상기 입체적 디스플레이 시스템에 의해 결정됨에 따른 눈의 동공 위치에 기반하여 선택됨 - 단계; 및
   눈의 전방의 평면 내에 픽셀의 가상 이미지 - 상기 가상 이미지는 상기 자취, 상기 평면, 및 상기 동공 위치를 통과하는 직선 상에 위치되고, 상기 동공 위치에 있어서의 변경을 추적함 - 를 형성하는 단계를 포함하는 가상 이미지를 위치시키기 위한 방법.
2. 제 1 항에 있어서, 상기 눈은 상기 사용자의 우측 눈이고, 상기 디스플레이 매트릭스는 우측 디스플레이 매트릭스이며, 상기 픽셀은 우측 픽셀이고, 상기 방법은,
   상기 가시 면의 각 자취에 대해, 좌측 디스플레이 매트릭스의 좌측 픽셀을 조명하는 - 상기 조명되는 좌측 픽셀은 상기 입체적 디스플레이 시스템에 의해 결정됨에 따른 상기 좌측 눈의 동공 위치에 기반하여 선택됨 - 단계; 및
   상기 좌측 눈의 전방의 평면 내에 좌측 픽셀의 가상 이미지 - 상기 가상 이미지는 상기 자취, 상기 평면, 및 상기 좌측 눈의 동공 위치를 통과하는 직선 상에 위치되고, 상기 좌측 눈의 동공 위치에 있어서의 변경을 추적함 - 를 형성하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
3. 제 1 항에 있어서, 상기 입체적 디스플레이 시스템은 착용가능하고, 상기 사용자는 상기 입체적 디스플레이 시스템의 착용자인 것인 가상 이미지를 위치시키기 위한 방법.
4. 제 1 항에 있어서, 상기 동공 위치는 감지된 동공 위치이고, 상기 방법은,
   상기 입체적 디스플레이 시스템의 눈 추적 컴포넌트로 눈의 이미지를 획득하고 분석함으로써 상기 눈의 동공 위치를 감지하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
5. 제 1 항에 있어서, 상기 동공 위치는 예측된 동공 위치이고, 상기 방법은,
   상기 가상 이미지의 미리결정된 타겟 자취에 가장 가까이 있는 눈 상의 포인트로 될 동공 위치를 예측하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
6. 제 1 항에 있어서,
   상기 입체적 디스플레이 시스템의 제 1 동작 모드 동안 동공 위치를 예측하는 단계; 및
   상기 입체적 디스플레이 시스템의 제 2 동작 모드 동안 동공 위치를 감지하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
7. 제 5 항에 있어서, 체험(heuristic)에 기반하여 상기 타겟 자취를 식별하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
8. 제 5 항에 있어서, 상기 타겟 자취는 상기 가상 이미지의 중심(centroid)인 것인 가상 이미지를 위치시키기 위한 방법.
9. 제 5 항에 있어서, 상기 타겟 자취는 상기 가상 이미지의 가장 가까운, 가장 밝은, 또는 가장 두드러진(prominent) 자취인 것인 가상 이미지를 위치시키기 위한 방법.
10. 제 5 항에 있어서, 상기 타겟 자취의 좌표들 및 상이한 사용자들 사이의 눈 위치에 있어서의 변화에 반응하여 저장된 파라미터 값에 기반하여, 예측되는 동공 위치를 연산하는 단계를 더 포함하는 가상 이미지를 위치시키기 위한 방법.
    

Images