KR102386764B1 - 동적 지역 해상도를 가진 가상/증강 현실 시스템 - Google Patents

Abstract

가상 이미지 생성 시스템 및 방법이 제공된다. 3-차원 장면의 복수의 합성 이미지 프레임들은 렌더링되고, 최종 사용자에게 순차적으로 디스플레이된다. 디스플레이된 이미지 프레임들의 각각은 비-균일한 해상도 분포를 가진다.

Description

동적 지역 해상도를 가진 가상/증강 현실 시스템

[0001] 본 발명은 일반적으로 하나 또는 그 초과의 사용자들을 위한 상호작용 가상 또는 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.

[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(AR) 시나리오는 통상적으로 최종 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.

[0003] 예컨대, 도 1을 참조하면, 증강 현실 장면(4)이 도시되고, AR 기술의 사용자는 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(8)을 특징으로 하는 실세계 공원형 세팅(6)을 본다. 이들 아이템들에 외에, AR 기술의 최종 사용자는 또한, 그가 실세계 플랫폼(8) 상에 서있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(12)를 보는 것을 인식하는데, 이들 엘리먼트들(10, 12)은 실세계에 존재하지 않는다. 밝혀진 바와 같이, 인간 시각 인식 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미지 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 표현을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.

[0004] VR 및 AR 시스템들은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링되고, 따라서 최종 사용자의 머리가 이동할 때 이동하는 머리-착용 디스플레이들(또는 헬멧-장착 디스플레이들, 또는 스마트 안경)을 이용한다. 최종 사용자의 머리 모션(motion)들이 디스플레이 시스템에 의해 검출되면, 디스플레이되는 데이터는 머리 포즈(즉, 사용자의 머리의 배향 및/또는 위치)의 변화를 고려하기 위하여 업데이트될 수 있다.

[0005] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3-차원(3D) 객체의 가상 표현을 보면서 3D 객체가 나타나는 영역을 둘러보면, 해당 3D 객체는 각각의 뷰포인트(viewpoint)에 대해 재-렌더링될 수 있고, 이는 그 또는 그녀가 실제 공간을 차지하는 객체를 둘러본다는 인식을 최종 사용자에게 제공한다. 머리-착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내의 다수의 객체들을 제시하기 위하여 사용되면, 머리 포즈의 측정들은 최종 사용자의 동적으로 변화하는 머리 위치 및 배향을 매칭시키기 위하여 장면을 재-렌더링하고 그리고 가상 공간에서의 증가된 몰입감을 제공하기 위해 사용될 수 있다.

[0006] AR을 인에이블하는(즉, 실제 및 가상 엘리먼트들의 동시 보기) 머리-착용 디스플레이들은 몇몇 상이한 타입들의 구성들을 가질 수 있다. 종종 "비디오 시-스루(see-through)" 디스플레이라 지칭되는 하나의 그런 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고, 컴퓨팅 시스템은 가상 엘리먼트들을 캡처된 실제 장면 상에 슈퍼임포즈(superimpose)하고, 그리고 불-투명 디스플레이는 합성 이미지를 눈들에 제시한다. 다른 구성은 종종 "광학 시-스루" 디스플레이로서 지칭되고, 여기서 최종 사용자는 디스플레이 시스템 내의 투명(또는 반-투명) 엘리먼트들을 시 스루하여 환경 내의 실제 객체들로부터의 광을 직접 뷰잉(view)할 수 있다. 종종 "컴바이너(combiner)"로서 지칭되는 투명 엘리먼트는 디스플레이로부터의 광을 실 세계의 최종 사용자의 뷰 위에 슈퍼임포즈한다.

[0007] VR 및 AR 시스템들은 통상적으로 투사 서브시스템 및 최종 사용자의 시야의 전면에 포지셔닝된 디스플레이 표면을 가진 디스플레이 시스템을 이용하고 투사 서브시스템은 디스플레이 표면상에 순차적으로 이미지 프레임들을 투사한다. 진정한 3-차원 시스템들에서, 디스플레이 표면의 심도는 프레임 레이트들 또는 서브-프레임 레이트들로 제어될 수 있다. 투사 서브시스템은 하나 또는 그 초과의 광섬유들 - 하나 또는 그 초과의 광섬유들에 하나 또는 그 초과의 광원들로부터의 광이 정의된 패턴들로 상이한 컬러들의 광을 방출함 -, 및 최종 사용자에게 순차적으로 디스플레이되는 이미지 프레임들을 생성하기 위해 미리결정된 패턴으로 광섬유(들)를 스캔하는 스캐닝 디바이스를 포함할 수 있다.

[0008] VR 또는 AR 시스템이 인간 시각 시스템과 근접하게 인터페이싱하기 때문에, 각각의 이미지 프레임의 해상도는 올바른 시각 자극을 제공하기 위해 인간 눈의 해상도에만 매칭할 필요가 있다. 이 목적을 위해, 각각의 이미지 프레임의 해상도는 통상적으로 인간 눈의 최대 해상도로 세팅된다. 그러나, 임의의 특정 시스템의 스캐닝 주파수가 소프트웨어 및 하드웨어 둘 모두의 제한들(즉, 각각의 이미지 프레임들의 주파수는 그래픽적으로 렌더링되고(소프트웨어) 그리고 스캐너(하드웨어)를 통해 실제로 최종 사용자에게 제시됨)로 인해 이미지 프레임 해상도의 함수이기 때문에, 이미지 프레임 해상도를 인간 눈의 최대 해상도에 매칭하기 위한 시도는 AR 및 VR 시스템에 제약들을 부가하고, 제약들은 최종 사용자의 뷰잉 경험을 최적화할 수 없는 스캐닝 주파수들을 야기할 수 있고 그리고/또는 더 높은 해상도 이미지 프레임들을 생성하고 제시하기 위해 요구되는 증가된 프로세싱 및 스캐닝 스피드를 구현하기 위해 필요한 엄청나게 더 값비싼 AR 또는 VR 시스템의 부품을 요구할 수 있다.

[0009] 따라서, 가상 현실 또는 증강 현실 환경에서 최종 사용자에게 생성되고 제시되는 이미지 프레임의 전체 해상도 및/또는 하드웨어/소프트웨어 프로세싱 비용을 감소시킬 필요가 존재한다.

[0010] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들을 위한 가상 현실 및/또는 증강 현실 상호작용을 가능하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.

[0011] 본 발명들의 일 실시예에 따라, 가상 이미지 생성 시스템을 동작시키는 방법이 제공된다. 방법은 3-차원 장면의 복수의 합성 이미지 프레임들을 렌더링하는 단계, 및 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하는 단계를 포함한다.

[0012] 중요하게, 디스플레이된 이미지 프레임들의 각각은 비-균일한 해상도 분포를 가진다. 하나의 방법에서, 이미지 프레임들의 각각은 비-균일한 해상도 분포로 렌더링된다. 다른 방법에서, 디스플레이된 이미지 프레임들의 각각은 균일한 해상도 분포로 렌더링되고, 이 경우, 각각의 이미지 프레임을 디스플레이하는 것은 비-균일한 해상도 분포를 이미 렌더링된 이미지 프레임에 통합하는 것을 포함한다. 디스플레이된 이미지 프레임들 각각의 해상도 분포는 최종 사용자의 눈의 시력 분포의 기울기에 매칭하거나 심지어 더 큰 기울기를 가질 수 있다. 각각의 이미지 프레임은, 비-균일한 해상도 분포가 방사상으로 변화하도록 예컨대 나선형 패턴으로, 또는 비-균일한 해상도 분포가 직선으로 변화하도록 래스터(raster) 패턴으로 이미지 프레임을 스캐닝함으로써 디스플레이될 수 있다.

[0013] 하나의 방법에서, 디스플레이된 이미지 프레임들 중 적어도 2개는 상이하고 비-균일한 해상도 분포를 가진다. 다른 방법에서, 디스플레이된 이미지 프레임들의 각각은 상이한 해상도들을 가진 복수의 이산 지역들(예컨대, 적어도 3개)을 가진다. 이산 지역들은 예컨대 환형, 직사각형, 또는 섹터-형상화될 수 있다. 또 다른 방법에서, 복수의 이산 지역들은 가장 높은 해상도의 지역을 포함하고, 이 경우에, 방법은 서로 오버랩할 수 있는 복수의 이산 지역들을 가진 시야 템플릿(template)으로부터 가장 높은 해상도의 지역을 선택하는 단계를 더 포함할 수 있다. 선택적인 실시예에서, 복수의 이산 지역은 가장 높은 해상도의 지역 및 더 낮은 해상도의 지역을 포함할 수 있고, 이 경우, 방법은 더 낮은 해상도의 지역의 디스플레이된 이미지 프레임들을 블러링(blurring)하는 단계를 포함할 수 있다. 디스플레이된 이미지 프레임들은 예컨대 더 낮은 해상도의 지역의 인접하게 디스플레이된 이미지 프레임들의 스캔 라인을 디더링(dithering)하거나 더 낮은 해상도의 지역의 디스플레이된 이미지 프레임들을 디포커싱(defocusing)함으로써 블러링될 수 있다.

[0014] 선택적인 방법은 (예컨대, 최종 사용자의 초점을 검출하거나 최종 사용자의 시야 내의 관심있는 객체를 식별함으로써) 최종 사용자의 시야 내의 눈의 초점을 추정하는 단계, 및 추정된 초점에 기반하여 디스플레이된 이미지 프레임들의 각각에 대한 비-균일한 해상도 분포를 생성하는 단계를 포함한다. 비-균일한 해상도 분포들의 각각은 추정된 초점과 일치하는 가장 높은 해상도의 지역을 가진다. 최종 사용자의 추정된 초점은 최종 사용자의 시야 내의 초점 범위를 제공하기 위해 에러 마진을 가질 수 있고, 이 경우, 가장 높은 해상도의 지역은 초점 범위와 교차할 수 있다.

[0015] 본 발명들의 제2 실시예에 따라, 최종 사용자에 의한 사용을 위한 가상 이미지 생성 시스템이 제공된다. 가상 이미지 생성 시스템은 3-차원 장면을 저장하는 메모리, 3-차원 장면의 복수의 합성 이미지 프레임들을 렌더링하도록 구성된 제어 서브시스템(GPU(graphics processor unit)를 포함할 수 있음), 및 복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템을 포함한다.

[0016] 일 실시예에서, 디스플레이 서브시스템은 최종 사용자의 눈들의 전면에 포지셔닝되도록 구성된다. 다른 실시예에서, 디스플레이 서브시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함한다. 투사 서브시스템은 이미지 프레임들을 부분적으로 투명한 디스플레이 표면상으로 투사하도록 구성되고, 그리고 부분적으로 투명한 디스플레이 표면은 최종 사용자의 눈들과 주변 환경 사이의 시야에 포지셔닝되도록 구성된다. 선택적인 실시예에서, 가상 이미지 생성 시스템은 최종 사용자에 의해 착용되도록 구성된 프레임 구조를 더 포함하고, 상기 경우, 프레임 구조는 디스플레이 서브시스템을 지지한다.

[0017] 중요하게, 디스플레이된 이미지 프레임들의 각각은 비-균일한 해상도 분포를 가진다. 일 실시예에서, 제어 서브시스템은 비-균일한 해상도 분포를 가진 이미지 프레임들의 각각을 렌더링하도록 구성된다. 다른 실시예에서, 제어 서브시스템은 균일한 해상도 분포를 가진 이미지 프레임들의 각각을 렌더링하도록 구성되고, 이 경우, 디스플레이 서브시스템은 비-균일한 해상도 분포를 이미 렌더링된 이미지 프레임에 통합함으로써 각각의 이미지 프레임을 디스플레이하도록 구성될 것이다. 디스플레이된 이미지 프레임들 각각의 해상도 분포는 최종 사용자의 눈의 시력 분포의 기울기에 매칭하거나 심지어 더 큰 기울기를 가질 수 있다. 디스플레이 서브시스템은 이미지 프레임들을 스캐닝함으로써 이미지 프레임들을 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 서브시스템은 이미지 프레임들의 각각을 나선형 패턴으로 스캐닝하도록 구성될 수 있거나 - 이 경우, 비-균일한 해상도 분포는 방사상으로 변화함 -, 또는 이미지 프레임들을 래스터 패턴으로 스캐닝하도록 구성될 수 있다 - 이 경우, 비-균일한 해상도 분포는 직선으로 변화함 -.

[0018] 일 실시예에서, 디스플레이된 이미지 프레임들 중 적어도 2개는 상이하고 비-균일한 해상도 분포들을 가진다. 다른 실시예에서, 디스플레이된 이미지 프레임들의 각각은 상이한 해상도들을 가진 복수의 이산 지역들(예컨대, 적어도 3개)을 가진다. 이산 지역들의 형상은 예컨대 환형, 직사각형, 또는 섹터-형상화될 수 있다. 복수의 이산 지역들은 가장 높은 해상도의 지역을 포함할 수 있고, 이 경우에, 제어 서브시스템은 서로 오버랩할 수 있는 복수의 이산 지역들을 가진 시야 템플릿으로부터 가장 높은 해상도의 지역을 선택하도록 구성될 수 있다. 복수의 이산 지역은 또한 더 낮은 해상도의 지역을 포함할 수 있고, 이 경우, 제어 서브시스템은 더 낮은 해상도의 지역의 디스플레이된 이미지 프레임들을 블러링하도록 구성될 수 있다. 예컨대, 디스플레이 서브시스템은 디스플레이된 이미지 프레임들의 각각을 스캐닝하도록 구성되고, 디스플레이 서브시스템은 더 낮은 해상도 지역의 인접하게 디스플레이된 이미지 프레임들의 스캔 라인들을 디더링함으로써 디스플레이된 이미지 프레임들을 블러링하도록 구성될 수 있다. 또는, 디스플레이 서브시스템은 더 낮은 해상도 지역의 디스플레이된 이미지 프레임들을 디포커싱함으로써 디스플레이된 이미지 프레임들을 블러링하도록 구성될 수 있다.

[0019] 선택적인 실시예에서, 제어 서브시스템은 최종 사용자의 시야 내의 눈의 초점을 추정하고, 그리고 추정된 초점에 기반하여 디스플레이된 이미지 프레임들의 각각에 대한 비-균일한 해상도 분포를 생성하도록 구성된다. 비-균일한 해상도 분포들의 각각은 추정된 초점과 일치하는 가장 높은 해상도의 지역을 가질 수 있다. 최종 사용자의 추정된 초점은 최종 사용자의 시야 내의 초점 범위를 제공하기 위해 에러 마진을 가질 수 있고, 이 경우, 가장 높은 해상도의 지역은 초점 범위와 교차할 것이다. 가상 이미지 생성 시스템은 최종 사용자의 초점을 검출하도록 구성된 하나 또는 그 초과의 센서들을 더 포함할 수 있고, 이 경우, 제어 서브시스템은 검출된 초점으로부터 초점을 추정하도록 구성될 수 있다. 또는, 제어 서브시스템은 최종 사용자의 시야 내의 관심있는 객체를 식별함으로써 초점을 추정하도록 구성될 수 있다.

[0020] 본 발명의 부가적인 및 다른 목적들, 특징들, 및 장점들은 상세한 설명, 도면들, 및 청구항들에 설명된다.

[0021] 도면들은 본 발명의 실시예들의 설계 및 유용성을 예시하고, 여기서 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 발명들의 위의 나열된 것 및 다른 장점들 및 목적들을 획득하기 위한 방법을 더 잘 인지하기 위하여, 위에서 간략하게 설명된 본 발명들의 더 특정한 설명은 첨부 도면들에 예시된 본 발명들의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시하고 그러므로 그 범위를 제한하는 것으로 고려되지 않는다는 것을 이해하면, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특이성 및 세부사항들로 서술되고 설명될 것이다.
[0022] 도 1은 종래 기술 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3-차원 증강 현실 장면의 화면이다.
[0023] 도 2는 본 발명들의 일 실시예에 따라 구성된 가상 이미지 생성 시스템의 블록 다이어그램이다.
[0024] 도 3은 도 2의 가상 이미지 생성 시스템에 의해 생성된 예시적인 프레임의 평면도이다.
[0025] 도 4는 프레임을 생성하기 위해 사용될 수 있는 하나의 스캐닝 패턴이다.
[0026] 도 5는 프레임을 생성하기 위해 사용될 수 있는 다른 스캐닝 패턴이다.
[0027] 도 6은 프레임을 생성하기 위해 사용될 수 있는 또 다른 스캐닝 패턴이다.
[0028] 도 7은 프레임을 생성하기 위해 사용될 수 있는 또 다른 스캐닝 패턴이다.
[0029] 도 8a는 도 2의 가상 이미지 생성 시스템을 착용하기 위하여 사용될 수 있는 하나의 기법의 뷰이다.
[0030] 도 8b는 도 2의 가상 이미지 생성 시스템을 착용하기 위하여 사용될 수 있는 다른 기법의 뷰이다.
[0031] 도 8c는 도 2의 가상 이미지 생성 시스템을 착용하기 위하여 사용될 수 있는 또 다른 기법의 뷰이다.
[0032] 도 8d는 도 2의 가상 이미지 생성 시스템을 착용하기 위하여 사용될 수 있는 또 다른 기법의 뷰이다.
[0033] 도 9a는 인간 눈의 중심와(fovea)로부터 각도의 함수로서 간상체 수용기(rod receptor)들 및 추상체 수용기(cone receptor)의 수의 플롯(plot)이다.
[0034] 도 9b는 인간 눈의 중심와로부터 각도의 함수로서 인간 눈의 시력의 플롯이다.
[0035] 도 10은 스캔 오리진(origin)으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포의 플롯이다.
[0036] 도 11은 스캔 오리진으로부터 각도의 함수로서 스캔 라인 밀도 분포의 플롯이고, 스캔 라인 밀도 분포는 도 2의 가상 이미지 생성 시스템에 의해 도 9b의 인간 시력 분포에 매칭된다.
[0037] 도 12a는 스캔 오리진으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포 및 나선형 스캔 라인 밀도 분포의 플롯이고, 나선형 스캔 라인 밀도 분포는, 초점이 스캔 영역의 중심에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 생성된다.
[0038] 도 12b는 스캔 오리진으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포 및 나선형 스캔 라인 밀도 분포의 플롯이고, 나선형 스캔 라인 밀도 분포는, 초점이 스캔 영역의 중심과 스캔 영역의 외부 에지 사이의 중간에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 생성된다.
[0039] 도 13은 스캔 오리진으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포 및 나선형 스캔 라인 밀도 분포의 플롯이고, 나선형 스캔 라인 밀도 분포는, 초점이 스캔 영역의 중심과 스캔 영역의 외부 에지 사이의 중간에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 5° 마진으로 생성된다.
[0040] 도 14는 스캔 오리진으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포, 제1 스캔 라인 밀도 분포, 및 제2 스캔 라인 밀도 분포의 플롯이고, 도 2의 가상 이미지 생성 시스템에 의해, 제1 스캔 라인 밀도 분포는 도 9b의 인간 시력 분포에 매칭되고 제2 스캔 라인 밀도 분포는 도 9b의 인간 시력 분포보다 더 선명하게 된다.
[0041] 도 15는 스캔 오리진으로부터 각도의 함수로서 종래의 스캔 라인 밀도 분포, 제1 스캔 라인 밀도 분포, 제2 스캔 라인 밀도 분포, 및 제3 스캔 라인 밀도 분포의 플롯이고, 도 2의 시각 이미지 생성 시스템에 의해, 제1 스캔 라인 밀도 분포는 에러 마진을 가지지 않고 도 9b의 인간 시력 분포에 매칭되고, 제2 스캔 라인 밀도 분포는 5° 에러 마진을 갖고 도 9b의 인간 시력 분포에 매칭되고, 그리고 제3 스캔 라인 밀도 분포는 5° 에러 마진을 갖고 도 9b의 인간 시력 분포보다 더 선명하게 된다.
[0042] 도 16a는 도 2의 가상 이미지 생성 시스템에 의해 스캔 영역의 하나의 방사상 위치에서 고-밀도 해상도 지역을 갖고 생성된 나선형 스캔 패턴의 플롯이다.
[0043] 도 16b는 도 2의 가상 이미지 생성 시스템에 의해 스캔 영역의 다른 방사상 위치에서 고-밀도 해상도 지역을 갖고 생성된 나선형 스캔 패턴의 플롯이다.
[0044] 도 17a는, 초점이 스캔 영역의 중심에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 나선형 스캔 패턴의 플롯이다.
[0045] 도 17b는, 초점이 스캔 영역의 주변부에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 나선형 스캔 패턴의 플롯이다.
[0046] 도 18a는, 초점이 스캔 영역의 중심에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 래스터 스캔 패턴의 플롯이다.
[0047] 도 18b는, 초점이 스캔 영역의 주변부에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 래스터 스캔 패턴의 플롯이다.
[0048] 도 19는, 도 2의 가상 이미지 생성 시스템이 초점의 위치에 기반하여 선택할 수 있는 이산 지역들을 가진 시야 템플릿의 플롯이다.
[0049] 도 20a는, 초점이 도 19의 시야 템플릿의 중심에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 나선형 스캔 패턴의 플롯이다.
[0050] 도 20b는, 초점이 도 19의 시야 템플릿의 주변부에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 나선형 스캔 패턴의 플롯이다.
[0051] 도 21은, 초점이 도 19의 시야 템플릿의 주변부에 있을 때, 도 2의 가상 이미지 생성 시스템에 의해 이산 스캔 라인 해상도 지역들을 가지고 생성된 나선형 스캔 패턴의 플롯이고, 고 해상도 지역은 섹터-형상화된다.
[0052] 도 22는 비-균일한 밀도 분포들을 가진 합성 이미지 프레임들을 렌더링하여 최종 사용자에게 디스플레이하기 위해 도 2의 가상 이미지 생성 시스템을 동작시키는 방법의 흐름도이다.

[0053] 뒤따르는 설명은 가상 현실 및/또는 증강 현실 시스템들에 사용될 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명이 가상 또는 증강 현실 시스템들의 애플리케이션들에 매우 적합하지만, 본 발명이, 자신의 가장 넓은 양상들에서, 그렇게 제한되지 않을 수 있다는 것이 이해될 것이다.

[0054] 도 2를 참조하면, 본 발명들에 따라 구성된 가상 이미지 생성 시스템(100)의 일 실시예가 이제 설명될 것이다. 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 시야 내 물리적 객체들과 인터믹싱(intermix)되는 가상 객체들의 이미지들을 제공하는 증강 현실 서브시스템으로서 동작될 수 있다. 가상 이미지 생성 시스템(100)을 동작시킬 때 2개의 근본적인 접근법들이 있다. 제1 접근법은 주변 환경의 이미지들을 캡처하기 위하여 하나 또는 그 초과의 이미저(imager)들(예컨대, 카메라들)을 이용한다. 가상 이미지 생성 시스템(100)은 가상 이미지들을 주변 환경의 이미지들을 표현하는 데이터에 인터믹싱한다. 제2 접근법은, 주변 환경이 보여질 수 있고 그리고 가상 이미지 생성 시스템(100)이 가상 객체들의 이미지들을 생성하는 하나 또는 그 초과의 적어도 부분적으로 투명한 표면들을 이용한다.

[0055] 본원에 교시된 가상 이미지 생성 시스템(100), 및 다양한 교시들은 증강 현실 및 가상 현실 서브시스템들 이외의 애플리케이션들에 이용될 수 있다. 예컨대, 다양한 기법들은 임의의 투사 또는 디스플레이 서브시스템에 적용될 수 있다. 예컨대, 본원에 설명된 다양한 기법들은 피코 투사기들에 적용될 수 있고 움직임은 머리보다 오히려 최종 사용자의 손에 의해 이루어질 수 있다. 따라서, 교시들은 종종 증강 현실 서브시스템 또는 가상 현실 서브시스템의 측면에서 본원에 설명되지만, 그런 용도들의 그런 서브시스템으로 제한되지 않아야 한다.

[0056] 적어도 증강 현실 애플리케이션들에 대해, 최종 사용자(50)의 시야에 있는 각각의 물리적 객체들에 관하여 다양한 가상 객체들을 공간적으로 포지셔닝하는 것이 바람직할 수 있다. 본원에서 또한 가상 태그(tag)들 또는 태그 또는 콜 아웃(call out)들로 지칭되는 가상 객체들은 매우 다양한 형태들, 기본적으로 임의의 다양한 데이터, 정보, 개념, 또는 이미지로서 표현될 수 있는 로지컬 구성 중 임의의 형태를 취할 수 있다. 가상 객체들의 비제한적 예들은: 가상 텍스트 객체, 가상 수치 객체, 가상 알파뮤메릭(alphanumeric) 객체, 가상 태그 객체, 가상 필드 객체, 가상 차트 객체, 가상 맵 객체, 가상 기기장치 객체, 또는 물리적 객체의 가상 시각 표현을 포함할 수 있다.

[0057] 이 목적을 위하여, 가상 이미지 생성 시스템(100)은 최종 사용자(50)에 의해 착용된 프레임 구조(102), 디스플레이 서브시스템(104)이 최종 사용자(50)의 눈들(52)의 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지되는 디스플레이 서브시스템(104), 및 스피커(106)가 최종 사용자(50)의 외이도(ear canal)에 인접하게 포지셔닝되도록 프레임 구조(102)에 의해 휴대되는 스피커(106)(선택적으로, 다른 스피커(도시되지 않음)는 스테레오/성형가능 사운드 제어를 제공하도록 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝됨)를 포함한다. 디스플레이 서브시스템(104)은 높은-레벨들의 이미지 품질 및 3-차원 인지와 함께, 물리적 현실성에 대한 증강들로서뿐 아니라, 2-차원 콘텐츠를 제시할 수 있는 것으로 편안하게 인지될 수 있는 포토(photo)-기반 방사 패턴들을 최종 사용자(50)의 눈들(52)에 제시하도록 설계된다. 디스플레이 서브시스템(104)은 단일 코히어런트(coherent) 장면의 인지를 제공하는 합성 이미지 프레임들의 시퀀스를 고주파수로 제시한다.

[0058] 예시된 실시예에서, 디스플레이 서브시스템(104)은 투사 서브시스템(108) 및 투사 서브시스템(108)이 이미지들을 투사하는 부분적으로 투명한 디스플레이 표면(110)을 포함한다. 디스플레이 표면(110)은 최종 사용자(50)의 눈들(52)과 주변 환경 사이의 최종 사용자(50)의 시야에 포지셔닝된다. 예시된 실시예에서, 투사 서브시스템(108)은 하나 또는 그 초과의 광섬유들(112)(예컨대, 단일 모드 광섬유)을 포함하고, 광섬유들(112) 각각은 광이 수신되는 하나의 단부(112a) 및 광이 부분적으로 투명한 디스플레이 표면(110)에 제공되는 다른 단부(112b)를 가진다. 투사 서브시스템(108)은 또한 광을 생성하고(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출하고), 그리고 광을 광섬유(들)(112)의 다른 단부(112a)에 통신가능하게 커플링하는 하나 또는 그 초과의 광 소스들(114)을 포함할 수 있다. 광 소스(들)(114)는 임의의 매우 다양한 형태들, 예컨대 픽셀 정보 또는 데이터의 각각의 프레임들에서 특정된 정의된 픽셀 패턴들에 따라 각각 적색, 녹색, 및 청색 코히어런트 시준 광을 생성하도록 동작가능한 RGB 레이저들의 세트(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)를 취할 수 있다. 레이저 광은 높은 컬러 포화도를 제공하고 매우 에너지 효율적이다.

[0059] 예시된 실시예에서, 디스플레이 표면(110)은 예컨대, 무한대보다 더 가까운 단일 광학 뷰잉 거리(예컨대, 팔의 길이)의 이미지들, 다수의, 이산 광학 뷰잉 거리들 또는 초점 평면들의 이미지들, 및/또는 볼류메트릭(volumetric) 3D 객체들을 표현하기 위해 다수의 뷰잉 거리들 또는 초점 평면들에 적층된 이미지 층들을 생성하기 위해, 광 섬유(들)(112)로부터의 광이 광학 커플링 어레인지먼트(도시되지 않음)를 통해 주입되는 도파관-기반 디스플레이의 형태를 취한다. 광 필드에서 이들 층들은 인간 시각 서브시스템에 연속적으로 보이도록 함께 충분히 가깝게 적층될 수 있다(즉, 하나의 층은 인접한 층의 컨퓨전의 콘(cone of confusion) 내에 있음). 부가적으로 또는 대안적으로, 이들 층들이 성기게 적층되더라도(즉, 하나의 층이 인접한 층의 컨퓨전의 콘 외측에 있다 하더라도), 픽처 엘리먼트(picture element)들은 광 필드의 층들 사이의 전이의 인식된 연속성을 증가시키기 위해 2 또는 그 초과의 층들에 걸쳐 블렌딩(blend)될 수 있다. 디스플레이 서브시스템은 단안용 또는 쌍안용일 수 있다.

[0060] 디스플레이 서브시스템(104)은 제어 신호들에 대한 응답으로 미리결정된 패턴으로 광섬유(들)(112)를 스캔하는 스캐닝 디바이스(116)를 더 포함할 수 있다. 예컨대, 도 3을 참조하면, 픽셀 정보 또는 데이터의 합성 이미지 프레임(118)은 하나의 예시된 실시예에 따라, 이미지, 예컨대 하나 또는 그 초과의 가상 객체들의 이미지를 제시하도록 픽셀 정보 또는 데이터를 특정한다. 프레임(118)은 수평 행들 또는 라인들(122a-122n)로 분할된 셀들(120a-120m)로 개략적으로 예시된다. 프레임(118)의 각각의 셀(120)은, 셀(120)이 대응하는 각각의 픽셀에 대한 복수의 컬러들 각각에 대한 값들 및/또는 세기들을 특정할 수 있다. 예컨대, 프레임(118)은 각각의 픽셀에 대해 적색(124a)에 대한 하나 또는 그 초과의 값들, 녹색(124b)에 대한 하나 또는 그 초과의 값들, 및 청색(124c)에 대한 하나 또는 그 초과의 값들을 특정할 수 있다. 값들(124)은 컬러들 각각에 대해 이진 표현들로서, 예컨대 각각의 컬러에 대해 각각 4-비트 수로서 특정될 수 있다. 프레임(118)의 각각의 셀(120)은 진폭을 특정하는 값(124d)을 부가적으로 포함할 수 있다.

[0061] 프레임(118)은 하나 또는 그 초과의 필드들, 집합적으로 126을 포함할 수 있다. 프레임(118)은 단일 필드로 이루어질 수 있다. 대안적으로, 프레임(118)은 2, 또는 심지어 그 초과의 필드들(126a-126b)을 포함할 수 있다. 프레임(118)의 완전한 제1 필드(126a)에 대한 픽셀 정보는 완전한 제2 필드(126b)에 대한 픽셀 정보 이전에 특정될 수 있는데, 예컨대 어레이 내 제2 필드(126b)에 대한 픽셀 정보, 순서화된 리스트 또는 다른 데이터 구조(예컨대, 레코드, 링크된 리스트) 이전에 발생된다. 프리젠테이션 서브시스템이 2보다 많은 필드들(126a-126b)을 핸들링하도록 구성되는 것을 가정하면, 제3 또는 심지어 제4 필드는 제2 필드(126b)를 따를 수 있다.

[0062] 이제 도 4를 참조하면, 프레임(118)은 래스터 스캔 패턴(128)을 사용하여 생성된다. 래스터 스캔 패턴(128)에서, 픽셀들(130)(단지 하나만 콜 아웃됨)은 순차적으로 제시된다. 래스터 스캔 패턴(128)은 통상적으로 좌측으로부터 우측으로(화살표들(132a, 132b)에 의해 표시됨), 그 다음으로 최상부로부터 최하부로(화살표(134)에 의해 표시됨) 픽셀들을 제시한다. 따라서, 프리젠테이션은 상부 우측 모서리에서 시작되고 라인의 끝에 도달될 때까지 제1 라인(136a)을 가로질러 좌측으로 횡단할 수 있다. 그 다음으로, 래스터 스캔 패턴(128)은 통상적으로 아래의 다음 라인의 좌측으로부터 시작된다. 프리젠테이션은, 하나의 라인의 끝으로부터 다음 라인의 시작으로 리턴할 때, 일시적으로 블랙 아웃(black out)되거나 블랭킹(blank)될 수 있다. 이 프로세스는, 최하부 라인(136n)이 완료될 때까지, 예컨대 최하부 최우측 픽셀까지 라인 단위로 반복된다. 프레임(118)이 완료되면, 새로운 프레임이 시작되고, 다시 다음 프레임의 최상부 라인의 우측으로 리턴한다. 다시, 프리젠테이션은, 다음 프레임을 제시하기 위해 최하부 좌측으로부터 최상부 우측으로 리턴하는 동안 블랭킹될 수 있다.

[0063] 래스터 스캐닝의 많은 구현들은 인터레이싱된(interlaced) 스캔 패턴으로 칭해지는 것을 이용한다. 인터레이싱된 래스터 스캔 패턴들에서, 제1 및 제2 필드들(126a, 126b)로부터의 라인들이 인터레이싱된다. 예컨대, 제1 필드(126a)의 라인들을 제시할 때, 제1 필드(126a)에 대한 픽셀 정보는 단지 홀수 라인들에 대해서만 사용될 수 있는 반면, 제2 필드(126b)에 대한 픽셀 정보는 단지 짝수 라인들에 대해서만 사용될 수 있다. 따라서, 프레임(118)의 제1 필드(126a)의 라인들 모두(도 3)는 통상적으로, 제2 필드(126b)의 라인들 이전에 제시된다. 제1 필드(126a)는 라인(1), 라인(3), 라인(5) 등을 순차적으로 제시하기 위하여 제1 필드(126a)의 픽셀 정보를 사용하여 제시될 수 있다. 그 다음으로, 프레임(118)의 제2 필드(126b)(도 3)는 라인(2), 라인(4), 라인(6) 등을 순차적으로 제시하기 위해 제2 필드(126b)의 픽셀 정보를 사용함으로써, 제1 필드(126a) 다음에 제시될 수 있다.

[0064] 도 5를 참조하면, 나선형 스캔 패턴(140)은 프레임(118)을 생성하기 위해 래스터 스캔 패턴(128) 대신 사용될 수 있다. 나선형 스캔 패턴(140)은 단일 나선형 스캔 라인(142)으로 이루어질 수 있고, 단일 나선형 스캔 라인(142)은 코일들 또는 루프들로서 명명될 수 있는 하나 또는 그 초과의 완전한 각도 사이클들(예컨대, 360도)을 포함할 수 있다. 도 4에 예시된 래스터 스캔 패턴(128)에서와 같이, 나선형 스캔 패턴(140)의 픽셀 정보는, 각도가 증가함에 따라, 각각의 순차적 픽셀의 컬러 및/또는 세기를 특정하기 위해 사용된다. 진폭 또는 반경 값(146)은 나선형 스캔 라인(142)의 시작점(148)으로부터의 반경 치수를 특정한다.

[0065] 도 6을 참조하면, 리사주(Lissajous) 스캔 패턴(150)은 프레임(118)을 생성하기 위해 대안적으로 사용될 수 있다. 리사주 스캔 패턴(150)은 단일 리사주 스캔 라인(152)으로 이루어질 수 있고, 단일 리사주 스캔 라인(152)은 코일들 또는 루프들로서 명명될 수 있는 하나 또는 그 초과의 완전한 각도 사이클들(예컨대, 360도)을 포함할 수 있다. 대안적으로, 라사주 스캔 패턴(150)은 라사주 스캔 라인들(152)을 네스팅(nest)하기 위해 서로에 대해 각각 위상 시프트되는 2 또는 그 초과의 라사주 스캔 라인들(152)을 포함할 수 있다. 픽셀 정보는, 각도가 증가함에 따라, 각각의 순차적 픽셀의 컬러 및/또는 세기를 특정하기 위해 사용된다. 진폭 또는 반경 값은 라사주 스캔 라인(152)의 시작점(156)으로부터의 반경 치수(154)를 특정한다.

[0066] 도 7을 참조하면, 다중-필드 나선형 스캔 패턴(158)은 프레임(118)을 생성하기 위해 대안적으로 사용될 수 있다. 다중-필드 나선형 스캔 패턴(158)은 2 또는 그 초과의 별개의 나선형 라인들, 집합적으로 160, 및 구체적으로 4개의 나선형 스캔 라인들(160a-160d)을 포함한다. 각각의 나선형 스캔 라인(160)에 대한 픽셀 정보는 프레임의 각각의 필드에 의해 특정될 수 있다. 유리하게, 다수의 나선형 스캔 라인들(160)은 나선형 스캔 라인들(160) 중 각각 연속적인 라인들 사이의 위상을 시프팅함으로써 간단히 네스팅될 수 있다. 나선형 스캔 라인들(160) 사이의 위상 차이는 이용될 나선형 스캔 라인들(160)의 총 수의 함수이어야 한다. 예컨대, 4개의 나선형 스캔 라인들(160a-160d)은 90도 위상 시프트만큼 분리될 수 있다. 예시적인 실시예는 10개의 별개의 나선형 스캔 라인들(즉, 서브나선들)을 가지고 100 Hz 리프레시(refresh) 레이트로 동작할 수 있다. 도 5의 실시예와 유사하게, 하나 또는 그 초과의 진폭 또는 반경 값들은 나선형 스캔 라인들(160)의 시작점(164)으로부터 반경 치수(162)를 특정한다.

[0067] 다시 도 2를 참조하면, 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈-사이 거리를 검출하기 위하여 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.

[0068] 다시 도 2를 참조하면, 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 머리(54)의 포지션 및 움직임 및/또는 최종 사용자(50)의 눈 포지션 및 눈-사이 거리를 검출하기 위하여 프레임 구조(102)에 장착된 하나 또는 그 초과의 센서들(도시되지 않음)을 더 포함한다. 그런 센서(들)는 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyro)들을 포함할 수 있다.

[0069] 예컨대, 일 실시예에서, 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 머리(54)의 움직임을 나타내는 관성 측정치들을 캡처하기 위한 하나 또는 그 초과의 관성 트랜듀서들을 포함하는 머리 착용 트랜듀서 서브시스템(126)을 포함한다. 머리 착용 트랜듀서 시스템(120)은 최종 사용자(50)의 머리 움직임들에 관한 정보를 감지하거나, 측정하거나 수집하기 위해 사용될 수 있다. 머리 착용 트랜듀서 서브시스템(120)은 최종 사용자(50)의 머리(54)의 측정 움직임들, 속도들, 가속도, 및/또는 포지션들을 검출하기 위해 사용될 수 있다.

[0070] 가상 이미지 생성 시스템(100)은 하나 또는 그 초과의 전방 지향 카메라들(128)을 더 포함하고, 전방 지향 카메라들(128)은, 최종 사용자(50)가 위치된 환경에 관한 정보를 캡처하기 위해 사용될 수 있다. 전방 지향 카메라(들)(128)는 해당 환경에 대해 최종 사용자(50)의 거리 및 배향 및 해당 환경 내의 특정 객체들을 나타내는 정보를 캡처하기 위해 사용될 수 있다. 머리에 착용될 때, 전방 지향 카메라(들)(128)는, 최종 사용자(50)가 위치된 환경 및 해당 환경 내의 특정 객체들에 대해 최종 사용자(50)의 머리(54)의 거리 및 배향을 나타내는 정보를 캡처하기 위해 특히 적합하다. 전방 지향 카메라(들)(128)는 예컨대 머리 움직임, 속도, 및/또는 머리 움직임들의 가속도를 검출하기 위해 이용될 수 있다. 전방 지향 카메라(들)(128)는 예컨대 적어도 부분적으로 최종 사용자(50)의 머리(54)의 배향에 기반하여, 최종 사용자(50)의 관심의 중심을 검출하거나 추론하기 위해 이용될 수 있다. 배향은 임의의 방향(예컨대, 최종 사용자(50)의 레퍼런스 프레임에 대해 상/하, 좌, 우)에서 검출될 수 있다.

[0071] 가상 이미지 생성 시스템(100)은 최종 사용자(50)의 눈들(52)의 움직임, 깜박임, 및 포커스 심도를 추적하기 위하여 한쌍의 후방 지향 카메라들(129)을 더 포함한다. 그런 눈 추적 정보는 예컨대, 광을 최종 사용자의 눈들에 투사하고, 그리고 해당 투사된 광 중 적어도 일부의 리턴 또는 반사를 검출함으로써 파악될 수 있다. 가상 이미지 생성 시스템(100)은 피동자 배향 검출 모듈(130)을 더 포함한다. 피동자 배향 모듈(130)은 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하고 센서(들)로부터 수신된 포지션 데이터에 기반하여 최종 사용자(50)의 머리(54)의 포지션을 예측할 수 있다. 중요하게, 최종 사용자(50)의 머리(54)의 순시 포지션을 검출하는 것은, 최종 사용자(50)가 보고 있는 특정 실제 객체의 결정을 가능하게 하고, 이에 의해 해당 실제 객체에 대해 생성될 특정 텍스트 메시지의 표시가 제공되고 그리고 추가로 텍스트 메시지가 스트리밍될 텍스트 지역의 표시가 제공된다. 피동자 배향 모듈(130)은 또한 센서(들)로부터 수신된 추적 데이터에 기반하여 최종 사용자(50)의 눈들(52)을 추적한다.

[0072] 가상 이미지 생성 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은 다수의 제어기들, 예컨대 하나 또는 그 초과의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면 ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대 FPGA(field PGA)들, 및/또는 PLU(programmable logic controller)들을 포함한다.

[0073] 예시된 실시예에서, 가상 이미지 생성 시스템(100)은 CPU(central processing unit)(132), GPU(graphics processing unit)(134), 및 하나 또는 그 초과의 프레임 버퍼들(136)을 포함한다. CPU(132)는 전체 동작을 제어하는 반면, GPU(134)는 원격 데이터 저장소(150)에 저장된 3-차원 데이터로부터 프레임들을 렌더링(즉, 3-차원 장면을 2-차원 이미지로 변환)하고 이들 프레임들을 프레임 버퍼(들)(136)에 저장한다. 예시되지 않았지만, 하나 또는 그 초과의 부가적인 집적 회로들은 프레임 버퍼(들)(136)에 프레임들을 판독하고 그리고/또는 프레임 버퍼(들)(136)로부터 프레임들을 판독하는 것 및 디스플레이 서브시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(148)에 및/또는 프레임 버퍼(들)(148)로부터 판독은, 예컨대 프레임들이 오버-렌더링되는 동적 어드레싱을 이용할 수 있다. 가상 이미지 생성 시스템(100)은 ROM(read only memory)(138) 및 RAM(random access memory)(140)을 더 포함한다. 가상 이미지 생성 시스템(100)은, GPU(134)가 프레임들을 렌더링하기 위해 하나 또는 그 초과의 장면들의 3-차원 데이터에 액세스할 수 있는 3-차원 데이터베이스(142)를 더 포함한다.

[0074] 가상 이미지 생성 시스템(100)의 다양한 프로세싱 컴포넌트들은 물리적으로 분산 서브시스템에 포함될 수 있다. 예컨대, 도 8a-도 8d에 예시된 바와 같이, 가상 이미지 생성 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(146)에 의해 디스플레이 서브시스템(104) 및 센서들에 동작가능하게 커플링되는 로컬 프로세싱 및 데이터 모듈(144)을 포함한다. 로컬 프로세싱 및 데이터 모듈(144)은 다양한 구성들에 장착될 수 있는데, 이를테면 프레임 구조(102)(도 8a)에 고정되게 부착되거나, 헬멧 또는 모자(56)(도 8b)에 고정되게 부착되거나, 헤드폰들 내에 임베딩되거나, 최종 사용자(50)의 몸통(58)에 제거가능하게 부착되거나(도 8c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거가능하게 부착(도 8d)될 수 있다. 가상 이미지 생성 시스템(100)은 이를테면 유선 리드 또는 무선 연결성(150, 152)에 의해 로컬 프로세싱 및 데이터 모듈(144)에 동작가능하게 커플링된 원격 프로세싱 모듈(148) 및 원격 데이터 저장소(150)를 더 포함하여, 이들 원격 모듈들(148, 150)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(144)에 대한 리소스들로서 이용가능하다.

[0075] 로컬 프로세싱 및 데이터 모듈(144)은 전력-효율적 프로세서 또는 제어기뿐 아니라, 디지털 메모리, 이를테면 플래시 메모리를 포함할 수 있고, 이 둘 모두는 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(148) 및/또는 원격 데이터 저장소(150)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 돕기 위해 활용될 수 있으며, 데이터는 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이 서브시스템(104)에 전달될 수 있다. 원격 프로세싱 모듈(148)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 저장소(150)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 비교적 큰 규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈(144)에서 수행되고, 이는 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.

[0076] 위에서 설명된 다양한 컴포넌트들 사이의 커플링들(146, 152, 154)은 유선들 또는 광학 통신들을 제공하기 위한 하나 또는 그 초과의 유선 인터페이스들 또는 포트들, 또는 이를테면 무선 통신들을 제공하기 위한 RF 마이크로파, 및 IR을 통한 하나 또는 그 초과의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서 모든 통신들은 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선정은 도 8a-도 8d에 예시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선정은 제한하는 것으로 고려되지 않아야 한다.

[0077] 예시된 실시예에서, 피동자 배향 모듈(130)은 로컬 프로세싱 및 데이터 모듈(144)에 포함되는 반면, CPU(132) 및 GPU(134)는 원격 프로세싱 모듈(148)에 포함되는데, 대안적인 실시예들에서, CPU(132), GPU(124) 또는 이들의 부분들은 로컬 프로세싱 및 데이터 모듈(144)에 포함될 수 있다. 3D 데이터베이스(142)는 원격 데이터 저장소(150)와 연관될 수 있다.

[0078] 본 발명들에 중요하게, 가상 이미지 생성 시스템(100)은 3-차원 장면의 복수의 합성 이미지 프레임들을 렌더링하고, 최종 사용자(50)에게 이들을 비-균일한 해상도 분포로 순차적으로 디스플레이하는 동적 해상도 지역 기법을 수행한다. 예시된 실시예에서, 디스플레이된 이미지 프레임들의 각각의 해상도 분포는 최종 사용자(50)의 눈(54)의 시력 분포에 매칭하거나 심지어 더 선명하다. 예컨대, 도 9a-도 9b를 참조하면, 간상 세포에 대한 광 수용기 곡선(55) 및 추상 세포에 대한 광 수용기 곡선(57)에 의해 표현된 바와 같이, 인간 눈의 망막 상에서, 광 수용기 세포들의 분포는 매우 비-균일하다. 도 9a에 예시된 바와 같이, (0°에서) 망막의 중심 지역(중심와)은 가장 높은 추상 세포 밀도를 포함하고, 이는 도 9b의 시력 곡선(59)에 의해 예시된 바와 같이 가장 높은 시력을 제공한다. 추상 세포의 밀도, 및 따라서 시력은 중심와로부터 멀어지는 지역들에서 빠르게 감소한다.

[0079] 따라서, 가상 이미지 생성 시스템(100)에 의해 수행되는 동적 해상도 지역 기법은 최종 사용자(50)의 눈(54)의 예상되거나 추정된 초점과 일치하는 프레임들의 각각에 가장 높은 해상도의 지역을 배치시키려고 시도한다. 따라서, 하드웨어(스캐너 스피드) 및/또는 소프트웨어 제약들(프레임 렌더링 스피드)로 인해 최종 사용자(50)의 전체 시야를 조밀하게 파퓰레이팅(populate)하는 프레임을 출력할 수 없는 가상 이미지 생성 시스템에 대해, 시스템이 각각의 프레임의 프로파일의 해상도를 동적으로 변화시킴으로써 여전히 높은 이미지 품질을 제공할 수 있어서, 최종 사용자(50)의 눈(54)의 초점이 항상 가장 높은 해상도의 지역에 있는 것이 인지될 수 있다. 예시된 실시예에서, 스캐닝 디바이스는 각각의 프레임을 최종 사용자(50)에게 제시하기 위해 사용되고, 프레임의 임의의 특정 지역의 해상도는 해당 지역의 스캔 라인 밀도를 조정함으로써 조정될 것이고, 이에 의해 이미지 품질의 큰 손실 없이 프레임이 더 효과적으로 디스플레이된다.

[0080] 예컨대, 균일한 스캔 라인 밀도 분포(61)가 도 10에서처럼 가정되면, 눈이 포커싱되지 않는 높은 스캔 라인 밀도는 낭비된다. 특히, 집중 눈-중심와 시력을 고려하여, 눈이 75도의 시야(±35도)에서 0도에 포커싱되면, 스캔 영역의 중심(예컨대, ±10-35도)으로부터 멀어지는 주변 지역들의 스캔 라인 밀도는 필요한 것보다 더 높을 것이고, 이는 프레임의 디스플레이에 비효율성들을 야기한다.

[0081] 대신, 도 11에 예시된 바와 같이, 스캔 라인 밀도 분포(63)가 인간 시력 분포(59)에 매칭되면, 스캔 영역의 중심으로부터 멀어지는 주변 지역들에서 스캔 라인 밀도는 상당히 감소될 수 있고, 이에 의해 스캔-라인/프레임 요건들의 제약들이 상당히 완화되게 된다. 곡선이 도 11의 인간 시력 분포 그래프에 맞으면, 결과적인 방정식은

일 것이고, 여기서 f는 분포 밀도이고 θ는 중심와 중심으로부터 각도들의 각도 이심률(angular eccentricity)이다.

[0082] 눈이 스캔 영역의 중심 상에 포커싱되고, 나선 스캔 패턴을 가정하면, 도 12a에 예시된 스캔 라인 밀도 분포(65)는 인간 시력 분포(59)에 매칭할 것이고, 그리고 나선형 스캔들의 원형 대칭으로 인해, 눈이 스캔 영역의 중심과 스캔 영역의 외부 에지 사이의 중간에 포커싱되면, 도 12b에 예시된 스캔 라인 밀도 분포(67)는 인간 시력 분포(59)에 매칭할 것이다. 특히, 도 12a 및 도 12b의 그래프들의 Y-축 상의 라인 밀도는 라인들/도들의 "단위"로서 표현된다. 프레임당 필요한 총 라인들은 스캔 영역에 걸쳐 스캔 라인 분포 곡선들 아래의 영역을 적분함으로써 계산될 수 있다.

[0083] 따라서, 스캔 라인 밀도 분포를 동적으로 변화시키는 객체가 고 밀도 스캔 지역 내에 최종 사용자(52)의 눈(54)의 중심와를 유지시키는 것이 인지될 수 있다. 일 실시예에서, 시야 내의 눈의 초점이 검출되고, 그리고, 고 밀도 스캔 지역은, 검출된 초점과 일치하게 유지되도록 동적으로 변화되고, 이에 의해 고 밀도 스캔 지역의 중심에 눈의 중심와가 유지된다. 다른 실시예에서, 고 밀도 스캔 지역은, 최종 사용자(50)의 시야에 관심있는 객체(가상 또는 실제)와 일치하게 유지되도록, 동적으로 변화된다. 이 경우에, 최종 사용자(50)의 초점이 관심있는 객체상에 있을 것이고 그리고/또는 최종 사용자(50)의 시야 내의 임의의 다른 객체들이 중요하지 않거나 존재하지 않고, 그러므로 이들 영역들에서 감소된 스캔 해상도가 충분할 것이라는 것이 가정된다.

[0084] 스캔 라인 밀도 분포의 고 해상도 부분 아래에 중심와를 유지시키기 위해, 에러 마진들은 예컨대 눈 추적의 부정확들 및/또는 눈 추적, 머리 포즈, 렌더링 및 리프레시 레이트의 레이턴시를 고려하기 위해 스캔 라인 밀도 분포 내에 포함될 수 있다. 300°/sec의 최대 머리 각속도 및 초당 60 프레임 업데이트(눈 추적 업데이트, 포즈, 렌더, 또는 리프레시 레이트 중 가장 느림)에 대해, 10° 에러(5° 좌측 및 우측) 마진은 스캔 라인 밀도 분포의 고 해상도 부분 아래에 눈 중심와를 유지시키기 위해 필요해진다. 150°/sec의 최대 머리 각속도 및 초당 60 프레임 업데이트(눈 추적 업데이트, 포즈, 렌더, 또는 리프레시 레이트 중 가장 느림)에 대해, 5° 에러(2.5° 좌측 및 우측) 마진은 스캔 라인 밀도 분포의 고 해상도 부분 아래에 눈 중심와를 유지시키기 위해 필요해진다. 만약 10° 에러 마진이 도 12b의 스캔 라인 분포 그래프 내에 포함되면, 스캔 라인 밀도 분포 곡선(67)은 도 13에 도시된 바와 같이 확장할 것이다.

[0085] 특히, 에러 마진이 커질수록, 동적 지역 해상도 기법은 덜 효율적이게 된다. 따라서, 동적 지역 해상도 기법의 효율성을 최대화하기 위해, 가상 이미지 생성 시스템(100)은 상이한 용도-경우들, 애플리케이션들, 및/또는 기간들 사이에서 변화할 수 있는 가정된 눈 각속도 프로파일에 기반하여 에러 마진을 동적으로 변화시킬 수 있다. 예컨대, 책을 읽을 때, 눈 움직임들은 300°/sec보다 훨씬 느리고, 디지털 페인팅을 검사할 때, 눈은 일정 기간 동안 거의 정적이다. 에러 마진을 동적으로 함으로써, 에러 마진은 가끔 제로로 감소될 수 있고, 이는 가장 높은 유효 해상도를 야기한다. 예컨대, 아래에 더 논의되는 바와 같이, 에러 마진이 0인 경우, 동적 지역 해상도 기법이 이용될때의 해상도는, 동적 지역 해상도 기법이 이용되지 않을때의 해상도보다 거의 2.8 배일 수 있다.

[0086] 도 14에 예시된 바와 같이, 인간 시력 분포(59)에 정확하게 매칭하는 대신, 인간 시력 분포 곡선(59)보다 스캔 밀도 해상도 분포 곡선(69)을 더 가파르게 함으로써 동적 해상도 지역 기법은 더 효율적이게 될 수 있다. 이런 방식으로, 망막 해상도는 중앙 지역들에서 획득되는 반면, 서브-망막 해상도는 주변 지역들에서 획득된다. 따라서, 시야의 다른 곳에서 더 낮은 해상도의 댓가를 치루면서 매우 높은 해상도가 시야의 초점 지역에서 달성된다.

[0087] 이제 도 15를 참조하면, 상이한 스캔 라인 해상도 프로파일들을 사용할 때 동적 해상도 지역 기법의 효율성들이 비교될 수 있다. 여기에 도시된 바와 같이, 균일한 스캔 라인 밀도를 사용하는 종래의 스캐닝 기법으로부터 발생하는 스캔 곡선(170a); 에러 마진 없이 인간 시력 분포 곡선(172)에 매칭하는 동적 해상도 지역 기법으로부터 발생하는 스캔 곡선(170b); 10° 에러 마진을 가지고 인간 시력 분포 곡선(172)에 매칭하는 동적 해상도 지역으로부터 발생하는 스캔 곡선(170c); 및 10° 에러 마진을 가지고 인간 시력 분포 곡선(172)보다 더 선명한 동적 해상도 지역 기법으로부터 발생하는 스캔 곡선(170d)이 비교된다. 비록 스캔 곡선들(170b-170d)의 피크들 또는 플래토스(plateaus)가 인간 시력 분포 곡선(172)의 피크 미만이지만, 스캔 곡선들(170b-170c)은, 스캔 곡선들(170b-170c)의 기울기들이 시력 해상도 곡선들의 기울기와 동일하다는 점에서 인간 시력 분포 곡선(172)에 매칭하고, 그리고 스캔 곡선(170d)은, 스캔 곡선(170d)의 기울기가 인간 시력 분포 곡선(172)의 기울기보다 크다는 점에서 인간 시력 분포 곡선(172)보다 더 선명하다는 것이 주목되어야 한다.

[0088] 70° 스캔 영역에 걸쳐 스캔 곡선들(170) 아래의 적분은 스캔 곡선(170a)에 대해 프레임당 70 단위의 라인들, 스캔 곡선(170b)에 대해 프레임당 25.2 단위의 라인들, 스캔 곡선(170c)에 대해 프레임당 41.3 단위의 라인들, 및 스캔 곡선(170d)에 대해 프레임당 20.1 단위의 라인들을 초래한다. 이것은 동적 해상도 지역 기법들에 대해 증가된 FPS(frame per second)로 해석되고, 특히 에러 마진 없이(스캔 곡선(170b)) 시력 해상도에 매칭하는 동적 해상도 지역 기법에 대한 FPS는 종래의 스캐닝 기법(스캔 곡선(170a))에 대한 FPS의 2.8배와 같고; 10° 에러 마진을 갖고(스캔 곡선(170c)) 시력 해상도에 매칭하는 동적 해상도 지역 기법에 대한 FPS는 종래의 스캐닝 기법(스캔 곡선(170a))에 대한 FPS의 1.7배와 같고; 그리고 10° 에러 마진을 갖고(스캔 곡선(170d)) 시력 해상도보다 더 선명한 동적 해상도 지역 기법에 대한 FPS는 종래의 스캐닝 기법(스캔 곡선(170a))에 대한 FPS의 3.5배와 같다.

[0089] 전술한 것에 기반하여, 동적 해상도 지역 기법을 활용함으로써, 프레임을 디스플레이하기 위해 요구되는 요구된 스캔 라인들이 실질적으로 감소될 수 있고, 이것이 프레임 스캐닝 레이트를 증가시키고 그리고/또는 요구된 스캐너 주파수를 감소시키기 위한 잠재성을 제공하고, 이에 의해 이용가능한 기계적/광학적 스캐너 설계 옵션들을 증가시키는 것이 이해되어야 한다. 프레임 렌더링 스피드들이 또한 감소될 수 있다는 것이 전술한 것으로부터 또한 인지되어야 한다. 예컨대, 각각의 프레임은 비-균일한 해상도 분포, 예컨대 시력 해상도에 매칭하는 해상도 분포로 렌더링되고, 그 다음으로 렌더링된 그대로 최종 사용자(50)에게 디스플레이될 수 있다. 프레임을 렌더링하기 위해 요구된 픽셀들의 수가 감소되었기 때문에, 이에 따라 프레임을 렌더링하기 위해 요구된 시간의 양은, 프레임 스캐닝 레이트의 증가 및/또는 스캐너 주파수의 감소와 함께, 감소될 수 있다. 대안적으로, 각각의 프레임은 균일한 해상도 분포로 렌더링될 수 있고, 이 경우, 비-균일한 해상도 분포는 스캐닝 프로세스 동안 렌더링된 프레임 내의 특정 픽셀들을 무시함으로써 프레임에 통합될 수 있다.

[0090] 몇몇 동적 해상도 지역 기법들의 이론 및 장점들을 기술을 설명하였기 때문에, 동적 해상도 지역 기법들의 구현들이 이제 설명될 것이다.

[0091] 도 16a-도 16b에 예시된 바와 같이, 일 실시예에서, 나선형 스캔 패턴이 이미지 프레임에 사용되는 것을 가정하면, 스캔 라인들은 동심원 라인들(200)로서 단순하게 표현될 수 있다. 단지 6개의 동심원 스캔 라인들(200)이 간략성 및 명확성의 목적을 위해 예시되지만, 더욱 많은 스캔 라인들이 실제로 사용될 수 있다는 것이 인지되어야 한다. 최종 사용자(50)가 시야의 포인트(202a)에 포커싱되는 것이 추정되면, 더 조밀하게 이격된 스캔 라인들(200b-d)에 의해 표현되는 바와 같이, 프레임에서 가장 높은 스캔 라인 밀도가 포인트(202a)에 인접하여 사용될 것이고, 그리고 더 성기게 이격된 스캔 라인들(200a 및 200e-f)에 의해 표현된 바와 같이, 프레임의 더 낮은 스캔 밀도는 포인트(202a)로부터 떨어진 지역에 사용될 것이다(도 16a). 최종 사용자(50)가 이제 포인트(202b)에 포커싱되는 것이 추정되면, 더 조밀하게 이격된 스캔 라인들(200d-f)에 의해 표현되는 바와 같이, 프레임에서 가장 높은 스캔 라인 밀도가 포인트(202b)에 인접한 지역에 사용될 것이고, 그리고 더 성기게 이격된 스캔 라인들(200a-c)에 의해 표현된 바와 같이, 프레임의 더 낮은 스캔 밀도는 포인트(202b)로부터 떨어진 지역에 사용될 것이다(도 16b). 따라서, 최종 사용자(50)의 초점을 따르도록 가장 높은 라인 밀도의 지역을 동적으로 이동시킴으로써, 이미지 프레임의 품질은 일반적으로 동일한 수의 스캔 라인들을 사용하여 증가될 수 있다는 것이 인지될 수 있다.

[0092] 일 실시예에서, 시야에 걸쳐 스캔 라인 밀도의 변동은 연속적이다(즉, 스캔 라인들의 인접한 쌍들 사이의 간격은 서로 상이할 것임). 그러나, 하나의 원하는 실시예에서, 시야에 걸쳐 스캔 라인 밀도의 변동은 이산적이다. 즉, 각각의 이미지 프레임은 상이한 해상도들을 가진 복수의 이산 지역들을 가진다.

[0093] 예컨대, 나선형 스캔 패턴을 가정하면, 이미지 프레임은 도 17a-도 17b에 예시된 바와 같이, 5개의 환형 이산 지역들(204a-204e)을 가질 수 있다. 최종 사용자(50)가 포인트(206a)에 의해 표시된 시야의 중심에 포커싱되는 것이 추정되면, 가장 높은 해상도 지역은 예컨대 204a일 것이고, 나머지 주변 지역들(204b-204e)은 204b에서 시작하여, 그 다음 204c, 그 다음 204d, 그리고 마지막으로 204e로 감소하는 해상도들을 가질 것이다(도 17a). 대조적으로, 최종 사용자(50)가 포인트(206d)에 의해 표시된 시야의 주변에 포커싱되는 것이 추정되면, 가장 높은 해상도 지역은 예컨대 204d일 것이고(도 17b), 나머지 주변 지역들(204b-204e)은 204c에서 시작하여, 그 다음 204e, 그 다음 204b, 그리고 마지막으로 204a로 감소하는 해상도들을 가질 것이다. 특히, 도 17a 및 도 17b에 예시된 이산 지역들(204)의 해상도 프로파일은 도 9b에 예시된 시력 분포에 따른다. 즉, 이산 지역들의 해상도는 프로파일의 중심으로부터의 시력 양과 실질적으로 매칭하는 레이트로 초점과 연관된 가장 높은 해상도 이산 지역으로부터 감소할 것이다.

[0094] 다른 예로서, 래스터 스캔 패턴을 가정하면, 이미지 프레임은 도 18a-도 18b에 예시된 바와 같이, 5개의 직사각형 이산 지역들(208a-208i)을 가질 수 있다. 최종 사용자(50)가 포인트(210a)에 의해 표시된 시야의 중심에 포커싱되는 것이 추정되면, 가장 높은 해상도 지역은 예컨대 208e일 것이고, 나머지 주변 지역들(208a-208d 및 208f-208i)은, 208d 및 208f에서 시작하여, 그 다음 208c 및 208g, 그 다음 208b 및 208h, 및 마지막으로 208a 및 208i로 해상도들을 감소시킬 것이다(도 18a). 대조적으로, 최종 사용자(50)가 포인트(208c)에 의해 표시된 시야의 주변에 포커싱되는 것이 추정되면, 가장 높은 해상도 지역은 예컨대 208c일 것이고(도 18b), 나머지 주변 지역들(204a-204b 및 204d-204i)은 204b 및 204d에서 시작하여, 그 다음 204a 및 204e, 그 다음 204f, 그 다음 204g, 그 다음 204h, 및 마지막으로 204i로 감소하는 해상도들을 가질 것이다. 다시, 도 18a 및 도 18b에 예시된 이산 지역들(208)의 해상도 프로파일은 도 9b에 예시된 시력 분포에 따른다. 즉, 이산 지역들의 해상도는 프로파일의 중심으로부터의 시력 양과 실질적으로 매칭하는 레이트로 초점과 연관된 가장 높은 해상도 이산 지역으로부터 감소할 것이다.

[0095] 일 실시예에서, 가장 높은 해상도의 이산 지역은 최종 사용자의 초점에 기반하여 시야 템플릿으로부터 선택될 수 있다. 예컨대, 도 19를 참조하면, 시야 템플릿(212)은, 나선형 스캔 패턴이 5개의 환형 이산 지역들(214a-214e)을 포함하는 것을 가정한다. 예시된 실시예에서, 이산 지역들(214a-214e)의 각각은 위에서 설명된 에러 마진을 고려하기 위해, 공칭 사이즈(실선들에 의해 표현됨)로부터 확장된 사이즈(파선에 의해 표현됨)로, 예컨대 10 퍼센트만큼 선택적으로 확장될 수 있다.

[0096] 예컨대, 최종 사용자(50)의 추정된 초점이 공칭 이산 지역(214a)의 주변부 근처 포인트(216a)에 있다는 것을 가정하면, 도 20a에 예시된 바와 같이, 확장된 이산 지역(214a)은 가장 높은 해상도를 가진 지역으로서 선택되고 디스플레이될 것이다. 최종 사용자(50)의 실제 초점이 공칭 이산 지역(214a)의 주변부 바로 외측 포인트(216b)에 있다면, 초점(216b)은, 확장된 이산 지역(214a)이 포인트(216b)를 커버한다는 사실로 인해 여전히 가장 높은 해상도 내에 포함될 것이다. 또한 도 20a에 예시된 바와 같이, 확장된 이산 지역(212a)과 오버랩핑하지 않는 이산 지역(214b)의 부분은 감소된 해상도로 디스플레이될 것이다. 다른 말로, 공칭 이산 지역(214b)의 부분(이산 지역(212a)의 파선 및 실선에 의해 정의됨)은, 이 지역이 고 해상도 이산 지역(214a)의 확장된 부분에 의해 이미 커버되기 때문에, 무시될 것이다. 나머지 이산 지역들(212c-212e)은 감소하는 해상도들로 그들의 공칭 형태(확장되지 않음)로 디스플레이될 것이다.

[0097] 확장된 이산 지역(214a)은, 최종 사용자(50)의 추정된 초점이 시야 템플릿(210)의 공칭 이산 지역(212a)의 외측에 있을 때까지, 가장 높은 해상도로 계속 디스플레이될 것이다. 예컨대, 최종 사용자(50)의 추정된 초점이 시야 템플릿(210)의 이산 지역(212b)의 포인트(214c)로 변화되면, 도 20b에 예시된 바와 같이, 확장된 이산 지역(212b)은 가장 높은 해상도를 가진 이산 지역으로서 디스플레이될 것이다. 또한 도 20b에 예시된 바와 같이, 확장된 이산 지역(212b)과 오버랩핑하지 않는 이산 지역(214a 및 214c)의 부분은 감소된 해상도들로 디스플레이될 것이다. 다른 말로, 공칭 이산 지역(214a)의 부분(이산 지역(212a)의 파선 및 실선에 의해 정의됨) 및 이산 지역(214c)의 부분(이산 지역(212c)의 파선 및 실선에 의해 정의됨)은, 이들 지역들이 고 해상도 이산 지역(214b)의 확장된 부분들에 의해 이미 커버되기 때문에, 무시될 것이다. 나머지 이산 지역들(212d-212e)은 감소하는 해상도들로 그들의 공칭 형태(확장되지 않음)로 디스플레이될 것이다.

[0098] 선택적인 실시예에서, 디스플레이된 프레임들의 더 낮은 해상도 지역들이 최종 사용자(50)에게 시각적 아티팩트(artifact)들을 생성할 수 있기 때문에(예컨대, 최종 사용자(50)는 스캔 라인들 사이의 비교적 큰 간격으로 인해 각각의 스캔 라인들을 별개로 시각화할 수 있을 수 있음), 이들 더 낮은 해상도 지역들이 블러링될 수 있다. 블러링의 양은 프레임의 더 낮은 해상도 지역들의 해상 품질 저하 양에 비례할 수 있다. 예컨대, 저 해상도 지역의 해상도가 가장 높은 해상도 지역의 해상도보다 4배 낮으면(25%), 저 해상도 지역의 디스플레이된 픽셀은 픽셀의 본래 사이즈의 4배로 블러링될 수 있다. 일 실시예에서, 더 낮은 해상도 지역들은 인접하게 디스플레이된 프레임들의 스캐닝 라인들을 디더링함으로써 블러링될 수 있다. 예컨대, 하나의 프레임에 2개의 필드들이 인터레이싱되는 경우에, 하나의 프레임에는 짝수 필드의 스캔 라인들이 디스플레이될 수 있고, 다음 프레임에는 홀수 필드의 스캔 라인들이 디스플레이될 수 있다. 다른 실시예에서, 더 낮은 해상도 지역들은 더 낮은 해상도 지역의 디스플레이된 프레임들을 디포커싱함으로써 블러링될 수 있다. 이것은 예컨대, 최종 사용자(50)의 초점 평면과 상이한 초점 평면에 더 낮은 해상도 지역들의 스캔 라인들을 디스플레이함으로써 달성될 수 있다.

[0099] 다른 선택적인 실시예에서, 나선형 스캔 패턴에 의해 생성된 프레임의 주변의 더 높은 해상도 지역들은 프레임 주변 상에 높은 라인 밀도의 시각화 밴드(band)들 형태의 아티팩트들을 생성할 수 있다. 이들 아티팩트들을 최소화하기 위해, 고 해상도 환형 대신 고 해상도 섹터가 스캐닝될 수 있다. 예컨대, 도 17b에 예시된 바와 같이 고 해상도 환형 지역(202d)을 스캐닝하는 대신, 도 21에 예시된 바와 같이, 고 해상도 섹터 지역(202f)이 추정된 초점(206b)을 커버하도록 스캐닝될 수 있다. 스캐닝 디바이스(116)의 제한들이 더 낮은 해상도로 환형 지역(202d)의 나머지 섹터 지역(202g)(즉, 고 해상도 섹터 지역(202f) 외측의 섹터 지역)의 스캐닝을 방지하는 경우들에서, 스캐닝 디바이스(116)는 원하는 더 낮은 해상도 섹터 지역 내에 스캔 라인들 모두를 디스플레이하는 것을 방지할 수 있다. 예컨대, 환형 지역(202d) 내의 특정 360도 스캔 라인에 대해, 스캐닝 디바이스(116)는 저 해상도 섹터에 스캔 라인에 대한 광을 출력하는 것을 중단할 수 있고 그리고 고 해상도 섹터 지역(202f)에 동일한 스캔 라인에 대한 광을 출력할 수 있다. 그 다음으로, 각도 지역(202d) 내의 다른 인접한 360도 스캔 라인에 대해, 스캐닝 디바이스(116)는 전체 360도 범위에 걸쳐 스캔 라인에 대한 광의 출력을 유지할 수 있다.

[00100] 가상 이미지 생성 시스템(100)의 구조 및 기능을 설명하였으므로, 최종 사용자(50)에게 합성 이미지 프레임들을 디스플레이하기 위해 가상 이미지 생성 시스템(100)에 의해 수행되는 하나의 방법(300)이 이제 도 21에 대해 설명될 것이다.

[00101] 이 목적을 위해, CPU(132)는 (예컨대, 피동자 배향 검출 모듈(130)을 통해 이를 검출하거나 초점이 최종 사용자(50)의 시야에서 식별된 관심있는 객체와 일치하는 것을 가정함으로써) 최종 사용자(50)의 초점을 추정하고(단계 302), 그리고 추정된 초점과 일치하는 시야 템플릿의 이산 지역을 선택한다(단계 304). 그 다음으로, 가상 이미지 생성 시스템(100)은 최종 사용자(50)가 주변 환경의 3-차원 장면을 시각화하도록 허용한다(단계 306). 이것은 예컨대 "비디오 시-스루" 디스플레이; 또는 "광학 시-스루" 디스플레이에서 달성될 수 있고, "비디오 시-스루" 디스플레이에서, CPU(132)는 3-차원 장면의 이미지 데이터를 캡처하도록 전방 지향 카메라들(128)을 지향시키고, 그리고 캡처된 이미지 데이터를 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에게 지시하거나; 또는 "광학 시-스루" 디스플레이에서 최종 사용자는 단순히 3-차원 장면으로부터의 광을 직접 보도록 허용받는다.

[00102] CPU(132)는 또한 최종 사용자(50)의 시점으로부터 가상 이미지 데이터를 생성하도록 GPU(134)에게 명령하고, 그리고 이 실시예에서 3-차원 가상 장면으로부터 2-차원 가상 이미지를 데이터 합성 이미지 프레임으로서 렌더링한다(단계 308). 일 실시예에서, 프레임들은 예컨대 가상 이미지 데이터를 렌더링 및 와핑(warping)함으로써 임의의 레이턴시(latency) 문제들을 최소화하기 위해 예측 머리 포지션들에 기반하여 생성될 수 있다.

[00103] 그 다음으로, CPU(132)는, 주변 3-차원 장면과 함께, 이에 의해 3-차원 증강 장면을 생성하는 합성 이미지 프레임을 최종 사용자(50)에게 디스플레이하도록 디스플레이 서브시스템(104)에게 명령한다(단계 310). 하나의 방법에서, 합성 이미지 프레임은 비-균일한 해상도 분포로 디스플레이되고, 특히, 합성 이미지 프레임은 시야 템플릿으로부터 선택된 이산 지역과 대응하는 가장 높은-해상도 지역으로 디스플레이된다. 합성 이미지 프레임은 가장 높은-해상도 지역으로부터 이들의 거리에 따라 해상도가 점진적으로 감소하는 이산 지역들로 디스플레이될 수 있다. 이산 지역들의 해상도들은 예컨대 인간 눈의 시력 분포에 매칭하거나 심지어 더 선명할 수 있다. 특히, 렌더링될 때, 합성 이미지 프레임이 균일한 해상도 분포를 가지면, CPU(132)는 예컨대, 저 해상도가 원해지는 프레임들의 지역들의 특정 픽셀들을 무시하도록 디스플레이 서브시스템(104)에게 명령함으로써, 비-균일한 해상도 분포를 렌더링된 프레임에 통합시킬 것이다. 다른 한편, 렌더링될 때, 합성 이미지 프레임이 시야 템플릿의 선택된 이산 지역과 대응하는 고-해상도 지역을 갖는 프레임을 렌더링함으로써 비-해상도 분포를 가지면, CPU(132)는 렌더링될 때 프레임을 디스플레이할 것이다.

[00104] 예시된 방법에서, 디스플레이 서브시스템(104)은, 비-균일한 해상도 분포가 방사상으로 변화하도록 예컨대 나선형 패턴으로, 또는 비-균일한 해상도 분포가 직선으로 변화하도록 래스터 패턴으로 합성 이미지 프레임을 스캔한다. 이산 지역들은 나선형 스캔 패턴의 경우에 환형 또는 심지어 섹터-형상화될 수 있거나 래스터 스캔 패턴의 경우에 직사각형일 수 있다. CPU(132)는 또한 (예컨대, 스캔 라인들을 디더링함으로써 또는 더 낮은 해상도 지역에서 디포커싱함으로써) 저 해상도 지역들의 합성 이미지 프레임을 블러링하도록 디스플레이 서브시스템(104)에게 명령한다(단계 312). 더 낮은 해상도 지역들의 합성 이미지 프레임을 블러링하는 단계가 렌더링 및 디스플레이 단계들 이후 발생하는 것으로 흐름도에서 예시되지만, 블러링 단계가 렌더링 또는 디스플레이 단계들과 동시에 수행될 수 있다는 것이 인지되어야 하는 것이 인지되어야 한다. 그 다음으로, CPU(132)는, 최종 사용자(50)의 새롭게 추정된 초점에 따라, 이전 합성 이미지 프레임의 비-균일한 분포와 동일하거나 상이할 수 있는 비-균일한 분포를 가진 다른 합성 이미지 프레임을 생성하고 디스플레이하기 위한 단계(302)로 리턴한다.

[00105] 전술한 설명에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 다양한 수정들 및 변화들이 본 발명의 더 넓은 사상 및 범위에서 벗어나지 않고 이루어질 수 있다는 것이 명백할 것이다. 예컨대, 위에서 설명된 프로세스 흐름들은 프로세스 동작들의 특정 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 중 많은 동작의 순서가 본 발명의 범위 또는 동작에 영향을 주지 않고 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적 의미보다 오히려 예시로 고려된다.

Claims (56)

1. 가상 이미지 생성 시스템을 동작시키는 방법으로서,
   최종 사용자의 시야 내의 눈의 초점을 추정하는 단계;
   3-차원 장면의 복수의 합성 이미지 프레임들을 렌더링(rendering)하는 단계;
   상기 복수의 이미지 프레임들을 상기 최종 사용자에게 순차적으로 디스플레이하는 단계;
   상기 추정된 초점에 응답하여 상기 디스플레이된 이미지 프레임들의 각각에 대한 비-균일한 해상도 분포를 생성하는 단계 ― 상기 비-균일한 해상도 분포는 가장 높은 해상도의 지역 및 상기 가장 높은 해상도의 지역보다 더 낮은 해상도의 지역을 포함하고, 상기 가장 높은 해상도의 지역은 상기 추정된 초점과 일치하고, 상기 최종 사용자의 추정된 초점은 상기 최종 사용자의 시야 내의 초점 범위를 제공하기 위해 에러 마진을 가지고, 상기 가장 높은 해상도의 지역은 상기 초점 범위와 교차함 ―;
   상기 더 낮은 해상도의 지역에서 상기 디스플레이된 이미지 프레임들을 블러링(blurring)하는 단계; 및
   가정된 눈 각속도 프로파일에 기반하여 상기 에러 마진을 동적으로 변화시키는 단계
   를 포함하고,
   상기 디스플레이된 이미지 프레임들 각각의 해상도 분포는 상기 최종 사용자의 눈의 시력 분포의 기울기에 매칭되거나 또는 더 큰 기울기를 가지는,
   가상 이미지 생성 시스템을 동작시키는 방법.
2. 제1 항에 있어서,
   상기 이미지 프레임들의 각각은 상기 비-균일한 해상도 분포로 렌더링되는,
   가상 이미지 생성 시스템을 동작시키는 방법.
3. 제1 항에 있어서,
   상기 이미지 프레임들의 각각은 균일한 해상도 분포를 갖도록 렌더링되고, 각각의 이미지 프레임을 디스플레이하는 것은 상기 비-균일한 해상도 분포를 이미 렌더링된 이미지 프레임에 통합하는 것을 포함하는,
   가상 이미지 생성 시스템을 동작시키는 방법.
4. 제1 항에 있어서,
   상기 가장 높은 해상도의 지역 및 더 낮은 해상도의 지역은 이산적인(discrete),
   가상 이미지 생성 시스템을 동작시키는 방법.
5. 제4 항에 있어서,
   복수의 이산 지역들을 가진 시야 템플릿(filed of view template)으로부터 상기 가장 높은 해상도의 지역을 선택하는 단계를 더 포함하는,
   가상 이미지 생성 시스템을 동작시키는 방법.
6. 제5 항에 있어서,
   상기 시야 템플릿 내의 상기 복수의 이산 지역들은 서로 오버랩(overlap)하는,
   가상 이미지 생성 시스템을 동작시키는 방법.
7. 제5 항에 있어서,
   상기 이미지 프레임들의 각각은 나선형 패턴으로 스캐닝되고, 상기 이산 지역들의 각각은 섹터-형상인,
   가상 이미지 생성 시스템을 동작시키는 방법.
8. 제1 항에 있어서,
   상기 디스플레이된 이미지 프레임들의 각각은 스캐닝되고, 그리고 상기 디스플레이된 이미지 프레임들을 블러링하는 단계는 상기 더 낮은 해상도의 지역에서 인접하게 디스플레이된 이미지 프레임들의 스캔 라인들을 디더링(dithering)하는 단계를 포함하는,
   가상 이미지 생성 시스템을 동작시키는 방법.
9. 제1 항에 있어서,
   상기 디스플레이된 이미지 프레임들을 블러링하는 단계는 상기 더 낮은 해상도의 지역에서 디스플레이된 이미지 프레임들을 디포커싱(defocusing)하는 단계를 포함하는,
   가상 이미지 생성 시스템을 동작시키는 방법.
10. 제1 항에 있어서,
    상기 디스플레이된 이미지 프레임들의 각각은 스캐닝되고, 그리고 상기 더 낮은 해상도의 지역에서 상기 이미지 프레임들을 블러링하는 것은 상기 더 낮은 해상도의 지역에서 스캔 라인들 사이의 비교적 큰 간격으로 인한 시각적 아티팩트(artifact)들을 최소화하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
11. 삭제
12. 삭제
13. 최종 사용자가 사용하기 위한 가상 이미지 생성 시스템으로서,
    3-차원 장면을 저장하는 메모리;
    제어 서브시스템; 및
    복수의 이미지 프레임들을 최종 사용자에게 순차적으로 디스플레이하도록 구성된 디스플레이 서브시스템 ― 디스플레이된 이미지 프레임들의 각각은 비-균일한 해상도 분포를 가짐 ―
    을 포함하고,
    상기 제어 서브시스템은,
    상기 3-차원 장면의 복수의 합성 이미지 프레임들을 렌더링하고,
    상기 최종 사용자의 시야 내의 눈의 초점을 추정하고, 그리고 상기 추정된 초점에 기반하여 상기 디스플레이된 이미지 프레임들의 각각에 대한 비-균일한 해상도 분포를 생성하고 ― 상기 비-균일한 해상도 분포는 가장 높은 해상도의 지역 및 상기 가장 높은 해상도의 지역보다 더 낮은 해상도의 지역을 포함하고, 상기 가장 높은 해상도의 지역은 상기 추정된 초점과 일치하고, 상기 최종 사용자의 추정된 초점은 상기 최종 사용자의 시야 내의 초점 범위를 제공하기 위해 에러 마진을 가지고, 상기 가장 높은 해상도의 지역은 상기 초점 범위와 교차함 ―,
    상기 더 낮은 해상도의 지역에서 상기 디스플레이된 이미지 프레임들을 블러링하고, 그리고
    가정된 눈 각속도 프로파일에 기반하여 상기 에러 마진을 동적으로 변화시키도록
    구성되고,
    상기 디스플레이된 이미지 프레임들 각각의 해상도 분포는 상기 최종 사용자의 눈의 시력 분포의 기울기에 매칭되거나 또는 더 큰 기울기를 가지는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
14. 제13 항에 있어서,
    상기 디스플레이 서브시스템은 투사 서브시스템 및 부분적으로 투명한 디스플레이 표면을 포함하고, 상기 투사 서브시스템은 상기 부분적으로 투명한 디스플레이 표면상에 상기 이미지 프레임들을 투사하도록 구성되고, 그리고 상기 부분적으로 투명한 디스플레이 표면은 상기 최종 사용자의 눈들과 주변 환경 사이의 시야 내에 포지셔닝되도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
15. 제13 항에 있어서,
    상기 제어 서브시스템은 상기 비-균일한 해상도 분포를 가진 이미지 프레임들의 각각을 렌더링하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
16. 제13 항에 있어서,
    상기 제어 서브시스템은 균일한 해상도 분포를 가진 이미지 프레임들의 각각을 렌더링하도록 구성되고, 상기 디스플레이 서브시스템은 상기 비-균일한 해상도 분포를 이미 렌더링된 이미지 프레임에 통합함으로써 각각의 이미지 프레임을 디스플레이하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
17. 제13 항에 있어서,
    상기 가장 높은 해상도의 지역 및 더 낮은 해상도의 지역은 이산적인,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
18. 제17 항에 있어서,
    상기 제어 서브시스템은 복수의 이산 지역들을 가진 시야 템플릿으로부터 상기 가장 높은 해상도의 지역을 선택하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
19. 제13 항에 있어서,
    상기 최종 사용자의 초점을 검출하도록 구성된 하나 또는 그 초과의 센서들을 더 포함하고, 상기 제어 서브시스템은 상기 검출된 초점으로부터 초점을 추정하도록 구성되는,
    최종 사용자가 사용하기 위한 가상 이미지 생성 시스템.
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제
53. 삭제
54. 삭제
55. 삭제
56. 삭제

Images