KR20150091474A - 멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법 - Google Patents

멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법 Download PDF

Info

Publication number
KR20150091474A
KR20150091474A KR1020157014165A KR20157014165A KR20150091474A KR 20150091474 A KR20150091474 A KR 20150091474A KR 1020157014165 A KR1020157014165 A KR 1020157014165A KR 20157014165 A KR20157014165 A KR 20157014165A KR 20150091474 A KR20150091474 A KR 20150091474A
Authority
KR
South Korea
Prior art keywords
image
display
displaying
left eye
right eye
Prior art date
Application number
KR1020157014165A
Other languages
English (en)
Inventor
데이브 론
로드 지 플렉
킨티아 슈 벨
케빈 우
제프 메이비
티모시 오즈본
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150091474A publication Critical patent/KR20150091474A/ko

Links

Images

Classifications

    • H04N13/0438—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H04N13/044—
    • H04N13/0468—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Abstract

멀티 디스플레이 장치 상에서 이미지들을 로우 레이턴시(low latency)를 갖고 디스플레이하는 것에 관한 실시예가 개시된다. 예를 들어, 하나의 개시된 실시예는 제1 디스플레이와 제2 디스플레이를 포함하는 디스플레이 장치 상에서, 제1 이미지를 수신하여 처리하는 단계와, 제1 이미지를 제2 디스플레이를 통해 디스플레이하지 않고 이 제1 이미지를 제1 디스플레이를 통해 디스플레이하는 단계를 포함하는 방법을 제공한다. 이 방법은 제2 이미지를 수신하는 단계와, 제1 이미지를 디스플레이하는 동안 제2 이미지를 처리하는 단계, 및 제2 이미지를 제1 디스플레이를 통해 디스플레이하지 않고 이 제2 이미지를 제2 디스플레이를 통해 디스플레이하는 단계를 더 포함한다.

Description

멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법{LOW LATENCY IMAGE DISPLAY ON MULTI-DISPLAY DEVICE}
헤드 마운티드 디스플레이(head-mounted display: HMD) 장치와 같은 디스플레이 장치는 디스플레이를 통해 보여지는 물리적 배경 위에 가상의 이미지를 디스플레이함으로써 증강 현실 경험을 제공하도록 구성될 수 있다. 씨스루(see-through) 디스플레이 장치의 사용자가 사용 환경에서 위치 및/또는 배향을 바꿈에 따라, 장치는 사용자의 움직임을 검출하고 디스플레이되는 이미지를 그에 따라 업데이트하도록 구성된다.
멀티 디스플레이 장치상에서 이미지들을 로우 레이턴시(low latency)를 갖고 디스플레이하는 것에 관한 실시예가 개시된다. 예를 들어, 하나의 개시된 실시예는 제1 디스플레이와 제2 디스플레이를 포함하는 디스플레이 장치상에서, 제1 이미지를 수신하여 처리하는 단계와, 제1 이미지를 제2 디스플레이를 통해 디스플레이하지 않고 이 제1 이미지를 제1 디스플레이를 통해 디스플레이하는 단계를 포함하는 방법을 제공한다. 이 방법은 제2 이미지를 수신하는 단계와, 제1 이미지를 디스플레이하는 동안 제2 이미지를 처리하는 단계 및 제2 이미지를 제1 디스플레이를 통해 디스플레이하지 않고 이 제2 이미지를 제2 디스플레이를 통해 디스플레이하는 단계를 더 포함한다.
본 개요는 이하의 상세한 설명에서 더 설명되는 선택된 개념들을 간단한 형태로 소개하기 위해 제공된 것이다. 본 개요는 청구대상의 핵심 특징 또는 중요한 특징를 확인하고자 하는 것이 아니며 또한 청구대상의 범주를 제한하려는 것도 아니다. 또한, 청구대상은 본 명세서에 개시되어 있는 임의의 또는 모든 단점을 해결하는 실시예에 국한되지 않는다.
도 1a 및 도 1b는 복수의 디스플레이를 통해 이미지를 디스플레이하도록 구성된 씨스루 디스플레이 장치의 일 실시예를 도시하고, 또한 씨스루 디스플레이 장치에 의해 디스플레이되는 이미지의 일 예를 나타낸다.
도 2는 콘텐츠 생산자와 콘텐츠 소비자 간의 이미지 데이터의 흐름에 대한 개략도를 나타낸다.
도 3은 복수의 디스플레이를 통해 로우 레이턴시 이미지들을 디스플레이하는 방법의 일 실시예를 나타내는 흐름도이다.
도 4는 복수의 디스플레이를 통해 로우 레이턴시 이미지들을 디스플레이하는 방법의 일 실시예를 나타내는 타이밍도이다.
도 5는 복수의 디스플레이를 포함하는 디스플레이 장치의 실시예에 대한 블록도를 나타낸다.
도 6은 컴퓨팅 시스템의 일 실시예에 대한 블록도를 나타낸다.
앞서 언급한 바와 같이, 씨스루 디스플레이 장치의 사용자가 사용 환경 내에서 이동함에 따라, 장치는 디스플레이되는 이미지들을 그 이동에 응답하여 업데이트할 수 있다. 예를 들어, 일부 이미지들은 현실 세계 배경에 대해 정적("세계 고정된 이미지(world-locked image))이도록 구성될 수 있다. 사용자가 세계 고정된 이미지에 대해 이동하는 경우, 디스플레이 너머의 현실 세계의 뷰가 달라지기 때문에, 이미지는 예를 들어 디스플레이 상에서 다른 배향으로 다른 위치에서, 다른 광 텍스처링(different light texturing)으로, 다른 크기 등으로 재 렌더링될 수 있다.
씨스루 디스플레이 장치는 이 씨스루 디스플레이 장치상의 움직임 센서로부터 수신된 센서 입력에 응답하여 디스플레이되는 이미지들을 업데이트할 수 있다. 예를 들어, 이하에서 보다 자세히 설명되는 바와 같이, 씨스루 디스플레이 장치는 디스플레이 장치를 통해 보여지는 배경 환경의 이미지 데이터를 획득하는 외향(outward-facing) 이미지 센서, 및/또는 이동을 검출하는 관성 운동 센서를 포함할 수 있다. 사용자의 이동은 이러한 센서에 의해 획득된 데이터로부터 검출될 수 있고, 검출된 이동은 디스플레이되는 이미지를 업데이트하는데 사용될 수 있다.
일부 헤드 마운티드 디스플레이 장치와 같은 몇몇 씨스루 디스플레이 장치는 예를 들어 입체적 이미지의 디스플레이를 가능하게 하기 위해 좌안 및 우안 이미지를 디스플레이하기 위한 별개의 좌안 및 우안 디스플레이를 이용할 수 있다. 따라서, 이러한 장치에서, 좌안 및 우안 이미지 모두가 사용자 이동에 응답하여 업데이트될 수 있다.
사용자가 이동함에 따라, 배경 장면의 사용자 뷰가 바뀌는 속도(예를 들어, 사용자가 자신의 머리를 돌리는 속도)에 비교되는, 디스플레이되는 이미지가 업데이트되는 속도는 사용자의 경험에 영향을 미칠 수 있다. 예를 들어, 세계 고정된 이미지의 경우, 이 이미지의 재-렌더링이 바람직하지 않은 양의 레이턴시를 갖는다면(즉, 사용자의 이동에 비해 매우 뒤처진다면), 이 이미지가 움직임에 응답하여 디스플레이 상에 다시 위치하는 경우 사용자는 이 이미지를 "과민하게(jittery)" 인식할 수 있다. 또한, 세계 고정된 또는 디스플레이 고정된 이미지가 현실 세계의 개체와의 맥락을 가지며 그 현실 세계의 개체에 인접하게 (예를 들어, 오버레이로서) 디스플레이되는 경우, 개체와 이미지의 맥락적 연결은 레이턴시에 의해 줄어들 수 있다.
도 1a 및 도 1b는 HDM 장치(100)의 사용자(102)가 보는 세계 고정된 이미지의 일 예를 나타낸다. 사용자(102)가 레코드 가게의 형태의 현실 세계 배경 개체(104)를 응시하는 경우, 장려하는 광고 형태의 가게 특정 가상 개체(106)가 가게 앞에 디스플레이된다. 가상 개체(106)가 현실 세계의 배경 개체(104)와 문맥적으로 연결되는 경우, 이 가상 개체(106)는 현실 세계의 배경 개체(104)에 위치적으로 고정되어 사용자가 물리적 환경에서 이동하여도 광고는 사용자의 관점에서 가게 앞에 유지된다.
가상 개체(106)의 세계 고정된 뷰를 유지하기 위해, HMD 장치(100)는 사용자에 대한 현실 세계 배경 개체(104)의 상대적 위치를 검출하고, 가상 개체(106)가 실제 개체에 대해 고정된 것으로 보이도록 이 가상 개체(106)의 디스플레이를 업데이트하도록 구성될 수 있다. 그러나, 업데이트된 이미지의 생성과 디스플레이 간에 바람직하지 않은 양의 레이턴시가 존재하는 경우, 가상 개체(106)는 사용자가 이동하는 경우 흔들릴 수 있고 및/또는 이동할 수 있으므로, 이 가상 개체(106)는 현실 세계 배경 개체(104)에 단단히 고정된 것으로는 보이지 않을 수 있다.
이러한 레이턴시 문제점을 피하기 위해, 씨스루 디스플레이 장치는 충분히 빠른 속도로 이미지를 업데이트하도록 구성될 수 있다. 이미지 생성과 이미지 디스플레이 간의 레이턴시는 이미지를 준비하고 디스플레이하기 위해 수행되는 프로세스의 수 및 프로세스 당 연산, 및 이러한 프로세스를 수행하는데 이용가능한 연산 리소스와 같은 요인들에 의존한다.
별개의 좌안 및 우안 디스플레이를 갖는 HMD 장치와 같은 멀티 디스플레이 장치에서, 업데이트된 위치에 민감한 이미지의 생성과 디스플레이 간의 시간을 줄이는 하나의 가능한 방법은 동시에 디스플레이되는 우안 및 좌안 이미지를 수용가능한 양의 지연을 가지고 업데이트하도록 충분한 컴퓨팅 리소스를 장치에 포함시키는 것이다. 그러나, 디스플레이 장치의 비용 및 전력 소비 특성은 장치에 제공되는 컴퓨팅 리소스의 양에 따라 변경될 수 있다.
따라서, 본 명세서에서는 로우 레이턴시가 요구되는 멀티 디스플레이 장치에서 이미지를 효율적으로 업데이트하는 것에 관한 실시예가 개시된다. 간단히 설명하면, 개시되어 있는 실시예는 좌안 이미지와 우안 이미지를 시간 순차적인 방식으로 별개로 렌더링하고, 이미지 내에서 원하지 않는 플릭커(flicker)를 피하기 위해 충분히 빠른 리프레시 속도로 좌안 및 우안 이미지를 디스플레이한다. 이러한 이미지의 동시적 디스플레이와는 대조적으로, 좌안 및 우안 이미지의 시간 순차적인 디스플레이는 각 처리 단계에서 수행될 계산의 수를 대략 절반으로 줄여줄 수 있다. 이는 이미지가 양 눈에 동시에 디스플레이될 경우에 소요되는 시간의 대략 절반에서 이미지가 처음에 사용자의 눈 중 하나에 디스플레이되게 할 수 있다. 따라서, 이는 시스템의 연산 리소스의 증가없이 레이턴시의 감소를 가능하게 할 수 있다. 본 명세서에서는 HDM 장치의 문맥에서 설명되었지만, 개시되어 있는 실시예는 (예를 들어, 하나의 디스플레이가 또 다른 씨스루 디스플레이 너머 또한 그를 통해 보여질 수 있도록, 사용자에 의해 보여지는 거리만큼의) Z-방향에서의 디스플레이 오프셋을 비롯하여 로우 레이턴시가 요구되는 임의의 다른 적절한 멀티 디스플레이 시스템에도 사용될 수 있음을 이해해야 한다.
앞서 언급한 바와 같이, 레이턴시는 검출된 움직임에 응답하여 이미지를 업데이트하는데 사용되는 처리 단계의 수의 함수이다. 처리 단계의 수는 몇몇 장치에게는 중요할 수 있다. 그에 따라, 각 처리 단계에 의해 소요되는 시간의 양을 줄이는 것은 레이턴시의 커다란 감소를 제공할 수 있다. 도 2는 도 1a 및 도 1b의 HMD 장치에 대한 이미지 처리 파이프라인(200)의 일 실시예를 나타내고, 또한 이미지를 디스플레이하기 전에 수행될 수 있는 다수의 처리 단계의 예를 나타낸다. 이미지 처리 파이프라인(200)은 디스플레이를 위한 가상 이미지를 생성하는 애플리케이션과 같은 콘텐츠 생산자(202)에서 시작한다. 콘텐츠 생산자(202)는 HMD 장치 상에 상주할 수 있거나, 예를 들어 HMD 장치와 통신하는 또 다른 장치, 예를 들어 이동 전화기, 태블릿 컴퓨터, 랩탑 컴퓨터, 네트워크 액세스가능 서버, 또는 다른 적절한 컴퓨팅 시스템 상에 원격으로 상주할 수 있다. 콘텐츠 생산자가 원격으로 상주하는 경우, 레이턴시는 네트워크 연결에 의해 야기되는 추가의 지연으로 인해 보다 큰 문제를 제기할 수 있다.
콘텐츠 생산자(202)는 움직임 추적 모듈(206)로부터 움직임 데이터도 수신하는 그래픽 프로세서(204)에 콘텐츠 이미지 데이터를 제공한다. 움직임 추적 모듈(206)은 하나 이상의 카메라(208)(예를 들어, 깊이 카메라 및/또는 2차원 이미지 카메라)로부터 수신된 환경 이미지 데이터 및/또는 관성 움직임 검출기 유닛(IMU)(210)으로부터의 관성 움직임 데이터를 포함하나, 이에 국한되지 않는 임의의 적절한 입력으로부터의 움직임 데이터를 판정할 수 있다. 움직임 데이터는 콘텐츠 생산자(202)로부터의 이미지를 어떻게 프리젠테이션할 것인지를 결정하기 위해 그래픽 프로세서(204)에 의해 사용된다.
그래픽 프로세서로부터 처리된 이미지는 디스플레이 제어기(212)에 제공될 수 있고, 이후 디스플레이 패널(214)로 도시되어 있는 하나 이상의 이미지 생성 요소에 제공된다. 앞서 언급한 바와 같이, 씨스루 디스프레이 시스템은 별개의 좌안 및 우안 디스플레이를 포함한다. 따라서, 씨스루 디스플레이 시스템은 좌안 및 우안 디스플레이를 위한 별개의 이미지 생성 요소를 포함할 수 있다. 임의의 적절한 개수의 이미지 생성 요소가 사용될 수 있다. 예를 들어, 몇몇 실시예에서, 좌안 및 우안 디스플레이 각각은 컬러 순차 이미지를 디스플레이하도록 구성될 수 있다. 이러한 실시예에서, 각 디스플레이는 각 이미지 컬러에 대해 단일 이미지 생성 요소 및 광원을 포함할 수 있다. 다른 실시예에서, 각 디스플레이는 RGB 이미지를 디스플레이하도록(즉, 시간 순차적이기보다는 모든 컬러를 함께 디스플레이하도록) 구성될 수 있다. 이러한 실시예에서, 각 디플레이는 각 컬러에 대해 별개의 이미지 생성 요소를 포함할 수 있다.
임의의 적절한 이미지 생성 요소가 사용될 수 있다. 예로서 LCOS(liquid crstal on silicon) 마이크로 디스플레이 패널 및/또는 다른 적절한 디스플레이 패널이 있지만 이에 국한되지 않는다. 본 명세서에서, "이미지"라는 용어는 기술한 처리 파이프라인의 임의의 단계에서의 이미지 데이터, 및 장치에 의해 디스플레이되는 최종 이미지를 기술하는데 사용될 수 있다.
도 2에 도시되어 있는 바와 같이, 콘텐츠 생산자로부터의 이미지는 디스플레이되기 전에 각 하드웨어 위치에서 여러 처리 단계를 거친다. 예를 들어, 그래픽 프로세서(204)에서, 이미지는 특히 렌더링, 리프로젝션(예를 들어, 관찰된 움직임에 기초한 예측 처리에 대한 교정), 다양한 변환, 컬러 처리, 압축, 암호화, 및 전송 및 물리적 계층 네트워크 통신과 관련된 처리를 거치게 된다. 마찬가지로, 디스플레이 제어기(212)에서, 이미지는 복호화, 압축해제, 컬러 분해(예를 들어, 적색, 녹색 및 청색 데이터를 분리), 버퍼링, 압축, 포매팅, 및 물리적/전송 계층 통신 처리를 거치게 될 수 있다. 이미지가 디스플레이 패널에 도달하게 되면, 이미지는 압축해제, 로딩(예를 들어, 픽셀 어레이에 기록하는 디지털-아날로그 변환) 및 조명을 거치게 된다.
앞서 언급한 바와 같이, 이들 처리 각각에 의해 이용되는 연산 리소스는 처리되는 데이터의 양의 함수이다. 따라서, 좌안 및 우안 이미지의 시간 순차적인 디스플레이는 이미지마다 완전한 두 개의 디스플레이 데이터 세트의 절반에 대해서만 이들 단계 각각이 수행되게 할 수 있다. 이것은 단일 이미지에 대한 연산이 두 개의 동시에 디스플레이되는 이미지에 대해 가능한 연산보다 빠르게 수행되게 할 수 있다. 이러한 시간 절약은 사용자 움직임과 이 움직임에 대한 디스플레이된 이미지의 반응 간의 인지되는 레이턴시를 줄이는데 도움을 줄 수 있다.
보다 구체적인 예로서, 멀티 디스플레이 HMD 장치는 플릭커가 사용자에 의해 인지되지 않도록 60 Hz 주기 또는 그 이상으로 동시에 디스플레이되는 좌안 및 우안 이미지를 업데이트하도록 구성될 수 있다. 시간 순차적인 좌안 및 우안 이미지를 디스플레이하도록 구성된 경우, 장치는 각 눈이 60 Hz 속도로, 그러나 60 Hz 주기의 절반으로 오프셋된 시간 순차적인 이미지를 보도록 좌안 및 우안 이미지를 디스플레이하여, 하나의 이미지는 60Hz 주기의 시작시에 디스플레이되는 한편, 다른 이미지는 60 Hz 주기에서의 나중 시작시에 디스플레이된다. 이러한 식으로 동작하게 되면, 제1 업데이트된 이미지는 좌안 및 우안 이미지를 동시에 디스플레이하는데 소요되는 시간의 절반(예를 들어, 첫 번째 60 Hz 주기의 절반) 동안 사용자에게 디스플레이될 수 있다. 이것은 비용 및/또는 전력 소비를 증가시킬 수 있는 추가의 컴퓨팅 리소스(예를 들어, 온 칩 메모리)를 추가하지 않고 바람직하지 않은 양의 레이턴시의 위험을 줄이는데 도움을 줄 수 있다. 이러한 디스플레이 장치와 연관된 레이턴시는 인간이 인지할 수 있는 그 경계선 상에 있을 수 있음을 이해해야 한다. 따라서, 레이턴시의 작은 감소라도 사용자 경험에 대해 비교적 큰 이점을 제공할 수 있다.
도 3은 멀티 디스플레이 장치 상에 로우 레이턴시 이미지를 디스플레이하기 위한 방법(300)의 실시예를 나타내는 흐름도를 보여준다. 방법(300)은 302에서, 그래픽 프로세서 또는 다른 적절한 처리 장치에서 제1 이미지를 수신하는 단계를 포함하는데, 이 제1 이미지는 멀티 디스플레이 장치의 제1 디스플레이를 위한 것이다. 예를 들어, 몇몇 실시예에서, 제1 이미지는 304에서 나타낸 바와 같이 HMD 장치의 좌안 이미지를 포함할 수 있다. 다음으로 방법(300)은 306에서, 디스플레이를 위해 제1 이미지를 렌더링하고 처리하는 단계를 포함한다. 몇몇 실시예에서, 이것은 하나 이상의 이미지 센서 및/또는 움직임 센서로부터의 입력을 통해 결정된 비주얼 방향 데이터(visual direction data)(예를 들어, 움직임 데이터 및/또는 이미지 데이터)에 기초하여 제1 이미지를 처리하는 단계를 포함할 수 있다. 이러한 처리는 다수의 상이한 하드웨어 위치에서 수행되는 다수의 개별 처리 단계를 포함할 수 있음을 알 수 있을 것이다.
제1 이미지를 렌더링하고 처리하는 단계 이후, 방법(300)은 308에서, 제2 디스플레이를 통하지 않고 제1 디스플레이를 통해 제1 이미지를 디스플레이하는 단계를 포함한다. 앞서 언급한 바와 같이, HMD에서, 이것은 310에서 기술되어 있는 바와 같이 우안 디스플레이를 통하지 않고 좌안 디스플레이를 통해 좌안 이미지를 디스플레이하는 단계를 포함할 수 있다. 다른 실시예에서, 제1 이미지는 임의의 다른 적절한 유형의 디스플레이에 의해 디스플레이될 수 있다.
좌안 이미지는 좌안 디스플레이를 통해 임의의 적절한 방식으로 디스플레이될 수 있다. 예를 들어, 몇몇 실시예에서, 이미지는 312에서 나타낸 바와 같이 우안 디스플레이가 아닌 좌안 디스플레이로 전송될 수 있고, 314에 나타낸 바와 같이 양 디스플레이에 광이 제공될 수 있다. 다른 실시예에서, 좌안 이미지는 우안 디스플레이가 아닌 좌안 디스플레이로 전송될 수 있고, 광이 좌안 디스플레이에는 제공될 수 있지만 우안 디스플레이에는 제공되지 않는다.
몇몇 실시예에서, 제1 이미지는 316에서 나타낸 바와 같이, 컬러 필드 순차 이미지로서 디스플레이될 수 있으며, 그에 따라, 이미지에 대한 별개의 적색, 녹색 및 청색 필드 이미지가 순차적으로 디스플레이된다. 좌안 및 우안 이미지의 컬러 필드 순차, 시간 순차 디스플레이의 예가 도 4를 참조하여 이하에서 보다 자세히 설명된다. 또 다른 실시예에서, 제1 이미지는 318에서 나타낸 바와 같이 RGB 이미지로서 디스플레이될 수 있고, 그에 따라 좌안 이미지의 적색, 녹색 및 청색 필드가 함께 디스플레이된다.
또한, 예를 들어 장면이 다수의 별개의 오버레이 요소를 갖는 몇몇 경우, 320에서 나타낸 바와 같이, 제1 오버레이 요소는 제2 오버레이 요소에 앞서 시간 순차적인 방식으로 처리 및 디스플레이될 수 있다. 이것은 명백한 지연을 더 감소시키는데 도움을 줄 수 있는데, 그 이유는 제1 이미지의 적어도 일부분은 전체 제1 이미지가 함께 렌더링 및 디스플레이되는 경우보다 신속하게 디스플레이에 도달할 수 있기 때문이다.
계속해서, 방법(300)은 제1 이미지가 디스플레이되고 있는 동안 제2 이미지가 디스플레이되고, 제1 이미지가 제1 디스플레이를 통해 디스플레이된 이후 제2 이미지가 제2 디스플레이에 디스플레이되도록, 우안 이미지와 같은 제2 이미지에 대해 유사한 처리를 수행하는 단계를 포함한다. 따라서, 방법(300)은 322에서, 그래픽 프로세서 또는 다른 적절한 처리 장치에서 제2 이미지를 수신하는 단계와, 326에서, 디스플레이를 위해 제2 이미지를 처리하는 단계를 포함한다. 제1 이미지에 대해 앞서 언급한 바와 같이, 이러한 처리는 하나 이상의 이미지 센서 및/또는 움직임 센서로부터의 입력을 통해 결정된 비주얼 방향 데이터(예를 들어, 움직임 데이터 및/또는 이미지 데이터)에 기초하여 수행될 수 있다.
방법(300)은 328에서, 제1 디스플레이를 통하지 않고 제2 디스플레이를 통해 제2 이미지를 디스플레이하는 단계를 포함한다. HMD 장치에서, 이것은 330에서, 좌안 디스플레이를 통하지 않고 우안 디스플레이를 통해 이미지를 디스플레이하는 단계를 포함할 수 있다. 우안 이미지는 우안 디스플레이를 통해 임의의 적절한 방식으로 디스플레이될 수 있다. 예를 들어, 몇몇 실시예에서, 우안 이미지는 332에서 나타낸 바와 같이 우안 디스플레이가 아닌 좌안 디스플레이로 전송될 수 있고, 334에 나타낸 바와 같이 광은 좌안 디스플레이에 제공될 수 있지만 우안 디스플레이에는 제공되지 않을 수 있다. 다른 실시예에서, 우안 이미지는 우안 디스플레이 및 좌안 디스플레이로 전송될 수 있지만, 광은 우안 디스플레이에는 제공될 수 있지만 좌안 디스플레이에는 제공되지 않는다.
앞서 제1 이미지에 대해 설명한 바와 같이, 제2 이미지는 336에서 나타낸 바와 같이, 컬러 필드 순차 이미지로서 디스플레이될 수 있으며, 그에 따라, 제2 이미지에 대한 별개의 적색, 녹색 및 청색 필드 이미지가 순차적으로 디스플레이된다. 또 다른 실시예에서, 제2 이미지는 338에서 나타낸 바와 같이 RGB 이미지로서 디스플레이될 수 있고, 그에 따라 좌안 이미지의 적색, 녹색 및 청색 필드가 함께 디스플레이된다. 마찬가지로, 앞서 설명한 바와 같이, 제2 이미지는 제1 이미지의 제1 오버레이 요소 및 제2 오버레이 요소가 시간 순차적인 방식으로 디스플레이되도록 디스플레이될 수 있다. 이러한 방식으로, 사용자를 위해 결정된 현재의 비주얼 방향과 정렬된 증강 현실 이미지는 로우 레이턴시를 가지고 디스플레이될 수 있다.
도 4는 시간 순차적인, 컬러 필드 순차적인 방식으로 좌안 이미지 및 우안 이미지를 디스플레이하는 방법의 예시적인 실시예를 나타내는 타이밍도(400)를 나타낸다. 좌안 이미지 생성 요소에 대한 타이밍도는 도 4에서 "L" 타임 바로 도시되어 있고, 우안 이미지 생성 요소에 대한 타이밍도는 "R" 타임 바로 도시되어 있다. 각 바의 교차 해칭(cross-hatching)은 (예를 들어, 이전에 디스플레이된 이미지를 업데이트하기 위해) 그 때에 이미지 생성 요소에 로딩된 업데이트 이미지를 나타내고, 텍스트는 그 때에 적용된 조명을 나타낸다. 예를 들어, R(좌) 블록 내의 교차 해칭은 좌안 이미지의 적색 이미지가 디스플레이 패널에 로딩되고 적색 광으로 조명됨을 나타낸다. 교차 해칭이 없다는 것은 이전에 로딩된 이미지가 패널에 기록된 채로 유지되거나, 또 다르게는 패널이 업데이트되지 않는 경우를 나타낸다.
도 4의 실시예에서, 새로운 좌안 이미지의 적색, 녹색 및 청색 필드 이미지는 좌측 이미지 생성 요소에 순차적으로 로딩되어 이전에 디스플레이된 이미지를 업데이트한다. 이들 컬러 필드 이미지는 적색, 녹색 및 청색 광으로 순차적으로 조명되어, 각 컬러 필드는 16.67 ms 프레임의 1/6 동안 디스플레이된다. 이 시간 동안, 이전에 로딩된 적색, 녹색 및 청색 필드는 블록에서 교차 해칭이 없는 것으로 표현한 바와 같이, 우안 이미지에 대해 순차적으로 디스플레이된다.
다음으로, 16.67 ms 프레임의 두 번째의 절반 동안, 우안 이미지는 마찬가지로 우안 이미지의 적색, 녹색 및 청색 컬러 필드를 순차적으로 우안 이미지 생성 요소에 전송하고, 적절한 컬러 광 시퀀스로 우안 이미지 생성 요소 및 좌안 이미지 생성 요소를 조명함으로써 컬러 순차적 방식으로 디스플레이되어, 새로운 우안 이미지와 이전에 로딩된 좌안 이미지가 디스플레이된다. 도 4의 타이밍도는 예시 목적으로 제시되었을 뿐 어떠한 식으로도 제한을 의미하지는 않는다.
앞서 언급한 바와 같이, 전술한 방법은 도 1의 헤드 마운티드 씨스루 디스플레이 장치(100)를 포함하나 이에 국한되지 않는 임의의 적절한 씨스루 디스플레이 장치를 통해 수행될 수 있다. 도 5는 씨스루 디스플레이 장치(100)의 예시적인 구성의 블록도를 나타낸다.
씨스루 디스플레이 장치(100)는 좌안 디스플레이(504) 및 우안 디스플레이(506)를 구비한 씨스루 디스플레이 시스템(502)을 포함한다. 좌안 디스플레이(504)는 하나 이상의 좌안 이미지 생성 요소(508)를 포함한다. 예를 들어, 좌안 디스플레이(504)가 시간 순차적인, 컬러 순차적인 이미지를 디스플레이하도록 구성된 경우, 좌안 디스플레이(504)는 단일 이미지 생성 요소, 예를 들어 단일 LCOS 패널 또는 다른 마이크로디스플레이 패널을 포함할 수 있다. 마찬가지로, 좌안 디스플레이(504)가 RGB 이미지를 디스플레이하도록 구성된 경우, 좌안 디스플레이는 각 컬러마다 마이크로디스플레이를 포함할 수 있다. 또한, 좌안 디스플레이(504)는 이미지 생성 요소(들)가 발광하지 않는 경우 이미지 생성 요소(들)를 조명하도록 구성된 하나 이상의 광원(510)도 포함할 수 있다. 우안 디스플레이(506)는 하나 이상의 우안 이미지 생성 요소(512)도 포함할 수 있고, 하나 이상의 광원(514)을 포함할 수 있다.
씨스루 디스플레이 장치(100)는 사용자가 보고 있는 배경 장면의 이미지를 획득하도록 구성된 하나 이상의 외향(outward facing) 이미지 센서(516)도 포함할 수 있다. 이미지 센서로부터의 이미지는 사용자 움직임을 검출하는데 사용될 수 있고, 또한 씨스루 디스플레이 장치(100)의 배경 장면 내의 개체를 검출하는데 사용될 수 있다. 외향 이미지 센서(516)는 (스테레오 깊이 이미징 장치를 포함하나 이에 국한되지 않는) 하나 이상의 깊이 센서 및/또는 하나 이상의 2차원 이미지 센서를 포함할 수 있다. 움직임은 전술한 바와 같은 하나 이상의 관성 움직임 센서(518)를 통해서도 검출될 수 있다. 씨스루 디스플레이 장치(100)는 사용자로부터의 음성 명령과 같은 소리를 검출하도록 구성된 하나 이상의 마이크로폰(520)을 포함할 수 있다.
계속해서, 씨스루 디스플레이 장치(100)는 사용자의 각 눈의 시선의 방향을 검출하도록 구성된 시선 검출 서브시스템(522)을 더 포함할 수 있다. 시선 검출 서브시스템(522)은 임의의 적절한 방식으로 사용자의 눈의 시선 방향을 결정하도록 구성될 수 있다. 예를 들어, 도시되어 있는 실시예에서, 시선 검출 서브시스템(522)은 적외선 광의 글린트(glint)("푸르키네 이미지")가 사용자의 각 눈의 각막으로부터 반사되게 하도록 구성된 적외선 광원과 같은 하나 이상의 글린트 소스(524)와, 사용자의 하나 이상의 눈의 이미지를 캡처하도록 구성된 하나 이상의 내향(inward-facing) 이미지 센서(526)를 포함한다. 이미지 센서(들)(526)를 통해 수집된 이미지 데이터로부터 결정된 글린트 및 동공의 이미지는 각 눈의 광학 축을 결정하는데 사용될 수 있다. 시선 검출 서브시스템(522)은 임의의 적절한 수 및 구성의 광원 및 이미지 센서를 구비할 수 있음을 알 수 있을 것이다.
씨스루 디스플레이 장치(100)는 추가의 센서를 더 포함할 수 있다. 예를 들어, 씨스루 디스플레이 장치(100)는 씨스루 디스플레이 장치(100)의 위치를 결정할 수 있는 GPS(lobal positioning) 서브시스템(528)을 포함할 수 있다.
씨스루 디스플레이 장치(100)는 로직 서브시스템(532), 저장 서브시스템(536), 통신 서브시스템(538)을 구비한 컴퓨팅 장치(530)를 더 포함한다. 로직 서브시스템(532)는 전술한 바와 같이 좌안 디스플레이(504) 및 우안 디스플레이(506)에 의해 시간 순차적인 방식으로 디스플레이하기 위해 이미지를 처리하도록 구성된 그래픽 처리 장치(534)를 포함할 수 있다. 저장 서브시스템(536)은 특히 좌안 디스플레이(504) 및 우안 디스플레이(506)에 의한 이미지의 디스플레이를 제어하도록 로직 서브시스템(532)에 의해 실행가능한 명령어를 저장한다. 통신 서브시스템(538)은 유선 및/또는 무선 링크를 통해 또 다른 컴퓨팅 장치와 통신하도록 구성될 수 있다. 예를 들어, 통신 서브시스템(538)은 씨스루 디스플레이 장치가 전술한 바와 같이 씨스루 디스플레이 장치로부터 원격으로 위치한 콘텐츠 생성자로부터 이미지 데이터를 획득할 수 있게 해준다. 로직 서브시스템(532), 저장 서브시스템(536), 통신 서브시스템(538) 및 전술한 다른 컴포넌트에 대한 예시적인 하드웨어에 관한 추가적인 정보는 이하의 도 6을 참조하여 설명된다.
설명한 씨스루 디스플레이 장치(100)는 예시로 제공되었고, 따라서 이에 국한되지 않으려 한다. 따라서, 헤드 마운티드 장치는 본 발명의 범주를 벗어나지 않으면서 도시되어 있는 것 이외의 추가의 및/또는 대안적인 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등을 포함할 수 있다. 헤드 마운티드 디스플레이 장치 및 그의 다양한 센서 및 서브컴포넌트들의 물리적인 구성은 본 발명의 범주를 벗어나지 않으면서 다양한 상이한 형식을 취할 수 있다.
또한, 다수의 디스플레이를 통해 로우 레이턴시 이미지를 디스플레이하도록 구성된 컴퓨팅 시스템은 헤드 마운티드 디스플레이 장치 이외의 임의의 적절한 형태를 취할 수 있고, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태플릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 게이밍 장치, 이동 컴퓨팅 장치, 이동 통신 장치(예를 들어, 스마트폰), 다른 착용가능 컴퓨터 등을 포함할 수 있음을 이해할 것이다. 또한, 전술한 방법 및 처리는 컴퓨터 애플리케이션 프로그램 또는 서비스, 애플리케이션 프로그래밍 인터페이스(API), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로 구현될 수 있음을 이해할 것이다.
도 6은 전술한 방법들 및 처리들 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(600)의 비제한적 실시예를 개략적으로 보여준다. 컴퓨팅 시스템(600)은 간단한 형식으로 도시되어 있고, 전술한 바와 같이 HMD 장치(100)의 컴퓨팅 장치(530)를 포함하나 이에 국한되지 않는 임의의 적절한 장치 및/또는 장치들의 조합을 나타낼 수 있다.
컴퓨팅 시스템(600)은 로직 서브시스템(602) 및 저장 서브시스템(604)을 포함한다. 컴퓨팅 시스템(600)은 선택에 따라 디스플레이 서브시스템(606), 입력 장치 서브시스템(608), 통신 서브시스템(610), 및/또는 도 6에 도시되어 있지 않은 다른 컴포넌트를 포함할 수 있다. 컴퓨팅 시스템(600)은 키보드, 마우스, 게임 제어기, (깊이 및/또는 2차원) 카메라, 마이크로폰, 및/또는 터치 스크린과 같은 하나 이상의 사용자 입력 장치를 포함하거나, 이와 인터페이싱할 수 있다. 이러한 사용자 입력 장치는 입력 장치 서브시스템(608)의 일부를 형성할 수 있거나 또는 입력 장치 서브시스템(608)과 인터페이싱할 수 있다.
로직 서브시스템(602)은 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함한다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 논리적 구조의 일부인 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하고, 데이터 유형을 구현하고, 하나 이상의 컴포넌트의 상태를 변환하며, 또는 원하는 결과에 도달하도록 구현될 수 있다.
로직 서브시스템(602)은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 또한 또는 이와 달리, 로직 서브시스템(602)은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템(602)의 프로세서는 단일 코어 또는 다중 코어일 수 있고, 그 프로세서에서 실행되는 프로그램은 순차적, 동시적 또는 분산적 처리를 위해 구성될 수 있다. 로직 서브시스템(602)은 선택에 따라, 공동 작업을 위해 원격으로 위치 및/또는 구성될 수 있는 둘 이상의 장치 간에 분산되는 개별 컴포넌트를 포함할 수 있다. 로직 서브시스템의 측면들은 클라우드 컴퓨팅 구성에서 구성된 원격으로 액세스가능한 네트워크형 컴퓨팅 장치에 의해 가상화 및 실행될 수 있다.
저장 서브시스템(604)은 본 명세서에서 기술한 방법 및 처리를 구현하기 위해 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어를 저장하도록 구성된 하나 이상의 물리적, 비일시적 장치를 포함한다. 이러한 방법 및 처리가 구현되는 경우, 저장 서브시스템(604)의 상태는 예를 들어 상이한 데이터를 저장하도록 변경될 수 있다.
저장 서브시스템(604)은 이동식 매체 및/또는 내장형 장치를 포함할 수 있다. 저장 서브시스템(604)은 특히 광학 메모리 장치(예를 들어, CD, DVD, HD-DVD, 블루 레이 디스크 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(604)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 장치를 포함할 수 있다. 몇몇 실시예에서, 로직 서브시스템(602) 및 저장 서브시스템(604)은 주문형 집적 회로(ASIC) 또는 시스템 온 칩과 같은 하나 이상의 통합 장치에 통합될 수 있다.
저장 서브시스템(604)은 하나 이상의 물리적, 비일시적 장치를 포함함을 알 수 있을 것이다. 그러나, 몇몇 실시예에서, 본 명세서에서 기술한 명령어의 측면은 유한 기간 동안 물리적 장치에 의해 저장되지 않는 순수 신호(예를 들어, 전자기 신호, 광학 신호 등)에 의해 일시적으로 전파될 수 있다. 또한, 본 발명에 속한 데이터 및/또는 다른 형태의 정보도 순수 신호에 의해 전파될 수 있다.
"프로그램"이라는 용어는 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(600)의 일 측면을 설명하는데 사용될 수 있다. 몇몇 경우, 프로그램은 저장 서브시스템(604)에 의해 저장된 명령어를 실행하는 로직 서브시스템(602)에 의해 인스턴스화될 수 있다. 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 상이한 프로그램이 인스턴스화될 수 있음을 알 수 있을 것이다. 마찬가지로, 상이한 애플리케이션, 서비스, 코드 블록, 객체, 루틴, API, 함수 등에 의해 동일한 프로그램이 인스턴스화될 수 있다. "프로그램"이라는 용어는 실행가능 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 각각 또는 그룹을 포함할 수 있다.
디스플레이 서브시스템(606)은 저장 서브시스템(604)에 의해 저장된 데이터의 시각적 표현을 나타내는데 사용될 수 있다. 본 명세서에서 설명한 방법 및 처리는 저장 서브시스템에 의해 저장된 데이터를 변경할 수 있고, 따라서 저장 서브시스템의 상태를 변환할 수 있기 때문에, 디스플레이 서브시스템(606)의 상태도 마찬가지로 기본 데이터의 변화를 시각적으로 나타내도록 변환될 수 있다. 디스플레이 서브시스템(606)은 사실상 임의의 유형의 기술을 이용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유 엔클로저 내에서 로직 서브시스템(602) 및/또는 저장 서브시스템(604)과 결합될 수 있거나, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치일 수 있다.
통신 서브시스템(610)은 컴퓨팅 시스템(600)을 하나 이상의 다른 컴퓨팅 장치와 통신가능하게 결합하도록 구성될 수 있다. 통신 서브시스템(600)은 하나 이상의 상이한 통신 프로토콜을 준수하는 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선 또는 무선 근거리 또는 광역 네트워크를 통해 통신하도록 구성될 수 있다. 몇몇 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(600)이 인터넷과 같은 네트워크를 통해 다른 장치로 및/또는 그로부터 메시지를 전송 및/또는 수신할 수 있게 해준다.
본 명세서에서 설명한 구성 및 접근방식은 예시적인 것이며, 이들 특정 실시예 또는 예는 제한적 의미로 간주되어서는 안되는데, 그 이유는 여러 변형예가 가능하기 때문이다. 본 명세서에서 기술한 특정 루틴 또는 방법은 임의의 수의 처리 전략 중 하나 이상을 나타낼 수 있다. 따라서, 예시 및/또는 설명한 다양한 동작들은 예시 및/또는 설명한 시퀀스로, 다른 시퀀스로, 동시에 수행될 수 있고, 또는 생략될 수 있다. 마찬가지로, 전술한 처리의 순서도 변경될 수 있다.
본 발명의 주제는 본 명세서에 기술되어 있는 다양한 처리, 시스템 및 구성, 및 다른 특징, 기능, 동작 및/또는 특성의 모든 새로운 및 자명하지 않은 조합 및 하위조합을 포함한다.

Claims (10)

  1. 제1 디스플레이 및 제2 디스플레이를 포함하는 디스플레이 장치에서, 이미지를 디스플레이하는 방법으로서,
    제1 이미지를 수신하는 단계와,
    상기 제1 이미지를 처리하는 단계와,
    상기 제1 이미지를 상기 제2 디스플레이를 통해 디스플레이하지 않고 상기 제1 이미지를 상기 제1 디스플레이를 통해 디스플레이하는 단계와,
    제2 이미지를 수신하는 단계와,
    상기 제1 이미지를 디스플레이하는 동안 상기 제2 이미지를 처리하는 단계와,
    상기 제2 이미지의 디스플레이가 상기 제1 이미지의 디스플레이로부터 시간적으로 오프셋되도록 상기 제2 이미지를 상기 제1 디스플레이를 통해 디스플레이하지 않고 상기 제2 이미지를 상기 제2 디스플레이를 통해 디스플레이하는 단계
    를 포함하는 이미지 디스플레이 방법.
  2. 제1항에 있어서,
    상기 제1 이미지를 상기 제1 디스플레이를 통해 디스플레이하는 단계는 상기 제1 이미지를 컬러 필드 순차 방식(color field-sequential manner)으로 디스플레이하는 단계를 포함하고, 상기 제2 이미지를 상기 제2 디스플레이를 통해 디스플레이하는 단계는 상기 제2 이미지를 컬러 필드 순차 방식으로 디스플레이하는 단계를 포함하는
    이미지 디스플레이 방법.
  3. 제1항에 있어서,
    상기 제1 이미지를 상기 제1 디스플레이를 통해 디스플레이하는 단계는 상기 제1 이미지를 RGB 이미지로서 디스플레이하는 단계를 포함하고, 상기 제2 이미지를 상기 제2 디스플레이를 통해 디스플레이하는 단계는 상기 제2 이미지를 RGB 이미지로서 디스플레이하는 단계를 포함하는
    이미지 디스플레이 방법.
  4. 제1항에 있어서,
    상기 제1 이미지를 상기 제2 디스플레이를 통해 디스플레이하지 않고 상기 제1 이미지를 상기 제1 디스플레이를 통해 디스플레이하는 단계는 제1 이미지 생성 요소 및 제2 이미지 생성 요소를 조명하는 동안 상기 제2 이미지 생성 요소가 아닌 상기 제1 이미지 생성 요소로 상기 이미지를 전송하는 단계를 포함하는
    이미지 디스플레이 방법.
  5. 제1항에 있어서,
    상기 디스플레이 장치는 헤드 마운티드 디스플레이(head mounted display)를 포함하고, 상기 제1 이미지 생성 요소는 좌안 이미지 생성 요소이고, 상기 제2 이미지 생성 요소는 우안 이미지 생성 요소인
    이미지 디스플레이 방법.
  6. 제5항에 있어서,
    상기 좌안 이미지 및 상기 우안 이미지는 증강 현실 씨스루 디스플레이를 위한 오버레이 이미지를 포함하는
    이미지 디스플레이 방법.
  7. 제1항에 있어서,
    센서 데이터를 통해 비주얼 방향(visual direction)을 결정하는 단계를 더 포함하되, 상기 제1 이미지를 처리하는 단계 및 상기 제2 이미지를 처리하는 단계는 상기 결정된 비주얼 방향에 기초하여 상기 제1 이미지 및 상기 제2 이미지를 렌더링하는 단계를 포함하는
    이미지 디스플레이 방법.
  8. 제1항에 있어서,
    상기 제1 이미지를 상기 제2 디스플레이를 통해 디스플레이하지 않고 상기 제1 이미지를 상기 제1 디스플레이를 통해 디스플레이하는 단계는 상기 제1 이미지를 제1 이미지 생성 요소 및 제2 이미지 생성 요소에 제공하는 단계, 및 상기 제2 이미지 생성 요소에 광을 제공하지 않는 동안 상기 제1 이미지 생성 요소에 광을 제공하는 단계를 포함하는
    이미지 디스플레이 방법.
  9. 제1항에 있어서,
    상기 제1 이미지는 16 ms 프레임의 시작시에 디스플레이되기 시작하고, 상기 제2 이미지는 상기 16 ms 프레임 내의 이후의 시간에 디스플레이되기 시작하는
    이미지 디스플레이 방법.
  10. 씨스루 헤드 마운티드 디스플레이 장치로서,
    그래픽 프로세서와,
    좌안 이미지 생성 요소를 포함하는 좌안 디스플레이와,
    우안 이미지 생성 요소를 포함하는 우안 디스플레이와,
    명령어들이 저장된 저장 서브시스템
    을 포함하되,
    상기 명령어들은
    상기 그래픽 프로세서를 통해 좌안 이미지를 처리하고,
    상기 좌안 이미지를 상기 우안 디스플레이를 통해 디스플레이하지 않고 상기 좌안 이미지를 상기 좌안 디스플레이를 통해 디스플레이하고,
    상기 좌안 이미지를 디스플레이하는 동안, 상기 그래픽 프로세서를 통해 우안 이미지를 처리하며,
    상기 우안 이미지의 디스플레이가 상기 좌안 이미지의 디스플레이로부터 시간적으로 오프셋되도록 상기 우안 이미지를 상기 좌안 디스플레이를 통해 디스플레이하지 않고 상기 우안 이미지를 상기 우안 디스플레이를 통해 디스플레이하도록
    실행가능한
    씨스루 헤드 마운티드 디스플레이 장치.
KR1020157014165A 2012-11-30 2013-11-30 멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법 KR20150091474A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/691,255 US20140152676A1 (en) 2012-11-30 2012-11-30 Low latency image display on multi-display device
US13/691,255 2012-11-30
PCT/US2013/072523 WO2014085788A1 (en) 2012-11-30 2013-11-30 Low latency image display on multi-display device

Publications (1)

Publication Number Publication Date
KR20150091474A true KR20150091474A (ko) 2015-08-11

Family

ID=49817281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157014165A KR20150091474A (ko) 2012-11-30 2013-11-30 멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법

Country Status (6)

Country Link
US (1) US20140152676A1 (ko)
EP (1) EP2926555A1 (ko)
JP (1) JP2016509245A (ko)
KR (1) KR20150091474A (ko)
CN (1) CN105027563A (ko)
WO (1) WO2014085788A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039037A1 (ko) * 2015-08-31 2017-03-09 엘지전자 주식회사 가상 현실 기기 및 그의 렌더링 방법
US10504455B2 (en) 2016-12-12 2019-12-10 Samsung Display Co., Ltd. Display device and method of driving the same

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
CN103780741B (zh) * 2012-10-18 2018-03-13 腾讯科技（深圳）有限公司 提示网速的方法和移动设备
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10504417B2 (en) 2015-12-31 2019-12-10 Omnivision Technologies, Inc. Low latency display system and method
WO2017139871A1 (en) 2016-02-18 2017-08-24 Vrvana Inc. Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10788791B2 (en) * 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10462336B2 (en) * 2017-03-15 2019-10-29 Microsoft Licensing Technology, LLC Low latency tearing without user perception
US11474354B2 (en) 2017-04-25 2022-10-18 Ati Technologies Ulc Display pacing in multi-head mounted display virtual reality configurations
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10607572B2 (en) * 2018-05-01 2020-03-31 Qualcomm Incorporated Frequency synchronization and phase correction
CN113671706A (zh) * 2019-03-29 2021-11-19 华为技术有限公司 头戴式显示器的图像显示方法及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06315125A (ja) * 1993-04-28 1994-11-08 Olympus Optical Co Ltd 映像表示装置
JPH06314330A (ja) * 1993-04-30 1994-11-08 Casio Comput Co Ltd データ処理装置
JPH11153987A (ja) * 1997-11-19 1999-06-08 Olympus Optical Co Ltd グラフィック表示装置
JPH11317963A (ja) * 1998-05-07 1999-11-16 Fuji Film Microdevices Co Ltd 画像撮影装置、画像再生装置、および画像撮影再生装置
US6314248B1 (en) * 1998-04-21 2001-11-06 Fuji Photo Film, Co., Ltd. Image photography apparatus, image reproducing apparatus, image photography and reproducing apparatus, stereographic projector, jig for image stereoscopic vision, and printer
JP2000199886A (ja) * 1998-10-30 2000-07-18 Semiconductor Energy Lab Co Ltd フィ―ルドシ―ケンシャル液晶表示装置およびその駆動方法ならびにヘッドマウントディスプレイ
JP2000221953A (ja) * 1999-01-29 2000-08-11 Sony Corp 映像表示装置、映像処理方法及びこれらを応用した映像表示システム
JP2001186442A (ja) * 1999-12-27 2001-07-06 Minolta Co Ltd 映像表示装置
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6760034B2 (en) * 2001-10-30 2004-07-06 Emagin Corporation Three dimensional display emulation method and system
JP3673217B2 (ja) * 2001-12-20 2005-07-20 オリンパス株式会社 映像表示装置
JP2004007315A (ja) * 2002-06-03 2004-01-08 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
JP2007219082A (ja) * 2006-02-15 2007-08-30 Canon Inc 複合現実感表示システム
TWI348671B (en) * 2006-08-16 2011-09-11 Au Optronics Corp A circuit for driving an lcd panel and a method thereof
US7595933B2 (en) * 2006-10-13 2009-09-29 Apple Inc. Head mounted display system
US8417058B2 (en) * 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
US20120069143A1 (en) * 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017039037A1 (ko) * 2015-08-31 2017-03-09 엘지전자 주식회사 가상 현실 기기 및 그의 렌더링 방법
US10504455B2 (en) 2016-12-12 2019-12-10 Samsung Display Co., Ltd. Display device and method of driving the same

Also Published As

Publication number Publication date
WO2014085788A1 (en) 2014-06-05
US20140152676A1 (en) 2014-06-05
EP2926555A1 (en) 2015-10-07
JP2016509245A (ja) 2016-03-24
CN105027563A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
KR20150091474A (ko) 멀티 디스플레이 장치 상에서의 로우 레이턴시 이미지 디스플레이 기법
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
US10962780B2 (en) Remote rendering for virtual images
US20180075663A1 (en) Constructing augmented reality environment with pre-computed lighting
US9165381B2 (en) Augmented books in a mixed reality environment
US9424767B2 (en) Local rendering of text in image
US10134174B2 (en) Texture mapping with render-baked animation
KR102093619B1 (ko) 그래픽 프로세싱 유닛에서의 전자 디스플레이 안정화
US11335066B2 (en) Apparatus and operating method for displaying augmented reality object
US20200029057A1 (en) Systems and methods for correcting color separation in field-sequential displays
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
CN112154405A (zh) 三维推送通知
JP2016529593A (ja) 立体シーンのインターリーブ方式のタイル型レンダリング
US11838491B2 (en) 3D display system and 3D display method
CN111670465A (zh) 显示经修改的立体视觉内容
KR20210125403A (ko) 손실 없는 데이터 감소를 통해 통신 부하를 감소하기 위한 방법, 장치 및 저장 매체
US11962743B2 (en) 3D display system and 3D display method
US11836872B1 (en) Method and device for masked late-stage shift
US11842729B1 (en) Method and device for presenting a CGR environment based on audio data and lyric data
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
CN117971087A (zh) 数据处理方法和相关装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid