KR20180002607A

KR20180002607A - 캡처된 이미지에 대한 패스-스루 디스플레이

Info

Publication number: KR20180002607A
Application number: KR1020177027715A
Authority: KR
Inventors: 조니 청 리; 스티븐 비. 골드베르그
Original assignee: 구글 엘엘씨
Priority date: 2015-05-04
Filing date: 2016-05-03
Publication date: 2018-01-08
Also published as: DE112016002043T5; EP3292542A1; GB2558345B; JP2018523142A; KR102534698B1; WO2016179164A1; US20160328882A1; CN107431798A; JP2021060590A; GB201715308D0; US11024082B2; GB2558345A

Abstract

방법은 이미지 센서에 의해 캡처된 이미지의 픽셀 로우 세트의 각 픽셀 로우를 이미지 센서로부터 순차적으로 출력하는 단계를 포함한다. 상기 방법은 이미지 센서에 의해 캡처된 이미지의 제 2 픽셀 로우가 출력되기 전에 상기 캡처 이미지의 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이 디바이스에 디스플레이하는 단계를 더 포함한다. 장치는 제 1 유형의 공간 왜곡을 부여하는 제 1 렌즈, 이미지 센서에 결합된 디스플레이 디바이스, 디스플레이 디바이스는 상기 제 1 공간 왜곡과 함께 상기 이미지 센서에 의해 캡처된 이미지를 디스플레이하며, 그리고 상기 디스플레이 디바이스에 정렬되며, 상기 제 1 유형의 공간 왜곡을 보상하는 제 2 유형의 공간 왜곡을 부여하는 접안 렌즈를 포함한다.

Description

캡처된 이미지에 대한 패스-스루 디스플레이

관련 출원에 대한 상호 참조

본 출원은 2015 년 5월 4일자로 출원된 미국 가출원 제 62/156,815 호의 우선권을 주장하며 상기 미국 출원의 전체 내용은 본 명세서에 참조로 포함된다.

일반적으로, 본 발명은 디스플레이 시스템에 관한 것으로, 보다 상세하게는 디스플레이 시스템들의 하나 이상의 이미지 센서들을 통해 캡처된 이미지를 디스플레이하는 것에 관한 발명이다.

증강 현실(Augmented Reality: AR) 디스플레이 시스템은 통상적으로 사용자 환경의 이미지를 캡처한 다음 캡처된 이미지의 표현을 디스플레이 디바이스 상에 디스플레이하도록 동작하는바, 캡처된 이미지의 표현은, AR 오버레이와 같은 증강된 디스플레이 정보를 포함하거나, 또는 카툰(cartoon) 표현과 같은 캡처된 이미지에 대한 가상 현실(VR) 표현을 포함하거나, 또는 캡처된 이미지의 실제 콘텐츠에 대한 대한 컴퓨터로 렌더링된 표현을 포함할 수 있다. 통상적인 AR 디스플레이 시스템에서, 각각의 이미지가 캡처된 후에, 이미지의 모든 픽셀들이 출력되어 프레임 버퍼에 함께 버퍼링되며, 프로세서는 프레임 버퍼로부터 전체적으로 이미지를 프로세싱하고, 결과적으로 수정된 이미지가 프레임 버퍼로부터 디스플레이 디바이스로 출력되어 수정된 이미지가 디스플레이된다.

이러한 프로세싱 경로는 이미지가 캡처된 시간과 이미지의 표현이 디스플레이되는 시간 사이에 상당한 지연(delay)을 도입한다. 많은 AR 구현에들에서, 특히 이미지 캡처 디바이스가 HMD(head mounted display) 시스템에서와 같이 움직일 수 있는 구현예에서, 이러한 지연은 이미지 캡처 디바이스의 움직임과 디스플레이 디바이스에서 상기 움직임의 결과를 디스플레이하는 것 사이에서 인지가능한 뒤처짐(perceptible lag)을 유발할 수 있으며, 따라서 사용자 경험을 손상시킨다.

본 발명의 일 양상에 따르면 방법이 제공되는바, 상기 방법은 제 1 이미지 센서에 의해 캡처된 제 1 이미지의 제 1 세트의 픽셀 로우들에 있는 각각의 픽셀 로우를 상기 제 1 이미지 센서로부터 순차적으로 출력하는 단계; 및 상기 제 1 이미지의 제 2 픽셀 로우가 상기 제 1 이미지 센서에 의해서 출력되기 전에, 상기 제 1 이미지의 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이 디바이스에서 디스플레이하는 단계를 포함한다.

본 발명의 다른 양상에 따르면 장치가 제공되는바, 상기 장치는 제 1 캡처 이미지의 픽셀 로우들을 순차적으로 출력하는 출력을 갖는 제 1 이미지 센서; 및상기 제 1 이미지 센서의 출력에 연결된 디스플레이 제어기를 포함하며, 상기 디스플레이 제어기는, 상기 제 1 캡처 이미지의 마지막 픽셀 로우가 상기 제 1 이미지 센서에 의해 출력되기 전에, 디스플레이 디바이스에서 상기 제 1 캡처 이미지의 픽셀 로우들에 대한 순차적인 디스플레이를 시작한다.

본 발명의 다른 양상에 따르면 장치가 제공되는바, 상기 장치는 제 1 유형의 공간 왜곡을 부여하는 렌즈를 갖는 이미지 센서; 상기 이미지 센서에 연결되는 디스플레이 디바이스, 상기 디스플레이 디바이스는 상기 제 1 유형의 공간 왜곡과 함께 상기 이미지 센서에 의해 캡처된 이미지를 디스플레이하며; 그리고 상기 디스플레이 디바이스에 정렬되는 접안 렌즈를 포함하며, 상기 접안 렌즈는 상기 제 1 유형의 공간 왜곡과 상보적인 제 2 유형의 공간 왜곡을 부여하한다.

본 발명의 하나 이상의 구현예들에 대한 세부사항들이 첨부된 도면 및 이하의 서술에서 설명될 것이다. 다른 특징들은 상세한 설명, 도면들 및 청구항들로부터 명백해질 것이다.

첨부된 도면들을 참조하면, 본 개시 내용이 해당 기술 분야의 당업자에 의해 양호하게 이해될 수 있으며 그리고 본 발명의 다양한 피처들 및 장점들이 해당 기술 분야의 당업자에게 자명해질 것이다. 서로 다른 도면들에서 동일한 참조 부호를 사용하는 것은 유사하거나 동일한 아이템을 나타낸다.
도 1은 본 발명의 적어도 일 실시예에 따라, 라인-로크된(line-locked) 디스플레이를 사용하여 증강 현실 디스플레이를 제공하는 전자 디바이스를 예시한 도면이다.
도 2는 본 발명의 적어도 일 실시예에 따라, 전자 디바이스의 헤드 장착 디스플레이(HMD) 구현예의 정면도를 예시한 도면이다.
도 3은 본 발명의 적어도 일 실시예에 따라, 도 2의 HMD 구현예의 배면도를 도시한 도면이다.
도 4는 본 발명의 적어도 일 실시예에 따라, 도 2의 HMD 구현예의 단면도를 도시한 도면이다.
도 5는 본 발명의 적어도 일 실시예에 따라, 라인-로크된 디스플레이를 구비한 전자 디바이스의 프로세싱 시스템을 예시한 블록도이다.
도 6은 본 발명의 적어도 일 실시예에 따라, 도 5의 프로세싱 시스템의 일부분에 대한 상세도를 예시한 블록도이다.
도 7은 본 발명의 적어도 일 실시예에 따라, 라인-로크된 디스플레이를 사용하여 캡처된 이미지의 패스-스루 디스플레이를 제공하는 도 5 및 도 6의 프로세싱 시스템의 동작을 예시한 순서도이다.
도 8은 본 발명의 적어도 일 실시예에 따라, 라인-로크된 디스플레이에서 2 개의 이미지 스트림을 디스플레이하기 위한 입체형 HMD 시스템의 동작을 도시한 도면이다.
도 9는 본 발명의 적어도 일 실시예에 따라, 라인-로크된 디스플레이에서 2 개의 이미지 스트림의 교번 디스플레이를 위한 입체형 HMD 시스템의 동작을 도시한 도면이다.
도 10은 본 발명의 적어도 일 실시예에 따라, 상보적인 공간 왜곡 유형들을 갖는 카메라 렌즈들 및 접안 렌즈들을 이용하는 AR 디스플레이 시스템의 예시적인 구현예들을 도시한 도면이다.

다음의 설명은 이미지 캡처 및 디스플레이 시스템에 관련된 다수의 특정 실시예들 및 세부 사항을 제공함으로써 본 개시 내용의 완전한 이해를 전달하기 위한 것이다. 그러나, 본 개시 내용은 이들 실시예들 및 세부사항들을 제한하지 않는 단지 예시일 뿐이며, 본 발명의 범위는 이하의 특허 청구범위 및 그 균등물에 의해서만 제한되도록 의도된다. 공지된 시스템 및 방법에 비추어 해당 기술분야의 당업자는 특정 설계 및 다른 필요에 따라, 임의 개수의 대안적인 실시예에서 의도된 목적 및 이익을 위해 본 개시의 사용예들을 이해할 것이다.

동시 캡처/디스플레이 시스템에서는, 하나 이상의 이미징 센서를 사용하여 로컬 환경의 이미지(비디오 형식)를 캡처하고, 그리고 이러한 이미지가 수정되며(예컨대, AR 오버레이를 포함하거나 또는 시각 콘텐츠에 대한 가상 현실(VR) 표현으로 변환되거나 또는 특정 필터링 또는 워핑(warping) 수정들을 통합하도록), 그리고 결과적인 수정된 이미지가 사용자에게 디스플레이된다. 종래의 시스템에서, 이미지 프로세싱/디스플레이 경로는 각각의 캡처된 이미지(또는 프레임)가 프레임 버퍼에 전체적으로 버퍼링될 것을 요구한다. 전체 이미지가 프레임 버퍼에 버퍼링되면, 프로세서는 이미지 콘텐츠를 수정하기 위한 하나 이상의 프로세스들을 수행할 수 있는바, 가령, 공간적 필터 또는 색채 필터를 적용하거나, AR 오버레이를 적용하거나, 또는 전체 이미지에 대하여 실제 컨텐트를 대표적인 VR 콘텐츠(예컨대, 이미지에 있는 객체들의 "카툰" 버전)로 변환함으로써, 하나 이상의 프로세스들을 수행할 수 있다. 결과적으로 수정된 이미지는 디스플레이를 위해 디스플레이 디바이스에 제공된다. 이러한 상대적으로 긴 프로세싱 경로는, 이미지 캡처와 이미지 캡처 사이에 상당한 레이턴시(latency)를 초래하며, 이는 종종 사용자가 인지할 수 있다.

도 1 내지 도 10은 이미지 캡처와 이미지 디스플레이 사이의 레이턴시를 감소시키거나 최소화하기 위해, 디스플레이 시스템에서 이미지의 효율적인 캡처 및 디스플레이를 위한 다양한 기술들을 예시한다. 디스플레이 시스템은 로컬 환경으로부터 이미지를 캡처하기 위한 하나 이상의 이미지 센서와, 캡처된 이미지 또는 그의 수정된 표현을 디스플레이하는 디스플레이 디바이스를 구현한다. 전형적으로, 이미지 센서는 이미지를 캡처하기 위한 픽셀 센서들의 로우(row)들을 노출시킴으로써 작동하고, 픽셀 센서들의 각 로우에 대한 픽셀 데이터가 순서대로 시프트 아웃된다. 프로세싱을 시작하고 그리고 이에 후속하여 이미지를 디스플레이하기 전에 픽셀 데이터의 모든 로우들(이하, "픽셀 로우들" 이라 함)를 함께 버퍼링하는 것이 아니라, 본 발명의 적어도 일 실시예에서는, 이미지의 마지막 픽셀 로우(row)가 이미지 센서에 의해 출력되기 전에, 이미지 센서에 의해 출력되는 이미지의 픽셀 로우들을 프로세싱 및 디스플레이하기 시작한다. 예시를 위해, 본 발명의 일부 실시예들에서, 디스플레이 시스템은 각각의 픽셀 로우가 이미지 센서로부터 출력됨에 따라, 이미지에 대한 출력 픽셀 로우 스트림의 "슬라이딩 윈도우(sliding window)"를 나타내는 작은 버퍼에 상기 각각의 픽셀 로우를 임시적으로 버퍼링하고, 상기 버퍼에 저장된 작은 서브 세트의 픽셀 로우들을 이용하여 하나 이상의 효율적인 수정 프로세스들을 수행하고, 이후 상기 버퍼로부터 각각의 수정된 픽셀 로우를 차례로 액세스하고, 그리고 액세스된 수정된 픽셀 로우를 이용하여 디스플레이 디바이스의 해당 로우를 구동한다.

이러한 방식으로, 이미지의 초기 픽셀 로우들로 버퍼가 채워지는 짧은 초기 기간 이후에, 각각의 픽셀 로우가 이미지 센서에 의해 출력되고 그리고 버퍼에 버퍼링될 때, 다른 픽셀 로우가 버퍼로부터 액세스되며 그리고 디스플레이 디바이스의 대응 픽셀 로우에서 디스플레이된다. 이와 같이, 이러한 프로세스는 본 명세서에서 "패스-스루 디스플레이(pass-through display)" 로 지칭되며, 패스-스루 디스플레이를 제공하기 위해 이미지 센서에 접속된 디스플레이 디바이스의 구성은 "라인-로크된(line-locked)" 디스플레이라고 지칭되는바, 이는 이미지 센서로부터의 "라인"(즉, 픽셀 로우) 출력과 디스플레이 디바이스에서 디스플레이되는 대응하는 라인 또는 로우 사이의 1 대 1 동기화를 반영한 것이다. 이러한 패스-스루 디스플레이 프로세스에 의하면, 이미지 프로세싱 및 후속 디스플레이 프로세스를 개시하기 전에 전체 이미지를 버퍼링할 필요가 없으므로, 이미지 캡처와 대표 이미지 디스플레이 사이의 뒤처짐(lag)이 종래의 디스플레이 시스템에 비하여 현저히 감소될 수 있다. 따라서, 본 명세서에 서술된 패스-스루(pass-through) 디스플레이 시스템들 및 기법들은 종래의 디스플레이 시스템들에 비하여, 개선된 사용자 경험을 제공한다.

설명을 위해, 이미지 캡처/디스플레이 시스템에서의 레이턴시는, 광자가 센서에 의해 샘플링되었을 때와 디스플레이를 통해 상기 광자(photon)가 사용자에게 제시되는 때 사이의 시간으로 이해될 수 있다. 종래의 시스템에서, 이러한 레이턴시는 다음과 같이 표현될 수 있다. Texp + Trow +(rows_frame * T_row) + Tsync + Tcompose + Tdisplay, 여기서 Texp는 이미지 센서에서 픽셀의 노출 시간이고, Trow는 센서로부터 하나의 로우를 판독하는 시간이며, rows_frame은 이미지 프레임에 있는 로우들의 개수이고, Tcompose는 합성기(compositor)에 의해 도입된 시간이며, Tsync는 로우가 출력 준비가 되었을 때의 시간(왜곡 및 합성을 위해 완전히 조정된)과 디스플레이 제어기가 그 라인에 대해 준비되는 시간 사이의 시간이며, 그리고 Tdisplay는 디스플레이 제어기가 디스플레이 상에서 픽셀을 활성화시키는데 필요한 시간이다. 본 명세서에 설명된 기술들의 일례는, 렌즈 왜곡을 조절하는데 필요한 로우들의 개수 또는 소정의 다른 이미지 수정 기술들을 구현하는데 필요한 로우들의 개수를 감소시키거나 혹은 최소화하는 것이므로, (rows_frame * T_row) 성분을 (c_rows * T_row)로 감소시킬 수 있다. 여기서 c_rows 는 원하는 수정 알고리즘을 프레임의 그 부분에 대해 구현하기 위하여 프레임으로부터 버퍼링되는 로우들의 개수이다. 이와 같이, 이러한 라인-로크 기법들을 통해 달성되는 레이턴시 감소는 (row_frame - c_rows) * T_row 로 표현될 수 있다. 또한, 본 명세서에 서술된 기술들을 사용하여 이미지 센서가 디스플레이에 프레임 동기화될 수 있기 때문에, 본 명세서에 설명된 기술들은 이미지 캡처와 디스플레이 사이의 지연에 대한 Tsync의 기여분을 제거할 수 있다.

도 1은 본 발명의 적어도 일 실시예에 따라 패스 스루(pass-through) 디스플레이를 통해 AR 또는 VR 기능을 제공하도록 구성된 전자 디바이스(100)를 도시한다. 전자 디바이스(100)는 헤드 마운트 디스플레이(HMD: head mounted display), 태블릿 컴퓨터, 컴퓨팅 가능한 휴대폰(예컨대, "스마트 폰"), 노트북 컴퓨터, PDA(personal digital assistant), 게임 콘솔 시스템 등과 같은 휴대용 사용자 디바이스를 포함한다. 다른 실시예에서, 전자 디바이스(100)는 의료 영상 장비, 보안 이미징 센서 시스템, 산업용 로봇 제어 시스템, 드론 제어 시스템 등과 같은 고정형(fixture) 디바이스를 포함할 수 있다. 설명을 용이하게 하기 위해, 본 명세서에서 전자 디바이스(100)는 HMD 시스템에 관한 일례로서 일반적으로 설명된다. 그러나, 전자 디바이스(100)는 이러한 예시적인 구현예에 제한되지 않는다.

도시된 일례에서, 전자 디바이스(100)는 일측 표면(104) 및 그 반대되는 표면(106)을 갖는 하우징(102)을 포함하고 그리고 사용자(110)의 머리에 하우징(102)을 장착하기 위한 끈(straps) 혹은 하네스(harness)의 세트를 또한 포함하는바(명확성을 위해 도 1에는 생략됨), 사용자는 하우징(102)의 상기 표면(104)을 마주볼 수 있다. 상기 일례에서는 얇은 직사각형 블록의 폼-팩터가 도시되며, 상기 표면들(104 및 106)은 실질적으로 평행이다. 하우징(102)은 다른 많은 폼 팩터들로 구현될 수도 있으며, 그리고 표면들(104, 106)은 평행하지 않은 방위를 가질 수 있다. 예시된 HMD 시스템 구현예의 경우, 전자 디바이스(100)는 사용자(110)에게 시각 정보를 제공하기 위해 표면(104)에 배치된 디스플레이 디바이스(108)를 포함한다. 따라서, 참조를 용이하게 하기 위해, 본 명세서에서, 상기 표면(106)은 "전면을 향하는(forward-facing)" 표면으로 지칭되며 그리고 표면(104)은 "사용자를 향하는(user-facing)" 표면으로 지칭된다(사용자(110)에 대한 전자 디바이스(100)의 이러한 예시적인 방위를 반영하여). 하지만, 상기 표면들의 방위는 상술한 것만으로 한정되는 것은 아니다.

전자 디바이스(100)는 전자 디바이스(100)의 로컬 환경(112)에 관한 정보를 획득하기 위한 복수의 센서들을 포함한다. 전자 디바이스(100)는 예컨대, 전면을 향하는 표면(106)에 배치된 이미지 센서들(114, 116) 등과 같은 하나 이상의 이미지 센서들을 통해 로컬 환경(112)에 대한 시각 정보(영상)를 획득한다. 일 실시예에서, 이미지 센서는(114)는 상기 표면(106)과 마주보는 로컬 환경(112)에 대한 보다 넓은 시야각을 제공하도록, 어안 렌즈(fish-eye lens) 또는 다른 광각 렌즈를 갖는 광각 이미지 센서로 구현되는 반면에, 이미지 센서는(116)는 상기 표면(106)과 마주보는 로컬 환경(112)에 대한 보다 좁은 시야각을 제공하도록, 통상적인 시야각 렌즈를 갖는 협각 이미지 센서로 구현된다. 따라서, 이미지 센서(114) 및 이미지 센서(116)는 본 명세서에서 "광각 이미지 센서(114)"및 "협각 이미지 센서(116)"로 각각 지칭될 수 있다.

광각 이미지 센서(114) 및 협각 이미지 센서(116)는 이들의 시야 오버랩이 전자 디바이스(100)로부터 특정 거리에서 시작할 수 있도록, 전면을 향하는 표면(106) 상에 위치 및 배향될 수 있으며, 따라서 멀티뷰 이미지 분석(multiview image analysis)을 통해, 오버랩핑 시야 영역 내에 위치한 로컬 환경(12)의 객체들에 대한 깊이 감지(depth sensing)를 가능케할 수 있다. 대안적으로는, 표면(106) 상에 배치된 깊이 센서(120)가 이용되어, 로컬 환경 내의 객체들에 대한 깊이 정보를 제공할 수 있다. 일 실시예에서, 깊이 센서(120)는 변조된 광 프로젝터를 이용하여 전면을 바라보는 표면(106)으로부터 로컬 환경(112) 쪽으로 변조된 광 패턴을 투사하고, 그리고 변조된 광 패턴들이 로컬 환경(112) 내의 객체들로부터 반사됨에 따라 이미지 센서들(114, 116) 중 하나 또는 둘다를 이용하여 변조된 광 패턴들의 반사들을 캡처한다. 이들 변조된 광 패턴들은 공간적으로 변조된 광 패턴들 또는 시간적으로 변조된 광 패턴들일 수 있다. 변조된 광 플래시의 캡처된 반사들은 본 명세서에서 "깊이 이미지들"또는 "깊이 영상"으로 지칭된다. 깊이 센서(120)는 깊이 영상의 분석에 기초하여, 객체의 깊이, 즉 전자 디바이스(100)로부터의 객체의 거리를 계산할 수 있다. 깊이 센서(120)로부터 획득된 결과적인 깊이 데이터는, 이미징 센서들(114, 116)에 의해 캡처된 이미지 데이터의 멀티뷰 분석(예를 들어, 입체 분석)으로부터 얻어진 깊이 정보를 캘리브레이트하거나 또는 증대시키는데 사용될 수 있다. 대안적으로, 깊이 센서(120)로부터의 깊이 데이터는 멀티뷰 분석으로부터 획득된 깊이 정보를 대신하여 사용될 수 있다.

하나 이상의 이미지 센서들(114, 116)은 로컬 환경(112)의 이미지를 캡처하는 것 이외의, 전자 디바이스(100)를 위한 다른 이미징 기능들을 제공할 수 있다. 예를 들어, 이미지 센서들(114, 116)은 위치 및 방위 검출을 지원하기 위한 이미지 캡처링과 같은, 시각적 원격 측정 기능(visual telemetry functionality)을 지원하는데 이용될 수 있다. 또한, 일부 실시예에서, 사용자를 향하는 표면(104)에 배치된 이미징 센서(도시되지 않음)는 사용자(110)의 머리의 움직임을 추적하거나 또는 얼굴 인식을 위해 사용될 수 있으며, 따라서 머리 추적 정보를 제공 할 수 있으며 머리 추적 정보는 디스플레이 디바이스(108)를 통해 제시되는 이미지의 뷰 전망(view perspective)을 조정하는데 사용될 수 있다. 또한, 전자 디바이스(100)는 위치/방향 검출을 위해 비-이미지 정보에 의존할 수 있다. 이러한 비-이미지 정보는 자이로스코프 또는 주변 광 센서와 같은 하나 이상의 비-이미지 센서(도 1에 미도시)를 통해 전자 디바이스(100)에 의해 획득될 수 있다. 비-이미지 센서는 또한 키패드(예를 들어, 터치 스크린 또는 키보드), 마이크로폰, 마우스 등과 같은 사용자 인터페이스 구성 요소를 포함할 수 있다.

동작시에, 전자 디바이스(100)는 이미지 센서(114, 116) 중 하나 또는 둘 모두를 통해 로컬 환경(112)의 이미지를 캡처하고, 캡처된 이미지를 수정하거나 혹은 프로세싱하고, 그리고 프로세싱된 캡처된 이미지를 디스플레이 디바이스(108)에 제공하여 디스플레이한다. 캡처된 이미지의 프로세싱은, 예를 들어 공간 필터링 또는 색채 필터링, AR 오버레이 추가, 이미지의 실제 내용을 해당 VR 컨텐츠로 변환하는 것, 기타 등등이 포함될 수 있다. 도 1에 도시된 바와 같이, 2 개의 이미지 센서들을 구비한 구현예에서, 좌측 이미지 센서(114)로부터의 이미지는 디스플레이 디바이스(108)의 좌측 영역에서 프로세싱 및 디스플레이될 수 있으며, 이와 동시에 우측 이미지 센서(116)로부터의 이미지는 디스플레이 디바이스(108)의 우측 영역에서 프로세싱 및 디스플레이될 수 있는바, 이에 의해서, 캡처된 이미지의 입체 3D 디스플레이가 가능해진다.

적어도 일 실시예에서, AR 또는 VR 수정과 함께 디스플레이하기 위해 로컬 환경(112)의 이미지를 캡처하는 것 이외에, 전자 디바이스(100)는 이미지 센서 데이터 및 비-이미지 센서 데이터를 사용하여, 전자 디바이스(100)의 상대적인 위치/방위(즉, 로컬 환경(112)에 대한 위치/방위)를 결정할 수 있다. 이러한 상대적인 위치/방위 정보는 동시 위치 및 매핑(simultaneous location and mapping: SLAM) 기능, 시각적 주행 거리 측정(visual odometry) 또는 다른 위치-기반 기능을 지원하기 위해 전자 디바이스(100)에 의해 사용될 수 있다. 또한, 상대적인 위치/방위 정보는 캡처된 이미지와 결합되어 디스플레이되는 AR 오버레이 정보의 생성 또는 캡처된 이미지의 표현에 디스플레이되는 VR 시각 정보의 생성을 지원할 수 있다. 일례로서, 전자 디바이스(100)는 로컬 환경(112)을 맵핑할 수 있고, 이러한 맵핑 정보를 이용하여 로컬 환경(112)을 통한 사용자의 네비게이션을 용이하게 할 수 있는바, 가령 맵핑 정보로부터 생성된 평면도(floor plan)를 사용자에게 디스플레이하고 그리고 전자 디바이스(100)의 상대적인 현재 위치로부터 결정되는, 상기 평면도와 관련하여 사용자의 현재 위치를 나타내는 표시자를 사용자에게 디스플레이할 수 있다.

이를 위해, 상대적인 위치/방위를 결정하는 것은, 하나 이상의 이미지 센서들(114, 116)에 의해 캡처된 이미지 데이터의 공간적 피처들을 검출하는 것 및 검출된 공간적 피처들에 대한 전자 디바이스의 위치/방위를 결정하는 것에 기초할 수 있다. 설명을 위해, 도 1의 도시된 일례에서, 로컬 환경(112)은 3개의 코너들(124, 126, 128), 받침목(baseboard)(130), 및 전기 콘센트(electrical outlet)(132)를 포함하는 사무실 건물의 복도를 포함한다. 상기 복도의 이러한 공간적 피처들을 포함하는 카메라 이미지 데이터(134)를 이미지 센서들이(114, 116) 캡처하도록, 사용자(110)는 전자 디바이스(100를 위치 및 배향시키고 있다. 이 실시예에서, 깊이 센서(120)는 또한 전자 디바이스(100)의 현재 위치/방위에 대한 이들 공간적 피처들의 상대적인 거리들을 반영하는 깊이 데이터(138)를 캡처한다. 또한, 사용자를 향하는 이미지 센서(미도시)는 사용자(110)의 머리의 현재 위치/방위에 대한 헤드 트래킹 데이터(140)를 나타내는 이미지 데이터를 캡처한다. 또한, 자이로스코프, 자력계, 주변 광 센서, 키패드, 마이크로폰 등으로부터의 판독값들과 같은 비-이미지 센서 데이터(142)가 현재 위치/방위에서 전자 디바이스(100)에 의해 수집된다.

이러한 입력 데이터로부터, 전자 디바이스(100)는 외부 소스로부터의 명백한 절대 위치 정보(explicit absolute localization information)가 없이도, 상대적인 위치/방향을 결정할 수 있다. 예를 들어, 전자 디바이스(100)는 광각 이미지 센서 이미지 데이터(134) 및 협각 이미지 센서 이미지 데이터(136)에 대한 멀티뷰 분석을 수행하여, 전자 디바이스(100)와 코너들(124, 126, 128) 사이의 거리를 결정할 수 있다. 대안적으로는, 깊이 센서(120)로부터 얻어진 깊이 데이터(138)가, 공간적 피처들의 거리들을 결정하는데 사용될 수 있다. 이러한 거리들로부터, 전자 디바이스(100)는 로컬 환경(112)에 의해 표현된 사무실 내에서의 자신의 상대적인 위치를 삼각측량하거나 또는 다른 방법으로 추론할 수 있다. 또 다른 일례로서, 전자 디바이스(100)는 이미지 데이터(134)의 캡처된 이미지 프레임들의 일 세트에 제시된 공간적인 피처들을 식별할 수 있으며, 이들 공간적 피처들에 대한 초기 거리들을 결정할 수 있으며, 그리고 후속하여 캡처된 이미지에서 이들 공간적 피처들의 위치 및 거리에서의 변화들을 추적하여 전자 디바이스(100)의 위치/방위에서의 변화를 판별할 수 있다. 이러한 접근법에서, 자이로스코프 데이터 또는 가속도계 데이터와 같은 비-이미지 센서 데이터는, 하나의 이미지 프레임에서 관찰된 공간적 피처들을 후속 이미지 프레임에서 관찰된 공간적 피처들과 상관시키기 위해 이용될 수 있다. 또한, 전자 디바이스(100)에 의해 얻어진 상대적인 위치/방위 정보는, 전자 디바이스(100)의 디스플레이 디바이스(108)를 통해 로컬 환경(112)의 AR 뷰를 사용자(110)에게 제공하기 위해 보충 정보(144)와 결합될 수 있다. 이러한 보충 정보(144)는 전자 디바이스(100)에 국부적으로 저장되거나 또는 유선 또는 무선 네트워크를 통해 전자 디바이스(100)에 의해 원격으로 액세스가능한 하나 이상의 AR 데이터베이스들을 포함할 수 있다.

설명을 위해, 도 1에 도시된 일례에서, 로컬 또는 원격 데이터베이스(도시되지 않음)는, 로컬 환경(112)에 의해 표현된 사무실의 벽 내에 매립된 전기 배선에 대한 위치/배향 CAD(컴퓨터 지원 도면들: Computer-Aided Drawing) 정보를 저장한다. 따라서, 전자 디바이스(100)는 이미지 센서(114, 116)를 통해 로컬 환경(112)의 뷰에 대한 비디오 이미지를 캡처할 수 있으며, 전자 디바이스(100)의 상대적인 배향/위치를 결정할 수 있으며, 그리고 로컬 환경(112)의 뷰에 제시된 벽 내부에 위치한 전기 배선의 위치 및 배향을 결정할 수 있다. 다음으로, 전자 디바이스(100)는, 비디오 이미지에서 식별된 대응 공간 피처들(예를 들어, 코너들 124,126,128))에 대해서 위치 및 배향된 전기 배선에 대한 시각적 표현들로 그래픽 AR 오버레이를 생성할 수 있다. 도 1에 도시된 바와 같이, 그래픽 AR 오버레이는 현재 뷰 내의 전기 배선을 나타내는 점선들(152, 154)을 포함하고 그리고 배선 유형, 배선과 관련된 식별자 및 해당 배선에 의하여 전력이 공급되는 건물 구성요소 등과 같은 전기 배선에 대한 설명을 제공하기 위한 설명 풍선(156 및 158)을 포함한다. 전자 디바이스(100)는 그래픽 오버레이와 캡처된 이미지를 디스플레이 디바이스(108)에 함께 제시하는바, 따라서 협각 이미지 센서(116)에 의해 캡처되는 바와 같이, 로컬 환경(112)의 현재 뷰 내의 전기 배선의 위치에 대한 그래픽 표현(160)을 사용자(110)에게 제시할 수 있다. 전자 디바이스(100)가 이전의 뷰에 대해서 이동함에 따라, 전자 디바이스(100)는 변경된 전망(perspective)을 반영하도록 AR 오버레이를 업데이트한다. 또한, 디스플레이 디바이스(108)에 대한 사용자(110)의 헤드(122)의 위치 변화를 검출하는데 헤드 트래킹 데이터(140)가 사용될 수 있으며, 이에 응답하여 전자 디바이스(100)는 디스플레이된 그래픽 표현(160)을 조정하여, 디스플레이 디바이스(108)에 대한 사용자(110)의 변경된 시야각을 반영할 수 있다.

다른 일례로서, 로컬 또는 원격 AR 데이터베이스는 전자 디바이스(100)를 통한 실내 내비게이션을 용이하게 하는데 사용될 수 있다. 설명하기 위해, 로컬 환경(112)은 쇼핑몰의 내부를 나타낼 수 있고, 특정 상점을 찾기 위한 사용자 입력을 수신하는 것에 응답하여 전자 디바이스(100)는 AR 데이터베이스에 액세스하여 전자 디바이스(100)의 현재 위치에 대한 상기 특정 상점의 위치를 결정할 수 있다. 이러한 정보를 이용하여, 전자 디바이스(100)는 하나 이상의 이미지 센서들(114, 116)에 의해 현재 캡처되는 비디오 이미지의 최상단에, 전자 디바이스(100)가 향하고 있는 현재 방향과 관련하여 상기 상점의 방향을 나타내는 그래픽 오버레이를 디스플레이할 수 있다(예컨대, "우회전", "좌회전", "직진", "뒤돌아감" 화살표 그래픽의 디스플레이를 통해).

도 1의 일례에서, 전자 디바이스(100)는 HMD 시스템으로 구현되고, 따라서 로컬 환경(112)을 지나쳐 가는 사용자(110)에 의한 움직임으로 인하여 이미지 센서들(114, 116)은 상당한 정도의 움직임을 경험하게 된다. 전자 디바이스(100)가 특정 위치/방향에 있는 동안의 이미지 캡처와 상기 캡처된 이미지의 디스플레이 사이에 있는 임의의 인지가능한 지연은, 사용자를 엉뚱한 방향으로 인도할 수 있다(disorient). 결과적으로, 이미지 캡처와 이미지 디스플레이 사이의 지연을 감소시키기 위하여, 본 발명의 적어도 일 실시예에서, 전자 디바이스(100)는 이미지 센서들(114, 116) 중 하나 또는 둘다에 의해 캡처된 이미지에 대한 패스-스루 디스플레이를 제공하는바, 이미지 센서들 중 하나에 의해서 각각의 이미지가 캡처되고 그리고 이미지의 각 픽셀 로우의 순차적인 출력이 이미지 센서에 의해 시작됨에 따라, 전자 디바이스(100)는 이미지의 마지막 픽셀 로우가 이미지 센서에 의해 출력되기 전에, 이미지의 픽셀 로우들을 프로세싱 및 디스플레이하기 시작한다. 즉, 중요하지 않은(inconsequential) 초기 버퍼링 지연 후에, 각각의 픽셀 로우가 이미지 센서에 의해 출력되면, 이전에 출력된 픽셀 로우가 디스플레이 디바이스(108)에 디스플레이되며, 따라서 이미지 센서들(114, 116) 중 하나 혹은 둘다에 디스플레이 디바이스(108)를 라인-로킹(line-locking)할 수 있다. 이러한 패스-스루 디스플레이 프로세스를 위한 예시적인 시스템들 및 기술들이 도 5 내지 도 9를 참조하여 아래에서 보다 상세히 설명된다.

도 2 및 도 3은 본 발명의 적어도 일 실시예에 따른 HMD 폼 팩터에서 전자 디바이스(100)의 예시적인 구현예의 예시적인 전방 및 후방 평면도를 도시한다. 전자 디바이스(100)는 예시된 것과 유사한 구성을 구현하는 스마트 폰 폼 팩터, 태블릿 폼 팩터, 의료용 이미지 디바이스 폼 팩터 등과 같은 다른 폼 팩터로 구현될 수 있는바 이는 예시된 것들과 유사한 구성들을 구현한다.

도 2의 정면도(200)에 의해 도시된 바와 같이, 전자 디바이스(100)는 이미지 센서(114, 116) 및 전면부 표면(106)에 배치된 깊이 센서(120)의 변조된 광 프로젝터(202)를 포함할 수 있다. 비록, 도 2 및 도 3은 도 4의 예시적인 단면도의 이점을 위해 직선을 따라 정렬된 이미지 센서(114, 116) 및 변조된 광 프로젝터(202)를 도시하지만, 도 4에 도시된 바와 같이, 이미지 센서(114, 116) 및 변조된 광 프로젝터(202)는 서로에 대해 오프셋될 수도 있다.

도 3의 후면 뷰(300)에 의해 도시된 바와 같이, 전자 디바이스(100)는 표면(104)에 배치된 디스플레이 디바이스(108), 전자 디바이스(100)를 사용자(110)의 얼굴에 고정하기 위한(스트랩 또는 하니스의 사용과 함께) 페이스 개스킷(302), 그리고 접안 렌즈들(304, 306)을 포함하는바, 접안렌즈들 각각은 사용자의 왼쪽 눈 및 오른쪽 눈을 위한 것이다. 후면 뷰(300)에 도시된 바와 같이, 접안 렌즈(304)는 디스플레이 디바이스(108)의 디스플레이 영역의 좌측 영역(308)과 정렬되는 반면에, 접안 렌즈(305)는 디스플레이 디바이스(108)의 디스플레이 영역 우측 영역(310)과 정렬된다. 따라서, 입체 디스플레이 모드에서, 이미지 센서(114)에 의해 캡처된 이미지는 좌측 영역(304)에 디스플레이되고 그리고 접안 렌즈(304)를 통해 사용자의 좌측 눈으로 보여지고, 이미지 센서(116)에 의해 캡처된 이미지는 우측 영역(310)에 디스플레이되고 접안 렌즈(306)를 통해 사용자의 우측 눈으로 볼 수 있다.

도 4는 본 발명의 적어도 일 실시예에 따라, 도 2 및 3의 평면도에 도시된 라인(204)을 따라 사용자(110)의 헤드(402) 상에 장착된 전자 디바이스(100)의 예시적인 단면도(400)를 도시한다. 도 2 및 도 3을 참조하여 본 발명의 실시예를 설명한다. 예시된 바와 같이, 전자 디바이스(100)는 하우징(102)의 전면부 표면(106) 내의 대응하는 개구 또는 다른 오프닝들에 배치된 이미지 센서(114, 116) 및 변조된 광 프로젝터(202), 및 하우징(102) 내에서 접안 렌즈들(304 및 306)로부터 이격되어 배치된 디스플레이 디바이스(108)를 포함한다. 이미지 센서(114)는 이미지 센서(408) 및 이미지 센서(408)의 감지 표면 위에 배치된 하나 이상의 광학 렌즈들(410)를 포함한다. 이와 유사하게, 이미지 센서(116)는 이미지 센서(412) 및 이미지 센서(412)의 감지 표면 위에 배치된 하나 이상의 광학 렌즈들(414)를 포함한다. 각각의 이미지 센서를 위해 구현된 렌즈들의 유형은, 이미지 센서의 의도된 기능에 따라 달라질 수 있다. 예를 들어, 렌즈(410)는 광각 렌즈 또는 예를 들어, 공지된 고왜곡과 함께 160-180 도의 시야각을 갖는 어안 렌즈(fish-eye lens)로 구현될 수 있는 반면에, 이미지 센서(116)의 렌즈(414)는, 예를 들어 수평적으로 80-90도 사이의 시야각을 갖는 협각 렌즈로 구현될 수 있다. 참고로, 이들 시야각들은 단지 예시일 뿐이다

일부 실시예들에서, 이미지 센서들(114, 116), 디스플레이 디바이스(108) 및 전자 디바이스(100)의 다른 구성요소들의 동작을 제어 및 지원하는 전자 구성요소들의 일부 또는 전부는, 단면도(400)의 블록(420)으로 표현된 바와 같이, 하우징(102) 내에 구현될 수 있으며, 도 5를 참조하여 상세히 설명될 것이다. 비록, 설명의 편의를 위하여 블록(420)이 모놀리식 블록으로 도시되어 있지만, 이들 전자 구성요소들은 단일 패키지 또는 부품으로서 또는 상호연결된 개별 전자 구성요소들의 세트로 구현될 수도 있음을 유의해야 한다. 또한, 일부 실시예에서, 이들 전자 구성요소들의 일부 또는 전부는 하우징(102)에 대해 원격으로 구현될 수도 있다. 예시를 위해, 디스플레이 시스템의 프로세싱 구성요소들은 태블릿 컴퓨터, 노트북 컴퓨터, 데스크탑 컴퓨터, 컴퓨터-인에이블 셀폰과 같은 별도의 디바이스에 구현될 수도 있으며, 이는 하나 이상의 무선 또는 유선 접속을 통해 이미지 센서(114, 116) 및 디스플레이 디바이스(108)를 통합하는 HMD에 연결된다.

도 5는 본 발명의 적어도 일 실시예에 따라 전자 디바이스(100)에 의해 구현되는 예시적인 프로세싱 시스템(500)을 도시한다. 프로세싱 시스템(500)은 디스플레이 디바이스(108), 이미지 센서들(114, 116), 및 깊이 센서(120)를 포함한다. 또한, 프로세싱 시스템(500)은 합성기(502), 픽셀 로우 버퍼들(503 및 505), 어플리케이션 프로세서(504), 디스플레이 제어기(506), 시스템 메모리(508), 비-이미지 센서들(non-image sensors)의 세트(510) 및 사용자 인터페이스(512)를 포함한다. 사용자 인터페이스(512)는 전자 디바이스(100)에 사용자 입력을 제공하도록 사용자에 의해 조작될 수 있는 하나 이상의 구성 요소들, 가령 터치 스크린(514), 마우스, 키보드, 마이크로폰(516), 다양한 버튼 또는 스위치들, 및 다양한 촉각(haptic) 액추에이터(518)를 포함할 수 있다. 비-이미지 센서들의 세트(510)는 전자 디바이스(100)의 비-이미지 컨텍스트 또는 상태를 제공하기 위해 사용되는 다양한 센서들을 포함할 수 있다. 이러한 센서들의 일례들은, 자이로스코프(520), 자력계(522), 가속도계(524) 및 주변 광 센서(526)를 포함한다. 또한, 비-이미지 센서는 GPS 수신기(528), 무선 LAN(WLAN) 인터페이스(530), 셀룰러 인터페이스(532), 피어-투-피어(P2P) 무선 인터페이스(534) 및 근거리 통신(NFC) 인터페이스(536)와 같은 다양한 무선 송수신 기반의 센서들을 포함할 수 있다. 또한, 비-이미지 센서는 터치 스크린(514) 또는 마이크로폰(516)과 같은 사용자 인터페이스(512)의 사용자 입력 컴포넌트들을 포함할 수 있다.

전자 디바이스(100)는 또한 이미지 프로세싱, 위치 맵핑, 및 위치-활용 프로세스들과 관련하여 사용되는 정보 또는 메타데이터를 저장하는 다양한 데이터 스토어(542)에 액세스할 수 있다. 데이터 스토어(542)는 전자 디바이스(100)의 이미지 센서들에 의해 캡처된 이미지로부터 식별된 2D 또는 3D 공간 피처들에 대한 메타데이터를 저장하는 공간 피처 데이터 스토어, 전자 디바이스(100)에 의해서 이미 탐험된 로컬 환경(112)(도 1)의 영역들에 대한 매핑 정보와 같은 SLAM-기반 정보를 저장하는 SLAM 데이터 스토어, 로컬 환경(112)에서 관심 대상들의 상대적 위치들에 대한 CAD-기반 표현들과 같은 AR 오버레이 정보 또는 VR 정보를 저장하는 AR 데이터 스토어를 포함한다. 데이터 스토어는 하드 드라이브, 솔리드 스테이트 메모리, 또는 착탈식 저장 매체(도시되지 않음)와 같이 전자 디바이스(100)에 대해 로컬일 수 있으며, 데이터 스토어는 하나 이상의 서버들 상에 원격으로 위치할 수 있고 전자 디바이스(100)의 하나 이상의 무선 인터페이스를 통해 액세스가능하며, 또는 데이터 스토어는 로컬 및 원격 데이터 스토어의 조합으로 구현될 수도 있다.

동작시에, 이미지 센서(114, 116)는 로컬 환경의 이미지를 캡처하고, 합성기(502)는 캡처된 영상을 프로세싱하여 수정된 이미지를 생성하고, 그리고 디스플레이 제어기(506)는 디스플레이 디바이스(108)를 제어하여 수정된 이미지가 디스플레이 디바이스(108)에 디스플레이되게 한다. 동시에, 어플리케이션 프로세서(504)는 캡처된 이미지와 조합하여 다양한 기능등을 제공하도록 운영 체제(OS)(540) 및 다른 소프트웨어 프로그램들을 실행하는바, 가령 캡처된 이미지 내에서 또는 깊이 센서(120)에 의해 포착된 깊이 정보에서 공간적 피처들을 검출하는 공간 피처 검출 프로세스들, 검출된 공간적 피처들 또는 비-이미지 센서들의 세트(510)에 의해 제공되는 비-센서 정보에 기초하여 전자 디바이스(100)의 현재 위치/방향의 검출, 캡처된 이미지와 함께 디스플레이될 AR 오버레이들의 생성, 캡처된 이미지와 함께 표시되거나 캡처된 이미지의 표현으로서 표시되는 VR 콘텐츠, 기타 등등을 제공할 수 있다.

도 6 및 도 7을 참조하여 보다 상세히 설명되는 바와 같이, 적어도 일 실시예에서, 프로세싱 시스템(500)은 라인-로크된 구성의 이미지 센서들(114, 116) 및 디스플레이 디바이스(108)를 채용하는바, 따라서 이미지 센서에 의해 캡처된 이미지들의 패스-스루 디스플레이가 가능해진다. 이러한 구현예에서, 이미지 센서(114)에 의해 캡처된 각각의 이미지는 픽셀 로우 버퍼(503)에 로우 단위로(row-by-row basis) 시프트 아웃되며, 픽셀 로우 버퍼(503)는 가장 최근에 출력된 픽셀 로우 이전에 출력된 픽셀 로우들의 서브세트와 함께, 가장 최근에 출력된 픽셀 로우를 버퍼링하도록 동작한다. 이와 유사하게, 이미지 센서(116)에 의해 캡처된 각각의 이미지는 픽셀 로우 버퍼(505)에 로우 단위로(row-by-row basis) 시프트 아웃되며, 픽셀 로우 버퍼(505)는 이미지 센서(116)로부터 이전에 출력된 픽셀 로우들의 서브세트와 함께 이미지 센서(116)로부터 가장 최근에 출력된 픽셀 로우를 버퍼링하도록 동작한다. 동시에, 각각의 이미지와 관련하여 디스플레이될 AR 오버레이를 결정하도록 어플리케이션 프로세서(504)에 의해 운영 체제(OS)(540) 또는 다른 컴퓨터 프로그램이 실행되며 그리고 결과적인 AR 오버레이 정보가 합성기(502)로 제공된다. 합성기(502)는 픽셀 로우들의 대응하는 위치들과 관련된 AR 오버레이 정보를 통합하기 위해 픽셀 로우 버퍼의 하나 이상의 픽셀 로우들을 수정한다. 또한, 합성기(502)는 버퍼링된 픽셀 로우들의 상대적으로 작은 서브세트를 사용하는 다양한 부가적인 이미지 프로세싱 기능들을 수행할 수 있는바, 가령 대응하는 픽셀 로우 버퍼에 버퍼링된 픽셀 로우들을 이용하여 에지 검출 또는 다른 공간적 필터링, 색채 필터링 기타 등등을 수행할 수 있다. 캡처된 이미지에 대한 새로운 픽셀 로우가 픽셀 로우 버퍼로 시프트됨에 따라, 캡처된 이미지의 프로세싱된 픽셀 로우들은 로우 버퍼로부터 시프트 아웃되며 그리고 디스플레이 제어기(506)에 제공된다. 디스플레이 제어기(506)는 디스플레이 디바이스(108)를 조작하여, 수신된 수정된 픽셀 로우를 디스플레이한다. 이러한 접근법에서는, 캡처된 이미지가 이미징 센서로부터 출력을 완료하기 전에, 캡처된 이미지의 결과적인 수정된 표현이 디스플레이되기 시작될 수 있는바, 따라서 전체 이미지가 전체로서 시프트 아웃되어야하고 버퍼링되어야만 하는 종래의 시스템에 비하여, 이미지 캡처 및 디스플레이 사이에서 지연을 감소시킬 수 있다.

이미지 센서들(114, 116)의 이미지 센서들(408, 412)은 CCD(Charge Coupled Device) 기반 센서, CMOS(complementary metal-oxide-semiconductor) 액티브 픽셀 센서 등으로 구현될 수 있다. CMOS 기반 구현예에서, 이미지 센서는 롤링 셔터 센서를 포함 할 수 있으며, 이에 따라 센서 상의 다른 모든 로우들이 계속해서 노출되는 동안, 이미지 센서의 픽셀 센서들의 하나 이상의 로우들의 서브 세트가 판독된다. 이러한 접근법은 장시간의 노출 시간 및 보다 유용한 광 감지 영역으로 인하여 증가된 감도를 제공할 수 있는 장점이 있지만, 프레임에서 캡처되는 고속 객체들로 인하여 왜곡이 있다는 단점을 갖는다. 로우 단위가 아니라, 센서 상의 모든 픽셀들이 동시에 전하 수집을 시작하도록 글로벌 리셋 메커니즘을 롤링 셔터에 구현함으로써, 이러한 왜곡의 효과를 최소화할 수 있다. CCD 기반 구현예에서, 이미지 센서는 글로벌 셔터 센서로서 구현 될 수 있으며, 이에 따라 센서의 모든 픽셀들이 동시에 노출된 다음, 차폐 영역으로 전송되며 이는 다음 이미지 프레임이 노출되고있는 동안 로우 단위로 쉬프트 아웃될 수 있다. 이러한 접근법은 픽셀 당 필요한 추가 전자 디바이스로 인해 일반적으로 감도가 저하되는 단점이 있기 때문에 왜곡 현상에 덜 민감할 수 있다. 또한, 글로벌 리셋 메커니즘은 아티팩트를 도입하고 이로 인해 각각의 로우의 노출 시간의 양이 달리지기 때문에(최상단 로우로부터 바닥 로우로 전체 노출 시간이 감소함), 그리고 이러한 차이가 일정한 조명 조건에서의 노출 시간에 따라 선형적으로 변화하기 때문에, 합성기(502)는 이에 따라 픽셀 로우 버퍼들(503, 505) 내의 픽셀 로우들들을 수정함으로써 이러한 노출 차이를 조정할 수 있다.

도 6은 본 발명의 적어도 일 실시예에 따라, 이미지 센서(114), 픽셀 로우 버퍼(503), 합성기(502), 디스플레이 제어기(506) 및 디스플레이 디바이스(108)를 포함하는 서브 시스템을 보다 상세하게 나타낸다. 이미지 센서(116) 및 픽셀 로우 버퍼(505)는 합성기(502), 디스플레이 제어기(506) 및 디스플레이 디바이스(108)에 대해 유사한 방식으로 구성될 수 있다. 도시된 실시예에서, 이미지 센서(114)는 센서 어레이(604) 및 어레이 제어 로직(606)을 포함한다. 센서 어레이(604)는 픽셀 센서 로우들의 세트(도시되지 않음)를 포함하고, 각각의 픽셀 센서 로우는 축적된 전하의 형태로 픽셀들의 대응하는 로우에 대해 광을 모으기 위한 회로를 포함하며, 픽셀 로우 내의 각 픽셀 "위치"에서 캡춰된 축적된 전하는 해당 이미지 프레임에 대한 그 픽셀 로우 내의 픽셀 위치에 대한 "이미지 데이터" 또는 "이미지 콘텐츠"를 나타낸다. 어레이 제어 로직(606)은 프레임 클록(616)(도 6에서 "FRAME_CLK"로 표시됨)에 동기화된 리셋 시그널링(610), 판독 시그널링(612), 및 노출 신호(614)(도 6에서 각각 "RESET", "READOUT"및 "EXPOSE"로 표시됨)를 포함하는 센서 제어기(608)로부터 수신된 다양한 제어 시그널링에 응답하여, 각 픽셀 로우로부터의 이미지 데이터의 활성화, 종료 및 판독을 제어한다. 리셋 시그널링(610)의 어써트(assertion)에 응답하여, 어레이 제어 로직(606)은 센서 어레이(604)의 "글로벌 리셋"에 영향을 주는바, 센서 어레이(604)의 모든 픽셀 로우들의 회로가 리셋되며 따라서, 센서 어레이(604)에 존재하는 임의의 누적 전하를 소거한다. 노출 신호(614)의 어써트에 응답하여, 어레이 제어 로직(606)은 셔터 신호(620)의 어써트(assertion)를 통해 오버레잉 기계적 또는 전자적 셔터(618)의 개방을 개시하는바, 이는 픽셀 센서 로우들의 노출시키며 따라서, 해당 이미지에 대한 이미지 데이터의 캡처를 나타내는 전하의 축적을 시작한다. 판독 시그널링(612)의 어써트에 응답하여, 어레이 제어 로직(606)은 노출을 위한 활성화와 동일한 시퀀스에서 각 픽셀 로우의 노출을 종료하는 프로세스를 개시하고, 그리고 센서 어레이(604)로부터의 픽셀 데이터를 각각의 픽셀 센서 로우로부터 차례차례로 쉬프트 아웃하는 프로세스를 개시한다.

픽셀 로우 버퍼(503)는 이미지 센서(114)로부터 출력된 각각의 픽셀 로우들을 차례로 수신하도록 이미지 센서(114)의 출력에 결합되는 입력, 그 각각이 대응하는 픽셀 로우를 저장하는 하나 이상의 버퍼 엔트리들(623)의 세트(예를 들어, 도 6에 도시된 4개의 엔트리들), 및 프로세싱된 픽셀 로우들을 순차적으로 제공하기 위한 출력을 포함한다. 도 6에 도시된 실시예에서, 픽셀 로우 버퍼(503)는 액세스 충돌을 피하기 위해 더블 버퍼링된 구현을 가지며, 따라서 픽셀 로우 버퍼(503)는 인커밍 픽셀 로우들을 저장하기 위해, 픽셀 로우 버퍼 엔트리들의 하나의 카피(621)와 픽셀 로우 버퍼 엔트리들의 다른 하나의 카피(622) 사이에서 교번한다. 또한, 픽셀 로우 버퍼(503)는 멀티플렉서들(626, 628, 630, 632) 및 멀티플렉서들을 제어하는 버퍼 제어기(634)를 포함하는 스위칭 회로(624)를 더 포함하여, 이미지 센서(114), 합성기(502), 및 디스플레이 제어기(506)에 의한 버퍼 엔트리들(632)로의 액세스를 용이하게 한다.

합성기(502)는 스위칭 회로(624)를 통해 픽셀 로우 버퍼(503)에 연결된 입력 및 출력을 갖는다. 합성기(502)는 이미지 센서(114)로부터의 인커밍 픽셀 로우들을 수신하는데 현재 사용되지 않는 픽셀 버퍼 로우 카피에 버퍼링된 픽셀 로우들을 프로세싱하도록 동작한다 이를 위해, 합성기(502)는, 프로세싱되고 있는 현재 이미지 타임슬롯에 대해 어플리케이션 프로세서(504)로부터 수신된 AR 오버레이 데이터(638) 내의 대응하는 이미지 로우 위치들에 대한 이미지 정보를 통합하도록, 하나 이상의 버퍼링된 픽셀 로우들을 수정하는데 이용되는 오버레이 회로(636)를 포함할 수 있다. 이미지 센서(114)에 의해 캡처된 이미지들의 디스플레이와 AR 오버레이 정보의 디스플레이 사이의 적절한 동기화를 보장하기 위해, 합성기(502)는 동기화 회로(640)를 포함할 수 있으며, 동기화 회로(640)는 AR 오버레이 데이터(638)의 일부로서 제공된 타임 스탬프 정보를 분석하여 AR 오버레이 정보의 통합에 대한 적절한 타이밍을 보장한다. 또한, 합성기(602)는 에지 검출/선명화(sharpening), 공간 왜곡 보정, 색채 왜곡 보정 등과 같은 하나 이상의 필터링 프로세스들의 적용을 통해 하나 이상의 버퍼링된 픽셀 로우들을 수정하는데 사용되는 필터링 회로(642)를 포함할 수 있다.

디스플레이 제어기(506)는 픽셀 로우 버퍼(503)의 출력에 결합된 입력 및 디스플레이 디바이스(108)에 결합된 적어도 하나의 스캔 아웃 라인(644)을 갖는다. 도 6에 도시된 바와 같이, 디스플레이 디바이스(108)는 컬럼 드라이버(648)와 로우 드라이버(650)를 통해 선택적으로 활성화되는 디스플레이 소자들(646)(가령, LED 또는 OLED)의 어레이(645)로 구성될 수 있다. 디스플레이 제어기(506)는 프로세싱된 각각의 픽셀 로우를 픽셀 로우 버퍼(503)로부터 차례차례로 수신하고, 그리고 각각의 수신된 픽셀 로우에 대해, 수신된 픽셀 로우의 로우 위치에 기초하여 어레이(645)의 로우를 나타내는 로우 선택 표시자(652)를 로우 드라이버(650)에 제공하며 그리고 수신된 픽셀 로우에 있는 픽셀들의 픽셀 값들을 나타내는 픽셀 로우 데이터(654)를 컬럼 드라이버(648)에 제공한다. 다음으로, 로우 드라이버(650) 및 컬럼 드라이버(648)는 이들 입력들에 기초하여 어레이(645)에 대한 그들 각각의 출력을 제어하여, 어레이(645)의 그 로우에서 픽셀 로우의 표현(representation)을 디스플레이하도록, 어레이(645)의 대응하는 로우에 있는 디스플레이 소자들(646)을 선택적으로 활성화한다.

비록, 도 6은 이미지 센서(114)로부터의 출력 로우들이 합성기(502)에 의한 처리를 위해 픽셀 로우 버퍼(503)에서 일시적으로 버퍼링되는 것으로 도시되어 있지만, 일부 실시예에서는, 이미지 센서(114)가 디스플레이 제어기(506)에 직접 연결될 수 있는바, 따라서 각각의 로우가 출력됨에 따라 이는 디스플레이 제어기(506) 의해 디스플레이(108)의 대응하는 로우에 직접 디스플레이될 수 있다. 이러한 경우, 이미지 센서(114)는 디스플레이와 호환가능한 포맷으로 픽셀 데이터를 출력하도록 구성되거나, 또는 디스플레이(108)는 이미지 센서(114) 의 출력 포맷을 수용하도록 구성된다. 예시적으로는, 많은 종래의 이미지 센서들은 MIPI 카메라 직렬 인터페이스(CSI) 포맷으로 픽셀 데이터를 출력하는 것이 일반적인 반면에, 디스플레이는 MIPI 디스플레이 직렬 인터페이스(DSI) 포맷에서 디스플레이 데이터를 수용하도록 구성되는 것이 일반적이다. 따라서, 일 실시예에서, 이미지 센서(114)는 MIPI DSI 포맷의 픽셀 로우들을 출력할 수 있거나, 대안적으로 디스플레이(108)는 MIPI CSI 포맷의 픽셀 데이터를 수용하도록 구성될 수 있다.

도 7은 적어도 일 실시예에 따라 전자 디바이스(100)의 이미지 센서에 의해 캡처된 이미지의 패스-스루 디스플레이를 위한 예시적인 동작 방법(700)을 도시한다. 참조를 용이하게하기 위해, 방법(700)은 도 5 및 도 6의 프로세싱 시스템(500)의 예시적인 실시예의 문맥에서 설명된다. 전술한 바와 같이, 이미지 센서(114, 116)는 로컬 환경의 이미지를 이미지들의 시퀀스의 형태(즉, 비디오)로 캡처하도록 동작한다. 상기 방법(700)은 이러한 시퀀스 내의 각 이미지에 대해 전자 디바이스(100)에 의해 반복되는 프로세스를 나타낸다. 따라서, 방법(700)은 블록(702)에서 시작하며, 이미지 센서(예를 들어, 다음의 설명을 위해 이미지 센서(114))에 의한 이미지 캡처가 개시된다. 전술한 바와 같이, 센서 어레이(604)는 이미지 캡처를 개시할 수 있는바, 예를 들어, 리셋 신호(610)의 어써트를 통해 센서 어레이(604)를 리셋하고 그리고 신호(614)를 어써트함으로써 센서 어레이(604)의 픽셀 센서 로우들의 노출을 시작함으로써 이미지 캡처를 개시할 수 있다.

센서 어레이(604)가 노출되면, 블록(704)에서 센서 제어기(608)는 READOUT 신호(612)를 어써트함으로써 센서 어레이(604)에 캡처된 이미지의 픽셀 로우들을 판독한다. 이러한 신호의 어써트에 응답하여 어레이 제어 로직은 각각의 픽셀 센서 로우에 저장된 데이터를 순차적으로 쉬프트 아웃하기 시작한다. 각각의 픽셀 로우가 이미지 센서(114)에 의해 출력됨에 따라, 이는 픽셀 로우 버퍼(503)의 대응하는 엔트리에 버퍼링된다. 도 6의 이중 버퍼링 구현예에서, 버퍼 제어기(634)는 처음에는 픽셀 로우 버퍼(503)의 카피(621)를 선택하여, 이미지 센서(114)에 의해 출력된 픽셀 로우들을 버퍼링하기 시작한다. 상기 카피(621)의 모든 엔트리들(623)이 충전되면, 버퍼 제어기(634)는 이미징 센서(114)로부터 수신되는 픽셀 로우들을 저장하도록 픽셀 로우 버퍼(503)의 카피(622)를 사용하는 것으로 스위칭하며, 그리고 카피(621)는 합성기(502)에 대해 이용가능해져서 카피(621)에 저장된 픽셀 데이터가 프로세싱된다. 다음으로, 카피(622)의 모든 엔트리들(623)이 픽셀 로우들로 충전되면, 버퍼 제어기(634)는 카피(621)에 저장된 모든 픽셀 로우들을 무효화한 다음, 이미지 센서(114)로부터 수신되는 다음번 픽셀 로우들의 서브세트를 카피(621)가 저장할 수 있게 한다. 이와 동시에, 버퍼 제어기(634)는 버퍼링된 픽셀 데이터의 프로세싱을 위해 합성기(502)가 카피(622)를 이용할 수 있게 한다. 픽셀 로우의 저장 및 후속 프로세싱을 위해 카피들(612, 622) 사이에서 교번하는 프로세스는 이미지의 모든 픽셀 로우들이 이미지 센서에 의해 출력될 때까지 반복된다.

이미지 캡처 프로세스 이전 또는 이미지 캡처 프로세스 동안, 어플리케이션 프로세서(504)에서 운영 체제(OS)(540) 또는 다른 소프트웨어 프로그램은, 캡처되는 이미지와 결합될 AR 오버레이를 결정하고, 그리고 이러한 AR 오버레이를 나타내는 AR 오버레이 데이터(638)를 합성기(502)에 제공한다(블록 706). AR 오버레이의 컨텐츠는, 이미지 센서(114)에 의해 출력되는 이미지의 캡처 시간 또는 디스플레이 시간에서의 전자 디바이스(100)의 위치/방향에 대한 예측에 적어도 부분적으로 의존할 수 있다. 예시하기 위해, 데이터 스토어(542)는 전자 디바이스(100)가 동작하는 로컬 환경에 대한 가상 객체들의 3D 모델을 저장할 수 있고, 어플리케이션 프로세서(504)는 다음번(upcoming) 시간(T)에서 전자 디바이스(100)의 위치 및 방위를 예측할 수 있는바, 이전에 캡처된 이미지에서 검출된 공간적 피처들, 자이로스코프 및 가속도계 판독치들로부터의 방향 및 모멘텀 정보 기타 등등과 같은 다양한 입력들에 기초하여 위치 및 방위를 예측할 수 있다. 그리고 이러한 예측된 위치 및 방위로부터, 어플리케이션 프로세서(504)는 3D 모델의 소정 가상 객체들의 뷰들을 렌더링 할 수 있다(이들이 예측된 위치 및 방위에 나타나는 것처럼). 따라서, 어플리케이션 프로세서(504)는, 시간 T에서 디스플레이될 예정인 캡처된 이미지에 통합될 어플리케이션 오버레이로서, 이러한 렌더링된 뷰를 제공할 수 있다.

픽셀 로우 버퍼(503)의 카피들 사이에서 스위칭하는 버퍼 제어기(634)는 블록(708)에서 합성기(502)를 트리거링하여 픽셀 로우 버퍼(503)의 카피에 저장된 픽셀 데이터를 처리하기 시작하는바, 상기 카피는 입력되는 픽셀 로우들을 현재 버퍼링하는 것으로부터 스위칭된 것이다. 이러한 프로세싱은 예를 들어, 합성기(502)의 오버레이 회로(636)가, 버퍼링된 픽셀들의 로우 위치들에 대응하는 AR 오버레이의 영역을, 버퍼링된 픽셀 로우들에 통합하는 것을 포함할 수 있다. 일부 실시예에서, 어플리케이션 프로세서(504)는 AR 오버레이가 프레임 버퍼에서 버퍼링될 수 있도록, 시간 T에서 디스플레이될 이미지에 대한 AR 오버레이를 시간 T 보다 충분히 앞선 시간에서 결정하며, 그리고 합성기(502)는 캡처된 이미지에 대한 버퍼링된 대응 픽셀 로우를 프로세싱할 때, 프레임 버퍼로부터의 AR 오버레이의 각 로우에 액세스할 수 있다. 다른 실시예에서, 어플리케이션 프로세서(504)와 합성기(502)는 AR 오버레이 데이터를 동기화하므로, 어플리케이션 프로세서(504)는 캡처된 이미지의 대응하는 픽셀 로우의 프로세싱과 동기화되도록 AR 오버레이의 각각의 로우를 제공할 수 있다. 어느 경우든, 동기화 회로(640)는 AR 오버레이와 올바른 캡처 이미지가 동기화되는 것을 보장하기 위하여, 각각의 AR 오버레이와 관련된 타임 스탬프 정보에 액세스하도록 동작한다. 또한, 블록(708)에서 수행되는 프로세싱은 예를 들어, 공간 필터링, 색채 필터링, 에지 샤프닝, 컬러베이스 변환 등을 포함할 수 있다.

합성기(502)가 픽셀 로우 버퍼(503)의 선택된 카피에서 버퍼링된 픽셀 로우들에 대한 프로세싱을 완료한 이후, 블록(710)에서 버퍼 제어기(634)는 픽셀 로우 버퍼(503)의 선택된 카피로부터 디스플레이 제어기(506)로 각각의 픽셀 로우를 순차적으로 출력하기 시작한다. 다음으로, 디스플레이 제어기(506)는 디스플레이 디바이스(108)를 제어하여, 디스플레이 소자(646)의 어레이(645)의 대응하는 로우 또는 라인으로서, 수신된 각각의 픽셀 로우를 디스플레이한다.

이미지 센서(114)로부터 캡처된 이미지의 마지막 픽셀 로우가 출력됨과 아울러, 프로세스 흐름은 블록들(702 및 706)로 되돌아가고 그리고 캡처 및 디스플레이될 다음번 이미지에 대하여, 전자 디바이스(100)에 의해 상기 방법(700)의 다른 하나의 이터레이션이 수행된다. 방법(700)에 의해 예시된 바와 같이, 이미지를 캡처하는 이미지 센서에 라인-로크된 디스플레이 디바이스의 사용을 통해, 전자 디바이스(100)는 캡처된 이미지의 패스-스루 디스플레이를 제공한다. 비록, 이미지 센서(114)에 의해 출력된 픽셀 로우들의 초기 서브 세트로 픽셀 로우 버퍼(503)가 충전될때 지연이 초기에 도입되지만, 이러한 지연은 전형적인 인간의 인식 임계치에 비하여 중요하지 않다. 예를 들어, 1080p(1080 로우)의 고화질 해상도, 60 프레임/초의 리프레시 속도 및 픽셀 로우 버퍼(503)에 대해 4개의 픽셀 로우들을 가정하면, 픽셀 로우는 약 15 마이크로 초마다 하나의 비율로 출력되고, 따라서 이미지 센서(114)로부터의 제 1 픽셀 로우들로 픽셀 로우 버퍼(503)를 개시하기 위해 약 60 마이크로 초의 초기 지연이 존재한다. 이것은, 디스플레이 분야에서 인간이 인지할 수 있는 것으로 알려진 통상적인 최단 시간보다도 더 짧은 시간이며, 따라서 이러한 초기 버퍼링 지연 및 합성기(502)에 의한 관련 프로세싱에 의해 도입된 뒤처짐(lag)은 사용자(110)가 지각할 수 없다.

비록, 본 발명의 실시예들은, 하나의 이미지 센서에 의해 캡처된 이미지의 패스-스루 디스플레이와 관련하여 설명되었지만, 많은 구현예들에서, 2개 이상의 이미지 센서들에 의해 캡처된 이미지가 동시에 디스플레이될 수도 있다. 도 8 및도 9는 이러한 구현예들에서 패스-스루 디스플레이를 제공하기 위한 예시적인 기술들을 도시한다. 도 8은 이미지 센서들(114, 116), 픽셀 로우 버퍼들(503, 505), 디스플레이 제어기(806)(디스플레이 제어기 506의 일 실시예) 및 디스플레이 디바이스(808)(디스플레이 디바이스 108의 일 실시예)를 포함하는 전자 디바이스(100)의 일례를 예시한다. 이러한 구현예에서, 디스플레이 제어기(806)는 2개의 스캔 출력들을 가지며, 디스플레이 디바이스(808)는 2개의 스캔 입력들을 가지므로, 디스플레이 디바이스(808)에서 2개의 픽셀 스트림들이 독립적으로 그리고 동시에 나란히(side-by-side) 디스플레이되게 할 수 있다. 대안적으로는, 디스플레이 디바이스(808)는 2개의 나란한 디스플레이들로 구현될 수 있으며, 이들 각각은 하나의 스캔 입력을 갖는다. 이와 같이, 이미지 센서(114)에 의해 출력된 픽셀 로우 스트림(803)의 슬라이딩 윈도우는 픽셀 로우 버퍼(503)에 버퍼링되고, 디스플레이 제어기(806)는 픽셀 로우 버퍼(503)로부터 버퍼링된 픽셀 로우들을 순차적으로 액세스하며 그리고 해당 로우를 디스플레이 디바이스(808)의 좌측 영역(810)(또는 좌측 디스플레이)에서 래스터 스캔 순서대로(raster scan order) 구동한다. 이와 동시에, 이미지 센서(116)에 의해 출력된 픽셀 로우 스트림(805)의 슬라이딩 윈도우가 픽셀 로우 버퍼(505)에 버퍼링되고, 그리고 디스플레이 제어기(806)는 픽셀 로우 버퍼(505)로부터 버퍼링된 픽셀 로우들을 순차적으로 액세스하며 그리고 해당 로우를 디스플레이 디바이스(808)의 우측 영역(812)(또는 별도의 우측 디스플레이)에서 래스터 스캔 순서대로(raster scan order) 구동한다. 따라서, 이러한 구현예에서, 디스플레이 디바이스(808)는 이미지 센서들(114, 116) 모두로부터의 캡처된 이미지들을 동시에 디스플레이할 수 있다.

도 9는 이미지 센서들(114, 116), 픽셀 로우 버퍼들(503, 505), 디스플레이 제어기(906)(디스플레이 제어기 506의 일 실시예) 및 디스플레이 디바이스(908)(디스플레이 디바이스 108의 일 실시예)를 포함하는 전자 디바이스(100)의 일 구현예를 예시한다. 이러한 구현예에서, 디스플레이 제어기(906)는 단일 스캔 입력을 가지며, 디스플레이 디바이스(908)는 단일 스캔 입력을 갖는다. 이와 같이, 이미지 센서들(114, 116)로부터의 오직 하나의 이미지가 주어진 시간에 디스플레이 디바이스(908) 상에 디스플레이될 수 있다. 이 경우, 이미지 센서들(114, 116)의 이미지 캡처 속도는 디스플레이 디바이스(908)의 프레임 레이트의 절반으로 설정될 수 있고, 그리고 디스플레이 제어기(906)는 이미지 센서(114)에 의해 캡처된 이미지의 디스플레이와 이미지 센서(116)에 의해 캡처된 이미지의 디스플레이 사이에서 교번할 수 있다. 뷰(907)에 도시된 바와 같이, 시간 0에서 이미지 센서(114)가 선택되면, 이미지 센서(114)에 의해 출력된 픽셀 로우 스트림(903)이 픽셀 로우 버퍼(503)에 버퍼링되고, 디스플레이 제어기(906)는 픽셀 로우 버퍼(503)에 버퍼링된 픽셀 로우들을 순차적으로 액세스하며 그리고 해당 로우를 디스플레이 디바이스(908)의 좌측 영역(910)에 래스터 스캔 순서대로 구동한다. 이와 동시에, 디스플레이 제어기(906)는 디스플레이 디바이스(908)를 제어하여 우측 영역(912) 내의 디스플레이 소자들을 비활성 상태로 유지시킴으로써 블랙 또는 블랭크 이미지를 사용자의 우측 눈에 제공한다. 계속해서, 뷰(909)에 도시된 바와 같이, 다음 시간 1에서 이미지 센서(114)가 선택되면, 이미지 센서(116)에 의해 출력된 픽셀 로우 스트림(905)이 픽셀 로우 버퍼(503)에 버퍼링되고, 디스플레이 제어기(906)는 픽셀 로우 버퍼(505)에 버퍼링된 픽셀 로우들을 순차적으로 액세스하며 그리고 해당 로우를 디스플레이 디바이스(908)의 우측 영역(912)에 래스터 스캔 순서대로 구동한다. 이와 동시에, 디스플레이 제어기(906)는 디스플레이 디바이스(908)를 제어하여 좌측 영역(910) 내의 디스플레이 소자들을 비활성 상태로 유지시킴으로써 블랙 또는 블랭크 이미지를 사용자의 우측 눈에 제공한다. 따라서, 이러한 구현예에서, 디스플레이 디바이스(808)는 이미지들의 좌안 디스플레이 및 우안 디스플레이를 교번할 수 있다(다른 한 눈에는 블랙 또는 블랭크 영역을 제공하면서). 하지만, 충분히 높은 디스플레이 속도의 경우, 블랙/블랭크 영역은 사용자(110)에게 인지될 수 없을 것이며, 따라서 사용자의 경험에 부정적인 영향을 미치지 않을 것이다.

광학 렌즈들, 가령, 이미지 센서들에 적용되거나 또는 헤드 마운트 디스플레이(HMD: Head Mounted Display) 구현예들의 아이피스들(eyepieces)에서 찾아볼 수 있는 광학 렌즈들은, 가령, 배럴 왜곡, 핀쿠션(pincushion) 왜곡 또는 복합 왜곡(또는 "moustache" 왜곡이라고 지칭되기도 함) 등과 같은 몇몇 형태의 공간적 왜곡을 디스플레이 경로에 도입하는 것이 일반적이다. 통상적으로, 디스플레이 시스템은 버퍼링된 이미지에 존재하거나 또는 버퍼링된 이미지가 아이피스의 렌즈들을 통해 관측될 때 도입될 수 있는 공간 왜곡을 보상하도록, 버퍼링된 각각의 이미지에 대해 하나 이상의 워프 변환(warp transform)들을 수행함으로써, 이러한 공간 왜곡들을 적어도 부분적으로 보정할 수 있다. 하지만, 전술한 바와 같은 패스-스루 디스플레이 프로세스의 사용은 이러한 공간 왜곡에 대한 완전한 보정을 억제할 수 있는바, 완전히 효과적이기 위해서는 버퍼링된 것보다 많은 픽셀 로우들을 워프 변환이 필요로하거나, 또는 디스플레이되기 전에 픽셀 로우가 버퍼링되는 시간에서 워프 변환을 적용하기에는 시간이 불충분하기 때문이다. 따라서, 일부 실시예들에서, 전자 디바이스(100)의 HMD 시스템 구현예의 렌즈들 또는 디스플레이 경로에서 적어도 2개의 렌즈들을 사용하는 구현예가 선택되어, 경로 내의 렌즈들 중 하나에 의해 도입된 공간 왜곡이, 상기 경로의 다른 렌즈에 의해 도입된 상보적인 공간 왜곡에 의해서 적어도 부분적으로 보정되거나 또는 보상된다.

도 10은 이러한 상보적 렌즈 접근법의 2가지 구현예를 도시한다. 2개의 시나리오들 모두에서, 패스-스루 디스플레이 시스템의 디스플레이 경로(1000)는 광학 카메라 렌즈(1004)(이미지 센서 114, 116의 일 실시예)를 구비한 이미지 센서(1002), 이미지 센서(1002)에 의해 캡처된 이미지를 디스플레이하는 디스플레이 디바이스(1008)(디스플레이 디바이스 108의 일 실시예), 및 디스플레이된 이미지를 사용자가 관측하기 위한 접안 렌즈(1006)(접안 렌즈 304, 306의 일 실시예)를 포함한다.

도 10의 상단부에 도시된 시나리오(1001)에서는, 예를 들어 머신 비전 용도를 지원하는 이미지 센서(1002)의 설계된 용도로 인하여, 광각 렌즈가 카메라 렌즈(1004)로서 구현하기 위해 선택된다. 광각 렌즈가 배럴 왜곡을 부여하는 경향이 있으므로, 이 시나리오에서 이미지 센서(1002)에 의해 캡처된 이미지는 캡처된 이미지에 배럴 왜곡을 부여하기 쉽고, 따라서 캡처된 이미지의 디스플레이도 또한 배럴 왜곡 효과를 나타낼 것이다. 이미지의 배럴 왜곡은 핀쿠션 왜곡을 부여하는 렌즈를 통해 이미지를 관찰함으로써 적어도 부분적으로 보정될 수 있다. 즉, 핀쿠션 왜곡은 배럴 왜곡에 보완적이며, 반대의 경우도 마찬가지이다. 따라서, 카메라 렌즈(1004)에 의해 도입된 배럴 왜곡을 광학적으로 보상하기 위해, 상보적인 정도의 핀쿠션 왜곡을 부여하는 렌즈가 접안 렌즈(1006)로서 구현되도록 선택될 수 있다. 사용자가 디스플레이된 이미지를 접안 렌즈(1006)를 통해 관찰하는 경우, 카메라 렌즈(1004)로부터 유발된 디스플레이된 이미지의 배럴 왜곡은 접안 렌즈(1006)에 의해 부여된 핀쿠션 왜곡에 의해 적어도 부분적으로 보정된다.

도 10의 하단부에 도시된 시나리오(1003)에서는, 접안 렌즈(1006)와 디스플레이 디바이스(1008) 사이의 초점 거리로 인하여, 접안 렌즈(1006)로서의 구현을 위해 광각 렌즈가 선택된다. 전술한 바와 같이, 광각 렌즈는 배럴 왜곡을 부여하는 경향이 있으므로, 임의의 공간적 왜곡 없이 디스플레이 디바이스(1008) 상에 디스플레이된 이미지는 접안 렌즈(1006)를 통해 보았을 때 배럴 왜곡을 나타낼 것이다. 따라서, 디스플레이 경로(1000)의 후반부에서 접안 렌즈(1006)에 의해 도입된 배럴 왜곡을 광학적으로 보상하기 위해, 핀쿠션 왜곡을 부여하는 렌즈가 카메라 렌즈(1004)로서 구현되도록 선택될 수 있다. 이러한 방식으로, 카메라 렌즈(1004)는 캡처된 이미지를 "선행 왜곡(predistort)"하고, 이러한 선행 왜곡은 접안 렌즈(1006)에 의해 부여되는 상보적 배럴 왜곡에 의해 무효화되거나 보정된다.

전술한 본 발명의 많은 기능성들 및 본 발명의 원리들 대부분은 주문형 반도체(ASIC: Application Specific ICs)과 같은 집적 회로(IC)와 함께 또는 집적회로 내에 구현되기에 매우 적합하다. 예를 들어 가용 시간, 현재의 기술 및 경제적인 고려 사항들에 의해 유발되는 상당한 노력 및 많은 설계적 선택사항들에도 불구하고, 당업자는 본 명세서에 개시된 개념들 및 원리들에 의해 안내될 때, 이러한 IC들을 최소한의 실험만으로도 용이하게 생성할 수 있을 것으로 기대된다. 그러므로, 본 개시내용에 따른 원리 및 개념을 모호하게하는 임의의 위험을 최소화하고 간략화하기 위해, 이러한 소프트웨어 및 IC에 대한 더 이상의 논의들은 본 발명의 바람직한 실시예들의 원리 및 개념에 관한 본질적인 사항으로 제한될 것이다.

본 명세서에서, 제 1 및 제 2 등과 같은 관계형 용어는 하나의 엔티티 또는 동작을 다른 엔티티 또는 동작과 구별하는 데에만 사용될 수 있으며, 그러한 엔티티 또는 동작 간의 실제적인 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어 "포함한다(comprises)", "포함하는(comprising)" 또는 그 임의의 변형들은, 비-배타적인 포함을 커버하도록 의도된 것으로서, 구성요소들의 목록을 포함하는 프로세스, 방법, 물품 또는 장치는 이들 구성요소들만을 포함하는 것이 아니라, 명시적으로 열거되지 않았거나 또는 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 구성요소를도 포함할 수 있다. "comprises ... a"가 앞에 오는 요소는 더 많은 제한들이 없이, 그 요소를 구성하는 프로세스, 방법, 문서 또는 디바이스에서 추가로 동일한 요소의 존재를 배제하지 않는다. 본원에 사용된 용어 "다른(another)" 은 적어도 제 2 또는 그 이상으로 정의된다. 본 명세서에 사용된 용어 "포함하는" 및/또는 "갖는" 은 포함하는 것으로 정의된다. 전기-광학 기술과 관련하여 본 명세서에서 사용되는 "결합된(coupled)"이라는 용어는 연결되는 것으로 정의되는바, 반드시 직접적일 필요는 없으며 반드시 기계적일 필요는 없다. 본 명세서에 사용된 "프로그램" 이라는 용어는 컴퓨터 시스템에서 실행되도록 설계된 일련의 명령어로 정의된다. "프로그램" 또는 "컴퓨터 프로그램"은 서브 루틴, 함수, 프로시저, 객체 메소드, 객체 구현, 실행가능한 응용 프로그램, 어플릿, 서블릿, 소스 코드, 객체 코드, 공유 라이브러리/동적 로드 라이브러리 및/또는 컴퓨터 시스템 상에서 실행하도록 설계된 다른 명령 시퀀스를 포함할 수 있다.

명세서 및 도면은 단지 예시적인 것으로 간주되어야 하며, 따라서 본 발명의 범위는 이하의 특허 청구 범위 및 그 등가물에 의해서만 제한되도록 의도된다. 다음을 유의해야 하는바, 일반적인 서술에서 앞서 설명된 모든 활동들 또는 요소들이 필요하지 않을 수도 있으며, 특정 활동이나 디바이스의 일부분이 필요하지 않을 수도 있으며, 하나 이상의 추가적인 활동들이 수행될 수도, 서술된 요소들 이외의 다른 요소들이 포함될 수도 있다. 또한, 활동들이 나열되는 순서는 이들이 수행되는 순서와 다를 수도 있다. 앞서 설명된 순서도의 단계들은 달리 명시되지 않는 한, 임의의 순서일 수 있으며, 그리고 구현예에 따라 단계들이 제거, 반복 및/또는 추가될수 있다. 또한, 개념은 특정 실시예를 참조하여 설명되었다. 그러나, 당업자는 이하의 청구 범위에 설명된 바와 같은 본 개시 내용의 범위를 벗어나지 않으면서도 다양한 수정들 및 변경들이 이루어질 수 있음을 이해할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 것으로 간주되어야 하며, 이러한 모든 수정들은 본 발명의 범위 내에 포함되는 것으로 의도된다.

이점들, 다른 장점들 및 문제들에 대한 해결책이 특정 실시예들과 관련하여 상술되었다. 그러나 이점들, 장점들, 문제에 대한 해결책들 및 이점, 장점 또는 해결책이 생기거나 또는 이를 두드러지게 유발하는 임의의 피처(들)은, 임의 또는 모든 청구항들의 크리티컬한, 필요한, 혹은 본질적인 피처로 해석되지 않아야 한다.

Claims

방법으로서,
제 1 이미지 센서에 의해 캡처된 제 1 이미지의 제 1 세트의 픽셀 로우들(rows)에 있는 각각의 픽셀 로우를 상기 제 1 이미지 센서로부터 순차적으로 출력하는 단계; 및
상기 제 1 이미지의 제 2 픽셀 로우가 상기 제 1 이미지 센서에 의해서 출력되기 전에, 상기 제 1 이미지의 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이 디바이스에서 디스플레이하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제 1 세트의 픽셀 로우들의 서브세트를 버퍼에 버퍼링하는 단계, 상기 서브세트는 상기 제 1 픽셀 로우를 포함하며; 그리고
상기 제 1 픽셀 로우를 나타내는 상기 픽셀 로우를 생성하도록, 상기 버퍼에 버퍼링된 픽셀 로우들의 서브세트를 수정하는 단계
를 더 포함하며,
상기 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이하는 단계는, 상기 버퍼로부터 상기 제 1 픽셀 로우를 나타내는 픽셀 로우에 액세스하고 그리고 상기 액세스된 픽셀 로우로 상기 디스플레이 디바이스의 대응 로우를 구동하는 단계를 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 버퍼링된 픽셀 로우들의 서브세트를 수정하는 단계는,
픽셀 로우들의 제 1 서브 세트의 하나 이상의 픽셀 로우들에 대한 증강 현실 오버레이 정보를 수신하는 단계; 및
상기 증강 현실 오버레이 정보에 기초하여 상기 버퍼링된 픽셀 로우들의 서브세트를 수정하는 단계를 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 버퍼링된 픽셀 로우들의 서브세트를 수정하는 단계는,
상기 버퍼링된 픽셀 로우들의 서브세트에 대해 하나 이상의 필터링 프로세스들을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 하나 이상의 필터링 프로세스들을 수행하는 단계는,
공간 필터링 프로세스 및 색채 필터링 프로세스 중 적어도 하나를 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제 1 픽셀 로우를 픽셀 로우 버퍼에서 버퍼링하는 단계; 및
상기 제 1 픽셀 로우의 위치와 관련된 증강 현실 오버레이 정보에 기초하여 상기 픽셀 로우 버퍼의 상기 제 1 픽셀 로우를 수정하여, 상기 제 1 픽셀 로우를 나타내는 픽셀 로우를 생성하는 단계
를 더 포함하며,
상기 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이하는 단계는,
상기 버퍼로부터 상기 제 1 픽셀 로우를 나타내는 픽셀 로우에 액세스하고 그리고 상기 액세스된 픽셀 로우로 상기 디스플레이 디바이스를 구동하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제 1 이미지의 제 3 픽셀 로우가 상기 제 1 이미지 센서에 의해 출력되기 전에, 제 2 픽셀 로우를 나타내는 픽셀 로우를 상기 디스플레이 디바이스에서 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
제 2 이미지 센서에 의해 캡처된 제 2 이미지의 제 2 세트의 픽셀 로우들에 있는 각각의 픽셀 로우를 상기 제 이미지 센서로부터 순차적으로 출력하는 단계; 및
상기 제 2 이미지의 제 4 픽셀 로우가 상기 제 2 이미지 센서에 의해서 출력되기 전에, 상기 제 2 이미지의 제 3 픽셀 로우를 나타내는 픽셀 로우를 디스플레이 디바이스에서 디스플레이하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 제 1 이미지는 상기 디스플레이 디바이스의 제 1 영역에 디스플레이되고,
상기 제 1 이미지의 디스플레이와 동시에 상기 제 2 이미지가 상기 디스플레이 디바이스의 제 2 영역에 디스플레이되는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 제 1 이미지는 제 1 시간에서 상기 디스플레이 디바이스의 제 1 영역에 디스플레이되고,
상기 제 2 이미지는 상기 제 1 시간과 다른 제 2 시간에서 상기 디스플레이 디바이스의 제 2 영역에 디스플레이되며,
상기 제 2 영역은 상기 제 1 시간에서 비활성이고, 그리고
상기 제 1 영역은 상기 제 2 시간에서 비활성인 것을 특징으로 하는 방법.
장치로서,
제 1 캡처 이미지의 픽셀 로우들을 순차적으로 출력하는 출력을 갖는 제 1 이미지 센서; 및
상기 제 1 이미지 센서의 출력에 연결된 디스플레이 제어기
를 포함하며,
상기 디스플레이 제어기는, 상기 제 1 캡처 이미지의 마지막 픽셀 로우가 상기 제 1 이미지 센서에 의해 출력되기 전에, 디스플레이 디바이스에서 상기 제 1 캡처 이미지의 픽셀 로우들에 대한 순차적인 디스플레이를 시작하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 제 1 이미지 센서의 출력에 연결된 픽셀 로우 버퍼, 상기 픽셀 로우 버퍼는 상기 제 1 캡처 이미지의 픽셀 로우들의 서브세트를 버퍼에 버퍼링하기 위한 복수의 엔트리들을 가지며; 그리고
상기 픽셀 로우 버퍼에 연결되는 합성기
를 더 포함하며,
상기 합성기는 상기 버퍼링된 픽셀 로우들의 서브세트를 수정하여 픽셀 로우들의 수정된 서브세트를 생성하고,
상기 디스플레이 제어기는 상기 픽셀 로우 버퍼에 연결되고,
상기 디스플레이 제어기는, 상기 픽셀 로우 버퍼로부터 상기 픽셀 로우들의 수정된 서브세트의 각각의 픽셀 로우에 액세스하고 그리고 상기 액세스된 픽셀 로우로 상기 디스플레이 디바이스의 대응 로우를 구동함으로써, 상기 제 1 캡처 이미지의 픽셀 로우들을 순차적으로 디스플레이하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 합성기는 또한, 상기 픽셀 로우들의 서브세트의 하나 이상의 픽셀 로우들에 대한 증강 현실 오버레이 정보를 수신하고; 그리고
상기 합성기는 또한, 상기 증강 현실 오버레이 정보에 기초하여 상기 버퍼링된 픽셀 로우들의 서브세트를 수정하는 것을 특징으로 하는 장치.
제12항에 있어서,
상기 합성기는 또한, 상기 버퍼링된 픽셀 로우들의 서브세트에 대해 하나 이상의 필터링 프로세스들을 수행함으로써 상기 버퍼링된 픽셀 로우들의 서브세트를 수정하는 것을 특징으로 하는 장치.
제14항에 있어서,
상기 하나 이상의 필터링 프로세스들은, 공간 필터링 프로세스 및 색채 필터링 프로세스 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 제 1 캡처 이미지의 제 1 픽셀 로우를 버퍼링하는 픽셀 로우 버퍼; 및
상기 픽셀 로우 버퍼에 연결된 합성기
를 더 포함하며,
상기 합성기는 상기 제 1 픽셀 로우의 위치와 관련된 증강 현실 오버레이 정보에 기초하여 상기 픽셀 로우 버퍼의 상기 제 1 픽셀 로우를 수정하여, 상기 제 1 픽셀 로우를 나타내는 픽셀 로우를 생성하며,
상기 디스플레이 제어기는 상기 픽셀 로우 버퍼에 연결되며, 상기 버퍼로부터 상기 제 1 픽셀 로우를 나타내는 픽셀 로우에 액세스하고 그리고 상기 액세스된 픽셀 로우로 상기 디스플레이 디바이스를 구동함으로써, 상기 제 1 픽셀 로우를 나타내는 픽셀 로우를 디스플레이하는 것을 특징으로 하는 장치.
제11항에 있어서,
상기 디스플레이 제어기는 또한, 상기 제 1 캡처 이미지의 제 3 픽셀 로우가 상기 제 1 이미지 센서에 의해 출력되기 전에, 제 2 픽셀 로우를 나타내는 픽셀 로우를 상기 디스플레이 디바이스에서 디스플레이하는 것을 특징으로 하는 장치.
제11항에 있어서,
제 2 캡처 이미지의 픽셀 로우들을 순차적으로 출력하는 출력을 갖는 제 2 이미지 센서를 더 포함하고,
상기 디스플레이 제어기는 상기 제 2 이미지 센서에 연결되고, 또한 상기 제 2 캡처 이미지의 마지막 픽셀 로우가 상기 제 2 이미지 센서에 의해 출력되기 전에 상기 제 2 캡처 이미지의 픽셀 로우들에 대한 순차적인 디스플레이를 상기 디스플레이 디바이스에서 시작하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 디스플레이 제어기는 상기 제 1 캡처 이미지를 상기 디스플레이 디바이스의 제 1 영역에 디스플레이하고, 그리고 상기 제 1 캡처 이미지의 디스플레이와 동시에 상기 제 2 캡처 이미지를 상기 디스플레이 디바이스의 제 2 영역에 디스플레이하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 디스플레이 제어기는 상기 제 1 캡처 이미지를 제 1 시간에서 상기 디스플레이 디바이스의 제 1 영역에 디스플레이하고,
상기 디스플레이 제어기는 상기 제 2 캡처 이미지를 상기 제 1 시간과 다른 제 2 시간에서 상기 디스플레이 디바이스의 제 2 영역에 디스플레이하며,
상기 제 2 영역은 상기 제 1 시간에서 비활성이고, 그리고
상기 제 1 영역은 상기 제 2 시간에서 비활성인 것을 특징으로 하는 장치.
제11항에 있어서,
상기 디스플레이 디바이스와 정렬되는 접안 렌즈(eyepiece lens)를 더 포함하며,
상기 접안 렌즈는 제 1 유형의 공간 왜곡을 부여하고,
상기 제 1 이미지 센서는 상기 제 1 유형의 공간 왜곡과 상보적인 제 2 유형의 공간 왜곡을 부여하는 렌즈를 포함하는 것을 특징으로 장치.
제11항의 장치를 포함하는 헤드 장착 디스플레이 시스템.
장치로서,
제 1 유형의 공간 왜곡을 부여하는 렌즈를 갖는 이미지 센서;
상기 이미지 센서에 연결되는 디스플레이 디바이스, 상기 디스플레이 디바이스는 상기 제 1 유형의 공간 왜곡과 함께 상기 이미지 센서에 의해 캡처된 이미지를 디스플레이하며; 그리고
상기 디스플레이 디바이스에 정렬되는 접안 렌즈
를 포함하며,
상기 접안 렌즈는 상기 제 1 유형의 공간 왜곡과 상보적인 제 2 유형의 공간 왜곡을 부여하는 것을 특징으로 하는 장치.
제23항에 있어서,
상기 제 1 유형의 공간 왜곡은 배럴(barrel) 왜곡이고, 상기 제 2 유형의 공간 왜곡은 핀쿠션(pincushion) 왜곡인 것을 특징으로 하는 장치.
제23항에 있어서,
상기 제 1 유형의 공간 왜곡은 핀쿠션 왜곡이고, 상기 제 2 유형의 공간 왜곡은 배럴 왜곡인 것을 특징으로 하는 장치.
제23항의 장치를 포함하는 헤드 장착 디스플레이.