KR20220093144A - 눈 추적기를 통합하는 라이트 필드 디스플레이 및 눈 추적 정보를 사용하여 라이트 필드 디스플레이에 대한 뷰를 생성하기 위한 방법 - Google Patents

Abstract

다중뷰 무안경 입체 디스플레이는 각도 픽셀의 어레이, 눈 추적기 및 처리 시스템을 포함하는 디스플레이 영역을 포함한다. 각 각도 픽셀은 그 각도 픽셀의 시야를 가로질러 변하는 색상을 방출한다. 각도 픽셀의 어레이는 디스플레이의 시야를 가로질러 상이한 시청 구역에 상이한 뷰를 디스플레이한다. 눈 추적기는 특정 시청 구역 내에서 적어도 한 명의 시청자의 눈의 존재를 검출하고, 특정 시청 구역 내에서 검출된 눈의 위치를 포함하는 눈 추적 정보를 생성한다. 처리 시스템은 눈이 검출된 시청 구역 내에서 검출된 눈의 위치를 기초로 각 검출된 눈에 대한 특정 뷰를 렌더링하고, 각 검출된 눈에 대한 특정 뷰가 그 눈이 검출된 시청 구역에 디스플레이 되게 하기 위해 각도 픽셀의 어레이에 대한 제어 정보를 생성한다.

Description

눈 추적기를 통합하는 라이트 필드 디스플레이 및 눈 추적 정보를 사용하여 라이트 필드 디스플레이에 대한 뷰를 생성하기 위한 방법

우선권 주장

본 출원은 명칭이 "Light Field Displays Incorporating Eye Trackers and Methods for Generating Views for Multiview Autostereoscopic Display Using Eye Tracking Information"이고 2019년 11월 1일에 출원된 동시 계류 중인 미국특허출원번호 제62/929,666호의 이익을 주장하며, 이는 그 전체가 본원에 참조로 통합된다.

기술분야

본 발명은 일반적으로 3차원(3D) 디스플레이에 관한 것이고, 보다 구체적으로는 눈 추적기(eye trackers)를 통합하는 다중뷰 무안경 입체 3D 디스플레이(multiview autostereoscopic 3D displays)에 관한 것이다.

인간의 시각 시스템은 오클루전(occlusion), 원근감(perspective), 친숙한 크기 및 대기 안개와 같은 단서(cues)를 사용하여 2D 투영으로부터 3D 구조를 해석할 수 있다. 하지만, 2D 이미지는 스테레오 시차, 움직임 시차, 조절(accommodation) 및 수렴을 포함하는 다수의 상당한 깊이 단서를 표현할 수 없다. 시청자의 각 눈에 상이한 이미지를 제공하는 3D 디스플레이는 입체 디스플레이로 지칭된다. 대부분의 상업적으로 이용 가능한 3D 디스플레이 기술은, 디스플레이가 착용자의 각 눈에 상이한 이미지를 제공하는 것을 허용하는 특수 안경을 시청자가 착용하는 것을 요구한다. 착용자의 각 눈에 상이한 이미지를 제공하기 위해 특수 안경을 활용하는 3D 디스플레이의 한계는 이미지가 일반적으로 착용자의 머리 위치에 의존하지 않는다는 것이다. 도 1에 개념적으로 예시된 바와 같이, 디스플레이(100)는 이상적인 시청 위치(102)에 이상적으로 위치된, 시청자의 왼쪽 눈 및 오른쪽 눈에 각각 왼쪽(L) 및 오른쪽(R) 이미지를 제공한다. 이 이미지는 시청자의 위치에 관계없이 동일할 것이며, 깊이 단서는 시청자가 가령, 위치(104 및 106)에서 이상적인 시청 위치로부터 멀리 위치될수록 장면의 콘텐츠와 일치하지 않게 될 수 있다.

특수 안경을 사용하는 것의 대안은 시청자의 눈 앞에, 가령 한 쌍의 고글 또는 헤드셋 내에 두 개의 작은 디스플레이를 장착하는 것이다. 시청자의 머리가 움직이고 머리 움직임이 (예를 들어, 가속도계, 자이로스코프(gyroscope), 위치 센서, 적외선 방출, 카메라 및/또는 자력계를 사용하여) 헤드셋에 의해 추적될 때, 디스플레이는 스테레오 시차 및 움직임 시차를 제공하기 위해 두 개의 디스플레이 상에 시점-의존 이미지를 제공할 수 있다. 헤드셋을 착용할 필요성 및 실세계로부터의 결과적인 분리는 가상 현실, 혼합 현실 및/또는 증강 현실 안경과 같이 머리-착용된 3D 디스플레이의 유용성을 상당히 제한할 수 있다.

무안경 입체 디스플레이는 사용자가 안경 또는 헤드셋과 같은 특수 헤드기어를 착용하는 요건 없이 3D 깊이의 양안 인지(binocular perception)를 생성한다. 무안경 입체 디스플레이는 일반적으로 디스플레이의 앞에 시차 장벽의 배치, 디스플레이의 앞에 렌티큘러 렌즈 어레이(lenticular lens array) 또는 마이크로렌즈 어레이의 배치 및 프로젝터의 어레이를 사용하는 것을 포함하는 다양한 방식으로 구현될 수 있는 이미지의 공간 다중화를 활용한다.

다중뷰 무안경 입체 라이트 필드 디스플레이는 디스플레이의 시야를 가로질러 상이한 시청 구역에 상이한 이미지를 형성하는 무안경 입체 디스플레이의 부류이다. 결과적으로, 다중뷰 무안경 입체 라이트 필드 디스플레이는 단순히 주어진 시간에 시청자의 눈의 각각에 상이한 이미지를 제공하는 것으로 제한되지 않고, 사용자가 움직일 때 각 눈에 디스플레이되는 이미지는 시청자의 위치에 의존하는 방식으로 달라진다. 이 방식으로, 다중뷰 무안경 입체 라이트 필드 디스플레이는 스테레오 및 움직임 시차 모두를 제공할 수 있다. 하지만, 다중뷰 무안경 입체 라이트 필드 디스플레이의 상용화는 다수의 뷰를 디스플레이할 수 있는 디스플레이를 구축하는 어려움 및 모든 뷰를 동시에 생성하는 계산 복잡도에 기인하여 어려운 것으로 드러난다.

다음은 이러한 양상의 기본 이해를 제공하기 위해 하나 이상의 양상의 단순화된 내용을 제공한다. 내용은 모든 고려되는 양상의 광범위한 개요가 아니며, 모든 양상의 핵심 또는 중요한 요소를 식별하지 않고 임의의 또는 모든 양상의 범주를 기술하지 않는 것으로 의도된다. 목적은 하나 이상의 양상의 일부 개념을 단순화된 형태로, 추후에 제공되는 더욱 상세한 설명의 서문(prelude)으로서 제공하는 것이다.

일 양상에서, 시청자에게 복수의 뷰를 제공하기 위한 다중뷰 무안경 입체 디스플레이가 제공된다. 디스플레이는 각도 픽셀의 어레이를 포함하는 디스플레이 영역을 포함한다. 각 각도 픽셀은 그 각도 픽셀의 시야를 가로질러 변하는 광을 방출하도록 구성된다. 각도 픽셀의 어레이는 디스플레이의 시야를 가로질러 상이한 시청 구역에 상이한 뷰를 디스플레이하도록 구성된다. 디스플레이는 특정 시청 구역 내에서 시청자의 눈의 존재를 검출하고, 특정 시청 구역 내에서 그렇게 검출된 눈의 위치에 관련된 눈 추적 정보를 생성하도록 구성된 적어도 하나의 눈 추적기를 더 포함한다. 디스플레이는 그 눈이 검출된 시청 구역 내의 그 눈의 위치를 기초로, 그렇게 검출된 눈의 각 눈에 대한 특정 뷰를 렌더링하고, 그 눈에 대한 특정 뷰가 그 눈이 검출된 시청 구역에서 디스플레이 되게 하기 위한 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 구성된 처리 시스템을 추가적으로 포함한다.

다른 양상에서, 다중뷰 무안경 입체 디스플레이의 처리 시스템은 눈 추적 정보를 기초로 특정 시청 구역에서의 디스플레이를 위해 감소된 해상도 뷰, 감소된 밀도 뷰 및 2차원 뷰 중 적어도 하나를 렌더링하도록 더 구성된다.

또 다른 양상에서, 눈 추적 정보는 추적된 눈 위치와 연관된 불확실성의 레벨을 나타내는 신뢰도 정보를 포함하고, 처리 시스템은 신뢰도 정보에 따라 렌더링을 조정하도록 더 구성된다.

또 다른 양상에서, 처리 시스템은 복수의 논리적 이미터(logical emitters)에 대한 제어 정보를 생성하도록 구성된다. 디스플레이 영역은 복수의 논리적 이미터에 대한 제어 정보를 수신하고 디스플레이 영역에서 각도 픽셀의 어레이에 대한 정보를 제어하기 위해 복수의 논리적 이미터에 대한 제어 정보를 보간하도록 구성된 백플레인 회로(backplane circuitry)를 더 포함한다.

다른 양상에서, 디스플레이는 제1 시청자 및 제2 시청자에 의해 시청 가능한 뷰를 제공하도록 구성된다. 적어도 하나의 눈 추적기는 제1 시청자 및 제2 시청자의 눈을 동시에 추적하도록 더 구성된다. 처리 시스템은 제1 시청자의 각 검출된 눈에 대한 제1 장면에 기초하여 특정 뷰를 렌더링하고, 제2 시청자의 각 검출된 눈에 대한 제2 장면을 기초로 추가적인 뷰를 렌더링하도록 더 구성되며, 제2 장면은 제1 장면과 적어도 부분적으로 상이하다. 처리 시스템은 또한, 제1 시청자의 각 검출된 눈에 대한 특정 뷰가 제1 시청자의 눈이 검출된 시청 구역에 디스플레이되고, 동시에 제2 시청자의 각 검출된 눈에 대한 추가적인 뷰가 제2 시청자의 눈이 검출된 시청 구역에 디스플레이되도록 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 구성된다. 추가적인 양상에서, 처리 시스템에 의해 그렇게 생성된 제어 정보는 제1 시청자 및 제2 시청자의 눈 중 적어도 하나가 검출된 시청 구역 외부에 뷰가 디스플레이되지 않게 한다. 또 다른 양상에서, 디스플레이는 제1 시청자의 눈을 추적하기 위한 제1 눈 추적기, 및 제2 시청자의 눈을 추적하기 위한 제2 눈 추적기를 포함한다.

다른 양상에서, 처리 시스템은 각도 픽셀의 어레이에 대한 교정 정보를 저장하도록 구성된 메모리를 더 포함한다. 처리 시스템은 교정 정보 및 디스플레이 영역으로부터 광선 방향의 세트에 대한 타겟 강도를 기초로 디스플레이 영역에서의 각도 픽셀에서 복수의 이미터에 대한 제어 정보를 생성한다.

또 다른 양상에서, 처리 시스템은 고스팅(ghosting), 시청 구역 사이의 광학 크로스토크(optical crosstalk) 및 픽셀-레벨 광학 크로스토크 중 적어도 하나를 완화하기 위한 제어 정보를 최적화하도록 더 구성된다.

첨부된 도면은 고려된 구현의 일부만을 예시하며, 그러므로 범주를 제한하는 것으로 간주되어서는 안 된다.
도 1은 착용자의 각 눈에 상이한 이미지를 제공하기 위해 안경을 활용하는 3D 디스플레이를 개념적으로 예시한다.
도 2는 본 발명의 실시예에 따른, 각도 픽셀의 어레이 및 하나 이상의 눈 추적기에 의해 형성된 디스플레이 영역을 포함하는 라이트 필드 디스플레이를 예시한다.
도 3은 본 발명의 실시예에 따른, 라이트 필드 디스플레이와 통합된 개인용 컴퓨터 내에서 활용되는 처리 시스템의 상위-레벨 개요를 개념적으로 예시한다.
도 4는 본 발명의 실시예에 따른, 렌즈 요소 및 이미터의 어레이에 의해 형성된 각도 픽셀을 포함하는 라이트 필드 디스플레이를 예시한다.
도 5는 본 발명의 실시예에 따른, 프로젝터를 사용하여 구현된 라이트 필드 디스플레이를 예시한다.
도 6a는 계층적인 눈 추적 프로세스를 예시한다.
도 6b는 계층적인 시선 추적 프로세스를 예시한다.
도 7은 본 발명의 실시예에 따른, 라이트 필드 디스플레이에서 이미터에 의해 생성된 광의 원뿔을 개념적으로 예시한다.
도 8은 앨리어싱(aliasing)이 무안경 입체 디스플레이에 의해 생성된 뷰에서 시청자가 배경 불연속성을 인지하는 것을 초래할 수 있는 방식을 개념적으로 예시한다.
도 9는 본 발명의 실시예에 따른, 무안경 입체 라이트 필드 디스플레이의 시청 구역 내에서 시청자의 눈의 추적된 위치에 기초하여 렌더링된 뷰의 디스플레이를 개념적으로 예시한다.
도 10은 본 발명의 실시예에 따른, 시청자의 눈의 추적된 위치에 기초하여 시청자의 눈에 의해 차지되는 시청 구역에 디스플레이되는 뷰를 수정하기 위해 라이트 필드 디스플레이를 동작시키는 프로세스를 예시한다.
도 11은 고스팅의 현상을 개념적으로 예시한다.
도 12는 본 발명의 실시예에 따른, 고스팅을 감소시키기 위해 눈 추적 정보를 기초로 시청 구역에 디스플레이되는 이미지를 렌더링하기 위해 라이트 필드 디스플레이에 의해 활용될 수 있는 프로세스를 개념적으로 예시한다.
도 13은 본 발명의 실시예에 따른, 추적된 눈에 인접한 시청 구역에서 동일한 색상 및 강도를 디스플레이함으로써 눈 추적에서의 불확실성이 조절될 수 있는 방식을 예시한다.
도 14는 시선 방향 및 눈 위치에서의 불확실성의 표현을 5D 확률 분포로 예시한다.
도 15는 본 발명의 실시예에 따른, 눈 및 시선 추적 정보에서의 불확실성을 설명하는 방식으로 눈 및 시선 추적 정보를 기초로, 라이트 필드 디스플레이로 포비티드 렌더링(foveated rendering)을 수행하기 위한 프로세스를 개념적으로 예시한다.
도 16은 본 발명의 실시예에 따른, 라이트 필드 디스플레이 내의 이미터의 활성화를 제어하기 위한 프로세스를 개념적으로 예시한다.
도 17은 본 발명의 실시예에 따른, 추적된 눈에 의해 차지되는 시청 구역에 인접한 시청 구역에 뷰의 디스플레이를 가능하게 하는 프로세스를 개념적으로 예시한다.
도 18은 본 발명의 실시예에 따른, 추적된 눈에 의해 차지되지 않은 시청 구역에 단순화된 콘텐츠를 디스플레이하는 라이트 필드 디스플레이를 개념적으로 예시한다.
도 19a는 마이크로렌즈-내 크로스토크가 나타날 수 있는 방식을 개념적으로 예시한다.
도 19b는 마이크로렌즈-간 크로스토크가 나타날 수 있는 방식을 개념적으로 예시한다.
도 20은 본 발명의 실시예에 따른, 추적된 눈에 의해 차지되는 시청 구역에 뷰를 디스플레이하기 위해, 눈 추적 정보를 기초로 라이트 필드 디스플레이의 이미터의 활성화를 제어하기 위한 프로세스를 예시한다.
도 21은 본 발명의 실시예에 따른, 눈 추적을 통합하는 라이트 필드 디스플레이를 위한 뷰 렌더링 파이프라인을 개념적으로 예시한다.

이제 도면을 참조하면, 본 발명의 다양한 실시예에 따른 다중뷰 무안경 입체 디스플레이를 위한 뷰의 생성에서 눈 추적 데이터를 활용하는 프로세스 및 눈 추적기를 통합하는 라이트 필드 디스플레이가 예시된다. 라이트 필드 디스플레이라는 용어는 본원에서 종래의 무안경 입체 디스플레이보다 100배 이상으로(several orders of magnitude) 더 많은 이미터를 포함하는 다중뷰 무안경 입체 디스플레이의 부류를 지칭하기 위해 사용된다. 따라서, 라이트 필드 디스플레이는 종래의 무안경 입체 디스플레이에 비해 상당히 더 높은 밀도의 상이한 시야를 달성한다. 증가된 수의 뷰는 다중뷰 무안경 입체 디스플레이에 활용되는 뷰의 수를 생성하는 데 요구되는 처리의 잠재적으로 비례하는 증가를 초래한다.

본 발명의 다수의 실시예에 따른 시스템 및 방법은 무안경 입체 디스플레이를 위해 생성되는 뷰의 수를 감소시키기 위해 눈 추적기를 활용한다. 다수의 실시예에서, 추적된 눈의 특정 위치에 대응하는 뷰가 생성된다. 이 뷰는 추적된 눈에 의해 차지되는 시청 구역 내에서 디스플레이될 수 있고, 다수의 경우에서 눈 추적 불확실성을 조절하기 위해 인접한 시청 구역 내에서 디스플레이될 수 있다. 다수의 실시예에서, 시청자의 망막 상의 뷰의 겹침이 원하는 이미지를 생성하도록, 뷰는 중첩하는 시청 구역에서의 디스플레이를 위해 렌더링된다. 라이트 필드 디스플레이를 위한 뷰의 생성에 관련된 데이터와 눈 추적기 정보의 통합은 이러한 다중뷰 무안경 입체 디스플레이에 의해 라이트 필드 뷰를 제공하는 데 요구되는 계산 및 에너지 부하를 감소시키기 위한 다양한 이점을 제공한다.

눈 추적기는 한 명 이상의 사람의 눈의 위치를 추적할 수 있는 시스템이다. 눈 추적기는 일반적으로, 3차원 공간에서 각 시청자의 눈의 위치를 결정하고, 다수의 경우에 기준의 프레임에 대한 각 눈의 회전을 결정하며 시선 방향을 산출한다. 다수의 실시예에서, 눈 추적기는 각 눈의 동공의 중심을 추적한다. 본 발명의 다수의 실시예에서, 눈 추적기는 각 눈의 초점면의 중심의 위치를 결정한다. 예를 들어, 눈의 초점면이 망막 상의 동공과 거의 반대이며, 따라서 초점면의 위치는 알려진 동공 위치로부터 추론할 수 있다. 다수의 실시예에서, 계층적인 눈 추적 프로세스가 활용된다. 눈 추적기는 단순히 시청자의 머리의 위치를 결정하는, 머리 추적기와 구별될 수 있다. 눈 추적기는 또한, 시청자의 눈의 위치 및 시청자가 보는 방향을 결정하는 시선 추적기와 구별될 수 있다. 후속하는 논의 중 대부분이 다중뷰 무안경 입체 디스플레이를 위한 뷰를 생성하기 위해 적어도 하나의 눈 추적기를 통합하고 눈 추적 정보를 활용하는 라이트 필드 디스플레이에 관한 것이지만, 본 발명의 여러 실시예에 따른 시스템 및 방법은 특정 응용의 요건에 기인하여 적절하게, 눈 추적기의 대안으로서 또는 이에 부가하여 시선 추적기 및/또는 머리 추적기를 활용할 수 있다. 나아가, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 머리 장착 디스플레이 내의 가속도계와 같은 (그러나 이에 제한되지 않는) 센서를 사용하여 머리 포즈 추적과 함께, 머리 장착 디스플레이에 의해 눈 및/또는 시선 추적이 수행되는 머리 장착 디스플레이에서 활용될 수 있다.

위에서 언급되고 아래에서 더 논의되는 바와 같이, 눈이 위치된 시청 구역을 식별하기 위한 능력은 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이가 에너지, 처리 및/또는 설계 효율을 달성하는 것을 가능하게 한다. 여러 실시예에서, 라이트 필드 디스플레이는 시청자가 위치될 가능성이 있는 시청 구역에 디스플레이되는 뷰를 제한하기 위해 눈 추적 정보를 기초로 이미터를 턴 오프(turn off)할 수 있다. 이 방식으로, 라이트 필드 디스플레이는 상당한 에너지 절약을 달성할 수 있다. 나아가, 디스플레이의 처리 시스템과 백플레인 제어 회로 사이의 대역폭 요건은 활성 이미터에 대한 및/또는 실제 물리적 이미터의 수보다 상당히 적은 논리적 이미터의 세트에 대한 이미터 제어 데이터만을 제공함으로써 감소될 수 있다. 다수의 실시예에서, 라이트 필드 디스플레이는 추적된 눈이 검출되지 않는 시청 위치(예를 들어, 추적된 눈이 검출된 시청 구역에 인접한 시청 구역) 내에 디스플레이되는 뷰에서 불일치가 렌더링되는 정도 및/또는 해상도를 변경함으로써 추가적인 처리 효율을 달성할 수 있다. 시선 추적 정보가 라이트 필드 디스플레이에 이용 가능한 경우, 렌더링된 뷰 내의 해상도 및/또는 불일치 정보가 시선 방향을 기초로 달라지는 포비티드 뷰를 렌더링함으로써 추가적인 처리 효율이 달성될 수 있다. 본 발명의 다수의 실시예에 따른 병렬 처리 시스템을 통합하는 라이트 필드 디스플레이는 또한, 뷰 처리 동안 수신된 눈 추적 정보 업데이트를 기초로 뷰가 렌더링되는 시점을 계속 업데이트하기 위해 3D 및/또는 2D 워프(warps) 및 변환(translations)을 후-렌더링으로(post-render) 적용하는 진보된 렌더링 파이프라인을 이용할 수 있다. 이 방식으로, 디스플레이된 뷰가 렌더링되는 시점은 라이트 필드 디스플레이가 리프레시되고(refreshed), 뷰가 디스플레이되는 시간 지점에 각 시청자의 눈의 위치에 가능한 가깝게 대응할 수 있다.

눈 추적 정보를 기초로 상이한 시청 구역 내에서 상이한 뷰를 렌더링하기 위한 능력은 또한, 본 발명의 여러 실시예에 따른 라이트 필드 디스플레이가 다양한 유용한 모드를 지원하는 것을 가능하게 한다. 다수의 실시예에서, 라이트 필드 디스플레이는 상이한 시청자와 적어도 부분적으로 상이한 장면의 뷰를 렌더링할 수 있다. 이 맥락에서, 장면(scene)은 사용자에게 보여지기 위해 제공되는 3D 모델 또는 하나의 콘텐츠를 지칭한다. 이 방식에서, 두 명 이상의 시청자는 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이를 통해 두 개 이상의 상이한 개수의 콘텐츠를 동시에 시청할 수 있다. 다수의 실시예에서, 라이트 필드 디스플레이는 뷰가 디스플레이되는 시청 구역이 승인된 시청자의 눈에 의해 차지되는 시청 구역에 기초하여 결정되는 프라이버시 모드(privacy mode)를 지원할 수 있다. 라이트 필드 디스플레이는 승인되지 않은 시청자의 눈이 검출된 시청 구역에 뷰를 디스플레이하는 이미터를 비활성화하거나, 또는 프라이버시 경고 또는 무해한 콘텐츠를 포함하는 뷰를 제공할 수 있다.

다수의 실시예에서, 눈 추적기의 사용은 라이트 필드 디스플레이가 수평 시차 및 수직 시차를 디스플레이하기 위한 하이브리드 접근법을 이용하는 것을 가능하게 한다. 수직 시차를 처리하기 위해 이미터를 제공하는 대신에, 눈 추적은 디스플레이 영역에 관련된 시청자의 눈의 수직 위치 및 거리를 결정하는데 활용될 수 있다. 디스플레이에 대한 시청자의 눈의 수직 위치 및 거리가 알려지면, 시청자의 눈이 위치된 시청 구역에 디스플레이되는 뷰를 생성하기 위해 시청자의 원근감이 활용될 수 있다. 이 방식에서, 눈 추적기는 라이트 필드 디스플레이 내의 이미터의 총 수를 감소시킬 수 있는데, 이는 각 각도 픽셀이 수평 시차를 처리하기 위해 단일 행의 이미터로 구현될 수 있고 수직 시차가 계산적으로 처리되기 때문이다. 눈 추적이 없는 경우, 수직 시차를 처리하기 위해 다수의 행의 이미터가 사용될 수 있다.

여러 실시예에서, 라이트 필드 디스플레이 내에서 활용되는 각도 픽셀은 각도 픽셀 내의 이미터로부터의 광이 주요 의도된 방향 이외의 광선 방향으로 누출되는 것을 초래할 수 있는 광학 수차에 영향을 미치는 마이크로렌즈를 통합한다. 예를 들어, 각도 픽셀에서 하나의 이미터로부터 다수의 원하지 않는 광선 방향으로의 광의 누출은 광학 크로스토크의 일 형태이다. 다수의 실시예에서, 각도 픽셀 내에서 이미터의 그룹은 모든 이미터의 방출된 강도의 원하는 선형 조합을 달성하도록 공동으로 제어될 수 있다. 다수의 실시예에서, 각도 픽셀 내의 이미터의 강도는 하나 이상의 특정 시청 구역 내에서 인지되는 각도 픽셀로부터의 광선이 의도된 광선에 가능한 가깝도록 결정된다. 여러 실시예에서, 다수의 각도 픽셀로부터의 이미터의 광 방출은 하나 이상의 특정 시청 구역 내에서 인지되는 라이트 필드 디스플레이로부터의 광선이 의도된 광선에 가능한 한 가깝도록 결정된다. 특정 실시예에서, 눈 추적 정보는 추적된 눈에 의해 차지되는 시청 구역 내에 디스플레이되는 뷰에 기여하는 특정 이미터를 결정하기 위해 활용될 수 있다. 예를 들어, 사용자가 라이트 필드 디스플레이 이미터로부터 더 멀리 있을 때, 라이트 필드 디스플레이의 더 큰 영역을 덮는 더 많은 수의 각도 픽셀이 인지된 광선에 기여할 수 있다. 유사하게, 인지된 광선이 사용자의 시야의 중심와(fovea)(즉, 시야의 중심)에 있으면, 인지된 광선에 기여하는 각도 픽셀은 인지된 광선이 사용자의 시야의 주변에 있을 때보다 라이트 필드 디스플레이의 더 작은 영역을 표현한다. 다수의 실시예에서, 공동으로 제어되는 이미터의 강도는 인지된 라이트 필드와 타겟 라이트 필드 사이의 차이를 최소화하도록 결정된다. 하지만, 여러 실시예에서, 라이트 필드 디스플레이의 동적 범위 및/또는 블랙 레벨을 증가시키는 제약을 포함하는 (그러나 이에 제한되지는 않는) 추가적인 제약이 공동으로 제어되는 이미터에 부과된다. 쉽게 인식될 수 있는 바와 같이, 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이 내의 하나 이상의 각도 픽셀에서 이미터를 공동으로 제어하기 위해 활용되는 특정 제약은 주어진 응용의 요건에 크게 의존한다.

본원에서의 논의의 대부분은 라이트 필드 디스플레이의 맥락에 있지만, 본 발명의 다양한 실시예에 따른 프로세스는 주어진 응용의 요건에 적절하게, 하나 이상의 눈 추적기를 통합하는 시차 장벽, 렌티큘러, 마이크로렌즈, 홀로그래픽(holographic), 머리 장착 및/또는 프로젝터 기반 다중뷰 무안경 입체 디스플레이 시스템을 포함하는 (그러나 이에 제한되지 않는) 임의의 다중뷰 무안경 입체 디스플레이 시스템에서 활용될 수 있다. 본 발명의 다수의 실시예에 따른 다중뷰 무안경 입체 디스플레이를 위한 이미지를 생성하기 위해 눈 추적 데이터를 활용하기 위한 눈 추적기 및 프로세스를 통합하는 라이트 필드 디스플레이가 아래에서 더 논의된다.

눈 추적기를 통합하는 라이트 필드 디스플레이

본 발명의 실시예에 따른 각도 픽셀의 어레이 및 하나 이상의 눈 추적기(204)에 의해 형성되는 디스플레이 영역(202)을 포함하는 라이트 필드 디스플레이(200)가 도 2에 예시된다. 각 각도 픽셀은 2D 디스플레이에서의 종래의 픽셀과 유사하고, 그의 외관이 디스플레이의 시야에 따라 달라질 수 있는 차이가 있는 것으로 고려될 수 있다. 이 방식으로, 라이트 필드 디스플레이의 각 시청 구역은 라이트 필드 디스플레이에서 각도 픽셀 수와 동일한 해상도로 이미지를 디스플레이할 수 있다. 각 각도 픽셀은 예를 들어, 명칭이 "Architecture for Light Emitting Elements in a Light Field Display"인 미국특허공보 제US2019/0333443 A1호, 명칭이 "Partial Light Field Display"이 미국특허공보 제US2019/0335165 A1호, 명칭이 "Architecture for Light Emitting Elements in a Light Field Display"인 미국특허공보 제US2019/0333444 A1호에서 설명된 것과 같은 광 이미터의 어레이를 포함할 수 있으며, 이 출원 모두는 그 전체가 참조로 본원에 통합된다. 아래에서 더 논의되는 바와 같이, 각 각도 픽셀을 구현하는 데 사용되는 이미터의 수는 각도 픽셀의 수보다 100배 이상으로 더 많을 수 있다.

라이트 필드 디스플레이에 의한 무안경 입체 디스플레이를 위해 뷰가 생성되는 방식은 라이트 필드 디스플레이가 활용되는 특정 응용에 크게 의존한다. 본 발명의 실시예에 따른 라이트 필드 디스플레이를 통합하는 개인용 컴퓨터 내에서 활용되는 처리 시스템의 상위-레벨의 개요가 도 3에 개념적으로 예시된다. 처리 시스템(300)은 눈 추적 시스템(301)을 포함한다. 실시예에서, 눈 추적 시스템(301)은 디지털 센서 어레이, 적외선 센서 및/또는 깊이 센서와 같은 하나 이상의 이미지 센서(302)를 포함한다. 예를 들어, 이미지 센서(302)는 눈 추적 프로세스에서의 사용을 위해 디스플레이의 시청자에 관한 정보를 캡처할 수 있다. 추가적으로, 이미지 센서(302)는 라이트 필드 디스플레이에 의해 디스플레이될 라이브 이미지 및/또는 비디오를 캡처할 수 있다. 눈 추적 시스템(301)은 이미지 센서(302)로부터 이미지 입력을 처리하고 눈 추적 정보를 생성하기 위한 전용 유닛으로서 눈 추적 시스템에 통합될 수 있는, 전용 임베디드 시스템(304)을 선택적으로 포함한다. 눈 추적 정보를 생성하는 데 사용될 수 있는 특정 프로세스는 아래에서 더 상세히 설명된다. 대안적으로, 이미지 센서(302)는 각도 픽셀 어레이(308)를 구동하는, 디스플레이 스트림 프로세서(306)에 이미지 데이터를 직접적으로 제공한다. 디스플레이 스트림 프로세서(306)는 눈 및/또는 시선 추적 정보를 생성하기 위해 이미지 센서(302)로부터의 이미지 입력을 처리할 수 있거나, 또는 눈 추적 정보를 생성하기 위해 호스트 개인용 컴퓨터(PC, 310)에 정보를 전달할 수 있다. 이미지 센서(302), 선택적인 전용 임베디드 시스템(304), 디스플레이 스트림 프로세서(306), 각도 픽셀 어레이(308) 및 호스트 개인용 컴퓨터(PC, 310) 간의 데이터의 교환은 MIPI, I2C, USB, 디스플레이 포트, 비디오, HDMI, PCIE 및/또는 다른 연결을 포함하는 (그러나 이에 제한되지 않는) 다양한 연결 중 임의의 것을 통해 일어날 수 있다. 예시된 실시예에서, 각도 픽셀 어레이(308)에 의한 디스플레이를 위한 뷰의 렌더링은 응용 프로세서(예를 들어, 중앙 처리 유닛(CPU)) 및 그래픽 처리 유닛(GPU)과 같은 (그러나 이에 제한되지 않는) 호스트 개인용 컴퓨터(PC, 310)를 갖는 처리 시스템을 사용하여 수행된다. 호스트 PC(310)는 디스플레이 스트림 프로세서(306)를 통해 전용 임베디드 시스템(304)으로부터 눈 및/또는 시선 추적 정보를 수신할 수 있고, 라이트 필드 뷰를 생성하기 위해 활용되는, 각도 픽셀 어레이(308)의 백플레인에 제어 정보를 제공하기 위해 이후에 디스플레이 스트림 프로세서에 의해 활용될 수 있는 특정 뷰를 렌더링하기 위해 정보를 활용할 수 있다.

특정 하드웨어 구성이 도 3과 관련하여 위에서 설명되었지만, 다양한 전용 및/또는 소프트웨어 구성된 처리 하드웨어 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게, 눈 추적 정보를 획득하고 눈 추적 정보를 기초로 라이트 필드 디스플레이를 제어하는 데 사용되는 뷰를 렌더링하기 위해 활용될 수 있다. 나아가, 특정 하드웨어 구성요소 및/또는 하드웨어 구성요소의 위치는 일반적으로, 라이트 필드 디스플레이에 대한 사용 사례(예를 들어, 개인용 컴퓨터, 게이밍 컴퓨터, 텔레비전 디스플레이, 광고 게시판 등) 및 라이트 필드 디스플레이를 렌더링하기 위해 활용되는 기술에 의존하여 달라질 것이다.

다수의 실시예에서, 각 각도 픽셀은 렌즈 어레이에서의 각 렌즈 요소 아래에 위치된 이미터의 어레이에 의해 형성된다. 렌즈 요소 및 이미터의 어레이에 의해 형성된 각도 픽셀을 포함하는 라이트 필드 디스플레이(400)가 도 4에 예시된다. 위에서 언급된 바와 같이, 종래의 다중뷰 무안경 입체 디스플레이는 일반적으로 렌즈 요소 당 비교적 적은 수의 이미터(즉, 최대 수십 개의 이미터)를 갖는다. 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 수백 개 또는 수천 개의 이미터를 포함할 수 있다. 예를 들어, 도 4에 도시된 각 이미터 어레이는 100개 이상의 이미터를 포함할 수 있으며, 각 이미터는 뷰 A 및 B 중 하나와 같은 다수의 뷰 중 적어도 하나에 기여한다.

다른 실시예에서, 도 5의 라이트 필드 디스플레이(500)는 다수의 라이트 필드 뷰를 제공하기 위해 후향 투영 아키텍처를 활용한다. 라이트 필드 디스플레이(500)는 도 4의 라이트 필드 디스플레이(400)와 유사한 방식으로 다수의 이미터 어레이 및 렌즈 어레이를 포함한다. 하지만, 도 4에서와 같이 두 개의 별개의 입체 뷰 A 및 B를 제공하는 것 이외에, 이미터 어레이 및 렌즈 어레이는 투영 스크린 너머의 상이한 위치에서 시청자에 의해 시청 가능한 뷰의 팬(fan)에 의해 표현되는 바와 같이, 투영 스크린의 각 지점에서 다수의 뷰를 제공하기 위해 협력하도록 구성된다. 따라서, 상이한 위치에 위치된 시청자는 라이트 필드 디스플레이(500)로부터 상이한 뷰를 본다.

후속하는 논의 중 대부분이 도 4에 도시된 렌즈 요소 및 이미터의 어레이를 사용하여 구현된 라이트 필드 디스플레이를 지칭하지만, 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이는 또한 도 5에 도시된 라이트 필드 디스플레이(500)와 유사한 방식으로 프로젝터를 사용하여 구현될 수 있다. 덧붙여, 라이트 필드 디스플레이는 프로젝터의 어레이를 사용하여 직접적인 투영을 통해 구현될 수 있다. 라이트 필드 디스플레이에 의해 생성될 수 있는 뷰의 밀도에 기인하여 라이트 필드 디스플레이의 사용이 바람직하지만, 본 발명의 다양한 실시예에 따른 시스템 및 방법은 라이트 필드 디스플레이의 사용으로 제한되지 않는다. 따라서, 본 발명의 다수의 실시예에 따른 시스템 및 방법은 특정 응용의 요건에 적절하게 다양한 종래의 다중뷰 무안경 입체 디스플레이를 사용하여 구현된다.

눈 및 시선 추적 프로세스

아래에서 논의되는 바와 같이, 라이트 필드 디스플레이가 디스플레이의 시야를 가로질러 시청 구역에 상이한 뷰를 제공하는 방식은 눈 추적 시스템이 한 명 이상의 시청자의 눈을 추적할 수 있는 신뢰도에 의해 영향을 받는다. 다수의 실시예에서, 라이트 필드 디스플레이는 추적된 눈의 존재 또는 부재, 및/또는 한 쌍의 눈이 위치된 신뢰도에 기초하여 특정 시청 구역에서 디스플레이되는 이미지의 품질을 적절하게(gracefully) 저하시키도록 설계된다. 여러 실시예에서, 다수의 눈 추적 시스템 및/또는 눈 추적 양식은 라이트 필드 디스플레이가 시청자의 눈의 위치를 신뢰할 수 있게 추적할 수 있는 가능성을 증가시키도록 활용될 수 있다. 예를 들어, 알려진 기준선을 통해 위치된 다수의 눈 추적 시스템은 시청자의 눈의 3D 위치가 추정되는 신뢰도를 개선하기 위해 활용될 수 있다. 나아가, 상이한 시야를 갖는 눈 추적기 및/또는 상이한 각도로 지향된 다수의 눈 추적기를 제공하는 것은 시청자의 눈 중 하나 이상이 눈 추적기 중 하나의 시야 내에서 가려지지만 제2 눈 추적기의 시야 내에서는 가려지지 않을 때 눈 추적을 계속 하는 것을 가능하게 할 수 있다.

본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이 내에서 활용되는 눈 추적기는 일반적으로 각 추적된 눈에 대한 3D 위치 정보를 포함하고, 다수의 경우에 추적된 눈의 검출의 신뢰도 및/또는 추적된 눈에 대한 위치 정보의 정확도를 반영하는 하나 이상의 신뢰도 메트릭을 포함하는, 눈 추적 정보를 제공하기 위해 상업적으로 이용 가능한 다양한 눈 추적 기술 중 임의의 것을 사용하여 구현될 수 있다. 아래의 논의로부터 인식될 수 있는 바와 같이, 눈 추적기에 의해 제공되는 3D 눈 추적 정보의 정확도가 높을수록, 눈 추적 정보는 라이트 필드 디스플레이에 더 유용해진다.

다수의 실시예에서, 적외선을 투영하는 센서 시스템 및 적외선 채널을 포함하는 장면의 이미지를 캡처하는 카메라 시스템을 사용하여 구현되는 눈 추적기가 활용된다. 눈 추적을 위한 적외선 광의 사용은 눈 추적기가 실내 및/또는 낮은 광의 환경에서 양호하게 작동하는 이점을 갖는다. 투영된 적외선 광을 기초로 하는 깊이 추정은 일반적으로 자연 햇빛이 있는 곳에서 양호하게 작동하지 않는다. 그러므로, 본 발명의 여러 실시예에 따른 눈 추적기는 또한, 예를 들어 다중뷰 기술을 사용하여 눈을 추적하기 위해 다수의 카메라를 활용할 수 있다. 여러 실시예에서, 눈 위치는 상이한 시점으로부터 캡처된 다수의 이미지에서 결정될 수 있고, 눈 위치 사이의 불일치는 하나 이상의 카메라로부터 눈 위치까지의 거리를 결정하기 위해 활용될 수 있다. 이 구성에서, 카메라는 흑백이거나, 및/또는 다수의 색상 채널로 이미지 데이터를 캡처할 수 있다. 여러 실시예에서, 눈 추적기에 이용되는 카메라 시스템은 스펙트럼의 가시광선 및 적외선 부분에서 이미지 데이터를 캡처할 수 있다. 다수의 카메라(특히 두 개 보다 많은 카메라)의 사용은 정확도를 개선하거나, 오클루전을 더욱 강력하게 처리하거나, 및/또는 더 넓은 시야에 걸쳐 눈 추적을 지원할 수 있다. 여러 실시예에서, 라이트-필드 카메라 기반 눈 추적이 활용된다. 본원에서, 라이트 필드 디스플레이에서의 사용을 위한 눈 추적 정보를 획득하기 위해 활용되는 특정 눈 추적 센서는 주어진 응용의 요건에 크게 의존한다는 것이 인식된다. 눈 추적 정보가 본 발명의 다양한 실시예에 따른 다중뷰 무안경 입체 디스플레이를 위한 뷰를 생성하기 위해 활용될 수 있는 방식이 아래에서 더 논의된다.

다시 도 2를 참조하면, 라이트 필드 디스플레이는 디스플레이 영역(202) 위에 위치된 눈 추적 시스템(204)을 포함할 수 있다. 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이는 디스플레이 영역(202)의 위, 아래, 이의 측면에 위치되거나 또는 이에 통합되는 하나 이상의 눈 추적 시스템을 포함할 수 있다. 여러 실시예에서, 각도 픽셀의 어레이에 의해 형성되는 디스플레이 영역(202)과 별도로 하우징되는 별개의 유닛이고 독립적으로 위치될 수 있는 하나 이상의 눈 추적 시스템이 제공된다. 대안적으로, 디스플레이 영역(202) 내의 특정 영역은 눈 추적 정보를 제공하도록 구성된 센서를 포함할 수 있다.

일반적으로, 눈 추적은 잡음이 있는 프로세스일 수 있다. 예를 들어, 눈 추적 잡음은 원근감 잡음(perspective noise)을 도입하거나, 및/또는 라이트 필드 디스플레이를 사용하여 렌더링할 뷰를 결정하는 복잡도를 증가시킬 수 있다. 다양한 필터링 프로세스가 주어진 눈의 순간 추적된 위치에서의 오차를 줄이기 위해 눈 추적 측정에 적용될 수 있다. 하지만, 필터링 프로세스의 적용은 (일부 경우에서) 센서 데이터가 캡처되는 순간과 센서 데이터로부터 신뢰성 있게 추적된 눈 위치 결정 사이에 시간 지연을 도입할 수 있다. 덧붙여, 필터링 프로세스는 눈 추적 프로세스가 급격한 눈의 움직임에 빠르게 반응하는 것을 방지할 수 있다. 아래에서 더 상세히 논의되는 바와 같이, 라이트 필드 디스플레이의 품질은 뷰를 렌더링하기 위해 활용되는 눈 위치와 뷰가 디스플레이되는 시간에 추적된 눈의 실제 위치 사이의 차이에 의해 영향을 받을 수 있다. 그러므로, 특정 시간 지점에 눈이 추적되는 정확도를 증가시키기 위해 필터링 프로세스를 사용하는 이점은 디스플레이를 위한 뷰가 렌더링될 때 프로세스의 레이턴시가 눈이 추적된 위치에 있을 가능성이 없음을 의미할 때 감소된다. 덧붙여, 필터링 프로세스에 의해 적용된 평활화는 급격한 눈의 움직임이 발생할 때 오차의 원인을 실제로 도입할 수 있다. 특정 시간 지점에서 눈 추적 프로세스에 의해 생성된 눈의 추적된 위치와 그 시간에서의 눈의 실제 위치 사이의 차이는, 종종 추적된 위치와 실제 위치 사이의 지연(lag)으로 지칭된다. 눈 추적이 수행되는 속도를 증가시키는 것은 상당한 시간 지연을 도입하지 않으면서, 추적된 눈 위치에서 잡음(즉, 오차)을 감소시키는 효과적인 방법일 수 있다.

다수의 실시예에서, 머리, 얼굴, 얼굴 특성, 눈, 홍채 및 동공의 전체 또는 일부를 공동으로 또는 계층적인 추적을 사용하여 추적하는 것은 눈 추적 시스템 내에서 레이턴시를 상당히 증가시키지 않으면서 높은 샘플링 속도로 눈을 추적하는 계산 효율을 증가시킬 수 있다. 여러 실시예에서, 적어도 한 명의 시청자의 존재를 검출하고 추적하는 것을 수반하는 계층적인 눈 추적 프로세스가 활용된다. 다수의 경우에서, 시청자 추적은 상이한 시청자를 구별하는 방식으로 수행된다. 각 추적된 시청자에 대해, 계층적인 눈 추적 프로세스는 또한, 각 시청자의 머리 및/또는 얼굴 특성을 검출하고 추적할 수 있다. 도 6a에 도시된 것과 같은 특정 실시예에서, 머리 추적 프로세스는 각 시청자의 머리의 위치 및/또는 배향을 결정할 수 있다. 시청자의 머리가 위치되면, 본 발명의 다수의 실시예에 따른 계층적인 눈 추적 프로세스는 시청자의 동공-간 거리(inter-pupil distance, IPD)를 결정할 수 있다. 이 IPD는 연속적인 프레임/관찰을 통해 개선될 수 있다. 계층적인 눈 추적 프로세스는 또한, 얼굴, 얼굴 특성, 눈의 쌍, 눈, 홍채 및/또는 동공 위치 및 배향의 조합을 검출하고 추적할 수 있다. 여러 실시예에서, IPD는 눈 추적 프로세스의 계산 효율을 증가시키기 위해 시청자의 눈에 대한 검색을 제한하는 데 활용될 수 있다. 덧붙여, 통계적 필터링 프로세스를 포함하는 (그러나 이에 제한되지 않는) 필터링 및/또는 예측 프로세스는 특정 눈에 대한 추적이 일부 시간 기간 동안 손실되는 경우, (다른 추적된 눈 및/또는 IPD의 위치에 잠재적으로 기초하여) 추적된 동공 위치의 위치를 예측하는 데 활용될 수 있다.

쉽게 인식될 수 있는 바와 같이, 다양한 공동, 부분적으로 공동 및/또는 계층적인 추적 프로세스 중 임의의 것은 도 6b에 개념적으로 예시된 프로세스와 유사한 계층적인 시선 추적 프로세스를 포함하는 (그러나 이에 제한되지 않는) 특정 응용의 요건에 적절하게 눈을 추적하는 데 활용될 수 있다. 예를 들어, 도 6a에 예시된 계층적인 눈 추적 프로세스와 같이, 도 6b의 계층적인 시선 추적 프로세스는 시선 방향을 결정하기 위해, 신체 위치의 식별로 시작하고, 그 후 머리 위치, 얼굴 배향, 눈 배향의 식별, 그 후 동공 방향을 식별한다. 나아가, 활용되는 특정 눈 및/또는 시선 추적 프로세스는 눈 추적, 처리 능력 및/또는 특정 응용의 정확도 요건을 수행하는 데 이용 가능한 센서에 크게 의존한다. 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이가 디스플레이를 위한 뷰를 상이한 시청 구역에 렌더링하기 위한 눈 추적 및/또는 시선 추적 정보를 활용할 수 있는 방식은 아래에서 더 논의된다.

눈 위치-의존 렌더링

라이트 필드 렌더링은 Levoy, M. 및 Hanrahan, P., 1996, 8월, "Light field rendering", In Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive techniques (pp. 31-42), ACM에 설명되어 있다. 이 간행물은 그 전체가 본원에 참조로 통합된다. 라이트 필드 렌더링에서, 장면은 비-참가 매체를 가정하여, 위치 및 각도에 대한 4차원 함수로서 표현될 수 있다. 라이트 필드는 카메라 평면(u,v)과 초점 평면(s,t) 사이의 모든 가능한 광선으로서 매개변수화될 수 있다. 각 이러한 광선에 대해, 라이트 필드는 색상을 저장한다. 실제로, 라이트 필드의 서브세트는, 종종 2차원 이미지의 어레이로서 표현된다. (s,t) 평면은 라이트 필드를 구성하는 이미지의 해상도에 의해 양자화될 수 있고, (u,v) 평면은 카메라 위치에 의해 양자화될 수 있다. 임의의 눈 위치가 주어지면, 출력 이미지의 각도 픽셀에 대한 광선 L(u,v,s,t)을 샘플링함으로써 라이트 필드의 새로운 뷰가 합성될 수 있다. 광선 L(u,v,s,t)가 이용 가능하지 않은 경우, 이는 라이트 필드에 저장된 근처의 광선 L(u',v',s',t') 값으로부터 보간될 수 있다. 장면을 표현하는 데 요구되는 광선의 수가 2가 아닌 4의 거듭제곱으로 증가하기 때문에, 라이트 필드 렌더링은 역사적으로 계산상의 부하가 높은 것으로 간주된다.

본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 특정 시청 구역에서 디스플레이를 위한 뷰를 렌더링하기 위해 라이트 필드 렌더링을 활용할 수 있다. 이 렌더링은 소프트웨어 및/또는 하드웨어에서 일어날 수 있다. 다수의 실시예에서, 렌더링 프로세스는 디스플레이에 대한 다수의 시청자 눈 위치 (x,y,z)를 지정하는 눈 추적 정보에 대한 액세스를 갖는다. 여러 실시예에서, 눈 추적 정보는 또한, 특정 추적된 눈 위치와 연관된 불확실성의 레벨을 나타내는 신뢰도 정보를 포함한다. 다수의 실시예에서, 시청자의 망막에 의해 관찰될 가능성이 있는 시청 구역에서 디스플레이를 위한 뷰를 생성하기 위해, 라이트 필드 L(u,v,s,t)로부터 광선을 샘플링하거나 및/또는 보간하는 데 더 많은 처리 자원을 할애하는 렌더링 프로세스가 활용될 수 있는 한편, 관찰자에 보일 가능성이 적은 광선은 더 적은 처리 리소스를 수반할 수 있다.

특정 실시예에서, 특정 뷰의 렌더링에 전용되는 계산 리소스는 각도 및/또는 공간에서 광선이 샘플링되는 밀도를 제어함으로써 변조될 수 있다. 덧붙여, 특정 뷰가 렌더링되는 해상도를 제어함으로써 계산 리소스가 수정될 수 있다. 래스터화 실시예에서, (u,v) 및/또는 (s,t) 평면의 샘플링 -- 즉, 개별적인 뷰의 공간 해상도 또는 인접한 뷰 사이의 각도 간격 --은 관찰될 가능성이 있는 광선에는 더 많은 리소스를 할당하고, 시청자 사이로 향할(fall) 가능성이 있는 광선에는 더 적은 리소스를 할당하도록 수정될 수 있다. 광선 트레이싱된 실시예에서, 샘플링된 광선의 밀도는 추적된 눈 위치의 주위의 영역과 교차하는 광선을 우선 순위화하도록 조정될 수 있다. 고정된 수의 광선을 트레이싱하는 데 요구되는 컴퓨팅 리소스가 주어지면, 눈 위치가 더 높은 신뢰도를 가질 때, 더 작은 구형의 공간을 통과하는 더 많은 광선이 트레이싱될 수 있다. 눈 위치가 더 낮은 정밀도로만 알려진 경우, 가능한 눈 위치 주위의 구형이 확장되고, 동일한 수의 광선이 더 넓은 공간에 분포될 수 있다. 따라서, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 추적된 시점의 세트 및 추적 정보의 신뢰도에 기초하여 프레임당 주어진 렌더링 용량의 총량을 할당할 수 있다.

아래에서 더 논의되는 바와 같이, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 계산 복잡도를 감소시키거나 및/또는 렌더링 아티팩트를 감소시키기 위해 추적된 눈 및/또는 시선 위치를 활용할 수 있다. 다수의 실시예에서, 렌더링 프로세스의 목적은 시청자가 올바른 움직임 시차, 원근감, 스테레오 불일치(즉, 수렴(vergence)) 및 조절을 인지하도록 뷰를 렌더링하기 위해 눈 추적 정보를 활용하는 것이다. 덧붙여, 렌더링 프로세스는 중첩하는 뷰 사이의 고스팅을 제한하거나 및/또는 제거해야 하고, 시청자의 눈 위치에서의 변경이 없을 경우에 시간에 걸쳐 변하는 뷰를 회피하는 안정적인 시청 경험을 제공해야 한다. 본 발명의 다양한 실시예에 따른 렌더링 프로세스가 아래에서 논의된다.

눈 위치-의존 렌더링

완전한 라이트 필드 디스플레이에서, 각 각도 픽셀은 무한한 수의 광 이미터를 포함할 것이다. 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이가 종래의 다중뷰 무안경 입체 디스플레이보다 10배(an order of magnitude) 더 많은 이미터를 포함할 수 있지만, 이미터의 피치(pitch)는 여전히 0이 아니며, 따라서 시청 구역은 디스플레이의 시야를 가로질러 양자화되고, 매끄럽게 연속적이지 않다. 이와 같이, 각 이미터는 도 7에 개념적으로 예시된 바와 같이, 디스플레이에 의해 생성된 광의 원뿔에 대응한다. 이미터(702)에 의해 생성된 광 원뿔(700)은 도 7에서의 디스플레이 평면 위에 도시된 디바이스 공간의 특정 시청 구역에서 시청되는 이미지에 기여하는, 단일 픽셀(예를 들어, 광 이미터의 어레이를 포함함)로부터 지향성 광의 원뿔에 대응한다. 종래의 다중뷰 무안경 입체 디스플레이가 직면한 과제는 각도 픽셀이 장면을 표현하는 공간 해상도가 깊이 의존적이라는 것이다. 다시 말해, 공간 해상도는 디스플레이 평면으로부터 더 먼 위치에 비해 디스플레이 평면에 더 가까운 위치에서 더 높다. 도 7로부터 인식될 수 있는 바와 같이, 이미터(702)에 의해 생성된 광 원뿔(700)은 디스플레이 평면으로부터 더 먼 깊이 평면(706)에서의 영역보다 디스플레이 평면에 더 가까운 깊이 평면(704)에서의 더 좁은 영역에 대응한다. 2차원 어레이에서와 같은 복수의 이미터(702)가 디스플레이 평면에 배치되어 그로부터 투영되는 라이트 필드 이미지에 기여하는 것으로 가정된다는 것에 유의한다. 다시 말해, 가장 작은, 눈에 보이는 세부 묘사(details)의 크기는 디스플레이 평면으로부터의 거리에 관련되어, 콘텐츠 공간에서의 디스플레이 평면에 더 가까운 깊이 평면(704)에 위치된 객체의 더 미세한 세부 묘사가 디스플레이 평면으로부터 더 먼 깊이 평면(706)에 위치된 객체에 대한 것 보다 잘 보일 것이다. 그러므로, 디스플레이의 깊이 총량(depth budget) 내에 위치된 (즉, 깊이 평면(704) 근처의) 전경에서의 객체는 배경(즉, 깊이 평면(706))의 객체보다 더 미세한 세부 묘사로 렌더링될 수 있다. 결과적으로, 다중뷰 무안경 입체 디스플레이를 위한 이미지의 생성은 일반적으로 디스플레이 평면으로부터의 증가된 거리에 따라 감소하는 공간 주파수로 장면을 샘플링하는 것을 수반한다.

고도로 텍스처링된 장면(예를 들어, 배경이 다수의 미세한 세부 묘사를 포함하는 장면)의 공간 샘플링 주파수를 감소시키는 것은 시청 경험에 해로울 수 있는 앨리어싱을 초래할 수 있다. 무안경 입체 디스플레이의 맥락에서, 앨리어싱은 일반적으로 시청자가 인접한 시청 구역 사이에서 움직일 때 장면의 배경에서 불연속성 또는 점프로서 인식된다. 이 불연속성의 결과는 시청자가 시청 구역 내에서 및 그 사이에서 그의 눈이 이동할 때 사실적인 움직임 시차를 경험하지 못한다는 것이다. 앨리어싱이 배경 불연속성을 인지하는 시청자를 초래하는 예시적인 방식이 도 8에 개념적으로 예시된다. 각도 픽셀에서 상이한 이미터는 각각 인접한 제1 및 제2 시청 구역(804 및 806) 내의 이미지에서 동일한 픽셀 위치에 각각 대응하는 제1 및 제2 광 원뿔(800 및 802)을 생성한다. 인접한 시청 구역에서 생성된 이미지가 앨리어싱을 포함할 때 시청자는 시청되는 장면에서 불연속성을 경험하게 되는데, 이는 이미징된 장면이 두 개의 뷰 구역 사이에서 정적으로 유지되더라도, 그의 눈이 제1 시청 구역(804)으로부터 제2 시청 구역(806)으로 이동하기 때문이다.

앨리어싱은 앨리어싱을 도입할 가능성이 있는 장면의 높은-주파수 성분을 제거하는 사전 필터링을 통해 다소 해결될 수 있다. 사전-필터링 프로세스의 적용은 시청자가 인접한 시청 구역 사이에서 움직일 때 일관된 블러링된 배경(blurred backgrounds)을 갖는, 다중뷰 무안경 입체 디스플레이에 의해 디스플레이되는 이미지를 초래할 수 있다. 상세한 배경을 갖는 전경에서 객체의 이미지에 깊이-의존 사전-필터(종종 깊이-의존 안티-앨리어싱 필터로 지칭됨)의 적용의 결과는 배경의 세부 묘사의 블러링 뿐만 아니라 잠재적으로 전경 객체의 세부 묘사에서의 감소를 초래한다. 사전-필터링에 기인한 이미지 충실도의 이러한 손실은 종종 바람직하지 않다. 하지만, 본원에서 설명된 시스템 및 방법은 시청자의 추적된 눈의 위치에 따라 인접한 시청 구역에서 디스플레이된 이미지를 조정함으로써 시청자가 하나의 시청 구역으로부터 다음의 것으로 움직이는 것으로부터 야기되는 앨리어싱의 결과를 감소시킬 수 있다.

다른 예시에서, 본 발명의 다수의 실시예에 따른 시스템 및 방법은 시청자가 시청 구역 내에서 및 시청 구역 사이에서 움직일 때 시청자에 의해 인지되는 이미지를 수정하기 위해 눈 추적 데이터를 활용함으로써 움직임 시차 정확도를 증가시킬 수 있다. 프로세스는 도 9에 개념적으로 예시된다. 시청자의 눈이 도 9에 도시된 왼쪽 광 원뿔 내의 시청 구역을 가로질러 이동할 때, 장면이 움직이는 시청자의 눈의 새로운 시점으로부터 리샘플링되도록 눈의 위치는 라이트 필드 디스플레이와 통합된 눈 추적 메커니즘에 의해 추적된다. 그 후, 라이트 필드 디스플레이는 각 눈 위치에서 리샘플링된 이미지를 디스플레이하기 위해, 라이트 필드 디스플레이 내의 이미터 어레이로부터 지향성 광의 강도를 수정할 수 있다. 시청자가 움직일 때 장면을 다시 샘플링함으로써, 장면은 디스플레이의 시청 구역의 각도 해상도보다 더 높은 공간 주파수에서 효과적으로 샘플링된다. 이 방식으로, 앨리어싱을 완화하기 위한 위의 프로세스와 유사하게, 시청 구역 간의 갑작스러운 전환 대신에, 시청자의 눈의 위치를 기초로 하는 장면의 거의 연속적인 리샘플링은 인접한 시청 구역 간에 매끄러운 전환을 초래할 수 있다. 장면을 리샘플링하고 그에 따라 디스플레이를 업데이트하는 것은 깊이-의존 안티-앨리어싱 필터의 적용 없이도, 라이트 필드 디스플레이가 앨리어싱에 기인하여 초래될 배경 불연속성의 정도를 감소시키거나 또는 이를 완전히 제거하는 것을 가능하게 한다.

장면을 리샘플링하고 시청자가 시청 구역 내에서 심지어 인접한 시청 구역을 가로질러 움직일 때 렌더링되는 뷰를 업데이트하는 것에 부가하여, 장면 내의 다양한 객체가 렌더링되는 깊이를 관리함으로써 앨리어싱 아티팩트가 더 감소될 수 있다. 다수의 실시예에서, 장면의 깊이 정보는 장면의 콘텐츠의 대부분이 라이트 필드 디스플레이의 평면에 위치되도록 라이트 필드 디스플레이에 의한 렌더링 동안 수정된다. 여러 실시예에서, 장면 내의 객체는 디스플레이의 중심으로부터 시청자로의 방향으로 연장하는 축을 따라 더 가깝게 함께 위치되도록 렌더링 동안 플래트닝된다(flattened). 이 방식으로, 장면은 시청자 위치에 의존하여 각 시청자에 대한 렌더링 동안 상이한 방식으로 플래트닝된다. 플래트닝의 결과는 렌더링된 뷰의 선명도(sharpness)를 증가시키고 앨리어싱을 감소시키는 것이다. 플래트닝이 시점 의존적일 때, 플래트닝 프로세스는 시청자가 예상된 움직임 시차를 모방하도록 움직일 때 객체 배치 간의 일관성을 보존할 수 있다. 장면 내의 객체에 할당된 깊이 정보가 렌더링 프로세스 동안 수정되는 정도는 특정 응용의 요건에 크게 의존한다.

눈 추적 위치 정보에서의 불확실성은 시청자의 눈 중 하나 또는 둘 모두의 실제 시점과 상이한 원근감으로 시청 구역 내에서의 디스플레이를 위한 뷰를 렌더링하는 것을 초래할 수 있다. 시청자가 움직일 때, 시청자는 움직임 시차를 관찰할 것으로 예상한다. 관찰된 움직임 시차의 양은 일반적으로 움직임의 양에 의존한다. 눈 추적 위치에서의 오차를 기초로 초기 뷰가 렌더링되고 추적 오차를 보정하는 방식으로 후속 뷰가 렌더링되는 경우, 초기 뷰로부터 수정된 뷰까지의 움직임 시차의 정도는 시청자가 그의 신체 움직임의 정도를 기초로 예상하는 것보다 더 크게 나타날 수 있다.

사실적인 움직임 시차를 보존하기 위해, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 절대 눈 추적 위치와 대조적으로 추적된 눈 위치 사이의 상대적인 움직임을 기초로 뷰의 시퀀스를 렌더링한다. 이 방식으로, 뷰는 시청자의 움직임의 정도에 대응하는 움직임 시차를 초래하는 방식으로 렌더링될 수 있다. 예를 들어, 시청자가 추적된 눈 위치로부터 시선을 돌리고 그의 눈을 빠르게 움직이거나 및/또는 깜박일 때, 라이트 필드 디스플레이는 누적된 추적 오차를 제거하기 위해 추적된 눈 위치를 업데이트할 수 있다. 여러 실시예에서, 라이트 필드 디스플레이는 시간에 걸친 눈 추적의 이전의 오차를 수정하기 위해 눈 움직임의 정도 및 절대 추적된 눈 위치 모두에 의존하는 방식으로 뷰를 렌더링하기 위한 원근감을 결정할 수 있다. 다수의 실시예에서, 콘텐츠 그 자체가 프레임의 시퀀스에 걸쳐 급격하게 변할 때 올바른 원근감이 복원된다. 실제 추적된 눈 위치로부터의 렌더링 뷰를 조절하거나 및/또는 사용자가 움직일 때 경험되는 움직임 시차의 정확도를 보존하는 다양한 프로세스 중 임의의 것이 본 발명의 다양한 실시예에 따라 특정 응용의 요건에 적절하게 활용될 수 있다.

또한, 시청자에 의해 관찰되는 깊이 단서는 시청자의 눈의 각각에 대해 렌더링된 뷰 간의 스테레오 불일치의 정도를 포함한다. 뷰 간에 렌더링되는 스테레오 불일치의 정도는 일반적으로 시청자의 눈 사이의 기준 거리 또는 동공-간 거리(IPD)에 의존한다. 본 발명의 다수의 실시예에서, 시청자의 눈의 추적은 각 시청자에 대해 거의 일정한 IPD의 요건을 부과하는 방식으로 수행된다. 이 방식으로, 시청자의 눈이 움직이는 경우에도 시청자의 눈의 각각에 의해 차지된 시청 구역에서 디스플레이를 위해 렌더링된 뷰 간의 스테레오 불일치 깊이 단서의 일관성을 강제하는 방식으로 추적 불확실성이 제한될 수 있다.

추가적으로, 시청자의 눈의 추적된 위치를 기초로, 뷰의 시퀀스가 렌더링될 수 있다. 다수의 실시예에서, 뷰의 시간 시퀀스가 렌더링되는 방식은 시청자의 움직임에 기초하여 시청자에 의해 관찰될 것으로 예상되는 움직임 시차의 정도를 설명할 수 있다.

일부 경우에서, 시청자의 동공은 다수의 잠재적으로 중첩하는 시청 구역에 걸쳐 있을 수 있다. 이 경우에, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 시청자의 눈에 보이는 다수의 시청 구역에서의 디스플레이를 위해 다수의 눈/동공 위치-의존 뷰를 렌더링할 수 있다. 뷰가 일관되지 않은 방식으로 시청자의 눈에 보이는 상이한 시청 구역에서 렌더링될 때, 시청자는 고스팅을 인지할 수 있다. 특정 눈에 보이는 다수의 뷰가 모든 뷰가 일관된 방식으로 이동하게 하는 방식으로 렌더링될 때, 뷰는 조절 깊이 단서를 제공할 수 있다. 따라서, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는, 동일한 뷰가 눈에 보이는 중첩하는 시청 구역 내에 디스플레이되거나, 또는 (예를 들어, 뷰 사이의 각도 거리가 시청 구역 사이의 각도 거리와 동일하도록 렌더링되는) 조절 단서를 포함하는 상이한 뷰가 중첩하는 시청 구역에 디스플레이되는 하나 이상의 모드를 지원한다. 시청 구역의 일부만이 시청자의 동공과 교차할 때, 시청 구역과 이웃하는 시청 구역 사이의 각도 거리는 동공에 보이는 시청 구역의 세그먼트의 중심으로부터 결정될 수 있다. 위에서 설명된 시나리오와 같이, 렌더링은 또한, 라이트 필드 디스플레이에 의해 렌더링된 뷰에 존재하는 움직임 시차 깊이 단서와 스테레오 깊이 단서 간의 일관성을 보존하기 위해 추적된 눈의 동공-간 거리 및 상대적인 위치를 고려할 수 있다.

본 발명의 실시예에 따라 시청자의 눈의 추적된 위치에 기초하여 시청자의 눈에 의해 차지되는 시청 구역에 디스플레이된 뷰를 수정하기 위해 라이트 필드 디스플레이에 의해 활용될 수 있는 프로세스가 도 10에 도시된다. 시청자의 눈의 추적된 위치에 따라, 라이트 필드 디스플레이의 처리 시스템은 시점 의존 방식으로 디스플레이를 위한 장면의 뷰를 렌더링할 수 있다. 도 10에 예시된 프로세스(1000)가 단일 시청자에 대한 눈 추적에 초점을 맞추지만, 다수의 시청자의 눈을 별도로 추적하기 위한 추가적인 능력이 이용 가능하면 프로세스(1000)는 다수의 시청자로 확장될 수 있다. 프로세스(1000)는 단계(1001)에서 시청자의 눈의 위치를 추적하려고 시도하는 것을 포함한다. 시청자의 눈이 높은 신뢰도로 위치된다는 결정(1002)이 이루어질 때, 프로세스(1000)는 시청자의 눈 모두가 동일한 시청 구역 내에 있는지를 결정하기 위해 결정(1003)으로 진행한다.

결정(1003)이 시청자의 눈 모두가 동일한 시청 구역 내에 있다고 결정하면, 프로세스는 단계(1004)에서 양쪽 눈에 대한 단일의, 공동 눈 위치-의존 뷰를 렌더링할 수 있다. 다수의 실시예에서, 공동 눈 위치-의존 뷰는 (잠재적으로 시청자 특정 동공-간 거리에 의해 제한되는) 두 개의 추적된 눈 위치 사이의 중간-지점에 기초하여 렌더링될 수 있다.

결정(1003)이 시청자의 각 눈이 상이한 시청 구역 내에 위치된다고 결정하면, 시청자의 눈의 각각의 시점으로부터 장면을 샘플링함으로써(1006) 각 눈에 대해 고유한 눈/동공 위치-의존 뷰가 렌더링될 수 있다. 여러 실시예에서, 움직임 시차 깊이 단서를 포함하는 (그러나 이에 제한되지 않는) 다른 깊이 단서를 통해 시청자에 의해 인지되는 스테레오 불일치 깊이 단서의 일관성을 증가시키기 위해, 시청자-의존 동공-간 거리에 대응하게 렌더링된 뷰 사이의 각도 거리를 제한하도록 장면의 샘플링(1006)이 제한된다.

그 후, 단계(1004 또는 1006)에서 렌더링된 뷰는, 시청자의 눈이 동일한 시청 구역 내에 있는지의 여부에 관계없이, 시청자의 눈의 각각에 의해 차지되는 적절한 시청 구역(들) 내에 시점-의존 이미지를 디스플레이하는 라이트 필드 디스플레이 내에 이미터의 활성화를 제어하도록(1007) 사용될 수 있다. 이 방식으로, 시청자에게 디스플레이되는 뷰는 시청자의 눈에 의해 차지되는 특정 시청 구역뿐만 아니라, 그 시청 구역 내에서의 시청자의 눈의 추적된 위치에 의존한다.

결정(1002)으로 돌아가서, 시청자의 눈 중 어느 것도 높은 신뢰도로 위치되지 않으면, 장면의 샘플링(1012)은 종래의 다중뷰 무안경 입체 디스플레이를 위한 렌더링으로 제한된다. 다시 말해, 눈이 검출될 수 없거나, 및/또는 추적된 눈 위치에서의 잡음 또는 불확실성이 높다는 결정(1002)은, 특정 시청 구역에서의 뷰가 시청 구역 내의 시청자의 눈의 위치를 기초로 변하지 않는 방식으로, 상이한 뷰가 라이트 필드 디스플레이의 시야를 가로질러 각 시청 구역에 디스플레이되는 종래의 다중뷰 무안경 입체 디스플레이를 위한 장면을 샘플링하는 라이트 필드 디스플레이를 초래할 수 있다. 눈 추적이 불확실할 때, 시점 의존 방식으로 뷰를 렌더링하려고 시도하는 것은 단순히 종래의 다중뷰 무안경 입체 디스플레이의 방식으로 뷰를 렌더링하는 것보다 라이트 필드 디스플레이의 인지된 경험을 더 악화시킬 수 있다. 여러 실시예에서, 라이트 필드 디스플레이는 동일한 뷰가 추적된 눈을 포함하지 않는 각 시청 구역에 디스플레이되는 종래의 2D 디스플레이와 유사한 방식으로 기능하도록 이미터를 제어함으로써, 시청 구역 내에서의 추적된 눈의 부재 또는 신뢰할 수 있는 눈 추적의 손실에 응답할 수 있다. 그 후, 라이트 필드 디스플레이의 이미터는 대응하는 시청 구역에서 단계(1012)로부터의 렌더링된 뷰를 디스플레이하도록 제어된다(1014). 다수의 실시예에서, 라이트 필드 디스플레이는 추적된 눈을 포함하지 않는 시청 구역에서 더 거친 공간 해상도 및/또는 입체시(stereopsis)로 렌더링된 무안경 입체 뷰를 디스플레이한다. 본 발명의 다양한 실시예에 따른 프로세스는 다수의 시청자의 눈이 추적되는 불확실성 및/또는 비-이상적인 라이트 필드 디스플레이에서 잠재적으로 중첩하는 시청 구역에 의해 도입되는 불확실성에 의존하는 방식으로 뷰를 렌더링할 수 있으며, 아래에서 더 논의된다.

시청자의 눈을 추적하고(1001), 장면을 렌더링하고(1004 또는 1006 또는 1012), 디스플레이를 제어하는(1007 또는 1014) 프로세스는 프로세스가 완료되었다는 결정(1008)이 이루어질 때까지(예를 들어, 디스플레이를 비활성화하는 사용자 명령어, 또는 일정 기간 동안 수신된 사용자 명령어에 대해 검출된 사용자가 없음) 반복될 수 있다.

위의 논의는 주로 단일 시청자의 추적된 눈에 의해 차지되는 시청 구역에서 무안경 입체 뷰의 디스플레이에 초점을 맞추지만, 다수의 시청자의 눈을 추적하고 각 시청자의 추적된 눈에 의해 차지되는 시청 구역에 특정한 뷰를 렌더링하기 위한 능력은 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이가 상이한 시청자에게 상이한 장면을 디스플레이하는 것을 가능하게 한다. 예를 들어, 다수의 시청자는 다중플레이어 비디오 게임을 할 수 있고, 라이트 필드 디스플레이의 각 시청자는 상이한 장면을 인지할 것이다. 라이트 필드 디스플레이가 상이한 시청자를 위해 상이한 장면을 렌더링하고 디스플레이하는 것이 유리할 수 있는 상황은 게임으로 제한되지 않으며, 개별적인 시청자에게 별개의 콘텐츠를 제공하기 위한 디스플레이에 관한 결정은 본 발명의 다양한 실시예에 따른, 특정 응용의 요건에 의해서만 제한된다. 대안적으로, 본 발명의 여러 실시예에 따른 라이트 필드 디스플레이는 각 시청자가 선호하는 시점을 보는 모드를 지원할 수 있다. 모든 시청자에게 동일한 시점을 디스플레이하기 위한 능력은 불충분한 깊이 정보가 전체 라이트 필드 디스플레이에 대해 이용 가능한 레거시 스테레오 콘텐츠의 디스플레이 및/또는 훈련 프레젠테이션을 포함하는 (그러나 이에 제한되지 않는) 응용에 유용할 수 있다.

눈 추적기가 시청자의 눈을 추적할 수 없을 때(예를 들어, 시청자가 검출되지 않거나 및/또는 눈 추적기가 시청자의 눈 중 하나 또는 둘 모두에 대한 추적을 손실할 때), 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 특정 응용의 요건에 적절하게 다수의 상이한 모드로 폴백(fall back)할 수 있다.

시청 구역 간의 광학 크로스토크를 감소시키는 것

제조 공차에 기인하여, 각도 픽셀을 구현하는 데 사용되는 마이크로렌즈와 같이, 라이트 필드 디스플레이 내에서 활용되는 광학 구성요소는 이미터로부터의 광이 광 방출의 주요 의도된 방향과 다른 광선 방향으로 누출되게 할 수 있는 수차를 포함할 수 있다. 이미터로부터 다수의 광선 방향으로의 광의 누출은 인접한 시청 구역 사이의 중첩된 광 원뿔을 초래하는 광학 크로스토크의 형태로 고려된다. 다수의 실시예에서, 이미터는 라이트 필드 디스플레이로부터 원하는 성능을 달성하기 위해 공동으로 제어된다. 여러 실시예에서, 이미터는 타겟 라이트 필드를 달성하기 위해 공동으로 제어된다. 다수의 실시예에서, 이미터는 눈 추적 정보를 포함하는 정보를 기초로 특정 시청 구역 내의 특정 뷰를 디스플레이하도록 공동으로 제어된다. 특정 실시예에서, 이미터는 최소 및/또는 최대 허용된 이미터 강도에 관련된 제약을 조건으로, 공동으로 제어된다. 광학 크로스토크를 감소시키기 위한 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이에서 구현될 수 있는 다양한 공동 제어 프로세스가 아래에서 논의된다.

다수의 실시예에서, 각도 픽셀의 이미터는 하나 이상의 특정 광선 방향에서 각도 픽셀의 강도가 타겟 강도에 가능한 한 가깝도록 제어된다. 여러 실시예에서, 방출된 강도의 타겟 강도와의 매칭은, 하나 이상의 특정 광선 방향으로의 이미터의 방출된 강도의 선형 조합이 그의 타겟 강도에 가능한 가깝도록 공동으로 제어된 이미터의 각각의 강도를 제어함으로써 달성된다. 아래에서 논의되는 바와 같이, 하나 이상의 특정 광선 방향은 시청자의 눈에 보이는 특정 시청 구역의 디스플레이에 기여하는 광선 방향을 식별하기 위해 눈 추적 정보를 사용하여 결정될 수 있다.

다수의 실시예에서, 특정 광선 방향으로의 개별적인 이미터의 기여를 결정하기 위해 교정 프로세스가 수행될 수 있다. 아래에서 더 논의되는 바와 같이, 교정은 또한, 하나 이상의 특정 시청 구역 내에 디스플레이된 뷰의 특정 영역으로의 개별적인 이미터에 대한 기여를 해결할 수 있다. 교정 데이터는 각도 픽셀에 대한 혼합 행렬을 정의하는데 사용될 수 있다. 여러 실시예에서, 혼합 행렬은 이미터 강도를 각 광선 방향에 매핑한다. 다수의 실시예에서, 혼합 행렬을 생성하기(develop) 위해 사용되는 교정 프로세스는 각 라이트 필드 디스플레이에 대해 수행되지 않는다. 그 대신에, 대표적인 라이트 필드 디스플레이는 그의 각도 픽셀에 대한 혼합 행렬을 생성하도록 특성화될 수 있다. 이 혼합 행렬은 그 후, 다른 라이트 필드 디스플레이에 의해 직접적으로, 또는 교정 정보를 활용하는 특정 라이트 필드 디스플레이에 특정한 제2 교정 프로세스에 의해 결정된 수정을 통해 활용될 수 있다. 여러 실시예에서, 교정 데이터는 온도 의존적일 수 있고, 온도 센서 및/또는 다른 환경 센서는 적절한 교정 데이터의 선택을 가능하게 하기 위해 디스플레이에 걸쳐 제공된다.

각도 픽셀에 대해 혼합 매트릭스가 정의될 때, 혼합 행렬을 반전시킴으로써 특정 광선 방향의 세트에서 타겟 강도를 달성할 수 있는 이미터의 강도가 결정될 수 있다. 반전된 혼합 행렬에 특정 광선 방향으로의 타겟 강도의 세트를 곱하는 것은 실세계에서서 물리적으로 달성 가능하지 않은 이미터 강도의 세트를 초래할 수 있다. 예를 들어, 특정 광선 방향으로의 타겟 강도 세트를 반전된 혼합 행렬로 곱하는 것은 음의 강도 및/또는 이미터에 의해 실제로 생성될 수 있는 강도보다 더 큰 강도를 초래할 수 있다. 다수의 실시예에서, 제어 프로세스가 물리적으로 달성 가능한 이미터 강도를 생성하는 가능성을 증가시키거나 및/또는 이를 보장하기 위해 허용된 타겟 강도에 제약이 부과된다(placed). 특정 실시예에서, 타겟 강도는 0보다 큰 최소값과 최대 달성 가능한 이미터 강도보다 작은 최대값 사이에 있도록 제한된다. 허용되는 최소 타겟 강도는 디스플레이의 블랙 레벨을 결정한다. 나아가, 허용되는 최대 타겟 강도는 라이트 필드 디스플레이의 동적 범위를 결정한다.

다수의 실시예에서, 각도 픽셀의 이미터 강도는 광선 방향 ω ∈ Ω으로의 그 각도 픽셀의 타겟 강도 L _T (ω)와, 각도 픽셀에 대한 혼합 행렬 A에 곱해진 광선 방향 ω으로의 특정 이미터 위치 x의 이미터 강도 L _A (x, ω)의 곱 사이의 광선 방향 Ω의 세트에 대한 차이를 최소화하도록 시도하는 최적화 프로세스를 사용하여 결정될 수 있다. 최적화 함수는 다음과 같이 공식화할 수 있다.

여기서:

이고,

A_(x,ω)는 혼합 행렬 A의 요소이다.

특정 광선 방향으로의 타겟 강도와 그 광선 방향으로의 이미터 강도의 선형 조합 사이의 거리는 L ₁ 놈(norm) 및/또는 L ₂ 놈을 포함하는 (그러나 이에 제한되지 않는) 다양한 거리 메트릭 중 임의의 것을 사용하여 결정될 수 있다. 특정 실시예에서, 이미터 강도는 인지된 이미지 품질을 나타내는 출력을 생성하도록 훈련된 신경망에 기초하여 이미터 강도를 최적화하는 프로세스를 사용하여 결정될 수 있다. 다양한 목적 함수 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절한, 각도 픽셀의 이미터 강도의 최적화에 활용될 수 있다.

여러 실시예에서, 최적화는 특정 광선 방향으로 방출된 강도와 원하는 타겟 강도 사이의 차이를 최소화하려고 시도하지만, 특정 최소 및 최대 허용된 타겟 강도를 조건으로 제한된 최적화이다. 이 방식으로, 이미지 품질은 디스플레이의 블랙 레벨 및/또는 동적 범위에 대해 트레이드 오프될 수 있다(traded off). 이미지 품질과 디스플레이의 블랙 레벨 및/또는 동적 범위 사이의 트레이드오프는 디스플레이된 콘텐츠, 뷰어의 수 및/또는 주변 조명 조건을 포함하는 (그러나 이에 제한되지 않는) 인자에 응답하여 동적으로 결정될 수 있다. 나아가, 다양한 다른 대안적인 및/또는 추가적인 제약 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게 라이트 필드 디스플레이에서 각도 픽셀의 이미터 강도를 제어하기 위한 방식을 결정하기 위해 활용될 수 있다.

위의 논의의 대부분은 광선 방향의 세트에서 원하는 타겟 강도에 기초하여 단일 각도 픽셀에서 이미터를 제어하는 것에 관련되는 한편, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 광선 방향의 세트에서 원하는 타겟 강도를 기초로 다수의 각도 픽셀에서 이미터를 공동으로 제어할 수 있다. 특정 광선 방향 ω에서의 기여의 합이 결정되고 (단일 각도 픽셀의 이미터와 반대인) 다수의 각도 픽셀의 이미터를 가로질러 합산되는 제어 프로세스가 수행될 수 있다. 일반적으로, 각도 픽셀의 수는 특정 시청 구역 내에서 픽셀의 인지된 강도에 기여할 것이다. 특정 시청 구역 내에서 픽셀의 인지된 강도에 기여하는 각도 픽셀의 수는 일반적으로 라이트 필드 디스플레이로부터 시청자의 거리에 의존한다. 예를 들어, 시청자가 라이트 필드 디스플레이에서 멀리 떨어져 있을 때 시청자의 눈에 의해 차지되는 시청 구역 내에서의 픽셀의 인지된 강도에 기여하는 이미터를 포함하는 각도 픽셀의 수는 시청자가 라이트 필드 디스플레이에 가까울 때보다 많다.

다수의 실시예에서, 눈 추적 정보는 추적된 눈이 위치되는(또는 위치될 가능성이 있는) 시청 구역을 결정하는 데 활용된다. 그 후, 이 정보는 추적된 눈이 있거나 위치될 가능성이 있는 시청 구역에 디스플레이되는 뷰에 기여하는 라이트 필드 디스플레이 내의 다양한 각도 픽셀에 대한 광선 방향의 세트를 결정하는 데 활용될 수 있다. 위에서 언급된 바와 같이, 라이트 필드 디스플레이로부터 시청자의 거리는 라이트 필드 디스플레이 내에서 이미터를 공동으로 제어하는 계산 복잡도를 감소시키기 위해, 라이트 필드 디스플레이가 다수의 각도 픽셀을 특정 광선 방향으로 방출된 강도에 기여하는 것으로 처리하게 할 수 있다. 덧붙여, 다양한 각도 픽셀에 대한 광선 방향의 세트에서 각 광선 방향에 대한 타겟 강도가 정의될 수 있다. 광선 방향의 세트에 대한 타겟 강도는 그 후, 위에서 요약된 프로세스 중 임의의 것과 유사한 프로세스를 사용하여 타겟 강도에 관련된 미리 결정된 목적을 달성하는 방출된 강도를 제공하기 위해 하나 이상의 각도 픽셀에서 이미터를 공동으로 제어하는 데 활용될 수 있다.

하나 이상의 시청 구역 내에서 하나 이상의 뷰의 디스플레이와 관련하여 특정 목적을 달성하기 위해 단일 각도 픽셀 및/또는 각도 픽셀의 세트 내에서 이미터를 공동으로 제어하기 위한 다양한 프로세스가 위에서 설명되었지만, 다양한 프로세스 중 임의의 것은 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게 하나 이상의 각도 픽셀 내의 이미터의 강도를 공동으로 제어하는 방식을 결정하기 위해 활용될 수 있다.

눈 추적을 사용하여 고스팅을 감소시키는 것

라이트 필드 이미징에서, 라이트 필드 이미지는 시청 구역 내에 뷰를 형성하기 위해 결합되는 광선 방향의 세트로 광을 방출하는 다양한 각도 픽셀에 의해 특정 시청 구역 내에서 형성된다. 하지만, 각도 픽셀은 단일 광선으로 광을 방출하지 않는다. 오히려, 각도 픽셀은 특정 광선 방향으로 광 원뿔을 방출한다. 이웃하는 광선 방향의 광 원뿔이 중첩되지 않는 경우, 디스플레이가 이상적으로 생성해야 하는 라이트 필드에 최선으로 근접하도록 각 각도 픽셀이 광을 얼마나 많이 방출해야 하는지를 계산하는 것은 쉬울 것이다. 하지만, 실제로 이웃하는 광선 방향의 광 원뿔은 라이트 필드 디스플레이로부터의 증가된 거리와 중첩된다. 위에서 언급된 바와 같이, 일부 광은 디스플레이의 광학 구성요소에서의 산란(scattering) 및 결함(imperfections)에 기인하여, 다른 불분명한 방향으로 누출될 수 있다.

종종 고스팅 또는 누출로 지칭되는 광학 크로스토크의 형태는 시청자가 중첩하는 시청 구역에 디스플레이된 다수의 뷰를 인지할 때 초래될 수 있다. 고스팅이라는 용어는 일반적으로 상이한 뷰가 디스플레이되는 중첩하는 시청 구역에 시청자의 눈이 위치되고, 따라서 시청자가 이미지의 더블링(doubling) 또는 "고스팅"을 인지하는 현상을 지칭하는데 활용된다. 고스팅이라는 용어는 왼쪽 및 오른쪽 이미지가 시청자에게 제공되고, 시청자의 눈 중 적어도 하나가 (왼쪽 눈으로 왼쪽 이미지를 보고 오른쪽 눈으로 오른쪽 이미지를 분리하여 보는 대신에) 왼쪽 및 오른쪽 이미지를 모두 인지하는 현상을 지칭하기 위해 입체 디스플레이의 맥락에서 가장 자주 사용된다. 다중뷰 무안경 입체 디스플레이의 맥락에서, 고스팅은 눈이 인접한 시청 구역으로부터 다수의 이미지를 보는 결과로서 나타날 수 있다. 다수의 실시예에서, 다중뷰 무안경 입체 디스플레이의 시청자가 고스팅을 경험하는 정도를 감소시키기 위해 눈 추적 정보가 활용된다.

고스팅의 현상은 도 11에 개념적으로 예시된다. 예시된 예에서, 각도 픽셀(1100)에서의 이미터는 인접한 시청 구역에 디스플레이되는 뷰에 기여하는 광 원뿔(1101, 1102)을 생성한다. 예시된 예에서, 각도 픽셀의 광학 시스템은 완전한 것으로 간주되고, 두 개의 광 원뿔(1101 및 1102)은 중첩하지 않는다. 다수의 실시예에서, 광 원뿔(1101, 1102)은 중첩될 가능성이 있다. 시청자의 눈이 제1 시청 구역(1104)으로부터 제2 시청 구역(1106)으로 이동할 때, 시청자의 눈은 눈이 두 개의 인접한 시청 구역(1104, 1106)에 디스플레이되는 뷰를 동시에 인지하는 고스팅 구역(1108)을 차지한다. 고스팅으로부터 초래되는 불편함 및/또는 인지된 이미지 저하의 정도는 일반적으로 인접한 시청 구역에 디스플레이되는 뷰 간의 유사도에 의존할 것이다. 다수의 실시예에서, 고스팅에 관한 정보는 특정 광선 방향으로의 타겟 강도를 결정하는 데 활용될 수 있으며, 그 후 이 정보는 고스팅을 감소시키기 위해 라이트 필드 디스플레이의 다양한 각도 픽셀 내에서 이미터를 공동으로 제어하기 위해 위에서 설명한 것과 유사한 프로세스에서 활용될 수 있다.

본 발명의 실시예에 따라 고스팅을 감소시키기 위해 눈 추적 정보를 기초로 시청 구역에 디스플레이되는 이미지를 렌더링하기 위해 라이트 필드 디스플레이에 의해 활용될 수 있는 프로세스가 도 12에 개념적으로 예시된다. 각도 픽셀(1200)의 광학 시스템은 완전한 것으로 도시되고, 두 개의 광 원뿔(1201, 1202)은 중첩하지 않는다. 위에서 언급된 바와 같이, 광 원뿔(1201, 1202)은 실질적으로 구현 가능한 라이트 필드 디스플레이에서 중첩할 가능성이 있다. 시청자의 눈이 고스팅 구역(1208)에 위치될 때, 눈은 두 개의 인접한 시청 구역(1204, 1206)에 디스플레이된 뷰를 동시에 인지한다. 다수의 실시예에서, 라이트 필드 디스플레이는 두 개의 인접한 시청 구역(1204, 1206)에 상이한 뷰를 디스플레이하는 것을 중단할 수 있고, 그 대신에 시청자의 눈이 시청 구역(1204 및 1206) 사이에서 이동할 때 광 원뿔(1210 및 1212)에서 동일한 뷰를 디스플레이할 수 있다. 위에서 언급된 바와 같이, 두 개의 인접한 시청 구역(1204, 1206)에 디스플레이되는 뷰는 앨리어싱을 감소시키기 위해 시청자의 눈의 특정 위치에 기초하여 렌더링될 수 있다. 대안적으로, 라이트 필드 디스플레이는 뷰의 합이 시청자의 눈의 위치에서 원하는 뷰를 생성하는 방식으로 겹치는 광 원뿔(1210 및 1212)에서 다른 뷰를 렌더링할 수 있다.

도 12는 실시예에 따른, 고스팅 감소의 간단한 예시를 예시한다. 다수의 경우에서, 시청자의 눈에 의해 인지되는 뷰의 합이 원하는 뷰와 거의 매칭하도록, 다수의 시청 구역이 중첩되고 라이트 필드 디스플레이의 각도 픽셀의 강도가 결정된다. 본원에서 설명된 라이트 필드 디스플레이는 중첩하는 시청 구역이 시점 의존 방식으로 렌더링된 동일한 뷰를 디스플레이하는 모드, 및/또는 상이한 뷰가 원하는 뷰에 대응하는 특정 시점에서의 뷰의 합을 초래하는 방식으로 중첩하는 시청 구역에서 디스플레이되는 모드를 포함하는 (그러나 이에 제한되지 않는) 디스플레이 모드를 제공할 수 있다.

이제 도 13을 참조하면, 다수의 실시예에서, 눈 추적에서의 불확실성은 도 13에 예시된 방식으로 추적된 눈에 인접한 시청 구역(1304, 1306)에서 동일한 색상 및 강도(1301, 1302)를 항상 디스플레이하기 위해 각도 픽셀(1300)을 사용함으로써 조절될 수 있다. 인접한 시청 구역(1304, 1306)에 걸쳐 일관된 색상을 유지하는 것은 인접한 이미터가 추적된 눈에 의해 차지되는 시청 구역 내에서 이미지를 디스플레이하는 데 사용되는 이미터와 동일한 색상을 디스플레이하도록 각도 픽셀 내의 이미터를 제어함으로써 달성될 수 있다. 이 방식으로, 눈이 인접한 시청 구역(1304 및 1306) 사이의 시청 구역(1308)에 위치될 때에도 추적된 눈은 일관된 색상을 보고, 따라서 앨리어싱 및 다른 바람직하지 않은 결과를 감소시킨다. 도 13에서의 개념적인 예시가 시청자의 눈의 위치에 기초하여 불변인 것으로 이미터의 색상을 도시하지만, 다수의 실시예에서 색상은 시청자의 눈이 위에서 설명된 방식으로 앨리어싱을 감소시키기 위해 이동할 때 변한다. (복수의 각도 픽셀(1300)로 형성되는) 라이트 필드 디스플레이는 인접한 이미터가 디스플레이되는 뷰가 추적된 눈 위치를 기초로 변하는 것과 동일한 색상을 생성하도록, 단순히 인접한 이미터를 제어한다.

따라서, 본 발명의 여러 실시예에 따른 라이트 필드 디스플레이는 동일한 뷰가 인접한 시청 구역에 디스플레이되도록, 추적된 눈에 의해 차지되는 시청 구역에서 디스플레이를 위한 뷰를 렌더링하고 이미터를 제어하기 위해 위에서 도 10에 도시된 프로세스와 유사한 프로세스를 활용한다. 도 12 및 13를 참조로 위에서 논의된 실시예가 두 개의 인접한 시청 구역을 예시하지만, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 고스팅의 감소 및/또는 제거를 포함하는 (그러나 이에 제한되지 않는) 이유로 두 개보다 많은 인접하거나 또는 중첩하는 시청 구역에 디스플레이되는 뷰가 동일하도록 이미터를 제어할 수 있다는 것이 인식되어야 한다.

위의 논의의 대부분은 고스팅의 감소 및/또는 제거에 초점을 맞추지만, 인접한 시청 구역에서 동일한 뷰를 디스플레이하는 것/동일한 색상을 생성하기 위해 인접한 이미터를 제어하는 것의 다른 이점은 라이트 필드 디스플레이의 이미지 품질이 눈 추적 정보 및/또는 마이크로렌즈-내 크로스토크에서의 오차에 더 강력해진다는 것이다. 인접한 시청 구역에 동일한 뷰가 디스플레이될 때, 눈 추적 정보에서의 오차는 (예를 들어, 시청자의 눈이 실제로 고스팅 구역 내에 있다는 것을 의식하지 못하고 두 개의 상이한 뷰를 인지하는 라이트 필드 디스플레이에 기인하여) 고스팅의 고유한 위험을 수반하지 않는다. 덧붙여, (아래에서 더 상세히 논의되는) 인접한 이미터 간의 마이크로렌즈-내 크로스토크는 이미터가 동일한 색상을 생성하므로 인지된 이미지 품질의 저하를 초래하지 않는다.

고스팅을 해결하기 위한 다수의 프로세스가 위에서 설명되었지만, 고스팅을 해결하기 위한 다양한 기술 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게 활용될 수 있다. 다수의 실시예에서, 인접한 시청 구역 간의 중첩의 정도에 관한 교정 정보는 시청자에 대한 일관된 뷰를 생성하는 방식으로 결합되는 인접한 시청 구역에서의 뷰를 렌더링하기 위해 활용될 수 있다. 이 방식으로, 인접한 이미터에 의해 형성된 중첩하는 뷰의 겹침은 눈이 시청 구역의 시야를 가로질러 이동할 때 특정 각도 픽셀의 강도가 균일하도록, 추적된 눈의 위치를 기초로 뷰의 렌더링에서 고려될 수 있다.

시선 추적을 사용하는 포비티드 라이트 필드 렌더링

라이트 필드 디스플레이가 본 발명의 다양한 실시예에 따른 시선 추적 하드웨어를 통합할 때 계산 효율이 달성될 수 있다. 특정 실시예에서, 시선 추적 정보는 아래에서 더 논의되는 바와 같이, 시선 방향을 기초로 포비티드 뷰의 렌더링을 지원하기 위해 라이트 필드 디스플레이 내의 이미터의 공동 제어에 활용되는 광선 방향의 세트를 더 정의하는 데 사용될 수 있다. 도 6a를 참조하여 위에서 언급된 바와 같이, 눈 추적은 시청자의 눈의 위치를 추적하는 것을 수반한다. 도 6b에 도시된 바와 같이, 시선 추적은 시청자의 눈이 위치된 곳뿐만 아니라, 시청자가 보는 곳을 추적하는 것을 수반한다. 시청자의 눈에 의해 인지될 가능성이 있는 시청 구역(및 잠재적으로 인접한 시청 구역)에서 디스플레이를 위한 뷰를 렌더링하는 계산 복잡도는 시청자의 시선이 지향될 가능성이 있는 디스플레이의 영역에 대응하는 포비티드 영역에서 전체 해상도 및 불일치 정보로 뷰만을 렌더링함으로써 감소될 수 있다. 즉, 시청자 시선의 추적이 눈 추적보다 더 수반될 수 있지만, 시선 추적의 라이트 필드 디스플레이로의 통합은 시청자가 바라보는 그 위치에 대해서만 렌더링된 라이트 필드 뷰를 제한함으로써 이미지 렌더링의 계산 복잡도를 감소시킬 수 있다.

연구에서 알려진 바와 같이, 색 정보에 대한 인간 감도는 일반적으로 중심와로 지칭되는 망막의 중심에서 가장 높은 한편, 망막의 시력 및 색상 감도는 일반적으로 망막의 중심으로부터 떨어져서 좋지 않다. 하지만, 강도 또는 움직임에서의 급격한 변화를 감지하기 위한 능력은 망막의 중심 밖에서 고도로 생성된다. 입체시에 대한 인간 감도는 시야의 축 주위의 시야의 중심 원뿔(일반적으로 10°)에서 가장 높고; 이 영역 외부에서, 디스플레이의 인지된 품질에서의 상당한 감소 없이 높은-주파수 콘텐츠에 대한 깊이 단서가 감소될 수 있다. 따라서, 라이트 필드 디스플레이는 시청자의 눈에 의해 차지되는 시청 구역에서 디스플레이를 위해 렌더링될 뷰의 포비티드 영역을 식별하기 위해 시선 추적 정보를 사용할 수 있다. 포비티드 영역, 즉 망막의 중심에 의해 시청되는 뷰 내에서, 뷰는 지원되는 최대 해상도에서 및 입체시로 렌더링될 수 있다. 포비티드 영역 외부에서, 이미지의 해상도가 감소될 수 있고, 큰 특성 또는 낮은-주파수 콘텐츠에 대해서만 입체시가 유지되면 된다. 시선 정보는 또한, 시청자의 시선이 지향되는 장면 내의 특정 지점을 기초로 톤 매핑 및/또는 깊이 의존 블러의 적용에 활용될 수 있다.

다수의 실시예에서, 포비티드 렌더링을 이용하는 라이트 필드 디스플레이는 사카드 억제(saccadic suppression) 동안 렌더링된 뷰의 상이한 영역의 렌더링된 해상도 및/또는 불일치를 변경할 수 있다(예를 들어, 추적된 눈이 깜박일 때, 라이트 필드 디스플레이는 시청자의 사카드 억제의 완료 이전에 새로운 시선 추적 정보를 취득하고 새로운 포비티드 뷰를 렌더링할 수 있다). 대안적으로, 라이트 필드 디스플레이는 눈에 띄지 않도록 상이한 영역에서 입체시의 해상도 및/또는 정도를 점진적으로 조정할 수 있다.

다수의 실시예에서, 라이트 필드 디스플레이는 추적된 눈의 위치 및 추적된 눈의 시선 방향의 결정에서 불확실성을 조절하는 방식으로 포비티드 렌더링을 이용한다. 망막의 시력, 색상 감도, 회색조 해상도 및 감도, 망막 위치에 따른 시간 해상도 및 움직임 감도가 특성 벡터로서 표현될 수 있다. 3D 눈의 위치 및 2D 시선 방향에 대한 정보가 알려질 때, 망막 특성 벡터는 4D 광선 공간에서의 벡터 필드에 매핑될 수 있다. 망막에서 끝나고 동공을 통과하는 각 광선은 광선이 끝나는 망막 지점에 관련된 특성 벡터 값이 할당될 수 있다. 망막 상에서 끝나지 않는 모든 광선은 0의 벡터 값이 할당될 수 있다. 시력 및/또는 색상 감도를 포함하는 (그러나 이에 제한되지 않는) 망막의 특성에 의존하는 방식으로 값을 할당함으로써, 라이트 필드 디스플레이는 눈이 동공을 통해 보고 이를 통과하는 각도 픽셀로부터 발생하는 광선에 대해 가장 세부적인 묘사 및 색상으로 뷰를 렌더링할 수 있다. 동일한 프로세스를 사용하여, 시청자의 시선의 중심에 있지 않거나, 또는 시청자의 동공을 통과할 가능성이 적은 각도 픽셀로부터 발생하는 광선에 대응하는 시청의 구역에는 덜 세부적인 묘사 및 색상이 렌더링될 수 있다. 여러 실시예에서, 렌더링은 시청자의 시선의 중심 외부의 광선에 대해 매끄러운 전환을 제공함으로써 주변 시야 내의 급격한 강도 변화에 대한 눈의 감도를 조절한다. 특정 실시예에서, 라이트 필드 디스플레이로부터 시청자의 거리가 또한 고려되고, 뷰는 시청자가 위치된 거리에서 관찰될 수 있는 세부 묘사의 레벨에 적절한 세부 묘사의 레벨로 렌더링된다.

시선 방향 및 눈의 위치가 정확히 알려지지 않는 경우, 시선 방향 및 눈의 위치는 도 14에 예시된 바와 같이, 5D 확률 분포(즉, 위치에 관련된 3차원 및 시선에 관련된 2차원)로 표현될 수 있다. 다수의 실시예에서 포비티드 렌더링은 5D 확률 밀도 함수로 각 눈의 위치 및 시선 방향에 대한 특성 벡터 필드를 가중시키고, 3D 눈 위치 및 2D 시선 방향에 대해 통합함으로써 불확실성을 고려할 수 있다. 결과는 모든 특성의 원근감으로부터 각 광선의 중요도를 정의하는 4D 광선 공간에서의 특성 벡터 필드 φ(x,y,u,v)이다. 그 후, 결과적인 특성 벡터 함수 φ(x,y,u,v)를 기초로 광선을 렌더링함으로써 뷰가 렌더링될 수 있다. 특성 벡터 필드는 최대, 평균 또는 최소와 같은 (그러나 이에 제한되지 않는) 집계 함수를 사용하여 한 명 이상의 시청자의 다수의 눈에 대해 집계될 수 있다.

본 발명의 실시예에 따라 눈 및 시선 추적 정보에서의 불확실성을 설명하는 방식으로 눈 및 시선 추적 정보를 기초로 포비티드 렌더링을 수행하는 데 활용될 수 있는 프로세스가 도 15에 개념적으로 예시된다. 프로세스(1500)는 눈 및 시선 추적 시스템(1502, 1503)으로부터 각각 획득된 눈 위치 및 시선 방향을 입력으로서 조절한다. 다수의 실시예에서, 눈에 대한 신뢰도 정보 및 시선 추적 정보는 각각 눈 위치 및 시선 방향 확률 모델(1504, 1505)을 사용하여 눈 및 시선 확률 분포를 생성하는 데 활용될 수 있다. 이 분포는 라이트 필드 디스플레이 내의 각도 픽셀에 대한 제어 정보의 생성에서 활용될 수 있는 결합된 눈 위치 및 시선 방향 확률 모델(1506)을 생성하기 위해 활용될 수 있다. 제어 정보를 생성하는 프로세스는 예를 들어, 특성 벡터 함수 l(x,y,u,v)를 생성하기 위해 라이트 필드 중요도 계산기(1508)를 사용하여 라이트 필드 내의 광선의 중요도를 결정하도록, 눈 및 시선 확률 모델(1506)로부터 결합된 눈 위치 및 시선 방향 확률 정보를 사용하는 것을 수반한다. 라이트 필드 프로세서(1510)는 특성 벡터 함수 l(x,y,u,v)를 장면 콘텐츠(1512)와 결합할 수 있고, 뷰 렌더러(1514)에 뷰 요청을 제공할 수 있으며, 상기 뷰 렌더러(1514)는 이후에 뷰를 렌더링하고 이를 라이트 필드 프로세서(1510)에 반환한다. 그 후, 이 뷰는 라이트 필드 디스플레이의 각도 픽셀에 대한 특정 픽셀 값으로서 제어 정보를 생성하기 위해 라이트 필드 프로세서(1510)에 의해 활용된다.

시선 추적 정보를 기초로 포비티드 뷰를 렌더링하기 위한 특정 프로세스가 도 15를 참조하여 위에서 설명되었지만, 다양한 프로세스 중 임의의 것이 본 발명의 다양한 실시예에 따른 특정 응용의 요건에 적절하게 라이트 필드 디스플레이의 계산 효율을 증가시키기 위해 다양한 해상도 및 깊이 단서 표현을 갖는 뷰를 렌더링하는 데 활용될 수 있다. (시선 추적은 아닌) 머리 또는 눈 추적 정보만이 이용 가능한 시스템에서, 라이트 필드 디스플레이는 시청자가 이미지 세부묘사 및 깊이 큐를 인지하기 위한 능력을 기초로 렌더링할 뷰의 복잡도를 기초로 결정을 할 수 있다. 다수의 실시예에서, 깊이 단서의 해상도 및 표현은 디스플레이로부터 시청자의 거리에 기초하여 변한다. 다른 실시예에서, 라이트 필드 디스플레이에 의한 디스플레이를 위해 렌더링되는 뷰의 수 및/또는 세부 묘사의 레벨을 결정하는 데 다양한 인자 중 임의의 것이 고려될 수 있다.

한 명 이상의 시청자의 눈의 추적된 위치에 기초하여 디스플레이를 위한 장면을 샘플링하고 이미지를 렌더링하기 위한 다양한 프로세스가 도 10-15를 참조로 위에서 설명되었지만, 다양한 프로세스 중 임의의 것이 본 발명의 다양한 실시예에 따른 주어진 응용의 요건에 적합하게 시청 구역 내에서 추적된 눈의 위치를 기초로 라이트 필드 디스플레이 또는 종래의 다중뷰 무안경 입체 디스플레이의 시청 구역 내에 디스플레이되는 뷰를 수정하기 위해 활용될 수 있다. 예를 들어, 본 발명의 여러 실시예에 따른 라이트 필드 디스플레이는 안티-앨리어싱 사전-필터링 및 눈-위치-의존 렌더링의 조합을 활용한다. 여러 실시예에서, 라이트 필드 디스플레이는 눈 추적의 손실에 응답하여 종래의 다중뷰 무안경 입체 또는 2D 디스플레이로 즉시 폴백되지 않지만, 이전에 추적된 눈 위치에 기초하여 눈 위치를 추정할 수 있다. 특정 실시예에서, 눈 위치 예측은 또한, 예측된 눈 위치를 사용하여 추후의 시간에 디스플레이될 뷰를 렌더링하는 데 활용된다. 나아가, 눈을 추적하는 것의 이점은 라이트 필드 디스플레이의 인지된 피사계 깊이(depth of field)를 증가시키는 데 제한되지 않는다. 눈 추적 정보는 또한, 아래에서 더 논의되는 바와 같이 라이트 필드 디스플레이의 에너지, 처리 및/또는 대역폭 요건을 감소시키기 위해 활용될 수 있다.

눈 추적 정보를 사용하여 에너지, 처리 및/또는 대역폭을 감소시키는 것

본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 에너지 소비를 감소시키거나, 및/또는 디스플레이를 구동하기 위해 라이트 필드 디스플레이의 백플레인과 처리 시스템 사이에 요구되는 대역폭의 양을 감소시키기 위해 눈 추적 정보를 사용할 수 있다. 추적된 눈을 포함하는 라이트 필드 디스플레이의 시청 구역에 관한 정보를 제공하는 눈 추적 정보에 부가하여, 눈 추적 정보는 추적된 눈을 포함하지 않는 시청 구역을 식별할 수 있다. 위에서 언급된 바와 같이, 다수의 눈 추적 시스템은 눈이 특정 위치에 있을 가능성을 나타내는 눈 추적 정보 및 신뢰도 메트릭 모두를 제공한다. 따라서, 라이트 필드 디스플레이는 눈이 시청 구역 내에 없다고 결정하고, 그에 따라 결정을 할 수 있다. 다수의 실시예에서, 그렇지 않은 경우 차지되지 않은 시청 구역 내에 뷰를 디스플레이하는 데 사용될 이미터를 턴 오프함으로써, 라이트 필드 디스플레이는 에너지를 절약할 수 있다. 이미터를 비활성화하는 것의 다른 이점은 크로스토크의 감소에 기인한 이미지 품질의 개선이다. 추적된 눈을 포함하는 시청 구역에 대한 뷰만을 렌더링함으로써, 상당한 처리 효율이 또한 달성될 수 있다. 덧붙여, 라이트 필드 디스플레이의 처리 시스템과 라이트 필드 디스플레이의 백플레인 사이에 요구되는 대역폭은 활성 이미터(예를 들어, 시청자의 눈에 의해 차지되는 시청 구역 내에 뷰를 디스플레이 하기 위해 활용되는 이미터)에 대한 제어 정보만을 송신함으로써 감소될 수 있다. 라이트 필드 디스플레이의 백플레인과 처리 시스템 사이의 고정된 총 대역폭이 주어지면, 대역폭은 추적된 시청자에게 높은 인지된 품질을 제공하기 위해 라이트 필드 디스플레이의 시야를 가로질러 시청 구역 내에 렌더링된 뷰의 각도 및 공간 해상도를 제어하는 방식으로 확신을 갖고 식별된 시점의 세트를 기초로 할당될 수 있다.

눈 추적 정보를 사용한 이미터 활성화의 에너지-효율적인 제어

본 발명의 실시예에 따른 라이트 필드 디스플레이 내의 이미터의 활성화를 제어하기 위한 프로세스가 도 16에 개념적으로 예시된다. 예시된 실시예(1600)에서, 두 세트의 시청자(1602, 1604)가 도시되고, 라이트 필드 디스플레이의 디스플레이 평면(1610)은 시청자의 눈의 각각에 의해 차지된 시청 구역 내에서 다중뷰 무안경 입체 뷰(1612, 1614, 1616 및 1618)를 생성한다. 라이트 필드 디스플레이는 그 시청 구역 내에 뷰를 디스플레이하는 역할을 하는 이미터를 스위치 오프하기 위해, 시청자 눈(X 마킹(1620)으로 나타남)에 의해 차지되지 않는 시청 구역에 관한 정보를 이용한다.

다수의 실시예에서, 라이트 필드 디스플레이는 또한, 도 17에 개념적으로 예시된 바와 같이 추적된 눈에 의해 차지되는 시청 구역에 인접한 시청 구역의 뷰를 디스플레이한다. 도 17에 도시된 바와 같이, 실시예(1700)는 (X 마킹(1720)로 나타난) 시청 구역 외부의 뷰에 기여하는 이미터가 스위치 오프되거나, 또는 그 안의 뷰의 해상도 및/또는 밝기가 감소되는 동안, 시청자(1702)가 라이트 필드 디스플레이의 디스플레이 평면(1710)에 의해 생성된 다중뷰 무안경 입체 뷰(1712 및 1714)를 시청하는 것을 포함한다. 이 경우에, 디스플레이 평면(1710)은 또한, 시청자(1702)의 가능한 눈 위치 주변의 구역(1730)에 뷰를 생성한다. 추적된 눈의 위치에 관련하여 일부 불확실성이 존재할 수 있으며, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 또한 도 17에 예시된 예에서와 같이, 추적된 눈에 의해 차지되는 시청 구역에 인접한 시청 구역에 대한 뷰를 렌더링할 것이다. 즉, 시청자의 눈의 특정 위치에 불확실성이 있더라도, 도 17에 도시된 것과 같은 시스템은 에너지 및 계산을 절약을 여전히 제공하면서 불확실성을 조절할 수 있다.

덧붙여, 본 발명의 여러 실시예에 따른 라이트 필드 디스플레이는 추적의 손실 이전에 눈의 추적된 궤적을 기초로 이전에 추적된 눈에 의해 점유될 가능성이 있는 시청 구역에 뷰를 렌더링함으로써 눈 추적의 손실에 응답한다. 다수의 실시예에서, 라이트 필드 디스플레이는 도 18에 개념적으로 예시된 바와 같이 추적된 눈에 의해 차지되지 않은 시청 구역 중 다수 또는 이의 모두에 더 낮은 해상도의 무안경 입체 뷰 및/또는 2D 콘텐츠(예를 들어, 시청 구역 간에 변하지 않는 단일 뷰)를 디스플레이한다. 예를 들어, 도 18에서의 실시예(1800)에서, 시청자(1802)는 라이트 필드 디스플레이의 디스플레이 평면(1810)에 의해 생성된 다중뷰 무안경 입체 뷰(1812 및 1814)를 시청한다. 뷰(1812 및 1814)의 외부에서, 균일한 2D 콘텐츠 또는 더 낮은 해상도의 라이트 필드 이미지가 시청자의 눈 외부의 영역(1840)에서 디스플레이 평면(1810)에 의해 제공된다. 덧붙여, 영역(1840)에서의 뷰는 시청자에 의해 관찰될 가능성이 적은 시청 구역에서 뷰를 렌더링하는 계산 요건을 감소시키기 위해 더 낮은 프레임 속도로 리프레시될 수 있다. 본원에서, 라이트 필드 디스플레이가 특정 시청 구역 내에서 추적된 눈의 부재 및/또는 눈 추적 불확실성에 응답하는 특정한 방식은 주어진 응용의 요건에 크게 의존한다는 것이 인식된다.

특정 실시예에서, 라이트 필드 디스플레이는 특정 시청자의 눈을 추적하도록 구성되고, 시청자의 눈에 의해 차지되는 시청 구역 내에서 및 잠재적으로 인접한 시청 구역에서 다중뷰 무안경 입체 뷰만을 생성함으로써 디스플레이의 프라이버시를 보존한다. 여러 실시예에서, 승인되지 않은 시청자의 눈의 존재가 검출될 수 있고, 라이트 필드 디스플레이는 승인되지 않은 시청자의 눈에 의해 차지되는 시청 구역에서의 뷰의 디스플레이를 능동적으로 방지할 수 있다. 다수의 실시예에서, 시청자의 머리의 위치 및 이미지는 시청자가 승인된 시청자인지 또는 승인되지 않은 시청자인지를 결정하는 데 활용된다. 다수의 실시예에서, 안면 인식 및/또는 기준은 승인된 시청자와 승인되지 않은 시청자를 구별하는 데 활용될 수 있다.

눈 추적 정보를 사용하여 픽셀-레벨 광학 크로스토크를 감소시키는 것

눈 추적 정보를 기초로 라이트 필드 디스플레이에서 활성 이미터의 수를 감소시키는 것은 마이크로렌즈-내 및 마이크로렌즈-간 크로스토크를 모두 감소시킴으로써 이미지 품질을 더 개선할 수 있다. 예를 들어, 각도 픽셀의 광학 시스템 내의 내부 반사 및 산란은 (마이크로렌즈-내 크로스토크로 지칭될 수 있는) 각도 픽셀 내부 및 (마이크로렌즈-간 크로스토크로 지칭될 수 있는) 각도 픽셀 사이 모두에서 크로스토크를 야기할 수 있다.

마이크로렌즈-내 크로스토크, 즉 단일 각도 픽셀 내의 광 이미터로부터의 광 방출 사이의 크로스토크가 나타날 수 있는 방식의 예시가 도 19a에 개념적으로 예시된다. 예시적인 시스템(1900)은 도 19a에 도시된 바와 같이 복수의 각도 픽셀(1902)을 포함한다. 각도 픽셀(1902) 중 하나 내의 제1 이미터(1904)는 점선 화살표(1906)로 표현된 광의 원뿔을 방출한다. 광의 원뿔 내의 대부분의 광선은 각도 픽셀의 광학 시스템(1908)(예를 들어, 마이크로렌즈 어레이)에 의해 특정 시청 구역을 향해 지향되는 한편, 미광(stray rays, 1910)은 인접한 각도 픽셀 간의 계면 내에서 및 그 계면에서 반사되거나 또는 굴절될 수 있고, 시스템(1900) 내의 제2 이미터(1922)에 의해 방출된 (실선 화살표(1920)로 표현된) 광 원뿔에 결합될 수 있다. 이 방식으로, 제2 이미터(1922)의 광 원뿔(1920)과 교차하는 시청 구역에서 눈을 갖는 시청자는 제1 이미터(1904) 및 제2 이미터(1922)로부터의 광의 혼합을 인지할 것이다. 본원에서, 제1 이미터로부터 광을 수신하는 시청 구역에 추적된 눈이 없을 때 제1 이미터(1904)를 스위치 오프하기 위한 능력은 도 12에 도시된 것과 같은 각도 픽셀을 포함하는 라이트 필드 디스플레이가 제2 이미터(1922)로부터 광을 수신하는 시청 구역 내의 마이크로렌즈-내 크로스토크를 감소시키기 것을 가능하게 한다는 것이 인식된다.

마이크로렌즈-간 크로스토크, 즉 상이한 각도의 픽셀로부터의 광 방출 사이의 크로스토크가 나타날 수 있는 방식은 도 19b에 개념적으로 예시된다. 예시적인 시스템(1950)은 도 19b에 도시된 바와 같이 복수의 각도 픽셀(1952)을 포함한다. 각도 픽셀(1952) 중 하나에서의 제1 이미터(1954)는 각도 픽셀의 광학 시스템(1958)(예를 들어, 마이크로렌즈 어레이)에 의해 특정 시청 구역을 향해 지향되는, 실선(1956)으로 표현된 광 원뿔을 생성한다. 광 원뿔(1956)의 일부는 공기-마이크로렌즈 계면에서 (선(1960)으로 표현된) 반사된 광으로 반사된다. 반사된 광선은 또한, 라이트 필드 디스플레이 내에서 반사될 수 있고, 얇은 화살표(1962)로 표현된 바와 같이 이웃하는 각도 픽셀로부터 드러날 수 있다. 추가적인 내부 반사는 점선 화살표(1964)로 표현된 것과 같이, 이웃하는 각도 픽셀로부터 추가적인 미광(stray light)을 초래할 수 있다. 즉, 제1 이미터로부터 광을 수신하는 시청 구역에 추적된 눈이 없을 때 제1 이미터(1954)를 스위치 오프하기 위한 능력은 라이트 필드 디스플레이가 이웃하는 각도 픽셀에서 마이크로렌즈-간 크로스토크를 감소시키는 것을 가능하게 한다.

마이크로렌즈-내 및 마이크로렌즈-간 크로스토크 모두가 라이트 필드 디스플레이에 의해 생성되는 정도는 라이트 필드 디스플레이 내의 각도 픽셀 내에서 반사되거나 또는 산란되는 광의 양에 크게 의존한다. 따라서, 추적된 눈에 의해 차지되는 시청 구역 내에서 뷰에 기여하는 이미터만을 턴 온하는 것은 마이크로렌즈-내 및 마이크로렌즈-간 크로스토크의 양을 상당히 감소시킬 수 있다. 마이크로렌즈-내 크로스토크와 관련하여, 각 각도 픽셀 내의 활성 이미터 수를 감소시키는 것은 각도 픽셀의 광학 시스템 내에서 내부적으로 반사되는 광의 양을 상당히 줄일 수 있다. 따라서, 반사되거나 또는 산란된 광 대 시청자의 눈에서 인지되는 직접적으로 방출된 광의 비율은 모든 이미터가 항상 활성 상태인 시스템에 비해 감소된다. 유사하게, 각도 픽셀 내의 활성 이미터의 수를 감소시키는 것은 인접한 각도 픽셀로 반사되거나 또는 산란되는 광의 양을 감소시킨다. 그러므로, 반사되거나 또는 산란된 광 대 시청자의 눈에서 인지되는 직접적으로 방출된 광의 비율은 모든 이미터가 활성 상태인 시스템과 유사하게 감소된다. 나아가, 위에서 논의된 바와 같이, 추적된 눈 위치에 나타나는 뷰에 기여하지 않는 이미터를 턴 오프하는 것은 에너지 및 계산 대역폭의 절약으로 이어질 수 있으며, 따라서 라이트 필드 디스플레이의 효율을 개선할 수 있다.

눈 추적 정보를 사용하여 이미터 활성화를 제어하는 것

구체적으로, 라이트 필드 뷰를 생성하는 데 요구되는 계산 대역폭을 해결하면, 라이트 필드 디스플레이의 내부 대역폭 요건뿐만 아니라 처리 시스템에 대한 계산 부하가 렌더링되는 뷰의 수 및 디스플레이의 프레임 속도에 따라 증가한다. 나아가, 라이트 필드 디스플레이의 에너지 요건은 시청 구역의 수에 따라 증가한다. 따라서, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이의 처리, 대역폭 및/또는 에너지 요건은 추적된 눈에 대응하는 특정 시청 구역에서만 디스플레이를 위한 뷰를 렌더링할지, 뷰가 렌더링되는 시청 구역의 수, 추가적인 시청 구역에서 2D 또는 3D 뷰를 렌더링 및 디스플레이할지, 2D 뷰를 디스플레이하기 위한 시청 구역의 수 및/또는 비활성으로 간주되는 시청 구역 수에 관한 결정에 의해 상당한 영향을 받을 수 있다. 본 발명의 다양한 실시예에 따른 라이트 필드 디스플레이가 눈 추적 정보를 기초로 활성 시청 구역에서 디스플레이를 위해 뷰를 렌더링하도록 구성되는 특정 방식은 디스플레이의 능력 및 주어진 응용의 요건에 크게 의존한다.

본 발명의 실시예에 따라 추적된 눈에 의해 차지되는 시청 구역에서 뷰를 디스플레이하기 위해 눈 추적 정보를 기초로 이미터의 활성화를 제어하기 위한 프로세스가 도 20에 예시된다. 프로세스(2000)는 개시 단계(2001)로 시작하고, 예를 들어 도 2에 도시된 바와 같이 라이트 필드 디스플레이와 통합된 눈 추적기 배열을 사용하여 시청자의 눈을 추적하기 위한 단계(2002)가 후속한다. 그 후, 시청자의 눈이 위치된다는 결정(2004)이 이루어진다. 눈 추적 정보는 추적된 눈에 의해 차지되는 시청 구역을 식별하는 데 활용될 수 있고, 라이트 필드 디스플레이 처리 시스템은 식별된 활성 시청 구역에 디스플레이하기 위해 뷰를 렌더링할 수 있다(2006). 예를 들어, 뷰는 시점 의존적일 수 있고, 시청자의 스테레오 및 움직임 시차를 보존하기 위해 시청 구역에 대해 구체적으로 렌더링될 수 있다. 선택적으로, 디스플레이 영역에서 어레이 또는 각도 픽셀의 이미터에 대한 공장 설정 또는 위에서 설명된 다른 교정 정보와 같은 교정 데이터가 가령, 처리 유닛 상의 디스플레이의 메모리에 저장되는 경우, 교정 정보는 단계(2007)에서 단계(2006)로부터 렌더링된 뷰 내에 통합될 수 있다. 단계(2008)에서, 렌더링된 뷰는 그 후, 디스플레이에 의해 뷰를 실제로 생성하기 위해 각도 픽셀에서의 이미터에 대한 제어 정보를 생성하는 데 사용된다. 눈 추적 및 뷰 렌더링 프로세스가 완료되었는지를 결정하기 위한 결정(2010)이 이루어진다. 결정(2010)에 대한 대답이 예인 경우, 프로세스가 완료되고, 프로세스(2000)는 종료 단계(2012)로 진행한다. 결정(2010)이 눈 추적 및 뷰 렌더링 프로세스가 아직 완료되지 않은 것으로 결정하면, 프로세스는 시청자의 눈을 추적하려고 시도하는 단계(2002)로 돌아간다.

라이트 필드 디스플레이가 눈 추적을 손실하여, 결정(2004)이 눈이 위치되지 않았다는 응답을 초래할 때, 라이트 필드 디스플레이의 처리 시스템은 이전의 추적 정보 또는 다른 선험적인 정보를 기초로 시청자의 눈에 의해 차지될 가능성이 있는 시청 구역에 대한 뷰를 렌더링할 수 있다(2020). 예를 들어, 처리 시스템은 별도로 렌더링된 2D 뷰 또는 더 낮은 해상도 뷰를 렌더링하거나 또는 활용할 수 있고, 이전의 추적 정보를 기초로 시청자의 눈에 의해 차지될 가능성이 있는 시청 구역에 뷰를 디스플레이할 수 있다. 그 후, 관련된 제어 정보는 단계(2008)에서 생성되고, 프로세스는 프로세스가 완료되었는지를 결정하기 위한 결정(2010)으로 다시 진행한다.

다수의 실시예에서, 뷰는 또한, 도 17에 예시된 것과 같이 추적된 눈에 의해 차지되는 시청 구역에 인접한 시청 구역에 대해 렌더링될 수 있다. 여러 실시예에서, 추적된 눈에 의해 차지되는 시청 구역 외부의 이 뷰는 시청자의 눈에 의해 차지되지 않을 수 있는 시청 구역에서 추가적인 뷰를 렌더링하는 것과 연관된 계산 오버헤드를 감소시키기 위해 더 낮은 해상도 및/또는 덜 상세한 깊이 단서로 렌더링될 수 있다. 특정 실시예에서, 2D 뷰는 또한, 도 18에 예시된 바와 같이, 추적된 눈에 의해 차지되지 않은 시청 구역의 일부 또는 전부에서 디스플레이를 위해 렌더링될 수 있다. 다수의 실시예에서, 라이트 필드 디스플레이는 도 16에 예시된 바와 같이 추적된 눈에 의해 차지되지 않은 다수의 시청 구역에 뷰를 디스플레이하지 않는다. 추가적으로, 라이트 필드 디스플레이는 상이한 모드를 가질 수 있거나, 및/또는 시청 구역이 위에서 설명된 바와 같이 주어진 응용의 요건에 적절하게 추적된 눈에 의해 점유되지 않을 때 2D 뷰를 디스플레이하기 위해 이미터를 활성화하는지 또는 이미터를 스위치 오프하는지를 결정하기 위한 결정 로직을 이용할 수 있다.

그 후, 렌더링된 뷰는 적절한 라이트 필드 뷰에 기여하도록 라이트 필드 디스플레이 내의 이미터를 활성화하기 위한 제어 정보를 생성하기(2008) 위해 활용될 수 있다. 다수의 실시예에서, 활성 이미터는 뷰를 디스플레이하는 데 활용되는 이미터이다. 위에서 언급된 바와 같이, 시청 구역은 (예를 들어, 특정 시청 구역이 추적된 눈을 포함할 때) 시청 구역에 대해 구체적으로 렌더링된 뷰, 또는 (2D 뷰 또는 더 낮은 해상도의 뷰와 같은) 다수의 시청 구역에 디스플레이되는 뷰를 디스플레이할 수 있다. 처리 시스템이 라이트 필드 디스플레이의 백플레인(즉, 제어 회로)에 제어 정보를 제공하는 데 요구되는 대역폭이 일반적으로 라이트 필드 디스플레이에 의해 디스플레이되는 뷰의 수에 의존하므로, 제어 정보가 활성 시청 구역에서의 뷰에 기여하는 활성 이미터에만 제공될 때 대역폭은 감소된다. 여러 실시예에서, 처리 시스템은 2D 뷰가 디스플레이되는 시청 구역을 나타내는 메타데이터와 다수의 시청 구역(2D 뷰)에 공통인 뷰를 제공한다. 다수의 실시예에서, 백플레인으로 송신되는 정보의 양은 라이트 필드 디스플레이 제어기가 주어진 각도 픽셀에 물리적인 이미터가 있는 것보다 더 적은 수의 논리적 이미터를 제어하는 것을 가능하게 함으로써 감소될 수 있다. 이 방식으로, 라이트 필드 디스플레이의 이미터 어레이의 백플레인과 제어기 사이의 대역폭 요건이 감소될 수 있다. 나아가, 백플레인 내의 회로는 각도 픽셀 내의 더 많은 수의 이미터에 대한 정보를 제어하기 위해 논리적 이미터에 대한 제어 정보를 보간하는 역할을 하도록 이루어질 수 있다.

예를 들어, 렌즈릿(lenslet)과 조합하여 각도 픽셀을 형성하는 500 × 500 물리적 광 이미터가 있을 수 있다. 하지만, 제어기는 100개의 방향에 대응하는 이미터만을 제어할 수 있다. 예를 들어, 500 × 500 물리적 이미터에 대응하는 논리적 이미터의 10 × 10 그리드에서 각 논리적 이미터에 대해 고유한 색상이 지정될 수 있고, 그 후 대응하는 제어 정보는 백플레인에 의해, 각 논리적 이미터에 대응하는 물리적 이미터의 50 × 50 서브그리드 내의 값을 보간하기 위해 활용될 수 있다. 다른 제어 모드에서, 제어기는 시청자의 추적된 눈에 의해 인지된 뷰에 기여하는 물리적 이미터에 대응하는 100개의 논리적 이미터에 대응하는 논리적 이미터의 특정 세트를 해결할 수 있다. 그 후, 백플레인 제어 회로는 이 100개의 논리적 이미터에 대응하는 제어 정보를 취하고, 활성화를 제어하거나 및/또는 각도 픽셀에서 나머지 물리적 이미터의 색상을 보간할 수 있다. 제어기에 의해 해결되는 특정 논리적 이미터는 인덱스 제공하는 것 및/또는 각도 픽셀을 형성하는 물리적 이미터를 제어하는 더 큰 논리적 이미터의 어레이 내에 서브윈도우를 제공하는 것을 포함하는 (그러나 이에 제한되지 않는) 다수의 방식으로 해결될 수 있다. 나아가, 제어기와 백플레인 사이의 제어 정보는 제어기와 백플레인 사이를 통과하는 제어 정보의 대역폭 요건을 더 감소시키기 위해 인코딩된 실행 길이(run length)일 수 있다.

위에서 참조된 논리적 및 물리적 이미터의 수는 단지 예시로서 제공되며, 라이트 필드 디스플레이는 임의의 수의 이미터의 어레이를 포함하는 각도 픽셀을 사용할 수 있다. 덧붙여, 처리 시스템에 의해 라이트 필드 디스플레이의 백플레인에 제공되는 활성 이미터 및 연관된 메타데이터를 설명하는 특정 제어 정보는 특정 응용의 요건에 크게 의존한다. 또한, 라이트 필드 디스플레이가 시청자의 눈 중 하나 또는 둘 모두의 추적 손실에 응답할 수 있는 특정 방식은 일반적으로 주어진 응용의 요건에 의존한다. 또한, 시선 추적 정보에 부가하여 눈 추적 정보의 가용성은 아래에서 더 논의되는 바와 같이, 추가적인 효율 이득을 가능하게 할 수 있다.

라이트 필드 디스플레이를 통해 디스플레이를 하기 위한 뷰를 렌더링하고, 눈 추적 및/또는 시선 추적 정보를 기초로 라이트 필드 디스플레이의 제어 회로에 활성 픽셀에 대한 제어 정보를 제공하기 위한 다수의 프로세스가 도면을 참조로 위에서 설명되었지만, 다양한 기술 중 임의의 것이 본 발명의 다양한 실시예에 따라 주어진 응용의 요건에 적절하게, 머리, 눈 및/또는 시선 추적 정보를 기초로 뷰를 렌더링하는 시청 구역을 결정하기 위해 활용될 수 있다.

후-렌더링 이미지 워프를 사용하여 가속화된 뷰 합성

다수의 경우에서, 추적된 눈에 의해 차지되는 각 시청 구역에서 디스플레이를 위해 장면의 3D 모델로부터 장면의 뷰를 직접적으로 렌더링하는 데 걸리는 시간은 원하는 디스플레이 프레임 속도를 조절하기에는 너무 느릴 수 있다. 덧붙여, 눈은 디스플레이 주사율(display refresh rate)보다 훨씬 빠르게 움직일 수 있다. 그러므로, 눈 위치는 라이트 필드 디스플레이가 눈에 대한 뷰를 렌더링하는 것을 시작하는 시간 지점, 및 렌더링이 완료되고 뷰가 눈에 디스플레이되는 시간 지점에 변할 수 있다. 따라서, 본 발명의 다수의 실시예에 따른 라이트 필드 디스플레이는 디스플레이되는 뷰가 디스플레이가 리프레시되는 시간 지점에 시청자의 눈의 시점에 적절할 가능성을 증가시키는 방식으로 눈 추적 정보를 기초로 뷰를 원하는 프레임 속도로 렌더링 하기 위해, GPU와 같은 (그러나 이에 제한되지 않는) 병렬 처리 유닛 상에서 실행되는 연속적으로 더 간단하고 더 빠른 렌더러의 캐스케이드(cascade)를 활용하는 이미지 렌더링 파이프라인을 이용한다. 다수의 실시예에서, 초기 렌더러는 수반하는 깊이 맵과 2D 뷰의 세트를 연속적으로 생성하는 병렬 처리 유닛 상에서 구현된다. 그 후, 수반하는 깊이 맵을 갖는 이 2D 뷰는 훨씬 더 빠른 후-처리 3D 및/또는 2D 워프 및 변환을 수행할 수 있어서, 시청자의 눈에 의해 차지되는 시청 구역에 디스플레이되는 최종 뷰가 뷰가 디스플레이되는 시간에 시청 구역 내에서 시청자의 눈의 위치에 가능한 가깝게 대응하는 시점으로부터 렌더링된다. 다시 말해, 뷰 렌더링 파이프라인 내의 각 지점에서 최신 눈 추적 정보가 그 지점에서 수행되는 처리에 공급되며, 따라서 추적된 눈 위치에 대해 더 빠르고 더 정확한 뷰 렌더링을 제공한다.

본 발명의 실시예에 따른 뷰 렌더링 파이프라인(2100)이 도 21에 개념적으로 예시된다. 뷰 렌더링 파이프라인(2100)은 눈 추적기 프로세스(2102)로부터 시청자의 추적된 눈의 위치에 관한 눈 추적 정보를 수신한다. 눈 추적 정보는 현재 이용 가능한 장비를 사용하여 매우 높은 속도(예를 들어, 30kHz)로 리프레시될 수 있다. 초기 3D 렌더링 프로세스(2104)는 수반하는 깊이 맵을 갖는 2D 이미지의 세트가 생성되는 병렬 처리 유닛 상에서 수행될 수 있다. 다수의 실시예에서, 렌더러는 디스플레이의 프레임 속도(예를 들어, 24Hz, 30Hz, 60Hz 등)와 유사한 속도로 이미지의 세트를 생성한다. 여러 실시예에서, 이미지의 세트 및 수반하는 깊이 맵은 검출된 시청자의 수보다 더 많은 다수의 이미지 및 수반하는 깊이 맵을 포함한다. 렌더링 프로세스는 검출된 눈의 시점(또는 근처 시점) 및 추가적인 시점으로부터 이미지 및 깊이 맵을 생성할 수 있다. 아래에서 논의되는 바와 같이, 추가적인 시점은 추적된 눈에 의해 차지되는 시청 구역 내에 디스플레이되는 최종 뷰를 생성하기 위해 보간 및 워핑을 가능하게 한다. 여러 실시예에서, 렌더링된 2D 이미지는 후속하는 워프 및 변환 프로세스를 조절하기 위해 라이트 필드 디스플레이에 의해 디스플레이될 수 있는 뷰보다 더 크고 더 높은 해상도를 갖는 뷰에 대응한다.

도 21을 계속 참조하면, 디스플레이에 이전에, 디스플레이되는 최종 뷰를 생성하기 위해 업데이트된 눈 추적 정보를 기초로 3D 렌더 프로세스(2104)로부터 2D 이미지 및 수반하는 깊이 맵의 세트를 사용하여 일련의 후-렌더링 워프 및 변환이 수행된다. 예시된 실시예에서, 추적된 눈의 업데이트된 위치에 대응하는 시점으로부터 업데이트된 2D 이미지 및 수반하는 깊이 맵을 형성하기 위해, 그의 수반하는 깊이 정보를 기초로 인접한 2D 이미지를 융합하는 후-렌더링 3D 워프 프로세스(2106)가 수행된다. 다수의 실시예에서, 후-렌더링 워프 및 변환은 초기 렌더링 프로세스보다 10배 빠른 프로세스를 사용하여 수행될 수 있다.

추가적인 눈 추적 업데이트가 처리 시스템에 의해 수신될 때, 뷰 렌더링 파이프라인(2100)은 심지어 더 빠른 프로세스를 사용하여 디스플레이하기 전에 렌더링된 뷰를 계속 조정할 수 있다. 이 예시된 실시예에서, 2D 워프 프로세스(2108)는 더 업데이트된 눈 추적 정보에 응답하여 업데이트된 2D 이미지를 조정하기 위해 2D 워프 및 변환을 적용하기 위해 활용된다. 여러 실시예에서, 2D 워프 프로세스(2108)는 3D 워프 프로세스(2106)보다 10배 더 빠르다. 이 2D 워프된 이미지는 라이트 필드 디스플레이로부터 디스플레이될 출력으로서 전송되기 전에 최종 눈 추적 위치를 기초로 상당히 빠른 2D 변환 프로세스(2110)를 사용하여 최종적으로 조정될 수 있다. 특정 실시예에서, 2D 변환 프로세스(2110)는 2D 워프 프로세스(2108)보다 10배 더 빠를 수 있고, 눈 추적 프로세스의 샘플링 속도와 비슷한 속도로 2D 워프 프로세스를 수행할 수 있다. 이 방식으로, 특정 시청 구역에 디스플레이되는 뷰는 각 시청자의 눈의 가장 최근에 추적된 위치에 가능한 한 가깝게 대응하는 시점으로부터 렌더링된다. 위에서 언급된 바와 같이, 단순히 시청자의 눈에 의해 차지되는 특정 시청 구역과 반대로 시청자의 눈 위치에 특정한 뷰를 렌더링하기 위한 능력은 시청자에 의해 인지된 깊이-의존 앨리어싱 및 다른 아티팩트의 정도를 상당히 낮출 수 있다.

도 21을 참조하여 업데이트된 눈 추적 정보에 의존하는 방식으로 병렬 처리 유닛을 사용하여 뷰를 렌더링하기 위한 특정 프로세스가 위에서 설명되었지만, 다양한 렌더링 프로세스 및/또는 파이프라인 중 임의의 것이 비디오 콘텐츠가 인코딩되는 특정 응용 및/또는 방식의 요건에 적합하게 활용될 수 있다. 다수의 실시예에서, 비디오 콘텐츠는 장면의 3D 모델을 사용하여 생성된다. 여러 실시예에서, 비디오 콘텐츠는 다수의 인코딩된 2D 이미지 및 하나 이상의 압축되지 않은 또는 압축된 깊이 맵 및/또는 오클루전 맵을 제공하는 다중뷰 비디오 코덱을 사용하여 인코딩된다. 따라서, 이미지 처리 파이프라인이 후속하는 3D 및/또는 2D 워프 및 변환 프로세스에서 활용될 수 있는 2D 이미지 및 수반하는 깊이 맵의 초기 세트를 렌더링하는 방식은 특정 응용의 요건에 크게 의존한다.

위의 설명은 본 발명의 다수의 특정 실시예를 포함하지만, 이는 본 발명의 범주에 대한 제한으로 해석되어서는 안 되며 오히려 그의 특정 실시예의 예시로서 해석되어야 한다. 예를 들어, 위의 논의는 눈 추적기를 통합하는 라이트 필드 디스플레이를 자주 참조한다. 쉽게 인식될 수 있는 바와 같이, 위에서 설명된 시스템 및 프로세스 중 다수는 머리 추적 및/또는 시선 추적 정보를 캡처하는 디스플레이 내에 및/또는 종래의 다중뷰 무안경 입체 디스플레이에 구현될 수 있다. 추가적으로, 상이한 시청자를 구별하기 위한 얼굴 인식 또는 다른 방식이 눈 추적 시스템에 통합되면, 명시적 사용자 인식 및 사용자-특정, 개인화된(즉, 다른 사용자가 시청할 수 없는) 콘텐츠의 렌더링이 구현될 수 있다. 완전한 무안경 입체 시청 경험의 서브세트로서, 위에서 설명된 개념의 다른 확장은 단일의 또는 다수의 사용자를 위한 다중뷰 디스플레이 상에 추적된 스테레오 뷰를(즉, 두 개의 뷰만을) 나타내는 것일 것이다.

다시 말해서, 위에 설명된 실시예의 양상 중 일부는, 예를 들어 다음을 포함한다:

- 하나 이상의 눈 추적기를 포함하는 눈 추적 시스템과 통합되고, 적어도 한 명의 시청자의 눈의 추적된 위치를 기초로 뷰 렌더링을 제공하는 다중뷰 무안경 입체 디스플레이의 조합.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 디스플레이가 각도 픽셀의 어레이를 포함하고, 각 각도 픽셀이 복수의 이미터를 포함함 -. 일부 실시예에서, 각도 픽셀은 하나 이상의 마이크로렌즈 및 다른 광학 요소를 포함한다.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 눈 추적 시스템은 계층적인 추적 프로세스를 사용하여 적어도 한 명의 시청자의 눈을 추적함 -.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 이미지 해상도, 뷰의 밀도 및 렌더링된 뷰의 (2차원 또는 3차원) 뷰의 타입은 추적된 눈 위치에 의존함 -.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 눈이 위치된 그 시청 구역 외부의 뷰는 턴 오프됨 -.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 더 높은 해상도 또는 밀도의 뷰를 갖는 뷰는 눈 또는 시선이 추적되는 적어도 하나의 포비티드 영역에 제공됨 -.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 디스플레이의 다수의 시청자의 눈이 추적됨 -. 일부 실시예에서, 하나의 눈 추적기는 다수의 시청자의 눈을 추적한다. 다른 실시예에서, 다수의 눈 추적기는 다수의 시청자의 눈을 추적하는 데 사용된다.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 눈 추적 정보에 따라 상이한 시청 구역에서 상이한 뷰가 제공됨 -. 시청자(들)의 눈이 위치되는 시청 구역에 더 높은 해상도 또는 더 높은 밀도의 뷰가 제공될 수 있다. 시청자(들)의 눈이 위치되지 않은 시청 구역에는, 더 낮은 해상도 또는 더 낮은 밀도의 뷰, 2차원 전용 뷰가 제공되거나 또는 어떠한 뷰도 제공되지 않을 수 있다. 특정 시청 구역에 제공된 뷰를 수정하기 위한 결정은 또한, 눈 추적 정보가 올바른 것으로 간주되는 신뢰도를 고려할 수 있다. 이 방식으로, 디스플레이 에너지 소비 및/또는 이미지 처리 및 데이터 전달 대역폭의 절감이 달성될 수 있다.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 처리 시스템은 시청 구역 사이의 광학 크로스토크(예를 들어, 고스팅, 앨리어싱) 및 비-이상적인 광학 요소 및/또는 이미터 성능으로부터 초래될 수 있는 픽셀-레벨 광학 크로스토크와 같이, 이미지 품질에 영향을 미치는 다양한 인자 중 적어도 하나를 완화하기 위한 각도 픽셀을 제어하기 위해 전송된 제어 정보를 최적화하도록 더 구성됨 -.

- 눈 추적 시스템과 통합된 다중뷰 무안경 입체 디스플레이 - 처리 시스템 내의 뷰 렌더링 파이프라인은 시청자에게 보여지는 이미지 품질을 개선하면서 뷰 렌더링 프로세스에 요구되는 계산 대역폭을 감소시키기 위해, 뷰 렌더링 프로세스 동안 업데이트된 눈 추적 정보를 고려함 -.

따라서, 본 발명의 범주는 예시된 실시예가 아니라, 첨부된 청구범위 및 그의 균등물에 의해 결정되어야 한다.

Claims (21)

1. 시청자에게 복수의 뷰(views)를 제공하기 위한 다중뷰 무안경 입체 디스플레이(multiview autostereoscopic display)로서,
   각도 픽셀의 어레이를 포함하는 디스플레이 영역으로서,
   각 각도 픽셀은 그 각도 픽셀의 시야를 가로질러 변하는 광을 방출하도록 구성되고; 및
   상기 각도 픽셀의 어레이는 상기 디스플레이의 시야를 가로질러 상이한 시청 구역에 상이한 뷰를 디스플레이하도록 구성되는, 상기 디스플레이 영역;
   특정 시청 구역 내에서 상기 시청자의 눈의 존재를 검출하고, 상기 특정 시청 구역 내에서 그렇게 검출된 상기 눈의 위치에 관련된 눈 추적 정보를 생성하도록 구성된 적어도 하나의 눈 추적기; 및
   처리 시스템으로서, 상기 처리 시스템은:
   그 눈이 검출된 상기 시청 구역 내에서 그 눈의 위치를 기초로 그렇게 검출된 상기 눈의 각 눈에 대한 특정 뷰를 렌더링하고; 및
   그 눈에 대한 상기 특정 뷰가 그 눈이 검출된 상기 시청 구역에 디스플레이되게 하기 위해 상기 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 구성되는, 상기 처리 시스템을 포함하는, 다중뷰 무안경 입체 디스플레이.
2. 제1항에 있어서, 상기 처리 시스템은 그 눈이 이전에 검출된 상기 시청 구역 내에서 그 눈에 대한 업데이트된 위치를 기초로 그렇게 검출된 상기 눈의 각 눈에 대한 업데이트된 뷰를 렌더링하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
3. 제2항에 있어서, 상기 처리 시스템은 상기 검출된 눈에 대한 이전의 위치와 상기 검출된 눈에 대한 상기 업데이트된 위치 사이의 상대적인 움직임을 기초로 상기 업데이트된 뷰를 렌더링하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
4. 제1항에 있어서, 상기 적어도 하나의 눈 추적기는 상기 시청자의 위치를 결정하는 것, 그렇게 결정된 상기 시청자의 상기 위치를 기초로 상기 시청자의 머리의 위치를 결정하는 것, 및 그렇게 결정된 상기 시청자의 상기 머리의 상기 위치를 기초로 상기 시청자의 눈의 위치를 결정하는 것을 포함하는 계층적인 눈 추적 프로세스를 수행함으로써, 상기 특정 시청 구역 내에서 상기 검출된 눈의 위치를 검출하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
5. 제1항에 있어서, 상기 처리 시스템은 눈 추적 정보를 기초로 특정 시청 구역에서의 디스플레이를 위해 감소된 해상도 뷰, 감소된 밀도 뷰 및 2차원 뷰 중 적어도 하나를 렌더링하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
6. 제5항에 있어서,
   상기 눈 추적 정보는 추적된 눈 위치와 연관된 불확실성의 레벨을 나타내는 신뢰도 정보를 포함하고, 및
   상기 처리 시스템은 상기 신뢰도 정보에 따라 상기 렌더링을 조정하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
7. 제1항에 있어서, 상기 처리 시스템은 특정 시청 구역에서의 뷰의 디스플레이를 방지하기 위해 눈 추적 정보를 기초로 상기 각도 픽셀의 어레이 내에서 이미터의 활성화를 제어하기 위해 제어 정보를 생성하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
8. 제1항에 있어서, 상기 처리 시스템은 그 눈이 검출된 상기 시청 구역 내의 그 눈의 위치를 기초로 및 결정된 시청자 특정 동공-간 거리에 의해 제약된 방식으로, 그렇게 검출된 상기 눈의 각 눈에 대한 특정 뷰를 렌더링하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
9. 제1항에 있어서,
   상기 적어도 하나의 눈 추적기는 상기 시청자의 각 검출된 눈에 대한 시선 방향을 결정하도록 구성된 적어도 하나의 시선 추적기를 포함하고; 및
   상기 처리 시스템은 상기 눈이 검출된 상기 시청 구역 내에서 상기 검출된 눈의 위치 및 상기 검출된 눈의 상기 시선 방향을 기초로 각 검출된 눈에 대한 특정 뷰를 렌더링하도록 구성되는, 다중뷰 무안경 입체 디스플레이.
10. 제1항에 있어서,
    상기 처리 시스템은 복수의 논리적 이미터(emitters)에 대한 제어 정보를 생성하도록 구성되고, 및
    상기 디스플레이 영역은 상기 복수의 논리적 이미터에 대한 상기 제어 정보를 수신하고, 상기 디스플레이 영역에서 상기 각도 픽셀의 어레이에 대한 정보를 제어하기 위해 상기 복수의 논리적 이미터에 대한 상기 제어 정보를 보간하도록 구성되는 백플레인 회로(backplane circuitry)를 더 포함하는, 다중뷰 무안경 입체 디스플레이.
11. 제1항에 있어서,
    상기 다중뷰 무안경 입체 디스플레이는 제1 시청자 및 제2 시청자에 의해 시청 가능한 뷰를 제공하도록 구성되고,
    상기 적어도 하나의 눈 추적기는 상기 제1 시청자 및 상기 제2 시청자의 눈을 동시에 추적하도록 더 구성되며, 및
    상기 처리 시스템은:
    상기 제1 시청자의 각 검출된 눈에 대한 제1 장면을 기초로 특정 뷰를 렌더링하고,
    상기 제2 시청자의 각 검출된 눈에 대한 제2 장면을 기초로 추가적인 뷰를 렌더링하고 - 상기 제2 장면은 상기 제1 장면과 적어도 부분적으로 상이함 -, 및
    동시에,
    상기 제1 시청자의 상기 눈이 검출된 시청 구역에 상기 제1 시청자의 각 검출된 눈에 대한 상기 특정 뷰가 디스플레이되고; 및
    상기 제2 시청자의 눈이 검출된 시청 구역에 상기 제2 시청자의 각 검출된 눈에 대한 추가적인 뷰가 디스플레이되도록, 상기 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
12. 제11항에 있어서, 상기 처리 시스템에 의해 그렇게 생성된 상기 제어 정보는 상기 제1 시청자 및 상기 제2 시청자의 눈 중 적어도 하나가 검출된 상기 시청 구역 외부에 뷰가 디스플레이되지 않게 하는, 다중뷰 무안경 입체 디스플레이.
13. 제1항에 있어서,
    상기 다중뷰 무안경 입체 디스플레이는 제1 시청자 및 제2 시청자에 의해 시청 가능한 뷰를 제공하도록 구성되고,
    상기 적어도 하나의 눈 추적기는 상기 제1 시청자의 눈을 추적하기 위한 제1 눈 추적기 및 상기 제2 시청자의 눈을 추적하기 위한 제2 눈 추적기를 포함하고, 및
    상기 처리 시스템은:
    상기 제1 시청자의 각 검출된 눈에 대한 제1 장면을 기초로 특정 뷰를 렌더링하고,
    상기 제2 시청자의 각 검출된 눈에 대한 제2 장면을 기초로 추가적인 뷰를 렌더링하고 - 상기 제2 장면은 상기 제1 장면과 적어도 부분적으로 상이함 -, 및
    동시에,
    상기 제1 시청자의 상기 눈이 검출된 시청 구역에 상기 제1 시청자의 각 검출된 눈에 대한 상기 특정 뷰가 디스플레이되고; 및
    상기 제2 시청자의 눈이 검출된 상기 시청 구역에 상기 제2 시청자의 각 검출된 눈에 대한 추가적인 뷰가 디스플레이되도록, 상기 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
14. 제13항에 있어서, 상기 처리 시스템에 의해 그렇게 생성된 상기 제어 정보는 상기 제1 시청자 및 상기 제2 시청자의 눈 중 적어도 하나가 검출된 상기 시청 구역 외부에 뷰가 디스플레이되지 않게 하는, 다중뷰 무안경 입체 디스플레이.
15. 다중뷰 무안경 입체 디스플레이로서,
    각도 픽셀의 어레이를 포함하는 디스플레이 영역으로서,
    각 각도 픽셀은 그 각도 픽셀의 시야를 가로 질러 변하는 광을 방출하도록 구성되고, 상기 각도 픽셀은 복수의 이미터 및 광학계를 포함하고, 상기 복수의 이미터 중 적어도 일부는 상기 디스플레이 영역으로부터 특정 광선 방향으로 주어진 강도로 방출된 광에 기여하는, 상기 디스플레이 영역;
    상기 각도 픽셀의 어레이에 대한 교정 정보를 저정하도록 구성된 메모리; 및
    처리 시스템으로서,
    상기 각도 픽셀의 어레이의 상기 시야를 가로질러 특정 시청 구역에 복수의 타겟 뷰를 렌더링하고,
    상기 복수의 타겟 뷰가 생성될 상기 특정 시청 구역에서의 복수의 타겟 뷰를 기초로 상기 디스플레이 영역으로부터 광선 방향의 세트에 대한 타겟 강도를 결정하고,
    상기 교정 정보 및 상기 타겟 강도를 기초로 상기 디스플레이 영역에서의 상기 각도 픽셀에서 상기 복수의 이미터에 대한 제어 정보를 생성하며, 및
    상기 제어 정보를 기초로 상기 각도 픽셀을 사용하여 복수의 라이트 필드 뷰를 생성하도록 구성되는, 상기 처리 시스템을 포함하는, 다중뷰 무안경 입체 디스플레이.
16. 제15항에 있어서,
    상기 다중뷰 무안경 입체 디스플레이의 시청자의 눈의 위치를 결정하고 상기 위치를 포함하는 눈 추적 정보를 생성하도록 구성된 적어도 하나의 눈 추적기를 더 포함하고,
    상기 처리 시스템은 상기 눈 추적 정보에 적어도 부분적으로 기초하여 상기 광선 방향의 세트를 선택하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
17. 제16항에 있어서, 상기 제어 정보를 생성하는 것은 상기 눈 추적 정보를 기초로 그렇게 검출된 상기 시청자의 상기 눈의 위치에서 라이트 필드 뷰에 기여하는 이미터를 포함하는 각도 픽셀의 서브세트를 식별하는 것을 더 포함하는, 다중뷰 무안경 입체 디스플레이.
18. 시청자에게 복수의 뷰(views)를 제공하기 위한 다중뷰 무안경 입체 디스플레이(multiview autostereoscopic display)로서,
    각도 픽셀의 어레이를 포함하는 디스플레이 영역;
    눈 추적기; 및
    처리 시스템을 포함하고,
    각 각도 픽셀은 그 각도 픽셀의 시야를 가로질러 변하는 광을 방출하도록 구성되고,
    상기 각도 픽셀의 어레이는 상기 디스플레이의 시야를 가로질러 상이한 시청 구역에 상이한 뷰를 디스플레이하도록 구성되고,
    상기 눈 추적기는 특정 시청 구역 내에서 상기 시청자의 눈의 존재를 검출하고, 상기 특정 시청 구역 내에서 그렇게 검출된 상기 눈의 위치에 관련된 눈 추적 정보를 생성하도록 구성되고,
    상기 처리 시스템은 그 눈이 검출된 상기 시청 구역 내에서 그렇게 검출된 상기 눈의 각 눈에 대한 특정 뷰를 렌더링하도록 구성되고, 및
    상기 처리 시스템은 그렇게 검출된 상기 눈의 각 눈에 대한 상기 특정 뷰가 그 눈이 검출된 상기 시청 구역에 디스플레이 되게 하기 위해 상기 각도 픽셀의 어레이에 대한 제어 정보를 생성하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
19. 제18항에 있어서, 상기 처리 시스템은 상기 눈 추적 정보를 기초로 특정 시청 구역에서의 디스플레이를 위한 감소된 해상도 뷰, 감소된 밀도 뷰 및 2차원 뷰 중 적어도 하나를 렌더링하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.
20. 제18항에 있어서, 상기 제어 정보는 그 눈이 검출된 상기 시청 구역 외부의 뷰에 기여하는 이미터의 일부를 턴 오프하기 위해 상기 눈 추적 정보를 기초로 상기 각도 픽셀의 어레이 내의 상기 이미터의 활성화를 제어하도록 상기 각도 픽셀의 어레이에 대한 활성화 정보를 포함하는, 다중뷰 무안경 입체 디스플레이.
21. 제18항에 있어서, 상기 처리 시스템은 앨리어싱(aliasing), 고스팅(ghosting), 시청 구역 사이의 광학 크로스토크(optical crosstalk), 및 픽셀-레벨 광학 크로스토크 중 적어도 하나를 완화하기 위한 제어 정보를 최적화하도록 더 구성되는, 다중뷰 무안경 입체 디스플레이.

Images