KR20230131899A - 멀티뷰 파일 형식 검출 시스템 및 방법 - Google Patents

Abstract

시스템들 및 방법들은 멀티뷰 형식 검출에 관한 것이다. 복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지가 액세스된다. 멀티뷰 이미지를 멀티뷰 이미지의 시프트된 복사본과 자기상관시킴으로써 멀티뷰 이미지로부터의 교차상관 맵이 생성될 수 있다. 교차상관 값들의 세트를 식별하기 위해 교차상관 맵의 복수의 미리 정의된 위치들에서 교차상관 맵이 샘플링될 수 있다. 교차상관 값들의 세트를 포함하는 멀티뷰 이미지의 특징 세트를 분류함으로써 멀티뷰 이미지의 멀티뷰 형식이 검출될 수 있다. 멀티뷰 이미지는 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 렌더링되도록 구성될 수 있다.

Description

멀티뷰 파일 형식 검출 시스템 및 방법

관련 출원에 대한 상호 참조

본 출원은, 그 전체가 본 명세서에 참조로서 통합되는, 2021년 02월 25일에 출원된 미국 가출원 제 63/153,917호의 우선권 이익을 주장한다.

연방 후원 연구 또는 개발에 관한 진술

N/A

멀티뷰 디스플레이는 기존의 2D 컨텐츠에 비해 더욱 몰입감 있는 시청 경험을 제공하는 새로운 디스플레이 기술이다. 멀티뷰 컨텐츠는 정지 이미지들 또는 일련의 비디오 프레임들을 포함할 수 있으며, 각각의 멀티뷰 이미지(예를 들어, 화상 또는 프레임)는 장면의 상이한 뷰들을 포함한다. 멀티뷰 컨텐츠를 수신하고 처리하는 종단 장치는 수신된 멀티뷰 컨텐츠가 종단 장치 상에 디스플레이될 수 있도록 이를 고유한 또는 로컬 형식으로 변환하는 역할을 한다. 멀티뷰 컨텐츠는 다양한 공급원들로부터 수신될 수 있다.

본 명세서에 설명된 원리들에 따른 예들 및 실시 예들의 다양한 특징들은 동일한 도면 부호가 동일한 구조적 요소를 나타내는 첨부된 도면과 관련하여 취해진 다음의 상세한 설명을 참조하여 보다 용이하게 이해될 수 있다.
도 1은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 일 예로서 멀티뷰 이미지를 도시한다.
도 2는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 멀티뷰 디스플레이의 일 예를 도시한다.
도 3은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하는 일 예를 도시한다.
도 4는 본 명세서에서 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 이미지로부터 교차상관 맵을 생성하는 일 예를 도시한다.
도 5는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 상이한 멀티뷰 형식들로부터 생성된 다양한 교차상관 맵들의 일 예를 도시한다.
도 6은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 교차상관 맵을 샘플링하는 일 예를 도시한다.
도 7은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 이미지의 멀티뷰 형식을 검출하는 일 예를 도시한다.
도 8은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 멀티뷰 이미지를 렌더링하는 일 예를 도시한다.
도 9는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 형식들을 검출하도록 구성된 멀티뷰 디스플레이 시스템의 기능의 일 예를 제공하는 흐름도이다.
도 10은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 멀티뷰 디스플레이 시스템의 예시적인 실례를 묘사하는 개략적인 블록도이다.
일부 예들 및 실시 예들은 전술한 도면들에 도시된 특징들에 부가되거나 그 대신에 포함되는 다른 특징들을 갖는다. 이들 및 다른 특징들은 전술한 도면을 참조하여 이하에서 설명된다.

본 명세서에 설명된 원리들에 따른 예들 및 실시 예들은 멀티뷰 디스플레이 시스템이 멀티뷰 이미지를 적절하게 처리하고 렌더링할 수 있게끔 하기 위해 멀티뷰 이미지의 멀티뷰 형식을 검출하는 기법들을 제공한다. 멀티뷰 이미지 파일들은 다양한 형식들로 뷰 이미지들을 배열할 수 있다. 멀티뷰 이미지를 처리, 렌더링 및 디스플레이하는 작업을 수행하는 종단 장치는 뷰 이미지들이 배열되는 방식에 대한 정보를 필요로 할 수 있다. 사용자에게 의존하여 멀티뷰 형식을 수동으로 지정하면 멀티뷰 이미지를 렌더링하는 작업 흐름에 지장을 줄 수 있다. 또한, 일반적으로 프로세스를 자동화하면, 특히 반복적인 패턴들 또는 텍스처들이 있는 이미지의 경우, 부정확한 결과가 초래될 수 있다. 실시 예들은 멀티뷰 이미지의 특징들을 추출하고 특징들을 분류함으로써 멀티뷰 형식을 자동으로 검출하는 것에 관한 것이다. 이러한 실시 예들의 결과는 매우 정확하고 자율적인 멀티뷰 형식 분류를 제공할 수 있다. 예를 들어, 일부 실시 예들에서, 하나의 특징은 교차상관 값들(cross-correlation values)의 세트일 수 있다. 교차상관 값들은 교차상관 맵을 생성하기 위해 멀티뷰 이미지에 대해 자기상관(auto-correlation) 연산을 수행함으로써 결정된다. 교차상관 맵은 멀티뷰 이미지 내의 반복들(repetitions)의 위치를 나타내는 이미지로서 시각화될 수 있는 행렬이다. 교차상관 맵은 교차상관 값들을 기반으로 특징을 생성하기 위해 미리 정의된 위치들에서 샘플링될 수 있다. 예를 들어 종횡비를 포함하는, 다른 특징들이 멀티뷰 이미지로부터 추출될 수 있다. 런타임 동안의 멀티뷰 형식 검출을 위해, 분류기(classifier)는 이러한 특징 세트로 멀티뷰 이미지들을 분류하는 방법에 대해 훈련된다.

도 1은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 일 예로서 멀티뷰 이미지를 도시한다. 멀티뷰 이미지(103)는 멀티뷰 비디오 스트림으로부터의 정적 화상 또는 비디오 프레임일 수 있다. 멀티뷰 이미지(103)는 복수의 뷰 이미지들(106)(예를 들어, 뷰들(views))을 갖는다. 뷰 이미지들(106) 각각은 상이한 주 각도 방향(principle angular direction; 109)(예를 들어, 좌측 뷰, 우측 뷰 등)에 대응된다. 뷰 이미지들(106)은 멀티뷰 디스플레이(112) 상에서 렌더링된다. 각각의 뷰 이미지(106)는 멀티뷰 이미지(103)의 장면의 상이한 시야각을 나타낸다. 따라서, 상이한 뷰 이미지들(106)은 서로에 대해 어느 정도의 시차를 갖는다. 시청자(viewer)는 자신의 우안으로 하나의 뷰 이미지(106)를 지각하면서 자신의 좌안으로 다른 뷰 이미지(106)를 지각할 수 있다. 이를 통해 시청자는 상이한 뷰 이미지들(106)을 동시에 지각할 수 있고, 그럼으로써 3차원(3D) 효과를 경험할 수 있다.

일부 실시 예들에서, 시청자가 멀티뷰 디스플레이(112)에 대해 자신의 시야각을 물리적으로 변경함에 따라, 시청자의 두 눈은 멀티뷰 이미지(103)의 상이한 뷰들을 포착할 수 있다. 그 결과, 시청자는 멀티뷰 이미지(103)의 상이한 뷰 이미지들(106)을 보기 위해 멀티뷰 디스플레이(112)와 상호작용할 수 있다. 예를 들어, 시청자가 좌측으로 이동함에 따라, 시청자는 멀티뷰 이미지(103)에서 장면의 좌측을 더 많이 볼 수 있다. 멀티뷰 이미지(103)는 수평 평면을 따라 복수의 뷰 이미지들(106)을 가질 수 있거나, 수직 평면을 따라 복수의 뷰 이미지들(106)을 가질 수 있거나, 또는 이들 두 경우 모두에 해당될 수 있다. 따라서, 사용자가 상이한 뷰 이미지들(106)을 보기 위해 시야각을 변경함에 따라, 시청자는 멀티뷰 이미지(103)에 표현되는 장면의 추가적인 시각적 세부 사항들을 획득할 수 있다.

전술한 바와 같이, 각각의 뷰 이미지(106)는 멀티뷰 디스플레이(112)에 의해 상이한 대응하는 주 각도 방향들(109)에서 제공된다. 디스플레이를 위해 멀티뷰 이미지(103)를 제공하는 경우, 뷰 이미지들(106)은 실제로 멀티뷰 디스플레이(112) 상에 또는 그 부근에 나타날 수 있다. 이러한 점에서, 렌더링된 멀티뷰 컨텐츠는 라이트필드(lightfield) 컨텐츠로 지칭될 수 있다. 라이트필드 컨텐츠를 관찰하는 특성은 동시에 상이한 뷰들을 관찰할 수 있는 능력이다. 라이트필드 컨텐츠는 시청자에게 깊이감을 전달하기 위해 스크린의 전방뿐만 아니라 스크린의 후방에 나타날 수 있는 시각적 이미지를 포함한다.

2D 디스플레이는, 2D 디스플레이가 일반적으로 멀티뷰 이미지(103)의 상이한 뷰들과는 대조적으로 단일 뷰(예를 들어, 뷰들 중 오직 하나)를 제공하도록 구성된다는 점을 제외하고는, 멀티뷰 디스플레이(112)와 실질적으로 유사할 수 있다. 본 명세서에서, '2차원 디스플레이' 또는 '2D 디스플레이'는 이미지가 보여지는 방향에 관계 없이 (즉, 2D 디스플레이의 미리 정의된 시야각 또는 시야 범위 내에서) 실질적으로 동일한 이미지의 뷰를 제공하도록 구성된 디스플레이로서 정의된다. 많은 스마트 폰들 및 컴퓨터 모니터들에서 찾아볼 수 있는 통상적인 액정 디스플레이(LCD)가 2D 디스플레이들의 예들이다. 대조적으로, 본 명세서에서, '멀티뷰 디스플레이(multiview display)'는 사용자의 관점으로부터, 동시에 상이한 뷰 방향들로 또는 상이한 뷰 방향들로부터 멀티뷰 이미지의 상이한 뷰들을 제공하도록 구성된 전자 디스플레이 또는 디스플레이 시스템으로서 정의된다. 특히, 상이한 뷰들(106)은 멀티뷰 이미지(103)의 상이한 관점 뷰들(perspective views)을 나타낼 수 있다.

멀티뷰 디스플레이(112)는 상이한 이미지 뷰들이 동시에 지각되도록 상이한 이미지 뷰들의 표현을 수용하는 다양한 기술들을 이용하여 구현될 수 있다. 멀티뷰 디스플레이의 일 예는 상이한 뷰 이미지들(106)의 주 각도 방향들을 제어하기 위해 광을 산란시키는 멀티빔 소자들을 채용하는 것이다. 일부 실시 예들에 따르면, 멀티뷰 디스플레이(112)는, 상이한 뷰들에 대응되는 상이한 방향들 및 상이한 색상들의 복수의 광빔들을 제공하는 라이트필드(lightfield) 디스플레이일 수 있다. 일부 예들에서, 라이트필드 디스플레이는, 깊이를 지각하기 위한 특별한 아이웨어(eyewear)를 착용할 필요 없이, 멀티빔 소자들(예를 들어, 회절 격자들)을 이용하여 멀티뷰 이미지들의 오토스테레오스코픽(autostereoscopic) 표현들을 제공할 수 있는 소위 '안경 불필요' 3 차원(3D) 디스플레이이다.

도 2는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 멀티뷰 디스플레이의 일 예를 도시한다. 멀티뷰 디스플레이(112)는 멀티뷰 모드로 동작하는 경우 라이트필드 컨텐츠를 생성할 수 있다. 일부 실시 예들에서, 멀티뷰 디스플레이(112)는 그 동작 모드에 따라 멀티뷰 이미지들뿐만 아니라 2D 이미지들을 렌더링한다. 예를 들어, 멀티뷰 디스플레이(112)는 상이한 모드들에서 동작하도록 복수의 백라이트들을 포함할 수 있다. 멀티뷰 디스플레이(112)는 광각 백라이트(115)를 이용하여 2D 모드 동안 광각 방출광을 제공하도록 구성될 수 있다. 또한, 멀티뷰 디스플레이(112)는 멀티빔 소자들의 어레이를 갖는 멀티뷰 백라이트(118)를 이용하여 멀티뷰 모드 동안 지향성 방출광을 제공하도록 구성될 수 있으며, 지향성 방출광은 멀티빔 소자 어레이의 각각의 멀티빔 소자에 의해 제공되는 복수의 지향성 광빔들을 포함한다. 일부 실시 예들에서, 멀티뷰 디스플레이(112)는 모드 제어기(121)를 이용하여 2D 모드 및 멀티뷰 모드를 시간 다중화하여, 2D 모드에 대응되는 제 1 순차 시간 구간 동안 광각 백라이트(115)를 그리고 멀티뷰 모드에 대응되는 제 2 순차 시간 구간 동안 멀티뷰 백라이트(118)를, 순차적으로 활성화시키도록 구성될 수 있다. 지향성 광빔의 지향성 광빔들의 방향들은 멀티뷰 이미지(103)의 상이한 뷰 방향들에 대응될 수 있다. 모드 제어기(121)는 광각 백라이트(115) 또는 멀티뷰 백라이트(118)를 활성화시키기 위해 모드 선택 신호(124)를 생성할 수 있다.

2D 모드에서, 광각 백라이트(115)는, 멀티뷰 디스플레이(112)가 2D 디스플레이처럼 동작하도록, 이미지들을 생성하는 데 이용될 수 있다. 정의에 의하면, '광각(broad-angle)' 방출광(emitted light)은 멀티뷰 이미지 또는 멀티뷰 디스플레이의 뷰의 원추각(cone angle)보다 더 큰 원추각을 갖는 광으로서 정의된다. 특히, 일부 실시 예들에서, 광각 방출광은 약 20도 초과(예를 들어, > ± 20°)의 원추각을 가질 수 있다. 다른 실시 예들에서, 광각 방출광의 원추각은 약 30도 초과(예를 들어, > ± 30°), 또는 약 40도 초과(예를 들어, > ± 40°), 또는 50도 초과(예를 들어, > ± 50°)일 수 있다. 예를 들어, 광각 방출광의 원추각은 약 60도(예를 들어, > ± 60°)일 수 있다.

멀티뷰 모드는 광각 백라이트(115) 대신 멀티뷰 백라이트(118)를 이용할 수 있다. 멀티뷰 백라이트(118)는 서로 상이한 주 각도 방향들을 갖는 복수의 지향성 광빔들로서 광을 산란시키는 멀티빔 소자들의 어레이를 상부 또는 하부 표면 상에 가질 수 있다. 예를 들어, 멀티뷰 디스플레이(112)가 4개의 뷰들을 갖는 멀티뷰 이미지를 디스플레이하기 위해 멀티뷰 모드에서 동작하는 경우, 멀티뷰 백라이트(118)는 4개의 지향성 광빔들로 광을 산란시킬 수 있으며, 각각의 지향성 광빔은 상이한 뷰에 대응된다. 모드 제어기(121)는, 멀티뷰 백라이트를 이용하여 제 1 순차 시간 구간에 멀티뷰 이미지가 디스플레이되고 광각 백라이트를 이용하여 제 2 순차 시간 구간에 2D 이미지가 디스플레이되도록, 2D 모드와 멀티뷰 모드 사이를 순차적으로 전환할 수 있다. 지향성 광빔들은 미리 결정된 각도들에 있을 수 있으며, 각각의 지향성 광빔은 멀티뷰 이미지의 상이한 뷰에 대응된다.

일부 실시 예들에서, 멀티뷰 디스플레이(112)의 각각의 백라이트는 도광체 내에서 광을 안내된 광으로서 안내하도록 구성된다. 본 명세서에서, '도광체(light guide)'는 내부 전반사(total internal reflection; TIR)를 이용하여 그 내에서 광을 안내하는 구조물로서 정의된다. 특히, 도광체는 도광체의 동작 파장(operational wavelength)에서 실질적으로 투명한 코어(core)를 포함할 수 있다. 다양한 예들에서, '도광체(light guide)'라는 용어는 일반적으로 도광체의 유전체 재료와 도광체를 둘러싸는 재료 또는 매질 사이의 경계에서 광을 안내하기 위해 내부 전반사를 이용하는 유전체 광학 도파로(dielectric optical waveguide)를 지칭한다. 정의에 의하면, 내부 전반사를 위한 조건은 도광체의 굴절률이 도광체 재료의 표면에 인접한 주변 매질의 굴절률보다 커야 한다는 것이다. 일부 실시 예들에서, 도광체는 내부 전반사를 더 용이하게 하기 위해 전술한 굴절률 차이에 부가하여 또는 그에 대신하여 코팅(coating)을 포함할 수 있다. 예를 들어, 코팅은 반사 코팅일 수 있다. 도광체는 판(plate) 또는 슬래브(slab) 가이드 및 스트립(strip) 가이드 중 하나 또는 모두를 포함하는, 그러나 이에 제한되지 않는, 다양한 도광체들 중 임의의 것일 수 있다. 도광체는 판 또는 슬래브와 같은 형태일 수 있다. 도광체는 광원(예를 들어, 광 방출 소자)에 의해 에지 릿(edge lit)될 수 있다.

일부 실시 예들에서, 멀티뷰 디스플레이(112)의 멀티뷰 백라이트(118)는 멀티빔 소자 어레이의 멀티빔 소자들을 이용하여 안내된 광의 일부를 지향성 방출광으로서 산란시키도록 구성되며, 멀티빔 소자 어레이의 각각의 멀티빔 소자는 회절 격자, 미세 굴절성 소자 및 미세 반사성 소자 중 하나 이상을 포함한다. 일부 실시 예들에서, 멀티빔 소자의 회절 격자는 복수의 개별 서브 격자들을 포함할 수 있다. 일부 실시 예들에서, 미세 반사성 소자는 안내된 광의 일부를 복수의 지향성 광빔들로서 반사적으로 커플 아웃시키거나 산란시키도록 구성된다. 미세 반사성 소자는 안내된 광이 산란되는 경로를 제어하기 위해 반사성 코팅을 가질 수 있다. 일부 실시 예들에서, 멀티빔 소자는 안내된 광의 일부를 굴절에 의해 또는 굴절을 이용하여 복수의 지향성 광빔들로서 커플 아웃시키거나 산란(즉, 안내된 광의 일부를 굴절적으로 산란)시키도록 구성된 미세 굴절성 소자를 포함한다.

멀티뷰 디스플레이(112)는 또한 백라이트들 위에 (예를 들어, 광각 백라이트(115) 위에 및 멀티뷰 백라이트(118) 위에) 위치된 광 밸브 어레이를 포함할 수 있다. 광 밸브 어레이의 광 밸브들은, 예를 들어 액정 광 밸브들, 전기 영동 광 밸브들, 전기 습윤을 기반으로 하거나 이를 채용하는 광 밸브들, 또는 이들의 임의의 조합일 수 있다. 2D 모드로 동작하는 경우, 광각 백라이트(115)는 광 밸브 어레이를 향해 광을 방출한다. 이 광은 광각으로 방출되는 확산광(diffuse light)일 수 있다. 각각의 광 밸브는, 광각 백라이트(115)에 의해 방출되는 광에 의해 조명될 때, 2D 이미지를 디스플레이하기 위해 특정 픽셀 밸브를 달성하도록 제어된다. 이러한 점에서, 각각의 광 밸브는 단일 픽셀에 대응된다. 이와 관련하여, 단일 픽셀은 단일 픽셀 셀(예를 들어, LCD 셀)을 구성하는 상이한 컬러 픽셀들(예를 들어, 적색, 녹색 청색)을 포함할 수 있다.

멀티뷰 모드에서 동작하는 경우, 멀티뷰 백라이트(118)는 광 밸브 어레이를 조명하기 위해 지향성 광빔들을 방출한다. 광 밸브들은 멀티뷰 픽셀을 형성하기 위해 함께 그룹화될 수 있다. 예를 들어, 4-뷰 멀티뷰 형식에서, 멀티뷰 픽셀은4개의 상이한 픽셀들을 포함할 수 있으며, 이들 각각은 상이한 뷰에 대응된다. 멀티뷰 픽셀 내의 각각의 픽셀은 상이한 컬러 픽셀들을 더 포함할 수 있다.

멀티뷰 픽셀 배열의 각각의 광 밸브는 주 각도 방향을 갖는 광빔들 중 하나에 의해 조명될 수 있다. 따라서, 멀티뷰 픽셀은 멀티뷰 이미지의 픽셀의 상이한 뷰들을 제공하는 픽셀 그룹이다. 일부 실시 예들에서, 멀티뷰 백라이트(118)의 각각의 멀티빔 소자는 광 밸브 어레이의 소정의 멀티뷰 픽셀에 전용된다.

멀티뷰 디스플레이(112)는 멀티뷰 이미지(103)를 디스플레이하기 위한 스크린을 포함한다. 스크린은, 예를 들어 전화기(예를 들어, 이동식 전화기, 스마트 폰 등), 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터의 컴퓨터 모니터, 카메라 디스플레이, 또는 실질적으로 임의의 기타의 장치의 전자 디스플레이의 디스플레이 스크린일 수 있다.

본 명세서에서 사용되는 바와 같이, 단수 표현은 특허 분야에서의 통상적인 의미, 즉 '하나 이상'의 의미를 갖는 것으로 의도된다. 예를 들어, 본 명세서에서 '프로세서'는 하나 이상의 프로세서를 의미하고, 그 자체로서 '메모리'는 '하나 이상의 메모리 컴포넌트들'을 의미한다.

도 3은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하는 일 예를 도시한다. 도 3은 복수의 타일링된(tiled) 뷰 이미지들을 포함하는 멀티뷰 이미지(204)에 액세스함으로써 멀티뷰 형식을 검출하는 일 예를 묘사한다. 멀티뷰 이미지(204)는 도 1 및 도 2의 멀티뷰 이미지(103)과 유사할 수 있다. 멀티뷰 이미지(204)는 파일로서 포맷되거나 파일에 포함될 수 있다. 멀티뷰 이미지(204)는, 예를 들어 원격 서버, 스트리밍 서비스, 저장소 또는 로컬 어플리케이션과 같은 공급원으로부터 수신될 수 있다. 멀티뷰 디스플레이 시스템은 디스플레이를 위해 멀티뷰 이미지(204)를 처리하고 렌더링하도록 구성될 수 있다. 예를 들어, 멀티뷰 디스플레이 시스템은 멀티뷰 이미지(204)를 디스플레이하게끔 하는 어플리케이션(207)을 실행할 수 있다. 어플리케이션(207)은 미디어 플레이어 어플리케이션, 비디오 게임, 소셜 미디어 어플리케이션, 또는 멀티뷰 컨텐츠를 디스플레이하는 임의의 기타의 어플리케이션일 수 있다. 소정의 뷰 이미지는 타일링된 구성에서 다른 뷰 이미지에 인접하게 배치되기 때문에 타일링된 것으로 간주된다. 따라서, 멀티뷰 이미지는, 각각의 뷰 이미지를 수평 방향, 수직 방향 또는 이들 둘 다를 따라 타일들의 그리드로서 배열하도록, 포맷된다.

멀티뷰 이미지(204)는 타일링된 배열로 편성된 하나 이상의 뷰 이미지를 포함할 수 있다. 멀티뷰 형식은 뷰 이미지들의 개수뿐만 아니라 뷰 이미지들이 타일들로 공간적으로 배열되는 방식을 나타낸다. 이러한 점에서, 멀티뷰 이미지(204)는 타일들의 어레이로서 형성된 다양한 뷰 이미지들이 있는 2D 이미지로서 시각화될 수 있으며, 각각의 타일은 상이한 뷰 이미지에 대응된다. 따라서, 멀티뷰 이미지(204)는 특정 멀티뷰 형식(210)에 따라 배열된다. 도 3은 멀티뷰 형식들의 다양한 예들을 묘사한다. 도시된 제 1 멀티뷰 형식은 단일 타일 형식(210a)(예를 들어, 단일 뷰 이미지)이다. 단일 타일 형식(210a)은 단일 뷰(예를 들어, 하나의 타일)를 포함하므로, 진정한 멀티뷰 이미지가 아니다. 그러나, 실시 예들은 복수의 타일들을 갖는 멀티뷰 형식들(210)로부터 단일 타일 형식을 구별하는 것에 관한 것이다. 도시된 제 2 멀티뷰 형식은 2x1 타일 형식(210b)이다. 2x1 타일 형식은 2개의 상이한 뷰 이미지들이 수평 방향을 따라 나란히 배열되는 병렬(side-by-side) 형식이라고도 할 수 있다. 2x1 타일 형식(210b)은, 하나의 뷰 이미지가 좌안을 위한 것이 되게끔 그리고 다른 뷰 이미지가 우안을 위한 것이 되게끔, 이용될 수 있다. 전술한 바와 같이, 멀티뷰 이미지들(204)은, 별개의 뷰 이미지들이 대부분 유사하지만 어느 정도의 시차를 갖는 동일한 장면의 상이한 뷰들을 포함한다. 도시된 제 3 멀티뷰 형식은 1x2 타일 형식(210c)이다. 1x2 타일 형식(210c) 역시 2개의 상이한 뷰 이미지들을 포함하지만, 이들은 수직 방향을 따라 인접하게 배열된다. 도시된 제 4 멀티뷰 형식은 2x2 타일 형식(210d)이다. 2x2 타일 형식(210d)은 수평 방향으로의 2개의 타일들 및 수직 방향으로의 2개의 타일들로 배열된 4개의 상이한 뷰 이미지들을 포함한다. 2x2 타일 형식(210d)은 쿼드 형식(quad format)이라고도 할 수 있다.

멀티뷰 이미지(204)는 임의의 다양한 배열들(예를 들어, 1x4 타일 형식, 4x1 타일 형식, 8-뷰 형식 등)로 임의의 개수의 타일들을 갖는 다양한 유형들의 멀티뷰 형식들(210) 중 하나를 따를 수 있다. 어플리케이션(207)은 멀티뷰 이미지(204)의 멀티뷰 형식(210)의 유형을 알지 못할 수 있다. 실시 예들은 멀티뷰 이미지(204)를 분석하고 멀티뷰 이미지(204)의 멀티뷰 형식(210)을 검출하는데 이용될 수 있는 멀티뷰 형식 검출기(213)에 관한 것이다. 멀티뷰 형식 검출기(213)는 멀티뷰 이미지의 멀티뷰 형식(210)을 나타내는 멀티뷰 형식 레이블(216)을 생성할 수 있다. 어플리케이션(207)은 멀티뷰 형식 레이블(216)을 이용하여 멀티뷰 이미지(204)를 렌더링하거나 다른 방식으로 처리할 수 있다. 이로써, 어플리케이션(207)은 초기에 특정되지 않은 또는 알려지지 않은 멀티뷰 형식들(210)을 갖는 멀티뷰 이미지들(204)을 처리할 수 있다.

멀티뷰 형식 검출기(213)는 복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하는 것으로 시작한다. 멀티뷰 이미지(204)는 메모리로부터 액세스되거나 또는 멀티뷰 디스플레이 시스템에서 실행되는 어플리케이션(207)에게 멀티뷰 이미지(204)를 전송하는 공급원에 의해 제공될 수 있다.

도 4는 본 명세서에서 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 이미지(204)로부터 교차상관 맵을 생성하는 일 예를 도시한다. 예를 들어, 멀티뷰 이미지(204)에 액세스 시에, 멀티뷰 형식 검출기(213)는 멀티뷰 이미지를 멀티뷰 이미지의 시프트된 복사본(shifted copy)과 자기상관시킴으로써 멀티뷰 이미지로부터 교차상관 맵을 생성하는 것을 포함하는 연산들을 수행할 수 있다. 도 4는 멀티뷰 이미지(204)가 멀티뷰 이미지의 시프트된 복사본(219)과 상관되는(예를 들어, 자기상관되는) 자기상관 연산을 도시한다. 시프트된 복사본(219)은 자기상관 프로세스의 일부로서 멀티뷰 이미지(204)에 대해 수평 방향 및 수직 방향으로 컨볼빙(convolving)하거나 그렇지 않으면 슬라이딩(sliding)할 수 있다. 자기상관 프로세스는 멀티뷰 이미지(204)와 시프트된 복사본(219)의 일부 사이의 내적(dot product) 계산을 포함할 수 있다. 자기상관 연산은 픽셀 도메인 또는 주파수 도메인에서 이루어질 수 있다. 자기상관 연산은 교차상관 맵(222)을 생성한다. 교차상관 맵(222)은 성분들의 2차원 행렬일 수 있다. 교차상관 맵(222)은 이미지로서 표현되거나 시각화될 수 있으며, 여기서 각각의 픽셀 값은 멀티뷰 이미지(204)에 대한 시프트된 복사본(219)의 주어진 위치에 대한 교차상관 값을 포함한다.

도 5는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 상이한 멀티뷰 형식들로부터 생성된 다양한 교차상관 맵들의 일 예를 도시한다. 단일 타일 형식을 갖는 멀티뷰 이미지(231)는 교차상관 맵(234)을 초래할 수 있다. 도 5에 도시된 바와 같이, 교차상관 맵(234)은 교차-해칭이 희박한 영역들로 도시된 낮은 교차상관 값들 및 교차-해칭이 더 조밀한 영역들로 도시된 높은 교차상관 값들을 갖는다. 교차상관 맵의 대부분에는 희박한 교차-해칭이 있는데, 이는 대부분의 위치들에서 낮은 수준의 교차상관을 나타낸다. 그러나, 교차상관 맵(234)은 중심에 단일 핫스팟(hotspot)을 갖는다. 핫스팟은 교차상관 맵에서 상대적으로 높은 교차상관 값을 포함하는 영역이다. 구체적으로, 교차상관 맵(234)의 중심은 교차-해칭으로 조밀한데, 이는 시프트된 복사본(219)이 멀티뷰 이미지(204)의 상부에(예를 들어, 중심에) 위치되는 경우, 큰 교차상관이 있음을 의미한다. 또한, 교차상관 맵(234)의 중심을 벗어난 곳에는 교차상관의 강한 표시가 없다.

2x1 타일 형식을 갖는 멀티뷰 이미지(237)는 중간의 핫스팟뿐만 아니라 좌측 및 우측 에지들을 따르는 2개의 핫스팟들(243)을 갖는 교차상관 맵(240)을 초래할 수 있다. 이는, 시프트된 복사본(219)이 수평 방향을 따라 슬라이딩함에 따라 3개의 강한 교차상관 위치들이 있음을 나타낸다.

2x2 타일 형식을 갖는 멀티뷰 이미지(246)는 중간의 핫스팟뿐만 아니라 좌측 및 우측 에지들을 따르는 복수의 핫스팟들과 코너들을 따르는 핫스팟들(252)을 갖는 교차상관 맵(249)을 초래할 수 있다. 이는, 시프트된 복사본(219)이 수평 방향 및 수직 방향 둘 다를 따라 슬라이딩함에 따라 이들 영역들에서 강한 교차상관 값들이 존재함을 나타낸다.

도 6은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 교차상관 맵을 샘플링하는 일 예를 도시한다. 예를 들어, 교차상관 맵(222)의 생성 시에, 멀티뷰 형식 검출기(213)는 교차상관 값들의 세트를 식별하기 위해 교차상관 맵의 복수의 미리 정의된 위치들에서 교차상관 맵을 샘플링하는 것을 포함하는 연산들을 수행할 수 있다. 도 6은 교차상관 맵(222) 상의 특정 좌표들을 갖는 미리 정의된 위치들(260a 내지 260d)을 도시한다. 일부 실시 예들에서, 미리 정의된 위치들 중 적어도 하나는 교차상관 맵의 코너 영역(예를 들어, 미리 정의된 위치(260a))을 포함한다. 일부 실시 예들에서, 미리 정의된 위치들 중 적어도 하나는 교차상관 맵(222)의 길이 또는 폭을 따르는 중간점(예를 들어, 미리 정의된 위치들(260b, 260c))을 포함한다. 코너에서 샘플링하면 수직으로 배향된 타일들을 검출할 수 있고, 중간점에서 샘플링하면 수평으로 배향된 타일들을 검출할 수 있다. 샘플들의 개수는 예상되는 뷰 이미지들의 개수를 기반으로 선택될 수 있다. 예를 들어, 잠재적인 뷰들의 개수가 증가함에 따라 멀티뷰 이미지들을 구별하기 위해 더 많은 샘플점들이 이용될 수 있다.

일부 실시 예들에서, 교차상관 값들 각각은 단일 교차상관 값을 기반으로 결정된다. 예를 들어, 교차상관 맵(222)을 샘플링하는 것은 교차상관 맵(222)의 단일 성분(예를 들어, 픽셀)의 값을 식별하는 것을 포함할 수 있다. 미리 정의된 위치는 교차상관 맵(222)의 특정 x-y 좌표일 수 있다. 일부 실시 예들에서, 교차상관 값들 각각은 대응하는 미리 정의된 위치 내의 값들을 평균함으로써 결정된다. 이 예에서, 각각의 미리 정의된 위치는 교차상관 맵(222)의 x-y 좌표의 범위를 포함할 수 있다. 각각의 범위 내의 교차상관 값들은 평균되거나 그렇지 않으면 집계(aggregate)될 수 있다. 따라서, 핫스팟에 있을 수 있는 하나의 성분을 샘플링하기 보다는, 핫스팟 내의 여러 픽셀들을 샘플링하여 평균된 교차상관 값을 생성할 수 있다.

일단 샘플링되면, 교차상관 값들(263)의 세트가 결정된다. 교차상관 값들(263)의 세트는 성분들의 비교적 작은 어레이일 수 있고, 여기서 각각의 성분은 교차상관 값이다. 교차상관 값들(263)의 세트는 소정의 특징 세트의 하나의 특징으로서 이용될 수 있다. 더 많은 샘플들이 더 많은 개수의 뷰들을 갖는 멀티뷰 형식들을 검출하는데 이용될 수 있다. 도 6의 예에서, 4개의 샘플들이 취해지고, 각각의 샘플은 각각의 미리 정의된 위치(260a 내지 260d)에 대응된다. 또한, 이 예에서, 제 1 교차상관 값은 4이고, 이는 코너 영역(미리 정의된 위치(260a))으로부터 샘플링된다. 제 2 교차상관 값은 8이고, 이는 상부 수평 중간점(미리 정의된 위치(260b))으로부터 샘플링된다. 제 3 교차상관 값은 121이고, 이는 좌측 수직 중간점(미리 정의된 위치(260c))으로부터 샘플링된다. 제 4 교차상관 값은 118이고, 이는 중심(미리 정의된 위치(260d))으로부터 샘플링된다. 교차상관 값들(263)의 이러한 특징은 2x1 형식의 상징적 패턴(signature pattern)에 맞는 수평 방향을 따르는 자기상관의 가능성을 나타낸다. 구체적으로, 교차상관 값들(263)의 처음 2개의 성분들은 상대적으로 낮은데, 이는 시프트된 복사본이 수직 방향으로 슬라이딩함에 따른 낮은 자기상관을 나타낸다. 교차상관 값들(263)의 마지막 2개의 성분들은 상대적으로 높은데, 이는 시프트된 복사본이 수평 방향으로 슬라이딩함에 따른 높은 자기상관을 나타낸다.

도 7은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 이미지의 멀티뷰 형식을 검출하는 일 예를 도시한다. 예를 들어, 교차상관 값들의 세트의 결정 시에, 멀티뷰 형식 검출기(213)는 교차상관 값들의 세트를 포함하는 멀티뷰 이미지의 특징 세트를 분류함으로써 멀티뷰 이미지의 멀티뷰 형식을 검출하는 것을 포함하는 연산들을 수행할 수 있다. 멀티뷰 형식 검출기(213)는 멀티뷰 이미지(204)로부터 특징들을 추출하고 멀티뷰 이미지(204)의 특징 세트(269)을 생성하는 특징 추출기(266)를 포함할 수 있다.

도 6과 관련하여 전술한 바와 같이, 하나의 특징은 교차상관 값들(263)의 세트일 수 있다. 일부 실시 예들에서, 특징 추출기(266)는 멀티뷰 이미지(204)의 종횡비를 결정하는 것을 포함하는 추가의 연산들을 수행할 수 있으며, 여기서 특징 세트(269)는 종횡비를 더 포함한다. 종횡비는 픽셀들의 측면에서 멀티뷰 이미지(204)의 높이와 폭의 비율일 수 있다. 특징 추출기(266)는 멀티뷰 이미지(204)를 특징짓는 임의의 개수의 다른 특징들을 식별할 수 있다.

멀티뷰 형식 검출기(213)는 분류기(275)를 포함할 수 있다. 분류기(275)는 서포트 벡터 머신(support vector machine)일 수 있다. 일부 실시 예들에서, 분류기(275)는 훈련 데이터를 이용하여 훈련되고, 훈련 데이터는 멀티뷰 이미지들 및 대응하는 훈련 레이블들의 훈련 세트(training set)를 포함한다. 알려진 멀티뷰 형식들이 부가된(appended) 특징 세트들이 분류기(275)를 훈련시키기 위한 훈련 데이터로서 분류기(275)에 입력될 수 있다. 분류기(275)를 훈련시킬 때, 훈련 레이블들은 단일 타일 형식, 1x2 타일 형식, 2x1 타일 형식 및 2x2 타일 형식을 나타내는 레이블들을 포함할 수 있다. 훈련 데이터는 임의의 멀티뷰 형식(210)을 포함할 수 있다. 분류기(275)는 구성 시간 동안 훈련된 이후 실행되어 런타임 동안 멀티뷰 이미지들(204)의 알려지지 않은(unknown) 멀티뷰 형식들을 분류할 수 있다.

예를 들어, 훈련 데이터는 참값(ground truth)을 제공하는 레이블과 함께 특징 벡터들을 포함할 수 있다. 훈련 데이터는 특징 값들의 특정 세트를 참값과 상관시키는 파일 또는 테이블로서 포맷될 수 있다. 예를 들어, 훈련 데이터는 어플리케이션 프로그래밍 인터페이스(application programming interface)를 이용하여 분류기(275)에 입력될 수 있다. 분류기(275)는, 트리 구조의 형태로 분류 또는 회귀 모델을 구축하거나, 훈련 데이터를 클래스별로 분리하여 클래스별 조건부 확률을 계산하거나, 컨볼루션 연산에 이용될 훈련 데이터로부터 훈련 가중치를 생성하거나, 훈련 데이터를 특징 벡터 공간의 데이터점들로 변환하거나, 분류기를 구성하는 기타의 훈련 방법을 이용하여, 분류기를 훈련시키는 데에 훈련 데이터를 이용할 수 있다.

멀티뷰 형식 검출기(213)는 멀티뷰 이미지의 특징 세트를 분류기에 입력할 수 있으며, 특징 세트는 교차상관 값들의 세트를 포함한다. 분류기(275)에는 멀티뷰 이미지(204)로부터 추출된 특징 세트(269)가 제공되며, 특징 세트(269)는 미리 정의된 위치들에서 샘플링되는 교차상관 값들을 포함한다. 분류기(275)는 멀티뷰 형식 레이블(216)을 생성한다. 어플리케이션(207)은 분류기로부터 레이블을 검색할 수 있으며, 레이블은 멀티뷰 이미지의 멀티뷰 형식을 나타낸다. 레이블은 멀티뷰 형식 레이블(216)일 수 있다.

도 8은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 멀티뷰 이미지를 렌더링하는 일 예를 도시한다. 예를 들어, 어플리케이션(207)은, 멀티뷰 디스플레이(112)를 이용하여 멀티뷰 이미지(204)를 렌더링할 수 있도록, 멀티뷰 형식 레이블(216)을 검색할 수 있다. 도 8은 어플리케이션(207)이 멀티뷰 형식 레이블(216)을 이용하여 멀티뷰 이미지(204)를 렌더링하는 방식의 일 예를 제공한다. 도 8에 도시된 실시 예들은 멀티뷰 이미지(204)를 렌더링하기 위해 렌더 파이프라인(render pipeline; 276)을 이용하는 어플리케이션(207)에 관한 것이다.

렌더 파이프라인(276)은 이미지 컨텐츠를 처리하여 디스플레이(예를 들어, 멀티뷰 디스플레이(112)) 상에 표시하는 하나 이상의 컴포넌트들을 포함할 수 있다. 렌더 파이프라인(276)은 중앙 처리 유닛(central processing unit; CPU), 그래픽스 처리 유닛(graphics processing unit; GPU), 또는 이들의 임의의 조합에 의해 실행 가능한 컴포넌트들을 포함할 수 있다. 어플리케이션(207)은 함수 호출 또는 어플리케이션 프로그래밍 인터페이스(application programming interface; API)를 이용하여 렌더 파이프라인(267)과 인터페이스할 수 있다. 일부 실시 예들에서, 렌더 파이프라인(276)은 뷰 합성기(view synthesizer; 277), 인터레이서(interlacer; 278), 또는 그래픽을 렌더링하는 기타의 컴포넌트들을 포함할 수 있다.

뷰 합성기(277)는 뷰 합성을 수행하여 멀티뷰 이미지(204)에 포함된 원본 뷰 이미지들로부터 목표 개수의 뷰 이미지들을 생성한다. 예를 들어, 멀티뷰 이미지(204)가 멀티뷰 디스플레이 시스템에 의해 지원되는 목표 개수의 뷰들보다 더 적은 뷰들을 포함하는 경우, 뷰 합성기는 멀티뷰 이미지(204)의 원본 뷰 이미지들을 기반으로 추가적인 뷰 이미지들을 생성할 수 있다. 뷰 합성은 하나 이상의 원본 뷰 이미지를 보간하거나 외삽하여 새로운 뷰 이미지들을 생성하는 연산들을 포함한다. 뷰 합성은 포워드 워핑(forward warping), 깊이 테스트(depth test), 및 예를 들어 폐색되지 않은(de-occluded) 영역을 채우기 위해 인근 영역을 샘플링하는 인페인팅(in-painting) 기법 중 하나 이상을 포함할 수 있다. 포워드 워핑은 소스 이미지에 변환을 적용하는 이미지 왜곡 프로세스이다. 소스 이미지의 픽셀들은 주사선 순서로 처리될 수 있으며, 그 결과는 타겟 이미지에 투영된다. 깊이 테스트는, 셰이더(shader)에 의해 처리되거나 처리될 이미지의 조각들이, 기록되고 있는 샘플의 깊이와 관련하여 테스트되는 깊이 값들을 갖는, 프로세스이다. 테스트가 실패하는 경우 조각들은 폐기된다. 그리고, 테스트가 통과하는 경우 깊이 버퍼는 조각들의 출력 깊이로 업데이트된다. 인페인팅은 이미지의 누락되거나 알려지지 않은 영역을 채우는 것을 의미한다. 일부 기법들은 인근 픽셀들을 기반으로 픽셀 값들을 예측하거나 또는 인근 픽셀들을 알려지지 않았거나 누락된 영역에 반영하는 것을 포함한다. 이미지의 누락된 또는 알려지지 않은 영역들은, 다른 장면 객체에 의해 부분적으로 덮여 있는 장면 객체를 지칭하는 장면 탈-폐색(de-occlusion)으로부터 야기될 수 있다. 이와 관련하여, 재투영은 원래의 관점(perspective)으로부터 장면의 새로운 관점을 구성하기 위한 이미지 처리 기법들을 포함할 수 있다. 뷰 이미지들은 훈련된 신경망(neural network)을 이용하여 합성될 수 있다. 또한, 뷰 합성기(277)는 멀티뷰 이미지의 깊이 맵을 이용하여 추가적인 뷰 이미지들을 생성할 수 있다. 깊이 맵은 특정 뷰 이미지에서 각각의 픽셀에 대한 깊이를 나타내는 파일 또는 이미지일 수 있다.

렌더 파이프라인(276)은 또한 인터레이서(278)(예를 들어, 인터레이싱 프로그램, 인터레이싱 셰이더 등)를 포함할 수 있다. 인터레이서(278)는 (임의의 합성된 뷰 이미지들과 함께) 멀티뷰 이미지의 타일링된 뷰 이미지들의 픽셀들을 인터레이싱하도록 구성될 수 있다. 인터레이서(278)는 그래픽스 셰이더일 수 있고, 어플리케이션(207)의 일부일 수 있거나, 또는 어플리케이션(207)에 의해 호출될 수 있다.

멀티뷰 형식 레이블(216)은 뷰 이미지들의 개수뿐만 아니라 이러한 뷰 이미지들의 배향을 지정한다. 뷰 합성기(277)는 멀티뷰 형식 레이블(216)을 기반으로 추가적인 뷰 이미지들을 생성할 수 있다. 예를 들어, 목표 개수의 뷰들이 4개의 뷰들이고 멀티뷰 형식 레이블(216)이 멀티뷰 이미지가 2x1 형식이라는 것을 나타낸다고 가정하자. 이 예에서, 뷰 합성기(277)는 멀티뷰 이미지(204)에서 2개의 원본 뷰들의 특정 위치들을 식별하고, 뷰 이미지들의 목표 개수를 달성하기 위해 2개의 추가적인 뷰 이미지들을 생성할 수 있다. 따라서, 이 예에서, 렌더 파이프라인(276)은, 2x1 형식의 멀티뷰 이미지에 존재하는 2개의 원본 뷰 이미지들로부터 2개의 추가적인 뷰 이미지들을 합성함으로써, 2x1 형식의 멀티뷰 이미지를 4-뷰 멀티뷰 이미지로 변환한다. 렌더 파이프라인(276)은 멀티뷰 형식 레이블(216)을 이용하여 타일링된 멀티뷰 이미지 내에서 2개의 원본 뷰 이미지들의 좌표 또는 위치를 결정함으로써 멀티뷰 이미지가 2x1 형식의 멀티뷰 이미지임을 결정한다. 멀티뷰 형식을 알면, 원본 뷰 이미지들의 위치를 파악하고 이들을 분리하여 새로운 뷰 이미지들을 합성할 수 있다.

일부 실시 예들에서, 멀티뷰 형식 레이블(216)이 뷰 이미지들이 합성될 필요가 없음을 나타내는 경우 뷰 합성기(277)는 바이패스(bypass)될 수 있다. 예를 들어, 뷰들의 목표 개수가 4개이고 멀티뷰 형식 레이블(216)이 멀티뷰 이미지가 특정 배향(예를 들어, 쿼드 배향)으로 4개의 뷰들을 갖는다는 것을 나타내는 경우, 뷰 합성은 필요하지 않다. 일부 실시 예들에서, 멀티뷰 형식 레이블(216)이 멀티뷰 디스플레이 시스템에 의해 지원되는 것보다 멀티뷰 이미지(204)에 더 많은 뷰 이미지들이 있음을 나타내는 경우, 멀티뷰 디스플레이 시스템에 의해 지원되는 뷰 이미지들의 목표 개수를 달성하도록 뷰 이미지들이 제거될 수 있다.

따라서, 멀티뷰 형식 레이블(216)은 뷰 이미지들의 위치를 식별하는데 이용될 수 있을 뿐만 아니라, 뷰들의 목표 개수를 달성하기 위해 추가적인 뷰들이 합성될 필요가 있는지 또는 원본 뷰 이미지들이 제거될 필요가 있는지를 결정하는데 이용될 수 있다. 일단 멀티뷰 형식 레이블을 기반으로 뷰 이미지들이 식별되면 (그리고 잠재적으로 새로운 뷰 이미지들이 합성되면), 인터레이서(278)는 인터레이싱된 멀티뷰 이미지(279)를 생성한다.

렌더링을 수행하는 인터레이서(278)(예를 들어, 인터레이싱 프로그램)는 멀티뷰 이미지(204) 및 임의의 합성된 뷰들을 수신하고 인터레이싱된 멀티뷰 이미지(279)를 출력으로서 생성할 수 있다. 인터레이싱된 멀티뷰 이미지(279)는 그래픽스 메모리 버퍼에 로딩되거나 멀티뷰 디스플레이(112) 상에 표현될 수 있다. 인터레이싱 프로그램은 멀티뷰 디스플레이(112)에 대해 특정되고 고유한 형식에 따라 인터레이싱된 멀티뷰 이미지(279)를 포맷할 수 있다. 일부 실시 예들에서, 이는, 각각의 뷰 이미지의 픽셀들을 인터레이싱하여 이들의 대응하는 위치들을 기반으로 여러 뷰들의 픽셀들을 함께 배치(collocate)하는 것을 포함한다. 예를 들어, 인터레이싱된 멀티뷰 이미지(279)를 생성하는 경우, 각각의 뷰 이미지의 최-좌측 상단 픽셀이 함께 배치될 수 있다. 즉, 각각의 뷰 이미지의 픽셀들은 공간 다중화되거나 또는 인터레이싱되어 인터레이싱된 멀티뷰 이미지(279)를 생성한다. 멀티뷰 형식 레이블(216)은 렌더 파이프라인(276)으로 하여금 뷰 이미지들의 위치를 식별할 수 있게끔 한다. 예를 들어, 멀티뷰 형식을 알면, 렌더 파이프라인(276)은 각각의 타일(예를 들어, 뷰 이미지)의 각각의 픽셀의 위치를 결정할 수 있다. 즉, 멀티뷰 형식을 알면, 렌더 파이프라인(276)은 멀티뷰 이미지(204) 내의 각각의 뷰 이미지의 시작 픽셀 및 종료 픽셀을 식별할 수 있다. 이 예에서, 멀티뷰 디스플레이 시스템은 4개의 뷰들(예를 들어, 뷰 1, 뷰 2, 뷰 3, 및 뷰 4)를 제공한다. 멀티뷰 형식 레이블(216)은 이러한 뷰 이미지들의 위치뿐만 아니라 새로운 뷰 이미지들이 합성될 필요가 있는지를 나타낸다.

도 8에 도시된 바와 같이, 인터레이싱된 멀티뷰 이미지(279)는 공간 다중화되거나 또는 인터레이싱된 뷰들을 갖는다. 도 8은 4개의 뷰들 중 하나에 대응되는 픽셀들을 보여주며, 여기서 픽셀들은 인터레이싱(예를 들어, 인터리빙(interleaving) 또는 공간 다중화(spatially multiplexing)) 된다. 뷰 1에 속하는 픽셀들은 숫자 1로 표시되고, 뷰 2에 속하는 픽셀들은 숫자 2로 표시되고, 뷰 3에 속하는 픽셀들은 숫자 3으로 표시되며, 뷰 4에 속하는 픽셀들은 숫자 4로 표시된다. 인터레이싱된 멀티뷰 이미지(279)의 뷰들은 각각의 행을 따라 수평으로 픽셀 단위로 인터레이싱된다. 인터레이싱된 멀티뷰 이미지(279)는 대문자 A 내지 E로 표현되는 픽셀들의 행들 및 소문자 a 내지 h로 표현되는 픽셀들의 열들을 갖는다. 도 8은 E 행, e열 내지 h열에서 멀티뷰 픽셀들(282) 중 하나의 위치를 보여준다. 멀티뷰 픽셀(282)은 4개의 뷰들 각각의 픽셀들로부터 취해진 픽셀들의 배열이다. 즉, 멀티뷰 픽셀(282)은 4개의 뷰들 각각의 개별 픽셀들이 공간 다중화되도록 인터레이싱한 결과이다. 도 8은 상이한 뷰들의 픽셀들을 수평 방향으로 인터레이싱하는 것을 보여주지만, 상이한 뷰들의 픽셀들은 수직 방향으로 인터레이싱될 수도 있고, 수평 방향 및 수직 방향 둘 다로 인터레이싱될 수도 있다.

뷰들의 목표 개수가 4개라고 가정하면, 인터레이싱된 멀티뷰 이미지(279)는 4개의 뷰들 각각으로부터 하나의 픽셀을 갖는 멀티뷰 픽셀(282)을 초래할 수 있다. 전술한 바와 같이, 멀티뷰 형식 레이블은 렌더 파이프라인(276)으로 하여금 각각의 뷰 이미지의 대응하는 픽셀들의 위치를 파악할 수 있게끔 한다. 일부 실시 예들에서, 멀티뷰 픽셀들은 도 8에 도시된 바와 같이 특정 방향으로 엇갈리게 배치(staggered)될 수 있으며, 여기서 멀티뷰 픽셀들은 수평으로 정렬되고 수직으로 엇갈리게 배치된다. 다른 실시 예들에서, 멀티뷰 픽셀들은 수평으로 엇갈리게 배치되고 수직으로 정렬될 수 있다. 멀티뷰 픽셀들이 인터레이싱되고 엇갈리게 배치되는 특정 방식은 멀티뷰 디스플레이(112)의 설계에 따라 다를 수 있다. 인터레이싱된 멀티뷰 이미지(279)는 픽셀들을 인터레이싱하고 그 픽셀들을 멀티뷰 디스플레이(112)의 물리적 픽셀들(예를 들어, 광 밸브 어레이(285))에 맵핑될 수 있도록 멀티뷰 픽셀들로 배열할 수 있다. 즉, 인터레이싱된 멀티뷰 이미지(279)의 픽셀 좌표는 멀티뷰 디스플레이(112)의 물리적 위치에 대응된다. 멀티뷰 픽셀(282)은 광 밸브 어레이(284)의 광 밸브들의 특정 세트에 대한 맵핑(287)을 갖는다. 광 밸브 어레이(284)는 인터레이싱된 멀티뷰 이미지(279)에 따라 광을 변조하도록 제어된다.

도 9는 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따라 멀티뷰 형식들을 검출하도록 구성된 멀티뷰 디스플레이 시스템의 기능의 일 예를 제공하는 흐름도이다. 도 9의 흐름도는 명령어 세트를 실행하는 컴퓨팅 장치(예를 들어, 도 10의 멀티뷰 디스플레이 시스템)에 의해 구현되는 상이한 유형의 기능의 일 예를 제공한다. 예를 들어, 멀티뷰 디스플레이 시스템은 멀티뷰 이미지들을 디스플레이하도록 구성된 멀티뷰 디스플레이(예를 들어, 멀티뷰 디스플레이(112))를 포함할 수 있다. 멀티뷰 디스플레이 시스템은 프로세서 및 복수의 명령어들을 저장하는 메모리를 더 포함할 수 있고, 복수의 명령어들은, 프로세서에 의해 실행되는 경우, 프로세서로 하여금 흐름도에 도시된 다양한 연산들을 수행하게끔 한다. 대안적으로, 도 9의 흐름도는 하나 이상의 실시 예에 따라 컴퓨팅 장치에서 구현되는 방법의 단계들의 일 예를 묘사하는 것으로 볼 수 있다. 도 9는 또한 컴퓨터 시스템의 프로세서에 의해 실행되는 경우, 멀티뷰 형식 검출을 위한 연산들을 수행하는 실행 가능한 명령어들을 저장하는 일시적인 또는 비-일시적인 컴퓨터-판독 가능한 저장 매체 상의 컴퓨터 프로그램과 같은 컴퓨터 프로그램을 나타낼 수 있다. 컴퓨터 시스템의 일 예는 도 8과 관련하여 후술되는 멀티뷰 디스플레이 시스템일 수 있다. 이러한 연산들은 순서도에 나타내진다.

프로세서로 하여금 복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스(304)하게끔 하는 명령어들이 실행될 수 있다. 예를 들어, 멀티뷰 이미지는 멀티뷰 형식 검출기에 의해 액세스될 수 있다. 멀티뷰 형식 검출기는 멀티뷰 이미지들의 멀티뷰 형식을 검출하도록 구성된 소프트웨어 모듈 또는 루틴일 수 있다. 멀티뷰 이미지는 메모리 위치로부터 액세스되거나 또는 멀티뷰 이미지를 렌더링하도록 구성된 어플리케이션에 의해 멀티뷰 형식 검출기에 제공될 수 있다. 어플리케이션은 멀티뷰 형식을 기반으로 멀티뷰 이미지들을 분류하기 위해 멀티뷰 형식 검출기를 호출하거나 이를 포함할 수 있다.

프로세서로 하여금 멀티뷰 이미지를 멀티뷰 이미지의 시프트된 복사본과 자기상관시킴으로써 멀티뷰 이미지로부터 교차상관 맵을 생성(307)하게끔 하는 명령어들이 실행될 수 있다. 시프트된 복사본은 멀티뷰 이미지와 동일하도록 멀티뷰 이미지로부터 복제될 수 있다. 시프트된 복사본은 교차상관 값들을 계산하기 위해 멀티뷰 이미지에 걸쳐 시프트된다. 교차상관 값들은 교차상관 맵으로서 저장된다. 교차상관 맵은 성분들의 2차원 어레이일 수 있으며, 각각의 성분은 교차상관 맵 내의 위치(예를 들어, 좌표) 및 교차상관 값을 갖는다. 성분의 위치는 멀티뷰 이미지에 대한 시프트된 복사본의 위치에 대응된다. 따라서, 시프트된 복사본이 멀티뷰 이미지의 상단 코너로부터 멀티뷰 이미지의 하단 코너로 슬라이딩됨에 따라, 교차상관 맵의 크기는 멀티뷰 이미지보다 더 클 수 있다.

프로세서로 하여금 교차상관 값들의 세트를 식별하기 위해 교차상관 맵의 복수의 미리 정의된 위치들에서 교차상관 맵을 샘플링(310)하게끔 하는 명령어들이 실행될 수 있다. 미리 정의된 위치들은 교차상관 맵 내의 좌표들 또는 좌표 범위들로서 지정될 수 있다. 미리 정의된 위치들은 코너 영역, 교차상관 맵의 길이를 따르는 중간점, 교차상관 맵의 높이를 따르는 중간점, 교차상관 맵의 중심, 또는 기타의 미리 정의된 위치들일 수 있다. 미리 정의된 위치들은 타일링된 뷰 이미지들의 배열을 기반으로 핫스팟들이 나타날 가능성이 있는 위치들에 대응된다.

프로세서로 하여금 특징 세트를 생성(313)하게끔 하는 명령어들이 실행될 수 있다. 일부 실시 예들에서, 특징 세트를 생성하는 경우, 명령어들은 프로세서로 하여금 멀티뷰 이미지의 종횡비를 결정하게끔 할 수 있으며, 이 때 특징 세트는 종횡비를 더 포함한다. 특징 세트는 멀티뷰 이미지로부터 추출되는 개별 특징들을 포함할 수 있다.

프로세서로 하여금 멀티뷰 이미지의 특징 세트를 분류기에 입력(316)하게끔 하는 명령어들이 실행될 수 있으며, 특징 세트는 교차상관 값들의 세트를 포함한다. 예를 들어, 특징 세트는 샘플링된 교차상관 값들의 어레이를 포함한다. 특징 세트는 레이블을 생성하도록 구성된 훈련된 분류기에 입력(예를 들어, 전달)된다. 레이블은 입력된 특징 세트가 특정 멀티뷰 형식의 것이라는 확률들과 함께 잠재적인 멀티뷰 형식들의 리스트를 포함할 수 있다. 레이블은 입력된 특징 세트를 기반으로 가장 높은 확률을 갖는 멀티뷰 형식을 식별할 수 있다. 분류기의 런타임 이전에, 실시 예들은 훈련 데이터를 이용하여 특징 세트를 분류하도록 분류기를 훈련시키는 것에 관련되고, 훈련 데이터는 멀티뷰 이미지들 및 대응하는 훈련 레이블들의 훈련 세트를 포함한다.

프로세서로 하여금 분류기로부터 레이블을 검색(319)하게끔 하는 명령어들이 실행될 수 있으며, 레이블은 멀티뷰 이미지의 멀티뷰 형식을 나타낸다. 레이블은 멀티뷰 이미지의 렌더링을 담당하는 어플리케이션으로 전송될 수 있다. 레이블은 멀티뷰 형식이 1x2 타일 형식, 2x1 타일 형식, 또는 2x2 타일 형식임을 나타낼 수 있다. 일부 실시 예들에서, 레이블은 멀티뷰 이미지가 실제 멀티뷰 이미지가 아닌 경우 단일 타일 형식인 것으로 나타낼 수 있다.

프로세서로 하여금 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 멀티뷰 이미지를 렌더링(322)하게끔 하는 명령어들이 실행될 수 있다. 이러한 점에서, 멀티뷰 이미지는 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 렌더링되도록 구성된다. 렌더링은 렌더 파이프라인에 의해 수행될 수 있다. 멀티뷰 이미지를 렌더링하는 것은 멀티뷰 형식 검출 시에 멀티뷰 이미지의 타일링된 뷰 이미지들의 픽셀들을 인터레이싱하는 연산들을 포함할 수 있다. 예를 들어, 멀티뷰 형식을 알면, 렌더 파이프라인은 멀티뷰 이미지의 개별 뷰 이미지들의 위치를 파악하고 뷰들의 목표 개수를 달성하기 위해 새로운 뷰 이미지들이 합성될 필요가 있는지를 결정할 수 있다. 뷰 이미지들의 위치를 파악하고 잠재적으로 새로운 뷰 이미지들을 합성하면, 인터레이서는 뷰 이미지들이 원래 멀티뷰 이미지의 일부이든 또는 새로 합성되었든 뷰 이미지들을 인터레이싱할 수 있다. 따라서, 어플리케이션은 레이블을 이용하여 렌더 파이프라인에게 멀티뷰 이미지를 렌더링하도록 지시할 수 있다.

전술한 도 9의 흐름도는 멀티뷰 형식 검출의 시스템 또는 방법, 및 실행 가능한 명령어 세트의 구현을 예시할 수 있다. 소프트웨어로 구현되는 경우, 각각의 박스는 지정된 논리 함수(들)를 구현하기 위한 명령어들을 포함하는 코드의 부분, 세그먼트 또는 모듈을 나타낼 수 있다. 명령어들은 프로그래밍 언어로 작성된 사람이 읽을 수 있는 명령문을 포함하는 소스 코드, 소스 코드로부터 컴파일된 객체 코드, 또는 컴퓨팅 장치의 프로세서와 같은 적절한 실행 시스템에 의해 인식될 수 있는 숫자 명령어들을 포함하는 기계어 코드의 형태로 구현될 수 있다. 기계어 코드는 소스 코드 등으로부터 변환될 수 있다. 하드웨어로 구현되는 경우, 각각의 블록은 지정된 논리 함수(들)를 구현하기 위한 회로 또는 복수의 상호 연결된 회로들을 나타낼 수 있다.

도 9의 흐름도는 특정한 실행 순서를 나타내고 있지만, 실행 순서는 묘사된 순서와는 상이할 수 있음을 이해할 수 있다. 예를 들어, 2개 이상의 박스들의 실행 순서는 도시된 순서에 대해 뒤섞일 수 있다. 또한, 도시된 2개 이상의 박스들은 동시에 또는 부분적으로 동시에 실행될 수 있다. 또한, 일부 실시 예들에서, 박스들 중 하나 이상은 스킵(skip)되거나 생략될 수 있다.

도 10은 본 명세서에 설명된 원리들에 일치되는 일 실시 예에 따른 멀티뷰 디스플레이 시스템의 예시적인 실례를 묘사하는 개략적인 블록도이다. 멀티뷰 디스플레이 시스템(1000)은 멀티뷰 이미지들의 멀티뷰 형식들을 검출하는 다양한 컴퓨팅 동작들을 수행하는 컴포넌트(component)들의 시스템을 포함할 수 있다. 멀티뷰 디스플레이 시스템(1000)은 랩톱, 태블릿, 스마트 폰, 터치 스크린 시스템, 지능형 디스플레이 시스템, 또는 기타의 클라이언트 장치일 수 있다. 멀티뷰 디스플레이 시스템(1000)은, 예를 들어 프로세서(들)(1003), 메모리(1006), 입출력(input/output; I/O) 컴포넌트(들)(1009), 디스플레이(1012) 및 잠재적인 기타의 컴포넌트들과 같은 다양한 컴포넌트들을 포함할 수 있다. 이러한 컴포넌트들은, 멀티뷰 디스플레이 시스템(1000)의 컴포넌트들이 서로 통신할 수 있도록 로컬 인터페이스로서의 역할을 하는 버스(1015)에 결합될 수 있다. 멀티뷰 디스플레이 시스템(1000)의 컴포넌트들이 멀티뷰 디스플레이 시스템(1000) 내에 포함되는 것으로 도시되지만, 컴포넌트들 중 적어도 일부는 외부 연결을 통해 멀티뷰 디스플레이 시스템(1000)에 결합될 수도 있음을 이해하여야 한다. 예를 들어, 컴포넌트들은 외부 포트들, 소켓들, 플러그들, 무선 링크들 또는 커넥터들을 통해 멀티뷰 디스플레이 시스템(1000)에 외부적으로 연결되거나 또는 다른 방식으로 연결될 수 있다.

프로세서(1003)는 중앙 처리 유닛(central processing unit; CPU), 그래픽스 처리 유닛(graphics processing unit; GPU), 컴퓨팅 처리 동작들을 수행하는 임의의 다른 집적 회로, 또는 이들의 임의의 조합일 수 있다. 프로세서(들)(1003)는 하나 이상의 프로세싱 코어들을 포함할 수 있다. 프로세서(들)(1003)는 명령어들을 실행하는 회로를 포함한다. 예를 들어, 명령어들은, 명령어들에 구현된 컴퓨팅 기능을 수행하기 위해 프로세서(들)(1003)에 의해 수신되고 실행되는 컴퓨터 코드, 프로그램들, 로직 또는 기타의 기계 판독가능 명령어들을 포함한다. 프로세서(들)(1003)는 데이터에 대해 연산하도록 명령어들을 실행할 수 있다. 예를 들어, 프로세서(들)(1003)는 입력 데이터(예를 들어, 이미지)를 수신하고, 명령어 세트에 따라 입력 데이터를 처리하고, 출력 데이터(예를 들어, 처리된 이미지)를 생성할 수 있다. 다른 예로서, 프로세서(들)(1003)는 명령어들을 수신하고 후속 실행을 위한 새로운 명령어들을 생성할 수 있다. 프로세서(1003)는 라이트필드 컨텐츠를 처리하고 렌더링하기 위한 그래픽스 파이프라인을 구현하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 프로세서(들)(1003)는 하나 이상의 GPU 코어, 벡터 프로세서, 스케일러 프로세스, 또는 하드웨어 가속기를 포함할 수 있다.

메모리(1006)는 하나 이상의 메모리 컴포넌트들을 포함할 수 있다. 본 명세서에서, 메모리(1006)는 휘발성 메모리 및 비휘발성 메모리 중 하나 또는 둘 다를 포함하는 것으로 정의된다. 휘발성 메모리 컴포넌트들은 전력 손실 시 정보를 보유하지 않는 컴포넌트들이다. 예를 들어, 휘발성 메모리는 랜덤 액세스 메모리(random access memory; RAM), 정적(static) 랜덤 액세스 메모리(SRAM), 동적(dynamic) 랜덤 액세스 메모리(DRAM), 자기(magnetic) 랜덤 액세스 메모리(MRAM), 또는 기타의 휘발성 메모리 구조를 포함할 수 있다. 시스템 메모리(예를 들어, 메인 메모리, 캐시 등)는 휘발성 메모리를 이용하여 구현될 수 있다. 시스템 메모리는 프로세서(들)(1003)를 보조하기 위해 고속 읽기 및 쓰기 액세스를 위한 데이터 또는 명령어들을 일시적으로 저장할 수 있는 고속 메모리를 지칭한다.

비휘발성 메모리 컴포넌트들은 전력 손실 시 정보를 유지하는 컴포넌트들이다. 비휘발성 메모리는 읽기 전용 메모리(read-only memory; ROM), 하드 디스크 드라이브, 고체 상태 드라이브, USB 플래시 드라이브, 메모리 카드 판독기를 통해 액세스되는 메모리 카드, 관련 플로피 디스크 드라이브를 통해 액세스되는 플로피 디스크, 광학 디스크 드라이브를 통해 액세스되는 광학 디스크, 적절한 테이프 드라이브를 통해 액세스되는 자기 테이프를 포함한다. 예를 들어, ROM은 프로그램 가능한(programmable) 읽기 전용 메모리(PROM), 소거 가능 프로그램 가능한(erasable programmable) 읽기 전용 메모리(EPROM), 전기적 소거 가능 프로그램 가능한(electrically erasable programmable) 읽기 전용 메모리(EEPROM), 또는 기타의 유사한 메모리 장치를 포함할 수 있다. 스토리지(storage) 메모리는 데이터 및 명령어들의 지속적인 유지를 제공하기 위해 비휘발성 메모리를 이용하여 구현될 수 있다.

메모리(1006)는 명령어들뿐만 아니라 데이터를 저장하기 위해 사용되는 휘발성 메모리 및 비휘발성 메모리의 조합을 의미할 수 있다. 예를 들어, 데이터 및 명령어들은 비휘발성 메모리에 저장될 수 있으며, 프로세서(들)(1003)에 의한 처리를 위해 휘발성 메모리에 로딩될 수 있다. 예를 들어, 명령어들의 실행은, 비휘발성 메모리로부터 휘발성 메모리로 로딩된 이후 프로세서(1003)에 의해 실행될 수 있는 될 수 있는 형식의 기계 코드로 변환된 컴파일된 프로그램, 프로세서(1003)에 의한 실행을 위해 휘발성 메모리로 로딩될 수 있는 객체 코드와 같은 적절한 형식으로 변환된 소스 코드, 또는 휘발성 메모리에서 명령어들을 생성하기 위해 다른 실행 가능한 프로그램에 의해 해석되고 프로세서(1003)에 의해 실행되는 소스 코드 등을 포함할 수 있다. 명령어들은, 예를 들어 RAM, ROM, 시스템 메모리, 스토리지, 또는 이들의 임의의 조합을 포함하는 메모리(1006)의 임의의 부분 또는 컴포넌트에 저장되거나 로딩될 수 있다.

메모리(1006)가 멀티뷰 디스플레이 시스템(1000)의 다른 컴포넌트들과는 별개인 것으로 도시되지만, 메모리(1006)는 적어도 부분적으로 하나 이상의 컴포넌트들에 탑재되거나 다른 방식으로 집적될 수 있음을 이해하여야 한다. 예를 들어, 프로세서(들)(1003)는 처리 동작들을 수행하기 위해 온보드(onboard) 메모리 레지스터들 또는 캐시를 포함할 수 있다. 장치 펌웨어 또는 드라이버들은 전용 메모리 장치들에 저장된 명령어들을 포함할 수 있다.

예를 들어, I/O 컴포넌트(들)(1009)는 터치 스크린, 스피커, 마이크로폰, 버튼, 스위치, 다이얼, 카메라, 센서, 가속도계, 또는 사용자 입력을 수신하거나 사용자에게 지시되는 출력을 생성하는 기타의 컴포넌트들을 포함한다. I/O 컴포넌트(들)(1009)는 사용자 입력을 수신하여 메모리(1006)에의 저장 또는 프로세서(들)(1003)에 의한 처리를 위한 데이터로 변환할 수 있다. I/O 컴포넌트(들)(1009)는 메모리(1006) 또는 프로세서(들)(1003)에 의해 출력되는 데이터를 수신하고 이를 사용자에 의해 지각되는 형식(예를 들어, 소리, 촉각 반응, 시각 정보 등)으로 변환할 수 있다.

I/O 컴포넌트(1009)의 특정 유형은 디스플레이(1012)이다. 디스플레이(1012)는 멀티뷰 디스플레이(예를 들어, 멀티뷰 디스플레이(112)), 2D 디스플레이와 결합된 멀티뷰 디스플레이, 또는 이미지들을 나타내는 임의의 기타의 디스플레이를 포함할 수 있다. I/O 컴포넌트(1009)로서 기능하는 용량성 터치 스크린 계층은, 사용자가 입력을 제공함과 동시에 시각적 출력을 지각할 수 있도록, 디스플레이 내에 계층화될 수 있다. 프로세서(들)(1003)는 디스플레이(1012) 상의 표현을 위한 이미지로서 포맷된 데이터를 생성할 수 있다. 프로세서(들)(1003)는 사용자에 의한 지각을 위해 디스플레이 상에 이미지를 렌더링하기 위한 명령어들을 실행할 수 있다.

버스(1015)는 프로세서(들)(1003), 메모리(1006), I/O 컴포넌트(들)(1009), 디스플레이(1012) 및 멀티뷰 디스플레이 시스템(1000)의 임의의 다른 컴포넌트들 사이의 명령어들 및 데이터의 통신을 용이하게 한다. 버스(1015)는 데이터 및 명령어들의 통신을 허용하기 위해 어드레스 변환기들, 어드레스 디코더들, 패브릭, 전도성 트레이스들, 전도성 와이어들, 포트들, 플러그들, 소켓들 및 기타의 커넥터들을 포함할 수 있다.

메모리(1006) 내의 명령어들은 소프트웨어 스택의 적어도 일부를 구현하는 방식으로 다양한 형태로 구현될 수 있다. 예를 들어, 명령어들은 운영 체제(1031), 어플리케이션(들)(1034), 장치 드라이버(예를 들어, 디스플레이 드라이버(1037)), 펌웨어(예를 들어, 디스플레이 펌웨어(1040)), 기타의 소프트웨어 컴포넌트들, 또는 이들의 임의의 조합의 일부로서 구현될 수 있다. 운영 체제(1031)는 연산 스케줄링, I/O 컴포넌트들(1009) 제어, 하드웨어 리소스에 대한 액세스 제공, 전력 관리, 및 어플리케이션(1034) 지원과 같은, 멀티뷰 디스플레이 시스템(1000)의 기본 기능을 지원하는 소프트웨어 플랫폼이다.

어플리케이션(들)(1034)은 운영 체제(1031) 상에서 실행되고 운영 체제(1031)를 통해 멀티뷰 디스플레이 시스템(1000)의 하드웨어 리소스들에 액세스할 수 있다. 이와 관련하여, 어플리케이션(들)(1034)의 실행은 적어도 부분적으로 운영 체제(1031)에 의해 제어된다. 어플리케이션(들)(1034)은 사용자에게 높은 수준의 기능, 서비스 및 기타의 기능을 제공하는 사용자 수준의 소프트웨어 프로그램일 수 있다. 일부 실시 예들에서, 어플리케이션(1034)은 멀티뷰 디스플레이 시스템(1000) 상에서 사용자가 다운로드 가능하거나 액세스 가능한 전용 '앱(app)'일 수 있다. 사용자는 운영 체제(1031)에 의해 제공되는 사용자 인터페이스를 통해 어플리케이션(들)(1034)을 실행할 수 있다. 어플리케이션(들)(1034)은 개발자들에 의해 개발되고 다양한 소스 코드 형식들로 정의될 수 있다. 어플리케이션들(1034)은, 예를 들어, C, C++, C#, Objective C, Java®, Swift, JavaScript®, Perl, PHP, Visual Basic®, Python®, Ruby, Go, 또는 기타의 프로그래밍 언어들과 같은, 많은 프로그래밍 또는 스크립팅 언어들을 이용하여 개발될 수 있다. 어플리케이션(들)(1034)은 컴파일러에 의해 객체 코드로 컴파일되거나 프로세서(들)(1003)에 의한 실행을 위해 해석기에 의해 해석될 수 있다. 어플리케이션(1034)은 도 3과 관련하여 전술한 어플리케이션(207)일 수 있다.

예를 들어 디스플레이 드라이버(1037)와 같은 장치 드라이버들은, 운영 체제(1031)가 다양한 I/O 컴포넌트들(1009)과 통신할 수 있도록 하는, 명령어들을 포함한다. 각각의 I/O 컴포넌트(1009)는 자신의 장치 드라이버를 가질 수 있다. 장치 드라이버들은, 스토리지에 저장되고 시스템 메모리에 로딩되도록, 설치될 수 있다. 예를 들어, 설치 시에, 디스플레이 드라이버(1037)는 운영 체제(1031)로부터 수신된 높은 수준의 디스플레이 명령어를 이미지의 디스플레이를 위해 디스플레이(1012)에 의해 구현되는 낮은 수준의 명령어들로 변환한다.

예를 들어 디스플레이 펌웨어(1040)와 같은, 펌웨어는 I/O 컴포넌트(1009) 또는 디스플레이(1012)가 낮은 수준의 연산들을 수행할 수 있게끔 하는 기계 코드 또는 어셈블리 코드를 포함할 수 있다. 펌웨어는 특정 컴포넌트의 전기적 신호들을 더 높은 수준의 명령어들 또는 데이터로 변환할 수 있다. 예를 들어, 디스플레이 펌웨어(1040)는 전압 또는 전류 신호를 조절함으로써 디스플레이(1012)가 낮은 수준에서 개별 픽셀들을 활성화하는 방식을 제어할 수 있다. 펌웨어는 비휘발성 메모리에 저장되고, 비휘발성 메모리로부터 직접 실행될 수 있다. 예를 들어, 디스플레이 펌웨어(1040)는, ROM 칩이 멀티뷰 디스플레이 시스템(1000)의 다른 스토리지 및 시스템 메모리로부터 분리되도록 디스플레이(1012)에 연결된, ROM 칩에 구현될 수 있다. 디스플레이(1012)는 디스플레이 펌웨어(1040)를 실행하기 위한 프로세싱 회로를 포함할 수 있다.

운영 체제(1031), 어플리케이션(들)(1034), 드라이버들(예를 들어, 디스플레이 드라이버(1037)), 펌웨어(예를 들어, 디스플레이 펌웨어(1040)), 및 가능한 다른 명령어 세트들은, 각각, 전술한 기능 및 연산들을 수행하기 위해 프로세서(들)(1003) 또는 멀티뷰 디스플레이 시스템(1000)의 다른 프로세싱 회로에 의해 실행 가능한 명령어들을 포함한다. 비록 본 명세서에 설명된 명령어들은 전술한 바와 같이 프로세서(들)(1003)에 의해 실행되는 소프트웨어 또는 코드로 구현될 수 있지만, 대안적으로, 명령어들은 전용 하드웨어 또는 소프트웨어와 전용 하드웨어의 조합으로 구현될 수도 있다. 예를 들어, 전술한 명령어들에 의해 수행되는 기능 및 연산들은 여러 기법들 중 어느 하나 또는 이들의 조합을 채용하는 회로 또는 상태 머신으로서 구현될 수 있다. 이러한 기법들은, 하나 이상의 데이터 신호의 인가 시 다양한 로직 기능들을 구현하기 위한 로직 게이트들을 갖는 개별 로직 회로들, 적절한 로직 게이트들을 갖는 어플리케이션 특정 집적 회로(application specific integrated circuit; ASIC)들, 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA)들, 또는 기타의 컴포넌트들 등을 포함할 수 있지만, 이에 제한되지는 않는다.

일부 실시 예들에서, 전술한 기능 및 연산들을 수행하는 명령어들은 비-일시적인 컴퓨터-판독 가능한 저장 매체에 구현될 수 있다. 비-일시적인 컴퓨터-판독 가능한 저장 매체는 멀티뷰 디스플레이 시스템(1000)의 일부일 수도 있고 아닐 수도 있다. 예를 들어, 명령어들은 컴퓨터-판독 가능한 매체로부터 페치되고 프로세싱 회로(예를 들어, 프로세서(들)(1003))에 의해 실행될 수 있는 명령문들, 코드, 또는 선언들을 포함할 수 있다. 본 명세서에 정의된 "비-일시적인 컴퓨터-판독 가능한 저장 매체(non-transitory, computer-readable storage medium)"는, 예를 들어 멀티뷰 디스플레이 시스템(1000)과 같은 명령어 실행 시스템에 의해 또는 이와 함께 사용하기 위해 본 명세서에 설명된 명령어들을 포함, 저장 또는 유지할 수 있는 임의의 매체로서 정의될 수 있으며, 예를 들어 반송파를 포함하는 일시적인 매체를 배제할 수 있다.

비-일시적인 컴퓨터-판독 가능한 매체는, 예를 들어 자기, 광학 또는 반도체 매체와 같은 많은 물리적 매체들 중 임의의 것을 포함할 수 있다. 적절한 비-일시적인 컴퓨터-판독 가능한 매체의 보다 구체적인 예들에는 자기 테이프, 자기 플로피 디스켓, 자기 하드 드라이브, 메모리 카드, 고체 상태 드라이브, USB 플래시 드라이브 또는 광학 디스크가 있지만, 있지만 이에 제한되지는 않는다. 또한, 비-일시적인 컴퓨터-판독 가능한 매체는, 예를 들어 정적 랜덤 액세스 메모리(SRAM) 및 동적 랜덤 액세스 메모리(DRAM), 또는 자기 랜덤 액세스 메모리(MRAM)를 포함하는, 랜덤 액세스 메모리(RAM)일 수 있다. 또한, 비-일시적인 컴퓨터-판독 가능한 매체는 읽기 전용 메모리(ROM), 프로그램 가능한 읽기 전용 메모리(PROM), 소거 가능 프로그램 가능한 판독 전용 메모리(EPROM), 전기적 소거 가능 프로그램 가능한 판독 전용 메모리(EEPROM), 또는 기타 유형의 메모리 장치일 수 있다.

멀티뷰 디스플레이 시스템(1000)은 전술한 동작들 중 임의의 것을 수행하거나, 전술한 기능을 구현할 수 있다. 예를 들어, 전술한 프로세스 흐름들은 명령어들을 실행하고 데이터를 처리하는 멀티뷰 디스플레이 시스템(1000)에 의해 수행될 수 있다. 멀티뷰 디스플레이 시스템(1000)이 단일 장치로서 도시되어 있지만, 실시 예들이 이에 제한되는 것은 아니다. 일부 실시 예들에서, 멀티뷰 디스플레이 시스템(1000)은 분산 방식으로 명령어들의 처리를 오프로드(offload)할 수 있고, 복수의 멀티뷰 디스플레이 시스템들(1000) 또는 기타의 컴퓨팅 장치들은 분산 배열로 저장 또는 로딩될 수 있는 명령어들을 실행하기 위해 함께 동작할 수 있다. 예를 들어, 적어도 일부 명령어들 또는 데이터는 멀티뷰 디스플레이 시스템(1000)과 연동하여 동작하는 클라우드 기반 시스템에서 저장, 로딩 또는 실행될 수 있다.

이상에서는, 멀티뷰 이미지의 멀티뷰 형식을 검출하는 예들 및 실시 예들이 설명되었다. 연산들은, 멀티뷰 이미지에 대해 자기상관을 수행하고 교차상관 맵의 특정 위치들을 샘플링하는 것을 기반으로 특징을 생성하는 것을 포함한다. 분류기는 멀티뷰 형식들을 검출하기 위해 적어도 이러한 특징을 기반으로 훈련된다. 전술한 예들은 단지 본 명세서에 설명된 원리들을 나타내는 많은 구체적인 예들 중 일부를 예시하는 것임을 이해하여야 한다. 명백히, 당업자는 다음의 청구 범위에 의해 정의되는 범위를 벗어나지 않고 수 많은 다른 구성들을 쉽게 고안할 수 있다.

Claims (20)

1. 컴퓨터로 구현되는 멀티뷰 형식 검출 방법으로서,
   복수의 타일링된(tiled) 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하는 단계;
   상기 멀티뷰 이미지를 상기 멀티뷰 이미지의 시프트된 복사본(shifted copy)과 자기상관시킴으로써 상기 멀티뷰 이미지로부터 교차상관 맵을 생성하는 단계;
   교차상관 값들의 세트를 식별하기 위해 상기 교차상관 맵의 복수의 미리 정의된 위치들에서 상기 교차상관 맵을 샘플링하는 단계; 및
   상기 교차상관 값들의 세트를 포함하는 상기 멀티뷰 이미지의 특징 세트를 분류함으로써 상기 멀티뷰 이미지의 멀티뷰 형식을 검출하는 단계;
   를 포함하되,
   상기 멀티뷰 이미지는 상기 멀티뷰 형식을 기반으로 멀티뷰 디스플레이 상에서 렌더링되도록 구성되는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
2. 제 1 항에 있어서,
   상기 멀티뷰 이미지의 종횡비를 결정하는 단계를 더 포함하고,
   상기 특징 세트는 상기 종횡비를 더 포함하는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
3. 제 1 항에 있어서,
   상기 미리 정의된 위치들 중 적어도 하나는 상기 교차상관 맵의 코너 영역을 포함하는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
4. 제 1 항에 있어서,
   상기 미리 정의된 위치들 중 적어도 하나는 상기 교차상관 맵의 길이 및 폭 중 하나를 따르는 중간점을 포함하는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
5. 제 1 항에 있어서,
   상기 교차상관 값들의 세트의 각각의 교차상관 값은 단일 교차상관 값을 기반으로 결정되는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
6. 제 1 항에 있어서,
   상기 교차상관 값들의 세트의 각각의 교차상관 값은 대응하는 미리 정의된 위치 내의 값들을 평균함으로써 결정되는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
7. 제 1 항에 있어서,
   훈련 데이터에 따라 상기 특징 세트를 분류하도록 분류기를 훈련시키는 단계를 더 포함하고,
   상기 훈련 데이터는 멀티뷰 이미지들 및 대응하는 훈련 레이블들의 훈련 세트를 포함하는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
8. 제 7 항에 있어서,
   상기 훈련 레이블들은 단일 타일 형식, 1x2 타일 형식, 2x1 타일 형식 및 2x2 타일 형식을 나타내는 레이블들을 포함하는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
9. 제 1 항에 있어서,
   상기 멀티뷰 디스플레이는 광각 백라이트를 이용하여 2차원(2D) 모드 동안 광각 방출광을 제공하도록 구성되고;
   상기 멀티뷰 디스플레이는 멀티빔 소자들의 어레이를 갖는 멀티뷰 백라이트를 이용하여 멀티뷰 모드 동안 지향성 방출광을 제공하도록 구성되고 - 상기 지향성 방출광은 상기 멀티빔 소자 어레이의 각각의 멀티빔 소자에 의해 제공되는 복수의 지향성 광빔들을 포함함 -;
   상기 멀티뷰 디스플레이는, 상기 2D 모드에 대응되는 제 1 순차 시간 구간 동안에는 상기 광각 백라이트를 그리고 상기 멀티뷰 모드에 대응되는 제 2 순차 시간 구간 동안에는 상기 멀티뷰 백라이트를 순차적으로 활성화시키기 위해, 모드 제어기를 이용하여 상기 2D 모드 및 상기 멀티뷰 모드를 시간 다중화하도록 구성되며;
   상기 지향성 광빔들의 방향들은 상기 멀티뷰 이미지의 상이한 뷰 방향들에 대응되는,
   컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
   
10. 제 1 항에 있어서,
    상기 멀티뷰 디스플레이는 도광체 내의 광을 안내된 광으로서 안내하도록 구성되고;
    상기 멀티뷰 디스플레이는 멀티빔 소자 어레이의 멀티빔 소자들을 이용하여 상기 안내된 광의 일부를 지향성 방출광으로서 산란시키도록 구성되며,
    상기 멀티빔 소자 어레이의 각각의 멀티빔 소자는 회절 격자, 미세 굴절성 소자 및 미세 반사성 소자 중 하나 이상을 포함하는,
    컴퓨터로 구현되는 멀티뷰 형식 검출 방법.
    
11. 멀티뷰 디스플레이 시스템으로서,
    멀티뷰 이미지들을 디스플레이하도록 구성된 멀티뷰 디스플레이;
    프로세서; 및
    복수의 명령어들을 저장하는 메모리;
    를 포함하되,
    상기 복수의 명령어들은, 실행되는 경우, 상기 프로세서로 하여금:
    복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하고;
    상기 멀티뷰 이미지를 상기 멀티뷰 이미지의 시프트된 복사본과 자기상관시킴으로써 상기 멀티뷰 이미지로부터 교차상관 맵을 생성하고;
    교차상관 값들의 세트를 식별하기 위해 상기 교차상관 맵의 복수의 미리 정의된 위치들에서 상기 교차상관 맵을 샘플링하고;
    상기 멀티뷰 이미지의 특징 세트를 분류기에 입력하고 - 상기 특징 세트는 상기 교차상관 값들의 세트를 포함함 -;
    상기 분류기로부터 레이블을 검색하고 - 상기 레이블은 상기 멀티뷰 이미지의 멀티뷰 형식을 나타냄 -;
    상기 멀티뷰 형식을 기반으로 상기 멀티뷰 이미지를 멀티뷰 디스플레이 상에서 렌더링; 하게끔 하는,
    멀티뷰 디스플레이 시스템.
    
12. 제 11 항에 있어서,
    상기 복수의 명령어들은, 실행되는 경우, 상기 프로세서로 하여금 추가적으로:
    상기 멀티뷰 이미지의 종횡비를 결정하게끔 하고;
    상기 특징 세트는 상기 종횡비를 더 포함하는,
    멀티뷰 디스플레이 시스템.
    
13. 제 11 항에 있어서,
    상기 미리 정의된 위치들 중 적어도 하나는 상기 교차상관 맵의 코너 영역을 포함하는,
    멀티뷰 디스플레이 시스템.
    
14. 제 11 항에 있어서,
    상기 미리 정의된 위치들 중 적어도 하나는 상기 교차상관 맵의 길이 및 폭 중 하나를 따르는 중간점을 포함하는,
    멀티뷰 디스플레이 시스템.
    
15. 제 11 항에 있어서,
    상기 교차상관 값들의 세트의 각각의 교차상관 값은 단일 교차상관 값을 기반으로 결정되는,
    멀티뷰 디스플레이 시스템.
    
16. 제 11 항에 있어서,
    상기 분류기는 훈련 데이터를 이용하여 훈련되고,
    상기 훈련 데이터는 멀티뷰 이미지들 및 대응하는 훈련 레이블들의 훈련 세트를 포함하는,
    멀티뷰 디스플레이 시스템.
    
17. 제 16 항에 있어서,
    상기 훈련 레이블들은 단일 타일 형식, 1x2 타일 형식 및 2x1 타일 형식을 나타내는 레이블들을 포함하는,
    멀티뷰 디스플레이 시스템.
    
18. 컴퓨터 시스템의 프로세서에 의해 실행되는 경우, 멀티뷰 형식 검출 연산들을 수행하는 실행 가능한 명령어들을 포함하는 컴퓨터 프로그램으로서,
    상기 연산들은:
    복수의 타일링된 뷰 이미지들을 포함하는 멀티뷰 이미지에 액세스하고;
    상기 멀티뷰 이미지를 상기 멀티뷰 이미지의 시프트된 복사본과 자기상관시킴으로써 상기 멀티뷰 이미지로부터 교차상관 맵을 생성하고;
    교차상관 값들의 세트를 식별하기 위해 상기 교차상관 맵의 복수의 미리 정의된 위치들에서 상기 교차상관 맵을 샘플링하고;
    상기 교차상관 값들의 세트를 포함하는 상기 멀티뷰 이미지의 특징 세트를 분류함으로써 상기 멀티뷰 이미지의 멀티뷰 형식을 검출하고;
    상기 멀티뷰 형식의 검출 시에 상기 멀티뷰 이미지의 타일링된 뷰 이미지들의 픽셀들을 인터레이싱; 하는 것을 포함하는,
    컴퓨터 프로그램.
    
19. 제 18 항에 있어서,
    상기 연산들은 상기 멀티뷰 이미지의 종횡비를 결정하는 것을 더 포함하고,
    상기 특징 세트는 상기 종횡비를 더 포함하는,
    컴퓨터 프로그램.
    
20. 제 18 항에 있어서,
    상기 멀티뷰 형식은 1x2 타일 형식, 2x1 타일 형식 또는 2x2 타일 형식인,
    컴퓨터 프로그램.