KR20100031126A

KR20100031126A - 비디오 및 필름 응용을 위한 스테레오플렉싱

Info

Publication number: KR20100031126A
Application number: KR20107000358A
Authority: KR
Inventors: 로버트 아카; 레니 립톤; 조쉬 그리어; 매트 코완
Original assignee: 리얼 디
Priority date: 2007-06-07
Filing date: 2008-06-03
Publication date: 2010-03-19
Also published as: JP2010529778A; EP2629534A2; US8487982B2; EP2156678A4; US20140022342A1; EP2613539A2; WO2008153861A1; EP2629534B1; KR101594372B1; US9030531B2; ES2420157T3; EP2156678A1; EP2613539B1; EP2629534A3; EP2613539A3; JP5410415B2; US20080303896A1; EP2156678B1

Abstract

일련의 입체영상 화상들을 형성하기 위해 결합가능한 일련의 좌측 화상들과 일련의 우측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법이 제공되며, 입체영상 화상 소스 데이터와 일련의 좌측 화상들 및 일련의 우측 화상들은 프레임들내에 있도록 개념상 정의된다. 본 방법은 프레임에 걸쳐 다양한 레벨들로 입체영상 화상 소스 데이터를 압축함으로써, 좌측 화상들 및 우측 화상들을 형성하는 것과, 부분들로 분할된 일련의 단일 프레임들을 제공하는 것을 포함하며, 단일 프레임들 각각은 제1 부분에 하나의 우측 화상을 포함하고 제2부분에 하나의 좌측 화상을 포함한다. 이와 달리, 단일 프레임들은 단일 프레임 각각의 첫번째 두 개의 부분들내에 두 개의 우측 화상들을 포함할 수 있고, 단일 프레임 각각의 두번째 두 개의 부분들내에 두 개의 좌측 화상들을 포함할 수 있으며, 각각의 좌우측 화상들 세트는 서로 다르게 프로세싱될 수 있다. 원래의, 비압축된 좌우측 화상들로부터의 엇갈림 배열, 교호적 배열, 필터링, 가변적 스케일링, 및 샤프닝과 같은 멀티플렉싱 프로세스들이 이용될 수 있다.

Description

비디오 및 필름 응용을 위한 스테레오플렉싱{STEREOPLEXING FOR VIDEO AND FILM APPLICATIONS}

본 발명은 일반적으로 단일 화상 채널내에 입체영상 데이터를 배치하는 것에 관한 것이며, 여기서 평면 영화 신호를 실어나르도록 설계되었던 화상 채널은 평면-입체영상 화상 또는 이중 뷰 입체영상 화상을 실어나른다.

입체영상 이미징, 특히 입체영상 효과를 생성하기 위해 두 개의 평면 화상들을 이용하는 평면 입체영상 이미징 기술이 인기를 얻어가고 있다. 하지만, 전자적 저장 및 배포를 위해 구축된 인프라구조는 필수적 퀄리티의 단일 평면 화상을 위한 것이였다. 상업적으로 실행가능한 입체영상 영화 또는 화상 시리즈들을 저장하고 송신하기 위해, 이와 같은 데이터는 기존의 인프라구조 요건내에서 동작해야만 하고, 또한 화상 퀄리티에 대한 사양을 충족시켜야만 한다. 어떤 화상 퀄리티 레벨은 평면 화상에서 예상되는 것으로서, 입체영상 화상은 이러한 표준에 대하여 약화되어서는 안된다.

평면 화상의 퀄리티 - 즉 단순한 용어로 표현하면, 화상의 샤프니스(sharpness), 화상의 색깊이, 화상의 계조(gradation), 화상 충실도(image's fidelity) - 는 화상에 할당된 대역폭에 좌우된다. 기존의 대역폭 파이프라인내에 두 개의 화상들, 즉 좌측 화상과 우측 화상을 배치하는 것을 시도하면 화상 손상을 불러일으킨다. 당면한 문제점은 다음과 같이 진술될 수 있다: 움직이는 입체영상 화상 쌍이 기존의 저장 및 배포 파이프라인내로 삽입될 때에라도 입체영상 설계자는 어떻게 평면 화상 퀄리티를 유지할 수 있을까?

단일 평면 화상용으로 이용되는 할당된 송신 파이프라인내에 끼워맞춰지도록 입체영상 텔레비젼(비디오) 화상 및 동화상을 결합하기 위한 수 많은 시도들이 행해져왔다. 일부의 경우들에서, 특히 텔레비젼 화상의 경우에서, 설계자는 백워드 또는 다운워드 호환성(backward or downward compatibility) 문제에 관심을 가져왔다. 백워드 또는 다운워드 호환성은 입체영상 신호가 기존의 텔레비젼 수신기들에 대해 비가시적이 되도록 제한될 수 있게 만들 것이다.

본 발명기술은 단일 평면 화상을 송신하도록 설계되었던 기존의 인프라구조를 통해 입체영상 화상 및 영화를 송신할 때의 문제를 해결하고자 한다. 기존의 컴포넌트들을 교체할 필요없이 멀티플렉싱된 입체영상 화상들을 제공할 수 있는 기술, 특히 이전에 이용가능한 것들을 통해 본 장점을 제공하는 기술을 제공하는 것이 유리할 것이다.

본 발명기술의 일 실시양태에 따르면, 일련의 입체영상 화상들을 형성하기 위해 결합가능한 일련의 좌측 화상들과 일련의 우측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법이 제공되며, 입체영상 화상 소스 데이터와 일련의 좌측 화상들 및 일련의 우측 화상들은 프레임들내에 있도록 개념상 정의된다. 본 방법은 프레임에 걸쳐 다양한 레벨들로 입체영상 화상 소스 데이터를 압축함으로써, 좌측 화상들 및 우측 화상들을 형성하는 것과, 부분들로 분할된 일련의 단일 프레임들을 제공하는 것을 포함하며, 단일 프레임들 각각은 제1 부분에 하나의 우측 화상을 포함하고 제2부분에 하나의 좌측 화상을 포함한다.

본 발명기술의 제2 실시양태에 따르면, 일련의 입체영상 화상을 형성하도록 결합될 수 있는 일련의 우측 화상들 및 일련의 좌측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법이 제공된다. 본 방법은 입체영상 화상 소스 데이터를 압축하는 것과, 부분들로 분할된 일련의 단일 프레임들을 제공하는 것을 포함하며, 단일 프레임들 각각은 단일 프레임 각각의 첫번째 두 개의 부분들에 두 개의 우측 화상들을 포함하고, 단일 프레임 각각의 두번째 두 개의 부분들에 두 개의 좌측 화상들을 포함한다.

원래의, 비압축된 우측 및 좌측 화상들로부터 엇갈림 배열(staggering), 교호적 배열(alternating), 필터링, 가변적 스케일링, 및 샤프닝(sharpening)과 같은 멀티플렉싱 프로세스들이 단독으로 또는 조합형태로 적용될 수 있으며, 비압축된 화상들로부터의 선택되거나 또는 미리결정된 영역들 또는 세그먼트들은 다른 영역들보다 많은 픽셀이 제거되거나 또는 결합될 수 있거나, 또는 그렇지 않으면 다른 영역들과 다른 퀄리티 레벨로 압축될 수 있다.

본 발명의 이러한 장점들 및 기타 장점들은 이하의 본 발명의 상세한 설명 및 첨부된 도면을 통해 본 발명분야의 당업자에게 자명해질 것이다.

일련의 입체영상 화상들을 형성하기 위해 결합가능한 일련의 좌측 화상들과 일련의 우측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법이 제공되며, 입체영상 화상 소스 데이터와 일련의 좌측 화상들 및 일련의 우측 화상들은 프레임들내에 있도록 개념상 정의된다.

본 발명은 첨부된 도면들의 도(圖)에서, 비제한적으로서의 예시를 통해 설명된다.
도 1은 두 개의 입체 소스 화상 컴포넌트들을 취하여, 두 개의 화상 컴포넌트들 중 하나와 일반적으로 동일한 크기를 갖는 프레임내에 끼워맞추도록 이 두 개의 화상 성분들을 멀티플렉싱하는 것을 도시한다.
도 2는 프리커서(precursor) 포맷에 의해 지정된 바와 같이, 대상 프레임의 서브 영역내에 끼워맞춰지는 각각의 입체 소스 화상 컴포넌트를 도시한다.
도 3은 단순 픽셀 선택을 나타내며, 교호적으로 픽셀들이 수용되거나 또는 폐기된다.
도 4는 필터링된 스케일링을 도시한다.
도 5는 교호하는 픽셀 행들에 대해 적용되는 교호적 기술들을 도시하며, 최상단의 행 및 그 아래의 두 행마다 하나의 행에서는 필터링된 스케일링이 나타나고, 이와 다른 행들에서는 단순 픽셀 선택이 이용되는 것이 나타난다.
도 6은 엇갈림 배열 기술이 적용된 픽셀 선택을 나타낸다.
도 7은 필터링된 스케일링 기술에 적용된 엇갈림 배열을 도시한다.
도 8은 수평하게 적용된, 가변적 스케일링의 단순 예시를 도시한다.
도 9는 네 개의 타일 프리커서 포맷의 예시를 나타낸다.
도 10은 네 개의 타일 프리커서 포맷의 다른 변형체이다.
도 11은 어떻게 입체 화상 컴포넌트가 양쪽 차원들(dimensions)을 따라 균일하게 스케일링되어 블럭으로 파티션화될 수 있는지를 도시한다.
도 12는 하나의 가능한 비직사각형 프리커서 포맷을 도시하며, 서브 영역들로 분할된 평행 사변형을 이용하여 배열을 파티션화하는 것을 도시한다.

본 발명기술은 평면 화상을 송신하도록 본래적으로 설계된 기존의 인프라구조를 통해 입체영상 화상을 송신하는 수단을 제공한다. 본 발명기술은 일련의 관련 기술들로 설명된다. 입체영상 화상의 멀티플렉싱, 또는 화상의 "스테레오플렉싱(stereoplexing)"이라고 칭해지는 것에 중점을 둔다. 입체영상 이미징을 위한 두 개의 주요 요건들이 있는데, 그 하나는 극장(필름)에 대한 배급을 위한 것이고, 나머지 다른 하나는 홈 엔터테인먼트(비디오)를 위한 것이다.

일반적으로, 비디오 응용들은 소스 화상 데이터로부터 픽셀을 제거하는 것과, 다양한 디스플레이 모니터와 선택 기술들을 이용하여 재생을 가능하게 해주는 비디오 시스템에서의 최적화를 수반한다. 필름 응용들은 필드 순차적 또는 일시적 멀티플렉싱을 위해 이용되며, 결과적인 입체영상 화상들은 커다란 극장 스크린상에서 상영된다. 일반적으로, 비디오 응용쪽보다는 필름 응용쪽에서 압축이 적으며, 송신된 데이터로부터 최상의 것을 획득하기 위해 매우 샤프한 센터 영역과 가장자리에서 샤프닝을 갖는 프레임 폭에 걸친 가변적 압축에 중점을 둔다.

현 시점에서의 디지털 영화관은 주목할만한 영향을 미치고 있으며, 오늘날 전세계의 디지털 영화관의 상당한 퍼센트가 입체영상 성능을 갖추고 있다. 좌측 및 우측 채널들을 처리하는 능력이 서버로부터 프로젝터로의 신호 또는 데이터 송신과 관련하여 기존의 전문적 동화상 표준내에서 해결되어 왔다.

수 많은 경우에서, 라이브 이벤트 및 사전기록되지 않은 이벤트의 송신이 필요하다. 이 경우, 지상선 및 위성 송신은 하나의 평면 신호만을 포함하도록 설계되기 때문에, 프로젝터에 직접 연결된 폐회로 서버에 의해 제공되는 대역폭 이익은 더 이상 쓸모없다. 본 발명기술은 지상선 송신 및 위성 송신 모두에서 공통적으로 이용되는 기존의 평면 대역폭내에 끼워맞춰지도록 좌우측 신호들을 스테레오플렉싱하고자 한다.

극장 영화관 이미징 표준은 매우 높기 때문에, 이러한 문제는 해결하기가 어렵게 된다. 두 개의 화상들을 기존의 대역폭내에 있게 하고, 감소된 퀄리티 표준에서 화상들이 견뎌내도록 하는 것은 충분하지 않다. 화상은 극장 영화관과 관련된 높은 성능 표준을 유지해야만 한다. 다행히도, 극장 영화관 화상들은 비록 압축은 되었어도 텔레비젼 화상보다는 훨씬 덜 압축된다. 극장 영화관 화상에 대한 일반적인 압축은 15:1이며, 이에 따라 스테레오플렉싱 기술에 대한 부담을 다소 줄여준다.

가정용뿐만이 아니라 영화관용 스테레오플렉싱의 경우, 동화상의 입체 쌍이 패키지화된다 할지라도, 입체 쌍은 동화상 인프라구조의 일부인 추가적인 압축 기술을 견뎌내야만 한다. 동화상 인프라구조의 경우, 가장 폭넓게 채용되는 압축 표준은 JPEG(Joint Photographic Experts Group) 2000이다. 이 프로토콜은 비교적 소규모의 압축으로 높은 퀄리티의 화상 송신을 가능하게 해준다. 예컨대 블루레이 또는 HD-DVD와 같은 디스크상의 컨텐츠의 디지털 배급을 위한 텔레비젼 영역에서는, 50:1 또는 70:1의 범위 이상의 압축률이 널리 이용되고 있으며, 이것들은 MPEG(Motion Picture Experts Group) 프로토콜과 같은 프로토콜을 이용한다.

따라서, 좌우측 입체 화상들을 단일 평면 프레임내로 결합시키는 멀티플렉싱 기술은 또한 화상들이 JPEG 또는 MPEG와 같은 인프라구조 압축 프로토콜들을 견뎌낼 수 있도록 해야만 한다. 이것은 이 모든 것들에 대해 적용되어야 하며, 동화상 또는 텔레비젼을 위한 평면 화상에 대해 동일한 화상 퀄리티를 산출시켜야 한다.

이와 같은 작업은 50년대 초기에서의 NTSC(National Television System Committee) 칼라 텔레비젼의 도입과 유사하다. 칼라플렉싱된 신호는 기존의 단색 수신을 악화시키지 않도록 하는 방법으로 추가되었다. 그러므로, 흑백 텔레비젼은 어떠한 심각한 화상의 손상 없이 칼라 방송을 픽업할 수 있었던 반면에; 새로운 칼라 텔레비젼 세트는 단색을 재생할 수 있고 또한 칼라 정보를 화상에 추가하기 위해 칼라 신호를 이용할 수 있었다.

다운워드 호환성은 매우 가치있지만, 이것은 어느 정도의 복잡성을 스테레오플렉싱 문제에 부가시킨다. 다운워드 호환성은 오늘날의 환경에서 필요로 하지 않을 수 있다. NTSC 칼라가 도입되었을 때에는 한정된 수의 채널들이 존재하였으며, VHS 테잎 또는 DVD 디스크와 같은 기록된 컨텐츠를 사용자가 재생하도록 해주는 수단이 없었다. 오늘날의 상황은 이와 다르다. 수 백가지의 채널들이 이용가능한 케이블 텔레비젼과 공중파 텔레비젼을 통해 이용가능해지며, 사전기록된 디스크를 재생하는 능력이 존재한다. 이용가능한 이러한 다양한 옵션들과 함께, 입체영상 텔레비젼을 위한 다운워드 호환성 요건에 의문을 품을 필요가 있다 - 즉, 사용자는 일반적으로 최고의 퀄리티 기술의 완전한 다운워드 호환가능 버젼을 가질 필요 없이 시청할 무언가를 찾을 수 있다. 동화상의 경우, 폐회로 성질 및 외부세계로의 극장 컨텐츠의 무배급으로 인해 다운워드 호환성은 단순히 필요하지가 않다.

현재 폭넓게 이용가능하지는 않지만, 텔레비젼은 입체영상 프로그래밍에 할애된 몇몇의 채널들을 지원할 수 있으며, 예컨대 디스크의 경우에서, 레터박스 포맷이 디스크의 일측상에 배치되고 디스크의 다른측상에는 에디슨 종횡비(1.3:1)가 배치되거나, 또는 때때로 디스크의 동일한 측상에 별개의 데이터로서 포함되는 선례가 확립되었다. 그러므로, 오늘날의 환경에서 디스크는 일측상에 평면 영화 버젼을 갖고 다른측상에는 입체영상 버젼을 가지거나, 또는 디스크의 동일측상의 별개의 영역들내에 저장되거나, 또는 아마도 동일한 소매 패키지내의 서로 다른 디스크상에 포함될 수 있는 것이 적절해 보인다.

또한 임의의 입체영상 저장 방식이 모노영상 디스플레이와 백워드 또는 다운워드 호환되는 것도 가능하며, 여기서는 모노영상 디스플레이상에 두 개의 입체 뷰들 중 오지 하나만(즉, 좌측 안구 뷰만)을 디스플레이하는 옵션이 존재한다.

본 발명기술은 역 기능, 즉 신호를 디멀티플렉싱하거나 또는 "디먹싱"하는 것에 대해 신경쓰지 않고서, 신호를 스테레오플렉싱 또는 인코딩하는 것에 주로 전념한다. 단독으로 이용될 수 있거나 또는 조합 형태로 이용될 수 있는 서로 다른 여러 개의 관련된 기술들을 설명하며, 이 기술들은 이하에서 보다 자세하게 서술된다.

여러 개의 일반 컨테이너 방법이 프리커서 포맷을 생성하는데 활용될 수 있다. 프리커서 포맷은 입체영상 정보를 인코딩하는 동안에, 이러한 정보의 이용과 관련하여 개조될 수 있고 이로써 서로 다른 디스플레이 및 선택 장치가 활용될 수 있는 포맷이다. 예를 들어, 입체영상 화상 선택은 에너글리프(anaglyph; 적색 및 녹생 안경)에 의해, 또는 시간 순차적 방법에 의해, 또는 편광 방법에 의해, 과거 포함 인터레이스(past involving interlace)에서 발표되었던 방법에 의해, 마이크로편광기 기술에 의해, 또는 어떠한 DLP 프로젝터의 특징인 대각 인터레이스에 의해 발생할 수 있다.

따라서, 프리커서 포맷은, 서터링 아이웨어 또는 수동 아이웨어 또는 어떠한 것을 희망할지라도, 좌우측 투시 정보를 포함하는 동안, 이러한 정보는 그 후에 투사 또는 디스플레이 포맷 - 또는 모니터 포맷 및 이러한 포맷과 연관된 입체영상 화상 선택 기술에 따라 장점을 최대화하는데 이용될 수 있는 포맷내에 포함되어야만 한다는 점에서 절충적 가능성을 가져야 한다. 상업적으로 수행가능한 솔루션을 갖기 위해, 최상의 방법은 본 명세서에서 설명된 프리커서 프로토콜을 이용하는 것이며, 상술한 바와 같이, 이 논의에서는 디멀티플렉싱 기술보다는 스테레오플렉싱 기술에 중점을 둔다. 스테레오플렉싱 기술은 소프트웨어 의존적이며, 스테레오플렉싱을 달성하기 위해 예컨대 사후 생산 슈트내에 컴퓨터가 소프트웨어 프로그램과 함께 구성될 수 있다.

한편, 동화상 투사 또는 텔레비젼 세트는 단순성 및 저가의 상품을 필요로 한다. 여기서 솔루션은 매우 복잡할 수 있는 소프트웨어 솔루션이 아니라, 상대적으로 단순하고 저가인 하드웨어 또는 펌웨어 솔루션이다.

본 명세서에서 설명된 일반적인 방법들 중에서 하나는 단계적(side-by-side) 멀티플렉싱 방법이며, 여기서는 포맷이 수직 라인으로 분할되고, 좌우측 화상들은 각각 컨테이너의 좌측 또는 우측 절반에 배치된다. 분명하게도, 어떠한 이유로든지 간에, 좌측 화상 정보는 프레임의 우측상에 놓일 수 있고, 그 반대도 마찬가지며; 상하와 같은, 정보의 다른 배치는 이러한 교시의 명백한 확장 또는 대안이다.

다른 방법은 소위 말하는 "쿼드 타일(quad-tile)" 방법을 이용하는데, 여기서는 두 개의 타일들에 좌우측 정보가 각각 분포된 상태로 네 개의 타일들이 배열된다. 즉, 좌측 정보는 두 개의 타일들을 차지하며, 우측 정보는 두 개의 타일들을 차지한다. 아래에서는 이 방법이 왜 일정한 장점들을 갖는 이유를 설명할 것이다.

이러한 프리커서 포맷 방법 및 다른 프리커서 포맷 방법을 따르고, 일정한 다른 적절한 관련사항을 처리함으로써, 화상은 JPEG 또는 MPEG과 같은 압축 방식에 따라 압축될 때에 견뎌낼 수 있다. 또한, 테스트 결과를 이용하여, 정신물리학 테스트(psychophysical test)는 비압축된 데이터와 압축된 데이터를 비교하는 것을 수행한다. 이러한 교시내용에 따라 압축된 화상들은 압축 및 압축해제를 견뎌내어서, 원래의 비압축된 화상과 매우 거의 동일한 퀄리티를 갖는 것으로 나타난다. "매우 거의"에 의해, 화상이 압축되고 압축해제된 것을 검출하는 유일한 방법은 전형적인 극장 좌석 구성에서 임의의 통상적인 고객이 위치하는 것 보다 훨씬 가깝게 관측자가 스크린에 매우 근접하게 위치하고, 추가적으로 특정한 세부사항에 구체적으로 집중하여 작은 차이점을 찾아낼 수 있는 것을 의미한다.

이러한 프리커서 포맷 컨테이너에 더하여, 픽셀을 선택하는 것, 즉 설명된 프리커서 컨테이너 포맷내로 픽셀들을 나중에 배열시킬 수 있는 픽셀 선택 또는 샘플링 기술에 대한 설명이 주어질 것이다. 높은 퀄리티 입체영상 경험을 위해, 결과적인 화상이 최소의 손실을 가지게 하도록 이 프로세스의 일부분에 상당한 주의를 하여야한다.

이용되는 또 다른 기술은 입체영상 또는 스테레오플렉싱 압축이 프레임의 폭에 걸쳐 변하는 것이다. 가장단순한 경우로, 실제 동작에서는 일반적으로 시선이 집중되는 부분은 프레임의 중앙부분이기 때문에 프레임의 중앙부분에서 최소의 압축이 발생한다.

도 1로부터는 두 개의 입체 쌍 엘리먼트들, 즉 좌측 안구 뷰 화상(101)과 우측 안구 뷰 화상(102)이 도시되며, 이것들은 상기 두 개의 입체 쌍 엘리먼트 화상들 중 어느 한쪽과 대체로 동일한 크기의 프레임(103)내에 저장될 필요가 있다. 일반적으로, 두 개의 입체 쌍 엘리먼트들 각각은 동일한 일반 종류의 비디오 저장소, 화상 프로세싱, 및 디스플레이 시스템을 이용하여 비입체영상 뷰잉을 위한 적절한 퀄리티를 갖는다. 예를 들어, 특정한 퀄리티 표준에서 1920x1080 픽셀 화상을 보통 처리하는 저장소 및 디스플레이 시스템의 경우, 동일한 종류의 시스템에 의해 처리되는 입체 쌍 엘리먼트들은 각각 유사한 퀄리티를 가질 것이며, 이에 따라 보통 동일한 픽셀 해상도를 가져야하는 것을 예상할 것이다. 즉, 보통 1920x1080 컨텐츠를 처리하는 시스템의 경우에서는, 각각의 좌측 안구 엘리먼트 및 우측 안구 엘리먼트도 1920x1080이 되는 것이 일반적일 것이다.

프리커서 포맷에 의해 어느 한쪽의 입체 쌍 엘리먼트에 할당된 절반 프레임 필드에 끼워맞춰지도록 입체영상 정보를 단일의 프레임내로 멀티플렉싱하거나, 또는 보다 구체적으로 두 개의 입체 쌍 엘리먼트들 중 어느 한쪽을 그래픽적으로 압축하기 위해, 여러 개의 기술들이 여러가지 조합으로 이용될 수 있다.

도 2는 "프리커서 포맷", 즉 이용가능한 전체 화상 프레임내에 좌우측 안구 화상 데이터 필드들의 포괄적인 레이아웃의 개념을 도시한다. 가장단순한 프리커서 포맷은 화상 프레임을 좌측 절반부분과 우측 절반부분으로 분리시키고, 두 개의 각각의 안구 뷰들 중 한 쪽의 안구 뷰로부터의 화상 정보를 저장하도록 이 절반부분들 각각을 예약해둔다. 도 2로부터, 만약 화상 프레임 크기가 수평으로 1920 픽셀이고 수직으로 1080 픽셀이면, 프레임의 좌측 절반부(202)(960x1080 픽셀)를 좌측 안구 뷰(201)에 할당할 수 있고, 우측 절반부를 우측 안구 뷰에 할당할 수 있다.

따라서, 두 개의 풀 사이즈(full-sized) 입체 쌍 엘리먼트들을 이러한 특정의 프리커서 포맷으로 멀티플렉싱하는 것은 하나의 풀 사이즈 화상을 하프 사이즈 화상 필드에 맵핑하여, 입체 쌍 마다 두 번을 이렇게 해야하는 문제를 낳는다.

아마도 풀 사이즈 화상을 하프 사이즈 필드에 맵핑하는 가장단순한 방법은 각각의 행에서 두 개의 픽셀 마다 하나의 픽셀을 제거하는 것이다. 예를 들어, 도 3에서 도시된 바와 같이, 원래의 좌안 뷰(301)로부터, (첫번째 행에서 다섯번째 픽셀(302)과 같은 픽셀, 여기서 첫번째 열은 번호 0이며, 이것은 짝수 번호의 열이다) 짝수번호의 열의 픽셀만을 하프 사이즈 프레임으로 이전시키고, (픽셀 303과 같은) 다른 픽셀은 폐기하는 것이 이러한 것을 행하는 하나의 방법일 것이다. 몇몇의 픽셀들은 선택하고 나머지 것들은 폐기하는 이러한 일반적 기술을 "픽셀 선택"이라고 칭하며, 이것은 텍사스 인스트루먼츠(Texas Instruments)의 "체커보드(checkerboard)" 비디오 디스플레이에 대해 멀티플렉싱할 때에 성공적으로 이용될 수 있다. 이러한 유형의 멀티플렉싱은 픽셀 선택 및 교호적 행 엇갈림 배열을 갖는 단계적 프리커서 포맷을 이용한다.

픽셀 선택에 대한 대안책은 일반적으로 "필터링된 스케일링"이라고 칭해지는 다양한 기술들을 포함한다. 필터링된 스케일링을 이용할 때에, 프리커서 필드에 맵핑된 픽셀 정보는 하나 보다 많은 소스 픽셀로부터 구해진 정보를 포함한다. 필터링된 스케일링 알고리즘의 한가지 예는 저장될 임의의 주어진 픽셀 값을 계산하기 위해 두 개의 이웃하는 소스 픽셀들을 평균내는 것이다. 다른 알고리즘은 가중 평균을 구할 수 있으며, 저장된 픽셀 값은 주로 단일 소스 픽셀을 표현하며, 이 픽셀 값은 또한 (수평 및/또는 수직 차원을 따라) 수학적으로 이웃하는 셀들의 값과 합해진다. 도 4에 의해 나타난 특정한 필터링된 스케일링 알고리즘은 (결과적인 픽셀(402, 403)과 같이 타원에 의해 나타난) 결과적인 픽셀이 소스 화상내에서 홀수 번호 열로부터 주로 작성되면서, 또한 몇몇 픽셀 정보를 이웃하는 짝수 번호 열로부터 얻는 소스 필드(401)를 보여준다. (소스 픽셀 #2, 및 최상단 행의 세번째 픽셀과 같은) 홀수 번호 열의 픽셀은 두 개의 서로 다른 결과적인 픽셀들(402, 403)에 대한 정보를 제공한다. 선형 필터링, 바이큐빅(bicubic) 필터링 등과 같은 잘 알려진 복수의 필터링된 스케일링 알고리즘들이 존재하며, 이들 중 임의의 것 또는 가변적으로 적용되는 바이큐빅 스케일링, 가변적 샤프닝, 비가변적으로 적용되는 바이큐빅 스케일링, 및 비가변적 샤프닝을 비제한적인 예시로서 포함하는 상기 알고리즘들의 변형체가 적용될 수 있다.

필터링된 스케일링은 극장 디스플레이용으로 가장 유리하게 적용될 수 있는 멀티플렉싱 기술이다. 이 멀티플렉스 기술은 디멀티플렉스 후에 적용되는, 가변적으로 적용되는 바이큐빅 스케일링 및 가변적 샤프닝을 갖는 단계적 프리커서 포맷을 이용한다. 이와 유사한 방법이 또한 TI "체커보드" 유형의 디스플레이 이외의 평면 패널 디스플레이에 적용될 수 있다.

일반적으로 말하면, 필터링된 스케일링은 보다 적은 인공물(artifact)을 갖는 보다 부드러운 상을 산출시키는 경향이 있지만, 픽셀 선택 기술은 샤프니스(sharpness)을 유지하고 프로세싱 오버헤드를 최소화하는데 유용할 수 있다.

또 다른 옵션은 "교호적 기술"이라고 불리우는데, 이것은 교호적인 픽셀 행들에 대해 선택/스케일링 기술을 교호시키는 것을 의미한다. 교호적 기술의 한가지 예시가 도 5에서 도시되며, 여기서는 짝수 번호 픽셀 행들(결과적인 픽셀(502, 503)이 여러 개의 소스 픽셀들로부터 자신의 정보를 얻는다)에 대해서는 특별한 동작 또는 필터링된 스케일링 방법을 이용하는 반면에, 홀수 번호 픽셀 행들(좌측 안구 필드(501)에서, 픽셀(504)은 폐기되는 반면에, 픽셀(505)은 이전된다)에 대해서는 단순 픽셀 선택이 이용된다. 이 교호적 기술은 선택 및 스케일링 모두의 장점을 전달하는 가능성을 가지며; 총체적 샤프니스는 필터링된 스케일링을 100% 이용할 때보다 양호할 수 있으면서, 교호하는 행들에 대한 필터링된 스케일링은 효과적으로 선택 인공물을 감소시켜준다. 교호적 기술은 또한 픽셀 행들에 대해 두 개의 서로 다른 유형의 필터링된 스케일링을 교호적으로 이용하는 것으로 이루어질 수 있다.

"엇갈림 배열"이라고 불리우는 다른 기술은 픽셀 선택 또는 다양한 필터링된 스케일링 방법과 조합형태(교호적 기술 방법을 포함)로 이용될 수 있으며, 텍사스 인스트루먼츠에 의해 제조되어 판매되는 소위 말하는 "체커보드" 디스플레이와 함께 유리하게 이용될 수 있다. 이 기술을 통해, 행들은 소스 필드내에서 엇갈림 배열 방식에 기초하여 교호적으로 소스 데이터를 획득한다. 엇갈림 배열의 한가지 예시가 도 6에서 도시된다. 엇갈림 배열 픽셀 선택 기술은 특정한 소스 화상(601)으로부터, 짝수 번호 행으로부터의 참조번호 602와 같은 짝수 열 픽셀을 택할 수 있으며(픽셀(603)과 같은 홀수 번호 픽셀은 폐기한다), 홀수 번호 행들로부터는 홀수 열 픽셀을 선택할 수 있다(픽셀(604)과 같은 짝수 번호 픽셀은 폐기한다). 엇갈림 배열과 픽셀 선택을 결합시킨 이 예시는 사실상, 체커보드로부터 오직 검은색 네모만을 택하는 것과 마찬가지로, 대각선 선택 패턴을 초래시킨다. 체커보드 구성은 일반적으로 90도 만큼 회전되어도 변하지 않기 때문에, 이러한 방법으로 선택을 엇갈려 배열시킴으로써, 선택은 엇갈려 배열시키지 않은 열 선택 방법과 비교하여 보다 효과적으로 차원 중립적이 된다.

엇갈림 배열은 비엇갈림 배열 포맷의 필터링된 스케일링과 비교하여 유사한 장점을 가지면서, 다양한 필터링된 스케일링 옵션 중 임의의 것에도 적용될 수 있다. 엇갈임 배열은 또한 TI "체커보드" 유형의 디스플레이에서 적용가능하다. 도 7의 예시에서, 좌측 안구 뷰(701)는 필터링된 스케일링 알고리즘을 이용하여 프로세싱되며, 결과적인 픽셀들(702, 703) 각각은 하나 보다 많은 소스 픽셀로부터 각자의 정보를 얻는다. 하지만, 최상단 행에서의 결과적인 픽셀들은 각각 짝수 번호 픽셀 열들로부터 주로 작성되는 반면에(결과적인 픽셀(702)이 소스 픽셀 #4을 중심으로 위치하여 이 픽셀 위에서 대부분의 영역을 갖고, 결과적인 픽셀(703)은 소스 픽셀 #6을 중심으로 위치하는 방식), 다음 행(704)에서는, 결과적인 픽셀들은 주로 홀수 번호 픽셀 열들로부터 작성된다. 이 두번째 행에서의 첫번째 완전한 결과적 픽셀은 이 행에서의 두번째 소스 픽셀, 즉 픽셀 #1(홀수 번째 픽셀임)으로부터 주로 작성됨을 유념한다.

선택 또는 스케일링 차원 중립을 행해는 장점에 더하여, 엇갈림 배열 기술은 몇가지 추가적인 장점들을 갖는다. 수직 특징 및 유사 수직 특징과 관련된 시각적 인공물은 보다 효과적으로 감소된다. 또한, 전술된 TI 디스플레이 시스템과 같은 몇몇의 입체영상 디스플레이 시스템은 입체영상 디스플레이 모드에 있을 때에 "체커보드" 또는 "다이아몬드형 인터레이스" 픽셀 레이아웃을 이용하며; 엇갈림 배열 선택(또는 엇갈림 배열 필터링된 스케일링)은 일반적으로 이와 같은 디스플레이에 화상 데이터를 맵핑시킬 때에 보다 적절하다.

최종적인 화상들이 교호하는 행들 사이에서 엇갈림 효과없이 조망될 수 있도록 엇갈림 배열은 디멀티플렉싱 동안에 원래대로 되돌려져야 하며, 일반적으로는 이 동안에는 원래대로 되돌려져야 한다.

교호하는 픽셀 행들에서의 엇갈림 오프셋은 일정한 환경에서, 완전한 화상 압축과 인터레이싱될 수 있다(또는 반대로, 화상 압축 알고리즘은 엇갈림 배열을 손상시킬 수 있다). 이것은 심각한 문제는 아닐 수 있다. 만약 엇갈림 배열이 훼손되면, 이와 같은 효과는 후술하는 방법들로 해결될 수 있다.

다음 기술, 즉 "가변적 스케일링"은 필터링된 스케일링 변형에 적용가능하지만, 픽셀 선택 기술(엇갈림 배열 및/또는 교호적 기술이 택일적으로 이용될 수 있다)에는 그렇지 못하며, 이것은 극장 환경에서 유리하게 이용될 수 있다. 가변적 스케일링은 수치를 변경시킴으로써 필터링된 스케일링을 수행하는 것을 포함한다. 예를 들어, 프레임의 중앙 영역은 프레임의 가장자리를 따라 위치하는 장면 엘리먼트보다 중요한 관심대상인 장면 엘리먼트를 갖는 것이 보통이다. 따라서, 중앙 프레임 장면 엘리먼트를 보다 덜 다운스케일링하고, 가장자리 근처의 장면 엘리먼트를 보다 많이 다운스케일링하는 것이 유리할 수 있다.

도 8에서 도시된 예시에서, 전체적으로 50%만큼 수평 차원 스케일링을 수행하는 것 대신에, 프레임의 중앙의 절반부분들[영역(802, 803)]은 수평으로 65% 스케일링될 수 있는 반면에[결과적 영역들(806, 807)], 프레임의 좌측상의 4분의 1부분(801)과 프레임의 우측상의 4분의 1부분(804)은 보다 심하게 35%까지 스케일링된다(805, 808). 보다 많은 수의 영역들이 서로 다른 수치로 스케일링되는 것을 이용하고, 연속적으로 가변적인 스케일링 방법을 이용하는 것과 같은, 가변적 스케일링의 보다 복잡한 변형이 수행될 수 있다. 또한, 교호적 기술 및/또는 엇갈림 배열과 같은, 상술한 기술들이 가변적 스케일링과 결합될 수 있다.

가변적 스케일링을 통한 최종적인 결과는 중앙 장면 엘리먼트와 같이, 덜 심한 스케일링을 겪는 보다 중요한 장면 엘리먼트는 양호한 샤프니스와 함께 보다 적은 시각적 인공물을 갖은 채로 보다 높은 퀄리티로 남게된다. 한편, 가장자리 근처의 엘리먼트와 같이, 덜 중요한 장면 엘리먼트는 퀄리티 감소를 가지지만, 일반 이용자가 중앙 장면 영역들에 보다 집중할 가능성이 높은 경우라면, 일반 이용자가 인식할 만큼 그렇게 심하지는 않다. 다시 말하면, 이것은 극장 세팅내의 입체영상 조망에서 특별히 유용하고 이로울 수 있다.

가변적 스케일링 기술은 또한 장면의 성질에 따라, 최고의 퀄리티 스케일링 구역들이 변경될 수 있는 장면 의존적 방식으로 적용될 수 있다. 예를 들어, 가장 중요한 동작이 프레임의 좌측을 향하는 장면에서, 좌측을 일시적으로 페이버링(favor)하는데 가변적 스케일링이 이용될 수 있다. 기술자는 비디오 편집 동안에 특정 장면의 가변적 스케일링 "처방"을 결정할 수 있거나, 또는 장면 및 적절한 스케일링이 자동화 프로세스를 이용하여 완성될 수 있다. 예를 들어, 가변적 스케일링은 최대량의 샤프-디테일 및/또는 동작을 갖는 장면의 부분에 대해 최고 퀄리티의 스케일링을 예정해두는 것을 수반할 수 있다. 어느 쪽의 경우에서든지, 스케일링 처방은 프레임이 적절하게 디멀티플렉싱될 수 있도록 하는 몇몇의 방식으로 인코딩될 수 있다.

지금까지 언급한 기술들 중 임의의 것과 결합될 수 있는 다른 기술은 샤프닝이다. 복수의 샤프닝 알고리즘들 중에서 임의의 알고리즘(예로서 "비샤프닝 마스크")이 멀티플렉싱 단계 또는 디멀티플렉싱 단계(또는 아마도 양쪽 단계 모두) 동안에 적용될 수 있다. 예를 들어, 샤프닝은 필터링된 스케일링으로 인해 어느 정도의 샤프니스를 손실한 장면에 대해 가장자리 샤프니스를 복구하며, 픽셀 선택과 같은 본질적으로 보다 샤프한 기술을 이용할 때에 그렇지 않았을 경우에 발생할 수 있을 시각적 인공물을 도입시키지 않고서 행한다.

가변적 스케일링과 결합될 때, 가변 정도에 대한 샤프닝은 보다 양호한 전체 화면을 불러일으킬 수 있다. 멀티플렉싱동안에 보다 심하게 스케일링된 장면의 부분은 최종적인 결과에서의 보다 균일한 장면 구성을 유지하기 위해, 일반적으로 보다 큰 샤프닝을 필요로 할 것이다.

지금까지 언급한 기술들 모두는 좌측 절반 또는 우측 절반 서프 프레임 영역내에 끼워맞춰지도록 풀 프레임 좌우측 안구 정보가 수평적으로 감소되는 단계적 프리커서 포맷 배열과 관련하여 설명되었다. (다양한 조합형태의) 이러한 모든 기술들은 (상부 절반 또는 하부 절반 서브프레임 영역들내에 끼워맞춰지도록 좌우측 안구 정보가 수직하게 짓눌러질 필요가 있는) "상-하"와 같은, 다른 프리커서 포맷들에도 잘 적용될 수 있다.

보다 복잡한 다른 프리커서 포맷 변형이 가능할 수 있으며, 위 기술들 모두 또는 그 대부분은 이와 같은 변형형태에도 적용될 가능성이 높다.

한가지 가능한 프리커서 포맷은 도 9에서 도시된 것과 같은 "네 개의 타일"이며, 여기서 화상 프레임(901)은 네 개의 동일한 크기의 직사각형 영역들로 분할된다(예컨대, 1920x1080 프레임은 네 개의 960x540 영역들로 분할될 것이다). 이 영역들 중 두 개의 영역이 각각의 안구 뷰에 할당될 것이며[영역(902, 903)은 좌측 안구 뷰를 위해, 영역(904, 905)는 우측 안구 뷰를 위해 할당됨), 이에 따라 두 개의 서로 다른 멀티플렉싱 기술들이 별개로 이용되고 저장될 수 있게 해준다. 디멀티플렉싱 단계는 후속하여 안구 뷰마다 두 개의 소스 영역들을 결합할 수 있고, 이들을 이용하여 각각의 기술이 각자 고유하게 이용되었을 때보다 양호하게 복원된 화상을 생성한다.

네 개의 타일 프리커서 포맷의 예시는 엇갈림 배열된 선택의 결과를 취하고, 하나의 좌측 안구 뷰 타일내의 짝수 번호 행들로부터 선택된 픽셀들을 저장하고, 나머지 다른 좌측 안구 뷰 타일내의 홀수 번호 행들로부터 (엇갈림 배열되고) 선택된 픽셀들을 저장한다. 엇갈림 배열된 행들을 별개로 저장함으로써, 엇갈림 배열 효과는 임의의 주어진 타일로부터 없어지며, 이것은 보다 완전한 화상 압축이 가능하도록 해줄 수 있다.

네 개의 타일 프리커서 포맷은 상술한 기술들과 같은, 임의의 종류의 엇갈림 배열 및/또는 교호적 기술 방법에서 유용될 수 있다. 프로세서는 단순히 하나의 타일내에 하나의 기술로부터의 결과를 저장하고, 다른 타일내에는 다른 기술(및/또는 엇갈림 배열 기술과 결함됨)로부터의 결과를 저장한다. 또한, 각각의 타일은 풀 프레임과 동일한 종횡비 차원을 갖기 때문에, 차원 중립적 스케일링 기술이 실용화된다.

다른 방법은 가변적 스케일링을 네 개의 타일과 결합시킨다. 가변적 스케일링은 각각의 타일이 포함하는 것에 도달될 때에 적용될 수 있거나, 또는 (서로 다른 네 개의 타일 토폴로지 변형에서) 타일들 자신은 비동일한 크기를 가질 수 있으며, 이에 따라 하나의 타일의 기술 조합이 강조될 수 있게 해준다. 이렇게 결합된 기술의 예시가 도 10에서 도시되는데, 여기서는 각각의 안구 뷰를 위한 프레임(1001, 1003)에 의해 도시된 바와 같이, 결합된 기술들이, 도 10에서의 프레임(1002, 1004)에 의해 도시된 바와 같이 공간이 보다 적게 할당된 프레임을 갖는 다른 타일의 기술 조합과 비교하여 보다 높은 퀄리티로 하나의 영역에서 행해진다.

인접한 타일들에서 화상 데이터를 전체적으로 재배열하는 주요 이유들 중 하나는 데이터 압축은 일반적으로 화상 프레임 데이터가 멀티플렉싱된 후에 적용되기 때문이다. 화상 및 비디오 압축 알고리즘은 특정 영역내의 픽셀들이 서로 유사해지려는 경향이 있다는 사실에 많이 의존한다. 따라서, 프리커서 화상 필드들이 실제 화상 데이터와 보다 가깝게 유사할수록, 이들은 압축 알고리즘에 의해 보다 잘 취급받을 가능성이 있다. 화상 데이터를 너무 많이 스크램블링하면 일반적인 화상 압축 알고리즘의 임의의 장점을 무효화시킨다.

하지만, 만약 특별한 압축 알고리즘이 어떠한 경계에 대하여 신뢰될 수 있다면, 프리커서 포맷 및 멀티플렉싱 기술은 이것을 활용하여 여분의 유연성을 얻을 수 있다. 예를 들어, 대부분의 JPEG 압축 알고리즘은 8x8 픽셀 블럭에 대해서 동작한다. 따라서, 특정 행에서의 9번째 픽셀은 해당 행에서의 첫번째 여덟개의 픽셀들 중 임의의 것이 압축되는 방법에 대해 어떠한 영향도 미치지 않아야 한다. 8x8 픽셀 블럭은 전체적인 비디오 프레임과 비교하여 상대적으로 작기 때문에, 8x8 블럭을 "스택화(stack)"하는 알고리즘을 이용함으로써 그렇지 않았을 경우에 단계적 포맷과 같은 단순한 두 개의 타일 프리커서 포맷에 대해서 적합하지 않았을 2차원 선택 및/또는 스케일링 기술이 가능하도록 해준다. 이 경우에서 스택화란 원래의 비압축된 화상 프레임의 절반과 같은, 미리결정된 프레임내에 끼워맞춰지도록 블럭들을 재배열하는 것을 의미한다. 일반적으로, 픽셀들을 제거하거나 또는 픽셀들을 결합시킴으로써 픽셀의 갯수를 감소시키는 비가변적 스케일링과 같은 프로세스가 수행되고, 이어서 원래 프레임의 절반과 같은 희망하는 공간내에 끼워맞춰지도록 결과적인 블럭들을 재배열하는 것이 뒤따른다.

이것의 한가지 예가 도 11에서 도시된다. 좌측 안구 뷰(1101)를 1920x1080로 취하고, 각각의 차원을 따라 이차원 바이큐빅 스케일링을 70%까지 적용하면 1344x756 결과물(1102)을 산출시킨다. 이러한 결과물은 8x8 블럭들(1103)로 세분화될 수 있으며, 이것은 전체적인 1920x1080 프레임의 절반(1104)을 포함하는 영역으로 스택화될 수 있고, 스케일링되고 스택화된 우측 안구 뷰를 저장하기 위해 프레임의 나머지 절반을 자유롭게 한다. 이와 달리, 복잡한 이차원 가변적 스케일링 방식이 사용될 수 있다. 가변적 스케일링 이후, 스케일링된 결과물은 스택화되고, 후에 압축된다. 재생될 때, 화상은 압축해제되고, 그 후 디멀티플렉싱은 (샤프닝과 같이 이용될 수 있는 기타 다른 기술들과 함께) 가변적 스케일링을 스택화해제하고 원래대로 복구시킨다. 디멀티플렉싱동안에 후속하여 원래대로 복구될 수 있도록 하는 방식으로 개개별의 블럭들을 회전시키거나 또는 이와 다르게 조작하는 몇몇의 배열을 포함하여, 기타의 블럭 배열들이 가능하다.

특별한 프리커서 포맷, 배열의 스택화, 화상 타일 토폴로지, 및 스케일링 알고리즘과 함께 동작하도록 특정하게 설계된 맞춤화된 압축 방식들이 이용될 수 있다.

프리커서 포맷 및 타일 토폴로지는 직사각형일 필요는 없다. 예를 들어, 도 12에서 도시된 바와 같이, 각각의 안구 뷰 프레임(1201)을 취하여 대체적인 대각선 스케일링을 적용하되, 가장 가능성 있게는 필터링된 픽셀 맵핑의 몇몇 변형을 이용하여 행함으로써, 원래의 직사각형 영역이 평행사변형(1202)으로 대각선 압축되는 것이 좋을 수 있다. 그런 다음 이 평행사변형의 삼각형 서브 영역들(1203)은 프리커서 포맷(1204)에 끼워맞춰지도록 재배열되어 좌측 안구 및 우축 안구 데이터가 풀 프레임의 대각선에 의해 분리된 삼각형 구역들내에 위치하도록 할 수 있다. 그 결과, 영역(1205)은 나머지 다른 안구 뷰를 위해 이용가능하게 된다. 보다 작은 삼각형 타일을 포함하여, 이와 같은 삼각형 기반 프리커서 포맷은 비통상적인 타일 경계를 준수하는 맞춤화된 압축 방식을 필요로 한다. 다른 방법은 이러한 삼각형 기반 프리커서 포맷의 삼각형 영역에 끼워맞추기 위해 삼각형 포맷을 이용하여 소스 화상을 스케일링하는 것이며, 이것은 표준적인 압축 알고리즘과 효과적으로 동작할 수 있게 해줄 것이다.

이와 같은 신규한 프리커서 포맷은 이전에 설명된, 보다 단순한 직사각형 두 개 필드 단계적 프리커서 포맷과 동작하는 대부분의 동일 기술 조합들의 다양한 조합을 여전히 가능하게 해준다.

디멀티플렉싱

상술한 바와 같이, 본 발명기술의 촛점은 확립된 송신 표준에 따라 공지된 송신 매체를 따르도록 신호를 멀티플렉싱하거나 또는 응축시키는 것에 있다. 신호가 전술한 바에 따라 멀티플렉싱되거나 또는 프로세싱되고 수신기에서 송신되면, 수신된 정보는 디멀티플렉싱되어야 한다. 본 발명기술은 디멀티플렉싱 프로시저 또는 기술을 구체적으로 설명하지는 않지만, 이와 같은 디멀티플렉싱이 발생해야 하는 것을 확인 시켜준다. 디멀티플렉싱은 장면의 영역들을 각자의 원래의 상태 또는 이들의 근접한 근사상태로 되돌려준다.

디멀티플렉싱을 하는 한가지 방법은 수신된 데이터에 대해 단순히 반대의 프로시저를 수행하는 것이다. 예를 들어, 만약 신호가 두 개의 타일 포맷내로 엇갈림 배열되고 샤프닝되면, 디멀티플렉서는 두 개의 타일 포맷으로부터 이 신호를 엇갈림 배열해제할 수 있다. 하지만, 이와 같은 단순한 역 프로세싱은 매우 많은 시간과 프로세싱이 소요되며 어떠한 경우에서는 수용되지 못할 수 있다.

본 명세서에서 제시된 멀티플렉싱 기술 및 도시된 특정 실시양태는 본 발명범위를 한정하는 것을 의미하지는 않으며, 본 발명의 교시내용과 장점을 여전히 포함하면서 대안적인 컴포넌트들을 포함할 수 있다. 따라서, 본 발명을 특정 실시예들과 함께 설명하였지만, 본 발명은 추가적인 변형을 가질 수 있음을 이해할 것이다. 본 출원은 일반적으로 본 발명의 원리를 따른 발명의 임의의 변형, 이용 또는 개조를 커버하며, 본 발명과 관련된 발명분야내에서의 공지된 실시 및 통상적 실시내에 속하는 본 발명개시로부터의 이러한 이탈을 포함하는 것으로 한다.

전술한 특정 실시예들의 설명은 제3자가 현재의 지식을 적용함으로써, 본 발명의 일반적 개념으로부터 이탈하지 않는 다양한 응용들을 위해 본 시스템 및 방법을 손쉽게 수정 및/또는 개조할 수 있도록 충분히 본 발명개시의 일반적 성질을 개시하고 있다. 따라서, 이와 같은 개조 및 수정은 개시된 실시예들의 등가적 의미 및 범위내에 속한다. 본 명세서에서 이용된 기술어 또는 용어는 설명을 위한 것이지 한정적 의미를 갖는 것은 아니다.

Claims

일련의 입체영상 화상들을 형성하기 위해 결합가능한 일련의 좌측 화상들과 일련의 우측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법으로서, 상기 입체영상 화상 소스 데이터와 상기 일련의 좌측 화상들 및 상기 일련의 우측 화상들은 프레임들내에 있도록 개념상 정의되는 것인, 상기 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법에 있어서,
상기 프레임에 걸쳐 다양한 레벨들로 상기 입체영상 화상 소스 데이터를 압축함으로써, 좌측 화상들 및 우측 화상들을 형성하고;
부분들로 분할된 일련의 단일 프레임들을 제공하는 것
을 포함하며,
상기 단일 프레임들 각각은 제1 부분에 하나의 우측 화상을 포함하고 제2부분에 하나의 좌측 화상을 포함하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 압축은 상기 입체영상 화상 소스 데이터의 프레임의 중심에서 적은 압축을 포함하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 하나의 좌측 화상은 상기 하나의 우측 화상과 연계되는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 부분들은 각각의 단일 프레임내에 포함되며, 상기 좌측 화상 각각은 실질적으로 상기 단일 프레임 각각의 하나의 절반내에 포함되고, 상기 우측 화상 각각은 실질적으로 상기 단일 프레임 각각의 다른 하나의 절반내에 포함되는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제3항에 있어서, 상기 단일 프레임 각각은 수직배향된 경계부에 의해 분할되며, 상기 단일 프레임의 제1측상에는 하나의 우측 화상이 위치하고, 상기 단일 프레임의 제2측상에는 하나의 좌측 화상이 위치하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 우측 화상을 형성하기 위해 상기 비압축된 우측 화상내의 모든 행으로부터 교호적으로 픽셀(every alternate pixel)을 제거하고, 상기 좌측 화상을 형성하기 위해 상기 비압축된 좌측 화상내의 모든 행으로부터 교호적으로 픽셀을 제거하는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상으로부터의 복수의 픽셀들로부터의 정보에 기초하여 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 우측 화상으로부터의 복수의 픽셀들로부터의 정보에 기초하여 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서,
가변적으로 적용되는 바이큐빅 스케일링(variably applied bicubic scaling);
가변적 샤프닝(variable sharpening);
비가변적으로 적용되는 바이큐빅 스케일링; 및
비가변적 샤프닝
을 포함하는 그룹으로부터의 적어도 하나로부터 선택된 프로세스를 상기 좌측 화상 및 상기 우측 화상에 적용하는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제5항에 있어서, 상기 각각의 행에서 교호적으로 픽셀을 제거하는 것은 제1행으로부터 제1 픽셀 세트를 제거하고, 상기 제1행에 인접한 각각의 행으로부터 이와 다른 픽셀 세트를 제거하는 것을 포함하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제8항에 있어서, 상기 제거는 실질적으로 상기 프로세싱되지 않은 우측 화상 및 상기 프로세싱되지 않은 좌측 화상으로부터 제거된 픽셀들의 "체커보드" 유형의 패턴을 형성하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상의 다른 영역들 이외에 상기 프로세싱되지 않은 좌측 화상의 미리결정된 영역들로부터 하나 이상의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 우측 화상의 다른 영역들 이외에 상기 프로세싱되지 않은 우측 화상의 미리결정된 영역들로부터 하나 이상의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상의 교호적 행들로부터 픽셀들을 결합시키고 상기 프로세싱되지 않은 좌측 화상의 나머지 행들로부터 픽셀들을 선택함으로써 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 우측 화상의 교호적 행들로부터 픽셀들을 결합시키고 상기 프로세싱되지 않은 우측 화상의 나머지 행들로부터 픽셀들을 선택함으로써 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상의 교호적 행들내의 제1 위치들로부터 적어도 두 개의 픽셀들을 결합시키고 상기 프로세싱되지 않은 좌측 화상의 나머지 행들내의 제2 위치들로부터 적어도 두 개의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키며, 상기 프로세싱되지 않은 우측 화상의 교호적 행들내의 제1 위치들로부터 적어도 두 개의 픽셀들을 결합시키고 상기 프로세싱되지 않은 우측 화상의 나머지 행들내의 제2 위치들로부터 적어도 두 개의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제1항에 있어서, 상기 좌측 화상 각각과 상기 우측 화상 각각은 적어도 하나의 프로세싱되지 않은 화상에 기초하며,
화상 크기를 감소시키기 위해 상기 적어도 하나의 프로세싱되지 않은 화상에 대해 일정한 프로세스를 수행하여 적어도 하나의 결과적인 화상을 형성하고;
상기 결과적인 화상 각각을 복수의 블럭들로 분할하며;
상기 프로세싱되지 않은 화상 각각보다 작은 미리정의된 공간내에 끼워맞춰지도록 상기 복수의 블럭들을 재배열시키는 것
을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
일련의 입체영상 화상들을 형성하기 위해 결합가능한 일련의 좌측 화상들과 일련의 우측 화상들로 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법에 있어서,
상기 입체영상 화상 소스 데이터를 압축하며;
부분들로 분할된 일련의 단일 프레임들을 제공하는 것
을 포함하며,
상기 단일 프레임들 각각은 상기 단일 프레임 각각의 첫번째 두 개의 부분들에 두 개의 우측 화상들을 포함하고, 상기 단일 프레임 각각의 두번째 두 개의 부분들에 두 개의 좌측 화상들을 포함하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 단일 프레임내의 상기 좌측 화상들 각각은 상기 단일 프레임내의 하나의 우측 화상과 연계되는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 부분들은 각각의 단일 프레임내에 포함되며, 상기 좌측 화상 각각은 실질적으로 상기 단일 프레임 각각의 4분의 1내에 포함되고, 상기 우측 화상 각각은 실질적으로 상기 단일 프레임 각각의 4분의 1내에 포함되는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제17항에 있어서, 상기 단일 프레임 각각은 수직배향된 경계부와 수평배향된 경계부에 의해 분할되며, 상기 단일 프레임의 제1 세그먼트상에는 두 개의 우측 화상들이 위치하고, 상기 단일 프레임의 제2 세그먼트상에는 두 개의 좌측 화상들이 위치하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며, 상기 우측 화상들 각각은 나머지 각각의 우측 화상을 생성하는데 이용된 프로세싱과 상이한 프로세스를 이용하여 프로세싱되지 않은 연계된 우측 화상으로부터 생성되고, 상기 좌측 화상들 각각은 나머지 각각의 좌측 화상을 생성하는데 이용된 프로세싱과 상이한 프로세스를 이용하여 프로세싱되지 않은 연계된 좌측 화상으로부터 생성되는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 하나의 우측 화상을 형성하기 위해 상기 비압축된 하나의 우측 화상내의 모든 행으로부터 교호적으로 픽셀(every alternate pixel)을 제거하고, 상기 하나의 좌측 화상을 형성하기 위해 상기 비압축된 하나의 좌측 화상내의 모든 행으로부터 교호적으로 픽셀을 제거하는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상으로부터의 복수의 픽셀들로부터의 정보에 기초하여 상기 프로세싱되지 않은 하나의 좌측 화상으로부터의 픽셀 정보를 상기 하나의 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 우측 화상으로부터의 복수의 픽셀들로부터의 정보에 기초하여 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서,
가변적으로 적용되는 바이큐빅 스케일링;
가변적 샤프닝;
비가변적으로 적용되는 바이큐빅 스케일링; 및
비가변적 샤프닝
을 포함하는 그룹으로부터의 적어도 하나로부터 선택된 프로세스를 상기 하나의 좌측 화상 및 상기 하나의 우측 화상에 적용하는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제20항에 있어서, 상기 각각의 행에서 교호적으로 픽셀을 제거하는 것은 제1행으로부터 제1 픽셀 세트를 제거하고, 상기 제1행에 인접한 각각의 행으로부터 이와 다른 픽셀 세트를 제거하는 것을 포함하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제23항에 있어서, 상기 제거는 실질적으로 상기 프로세싱되지 않은 하나의 우측 화상 및 상기 프로세싱되지 않은 하나의 좌측 화상으로부터 제거된 픽셀들의 "체커보드" 유형의 패턴을 형성하는 것인, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 하나의 좌측 화상의 다른 영역들 이외에 상기 프로세싱되지 않은 하나의 좌측 화상의 미리결정된 영역들로부터 하나 이상의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 하나의 좌측 화상으로부터의 픽셀 정보를 상기 하나의 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 하나의 우측 화상의 다른 영역들 이외에 상기 프로세싱되지 않은 하나의 우측 화상의 미리결정된 영역들로부터 하나 이상의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 하나의 우측 화상으로부터의 픽셀 정보를 상기 하나의 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상의 교호적 행들로부터 픽셀들을 결합시키고 상기 프로세싱되지 않은 좌측 화상의 나머지 행들로부터 픽셀들을 선택함으로써 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키고, 상기 프로세싱되지 않은 우측 화상의 교호적 행들로부터 픽셀들을 결합시키고 상기 프로세싱되지 않은 우측 화상의 나머지 행들로부터 픽셀들을 선택함으로써 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.
제15항에 있어서, 상기 좌측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 좌측 화상에 기초하고, 상기 우측 화상 각각은 픽셀들의 교호적 행들 및 나머지 행들을 포함하는 프로세싱되지 않은 우측 화상에 기초하며,
상기 프로세싱되지 않은 좌측 화상의 교호적 행들내의 제1 위치들로부터 적어도 두 개의 픽셀들을 결합시키고 상기 프로세싱되지 않은 좌측 화상의 나머지 행들내의 제2 위치들로부터 적어도 두 개의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 좌측 화상으로부터의 픽셀 정보를 상기 좌측 화상에 맵핑시키며, 상기 프로세싱되지 않은 우측 화상의 교호적 행들내의 제1 위치들로부터 적어도 두 개의 픽셀들을 결합시키고 상기 프로세싱되지 않은 우측 화상의 나머지 행들내의 제2 위치들로부터 적어도 두 개의 픽셀들을 결합시킴으로써 상기 프로세싱되지 않은 우측 화상으로부터의 픽셀 정보를 상기 우측 화상에 맵핑시키는 것을 더 포함하는, 입체영상 화상 소스 데이터의 스트림을 멀티플렉싱하는 방법.