KR101676504B1 - 스테레오플렉스화 필름 및 비디오 애플리케이션의 역다중화 방법 - Google Patents

Abstract

압축 영상 데이터의 프레임을 역다중화하는 방법이 제공된다. 영상 데이터는 일련의 좌 압축 영상과 일련의 우 압축 영상을 포함하고, 우 압축 영상과 좌 압축 영상은 압축 기능을 이용하여 압축된다. 상기 방법은 영상을 단일 프레임 포맷으로 전송하도록 구성된 매체를 통해 압축 영상 데이터의 프레임을 수신하는 단계와, 압축 영상 데이터의 프레임에서 신장 기능을 수행하는 단계를 포함하고, 상기 신장 기능은 일련의 좌 압축 영상과 일련의 우 압축 영상으로부터 픽셀들을 선택하여 실질적으로 압축풀린 스테레오 영상 쌍의 집합을 형성하는 교체 픽셀을 생성하도록 구성된다. 또한, 스테레오 쌍을 수신하고, 단일 프레임 포맷팅을 포함한 매체를 통한 전송을 위해 스테레오 쌍을 다중화하고, 수신된 데이터를 변경된 스테레오 쌍으로 역다중화하는 시스템이 제공된다.

Description

스테레오플렉스화 필름 및 비디오 애플리케이션의 역다중화 방법{DEMULTIPLEXING FOR STEREOPLEXED FILM AND VIDEO APPLICATIONS}

이 출원은 "필름 및 비디오 애플리케이션의 스테레오플렉싱(Stereoplexing for Film and Video Applications)"이라는 명칭으로 2007년 6월 7일자 출원된 계류중인 미국 특허 출원 제11/811,234호(발명자: 레니 립톤, 등)의 일부 계속 출원이고, 또한 "비디오 및 필름 애플리케이션의 스테레오플렉싱(Stereoplexing for Video and Film Applications)"이라는 명칭으로 2007년 6월 7일자 출원된 계류중인 미국 특허 출원 제11/811,047호(발명자: 로버트 아카, 등)의 일부 계속 출원이며, 상기 2개의 출원은 인용에 의해 여기에 통합된다.

본 발명은 일반적으로 스테레오스코픽 데이터(stereoscopic data)를 단일 영상 채널(image channel)에 배치하고 단일 영상으로부터 스테레오스코픽 데이터를 검색하는 것에 관한 것이며, 영상 채널은 원래 평면-스테레오스코픽(plano-stereoscopic) 또는 2-화면(two-view) 스테레오스코픽 영상을 수반하는 평면 영화 신호를 운반하도록 설계된다.

스테레오스코픽 영상화(imaging), 특히 2개의 평면 영상을 이용하여 스테레오스코픽 효과를 나타내는 평면-스테레오스코픽 영상화 기술이 인기를 얻고 있다. 그러나, 전자식 저장 및 배포(distribution)를 위해 확립되어 있는 기반구조(infrastructure)는 필수적인 품질(requisite quality)의 단일 평면 영상용이었다. 상업적으로 존속가능한 스테레오스코픽 영화 또는 영상 계열을 저장 및 전송하기 위하여, 그러한 데이터는 기존의 기반구조 요구조건 내에서 동작하여야 하고, 또한 영상 품질의 명세(specification)를 충족시켜야 한다. 특정의 영상 품질 레벨이 평면 영상에서 기대되고, 스테레오스코픽 영상은 그 표준과 관련하여 거의 감소되지 않아야 한다.

평면 영상의 품질, 즉 간단한 용어로 말하면 영상의 선명도, 영상의 컬러 깊이, 영상의 계조, 다시 말하면 충실도(fidelity)는 영상에 할당된 대역폭에 의존한다. 기존 대역폭 파이프라인에서 2개의 영상, 즉 좌측 영상 및 우측 영상을 배치하는 것은 영상의 타협(compromise)을 초래한다. 당면한 문제점은 다음과 같이 있을 수 있다: 동영상(moving image) 스테레오스코픽 쌍이 기존의 저장 및 배포 파이프라인에 삽입되는 경우 스테레오스코픽 설계자가 평면 영상을 어떻게 유지할 수 있을까?

단일 평면 영상용으로 사용되는 할당된 전송 파이프라인에 맞추기 위해 스테레오스코픽 텔레비젼(비디오) 영상과 영화 영상을 결합하기 위한 많은 시도가 있었다. 일부 경우에, 특히 텔레비젼 영상에 있어서, 설계자는 역방향(backward) 또는 하향(downward) 호환성의 문제에 관심이 있었다. 역방향 또는 하향 호환성은 스테레오스코픽 신호가 속박되어 기존의 텔레비젼 수상기에서 보이지 않을 수 있다는 것을 확실히 한다.

본 발명은 단일 평면 영상을 전송하도록 설계된 기존의 기반구조를 통하여 스테레오스코픽 영상 및 영화를 전송하는 것에 대한 문제점을 치유하려고 한다. 기존의 컴포넌트를 교체할 필요없이 다중화 및 역다중화 스테레오스코픽 영상을 제공할 수 있는 설계, 및 특히 예전에 얻을 수 있었던 것들 이상으로 이익을 제공하는 설계를 제공하는 것이 유리할 것이다.

본 발명의 제1 태양에 따르면, 다수의 부분으로 나누어진 단일 프레임의 스트림을 역다중화하는 방법이 제공된다. 각 단일 프레임은 하나의 스테레오스코픽 영상의 프레임을 표시하고 제1 부분에 하나의 우측 영상을 및 제2 부분에 하나의 좌측 영상을 내포하며, 각 부분은 압축 기능을 이용하여 압축된다. 상기 방법은 다수의 부분으로 나누어지며 하나의 스테레오스코픽 영상의 프레임을 표시하는 단일 프레임의 스트림을 수신하는 단계와, 상기 부분들 중 적어도 하나에서 역압축(reverse compression) 기능을 수행하는 단계를 포함하고, 상기 역압축 기능은 각 부분을 압축하기 위해 사용한 압축 기능의 실질적으로 반대인 방법으로 적어도 하나의 부분에서 픽셀들을 실질적으로 처리한다. 역압축 기능의 수행은 그 부분을 압축 기능을 이용하여 압축하기 전의 상태와 유사한 상태로 실질적으로 되돌리고, 그에 따라서, 투사용으로 구성된 스테레오 쌍의 일부를 형성한다.

본 발명의 제2 태양에 따르면, 일련의 좌 압축 영상과 일련의 우 압축 영상을 포함한 압축 영상 데이터의 프레임을 역다중화하는 방법이 제공되고, 상기 우 압축 영상과 좌 압축 영상은 압축 기능을 이용하여 압축된다. 상기 방법은 영상을 단일 프레임 포맷으로 전송하도록 구성된 매체를 통해 압축 영상 데이터의 프레임을 수신하는 단계와, 압축 영상 데이터의 프레임에서 신장(expansion) 기능을 수행하는 단계를 포함하고, 상기 신장 기능은 일련의 좌 압축 영상과 일련의 우 압축 영상으로부터 픽셀들을 선택하여 실질적으로 압축풀린(decompressed) 스테레오 영상 쌍의 집합을 형성하는 교체 픽셀을 생성한다.

본 발명의 제3 태양에 따르면, 스테레오스코픽 영상을 제공하도록 구성된 시스템이 제공된다. 이 시스템은 복수의 스테레오 쌍을 수신하고, 상기 스테레오 쌍을 압축하여 압축 부분을 생성하고, 압축 부분을 결합하여 복수의 스테레오 쌍을 표시하는 일련의 단일 프레임을 생성하도록 구성된 다중화기(multiplexer)와, 영상 데이터의 단일 프레임을 전송하고 일련의 단일 프레임을 수신하도록 구성된 전송 매체와, 전송 매체로부터 일련의 프레임을 수신하고 일련의 단일 프레임을 압축풀기하여 복수의 재구성된 스테레오 쌍을 생성하도록 구성된 역다중화기(demultiplexer)를 포함한다.

원래의 비압축 우 영상 및 좌 영상으로부터의 지그재그화(staggering), 교호화(alternating), 필터링, 가변 스케일링 및 선명화(sharpening)와 같은 다중화 처리는 단독으로 또는 결합하여 사용될 수 있고, 비압축 영상으로부터의 선택된 또는 미리 정해진 영역 또는 세그멘트는 다른 영역들 보다 더 많은 픽셀이 제거 또는 결합될 수 있으며, 또는 그렇지 않으면 다른 영역과 상이한 품질 레벨로 압축된다.

본 발명의 상기 및 다른 장점은 이 기술에 숙련된 사람이라면 이하에서 기술하는 본 발명의 상세한 설명 및 첨부 도면으로부터 명백히 알 수 있을 것이다.

기존의 컴포넌트를 교체할 필요없이 다중화 및 역다중화 스테레오스코픽 영상을 제공할 수 있는 설계, 및 특히 예전에 얻을 수 있었던 것들 이상으로 이익을 제공하는 설계를 제공할 수 있다.

본 발명은 첨부 도면에서 제한하는 의도가 없는 단지 예로서 설명된다.
도 1은 2개의 스테레오 소스 영상 성분을 취하여 전형적으로 2개의 영상 성분 중 어느 하나와 동일한 사이즈를 가진 프레임에 맞추어지도록 영상 성분을 다중화하는 것을 보인 도이다.
도 2는 각 스테레오 소스 영상 성분이 프리커서(precursor) 포맷에 의해 특정된 목적 프레임의 부영역에 맞추어지는 것을 보인 도이다.
도 3은 교호 픽셀이 수용되거나 버려지는 단순 픽셀 선택을 예시한 도이다.
도 4는 필터링된 스케일링을 보인 도이다.
도 5는 필터링된 스케일링이 최상위 행 및 그 아래의 하나 거른 다른 행에서 나타나고 다른 행에서는 단순 픽셀 선택이 사용되도록 교호 픽셀 행에 교호 기술을 적용한 예를 보인 도이다.
도 6은 지그재그화 기술을 적용한 픽셀 선택을 예시한 도이다.
도 7은 필터리된 스케일링 기술에 지그재그화를 적용한 예를 보인 도이다.
도 8은 가변 스케일링이 수평으로 적용된 단순 예를 보인 도이다.
도 9는 4-타일 프리커서 포맷의 예를 보인 도이다.
도 10은 4-타일 프리커서 포맷의 다른 변형예를 보인 도이다.
도 11은 스테레오 영상 성분이 양쪽 치수를 따라 어떻게 균일하게 스케일되고 다수의 블록으로 분할될 수 있는지를 보인 도이다.
도 12는 하나의 가능한 비직사각형 프리커서 포맷 및 다수의 부영역으로 나누어진 평행사변형을 이용한 분할 배열을 보인 도이다.
도 13a 및 도 13b는 본 발명의 일 태양에 따른 4-픽셀 배열 및 픽셀 재배열의 2개의 변형예를 보인 도이다.
도 14a 및 도 14b는 도 13에서 보인 동작의 역기술인 4-픽셀 배열 및 픽셀 재배열의 2개의 변형예를 보인 도이다.
도 15는 본 발명의 일반적인 동작을 보인 도이다.
도 16은 전체 시스템 설계의 일반화 표시를 보인 도이다.

본 발명은 원래 평면 영상을 전송하도록 설계된 기존 기반구조를 통해 스테레오스코픽 영상을 전송하는 수단을 제공한다. 본 발명은 일련의 관련 기술에서 설명된다. 여기에서의 설명은 스테레오스코픽 영상의 다중화 및 역다중화에 집중되는데, 여기에서 다중화는 영상의 "스테레오플렉싱 ( stereoplexing )"이라고 부른다. 스테레오스코픽 영상화(imaging)에 있어서 2가지의 중요한 필요조건이 존재하는데, 하나는 극장 배포용(필름)이고 다른 하나는 가정 오락용(비디오)이다.

일반적으로, 비디오 애플리케이션은 소스 영상 데이터로부터 픽셀을 제거하고 다양한 디스플레이 모니터 및 선택 기술을 이용하여 재생할 수 있는 비디오 시스템에 최적화하는 것을 수반한다. 필름 애플리케이션은 필드 순차(field sequential) 또는 임시 다중화용으로 사용되고, 결과적인 스테레오스코픽 영상이 대형 극장 스크린에서 보여진다. 일반적으로, 압축은 비디오 애플리케이션보다는 필름 애플리케이션에서 더 적고, 매우 선명한 중간 영역을 가진 프레임 폭을 따르는 가변 압축에서의 강조 및 모서리에서의 선명화는 전송된 데이터 중에서 최상을 취하기 위한 것이다.

이 시점에서 디지털 영화관이 현저히 증가하고 있고, 오늘날 전세계의 대부분의 디지털 영화관은 스테레오스코픽 능력을 갖고 있다. 좌채널 및 우채널을 다루는 능력은 서버로부터 영사기로의 신호 또는 데이터 전송과 관련하여 기존의 전문 영화 표준(professional motion picture standard) 내에서 다루어졌다.

많은 경우에, 라이브 및 미리 녹화되지 않은 이벤트의 전송이 요구된다. 이 경우, 지상 전송 및 위성 전송이 하나의 평면 신호만을 내포하도록 설계되어 있기 때문에, 영사기에 직접 설치된 폐회로 서버에 의해 제공되는 대역폭 이익은 더 이상 이용할 수 없다. 본 발명은 지상 전송 및 위성 전송 둘 다에서 공통적으로 사용되는 기존 평면 대역폭에 맞추어지도록 좌신호 및 우신호를 스테레오플렉스하는 것을 추구한다.

극장 영화관 영상화 표준이 극히 높기 때문에 문제점의 해결이 어려워진다. 기존 대역폭 내에 2개의 영상을 강요하고 그 영상들이 감소된 품질 표준에서 살아남게 하는 것은 충분하지 않다. 영상은 극장 영화관과 관련있는 고성능 표준을 유지하여야 한다. 다행하게도, 극장 영화관 영상은 비록 압축된다 하더라도 텔레비젼 영상보다 훨씬 덜 압축된다. 극장 영화관 영상의 전형적인 압축은 15:1이고, 따라서 스테레오플렉싱 기술에서의 부담을 어느 정도 경감시킨다.

스테레오플렉싱 /다중화

영화관용뿐만 아니라 가정용의 스테레오플렉싱을 위해, 비록 동영상의 스테레오 쌍이 어떻게 패키지 되더라도, 스테레오 쌍은 영화 기반 구조의 일부인 추가 압축 기술에서 살아남아야 한다. 영화 기반 구조의 경우, 가장 널리 채용되고 있는 압축 표준은 JPEG(Joint Photographic Experts Group) 2000이다. 이 프로토콜은 비교적 간소한 압축으로 고품질 영상 전송을 가능하게 한다. 예를 들면, 블루레이 또는 HD-DVD와 같이, 디스크로 디지털 콘텐츠 배포를 하는 텔레비젼 부문에서는 50:1 또는 70:1 범위의 많은 압축비가 널리 행해지고 있고, 이러한 압축비는 MPEG(Motion Picture Experts Group) 프로토콜과 같은 프로토콜을 이용한다.

따라서, 좌측 스테레오 영상과 우측 스테레오 영상을 단일의 평면 프레임으로 결합하는 다중화 기술은 영상이 JPEG 또는 MPEG와 같은 기반구조 압축 프로토콜에서 또한 살아남을 수 있게 하여야 한다. 이 모든 것이 이루어져야 하고, 영화 또는 텔레비젼에 대하여 평면 영상과 품질면에서 상응한 영상을 생성하여야 한다.

이러한 작업(task)은 일찍이 50년대의 NTSC(National Television System Committee) 컬러 텔레비젼의 초창기와 유사하다. 기존의 단색 수신을 감퇴시키지 않는 방법으로 컬러플렉스 신호(colorplexed signal)가 추가되었다. 그러므로, 흑백 텔레비젼은 임의의 중요한 영상 손상없이 컬러 방송을 픽업할 수 있었고, 한편, 새로운 컬러 텔레비젼 세트는 단색을 재생할 수 있고 또한 화상에 컬러 정보를 추가하기 위한 컬러 신호의 사용이 가능하다.

하향 호환성(downward compatibility)은 높게 평가되지만, 특정 레벨의 복잡성을 스테레오플렉싱 문제에 추가한다. 하향 호환성은 오늘날의 환경에서는 필요없을 수 있다. NTSC 컬러가 도입되었을 때는 제한된 수의 채널이 있었고, VHS 테이프 또는 DVD 디스크와 같이 녹화된 콘텐츠를 사용자가 재생할 수단이 없었다. 오늘날 상황은 달라졌다. 케이블 텔레비젼에서 수백 개의 채널이 사용가능하고, 비공중파 텔레비젼(off-the-air television)을 이용할 수 있고, 미리 녹화된 디스크를 재생할 능력이 있다. 이러한 이용가능한 다양한 옵션 때문에, 스테레오스코픽 텔레비젼에 대한 하향 호환성 필요조건을 질문할 필요가 있다. 즉, 사용자는 전형적으로 최고 품질 기술의 완전한 하향 호환 버젼을 가질 필요없이 볼 수 있는 무언가를 찾을 수 있다. 영화의 경우, 바깥 세상에 대한 극장 콘텐츠의 비배포성 및 폐회로 특성 때문에 하향 호환성은 단순히 요구되지 않는다.

현재는 널리 이용되고 있지 않지만, 텔레비젼은 스테레오스코픽 프로그래밍에 충당되는 일부 채널을 지원할 수 있고, 디스크의 경우, 예를 들면, 레터박스 포맷이 디스크의 한쪽 면에 배치되고 에디슨 종횡비(1.3:1)가 디스크의 다른쪽 면에 배치되는 전례가 확립되어 있고, 또는 때때로 디스크의 동일 면에 별도의 데이터로서 포함된다. 그러므로, 오늘날의 환경에서, 디스크는 한쪽 면에 평면 버젼의 영화를 갖고, 다른쪽 면에 또는 디스크의 동일 면의 별도의 영역에 저장된 또는 아마도 동일한 소매용 패키지의 다른 디스크에 포함된 스테레오스코픽 버젼을 갖는 것이 적당할 것 같다.

임의의 스테레오스코픽 저장 방법에 있어서, 모노스코픽 디스플레이에서 2개의 스테레오 뷰(view) 중의 하나(즉 좌측 눈의 뷰)만을 디스플레이하는 옵션이 있다는 점에서, 모노스코픽 디스플레이로 역방향 또는 하향 호환되게 하는 것도 또한 가능하다.

단독으로 또는 결합하여 사용될 수 있는 몇 가지의 상이하지만 관련된 스테레오플렉싱 기술을 설명하였지만, 이들은 뒤에서 더 자세히 묘사된다.

프리커서 포맷을 생성하기 위해 몇 가지의 일반적인 콘테이너 방법을 이용할 수 있다. 프리커서 포맷은 스테레오스코픽 정보를 암호화하는 동안 다른 디스플레이 및 선택 장치를 사용할 수 있도록 그 정보의 사용과 관련하여 적응될 수 있고, 추가적으로, 저장 또는 전송 매체와 관련하여 적응될 수 있는 포맷이다. 따라서, 프리커서 포맷은 "매크로-포맷"의 일종으로 생각할 수 있고, 이것은 더 큰 레이아웃 방식에서 다른 포맷의 픽셀 저장 방식을 수용할 수 있다. 이러한 프리커서 포맷의 용도는 저장 또는 전송 매체 및/또는 의도된 디스플레이 유형에 대해 최적화하기 위해, 또는 디스플레이 포맷 다기능성(versatility)에 대해 최적화하기 위해 사용될 수 있다. 예를 들면, 스테레오스코픽 영상 선택은 애너그리프(anaglyph)(적녹 안경)에 의해, 시간-순차 방법에 의해, 편광 방법에 의해, 또는 인터레이스 또는 미세편광기 기술 또는 특정의 DLP 영사기의 특징인 대각선 인터레이스를 수반하는 과거에 발표된 방법들에 의해 발생할 수 있다.

따라서, 프리커서 포맷은 비록 좌측 및 우측 투시 정보를 내포하지만, 그러한 정보는 투사 또는 디스플레이 포맷에 의존하여 최대 장점으로 사용될 수 있는 포맷, 또는 모니터 포맷 및 그 포맷과 관련되고 안경 또는 패시브 안경 또는 바람직한 어떤 것을 셔터링하는 스테레오스코픽 영상 선택 기술에 내포되어야 한다는 점에서 절충적 가능성(eclectic potential)을 가져야 한다. 상업적으로 살아남을 수 있는 솔루션을 갖기 위해, 최상의 방법은 여기에서 설명한 프리커서 프로토콜을 사용하는 것이고, 앞에서 언급한 것처럼 이 명세서에서는 역다중화 기술보다는 스테레오플렉싱 기술에 중점을 둔다. 스테레오플렉싱 기술은 소프트웨어 의존성이고, 컴퓨터는 스테레오플렉싱을 달성하기 위해 예를 들면 포스트-프로덕션 슈트(post-production suites)의 소프트웨어 프로그램으로 구성될 수 있다.

반면에, 영화 투영 또는 텔레비젼 세트는 단순성 및 상품의 저가성을 필요로 한다. 여기에서의 솔루션은 극히 복잡할 수 있는 소프트웨어 솔루션보다는 비교적 단순하고 저가인 하드웨어 또는 펌웨어 솔루션이다.

여기에서 설명하는 일반적인 방법 중의 하나는 병행식(side-by-side) 다중화 방법이고, 이 방법에서 포맷은 수직선에 의해 분할되고, 좌영상과 우영상은 콘테이너의 좌측 절반 또는 우측 절반에 각각 배치된다. 명백하게, 어떤 이유에서든지, 좌영상 정보가 프레임의 우측에 또는 우영상 정보가 프레임의 좌측에 있을 수 있고, 정보의 다른 배치, 예를 들면 상-하 배치는 본 발명의 명백한 연장선 또는 대안예이다.

다른 하나의 방법은 "4-타일(quad-tile)" 방법이라고 부르는 방법을 이용하는 것이고, 이 방법에서는 좌측 및 우측 정보가 2개의 타일에 각각 분산되도록 4개의 타일이 배열된다. 다시 말하면, 좌측 정보가 2개의 타일을 점유하고 우측 정보가 2개의 타일을 점유한다. 이 방법이 왜 특정의 장점을 갖는지는 뒤에서 설명한다.

상기 및 다른 프리커서 포맷 방법을 따르고 어떤 다른 적당한 관심사를 해결함으로써, 영상이 살아남아서 JPEG 또는 MPEG와 같은 압축 방식에 따라 압축될 수 있다. 또한, 테스트 결과를 이용하여 정신 물리적 테스트(psychophysical test)를 수행하여 비압축 데이터와 압축 데이터를 비교하였다. 이 기술에 따라 압축된 영상은 압축 및 압축풀기에서 살아남고 원래의 비압축 영상과 동일한 품질로 매우 긴밀하게 나타난다. "매우 긴밀하게" 나타나는 것에 의해, 영상이 압축되었는지 비압축된 것인지를 검출하는 유일한 방법은 관측자가 스크린에 매우 가깝게, 즉 전형적인 극장 좌석 배치 내에 있는 임의의 통상적인 극장 고객보다 훨씬 더 가까이에 위치하여 특수한 세부에 특히 집중하여 미소한 차이를 찾는 것이다.

이들 프리커서 포맷 콘테이너 외에도, 픽셀을 선택하는 것에 대해서도 설명할 것이다., 다시 말하면, 프리커서 콘테이너 포맷 내에 픽셀들을 배열할 수 있는 픽셀 뽑기(pixel-plucking) 또는 샘플링 기술이 설명된다. 고품질의 스테레오스코픽 경험을 위하여 이 처리 부분에 상당한 주의를 기울여서 결과적인 영상이 최소의 손실을 갖도록 해야 한다.

사용되는 다른 기술은 스테레오스코픽 또는 스테레오플렉싱 압축이 프레임의 폭을 따라 변하는 것이다. 가장 간단한 경우에, 최소 압축이 프레임의 중간에서 발생하는데, 그 이유는 그곳이 전형적으로 실제 동작에서 눈의 주의를 끄는 곳이기 때문이다.

도 1을 참조하면, 좌측 눈으로 보는 영상(101)과 우측 눈으로 보는 영상(102)의 2개의 스테레오 쌍 요소가 도시되어 있고, 이 요소들은 2개의 스테레오 쌍 요소 영상 중 어느 하나와 대략적으로 동일 사이즈를 갖는 프레임(103)에 저장될 필요가 있다. 전형적으로, 2개의 스테레오 쌍 요소는 동일한 일반적인 유형의 비디오 기억 시스템, 영상 처리 시스템 및 디스플레이 시스템을 이용하여 비 스테레오스코픽 시청에 적당한 품질을 각각 갖는다. 예를 들면, 특수한 품질 표준에서 정상적으로 1920×1080 픽셀 영상을 취급하는 기억 및 디스플레이 시스템에 있어서, 동일 유형의 시스템에 의해 취급되는 스테레오 쌍 요소는 각각 유사한 품질을 가질 것이고, 따라서 정상적으로 동일한 픽셀 해상도를 갖는 것으로 기대할 수 있다. 다시 말하면, 정상적으로 1920×1080 콘텐츠를 취급하는 시스템에서 좌측 눈 요소와 우측 눈 요소가 또한 각각 1920×1080으로 되는 것이 일반적이다.

스테레오스코픽 정보를 단일 프레임으로 다중화하기 위해, 또는 더 구체적으로 2개의 스테레오 쌍 요소 중의 어느 하나를 프리커서 포맷에 의해 그 요소에 할당된 반프레임(half-frame) 필드에 맞추어지도록 그래픽적으로 압축하기 위해 몇 가지 기술을 상이한 조합으로 사용할 수 있다.

도 2는 이용가능한 전체 영상 프레임 내에서 좌측 눈 및 우측 눈 영상 데이터 필드의 일반적인 레이아웃인 "프리커서 포맷"의 개념을 보인 도이다. 가장 단순한 프리커서 포맷은 영상 프레임을 좌측 반 및 우측 반으로 분리하고, 2개의 각 눈 뷰 중의 어느 하나로부터의 영상 정보를 저장하기 위해 상기 반을 각각 비축한다. 도 2에서, 만일 영상 프레임 사이즈가 수평으로 1920 픽셀이고 수직으로 1080 픽셀이면, 프레임의 좌측 절반(202)(960×1080 픽셀)을 좌측 눈 뷰(201)에 할당하고 우측 절반을 우측 눈 뷰에 할당할 수 있다.

따라서, 2개의 풀 사이즈 스테레오 쌍 요소를 상기 특수 프리커서 포맷으로 다중화하는 것은 하나의 풀 사이즈 영상을 하프 사이즈 영상 필드에 맵하는 문제로 되고, 스테레오 쌍마다 이것을 2회 행한다.

아마도 풀 사이즈 영상을 하프 사이즈 필드에 맵하는 가장 간단한 방법은 각 행(row)으로부터 하나 거른 다른 픽셀을 제거하는 것이다. 예를 들면, 도 3에 도시한 바와 같이, 원래의 좌측 눈 뷰(301)로부터, 짝수 번호 열(column)(첫번째 행에서 5번째 픽셀(302) 등, 여기에서 제1 열은 번호 0이고 짝수 번호 열이다)에 있는 픽셀들만을 하프 사이즈 프레임으로 전달하고 다른 픽셀들(픽셀(303) 등)을 버리는 것이 이것을 행하는 하나의 방법이다. 일부 셀들을 채택하고 다른 픽셀들을 버리는 이러한 일반적인 기술은 "픽셀 선택"이라고 부르고, 텍사스 인스트루먼츠의 소위 "체커보드" 비디오 디스플레이용으로 다중화시에 성공적으로 사용될 수 있다. 이러한 스타일의 다중화는 픽셀 선택 및 교호 행 지그재그화와 함께 병행식 프리커서 포맷을 사용한다.

픽셀 선택에 대한 대안은 일반적으로 "필터드 스케일링(filtered scaling)"이라고 부르는 다양한 기술을 포함한다. 필터드 스케일링을 이용할 때, 프리커서 필드에 맵되는 픽셀 정보는 하나 이상의 소스 픽셀로부터 유도된 정보를 내포한다. 필터드 스케일링 알고리즘의 일 예는 2개의 이웃하는 소스 픽셀을 평균하여 저장할 임의의 주어진 픽셀의 값을 계산하는 것이다. 다른 알고리즘은 가중 평균을 행하고, 이때 저장된 픽셀 값은 주로 단일 소스 픽셀을 표시하고, 그 값은 (수평 및/또는 수직 치수를 따라서) 이웃하는 픽셀들의 값과 수학적으로 또한 혼합된다. 도 4에 표시한 특수 필터드 스케일링 알고리즘은 소스 필드(401)를 보여주고 있고, 여기에서 합성 픽셀(합성 픽셀 402와 403과 같이 타원체로 표시된 것)은 주로 소스 영상의 홀수 번호 열로부터 추출되고, 또한 일부 픽셀 정보는 이웃하는 짝수 번호 열로부터 취해진다. 짝수 번호 열에 있는 픽셀(예를 들면, 최상위 행의 세번째 픽셀인 소스 픽셀 #2 등)은 2개의 다른 합성 픽셀(402, 403)에 정보를 제공한다는 것에 주목한다. 선형 필터링, 바이큐빅(bicubic) 필터링 등과 같은 다수의 공지된 필터드 스케일링 알고리즘이 있고, 이들 중 임의의 것 또는 그 변형체를, 비제한적인 예를 들자면 가변적으로 적용되는 바이큐빅 스케일링, 가변적 선명화, 비가변적으로 적용되는 바이큐빅 스케일링, 및 비가변적 선명화에 적용할 수 있다.

필터드 스케일링은 극장 디스플레이용으로 가장 유익하게 사용될 수 있는 다중화 기술이다. 하나의 유용한 필터드 스케일링 다중화 기술은 가변적으로 적용되는 바이큐빅 스케일링 및 역다중화 후에 적용되는 가변 선명화와 함께 병행식 프리커서 포맷을 사용한다. 이것과 유사한 방법은 TI의 "체커보드" 스타일 디스플레이보다는 평판 디스플레이에 또한 적용할 수 있다.

일반적으로 말하면, 픽셀 선택 기술은 선명도를 보전하고 처리 간접비(processing overhead)를 최소화하기 위해 유용할 수 있고, 한편 필터드 스케일링은 아티팩트(artifact)가 더 적은 부드러운 상을 산출하는 경향이 있다.

또다른 옵션은 "교호화(alternating) 기술"이라고 부르는 것이고, 이것은 교호하는 픽셀 행에서 선택 기술과 스케일링 기술을 교호한다는 의미이다. 교호 기술의 한가지 예는 도 5에 도시되어 있고, 여기에서 단순한 픽셀 선택이 홀수 번호 픽셀 행에서 사용되고(좌측 눈 필드(501)에서 픽셀(504)은 버려지고 픽셀(505)은 그대로 전송되는 것 등), 짝수 번호 픽셀 행에서는 특수 동작 또는 필터드 스케일링이 사용된다(합성 픽셀(502, 503)이 몇 개의 소스 픽셀로부터 그들의 정보를 획득하는 것처럼). 이 교호화 기술은 선택과 스케일링 중 최상의 것을 전달하는 가능성이 있고, 전체 선명도는 100% 필터드 스케일링을 사용할 때보다 더 나을 수 있으며, 교호 행에서의 필터드 스케일링은 선택 아티팩트를 효과적으로 감소시킨다. 교호 기술은 교호 픽셀 행에서 2개의 다른 유형의 필터드 스케일링을 이용해서 또한 구성될 수 있다.

"지그재그화(staggering)"라고 부르는 다른 기술은 픽셀 선택 또는 각종의 필터드 스케일링 방법(교호화 기술 방법을 포함함)과 함께 사용될 수 있고, 텍사스 인스트루먼츠에서 제조하여 판매하는 소위 "체커보드" 디스플레이와 함께 유익하게 사용될 수 있다. 이 기술에 의해, 교호 행들은 소스 필드에서의 지그재그 베이스에 기초하여 소스 데이터를 얻는다. 재그재그화의 일 예는 도 6에 도시되어 있다. 스태거드 픽셀 선택 기술은 특수한 소스 영상(601)에서, 짝수 번호 행으로부터 짝수 열 픽셀(예를 들면, 602)을 선택하고(픽셀(603)과 같은 홀수 번호 픽셀은 버려짐), 홀수 번호 행으로부터 홀수 열 픽셀을 선택한다(픽셀(604)와 같은 짝수 번호 픽셀은 버려짐). 픽셀 선택을 지그재그화와 결합하는 이 예는 체커보드로부터 흑색 사각형만을 추출하는 것과 유사하게 실제로 대각선 선택 패턴을 야기한다. 이 방법으로 선택을 지그재그화함으로써, 선택은 지그재그화 없는 열 선택 방법에 비하여 더 효과적으로 치수 중립(dimension-neutral)으로 되는데, 그 이유는 체커보드 텍스쳐가 90°회전되었을 때 일반적으로 변화하지 않기 때문이다.

지그재그화는 각종 필터드 스케일링 옵션 중의 임의의 것에도 또한 적용될 수 있고, 지그재그화 없는 필터드 스케일링에 비하여 유사한 장점을 갖는다. 도 7의 예에 있어서, 좌측 눈 뷰(701)는 필터드 스케일링 알고리즘을 이용하여 처리됨으로써 합성 픽셀(702, 703)들은 각각 하나 이상의 소스 픽셀로부터 그들의 정보를 획득한다. 그러나, 최상위 행에 있는 합성 픽셀들은 각각 짝수 번호 픽셀 열로부터 주로 추출되고(합성 픽셀(702)이 어떻게 중심이 되어 소스 픽셀 #4에서 그 영역의 대부분을 갖고, 합성 픽셀(703)이 소스 픽셀 #6에서 중심이 되는지 등), 다음 행(704)에서, 합성 픽셀은 주로 홀수 번호 픽셀 열로부터 추출된다. 이 제2행의 첫번째 완전한 합성 픽셀은 그 행의 제2 소스 픽셀이고 홀수 번호 픽셀인 픽셀 #1로부터 주로 추출된다.

선택 또는 스케일링을 치수 중립으로 하는 장점 외에, 지그재그화 기술은 일부 추가의 장점을 갖는다. 수직 및 거의 수직 특징과 관련된 시각적 아티팩트가 더 효과적으로 감소된다. 또한, 앞에서 TI 디스플레이 시스템이라고 언급한 것과 같은 일부 스테레오스코픽 디스플레이 시스템은 스테레오스코픽 디스플레이 모드에 있을 때 "체커보드" 또는 "다이아몬드-인터레이스" 픽셀 레이아웃을 사용하고; 지그재그식 선택(또는 지그재그식 필터드 스케일링)은 전형적으로 영상 데이터를 그러한 디스플레이에 맵하는 데에 더 적당하다.

지그재그화는 최종 영상이 교호 행들 사이에서 지그재그 효과 없이 보여질 수 있도록 역다중화 중에 원상태로 복귀될 수 있고, 일반적으로 원상태로 복귀되어야 한다.

교호 픽셀 행에서의 지그재그 옵셋은 특정 환경에서 깨끗한 영상 압축을 방해할 수 있다(또는 반대로, 영상 압축 알고리즘이 지그재그화를 손상시킬 것이다). 이것은 중요한 문제가 아닐 수 있다. 만일 지그재그화가 타협되면, 그러한 효과는 아래에서 설명하는 방법으로 취급될 수 있다.

다음 기술인 "가변 스케일링"은 필터드 스케일링 변형예에 적용될 수 있지만, 픽셀 선택 기술은 아니고(지그재그화 및/또는 교호화 기술은 선택적으로 사용될 수 있다), 극장 환경에서 유익하게 사용될 수 있다. 가변 스케일링은 양을 변화시킴으로써 필터드 스케일링의 수행을 수반한다. 예를 들면, 이것은 중간 영역에서 프레임이 프레임의 모서리를 따르는 것보다 더 중대한 관심이 있는 장면 요소(scene element)를 갖는 경우이다. 따라서, 중간 프레임 장면 요소를 덜 다운스케일하고 모서리 부근 장면 요소를 더 다운스케일하는 것이 유리할 수 있다.

도 8에 도시한 예에서, 전체 50%의 수평 치수 스케일링을 수행하는 것보다는 프레임의 중간 절반(영역(802, 803))이 65%로 수평으로 스케일될 수 있고(합성 영역(806, 807)), 프레임의 좌측에서 프레임(801의 1/4 및 우측에서 프레임(804)의 1/4은 더 강렬한 35%로 스케일된다(805, 808). 가변 스케일링의 더 복잡한 병형예는, 예를 들면 다른 양으로 스케일되는 더 많은 수의 영역을 사용함으로써, 또는 계속적으로 변화하는 스케일링 방법을 사용함으로써 수행될 수 있다. 또한, 교호화 기술 및/또는 지그재그화와 같이 위에서 설명한 기술들은 가변 스케일링과 결합될 수 있다.

가변 스케일링의 최종 결과는 중간 장면 요소 등의 더 중요한 장면 요소들이 덜 강렬한 스케일링을 받고, 더 나은 선명도 및 더 적은 시각적 아티팩트를 가진 고품질을 유지하는 것이다. 한편, 모서리 부근 요소와 같이 덜 중요한 장면 요소들은 품질의 감소가 있지만, 전형적인 사용자가 인식할 정도로 강렬한 것은 아니고, 그러한 사용자가 중간 장면 영역에 더 집중하게 한다. 다시, 이것은 극장 세팅에서스테레오스코픽 시청에 특히 유용하고 유리할 수 있다.

가변 스케일링 기술은 장면 의존형 방법으로 또한 적용될 수 있는데, 장면의 특질에 따라서 최고 품질 스케일링의 구역들이 변할 것이다. 예를 들면, 가장 중요한 동작이 프레임의 좌측을 향하고 있는 장면에서, 가변 스케일링을 임시적으로 사용하여 좌측에 더 혜택을 줄 수 있다. 기술자는 비디오 편집 중에 특수 장면의 가변 스케일링 "처방(recipe)"을 결정할 수 있고, 또는 장면 및 적당한 스케일링이 자동 처리를 이용하여 도달할 수 있다. 예를 들면, 가변 스케일링은 최대량의 샤프-디테일(sharp-detail) 및/또는 모션을 가진 장면의 부분에 대하여 최고 품질 스케일링 보전을 수반할 수 있다. 어느 경우이든, 스케일링 처방은 프레임이 적절하게 역다중화될 수 있도록 임의의 방법으로 암호화될 수 있다.

지금까지 언급한 임의의 기술과 결합될 수 있는 다른 기술은 선명화이다. 다수의 선명화 기술 중의 임의의 기술("언샤프 마스크"는 그 일 예이다)이 다중화 단계 또는 역다중화 단계(또는 형편에 따라서는 둘 다) 중에 적용될 수 있다. 선명화는, 예를 들면, 모서리 선명도를 필터드 스케일링 때문에 일부 선명도를 상실한 장면으로 복원하고, 다른 경우에 픽셀 선택과 같이 본질적으로 더 선명한 기술을 이용하여 발생될 수 있는 시각적 아티팩트의 도입없이 이것을 행한다.

가변 스케일링과 결합될 때, 가변 정도로의 선명화는 더 나은 전체 화상을 야기할 수 있다. 다중화 중에 더 강렬하게 스케일된 장면 부분은 최종 결과에서 더 균일한 장면 짜임새를 유지하기 위해 전형적으로 더 큰 선명화를 또한 필요로 한다.

지금까지 언급한 모든 기술들은 병행식 프리커서 포맷 구성과 관련하여 설명하였고, 이 구성에서 풀 프레임 좌측 눈 및 우측 눈 정보는 좌측 절반 또는 우측 절반 서브프레임 영역에 맞추어지도록 수평으로 축소된다. 이들 구성(각종 조합)은 모두 "상-하(above-below)"와 같이 다른 프리커서 포맷에 대하여 또한 적용될 수 있다(이때 좌측 눈 정보와 우측 눈 정보는 상부 절반 또는 하부 절반 서브프레임 영역에 맞추어지도록 수직으로 눌러질 필요가 있다).

다른 더 복잡한 프리커서 포맷 변형예가 가능하고, 전술한 기술의 전부 또는 대부분은 그러한 변형예에 또한 적용할 수 있다.

하나의 가능한 프리커서 포맷은 도 9에 도시한 것과 같은 "4-타일"이고, 이 포맷에서 영상 프레임(901)은 4개의 동일 사이즈의 직사각형 영역으로 분할된다(예를 들면, 1920×1080 프레임은 4개의 960×540 영역으로 분할된다). 이 영역들 중 2개는 각 눈의 뷰에 할당되고(영역 902와 903은 좌측 눈 뷰용으로, 영역 904와 905는 우측 눈 뷰용으로 할당됨), 따라서 2개의 다른 다중화 기술을 사용하고 별도로 저장될 수 있다. 역다중화 단계에서는 후속적으로 눈-뷰(eye-view) 당 2개의 소스 영역을 결합하고, 이것을 이용하여 어떤 기술이 그 자체에 사용되었던 것보다 더 나은 복원 영상을 생성한다.

4-타일 프리커서 포맷의 예는 지그재그 선택의 결과를 취하고, 하나의 좌측 눈 뷰 타일의 짝수 번호 행으로부터의 선택된 픽셀을 저장하며, 다른 좌측 눈 뷰 타일의 홀수 번호 행으로부터의 (지그재그식으로) 선택된 픽셀을 저장한다. 지그재그 행을 별도로 저장함으로써, 지그재그 효과가 임의의 주어진 타일에서 제거되어 더 깨끗한 영상 압축이 달성될 수 있다.

4-타일 프리커서 포맷은 전술한 것과 같은 임의 유형의 지그재그화 및/또는 교호화 기술 방법에 유용할 수 있다. 프로세서는 하나의 기술로부터의 결과를 하나의 타일에 단순히 저장하고, 다른 기술(및/또는 지그재그화와 함께)로부터의 결과를 다른 타일에 저장한다. 더 나아가, 각 타일이 풀 프레임과 동일한 종횡비(aspect ratio)의 치수를 갖기 때문에, 치수-중립 스케일링 기술을 실시할 수 있다.

다른 하나의 방법은 가변 스케일링을 4-타일에 결합한다. 가변 스케일링은 각 타일이 내포하는 지점에 도달한 때, 또는 (다른 4-타일 토폴로지 변형예에서) 타일 자체가 다른 사이즈로 된 때 적용되어 1 타일의 기술 결합이 강조되게 할 수 있다. 이 결합된 기술의 예는 도 10에 도시하였고, 이 결합 기술은 도 10에서 프레임 1002와 1004로 표시한 것처럼 더 적은 공간이 할당된 프레임을 가진 다른 타일의 기술 결합에 비하여, 각각의 눈-뷰에 대하여 프레임 1001과 1003으로 표시한 것처럼 더 높은 품질로 하나의 영역에서 행하여진다.

연속적인 타일로 영상 데이터를 재배열하는 주요 이유 중의 하나는 데이터 압축이 전형적으로 영상 프레임 데이터가 다중화된 후에 적용되기 때문이다. 영상 및 비디오 압축 알고리즘은 특정 영역 내의 픽셀들이 서로 유사하게 되는 경향이 있다는 사실에 주로 의존한다. 따라서, 프리커서 영상 필드가 실제 영상 데이터를 더 밀접하게 재조립할수록 프리커서 영상 필드는 압축 알고리즘에 의해 더 양호하게 취급할 것 같다. 영상 데이터를 너무 많이 스크램블링하면 전형적인 영상 압축 알고리즘의 임의의 장점을 파괴시킨다.

그러나, 만일 특수 압축 알고리즘이 각각의 특정 경계에 의존될 수 있다면, 프리커서 포맷 및 다중화 기술은 그것을 이용하여 여분의 유연성을 얻을 수 있다. 예를 들면, 대부분의 JPEG 압축 알고리즘은 8×8 내지 16×16 픽셀 블록으로 작업한다. 따라서, 특정 행의 9번째 픽셀은 그 행의 최초 8개의 픽셀 중 임의의 것이 압축되는 방법에 영향을 주지 않아야 한다. 16×16 픽셀 블록은 전체 비디오 프레임에 비하여 비교적 작기 때문에, 16×16 블록을 "적층(stack)"하는 알고리즘을 이용하면, 그렇지 않은 경우에 병행식과 같은 단순한 4-타일 프리커서 포맷에 대하여 적당하지 않은 2차원 선택 및/또는 스케일링 기술이 가능하게 된다. 이러한 의미의 적층화는 원래의 비압축 영상 프레임의 절반과 같은 미리 정해진 프레임에 맞추어지도록 블록들을 재배열하는 것을 의미한다. 일반적으로, 픽셀을 제거함으로써 또는 픽셀을 결합함으로써 픽셀의 수를 감소시키는 처리는 비가변적 스케일링과 같이 수행되고, 이어서 원래 프레임의 절반과 같이 소정의 공간에 맞추어지도록 합성 블록들을 재배열한다.

이것의 일 예는 도 11에 도시되어 있다. 1920×1080으로 좌측 눈 뷰를 취하고 각 치수를 따라서 70%로 2차원 바이큐빅 스케일링을 적용하면 1344×756의 결과(1102)가 산출된다. 그 결과는 16×16 블록(1103)들로 분해될 수 있고, 이것은 전체 1920×1080 프레임(1104)의 절반을 포함하는 지역에 적층되고 프레임의 다른 절반은 스케일되어 적층된 우측 눈 뷰를 저장하기 위해 자유롭게 된다. 대안적으로, 복잡한 2차원 가변 스케일링 방식을 사용할 수 있다. 가변 스케일링 후에, 스케일된 결과는 적층되고 그 다음에 압축될 수 있다. 재생될 때, 영상은 압축풀기 되고, 그 다음에 역다중화에 의해 가변 스케일링을 비적층 및 원상태로 되돌린다(선택적으로 선명화와 같은 다른 기술을 적용한다). 선명화는 1방향 기술임에 주목한다. 즉 선명화는 역다중화가 합성 영상을 선명하게 한 후에 발생하고, 일반적으로 다중화 중에 수행되지 않고 역다중화 중에 원상태로 복귀된다. 역다중화 중에 후속적으로 원상태로 복귀될 수 있는 방식으로 개별 블록들을 회전시키거나 다른 방식으로 조작하는 일부를 포함해서 다른 블록 배열이 가능하다.

특수 프리커서 포맷, 적층 배열, 영상 타일 토폴로지 및 스케일링 알고리즘과 함께 작용하도록 특별하게 설계된 주문형 압축 방식을 사용할 수 있다.

프리커서 포맷 및 타일 토폴로지는 직사각형일 필요가 없다. 예를 들면, 도 12에 도시한 바와 같이, 원래 직사각형인 영역이 평행사변형(1202)으로 대각선으로 압축되도록, 각각의 눈-뷰 프레임(1201)을 취하고 필터링된 픽셀 맵핑의 일부 변형예를 이용하여 가장 가능성있게 수행되는 대체로 대각선 스케일링을 적용하는 것이 유리할 것이다. 이 평행사변형의 삼각형 부영역(1203)은 그 다음에 프리커서 포맷(1204)에 맞추어지도록 재배열되어 좌측 눈 데이터와 우측 눈 데이터가 전체 프레임의 대각선에 의해 분리된 삼각형 구역 내에 있게 할 수 있다. 그 결과, 영역(1205)은 다른 눈-뷰 용으로 이용할 수 있다. 더 작은 삼각형 타일링을 포함해서 이러한 삼각형 기반 프리커서 포맷은 독창적 타일 경계를 참작하는 주문형 압축 방식을 필요로 한다. 다른 방법은 상기 삼각형 기반 프리커서 포맷의 삼각형 영역에 맞추어지도록 소스 영상을 스케일하기 위해 대각선 형태를 이용하여 표준 압축 알고리즘과 함께 효과적으로 작용할 수 있게 하는 것이다.

이러한 신규의 프리커서 포맷은 위에서 설명한 대부분의 동일 기술 조합의 각종 조합을 여전히 가능하게 하고, 상기 동일 기술은 더 단순한 직사각형 2-필드 병행식 프리커서 포맷과 함께 작용하는 것이다.

다중화 데이터의 역다중화

정의의 일관성을 위해, 여기에서 인용되고 위에서 설명한 스테레오플렉싱으로부터 수신된 다중화 소스 데이터의 임의의 주어진 프레임은 단일 프레임에 맞추어지도록 암호화된 좌측 눈 스테레오 쌍 요소와 우측 눈 스테레오 쌍 요소를 둘 다 인용한다. 전형적으로, 다중화 데이터의 단일 프레임은 각각의 좌측 눈 스테레오 쌍 요소 또는 우측 눈 스테레오 쌍 요소와 동일한(또는 유사한) 픽셀 치수를 갖는다. 각 스테레오 쌍 요소는 일반적으로 각 스테레오 쌍 요소가 나중에 역다중화되는 사이즈의 정확히 또는 대략적으로 절반인 다중화 프레임의 부분에서 암호화된다. 예를 들어서, 만일 저장 및 디스플레이가 1920×1080 픽셀을 가진 영상들을 취급할 수 있으면, 각각의 좌측 눈 및 우측 눈 스테레오 쌍 요소는 역다중화되어 그 풀 사이즈로 투영될 때 1920×1080 픽셀로 되는 것으로 기대된다. 양쪽 스테레오 쌍 요소의 압축 버젼을 내포한 다중화 프레임은 1920×1080 픽셀로 될 것으로 기대된다.

전술한 바와 같이, 2개의 스테레오 쌍 요소를 내포하도록 다중화 프레임을 분할하는 것은 다른 방법으로 행하여질 수 있고, 여기에서 다른 분할 배열은 다른 "프리커서 포맷"이라고 인용된다. 2개의 스테레오 쌍 요소를 단일 영상의 프레임에 맞추기 위한 가장 간단한 프리커서 포맷은 좌측 눈 요소와 우측 눈 요소를 나란하게 배열하는 것이고, 각 요소는 그 각각의 공간을 프리커서 포맷에 맞추기 위해 수평으로 압박된다. 예를 들면, 좌측 눈 뷰에 대응하는 스테레오 쌍 요소는 전체 프레임의 좌측 절반을 점유하고, 그 풀 사이즈 수평 치수는 그 반 프레임 영역을 맞추기 위해 2의 인수만큼 축소된다. 역시 수평으로 압축된 우측 눈 요소는 프레임의 다른 절반을 점유한다.

다른 프리커서 포맷이 가능하다. 병행식과 유사한 변형예는 상-하(above-below)식이고, 스테레오 쌍 요소는 수평 대신 수직으로 압박되어 각각의 영역에 배치되고, 하나는 다른 것의 상부에 배치된다. 비직사각형 프리커서 포맷 및 무한한 다른 변형예에서 했던 것처럼 4-타일 프리커서 포맷이 또한 존재한다. 비록 이 설명의 대부분이 병행식 프리커서 포맷 및 그 풀 사이즈로부터 수평으로 하프 사이즈된 다중화 영역으로부터 영상 데이터를 역다중화하는 기술에 집중되지만, 여기에서 설명한 많은 기술들(또는 이 기술들의 변형예)은 병행식이 아닌 프리커서 포맷에 또한 적용할 수 있다.

반폭(half-width) 다중화 영역을 풀 사이즈로 신장함에 있어서, 가장 간단한 방법은 각 다중화 픽셀 값을 2회 사용하여 복제하는 것이다. 예를 들면, 특정 행이 그 다중화 형태로 960 픽셀을 갖고 1920 픽셀로 신장될 필요가 있는 경우, 시스템은 각 픽셀을 2개의 동일한 픽셀로 전환시켜서 레드 픽셀에 이은 옐로우 픽셀을 2개의 레드 픽셀에 이은 2개의 옐로우 픽셀로 역다중화한다.

많은 응용에 있어서, 복제는 양호한 시각적 품질 영상을 제공하지 않는 과도하게 미숙한(crude) 방법이다. 복제는 역다중화 영상의 임의의 주어진 행 또는 열에서 하나 거른 다른 픽셀만을 표시하는 디스플레이를 이용할 때처럼 일부 상황에서 적용할 수 있다.

다중화 영상을 완전한 해상도로 디스플레이하는 더 일반적인 상황에서, "필터드 스케일링"은 일반적으로 단순 복제보다 더 양호한 결과를 산출한다. 필터드 스케일링을 이용할 때, 역다중화 영상의 픽셀은 그 정보를 다중화 소스의 하나 이상의 픽셀로부터 얻는다. 전형적으로, 역다중화 출력의 교호 픽셀들은 다중화 소스로부터 픽셀 데이터를 획득할 때 교호 공식(alternating formulas)을 이용한다.

간단한 필터드 스케일링의 일 예는 다음과 같다. 이 예에서, 역다중화 출력의 임의의 주어진 인접 쌍의 픽셀들에 대해서, 양쪽의 출력 픽셀들은 소스 다중화의 인접 픽셀들의 특수한 쌍으로부터 추출된다. 그러나, 2개의 합성 출력 픽셀들은 동일한 소스 픽셀의 상이한 가중치를 이용한다. 그러한 출력 픽셀 중의 제1 출력 픽셀은 3:1 가중치를 가진 소스 픽셀로부터 추출되고(대부분 제1 소스 픽셀로부터 추출됨), 제2 출력 픽셀은 1:3 가중치를 가진 동일한 소스 픽셀로부터 추출된다(대부분 제2 소스 픽셀로부터 추출됨). 역다중화 출력 픽셀들의 다음 인접 쌍은 상이한 가중치 평균의 동일한 방법을 사용하지만, 위로부터 두번째 소스 픽셀 및 그 픽셀에 뒤따르는 픽셀로부터 추출된다. 다시 말하면, 첫번째의 2개의 출력 픽셀은 소스 픽셀 A와 B로부터 (상이한 가중치를 이용하여) 추출되고, 다음의 2개의 출력 픽셀은 소스 픽셀 B와 C로부터 추출되며, 그 다음의 2개의 출력 픽셀은 픽셀 C와 D로부터 추출되고, 이와 같은 방식으로 출력 픽셀이 추출된다(여기에서, 소스 픽셀은 A, B, C, D 등으로 표시되어 있다고 가정한다). 다시, 제1 픽셀로부터 3개의 파트를 추출하고 제2 픽셀로부터 1개의 파트를 추출하는 것이 인접 쌍들 각각에 대해서 발생한다.

교호 출력 픽셀이 필터드 스케일링을 사용하고 다른 교호 픽셀들이 단순 복제를 사용하는 적어도 하나의 필터드 스케일링 역다중화 방법이 있다. 예를 들면, 짝수 번호 출력 픽셀들은 원래의 다중화 픽셀을 복제하고 홀수 번호 출력 픽셀들은 각각의 (비어있는) 홀수 번호 픽셀이 걸쳐있는(straddle) 2개의 수신된 픽셀의 평균 혼합으로서 계산된다.

더 복잡한 필터드 스케일링 알고리즘은 최상의 시각적 결과를 제공할 수 있다. 많은 경우에, 동일 행에서 4~8개의 소스 픽셀을 추출하는 각 출력 픽셀은 일반적으로 개선된 결과를 제공한다. 동일 행 및 하나 이상의 주변 행의 다중화 픽셀로부터 추출하는 필터드 스케일링이 또한 잘 작용할 수 있다.

일부 필터드 스케일링 방법의 한가지 공통적인 단점은 선명도 및/또는 모서리 품질이 감소될 수 있다는 것이다. 또다른 필터드 스케일링 방법은 더 나은 선명도를 제공할 수 있지만, 바람직하지 않은 아티팩트를 도입할 수 있다. 잠재적으로 2개의 다른 방법 중에서 더 양호한 종횡비(aspect)를 제공할 수 있는 역다중화 기술은 교호 행에 대하여 다른 필터드 스케일링 방법을 사용하는 것이다. 교호 행에서 이러한 용도의 변형예, 하나의 필터드 스케일링 방법, 및 다른 방법은 복제를 이용한다(또는, 필터드 스케일링과 함께 복제를 이용한다).

특정의 다중화/스테레오플렉스 방법은 "지그재그화(staggering)"라고 부르는 기술을 사용하고, 이 기술에서는 교호 행에 도입된 원래 소스 픽셀 데이터에 대하여 약간의 수평 옵셋이 있다. 이 기술에 의해, 짝수 번호 행은, 예를 들면, 짝수 번호 열로부터 추출되고(또는 원래의 짝수 번호 열에 중심이 맞춰진 필터드 스케일링 방법을 이용하고), 홀수 번호 행은 홀수 번호 열로부터 추출된다(또는 홀수 열에 중심을 맞춘 스케일링을 이용한다). 다시 말해서, 행 2에서는 열 0, 2, 4 등이 사용되고, 행 3에서는 열 1, 3, 5 등이 사용된다. 역다중화 단계에서, 역다중화 방법은 동일하지만 반대인 "지그재그"를 적용하여 최종 출력 영상의 모든 행들이 서로에 대해 적절하게 정렬되게 한다. 전술한 예로부터, 행 2는 열 0, 2, 4 등의 데이터를 포함하고, 필터드 스케일링 또는 복제에 의해 상기 짝수 열 픽셀들로부터 역다중화될 수 있고, 행 3은 열 1, 3, 5 등의 데이터로부터의 픽셀을 포함하고, 필터드 스케일링 또는 복제에 의해 상기 홀수 열 픽셀들로부터 역다중화될 수 있다. 지그재그화는 위에서 설명한 다른 역다중화 기술과 함께 사용될 수 있다.

다른 픽셀 기술은 역다중화 단계에서 원상태로 복귀하는 다중화 단계에 적용될 수 있다. 예를 들면, 다중화/스테레오플렉싱 단계는 병행식 프리커서 포맷이 수평 치수에 정상적으로 부여하는 효과적인 해상도 감소의 일부를 효과적으로 편이시키는 픽셀 재배열 방식을 사용하여, 일부 해상도 감소가 수직 치수로부터 오게 할 수 있다. 다중화/스테레오플렉싱 중에 이러한 방식을 사용할 경우, 그 방식은 역다중화 단계 중에 역으로 된다.

다중화 영상의 유효 품질을 개선하기 위해 사용할 수 있는 하나의 기술은 가변 스케일링(variable scaling)이고, 이 기술에서 영상의 더 중요한 식별 영역(영상의 중앙 부분, 또는 다른 인수에 따라 선택된 특정 부분)은 영상의 다른 영역보다 덜 다운스케일(downscale)된다. 역다중화 중에, 역 스케일링이 또한 가변적으로 적용되어 최종 출력 영상이 전체적으로 적당한 비율로 된다.

선명화는 역다중화 단계에서 영상 품질을 개선하는 유용한 기술이다. 대부분의 필터드 스케일링 동작은 영상 및 그 특징(feature)의 인식되는 선명도를 감소시킨다. 역다중화 동작에 선명화 필터를 추가함으로써, 또는 유효 선명화를 필터드 스케일링 기능 자체에 통합함으로써, 선명도 감소가 효과적으로 저지되어 인식되는 텍스쳐 품질이 원래 영상과 유사하게 되는 출력 영상을 산출할 수 있다. 병행식 프리커서 포맷 및 수평축 스케일링을 사용하는 경우, 수평으로만 작용하는 선명화 필터를 사용하여도 좋다. 대안적으로, 2차원적 선명화 필터의 일부 변형예를 사용하여, 하나의 치수(수평으로)에서 선명화하고 제2 치수(수직으로)에서 별도로 또는 결합해서 선명화할 수 있다. 선명화는 일반적으로 여기에서 언급하는 임의의 역다중화 기술과 함께 사용할 수 있다.

역다중화 단계에서 가변 스케일링 기술을 사용하는 경우, 가변 선명화를 또한 성공적으로 사용할 수 있다. 스케일링의 양이 더 크면 클수록 일반적으로 선명화의 양을 더 크게 요구할 것이다. 영상의 다른 영역에서 선택된 양의 선명화를 사용하면 전체적으로 균일한 선명도의 영상을 만드는데 도움이 되고 전체적으로 영상 품질을 개선할 수 있다.

주목된 바와 같이, 상-하, 4-타일, 및 각종의 다른 배열과 같이 병행식이 아닌 프리커서 포맷이 가능하다. 병행식 프리커서 포맷과 관련하여 설명한 많은 기술들은 다른 변형예와 함께 다른 프리커서 포맷에 또한 적용할 수 있다.

4-타일 프리커서 포맷에 있어서, 4-타일은 각종 방법으로 사용될 수 있다. 4-타일의 하나의 가능한 용법은 교호 행들 간의 수평 옵셋을 포함하는 다중화 방식으로부터 획득한 교호 행을 분리하는 것이고, 교호 행들이 분리되지 않은 경우 나타나는 교호 행 옵셋 없이 별도의 타일을 제공한다. 이러한 종류의 4-타일 배열, 또는 임의의 다른 종류의 4-타일 배열을 역다중화할 때, 시스템은 본질적으로 다중화 동작 중에 어떤 재배열이 행하여졌든지 간에 원상태로 복귀한다.

지금까지 설명한 다중화 및 역다중화 방법의 대부분은 픽셀 컬러 정보를 암호화할 때 사용된 특정 포맷에 관계없이 일반적으로 적용가능하다. 예를 들면, 상기 기술들의 사실상 모두는 RGB 컬러 데이터에 적용할 수 있고 또한 YUV 포맷으로 암호화된 상(imagery)에 적용할 수 있다. 일부 포맷 변형체는 다중화 및 역다중화 기능을 최적화할 때 고려될 수 있는 특수한 속성을 갖는다. 예를 들면, 일부 YUV 전송 유형(당업계에서 잘 알려진 YUV 4:2:2 포맷 등)은 Y 성분에 보다는 U(Cb라고도 부름) 성분 및 V(Cr) 성분에 더 낮은 저장 또는 전송 대역폭을 제공하고, 따라서 다른 픽셀 저장 포맷에서는 요구되지 않는 기술들이 다중화 및 역다중화에서 요구될 수 있다. YUV 4:2:2에 의해, 예를 들면, 시스템은 스케일링 치수(수평)가 4:2:2 샘플링 때문에 색도 성분(Cb, Cr)의 유효 해상도 감소의 치수에 수직하게 되도록 픽셀 성분 재배열 방식과 병행식 프리커서 포맷을 유리하게 결합할 수 있다. 그러한 설계에 있어서, 픽셀 성분은 수직 해상도만이 Cb 및 Cr 샘플링에 의해 희생되도록 재배열된다.

이 방법에서의 다중화 및 역다중화는 중간 영상 저장 또는 전송 포맷이 YUV 영상 암호화를 이용하는 응용에 특히 적합하고, 여기에서 U(가끔 Cr 또는 pR이라고도 부름) 성분 및 V(Cb 또는 pB) 성분은 수평으로 반 해상도(half-resolution)로 된다.

비트를 더 설명하기 위해, YUV 4:2:2에 있어서, 1600×1200 영상은 행마다 1600 Y 데이터 포인트로 저장되지만, 행마다 800 U 및 800 V 데이터 포인트만이 저장된다. 병행식 프리커서 포맷으로 스테레오스코픽 다중화를 수행하면 각 스테레오 쌍 요소에 대하여 수평 스케일이 1:2 축소된다(또는 가변 스케일링을 이용하는 경우 평균 1:2로 스케일이 축소된다). 일부 성분 데이터(이 예에서는 U 및 V)를 절반의 수평 해상도로 저장하는 중간 단계 영상 포맷을 이용하면, 그 결과는 그러한 픽셀 성분에 대하여 수평 해상도가 원래의 1/4로 감소되고, 이것은 일반적으로 시각적으로 받아들일 수 없다.

이러한 시각적 출현 문제를 둘러싼 한가지 방법은 병행식 대신에 상하식 프리커서 포맷을 사용하는 것이다. 상하식 프리커서 포맷에 있어서, 스케일링은 수직축을 따르고 YUV 픽셀 성분 샘플링은 수평축을 따라서 행하여진다. 이것은 픽셀 성분 해상도 문제를 혼합하기 보다는 펼치는 경향이 있고, 전형적으로 영상 품질을 개선한다. 그러나, 상하식 프리커서 포맷으로, 하드웨어 구현은 전형적으로 중간 영상의 사이즈의 절반보다 더 큰 영상 기억 버퍼를 필요로 하고, 이것은 시스템에 비용 및 복잡성을 추가한다.

본 발명은 도 13a 및 도 13b에 예로서 도시한 바와 같이 다중화/스테레오플렉싱 중에 픽셀 성분 데이터(중간 포맷이 수평 해상도를 감소시키는 성분만)를 재배열 및 선택적으로 평균화한다. 이 재배열 및 처리는 수평으로 정렬된 픽셀 성분(도 13a 및 도 13b에서 A와 B)들을 수직으로 인접한 픽셀들에 사용하기 때문에, 해상도 감소를 수평에서 수직으로 전환시키는 효과가 있다.

병행식 프리커서 포맷을 맞추기 위해 이상적으로 수평 압축 다음의 다중화 중의 어느 지점에서(그 순서를 재배열 방식의 일부 수정에 의해 바꿀 수 있지만), 픽셀들은 원래 수평으로 인접한 픽셀 성분들이 수직으로 인접하게 되도록 재배열된다. 그러한 픽셀 재배열의 예는 도 13a에 도시하였다. 이 예에서, 픽셀 성분은 단순히 재맵핑(remap)된다. 임의의 주어진 2×2 블록의 픽셀에 있어서, 각각의 색도 성분은 도시된 것처럼 재배열된다. 원래 픽셀 성분 A의 우측에 있는 픽셀 성분 B는 픽셀 성분 A의 바로 아래에 있도록 이동하고, 원래 픽셀 성분 D의 좌측에 있는 픽셀 성분 C는 픽셀 성분 D의 바로 위에 있도록 이동한다. 후속되는 성분 샘플링은 이들 열 중의 하나(제2 열로 가정하자)로부터 성분들을 제거할 것이고, 성분 A와 최근에 재할당된 성분 B만 남긴다. 이러한 방법으로, 원래 수평으로 인접했던 2개의 픽셀 성분이 성분 샘플링 단계에서 살아남고, 성분 C와 D는 손실되어 샘플링 단계가 수평 색도 성분 해상도보다는 수식 색도 성분 해상도를 희생시킨다.

도 13b는 이러한 다중화 기술의 어느정도 더 양호한 변형예를 도시한 것이다. 도 13b에 있어서, 임의의 주어진 2×2 블록 내에서, 원래 수직으로 이웃했던 픽셀 성분들이 수평으로 이웃하도록 이동되지만, 그 픽셀 성분들은 또한 도 13b에 도시한 방식으로 서로 평균화된다. 이 평균화는 원래 수식으로 인접했던 픽셀 성분들을 효과적으로 혼합하여 양쪽의 픽셀 성분이 성분 샘플링 단계 이후에 여전히 표시되게 할 것이다. 수평으로 인접한 픽셀 쌍은 재배열 후에 동일한 값을 가져서 그들 중 어느 것이 성분 샘플링에 의해 선택되거나 버려지든지 문제가 없다는 것에 주목한다. 최종 결과는 제1 열의 원래 픽셀 성분 데이터(수직으로 함께 평균화된 A와 C)는 연속되는 행에서 제2 열의 원래 픽셀 성분 데이터(수직으로 함께 평균화된 B와 D)와는 별도로 저장되고, 따라서, 수평 성분 해상도는 그것을 수직 치수로 편이시킴으로써 보존된다.

이 재배열은 역다중화의 시작시에 원상태로 복귀되고, 수평 해상도를 원래 재배열 전에 있었던 상태로 복원하며, 후속적으로 감소된 수평 해상도 중간 포맷으로 변환한다. 중간 포맷이 해상도에서 감소하지 않는 픽셀 성분(즉, YUV의 Y 성분)은 평균화되거나 재배열되지 않고 그대로 유지된다.

도 14a 및 도 14b는 도 13a 및 도 13b에 도시한 것과 같은 픽셀 재배열 기술을 원상태로 되돌리는 역다중화 기술의 2가지 변형예를 도시한 것이다. 저장 또는 전송 암호화로부터 복호된 임의의 주어진 2×2 픽셀 블록에 있어서, 도 13a 및 도 13b에 의해 설명한 유형의 기술에 의해 다중화 중에 재배열된 특정 픽셀 성분들은 원래의 픽셀 재배열을 근사적으로 복원하기 위해 다시 재배열될 필요가 있다. 이 재배열은 이상적으로 각각의 반폭(half-width) 스테레오 쌍 요소를 그 풀 사이즈로 압축풀기 하기 전에 역다중화의 시작시에 행하여지지만, 수평 압축풀기 다음에 유사한 픽셀 재배열 기술을 적용하여 유사한 결과를 달성할 수 있다.

도 14a는 역다중화 중에 발생하는 상기 재배열을 수행하는 간단한 예를 도시한 것이다. 여기에서, 픽셀 성분 X와 Z는 버려지고, 성분 Y는 성분 W에 수직으로 인접한 위치로부터 성분 W에 수평으로 인접한 위치로 이동하며, 그 다음에 성분 W와 Y가 다음 행에서 복제된다. 역다중화의 시작시에, 픽셀 맵이 YUV 4:2:2로부터 재구성되는데, 이것은 수평 샘플링에 의해 단일 번호로 표시된 임의의 주어진 2×2 블록 내의 수평으로 인접한 픽셀 성분이 거의 동일해야 하고, 따라서 유용성이 매우 적은 정보가 성분 X와 Z의 버려짐으로 인해 손실된다는 것을 의미한다. 사실상, 상기 수평으로 인접한 픽셀 성분들은 전형적으로 픽셀 맵의 복호에 사용되는 기술 때문에 완전히 동일한 것은 아니고, 따라서, 도 14b에 도시한 바와 같이 픽셀 재배열과 함께 평균화 방식이 사용될 수 있다. 도 14b에 있어서, 매우 유사하지만 완전히 동일하지는 않은 수평으로 인접한 픽셀 성분 쌍인 W와 X, 및 Y와 Z는 서로 평균화되고, 그 평균값으로 바꾸어져서 다중화 중에 수행된 수평-수직 픽셀 성분 재배열 기술이 효과적으로 원상태로 복원되게 한다.

도 13a 및 도 13b의 결합 기술 및 수평으로 인접한 픽셀의 (A+C)/2로부터 수직 근사치로의 합성 압축풀기는 정형적으로 병행식 프리커서 포맷을 맞추는 스테레오 쌍 요소의 수평 스케일링을 가능하게 하고, 중간 영상 포맷의 제약 때문에 특정 픽셀 성분의 추가적인 해상도 감소를 수직축을 따라 효과적으로 편이시킨다. 그 결과 양쪽의 해상도 감소가 수평으로 행하여지는 것에 비하여 영상 품질이 개선된다. 메모리를 처리할 필요성이 적당한 양으로, 즉, 전형적으로 한번에 2개의 픽셀 행으로 제한되는 추가적인 장점이 있다.

예시적인 다중화 및 역다중화 알고리즘

본 발명에 따른 역다중화 알고리즘은 다음과 같이 동작할 수 있고, 그 알고리즘의 변형예가 본 발명의 과정 및 범위 내에서 제공될 수 있다. 스테레오 쌍의 영상이 있는 알고리즘에 있어서, 각 영상은 픽셀 해상도 (w. h)를 갖는다. 스테레오 쌍은 동일 사이즈의 단일 프레임 (w, h)로 다중화된다. 스테레오 쌍은 후속적으로 역다중화되어 각 요소가 그 원래의 픽셀 해상도를 갖게 하고 그 해상도로 디스플레이되게 한다. 임의의 포맷으로 암호화된 영상에 대하여 다중화 및 역다중화를 실시할 수 있지만, 여기에서는 설명의 목적상, YUV 포맷을 사용하는 것으로 한다. 다중화 동작과 역다중화 동작 사이에서, (다중화된 프레임의) 홀수 번호 픽셀 열의 Cb 및 Cr 성분 값들이 무시되도록 샘플링이 발생한다. 병행식 "프리커서 포맷"이 사용된다.

다중화/스테레오플렉스 둘 다 및 역다중화에 대하여 수평만(horizontal-only)의 필터드 스케일링 동작을 수행한다. 임의의 주어진 출력 픽셀에 대하여, 알고리즘은 2개의 입력 행에 속하는 다른 열로부터의 6개(다중화) 또는 4개(역다중화)의 픽셀을 처리하거나 "주시(look at)"한다. 모든 계산은 2항 곱셈 동작의 합이다. 역다중화시에, 시스템은 2개의 다른 공식을 사용하는데, 하나는 짝수 출력 행에 대한 것이고 다른 하나는 홀수 출력 행에 대한 것이다.

YUV 샘플링을 준비함에 있어서, 다중화 알고리즘은 인접 픽셀들의 쌍에 속하는 Cb 및 Cr 픽셀 성분이 서로 평균화되어 국소적으로 재배열되는 추가의 단계를 갖는다. 이러한 처리는 별도의 단계로서 구현되거나 또는 필터드 스케일링 계산과 통합될 수 있다. 일부 국소 재배열은 역다중화 동작에 선행할 수 있고, 역다중화 알고리즘은 선명화 필터를 통합할 수 있다.

다중화의 "프리커서 포맷"은 위에서 설명한 병행식이고, 좌측 눈 스테레오 쌍 요소는 일반적으로 수평으로 압축되어 다중화 프레임의 좌측 절반에 저장되고 우측 눈 스테레오 쌍 요소는 수평으로 압축되어 다중화 프레임의 우측 절반에 저장된다.

수평으로 압축한다는 것은 2개의 스테레오 쌍 요소 중의 어느 하나에 대하여 출력 열로서 데이터의 입력 열의 수의 2배가 존재한다는 의미이다. 만일 원래 픽셀의 폭이 w이면, 각 스테레오 쌍 요소에 대한 다중화 픽셀 폭은 w/2이다.

더 구체적으로 말하면, 각 출력(다중화된 것) 픽셀 열은 6개의 입력(원래의 것) 픽셀 열로부터 추출된다. 임의의 주어진 출력 픽셀(x, y)에 대하여, 시스템은 입력 픽셀 (2x-2, y) 내지 (2x+3, y)를 이용한다. 공식은 다음과 같다.

[수학식 1]

mux(x,y) = -0.05 * in(2x-2,y) + 0.10 * in(2x-1,y) + 0.45 * in(2x,y) + 0.45 * in(2x+1,y) + 0.10 * in(2x+2,y) - 0.05 * in(2x+3,y)

상기 식에서 in(A,B)는 열 A와 행 B의 입력 픽셀을 나타낸다. 수학식 1의 최초 항과 최종 항은 작은 크기의 것이다. 더 나은 효율을 위해, 수학식 1은 6개의 입력 열 대신에 4개의 입력 열을 이용하여 상기 항들을 감소시키도록 약간 수정될 수 있다. 사실, 다음과 같은 매우 간단한 2-열 공식이 만족스러운 (그러나 약간 열등한) 결과를 제공할 수 있다.

[수학식 2]

mux(x,y) = 0.5 * in(2x,y) + 0.5 * in(2x+1,y)

또한, 수학식 1의 6 입력 공식은 출력 픽셀 성분의 계산된 값이 그 받아들일 수 있는 범위를 벗어날 가능성이 있다는 것을 인정할 필요가 있다. 시스템은 만일 계산된 값이 너무 낮으면 최소값을 할당하고 계산된 값이 너무 높으면 최대값을 할당할 필요가 있다. 알고리즘은 좌측 모서리 및 우측 모서리 근처의 일부 열이 입력 비트맵의 경계 밖에 있는 일부 열 정보를 획득할 능력을 갖지 못할 수 있기 때문에 경계 문제를 생각할 수 있다.

일반적으로, 수학식 1과 2 및 후속되는 수학식에서 사용되는 상수를 이용할 수도 있지만, 그 상수는, 비제한적인 예를 들자면, 사용하는 영상 또는 스테레오 쌍, 처리 능력, 동영상의 출현, 또는 설계자 또는 시청자의 희망과 같이 환경에 따라서 바꿀 수 있다. 더 크거나 더 작거나 또는 완전히 다른 계수를 사용하여도 좋다.

다중화 계산은 전형적으로 각 픽셀의 3개의 성분 모두에 대하여 수행된다. 만일 입력이 4:2:2 포맷이면(Cb 및 Cr 성분은 하나 거른 다른 픽셀 열에 대해서만 이용할 수 있다), 각각의 인접한 입력 픽셀 쌍은 동일한 Cb 및 Cr 값을 갖고, 또는 4:2:2 암호화 정보를 제시함에 있어서 일부 압축풀기 처리가 있었으면 거의 동일하다. 그러나, 다중화 결과는 각 픽셀의 3개의 성분 모두에 대하여 별개의 값을 갖고, 상기 별개의 값은 다음 단계의 계산에서 필요하다. 그 다음에 Cb 및 Cr 샘플링이 이루어지고, 그 다음에 시스템은 데이터를 4:2:2 스트림으로 복귀시킨다.

다중화 후에 발생하는 Cb 및 Cr 샘플링에 기인해서, 시스템은 다중화 중에 Cb 및 Cr 성분에 대해 재배열 방식을 적용하고, 선택적으로 재배열 후에 수평적으로 인접한 픽셀 성분들의 평균화가 수반될 수 있다. 역다중화 중에, 픽셀 맵 압축풀기 다음이지만 좌측 눈 및 우측 눈 스테레오 쌍 요소를 프리커서 포맷으로부터 풀 사이즈로 복원하기 전에, 다중화 중에 사용한 픽셀 재배열 방식이 도 14b에 도시한 바와 같이 역 픽셀 성분 재배열 방식을 이용하여 원상태로 되돌려질 필요가 있다. 수학식 3 내지 수학식 8은 이 기술을 구현하는 하나의 방법을 보여준다. 이들 수학식에서 제1 열은 0으로 번호가 부여되고, 따라서 짝수이다.

[수학식 3]

muxCb(짝수 x, 짝수 y) = 평균(muxCb(짝수 x, 짝수 y), (muxCb(짝수 x+1, 짝수 y)

위 식에서 muxCb는 짝수 행 및 열 번호를 가진 임의의 주어진 Cb 성분에 대한 다중화 값을 나타내고, 짝수 x는 짝수의 제1 (행) 값을 나타내며, 짝수 y는 짝수의 제2 (열) 값을 나타내고, 평균은 평균 함수를 나타낸다. 수학식 3에서는 muxCb(0,0), muxCb(0,2), muxCb(0,4)..., muxCb(2,0), muxCb(2,2), muxCb(2,4)...등이 계산된다.

[수학식 4]

muxCb(짝수 x+1, 짝수 y) = muxCb(짝수 x+1, 짝수 y+1) = 평균(muxCb(짝수 x, 짝수 y+1), (muxCb(짝수 x+1, 짝수 y+1)

[수학식 5]

muxCb(짝수 x, 짝수 y+1) = muxCb(짝수 x, 짝수 y)

[수학식 6]

muxCr(짝수 x, 짝수 y) = 평균(muxCr(짝수 x, 짝수 y), (muxCr(짝수 x+1, 짝수 y)

[수학식 7]

muxCr(짝수 x+1, 짝수 y) = muxCr(짝수 x+1, 짝수 y+1) = 평균(muxCr(짝수 x, 짝수 y+1), (muxCr(짝수 x+1, 짝수 y+1)

[수학식 8]

muxCr(짝수 x, 짝수 y+1) = muxCr(짝수 x, 짝수 y)

수학식 3 내지 수학식 5, 및 수학식 6 내지 수학식 8은, 일부 수학식 결과가 동일한 수학식의 일부에서 사용된 값들을 교체하기 때문에, 특정된 순서로 수행된다.

수학식 3 내지 수학식 8은 도 14b에 도시한 바와 같이 그래픽적으로 표시될 수 있다. 도 14b에서는 상-하(top-down) 행 번호붙이기 규약을 사용하였다. 도 14b는 임의의 주어진 2×2 픽셀 그룹화(그룹화 내의 제1 픽셀이 짝수 행과 짝수 열 둘 다에 있는 총 4개의 픽셀)에 있어서, 시스템은 압축풀기된(그러나 전치 역다중화된) 픽셀 성분들을 수평으로 평균화하고, 하나의 평균을 제1 열에 두고 다른 평균을 제2 열에 둔다. 제2 단계로서 상기 Cb 및 Cr 성분 평균화 및 재배열을 수행하는 대신에, 수학식 3 내지 수학식 8의 동작은 mux(x,y) 다중화 계산에 통합될 수 있다.

역다중화 단계는 수평축 신장 스케일링을 수행하고, 이때 전치 역다중화(pre-demultiplex) 픽셀 폭은 w/2이고, 후치 역다중화(post-demultiplex) 픽셀 폭은 w이다. 역다중화를 수행하기 바로 전에, 시스템은 전술한 바와 같이 픽셀의 Cb 및 Cr 성분의 평균화 및 재배열을 수행한다. 이 평균화 및 재배열은 다중화의 끝에서 수행된 평균화 및 재배열의 역이고, 불완전한 평균값을 산출하지만, 하나의 행을 단순히 복제하고 그 행을 역다중화 중에 제거하는 것보다는 양호하다. 다시, 수평으로부터 수직으로 다중화 단계 재배열 처리는 도 13b에 그래픽적으로 도시되어 있고, 역다중화 단계 재배열 처리는 도 14b에 그래픽적으로 도시되어 있다. 임의의 주어진 2×2 픽셀 그룹화(그룹화 내의 제1 픽셀이 짝수 행과 짝수 열 둘 다에 있는 총 4개의 픽셀)를 위하여, 도 13b와 도 14b는 상-하 행 번호붙이기 규약을 사용한다. 도 14b에 있어서, 만일 다중화와 역다중화 사이에 압축이 발생하지 않았으면, 및/또는 만일 Cb 및 Cr 데이터만이 반 해상도에 도달하였으면, 픽셀 성분 W와 X는 픽셀 성분 Y와 Z처럼 서로 동일할 수 있다. 이 경우에, 평균화는 필요없다. 일부 구현예에 있어서, W는 X와 다를 수 있고, Y는 Z와 다를 수 있다. 만일 그러한 차이가 있으면, 데이터는 평균화된다.

수학식 3 내지 수학식 8의 공식들은 4:2:2 포맷팅으로부터 데이터를 제거한다. 결과적인 픽셀 성분은 각 픽셀의 3개의 성분 각각에 대하여 별개의 값을 갖고, 이 별개의 값들이 역다중화의 다음 단계에서 사용된다.

주요 역다중화 기능은 비록 2개의 처리를 통합할 수 있다 하더라도 상기 평균화 및 재배열화와는 별도의 동작이다.

각 출력(후치 역다중화) 열은 4개의 입력(전치 역다중화) 열로부터 추출된다. 임의의 주어진 짝수 열(제1 열은 0으로 번호 붙여짐) 출력 픽셀(x,y)에 대하여, 알고리즘은 입력 픽셀 (x/2-2, y) 내지 (x/2+1, y)를 사용한다. 임의의 주어진 홀수 열 출력 픽셀(x,y)에 대하여, 알고리즘은 입력 픽셀 ((x-1)/2-1, y) 내지 ((x-1)/2+2, y)를 사용한다. 사용되는 공식은 다음과 같다.

짝수 번호 열(0으로 번호붙여진 제1 열을 포함함)에 대하여:

[수학식 9]

demux(x,y) = -0.0432 * in(x/2-2, y) + 0.2311 * in(x/2-1, y) + 0.9951 * in(x/2, y) - 0.1830 * in(x/2+1, y)

홀수 번호 열에 대하여:

[수학식 10]

demux(x,y) = -0.1830 * in((x-1)/2-1, y) + 0.9951 * in((x-1)/2, y) + 0.2311 * in((x-1)/2+1, y) + 0.0432 * in((x-1)/2+2, y)

다중화/스테레오플렉싱과 마찬가지로, 계산된 출력 픽셀 성분 값은 허용가능한 범위를 벗어날 수 있다. 너무 낮은 값은 최소값으로 할당되고, 너무 높은 값은 최대값으로 할당된다. 또한, 경계 비트맵 문제가 있을 수 있다. 최좌측 및 최우측의 2개의 출력 열은 전형적으로 일부 입력 열에서 누락될 것이고, 계산은 그 열에 대해 조정될 필요가 있을 수 있다.

전체적인 품질은 작은 다중화/스테레오플렉싱 변화보다는 역다중화 계산에 대한 작은 변화에 의해 더 영향을 받는 경향이 있다. 따라서, 더 단순한 다중화 계산(더 적은 입력 열을 사용하는 것)은 거칠고 더 복잡한 계산으로 작용할 수 있고, 그러한 제안은 역다중화 계산에서 덜 충실하다.

상기 역다중화 공식은 영상의 보여짐을 개선할 수 있는 적당한 선명화 필터를 포함한다. 다중화/역다중화 처리는 영상을 부드럽게 하는 경향이 있고, 선명화 필터는 그러한 효과를 저지하는데 도움을 준다. 수학식 9와 수학식 10의 선명화없는 버젼에 있어서, 사용되는 값은 -0.0432 대신에 -0.0357, 0.2311 대신에 0.2625, 0.9951 대신에 0.8795, 및 -0.1830 대신에 -0.1063일 수 있다.

대안적으로, 가변 스케일링 알고리즘을 사용할 수 있고, 이 경우 수직 압축은 모서리 부근에서 더 극심하고, 더 높은 품질은 중간 장면(mid-scene) 부근에서 나타난다. 이것은 많은 경우에 영상의 인식되는 전체 품질을 개선할 수 있다. 유사한 계산을 사용할 수 있다.

[수학식 11]

결과 = n1 *in(xIn-3, y) + n2 *in(xIn-2, y) + n3 *in(xIn-1, y) + n4 *in(xIn, y) + n5 *in(xIn+1, y) + n6 *in(xIn+2, y) + n7 *in(xIn+3, y) + n8 *in(xIn+4, y)

상기 식에서 "결과"는 픽셀 x,y에 관한 값을 나타내고, n[x]는 계수를 나타내며, In은 수신된 입력 픽셀을 나타낸다.

계산 또는, 더 구체적으로, 수학식 11에서 사용된 곱셈 인수 n1 내지 n8은 행마다의 기초(per-row basis)로 변할 수 있다. 이러한 구현예는 일반적으로 원래 프레임 범위의 다른 부분에 대하여 스케일링 값을 사용한다. 스케일링 인수 또는 곱셈 인수는 최적화될 수 있고, 스케일링은 결과적인 분수-픽셀 옵셋 효과가 없이 수행될 수 있다. 다른 크기의 가변 선명화는 상황에 따라서 역다중화에 포함될 수 있다.

본 발명의 일반적 개관은 도 15에 제시되어 있다. 도 15에서, 스테레오 쌍(1500)은 포인트 1501에서 필요에 따라 예를 들면 병행식 또는 상하식 포맷으로 다중화 및 가변 스케일된다. 이러한 다중화는 도 13a, 13b, 14a 및 14b에서처럼 수평-수직 조작과 같은 데이터 조작을 이용하여 발생할 수 있다. 픽셀 색도 성분은 포인트 1502에서 재배열될 수 있고, 여기에서 색도 재배열은 위에서 말한 YUV 4:2:2 기술을 말하는 것이다. 도 15에서 점선으로 표시한 요소들은 선택적인 성분 및/또는 기능을 표시한다. 데이터는 포인트 1503에서 프리커서 포맷으로 결합될 수 있고, 데이터는 압축 블록을 이용하여 압축될 수 있다(1504). 그 결과, 공통 전송 채널을 통하여 전송가능한, 즉 사실상 다른 위치 또는 기능 엔티티에 전송되는 단일 프레임(1550)이 생성된다. 데이터는 포인트 1505에서 압축풀기될 수 있고, 이것은 전형적으로 원격 위치 또는 기능 엔티티에서 행하여진다.

포인트 1506은 데이터가 프리커서 포맷으로부터 추출될 수 있음을 표시하고, 픽셀 색도 성분은 포인트 1507에서 역다중화기 측에서 재배열될 수 있다. 역다중화기는 수신된 프레임(1550)을 스테레오 쌍(1500')으로 역다중화하고(1508), 전형적으로 수신된 프레임(1550)으로부터의 복수의 픽셀을 이용하여 역다중화 스테레오 쌍 내의 각 픽셀의 값 및 외관(appearance)을 결정한다. 선명화는 포인트 1509에서 발생한다. 계산은 주변 상황 및/또는 선명화에 의해 지시될 수 있는 특정 인수 또는 다른 소망하는 성능 계량을 이용하여, 역다중화시에 여기에서 설명한 대로 수행될 수 있다.

본 발명의 다중화/역다중화 기능에 따라서 수행하는 고도로 단순화한 설계 버젼은 도 16에 도시하였다. 도 16에서, 다중화기/스테레오플렉서(1601)는 스테레오 쌍을 수신하여 그 스테레오 쌍을 여기에서 설명한 기능에 의해 단일 프레임으로 변환한다. 단일 프레임은 다중화기/스테레오플렉서(1601)로부터 다중화기/스테레오플렉서(1601)와 다른 위치 또는 동일한 위치에 있을 수 있는 역다중화기(1602)로 전송된다. 단일 프레임은, 비제한적인 예를 들자면, 무선 송신, 유선 송신, 단일 프레임을 물리적 디스크에 배치하는 것 및 디스크를 역다중화기(1602)에 전송하는 것 등을 포함하는 임의의 전통적인 수단에 의해 전송될 수 있다.

도 15 및 도 16에서 용어 "스테레오 쌍" 및 "단일 프레임"이 사용되고 있지만, 이것은 동영상이 복수의 스테레오 쌍을 포함하는 경우에 수 개의 스테레오 쌍 및 수 개의 프레임을 표시할 수 있는 것으로 이해하여야 한다. 전술한 바와 같이, 다중 프레임 스테레오스코픽 동영상의 각 스테레오 쌍은 다중화/스테레오플렉싱 처리를 받아서 복수의 "단일 프레임"을 생성하고, 단일 프레임들은 그 다음에 역다중화기에서 재생이 가능한 복수의 스테레오 프레임으로 결합되거나 동영상을 형성하도록 결합될 수 있다.

따라서, 본 발명은 다수의 부분으로 나누어진 단일 프레임의 스트림을 역다중화하는 방법을 포함하고, 각 단일 프레임은 하나의 스테레오스코픽 영상 프레임을 나타냄과 아울러 제1 부분에서 하나의 우측 영상을 내포하고 제2 부분에서 하나의 좌측 영상을 내포하며, 각 부분은 압축 기능을 이용하여 압축된다. 상기 방법은 복수의 부분으로 나누어지고 하나의 스테레오스코픽 영상 프레임을 각각 나타내는 단일 프레임의 스트림을 수신하는 단계와, 적어도 하나의 부분에서 역압축 기능을 수행하는 단계를 포함하며, 상기 역압축 기능은 각 부분을 압축할 때 사용한 압축 기능의 실질적으로 반대인 방법으로 적어도 하나의 부분에서 픽셀들을 처리하는 것이다. 역압축 기능을 수행하는 것은 압축 기능을 이용하여 압축되기 전의 상태와 유사한 상태로 상기 부분을 실질적으로 복귀시켜서 투사용으로 구성된 스테레오 쌍의 일부를 형성하는 것이다.

대안적으로, 본 발명은 일련의 좌 압축 영상과 일련의 우 압축 영상을 포함한 압축 영상 데이터의 프레임을 역다중화하는 방법을 포함하는 것으로 생각될 수 있고, 상기 우 압축 영상과 좌 압축 영상은 압축 기능을 이용하여 압축된다. 상기 방법은 영상들을 단일 프레임 포맷으로 전송하도록 구성된 매체를 통하여 압축 영상 데이터의 프레임을 수신하는 단계와, 압축 영상 데이터의 프레임에 신장 기능을 수행하는 단계를 포함하고, 상기 신장 기능은 일련의 좌 압축 영상과 일련의 우 압축 영상으로부터 픽셀들을 선택하여 실질적으로 압축풀기된 스테레오 영상 쌍의 집합을 형성하는 교체 픽셀을 생성하도록 구성된다.

본 발명의 전체적이고 포괄적인 견지에 따라서, 본 발명은 스테레오스코픽 영상을 제공하도록 구성된 시스템을 포함한다. 이 시스템은 복수의 스테레오 쌍을 수신하고, 상기 스테레오 쌍을 압축하여 압축 부분을 생성하며, 상기 압축 부분을 결합하여 복수의 스테레오 쌍을 나타내는 일련의 단일 프레임을 생성하도록 구성된 다중화기와; 영상 데이터의 단일 프레임을 전송하도록 구성되고 일련의 단일 프레임을 수신하도록 구성된 전송 매체와; 전송 매체로부터 일련의 프레임을 수신하고 일련의 단일 프레임을 압축풀기하여 복수의 재구성된 스테레오 쌍을 생성하도록 구성된 역다중화기를 포함한다.

원래의 비압축 우측 영상 및 좌측 영상으로부터의 지그재그화, 교호화, 필터링, 가변 스케일링 및 선명화 등의 다중화 처리는 단독으로 또는 결합하여 사용할 수 있고, 비압축 영상으로부터의 선택된 또는 미리 정해진 영역 또는 세그멘트는 다른 영역보다 더 많은 픽셀들이 제거 또는 결합되며, 또는 그렇지 않은 경우에는 다른 영역과는 다른 품질 레벨로 압축된다.

여기에서 제시한 다중화 및 역다중화 설계 및 도시된 특정의 태양은 제한하는 의도가 없고, 본 발명의 기술 및 이익을 내포하는 다른 성분들을 포함할 수 있다. 따라서, 비록 본 발명이 특정 실시예와 관련하여 설명되었지만, 본 발명은 다른 수정예가 가능하다는 것을 이해하여야 한다. 이 출원은 일반적으로 본 발명의 원리에 따르는 발명의 임의의 변형예, 용도 또는 개작물을 커버하는 것으로 의도되고, 이 명세서에서 설명되지는 않았지만 본 발명이 속하는 기술 분야에서 공지되어 관습적으로 실시되고 있는 다른 수정예도 포함하는 것으로 의도된다.

특정 실시예에 대한 상기 설명은 본 발명의 일반적인 특질을 충분히 드러내고 있고, 일반적인 개념으로부터 벗어나지 않고 각종 응용을 위해 시스템 및 방법을 현재의 지식을 적용함으로써 쉽게 수정 및/또는 개작할 수 있을 것이다. 그러므로, 그러한 개작물 및 수정물은 여기에서 설명한 실시예의 등가물의 의미 및 범위 내에 있는 것으로 한다. 여기에서 사용한 어구 및 용어는 설명을 위한 것이지 제한하기 위한 것이 아니다.

1601: 다중화기/스테레오플렉서, 1602: 역다중화기

Claims (27)

1. 다중화된(multiplexed) 영상 프레임을 역다중화(demultiplexing)하는 방법으로서, 상기 다중화된 영상 프레임은 제1 영상 종횡비(aspect ratio)를 정의하는 프리커서(precursor) 포맷을 갖도록 구성되고, 상기 다중화된 영상 프레임의 프리커서 포맷은 상기 다중화된 영상 프레임의 제1 부분에서의 우측 영상 및 상기 다중화된 영상 프레임의 제2 부분에서의 좌측 영상을 포함하고, 상기 우측 영상 또는 상기 좌측 영상 중 적어도 하나의 영상은 복수의 블록들로 나누어지며, 상기 복수의 블록들은 상기 다중화된 영상 프레임의 각 부분 내에 맞추기(fit) 위해 재배열되고, 상기 우측 영상 또는 상기 좌측 영상 중 적어도 하나의 영상은 상기 제1 영상 종횡비와 동일한 제2 영상 종횡비로 다운스케일링되는 것인, 상기 다중화된 영상 프레임을 역다중화하는 방법에 있어서,
   상기 다중화된 영상 프레임을 수신하는 단계;
   상기 다중화된 영상 프레임에서 상기 우측 영상 또는 상기 좌측 영상 중 하나의 영상에 대한 제1 역다중화된 영상를 생성하는 단계로서, 상기 복수의 블록들을 역재배열하고, 역다중화된 우측 영상 또는 역다중화된 좌측 영상 중 적어도 하나의 역다중화된 영상을 형성하기 위해 상기 역재배열된 복수의 블록들을 결합하는 단계를 포함하는, 상기 제1 역다중화된 영상 생성 단계; 및
   상기 다중화된 영상 프레임에서 상기 우측 영상 또는 상기 좌측 영상 중 다른 하나의 영상에 대한 제2 역다중화된 영상를 생성하는 단계
   를 포함하는 다중화된 영상 프레임을 역다중화하는 방법.
2. 제1항에 있어서,
   상기 우측 영상 또는 상기 좌측 영상 중 적어도 하나의 영상은 상기 좌측 영상 또는 상기 우측 영상의 모서리 부분보다 중간 부분에서 더 적은 양으로 다운스케일링되고,
   상기 방법은 적어도 하나의 다운스케일링된 우측 영상 또는 좌측 영상의 중간 부분에서 덜 역스케일링하는 단계를 더 포함하는 것인, 다중화된 영상 프레임을 역다중화하는 방법.
3. 제1항에 있어서,
   상기 좌측 영상은 상기 우측 영상과 관련된 것인, 다중화된 영상 프레임을 역다중화하는 방법.
4. 제1항에 있어서,
   상기 다중화된 좌측 영상은 상기 영상 프레임의 절반부에 포함되고, 상기 다중화된 우측 영상은 상기 영상 프레임의 다른 절반부에 포함되는 것인, 다중화된 영상 프레임을 역다중화하는 방법.
5. 제1항에 있어서,
   상기 영상 프레임은 수직 경계선에 의해 상기 영상 프레임의 제1측 상의 상기 다중화된 우측 영상 및 상기 영상 프레임의 제2측 상의 상기 다중화된 좌측 영상으로 나누어지는 것인, 다중화된 영상 프레임을 역다중화하는 방법.
6. 제1항에 있어서,
   상기 제1 또는 제2 역다중화된 영상을 생성하는 단계는,
   상기 다중화된 프레임에서 상기 좌측 또는 우측 영상의 복수의 소스 픽셀들에 기초하여 상기 제1 또는 제2 역다중화된 영상의 복수의 출력 픽셀들을 계산하는 단계를 더 포함하는 것인, 다중화된 영상 프레임을 역다중화하는 방법.
7. 제6항에 있어서,
   상기 계산하는 단계는 상기 복수의 소스 픽셀들의 위치들에 기초하여 일련의 가중 인수들을 사용하는(employing) 단계를 포함하고, 상기 일련의 가중 인수들을 적어도 2개의 상이한 가중 인수들을 포함하는 것인, 다중화된 영상 프레임을 역다중화하는 방법.
8. 제1항에 있어서,
   역-가변적으로 적용되는 바이큐빅(bicubic) 스케일링;
   역-가변 선명화(sharpening);
   역-비가변적으로 적용되는 바이큐빅 스케일링; 및
   역-비가변 선명화를 포함하는 그룹에서 적어도 하나로부터 선택되는 프로세스를, 상기 다중화된 프레임에서의 상기 좌측 영상 및 상기 우측 영상에 적용하는 단계를 더 포함하는 다중화된 영상 프레임을 역다중화하는 방법.
9. 삭제
10. 부분들로 나누어진 다중화된 프레임을 역다중화하는 방법으로서, 상기 다중화된 프레임은 상기 다중화된 프레임의 2개의 제1 부분들에서 2개의 우측 영상들 및 상기 다중화된 프레임의 2개의 제2 부분들에서 2개의 좌측 영상들 포함하고, 상기 2개의 우측 영상들은 동일한 스테레오스코픽 영상 소스 데이터로부터 생성되고, 상기 2개의 좌측 영상들은 동일한 스테레오스코픽 영상 소스 데이터로부터 생성되는 것인, 상기 다중화된 프레임을 역다중화하는 방법에 있어서,
    상기 다중화된 프레임을 수신하는 단계;
    상기 다중화된 프레임의 상기 2개의 제1 부분들에서의 상기 2개의 우측 영상들로부터 역다중화된 우측 영상을 생성하는 단계; 및
    상기 다중화된 프레임의 상기 2개의 제2 부분들에서의 상기 2개의 좌측 영상들로부터 역다중화된 좌측 영상을 생성하는 단계
    를 포함하는 다중화된 프레임을 역다중화하는 방법.
11. 제10항에 있어서,
    상기 다중화된 프레임에서의 상기 2개의 좌측 영상들은 상기 다중화된 프레임에서의 상기 2개의 우측 영상들과 관련된 것인, 다중화된 프레임을 역다중화하는 방법.
12. 제10항에 있어서,
    상기 부분들은 상기 다중화된 프레임내에 포함되고,
    각각의 좌측 영상은 상기 다중화된 프레임의 사분의 일에 포함되고, 각각의 우측 영상은 상기 다중화된 프레임의 사분의 일에 포함되는 것인, 다중화된 프레임을 역다중화하는 방법.
13. 제10항에 있어서,
    각각의 좌측 영상은 처리되지 않은 좌측 영상에 기초한 것이고, 각각의 우측 영상은 처리되지 않은 우측 영상에 기초한 것이며,
    각각의 우측 영상은, 각각의 다른 우측 영상을 만드는데 사용되는 처리(processing)와 상이한 프로세스를 사용하여, 관련된 처리되지 않은 우측 영상으로부터 만들어지고,
    각각의 좌측 영상은, 각각의 다른 좌측 영상을 만드는데 사용되는 처리와 상이한 프로세스를 사용하여, 관련된 처리되지 않은 좌측 영상으로부터 만들어지는 것이, 다중화된 프레임을 역다중화하는 방법.
14. 제10항에 있어서,
    상기 역다중화된 우측 영상을 생성하는 단계 또는 상기 역다중화된 좌측 영상을 생성하는 단계는,
    상기 다중화된 프레임에서 상기 2개의 우측 영상들 중 하나의 우측 영상 또는 상기 2개의 좌측 영상들 중 하나의 좌측 영상의 복수의 소스 픽셀들에 기초하여, 상기 역다중화된 우측 영상 또는 역다중화된 좌측 영상의 복수의 출력 픽셀들을 계산하는 단계를 더 포함하는 것인, 다중화된 프레임을 역다중화하는 방법.
15. 제14항에 있어서,
    상기 계산하는 단계는 상기 복수의 소스 픽셀들의 위치들에 기초하여 일련의 가중 인수들을 사용하는 단계를 포함하고,
    상기 일련의 가중 인수들을 적어도 2개의 상이한 가중 인수들을 포함하는 것인, 다중화된 프레임을 역다중화하는 방법.
16. 제10항에 있어서,
    역-가변적으로 적용되는 바이큐빅(bicubic) 스케일링;
    역-가변 선명화(sharpening);
    역-비가변적으로 적용되는 바이큐빅 스케일링; 및
    역-비가변 선명화를 포함하는 그룹에서 적어도 하나로부터 선택되는 프로세스를, 상기 다중화된 프레임에서의 상기 2개의 좌측 영상들 중 하나의 좌측 영상 및 상기 2개의 우측 영상들 중 하나의 우측 영상에 적용하는 단계를 더 포함하는 다중화된 프레임을 역다중화하는 방법.
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제

Images