KR20140044332A - 스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들 - Google Patents

Abstract

합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 시스템(101)을 생성하기 위한 방법이 설명되며, 상기 합성 이미지들(C)은 우측 이미지(R) 및 좌측 이미지(L)에 관한 정보를 포함하고, 상기 우측 이미지(R)의 픽셀들 및 상기 좌측 이미지(L)의 픽셀들이 선택되고, 상기 선택된 픽셀들은 상기 스테레오스코픽 비디오 시스템의 합성 이미지(C)에 도입된다. 상기 우측 이미지(R)의 모든 픽셀들 및 상기 좌측 이미지들(L)의 모든 픽셀들은, 상기 2개의 이미지들 중 하나를 변화되지 않은 채로 남기고, 그리고 상기 2개의 이미지들 중 다른 하나를 복수의 픽셀들을 포함하고 2개의 영역들(R1, R2)을 상기 합성 이미지(C)로 도입하는 상기 2개의 영역들(R1, R2)로 분해함으로써, 상기 합성 이미지(C) 내의 상이한 위치들로 도입된다.

Description

스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들{METHOD FOR GENERATING, TRANSMITTING AND RECEIVING STEREOSCOPIC IMAGES, AND RELATED DEVICES}

본 발명은, 가시화 디바이스(visualization device)에서 적절하게 프로세싱될 때, 관찰자에 의해 3-차원으로 인식되는 이미지들의 시퀀스들을 생성하는 스테레오스코픽 비디오 스트림들, 즉, 비디오 스트림들의 생성, 저장, 송신, 수신 및 재생에 관한 것이다.

알려진 바와 같이, 3-차원의 인식은 2개의 이미지들, 관찰자의 우안을 위한 하나의 이미지 및 관찰자의 좌안을 위한 다른 하나의 이미지를 재생함으로써 획득될 수 있다.

따라서, 스테레오스코픽 비디오 스트림은 오브젝트 또는 장면의 우측 및 좌측 시점들에 대응하는 2개의 시퀀스들의 이미지들에 관한 정보를 전송한다.

특히, 본 발명은 이하에서 또한 컨테이너 프레임으로 지칭되는 스테레오스코픽 비디오 스트림의 프레임을 나타내는 합성 이미지 내의 우측 및 좌측 시점들(이하, 우측 이미지 및 좌측 이미지로 지칭됨)의 2개의 이미지들을 멀티플렉싱하기 위한 방법 및 디바이스에 관한 것이다.

게다가, 본 발명은 또한 상기 합성 이미지를 디-멀티플렉싱하기 위한, 즉 멀티플렉싱 디바이스에 의해 도입되는 우측 및 좌측 이미지들을 그로부터 추출하기 위한 방법 및 디바이스에 관한 것이다.

종래 기술

스테레오스코픽 비디오 스트림을 송신하도록 요구되는 대역폭을 감소시키기 위해, 우측 및 좌측 이미지들을 스테레오스코픽 비디오 스트림의 단일 합성 이미지로 멀티플렉싱하는 것은 당업계에 잘 알려져 있다.

제 1 예시는, 우측 이미지 및 좌측 이미지가 수평으로 서브-샘플링되고 스테레오스코픽 비디오 스트림의 동일한 프레임에서 나란히 배열되는, 소위 병립형(side-by-side) 멀티플렉싱이다.

이러한 유형의 멀티플렉싱은, 수직 해상도가 변함없이 유지되는 동안 수평 해상도는 반할되는(halved) 결점을 갖는다.

다른 예시는, 우측 이미지 및 좌측 이미지가 수직으로 서브-샘플링되고 스테레오스코픽 비디오 스트림의 동일 프레임 내에서 하나가 다른 하나 위에 차례로 쌓아지게 배열되는, 소위 상하형(top-bottom) 멀티플렉싱이다.

이러한 유형의 멀티플렉싱은, 수평 해상도가 변함없이 유지되는 동안 수직 해상도는 반할되는 결점을 갖는다.

또한, 예를 들어, 특허 출원 제WO03/088682호에 개시되는 방법과 같은 다른 더욱 정교한 방법들이 존재한다. 이 출원은 우측 및 좌측 이미지들을 구성하는 픽셀들의 수를 감소시키기(decimate) 위한 체스보드 샘플링의 이용을 설명한다. 우측 및 좌측 이미지들의 프레임들에 선택된 픽셀들은 병립형 포맷으로 "기하학적으로" 압축된다(각각의 픽셀들을 제거함으로써 컬럼 1에 생성된 블랭크들은 컬럼 2의 픽셀들로 채워지는 식이다). 스크린에 이미지를 나타내기 위한 디코딩 단계 동안, 우측 및 좌측 이미지들의 프레임들은 그 오리지널 포맷으로 다시 되살려지고, 미싱 픽셀들(missing pixels)은 적당한 보간 기법들을 적용함으로써 복원된다. 이 방법은 수평 해상도와 수직 해상도 사이의 비율이 일정하게 유지되게 하지만, 그러나 이 방법은 대각 해상도를 저하시키고 또한 다른 점에서 부재일 수 있는 고주파 공간 스펙트럼 성분들을 도입함으로써 이미지의 픽셀들 사이의 상관을 변경시킨다. 이는 압축 비디오 스트림의 비트-레이트를 또한 증가시키면서 후속하는 압축 단계(예컨대, MPEG2 또는 MPEG4 또는 H.264 압축)의 효율을 감소시킬 수 있다.

우측 및 좌측 이미지들을 멀티플렉싱하기 위한 추가적인 방법들은 특허 출원 WO2008/153863에서 알려져 있다.

이러한 방법들 중 하나는 우측 및 좌측 이미지들의 70% 스케일링을 실행하는 것에 대비하고; 이에 따라, 스케일링된 이미지들은 8×8 픽셀들의 블록들로 분해된다.

각각의 스케일링된 이미지의 블록들은 합성 이미지를 대략적으로 반할하기 위해 동일한 영역으로 콤팩트(compacte)될 수 있다.

이 방법은, 블록들의 재분배(redistribution)가 고주파 공간 성분들을 도입함으로써 이미지를 구성하는 블록들 사이에서 공간 상관을 변형하여 이에 의해 압축 효율을 감소시키는 결점을 갖는다.

또한, 다수의 블록들로의 각각의 이미지의 분할 및 스케일링 동작은 높은 계산 비용을 수반하고, 이에 따라 멀티플렉싱 및 디-멀티플렉싱 디바이스들의 복잡도를 증가시킨다.

이러한 방법들 중 다른 방법은, 오리지널 이미지가 평행사변형으로 변형되도록, 각각의 우측 및 좌측 이미지로 사선척(diagonal scaling)을 적용한다. 이에 따라, 이 2개의 평행사변형들은 삼각형 영역들로 분해되고, 직사각형 합성 이미지가 구성되며, 여기서 2개의 평행사변형들을 분해함으로써 획득된 삼각형 영역들은 재편성되고 재배열된다. 우측 및 좌측 이미지들의 삼각형 영역들은, 이들이 합성 이미지의 대각선에 의해 분리되는 방식으로 구조화된다.

상하형 및 병립형 솔루션들과 유사하게, 이 솔루션은 또한 수평 해상도와 수직 해상도 사이의 비율(균형)을 변경하는 결점을 갖는다. 또한, 스테레오스코픽 프레임 내에 재배열된 수많은 삼각형 영역들로의 세부분할은, 통신 채널을 통한 송신 이전에, 후속하는 압축 단계(예컨대, MPEG2, MPEG4 또는 H.264)가 삼각형 영역들 사이의 바운더리 영역들에서 아티팩트들을 발생시키도록 야기한다. 상기 아티팩트들은, 예를 들어, H.264 표준에 따라서 압축 프로세스에 의해 수행된 모션 추정 절차에 의해 생성될 수 있다.

이 솔루션의 추가적인 결점은 우측 및 좌측 이미지들을 스케일링하기 위한 동작들에 의해, 그리고 삼각형 영역들을 분할하고 회전병진(rototranslating)하기 위한 이하의 동작들에 의해 요구되는 계산 복잡도에 관련된다.

본 출원인은, 출원된 청구항 1에 정의된 것과 같이, 합성 이미지들을 포함하는 스테레오스코픽 비디오 스트림을 생성하기 위한 방법을 개시하는 국제 특허 출원 PCT/IB2010/055918을 출원하였으며, 상기 합성 이미지들은 우측 이미지 및 좌측 이미지에 관한 정보를 포함하고, 상기 우측 이미지의 픽셀들 및 상기 좌측 이미지의 픽셀들이 선택되며, 상기 선택된 픽셀들은 상기 스테레오스코픽 비디오 스트림의 합성 이미지로 도입되고, 상기 방법은 상기 우측 이미지의 모든 픽셀들 및 상기 좌측 이미지의 모든 픽셀들이, 상기 2개의 이미지들 중 하나를 변화되지 않은 채로 남기고, 그리고 상기 2개의 이미지들 중 다른 하나를 복수의 픽셀들을 포함하고 3개의 영역들을 상기 합성 이미지로 도입하는 상기 3개의 영역들로 분해함으로써, 상기 합성 이미지로 도입하는 것을 특징으로 한다.

상기 방법은 3개의 직사각형 영역들로의 다른 이미지의 세부분할, 및 합성 이미지 내에서 상기 3개 영역들을 배열하는 방법에 관한 것이다.

그러나, 앞서 설명된 방법은 주로 이하의 문제들로 인한 개선책들의 여지를 남긴다.

영역들의 수가 감소될 수 있으면, 인코딩 측 및 디코딩 측 모두에서 필요로 하는 계산 리소스들을 감소시키도록 허용할 수 있다. 게다가, 압축 기법들에 의해 도입된 아티팩트들이 내부 바운더리들을 따라서 주로 집중되기 때문에, 이러한 내부 바운더리들의 길이가 감소될 수 있으면, 특히 높은 압축 레이트의 경우에 복원된 픽쳐의 품질 저하도 또한 감소될 수 있다.

본 발명의 목적은 종래 기술의 결점들을 극복하도록 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하고 디멀티플렉싱하기 위한 멀티플렉싱 방법 및 디멀티플렉싱 방법(뿐만 아니라 관련 디바이스들)을 제공하는 것이다.

특히, 본 발명의 일 목적은 수평 해상도와 수직 해상도 사이의 균형을 보존하도록 허용하는, 우측 및 좌측 이미지들을 멀티플렉싱하고 디-멀티플렉싱하기 위한 멀티플렉싱 방법 및 디-멀티플렉싱 방법(및 관련 디바이스들)을 제공하는 것이다.

본 발명의 다른 목적은 왜곡들 또는 아티팩트들의 발생을 최소화하면서 후속하여 적용될 높은 압축 레이트를 허용하는 우측 및 좌측 이미지들을 멀티플렉싱하기 위한 멀티플렉싱 방법(및 관려 디바이스)를 제공하는 것이다.

본 발명의 추가 목적은 감소된 계산 비용에 의해 특징지어진 멀티플렉싱 방법 및 디멀티플렉싱 방법(및 관련 디바이스들)을 제공하는 것이다.

본 발명의 추가 목적은 재어셈블링된 이미지 내에서 이미지 품질의 악화 및 미량의 아티팩트들에 의해 특징지어진 멀티플렉싱 방법 및 디-멀티플렉싱 방법(및 관련 디바이스들)을 제공하는 것이다.

본 발명의 이러한 오브젝트들 및 다른 오브젝트들은, 본 설명의 구성부(integral part)로서 의도된, 첨부된 청구항에서 시작된 특징들을 포함하는 우측 및 좌측 이미지들을 멀티플렉싱 및 디멀티플렉싱을 위한 멀티플렉싱 방법 및 디-멀티플렉싱 방법(및 관련 디바이스들)을 통해서 달성된다.

본 발명의 기초에서 개념은 2개의 이미지들을 합성 이미지로 도입시키는 것이며, 그 합성 이미지의 픽셀들의 수는 멀티플렉싱될 2개의 이미지들, 예컨대, 우측 이미지 및 좌측 이미지의 픽셀들의 합계보다 크거나 또는 그와 동일하다.

제 1 이미지(예컨대, 좌측 이미지)의 픽셀들은 임의의 변화들을 겪지 않고 합성 이미지들로 도입되는 반면에, 제 2 이미지는 그 픽셀들이 합성 이미지의 프리 영역들로 배열되는 2개의 영역들로 세부분할된다.

이 솔루션은, 2개의 이미지들 중 하나를 변화되지 않은 채로 남기고, 복원된 이미지의 더 나은 품질을 초래하는 이점을 제안한다.

제 2 이미지는 픽셀들 사이에서 공간 상관을 최대화하도록 그리고 압축 단계 동안 아티팩트들의 발생을 감소시키기 위해 2개의 영역들로 분해된다.

2개의 스테레오스코픽 이미지들 중 하나를 3개의 영역들로 세부분할하는 것은, 대부분의 기존의 디코더들이 적절한 리소스들의 부족으로 인해 애드 혹 기능들의 추가 없이 이미지를 복원하는 것을 방지하고; 세부분할을 2개의 영역들로 감소시키는 것은 이미지를 재어셈블링하기 위해 픽쳐-인-픽쳐(PIP) 기능을 갖는 기존의 디코더들이 이를 이용하도록 할 수 있어서, 이에 따라 현재의 디코더들에서 본 발명을 구현하는데 필요한 소프트웨어 변화의 양을 감소시킨다.

본 발명의 특정 목적은 합성 이미지들을 포함하는 스테레오스코픽 비디오 스트림을 생성하기 위한 방법이며, 상기 합성 이미지들은 우측 이미지 및 좌측 이미지에 관한 정보를 포함하고, 상기 우측 이미지(R)의 픽셀들 및 상기 좌측 이미지의 픽셀들이 선택되고, 상기 선택된 픽셀들은 상기 스테레오스코픽 비디오 스트림의 합성 이미지로 도입되고, 이 방법은, 상기 우측 이미지의 모든 픽셀들 및 상기 좌측 이미지의 모든 픽셀들이 상기 2개의 이미지들 중 하나를 변화되지 않은 채로 남기고, 그리고 상기 2개의 이미지들 중 다른 하나를 복수의 픽셀들을 포함하고 2개의 영역들을 상기 합성 이미지로 도입하는 상기 2개의 영역들(R1, R2)로 분해함으로써, 상기 합성 이미지 내의 상이한 위치들로 도입되는 것을 특징으로 한다.

본 발명의 추가 목적들은 합성 이미지에서 시작함으로써 한 쌍의 이미지들을 복원하기 위한 방법, 합성 이미지들을 생성하기 위한 디바이스, 합성 이미지에서 시작하는 한 쌍의 이미지들을 복원하기 위한 디바이스, 및 스테레오스코픽 비디오 스트림이다.

본 발명의 추가적인 목적들 및 이점들은, 제한하지 않는 예시에 의해 제공되는, 그 몇몇 실시예들의 이하의 설명으로부터 더욱 명백하게 될 것이다.

상기 실시예들은 첨부된 도면들을 참조하여 설명될 것이다.
도 1은 우측 이미지 및 좌측 이미지를 합성 이미지로 멀티플렉싱하기 위한 디바이스의 블록도이다.
도 2는 도 1의 디바이스에 의해 실행된 방법의 플로우차트이다.
도 3은 본 발명의 일 실시예에 따라서 합성 이미지를 구성하는 제 1 단계이다.
도 4는 합성 이미지로 도입될 이미지의 디스어셈블리(disassembly)의 제 1 형태를 도시한다.
도 5a 및 도 5b는 도 4의 이미지를 포함하는 합성 이미지의 제 1 및 제 2 형태를 도시한다.
도 6은 합성 이미지로 도입될 이미지의 디스어셈블리의 제 2 형태를 도시한다.
도 7a 및 도 7b는 도 6의 이미지를 포함하는 합성 이미지의 제 1 및 제 2 형태를 도시한다.
도 8은 합성 이미지로 도입될 이미지의 디스어셈블리의 제 3 형태를 도시한다.
도 9a 및 도 9b는 도 8의 이미지를 포함하는 합성 이미지의 제 1 및 제 2 형태를 도시한다.
도 10은 합성 이미지로 도입될 이미지의 디스어셈블리의 제 4 형태를 도시한다.
도 11a 및 도 11b는 도 10의 이미지를 포함하는 합성 이미지의 제 1 및 제 2 형태를 도시한다.
도 12는 합성 이미지에서 반응될 디스어셈블리 이미지의 바운더리 영역을 도시한다.
도 13은 합성 이미지에서 도 12의 바운더리 영역을 위치시키기 위한 가능한 방법을 도시한다.
도 14는 도 12 및 도 13의 바운더리 영역의 어떤 서브-영역이 합성 이미지로부터 추출될 수 있는지 도시한다.
도 15는 도 14의 서브-영역이 재어셈블링 이후에 복원된 이미지에서 아티팩트들을 제거하기 위해 어셈블링된 이미지에 어떻게 겹쳐쓰여질 수 있는지 도시한다.
도 16은 본 발명의 방법에 따라서 생성된 합성 이미지를 수신하기 위한 수신기의 블록도를 도시한다.
도 17은 이전 도면들에서 도시된 임의의 형태에 따라서 합성 이미지에 포함된 좌측 및 우측 이미지들을 복원하는 몇몇 단계들을 도시한다.
적절한 곳에, 유사한 구조들, 컴포넌트들, 재료들 및/또는 엘리먼트들이 유사한 참조부호들로 명시된다.

도 1은 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 디바이스(100)의 블록도를 도시한다.

도 1에서, 디바이스(100)는 좌안(L) 및 우안(R) 각각에 의도된 2개의 시퀀스들의 이미지들(102 및 103), 예컨대, 2개의 비디오 스트림들을 수신한다.

디바이스(100)는 2개의 시퀀스들(102 및 103)의 2개의 이미지들을 멀티플렉싱하기 위한 방법을 구현하도록 허용한다.

우측 및 좌측 이미지들을 멀티플렉싱하기 위한 방법을 구현하기 위해, 디바이스(100)는 입력 이미지(도 1의 예시에서 우측 이미지)를 2개의 서브-이미지들(각각은 수신된 이미지의 하나의 영역에 대응함)로 분해하기 위한 디스어셈블러 모듈(104), 및 그 출력에 제공될, 수신된 이미지들의 픽셀들을 단일 합성 이미지로 도입할 수 있는 어셈블러 모듈(105)을 포함한다.

이제, 디바이스(100)에 의해 구현된 멀티플렉싱 방법의 일 예시는 도 2를 참조하여 설명될 것이다.

이 방법은 단계(200)에서 시작한다. 후속하여(단계 201), 도 3에 도시된 바와 같이, 2개의 입력 이미지들(우측 또는 좌측) 중 하나가 2개의 영역들로 분해된다. 도 3의 예시에서, 디스어셈블링된 이미지는 비디오 스트림(720p)의 프레임 R, 즉, 1280×720 픽셀들의 해상도를 갖는 프로그래시브 포맷(progressive format)이다.

도 3의 프레임 R은, 우안에 의도된 이미지들을 운반하는 비디오 스트림(103)으로부터 나오고, 2개의 영역들(R1 및 R2)로 디스어셈블링된다.

이미지 R의 디스어셈블리는 이를 2개의 부분으로 분해함으로써 획득된다.

직사각형 영역 R1은 640×360 픽셀들의 크기를 갖고, 처음 360개의 로우들의 처음 640개의 픽셀들을 취함으로써 획득된다. 영역 R2는 L-형상이고, 처음 360개 로우들의 641 내지 1280로부터의 픽셀들을 그리고 마지막 360개 로우들의 모든 픽셀들을 취함으로써 획득된다.

도 1의 예시에서, 이미지 R을 디스어셈블링하는 동작은, 입력 이미지 R(이 경우, 프레임 R)을 수신하고, 2개의 영역들 (R1, 및 R2)에 대응하는 2개의 서브-이미지들(즉, 2개 그룹들의 픽셀들)을 출력하는 모듈(104)에 의해 수행된다. 후속하여(단계들 202 및 203), 우측 및 좌측 입력 이미지들 모두에 속하는 정보를 포함하는 합성 이미지 (C)가 구성되고; 본원에 설명된 예시에서, 상기 합성 이미지(C)는 출력 스테레오스코픽 비디오 스트림의 프레임이고, 이에 따라 이는 또한 컨테이너 프레임(container frame)으로 지칭된다.

먼저(단계 202), 디바이스(100)에 의해 수신되고 디바이스(104)에 의해 디스어셈블리되지 않은 입력 이미지(도 1의 예시에서 좌측 이미지 L)는 입력 이미지들 모두의 픽셀들 모두를 포함하도록 하는 방식으로 크기가 정해진(sized) 컨테이너 프레임으로 변화되지 않은 채로 도입된다. 예를 들어, 입력 이미지들이 1280×720 픽셀들의 크기를 가지면, 모두에 포함하기에 적합한 컨테이너 프레임은 1920×1080 픽셀들의 프레임, 예를 들어, 1080p 유형의 비디오 스트림의 프레임(1920×1080 픽셀들을 갖는 프로그레시브 포맷)을 가질 것이다. 도 4의 예시에서, 좌측 이미지(L)는 컨테이너 프레임(C)으로 도입되고 상부 좌측 코너에 위치된다. 이는 이미지(L)의 1280×720 픽셀들을 컨테이너 프레임(C)의 처음 720개의 로우들의 처음 1280개의 픽셀들로 구성된 영역 CI으로 카피함으로써 획득된다.

이하의 상세한 설명에서, 이미지를 프레임으로 도입시키거나, 또는 하나의 프레임에서 다른 프레임으로 픽셀들을 전송하거나 또는 카피하는 것에 대한 참조가 행해질 때, 이는 소스 이미지와 동일한 픽셀들을 포함하는 새로운 프레임을 (하드웨어 및/또는 소프트웨어 수단을 이용함으로써) 발생시키는 절차를 실행하는 것을 의미한다는 것이 이해된다.

소스 이미지(또는 소스 이미지의 픽셀들의 그룹)을 타겟 이미지로 재생하기 위한 기법들(소프트웨어 및/또는 하드웨어)은 본 발명의 목적들에 대해 중요하지 않은 것으로 고려되고, 당업자들에게 이미 알려져 있기 때문에 본 명세서에서는 더 이상 논의되지 않을 것이다.

다음 단계(203)에서, 모듈(104)에 의해 단계(201)에서 디스어셈블링된 이미지는 컨테이너 프레임으로 도입된다. 이는, 이미지(L)에 의해 점유되지 않은 영역들, 즉, 영역 C1 외부에 있는 영역들의 컨테이너 프레임(C)으로 디스어셈블링된 이미지의 픽셀들을 카피함으로써 모듈(105)에 의해 달성된다.

최선의 가능한 압축을 이루고 비디오 스트림을 분해할 때 아티팩트들의 생성을 감소시키기 위해, 모듈(104)에 의해 출력된 서브-이미지들의 픽셀들은 각각의 공간 관계들을 보존함으로써 카피된다. 즉, 영역들(R1, 및 R2)은 임의의 변형을 겪지 않고 프레임(C)의 각각의 영역으로 카피된다.

모듈(105)에 의해 출력된 컨테이너 프레임(C)의 예시는 도 5a에 도시된다. 직사각형 영역(R1)은 합성 프레임(C)(영역 C2)의 처음 360개 로우들의 마지막 640개 픽셀들, 즉, 사전에 커피된 이미지 (L) 옆으로 카피된다.

L-형상 영역(R2)은, 361 내지 720번째 로우들의 마지막 640개 픽셀들 + 마지막 360개 로우들의 마지막 1280개의 픽셀들을 포함하는 영역(C2) 아래, 즉, 영역(C3)에 카피된다.

이미지들(L 및 R)을 컨테이너 프레임으로 도입하기 위한 동작들은 임의의 변형들을 수평 해상도와 수직 해상도 사이의 밸런스로 함축하지 않는다.

여기에는, 다른 목적들을 위해, 예컨대, 임의의 보조 데이터 또는 시그널링을 위해 사용될 수 있는 마지막 360개 로우들(영역 C2')의 처음 640개의 픽셀들로 구성된 프레임(C)에서 직사각형 영역을 남기며; 이는 도 5a에서 그리고 다른 도면들에서도 또한 약간 어둡게 나타난다.

이러한 여분의 영역이 전혀 이용되지 않으면, 동일한 RGB 값들은 프레임(C)의 나머지 픽셀들에 할당되며; 예를 들어, 상기 나머지 픽셀들은 모두 블랙(black)일 수 있다.

컨테이너 프레임으로 (또한 신호의 가능한)입력 이미지들의 전송이 완료되면, 디바이스(100)에 의해 구현된 이 방법은 종료하고, 컨테이너 프레임은 통신 채널 상에 압축되고 통신 채널을 통해서 송신되고 그리고/또는 적절한 매체(예컨대, CD, DVD, 블루레이, 대용량 메모리 등)에 기록될 수 있다.

앞서 설명된 멀티플렉싱 동작들이 하나의 영역 또는 이미지의 픽셀들 사이에서 공간 관계를 변경하지 않기 때문에, 디바이스(100)에 의해 출력된 비디오 스트림은 이미지가 상당한 아티팩트들을 생성하지 않고 송신된 것으로 매우 충실하게 복원될 양호한 가능성들을 보존하면서 상당한 정도로 압축될 수 있다.

추가적인 실시예들을 설명하기 전에, 컨테이너 프레임으로 변화되지 않은 채로 도입된 좌측 이미지에 의해 점유된 공간 및 합성 이미지에서 이용가능한 공간을 고려하여, 2개의 영역들(R1, 및 R2)로 프레임(R)의 분할이 가능한 가장 작은 수의 영역들로 프레임의 분할에 대응하는 것에 주목되어야 한다.

즉, 상기 가장 작은 수는 좌측 이미지에 의해 컨테이너 프레임(C)에서 이용가능한 남겨진 공간을 점유할 필수적인 최소 수의 영역들이다.

따라서, 일반적으로, 이미지가 디스에이블되어야 하는 최소수의 영역들이 소스 이미지들(우측 및 좌측 이미지들) 및 타겟 합성 이미지(컨테이너 프레임 C)의 포맷의 함수로서 정의된다.

즉, 본 발명에 따르면, 이미지(R)는 도 4에서 도시된 방법으로 오직 2개의 영역들(R1 및 R2)로 분할될 수 있다. 사실상, 2개의 이미지들(L 및 R)은 합성 이미지(C)의 2개의 반대 코너들, 특히, 상단 좌측 코너 및 하단 우측 코너 각각에 위치된다. 이미지(L)에 겹쳐진 이미지(R)의 부분(R1)은 상단 우측 코너에서 또는 도면에 도시된 바와 같이 하단 좌측 코너에서 시프트될 수 있다. 이미지(L)에 겹쳐지지 않고 하단 우측 코너에 위치된 이미지(R)의 부분(R2)은, 6개의 측면들을 갖는 불츄칙적인 다각형의 형태를 갖는다. 이 방법에서 제 2 이미지는 최소수의 영역들(2개)로 분해된다.

이러한 해결책의 이점은 내부 바운더리들의 전체 길이가 최소화된다는 것이며, 이는 압축 단계 동안 아티팩트들의 생성을 감소시키고 픽셀들 사이에서 공간 상관을 최대화하는데 기여한다.

추가적으로, R 이미지를 세부분할함으로써 그리고 2개의 서브-이미지들을 합성 프레임(C)으로 카피함으로써 요구되는 계산 비용이 최소화되고, 이에 따라 멀티플렉싱 및 디-멀티플렉싱 장치의 구조, 및 어셈블링 및 디스어셈블링 절차의 복잡도를 간략화한다.

도 5a에 도시된 배열은 본 발명에 따라서 합성 프레임(C) 내에 2개의 이미지들을 배치하기 위한 첫 번째 방법만을 나타내고: 도 5b는, 영역(R1)이 C(영역 C2')의 마지막 360개 로우들의 처음 640개 픽셀들에 위치되는 한편 영역(R2)이 비디오 정보 없이 남아있는, 도 5a의 레이아웃에 대안적인 레이아웃을 도시한다.

도 5a 및 도 5b의 배열들은, 이들이 전자의 경우에서는 C의 상부 우측 코너에 그리고 후자의 경우에서는 C의 하부 좌측 코너에 위치되는 R1의 할당으로 간단하게 달리하기 때문에, 서로에 대한 대안("듀얼 배열들")으로서 고려될 수 있다.

합성 프레임 C 내에 위치시키기 위해 이미지 R을 분해하는 두 번째 방법은 도 6에 도시된다; R1은 R의 마지막 360개 로우들의 마지막 640개 픽셀들을 추출함으로써 획득된다. L-형상 서브-이미지(R2)는 R의 나머지 픽셀, 즉 처음 360개 로우들 + 마지막 360개 로우들의 처음 640개 픽셀들로 구성된다.

도 7a 및 도 7b는, 도 6에서 획득된 것과 같은 영역들(R1 및 R2)이, C의 마지막 720개의 로우들의 마지막 1280개의 픽셀들로 구성된, 그 하단 우측 코너(영역 C1")에 이미지(L)을 위치시킨 후에 합성 프레임(C)에 위치될 수 있는 듀얼 배열들을 도시한다. L-형상 R2 영역은 C의 상부 좌측 코너에 위치된다. 2개 도면들 사이의 유일한 차이는 하부 좌측(영역 C2') 및 상부 우측(영역 C2) 코너 각각에 위치된 R1 서브-이미지에 의해 점유된 C의 영역이다. 반대로, 직사각형 여분의 영역은 상부 우측 코너(영역 C2) 및 하부 좌측 코너(영역 C2') 각각을 점유한다.

합성 프레임 C에 위치시키기 위해 이미지 R을 디스어셈블링하기 위한 세 번째 방법은 도 8에 도시된다; R1은 R의 마지막 360개의 처음 640개 픽셀들을 추출함으로써 획득된다. L-형상 서브-이미지 R2는 R의 나머지 픽셀, 즉 처음 360개 로우들 + 마지막 360개 로우들의 마지막 640개 픽셀들로 구성된다.

도 9a 및 도 9b는, 도 6에서 획득된 것과 같은 영역들(R1 및 R2)이, C의 마지막 720개의 로우들의 처음 1280개의 픽셀들로 구성된, 그 하단 좌측 코너(영역 C1")에 이미지(L)을 위치시킨 후에 합성 프레임(C)에 위치될 수 있는 듀얼 배열들을 도시한다. L-형상 R2 영역은 C의 상부 우측 코너에 위치된다. 2개 도면들은 하부 우측(영역 C6) 및 상부 좌측(영역 C4) 코너 각각에 위치된 직사각형 영역 R1의 위치를 달리한다. 반대로, 직사각형 여분의 영역은 상부 좌측 코너(영역 C2) 및 하부 우측 코너(영역 C2') 각각을 점유한다.

최종으로, 이미지 R을 디스어셈블링하기 위한 네 번째 방법은 도 10에 도시된다. 처음 360개 로우들의 마지막 640개 픽셀들이 서브-이미지 R1을 형성하기 위해 추출된다. L-형상 영역 R2는 R의 나머지 픽셀, 즉 처음 360개 로우들 + 마지막 360개 로우들의 처음 640개 픽셀들로 구성된다.

도 11a 및 도 11b는, 도 6에서 획득된 것과 같은 영역들(R1 및 R2)이, C의 처음 720개의 로우들의 마지막 1280개의 픽셀들로 구성된, 그 상부 우측 코너(영역 C1''')에 이미지(L)을 위치시킨 후에 합성 프레임(C)에 위치될 수 있는 듀얼 배열들을 도시한다. L-형상 R2 영역은 C의 하부 좌측 코너에 위치된다. 2개 도면들은 상단 좌측(영역 C6) 및 하단 우측(영역 C4) 코너 각각에 위치된 직사각형 영역 R1의 위치를 달리한다. 반대로, 직사각형 여분의 영역은 상부 좌측 코너(영역 C2) 및 하부 우측 코너(영역 C2') 각각을 점유한다.

이러한 마지막 도면들을 통해서, R 및 L 이미지들의 2개 영역들의 모든 가능한 배열들이 도시되었다. 따라서, 전체적으로 8개의 가능한 배열들이 존재한다. 다른 8개의 배열들은 이미지 L을 2개의 서브-이미지들(L1 및 L2)로 분할하고 다른 이미지 R은 분할되지 않은 채로 남길 가능성이 있다. 이러한 8개의 배열들은, 각각 이미지 R을 이미지 L과 교환하고 그리고 영역들(R1 및 R2)을 영역들(L1 및 L2)과 교환함으로써 간단하게 그렇게 설명된 도면들에 도시된 것으로부터 쉽게 도출될 수 있다. 이렇게 도출된 배열들이 꽤 단순하고 직접적이기 때문에, 이들은 본 개시물에 더 이상 다뤄지지 않는다.

도시된 배열들이 R의 분할 단계에 의해 도입된 바운더리들에 의해 야기된 아티팩트들을 최소화할 수 있지만, 출원인에 의해 실행된 몇몇 테스트들은, 높은 압축 비율들의 경우에, 가시적인 아티팩트들이 디코딩 이후에 복원된 이미지 내에 존재할 수 있다는 것을 나타낸다.

유리하게, 바운더리 영역들 상의 아티팩트들의 존재를 추가로 감소시키기 위해, 도 5a의 디스어셈블링 체계에서, 예로써 적용가능한, 도 12 및 도 13에 도시된 기법들을 채택하는 것이 가능하다.

제 1 실시예로서, 도 12에 도시된 R1과 R2 사이의 바운더리 영역을 포함하는 추가적인 L-형상 영역 R3은 도 13에 도시된 바와 같이 여분의 영역 C2'에 복제되고 삽입될 수 있다. 이러한 R3 영역은 수평 및 수직 아암들에 대해 각각 하나의 일정한 폭 또는 2개의 상이한 폭들(h 및 k)을 가질 수 있다. 파라미터들(h 및 k)은 0보다 큰 정수들이다. 결국, R3 영역은 R의 내부 바운더리에 대해 대칭으로 위치될 수 있다.

본 출원인에 의해 행해진 테스트들에 따르면, 아티팩트들은 복원된 이미지 Rout내에서 내부 바운더리들에 널리 퍼져 가까운 것으로 나타난다. 따라서, Rout의 내부 바운더리들 가까이에 위치된 (압축 및 압축해제 이후의 R1에 대응하는)R1' 및 (압축 및 압축해제 이후의 R2에 대응하는)R2'의 픽셀들은 복제시에 훼손될 수 있고, R3의 압축 및 압축해제 동작들 이후에 획득된 영역 R3'의 내부 픽셀들에 의해 대체될 수 있다. R3'의 에지들에 있는 픽셀들은, 이들이 다른 내부 바운더리에 가깝고 이에 따라서 아티팩트들에 의해 영향을 받을 수 있기 때문에, 폐기되어야만 한다. R, L 및 C 또는 C'의 각각의 크기를 고려하여, 특정 세트의 보더 픽셀들의 스트라이프는 여분의 영역 C2'에 위치될 수 있지만, 그러나 도 12 및 도 13에서 명백하게 나타나는 것처럼 이 L-형상 스트라이프는 R의 외부 보더들 가까이에 R1과 R2 사이의 바운더리 영역의 픽셀들을 포함할 수 없다.

이는 픽쳐의 외부 보더들 가까이에 위치된 아티팩트들이 거의 가시적이지 않기 때문에, 큰 불편함은 아니다. 그러나, 원하는 경우, 또한 설명되었던 방식으로 정정될 수 없는 2개의 작은 영역들은 합성 프레임의 텅 빈 공간에 복제 및 놓여질 수 있다. 그러나, 이는 어셈블링 및 디스어셈블링 절차에 있어서 복잡도를 증가시키고 이에 따라 이는 바람직한 해결책이 아니다.

유리하게, L 형상 영역(R3)은 이용가능한 영역에 위치될 수 있는 R3 암들의 길이를 최대화시키기 위해 그 하단 우측 코너에 인접한 여분의 영역 C2'에 놓인다. 예로써, R3의 수평 암의 폭은 h=48 픽셀들일 수 있고, 오직 내부 n=16 픽셀들이 R 픽쳐를 복원하는데 이용되는 한편, 인접하는 32개 픽셀들은 이들이 합성 프레임 C 내의 단절부(discontinuity)에 가깝게 있는 아티팩트들에 의해 영향을 받을 수 있기 때문에 폐기된다. 유사하게, R의 수직 암은 큰 k=32 픽셀들이고, 여기서 이들 중 오직 m=16만이 R의 복원에 이용된다.

명백하게, 도 12 및 도 13에 도시된 특정 기법이 도 5b에 도시된 듀얼 배열에 필요한 부분만 수정하여 적용될 수 있다. 유일한 차이는, L-형상 영역(R3)이 C2' 대신에 여분의 영역 C2에 위치된다는 것이다. 유사하게, 도 12 및 도 13에 도시된 특정 기법은 도 6 내지 도 11에 도시된 것과 같이 이미지 R 및 합성 프레임 C의 모든 다른 배열들에 필요한 부분만 수정하여 적용될 수 있다. 유일한 차이는, R3에 의해 수용된 내부 바운더리 영역들이 다르게 배치되고, 영역 R3은 C의 상이한 여분 영역들에 위치된다는 것이다. L로 R을 치환하고 L1과 L2로 R1과 R2를 치환함으로써 획득가능한, 도면들에 도시되지 않은 다른 배열들에도 동일하게 적용된다.

또한, 아티팩트들이 R1과 R2 사이의 수평 내부 바운더리 상에 더 많이 표명된다는 것을 몇몇 테스트들이 나타낸다는 사실로 인해, L-형상 내부 영역을 이용하는 것 대신에, 수평 내부 바운더리 주위의 픽셀들만을 포함하는 R3 영역을 이용하는 것이 가능하다. 물론, 수직 내부 에지 내의 아티팩트들 만을 제거하는 것이 바람직한 경우, R3 형상 영역은 수직일 수 있다. 앞서 이루어진 설명을 전제로 이러한 실시예들이 명백하기 때문에, 이들은 도면들에 도시되지 않는다. 지금까지 설명된 임의의 방법들에서 이에 따라 획득된 프레임 C는 후속하여 압축되고 송신되고 또는 저장 매체(예컨대, DVD)에 저장된다. 이러한 목적을 위해, 압축된 이미지 또는 비디오 신호를 기록하고 그리고/또는 송신하기 위한 수단과 함께, 이미지 또는 비디오 신호를 압축하도록 적응된 압축 수단이 제공된다.

도 16은 수신된 컨테이너 프레임(압축된 경우)을 압축해제하고, 2개의 우측 및 좌측 이미지들을 복원하고, 이들을 3D 콘텐츠의 성과를 허용하는 가시화 디바이스(예컨대, 텔레비전 세트)에 이용가능하게 하는 수신기(1100)의 블록도를 도시한다. 수신기(1100)는 텔레비전 세트에 장착된 셋-톱-박스 또는 수신기일 수 있다.

또한, 수신기(1100)를 위해 형성된 동일한 리마크들은, (가능한 한 압축된)컨테이너 프레임을 판독하고, 이를, 판독기에 의해 판독된 (가능한 한 압축된) 컨테이너 프레임으로 도입된 우측 및 좌측 이미지들에 대응하는 한 쌍의 프레임들을 획득하기 위해 프로세싱하는 판독기(예컨대, DVD 판독기)에 적용가능하다.

도 17을 다시 참조하여, 수신기는 압축된 스테레오스코픽 비디오 스트림(1101)을 (케이블 또는 안테나를 통해서) 수신하고 압축해제 모듈(1102)에 의해 이를 압축해제하여, 이에 의해 프레임들 C에 대응하는 프레임들 C'의 시퀀스를 포함하는 비디오 스트림을 획득한다. 이상적인 채널이 존재하는 경우 또는 컨테이너 프레임들이 대용량 메모리 또는 데이터 매체(블루레이, CD, DVD)로부터 판독되고 있는 경우, 프레임들 C'는 압축 프로세스에 의해 도입되는 임의의 아티팩트들을 제외하고, 우측 및 좌측 이미지들에 관한 정보를 운반하는 컨테이너 프레임들 C에 대응한다.

따라서, 이러한 프레임들 C'는 이하 후술되는 바와 같이 이미지 복원 방법을 실행하는 복원 모듈(1103)에 적용된다.

비디오 스트림이 압축되지 않은 경우, 압축해제 모듈(1102)은 생략될 수 있고, 비디오 신호는 복원 모듈(1103)에 직접 공급될 수 있다는 것은 명백하다.

복원 프로세스는, 압축해제된 컨테이너 프레임 C'가 수신되는 시기인 단계(1300)에서 시작한다. 복원 프로세스는 어셈블링 프로세스 동안 결정된 특정 배열들에 의존한다. 예를 들어, 도 5a에 도시된 합성 프레임을 고려한다. 이러한 경우, 복원 모듈(1103)은 압축해제된 프레임의 처음 720×1280 픽셀들을 컨테이너 프레임, 예를 들어, 720p 스트림의 프레임보다 작은 새로운 프레임 Lout으로 카피함으로써 (소스 이미지 L에 대응하는) 좌측 이미지 L'을 추출한다(단계 1301). 이에 따라 복원된 이미지 Lout은 수신기(1100)로 출력된다(단계 1302).

후속하여, 컨테이너 프레임 C로부터 우측 소스 이미지 R을 추출하기 위한 방법이 제공된다.

우측 이미지를 추출하는 단계는 프레임 C에 포함된 영역 C2을 카피함으로써 시작한다(단계 1303). 더욱 상세하게, C'의 처음 360개의 로우들의 마지막 640개의 픽셀들은 복원된 이미지 Rout을 나타내는 새로운 720×1280 프레임의 처음 360개의 로우들의 대응하는 처음 640개의 컬럼들로 카피된다.

다음으로, (압축 동작 및 압축해제 동작 이전에 R2였던) 압축해제된 영역 R2'을 포함하는 영역 C3이 추출된다(단계 1305). (전술한 바와 같이, 도 5a의 프레임 C에 대응하는) 압축해제된 프레임 C'로부터, (소스 영역 R2에 대응하는) 영역 C3의 픽셀들은 Rout의 L 형상의 나머지 부분에서, 즉, 처음 360개의 로우들의 마지막 360개의 컬럼들에서 + Rout의 마지막 360개의 로우들에서 카피되고, 이에 따라 도 3에서 어셈블링된 이미지 R에 대응하는 복원된 이미지를 획득한다.

이 시점에서, 우측 이미지 Rout은 완전하게 복원되었고 출력될 수 있다(단계 1306).

유사한 동작들이 도 5b, 도 7a 및 도 7b, 도 9a 및 도 9b, 도 11a 및 도 11b에 도시된 모든 다른 배열들에 대해 필요한 부분만 수정하여 수신기(1100)에 의해 수행된다. C'의 720×1280 사이징된 관련 직사각형 영역에 포함된 압축해제된 L 이미는 그 전체로서 추출되고, 복원된 Lout 이미지에 더해진다. 압축해제된 서브-이미지들(R1 및 R2)을 포함하는 합성 프레임 C'의 영역들은, 이들이, 사정에 따라, 도 4, 도 6, 도 8 및 도 10에 도시된 소스 이미지 R에서 갖는, 대응하는 배열의 Rout의 그들 각각의 위치들에 다시 위치된다.

도 12 및 도 13의 특정 기법이 사용되는 경우, 추가적인 단계(도 17에서 1305)는 R3'(Ri3로 지칭됨)의 내부 영역을 추출하고 R3'의 픽셀들의 적어도 일부를 이용하여 Rout의 내부 바운더리들 주위의 대응 픽셀들을 겹쳐쓰기 때문에, 수신기(1100)는 Lout 및 Rout을 복원하기 위해 이미 설명된 동일한 동작들을 먼저 수행한다.

도 14 및 도 15에 도시된 예시에서, Ri3'으로 지칭된 영역을 형성하는 R3의 내부에 있는 m개의 수직 그리고 n개의 수평 픽셀들의 스트라이프는 Rout의 대응 내부 바운더리 영역으로 카피된다. 통상적으로 m 및 n은 낮은 값들, 통상적으로 3과 16 사이의 범위를 추정할 수 있는 0보다 큰 정수들일 수 있다; 이들은 서로 동일하거나 그렇지 않을 수 있으며, 일정한 또는 일정하지 않은 폭을 Ri3에 제공할 수 있다. R3의 직사각형 형상이 수평 또는 수직 중 하나인 그 암들 중 오직 하나를 커버하는데 사용되었던 경우, 동일한 기법이 필요한 부분만 수정하여 사용될 수 있다.

이는, 높은 이미지 품질이 의무적인 텔레비전 브로드캐스터들에 의해 항상 사용되지 않는 오직 강한 압축 비율들의 경우에 필수적이지만, 그러나 인터넷을 통한 비디오 스트리밍의 경우, 또는 일반적으로 제한적인 대역폭을 갖는 네트워크 또는 채널을 통한 분배를 위해 이용될 수 있다는 것은 강조되어야만 한다.

따라서, 인코더측 및 디코더측 모두에서, 영역 R3' 및 Ri3의 이용은 선택적이다. 이를 사용하거나 또는 사용하지 않게 하기 위해 디코더측에서 영역 R3을 송신하고 프리덤을 남길 가능성이 존재할 수 있고: 이는 2가지 유형들의 디코더들, 간략화된 디코더 및 더 나은 성능을 갖는 더욱 복잡한 디코더로 유도할 수 있다.

더욱 복잡한 실시예에서, R3' 영역은, R3' 기여도가 R1'와 R2' 사이의 바운더리에서 최대화되고 R3' 바운더리들에서 최소화되도록, R3'의 대응 픽셀 값들로 Rout의 내부 바운더리 영역의 픽셀 값들을 크로스 페이딩하는데 있는 소위 "소프트 에지(soft edge)" 기법을 이용하여, 복원된 이미지 Rout의 상단에서 혼합될 수 있다.

따라서, 컨테이너 프레임(C')에 포함된 우측 및 좌측 이미지들을 복원하기 위한 프로세스가 완성된다(단계 1307). 상기 프로세스는 수신기(1100)에 의해 수신된 비디오 스트림의 각각의 프레임에 대해 반복되어, 출력은 우측 이미지 및 좌측 이미지 각각에 대한 2개의 비디오 스트림들(1104 및 1105)로 구성될 것이다.

본 발명이 몇몇 바람직한 그리고 유리한 실시예들에 대해 참조하여 지금까지 예시되었지만, 상기 실시예들로 제한되지 않고, 수많은 변화들이 오브젝트 또는 장면의 2개의 상이한 시각들(우측 및 좌측)에 대한 2개의 이미지들을 합성 이미지들로 결합시키기 원하는 당업자에 의해 본원에서 이루어질 수 있다는 것이 명백하다.

예를 들어, 앞서 설명된 디바이스들, 특히 디바이스(100) 및 수신기(1100)를 제공하는 전자 모듈들은 다양하게 세부분할되고 분배될 수 있고; 게다가, 이들은 프로세서, 특히 수신된 입력 프레임들을 일시적으로 저장하기 위해 적절한 메모리 영역들이 장착된 비디오 프로세서에 의해 구현된 소프트웨어 알고리즘들로서 또는 하드웨어 모듈들의 형태로 제공될 수 있다. 따라서, 이러한 모듈들은 본 발명에 따라서 이미지 멀티플렉싱 및 디-멀티플렉싱 방법들의 하나 또는 그 초과의 비디오 프로세싱 단계들을 동시에 또는 연속적으로 실행할 수 있다.

또한, 바람직한 실시예들은 2개의 720p 비디오 스트림들을 하나의 1080p 비디오 스트림으로 멀티플렉싱하는 것을 나타내지만, 다른 포맷들도 또한 이용될 수 있다. 본 발명은 또한, 합성 이미지를 생성하기 위한 상이한 해결책들이 특정 이점들을 가질 수 있기 때문에, 합성 이미지의 배열의 특정 유형으로 제한되지 않는다.

최종적으로, 본 발명이 본 발명의 보호 범위 내에 포함되는 앞서-설명된 멀티플렉싱 프로세스들 중 하나를 반전시킴으로써 합성 이미지로부터 우측 이미지 및 좌측 이미지가 추출되게 하는 임의의 디-멀티플렉싱 방법에 관련된다는 것이 명백하다.

따라서, 본 발명은 또한 합성 이미지에서 시작하는 한 쌍의 이미지들을 생성하기 위한 방법에 관한 것이며, 이 방법은:

- 상기 합성 이미지의 영역으로부터 하나의 단일 그룹의 인접 픽셀들을 카피함으로써 상기 우측 이미지 및 상기 좌측 이미지의 제 1 이미지(예컨대, 좌측 이미지)를 생성하는 단계,

- 상기 합성 이미지의 2개의 상이한 영역으로부터 다른 그룹들의 인접 픽셀들을 카피함으로써 제 2 이미지(예컨대, 우측 이미지)를 생성하는 단계를 포함한다.

Claims (12)

1. 합성 이미지들(C)을 포함하는 스테레오스코픽 비디오 스트림(101)을 생성하기 위한 방법으로서,
   상기 합성 이미지들(C)은 우측 이미지(R) 및 좌측 이미지(L)에 관한 정보를 포함하고,
   상기 우측 이미지(R)의 픽셀들 및 상기 좌측 이미지(L)의 픽셀들이 선택되고, 상기 선택된 픽셀들은 상기 스테레오스코픽 비디오 스트림의 합성 이미지(C)로 도입되며,
   상기 방법은, 상기 우측 이미지(R)의 모든 픽셀들 및 상기 좌측 이미지(L)의 모든 픽셀들이, 상기 2개의 이미지들 중 하나를 변화되지 않은 채로 남기고, 그리고 상기 2개의 이미지들 중 다른 하나를 복수의 픽셀들을 포함하고 2개의 영역들(R1, R2)을 상기 합성 이미지(C)로 도입하는 상기 2개의 영역들(R1, R2)로 분해함으로써, 상기 합성 이미지(C) 내의 상이한 위치들로 도입되는 것을 특징으로 하는,
   방법.
2. 제 1 항에 있어서,
   상기 2개의 영역들 중 제 1 영역(R2)은 L 형상을 갖고,
   상기 2개의 영역들 중 제 2 영역(R1)은 직사각형 형상을 갖는,
   방법.
3. 제 2 항에 있어서,
   상기 2개의 이미지들 중 변화되지 않은 하나(L)는 상기 합성 이미지(C)의 하나의 코너에 위치되고,
   상기 2개의 영역들 중 제 1 영역(R2)은 상기 하나의 코너에 대해 상기 합성 이미지(C)의 반대 코너에 위치되고,
   상기 2개의 영역들 중 제 2 영역(R1)은 상기 합성 이미지(C)에서 프리로 남겨진 공간의 일 부분에 위치되는,
   방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 제 1 및 제 2 영역들(R1, R2) 사이의 바운더리 영역들의 적어도 일부를 포함하는 추가적인 영역(R3)은 상기 합성 이미지(C)에서 프리로 남겨진 상기 공간에 삽입되는,
   방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 영역들은 상기 이미지의 픽셀들의 컬럼들의 인접(contiguous) 그룹들을 포함하는,
   방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   우측 이미지들(R)의 시퀀스 및 좌측 이미지들(L)의 시퀀스가 수신되고,
   합성 이미지들의 시퀀스는 상기 우측 및 좌측 이미지들의 상기 시퀀스들에서 시작함으로써 생성되고,
   상기 합성 이미지들(C)의 상기 시퀀스는 압축되는,
   방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에서와 같이 합성 이미지(C)에서 시작함으로써 한 쌍의 이미지들을 복원하기 위한 방법으로서,
   - 상기 합성 이미지의 영역으로부터 인접 픽셀들의 하나의 단일 그룹을 카피함으로써 상기 우측(Rout) 및 좌측(Lout) 이미지들의 제 1 이미지를 생성하는 단계;
   - 상기 합성 이미지(C')의 2개의 상이한 영역들(R1', R2')로부터 인접 픽셀들의 다른 그룹들을 카피함으로써 상기 우측(Rout) 및 좌측(Lout) 이미지들의 제 2 이미지를 생성하는 단계를 포함하는,
   방법.
8. 제 7 항에 있어서,
   상기 제 1 및 제 2 (R1', R2') 영역들 사이의 상기 바운더리 영역의 적어도 일부를 포함하는 추가적인 영역(R3')의 적어도 일부(Ri3)는 상기 제 2 이미지(Rout)의 대응 바운더리 영역에서 겹쳐 쓰여지는,
   방법.
9. 제 7 항에 있어서,
   상기 제 1 및 제 2 (R1', R2') 영역들 사이의 상기 바운더리 영역의 적어도 일부를 포함하는 추가적인 영역(R3')은, 상기 추가적인 영역(R3')의 대응 픽셀 값로 상기 제 2 이미지(Rout)의 내부 바운더리 영역의 픽셀 값들을 크로스 페이딩함으로써, 상기 제 2 이미지(Rout)의 위에서 혼합되는,
   방법.
10. 합성 이미지들(C)을 생성하기 위한 디바이스(100)로서,
    우측 이미지 및 좌측 이미지를 수신하기 위한 수단(104) 및 상기 우측 이미지 및 상기 좌측 이미지에 관한 정보를 포함하는 합성 이미지(C)를 생성하기 위한 수단(105)을 포함하고,
    제 1 항 내지 제 6 항 중 어느 한 항에 기재된 방법을 구현하도록 적응된 수단을 포함하는 것을 특징으로 하는,
    디바이스(100).
11. 합성 이미지에서 시작함으로써 한 쌍의 이미지들을 복원하기 위한 디바이스(1100)로서,
    제 7 항 내지 제 9 항 중 어느 한 항에 기재된 방법을 구현하도록 적응된 수단을 포함하는 것을 특징으로 하는,
    디바이스(1100).
12. 제 1 항 내지 제 6 항 중 적어도 한 항에 기재된 방법의 수단에 의해 생성된 적어도 하나의 합성 이미지(C)를 포함하는 것을 특징으로 하는, 스테레오스코픽 비디오 시스템(1101).
    
    
    

Images