KR100704938B1 - 스테레오스코픽 영상의 부호화/복호화 방법 및 장치 - Google Patents

Abstract

좌영상 및 우영상으로 구성된 스테레오스코픽 영상의 부호화 방법 및 장치와 이 부호화 방법 및 장치에 의하여 부호화된 데이터를 복호화하기 위한 복호화 방법 및 장치에 대하여 개시한다. 본 발명의 일 실시예에 따른 스테레오스코픽 영상의 부호화 방법은 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성한 다음, 이 제1 통합합성영상의 M×N 통합합성블록과 M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행함으로써, 압축 효율이 더 좋은 방법으로 부호화된 영상 데이터를 선택하여 복호화 장치로 전송한다. 그리고 본 발명의 실시예에 의하면, 이러한 선택된 부호화 방법을 지시하는 블록 부호화 모드 정보를 부호화된 영상 데이터와 함께 복호화 장치로 전송한다.

스테레오스코픽 영상, 입체 영상, 엠펙-4, 동영상, 정지 영상

Description

스테레오스코픽 영상의 부호화/복호화 방법 및 장치{Method and apparatus for encoding/decoding stereoscopic images}

도 1은 양안식 스테레오스코픽 영상의 일례를 보여주는 도면이다.

도 2는 배리어 타입(Barrier Type)의 디스플레이를 이용하여 입체 영상을 디스플레이하는 원리를 설명하기 위한 도면이다.

도 3은 좌영상 및 우영상으로부터 생성된 분리합성영상의 일례를 보여주는 도면이다.

도 4는 좌영상의 홀수 수직라인과 우영상의 짝수 수직라인으로부터 통합합성영상을 생성하는 방법을 보여주는 도면이다.

도 5는 휘도 Y와 두 개의 색차 Cb, Cr 신호 사이의 표본화주파수의 비가 4:2:0이고 통합 방법을 이용하여 블록 단위로 부호화하는 과정을 설명하기 위한 도면이다.

도 6은 본 발명에 따른 부호화 방법의 제1 실시예를 설명하기 위한 도면이다.

도 7a 및 도 7b는 본 발명의 제1 실시예에 따른 통합 방법과 분리 방법을 이용한 블록 단위의 부호화에 있어서, 휘도Y와 색차Cb, Cr 신호의 표본화주파수의 비를 설명하기 위한 도면이다.

도 8은 본 발명에 따른 부호화 방법의 제2 실시예를 설명하기 위한 도면이다.

도 9a 및 도 9b는 본 발명의 실시예에 따른 부호화 장치의 구성을 보여주기 위한 블록도이다.

도 10a 및 도 10b는 본 발명의 실시예에 따른 복호화 장치의 구성을 보여주기 위한 블록도이다.

도 11a 내지 도 11i는 각각 본 발명의 효과를 테스트하기 위하여 사용된 테스트 영상의 일례를 보여주는 사진이다.

도 12a 및 도 12b는 각각 본 발명의 효과를 테스트하기 위하여 사용된 통합합성블록과 분리합성블록을 보여주는 것으로서, 도 12a는 8× 4 블록 단위의 부호화를 보여주는 것이고, 도 12b는 16× 8 블록 단위의 부호화를 보여주는 것이다.

본 발명은 영상의 부호화 및 복호화에 관한 것으로, 보다 구체적으로 동일 시간상에 좌우 2시점 영상의 프레임으로 구성되는 스테레오스코픽 영상(stereoscopic image)을 부호화하기 위한 방법 및 장치와 이러한 부호화 방법 또는 장치에 의하여 부호화된 스테레오스코픽 영상 데이터를 복호화하기 위한 방법 및 장치에 관한 것이다.

양안식 스테레오스코픽 영상(이하, 간단히 '스테레오스코픽 영상'이라고 한 다)은, 도 1에 도시되어 있는 바와 같이, 일정한 거리로 이격되어 있는 좌측 카메라(4a)와 우측 카메라(4b)를 이용하여 동일한 피사체(2)를 촬영하여 획득한 1쌍의 좌우 영상(6a, 6b)을 말한다. 이러한 스테레오스코픽 영상(6a, 6b)은 피사체(2)에 대한 입체감을 디스플레이 상에 구현하기 위하여 사용되는데, 그 일례로 배리어 타입의 디스플레이를 이용하는 방식이 있다.

배리어 타입의 디스플레이는 LCD나 PDP와 같은 평판 디스플레이를 이용하여 입체 영상을 디스플레이할 수 있는 방식 중의 한 가지로서, 도 2에 도시되어 있는 바와 같이, 편광 필름이나 편광 글래스로 형성되는 배리어(32)를 통합합성영상이 디스플레이되는 평판 디스플레이의 패널(30) 위에 장착하는 방식이다. 도 2를 참조하면, 배리어 타입의 디스플레이에 통합합성영상을 디스플레이하면, 시청자는 좌안을 통해서는 좌영상 만을 그리고 우안을 통해서는 우영상 만을 보기 때문에, 보조 기구의 도움 없이 맨눈으로 입체감이 있는 영상을 보는 것이 가능하다.

최근에는 3D TV나 휴대폰, PMP, DMB 수신기 등과 같은 휴대용 전자 기기 등의 디스플레이 상에 입체 영상을 구현하는데 이러한 배리어 타입의 디스플레이가 각광을 받고 있다. 배리어 타입의 디스플레이를 이용하여 입체 영상을 구현하기 위해서는 스테레오스코픽 영상(6a, 6b)에 대한 효율적인 부호화 방법이 요구된다. 이러한 요구를 충족시키기 위하여 스테레오스코픽 영상에 대한 부호화 방법에 대한 연구가 현재 활발히 진행되고 있다.

스테레오스코픽 영상을 부호화하기 위한 방식으로 널리 알려진 것으로 엠펙-2(MPEG-2)의 멀티-뷰 프로파일(Multi-View Profile, MVP)이 있다. 엠펙-2의 MVP에 의하면, 좌우 영상 중에서 하나의 영상, 예컨대 좌영상을 기저층(Base Layer)으로 하여 모노스코픽 영상(Monoscopic image)과 동일한 방식으로 부호화하고, 다른 하나의 영상 즉 우영상은 상위층(Enhancement Layer)으로 하여 좌우 영상간의 상관 정보에 대해서만 부호화를 한다. 이 방식은 기본적으로 시간 계위(Temporal Scalability)를 이용하여 부호화하는 방식으로, 엠펙-4(MPEG-4)에서도 시간 계위를 이용한 스테레오스코픽 영상의 부호화에 대하여 규정하고 있다.

그런데, 이러한 시간 계위를 이용한 스테레오스코픽 영상의 부호화 방식에서는 좌영상과 우영상 간의 동기화 문제를 해결해야 하는 문제가 있다. 예컨대, 상기 동기화 문제를 해결하기 위한 한 가지 방식으로 기저층과 상위층에서 출력되는 각각의 부호화된 비트스트림을 단일 비트스트림으로 만들어서 전송하는 방식이 있는데, 이 방식에 의하면 단일 비트스트림을 만들기 위한 별도의 다중화 과정이 필요하다는 단점이 있다. 그리고 조명의 방향이나 카메라의 특성 등으로 인하여 좌우 영상 간에 이미지 정보, 예컨대 휘도, 색차, 또는 RGB값 등의 차이가 생기는 경우에는 상기 상관 정보에 대한 데이터양이 증가하여 압축 효율이 떨어지는 단점이 있다.

따라서 좌우 영상간의 동기화 문제를 해결하고 기존의 모노스코픽 영상에 대한 부호화 방식인 JPEG, 엠펙-1, 엠펙-2, 엠펙-4, H.264/AVC 등을 그대로 사용할 수 있으며, 조명이나 카메라의 특성 등으로 인하여 좌우 영상간에 픽셀값이 차이가 나는 경우에도, 압축률이 높은 새로운 정지 영상 또는 동영상의 부호화 방식이 절실히 요구되고 있다.

본 발명은 스테레오스코픽 영상의 부호화에 있어서 전술한 종래 기술의 문제점들을 해결하기 위한 것으로서, 배리어 방식의 디스플레이에서 이용되는 통합합성영상 포맷을 그대로 부호화하여 배리어 방식의 디스플레이가 구비된 복호화 장치의 구성을 간단하게 할 수 있을 뿐만 아니라, 좌우 영상 간에 발생하는 이미지 정보의 차이에 따라서 압축 효율이 저하되는 것을 방지할 수 있는 스테레오스코픽 영상의 부호화 방법 및 장치와 이 부호화 방법이나 장치에 의하여 부호화된 스테레오스코픽 영상 데이터의 복호화 방법 및 장치를 제공하는데 그 목적이 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 통합합성영상 포맷을 기존의 모노스코픽 영상에 대한 부호화 방법인 엠펙-1, 엠펙-2, 엠펙-4, H.264/AVC, 또는 JPEG 등을 이용하여 부호화하는 경우에도, 칼라의 번짐 현상이 발생하는 것을 방지할 수 있고 압축 효율도 향상시킬 수 있어서 고화질 영상의 디스플레이에 적합한 스테레오스코픽 영상의 부호화 방법 및 장치와 이 부호화 방법이나 장치에 의하여 부호화된 스테레오스코픽 영상 데이터의 복호화 방법 및 장치를 제공하는 것이다.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 좌영상과 우영상으로 구성된 스테레오스코픽 영상의 부호화 방법은 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하는 단계, 상기 제1 통합합성영상의 M×N 통합합성블록 및 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행하 는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 부호화를 수행하는 단계는 상기 M×N 통합합성블록에 대해서는 통합 방법을 이용하여 부호화를 수행하고, 상기 M×N 분리합성블록에 대해서는 분리 방법을 이용하여 부호화를 수행하는 단계, 및 상기 통합 방법에 따른 부호화 데이터와 상기 분리 방법에 따른 부호화 데이터를 비교하여, 상기 두 가지 방법 중 하나의 방법으로 부호화된 부호화 데이터만을 선택하여 출력하는 단계를 포함한다. 이 경우, 상기 부호화된 데이터를 선택하는 단계에서는 선택된 부호화 방법을 지시하는 블록 부호화 모드 정보 및/또는 움직임 추정 모드 정보도 함께 출력할 수 있다. 그리고 상기 부호화를 수행하는 단계에서는 움직임 추정 과정 및/또는 변환 과정을 수행할 수 있다. 또한, 상기 분리 방법을 이용하여 움직임 추정 과정을 수행하는 경우에는 M/2×N 블록이나 M×N/2 블록 또는 그보다 작은 블록 단위로 움직임 예측을 수행하여 2개 또는 그 이상의 움직임 벡터를 구하여 출력할 수 있다.

상기 실시예의 다른 측면에 의하면, 상기 통합 방법을 이용한 부호화에서는 표본화 주파수의 비로 4:2:2를 이용하고, 상기 분리 방법을 이용한 부호화에서는 표본화 주파수의 비로 4:2:0을 이용할 수 있다.

상기 실시예의 또 다른 측면에 의하면, 상기 제1 통합영상을 생성하는 단계에서는 상기 좌영상의 모든 수직 라인과 상기 우영상의 모든 수직 라인으로부터 제2 통합합성영상을 더 생성하고, 상기 부호화 단계에서는 상기 제1 통합합성영상의 M×N 통합합성블록, 상기 M×N 분리합성블록, 상기 제2 통합합성영상의 2M×N 통합 합성블록, 및 상기 2M×N 통합합성영상으로부터 구해진 2M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예는 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 블록 단위로 부호화하여 그 블록 단위의 부호화와 관련된 정보가 포함된 블록 헤더 데이터를 생성하는 방법으로서, 상기 블록 헤더 데이터는 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상의 M×N 블록에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 포함하고, 상기 블록 부호화 모드 정보는 통합합성블록에 대하여 부호화를 수행하는 제1 통합 방법 또는 분리합성블록에 대하여 부호화를 수행하는 제1 분리 방법을 지시하는 것을 특징으로 한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예는 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 블록 단위로 부호화하여 그 블록 단위의 부호화와 관련된 정보가 포함된 블록 헤더 데이터를 생성하는 방법으로서, 상기 블록 헤더 데이터는 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상의 M×N 블록에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 포함하고, 상기 움직임 추정 모드 정보는 통합합성블록을 이용하여 움직임 추정을 수행하는 제2 통합 방법 또는 분리합성블록에 대하여 부호화를 수행하는 제2 분리 방법을 지시하는 것을 특징으로 한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 스테레오스코픽 영상의 복호화 방법은 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 복호화하는 단계, 및 (b) 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 블록 부호화 모드 정보는 M×N 통합합성블록에 대하여 부호화를 수행하는 통합 방법 또는 M×N 분리합성블록에 대하여 부호화를 수행하는 분리 방법을 지시한다. 이 경우, 상기 블록 부호화 모드 정보가 상기 통합 방법을 지시하는 경우에는 상기 M×N 블록의 영상 데이터가 표본화 주파수의 비로 4:2:2를 이용하여 부호화된 것이고, 상기 분리 방법을 지시하는 경우에는 상기 M×N 블록의 영상 데이터가 표본화 주파수의 비로 4:2:0을 이용하여 부호화된 것일 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 스테레오스코픽 영상의 복호화 방법은 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 복호화하는 단계, 및 상기 움직임 추정 모드 정보에 따라서 상기 M×N 블록의 영상 데이터에 대하여 적응적으로 움직임 보상 과정을 수행하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 움직임 추정 모드 정보는 상기 분리 방법을 지시하는 정보이고, 상기 움직임 보상을 수행하는 단계에서는 2개 또는 그 이상의 움직임 벡터를 이용하여 상기 M×N 블록의 영상 데이터를 복원한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 스테레오스코픽 영상의 복호화 방법은 좌영상의 모든 수직라인과 우영상의 모든 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 복호화하는 단계, 및 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하는 방법은 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하는 단계, 상기 제1 통합합성영상의 M×N 통합합성블록에 대한 블록 단위 부호화를 수행하여 제1 부호화 데이터를 생성하고, 그리고 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록에 대한 블록 단위 부호화를 수행하여 제2 부호화 데이터를 생성하는 단계, 및 상기 제1 부호화 데이터와 상기 제2 부호화 데이터 중에서 선택된 하나의 부호화 데이터와 상기 선택된 부호화 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 출력하는 단계를 포함한다.

상기 실시예의 일 측면에 의하면, 상기 블록 단위 부호화를 수행하기 이전에 상기 M×N 통합합성블록을 이용하여 움직임 추정을 수행하는 제1 움직임 추정 과정과 상기 M×N 분리합성블록을 이용하여 움직임 추정을 수행하는 제2 움직임 추정 과정을 각각 수행하는 단계, 상기 제1 움직임 추정 과정과 상기 제2 움직임 추정 과정 중에서 하나의 움직임 추정 과정을 선택하는 단계, 및 선택된 상기 움직임 추 정 과정에 따라서 움직임 보상을 수행하는 단계를 포함한다. 이 경우, 상기 움직임 추정 과정을 선택하는 단계에서는 선택된 상기 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 출력할 수 있다.

상기한 기술적 과제를 달성하기 위한 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하기 위한 장치는 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하기 위한 통합합성영상 생성 유닛, 상기 제1 통합합성영상의 M×N 통합합성블록에 대한 블록 단위 부호화를 수행하여 제1 부호화 데이터를 생성하고, 그리고 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록에 대한 블록 단위 부호화를 수행하여 제2 부호화 데이터를 생성하기 위한 블록 단위 부호화 유닛, 및 상기 제1 부호화 데이터와 상기 제2 부호화 데이터 중에서 하나의 부호화 데이터를 선택하고, 상기 선택된 부호화 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 출력하기 위한 제1 선택 유닛을 포함한다.

상기 실시예의 일 측면에 의하면, 상기 스테레오스코픽 영상의 부호화 장치는 상기 M×N 통합합성블록을 이용하여 움직임 추정을 수행하는 제1 움직임 추정 과정과 상기 M×N 분리합성블록을 이용하여 움직임 추정을 수행하는 제2 움직임 추정 과정을 각각 수행하기 위한 움직임 추정 유닛, 상기 제1 움직임 추정 과정과 상기 제2 움직임 추정 과정 중에서 하나의 움직임 추정 과정을 선택하기 위한 제2 선택 유닛, 및 선택된 상기 움직임 추정 과정에 따라서 움직임 보상을 수행하기 위한 움직임 보상 유닛을 더 포함할 수 있다. 이 경우, 상기 제2 선택 유닛은 선택된 상기 움직임 추정 과정을 지시하는 움직임 추정 모드 정보를 출력할 수 있다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 스테레로스코픽 영상의 복호화 방법은 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터와 상기 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 분리하기 위한 역다중화 유닛, 및 상기 M×N 블록의 영상 데이터를 복호화하고, 복호화된 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하기 위한 블록 단위 복호화 유닛을 포함한다.

상기 실시예의 일 측면에 의하면, 상기 블록 부호화 모드 정보는 M×N 통합합성블록에 대하여 부호화를 수행하는 통합 방법 또는 M×N 분리합성블록에 대하여 부호화를 수행하는 분리 방법을 지시하는 것일 수 있다.

상기 실시예의 다른 측면에 의하면, 상기 역다중화 유닛은 M×N 블록의 영상 데이터에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 더 분리하고, 상기 스테레오스코픽 영상 복호화 장치는 상기 움직임 추정 모드 정보에 따라 움직임 보상 과정을 수행하기 위한 움직임 보상 유닛을 더 포함한다.

상기한 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하는 방법은 상기 좌영상의 홀수 또는 짝수 수평라인과 상기 우영상의 짝수 또는 홀수 수평라인으로부터 제1 통합합성영상을 생성하는 단계, 상기 제1 통합합성영상의 M×N 통합합성블록 및 상 기 M×N 통합합성블록에 대응하는 M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행하는 단계를 포함한다.

이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 후술하는 실시예는 본 발명의 기술적 사상을 설명하기 위한 목적이므로, 본 발명의 기술적 사상은 이 실시예에 의하여 한정되는 것으로 해석되어서는 안된다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성과 동일성이 있다면 양자는 균등한 구성으로 볼 수 있다. 본 실시예에 대한 설명 및 도면에서 각각의 구성요소에 부가된 참조 부호는 단지 설명의 편의를 위하여 기재된 것일 뿐이다.

엠펙-2 등의 멀티-뷰 프로파일에서 나타나는 좌우 영상간의 동기화 문제를 해결하고 모노스코픽 영상에 대한 기존의 영상 부호화 방식인 엠펙-1, 엠펙-2, 엠펙-4, H.264/AVC 등을 그대로 사용할 수 있는 스테레오스코픽 영상의 부호화 방법으로서, 좌우 영상을 각각 1/2의 해상도가 되는 영상으로 축소한 다음, 좌우의 축소 영상을 가로 방향(side-by-side format) 또는 세로 방향(top-down format)으로 결합한 합성영상(이하, '분리합성영상(Separate Combined Image)'이라 한다)으로 만들어서, 이 분리합성영상을 부호화함으로써 단일 부호화 스트림으로 출력하는 방식이 있다.

이 방식에 의하면, 예를 들어, 도 3에 도시된 바와 같이, 좌측 카메라를 통해 획득한 320x240 크기의 좌영상(10a)은 홀수 번째의 수직 라인만을 추출하여 160x240 크기의 축소 좌영상(12a)을 만들고, 우측 카메라를 통해 획득한 320x240 크기의 우영상(10b)은 짝수 번째의 수직 라인만을 추출하여 역시 160x240 크기의 축소 우영상(12b)을 만들어서, 이러한 160x240 크기를 갖는 좌우의 축소 영상을 가로 방향으로 결합한 320x240 크기를 갖는 분리합성영상(12)을 만들어서 부호화한다.

그러나 이러한 분리합성영상(12)을 기존의 방법을 이용하여 블록 단위로 부호화하는 경우에는 독립된 2개의 축소 영상(12a, 12b)이 각각 부호화되기 때문에, 분리합성영상 내에서 좌우 영상 사이에 존재하는 상관 정보를 이용할 수 없다. 그 결과, 데이터양이 많아져서 압축 효율이 떨어지며, 또한 디스플레이를 위해서는 좌우 영상을 다시 분리하여 통합합성영상을 생성하는 과정이 추가되어야 하는 약점이 있다.

다른 하나의 스테레오스코픽 영상에 대한 부호화 방법은 통합합성영상(Merged Combined Image)을 그대로 부호화하는 방법이다. 통합합성영상은 예컨대, 도 4에 도시된 바와 같이, 좌영상(20a)에서 추출된 홀수 번째 수직 라인과 우영상(20b)에서 추출된 짝수 번째 수직 라인을 교대로 배열한 영상(22)을 말한다. 물론 좌영상(20a)에서 짝수 번째 수직 라인을 추출하고 우영상(20b)에서 홀수 번째 수직 라인을 추출하거나 또는 좌우 영상(20a, 20b) 모두에서 수직 라인이 아니라 수평 라인을 추출하여 통합합성영상을 생성하는 것도 가능하다. 이러한 방법은 좌영상은 홀수(또는 짝수) 번째 수직(또는 수평)라인을 추출하고, 우영상은 짝수(또는 홀수) 번째 수직(또는 수평)라인을 추출한다는 점에서 전술한 분리합성영상에 대한 부호화 방법과 공통점이 있지만, 분리합성영상이 아닌 통합합성영상 자체에 대하여 부호화를 수행한다는 점에서는 상이하다.

이러한 통합합성영상을 부호화하는 방법은 통합된 1개의 영상에 대하여 부호화를 수행한다는 점에서 전술한 방법에 비하여 부호화 효율을 어느 정도 향상시킬 수 있는 장점이 있다. 그리고 이 방법은 입체 영상 디스플레이 방식 중에서 평면(2D) 영상과 입체(3D) 영상을 동시에 디스플레이하기 위한 유일한 방식인 배리어 타입(Barrier Type)의 디스플레이에서 이용되는 영상 포맷을 그대로 부호화한다는 점에서, 복호화 장치의 구성을 간단하게 할 수 있는 장점이 있다.

그런데, 기존의 부호화 방법에서는 MxN 블록(여기사, M, N은 각각 2이상의 자연수로서, 바람직하게는 4이상의 짝수이다) 단위로 부호화를 수행한다. 통합합성영상의 MxN 단위블록은 좌영상의 픽셀 라인과 우영상의 픽셀 라인이 서로 인접하여 배열되어 있는 통합합성블록(Merged Combined Block)의 형태를 갖는다. 이러한 통합합성블록은 원래 하나의 영상이었던 것처럼 블록 내에서 이미지 정보 즉, 영상 데이터로서 휘도 및 색차값이나 RGB값의 차이가 없을 수도 있지만, 경우에 따라서는 좌영상과 우영상의 이미지 정보의 차이가 크게 발생할 수도 있다. 그런데, 후자와 같은 경우에도 MxN 통합합성블록에 대하여 블록 단위로 부호화를 수행하는 경 우에는, 이러한 좌우 영상 간의 이미지 정보의 차이로 인하여 부호화 효율이 떨어질 수도 있다.

그리고 휘도 Y와 두 개의 색차 Cb, Cr 신호 사이의 표본화주파수의 비로 가장 보편적으로 이용되고 있는 4:2:0 방식을 이용하여 이러한 통합합성영상을 부호화하는 경우에는, 픽셀의 위치에 따라서는 색차 정보를 원본에 맞게 정확하게 표시할 수 없어서 칼라의 번짐 현상이 발생할 가능성이 높다. 이하, 도 5를 참조하여 이에 대하여 보다 구체적으로 설명한다.

도 5에는 휘도(Y)에 대한 16x16 통합합성블록 및 색차(Cb, Cr)에 대한 8x8 통합합성블록이 각각 도시되어 있다. 4:2:0 방식에서 색차 정보는 휘도 정보의 1/4만을 가지고 표현하므로, 휘도(Y)에 대한 16x16 통합합성블록 및 색차(Cb, Cr)에 대한 8x8 통합합성블록에 대응한다. 다시 말하면, 4:2:0 방식에서는 4개의 휘도 픽셀을 하나의 색차 픽셀로서 표현하게 된다. 예를 들어, 4개 픽셀로 구성된 제1 휘도(Y) 블록(40a)은 하나의 제1 색차(Cb, Cr) 픽셀(40b, 40c)로 표현되고, 다른 4개의 픽셀로 구성된 제2 휘도 블록(42a)도 하나의 제2 색차 픽셀(42b, 42c)로서 표현된다.

이 경우에, 상기 제1 색차(Cb, Cr) 픽셀(40b, 40c)과 제2 색차(Cb, Cr) 픽셀(42b, 42c)은 좌영상으로부터 추출된 픽셀인 첫 번째 수직 라인의 픽셀들과 우영상으로부터 추출된 픽셀인 두 번째 수직 라인의 픽셀들의 평균값 또는 중간값이 된다. 결국, 통합합성블록을 그대로 부호화할 경우에는 각각의 픽셀에 대하여 부정확한 색차값이 이용될 가능성이 높아서, 피사체의 원래 색상을 정확하게 재현하기 가 어렵다.

도 6은 본 발명에 따른 부호화 방법의 제1 실시예를 설명하기 위한 도면이다. 도 6에서 참조 번호 50은 도 3의 좌영상(10a)의 홀수 번째 수직 라인과 우영상(10b)의 짝수 번째 수직을 추출하여 구성한 통합합성영상이다. 전술한 바와 같이, 통합합성영상(50)은 예컨대, 좌영상의 홀수 번째 수직라인과 우영상의 짝수 번째 수직 라인이 교대로 배열된 구조이다. 하지만, 후술하는 본 발명의 실시예들은 상기 통합합성영상이 좌영상의 수평라인과 우영상의 수평라인이 교대로 배열된 구조에도 적용이 가능하다는 것은 당업자에게 자명하다. 이하에서는 통합합성영상이 좌영상의 수직라인과 우영상의 수직라인이 가로 방향으로 교대로 배치된 구조에 대해서만 설명한다.

그리고 도 6의 참조 번호 52a 및 52b는 통합합성영상(50)의 매크로블록A, B의 영상 특성을 보여주기 위한 것이다. 여기서 매크로블록A는 좌영상과 우영상의 영상 특성이 유사한 경우로서, 좌우 영상 간에 이미지 정보의 차이가 거의 없는 경우이다. 그리고 매크로블록B는 좌영상과 우영상의 영상 특성이 서로 다른 경우로서, 좌우 영상 간의 이미지 정보의 차이가 다소 존재하거나 큰 경우이다.

또한, 도 6의 참조 번호 54a는 통합합성영상(50)의 매크로블록A를 그대로 보여주는 통합합성블록을 나타낸다. 그리고 참조 번호 54b는 통합합성영상(50)의 매크로블록B 내에서 다시 좌영상의 픽셀 라인과 우영상의 픽셀 라인을 좌우로 분리하여 배치한 분리합성블록을 나타낸다.

본 실시예에 의하면, 통합합성영상(50)의 부호화 단위 블록의 영상 특성에 따라서 단위 블록 별로 적응적으로 부호화를 수행한다. 여기서, '적응적으로 부호화를 수행한다'는 것은 두 개 이상의 부호화 방법 중에서 하나의 방법을 선택하여 영상 데이터를 부호화하거나 또는 2개 이상의 방법으로 부호화된 데이터 중에서 압축 효율 등이 더 좋은 영상 데이터를 선택하고 선택된 영상 데이터만을 복호화 장치로 전송한다는 것을 의미한다.

보다 구체적으로, 본 실시예의 일 측면에 따른 부호화 방법에서는 부호화 단위 블록인 매크로블록을 통합합성블록(54a)의 형태로 블록 단위로 부호화(이하, '통합 방법'이라 한다)하거나 및/또는 분리합성블록(54b)인 형태로 블록 단위로 부호화(이하, '분리 방법'이라 한다)를 수행한다. 물론 분리 방법을 이용하여 부호화할 경우에는 좌측 8x16 블록과 우측 8x16 블록에 대하여 각각 부호화를 수행한다. 이 경우에 좌측 8x16 블록과 우측 8x16 블록 각각을 기존의 모노스코픽 영상에 대한 방법대로 독립적으로 부호화를 수행하거나 또는 좌측 8x16 블록에 대해서는 기존의 방법대로 부호화를 수행하고 우측의 8x16 블록에 대해서는 좌측의 8x16 블록에 대한 디스패러티(disparity) 정보만을 부호화하여 복호화 장치로 전송할 수도 있다.

상기 통합 방법과 분리 방법 중에서 어떤 방법으로 부호화를 수행할지 또는 상기 통합 방법과 분리 방법으로 부호화된 데이터 중에서 어떤 데이터를 복호화 장치로 전송할 지를 결정하는 기준은, 예컨대 압축 효율 등이 될 수 있다. 예를 들어, 전술한 2가지 방법으로 모두 부호화를 수행한 다음, 발생 비트량과 같은 압축 효율을 비교하여 부호화 성능이 더 우수한 방법으로 부호화된 영상 데이터를 선택하는 방법 등이 있을 수 있다. 하지만, 본 발명이 여기에만 한정되는 것은 아니다.

예를 들어, 도 6과 같은 경우에 매크로블록A는 좌우 영상의 영상 특성이 유사하므로 통합 방법을 이용하여 부호화를 수행하는 것이 더 효과적이고, 매크로블록B는 좌우 영상의 특성에 다소 차이가 있으므로 분리 방법을 이용하여 부호화를 수행하는 것이 더 효과적일 수 있다. 이 경우, 본 실시예에 의하면, 매크로블록A의 경우에는 통합 방법과 분리 방법 중에서 압축률이 더 좋은 통합 방법으로 부호화된 데이터가 선택되어 복호화 장치로 전송된다. 그리고 매크로블록B의 경우에는 통합 방법과 분리 방법 중에서 압축률이 더 좋은 분리 방법으로 부호화된 데이터가 선택되어 복호화 장치로 전송된다.

이러한 본 발명의 일 측면에 의하면, 통합합성 매크로블록(54a)에 대하여 더 작은 블록 단위로 부호화를 수행하는 것도 가능하다. 예를 들어, 매크로블록 단위가 아니라 16x8 블록, 8x16 블록, 8x8 블록, 8x4 블록, 4x8 블록, 또는 4x4 블록 단위로 부호화를 수행할 수도 있다. 그리고 분리합성 매크로블록(54b)에 대해서도 더 작은 블록 단위로 부호화를 수행하는 것도 가능하다. 예를 들어, 8x16 블록 단위가 아니라 8x8 블록, 8x4 블록, 4x8 블록, 또는 4x4 블록 단위로 부호화를 수행할 수 있다.

이와 같이, 본 발명에 의하면 통합 방법과 분리 방법 중에서 부호화 효율이 더 좋은 하나의 방법으로 부호화를 하거나 상기 두 개의 방법으로 부호화된 비트스트림 중에서 압축율이 더 좋은 비트스트림만을 선택하여 복호화 장치로 전송한다. 따라서 복호화 장치의 입장에서는 입력 비트스트림이 어떤 방법으로 부호화 되었는지를 알 필요가 있다. 이를 위하여 본 발명에서는 부호화 방법을 지시하는 정보로서 블록 단위 부호화 모드를 지시하는 정보를 단위 블록 당 1비트를 할당한다. 예를 들어, 통합 방법으로 부호화된 블록인 경우에는 '0'을 할당하고, 분리 방법으로 부호화된 블록인 경우에는 '1'을 할당할 수 있으며, 반대의 경우도 가능하다. 그리고 상기 1비트 정보는 블록 헤더 등에 포함되어 복호화 장치로 전송된다.

이러한 본 발명의 실시예에 따른 부호화 방법은 블록 단위로 부호화를 수행하는 과정에 대하여 적용이 가능하다. 기존의 동영상 부호화 방법에 의하여 움직임 추정 과정을 이용한 움직임 보상 과정이나 이산 여현 변환(Discrete Cosine Transform, DCT)과 같은 변환 과정, 그리고 양자화 과정에서 블록 단위로 부호화를 수행한다. 예컨대, 움직임 추정 과정은 현재 16x16 단위를 많이 사용하고 있지만 8x8 단위, 16x8 단위, 또는 8x4 단위 등도 사용되고 있으며, 변환 과정과 양자화 과정은 16x16 또는 8x8을 대표적으로 사용한다.

따라서 본 발명의 실시예에 따른 적응적 부호화 방법은 움직임 추정 과정 및/또는 변환 과정과 양자화 과정에 적용이 가능하다. 그리고 본 발명의 실시예에 따라 분리 방법으로 움직임 추정 과정을 수행하는 경우에는 단위 블록 당 2개의 움직임 벡터를 전송하게 된다.

다음으로 본 발명의 제1 실시예에 따른 휘도Y와 색차Cb, Cr 신호의 표본화주파수의 비를 설명한다. 본 발명에 의하면, 분리 방법을 이용하여 부호화하는 경우에는 기존의 부호화 방법과 마찬가지로 표본화주파수의 비를 설정하더라도 원래 피사체의 색상을 재현하기가 용이하다. 그러나 통합 방법을 이용하는 경우에는 상기 분리 방법을 이용하는 것보다 추출되는 색차 픽셀의 수가 2배가 되는 표본화주파수의 비를 이용하는 것이 바람직하다. 예를 들어, 분리 방법의 경우에 표본화주파수의 비가 4:2:0이라면, 통합방법의 경우에는 표본화주파수의 비가 4:2:2가 될 수 있다. 이하, 도 7a 및 도 7b를 참조하여, 이에 대하여 보다 구체적으로 설명한다. 그러나 실시예에 따라서는 통합방법의 경우에도 분리 방법의 경우와 동일한 표본화주파수의 비를 이용할 수도 있다는 것은 당업자에게 자명하다.

도 7a는 분리 방법에서 표본화 주파수의 비로 4:2:0을 이용하는 경우이다. 도 7a를 참조하면, 분리 방법에서는, 기존의 부호화 방법에서와 마찬가지로, 16x16 휘도 분리합성블록(60)의 4개의 휘도 픽셀당 색차 분리합성블록(62, 64)의 1개의 색차 픽셀을 추출하여 부호화를 수행한다. 즉, 분리 방법에서는 16x16 휘도 분리합성블록(60)에 대하여 1개의 8x8 Cb 분리합성블록(62) 및 1개의 8x8 Cr 분리합성블록(64)이 대응한다. 이 경우, 휘도 분리합성블록(60) 내에서 좌영상으로부터 추출된 4개의 픽셀(60a)은 색차 분리합성블록(62, 64) 내에서 좌영상으로부터 추출된 1개의 픽셀(62a, 64a)에 대응하고, 휘도 분리합성블록(60) 내에서 우영상으로부터 추출된 4개의 픽셀(60b)은 역시 색차 분리합성블록(62, 64) 내에서 추출된 1개의 픽셀(62b, 64b)에 대응하므로, 칼라의 번짐 현상이 발생하지 않아서 피사체의 원래 색상을 정확하게 재현하는 것이 가능하다.

도 7b는 통합 방법에서 표본화 주파수의 비로 4:2:2를 이용하는 경우로서, 분리 방법에 비하여 추출되는 색차 픽셀의 수가 가로 방향으로 2배가 되는 경우이다. 즉, 통합 방법에서는 세로 방향으로 인접한 2개의 휘도 픽셀 당 하나의 색차 픽셀을 추출하므로, 16x16 휘도 통합합성블록(70)에 대하여 2개의 8x8 Cb 블록(72) 및 2개의 8x8 Cr 블록(74)이 대응한다. 여기서, 상기 2개의 8x8 Cb 블록(72)은, 도 7b에 도시된 바와 같이 좌영상에서 추출된 픽셀과 우영상에서 추출된 픽셀이 구분되어 배열된 서로 다른 2개의 8x8 블록으로 구성되거나, 또는 2개의 8x8 Cb 통합합성블록으로 구성될 수도 있다. 그리고 상기 2개의 8x8 Cr 블록(74)도, 도 7b에 도시된 바와 같이 좌영상에서 추출된 픽셀과 우영상에서 추출된 픽셀이 구분되어 배열된 서로 다른 2개의 8x8 블록으로 구성되거나, 또는 2개의 8x8 Cr 통합합성블록으로 구성될 수도 있다.

이 경우, 휘도 분리합성블록(70) 내에서 좌영상으로부터 추출된 2개의 픽셀(70a)은 색차 블록(72, 74) 내에서 좌영상으로부터 추출된 1개의 픽셀(72a, 74a)에 대응하고, 휘도 분리합성블록(70) 내에서 우영상으로부터 추출된 2개의 픽셀(70b)은 역시 색차 블록(72, 74) 내에서 추출된 1개의 픽셀(72b, 74b)에 대응한다. 이러한 본 발명의 실시예에 의하면, 분리 방법에 비하여 통합 방법에서는 색차 정보를 2배로 추출함으로써, 통합 방법을 이용하는 경우에도 칼라의 번짐 현상이 발생하지 않아서 피사체의 원래 색상을 정확하게 재현하는 것이 가능하다.

다음으로, 본 발명의 제2 실시예에 대하여 설명한다. 본 발명의 제2 실시예에 의하면, 좌측 카메라와 우측 카메라를 통해서 입력되는 좌영상과 우영상에 관한 이미지 정보를 모두 활용하여 부호화할 수도 있다. 도 8은 이러한 본 발명의 제2 실시예를 설명하기 위한 도면이다.

도 8을 참조하면, 통합합성영상(80)이 도 6의 통합합성영상(50)에 비하여 가로축으로 2배 커진 모습을 볼 수 있다. 전술한 바와 같이, 도 6의 통합합성영상(50)은 좌영상의 홀수 번째(또는 짝수 번째) 수직라인을 통합합성영상(50)의 홀수 번째(또는 짝수 번째) 수직라인에 배치하고 우영상의 짝수 번째(또는 홀수 번째) 수직라인을 통합합성영상(50)의 짝수 번째(또는 홀수 번째) 수직 라인에 배치하여 만든 영상이다. 반면, 도 8의 통합합성영상(80)은 좌영상의 수직라인 모두를 가지고 통합합성영상(80)의 홀수 번째(또는 짝수 번째) 수직라인에 배치하고 우영상의 수직라인 모두를 가지고 통합합성영상(80)의 짝수 번째(또는 홀수 번째) 수직라인에 배치하여 만든 영상이다.

본 실시예에서는 도 8의 통합합성영상(80)을 이용하여 도 6의 통합합성영상(50)과 동일한 방법으로 부호화를 수행한다는 점을 제외하고는 전술한 제1 실시예와 동일하다. 따라서 전술한 제1 실시예에 대해서 설명한 모든 내용이 본 실시예에도 동일하게 적용될 수 있다. 이하에서는, 전술한 제1 실시예와의 차이점에 대해서만 설명한다.

본 실시예에서는, 예를 들어, 참조 번호 82에 도시된 바와 같이 통합 방법을 이용하여 매크로블록 단위로 부호화를 수행하고, 참조 번호 84에 도시된 바와 같이 분리 방법을 이용하여 매크로블록 단위로 부호화를 수행한다. 그리고 상기 2가지 부호화 방법 중에서 압축 효율이 더 좋은 방법으로 부호화된 데이터를 선택하여 부호화 방법에 관한 정보와 함께 복호화 장치로 전송한다. 그리고 도 8의 통합합성영상(80)으로부터 추출된 매크로블록(82, 84)은 통합 방법이던 분리 방법이던 좌영상과 우영상의 상관성이 매우 높기 때문에, 우영상에 대해서는 좌영상에 대한 디스패러티 정보로 변환하여 복호화 장치로 전송할 수도 있다.

이러한 본 발명의 실시예는 좌영상과 우영상에 관한 모든 정보를 복호화 장치로 전송하기 때문에, 비록 전송 데이터 양이 증가하는 단점은 있지만 보다 고화질의 영상을 디스플레이할 수 있는 장점이 있다. 그리고 본 실시예는 배리어 타입의 디스플레이 장치 만이 아니라 좌영상과 우영상에 대한 모든 정보를 필요로 하는 디스플레이 장치의 경우에도 적용이 가능하다.

다음으로 본 발명의 제3 실시예에 대하여 설명한다. 본 발명의 제3 실시예는, 전술한 본 발명의 제1 실시예와 제2 실시예를 모두 적용하여 부호화를 수행한 다음, 그 중에서 압축 효율이 제일 높은 방법에 따라 부호화된 데이터를 선택하여 복호화 장치로 전송한다.

예를 들어, 본 발명의 제3 실시예에 의하면, 좌영상과 우영상으로부터 도 6의 통합합성영상(50)과 도 8의 통합합성영상(80)을 구성한다. 그리고 각각의 통합합성영상(50, 80)에 대하여 통합 방법과 분리 방법을 이용하여 부호화를 수행한 다 음, 그 중에서 부호화 효율이 가장 높은 방법으로 부호화된 데이터를 선택한 다음, 선택된 데이터에 대한 부호화 방법을 나타내는 정보와 함께 복호화 장치로 전송한다.

여기서 상기 부호화 방법을 나타내는 정보는 2비트의 고정장 부호를 이용하여 표현할 수 있다. 예컨대, 통합합성영상(50)에 대하여 통합방법과 분리방법을 이용하여 부호화한 경우를 각각 부호 '00'및 '01'로 표시하고, 통합합성영상(80)에 대하여 통합방법과 분리방법을 이용하여 부호화한 경우를 각각 부호 '10' 및 '11'로 표시할 수 있다. 하지만 부호화 방법을 나타내는 정보는 가변장 부호를 이용하여 표현하거나 Exp-Golomb 부호를 이용하여 표현하는 것도 가능하다.

다음으로 본 발명의 실시예에 따른 스테레오스코픽 영상의 부호화 장치와 복호화 장치에 대하여 설명한다.

도 9a는 본 발명의 제4 실시예에 따른 스테레오스코픽 영상의 부호화 장치의 일부 구성을 보여주는 블록도이고, 도 9b는 본 발명의 제5 실시예에 따른 스테레오스코픽 영상의 부호화 장치의 일부 구성을 보여주는 블록도이다. 이하에서는, 움직임 추정 및 움직임 보상 과정을 포함하는 P-픽쳐 및 B-픽쳐에 대한 부호화 과정에 대해서만 설명하지만, 본 발명의 실시예에 따른 부호화 장치가 I-픽쳐에 대한 부호화 과정에도 적용될 수 있다는 것은 당업자에게 자명하다.

도 9a를 참조하면, 스테레오스코픽 영상의 부호화 장치(100)는 움직임 추정부(102), 움직임 보상부(104), 단위 블록 부호화부(106), 다중화부(108), 저장 부(110)와 제1 가산기(112) 및 제2 가산기(114)를 포함하여 구성된다.

움직임 추정부(102)는 입력되는 좌영상 및 우영상과 저장부(110)에 저장된 이전 프레임의 복원된 영상, 즉 이전 프레임의 통합합성영상을 이용하여 움직임 추정을 진행한다. 움직인 추정에서는 전술한 본 발명의 제1 실시예 내지 제3 실시예 중에서 한 가지 방법을 이용하여 소정 크기의 블록 단위로 움직임 추정을 수행한다. 전술한 바와 같이, 본 발명의 실시에에 의하면, 통합 방법과 분리 방법을 이용하여 움직임 추정을 수행할 수 있다. 따라서 움직임 추정부(102)는 움직임 추정 시에 어떠한 방법을 이용하여 움직임 추정을 하였는지를 나타내는 움직임 추정 모드를 생성하여 구해진 움직임 벡터와 함께 다중화부(108)로 출력한다. 물론, 전술한 바와 같이, 분리 방법을 이용하여 움직임 추정을 수행한 경우에는 단위 블록 당 2개의 움직임 벡터가 생성되므로, 출력되는 움직임 벡터도 단위 블록 당 2개가 된다.

움직임 보상부(104)는 움직임 추정부(102)로부터 입력되는 정보와 저장부(110)에 저장되어 있는 이전 프레임의 복원된 영상을 이용하여 움직임 보상을 수행한다. 그리고 움직임 보상의 결과 생성된 예측 영상은 제1 가산기(112)로 출력한다.

제1 가산기(112)는 움직임 보상부(104)로부터 입력되는 예측 영상과 현재 영상을 차분하여, 오차 영상을 생성하여 출력한다.

단위 블록 부호화부(106)는 제1 가산기(112)로부터 입력되는 오차 영상에 대하여 변환 과정 및 양자화 과정 등과 같은 부호화 과정을 수행한다. 단위 블록 부 호화부(106)에서는 전술한 본 발명의 제1 실시예 내지 제3 실시예 중에서 한 가지 방법을 이용하여 소정 크기의 블록 단위로 부호화를 수행한다. 전술한 바와 같이, 본 발명의 실시에에 의하면, 통합 방법과 분리 방법을 이용하여 부호화 과정을 수행할 수 있다. 따라서 단위 블록 부호화부(106)는 변환 및 양자화 시에 어떠한 방법을 이용하여 부화화를 하였는지를 나타내는 블록 부호화 모드 정보를 생성하여 구해진 양자화 계수와 함께 다중화부(108)로 출력한다. 물론, 다중화부(108)로 입력되기 전에 양자화 계수에 대해서는 통상적인 엔트로피 부호화 과정이 수행된다는 것은 당업자에게 자명하다.

그리고 다중화부(108)는 움직임 추정 모드 정보 및/또는 블록 부호화 모드 정보와 단위 블록 부호화부(106)를 거쳐서 엔트로피 부호화된 정보 모두를 다중화한다. 그리고 다중화부(108)에서 다중화된 비트스트림은 복호화 장치로 전송되거나 저장 매체에 저장된다.

한편, 단위 블록 부호화부(106)에서 부호화된 양자화 계수는 역양자화 및 역변환 과정(도시하지 않음)을 거쳐서, 입력되는 다음 프레임의 부호화를 위하여 저장부(110)에 저장된다.

도 9b를 참조하면, 본 발명의 제5 실시예에 따른 스테레오스코픽 영상의 부호화 장치(100')는 전술한 제4 실시예에 따른 부호화 장치(100)에 색차 정보 부호화부(120)를 더 포함하여 구성된다. 이하에서는, 전술한 제4 실시예에 따른 부호화 장치(100)와의 차이점에 대해서만 설명한다.

색차 정보 부호화부(120)는 단위 블록 부호화부(106)에서 통합방법을 이용하여 부호화를 한 경우에, 우영상의 단위 블록 칼라정보를 부호화하기 위한 수단이다. 그리고 색차 정보 부호화부(120)에서 부호화된 우영상의 단위 블록 칼라정보도 다른 정보와 함께 엔트로피 부호화 과정을 거쳐서 다중화부(108)로 입력된다. 그리고 다중화부(108)는 이 추가 정보도 함께 포함하여 비트스트림을 만들어서 복호화 장치로 전송한다.

이러한 색차 정보 부호화부(120)는 비록 도면에서는 단위 블록 부호화부(106)와 독립적인 구성 요소인 것으로 도시되어 있지만, 실시예에 따라서는 단위 블록 부호화부(106)와 통합된 구성 요소일 수도 있다. 이러한 경우에는 단위 블록 부호화부(106)에서 단위 블록 부호화부(106)에서 좌영상의 단위 블록 칼라정보를 부호화할 뿐만 아니라, 우영상의 단위 블록 칼라정보도 함께 부호화를 수행한다.

본 실시예의 일 측면에 의하면, 전술한 바와 같이, 단위 블록 부호화부(106)에서 좌영상의 색차 정보를 부호화하고, 색차 정보 부호화부(120)에서는 우영상의 색차 정보에 대하여 부호화를 수행한다. 반면, 전술한 것과는 반대로 단위 블록 부호화부(106)에서 우영상의 색차 정보를 부호화하고, 색차 정보 부호화부(120)에서는 좌영상의 색차 정보에 대하여 부호화를 수행할 수도 있다. 또한, 실시예에 따라서는 단위 블록 부호화부(106)에서 좌영상의 색차 정보와 우영상의 색차 정보를 1/2 단위 블록에 해당하는 만큼 부호화를 수행한 다음, 나머지 1/2 단위 블록에 해당하는 좌영상의 색차 정보와 우영상의 색차 정보는 색차 정보 부호화부(120)에서 부호화를 수행할 수도 있다.

도 10a는 본 발명의 제6 실시예에 따른 스테레오스코픽 영상의 복호화 장치의 일부 구성을 보여주는 블록도이고, 도 10b는 본 발명의 제7 실시예에 따른 스테레오스코픽 영상의 복호화 장치의 일부 구성을 보여주는 블록도이다. 이하에서는, 부호화 장치에서와 마찬가지로 움직임 추정 및 움직임 보상 과정을 포함하는 P-픽쳐 및 B-픽쳐에 대한 복호화 과정에 대해서만 설명하지만, 본 발명의 실시예에 따른 복호화 장치가 I-픽쳐에 대한 복호화 과정에도 적용될 수 있다는 것은 당업자에게 자명하다.

도 10a를 참조하면, 스테레오스코픽 영상의 복호화 장치(200)는 역다중화부(202), 단위블록 복호화부(204), 움직임 보상부(206), 저장부(208), 및 가산기(210)를 포함하여 구성된다.

역다중화부(202)는 입력 비트스트림을 부호화된 영상 데이터와 부가 정보 등으로 분리한다. 부호화된 영상 데이터는 엔트로피 복화화 과정을 거쳐서 단위 블록 복호화부(204)로 전송되고, 부가 정보는 예컨대, 블록 복호화 모드 정보, 움직임 벡터 정보, 및 움직임 추정 모드 정보 등을 포함하는데, 이들은 각각 필요한 유닛으로 보내진다.

단위블록 복호화부(204)는 역다중화부(202)로부터 입력되는 엔트로피 복호화된 영상 데이터에 대한 복호화 과정, 예컨대 역양자화 과정 및 역변환 과정을 수행한다. 이러한 역양자화 과정 및 역양자화 과정에서는 블록 헤더 등에 포함되어 있는 블록 부호화 모드 정보를 참조하여, 부호화된 영상 데이터가 통합 방법을 이용 하여 부호화되었는지 또는 분리 방법을 이용하여 부호화되었는지를 판단한 다음, 그에 대응하여 적응적으로 복호화를 수행한다.

움직임 보상부(206)는 역다중화부(202)로부터 출력되는 움직임 벡터 및 움직임 추정 모드 정보와 저장부(208)에 저장되어 있는 이전 프레임의 복원된 영상 데이터를 이용하여 움직임 보상을 수행한다. 본 움직임 보상 단계에서도, 움직임 추정 모드 정보를 참조하여 통합 방법 또는 분리 방법을 이용하여 움직임 보상을 수행하여, 예측 영상을 가산기(210)로 출력한다.

가산기(210)는 단위블록 복호화부(204)로부터 입력되는 복호화된 차분 영상 데이터와 움직임 보상부(206)로부터 출력되는 예측 영상 데이터를 합산하여 현재 영상, 즉 통합 합성 영상을 복원한다. 그리고 복원된 통합 합성 영상은 디스플레이 장치로 출력됨과 동시에, 저장부(208)에 저장된다.

도 10b를 참조하면, 본 발명의 제7 실시예에 따른 스테레오스코픽 영상의 복호화 장치(200')는 전술한 제6 실시예에 따른 복호화 장치(200)에 색차 정보 복호화부(220)를 더 포함하여 구성된다. 이하에서는, 전술한 제6 실시예에 따른 복호화 장치(200)와의 차이점에 대해서만 설명한다.

색차 정보 복호화부(120)는 역다중화부(202)로부터 출력되는 부호화된 색차 데이터에 대한 복호화를 수행한다. 이러한 색차 정보 복호화부(120)에서의 복호화 과정은 전술한 부호화 장치(100')에서의 부호화 과정에 대응하여 수행된다. 그리고 색차 정보 복호화부(120)에서 복호화된 정보는 단위 블록 복호화부(204)에서 복 호화된 정보와 함께, 출력 영상인 통합 합성 영상을 복원하는데 이용된다.

다음으로, 본 발명의 일 실시예에 따른 부호화 방법에 의한 테스트 결과를 기존의 동영상 코덱을 이용한 테스트 결과와 비교하여 설명한다.

우선 테스트 조건은 다음과 같다.

1. 스테레오스코픽 동영상 국제표준기술 특허내용 압축율을 비교한 내용으로, 전체 테스트량의 20% 정도에 해당하는 영상에 대한 압축률 비교를 통하여 전체 압축률을 예측할 수 있었다.

2. 테스트 영상은 도 11a 내지 도 11i에 도시된 바와 같이, 9가지 영상(320x240) 각각에 대하여 엠펙-4 부호화에서 I-픽쳐 부호화를 이용하여 압축율을 비교하였다. 이하의 테스트 결과에서 단위 블록 당 1 내지 2 비트가 발생하는 헤더 정보는 발생 비트수에 포함시키지 않았으며, 이산여현변환(DCT) 데이터를 가지고 테스트를 하였다.

3. 통합합성영상의 발생 비트량(도 11a 및 도 11b에서 10005MUX, 20015MUX로 표시된 영상), 분리합성영상의 발생 비트량(도 11a 내지 도 11i에서 숫자 뒤에 LR이 붙어있는 영상), 전술한 본 발명의 제1 실시예에서와 같이, 8x8 블록을 8x4 단위로 구분하여 선택적으로 계산한 양, 및 전술한 본 발명의 제2 실시예에서와 같이, 16x8 블록을 8x8 블록 단위로 구분하여 선택적으로 계산한 양을 비교하였다.

4. 테스트에서는 객관적 화질(PSNR)에 대해서도 계산하였으나 평균적으로 0.4dB 이하의 오차를 보임으로서 별도로 기재하지 않았다. 양자화 스텝 사이즈로 서 H.263 양자화로 Q=10으로 설정하였다.

5. 8x4 블록은 블록개수비트(1200비트)를 전체에서 추가비트로 포함하여 비교하여야 하고, 16x8 블록은 블록개수비트(600비트)를 전체에서 추가비트로 포함하여 비교하여야 한다.

6. 선택하는 방법은 도 12a 및 도 12b와 같이 2가지 경우에 대해서 모두 부호화를 한 후에 비트량이 적은 것으로 선택하였다. 여기서 도 12a는 8x4 블록에 대하여 본 발명에 따라서 부호화하는 것(표 1의 방법 1)을 보여주는 것이고, 도 12b는 16x8 블록에 대하여 본 발명에 따라서 부호화하는 것(표 1의 방법 2)을 보여주는 것이다.

- 테스트 결과

1. 표 1을 참조하면, 스테레오스코픽 동영상 국제표준기술에서 본 발명에 따른 부호화 방법을 이용하여 부호화를 수행할 경우에, 정지 영상(JPEG)에서도 탁월한 효과가 나타나는 것을 알 수 있다. 특히, 16x8 블록에 대하여 본 발명에 따라서 부호화하는 기술은 9가지의 영상에서 1개의 특이한 영상을 제외하고 5~30%까지의 데이터 감축 효과를 보이고 있다는 것을 알 수 있다. 도 11h 영상의 경우에는 도면을 통해서도 알 수 있는 바와 같이, 좌영상과 우영상의 밝기와 칼라의 차이가 아주 심한 경우이므로, 도 11h 영상의 경우에는 테스트 대상에서 제외하는 것이 바람직하다.

2. 8x4 블록에 대하여 본 발명에 따라서 부호화하는 경우에는 도 11e, 도 11f, 및 도 11h에서 분리합성영상(LR)보다 데이터량이 많이 발생하는데, 이들 영상의 공통점도 역시 좌영상과 우영상의 차이가 심한 영상이라는 사실이다. 다른 영상들, 즉 좌영상과 우영상의 밝기가 비슷한 경우에는 모두 5~30% 까지의 압축률 향상 효과가 나타나고 있는 것을 알 수 있다.

3. 동영상의 경우에 움직임 추정 방법을 선택적으로 하는 것을 추가한다면, 압축율을 최고 40% 이상 향상시킬 수 있을 것으로 예측된다.

이상에서 상술한 바와 같이, 본 발명에서는 좌, 우 카메라를 이용하여 스테레오스코픽 영상을 만들어 내고 이를 편광 배리어 판넬이 장착된 디스플레이 장치에서 디스플레이함으로써 입체 영상을 보려고 할 때, 기존의 동영상 코덱이 해결할 수 없는 공간 상의 데이터의 중복성을 단위 블록 당 부가 정보를 추가로 전송함으로써 이미 검증된 방법으로 데이터의 압축율을 높일 수 있다.

그리고 본 발명에 의하면, 기존의 동영상 코덱이 해결할 수 없는 칼라 정보 의 불일치에서 발생하는 칼라 번짐 현상을 효과적으로 제거하기 위해 추가의 칼라 정보를 전송함으로써 스테레오스코픽 영상의 칼라 화질을 대폭 향상시킬 수 있다.

Claims (25)

1. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하는 방법에 있어서,

   (a) 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하는 단계;

   (b) 상기 제1 통합합성영상의 M×N 통합합성블록 및 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행하는 단계를 포함하는 스테레오스코픽 영상의 부호화 방법.
2. 제1항에 있어서, 상기 (b)단계는

   (b-1) 상기 M×N 통합합성블록에 대해서는 통합 방법을 이용하여 부호화를 수행하고, 상기 M×N 분리합성블록에 대해서는 분리 방법을 이용하여 부호화를 수행하는 단계; 및

   (b-2) 상기 통합 방법에 따른 부호화 데이터와 상기 분리 방법에 따른 부호화 데이터를 비교하여, 상기 두 가지 방법 중 하나의 방법으로 부호화된 부호화 데이터만을 선택하여 출력하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
3. 제2항에 있어서, 상기 (b-2) 단계에서는 선택된 부호화 방법을 지시하는 블 록 부호화 모드 정보 및/또는 움직임 추정 모드 정보도 함께 출력하는 것을 특징으로 스테레오스코픽 영상의 부호화 방법.
4. 제3항에 있어서, 상기 (b-1) 단계에서 부호화를 수행하는 단계에서는 움직임 추정 과정 및/또는 변환 과정을 수행하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
5. 제4항에 있어서, 상기 (b-1)단계에서 부호화를 수행하는 단계에서는 상기 움직임 추정 과정을 수행하고,

   상기 분리 방법을 이용하여 상기 움직임 추정 과정을 수행하는 경우에는 상기 (b-2) 단계에서 M/2×N 블록이나 M×N/2 블록 또는 그보다 작은 블록 단위로 움직임 예측을 수행하여 2개 또는 그 이상의 움직임 벡터를 구하여 출력하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
6. 제2항에 있어서, 상기 통합 방법을 이용한 부호화에서는 표본화 주파수의 비로 4:2:2를 이용하고, 상기 분리 방법을 이용한 부호화에서는 표본화 주파수의 비로 4:2:0을 이용하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
7. 제1항에 있어서, 상기 (a) 단계에서는 상기 좌영상의 모든 수직 라인과 상기 우영상의 모든 수직 라인으로부터 제2 통합합성영상을 더 생성하고,

   상기 (b)단계에서는 상기 제1 통합합성영상의 M×N 통합합성블록, 상기 M×N 분리합성블록, 상기 제2 통합합성영상의 2M×N 통합합성블록, 및 상기 2M×N 통합합성영상으로부터 구해진 2M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
8. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 블록 단위로 부호화하여 그 블록 단위의 부호화와 관련된 정보가 포함된 블록 헤더 데이터를 생성하는 방법에 있어서,

   상기 블록 헤더 데이터는 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상의 M×N 블록에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 포함하고,

   상기 블록 부호화 모드 정보는 통합합성블록에 대하여 부호화를 수행하는 제1 통합 방법 또는 분리합성블록에 대하여 부호화를 수행하는 제1 분리 방법을 지시하는 것을 특징으로 하는 스테레오스코픽 영상의 블록 헤더 데이터의 생성방법.
9. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 블록 단위로 부호화하여 그 블록 단위의 부호화와 관련된 정보가 포함된 블록 헤더 데이터를 생성하는 방법에 있어서,

   상기 블록 헤더 데이터는 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상의 M×N 블록에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 포함하고,

   상기 움직임 추정 모드 정보는 통합합성블록을 이용하여 움직임 추정을 수행하는 제2 통합 방법 또는 분리합성블록에 대하여 부호화를 수행하는 제2 분리 방법을 지시하는 것을 특징으로 하는 스테레오스코픽 영상의 블록 헤더 데이터의 생성방법.
10. (a) 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 복호화하는 단계; 및

    (b) 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하는 단계를 포함하는 스테레오스코픽 영상의 복호화 방법.
11. 제10항에 있어서, 상기 블록 부호화 모드 정보는 M×N 통합합성블록에 대하여 부호화를 수행하는 통합 방법 또는 M×N 분리합성블록에 대하여 부호화를 수행하는 분리 방법을 지시하는 것을 특징으로 하는 스테레오스코픽 영상의 복호화 방법.
12. 제11항에 있어서, 상기 블록 부호화 모드 정보가 상기 통합 방법을 지시하는 경우에는 상기 M×N 블록의 영상 데이터가 표본화 주파수의 비로 4:2:2를 이용하여 부호화된 것이고, 상기 분리 방법을 지시하는 경우에는 상기 M×N 블록의 영상 데이터가 표본화 주파수의 비로 4:2:0을 이용하여 부호화된 것을 특징으로 하는 스테레오스코픽 영상의 복호화 방법.
13. (a) 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인 으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 복호화하는 단계; 및

    (b) 상기 움직임 추정 모드 정보에 따라서 상기 M×N 블록의 영상 데이터에 대하여 적응적으로 움직임 보상 과정을 수행하는 단계를 포함하는 스테레오스코픽 영상의 복호화 방법.
14. 제13항에 있어서, 상기 움직임 추정 모드 정보는 상기 분리 방법을 지시하는 정보이고,

    상기 (b) 단계에서는 2개 또는 그 이상의 움직임 벡터를 이용하여 상기 M×N 블록의 영상 데이터를 복원하는 것을 특징으로 하는 스테레오스코픽 영상의 복호화 방법.
15. (a) 좌영상의 모든 수직라인과 우영상의 모든 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 복호화하는 단계; 및

    (b) 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하는 단계를 포함하는 스테레오스코픽 영상의 복호화 방법.
16. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하는 방법에 있어서,

    (a) 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하는 단계;

    (b) 상기 제1 통합합성영상의 M×N 통합합성블록에 대한 블록 단위 부호화를 수행하여 제1 부호화 데이터를 생성하고, 그리고 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록에 대한 블록 단위 부호화를 수행하여 제2 부호화 데이터를 생성하는 단계; 및

    (c) 상기 제1 부호화 데이터와 상기 제2 부호화 데이터 중에서 선택된 하나의 부호화 데이터와 상기 선택된 부호화 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 출력하는 단계를 포함하는 스테레오스코픽 영상의 부호화 방법.
17. 제16항에 있어서, 상기 (b)단계 이전에

    상기 M×N 통합합성블록을 이용하여 움직임 추정을 수행하는 제1 움직임 추정 과정과 상기 M×N 분리합성블록을 이용하여 움직임 추정을 수행하는 제2 움직임 추정 과정을 각각 수행하는 단계;

    상기 제1 움직임 추정 과정과 상기 제2 움직임 추정 과정 중에서 하나의 움직임 추정 과정을 선택하는 단계; 및

    선택된 상기 움직임 추정 과정에 따라서 움직임 보상을 수행하는 단계를 포 함하는 스테레오스코픽 영상의 부호화 방법.
18. 제17항에 있어서, 상기 움직임 추정 과정을 선택하는 단계에서는 선택된 상기 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 출력하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 방법.
19. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하기 위한 장치에 있어서,

    (a) 상기 좌영상의 홀수 또는 짝수 수직라인과 상기 우영상의 짝수 또는 홀수 수직라인으로부터 제1 통합합성영상을 생성하기 위한 통합합성영상 생성 유닛;

    (b) 상기 제1 통합합성영상의 M×N 통합합성블록에 대한 블록 단위 부호화를 수행하여 제1 부호화 데이터를 생성하고, 그리고 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록에 대한 블록 단위 부호화를 수행하여 제2 부호화 데이터를 생성하기 위한 블록 단위 부호화 유닛; 및

    (c) 상기 제1 부호화 데이터와 상기 제2 부호화 데이터 중에서 하나의 부호화 데이터를 선택하고, 상기 선택된 부호화 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 출력하기 위한 제1 선택 유닛을 포함하는 스테레오스코픽 영상의 부호화 장치.
20. 제19항에 있어서, 상기 스테레오스코픽 영상의 부호화 장치는

    상기 M×N 통합합성블록을 이용하여 움직임 추정을 수행하는 제1 움직임 추정 과정과 상기 M×N 분리합성블록을 이용하여 움직임 추정을 수행하는 제2 움직임 추정 과정을 각각 수행하기 위한 움직임 추정 유닛;

    상기 제1 움직임 추정 과정과 상기 제2 움직임 추정 과정 중에서 하나의 움직임 추정 과정을 선택하기 위한 제2 선택 유닛; 및

    선택된 상기 움직임 추정 과정에 따라서 움직임 보상을 수행하기 위한 움직임 보상 유닛을 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 장치.
21. 제20항에 있어서, 상기 제2 선택 유닛은 선택된 상기 움직임 추정 과정을 지시하는 움직임 추정 모드 정보를 출력하는 것을 특징으로 하는 스테레오스코픽 영상의 부호화 장치.
22. 좌영상의 홀수 또는 짝수 수직라인과 우영상의 짝수 또는 홀수 수직라인으로부터 생성된 통합합성영상에 대한 부호화된 비트스트림으로부터, 상기 통합합성영상의 M×N 블록의 영상 데이터와 상기 M×N 블록의 영상 데이터에 대한 부호화 방법을 지시하는 블록 부호화 모드 정보를 분리하기 위한 역다중화 유닛; 및

    상기 M×N 블록의 영상 데이터를 복호화하고, 복호화된 상기 블록 부호화 모드 정보에 따라서 상기 M×N 블록의 영상 데이터를 적응적으로 복호화하기 위한 블록 단위 복호화 유닛을 포함하는 스테레오스코픽 영상의 복호화 장치.
23. 제22항에 있어서, 상기 블록 부호화 모드 정보는 M×N 통합합성블록에 대하여 부호화를 수행하는 통합 방법 또는 M×N 분리합성블록에 대하여 부호화를 수행하는 분리 방법을 지시하는 것을 특징으로 하는 스테레오스코픽 영상의 복호화 장치.
24. 제22항에 있어서, 상기 역다중화 유닛은 M×N 블록의 영상 데이터에 대한 움직임 추정 방법을 지시하는 움직임 추정 모드 정보를 더 분리하고,

    상기 스테레오스코픽 영상 복호화 장치는 상기 움직임 추정 모드 정보에 따라 움직임 보상 과정을 수행하기 위한 움직임 보상 유닛을 더 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 복호화 장치.
25. 좌영상과 우영상으로 구성된 스테레오스코픽 영상을 부호화하는 방법에 있어서,

    (a) 상기 좌영상의 홀수 또는 짝수 수평라인과 상기 우영상의 짝수 또는 홀수 수평라인으로부터 제1 통합합성영상을 생성하는 단계;

    (b) 상기 제1 통합합성영상의 M×N 통합합성블록 및 상기 M×N 통합합성블록에 대응하는 M×N 분리합성블록을 이용하여 적응적으로 부호화를 수행하는 단계를 포함하는 스테레오스코픽 영상의 부호화 방법.

Images