KR20080064354A

KR20080064354A - 영상 부호화 및 복호화 방법과 장치

Info

Publication number: KR20080064354A
Application number: KR1020070001161A
Authority: KR
Inventors: 조대성; 김현문; 김우식; 드미트리 비리노브
Original assignee: 삼성전자주식회사
Priority date: 2007-01-04
Filing date: 2007-01-04
Publication date: 2008-07-09
Also published as: KR101365566B1

Abstract

본 발명에 의한 영상 부호화 방법과 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하고, 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하고, 본 발명에 의한 영상 복호화 방법과 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하고, 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하므로, 본 발명은, 압축(또는, 복원)하고자 하는 영상이 휘도 성분과 색차 성분으로 분리되어 표현된 경우, 색차 성분의 부호화 모드(또는, 복호화 모드)를 결정하는 다양한 방안을 제공함은 물론, 휘도 성분과 색차 성분의 부호화(또는, 복호화)시 움직임 벡터가 고려되는 경우에 색차 성분 영상의 움직임 벡터의 다양한 결정 방안을 제공하는 효과를 갖는다.

Description

영상 부호화 및 복호화 방법과 장치{Method and apparatus for encoding and decoding image}

도 1은 영상 부호화 및 복호화 과정을 개괄적으로 설명하기 위한 블록도이다.

도 2는 도 1에 도시된 부호화부(110)를 설명하기 위한 일 실시예(110A)의 블록도이다.

도 3은 도 1에 도시된 복호화부(120)를 설명하기 위한 일 실시예(120A)의 블록도이다.

도 4a 내지 도 4c는 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷을 설명하기 위한 도면들이다.

도 5는 본 발명에 의한 영상 부호화 장치를 설명하기 위한 블록도이다.

도 6은 도 5에 도시된 제2 부호화부(514)를 설명하기 위한 일 실시예(514A)의 블록도이다.

도 7 내지 도 9는 움직임 정보를 설명하기 위한 도면들이다.

도 10은 본 발명에 의한 영상 복호화 장치를 설명하기 위한 블록도이다.

도 11은 도 10에 도시된 제2 복호화부(1040)를 설명하기 위한 일 실시예(1040A)의 블록도이다.

도 12는 영상을 1MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 도면들이다.

도 13은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제1 실시예의 플로우챠트이다.

도 14는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제1 실시예의 플로우챠트이다.

도 15 내지 도 17은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제1 실시예의 도면들이다.

도 18은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제2 실시예의 플로우챠트이다.

도 19는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제2 실시예의 플로우챠트이다.

도 20은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제2 실시예의 도면들이다.

도 21은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제3 실시예의 플로우챠트이다.

도 22는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제3 실시예의 플로우챠트이다.

도 23은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제3 실시예의 도면들이다.

도 24는 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제4 실시예의 플로우챠트이다.

도 25는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제4 실시예의 플로우챠트이다.

도 26은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제4 실시예의 도면들이다.

본 발명은 영상 압축 및 복원에 관한 것으로, 보다 상세하게는, 휘도 블록과 색차 블록으로 이루어진 영상을 압축 및 복원하기 위한 영상 부호화 및 복호화 방법과 장치에 관한 것이다.

압축하고자 하는 영상이RGB(R : Red, G: Green, B: Blue) 컬러 공간에서 표현된 영상이라면, 영상을 이루는 세 가지 컬러(R, G, B) 성분의 해상도들은 일반적으로 서로 동일하다. 이는, 그 세 가지 컬러가 동일하게 중요하기 때문이다.

한편, 인간의 시각 시스템(HVS : Human Visual System)은 색차(chroma)보다 휘도(luma)에 민감하다. 이 점을 이용하여, 휘도 성분을 색차 성분보다 높은 해상도로 표현함으로써, 영상을 표현할 수도 있다.

이와 같이, 휘도 성분과 색차 성분이 분리되어 표현된 영상을 압축 및 복원함에 있어, 휘도 성분과 색차 성분 각각을 어떠한 부호화 모드(또는, 복호화 모드) 에 따라 부호화(또는, 복호화)할지가 문제되고 있다. 이와 관련하여, 휘도 성분과 색차 성분의 부호화(또는, 복호화)시 움직임 벡터가 고려되는 경우, 그 고려되는 움직임 벡터를 어떻게 결정할지도 함께 문제되고 있다.

본 발명이 이루고자 하는 제1 기술적 과제는, 하나 이상의 휘도 블록들의 복호화 모드들을 고려하여 결정되는 복호화 모드에 따라 색차 블록을 복호화하는 영상 복호화 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제2 기술적 과제는, 하나 이상의 휘도 블록들의 부호화 모드들을 고려하여 결정되는 부호화 모드에 따라 색차 블록을 부호화하는 영상 부호화 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제3 기술적 과제는, 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정되는 움직임 벡터를 고려하여 색차 블록을 복호화하는 영상 복호화 방법 및 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제4 기술적 과제는, 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정되는 움직임 벡터를 고려하여 색차 블록을 부호화하는 영상 부호화 방법 및 장치를 제공하는 데 있다.

상기 제1 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 단계; 및 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하는 단계를 포함하는 것이 바람직하다.

상기 제1 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 제1 복호화부; 및 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하는 제2 복호화부를 포함하는 것이 바람직하다.

상기 제2 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 단계; 및 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하는 단계를 포함하는 것이 바람직하다.

상기 제2 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 제1 부호화부; 및 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하는 제2 부호화부를 포함하는 것이 바람직하다.

상기 제3 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 방법은, 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 단계; 및 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 복호화하는 단계를 포함하는 것이 바람직하다.

상기 제3 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 장치는, 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 움직임벡터 결정부; 및 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 복호화하는 색차성분 복호화부를 포함하는 것이 바람직하다.

상기 제4 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 방법은, 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 단계; 및 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 부호화하는 단계를 포함하는 것이 바람직하다.

상기 제4 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 장치는, 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 움직임벡터 결정부; 및 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 부호화하는 색차성분 부호화부를 포함하는 것이 바람직하다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

이하, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 영상 부호화 및 복호화 과정을 개괄적으로 설명하기 위한 블록도로서, 부호화부(110) 및 복호화부(120)로 이루어진다.

부호화부(110)는 입력단자 IN 1을 통해 입력된 영상을 부호화하여 비트스트림(bitstream)을 생성하고 이를 복호화부(120)에 전송한다. 여기서, 영상은 RGB 컬러 공간에서 표현된 영상인 것보다, 휘도 성분과 색차 성분이 분리되어 표현된 영상인 것이 바람직하다. 이 경우, 휘도 성분의 영상은 하나 이상의 휘도 블록으로 이루어지며, 색차 성분의 영상은 하나 이상의 색차 블록으로 이루어진다. 한편, 영상은 시간적 선후관계를 갖는 복수의 프레임(frame)으로 이루어진 것이 바람직하다.

복호화부(120)는 부호화부(110)로부터 전송된 비트스트림을 복호화하여 영상을 복원하고 이를 출력단자 OUT 1을 통해 출력한다. 만일, 부호화부(110)가 영상을 무손실(lossless) 압축하였다면, 복원된 영상은 입력단자 IN 1을 통해 입력된 영상과 완전 동일하게 된다. 이와 비슷하게, 부호화부(110)가 영상을 손실(lossy) 압축하였다면, 복원된 영상은 입력단자 IN 1을 통해 입력된 영상에 근사할 뿐 완전히 동일할 수는 없다.

이러한 부호화 및 복호화는 매크로블록(macroblock) 단위로 수행될 수 있다. 즉, 영상은 매크로블록 단위로 압축될 수 있으며, 매크로블록 단위로 복원될 수 있다. 여기서, 매크로블록은 하나 이상의 휘도 블록과 하나 이상의 색차 블록을 포함한다.

도 2는 도 1에 도시된 부호화부(110)를 설명하기 위한 일 실시예(110A)의 블록도로서, 움직임 추정부(212), 참조영상 저장부(214), 움직임 보상부(216), 공간 변환부(218), 양자화부(220), 역 양자화부(222), 역 공간변환부(224), 재배열 부(226), 제로 부호화부(228), 및 엔트로피 부호화부(230)로 이루어질 수 있다.

부호화부(110)는 입력단자 IN 2를 통해 입력된 영상을 인터(inter) 모드(mode)로 부호화할 수도 있고, 인트라(intra) 모드로 부호화할 수도 있다. 입력단자 IN 2는 도 1에 도시된 입력단자 IN 1과 동일하다.

여기서, 인터 모드란 움직임 보상을 사용하여 부호화(또는, 복호화)하는 방법을 의미하고, 인트라 모드란 움직임 보상을 사용하지 않고 부호화(또는, 복호화)하는 방법을 의미한다.

부호화부(110)가 영상을 인터 모드로 부호화한다면, 움직임 추정부(212) 내지 엔트로피 부호화부(230) 모두가 동작한다. 그에 반해, 부호화부(110)가 영상을 인트라 모드로 부호화한다면, 움직임 추정부(212), 움직임 보상부(216), 역 양자화부(222), 및 역 공간변환부(224)는 동작하지 않는다.

인터 모드에 따라 동작하는 부호화부(110)의 동작을 설명하면 다음과 같다. 설명의 편의상, 블록 기반(block-based) 움직임 보상(motion compensation)을 수행하는 부호화부(110)의 동작을 설명하도록 한다.

움직임 추정부(212)는 관심 블록(단, 관심 블록은 m*n 블록이며, m, n은 자연수이고, m*n 블록은 m개의 화소(pixel)들이 n개의 열로 배열되어 있는 블록을 의미함)과 가장 일치하는(matching) m*n 블록을 참조 프레임(reference frame)내에서 찾는다. 이와 같은 과정을 통해 찾아진 블록을 예측 블록이라 명명한다.

여기서, 관심 블록이란 현재 부호화하고자 하는 블록을 의미하며, 참조 프레임이란 이전에 부호화된 하나 이상의 프레임을 의미한다. 이러한 참조 프레임은 참 조영상 저장부(214)에 저장되어 있으며, 움직임 추정부(212)는 참조영상 저장부(214)에 저장된 참조 프레임을 독출하여 사용한다.

움직임 보상부(216)는 관심 블록에서 예측 블록을 감산함으로써, 오차 블록을 생성한다. 한편, 움직임 보상부(216)는 관심 블록의 예측 블록에 대한 상대적인 위치를 나타내는 벡터인 움직임 벡터(MV: motion vector)도 생성한다.

전술한 바와 같이, 관심 블록, 예측 블록, 오차 블록 모두 m*n 블록이며, 화소값들로 이루어져 있다.

공간 변환부(218)는 이러한 '화소값'을 '주파수'로 변환한다. 구체적으로, 공간 변환부(218)는 오차 블록을 이루는 데이터들을 저주파수 대역으로 밀집시킨다.

보다 구체적으로, 공간 변환부(218)는 이산여현변환(DCT : Discrete Cosine Transform)을 수행할 수 있다. 여기서, DCT의 구체적인 개념은 K.R.Rao 와 P.Yip의 공저로 Academic Press 사에서 1990년에 발간된 "Discrete Cosine Transform"에 상세히 개시되어 있다. 이 경우, 공간 변환부(218)는 오차 블록에 포함된 m*n개의 화소값들을 m*n개의 DCT 계수(coefficient)들로 변환한다.

양자화부(220)는 공간 변환부(218)에서 생성된 DCT 계수들을 양자화(quantization)한다. 이 때, 양자화부(220)는 선형 양자화를 수행할 수도 있고, 비선형 양자화를 수행할 수도 있다. 특히, 양자화부(220)는 비선형 양자화를 수행함으로써, 0에 근접한 크지 않은 DCT 계수들을 0으로 만들 수 있다.

역 양자화부(222) 및 역 공간변환부(224)는 다음에 부호화될 관심 블록의 부 호화시 사용될 참조 프레임을 만들기 위해 동작한다.

역 양자화부(222)는 양자화부(220)에서 양자화된 결과를 역 양자화하고, 역 공간변환부(224)는 역 양자화부(222)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(224)는 오차 블록을 생성한다.

이 경우, '생성된 오차 블록'과 '움직임 추정부(212)에서 찾아진 예측 블록'이 더해져 '관심 블록'이 복원되고, 복원된 관심 블록은 참조 프레임의 일부로서 참조영상 저장부(214)에 저장된다.

재배열부(226)는 양자화부(220)에서 양자화된 결과들을 지그재그(zig-zag) 스캔하며 재배열한다. 제로 부호화부(228)는RL(run-level) 부호화를 수행할 수 있다. 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 보다 간결하게 표현할 수 있다. 보다 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 (run, level)의 연속으로 표현할 수 있다. 여기서, run은 0이 아닌 재배열된 수치 앞에 있는 0의 개수를 의미하고, level은 0의 아닌 재배열된 수치를 의미한다.

엔트로피 부호화부(230)는 제로 부호화부(228)에서 부호화된 결과를 엔트로피 부호화한다. 또한, 엔트로피 부호화부(230)는 움직임 보상부(216)에서 생성된 움직임 벡터도 엔트로피 부호화한다. 이와 같이 엔트로피 부호화부(230)에서 엔트로피 부호화된 결과들은 하나의 비트스트림으로서 출력단자 OUT 2를 통해 출력된다.

한편, 인트라 모드에 따라 동작하는 부호화부(110)의 동작을 설명하면 다음 과 같다.

공간 변환부(218)는 입력단자 IN 2를 통해 입력된 영상의 화소값을 주파수로 변환한다. 구체적으로, 공간 변환부(218)는 영상을 이루는 데이터들을 저주파수 대역으로 밀집시킨다. 보다 구체적으로, 공간 변환부(218)는 DCT를 수행할 수 있다.

이 경우, 양자화부(220)는 공간 변환부(218)에서 생성된 DCT 계수들을 양자화한다. 이 때, 양자화부(220)는 선형 양자화를 수행할 수도 있고, 비선형 양자화를 수행할 수도 있다. 특히, 양자화부(220)는 비선형 양자화를 수행함으로써, 0에 근접한 크지 않은 DCT 계수들을 0으로 만들 수 있다.

재배열부(226)는 양자화부(220)에서 양자화된 결과들을 지그재그(zig-zag) 스캔하며 재배열한다. 제로 부호화부(228)는 RL(run-level) 부호화를 수행할 수 있다. 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 보다 간결하게 표현할 수 있다. 보다 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 (run, level)의 연속으로 표현할 수 있다. 여기서, run은 0이 아닌 재배열된 수치 앞에 있는 0의 개수를 의미하고, level은 0의 아닌 재배열된 수치를 의미한다.

엔트로피 부호화부(230)는 제로 부호화부(228)에서 부호화된 결과를 엔트로피 부호화한다. 이와 같이 엔트로피 부호화부(230)에서 엔트로피 부호화된 결과들은 하나의 비트스트림으로서 출력단자 OUT 2를 통해 출력된다.

도 3은 도 1에 도시된 복호화부(120)를 설명하기 위한 일 실시예(120A)의 블록도로서, 엔트로피 복호화부(312), 제로 복호화부(314), 역 재배열부(316), 역 양자화부(318), 역 공간변환부(320), 움직임 추정부(322), 및 참조영상 저장부(324) 로 이루어질 수 있다.

복호화부(120)는 입력단자 IN 3을 통해 입력된 비트스트림을 인터(inter) 모드(mode)로 복호화할 수도 있고, 인트라(intra) 모드로 복호화할 수도 있다. 입력단자 IN 3을 통해 입력된 비트스트림은 도 2에 도시된 출력단자 OUT 2를 통해 출력된 비트스트림일 수 있다.

복호화부(120)가 비트스트림을 인터 모드로 복호화한다면, 엔트로피 복호화부(312) 내지 참조영상 저장부(324) 모두가 동작한다. 그에 반해, 복호화부(120)가 비트스트림을 인트라 모드로 복호화한다면, 움직임 추정부(322)는 동작하지 않는다.

인터 모드에 따라 동작하는 복호화부(120)의 동작을 설명하면 다음과 같다.

엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림을 엔트로피 복호화한다. 이로써, 엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림으로부터 '제로 부호화부(228)에서 RL 부호화된 결과', '움직임 보상부(216)에서 생성된 움직임 벡터'를 추출한다.

제로 복호화부(314)는 RL 복호화를 수행하며, 역 재배열부(316)는 '양자화부(220)에서 양자화된 결과들'을 생성한다.

역 양자화부(318)는 역 재배열부(316)로부터 입력된 '양자화부(220)에서 생성된 결과'를 역 양자화하고, 역 공간변환부(320)는 역 양자화부(318)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(318)는 오차 블록을 생성한다.

움직임 추정부(322)는 엔트로피 복호화부(312)에서 추출된 움직임 벡터를 이용하여, 참조영상 저장부(324)에 저장된 참조 프레임내에서 예측 블록을 찾는다.

이 경우, '역 공간변환부(318)에서 생성된 오차 블록'과 '움직임 추정부(322)에서 찾아진 예측 블록'이 더해져 '관심 블록'이 복원되고, 복원된 관심 블록은 출력단자 OUT 3을 통해 출력된다. 복원된 관심 블록은 참조 프레임의 일부로서 참조영상 저장부(324)에 저장된다.

한편, 인트라 모드에 따라 동작하는 복호화부(120)의 동작을 설명하면 다음과 같다.

엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림으로부터 '제로 부호화부(228)에서 RL 부호화된 결과'를 추출한다.

역 양자화부(318)는 역 재배열부(316)로부터 입력된 '양자화부(220)에서 생성된 결과'를 역 양자화하고, 역 공간변환부(320)는 역 양자화부(318)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(318)는 영상을 복원하고, 복원된 영상을 출력단자 OUT 4를 통해 출력한다. 그 복원된 영상은 참조영상 저장부(324)에 저장될 수 있다.

도 4a는 4:2:0 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으 로, 4:2:0 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 1개의 청색 색차 블록(Cb), 및 1개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 청색 색차 블록(Cb) 또는 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 청색 색차 블록(Cb) 또는 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다. 도 4a에 도시된 바에서, 각 블록마다 표기된 숫자(0, 1, 2, 3, 4, 또는 5)는 각 블록의 식별 기호이다.

도 4b는 4:2:2 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으로, 4:2:2 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 2개의 청색 색차 블록(Cb), 및 2개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다. 도 4b에 도시된 바에서, 각 블록마다 표기된 숫자(0, 1, 2, 3, 4, 5, 6, 또는 7)는 각 블록의 식별 기호이다.

도 4c는 4:4:4 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으로, 4:4:4 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 4개의 청색 색차 블록(Cb), 및 4개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다. 도 4c에 도시된 바에서, 각 블록마다 표기된 숫자(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 또는 11)는 각 블록의 식별 기호이다.

도 5는 본 발명에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, 제1 부호화부(512), 제2 부호화부(514), 제3 부호화부(516), 및 포매터(formatter)(518)를 포함할 수 있다.

여기서, 제1 부호화부(512) 및 제2 부호화부(514) 각각은 도 2에 도시된 움직임 추정부(212) 내지 엔트로피 부호화부(230)에 구현된다.

구체적으로, 제1 부호화부(512)는 입력단자 IN 2를 통해 입력된 휘도 블록(Y)을 부호화하는 '움직임 추정부(212) 내지 엔트로피 부호화부(230)'를 의미한다. 마찬가지로, 제2 부호화부(514)는 입력단자 IN 2를 통해 입력된 색차 블록(Cb, 또는 Cr)을 부호화하는 '움직임 추정부(212) 내지 엔트로피 부호화부(230)'를 의미한다.

제1 부호화부(512)는 입력단자 IN 4를 통해 입력된 영상에 포함된 휘도 블록(Y)을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다. 여기서, 입력단자 IN 4는 도 2에 도시된 입력단자 IN 2와 동일하다.

본 발명의 제1 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 '휘도 블록(Y)마다 미리 설정된 부호화 모드 중 다수(a majority of)의 부호화 모드'로 부호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

본 발명의 제2 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

영상에 포함된 각각의 색차 블록(Cb 또는 Cr)마다 그 색차 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 움직임 추정부(212), 또는 움직임 보상부(216)에 입력되기 전에 미리 설정되는 것이 바람직하다.

본 발명의 제3 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'에 따라 부호화한다. 이 경우, 영상은 4:2:2 포맷, 또는 4:4:4 포맷인 것이 바람직하다.

본 발명의 제4 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록을 포함한 복수의 휘도 블록들의 부호화 모드들'을 고려하여 부호화한다. 예컨대, 제2 부호화부(514)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 부호화 모드'의 일치 여부에 따라 결정된 부호화 모드에 따라 부호화할 수 있다. 이 경우, '색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 부호화 모드'가 일치한다면, 제2 부호화 부(514)는 그 색차 블록을 그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드에 따라 부호화할 수 있다. 그에 반해, '색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 부호화 모드'가 불일치한다면, 제2 부호화부(514)는 그 색차 블록을 일정 부호화 모드(예를 들어, 인터 모드)에 따라 부호화할 수 있다. 본 발명의 제4 실시예의 경우, 영상은 4:2:2 포맷인 것이 바람직하다.

본 발명의 제1 실시예, 제3 실시예, 또는 제4 실시예에 의하면, 영상에 포함된 각각의 휘도 블록(Y)마다 그 휘도 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 입력단자 IN 4에 입력될 때 이미 설정되어 있는 것이 바람직하다. 이와 비슷하게, 본 발명의 제2 실시예에 의하면, 영상에 포함된 각각의 휘도 블록(Y)마다 그 휘도 블록을 어떤 부호화 모드로 부호화할지, 그 영상에 포함된 각각의 청색 색차 블록(Cb)마다 그 청색 색차 블록을 어떤 부호화 모드로 부호화할지, 및 그 영상에 포함된 각각의 적색 색차 블록(Cr)마다 그 적색 색차 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 입력단자 IN 4에 입력될 때 이미 설정되어 있는 것이 바람직하다. 결국, 입력단자 IN 4에는 영상과 모드 정보가 함께 입력된다. 여기서, 모드 정보는 부호화 모드(또는, 복호화 모드)를 나타내고, 부호화 모드(또는, 복호화 모드)는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

움직임정보 생성부(미 도시)는 본 발명에 의한 영상 부호화 장치에 마련되는 것이 바람직하며, 움직임정보 생성부는 움직임 정보를 생성한다. 구체적으로, 본 발명의 제1 실시예 내지 제4 실시예 중 어느 하나에 의한 움직임정보 생성부(미 도 시)는 제1 부호화부(512)에서 부호화된 적어도 일부의 휘도 블록들 각각마다 움직임 정보를 생성하는 것이 바람직하다. 또한, 본 발명의 제2 실시예에 의한 움직임정보 생성부(미 도시)는 제2 부호화부(514)에서 부호화된 적어도 일부의 색차 블록들 각각마다 움직임 정보를 생성하는 것이 바람직하다.

움직임 정보는 모드 정보와 CBP(Coded Block Pattern)를 포함한다. 만일, 모드 정보가 인터 모드를 나타낸다면, 움직임 정보는 움직임 벡터에 대한 정보도 포함한다.

CBP는 양자화된 결과에 0이 아닌 수치가 존재하는가를 나타낸다. 이러한 CBP의 생성을 위해, 본 발명에 의한 영상 부호화 장치에는 CBP 생성부(미 도시)가 마련될 수 있다. CBP 생성부(미 도시)는 어떤 블록에 대해 양자화부(220)의 동작이 완료될 때마다, 그 양자화된 결과에 0이 아닌 수치가 존재하는가 검사하고, 0이 아닌 수치가 존재한다고 검사되면 그 블록의 CBP로서 1을 생성하고, 0이 아닌 수치가 존재하지 않는다고 검사되면 그 블록의 CBP로서 0을 생성한다.

움직임정보 생성부(미 도시)는 '입력단자 IN 4를 통해 입력된 모드 정보' 및 'CBP 생성부(미 도시)가 생성한 CBP'를 포함하는 움직임 정보를 생성한다.

제3 부호화부(516)는 움직임정보 생성부(미 도시)에서 생성된 움직임 정보를 부호화한다.

포매터(518)는 도 2에 도시된 엔트로피 부호화부(230)에 구현될 수 있다.

포매터(518)는 제1 부호화부(512)에서 부호화된 결과들, 제2 부호화부(514)에서 부호화된 결과들, 제3 부호화부(516)에서 부호화된 결과들을 일체화시켜 비트 스트림을 생성하고, 생성된 비트스트림을 출력단자 OUT 5를 통해 출력한다. 출력단자 OUT 5는 도 2에 도시된 출력단자 OUT 2와 동일하다.

도 6은 본 발명의 제1 실시예, 제3 실시예, 또는 제4 실시예에 의한 제2 부호화부(514)를 설명하기 위한 일 실시예(514A)의 블록도로서, 움직임벡터 결정부(610) 및 색차성분 부호화부(620)를 포함할 수 있다. 도 6에 대해 후술될 바는, 제2 부호화부(514)가 부호화하고자 하는 색차 블록이 인터 모드에 따라 부호화됨을 전제로 한다.

움직임벡터 결정부(610)는 입력단자 IN 5를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)의 움직임 벡터를 그 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정한다. 예컨대, 움직임벡터 결정부(610)는 색차 블록의 움직임 벡터를 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 움직임 벡터'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 움직임 벡터'를 고려하여 결정할 수 있다. 도 4b에 도시된 8개의 블록들 모두 인터 모드로 부호화된다고 할 때 도 4b에 도시된 바를 이용하여 움직임벡터 결정부(610)의 동작을 구체적으로 예시하면, 움직임벡터 결정부(610)는 색차 블록들(4번째 블록, 5번째 블록, 6번째 블록, 7번째 블록) 각각의 움직임 벡터를 다음의 수학식 1에 따라 계산할 수 있다.

MV4_x = MV5_x = { MV0_x + MV1_x } / 4

MV4_y = MV5_y = { MV0_y + MV1_y } / 2

MV6_x = MV7_x = { MV2_x + MV3_x } / 4

MV6_y = MV7_y = { MV2_y + MV3_y } / 2

여기서, MV0_x, MV1_x, MV2_x, MV3_x, MV4_x, MV5_x, MV6_x, MV7_x 각각은 0번째 블록의 움직임 벡터의 수평 성분, 1번째 블록의 움직임 벡터의 수평 성분, 2번째 블록의 움직임 벡터의 수평 성분, 3번째 블록의 움직임 벡터의 수평 성분, 4번째 블록의 움직임 벡터의 수평 성분, 5번째 블록의 움직임 벡터의 수평 성분, 6번째 블록의 움직임 벡터의 수평 성분, 7번째 블록의 움직임 벡터의 수평 성분 각각을 의미한다.

마찬가지로, MV0_y, MV1_y, MV2_y, MV3_y, MV4_y, MV5_y, MV6_y, MV7_y 각각은 0번째 블록의 움직임 벡터의 수직 성분, 1번째 블록의 움직임 벡터의 수직 성분, 2번째 블록의 움직임 벡터의 수직 성분, 3번째 블록의 움직임 벡터의 수직 성분, 4번째 블록의 움직임 벡터의 수직 성분, 5번째 블록의 움직임 벡터의 수직 성분, 6번째 블록의 움직임 벡터의 수직 성분, 7번째 블록의 움직임 벡터의 수직 성분 각각을 의미한다.

본 명세서에서 수평 방향은 0번째 블록(또는, 1번째 블록)에서 1번째 블록(또는, 0번째 블록)으로의 방향을 의미하고, 수직 성분은 0번째 블록(또는, 2번째 블록)에서 2번째 블록(또는, 0번째 블록)으로의 방향을 의미한다. 또한, 수평 성분은 수평 방향으로의 성분을 의미하고, 수직 성분은 수직 방향으로의 성분을 의미한다.

색차성분 부호화부(620)는 입력단자 IN 5를 통해 입력된 영상에 포함된 색차 블록을 그 결정된 움직임 벡터를 고려하여 부호화하고, 부호화된 결과를 출력단자 OUT 6을 통해 포매터(518)로 출력한다. 입력단자 IN 5는 전술한 입력단자 IN 4와 동일할 수 있다.

도 7 내지 도 9는 움직임 정보(MI: motion information)를 설명하기 위한 도면들이다. 움직임 정보는, 도 7 내지 9에 도시된 바와 같이 모든 각 블록마다 존재할 수도 있고, 도 7 내지 도 9에 도시된 바와 달리 일부의 각 블록마다 존재할 수도 있다.

도 7의 (a)는 도 4a에 도시된 '4:2:0 포맷을 갖는 영상의 매크로블록'을 나타낸다. 설명의 편의상, 참조번호 712, 714, 716, 718, 720, 730 각각은 1, 2, 3, 4, 5, 6 번째 블록이라 명명한다.

도 7의 (b)는 도 7의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(740)으로 표현된 일 례를 나타낸다. 여기서, MI(t)(단, t는 1≤t≤6인 정수)는 움직임정보 생성부(미 도시)가 t번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 8의 (a)는 도 4b에 도시된 '4:2:2 포맷을 갖는 영상의 매크로블록'을 나타낸다. 설명의 편의상, 참조번호 812, 814, 816, 818, 820, 822, 824, 826 각각은 1, 2, 3, 4, 5, 6, 7, 8 번째 블록이라 명명한다.

도 8의 (b)는 도 8의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(830)으로 표현된 일 례를 나타낸다. 여기서, MI(u)(단, u는 1≤u≤8인 정수)는 움직임정보 생성부(미 도시)가 u번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 9의 (a)는 도 4c에 도시된 '4:4:4 포맷을 갖는 영상의 매크로블록'을 나 타낸다. 설명의 편의상, 참조번호 912, 914, 916, 918, 920, 922, 924, 926, 928, 930, 932, 934 각각은1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12 번째 블록이라 명명한다.

도 9의 (b)는 도 9의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(940)으로 표현된 일 례를 나타낸다. 여기서, MI(v)(단, v는 1≤v≤12인 정수)는 움직임정보 생성부(미 도시)가 v번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 10은 본 발명에 의한 영상 복호화 장치를 설명하기 위한 블록도로서, 디포매터(deformatter)(1010), 제3 복호화부(1020), 제1 복호화부(1030), 및 제2 복호화부(1040)로 이루어질 수 있다.

디포매터(1010)는 입력단자 IN 6을 통해 입력된 비트스트림으로부터 움직임 정보와, 부호화된 휘도 블록들과, 부호화된 색차 블록들을 추출한다. 입력단자 IN 5는 전술한 입력단자 IN 3과 동일할 수 있다.

제3 복호화부(1020)는 그 추출된 움직임 정보를 복호화한다.

제1 복호화부(1030) 및 제2 부호화부(930) 각각은 도 3에 도시된 엔트로피 복호화부(312) 내지 참조영상 저장부(324)에 구현된다. 구체적으로, 제1 복호화부(1030)는 휘도 블록(Y)을 복호화하는 '엔트로피복호화부(312) 내지 참조영상 저장부(324)'를 의미한다. 마찬가지로, 제2 복호화부(1040)는 색차 블록(Cb, 또는 Cr)을 복호화하는 '엔트로피 복호화부(312) 내지 참조영상 저장부(324)'를 의미한다.

제1 복호화부(1030)는 휘도 블록(Y)을 휘도 블록마다 미리 설정된 복호화 모 드에 따라 복호화한다. 구체적으로, 그 미리 설정된 복호화 모드는 입력단자 IN 5를 통해 입력된 비트스트림에 이미 나타나 있을 수 있다.

따라서, 제1 복호화부(1030)는 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재하는가 검사한다.

만일, 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재하지 않는다고 검사되면, 제1 복호화부(1030)는 그 복호화하고자 하는 휘도 블록을 일정 복호화 모드로 복호화한다. 이 때, 일정 복호화 모드는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

그에 반해, 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재한다고 검사되면, 제1 복호화부(1030)는 그 복호화된 움직임 정보에 포함된 모드 정보에 나타난 복호화 모드가 인터 모드인지 아니면 인트라 모드인지 분석한다. 이 경우, 제1 복호화부(1030)는 그 복호화하고자 하는 휘도 블록을 그 분석된 복호화 모드에 따라 복호화한다.

본 발명의 제1 실시예에 의하면, 제2 복호화부(1040)는 색차 블록(Cb, 또는 Cr)을 '휘도 블록(Y)마다 미리 설정된 복호화 모드 중 다수(a majority of)의 복호화 모드'로 복호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

본 발명의 제2 실시예에 의하면, 제2 복호화부(1040)는 색차 블록(Cb, 또는 Cr)을 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

구체적으로, 그 미리 설정된 복호화 모드는 입력단자 IN 5를 통해 입력된 비트스트림에 이미 나타나 있을 수 있다.

따라서, 제2 복호화부(1040)는 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재하는가 검사한다.

만일, 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재하지 않는다고 검사되면, 제2 복호화부(1040)는 그 복호화하고자 하는 색차 블록을 일정 복호화 모드로 복호화한다. 이 때, 일정 복호화 모드는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

그에 반해, 제3 복호화부(1020)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재한다고 검사되면, 제2 복호화부(1040)는 그 복호화된 움직임 정보에 포함된 모드 정보에 나타난 복호화 모드가 인터 모드인지 아니면 인트라 모드인지 분석한다. 이 경우, 제2 복호화부(1040)는 그 복호화하고자 하는 색차 블록을 그 분석된 복호화 모드에 따라 복호화한다.

본 발명의 제3 실시예에 의하면, 제2 복호화부(1040)는 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'에 따라 복호화한다. 이 경우, 영상은 4:2:2 포맷, 또는 4:4:4 포맷인 것이 바람직하다.

본 발명의 제4 실시예에 의하면, 제2 복호화부(1040)는 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록을 포함한 복수의 휘도 블록들의 복호화 모드들'을 고려하여 복호화한다. 예컨대, 제2 복호화부(1040)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 복호화 모드'의 일치 여부에 따라 결정된 복호화 모드에 따라 복호화할 수 있다. 이 경우, '색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 복호화 모드'가 일치한다면, 제2 복호화부(1040)는 그 색차 블록을 그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드에 따라 복호화할 수 있다. 그에 반해, '색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 복호화 모드'가 불일치한다면, 제2 복호화부(1040)는 그 색차 블록을 일정 복호화 모드(예를 들어, 인터 모드)에 따라 복호화할 수 있다. 본 발명의 제4 실시예의 경우, 영상은 4:2:2 포맷인 것이 바람직하다.

한편, 제1 복호화부(1030)에서 복원된 휘도 블록들, 제2 복호화부(1040)에서 복원된 색차 블록들 모두는 출력단자 OUT 7을 통해 출력된다. 출력단자 OUT 7은 도 3에 도시된 출력단자 OUT 3, 또는 OUT 4와 동일하다.

도 11은 본 발명의 제1 실시예, 제3 실시예, 또는 제4 실시예에 의한 제2 복호화부(1040)를 설명하기 위한 일 실시예(1040A)의 블록도로서, 움직임벡터 결정부(1110) 및 색차성분 복호화부(1120)를 포함할 수 있다. 도 11에 대해 후술될 바는, 제2 복호화부(1040)가 복호화하고자 하는 색차 블록이 인터 모드에 따라 복호화됨을 전제로 한다.

움직임벡터 결정부(1110)는 입력단자 IN 7을 통해 입력된 색차 블록(Cb, 또 는 Cr)의 움직임 벡터를 그 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정한다. 예컨대, 움직임벡터 결정부(1110)는 색차 블록의 움직임 벡터를 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 움직임 벡터'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 움직임 벡터'를 고려하여 결정할 수 있다. 도 4b에 도시된 8개의 블록들 모두 인터 모드로 복호화된다고 할 때 도 4b에 도시된 바를 이용하여 움직임벡터 결정부(1110)의 동작을 구체적으로 예시하면, 움직임벡터 결정부(1110)는 색차 블록들(4번째 블록, 5번째 블록, 6번째 블록, 7번째 블록) 각각의 움직임 벡터를 상기 수학식 1에 따라 계산할 수 있다.

색차성분 부호화부(1120)는 입력단자 IN 7을 통해 입력된 색차 블록을 그 결정된 움직임 벡터를 고려하여 복호화하고, 복호화된 결과를 출력단자 OUT 8을 통해 출력한다. 출력단자 OUT 8은 전술한 출력단자 OUT 7과 동일할 수 있다.

도 12은 영상을 1MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 도면들이다. 1MV(motion vector) 방식이란 하나의 매크로블록에 필요한 움직임 벡터가 최대 1개인 경우의 부호화/복호화 방식을 의미한다. 설명의 편의상, 도 12에 도시된 영상은 4:2:0 포맷을 갖는 영상이다.

이처럼 영상을 1MV 방식으로 부호화/복호화한다면, 휘도 블록(1212, 1214, 1216, 1218)(1232, 1234, 1236, 1238)의 부호화 모드(또는, 복호화 모드), 청색 색차 블록(1220)(1240)의 부호화 모드(또는, 복호화 모드), 적색 색사 블록(1222)(1242)의 부호화 모드(또는, 복호화 모드) 모두가, 도 12에 도시된 바와 같이, 서로 동일하다.

도 13은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제1 실시예의 플로우챠트로서, 휘도 블록을 부호화한 뒤, 색차 블록을 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 부호화하는 단계들(제1310~ 1340 단계들)로 이루어진다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제1310 단계).

제1310 단계 후에, 제2 부호화부(514)는 색차 블록을 '휘도 블록마다 미리 설정된 부호화 모드 중 다수의 부호화 모드'로 부호화한다(제1320~ 1340 단계들).

구체적으로, 제2 부호화부(514)는 휘도 블록마다 미리 설정된 부호화 모드 중 절반 이상이 인터 모드인가 판단한다(제1320 단계). 제1320 단계는, 도시된 바와 같이 "휘도 블록마다 미리 설정된 부호화 모드 중 절반 이상이 인터 모드인가"를 판단할 수도 있고, 도시된 바와 달리 "휘도 블록마다 미리 설정된 부호화 모드 중 절반 초과가 인터 모드인가"를 판단할 수도 있다.

제1320 단계에서 인터 모드라고 판단되면, 제2 부호화부(514)는 색차 블록을 인터 모드로 부호화한다(제1330 단계). 그에 반해, 제1320 단계에서 인트라 모드라고 판단되면, 제2 부호화부(514)는 색차 블록을 인트라 모드로 부호화한다(제1340 단계).

도 14는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제1 실시예의 플로우챠트로서, 휘도 블록을 복호화한 뒤, 색차 블록을 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 복호화하는 단계들(제1410~ 1432 단계들)로 이루어진다.

제3 복호화부(1020)는 움직임 정보를 복호화하고(제1410 단계), 제1 복호화부(1030)는 복호화하고자 하는 블록이 휘도 블록인가 판단한다(제1412 단계). 도시된 바에서, N은 복호화 순위를 의미하며, 전술한 t일 수도 있고, u일 수도 있고, v일 수도 있다.

제1412 단계에서 휘도 블록이라고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보가 제1410 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제1414 단계).

제1414 단계에서 존재하지 않는다고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1416 단계). 다만, 제1416 단계는 도시된 바와 달리, 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

한편, 제1414 단계에서 존재한다고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제1418 단계).

제1418 단계 후에, 제1 복호화부(1030)는 제1418 단계에서 인트라 모드라고 분석되는지 판단한다(제1420 단계).

제1418 단계에서 인트라 모드라고 분석된다고 판단되면(제1420 단계), 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1422 단계). 그에 반해, 제1418 단계에서 인터 모드라고 분석된다고 판단되면(제1420 단 계), 제1416 단계로 진행한다.

만일, 제1412 단계에서 색차 블록이라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록과 동일한 매크로블록에 포함된 모든 휘도 블록의 복호화 모드들 중 절반 이상이 인터 모드인가 판단한다(제1424 단계).

다만, 제1424 단계는 도시된 바와 달리, 그 복호화하고자 하는 블록과 동일한 매크로블록에 포함된 모든 휘도 블록의 복호화 모드들 중 절반 초과가 인터 모드인가 판단할 수도 있다.

제1424 단계에서 인터 모드가 아니라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1426 단계).

반면, 제1424 단계에서 인터 모드라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1428 단계).

제1416 단계, 제1426 단계 또는 제1428 단계 후에, 제1430 단계는 매크로블록의 모든 블록이 다 복호화되었는지 판단한다. 만일, 제1430 단계에서 복호화되지 않은 블록이 존재한다고 판단되면, 그 다음 복호화 순위의 블록을 복호화하기 위해 제1432 단계를 거쳐 제1412 단계로 진행한다.

도 15 내지 도 17은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제1 실시예의 도면들이다. 4MV(motion vector) 방식이란 하나의 매크로블록(엄밀하게는, 매크로블록 중 휘도 블록들)에 필요한 움직임 벡터가 4개인 경우의 부호화/복호화 방식을 의미한다.

도 15에 도시된 매크로블록은, 4:2:0 포맷을 갖는 영상의 매크로블록이다.

도 15의 (a)에 도시된 바에서, 휘도 블록들(1512, 1514, 1516, 1518) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1512, 1514, 1516, 1518)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록(1520)은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록(1530)도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 15의 (b)에 도시된 바에서, 휘도 블록들(1542, 1544, 1546, 1548) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1542, 1544, 1546, 1548)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록(1550)은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록(1560)도 인트라 모드로 부호화/복호화된다.

도 16에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 16의 (a)에 도시된 바에서, 휘도 블록들(1612, 1614, 1616, 1618) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1612, 1614, 1616, 1618)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록들(1622, 1624) 각각은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1632, 1634) 각각도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 16의 (b)에 도시된 바에서, 휘도 블록들(1642, 1644, 1646, 1648) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1642, 1644, 1646, 1648)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록들(1652, 1654) 각각은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1662, 1664) 각각도 인트라 모드로 부호화/복호화된다.

도 17에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 17의 (a)에 도시된 바에서, 휘도 블록들(1712, 1714, 1716, 1718) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1712, 1714, 1716, 1718)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록들(1722, 1724, 1726, 1728) 각각은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1732, 1734, 1736, 1738) 각각도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 17의 (b)에 도시된 바에서, 휘도 블록들(1742, 1744, 1746, 1748) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1742, 1744, 1746, 1748)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록들(1752, 1754, 1756, 1758) 각각은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1762, 1764, 1766, 1768) 각각도 인트 라 모드로 부호화/복호화된다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하고(제1810 단계), 제2 부호화부는 색차 블록을 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제1820 단계).

제1820 단계는 도시된 바와 같이 제1810 단계 이후에 수행될 수도 있고, 도시된 바와 달리 제1810 단계 이전에 수행될 수도 있고 제1810 단계와 동시에 수행될 수도 있다.

도 19는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제2 실시예의 플로우챠트로서, 휘도 블록을 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하고, 색차 블록을 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 단계들(제1910~ 1924 단계들)로 이루어진다.

제3 복호화부(1020)는 움직임 정보를 복호화한다(제1910 단계).

제1910 단계 후에, 제1 복호화부(1030) 또는 제2 복호화부(1040)는 그 복호화하고자 하는 블록의 움직임 정보가 제1910 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제1912 단계).

제1912 단계에서 존재한다고 판단되면, 제1 복호화부(1030) 또는 제2 복호화부(1040)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제1914 단계).

제1914 단계 후에, 제1 복호화부(1030) 또는 제2 복호화부(1040)는 제1914 단계에서 인트라 모드라고 분석되는지 판단한다(제1916 단계).

제1914 단계에서 인트라 모드라고 분석된다고 판단되면(제1916 단계), 제1 복호화부(1030) 또는 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1918 단계). 그에 반해, 제1914 단계에서 인터 모드라고 분석된다고 판단되면(제1916 단계), 제1 복호화부(1030) 또는 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1920 단계).

한편, 제1912 단계에서 존재하지 않는다고 판단되면, 도시된 바와 같이 제1920 단계로 진행할 수도 있고, 도시된 바와 달리 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

도 20의 (a)에 도시된 매크로블록은, 4:2:0 포맷을 갖는 영상의 매크로블록이다.

도 20의 (a)에 도시된 바에서, 휘도 블록들(2012, 2014, 2016, 2018) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록(2020)은 인터 모드로 부호화/복호화되고, 적색 색차 블록(2030)은 인트라 모드로 부호화/복호화된다. 이와 같이, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 20의 (b)에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록 이다.

도 20의 (b)에 도시된 바에서, 휘도 블록들(2042, 2044, 2046, 2048) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록들(2052, 2054) 각각은 인터 모드, 인트라 모드로 부호화/복호화되고, 적색 색차 블록들(2062, 2064) 각각은 인트라 모드, 인터 모드로 부호화/복호화된다. 이처럼, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 20의 (c)에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 20의 (c)에 도시된 바에서, 휘도 블록들(2072, 2074, 2076, 2078) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록들(2082, 2084, 2086, 2088) 각각은 인터 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화되고, 적색 색차 블록들(2092, 2094, 2096, 2098) 각각은 인터 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화된다. 이와 같이, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 21은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제3 실시예의 플로우챠트로서, 휘도 블록을 부호화한 뒤, 색차 블록을 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 부호화하는 단계들(제2110~ 2120 단계들)로 이루어진다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제2110 단계).

제2110 단계 후에, 제2 부호화부(514)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'에 따라 부호화한다(제2120 단계).

도 22는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제3 실시예의 플로우챠트로서, 휘도 블록을 복호화한 뒤, 색차 블록을 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 복호화하는 단계들(제2210~ 2232 단계들)로 이루어진다.

제3 복호화부(1020)는 움직임 정보를 복호화하고(제2210 단계), 제1 복호화부(1030)는 복호화하고자 하는 블록이 휘도 블록인가 판단한다(제2212 단계). 도시된 바에서, N은 복호화 순위를 의미하며, 전술한 t일 수도 있고, u일 수도 있고, v일 수도 있다.

제2212 단계에서 휘도 블록이라고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보가 제2210 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제2214 단계).

제2214 단계에서 존재한다고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제2216 단계).

제2216 단계 후에, 제1 복호화부(1030)는 제2216 단계에서 인트라 모드라고 분석되는지 판단한다(제2218 단계).

제2216 단계에서 인트라 모드라고 분석된다고 판단되면(제2218 단계), 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제2220 단계). 그에 반해, 제2216 단계에서 인터 모드라고 분석된다고 판단되면(제2218 단계), 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제2222 단계).

한편, 제2214 단계에서 존재하지 않는다고 판단되면, 도시된 바와 같이 제2222 단계로 진행할 수도 있고, 도시된 바와 달리 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

만일, 제2212 단계에서 색차 블록이라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드가 인터 모드인지 아니면 인트라 모드인지의 여부를 판단한다(제2224 단계).

제2224 단계에서 인터 모드라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제2226 단계). 반면, 제2224 단계에서 인트라 모드라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제2228 단계).

제2220 단계, 제2222 단계, 제2226 단계, 또는 제2228 단계 후에, 제2230 단계는 매크로블록의 모든 블록이 다 복호화되었는지 판단한다. 만일, 제2230 단계에서 복호화되지 않은 블록이 존재한다고 판단되면, 그 다음 복호화 순위의 블록을 복호화하기 위해 제2232 단계를 거쳐 제2212 단계로 진행한다.

도 23의 (a)에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 23의 (a)에 도시된 바에서, 휘도 블록(2312, 2314, 2316, 또는 2318)의 위상이란, 그 휘도 블록(2312, 2314, 2316, 또는 2318)의 휘도 블록들(2312, 2314, 2316, 및 2318) 내에서의 위치를 의미한다. 한편, 청색 색차 블록(2322, 또는 2324)의 위상이란, 그 청색 색차 블록(2322, 또는 2324)의 색차 블록들(2322, 2324, 2332, 및 2334) 내에서의 위치를 의미한다. 마찬가지로, 적색 색차 블록(2332, 또는 2334)의 위상이란, 그 적색 색차 블록(2332, 또는 2334)의 색차 블록들(2322, 2324, 2332, 및 2334) 내에서의 위치를 의미한다.

도 23의 (a)에 도시된 바에서, 휘도 블록들(2312, 2314, 2316, 2318) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다.

따라서, 청색 색차 블록(2322)은 휘도 블록(2312)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2324)은 휘도 블록(2316)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2332)은 휘도 블록(2314)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2334)은 휘도 블록(2318)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

도 23의 (b)에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 23의 (b)에 도시된 바에서, 휘도 블록(2342, 2344, 2346, 또는 2348)의 위상이란, 그 휘도 블록(2342, 2344, 2346, 또는 2348)의 휘도 블록들(2342, 2344, 2346, 및 2348) 내에서의 위치를 의미한다. 한편, 청색 색차 블록(2352, 2354, 2356, 또는 2358)의 위상이란, 그 청색 색차 블록(2352, 2354, 2356, 또는 2358)의 청색 색차 블록들(2352, 2354, 2356, 및 2358) 내에서의 위치를 의미한다. 마찬가지로, 적색 색차 블록(2362, 2364, 2366, 또는 2368)의 위상이란, 그 적색 색차 블록(2362, 2364, 2366, 또는 2368)의 적색 색차 블록들(2362, 2364, 2366, 또는 2368) 내에서의 위치를 의미한다.

도 23의 (b)에 도시된 바에서, 휘도 블록들(2342, 2344, 2346, 2348) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다.

따라서, 청색 색차 블록(2352)은 휘도 블록(2342)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2354)은 휘도 블록(2344)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2356)은 휘도 블록(2346)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2358)은 휘도 블록(2348)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

이와 비슷하게, 적색 색차 블록(2362)은 휘도 블록(2342)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2364)은 휘도 블록(2344) 의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2366)은 휘도 블록(2346)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2368)은 휘도 블록(2348)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

도 24는 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제4 실시예의 플로우챠트로서, 휘도 블록을 부호화한 뒤, 색차 블록을 그 색차 블록에 대응되는 하나 이상의 휘도 블록들의 부호화 모드들을 고려하여 결정되는 부호화 모드에 따라 부호화하는 단계들(제2410~ 2440 단계들)을 포함할 수 있다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제2410 단계).

제2410 단계 후에, 제2 부호화부(514)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'와 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 부호화 모드'가 일치하는지 판단한다(제2420 단계).

제2420 단계에서 일치한다고 판단되면, 제2 부호화부(514)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'에 따라 부호화한다(제2430 단계).

그에 반해, 제2420 단계에서 불일치한다고 판단되면, 제2 부호화부(514)는 색차 블록을 일정 부호화 모드(예를 들어, 인터 모드)에 따라 부호화한다(제2440 단계).

도 25는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제4 실시예의 플로우챠트로서, 휘도 블록을 복호화한 뒤, 색차 블록을 그 색차 블록에 대응되는 하나 이상의 휘도 블록들의 복호화 모드들을 고려하여 결정되는 복호화 모드에 따라 복호화하는 단계들(제2510~ 2532 단계들)을 포함할 수 있다.

제3 복호화부(1020)는 움직임 정보를 복호화하고(제2510 단계), 제1 복호화부(1030)는 복호화하고자 하는 블록이 휘도 블록인가 판단한다(제2512 단계). 도시된 바에서, N은 복호화 순위를 의미하며, 전술한 t일 수도 있고, u일 수도 있고, v일 수도 있다.

제2512 단계에서 휘도 블록이라고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보가 제2510 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제2514 단계).

제2514 단계에서 존재한다고 판단되면, 제1 복호화부(1030)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제2516 단계).

제2516 단계 후에, 제1 복호화부(1030)는 제2516 단계에서 인트라 모드라고 분석되는지 판단한다(제2518 단계).

제2516 단계에서 인트라 모드라고 분석된다고 판단되면(제2518 단계), 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제2520 단계). 그에 반해, 제2516 단계에서 인터 모드라고 분석된다고 판단되면(제2518 단계), 제1 복호화부(1030)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제2522 단계).

한편, 제2514 단계에서 존재하지 않는다고 판단되면, 도시된 바와 같이 제2522 단계로 진행할 수도 있고, 도시된 바와 달리 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

만일, 제2512 단계에서 색차 블록이라고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드가 그 복호화하고자 하는 블록의 위상과 동일한 위상을 갖는 휘도 블록에 인접한 휘도 블록의 복호화 모드와 일치하는지 판단한다(제2524 단계).

제2524 단계에서 일치한다고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 '그 복호화하고자 하는 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'에 따라 복호화한다(제2526 단계). 반면, 제2524 단계에서 불일치한다고 판단되면, 제2 복호화부(1040)는 그 복호화하고자 하는 블록을 일정 복호화 모드(예를 들어, 인터 모드)로 복호화한다(제2528 단계).

제2520 단계, 제2522 단계, 제2526 단계, 또는 제2528 단계 후에, 제2530 단계는 매크로블록의 모든 블록이 다 복호화되었는지 판단한다. 만일, 제2530 단계에서 복호화되지 않은 블록이 존재한다고 판단되면, 그 다음 복호화 순위의 블록을 복호화하기 위해 제2532 단계를 거쳐 제2512 단계로 진행한다.

도 26에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 26에 도시된 바에서, 휘도 블록(2612, 2614, 2616, 또는 2618)의 위상이 란, 그 휘도 블록(2612, 2614, 2616, 또는 2618)의 휘도 블록들(2612, 2614, 2616, 및 2618) 내에서의 위치를 의미한다. 한편, 청색 색차 블록(2622, 또는 2624)의 위상이란, 그 청색 색차 블록(2622, 또는 2624)의 색차 블록들(2622, 2624, 2632, 및 2634) 내에서의 위치를 의미한다. 마찬가지로, 적색 색차 블록(2632, 또는 2634)의 위상이란, 그 적색 색차 블록(2632, 또는 2634)의 색차 블록들(2622, 2624, 2632, 및 2634) 내에서의 위치를 의미한다.

도 26에 도시된 바에서, 휘도 블록들(2612, 2614, 2616, 2618) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다.

"청색 색차 블록(2622)의 위상과 동일한 위상을 갖는 휘도 블록(2612)의 부호화 모드/복호화 모드(즉, 인트라 모드)"와 "청색 색차 블록(2622)의 위상과 동일한 위상을 갖는 휘도 블록(2612)에 인접한 휘도 블록(2614)의 부호화 모드/복호화 모드(즉, 인트라 모드)"가 일치하므로, 청색 색차 블록(2622)의 부호화 모드/복호화 모드는 "청색 색차 블록(2622)의 위상과 동일한 위상을 갖는 휘도 블록(2612)의 부호화 모드/복호화 모드(즉, 인트라 모드)"이다. 따라서, 청색 색차 블록(2622)는 인트라 모드에 따라 부호화/복호화된다. 한편, 휘도 블록(2612)에 인접한 휘도 블록은 휘도 블록(2612)에 수평 방향으로 인접한 휘도 블록(2614)임이 바람직하다.

"청색 색차 블록(2624)의 위상과 동일한 위상을 갖는 휘도 블록(2616)의 부호화 모드/복호화 모드(즉, 인트라 모드)"와 "청색 색차 블록(2624)의 위상과 동일한 위상을 갖는 휘도 블록(2616)에 인접한 휘도 블록(2618)의 부호화 모드/복호화 모드(즉, 인터 모드)"가 불일치하므로, 청색 색차 블록(2624)의 부호화 모드/복호 화 모드는 일정 부호화 모드/일정 복호화 모드(예를 들어, 인터 모드)이다. 따라서, 청색 색차 블록(2624)는 인터 모드에 따라 부호화/복호화된다. 한편, 휘도 블록(2616)에 인접한 휘도 블록은 휘도 블록(2616)에 수평 방향으로 인접한 휘도 블록(2618)임이 바람직하다.

"적색 색차 블록(2632)의 위상과 동일한 위상을 갖는 휘도 블록(2614)의 부호화 모드/복호화 모드(즉, 인트라 모드)"와 "적색 색차 블록(2632)의 위상과 동일한 위상을 갖는 휘도 블록(2614)에 인접한 휘도 블록(2612)의 부호화 모드/복호화 모드(즉, 인트라 모드)"가 일치하므로, 적색 색차 블록(2632)의 부호화 모드/복호화 모드는 "적색 색차 블록(2632)의 위상과 동일한 위상을 갖는 휘도 블록(2614)의 부호화 모드/복호화 모드(즉, 인트라 모드)"이다. 따라서, 적색 색차 블록(2632)는 인트라 모드에 따라 부호화/복호화된다. 한편, 휘도 블록(2614)에 인접한 휘도 블록은 휘도 블록(2614)에 수평 방향으로 인접한 휘도 블록(2612)임이 바람직하다.

"적색 색차 블록(2634)의 위상과 동일한 위상을 갖는 휘도 블록(2618)의 부호화 모드/복호화 모드(즉, 인터 모드)"와 "적색 색차 블록(2634)의 위상과 동일한 위상을 갖는 휘도 블록(2618)에 인접한 휘도 블록(2616)의 부호화 모드/복호화 모드(즉, 인트라 모드)"가 불일치하므로, 적색 색차 블록(2634)의 부호화 모드/복호화 모드는 일정 부호화 모드/일정 복호화 모드(예를 들어, 인터 모드)이다. 따라서, 적색 색차 블록(2634)는 인터 모드에 따라 부호화/복호화된다. 한편, 휘도 블록(2618)에 인접한 휘도 블록은 휘도 블록(2618)에 수평 방향으로 인접한 휘도 블록(2616)임이 바람직하다.

이상에서 언급된 본 발명에 의한 영상 부호화 및 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치는, 영상을 4MV 방식으로 부호화하는 부호화기가, 색차 블록을 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 결정된 부호화 모드에 따라 부호화하도록 하는 효과를 갖는다. 마찬가지로, 본 발명에 의한 영상 복호화 방법과 장치는, 영상을 4MV 방식으로 복호화하는 복호화기가, 색차 블록을 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 결정된 부호화 모드에 따라 복호화하도록 하는 효과를 갖 는다.

또한, 본 발명에 의한 영상 부호화 방법과 장치는, 영상을 4MV 방식으로 부호화하는 부호화기가, 휘도 블록은 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하고, 색차 블록은 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화하도록 하는 효과를 갖는다. 마찬가지로, 본 발명에 의한 영상 복호화 방법과 장치는, 영상을 4MV 방식으로 복호화하는 복호화기가, 휘도 블록은 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하고, 색차 블록은 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하도록 하는 효과를 갖는다.

이와 같이, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치는, 압축(또는, 복원)하고자 하는 영상이 휘도 성분과 색차 성분으로 분리되어 표현된 경우, 색차 성분의 부호화 모드(또는, 복호화 모드)를 결정하는 다양한 방안을 제공하는 효과를 갖는다.

나아가, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치에 의하면, 휘도 성분과 색차 성분의 부호화(또는, 복호화)시 움직임 벡터가 고려되는 경우, 색차 성분 영상의 움직임 벡터가 휘도 성분 영상의 움직임 벡터를 이용하여 결정될 수 있다.

이에 따라, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치는, 휘도 성분과 색차 성분의 부호화(또는, 복호화)시 움직임 벡터가 고려되는 경우, 색차 성분 영상의 움직임 벡터를 결정하는 다양한 방안을 제공하는 효과를 갖는다.

Claims

(a) 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 단계; 및

(b) 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 색차 블록의 위상과 동일한 위상을 갖는 상기 휘도 블록을 포함한 복수의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제2 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 동일한 위상을 갖는 휘도 블록에 인접한 상기 휘도 블록과 상기 동일한 위상을 갖는 휘도 블록의 복호화 모드들을 고려하여 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제3 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 인접한 휘도 블록의 복호화 모드와 상기 동일한 위상을 갖는 휘도 블록의 복호화 모드의 일치 여부에 따라 결정된 복호화 모드에 따라 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제4 항에 있어서, 상기 인접한 휘도 블록의 복호화 모드와 상기 동일한 위상을 갖는 휘도 블록의 복호화 모드가 일치하는 경우, 상기 (b) 단계는 상기 색차 블록을 상기 인접한 휘도 블록의 복호화 모드에 따라 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제4 항에 있어서, 상기 인접한 휘도 블록의 복호화 모드와 상기 동일한 위상을 갖는 휘도 블록의 복호화 모드가 불일치하는 경우, 상기 (b) 단계는 상기 색차 블록을 일정 복호화 모드에 따라 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제6 항에 있어서, 상기 일정 복호화 모드는 인터 모드인 것을 특징으로 하는 영상 복호화 방법.
휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 제1 복호화부; 및

색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 복호화 모드들을 고려하여 복호화하는 제2 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
(a) 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 단계; 및

(b) 색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제9 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 색차 블록의 위상과 동일한 위상을 갖는 상기 휘도 블록을 포함한 복수의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제10 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 동일한 위상을 갖는 휘도 블록에 인접한 상기 휘도 블록과 상기 동일한 위상을 갖는 휘도 블록의 부호화 모드들을 고려하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제11 항에 있어서, 상기 (b) 단계는 상기 색차 블록을 상기 인접한 휘도 블록의 부호화 모드와 상기 동일한 위상을 갖는 휘도 블록의 부호화 모드의 일치 여부에 따라 결정된 부호화 모드에 따라 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제12 항에 있어서, 상기 인접한 휘도 블록의 부호화 모드와 상기 동일한 위 상을 갖는 휘도 블록의 부호화 모드가 일치하는 경우, 상기 (b) 단계는 상기 색차 블록을 상기 인접한 휘도 블록의 부호화 모드에 따라 부호화하는 것을 특징으로 하는 영상 부호화 방법.
제12 항에 있어서, 상기 인접한 휘도 블록의 부호화 모드와 상기 동일한 위상을 갖는 휘도 블록의 부호화 모드가 불일치하는 경우, 상기 (b) 단계는 상기 색차 블록을 일정 부호화 모드에 따라 부호화하는 것을 특징으로 하는 영상 부호화 방법.
휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 제1 부호화부; 및

색차 블록을 상기 색차 블록에 대응되는 하나 이상의 상기 휘도 블록들의 부호화 모드들을 고려하여 부호화하는 제2 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
(a) 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 단계; 및

(b) 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
제16 항에 있어서, 상기 (a) 단계는 상기 색차 블록의 움직임 벡터를 상기 색차 블록의 위상과 동일한 위상을 갖는 상기 휘도 블록을 포함한 복수의 상기 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 것을 특징으로 하는 영상 복호화 방법.
제17 항에 있어서, 상기 (a) 단계는 상기 색차 블록의 움직임 벡터를 상기 동일한 위상을 갖는 휘도 블록에 인접한 상기 휘도 블록과 상기 동일한 위상을 갖는 휘도 블록의 움직임 벡터들을 고려하여 결정하는 것을 특징으로 하는 영상 복호화 방법.
제18 항에 있어서, 상기 인접한 휘도 블록은 상기 동일한 위상을 갖는 휘도 블록에 수평 방향으로 인접한 상기 휘도 블록인 것을 특징으로 하는 영상 복호화 방법.
제18 항에 있어서, 상기 (a) 단계에서 결정된 움직임 벡터의 수평 성분은 상기 동일한 위상을 갖는 휘도 블록의 움직임 벡터의 수평 성분과 상기 인접한 휘도 블록의 움직임 벡터의 수평 성분의 가산된 결과를 4로 제산한 결과인 것을 특징으로 하는 영상 복호화 방법.
제18 항에 있어서, 상기 (a) 단계에서 결정된 움직임 벡터의 수직 성분은 상 기 동일한 위상을 갖는 휘도 블록의 움직임 벡터의 수직 성분과 상기 인접한 휘도 블록의 움직임 벡터의 수직 성분의 가산된 결과를 2로 제산한 결과인 것을 특징으로 하는 영상 복호화 방법.
색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 움직임벡터 결정부; 및

상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 복호화하는 색차성분 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
(a) 색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 단계; 및

(b) 상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
제23 항에 있어서, 상기 (a) 단계는 상기 색차 블록의 움직임 벡터를 상기 색차 블록의 위상과 동일한 위상을 갖는 상기 휘도 블록을 포함한 복수의 상기 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 것을 특징으로 하는 영상 부호화 방법.
제24 항에 있어서, 상기 (a) 단계는 상기 색차 블록의 움직임 벡터를 상기 동일한 위상을 갖는 휘도 블록에 인접한 상기 휘도 블록과 상기 동일한 위상을 갖는 휘도 블록의 움직임 벡터들을 고려하여 결정하는 것을 특징으로 하는 영상 부호화 방법.
색차 블록의 움직임 벡터를 상기 색차 블록에 대응되는 하나 이상의 휘도 블록들의 움직임 벡터들을 고려하여 결정하는 움직임벡터 결정부; 및

상기 색차 블록을 상기 결정된 움직임 벡터를 고려하여 부호화하는 색차성분 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
제1 항 내지 제7 항, 제9 항 내지 제14 항, 제16 항 내지 제21 항, 제23 항 내지 제25 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.