KR101442620B1

KR101442620B1 - 영상 부호화 및 복호화 방법과 장치

Info

Publication number: KR101442620B1
Application number: KR1020140016277A
Authority: KR
Inventors: 조대성; 김우식; 드미트리 비리노브; 김현문
Original assignee: 삼성전자주식회사
Priority date: 2005-07-15
Filing date: 2014-02-12
Publication date: 2014-09-23
Also published as: US20140212034A1; KR20140024451A; KR20140085404A; KR101642404B1; US20120275696A1; US8472733B2; US8472734B2; KR101596224B1; KR101502909B1; KR20140090124A; US9143800B2; US20130272604A1; US8229231B2; WO2007027008A1; US9369733B2; US20080175490A1; KR20140139463A; KR101424969B1; KR20140089494A; KR20070009486A

Abstract

영상 부호화 및 복호화 방법과 장치가 개시된다. 그 복호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 (a) 단계 및 색차 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드를 고려하여 복호화하는 (b) 단계를 포함하는 것이 바람직하다.

Description

영상 부호화 및 복호화 방법과 장치{Method and apparatus for encoding and decoding image}

본 발명은 영상 압축 및 복원에 관한 것으로, 보다 상세하게는, 휘도 블록과 색차 블록으로 이루어진 영상을 압축 및 복원하기 위한 영상 부호화 및 복호화 방법과 장치에 관한 것이다.

압축하고자 하는 영상이 RGB(R : Red, G: Green, B: Blue) 컬러 공간에서 표현된 영상이라면, 영상을 이루는 세 가지 컬러(R, G, B) 성분의 해상도들은 일반적으로 서로 동일하다. 이는, 그 세 가지 컬러가 동일하게 중요하기 때문이다.

한편, 인간의 시각 시스템(HVS : Human Visual System)은 색차(chroma)보다 휘도(luma)에 민감하다. 이 점을 이용하여, 휘도 성분을 색차 성분보다 높은 해상도로 표현함으로써, 영상을 표현할 수도 있다.

이와 같이, 휘도 성분과 색차 성분이 분리되어 표현된 영상을 압축 및 복원함에 있어, 휘도 성분과 색차 성분 각각을 어떠한 부호화 모드(또는, 복호화 모드)에 따라 부호화(또는, 복호화)할지가 문제되고 있다.

본 발명이 이루고자 하는 제1 기술적 과제는, 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 색차 블록을 복호화하는 영상 복호화 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 제2 기술적 과제는, 색차 블록마다 미리 설정된 복호화 모드에 따라 색차 블록을 복호화하는 영상 복호화 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 제3 기술적 과제는, 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 색차 블록을 부호화하는 영상 부호화 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 제4 기술적 과제는, 색차 블록마다 미리 설정된 부호화 모드에 따라 색차 블록을 부호화하는 영상 부호화 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 제5 기술적 과제는, 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 색차 블록을 복호화하는 영상 복호화 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제6 기술적 과제는, 휘도 블록의 복호화 모드와 관계없이 미리 설정된 복호화 모드에 따라 색차 블록을 복호화하는 영상 복호화 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제7 기술적 과제는, 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 색차 블록을 부호화하는 영상 부호화 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 제8 기술적 과제는, 색차 블록마다 미리 설정된 부호화 모드에 따라 색차 블록을 부호화하는 영상 부호화 장치를 제공하는 데 있다.

상기 제1 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 (a) 단계 및 색차 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드를 고려하여 복호화하는 (b) 단계를 포함하는 것이 바람직하다.

상기 제2 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 (a) 단계 및 색차 블록을 상기 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 (b) 단계를 포함하는 것이 바람직하다.

상기 제3 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 (a) 단계 및 색차 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 부호화하는 (b) 단계를 포함하는 것이 바람직하다.

상기 제4 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 방법은, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 (a) 단계 및 색차 블록을 상기 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 (b) 단계를 포함하는 것이 바람직하다.

상기 제5 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 제1 복호화부 및 색차 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드를 고려하여 복호화하는 제2 복호화부를 포함하는 것이 바람직하다.

상기 제6 기술적 과제를 이루기 위해, 본 발명에 의한 영상 복호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 제1 복호화부 및 색차 블록을 상기 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 제2 복호화부를 포함하는 것이 바람직하다.

상기 제7 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 제1 부호화부 및 색차 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 부호화하는 제2 부호화부를 포함하는 것이 바람직하다.

상기 제8 기술적 과제를 이루기 위해, 본 발명에 의한 영상 부호화 장치는, 휘도 블록을 상기 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 제1 부호화부 및 색차 블록을 상기 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화하는 제2 부호화부를 포함하는 것이 바람직하다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상 부호화 방법과 장치는, 영상을 4MV 방식으로 부호화하는 부호화기가, 색차 블록을 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 결정된 부호화 모드에 따라 부호화하도록 하는 효과를 갖는다. 마찬가지로, 본 발명에 의한 영상 복호화 방법과 장치는, 영상을 4MV 방식으로 복호화하는 복호화기가, 색차 블록을 휘도 블록마다 미리 설정된 부호화 모드를 고려하여 결정된 부호화 모드에 따라 복호화하도록 하는 효과를 갖는다.

또한, 본 발명에 의한 영상 부호화 방법과 장치는, 영상을 4MV 방식으로 부호화하는 부호화기가, 휘도 블록은 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하고, 색차 블록은 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화하도록 하는 효과를 갖는다. 마찬가지로, 본 발명에 의한 영상 복호화 방법과 장치는, 영상을 4MV 방식으로 복호화하는 복호화기가, 휘도 블록은 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하고, 색차 블록은 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하도록 하는 효과를 갖는다.

이와 같이, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치는, 압축(또는, 복원)하고자 하는 영상이 휘도 성분과 색차 성분으로 분리되어 표현된 경우, 색차 성분의 부호화 모드(또는, 복호화 모드)를 결정하는 다양한 방법을 제공한다.

도 1은 영상 부호화 및 복호화 과정을 개괄적으로 설명하기 위한 블록도이다.
도 2는 도 1에 도시된 부호화부(110)를 설명하기 위한 일 실시예(110A)의 블록도이다.
도 3은 도 1에 도시된 복호화부(120)를 설명하기 위한 일 실시예(120A)의 블록도이다.
도 4a 내지 도 4c는 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷을 설명하기 위한 도면들이다.
도 5는 본 발명에 의한 영상 부호화 장치를 설명하기 위한 블록도이다.
도 6 내지 도 8은 움직임 정보를 설명하기 위한 도면들이다.
도 9는 본 발명에 의한 영상 복호화 장치를 설명하기 위한 블록도이다.
도 10은 영상을 1MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 도면들이다.
도 11은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제1 실시예의 플로우챠트이다.
도 12는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제1 실시예의 플로우챠트이다.
도 13 내지 도 15는 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제1 실시예의 도면들이다.
도 16은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제2 실시예의 플로우챠트이다.
도 17은 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제2 실시예의 플로우챠트이다.
도 18은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제2 실시예의 도면들이다.
도 19는 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제3 실시예의 플로우챠트이다.
도 20은 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제3 실시예의 플로우챠트이다.
도 21은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제3 실시예의 도면들이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

이하, 본 발명에 의한 영상 부호화 및 복호화 방법과 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 영상 부호화 및 복호화 과정을 개괄적으로 설명하기 위한 블록도로서, 부호화부(110) 및 복호화부(120)로 이루어진다.

부호화부(110)는 입력단자 IN 1을 통해 입력된 영상을 부호화하여 비트스트림(bitstream)을 생성하고 이를 복호화부(120)에 전송한다. 여기서, 영상은 RGB 컬러 공간에서 표현된 영상인 것보다, 휘도 성분과 색차 성분이 분리되어 표현된 영상인 것이 바람직하다. 이 경우, 휘도 성분의 영상은 하나 이상의 휘도 블록으로 이루어지며, 색차 성분의 영상은 하나 이상의 색차 블록으로 이루어진다. 한편, 영상은 시간적 선후관계를 갖는 복수의 프레임(frame)으로 이루어진 것이 바람직하다.

복호화부(120)는 부호화부(110)로부터 전송된 비트스트림을 복호화하여 영상을 복원하고 이를 출력단자 OUT 1을 통해 출력한다. 만일, 부호화부(110)가 영상을 무손실(lossless) 압축하였다면, 복원된 영상은 입력단자 IN 1을 통해 입력된 영상과 완전 동일하게 된다. 이와 비슷하게, 부호화부(110)가 영상을 손실(lossy) 압축하였다면, 복원된 영상은 입력단자 IN 1을 통해 입력된 영상에 근사할 뿐 완전히 동일할 수는 없다.

이러한 부호화 및 복호화는 매크로블록(macroblock) 단위로 수행될 수 있다. 즉, 영상은 매크로블록 단위로 압축될 수 있으며, 매크로블록 단위로 복원될 수 있다. 여기서, 매크로블록은 하나 이상의 휘도 블록과 하나 이상의 색차 블록을 포함한다.

도 2는 도 1에 도시된 부호화부(110)를 설명하기 위한 일 실시예(110A)의 블록도로서, 움직임 추정부(212), 참조영상 저장부(214), 움직임 보상부(216), 공간 변환부(218), 양자화부(220), 역 양자화부(222), 역 공간변환부(224), 재배열부(226), 제로 부호화부(228), 및 엔트로피 부호화부(230)로 이루어질 수 있다.

부호화부(110)는 입력단자 IN 2를 통해 입력된 영상을 인터(inter) 모드(mode)로 부호화할 수도 있고, 인트라(intra) 모드로 부호화할 수도 있다. 입력단자 IN 2는 도 1에 도시된 입력단자 IN 1과 동일하다.

여기서, 인터 모드란 움직임 보상을 사용하여 부호화(또는, 복호화)하는 방법을 의미하고, 인트라 모드란 움직임 보상을 사용하지 않고 부호화(또는, 복호화)하는 방법을 의미한다.

부호화부(110)가 영상을 인터 모드로 부호화한다면, 움직임 추정부(212) 내지 엔트로피 부호화부(230) 모두가 동작한다. 그에 반해, 부호화부(110)가 영상을 인트라 모드로 부호화한다면, 움직임 추정부(212), 움직임 보상부(216), 역 양자화부(222), 및 역 공간변환부(224)는 동작하지 않는다.

인터 모드에 따라 동작하는 부호화부(110)의 동작을 설명하면 다음과 같다. 설명의 편의상, 블록 기반(block-based) 움직임 보상(motion compensation)을 수행하는 부호화부(110)의 동작을 설명하도록 한다.

움직임 추정부(212)는 관심 블록(단, 관심 블록은 m*n 블록이며, m, n은 자연수이고, m*n 블록은 m개의 화소(pixel)들이 n개의 열로 배열되어 있는 블록을 의미함)과 가장 일치하는(matching) m*n 블록을 참조 프레임(reference frame)내에서 찾는다. 이와 같은 과정을 통해 찾아진 블록을 예측 블록이라 명명한다.

여기서, 관심 블록이란 현재 부호화하고자 하는 블록을 의미하며, 참조 프레임이란 이전에 부호화된 하나 이상의 프레임을 의미한다. 이러한 참조 프레임은 참조영상 저장부(214)에 저장되어 있으며, 움직임 추정부(212)는 참조영상 저장부(214)에 저장된 참조 프레임을 독출하여 사용한다.

움직임 보상부(216)는 관심 블록에서 예측 블록을 감산함으로써, 오차 블록을 생성한다. 한편, 움직임 보상부(216)는 관심 블록의 예측 블록에 대한 상대적인 위치를 나타내는 벡터인 움직임 벡터(MV: motion vector)도 생성한다.

전술한 바와 같이, 관심 블록, 예측 블록, 오차 블록 모두 m*n 블록이며, 화소값들로 이루어져 있다.

공간 변환부(218)는 이러한 '화소값'을 '주파수'로 변환한다. 구체적으로, 공간 변환부(218)는 오차 블록을 이루는 데이터들을 저주파수 대역으로 밀집시킨다.

보다 구체적으로, 공간 변환부(218)는 이산여현변환(DCT : Discrete Cosine Transform)을 수행할 수 있다. 여기서, DCT의 구체적인 개념은 K.R.Rao 와 P.Yip의 공저로 Academic Press 사에서 1990년에 발간된 "Discrete Cosine Transform"에 상세히 개시되어 있다. 이 경우, 공간 변환부(218)는 오차 블록에 포함된 m*n개의 화소값들을 m*n개의 DCT 계수(coefficient)들로 변환한다.

양자화부(220)는 공간 변환부(218)에서 생성된 DCT 계수들을 양자화(quantization)한다. 이 때, 양자화부(220)는 선형 양자화를 수행할 수도 있고, 비선형 양자화를 수행할 수도 있다. 특히, 양자화부(220)는 비선형 양자화를 수행함으로써, 0에 근접한 크지 않은 DCT 계수들을 0으로 만들 수 있다.

역 양자화부(222) 및 역 공간변환부(224)는 다음에 부호화될 관심 블록의 부호화시 사용될 참조 프레임을 만들기 위해 동작한다.

역 양자화부(222)는 양자화부(220)에서 양자화된 결과를 역 양자화하고, 역 공간변환부(224)는 역 양자화부(222)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(224)는 오차 블록을 생성한다.

이 경우, '생성된 오차 블록'과 '움직임 추정부(212)에서 찾아진 예측 블록'이 더해져 '관심 블록'이 복원되고, 복원된 관심 블록은 참조 프레임의 일부로서 참조영상 저장부(214)에 저장된다.

재배열부(226)는 양자화부(220)에서 양자화된 결과들을 지그재그(zig-zag) 스캔하며 재배열한다. 제로 부호화부(228)는 RL(run-level) 부호화를 수행할 수 있다. 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 보다 간결하게 표현할 수 있다. 보다 구체적으로, 제로 부호화부(228)는 재배열된 수치들을 (run, level)의 연속으로 표현할 수 있다. 여기서, run은 0이 아닌 재배열된 수치 앞에 있는 0의 개수를 의미하고, level은 0의 아닌 재배열된 수치를 의미한다.

엔트로피 부호화부(230)는 제로 부호화부(228)에서 부호화된 결과를 엔트로피 부호화한다. 또한, 엔트로피 부호화부(230)는 움직임 보상부(216)에서 생성된 움직임 벡터도 엔트로피 부호화한다. 이와 같이 엔트로피 부호화부(230)에서 엔트로피 부호화된 결과들은 하나의 비트스트림으로서 출력단자 OUT 2를 통해 출력된다.

한편, 인트라 모드에 따라 동작하는 부호화부(110)의 동작을 설명하면 다음과 같다.

공간 변환부(218)는 입력단자 IN 2를 통해 입력된 영상의 화소값을 주파수로 변환한다. 구체적으로, 공간 변환부(218)는 영상을 이루는 데이터들을 저주파수 대역으로 밀집시킨다. 보다 구체적으로, 공간 변환부(218)는 DCT를 수행할 수 있다.

이 경우, 양자화부(220)는 공간 변환부(218)에서 생성된 DCT 계수들을 양자화한다. 이 때, 양자화부(220)는 선형 양자화를 수행할 수도 있고, 비선형 양자화를 수행할 수도 있다. 특히, 양자화부(220)는 비선형 양자화를 수행함으로써, 0에 근접한 크지 않은 DCT 계수들을 0으로 만들 수 있다.

엔트로피 부호화부(230)는 제로 부호화부(228)에서 부호화된 결과를 엔트로피 부호화한다. 이와 같이 엔트로피 부호화부(230)에서 엔트로피 부호화된 결과들은 하나의 비트스트림으로서 출력단자 OUT 2를 통해 출력된다.

도 3은 도 1에 도시된 복호화부(120)를 설명하기 위한 일 실시예(120A)의 블록도로서, 엔트로피 복호화부(312), 제로 복호화부(314), 역 재배열부(316), 역 양자화부(318), 역 공간변환부(320), 움직임 추정부(322), 및 참조영상 저장부(324)로 이루어질 수 있다.

복호화부(120)는 입력단자 IN 3을 통해 입력된 비트스트림을 인터(inter) 모드(mode)로 복호화할 수도 있고, 인트라(intra) 모드로 복호화할 수도 있다. 입력단자 IN 3을 통해 입력된 비트스트림은 도 2에 도시된 출력단자 OUT 2를 통해 출력된 비트스트림일 수 있다.

복호화부(120)가 비트스트림을 인터 모드로 복호화한다면, 엔트로피 복호화부(312) 내지 참조영상 저장부(324) 모두가 동작한다. 그에 반해, 복호화부(120)가 비트스트림을 인트라 모드로 복호화한다면, 움직임 추정부(322)는 동작하지 않는다.

인터 모드에 따라 동작하는 복호화부(120)의 동작을 설명하면 다음과 같다.

엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림을 엔트로피 복호화한다. 이로써, 엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림으로부터 '제로 부호화부(228)에서 RL 부호화된 결과', '움직임 보상부(216)에서 생성된 움직임 벡터'를 추출한다.

제로 복호화부(314)는 RL 복호화를 수행하며, 역 재배열부(316)는 '양자화부(220)에서 양자화된 결과들'을 생성한다.

역 양자화부(318)는 역 재배열부(316)로부터 입력된 '양자화부(220)에서 생성된 결과'를 역 양자화하고, 역 공간변환부(320)는 역 양자화부(318)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(318)는 오차 블록을 생성한다.

움직임 추정부(322)는 엔트로피 복호화부(312)에서 추출된 움직임 벡터를 이용하여, 참조영상 저장부(324)에 저장된 참조 프레임내에서 예측 블록을 찾는다.

이 경우, '역 공간변환부(318)에서 생성된 오차 블록'과 '움직임 추정부(322)에서 찾아진 예측 블록'이 더해져 '관심 블록'이 복원되고, 복원된 관심 블록은 출력단자 OUT 3을 통해 출력된다. 복원된 관심 블록은 참조 프레임의 일부로서 참조영상 저장부(324)에 저장된다.

한편, 인트라 모드에 따라 동작하는 복호화부(120)의 동작을 설명하면 다음과 같다.

엔트로피 복호화부(312)는 입력단자 IN 3을 통해 입력된 비트스트림으로부터 '제로 부호화부(228)에서 RL 부호화된 결과'를 추출한다.

역 양자화부(318)는 역 재배열부(316)로부터 입력된 '양자화부(220)에서 생성된 결과'를 역 양자화하고, 역 공간변환부(320)는 역 양자화부(318)에서 역 양자화된 결과에 대해 역 공간변환(예를 들어, 역(inverse) DCT)을 수행한다. 이로써, 역 공간변환부(318)는 영상을 복원하고, 복원된 영상을 출력단자 OUT 4를 통해 출력한다. 그 복원된 영상은 참조영상 저장부(324)에 저장될 수 있다.

도 4a 내지 도 4c는 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷을 설명하기 위한 도면들이다.

도 4a는 4:2:0 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으로, 4:2:0 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 1개의 청색 색차 블록(Cb), 및 1개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 청색 색차 블록(Cb) 또는 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 청색 색차 블록(Cb) 또는 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다.

도 4b는 4:2:2 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으로, 4:2:2 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 2개의 청색 색차 블록(Cb), 및 2개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다.

도 4c는 4:4:4 포맷을 갖는 영상의 매크로블록을 나타낸다. 보다 구체적으로, 4:4:4 포맷을 갖는 영상의 매크로블록은 4개의 휘도 블록(Y), 4개의 청색 색차 블록(Cb), 및 4개의 적색 색차 블록(Cr)로 이루어질 수 있다. 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)은 8*8블록이다. 즉, 각각의 휘도 블록(Y), 각각의 청색 색차 블록(Cb) 또는 각각의 적색 색차 블록(Cr)에는 8개의 화소(pixel)들이 8열로 배치되어 있어 총 64개의 샘플(sample)들이 존재한다.

도 5는 본 발명에 의한 영상 부호화 장치를 설명하기 위한 블록도로서, 제1 부호화부(512), 제2 부호화부(514), 제3 부호화부(516), 및 비트열 생성부(518)로 이루어질 수 있다.

여기서, 제1 부호화부(512) 및 제2 부호화부(514) 각각은 도 2에 도시된 움직임 추정부(212) 내지 엔트로피 부호화부(230)에 구현된다.

구체적으로, 제1 부호화부(512)는 입력단자 IN 2를 통해 입력된 휘도 블록(Y)을 부호화하는 '움직임 추정부(212) 내지 엔트로피 부호화부(230)'를 의미한다. 마찬가지로, 제2 부호화부(514)는 입력단자 IN 2를 통해 입력된 색차 블록(Cb, 또는 Cr)을 부호화하는 '움직임 추정부(212) 내지 엔트로피 부호화부(230)'를 의미한다.

제1 부호화부(512)는 입력단자 IN 4를 통해 입력된 영상에 포함된 휘도 블록(Y)을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다. 여기서, 입력단자 IN 4는 도 2에 도시된 입력단자 IN 2와 동일하다.

본 발명의 제1 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 '휘도 블록(Y)마다 미리 설정된 부호화 모드 중 다수(a majority of)의 부호화 모드'로 부호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

본 발명의 제2 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

영상에 포함된 각각의 색차 블록(Cb 또는 Cr)마다 그 색차 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 움직임 추정부(212), 또는 움직임 보상부(216)에 입력되기 전에 미리 설정되는 것이 바람직하다.

본 발명의 제3 실시예에 의하면, 제2 부호화부(514)는 입력단자 IN 4를 통해 입력된 영상에 포함된 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'에 따라 부호화한다. 이 경우, 영상은 4:2:2 포맷, 또는 4:4:4 포맷인 것이 바람직하다.

본 발명의 제1 실시예 또는 제3 실시예에 의하면, 영상에 포함된 각각의 휘도 블록(Y)마다 그 휘도 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 입력단자 IN 4에 입력될 때 이미 설정되어 있는 것이 바람직하다. 이와 비슷하게, 본 발명의 제2 실시예에 의하면, 영상에 포함된 각각의 휘도 블록(Y)마다 그 휘도 블록을 어떤 부호화 모드로 부호화할지, 그 영상에 포함된 각각의 청색 색차 블록(Cb)마다 그 청색 색차 블록을 어떤 부호화 모드로 부호화할지, 및 그 영상에 포함된 각각의 적색 색차 블록(Cr)마다 그 적색 색차 블록을 어떤 부호화 모드로 부호화할지는, 그 영상이 입력단자 IN 4에 입력될 때 이미 설정되어 있는 것이 바람직하다. 결국, 입력단자 IN 4에는 영상과 모드 정보가 함께 입력된다. 여기서, 모드 정보는 부호화 모드(또는, 복호화 모드)를 나타내고, 부호화 모드(또는, 복호화 모드)는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

움직임정보 생성부(미 도시)는 본 발명에 의한 영상 부호화 장치에 마련되는 것이 바람직하며, 움직임정보 생성부는 움직임 정보를 생성한다. 이 때, 움직임정보 생성부(미 도시)는 제1 부호화부(512)에서 부호화된 적어도 일부의 휘도 블록들 각각마다 움직임 정보를 생성하는 것이 바람직하다. 마찬가지로, 움직임정보 생성부(미 도시)는 제2 부호화부(514)에서 부호화된 적어도 일부의 색차 블록들 각각마다 움직임 정보를 생성하는 것이 바람직하다.

움직임 정보는 모드 정보와 CBP(Coded Block Pattern)를 포함한다. 만일, 모드 정보가 인터 모드를 나타낸다면, 움직임 정보는 움직임 벡터에 대한 정보도 포함한다.

CBP는 양자화된 결과에 0이 아닌 수치가 존재하는가를 나타낸다. 이러한 CBP의 생성을 위해, 본 발명에 의한 영상 부호화 장치에는 CBP 생성부(미 도시)가 마련될 수 있다. CBP 생성부(미 도시)는 어떤 블록에 대해 양자화부(220)의 동작이 완료될 때마다, 그 양자화된 결과에 0이 아닌 수치가 존재하는가 검사하고, 0이 아닌 수치가 존재한다고 검사되면 그 블록의 CBP로서 1을 생성하고, 0이 아닌 수치가 존재하지 않는다고 검사되면 그 블록의 CBP로서 0을 생성한다.

움직임정보 생성부(미 도시)는 '입력단자 IN 4를 통해 입력된 모드 정보' 및 'CBP 생성부(미 도시)가 생성한 CBP'를 포함하는 움직임 정보를 생성한다.

제3 부호화부(516)는 움직임정보 생성부(미 도시)에서 생성된 움직임 정보를 부호화한다.

비트열 생성부(518)는 도 2에 도시된 엔트로피 부호화부(230)에 구현된다.

비트열 생성부(518)는 제1 부호화부(512)에서 부호화된 결과들, 제2 부호화부(514)에서 부호화된 결과들, 제3 부호화부(516)에서 부호화된 결과들을 조합하여 비트스트림을 생성하고, 생성된 비트스트림을 출력단자 OUT 5를 통해 출력한다. 출력단자 OUT 5는 도 2에 도시된 출력단자 OUT 2와 동일하다.

도 6 내지 도 8은 움직임 정보(MI: motion information)를 설명하기 위한 도면들이다. 움직임 정보는, 도 6 내지 8에 도시된 바와 같이 모든 각 블록마다 존재할 수도 있고, 도 6 내지 도 8에 도시된 바와 달리 일부의 각 블록마다 존재할 수도 있다.

도 6의 (a)는 도 4a에 도시된 '4:2:0 포맷을 갖는 영상의 매크로블록'을 나타낸다. 설명의 편의상, 참조번호 612, 614, 616, 618, 620, 630 각각은 1, 2, 3, 4, 5, 6 번째 블록이라 명명한다.

도 6의 (b)는 도 6의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(640)으로 표현된 일 례를 나타낸다. 여기서, MI(t)(단, t는 1≤t≤6인 정수)는 움직임정보 생성부(미 도시)가 t번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 7의 (a)는 도 4b에 도시된 '4:2:2 포맷을 갖는 영상의 매크로블록'을 나타낸다. 설명의 편의상, 참조번호 712, 714, 716, 718, 720, 722, 724, 726 각각은 1, 2, 3, 4, 5, 6, 7, 8 번째 블록이라 명명한다.

도 7의 (b)는 도 7의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(730)으로 표현된 일 례를 나타낸다. 여기서, MI(u)(단, u는 1≤u≤8인 정수)는 움직임정보 생성부(미 도시)가 u번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 8의 (a)는 도 4c에 도시된 '4:4:4 포맷을 갖는 영상의 매크로블록'을 나타낸다. 설명의 편의상, 참조번호 812, 814, 816, 818, 820, 822, 824, 826, 828, 830, 832, 834 각각은 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12 번째 블록이라 명명한다.

도 8의 (b)는 도 8의 (a)에 도시된 매크로블록의 움직임 정보가 비트스트림(840)으로 표현된 일 례를 나타낸다. 여기서, MI(v)(단, v는 1≤v≤12인 정수)는 움직임정보 생성부(미 도시)가 v번째 블록에 대해 생성한 움직임 정보를 의미한다.

도 9는 본 발명에 의한 영상 복호화 장치를 설명하기 위한 블록도로서, 제3 복호화부(910), 제1 복호화부(920), 및 제2 복호화부(930)로 이루어질 수 있다.

제3 복호화부(910)는 제3 복호화부(910)는 입력단자 IN 5를 통해 입력된 비트스트림으로부터 움직임 정보를 추출하고, 추출된 움직임 정보를 복호화한다. 입력단자 IN 5는 도 3에 도시된 입력단자 IN 3과 동일하다.

제1 복호화부(920) 및 제2 부호화부(930) 각각은 도 3에 도시된 엔트로피 복호화부(312) 내지 참조영상 저장부(324)에 구현된다.

구체적으로, 제1 복호화부(920)는 휘도 블록(Y)을 복호화하는 '엔트로피 복호화부(312) 내지 참조영상 저장부(324)'를 의미한다. 마찬가지로, 제2 복호화부(930)는 색차 블록(Cb, 또는 Cr)을 복호화하는 '엔트로피 복호화부(312) 내지 참조영상 저장부(324)'를 의미한다.

제1 복호화부(920)는 휘도 블록(Y)을 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화한다. 구체적으로, 그 미리 설정된 복호화 모드는 입력단자 IN 5를 통해 입력된 비트스트림에 이미 나타나 있다.

따라서, 제1 복호화부(920)는 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재하는가 검사한다.

만일, 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재하지 않는다고 검사되면, 제1 복호화부(920)는 그 복호화하고자 하는 휘도 블록을 일정 복호화 모드로 복호화한다. 이 때, 일정 복호화 모드는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

그에 반해, 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 휘도 블록의 움직임 정보가 존재한다고 검사되면, 제1 복호화부(920)는 그 복호화된 움직임 정보에 포함된 모드 정보에 나타난 복호화 모드가 인터 모드인지 아니면 인트라 모드인지 분석한다. 이 경우, 제1 복호화부(920)는 그 복호화하고자 하는 휘도 블록을 그 분석된 복호화 모드에 따라 복호화한다.

본 발명의 제1 실시예에 의하면, 제2 복호화부(930)는 색차 블록(Cb, 또는 Cr)을 '휘도 블록(Y)마다 미리 설정된 복호화 모드 중 다수(a majority of)의 복호화 모드'로 복호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

본 발명의 제2 실시예에 의하면, 제2 복호화부(930)는 색차 블록(Cb, 또는 Cr)을 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화한다. 이 경우, 영상은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나의 포맷을 갖는 것이 바람직하다.

구체적으로, 그 미리 설정된 복호화 모드는 입력단자 IN 5를 통해 입력된 비트스트림에 이미 나타나 있다.

따라서, 제2 복호화부(930)는 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재하는가 검사한다.

만일, 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재하지 않는다고 검사되면, 제2 복호화부(930)는 그 복호화하고자 하는 색차 블록을 일정 복호화 모드로 복호화한다. 이 때, 일정 복호화 모드는 인터 모드일 수도 있고, 인트라 모드일 수도 있다.

그에 반해, 제3 복호화부(910)에서 복호화된 움직임 정보 중에 복호화하고자 하는 색차 블록의 움직임 정보가 존재한다고 검사되면, 제2 복호화부(930)는 그 복호화된 움직임 정보에 포함된 모드 정보에 나타난 복호화 모드가 인터 모드인지 아니면 인트라 모드인지 분석한다. 이 경우, 제2 복호화부(930)는 그 복호화하고자 하는 색차 블록을 그 분석된 복호화 모드에 따라 복호화한다.

본 발명의 제3 실시예에 의하면, 제2 복호화부(930)는 색차 블록(Cb, 또는 Cr)을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드'에 따라 복호화한다. 이 경우, 영상은 4:2:2 포맷, 또는 4:4:4 포맷인 것이 바람직하다.

한편, 제1 복호화부(920)에서 복원된 휘도 블록들, 제2 복호화부(930)에서 복원된 색차 블록들 모두는 출력단자 OUT 6을 통해 출력된다. 출력단자 OUT 6은 도 3에 도시된 출력단자 OUT 3, 또는 OUT 4와 동일하다.

도 10은 영상을 1MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 도면들이다. 1MV(motion vector) 방식이란 하나의 매크로블록에 필요한 움직임 벡터가 최대 1개인 경우의 부호화/복호화 방식을 의미한다. 설명의 편의상, 도 10에 도시된 영상은 4:2:0 포맷을 갖는 영상이다.

이처럼 영상을 1MV 방식으로 부호화/복호화한다면, 휘도 블록(1012, 1014, 1016, 1018)(1032, 1034, 1036, 1038)의 부호화 모드(또는, 복호화 모드), 청색 색차 블록(1020)(1040)의 부호화 모드(또는, 복호화 모드), 적색 색사 블록(1022)(1042)의 부호화 모드(또는, 복호화 모드) 모두가, 도 10에 도시된 바와 같이, 서로 동일하다.

도 11은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제1 실시예의 플로우챠트로서, 휘도 블록을 부호화한 뒤, 색차 블록을 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 부호화하는 단계들(제1110~ 1140 단계들)로 이루어진다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제1110 단계).

제1110 단계 후에, 제2 부호화부(514)는 색차 블록을 '휘도 블록마다 미리 설정된 부호화 모드 중 다수의 부호화 모드'로 부호화한다(제1120~ 1140 단계들).

구체적으로, 제2 부호화부(514)는 휘도 블록마다 미리 설정된 부호화 모드 중 절반 이상이 인터 모드인가 판단한다(제1120 단계). 제1120 단계는, 도시된 바와 같이 "휘도 블록마다 미리 설정된 부호화 모드 중 절반 이상이 인터 모드인가"를 판단할 수도 있고, 도시된 바와 달리 "휘도 블록마다 미리 설정된 부호화 모드 중 절반 초과가 인터 모드인가"를 판단할 수도 있다.

제1120 단계에서 인터 모드라고 판단되면, 제2 부호화부(514)는 색차 블록을 인터 모드로 부호화한다(제1130 단계). 그에 반해, 제1120 단계에서 인트라 모드라고 판단되면, 제2 부호화부(514)는 색차 블록을 인트라 모드로 부호화한다(제1140 단계).

도 12는 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제1 실시예의 플로우챠트로서, 휘도 블록을 복호화한 뒤, 색차 블록을 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 복호화하는 단계들(제1210~ 1232 단계들)로 이루어진다.

제3 복호화부(910)는 움직임 정보를 복호화하고(제1210 단계), 제1 복호화부(920)는 복호화하고자 하는 블록이 휘도 블록인가 판단한다(제1212 단계). 도시된 바에서, N은 복호화 순위를 의미하며, 전술한 t일 수도 있고, u일 수도 있고, v일 수도 있다.

제1212 단계에서 휘도 블록이라고 판단되면, 제1 복호화부(920)는 그 복호화하고자 하는 블록의 움직임 정보가 제1210 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제1214 단계).

제1214 단계에서 존재하지 않는다고 판단되면, 제1 복호화부(920)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1216 단계). 다만, 제1216 단계는 도시된 바와 달리, 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

한편, 제1214 단계에서 존재한다고 판단되면, 제1 복호화부(920)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제1218 단계).

제1218 단계 후에, 제1 복호화부(920)는 제1218 단계에서 인트라 모드라고 분석되는지 판단한다(제1220 단계).

제1218 단계에서 인트라 모드라고 분석된다고 판단되면(제1220 단계), 제1 복호화부(920)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1222 단계). 그에 반해, 제1218 단계에서 인터 모드라고 분석된다고 판단되면(제1220 단계), 제1216 단계로 진행한다.

만일, 제1212 단계에서 색차 블록이라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록과 동일한 매크로블록에 포함된 모든 휘도 블록의 복호화 모드들 중 절반 이상이 인터 모드인가 판단한다(제1224 단계).

다만, 제1224 단계는 도시된 바와 달리, 그 복호화하고자 하는 블록과 동일한 매크로블록에 포함된 모든 휘도 블록의 복호화 모드들 중 절반 초과가 인터 모드인가 판단할 수도 있다.

제1224 단계에서 인터 모드가 아니라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1226 단계).

반면, 제1224 단계에서 인터 모드라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1228 단계).

제1216 단계, 제1226 단계 또는 제1228 단계 후에, 제1230 단계는 매크로블록의 모든 블록이 다 복호화되었는지 판단한다. 만일, 제1230 단계에서 복호화되지 않은 블록이 존재한다고 판단되면, 그 다음 복호화 순위의 블록을 복호화하기 위해 제1232 단계를 거쳐 제1212 단계로 진행한다.

도 13 내지 도 15는 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제1 실시예의 도면들이다. 4MV(motion vector) 방식이란 하나의 매크로블록에 필요한 움직임 벡터가 최대 4개인 경우의 부호화/복호화 방식을 의미한다.

도 13에 도시된 매크로블록은, 4:2:0 포맷을 갖는 영상의 매크로블록이다.

도 13의 (a)에 도시된 바에서, 휘도 블록들(1312, 1314, 1316, 1318) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1312, 1314, 1316, 1318)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록(1320)은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록(1330)도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 13의 (b)에 도시된 바에서, 휘도 블록들(1342, 1344, 1346, 1348) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1342, 1344, 1346, 1348)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록(1350)은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록(1360)도 인트라 모드로 부호화/복호화된다.

도 14에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 14의 (a)에 도시된 바에서, 휘도 블록들(1412, 1414, 1416, 1418) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1412, 1414, 1416, 1418)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록들(1422, 1424) 각각은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1432, 1434) 각각도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 14의 (b)에 도시된 바에서, 휘도 블록들(1442, 1444, 1446, 1448) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1442, 1444, 1446, 1448)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록들(1452, 1454) 각각은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1462, 1464) 각각도 인트라 모드로 부호화/복호화된다.

도 15에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 15의 (a)에 도시된 바에서, 휘도 블록들(1512, 1514, 1516, 1518) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1512, 1514, 1516, 1518)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인터 모드이다. 그러므로, 청색 색차 블록들(1522, 1524, 1526, 1528) 각각은 인터 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1532, 1534, 1536, 1538) 각각도 인터 모드로 부호화/복호화된다.

이와 비슷하게, 도 15의 (b)에 도시된 바에서, 휘도 블록들(1542, 1544, 1546, 1548) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 이 경우, 휘도 블록들(1542, 1544, 1546, 1548)의 부호화 모드(또는, 복호화 모드)들 중 다수의 부호화 모드(또는, 복호화 모드)는 인트라 모드이다. 그러므로, 청색 색차 블록들(1552, 1554, 1556, 1558) 각각은 인트라 모드로 부호화/복호화된다. 마찬가지로, 적색 색차 블록들(1562, 1564, 1566, 1568) 각각도 인트라 모드로 부호화/복호화된다.

도 16은 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제2 실시예의 플로우챠트이다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화하고(제1610 단계), 제2 부호화부는 색차 블록을 색차 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제1620 단계).

제1620 단계는 도시된 바와 같이 제1610 단계 이후에 수행될 수도 있고, 도시된 바와 달리 제1610 단계 이전에 수행될 수도 있고 제1610 단계와 동시에 수행될 수도 있다.

도 17은 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제2 실시예의 플로우챠트로서, 휘도 블록을 휘도 블록마다 미리 설정된 복호화 모드에 따라 복호화하고, 색차 블록을 색차 블록마다 미리 설정된 복호화 모드에 따라 복호화하는 단계들(제1710~ 1724 단계들)로 이루어진다.

제3 복호화부(910)는 움직임 정보를 복호화한다(제1710 단계).

제1710 단계 후에, 제1 복호화부(920) 또는 제2 복호화부(930)는 그 복호화하고자 하는 블록의 움직임 정보가 제1710 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제1712 단계).

제1712 단계에서 존재한다고 판단되면, 제1 복호화부(920) 또는 제2 복호화부(930)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제1714 단계).

제1714 단계 후에, 제1 복호화부(920) 또는 제2 복호화부(930)는 제1714 단계에서 인트라 모드라고 분석되는지 판단한다(제1716 단계).

제1714 단계에서 인트라 모드라고 분석된다고 판단되면(제1716 단계), 제1 복호화부(920) 또는 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제1718 단계). 그에 반해, 제1714 단계에서 인터 모드라고 분석된다고 판단되면(제1716 단계), 제1 복호화부(920) 또는 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제1720 단계).

한편, 제1712 단계에서 존재하지 않는다고 판단되면, 도시된 바와 같이 제1720 단계로 진행할 수도 있고, 도시된 바와 달리 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

도 18은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제2 실시예의 도면들이다.

도 18의 (a)에 도시된 매크로블록은, 4:2:0 포맷을 갖는 영상의 매크로블록이다.

도 18의 (a)에 도시된 바에서, 휘도 블록들(1812, 1814, 1816, 1818) 각각은 인트라 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록(1820)은 인터 모드로 부호화/복호화되고, 적색 색차 블록(1830)은 인트라 모드로 부호화/복호화된다. 이와 같이, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 18의 (b)에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 18의 (b)에 도시된 바에서, 휘도 블록들(1842, 1844, 1846, 1848) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록들(1852, 1854) 각각은 인터 모드, 인트라 모드로 부호화/복호화되고, 적색 색차 블록들(1862, 1864) 각각은 인트라 모드, 인터 모드로 부호화/복호화된다. 이처럼, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 18의 (c)에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 18의 (c)에 도시된 바에서, 휘도 블록들(1872, 1874, 1876, 1878) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다. 또한, 청색 색차 블록들(1882, 1884, 1886, 1888) 각각은 인터 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화되고, 적색 색차 블록들(1892, 1894, 1896, 1898) 각각은 인터 모드, 인터 모드, 인터 모드, 인터 모드로 부호화/복호화된다. 이와 같이, 휘도 블록의 부호화 모드(또는, 복호화 모드), 청색 색차 블록의 부호화 모드(또는, 복호화 모드), 적색 색차 블록의 부호화 모드(또는, 복호화 모드)간에는 아무런 관련이 없을 수도 있다.

도 19는 본 발명에 의한 영상 부호화 방법을 설명하기 위한 제3 실시예의 플로우챠트로서, 휘도 블록을 부호화한 뒤, 색차 블록을 휘도 블록의 부호화 모드를 고려하여 결정되는 부호화 모드에 따라 부호화하는 단계들(제1910~ 1920 단계들)로 이루어진다.

제1 부호화부(512)는 휘도 블록을 휘도 블록마다 미리 설정된 부호화 모드에 따라 부호화한다(제1910 단계).

제1910 단계 후에, 제2 부호화부(514)는 색차 블록을 '그 색차 블록의 위상과 동일한 위상을 갖는 휘도 블록의 부호화 모드'에 따라 부호화한다(제1920 단계).

도 20은 본 발명에 의한 영상 복호화 방법을 설명하기 위한 제3 실시예의 플로우챠트로서, 휘도 블록을 복호화한 뒤, 색차 블록을 휘도 블록의 복호화 모드를 고려하여 결정되는 복호화 모드에 따라 복호화하는 단계들(제2010~ 2032 단계들)로 이루어진다.

제3 복호화부(910)는 움직임 정보를 복호화하고(제2010 단계), 제1 복호화부(920)는 복호화하고자 하는 블록이 휘도 블록인가 판단한다(제2012 단계). 도시된 바에서, N은 복호화 순위를 의미하며, 전술한 t일 수도 있고, u일 수도 있고, v일 수도 있다.

제2012 단계에서 휘도 블록이라고 판단되면, 제1 복호화부(920)는 그 복호화하고자 하는 블록의 움직임 정보가 제2010 단계에서 복호화된 움직임 정보 중에 존재하는가 판단한다(제2014 단계).

제2014 단계에서 존재한다고 판단되면, 제1 복호화부(920)는 그 복호화하고자 하는 블록의 움직임 정보를 분석한다(제2016 단계).

제2016 단계 후에, 제1 복호화부(920)는 제2016 단계에서 인트라 모드라고 분석되는지 판단한다(제2018 단계).

제2016 단계에서 인트라 모드라고 분석된다고 판단되면(제2018 단계), 제1 복호화부(920)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제2020 단계). 그에 반해, 제2016 단계에서 인터 모드라고 분석된다고 판단되면(제2018 단계), 제1 복호화부(920)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제2022 단계).

한편, 제2014 단계에서 존재하지 않는다고 판단되면, 도시된 바와 같이 제2022 단계로 진행할 수도 있고, 도시된 바와 달리 그 복호화하고자 하는 블록을 인트라 모드로 복호화할 수도 있다.

만일, 제2012 단계에서 색차 블록이라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록의 위상과 동일한 위상을 갖는 휘도 블록의 복호화 모드가 인터 모드인지 아니면 인트라 모드인지의 여부를 판단한다(제2024 단계).

제2024 단계에서 인터 모드라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인터 모드로 복호화한다(제2026 단계). 반면, 제2024 단계에서 인트라 모드라고 판단되면, 제2 복호화부(930)는 그 복호화하고자 하는 블록을 인트라 모드로 복호화한다(제2028 단계).

제2020 단계, 제2022 단계, 제2026 단계, 또는 제2028 단계 후에, 제2030 단계는 매크로블록의 모든 블록이 다 복호화되었는지 판단한다. 만일, 제2030 단계에서 복호화되지 않은 블록이 존재한다고 판단되면, 그 다음 복호화 순위의 블록을 복호화하기 위해 제2032 단계를 거쳐 제2012 단계로 진행한다.

도 21은 영상을 4MV 방식으로 부호화/복호화하는 원리를 설명하기 위한 제3 실시예의 도면들이다.

도 21의 (a)에 도시된 매크로블록은, 4:2:2 포맷을 갖는 영상의 매크로블록이다.

도 21의 (a)에 도시된 바에서, 휘도 블록(2112, 2114, 2116, 또는 2118)의 위상이란, 그 휘도 블록(2112, 2114, 2116, 또는 2118)의 휘도 블록들(2112, 2114, 2116, 및 2118) 내에서의 위치를 의미한다. 한편, 청색 색차 블록(2122, 또는 2124)의 위상이란, 그 청색 색차 블록(2122, 또는 2124)의 색차 블록들(2122, 2124, 2132, 및 2134) 내에서의 위치를 의미한다. 마찬가지로, 적색 색차 블록(2132, 또는 2134)의 위상이란, 그 적색 색차 블록(2132, 또는 2134)의 색차 블록들(2122, 2124, 2132, 및 2134) 내에서의 위치를 의미한다.

도 21의 (a)에 도시된 바에서, 휘도 블록들(2112, 2114, 2116, 2118) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다.

따라서, 청색 색차 블록(2122)은 휘도 블록(2112)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2124)은 휘도 블록(2116)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2132)은 휘도 블록(2114)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2134)은 휘도 블록(2118)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

도 21의 (b)에 도시된 매크로블록은, 4:4:4 포맷을 갖는 영상의 매크로블록이다.

도 21의 (b)에 도시된 바에서, 휘도 블록(2142, 2144, 2146, 또는 2148)의 위상이란, 그 휘도 블록(2142, 2144, 2146, 또는 2148)의 휘도 블록들(2142, 2144, 2146, 및 2148) 내에서의 위치를 의미한다. 한편, 청색 색차 블록(2152, 2154, 2156, 또는 2158)의 위상이란, 그 청색 색차 블록(2152, 2154, 2156, 또는 2158)의 청색 색차 블록들(2152, 2154, 2156, 및 2158) 내에서의 위치를 의미한다. 마찬가지로, 적색 색차 블록(2162, 2164, 2166, 또는 2168)의 위상이란, 그 적색 색차 블록(2162, 2164, 2166, 또는 2168)의 적색 색차 블록들(2162, 2164, 2166, 또는 2168) 내에서의 위치를 의미한다.

도 21의 (b)에 도시된 바에서, 휘도 블록들(2142, 2144, 2146, 2148) 각각은 인트라 모드, 인트라 모드, 인트라 모드, 인터 모드로 부호화/복호화 된다.

따라서, 청색 색차 블록(2152)은 휘도 블록(2142)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2154)은 휘도 블록(2144)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2156)은 휘도 블록(2146)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 청색 색차 블록(2158)은 휘도 블록(2148)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

이와 비슷하게, 적색 색차 블록(2162)은 휘도 블록(2142)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2164)은 휘도 블록(2144)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2166)은 휘도 블록(2146)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화되고, 적색 색차 블록(2168)은 휘도 블록(2148)의 부호화 모드(또는, 복호화 모드)로 부호화/복호화된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

312 ... 엔트로피 복호화부 314 ... 제로 복호화부
316 ... 역 재배열부 318 ... 역양자화부
320 ... 역공간변환부 322 ... 움직임 추정부
324 ... 참조영상 저장부

Claims

각 휘도 블록의 휘도 복호화 모드에 따라 상기 휘도 블록을 복호화하는 단계;
상기 휘도 블록의 상기 휘도 복호화 모드에 대응하는 복수의 색차 복호화 모드들 중 하나를 사용하여 색차 블록을 복호화하는 단계를 포함하고,
상기 복수의 색차 복호화 모드들은 상기 휘도 블록의 상기 휘도 복호화 모드와 동일한 복호화 모드와 동일하지 않은 복호화 모드를 모두 포함하고, 예측 모드와 관련되는 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서, 상기 휘도 블록 및 상기 색차 블록의 포맷은 4:2:0 포맷, 4:2:2 포맷, 4:4:4 포맷 중 하나인 것을 특징으로 하는 영상 복호화 방법.
제1 항에 있어서, 상기 색차 블록을 복호화하는 단계는 상기 색차 블록을 상기 색차 블록의 위상과 동일한 위상을 갖는 상기 휘도 블록의 휘도 복호화 모드에 따라 복호화하는 것을 특징으로 하는 영상 복호화 방법.
제3 항에 있어서, 상기 휘도 블록 및 상기 색차 블록의 포맷은 4:2:2 포맷 또는 4:4:4 포맷인 것을 특징으로 하는 영상 복호화 방법.