KR20040099086A

KR20040099086A - 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치

Info

Publication number: KR20040099086A
Application number: KR1020030072810A
Authority: KR
Inventors: 김우식; 김현문; 조대성
Original assignee: 삼성전자주식회사
Priority date: 2003-05-16
Filing date: 2003-10-18
Publication date: 2004-11-26
Also published as: KR100718121B1

Abstract

본 발명은 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것으로서, 그 부호화 방법은 원영상의 각 성분에 대해 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 원영상의 소정 성분에 대한 레지듀를 부호화하는 단계; 부호화된 레지듀를 복원하여 소정의 값으로 변환하는 단계; 및 부호화되지 않은 성분의 레지듀와 복원되어 소정 값으로 변환된 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함함을 특징으로 한다. 그 복호화방법은 부호화된 원영상의 소정 성분의 레지듀를 복호화하는 단계; 상기 복호화된 레지듀를 소정의 값으로 변환하는 단계; 복호화되지 않은 각 성분의 예측 레지듀를 복호화하는 단계; 소정의 값으로 변환된 값과 예측 레지듀를 더하여 복호화되지 않은 성분의 레지듀를 구하는 단계; 및 각 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다.

본 발명에 의하면, 영상성분의 레지듀와 영상성분간의 상관성을 이용하여 예측 레지듀를 부호화 및 복호화 하므로써 데이터 량을 크게 감소시킬 수 있고, RGB 영역에서 직접 부호화하면 Y-Cr-Cb 영역으로 변환 할 때 생기는 영상 품질 손실이 없으므로 고품질의 영상정보를 얻을 수 있다.

Description

영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및 장치{A image encoding/decoding methods and apparatus using residue prediction of image}

본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 특히 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.

일반적으로 비디오 압축의 경우 압축률을 높이기 위해 기기로부터 바로 취득할 수 있는 R-G-B 등의 영상 형식을 압축에 적합한 형식인 Y-Cr-Cb 등의 영상 형식으로 변환한다. 그러나 Y-Cr-Cb로 변환할 때 근본적으로 영상의 품질이 손실된다. 그리고 일반적으로 Y-Cr-Cb 영상을 압축할 때 압축 효율을 위해 Cr 및 Cb 성분을 4배만큼 크기를 줄여 부호화하게 된다. 따라서 Y-Cr-Cb 영상을 부호화할 때는 원 영상에 가까운 고품질의 영상 복원이 어렵다.

또 다른 한가지 문제점으로는 이러한 Y-Cr-Cb로 변환 손실을 줄이기 위해 R-G-B 칼라 성분을 기존의 Y-Cr-Cb 부호화기에서 각각의 성분을 독립적으로 부호화하면 R-G-B 성분 상호간에 남아있는 상관관계(correlation)를 이용하지 못하므로 부호화 효율이 떨어진다. 이러한 방법으로 대표적인 것이 국제 표준화 기구인ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 AVC/H.264 표준화 기술이다 ("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003).

본 발명이 이루고자 하는 기술적 과제는 R-G-B 칼라 성분을 고화질로 부호화하기 위해서 Y-Cr-Cb로 변환하지 않고 R-G-B 성분을 직접 부호화하되 R-G-B 사이의 중복되는 정보를 효과적으로 제거하여 부호화하기 위해, 영상의 레지듀 예측을 이용한 영상의 부호화/복호화 방법 및 장치를 제공하는 것이다.

도 1은 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다.

도 2는 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것이다.

도 3은 본 발명에서 이용한 R-G-B 칼라 영상의 레지듀(residue) 예측 방법에 대한 개념을 블록도로 도시한 것이다.

도 4는 도 1에서 영상의 시간상 예측을 위한 움직임추정부 및 움직임 예측부 및 도 3의 시간상 예측을 위한 움직임의 기본단위로 사용하는 매크로 블럭의 분할방법을 도시한 것이다.

도 5A는 도 1에서 공간상 예측을 위한 공간추정부 및 공간예측부 및 도 3의 공간상 예측을 위한 인접화소의 위치와 예측할 현재 블럭의 화소의 위치를 도시한 것이다.

도 5B는 공간상 인접한 화소로부터 투영하여 현재 블럭을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다.

도 6은 R-G-B Crew (1280×720) 영상과 이 영상에 대해서 도 1의 움직임추정부 및 움직임예측부에 의한 시간상 예측에 의한 레지듀 영상을 나타낸 것이다.

도 7은 R-G-B 영상의 시/공간상 예측에 의한 레지듀 사이의 상관도를 도시한 것이다.

도 8은 R-G-B 칼라 영상의 레지듀 예측에 의한 복호화 결과를 기존의 방법과 비교한 결과를 도시한 것이다.

상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 방법에 있어서 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 상기 원영상의 소정 성분에 대한 레지듀를 부호화하는 단계; 상기 소정 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 성분의 레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함함을 특징으로 한다. 상기 레지듀의 소정 값으로의 변환은, 상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나일 수 있다.

상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 칼라영상의 R-G-B 성분 각각에 대해, 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차에 해당하는 시간적 레지듀를 구하는 단계; 상기 G 성분의 레지듀를 부호화하는 단계; 상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 한다. 상기 움직임 추정은

소정 크기의 블록단위로 움직임 추정됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은, 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은, 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 칼라영상의 R-G-B 성분 각각에 대해, 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차에 해당하는 공간적 레지듀를 구하는 단계; 상기 G 성분의 레지듀를부호화하는 단계; 상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, R-G-B 칼라 영상을 부호화하는 방법에 있어서 (1) 인터 방식이면, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계; (2) 인트라 방식이면, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계; (3) G 성분의 레지듀를 부호화하고, 상기 부호화된 G 성분의 레지듀 영상을 복원하는 단계; (4) 상기 (1) 및 (2)단계에서 생성된 R 및 B 성분의 레지듀에 대해 상기 (3)단계에서 복원된 G 성분의 레지듀를 사용하여 R 및 B 성분에 대한 예측된 레지듀를 얻는 단계; (5) 상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 부호화하고, 상기 부호화된 R 및 B 성분의 예측 레지듀 영상을 복원하는 단계; 및 (6) 상기 G의복원된 레지듀 영상과 상기 R 및 B의 복원된 예측 레지듀 영상에서 G, R, 및 B의 복원된 레지듀 값을 얻고 이 값을 상기 예측영상 값에 더하여 G, R, 및 B의 복원된 영상을 얻는 단계를 포함함을 특징으로 한다. 상기 (3)단계는 G 성분의 레지듀는 압축하기 위해 주파수 공간 변환, 양자화 및 가변장 부호화하고, 양자화된 값은 다시 역 양자화 및 역 주파수 변환을 하여 G 값의 복원된 레지듀 영상을 얻는 단계이고, 상기 (5)단계는 상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 주파수 공간 변환, 양자화 및 가변장 부호화 하고, 양자화된 값은 다시 역 양자화 및 역 주파수 공간 변환을 하여 R 및 B 값의 복원된 예측 레지듀 영상을 얻는 단계이 바람직하다. 상기 (4)단계는 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 선형 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 구하는 단계로 이루어짐이 바람직하다.

상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, 적어도 두가지 이상의 성분으로 이루어지는 원영상을 부호화하는 장치에 있어서 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차를 생성하는 레지듀 생성부; 상기 레지듀생성부에서 생성된 원영상의 소정 성분에 대한 레지듀와 하기 예측 레지듀생성부에서 생성된 예측 레지듀를 부호화하는 레지듀부호화부; 상기 소정 성분의 부호화된 레지듀를 복원하여 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부; 및 상기 원영상 중 부호화되지 않은 성분의레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함함을 특징으로 한다.

상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부; 칼라영상의 R-G-B 성분 각각에 대해, 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀 생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G성분의 레지듀 갑을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및 상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 한다.

상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부; 칼라영상의 R-G-B 성분 각각에 대해, 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및 상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부; 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부; 인터방식이면 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록과의 차에 해당하는 시간적 레지듀를 생성하고, 인트라방식이면 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀 생성부에서 생성된 G 성분의 레지듀, 하기 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 레지듀변환부에서 변환된 값과 상기 레지듀생성부에서 생성된 R 및 B성분의 레지듀와의 차를 생성하는 예측레지듀생성부; 상기 역압축복호호부의 B 성분 및 R 성분의 예측 레지듀와 상기 선형변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀에, 인터모드이면 상기 움직임예측영상생성부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측영상생성부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다. 상기 움직임예측영상생성부는 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하는 움직임 추정부; 및 상기 움직임 추정부로부터 생성된 움직임 벡터에 해당하는 블록을 출력하는 움직임 예측부로 이루어지고, 상기 공간예측영상생성부는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하는 공간추정부; 및 상기 공간추정부로부터 추정된 방향에 해당하는 블록을 출력하는 공간 예측부로 이루어짐이 바람직하다. 상기 압축부호화부는 상기 레지듀생성부에서 생성된 G 성분의 레지듀, 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하는 주파수공간변환부; 상기 주파수공간변환부에서 압축된 데이터를 양자화하는 양자화부; 및 상기 양자화된 데이터를 부호화하는 부호화부로 이루어지고, 상기 역압축복호화부는 상기 양자화된 데이터를 역양자화하는 역양자화부; 및 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐이 바람직하다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 적어도 두가지 이상의 성분으로 이루어지는 원영상을 복호화하는 방법에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 원영상의 소정 성분의 레지듀를 복호화하는 단계; 상기 복호화된 레지듀를 소정의 값으로 변환하는 단계; 상기 복호화되지 않은 각 성분의 예측 레지듀를 복호화하는 단계; 상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 복호화되지 않은 성분의 레지듀를 구하는 단계; 및 상기 각 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 복호화된 레지듀의 소정 값으로의 변환은 상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 원영상은

R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서 상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 G-R-B 영상으로부터 G 성분의 시간적 레지듀를 복호화하는 단계; 상기 복호화된 G 성분의 레지듀를 소정의 값으로 변환하는 단계; 상기 복호화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계; 상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및 상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 움직임 추정은 소정 크기의 블록단위로 움직임 추정됨을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서 상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 G 성분의 레지듀를 복호화하는 단계; 상기 복호화된 G 성분의 레지듀를 상기 복호화된 G성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 상기 복호화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계; 상기 G 성분 레지듀의 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및 상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, R-G-B 칼라 영상을 복호화 하는 방법에 있어서, 상기 칼라영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, (1) 부호화된 영상 데이터로부터 G 성분의 레지듀 영상을 복원하는 단계; (2) 부호화된 영상 데이터로부터 R 및 B 성분의 예측 레지듀 영상을 얻고, 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환된 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계; (4) 인터 방식이면, 상기 (1) 단계 및 (2) 단계에서 복원된 R-G-B 성분의 레지듀 값에 이전 프레임의 각 칼라 성분을 시간적으로 움직임 보상한 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계; 및 (5) 인트라 방식이면, 상기 (1) 및 (2)에서 복원된 R-G-B 성분의 레지듀값에 공간적으로 근접한 화소로부터 예측 방향을 추정하여 얻은 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계를 포함하는 것을 특징으로 한다. 상기 (1)단계는 부호화된 데이터를 역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 G 성분의 복원된 레지듀 영상을 얻는 단계이고, 상기 (2)단계는 역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 R 및 B 성분의 예측 레지듀 영상을 얻고 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계임이 바람직하다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는 장치에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 영상 데이터를 복호화하여 상기 영상의 소정 성분의 복원된 레지듀 영상과 복원되지 않은 레지듀에 해당하는 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 성분의 레지듀를 상기 복원된 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부; 상기 역압축복호화부에서 생성된 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부에서 생성된 레지듀와 상기 역압축복호화부에서 생성된 소정 성분의 레지듀 각각에 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서 상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부; 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 움직임보상부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서 상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.

상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는 장치에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부; 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀를, 인터모드이면 상기 움직임보상부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다. 상기 역압축복호화부는 상기 부호화된 영상데이터를 엔트로피 복호화하는 엔트로피복호화부; 상기 엔트로피 복호화된 데이터를 역양자화하는 역양자화부; 및 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐이 바람직하다.

그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 본 발명은 영상기기로부터 바로 취득할 수 있는 R-G-B 비디오 영상을 기존의 Y-Cr-Cb 영역으로의 변환없이 직접 압축할 수 있다. R-G-B 세 가지 성분 중 하나는 기존의 Y의 방식대로 부호화하고 나머지 두 성분은 공간상 인접한 화소(pixel)나 시간상으로 인접한 화소에서 예측한 뒤 발생한 레지듀(residue) 영상을 Y의 방식으로 부호화한 칼라성분의 복원 레지듀(residue) 값으로부터 예측하여 부호화한다.

도 1은 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다. 도 1의 실시예에서는 G, R, B성분으로 이루어지는 칼라 영상을 부호화한다. 먼저 레지듀와 예측레지듀에 대한 용어를 설명하기로 한다. 상기 레지듀라 함은 상기 원영상과 예측영상의 차를 말하고, 상기 예측레지듀라 함은 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 말한다,

상기 본 발명의 일실시예에 해당하는 부호화 장치는 현재영상저장부(F_n, 100), 이전영상저장부(F'_n-1, 105), 움직임예측영상생성부(10), 공간예측영상생성부(20), 레지듀생성부(130), 압축부호화부(30), 역압축복호화부(40), 레지듀변환부(165), 예측레지듀생성부(135), 레지듀보상부(170), 원영상생성부(175), 루프필터(180), 복원영상저장부(185)를 포함하여 이루어진다.

상기 현재영상저장부(100)는 G,B,R 성분의 칼라 영상을 받아들여 저장한다. 상기 이전영상저장부(105)는 복호화된 G,B,R 성분의 이전 칼라 영상을 저장한다.

상기 움직임예측영상생성부(10)는 이전 프레임과 현재 프레임 간에 블록단위로 움직임을 추정하여 해당 블록을 출력하며, 움직임추정부(110)와 움직임예측부(115)로 이루어진다. 상기 블록은 도 4에 도시된 바와 같이 기본적으로 가로x세로(16x16) 크기의 매크로 블럭을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블럭은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다.

상기 움직임추정부(110)는 이전 프레임과 현재 프레임 간에 블록단위로 움직임을 추정한다. 상기 움직임예측부(115)는 상기 움직임추정부로부터 생성된 움직임 벡터에 해당하는 블록을 출력한다.

상기 공간예측영상생성부(20)는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하며, 공간추정부(120) 및 공간예측부(125)로 이루어진다.

상기 공간추정부(120)는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정한다. 상기 공간예측부(125)는 상기 공간추정부로부터 추정된 방향에 해당하는 블록을 출력한다. 상기 공간추정 및 공간예측은 도 5에 도시되어 있으며, 이에 대한 자세한 설명은 후술하기로 한다.

상기 레지듀생성부(130)는 인터(inter)방식이면 상기 움직임예측영상생성부(10)의 영상과 현재 프레임의 해당 블록과의 차에 해당하는 시간적 레지듀를 생성하고, 인트라(intra)방식이면 상기 공간예측영상생성부(20)의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성한다.

압축부호화부(30)는 상기 레지듀생성부(130)에서 생성된 G 성분의 레지듀, 예측레지듀생성부(135)에서 생성된 R 및 B 성분의 예측레지듀를 압축하여 부호화하며, 주파수공간변환부(140)와 양자화부(145) 및 엔트로피부호화부(150)로 이루어진다. 상기 주파수공간변환부(140)는 상기 레지듀생성부(130)에서 생성된 G 성분의 레지듀, 예측레지듀생성부(135)에서 생성된 R 및 B 성분의 예측레지듀를 압축한다. 상기 양자화부(145)는 상기 주파수공간변환부(140)에서 압축된 데이터를 양자화한다. 상기 엔트로피 부호화부(150)는 상기 양자화된 데이터를 엔트로피(entropy) 부호화한다.

역압축복호화부(40)는 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하며, 역양자화부(155)와 역주파수공간변환부(160)로 이루어진다. 상기 역양자화부(155)는 상기 양자화된 데이터를 역양자화한다. 상기 역주파수공간변환부(160)는 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성한다.

레지듀변환부(165)는 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시킨다. 상기 선형변환된 값에는 상기 복원된 G성분의 레지듀 값 그 자체도 포함된다. 상기 레지듀변환부(165)는 원영상을 구성하는 각 성분(본 실시예에서는 G,B,R 영상성분)의 상관관계(correlation)을 이용하여 변환된다. 이를 위해 구체적으로는 G 성분의 복원된 레지듀 값()에 일정 크기의 값(a, c)으로 곱하고 옵셋(offset, b, d) 만큼 더하는 선형함수에 의한 선형변환을 행한다. 상기 a,b,c,d 값은 본 실시예에서는 후술할 수학식 4 내지 9에 의해 결정된다.

예측레지듀생성부(135)는 상기 레지듀변환부(165)에서 변환된 값과 상기 레지듀생성부(110)에서 생성된 B 및 R 성분의 레지듀()와의 차()를 생성한다.

레지듀보상부(170)는 상기 역압축복호화부의 B 성분 및 R 성분의 예측 레지듀와 상기 선형변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성한다.

원영상생성부(175)는 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀에, 인터모드이면 상기 움직임예측영상생성부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측영상생성부에서 생성된 예측영상을 더하여 원영상을 생성한다. 상기 루프필터(180)는 복원된 영상의 블록효과를 줄여준다.

본 발명에 의한 상기 실시예를 보다 구체적으로 설명하기로 한다. 부호화 장치의 칼라 입력 영상 Fn(100)은 R-G-B 영상을 사용한 것이다. 상기 영상은 부호화 장치에서 블럭 단위로 처리된다. 부호화 장치는 부호화 효율을 높이기 위해 인터(inter)방법과 인트라(intra)방법을 사용하여 예측한다. 상기 인터방법은 이전 프레임 영상 F'_n-1(105)에서 움직임을 추정하여 예측하는 움직임추정부(motion estimation, ME, 110) 및 움직임예측부(motion prediction, MP, 115)를 사용한다. 상기 인트라방법은 공간적으로 인접해 있는 블럭에서 예측하는 공간추정부(Spatial Estimation, SE, 120) 및 공간예측부 (Spatial Prediction, SP, 125)를 사용한다.

먼저, 입력영상과 상기의 방법으로 예측된 영상 사이의 레지듀(residue) 값을 얻는다(Rn, 130). 상기 레지듀(residue) 값을 R, G 및 B의 3개 성분에 대해 각각 구한다. 이들 세 가지 성분간의 상관관계(correlation)를 이용하기 위하여 RP(Residue Prediction, 135) 및 RC(Residue Compensation, 170) 방법을 사용한다. 세 성분 중 G 성분의 레지듀(residue)값 △Gn은 주파수공간변환부(140)에서 이산코사인 변환(DCT) 혹은 이산 정수 변환되고, 양자화부(145)에서 양자화, 엔트로피부호화부(150)에서 엔트로피 부호화를 거쳐 압축된다. 상기 이산 코사인 변환은 ISO/IEC의 MPEG-4 part 2 표준화 기술을, 이산 정수 변환은 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 AVC/H.264 표준화 기술을 참조하면 된다. 이 값은 공간적으로 근접한 블록 혹은 시간적으로 나중에 오는 영상에서 예측에 사용할 수 있게 이 압축된 값을 역양자화부(155)에서 역 양자화되고, 역주파수공간변환부(160)에서 역 이산 코사인 변환(IDCT) 혹은 역 이산 정수 변환 되어 복원된 G 성분의 레지듀(residue) 값 △G'n을 얻는다.

나머지 두 성분 R 및 B의 레지듀 값의 경우에는 바로 부호화하지 않고 상기에서 복원된 G 성분의 레지듀(residue) 값 △G'n 을 사용하여 부호화한다. 보다 자세하게는 예측레지듀생성부(135)를 통해 상기 B 성분과 R 성분의 예측레지듀()를 생성한다. 상기 예측레지듀는 상기 레지듀생성부(130)에서 생성된 B 성분 및 R 성분의 레지듀(△Bn,△Rn)에다가, 상기 △G'n을 선형변환하여 생성된 값을 빼면 생성된다. 상기 △G'n의 선형변환된 값에는 △G'n 값 그 자체도 포함된다. 상기 예측레지듀를 주파수공간변환부(140)에서 이산 코사인 변환(DCT) 혹은 이산정수변환, 양자화부(145)에서 양자화, 엔트로피 부호화부(150)에서 엔트로피 부호화를 거쳐 압축한다.

그리고 나서 상기 G성분의 레지듀(residue)값과 마찬가지로 예측에 이용하기 위하여 다시 이 압축된 값을 역양자화부(155)에서 역양자화하고 역주파수공간변환부(160)에서 역이산코사인 변환(DCT) 혹은 역이산정수 변환을 하여 복원된 예측레지듀(predicted residue) 값을 얻는다. 그리고 상기 복원된 예측 레지듀(predicted residue) 값은 레지듀보상부(170)를 통해 상기 레지듀변환부(165)에서 변환된 값과 더해져 R 및 B 성분의 복원된 레지듀 값()을 얻는다.

복원된 세 가지 칼라 성분 레지듀(residue) 값()은 원영상생성부(175)를 통해 움직임추정부(110)와 움직임예측부(115) 혹은 공간추정부(120)와 공간예측부(125)에서 사용된 인터 혹은 인트라 예측방식에 의해 예측된 블럭 값에 더해지고, 블럭효과를 줄여 주는 루프필터(180)를 거쳐 복호화기에서 복원되어질 영상 F'n 을 얻을 수 있다. 상기 영상 F'n은 복원영상저장부(180)에 저장되어 움직임추정부(110)와 움직임예측부(15), 공간 추정부(120)와 공간예측부(125)에서 이전 프레임 영상으로 사용된다.

도 1에서 참조번호 50이 가리키는 부분이 본 발명에서 R-G-B 성분의 부호화 효율을 높이기 위하여 사용한 칼라 성분의 레지듀(residue) 예측 방법을 사용하는 핵심부분을 나타낸다.

상술한 본 발명에 의한 컬러 영상의 레지듀를 이용한 영상 부호화 방법 및 부호화 장치는 G,R,B의 순서로 입력되고 G에 대해 먼저 레지듀를 구하고, B 및 R 에 대해서는 예측 레지듀를 구해 부호화하였지만, 이는 G 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때 효과적이다. 따라서 본 발명은 R 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때, 즉 R 성분이 주된(dominant) 성분일 경우에는 R 성분에 대해 레지듀를 구하고, G 와 B 성분에 대해 상기 R 성분의 레지듀를 이용하여 예측레지듀를 구할 수 있다. 마찬가지로 B 성분이 주된 성분일 경우에는 B성분에 대해 레지듀를 구하고 이를 이용하여 G 와 R 성분에 대해 예측레지듀를 구해 본 발명의 기술적 사상을 동일하게 적용될 수 있다.

그리고 상술한 실시예는 G,R,B 성분으로 된 컬러영상에 대한 것이지만, Y,Cr,Cb 또는 X,Y,Z 형식의 영상에도 동일하게 적용될 수 있다.

상기 복호화 장치는 도 1의 부호화 과정과 반대의 과정을 거쳐 압축된 비트스트림(Bitstream)으로부터 영상을 복원하는 역할을 한다.

도 2의 실시예에서는 부호화된 G, R, B 성분으로 이루어지는 칼라 영상을 복호화한다. 상기 본 발명의 일실시예에 해당하는 복호화 장치는 움직임 보상부(240), 공간예측부(245), 역압축복호화부(280), 레지듀변환부(225), 레지듀보상부(230), 원영상생성부(235), 루프필터(255), 복원영상저장부(260)를 포함하여 이루어진다.

상기 움직임보상부(240)는 시간적으로 움직임 보상한 예측영상을 생성한다. 상기 공간예측부(245)는 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성한다.

역압축복호화부(280)는 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하며, 엔트로피복호화부(200), 역양자화부(205), 역주파수공간변환부(210)로 이루어진다. 상기 엔트로피복호화부(200)는 상기 부호화된 영상데이터를 엔트로피 복호화한다. 상기 역양자화부(205)는 상기 엔트로피 복호화된 데이터를 역양자화한다. 상기 역주파수공간변환부(210)는 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상()과 B 및 R 성분의 복원된 예측 레지듀()를 생성한다.

레지듀변환부(225)는 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시킨다. 상기 선형변환된 값에는 상기 복원된 G성분의 레지듀 값 그 자체일 수도 있다. 상기 레지듀변환부(225)는 원영상을 구성하는 각 성분(본 실시예에서는 G,B,R 영상성분)의 상관관계(correlation)를 이용하여 변환된다. 이를 위해 구체적으로는 G 성분의 복원된 레지듀 값()에 일정 크기의 값(a, c)을 곱하고 옵셋(offset, b, d) 만큼 더하는 선형함수에 의한 선형변환을 행한다. 상기 a,b,c,d 값은 본 실시예에서는 후술할 수학식 4 내지 9에 의해 결정된다.

레지듀보상부(230)는 상기 역압축복호화부(280)에서 복원된 B 성분 및 R 성분의 예측 레지듀()와 상기 레지듀변환부(225)의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀()를 생성한다.

원영상생성부(235)는 상기 레지듀보상부(230)에서 복원된 R 및 B 성분의 레지듀()와 상기 역압축복호화부(280)에서 생성된 G성분의 레지듀()를, 인터모드이면 상기 움직임보상부(240)에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측부(245)에서 생성된 예측영상을 더하여 블록효과가 존재하는 원영상을 생성한다. 상기 원영상은 블럭효과를 줄여 주는 루프필터(180)를 거쳐 블록효과가 감소된 원영상 F'n 을 얻을 수 있다.

복호화 장치의 동작을 설명하기로 좀 더 구체적으로 설명하기로 한다. 압축된 데이터는 엔트로피 복호화부(200), 역양자화부(205), 역이산정수변환부(210)를 거쳐 먼저 G 성분의 복원된 레지듀(residue) 값 △G'n을 얻는다. 인터 모드의 경우 이전 영상 F'_n-1을 움직임보상부(motion compensation, 240)에 의해 예측한 값에, 그리고 인트라 모드의 경우는 공간적으로 인접한 블럭 값을 공간예측부(spatial prediction, 245)에 의해 예측한 값에 G 성분의 레지듀(residue) 값을 더하여 G 성분의 복원된 값을 얻는다. 이 값은 블록 효과를 줄여 주는 루프필터(255)를 거쳐 G성분의 복원 영상 F'n (260)을 얻는다.

R 및 B 성분을 복원하기 위하여, 비트스트림에서 엔트로피 복호화부(200)를 통해 엔트로피 복호화되고, 역양자화부(205)에서 역양자화된 후, 역주파수공간변환부(210)에서 역이산코사인 변환(IDCT) 혹은 역이산정수 변환를 거쳐 B 및 R 성분의 복원된 예측 레지듀()를 생성한다. 상기 복원된 예측 레지듀(predicted residue) 값은 레지듀보상부(230)를 통해 상기 레지듀변환부(225)에서 변환된 값과 더해져 R 및 B 성분의 복원된 레지듀 값()을 얻는다.

복원된 R 및 B 성분 레지듀(residue) 값()은 원영상생성부(235)를통해 움직임보상부(240)와 공간예측부(245)에서 사용된 인터 혹은 인트라 예측방식에 의해 예측된 블럭 값에 더해지고, 블럭효과를 줄여 주는 루프필터(255)를 거쳐 R 및 B의 복원 영상 F'n 을 얻을 수 있다.

상술한 본 발명에 의한 컬러 영상의 레지듀를 이용한 영상 복호화 방법 및 복호화 장치는 G,R,B의 순서로 입력되고 G에 대한 레지듀를 먼저 복호화하고, B 및 R 에 대해 예측 레지듀를 복호화한 후 상기 G에 대한 레지듀를 이용하여 R 및 B 성분의 레지듀를 구하여 원영상을 복원하였지만, 이는 G 성분이 영상 정보를 가장 많이 가지고 있을 때 효과적이다. 따라서 본 발명은 R 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때, 즉 R 성분이 주된(dominant) 성분일 경우에는 R 성분에 대해 레지듀를 구하고, G 와 B 성분에 대해 상기 R 성분의 레지듀를 이용하여 예측레지듀를 구할 수 있다. 마찬가지로 B 성분이 주된 성분일 경우에는 B성분에 대해 레지듀를 구하고 이를 이용하여 G 와 R 성분에 대해 예측레지듀를 구해 본 발명의 기술적 사상을 동일하게 적용될 수 있다.

도 3은 본 발명에서 이용한 R-G-B 칼라 영상의 레지듀(residue) 예측 방법에 대한 개념을 블록도로 도시한 것이다. 즉 도 1의 참조번호 50에 해당하는 블록과 도 2의 참조번호 270에 해당하는 블록의 자세한 동작 원리를 나타낸다.

먼저 G 성분(G plane, 300)은 기존의 부호화기와 마찬가지로 공간적으로 인접한 영상 혹은 시간적으로 인접한 영상 값 (310)을 이용하여 예측한 값을 빼서 G값의 레지듀 (residue)(315)를 얻는다. 이 레지듀 값은 수학식 1과 같이 나타낼 수 있다.

여기서 Gp는 도 3에서 참조번호 310에 해당한다. 이 레지듀 값이 실제 엔트로피 부호화된다.

Y-Cr-Cb 성분과 달리 G 및 R, B 성분 사이에는 여전히 상관도(correlation)가 크다. 이 성분간의 유사성을 이용하기 위해 R 및 G 성분은 먼저 G 성분과 마찬가지로 시/공간상 예측(325, 360)을 한다. 여기서 나온 레지듀 값은 수학식 2와 수학식 3과 같다.

여기서 Rp 및 Bp는 R 및 B 성분을 공간적으로 인접한 영상 혹은 시간적으로 인접한 영상 값으로 예측한 것이다(330, 365). 여기서 나온 레지듀(residue) 값을 G 성분의 레지듀(residue)가 복원된 값(345, 380)을 선형 변환한 값(340, 375)을 이용하여 다시 한번 예측한 레지듀(predicted residue) 값(350, 385)을 수학식 4 및 수학식 5와 같이 얻는다.

이 값은 R과 B 성분의 시/공간상 예측 오차에 비해 부호화할 데이터의 양이 줄어들어 부호화 효율이 개선된다. 이것은 △G, △R, △B 사이에 상관도가 크므로 △G와 △R 및 △G와 △B의 관계를 선형의 함수로 표현하여 △R과 △B를 △G의 함수로 근사화 할 수 있기 때문이다. 여기서 a 및 b는 R성분의 레지듀(residue)를 G성분의 레지듀로 예측할 때 근사화한 선형 함수의 기울기와 편차가 되고 c와 d는 B성분의 레지듀(residue)를 G성분의 레지듀로 예측할 때 근사화한 선형 함수의 기울기와 편차가 된다. 상기 a, b, c, d는 수학식 6, 수학식 7, 수학식 8, 수학식 9로 나타낼 수 있다.

여기서, 이 값은 △G과 △R,△B의 값을 이용하여 다음과 같이 구할 수 있다. cov(ㆍ)는 covariance를 나타내고 E(ㆍ)는 값의 평균 그리고 σ²는 분산 (variance)을 나타낸다. 그리고 상기 a 및 c 는 1 이 될 수 있고, b 및 d 는 0 이 될 수도 있다. 즉 이 때는 복원된 G 성분의 레지듀 값 그 자체이다.

도 4는 도 1에서 영상의 시간상 예측을 위한 움직임추정부(ME, 110) 및 움직임 예측부(MC, 115) 및 도 3의 시간상 예측(305, 325, 360)을 위한 움직임의 기본단위로 사용하는 매크로 블럭(Macroblock)의 분할방법을 도시한 것이다. 이 방법은 ISO/IEC 14496-10 2002 및 ITU-T Rec H.264 표준 부호화 방식에서 사용하는 방법과 같다. 다른 표준과는 달리 다양한 크기의 블럭 분할을 허용하고 있다. 기본적으로 가로/세로 16 크기의 매크로 블럭을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블럭은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다.

도 5A는 도 1에서 공간상 예측을 위한 공간추정부(SE, 120) 및 공간예측부(SP, 125) 및 도 3의 공간상 예측(305, 325, 360)을 위한 인접 화소(Pixel)의 위치와 예측할 현재 블럭의 화소(pixel)의 위치를 도시한 것이다. 이 방법은 ISO/IEC 14496-10 2002 및 ITU-T Rec H.264 표준 부호화 방식에서 사용하는 방법과 같다. 도 5A에서는 4×4 크기의 블럭 데이터 (Pa, Pb, ..., Pq)를 예측하기 위해 이전에 부호화 되어 복원된 공간상의 인접한 데이터 (P0, P1, ..., P12)를 이용한다. 도 5B는 공간상 인접한 화소로부터 투영(projection)하여 현재 블럭을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우는 인접한 화소 값 P1, P2, P3, 및 P4를 수직 방향으로 투영하여 Pa, Pe, Pi ,및 Pm은 P1값, Pb, Pf, Pj, 및 Pn은 P2값, Pc, Pg, Pk, 및 Po은 P3값, Pd, Ph, Pl, 및 Pq은 P4값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다.

도 6은 R-G-B Crew (1280×720) 영상과 이 영상에 대해서 도 1의 움직임추정부(ME, 110) 및 움직임예측부(MC, 115)에 의한 시간상 예측에 의한 레지듀(residue) 영상을 나타낸 것이다. 도 6에서 보듯이 R-G-B 영상 값 자체는 유사성이 떨어지지만 레지듀 영상간에는 대부분의 영역에서 유사성이 상당히 높은 것을 볼 수 있다. 도 1의 공간추정부(SE, 120) 및 공간예측부(SP, 125)의 예측으로 생기는 레지듀 값도 R-G-B 성분 사이에 유사성이 상당히 높다.

도 7은 R-G-B 영상의 시/공간상 예측에 의한 레지듀 사이의 상관도를 도시한 것이다.. 도 7의 (a)와 (b)는 도 1의 움직임 추정부(ME, 110) 및 움직임 예측부(MC, 115)에 의한 시간상 예측에 의한 각 성분의 레지듀 값 사이의 관계를 그래프로 나타낸 것이다. (a)는 G 성분의 레지듀 값을 가로축으로 R성분의 레지듀 값을 세로축으로 하여 값을 도시하였다. 그리고 (b)는 G 성분의 레지듀 값을 가로축으로 B성분의 레지듀값을 세로축으로 하여 값을 도시하였다. 도 7 (a) 및 (b)에서 보듯이 R 및 B 성분의 레지듀 값은 G 성분의 레지듀 값과 상관도가 크고 G성분의 레지듀 값의 선형 예측(linear regression)으로 예측이 가능이 함을 알 수 있다. 도 7 (c) 및 (d)는 도 1의 공간 추정부(SE, 120) 및 공간 예측부(SP, 125)에 의한 공간상 예측에 의한 각 성분의 레지듀 값 사이의 관계를 그래프로 나타내었다. 도 7의 (c)와 (d)는 R 및 B 성분에 대해 도 7의 (a)와 (b)에서와 마찬가지로 G 성분의 레지듀 값에 대한 상관도를 나타내었다. 공간상 예측 방식에서도 R 및 B 성분의 레지듀 값은 G 성분의 레지듀 값과 상관도가 크고 G성분의 레지듀 값의 선형예측(Linear regression)으로 예측이 가능이 함을 알 수 있다. 이러한 R-G-B 성분의 레지듀 간의 선형 예측은 상기 수학식 6, 수학식 7, 수학식 8 및 수학식 9와 같이 나타낼 수 있다.

도 8은 본 발명에 의한 칼라성분의 시/공간상 예측에 의한 RGB 칼라 성분의 레지듀 간의 예측에 의한 방식(proposed)과 기존의 방식(conventional)을 비교한 결과를 도시한 것이다. 도 8은 HD(High Definition)영상인 Crew(1280x720, 60hz)영상에 대한 결과를 4가지 비트율(bitrate)에서 PSNR로 표시하였다. (a)는 공간상 예측 만을 사용한 인트라(intra) 모드 만을 사용한 것이고, (b) 시/공간상 예측을 모두 사용한 결과이다. 도 8에서 보듯이 같은 비트율에서 3~4dB이상의 이득이 발생함을 알 수 있다.

한편, 상술한 실시예서는 인터모드와 인트라모드가 같이 사용될 경우를 설명하였지만, 상황에 따라서는 인터모드 또는 인트라 모드 중 하나만 사용될 수 있다. 이에 대한 설명은 상술한 실시예에 대한 설명에서 인터모드 또는 인트라 모드 하나만을 고려하면 동일하게 적용될 수 있으며 이는 당업자에게는 명백히 자명한 것이라 하겠다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

본 발명에 의하면, 영상성분의 레지듀와 영상성분간의 상관성을 이용하여 예측 레지듀를 부호화 및 복호화 하므로 데이터 량을 크게 감소시킬 수 있다.

또한 RGB 영역에서 직접 부호화하면 Y-Cr-Cb 영역으로 변환 할 때 생기는 영상 품질 손실이 없으므로 고품질의 영상정보를 얻을 수 있다. 따라서 이러한 고품질의 영상이 필요한 디지탈 영화(Digital Cinema) 및 디지탈 아카이브(Digital Archive) 등의 응용에 적합하다.

그리고 본 발명에서 사용한 칼라성분의 시/공간상 예측에 의한 RGB 칼라 성분의 레지듀 간의 예측에 의한 방식을 그렇지 않은 기존의 방식과 비교하였을 때 같은 비트율에서 3dB 이상의 PSNR (Peak Signal to Noise Ratio) 이득이 발생하였다.

Claims

적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 방법에 있어서,

상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계;

상기 원영상의 소정 성분에 대한 레지듀를 부호화하는 단계;

상기 소정 성분의 부호화된 레지듀를 복원하여 상기 복원한 값을 포함하는 소정의 값으로 변환하는 단계; 및

상기 원영상 중 부호화되지 않은 성분의 레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제1항에 있어서, 상기 레지듀의 소정 값으로의 변환은

상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제1항에 있어서, 상기 원영상은

R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
칼라영상의 R-G-B 성분 각각에 대해, 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차에 해당하는 시간적 레지듀를 구하는 단계;

상기 G 성분의 레지듀를 부호화하는 단계;

상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원한 값을 포함하는 소정의 값으로 변환하는 단계; 및

상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제4항에 있어서, 상기 움직임 추정은

소정 크기의 블록단위로 움직임 추정됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제4항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제4항 또는 제5항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제7항에 있어서, 상기 선형함수는

이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제4항에 있어서, 상기 G 성분에 대해 레지듀를 구하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 구하여 부호화함은

R 성분에 대해 레지듀를 구하고, 이를 이용하여 G 및 B 성분에 대해 예측 레지듀를 구하여 부호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제4항에 있어서, 상기 G 성분에 대해 레지듀를 구하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 구하여 부호화함은

B 성분에 대해 레지듀를 구하고, 이를 이용하여 G 및 R 성분에 대해 예측 레지듀를 구하여 부호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
칼라영상의 R-G-B 성분 각각에 대해, 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차에 해당하는 공간적 레지듀를 구하는 단계;

상기 G 성분의 레지듀를 부호화하는 단계;

상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원한 값을 포함하는 소정의 값으로 변환하는 단계; 및

상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제11항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제11항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제13항에 있어서, 상기 선형함수는

G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제11항에 있어서, 상기 G 성분에 대해 레지듀를 구하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 구하여 부호화함은

R 성분에 대해 레지듀를 구하고, 이를 이용하여 G 및 B 성분에 대해 예측 레지듀를 구하여 부호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제11항에 있어서, 상기 G 성분에 대해 레지듀를 구하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 구하여 부호화함은

B 성분에 대해 레지듀를 구하고, 이를 이용하여 G 및 R 성분에 대해 예측 레지듀를 구하여 부호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
R-G-B 칼라 영상을 부호화하는 방법에 있어서,

(1) 인터 방식이면, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계;

(2) 인트라 방식이면, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계;

(3) G 성분의 레지듀를 부호화하고, 상기 부호화된 G 성분의 레지듀 영상을 복원하는 단계;

(4) 상기 (1) 및 (2)단계에서 생성된 R 및 B 성분의 레지듀에 대해 상기 (3)단계에서 복원된 G 성분의 레지듀를 사용하여 R 및 B 성분에 대한 예측된 레지듀를 얻는 단계;

(5) 상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 부호화하고, 상기 부호화된 R 및 B 성분의 예측 레지듀 영상을 복원하는 단계; 및

(6) 상기 G의 복원된 레지듀 영상과 상기 R 및 B의 복원된 예측 레지듀 영상에서 G, R, 및 B의 복원된 레지듀 값을 얻고 이 값을 상기 예측영상 값에 더하여 G, R, 및 B의 복원된 영상을 얻는 단계를 포함함을 특징으로 하는 영상의 레지듀예측을 이용한 영상 부호화 방법.
제17항에 있어서, 상기 (3)단계는

G 성분의 레지듀는 압축하기 위해 주파수 공간 변환, 양자화 및 가변장 부호화하고, 양자화된 값은 다시 역 양자화 및 역 주파수 변환을 하여 G 값의 복원된 레지듀 영상을 얻는 단계이고,

상기 (5)단계는

상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 주파수 공간 변환, 양자화 및 가변장 부호화 하고, 양자화된 값은 다시 역 양자화 및 역 주파수 공간 변환을 하여 R 및 B 값의 복원된 예측 레지듀 영상을 얻는 단계임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제17항에 있어서, 상기 (4)단계는

상기 G성분의 복원된 레지듀 값에 1을 포함하는 일정 크기의 값으로 곱하고 0을 포함하는 옵셋 만큼 더하는 선형함수에 의한 선형 변환하는 단계; 및

상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 선형 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 구하는 단계로 이루어짐을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
적어도 두가지 이상의 성분으로 이루어지는 원영상을 부호화하는 장치에 있어서,

상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차를 생성하는 레지듀 생성부;

상기 레지듀생성부에서 생성된 원영상의 소정 성분에 대한 레지듀와 하기 예측 레지듀생성부에서 생성된 예측 레지듀를 부호화하는 레지듀부호화부;

상기 소정 성분의 부호화된 레지듀를 복원하여 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부; 및

상기 원영상 중 부호화되지 않은 성분의 레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
R-G-B 칼라 영상을 부호화하는 장치에 있어서,

이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부;

칼라영상의 R-G-B 성분 각각에 대해, 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부;

상기 레지듀 생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부;

상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및

상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
R-G-B 칼라 영상을 부호화하는 장치에 있어서,

현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부;

칼라영상의 R-G-B 성분 각각에 대해, 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부;

상기 레지듀생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부;

상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및

상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
R-G-B 칼라 영상을 부호화하는 장치에 있어서,

이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부;

현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부;

인터방식이면 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록과의 차에 해당하는 시간적 레지듀를 생성하고, 인트라방식이면 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부;

상기 레지듀 생성부에서 생성된 G 성분의 레지듀, 하기 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하여 부호화하는 압축부호화부;

상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부;

상기 레지듀변환부에서 변환된 값과 상기 레지듀생성부에서 생성된 R 및 B성분의 레지듀와의 차를 생성하는 예측레지듀생성부;

상기 역압축복호호부의 B 성분 및 R 성분의 예측 레지듀와 상기 선형변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부;

상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀에, 인터모드이면 상기 움직임예측영상생성부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측영상생성부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
제23항에 있어서, 상기 움직임예측영상생성부는

이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하는 움직임 추정부; 및

상기 움직임 추정부로부터 생성된 움직임 벡터에 해당하는 블록을 출력하는 움직임 예측부로 이루어지고,

상기 공간예측영상생성부는

현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하는 공간추정부; 및

상기 공간추정부로부터 추정된 방향에 해당하는 블록을 출력하는 공간 예측부로 이루어짐을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
제23항에 있어서, 상기 압축부호화부는

상기 레지듀생성부에서 생성된 G 성분의 레지듀, 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하는 주파수공간변환부;

상기 주파수공간변환부에서 압축된 데이터를 양자화하는 양자화부; 및

상기 양자화된 데이터를 부호화하는 부호화부로 이루어지고,

상기 역압축복호화부는

상기 양자화된 데이터를 역양자화하는 역양자화부; 및

상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐을 특징으로 하는 영상의 레지듀 예측을 이용한 부호화 장치.
부호화된 적어도 두가지 이상의 성분으로 이루어지는 원영상을 복호화하는 방법에 있어서

상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 상기 복원한 레지듀 값을 포함하는 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때,

상기 부호화된 원영상의 소정 성분의 레지듀를 복호화하는 단계;

상기 복호화된 레지듀를 소정의 값으로 변환하는 단계;

상기 복호화되지 않은 각 성분의 예측 레지듀를 복호화하는 단계;

상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 복호화되지 않은 성분의 레지듀를 구하는 단계; 및

상기 각 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제26항에 있어서, 상기 복호화된 레지듀의 소정 값으로의 변환은

상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제26항에 있어서, 상기 원영상은

R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서

상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때,

상기 부호화된 G-R-B 영상으로부터 G 성분의 시간적 레지듀를 복호화하는 단계;

상기 복호화된 G 성분의 레지듀를 상기 복호화된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 단계;

상기 복호화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계;

상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및

상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제29항에 있어서, 상기 움직임 추정은

소정 크기의 블록단위로 움직임 추정됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제29항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제29항 또는 제30항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임을 특징으로 하는 영상의 레지듀 예측을 이용한영상 복호화 방법.
제32항에 있어서, 상기 선형함수는

이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제29항에 있어서, 상기 G 성분에 대해 레지듀를 복호화하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 복호화함은

R 성분에 대해 레지듀를 복호화하고, 이를 이용하여 G 및 B 성분에 대해 예측 레지듀를 복호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제29항에 있어서, 상기 G 성분에 대해 레지듀를 복호화하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 복호화함은

B 성분에 대해 레지듀를 복호화하고, 이를 이용하여 G 및 R 성분에 대해 예측 레지듀를 복호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서

상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때,

상기 G 성분의 레지듀를 복호화하는 단계;

상기 복호화된 G 성분의 레지듀를 상기 복호화된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 단계;

상기 복호화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계;

상기 G 성분 레지듀의 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및

상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제36항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제36항에 있어서, 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은

상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임을 특징으로 하는 영상의 레지듀 예측을 이용한영상 복호화 방법.
제38항에 있어서, 상기 선형함수는

G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제36항에 있어서, 상기 G 성분에 대해 레지듀를 복호화하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 복호화함은

R 성분에 대해 레지듀를 복호화하고, 이를 이용하여 G 및 B 성분에 대해 예측 레지듀를 복호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
제36항에 있어서, 상기 G 성분에 대해 레지듀를 복호화하고, 이를 이용하여 B 및 R 성분에 대한 예측 레지듀를 복호화함은

B 성분에 대해 레지듀를 복호화하고, 이를 이용하여 G 및 R 성분에 대해 예측 레지듀를 복호화함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 부호화 방법.
R-G-B 칼라 영상을 복호화 하는 방법에 있어서,

상기 칼라영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때,

(1) 부호화된 영상 데이터로부터 G 성분의 레지듀 영상을 복원하는 단계;

(2) 부호화된 영상 데이터로부터 R 및 B 성분의 예측 레지듀 영상을 얻고, 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환된 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계;

(4) 인터 방식이면, 상기 (1) 단계 및 (2) 단계에서 복원된 R-G-B 성분의 레지듀 값에 이전 프레임의 각 칼라 성분을 시간적으로 움직임 보상한 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계; 및

(5) 인트라 방식이면, 상기 (1) 및 (2)에서 복원된 R-G-B 성분의 레지듀 값에 공간적으로 근접한 화소로부터 예측 방향을 추정하여 얻은 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계를 포함하는 것을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
제41항에 있어서, 상기 (1)단계는

부호화된 데이터를 역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 G 성분의 복원된 레지듀 영상을 얻는 단계이고,

상기 (2)단계는

역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 R 및 B 성분의 예측 레지듀 영상을 얻고 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계임을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 방법.
부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는 장치에 있어서

상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때,

상기 부호화된 영상 데이터를 복호화하여 상기 영상의 소정 성분의 복원된 레지듀 영상과 복원되지 않은 레지듀에 해당하는 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 역압축복호화부의 복원된 성분의 레지듀를 상기 복원된 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부;

상기 역압축복호화부에서 생성된 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 레지듀를 생성하는 레지듀보상부;

상기 레지듀보상부에서 생성된 레지듀와 상기 역압축복호화부에서 생성된 소정 성분의 레지듀 각각에 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 장치.
부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서

상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때,

시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부;

공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부;

상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부;

상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부;

상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 움직임보상부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 장치.
부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서

상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때,

공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부;

상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부;

상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부;

상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 장치.
부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는장치에 있어서

상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때,

시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부;

공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부;

상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부;

상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부;

상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부;

상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀를, 인터모드이면 상기 움직임보상부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 장치.
제47항에 있어서, 상기 역압축복호화부는

상기 부호화된 영상데이터를 엔트로피 복호화하는 엔트로피복호화부;

상기 엔트로피 복호화된 데이터를 역양자화하는 역양자화부; 및

상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐을 특징으로 하는 영상의 레지듀 예측을 이용한 영상 복호화 장치.
제1항 내지 제19항 또는 제26항 내지 제43항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.