KR20060065263A

KR20060065263A - 영상 압축 부호화 및 복호화 방법과 장치

Info

Publication number: KR20060065263A
Application number: KR1020040104073A
Authority: KR
Inventors: 김남호
Original assignee: 엘지전자 주식회사
Priority date: 2004-12-10
Filing date: 2004-12-10
Publication date: 2006-06-14
Also published as: KR100670459B1

Abstract

본 발명은 영상을 압축 부호화하는 장치와 그 방법에 관한 것이다.

본 발명은 매크로 블록 기반으로 디지털 영상신호를 처리함에 있어, 각 매크로 블록마다 시드 픽셀(seed pixel)을 선정하고 시드 픽셀과 그 주변 픽셀과의 차영상을 구성하며, 입력 영상을 특정한 비율로 서브 샘플링(sub sampling)하여 시드 영상(seed image)을 구성하고, 상기 시드 영상과 차영상을 각각 DCT 및 양자화하여 압축하고, 압축된 영상 데이터를 무손실 부호화(lossless coding)하여 영상을 압축 부호화한다. 상기 시드 영상과 차영상의 부호화된 데이터를 각각 부호화과정의 역순으로 압축을 푼 다음 최종단계에서 두 영상을 더하여 복호화된 영상을 구하는 과정으로 영상을 복호화한다. 본 발명은 프레임 내부의 정보만을 이용해서 압축을 하는 경우, 영상 내부의 공간 중복성을 제거함으로써 압축 효율을 높일 수 있다.

동영상압축,동영상부호화,MPEG,CODEC

Description

영상 압축 부호화 및 복호화 방법과 장치{VIDEO CODING AND DECODING SYSTEM}

도1은 종래의 디지털 동영상 부호화기의 블록도

도2는 본 발명의 영상 압축 부호화 및 복호화 방법을 나타낸 플로우차트

도3은 본 발명에서 시드 픽셀과 시드 영상 구성의 예를 나타낸 도면

도4는 본 발명에서 시드 라인 구성의 예를 나타낸 도면

도5는 본 발명에서 라인간 픽셀 차이값 구성의 예를 나타낸 도면

도6은 본 발명의 영상 압축 부호화 및 복호화 장치를 나타낸 블록도

<도면의 주요 부분에 대한 부호의 설명>

610: 영상 부호화부 620: 영상 복호화부

611: 차영상 생성부 612,616: DCT부

613,617: 양자화부 614,618: 무손실 부호화부

615: 시드 영상 생성부 619: 가산부

621,625: 무손실 복호화부 622,626: 역양자화부

623,627: 역DCT부 624: 복원된 차영상

628: 복원된 시드 영상 629: 가산부

본 발명은 영상을 압축 부호화하는 장치 및 그 방법에 관한 것이다.

MPEG이나 H.26x 계열의 동영상 코덱(CODEC) 등 대부분의 동영상 압축 표준은 움직임 보상 기법(Motion Estimation & Compensation)과 변환(Transform)에 기반한 압축방식을 채택하고 있다. 이러한 움직임 보상 기반 부호화에서는 각 블록(block)의 움직임 벡터(Motion Vector) 정보를 부호화해서 전송해야 하며, 움직임 벡터를 어떻게 부호화하느냐에 따라 압축 효율이 크게 달라지기도 한다.

영상을 부호화하는 일반적인 과정은 디지털 영상신호를 DCT(이산 코사인 변환) 처리하고, 변환계수를 양자화하여 무손실 부호화(Lossless Coding)를 수행하는 한편, 양자화된 DCT 계수를 역양자화 및 역 DCT 변환하여 복원한 영상을 메모리에 저장하고, 메모리에 저장된 복원 영상과 다음 프레임 영상을 이용해서 움직임 벡터를 산출하며, 움직임 벡터를 가변장 부호화하여 상기 부호화된 영상정보와 함께 비트 스트림으로 구성하여 전송하는 수순을 따른다. 영상을 복호화하는 방법은 상기 부호화 과정의 역순으로 수행한다.

도1은 일반적인 디지털 동영상 부호화기의 구성을 나타낸 블록도이다.

도1에 나타낸 동영상 부호화기는 입력 디지털 영상신호를 DCT(Discrete Cosine Transform) 처리하는 DCT부(110)와, 상기 DCT 변환 계수를 양자화하는 양자화부(120)와, 상기 양자화부(120)에서 출력된 양자화 데이터를 역양자화하는 역양자화부(130)와, 상기 역 양자화부(130)의 출력 데이터를 역DCT 변환하는 역DCT부 (140)와, 상기 역DCT부(140)에서 출력된 복원 영상을 저장하는 프레임 메모리(150)와, 입력되는 현재 프레임의 영상 데이터와 상기 프레임 메모리(150)에 저장된 이전 프레임의 영상 데이터를 이용해서 움직임 벡터(MV)를 산출하는 움직임 추정부(160)와, 상기 양자화된 데이터와 움직임 벡터를 무손실 부호화(Lossless Coding)하여 출력하는 무손실 부호화부(170)를 포함하여 구성된다.

상기한 바와 같이 구성된 도1의 압축 부호화기의 부호화 과정을 살펴보면 다음과 같다.

DCT(Discrete Cosine Transform)부(110)는 8*8 화소 블록 단위로 입력된 디지털 영상신호에 대해 DCT변환을 수행하고, 양자화부(Quantization: Q)(120)는 상기 DCT부(110)에서 얻어진 DCT 계수에 대해 양자화를 수행하여 몇 개의 대표값으로 표현함으로써 고효율 압축을 수행한다.

역양자화부(Inverse Quantization: IQ)(130)는 상기 양자화부(120)에서 출력된 양자화 데이터를 역양자화하고, IDCT부(140)에서는 상기 역양자화부(130)에서 역양자화된 데이터에 대해 역 이산 코사인 변환(Inverse DCT)을 수행한다. 프레임 메모리(150)는 상기 IDCT부(140)에서 IDCT 변환된 영상 데이터를 프레임 단위로 저장한다.

움직임 추정부(Motion Estimation: ME)(160)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리(150)에 저장된 이전 프레임의 영상 데이터를 이용하여 매크로 블록당 움직임 벡터(MV)를 계산한다. 무손실 부호화부(170)는 상기 양자화부(120)에서 양자화된 출력 데이터와 상기 움직임 벡터(MV)를 입력받아 이를 무손실 부호화(Lossless Coding)하여 출력한다.

알려진 바와 같이 MPEG의 경우 시간 중복성을 이용해서 동영상을 압축하는 대표적인 알고리즘이다. MPEG의 B프레임이나 P레임에서는 이전 프레임과의 시간적 중복성을 매크로 블록의 움직임 벡터를 이용함으로써 효율적으로 제거할 수 있었다. 그러나 MPEG의 I프레임이나 JPEG처럼 프레임 내부의 정보만을 이용해서 압축을 하는 경우에는 시간 중복성을 사용할 수 없다. 이 경우, 압축 효율의 대부분은 DCT를 이용해서 입력 디지털 영상신호를 주파수별로 분해하고, 시각적으로 둔감한 고주파 영역의 데이터를 제거함으로써 높일 수 있다. 그러나 DCT를 이용한 정보의 압축은 실제 영상에서 많은 데이터량을 차지하고 있는 공간상의 중복성을 제거하지 못하고 있기 때문에 압축 효율이 떨어질 수 밖에 없다는 한계를 갖고 있다. 앞서 설명한 MPEG의 경우 내부 정보만을 이용한 I프레임에 비해서 P프레임, B프레임의 정보량이 현저히 적다는 점에서 그 사실을 미루어 알 수 있다.

그러므로, 프레임 내부의 정보만을 이용해서 압축을 하는 경우, 영상 내부의 공간적 중복성을 제거함으로써 압축의 효율을 더욱 높일 수 있는 기법이 요구된다.

본 발명의 목적은 앞서 설명한 종래 기술의 문제점을 해결하여 영상 압축 부호화기의 부호화 효율을 높일 수 있도록 한 영상 압축 부호화 및 복호화 방법과 그 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 영상 압축 부호화시에 영상의 공간 정보 중복성을 이용하여 압축함으로써 압축 부호화 효율을 높일 수 있도록 한 영상 압축 부호화 및 복호화 방법과 그 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 영상 압축 부호화시에 프레임 내부의 정보만을 이용해서 압축을 하는 경우, 영상 내부의 공간 중복성을 제거함으로써 압축 효율을 높일 수 있도록 한 영상 압축 부호화 및 복호화 방법과 그 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 블록 단위의 영상 압축 부호화를 기반으로 할 때, 매크로 블록 내에서 시드(seed)가 되는 픽셀을 선정하고, 상기 선정된 시드 픽셀(seed pixel)을 중심으로 그 주변에 이웃하는 픽셀과의 차이를 계산한 차영상(differential image)과, 특정 비율로 서브 샘플링(sub-sampling)된 시드 영상(seed image)을 구하고, 상기 시드 영상과 차영상을 각각 변환 부호화함으로써 영상 내부의 공간적 중복성을 최대한 제거하고, 이를 통하여 높은 압축 효율을 달성할 수 있도록 한 영상 압축 부호화 방법과 그 장치를 제공하는데 있다.

본 발명의 또 다른 목적은 블록 단위의 영상 압축 복호화를 기반으로 할 때, 부호화 단계에서 제공된 압축 부호화된 시드 영상과 차영상을 각각 복호화 및 역변환하고 최종 단계에서 복호(decode)된 상기 두 영상을 가산하여 원래의 영상을 복원하는 방법으로 영상을 복호화하는 압축 영상 복호화 방법과 그 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 영상 압축 부호화 방법은, 영상 데이터를 블록 단위로 나누고, 각각의 블록 내에서 소정 위치의 픽셀(pixel)을 선택하 여 이 것을 시드 픽셀(seed pixel)로 선정하는 시드 픽셀 선정단계; 상기 선정된 시드 픽셀을 중심으로 이웃하는 주변 픽셀들과의 차를 구하여 이 차로 이루어지는 차 영상(differential image)을 구성함과 함께, 상기 영상 데이터를 소정 비율로 서브 샘플링(sub sampling)하고 이 서브 샘플링된 영상을 시드 영상(seed image)으로 정하는 차영상 및 시드 영상 구성단계; 상기 차영상 및 시드 영상 데이터 각각에 대하여 압축 부호화를 수행한 후 압축 부호화된 두 데이터를 가산하여 최종 압축 부호화된 데이터로 출력하는 부호화 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 영상 복호화 방법은, 영상 데이터를 서브 샘플링하여 구한 시드 영상과, 영상 데이터를 블록단위로 나누고 각 블록마다 선택된 시드 픽셀을 기준으로 주변에 이웃하는 픽셀들 간의 차로 이루어진 차영상 데이터를 각각 압축 부호화한 영상 데이터를 입력받는 단계; 상기 압축 부호화된 시드 영상 데이터와 압축 부호화된 차영상 데이터를 각각 복호화하고 압축을 풀어서 원래의 시드 영상 데이터와 차영상 데이터를 구하고, 구해진 시드 영상 데이터와 차영상 데이터를 가산하여 복호화된 영상을 구하는 단계; 를 포함하는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 영상 압축 부호화 장치는, 블록단위를 기반으로 영상 데이터를 압축 부호화하는 장치에 있어서, 영상 데이터 블록 내에서 선택된 시드 픽셀과 그 주변에 인접하여 이웃하는 픽셀들 간의 차로 이루어지는 차영상을 구성하는 차영상 생성수단; 영상 데이터를 소정의 비율로 서브 샘플 링하여 시드 영상을 구성하는 시드 영상 생성수단; 상기 차영상에 대하여 DCT 및 양자화, 무손실 부호화 과정을 차례로 수행하는 차영상 압축 부호화수단; 상기 시드 영상에 대하여 DCT 및 양자화, 무손실 부호화 과정을 차례로 수행하는 시드 영상 압축 부호화수단; 상기 최종 부호화된 차영상 및 시드 영상을 가산하여 출력하는 출력수단; 을 포함하여 구성된 것을 특징으로 한다.

또한 상기 목적을 달성하기 위한 본 발명의 영상 복호화 장치는, 블록단위를 기반으로 압축된 영상 데이터를 복호화하는 장치에 있어서, 영상 데이터 블록 내에서 선택된 시드 픽셀과 그 주변에 인접하여 이웃하는 픽셀들 간의 차로 이루어진 압축 부호화된 차영상에 대하여 복호화, 역양자화, 역DCT 과정을 차례로 수행하여 시드 픽셀 기반 차영상을 복호화 및 복원하는 차영상 복원수단; 영상 데이터를 소정의 비율로 서브 샘플링하여 구성된 압축 부호화된 시드 영상에 대하여 복호화, 역양자화, 역DCT 과정을 차례로 수행하여 시드 영상을 복호화 및 복원하는 시드 영상 복원수단; 상기 최종 복원된 차영상 및 시드 영상을 가산하여 원 영상을 복원하는 출력수단; 을 포함하여 구성된 것을 특징으로 한다.

또한 본 발명은 상기 영상 데이터를 매크로 블록 단위로 나누고 각각의 매크로 블록의 중앙에 위치한 하나의 픽셀을 선택하여 이 픽셀을 시드 픽셀로 선정하는 것을 특징으로 한다.

또한 본 발명은 상기 시드 픽셀을 중심으로 좌우로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함하는 시드 라인(seed line)을 구성하고, 상기 시드 라인을 기준으로 상하로 인접하여 이웃하는 동일 컬럼(column) 위치의 픽 셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 한다.

또한 본 발명은 상기 시드 픽셀을 중심으로 상하로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함하는 시드 컬럼(seed column)을 구성하고, 상기 시드 컬럼을 기준으로 좌우로 인접하여 이웃하는 동일 라인(line) 위치의 픽셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 한다.

또한 본 발명에서 상기 차영상은 계층적 구조로 이루어지는 것을 특징으로 한다.

또한 본 발명은 상기 시드 영상을 소정의 블록단위로 나누고 각각의 블록 내에서 시드 픽셀을 선정하여 이 시드 픽셀을 중심으로 인접하여 이웃하는 픽셀들 간의 차를 구하는 과정을 반복함으로써 상기 차영상이 계층적 구조를 이루는 것을 특징으로 한다.

또한 본 발명에서 상기 시드 영상은 상기 선정된 시드 픽셀을 포함하여 구성되도록 서브 샘플링하여 구성함을 특징으로 한다.

상기한 바와 같이 이루어지는 본 발명의 영상 압축 부호화 및 복호화 방법과 그 장치에 따르면, 매크로 블록 내에서 시드(seed)가 되는 픽셀(pixel)을 중심으로 해서, 이웃하는 픽셀들 간의 차이를 계산한 차 영상(differential image)을 얻는데, 이 차 영상은 2차원 공간상의 중복성이 제거된 상태이기 때문에 압축의 효율을 높일 수 있다.

또한 상기한 바와 같이 이루어지는 본 발명의 영상 압축 부호화 및 복호화 방법과 그 장치에 따르면, 가변적인 단계의 차 영상을 만들 수 있게 함으로써 압축 의 효율을 더 높일 수 있다. 이는 곧 데이터의 비트율(bit-rate)을 조절할 수 있음을 의미한다.

또한 상기한 바와 같이 이루어지는 본 발명의 영상 압축 부호화 및 복호화 방법과 그 장치에 따르면, 여러 단계의 차 영상을 만들 수 있게 함으로써 압축으로 인해서 생기는 영상(image)의 열화를 줄일 수 있다.

또한 상기한 바와 같이 이루어지는 본 발명의 영상 압축 부호화 및 복호화 방법과 그 장치에 따르면, 동영상 압축에도 적용할 수 있다. 즉, MPEG 등에서 프레임 내부의 정보만을 이용해서 압축을 하는 I프레임과 같은 경우에도 적용하여 압축 효율을 높일 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

먼저, 도2는 본 발명에 따른 영상 압축 부호화 및 복호화 방법을 보여준다.

도시된 단계(S211)는 시드 픽셀의 선정과 시드 영상을 구성하는 단계이다. 시드 픽셀은 디지털 영상 데이터를 블록 단위로 나누고, 각각의 블록마다 블록 내에서 선택한다. 예를 들면 매크로 블록 단위로 나누어 처리할 때 각각의 매크로 블록마다 그 매크로 블록 내에서 픽셀을 선택하여 선정한다. 즉, 매크로 블록의 중앙에 위치한 픽셀을 시드 픽셀이라고 정의할 수 있다. 어떤 위치의 픽셀을 해당 매크로 블록에 대한 시드 픽셀로 선택할 것인지는 제한되지 않을 수 있다. 시드 픽셀의 선택은 본 발명이 적용될 시스템의 특성이나 통신, 적용 환경에 따라 달라질 수도 있다. 그러나 일반적으로 매크로 블록의 중앙에 위치한 하나의 픽셀을 시드 픽셀로 선택하는 것이 바람직하다. 그 이유는 시드 픽셀의 위치를 사전에 미리 약속해 두 면 부호화 및 복호화 시에 편리할 뿐만 아니라 매크로 블록의 중앙에 위치한 픽셀이 해당 매크로 블록의 정보를 가장 잘 대표할만 하다고 간주할 수 있기 때문이다. 도3은 소스 영상(source image)(300)과 매크로 블록(310), 그리고 매크로 블록(310)의 중앙에서 선택되는 시드 픽셀(311), 서브 샘플링을 통해 얻어진 시드 영상(seed image)(320)을 보여준다.

영상 데이터를 소정의 샘플링 비율로 서브 샘플링함으로써 서브 샘플링된 영상을 구하는데, 이 서브 샘플링된 영상을 시드 영상(320)이라고 정의한다. 시드 영상(320)은 시드 픽셀을 반드시 포함시켜 구성할 수도 있고, 그렇지 않을 수도 있다. 이 것은 서브 샘플링 기법에 의존한다. 그렇지만 일반적으로 시드 픽셀(311)을 포함시켜서 시드 영상(320)을 구성하는 것이 해당 영상 데이터에 대한 보다 풍부한 정보를 포함하도록 하는데 유리하다.

도2에서 다음 단계(S212)는 차영상을 구성하는 단계이다. 여기서 차영상은 시드 픽셀(311)을 중심으로 그 주변 픽셀과의 차이를 구하여 구성하며, 각각의 매크로 블록 단위로 처리된다. 도4 및 도5는 차영상을 구하는 예를 보여준다. 즉, 시드 픽셀을 기준으로 해서 좌우 양쪽으로 이웃하는 픽셀들 간의 차이 값을 구하는 과정을 반복하여 시드 픽셀을 포함하는 시드 라인(seed line)이 구성되고, 상기 시드 라인을 기준으로 해서 상하 양쪽으로 이웃하는 픽셀들 간의 차이 값을 구하는 과정을 반복함으로써 차영상이 생성된다.

먼저, 도4를 참조한다. 도4는 시드 픽셀 P(0,0)과 좌우 양쪽으로 인접하여 이웃하는 픽셀들 간의 차이 값을 구하는 방법을 보여준다. 시드 픽셀 P(0,0)을 기 준으로 하여 픽셀 P(-2,0)과 픽셀 P(-1,0)의 차이 값, 픽셀 P(-1,0)과 시드 픽셀 P(0,0)의 차이 값, 시드 픽셀 P(0,0)과 픽셀 P(1,0)의 차이 값, 픽셀 P(1,0)과 픽셀 P(2,0)의 차이 값을 구한다. 예를 들어 상기 각 픽셀에 대응하여 입력되는 영상이 [128,120,134,140,120]일 경우 그 차 영상은 [8,-14,0,6,-20]이 된다. 이 과정을 거치면 시드 픽셀 P(0,0)을 포함하는 라인이 시드 라인(seed line)이 된다.

다음, 도5를 참조한다. 도5는 시드 라인과 상하 양쪽으로 인접하여 이웃하는 픽셀들 간의 차이 값을 구하는 방법을 보여준다. 라인의 차이를 구할 때에는 양쪽 라인의 동일한 컬럼(column) 위치의 픽셀들 끼리 차이를 구한다. 예를 들어 시드 라인에서 픽셀 P(-2,0)과 위쪽으로 이웃하는 픽셀 P(-2,1)의 차이 값을 구하고, 픽셀 P(-1,0)과 픽셀 P(-1,1)의 차이 값을 구하고, 시드 픽셀 P(0,0)과 픽셀 P(0,1)의 차이 값을 구하고, 픽셀 P(1,0)과 픽셀 P(1,1)의 차이 값을 구하고, 픽셀 P(2,0)과 픽셀 P(2,1)의 차이 값을 구한다. 같은 방법으로 픽셀 P(-2,1)과 픽셀 P(-2,2)의 차이 값을 구하고, 픽셀 P(-1,1)과 픽셀 P(-1,2)의 차이 값을 구하고, 픽셀 P(0,1)과 픽셀 P(0,2)의 차이 값을 구하고, 픽셀 P(1,1)과 픽셀 P(1,2)의 차이 값을 구하고, 픽셀 P(2,1)과 픽셀 P(2,2)의 차이 값을 구한다. 이와 같은 방법으로 나머지 모든 라인의 동일 컬럼에 이웃하는 픽셀들 간의 차이를 구한다. 이렇게 하여 차영상을 구성한다.

이렇게 하면 하나의 프레임에는 1개의 시드 영상과 여러 계층의 차영상을 가질 수 있다. 즉, 상기 서브 샘플링한 시드 영상을 다시 입력 영상으로 간주해서 위와 같은 일련의 과정을 반복하게 되면 계층적 구조를 가지는 차영상을 만들 수 있 기 때문이다. 다시 말하면, 상기 시드 영상을 원 영상(source image)으로 하여 이를 소정의 블록 단위로 나누고, 상기 나뉘어진 각각의 블록마다에서 하나의 시드 픽셀을 선택하고, 이 선택된 시드 픽셀을 기준으로 하여 앞서 설명한 도4 및 도5에 나타낸 것과 동일한 방법으로 인접하여 이웃하는 픽셀들 간의 차영상을 구하는 것이다. 이 과정을 n회 반복하면 n계층의 차영상 구조를 가질 수 있다. 이와 같이 가변적인 단계의 차영상을 만들 수 있게 함으로써 압축의 효율을 더욱 높일 수 있고, 또한 이는 곧 영상 데이터의 비트율(bit rate)을 조절할 수 있음을 의미하게 된다. 즉, 계층적인 구조의 차영상에서 어느 계층의 차영상까지를 압축 부호화하여 출력하는가에 따라 그 비트율이 선택(조절)되는 것이다. 또한, 여러 단계의 차영상을 만들 수 있게 되므로 영상 정보의 손실을 가능한한 줄여 줌으로써 압축으로 인해서 발생하는 영상의 열화도 줄일 수 있게 된다.

도4 및 도5에서는 시드 픽셀을 포함하는 시드 라인의 이웃 픽셀들 간의 차이와, 인접한 시드 라인의 동일한 컬럼 위치의 픽셀들 끼리의 차이를 구하여 차영상을 구성하는 방법을 예시하였다. 그러나, 이와 반대로 시드 픽셀 P(0,0)을 기준으로 해서 상하 양쪽으로 인접하여 이웃하는 픽셀들인 P(0,2), P(0,1), P(0,0), P(0,-1), P(0,-2) 사이의 차를 구하고 이 것을 시드 컬럼(seed column)으로 삼아서, 시드 컬럼 좌우 양쪽으로 인접하는 컬럼들 간의 차이 값을 구하는 방법도 가능하다. 물론 이와 같이 컬럼의 차이를 구할 때에는 양쪽 라인의 동일한 라인 위치의 픽셀들 끼리의 차이를 구한다.

앞서 설명한 바와 같이 시드 픽셀을 기준으로 하여 시드 라인을 구성하고 라 인들 끼리 인접한 픽셀 차를 구할 것인지, 혹은 시드 픽셀을 기준으로 하여 시드 컬럼을 구성하고 컬럼들 끼리 인접한 픽셀 차를 구할 것인지의 선택은 영상 부호화 및 복호화기를 적용하는 기기, 통신이나 매체의 환경 등에 따라 적절하게 이루어지면 된다.

다시 도2를 참조하면, 다음 단계(S213)는 시드 영상 및 차영상을 압축 부호화하는 단계이다. 즉, 상기한 바와 같이 원 영상 데이터를 서브 샘플링하여 구한 시드 영상을 이산 코사인 변환(DCT)하고 DCT 계수를 양자화(quantization)한 후 이를 다시 가변길이 부호화(Variable Length Coding: VLC) 등과 같은 무손실 부호화(lossless coding)하여 시드 영상에 대한 압축 부호화를 수행함과 함께, 상기 차영상 데이터를 이산 코사인 변환(DCT)하고 DCT 계수를 양자화한 후 이를 다시 가변길이 부호화 등과 같은 무손실 부호화하여 차영상에 대한 압축 부호화를 수행한다. 그리고 압축 부호화된 시드 영상과 차영상을 최종적으로 가산하여 출력함으로써 공간 중복성이 최대한 제거된 압축 영상 데이터가 출력될 수 있다.

즉, 상기한 본 발명의 영상 압축 부호화 방법에 따르면 DCT의 입력으로 들어가는 영상은 차영상이기 때문에 공간 내부의 중복성이 제거된 상태이고, 따라서 압축 효율이 높아지게 된다.

이렇게 압축 부호화된 영상 데이터를 복호화하는 방법은 도2에서 시드 영상 및 차영상 복호화 단계(S311), 시드 영상 및 차영상 압축 복원단계(S312), 디코딩(복호화)된 영상의 구성 및 출력단계(S313)의 수행에 따라 이루어진다.

먼저, 시드 영상 및 차영상 복호화 단계(S311)에서는 상기 압축 부호화된 시 드 영상을 무손실 복호화(inverse lossless coding = lossless decoding)하고, 또한 상기 압축 부호화된 차영상 역시 무손실 복호화한다. 그리고 다음 단계(S312)에서는 상기 복호화된 차영상 및 시드 영상 각각에 대하여 역양자화(inverse quantization) 및 역DCT 변환(inverse DCT)하여 압축을 풀어준다. 이렇게 하여 복원된 차영상과 시드 영상을 최종 단계(S313)에서 더하면 복원된 영상을 구성하여 얻을 수 있게 되는 것이다.

도6은 본 발명에 따른 영상 압축 부호화 및 복호화 장치의 실시예 구성을 보여준다. 도6을 참조하면 본 발명에 따른 영상 압축 부호화 및 복호화 장치(CODEC)는 영상 부호화부(610)와 영상 복호화부(620)로 이루어진다.

영상 부호화부(610)는 입력된 원 영상(source image)의 차영상을 구하는 차영상 생성부(611)와, 상기 차영상 생성부(611)에서 생성된 차영상에 대해서 이산 코사인 변환을 수행하는 제1 DCT부(612)와, 상기 제1 DCT부(612)에서 출력된 DCT 계수를 양자화하는 제1 양자화부(613)와, 상기 제1 양자화부(613)의 양자화 데이터를 무손실 부호화하는 제1 무손실 부호화부(614)와, 상기 원 영상에 대한 시드 영상을 구하는 시드 영상 생성부(615)와, 상기 시드 영상 생성부(615)에서 생성된 시드 영상에 대해서 이산 코사인 변환을 수행하는 제2 DCT부(616)와, 상기 제2 DCT부(616)에서 출력된 DCT 계수를 양자화하는 제2 양자화부(617)와, 상기 제2 양자화부(617)의 양자화 데이터를 무손실 부호화하는 제2 무손실 부호화부(618)와, 상기 제1 무손실 부호화부(614) 및 제2 무손실 부호화부(618)의 출력을 가산하여 최종적으로 압축 부호화된 영상 데이터를 출력하는 가산부(619)를 포함한다.

상기 영상 복호화부(620)는 입력되는 압축 부호화된 데이터 중에서 차영상 데이터를 무손실 복호화(Inverse Lossless Coding)하는 제1 무손실 복호화부(621)와, 상기 제1 무손실 복호화부(621)에서 출력된 데이터를 역양자화(Inverse Quantizaion)하는 제1 역양자화부(622)와, 상기 제1 역양자화부(622)에서 출력된 데이터를 역 이산 코사인 변환하여 차영상(624)을 출력하는 제1 역DCT(Inverse DCT)부(623)와, 상기 입력되는 압축 부호화된 데이터 중에서 시드영상 데이터를 무손실 복호화하는 제2 무손실 복호화부(625)와, 상기 제2 무손실 복호화부(625)에서 출력된 데이터를 역양자화하는 제2 역양자화부(626)와, 상기 제2 역양자화부(626)에서 출력된 데이터를 역 이산 코사인 변환하여 시드 영상(628)을 출력하는 제2 역DCT부(627)와, 상기 차영상(624) 및 시드 영상(624)을 가산하여 디코딩된 영상(decode image)을 최종적으로 출력하는 가산부(629)를 포함한다.

이와 같이 구성된 본 발명의 영상 부호화 및 복호화 장치에 의한 영상 압축 부호화 및 복호화 과정은 앞서 설명한 영상 압축 부호화 및 복호화 방법과 동일하게 이루어지며, 이를 살펴보면 다음과 같다.

차영상 생성부(611)는 소스 영상 데이터를 입력받아 매크로 블록마다 선택된 시드 픽셀을 기준으로 하여 상기 도4 및 도5에 나타내고 설명한 바와 같은 차영상을 구성한다. 이 차영상은 계층적 구조로 생성될 수 있음은 이미 설명하였다. 또한 이 차영상에서는 공간의 중복성이 제거된 상태이기 때문에 이후의 압축 부호화 과정을 거칠 때 그 압축 효율이 기존의 압축방법에 비하여 매우 높아지게 된다. 상기 차영상 생성부(611)에서 생성된 차영상 데이터는 제1 DCT부(612)에 입력되어 이산 코사인 변환된다. 그리고 제1 DCT부(612)에서 출력된 DCT 계수는 제1 양자화부(613)에서 양자화되고, 양자화된 데이터는 제1 무손실 부호화부(614)에서 무손실 부호화되어 가산부(619)에 공급된다. 여기서 무손실 부호화는 예를 들면, 런-길이 부호화(Run Length Coding), 가변 길이 부호화(Variable Length Coding) 등을 들 수 있다.

시드 영상 생성부(615)는 소스 영상 데이터를 입력받아 이를 특정 비율로 서브 샘플링하여 도3에 나타내고 설명한 바와 같은 시드 영상을 구성한다. 상기 시드 시드 영상 생성부(615)에서 생성된 시드 영상 데이터는 제2 DCT부(616)에 입력되어 이산 코사인 변환된다. 그리고 제1 DCT부(616)에서 출력된 DCT 계수는 제2 양자화부(617)에서 양자화되고, 양자화된 데이터는 제2 무손실 부호화부(618)에서 무손실 부호화되어 가산부(619)에 공급된다. 여기서 무손실 부호화는 예를 들면, 런-길이 부호화(Run Length Coding), 가변 길이 부호화(Variable Length Coding) 등을 들 수 있다.

가산부(619)는 상기 압축 부호화된 차영상과 시드 영상 데이터를 가산하여 최종적으로 압축 부호화된 데이터를 출력한다.

제1 무손실 복호화부(621)는 입력되는 압축 부호화된 데이터 중에서 차영상 데이터를 무손실 복호화(inverse lossless coding)한다. 제1 역양자화부(622)는 상기 제1 무손실 복호화부(621)의 출력 데이터를 역양자화(inverse quantization)하고, 제1 역DCT부(623)는 상기 제1 역양자화부(622)에서 출력된 데이터를 역 이산 코사인 변환(Inverse DCT)함으로써 원래의 차영상을 복원하여 복원된 차영상(624) 을 출력한다. 제2 무손실 복호화부(625)는 입력되는 압축 부호화된 데이터 중에서 시드 영상 데이터를 무손실 복호화(inverse lossless coding)한다. 제2 역양자화부(626)는 상기 제2 무손실 복호화부(625)에서 출력된 데이터를 역양자화(inverse quantization)하고, 제2 역 DCT부(627)는 상기 제2 역양자화부(626)에서 출력된 데이터를 역 이산 코사인 변환(inverse DCT)함으로써 원래의 시드 영상을 복원하여 복원된 시드 영상(628)을 출력한다. 가산부(629)는 상기 복원된 차영상(624)과 시드 영상(628)을 가산함으로써 최종적으로 디코딩(복호화)된 영상을 출력하게 된다.

본 발명에 따른 영상 코덱은 특히 영상 내부의 공간 중복성을 최대한 제거함으로써 압축 효율을 높일 수 있다. 또한 가변적인 단계의 차영상 즉, 계층적 구조의 영상을 만들 수 있기 때문에 압축 효율의 향상과, 필요에 따른 비트율 조절이 시스템 환경에 따라 적응적으로 자유롭게 가능하고, 압축에 의한 영상의 열화를 최대한 억제할 수 있는 효과가 있다. 특히, 동영상 압축에 적용할 경우 MPEG 등에서 프레임 내부의 정보만을 이용해서 압축을 수행하는 I프레임과 같은 경우에 그 압축 효율을 높일 수 있는 효과가 있다.

Claims

영상 데이터를 블록 단위로 나누고, 각각의 블록 내에서 소정 위치의 픽셀(pixel)을 선택하여 이 것을 시드 픽셀(seed pixel)로 선정하는 시드 픽셀 선정단계;

상기 선정된 시드 픽셀을 중심으로 이웃하는 주변 픽셀들과의 차를 구하여 이 차로 이루어지는 차 영상(differential image)을 구성함과 함께, 상기 영상 데이터를 소정 비율로 서브 샘플링(sub sampling)하고 이 서브 샘플링된 영상을 시드 영상(seed image)으로 정하는 차영상 및 시드 영상 구성단계;

상기 차영상 및 시드 영상 데이터 각각에 대하여 압축 부호화를 수행한 후 압축 부호화된 두 데이터를 가산하여 최종 압축 부호화된 데이터로 출력하는 부호화 단계;

를 포함하여 이루어지는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 시드 픽셀 선정단계에서 매크로 블록 단위로 영상 데이터를 나누고 각각의 매크로 블록의 중앙에 위치한 하나의 픽셀을 선택하여 이 픽셀을 시드 픽셀로 선정하는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 차영상 및 시드 영상 구성단계에서, 상기 시드 픽셀을 중심으로 좌우로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함 하는 시드 라인(seed line)을 구성하고, 상기 시드 라인을 기준으로 상하로 인접하여 이웃하는 동일 컬럼(column) 위치의 픽셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 차영상 및 시드 영상 구성단계에서, 상기 시드 픽셀을 중심으로 상하로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함하는 시드 컬럼(seed column)을 구성하고, 상기 시드 컬럼을 기준으로 좌우로 인접하여 이웃하는 동일 라인(line) 위치의 픽셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 차영상은 계층적 구조로 이루어지는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 시드 영상을 소정의 블록단위로 나누고 각각의 블록 내에서 시드 픽셀을 선정하여 이 시드 픽셀을 중심으로 인접하여 이웃하는 픽셀들 간의 차를 구하는 과정을 반복함으로써 상기 차영상이 계층적 구조를 이루는 것을 특징으로 하는 영상 압축 부호화 방법.
제 1 항에 있어서, 상기 시드 영상은 상기 선정된 시드 픽셀을 포함하여 구성되도록 서브 샘플링하여 구성함을 특징으로 하는 영상 압축 부호화 방법.
영상 데이터를 서브 샘플링하여 구한 시드 영상과, 영상 데이터를 블록단위로 나누고 각 블록마다 선택된 시드 픽셀을 기준으로 주변에 이웃하는 픽셀들 간의 차로 이루어진 차영상 데이터를 각각 압축 부호화한 영상 데이터를 입력받는 단계;

상기 압축 부호화된 시드 영상 데이터와 압축 부호화된 차영상 데이터를 각각 복호화하고 압축을 풀어서 원래의 시드 영상 데이터와 차영상 데이터를 구하고, 구해진 시드 영상 데이터와 차영상 데이터를 가산하여 복호화된 영상을 구하는 단계;

를 포함하는 것을 특징으로 하는 영상 복호화 방법.
블록단위를 기반으로 영상 데이터를 압축 부호화하는 장치에 있어서,

영상 데이터 블록 내에서 선택된 시드 픽셀과 그 주변에 인접하여 이웃하는 픽셀들 간의 차로 이루어지는 차영상을 구성하는 차영상 생성수단;

영상 데이터를 소정의 비율로 서브 샘플링하여 시드 영상을 구성하는 시드 영상 생성수단;

상기 차영상에 대하여 DCT 및 양자화, 무손실 부호화 과정을 차례로 수행하는 차영상 압축 부호화수단;

상기 시드 영상에 대하여 DCT 및 양자화, 무손실 부호화 과정을 차례로 수행하는 시드 영상 압축 부호화수단;

상기 최종 부호화된 차영상 및 시드 영상을 가산하여 출력하는 출력수단;

을 포함하여 구성된 것을 특징으로 하는 영상 압축 부호화 장치.
제 9 항에 있어서, 상기 차영상 생성수단은 상기 시드 픽셀을 중심으로 좌우로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함하는 시드 라인(seed line)을 구성하고, 상기 시드 라인을 기준으로 상하로 인접하여 이웃하는 동일 컬럼(column) 위치의 픽셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 하는 영상 압축 부호화 장치.
제 9 항에 있어서, 상기 차영상 생성수단은 상기 시드 픽셀을 중심으로 상하로 인접하여 이웃하는 픽셀들 간의 차를 구하여 시드 픽셀을 포함하는 시드 컬럼(seed column)을 구성하고, 상기 시드 컬럼을 기준으로 좌우로 인접하여 이웃하는 동일 라인(line) 위치의 픽셀들 간의 차이를 구하여 차영상을 구성하는 것을 특징으로 하는 영상 압축 부호화 장치.
제 9 항에 있어서, 상기 차영상 생성수단은 상기 시드 영상 생성수단에서 생성된 시드 영상을 입력으로 하여 이를 소정의 블록단위로 나누고 각각의 블록 내에서 시드 픽셀을 선정하여 이 시드 픽셀을 중심으로 인접하여 이웃하는 픽셀들 간의 차를 구하는 과정을 반복함으로써 계층적 구조를 이루는 차영상을 생성하는 것을 특징으로 하는 영상 압축 부호화 장치.
블록단위를 기반으로 압축된 영상 데이터를 복호화하는 장치에 있어서,

영상 데이터 블록 내에서 선택된 시드 픽셀과 그 주변에 인접하여 이웃하는 픽셀들 간의 차로 이루어진 압축 부호화된 차영상에 대하여 복호화, 역양자화, 역DCT 과정을 차례로 수행하여 시드 픽셀 기반 차영상을 복호화 및 복원하는 차영상 복원수단;

영상 데이터를 소정의 비율로 서브 샘플링하여 구성된 압축 부호화된 시드 영상에 대하여 복호화, 역양자화, 역DCT 과정을 차례로 수행하여 시드 영상을 복호화 및 복원하는 시드 영상 복원수단;

상기 최종 복원된 차영상 및 시드 영상을 가산하여 원 영상을 복원하는 출력수단;

을 포함하여 구성된 것을 특징으로 하는 영상 복호화 장치.