KR100387229B1

KR100387229B1 - 영상부호화장치

Info

Publication number: KR100387229B1
Application number: KR1019950039223A
Authority: KR
Inventors: 김성진; 류성걸; 백승권
Original assignee: 삼성전자주식회사
Priority date: 1995-11-01
Filing date: 1995-11-01
Publication date: 2003-08-21
Also published as: GB9622616D0; DE19643907B4; KR970032155A; GB2306845B; GB2306845A; FR2740642A1; JPH09224262A; US5838375A; JP3437901B2; FR2740642B1; DE19643907A1

Abstract

본 발명은 영상부호화장치에 관한 것으로서, 현재 원영상, 이전 원영상, 이전 복원영상과 현재 원영상과 이전 복원영상으로 부터 차분 펄스폭변조에 의해 예측영상을 생성하는 영상입력부, 영상입력부에서 입력되는 현재 원영상의 각 화소들에 대한 시감색차범위를 결정하는 시감색차범위 결정부, 영상입력부에서 입력되는 예측영상과 현재 원영상과의 예측오차를 발생시키는 예측오차 발생부, 예측오차 발생부에서 출력되는 예측오차와 시감색차범위 결정부에서 출력되는 각 화소의 시감색차범위를 비교하는 시감예측오차 비교부, 시감예측오차 비교부에서의 비교결과에 따라 시감색차를 갖는 예측오차로 재구성한 시감예측오차를 발생시키는 시감예측오차 발생부와, 시감예측오차 발생부에서 출력되는 시감예측오차와 예측영상을 이용하여 영상을 부호화한 후 복원하는 복호화부로 구성된다. 따라서, 본 발명은 부호화방식에서 복원된 영상의 화질향상과 비트발생량을 감소시키는 효과를 가지므로 각종 디지탈 영상매체 부호화방식에 호환적으로 적용될 수 있다.

Description

영상부호화장치

본 발명은 영상부호화장치에 관한 것으로서, 특히 동영상간의 움직임을 차분 펄스폭변조(DPCM;Differential Pulse Coded Modulation)할 때 발생되는 예측오차에서 YUV 색영역에서의 사람의 시감색차범위를 정의한 룩업테이블(LUT;Look UpTable)을 이용하여 시감오차를 제거시켜 비트발생량을 줄이기 위한 영상부호화장치에 관한 것이다.

영상매체의 발전과 더불어 영상정보에 대한 서비스 형태가 매우 다양해짐으로써 다양한 영상정보 서비스를 제공하는데 따른 영상정보량의 증가가 불가피하게 되었다. 그러나, 기존의 아날로그 영상전송방식에서는 많은 영상 정보량을 다양한 사용자의 요구에 맞추어 실시간으로 처리할 수 없는 문제가 있다. 따라서, 아날로그 영상을 디지탈 영상으로 변환하고 디지탈 영상신호들의 중복성을 이용하여 영상신호들을 압축함으로써 영상의 화질은 유지하면서 영상 정보량만을 감소시킬 수 있는 디지탈 영상신호 압축부호화방식(이하 부호화방식으로 약칭함)이 제안되었다.

정지영상이 아닌 동영상에 대한 MPEG2 부호화방식은 YUV 색좌표계로 구성된 I,P,B 디지탈 영상신호를 부호화함에 있어서, 매크로블럭 단위의 예측오차를 정의하는 DPCM 과정과, 블럭 단위로 예측오차의 주파수성분별 크기를 정의한 이산여현변환(DCT;Discrete Cosine Transform)과정, 목표비트발생량과 실제 비트발생량과의차이를 나타내는 누적버퍼량을 이용하여 양자화간격을 결정하는 레이트 제어과정, DCT된 예측오차를 양자화 매트릭스와 레이트 제어과정에 의해 정의된 양자화간격으로 양자화하는 양자화과정의 4단계로 구성된다.

이와 같은 MPEG2 부호화방식에서는 영상신호들의 중복성(redundancy)를 줄이기 위해 이전 영상과 현재 영상간의 상호관계를 움직임벡터에 의해 정의하는데 실제 현재 영상을 부호화할 때 움직임 벡터를 추정하고 보상하는 DPCM 과정에서 정의한 예측영상(Predict Frame)과 부호화할 실제 원영상과의 예측오차(Predict Error)만을 부호화하고, 이를 제한된 전송로를 통해 디코더로 보내 원영상을 다시 복원하게 된다.

여기서, 영상신호들의 중복성을 줄이기 위한 DPCM 과정은 다음과 같다. DPCM에서는 제3도에 도시된 바와 같이 현재 영상의 매크로블럭 C를 부호화할 대 이전 원영상(Forward Original Frame)이나 이후 원영상(Backward Original Frame)에서 매크로블럭 C와 같은 위치 (x,y)에 있는 매크로블릭 f, b 각각에 정의된 검색 윈도우(search window) 내에서 가장 작은 오차값 즉, 매크로블럭 C와 가장 유사한 영상신호 특성을 갖는 매크로블럭을 제4도에 정의된 절대오차합(dmc)을 이용하는 전화소탐색(Full Pel Search) 방법과 반화소 탐색(Half Pel Search) 방법을 이용하여 최소 절대오차합을 갖는 움직임벡터 (fMVx,fMVy) 혹은 (bMVx,bMVy)로 결정하여 정의하고, 추정된 움직임 벡터를 이용하여 제4도에 정의된 바와 같이 복원영상(Reference Frame)에 대한 제곱오차값(var1)과 제곱오차합(vmc), 현재 원영상의 평균분산값(var0)을 각각 서로 비교하여 예측영상을 정의하게 된다. 이와 같은 방법으로 정의된 예측영상과 현재 원영상과의 차이를 예측오차라 하며, 이때 다음과 같은 문제점이 있다.

첫째, 제3도에 도시된 바와 같이 매크로블럭 m1과 m2에서 e로 정의된 부분이 예측오차로 결정되는데, DPCM에서 예측오차로 정의된 e영역이 실제 사람의 시감으로는 색차를 전혀 느낄수 없을 만큼의 크기로 오차를 발생하였다면 이와 같은 예측오차는 무시할 수 있다. 그러나 MPEG2에서는 실제 예측영상과 현재 영상간의 시감차이가 발생하지 않아도 계산상으로 정의된 차이만을 고려하여 예측오차로 처리하기 때문에 불필요한 비트를 발생시키는 문제가 있다.

둘째, 영상신호들을 실제 압축시키는 양자화과정에서 시감색차범위(CT)에 대해 시감색차를 전혀 느낄수 없는 예측오차(D)를 QM의 크기를 갖는 양자화간격으로 양자화할 때, 0＜D＜CT, 0＜CT＜2QM, D＞QM/2 의 관계를 가질 경우 문제가 발생한다. 이를 다음 (1)식 즉, MPEG2 양자화 관계식을 참조하여 상세히 설명하기로 한다.

0＜D＜CT, 0＜CT＜2QM, D＜QM/2를 만족하는 예측오차(D)를 상기 (1)식과 가티 양자화할 경우 양자화오차 (QE=D)＜CT 관계를 만족하기 때문에 양자화오차로 인한 복원영상의 화질열화는 발생하지 않는다. 그러나, 0＜D＜CT, 0＜CT＜2QM, D＞QM/2 관계를 가지는 예측오차(D)를 양자화할 경우 양자화오차(QE)는 QE=D-QM의 관계에 의해 복원영상의 화질열화를 발생시킨다. 이와 같이 실제 시감색차를 느끼지 못하는 예측오차일지라도 양자화과정에서 복원영상의 화질열화를 발생시킬 수 있는 문제가 있다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 DPCM에 의한 예측오차를 시감색차범위를 이용하여 감소시키기 위한 영상부호화장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 영상부호화장치는

현재 원영상, 이전 원영상, 이전 복원영상과, 상기 현재 원영상과 이전 복원영상으로 부터 차분 펄스폭변조에 의해 예측영상을 생성하기 위한 영상입력부;

상기 영상입력부에서 입력되는 현재 원영상의 각 화소들의 색성분에 대한 시감색차범위를 결정하기 위한 시감색차범위 결정부;

상기 영상입력부에서 입력되는 예측영상과 현재 원영상과의 예측오차를 발생시키기 위한 예측오차 발생부;

상기 예측오차 발생부에서 출력되는 예측오차와 상기 시감색차범위 결정부에서 출력되는 시감색차범위를 비교하기 위한 시감예측오차 비교부;

상기 시감예측오차 비교부에서의 비교결과에 따라 시감색차를 갖는 예측오차로 재구성한 시감예측오차를 발생시키기 위한 시감예측오차 발생부; 및

상기 시감예측오차 발생부에서 출력되는 시감예측오차와 예측영상을 이용하여 영상을 부호화한 후 복원하는 복호화부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예에 대하여 상세히 설명하기로 한다.

제1도는 본 발명에 의한 영상부호화장치를 나타낸 블럭도로서, 현재 원영상, 이전 원영상, 이전 복원영상과 현재 원영상과 이전 복원영상으로부터 차분 펄스폭변조에 의해 예측영상을 생성하는 영상입력부(11), 영상입력부(11)에서 입력되는 현재 원영상의 각 화소들에 대한 시감색차범위를 결정하는 시감색차범위 결정부(12), 영상입력부(11)에서 입력되는 예측영상과 현재 원영상과의 예측오차를 발생시키는 예측오차 발생부(13), 예측오차 발생부(13)에서 출력되는 예측오차와 시감색차범위 결정부(12)에서 출력되는 각 화소의 시감색차범위를 비교하는 시감예측오차 비교부(14), 시감예측오차 비교부(14)에서의 비교결과에 따라 시감색차를 갖는 예측오차로 재구성한 시감예측오차를 발생시키는 시감예측오차 발생부(15)와, 시감예측오차 발생부(15)에서 출력되는 시감예측오차와 예측영상을 이용하여 영상을 부호화한 후 복원하는 복호화부(16)로 구성된다.

한편, 본 발명의 작용 및 효과에 대하여 제1도 내지 제9도를 참조하여 설명하면 다음과 같다.

본 발명은 압축 비교발생량을 감소시키면서 복원된 영상의 화질을 향상시킬 수 있는 MPEG 부호화장치에 관한 것으로서, DPCM 과정에 발생되는 예측오차가 실제 사람의 눈으로 느낄 수 없을 만큼의 오차를 가지고 잇다면, 이 예측오차는 오차로서 처리하지 않아도 복원영상의 화질에 영향을 미치지 않는다는 사실에 근거한다.

제1도에 있어서, 영상입력부(11)는 제2도에 도시된 바와 같이 움직임 추정부(21)와 움직임 보상부(22)로 구성되며, 시간주파수 영역에서 YUV 색좌표계상에 구성된 영상들간의 상관성 도출을 위해 사용되는 움직임벡터를 제3도와 제4도에서와 같이 이전 원영상과 현재 원영상을 이용하여 추정하고, 추정된 움직임벡터는 제4도에서와 같이 DPCM에 의해 현재 원영상과 이전 복원영상에 적용되어 예측영상을 정의한다. 따라서, 영상입력부(11)에서는 제2도에 도시된 바와 같이 현재 원영상, 이전 원영상, 이전 복원영상과 현재 원영상에 대한 예측영상을 출력한다.

시감색차범위 결정부(12)에서는 영상입력부(11)에서 출력되는 현재 원영상의 임의의 화소에 대한 Y,U,V 색성분별 시감색차범위를 결정하기 위한 것으로서, 제6도에 도시된 바와 같은 방법을 사용한다. 즉, 시감색차범위는 사람의 시감색차가균등하게 분포되는 색좌표계상에서 정의되는 것이 보다 정확한 선형적 관계를 유지할 수 있기 때문에 칼라영상의 색정보를 정의하는 YUV 불균등 시감 색공간은 제1변환부(61)에서 CIE L*a*b* 균등 시감 색공간으로 변환한다. 이와 같이 변환된 CIE L*a*b* 색좌표계상에서 CMC(Color Measuremenr Committe)에서 제안한 시감색차공식을 적용하여 제2변환부(62)에서 L,a,b 색성분에 대한 시감색차범위값(Perceptual Color Tolerence)을 결정하고, 결정된 CIE L*a*b* 시감색차범위를 Y,U,V 색성분에 대한 시감색차범위로 변환하므로써 화소의 YUV 시감색차범위를 결정한다. 이와 같은 방법에 의해 결정된 YUV 색도좌표에 대한 시감색차범위는 실시간으로 처리하기 위하여 제7도에 도시된 바와 같은 시감색차 LUT를 사용한다.

이 시감색차 LUT는 다음과 같은 과정에 의해 구성되고 색인된다. 즉 제1단계로서, YUV 색좌표계에서 Y,U,V 각 색도좌표를 균일한 간격으로 8등분하여 총 512개의 대표색으로 분할한다. 제2단계로서, 512개의 대표색에 대한 Y,U,V 각 색성분별 시감색차범위 pY, mY, pU, mU, pV, mV를 정의한다. 제3단계로서, 영상입력부(11)에서 입력되는 현재 원영상의 YUV 색도좌표를 다음 (2)식을 이용하여 색인하여 Y,U,V 색성분에 대한 시감색차범위를 결정한다.

예측오차 발생부(13)는 제5도에서와 같이 감산기(51)에 의해 영상입력부(11)에서 출력되는 예측영상과 현재 원영상과의 차로부터 예측오차를 출력한다. 이때, 예측오차는 블럭별 움직임과 매크로블럭의 평균분산값이 클수록 큰 값이 된다. 또한, 실제 시감색차범위가 작을수록 예측오차의 상대적인 크기는 큰 값이 된다. 이와 같이 원영상이 아닌 영상의 예측오차를 부호화과정에서 사용하는 것은 동일한 영상신호들이 여러번 중복되어 분포되는 특징을 갖고 있는 영상신호들의 중복성을 제거하여 비트발생량을 줄이기 위한 것이다.

시감예측오차 비교부(14)에서는 예측오차 발생부(13)에서 출력되는 예측오차와 시감색차범위 결정부(12)에서 출력되는 현재 원영상의 Y,U,V 색성분에 대한 시감색차범위를 이용하여 시감적으로 느낄수 없는 예측오차들을 제8도에 도시된 방법으로 판별하기 위한 것이다.

그 과정은 다음과 같다. 제1단계로서, 시감색차 LUT에 의해 정의된 현재 원영상에 대한 시감색차범위 (mY,pY), (mU,pU), (mV,pV)를 입력하고, 제2단계로서, Y,U,V 각 색성분에 대한 예측오차를 DY,DU,DV로 정의하고, 제3단계로서, 예측오차 DY,DU,DV를 각각 제81∼83단계, 제84∼86단계, 제87∼89단계에 의해 시감색차범위 (mY,pY), (mU,pU), (mV,pV)와 비교하여 시감색차범위 내에 있는 예측오차는 색차를 느낄수 없는 예측오차로 정의하여 예측오차값을 0으로 둔다.

시감예측오차 발생부(15)에서는 시감예측오차 비교부(14)에서 현재 원영상의 시감색차범위를 비교한 결과, 색차를 느낄수 없는 예측오차로 판별된 예측오차값을 0으로 정의하여 새로운 시감예측오차를 발생시킨다.

복호화부(16)에서는 제9도에 도시된 바와 같이 양자화부(91)에서 시감예측오차 발생부(15)에서 출력되는 시감예측오차를 압축하기 위해 양자화하고, 역양자화부(92)에서 양자화된 시감예측오차를 역양자화하고, 가산기(93)에서 복원한 복원 시감예측오차를 예측영상과 결합하여 실제 영상매체를 통해 사용자에게 제공되는복원영상을 구성한다.

상술한 바와 같이 본 발명에 의한 영상부호화장치에서는 DPCM과 DCT과정에 의해 디지탈 영상신호들의 중복성을 줄이고, 양자화과정에 의해 실제영상을 압축시키는 영상신호 부호화방식에 있어서, 시감색차를 갖지 않는 예측오차를 시감색차 LUT를 이용하여 제거함으로써 양자화오차에 의해 발생되는 복원영상의 화질열화를 줄이고, 예측오차의 감소로 인한 부호화된 영상의 비트발생량을 감소시킬 수 있다. 또한, 각각의 색성분들에 대한 시감색차범위를 결정하는데 있어서 시감색차 LUT를 이용함으로써 각각의 색성분들 마다의 시감색차범위를 정의하는데 소요되는 연산시간을 줄임으로써 실시간 처리를 가능하게 한다.

따라서, 본 발명은 부호화방식에서 복원된 영상의 화질향상과 비트발생량을 감소시키는 효과를 가지므로 각종 디지탈 영상매체 부호화방식에 호환적으로 적용될 수 있다.

제1도는 본 발명에 의한 영상부호화장치를 나타낸 블럭도.

제2도는 제1도에 도시된 영상입력부의 세부 블럭도.

제3도는 제1도에 있어서 영상간 움직임벡터 및 예측오차을 구성하는 방법을 설명하기 위한 도면.

제4도는 제1도에 있어서 움직임 추정 및 보상을 설명하기 위한 도면.

제5도는 제1도에 도시된 예측오차 발생부의 세부 블럭도.

제6도는 제1도에 도시된 시감색차범위 결정부의 세부 블럭도.

제7도는 제6도에 도시된 시감색차 룩업테이블의 구성을 나타낸 도면,

제8도는 제1도에 도시된 시감예측오차 비교부의 동작을 설명하기 위한 도면.

제9도는 제1도에 도시된 복호화부의 세부 블럭도.

Claims

현재 원영상, 이전 원영상, 이전 복원영상과 상기 현재 원영상과 이전 복원영상으로 부터 차분 펄스폭변조에 의해 예측영상을 생성하기 위한 영상입력부;

상기 영상입력부에서 입력되는 현재 원영상의 각 화소들의 색성분에 대한 시감색차범위를 결정하기 위한 시감색차범위 결정부;

상기 영상입력부에서 입력되는 예측영상과 현재 원영상과의 예측오차를 발생시키기 위한 예측오차 발생부;

상기 예측오차 발생부에서 출력되는 예측오차와 상기 시감색차범위 결정부에서 출력되는 각 화소들의 시감색차범위를 비교하기 위한 시감예측오차 비교부;

상기 시감예측오차 비교부에서의 비교결과에 따라 시감색차를 갖는 예측오차로 재구성한 시감예측오차를 발생시키기 위한 시감예측오차 발생부; 및

상기 시감예측오차 발생부에서 출력되는 시감예측오차와 예측영상을 이용하여 영상을 부호화한 후 복원하는 복호화부를 포함하는 것을 특징으로 하는 영상부호화장치.
제1항에 있어서, 상기 시감색차범위 결정부에서는 영상을 구성하는 YUV 불균등 시감 색공간을 CIE L*a*b* 균등 시감 색공간으로 변환하여 L,a,b 색성분에 대한 시감색차범위를 결정하고, 상기 CIE L*a*b* 시감색차범위를 Y,U,V 색성분에 대한 시감색차범위로 변환하므로써 각 화소의 YUV 시감색차범위를 결정하는 것을 특징으로 하는 영상부호화장치.
제2항에 있어서, 상기 시감색차범위 결정부에서는 Y,U,V 색성분에 대한 시감색차범위를 시감색차 룩업테이블을 이용하여 정의하는 것을 특징으로 하는 영상부호화장치.
제3항에 있어서, 상기 시감색차 룩업테이블은 YUV 불균등 시감색공간에서 512개의 대표 색도좌표들에 의해 각각 정의되는 Y,U,V 색성분별 시감색차범위값들로 구성되는 것을 특징으로 하는 영상부호화장치.
제4항에 있어서, 상기 시감예측오차 비교부에서는 Y,U,V 각색성분에 대한 예측오차 DY,DU,DV를 각각 상기 시감색차 룩업테이블에 의해 정의된 현재 원영상에 대한 시감색차범위 (mY,pY), (mU,pU), (mV,pV)와 비교하는 것을 특징으로 하는 영상부호화장치.
제1항에 있어서, 상기 시감예측오차 발생부에서는 상기 시감예측오차 비교부에서의 비교결과, 상기 시감색차범위내에 존재하는 예측오차를 0으로 치환하여 상기 시감예측오차를 재구성하는 것을 특징으로 하는 영상부호화장치.
제1항에 있어서, 상기 복호화부에서는

상기 시감예측오차 발생부에서 출력되는 시감예측오차를 양자화하기 위한 양자화부;

상기 양자화된 시감예측오차를 역양자화하여 복원 시감예측오차를 출력하기 위한 역양자화부; 및

상기 복원 시감예측오차를 예측영상과 가산하여 복원영상을 생성하기 위한 가산기로 구성되는 것을 특징으로 하는 영상부호화장치.