KR100386194B1

KR100386194B1 - 영상 압축에서 양자화 오차의 디시값 추가 보상을 통한이미지의 화질 개선장치 및 그 방법

Info

Publication number: KR100386194B1
Application number: KR10-2000-0069921A
Authority: KR
Inventors: 김재호; 신정환
Original assignee: 주식회사 엠아이
Priority date: 2000-11-23
Filing date: 2000-11-23
Publication date: 2003-06-02
Also published as: KR20020040019A

Abstract

본 발명은 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법을 제공하기 위한 것으로, 이러한 본 발명은 영상 코딩 장치에 있어서, 양자화로 인해서 생긴 오차 중에 DC 값을 보상하여 영상 코딩이 수행되도록 하는 추가보상부를 포함하여 구성함으로써, DCT 되어진 계수들이 양자화 과정을 거쳐 복구된 영상의 화질의 원래의 영상보다 떨어지는 것을 개선하여 양자화 값을 변화시키지 않고 양자화로 인해서 생긴 오차 중에 DC값 만을 보상하고 양자화 값을 변화시킨 것 보다 적은 수의 비트를 사용하여 화질을 향상시킬 수 있게 되는 것이다.

Description

영상 압축에서 양자화 오차의 디시값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법{Apparatus and method for image improvement by DC value additional compensation of quantization error in image compression}

본 발명은 영상 압축에서 이미지의 화질 개선 장치 및 그 방법에 관한 것으로, 특히 DCT(Discrete Cosine Transform, 이산 코사인 변환) 되어진 계수들이 양자화 과정을 거쳐 복구된 영상의 화질의 원래의 영상보다 떨어지는 것을 개선하여 양자화 값을 변화시키지 않고 양자화로 인해서 생긴 오차 중에 DC(Direct Current, 직류)값 만을 보상하고 양자화 값을 변화시킨 것 보다 적은 수의 비트를 사용하여화질을 향상시키기에 적당하도록 한 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법에 관한 것이다.

일반적으로 80년대에 종합정보통신망(ISDN)이 ITU-T(구 CCITT)에 의해 표준화되면서 그 응용으로 ISDN망을 이용한 화상전화를 생각하게 되었다. 이 화상전화기(H.320 터미널)는 가정에서 ISDN망에 연결하는 기본 인터페이스(64Kbps 채널 둘과 16Kbps 채널 하나)나 사무실에서 사용하는 일차군 인터페이스(64Kbps 채널 최대 30개)를 대상으로 하므로 P×64Kbps(P=1~30)의 비트율을 갖는다. 이 때의 동영상 압축을 위한 국제 규격이 H.261이다.

90년대 초에는 미국의 ATT, MCI 등의 통신회사들이 전화망을 이용하는 화상전화기를 개발해 보급에 나섰다. 그러나 통신기기는 속성상 호환성이 매우 중요한데, 이 화상전화기들 간에는 호환성이 없었다. MPEG4(Motion Picture Expert Group 4, 통합계 동영상압축의 국제표준 4)는 본래 이 수요를 충족시키기 위해 시작되었으나, 차츰 그 범위가 확장되어 결국 멀티미디어데이터베이스 액세스나 무선 멀티미디어 통신을 주목적으로 하게 되었고 표준화도 수행하였다.

이러한 배경을 바탕으로 ITU-T SG(Study Group)15에서는 전화망을 이용, 64Kbps 이내에서 동작하는 화상전화기의 국제 표준규격을 만들었다. 단기간에 완성하는 것을 목표로 했기 때문에 MPEG4 처럼 새로운 알고리듬을 수용하기보다는 H.320 화상전화기를 개선하는 방향으로 나아갔는데, 이것이 바로 H.324 터미널이다.

H.324 화상전화기는 V.34 모뎀(전화선용 모뎀으로는 최고속으로 전송속도는28.8Kbps)을 통해 전화망에 접속되며, 동영상의 압축은 H.261을 상당부분 개선한 H.263을 이용하고, 음성의 압축은 CELP(Code Excited Linear Prediction, 음성 코딩 알고리즘) 방식인 G.723을 이용한다.

H.263에 있어 H.261에 비해 개선된 부분을 정리하면 다음과 같다. 우선 각매크로 블록의 움직임 벡터를 부호화하는 데 있어서 이웃하는 매크로 블록의 움직임 벡터와 상관도가 높음을 감안해 세 벡터의 중간값을 취하는 보다 효율적인 방법을 사용하고 있다. 이 방법으로 약 10%의 데이터 감축이 얻어진다. 또한 한 매크로 블록 내에서 움직임을 세분화하는 블록별 움직임 추정이 가능하다.

DCT 변환계수의 효율적 양자화를 위해 양자화기를 개선해 약 3%의 데이터 절약을 얻고, 또한 양자화된 변환계수들의 가변장 부호화는 H.261, JPEG, MPEG1, MPEG2의 2차원 부호를 개선해 화면내/화면간 정보까지를 고려한 3차원 부호를 사용한다. 여기서 약 5% 정도의 데이터를 절약할 수 있다.

비트열의 구문(synta.)에 있어서도 기존의 H.261보다 크게 단순화해 순수한 정보 비트 이외의 오버헤드를 줄이고 있다.

이밖에 성능향상을 가져오지만 복잡하여 사용여부를 옵션으로 남겨둔 기술로 구문기반 적응산술부호화와 PB(Pixel Block)프레임이 있다. 구문기반 적응산술 부호화는 복잡하지만 5~14%의 절약을 가져온다. PB프레임은 다른 기법이 비트 절약을 위한 기법인데 비해 비트를 약간 더 허용하면서 초당 프레임 수를 배로 늘릴 수 있어 시각적으로 훨씬 더 안정되고 부드러운 동화상을 얻을 수 있다.

이상의 여러 요소들을 가지고 있는 H.263은 성능이 매우 뛰어난 알고리듬으로 최근의 MPEG4 화질 평가에서도 제안된 방식들의 성능을 평가하기 위한 기준 알고리듬으로 사용되었다.

한편 도 1은 종래 동영상 부호화기의 블록구성도이고, 도 2는 도 1에서 움직임 추정을 보인 도면이며, 도 3은 도 1에서 움직임 벡터, 예측 및 예측 오류 매크로 블록간의 관계를 보인 도면이고, 도 4는 도 1에서 지그재그 스캐닝을 보인 도면이다.

여기서 참조번호 1은 입력된 동영상 신호와 움직임 보상 예측된 신호를 더하는 제 1 결합부이고, 2는 상기 제 1 결합부(1)에서 더해진 신호를 DCT(Discrete Cosine Transform, 이산 코사인 변환)하는 DCT부이며, 3은 상기 DCT부(2)의 신호를 양자화하는 양자화부(Quantizer)이며, 4는 상기 양자화부(3)의 양자화된 신호에서 변환 계수(Transform Coefficient), CBP(Coded Block Pattern, 부호화 블록 패턴) 등의 이산(Difference) 신호를 가변 길이 코딩하는 이산 VLC(Variable Length Coding for Transform Coefficients, CBP, etc. (Difference))부이다.

또한 참조번호 5는 상기 양자화부(3)에서 양자화된 신호를 역양자화하는 역양자화부(Inverse Quantizer)(5)이고, 6은 상기 역양자화부(5)에서 역양자화된 신호를 역이산코사인변환하는 IDCT(Inverse Discrete Cosine Transform)부이며, 7은 상기 IDCT부(6)와 움직임 예측부(10)의 신호를 결합하는 제 2 결합부(7)이고, 8은 상기 제 2 결합부(7)에서 출력된 이전 프레임의 영상을 저장해두는 프레임 메모리(Previous Reconstruction Frame Memory, M)이다.

더불어 참조번호 9는 상기 프레임 메모리(8)를 이용하여 입력된 동영상 신호에서 움직임을 추정하는 움직임 추정부(Motion Estimation, ME)(9)이고, 10은 상기 움직임 추정부(9)에서 추정된 결과를 이용하여 상기 제 2 결합부(7)의 신호에 대해 움직임을 예측하여 상기 제 1 및 제 2 결합부(1)(7)로 전송하는 움직임 예측부(10)이며, 11은 상기 움직임 추정부(9)의 움직임벡터에 대해 가변 길이 코드화를 수행하는 움직임벡터 VLC부(VLC for Motion Vector, etc)이고, 12는 상기 이산 VLC부(4)와 상기 움직임벡터 VLC부(11)의 신호를 입력받아 다중화하여 코딩된 비트스트림(Bitstream)을 출력하는 다중화부(MUX)이다.

그래서 연속된 동영상 프레임에서 하나의 입력 동영상 프레임은 기본적으로 16 x 16의 화소 면적을 가진 매크로 블록(Macro Block, MB)으로 나누어져 처리된다. 동영상의 경우 이웃하는 두 프레임 사이에 움직임이 있더라도 그 부분을 제외하면 배경은 거의 같게 된다. 이러한 특성을 시간적 중복성(Temporal Redundancy)라고 한다.

동영상 내에 존재하는 이러한 시간적 중복성을 제거하기 위해서 이미 복구된 이전 프레임들을 이용하여 움직임 추정(motion estimation)을 수행하게 된다.

움직임 추정은 도 2에서 보는 바와 같이 참조하는 프레임의 일정한 영역을 나타내는 탐색 창(search window) 안에서 현재 매크로 블록과 가장 비슷한 영역을 찾아내는 것이다. 그래서 현재 매크로 블록은 이전 프레임에서 같은 위치에 있는 그 매크로 블록의 이동이며 매크로 블록 속의 각 화소들 역시 같은 양 만큼 이동한다는 가정 아래에서 이루어진다. 움직임 추정에 사용되는 가장 일반적인 정합 기준(matching criterion)은 MAE(Mean Absolute Error)이며, 이는 다음의 수학식 1과 같이 표현된다.

여기서 (i, j)는 각각 -p≤i≤p, -p≤j≤p 의 범위를 가지며 [-p, p]는 탐색창의 크기이다. MB의 크기 M, N은 16의 값을 가지며, MB에서의 화소 위치는 k, l로 표현되며, 프레임 내에서 MB의 위치는 x, y로 표현된다. C(x+k, y+l)은 현재 프레임의 MB내의 화소를 나타내며, R(x+i+k, y+j+l)은 참조 프레임의 MB 내의 화소를 나타낸다. 현재 MB와 가장 비슷한 영역은 MMAE(Minimum Mean Absolute Error)를 가지는 참조 프레임의 탐색창 안의 영역이며, 그 때의 (i, j)가 현재 MB의 움직임 벡터(Motion Vector, MB)가 된다.

움직임 추정을 통해서 얻어진 현재 MB와 가장 유사한 블록을 예측 매크로 블록(Prediction MB, PREDMB)이라 하며, 현재 MB와 PREDMB의 차이를 예측 오류(prediction error) 매크로 블록(Prediction Error MB, PEMB)이라 하고 부호화기에서 움직임벡터와 함께 부호화 되어진다. 움직임 벡터(MB), 예측 매크로 블록(PREDMB), 예측 오류 매크로 블록(PEMB)의 관계를 이해하기 쉽도록 간단히 정리하면 도 3과 같다.

PEMB는 8x8 혹은 4x4 크기의 블록들로 나뉘어져 DCT를 사용하여 주파수 영역으로 변환된다. DCT는 화소들의 공간적 중복성을 줄이기 위해서 사용하는 것으로 에너지 조밀성(energy compaction)에 있어서 다른 변화들보다 좋은 성능을 가지고있으며 2차원 8x8 DCT의 수식은 다음의 수학식 2와 같다.

여기서 C_n,m은 2차원 8x8 DCT 계수이며, m, n은 8x8 블록에서 계수의 위치를 나타낸다. m, n = 0에 대해서는, 1≤m, n≤7에 대해서는 alpha(m)=beta(n)=1/2이다. B_i,j는 8x8 블록내의 화소 값이며, i, j는 블록 내에서 화소의 위치이다. 8x8 블록의 화소 값들은 8x8 IDCT를 통해서 완전하게 복구될 수 있으며, 이는 다음의 수학식 3과 같다.

DCT를 수행한 후 DCT되어진 계수들은 다음의 수학식 4를 사용하여 양자화 되어 진다.

여기서 C_m,n ^q는 양자화 된 결과 값이고, m, n은 8x8 블록 내에서 DCT 계수의 위치이며, C_m,n은 양자화 되기 전의 DCT계수이며, Q_m,n은 양자화 값이다. 이렇게 양자화를 하게 되면 영(zero)이 되지 않고 남아 있는 작은 값들의 DCT 계수들이 영으로 되며, 양자화 된 계수들의 분산(variance)이 원래의 DCT 계수들의 분산보다 줄어들게 되어 효율적인 부호화 결과를 얻을 수 있다.

양자화가 되어진 DCT 계수들은 도 4와 같은 지그재그 스캐닝(zig-zag scanning)의 순서에 따라 2차원의 계수들이 저주파에서 고주파순의 1차원 계수들로 재배열되어 진다. 양자화를 거치면서 이미 많은 고주파 DCT 계수들이 영으로 되기 때문에 1차원 배열의 뒤쪽 부분은 영으로 이루어지게 된다. 따라서 마지막으로 영이 아닌 값이 나온 후에 EOB(end-of-block)기호를 사용하여 이후의 모든 계수들이 영의 값을 가진다는 것을 알려주게 된다.

지그재그 스캐닝으로 재배열되어진 계수들은 VLC(Variable Length Coding)를 하게 되는데, 이것은 DCT 계수들이 발생확률에 큰 편중을 가지게 되는 성질을 이용하여 발생확률이 높은 값에 길이가 짧은 부호를 할당하고 발생확률이 낮은 값에 긴 부호를 할당하여 평균부호길이를 줄이는 것이다.

한편 정지 영상의 경우는 하나의 입력 프레임을 매크로 블록으로 나누어서 DCT를 수행한 후에 그 계수들을 양자화하고 지그재그 스캐닝으로 재배열 한 다음에 재 배열되어진 계수들을 VLC나 호프만 코딩(Huffman Coding), 산술 코딩(Arithmetic Coding) 등을 사용하여 부호화한다.

도 5는 이러한 종래 정지영상 부호화기의 블록구성도이다.

여기서 참조번호 31은 입력된 정지영상 신호를 이산코사인 변환시키는 DCT부이고, 32는 상기 DCT부(31)에서 이산코사인변환된 신호를 양자화하는 양자화부(Q)이며, 33은 상기 양자화부(32)에서 양자화된 신호를 호프만 코딩 또는 산술 코딩 등으로 코딩하는 코딩부(Coding)이다.

한편 도 6은 종래 복호화기의 블록구성도이다.

여기서 참조번호 51은 부호화된 비트스트림을 입력받아 비트스트림으로부터 계수와 움직임 벡터 등의 정보를 구분하는 역다중화부(DMUX)이고, 52는 상기 역다중화부(51)의 역다중화된 신호에서 변환 계수(Transform Coefficient), CBP(Coded Block Pattern, 부호화 블록 패턴) 등의 이산(Difference) 신호를 가변길이 디코딩하는 이산 VLD(Variable Length Decoding)부이며, 53은 상기 이산 VLD부(52)에서 가변길이 디코딩된 신호를 역양자화하는 역양자화부(IQ)이고, 54는 상기 역양자화부(53)에서 역양자화된 신호를 역이산 코사인 변환시키는 IDCT(Inverse Discrete Cosine Transform)부(54)이다.

또한 참조번호 55는 상기 IDCT부(54)와 움직임 보상부(58)의 신호를 결합시켜 비디오 신호를 출력하는 결합부이고, 56은 상기 다중화부(51)의 역다중화된 신호에서 움직임 벡터를 가변길이 디코딩하는 움직임벡터 VLD부이며, 57은 상기 결합부(55)에서 출력된 프레임을 저장하는 프레임 메모리(Previous Reconstruction Frame Memory, M)이고, 58은 상기 움직임벡터 VLD부(56)의 복호화된 움직임 벡터와 상기 프레임 메모리(M)(57)에 들어있는 이전 프레임의 영상을 이용해서 움직임 보상을 수행하여 상기 결합부(55)로 출력하는 움직임 보상부(Motion Compensation, MC)이다.

그래서 역다중화부(51)와 VLD(M)(56)을 통해서 보상 정보를 복호하고, 움직임 보상부(58)에서 움직임 보상을 수행한 다음 복구된 영상을 메모리에 저장하게 된다.

그러나 이러한 종래 기술에 의할 경우 DCT 되어진 계수들은 양자화 과정을거치기 때문에 실제로 복구되는 값들은 원래의 값들과 다른 값들을 가지게 되고 따라서 복구된 영상의 화질이 원래의 영상보다 떨어지게 되는 문제점이 있었다.

이렇게 나빠지는 화질을 개선하기 위해서는 양자화 값을 조정해 주어야 하는데, 양자화 값을 조정하면 양자화 되어진 계수들 중 "0"이 아닌 값들이 늘어나게 되어 결과적으로 영상을 전송하거나 저장하는데 더 많은 수의 비트(bit)가 필요하게 되어 전송효율이 떨어지는 문제점이 있었다.

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 DCT 되어진 계수들이 양자화 과정을 거쳐 복구된 영상의 화질의 원래의 영상보다 떨어지는 것을 개선하여 양자화 값을 변화시키지 않고 양자화로 인해서 생긴 오차 중에 DC값 만을 보상하고 양자화 값을 변화시킨 것 보다 적은 수의 비트를 사용하여 화질을 향상시킬 수 있는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법을 제공하는 데 있다.

도 1은 종래 동영상 부호화기의 블록구성도이고,

도 2는 도 1에서 움직임 추정을 보인 도면이며,

도 3은 도 1에서 움직임 벡터, 예측 및 예측 오류 매크로 블록간의 관계를 보인 도면이고,

도 4는 도 1에서 지그재그 스캐닝을 보인 도면이며,

도 5는 종래 정지영상 부호화기의 블록구성도이고,

도 6은 종래 복호화기의 블록구성도이며,

도 7은 본 발명에 의한 동영상 부호화기의 블록구성도이고,

도 8은 본 발명에 의한 정지영상 부호화기의 블록구성도이며,

도 9는 본 발명에 의한 복호화기의 블록구성도이고,

도 10은 본 발명에 의한 동영상인 경우의 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이며,

도 11은 본 발명에 의한 정지영상인 경우의 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이고,

도 12는 본 발명에 의한 복호화시 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이며,

도 13은 본 발명에 의한 실험결과를 종래 기술과 비교한 그래프이다.

* 도면의 주요 부분에 대한 부호의 설명 *

1 : 제 1 결합부 2 : DCT부

3 : 양자화부 4 : 이산 VLC부

5 : 역양자화부 6 : IDCT부

7 : 제 2 결합부 8 : 프레임 메모리

9 : 움직임 추정부 10 : 움직임 예측부

11 : 움직임벡터 VLC부 12 : 다중화부

20 : 추가보상부 21 : 제 2 결합부

22 : DC 보상부 23 : 제 3 결합부

이하, 상기와 같은 본 발명, 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법 의 기술적 사상에 따른 일실시예를 첨부한 도면에 의거 설명하면 다음과 같다.

먼저 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치는, 영상 코딩 장치에 있어서, 양자화로 인해서 생긴 오차 중에 DC 값을 보상하여 영상 코딩이 수행되도록 하는 추가보상부를 포함하여 구성된다.

상기에서 추가보상부는, 동영상에서 압축이 복구된 블록과 현재 매크로 블록의 차이 값들의 평균을 구하고, 구해진 평균값이 보상해야할 정도로 크면 추가 보상한 DC 값을 복구 블록에 더해서 새로운 복구 블록을 만들어 출력한다.

도 7은 본 발명에 의한 동영상 부호화기의 블록구성도이다.

이에 도시된 바와 같이, 입력된 동영상 신호와 움직임 보상 예측된 신호를 더하는 제 1 결합부(1)와; 상기 제 1 결합부(1)에서 더해진 신호를 이산코사인 변환시키는 DCT부(2)와; 상기 DCT부(2)의 신호를 양자화하는 양자화부(3)와; 상기 양자화부(3)의 양자화된 신호에서 이산 신호를 가변 길이 코딩하는 이산 VLC(4)와; 상기 양자화부(3)에서 양자화된 신호를 역양자화하는 역양자화부(5)와; 상기 역양자화부(5)에서 역양자화된 신호를 역이산코사인변환하는 IDCT부(6)와; 상기 추가보상부(20)에서 추가 보상되어 출력된 이전 프레임의 영상을 저장해두는 프레임 메모리(8)와; 상기 프레임 메모리(8)를 이용하여 입력된 동영상 신호에서 움직임을 추정하는 움직임 추정부(9)와; 상기 움직임 추정부(9)에서 추정된 결과를 이용하여 상기 추가보상부(20)의 신호에 대해 움직임을 예측하여 상기 제 1 결합부(1)와 상기 추가보상부(20)로 전송하는 움직임 예측부(10)와; 상기 움직임 추정부(9)의 움직임벡터에 대해 가변 길이 코드화를 수행하는 움직임벡터 VLC부(11)와; 상기 이산 VLC부(4)와 상기 움직임벡터 VLC부(11)의 신호를 입력받아 다중화하여 코딩된 비트스트림을 출력하는 다중화부(12)를 포함하여 구성하고; 상기 추가보상부(20)는 동영상 신호를 입력받고 상기 IDCT(6)에서 IDCT된 신호를 입력받으며 상기 움직임 예측부(10)에서 움직임 예측된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하여 상기 프레임 메모리(8)와 상기 움직임 예측부(10)로 출력한다.

상기에서 추가보상부(20)는, 상기 IDCT(6)에서 IDCT된 신호와 상기 움직임 예측부(10)에서 움직임 예측된 신호를 입력받아 결합시켜 압축이 복구된 신호를 출력시키는 제 2 결합부(21)와; 입력된 동영상 신호의 매크로 블록과 상기 제 2 결합부(21)의 압축이 복구된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하는 DC 보상부(22)와; 상기 제 2 결합부(21)의 압축이 복구된 신호와 상기 DC 보상부(22)에서 보상된 신호를 결합시켜 상기 프레임 메모리(8)와 상기 움직임 예측부(10)로 출력하는 제 3 결합부(23)를 포함하여 구성된다.

도 8은 본 발명에 의한 정지영상 부호화기의 블록구성도이다.

이에 도시된 바와 같이, 입력된 정지영상 신호를 이산코사인 변환시키는 DCT부(31)와; 상기 DCT부(31)에서 이산코사인변환된 신호를 양자화하는 양자화부(32)와; 상기 양자화부(32)에서 양자화된 신호와 상기 추가보상부(40)에서 추가보상된 신호를 입력받아 코딩하는 코딩부(33)를 포함하여 구성하고; 상기 추가보상부(40)는 정지영상 신호를 입력받고 상기 양자화부(32)에서 양자화된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하여 상기 코딩부(33)로 출력한다.

상기에서 추가보상부(40)는, 상기 양자화부(32)에서 양자화된 신호를 입력받아 역양자화하는 역양자화부(41)와; 상기 역양자화부(41)에서 역양자화된 신호를 입력받아 역이산코사인 변환시키는 IDCT부(42)와; 입력된 정지영상 신호의 매크로 블록과 상기 IDCT부(42)의 압축이 복구된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하여 상기 코딩부(33)로 출력하는 DC 보상부(22)를 포함하여구성된다.

도 9는 본 발명에 의한 복호화기의 블록구성도이다.

이에 도시된 바와 같이, 부호화된 비트스트림을 입력받아 비트스트림으로부터 계수와 움직임 벡터 등의 정보를 구분하는 역다중화부(51)와; 상기 역다중화부(51)의 역다중화된 신호에서 이산 신호를 가변길이 디코딩하는 이산 VLD부(52)와; 상기 이산 VLD부(52)에서 가변길이 디코딩된 신호를 역양자화하는 역양자화부(53)와; 상기 역양자화부(53)에서 역양자화된 신호를 역이산 코사인 변환시키는 IDCT부(54)와; 상기 IDCT부(54)와 움직임 보상부(58)의 신호를 결합시켜 비디오 신호를 출력하는 제 1 결합부(55)와; 상기 다중화부(51)의 역다중화된 신호에서 움직임 벡터를 가변길이 디코딩하는 움직임벡터 VLD부(56)와; 상기 추가보상부(60)에서 출력된 프레임을 저장하는 프레임 메모리(57)와; 상기 움직임벡터 VLD부(56)의 복호화된 움직임 벡터와 상기 프레임 메모리(57)에 들어있는 이전 프레임의 영상을 이용해서 움직임 보상을 수행하여 상기 제 1 결합부(55)로 출력하는 움직임 보상부를 포함하여 구성하고; 상기 추가보상부(60)는 상기 움직임벡터 VLD부(56)에서 가변길이 디코딩된 신호를 입력받아 DC 값을 보상하는 DC 보상부(61)와, 상기 DC 보상부(61)와 상기 제 1 결합부(55)의 신호를 결합하여 DC 값이 보상된 신호를 출력하는 제 2 결합부(62)를 포함하여 구성한다.

한편 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법은, 영상 코딩 방법에 있어서, 양자화로 인해서 생긴 오차 중에 DC 값을 보상하여 영상 코딩이 수행되도록 하는 추가보상단계를 포함하여 구성된다.

상기에서 추가보상단계에서는, 동영상에서 압축이 복구된 블록과 현재 매크로 블록의 차이 값들의 평균을 구하고, 구해진 평균값이 보상해야할 정도로 크면 추가 보상한 DC 값을 복구 블록에 더해서 새로운 복구 블록을 만들어 출력한다.

도 10은 본 발명에 의한 동영상인 경우의 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이다.

이에 도시된 바와 같이, 입력된 신호가 동영상 신호이면, 움직임 보상 블록과 예측 오류 블록으로 복구 블록을 생성하고, 복구블록과 원 매크로 블록의 차이 블록을 구하는 단계(ST11)(ST12)와; 상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 큰지를 판별하는 단계(ST13)와; 상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 크면, 보상값을 복구 블록에 더해서 새로운 복구 블록을 생성하고 보상 정보를 기록하는 단계(ST14)(ST15)를 포함하여 수행한다.

도 11은 본 발명에 의한 정지영상인 경우의 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이다.

이에 도시된 바와 같이, 입력된 신호가 정지영상 신호이면, 역양자화와 IDCT를 거쳐 복구 블록을 생성하고, 복구 블록과 원 매크로 블록의 차이 블록을 구하는 단계(ST21)와; 상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 큰지를 판별하는 단계(ST23)와; 상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 크면, 보상정보를 기록하는 단계(ST24)를 포함하여 수행한다.

도 12는 본 발명에 의한 복호화시 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이다.

이에 도시된 바와 같이, 입력된 신호가 부호화된 비트스트림이면, 보상정보를 복호한 다음 보상한 것인지 판별하는 단계(ST31)(ST32)와; 상기 보상할 것으로 판단되면, DC 값을 보상하여 추가 보상을 수행하고 복구된 영상을 저장하는 단계(ST33)(ST34)를 포함하여 수행한다.

이와 같이 구성된 본 발명에 의한 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법의 동작을 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

먼저 PEMB는 이미 움직임이 보상되고 남은 블록이기 때문에 DCT를 하고 양자화 과정을 거치게 되면 한 프레임 내에서 많은 수의 블록들이 모두 영의 계수들을 가지게 된다. 이렇게 MB내의 8x8블록의 양자화 된 계수들이 어떤 값들을 가지는 지를 나타내기 위해서 CBP(Coded Block Pattern)라는 기호를 사용한다. 만약 현재 MB의 CBP가 "0"이 되면 수신 측에서 복구되는 블록은 움직임이 보상된 블록과 같게 된다. 그리고 CBP가 "0"이 아닌 경우에는 PREDMB와 양자화 된 계수들을 이용하여 만들어진 PEMB를 합하여 복구 매크로 블록(RECONMB : Reconstruction MB)을 만들게 된다. DCT된 계수들을 양자화 과정을 거치기 때문에 RECONMB와 실제 MB사이에 차이가 존재하게 된다.

이러한 차이를 줄이기 위해서는 양자화를 작은 값으로 해야 하는데 그렇게 되면 지그재그스캐닝 되어진 계수들 중에 영이 아닌 값들이 더 많아지게 되고 결과적으로 보다 많은 수의 bit이 필요하게 된다.

이와 같이 양자화 값을 변화시키지 않고 인간이 영상을 볼 때 민감한 부분인DC값을 보상하게 되면 많은 수의 bit을 사용하지 않고 원래의 MB와 RECONMB의 차이를 줄여서 보다 좋은 화질의 영상을 얻을 수 있게 된다.

상기한 바와 같이 PEMB를 DCT하고 난 계수들은 양자화 과정을 거치기 때문에 RECONMB는 원래의 MB와 차이가 나게 된다. 복구된 영상의 화질은 PSNR(Peak Signal to Noise Ratio)로 평가를 하게 되는데, 이는 수학식 5와 같다.

여기서 N, M은 영상의 가로, 세로 크기를 나타내고, O(i, j)는 원 영상의 화소 값을 나타내며, R(i, j)는 복구된 영상의 화소 값을 나타낸다. 수학식 5에서 보듯이 PSNR은 오차 값들의 합이 커질수록 작아지게 된다. 따라서 그 오차 값들의 평균값을 보상해 주면 새로운 오차 값들의 합이 작아져서 PSNR이 커지게 된다.

보상 값을 찾기 위해서 RECONMB와 원 MB의 차이 블록의 평균값을 구하고 그 평균값의 부호에 따라서 보상 값을 결정하게 된다.

이렇게 구해진 보상 값을 RECONMB에 더해서 새로운 값으로 매크로 블록을 복구하게 된다.

제안하는 방법을 포함한 새로운 부호화기의 블록구성도가 도 7에 나타나 있다. 또한 도 8은 본 발명에 의한 정지영상 부호화기의 블록구성도이며, 도 9는 본 발명에 의한 복호화기의 블록구성도이다.

한편 도 10은 본 발명에 의한 동영상인 경우의 영상 압축에서 양자화 오차의DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이며, 도 11은 본 발명에 의한 정지영상인 경우의 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이고, 도 12는 본 발명에 의한 복호화시 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법을 보인 흐름도이다.

그래서 동영상의 경우는 움직임 벡터를 이용해서 만들어낸 움직임 보상 블록(PREDMB)과 예측 오류(PEMB) 블록을 역양자화하고 IDCT해서 만들어진 블록을 더해서 복구 블록(RECONMB)과 현재의 매크로 블록의 차이 값들의 평균을 구한다. 그리고 그 평균값이 보상해야할 정도로 크면 그 값을 복구블록에다 더해서 새로운 복구 블록을 만들어서 메모리에 저장하고 그 보상 정보를 전송하거나 저장한다.

또한 정지영상의 경우는 역양자화와 IDCT를 거쳐서 만들어진 복구 블록과 현재의 매크로 블록의 차이값들의 평균을 이용해서 보상 값을 결정하고 보상 정보를 전송하거나 기록한다.

그래서 도 13에 있는 두 개의 그래프는 현재 동영상 표준안으로 표준화가 진행중인 H.26L 의 테스트 모델인 TML-2에서 176x144 해상도의 QCIF 형식의 claire, container 영상에 대해서 양자화 값을 18, 21, 24, 25, 27, 29 값을 사용하여 실험한 결과이다. 그리고 총 300프레임에 대해서 2프레임씩 건너뛰어 10fps의 프레임율에서 실험하였다. 성능 측정을 위해서 PSNR과 평균 비트율을 표시하였다.

가로축이 평균 비트율이며 PSNR이 같은 경우 작을수록 부호화기의 성능이 좋은 것이며, 세로축은 PSNR로 이 값은 같은 비트율에서 클수록 부호화기의 성능이 좋은 것이다.

그래프에서 위에 진하게 보이는 선이 본 발명에 의한 실험결과이며, 연하게 보이는 선이 종래 기술에 의한 실험결과이다.

도 13의 그래프에서 보는 바와 같이, 본 발명은 같은 비트율에서 PSNR이 좋아지고 같은 PSNR에서는 비트율이 작아지게 된다.

성능 비교는 그래프만으로도 충분할 것 같습니다.

이처럼 본 발명은 양자화로 인해서 생긴 오차 중에 DC값 만을 보상하고 양자화 값을 변화시킨 것 보다 적은 수의 비트를 사용하여 화질을 향상시키게 되는 것이다.

이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.

이상에서 살펴본 바와 같이, 본 발명에 의한 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치 및 그 방법은 DCT 되어진 계수들이 양자화 과정을 거쳐 복구된 영상의 화질의 원래의 영상보다 떨어지는 것을 개선하여 양자화 값을 변화시키지 않고 양자화로 인해서 생긴 오차 중에 DC값 만을 보상하고 양자화 값을 변화시킨 것 보다 적은 수의 비트를 사용하여 화질을 향상시킬수 있는 효과가 있게 된다.

Claims

영상 코딩 장치에 있어서,

양자화로 인해서 생긴 오차 중에 DC 값을 보상하여 영상 코딩이 수행되도록 하기 위해 동영상에서 압축이 복구된 블록과 현재 매크로 블록의 차이 값들의 평균을 구하고, 구해진 평균값이 보상해야 할 정도로 크면 추가 보상할 DC 값을 복구 블록에 더해서 새로운 복구 블록을 만들어 출력하는 추가보상부를 포함하여 구성된 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치.
삭제
제 1 항에 있어서, 상기 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치는,

입력된 동영상 신호와 움직임 보상 예측된 신호를 더하는 제 1 결합부와; 상기 제 1 결합부에서 더해진 신호를 이산코사인 변환시키는 DCT부와; 상기 DCT부의 신호를 양자화하는 양자화부와; 상기 양자화부의 양자화된 신호에서 이산 신호를 가변 길이 코딩하는 이산 VLC와; 상기 양자화부에서 양자화된 신호를 역양자화하는 역양자화부와; 상기 역양자화부에서 역양자화된 신호를 역이산코사인변환하는 IDCT부와; 상기 추가보상부에서 추가 보상되어 출력된 이전 프레임의 영상을 저장해두는 프레임 메모리와; 상기 프레임 메모리를 이용하여 입력된 동영상 신호에서 움직임을 추정하는 움직임 추정부와; 상기 움직임 추정부에서 추정된 결과를 이용하여 상기 추가보상부의 신호에 대해 움직임을 예측하여 상기 제 1 결합부와 상기 추가보상부로 전송하는 움직임 예측부와; 상기 움직임 추정부의 움직임벡터에 대해 가변 길이 코드화를 수행하는 움직임벡터 VLC부와; 상기 이산 VLC부와 상기 움직임벡터 VLC부의 신호를 입력받아 다중화하여 코딩된 비트스트림을 출력하는 다중화부를 포함하여 구성하고;

상기 추가보상부는 동영상 신호를 입력받고 상기 IDCT에서 IDCT된 신호를 입력받으며 상기 움직임 예측부에서 움직임 예측된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하여 상기 프레임 메모리와 상기 움직임 예측부로 출력하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치.
제 3 항에 있어서, 상기 추가보상부는,

상기 IDCT에서 IDCT된 신호와 상기 움직임 예측부에서 움직임 예측된 신호를 입력받아 결합시켜 압축이 복구된 신호를 출력시키는 제 2 결합부와;

입력된 동영상 신호의 매크로 블록과 상기 제 2 결합부의 압축이 복구된 신호를 입력받아 양자화로 인해 생긴 오차 중에 DC 값을 보상하는 DC 보상부와;

상기 제 2 결합부의 압축이 복구된 신호와 상기 DC 보상부에서 보상된 신호를 결합시켜 상기 프레임 메모리와 상기 움직임 예측부로 출력하는 제 3 결합부를 포함하여 구성하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치.
제 1 항에 있어서, 상기 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치는,

입력된 정지영상 신호를 이산코사인 변환시키는 DCT부와; 상기 DCT부에서 이산코사인변환된 신호를 양자화하는 양자화부와; 상기 양자화부에서 양자화된 신호와 추가보상부에서 추가보상된 신호를 입력받아 코딩하는 코딩부; 및 상기 양자화부에서 양자화된 신호를 입력받아 역양자화하는 역양자화부와, 상기 역양자화부에서 역양자화된 신호를 입력받아 역이산코사인 변환시키는 IDCT부와, 입력된 정지영상 신호의 매크로 블록과 상기 IDCT부의 압축이 복구된 신호를 입력받아 상기 양자화로 인해 생긴 오차 중에 DC 값을 보상하여 상기 코딩부로 출력하는 DC 보상부로 구성되는 추가보상부를 포함하여 구성되는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치.
삭제
제 1 항에 있어서, 상기 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치는,

부호화된 비트스트림을 입력받아 비트스트림으로부터 계수와 움직임 벡터 등의 정보를 구분하는 역다중화부와; 상기 역다중화부의 역다중화된 신호에서 이산 신호를 가변길이 디코딩하는 이산 VLD부와; 상기 이산 VLD부에서 가변길이 디코딩된 신호를 역양자화하는 역양자화부와; 상기 역양자화부에서 역양자화된 신호를 역이산 코사인 변환시키는 IDCT부와; 상기 IDCT부와 움직임 보상부의 신호를 결합시켜 비디오 신호를 출력하는 제 1 결합부와; 상기 다중화부의 역다중화된 신호에서 움직임 벡터를 가변길이 디코딩하는 움직임벡터 VLD부와; 상기 추가보상부에서 출력된 프레임을 저장하는 프레임 메모리와; 상기 움직임벡터 VLD부의 복호화된 움직임 벡터와 상기 프레임 메모리에 들어있는 이전 프레임의 영상을 이용해서 움직임 보상을 수행하여 상기 제 1 결합부로 출력하는 움직임 보상부를 포함하여 구성하고;

상기 추가보상부는 상기 움직임벡터 VLD부에서 가변길이 디코딩된 신호를 입력받아 DC 값을 보상하는 DC 보상부와, 상기 DC 보상부와 상기 제 1 결합부의 신호를 결합하여 DC 값이 보상된 신호를 출력하는 제 2 결합부를 포함하여 구성하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 장치.
영상 코딩 방법에 있어서,

양자화로 인해서 생긴 오차 중에 DC값을 보상하여 영상 코딩이 수행되도록 하기 위해 동영상에서 압축이 복구된 블록과 현재 매크로 블록의 차이 값들의 평균을 구하고, 구해진 평균값이 보상해야 할 정도로 크면 추가 보상할 DC 값을 복구 블록에 더해서 새로운 복구 블록을 만들어 출력하는 추가보상단계를 포함하여 수행하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법.
삭제
제 8 항에 있어서, 상기 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법은,

입력된 신호가 동영상 신호이면, 움직임 보상 블록과 예측 오류 블록으로 복구 블록을 생성하고, 복구블록과 원 매크로 블록의 차이 블록을 구하는 단계와;

상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 큰지를 판별하는 단계와;

상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 크면, 보상값을 복구 블록에 더해서 새로운 복구 블록을 생성하고 보상 정보를 기록하는 단계를 포함하여 수행하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법.
제 8 항에 있어서, 상기 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법은,

입력된 신호가 정지영상 신호이면, 역양자화와 IDCT를 거쳐 복구 블록을 생성하고, 복구 블록과 원 매크로 블록의 차이 블록을 구하는 단계와;

상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 큰지를 판별하는 단계와;

상기 구해진 차이 블록의 평균이 미리 설정된 보상한계치 보다 크면, 보상정보를 기록하는 단계를 포함하여 수행하는 것을 특징으로 하는 영상 압축에서 양자화 오차의 DC값 추가 보상을 통한 이미지의 화질 개선 방법.
삭제