KR100316770B1 - 시감색차특성을 고려한 영상부호화 방법 및 장치 - Google Patents

Abstract

본 발명은 시감색차특성(PCT)을 고려한 영상부호화방법 및 장치에 관한 것으로서, 그 부호화방법은 원영상의 화소들에 대한 PCT값을 결정하고, 입력된 원영상 블록 내의 각 화소별로, PCT값의 색차크기와 주변화소의 색차크기를 비교하여 영상복잡도를 구하는 단계; 영상복잡도가 높으면 PCT값을 상대적으로 높이고, 영상복잡도가 낮으면 상대적으로 PCT값을 낮추는 PCT값조정단계; 원영상과 움직임 추정 및 보상에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 예측오차영상(e)이라 정의할 때, 예측오차영상(e) 및 소정의 시감오차영상(P')을 사용하여 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 단계; 보상예측오차영상(e')에 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하고, 보상예측오차영상(e')과 시감예측오차영상(S)의 차를 구하여 시감오차영상(P')을 생성하는 단계; 및 생성된 시감예측오차영상(S)을 이산여현변환(DCT) 및 양자화(Q)를 포함한 일련의 부호화과정을 통해 부호화하는 단계를 구비한다.

본 발명에 의하면, 사람의 시감색차특성을 적용하여 부호화할 화소의 주변영상특성을 정의하여 예측오차를 조정하고, 조정된 예측오차를 다음 부호화영상에 보상함으로써 화질의 열화는 초래하지 않으면서 부호화효율을 향상시킨다.

Description

시감색차특성을 고려한 영상부호화 방법 및 장치

본 발명은 영상 부호화방법 및 장치에 관한 것으로서, 특히 시감 색차 특성을 이용하여 영상 부호화 효율을 향상시키는 영상 부호화 방법 및 장치에 관한 것이다.

일반적으로, 영상 부호화는 부호화된 영상 데이터(bitstream) 량을 최소화하면서 아울러 복원된 영상의 화질 열화를 최소화하는 것을 목적으로 한다. 이를 위하여, 시간 영역대(time domain)에서 이전 영상과 현재 영상간의 영상 데이터의 상관성(redundancy)과 공간 영역대(spatial domain)에서 영상 데이터들간의 상관성을 이용해 복원 영상의 화질 열화 정도를 최소화하면서 부호화할 영상 데이터량을 줄이는 압축 부호화 방법을 사용하고 있다. 특히, 시간 영역대에서는 이전 시간에 있는 영상과 현재 시간에 있는 영상간의 움직임을 이용해 예측 오차 영상을 구성하고, 이 예측 오차 영상을 부호화하고 보상하는 방법을 일반적으로 사용한다. 한편, 이와 같이 영상 부호화 효율을 높이기 위해 구성한 예측 오차 영상들중에는 실제로 사람의 눈으로 구별할 수 없는 오차 영상들도 존재하는데 이런 예측 오차 영상들을 선별하여 제거한다면 영상 부호화 효율을 더욱 높일 수 있을 것이다.

기존의 디지탈 영상 부호화 방법에서 입력된 영상 데이터에 대한 상관성을 이용해 부호화 효율을 높이는 방법으로는 도 1에 도시한 바와 같이 일반적으로 두가지 부호화 기법을 사용한다.

첫번째 방법은 DCT(Discrete Cosine Transform)를 이용해 부호화할 입력 영상 데이터들을 시간 주파수(temporal frequency) 영역에서 공간 주파수(spatial frequency) 영역으로 변환하여 공간 주파수 영역에서 영상 데이터들의 상관성을 정의하는 변환 부호화 방법(transform coding)이다. 이 부호화 방법은 영상 데이터의 손실 없이 영상 데이터의 공간 주파수 특성만을 추출하여, 영상의 압축, 부호화 방법에 이용하는 것을 그 특징으로 하며, 정지(still) 영상 부호화 방법에 많이 이용된다.

두번째 방법은 DPCM(Differential Pulse Code Modulation)에 의한 예측 부호화 방법(Predictive Coding)으로, 시간 영역에서 부호화할 영상 데이터들의 상관성을 정의하게 한다. 이 방법은 도 1에 도시한 것과 같이, 영상 입력부(11)에서 n번째 부호화할 영상(O)을 입력 받았을 경우 (n-1)번째 부호화한 이전 영상과 비교하여 부호화 영상 단위별 움직임 정도를 벡터값을 이용해 추정하고, 추정된 움직임 벡터에 의해 n번째 부호화할 원영상에 대한 예측 영상(P)을 구성하게 한다. 이와 같이 구성된 예측 영상(P)은 실제 n번째 원영상(O)과 비교했을때 움직임에 의한 오차를 갖고 있는데, 이런 움직임에 의한 오차를 예측 오차(e)라 하고 다음 수학식 1과 같이 정의한다.

e = O - P

이와 같이 정의된 예측 오차(e)는 시간 영역에서 영상 데이터들의 상관 정도를 의미하는 것으로, 이 예측 오차(e)에 의해 구성된 영상 데이터만을 실제 부호화기에서 사용하므로서 영상 데이터의 손실은 있으나 영상의 부호화 효율을 높일 수 있는 특성을 갖고 있다. 따라서, 동화상 부호화 방법에서는 도 1과 같이 영상 신호의 공간 상관성을 추출하는 DCT와 시간 상관성을 추출하는 DPCM 방법을 모두 적용한 혼합형 부호화 방법(hybrid coding)을 많이 사용한다.

한편, 이와 같은 영상 데이터의 상관성 추출 방법에 인간의 시감 색차 특성(Perceptual Color Tolerance;PCT)을 고려한다면 보다 높은 효율의 부호화 효과를 기대할 수 있다. 예를 들어, DPCM 과정을 통해 얻은 예측 오차값들 중에는 실제 사람의 눈으로는 식별할 수 없는 예측 오차들이 상당량 존재하고 있다. 따라서, 이와 같은 예측 오차들을 시감 색차 특성(PCT)을 이용해 제거한다면 동일한 복원 영상의 화질을 제공하면서도 영상 데이터의 상관성만을 상대적으로 높여 주는 효과를 갖게 하여 부호화 효율을 향상시키는 결과를 갖게 할 수 있다. 아울러, 부호화할 영상이 복잡한 영상인 경우 단순한 영상에 비해 오차에 대한 식별력이 상대적으로 감소하는 시감 특성이 있다. 그런데, 이와 같은 시감 특성은 PCT를 이용한 영상 복잡도 분류법을 이용해 정의하므로써 영상 복잡도가 큰 값으로 분류된 부호화 영상에서 예측된 영상 오차들중 식별 불가능한 예측 오차를 선별하기 위해 사용되는 문턱치를 보다 큰 값으로 정의할 수 있게 한다. 따라서 예측 오차의 제거효과를 더욱 높이게 할 수 있다. 그리고 시감 색차를 갖는 예측 오차들은 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차에 대해 시감 색차 특성치를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 보다 증대시키게 할 수 있다. 또한, 부호화 효율을 고려해 조정된 예측 오차를 다음 부호화 영상 처리시 보상시킬 수 있다.

본 발명이 이루고자하는 기술적과제는, 영상 부호화 효율을 더욱 향상시키기 위해, 인간의 시감색차특성을 실시간 처리가 가능하도록 룩업테이블(Look-Up Table :LUT)로 모델링하고, 원영상을 이용해 영상복잡도를 분류하여 복잡도에 따라 차별적으로 시감예측오차들을 분류 및 조정시키고, 조정된 예측오차는 다음 부호화 영상에 보상시키는, 시감색차특성을 고려한 영상 부호화방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적과제는, 상기 영상 부호화방법을 실현하는데 가장 적합한 영상 부호화 장치를 제공하는 데 있다.

도 1은 일반적인 영상 부호화장치의 블록도를 도시한 것이다.

도 2는 본 발명에 의한 영상 부호화기의 구성을 블록도로 도시한 것이다.

도 3은 도 2의 시감예측 오차처리부의 보다 상세한 구성을 블록도로 도시한 것이다.

도 4는 Y 색성분에서 부호화시 발생되는 비트량을 최소화하기 위해 예측 오차 크기가 작아지는 방향으로 시감 오차(P')를 예측오차(e)에 보상시키는 방법을 도시한 것이다.

도 5는 시감색차 룩업테이블 생성을 위한 임의의 한 화소에 대한 시감색차 좌표를 도시한 것이다.

도 6 (a)는 영상 복잡도 분류를 위한 영상블록(O)의 임의의 한 영상 O(x,y)를 기준으로 한 윈도우 W를 도시한 것이다.

도 6 (b) 및 (c)는 영상복잡도 분류부에서 복잡한 영상이지만 민감한 영상으로 분류되는 영상 패턴을 도시한 것이다.

도 7은 시감 색차를 고려한 예측오차를 도시한 것으로서, (a)는 n-1 번째 예측오차 데이터를 도시한 것이며, (b)는 시감오차를 보상한 n번째 예측오차데이터를 도시한 것이다.

* 도면의 주요 부분에 대한 부호의 설명

25 : 시감예측오차 처리부

251 : 영상복잡도 결정부,253 : 허용시감색차 조정부

255 : 예측오차 보상부,257 : 시감예측 오차 발생부

상기 본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여 본 발명에 의한, 부호화하고자하는 영상(원영상)을 시감색차특성(PCT)를 고려해서 부호화하는 영상부호화방법은, (a) 상기 원영상의 각 화소들에 대한 PCT값을 결정하고, 상기 입력된 원영상 블록 내의 각 화소별로, 상기 각 화소의 PCT값의 색차크기와 상기 각 화소의 주변화소의 색차크기를 비교하여 영상복잡도를 구하는 단계; (b) 상기(a)단계에서 구해진 영상복잡도에 따라, 상기 영상복잡도가 높으면 PCT값을 상대적으로 높이고, 상기 영상복잡도가 낮으면 상대적으로 PCT값을 낮추는 PCT값조정단계; (c) 원영상과 움직임 추정 및 보상에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 예측오차영상(e)이라 정의할 때, 상기 예측오차영상(e) 및 소정의 시감오차영상(P')을 사용하여 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 단계; (d) 상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 단계; 및 (e) 상기 (d)단계에서 생성된 시감예측오차영상(S)을 적어도 이산여현변환(DCT) 및 양자화(Q)를 포함한 일련의 부호화과정을 통해 부호화하는 단계를 포함함이 바람직하다.

상기 (d)단계의 시감예측오차(S)의 생성은 상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 상기 조정된 PCT값에 대한 Y 색성분을 Ty, U 색성분을 Tu, V 색성분을 Tv라 할 때, 상기 Y색성분에 대해서, e'Y가 0 보다 크고 Ty 이하이면 SY = 0 이고, e'Y가 0 보다 작으면 SY = e'Y + Ty 이며, e'Y가 Ty 보다 크면 SY = e'Y - Ty 이고, 상기 U 색성분 및 V 색성분에 대해서도 상기 Y색성분에서와 동일한 방법으로 처리하되, Y는 각각 U 및 V로 치환됨을 특징으로 한다.

상기 (a)단계의 원 영상의 각 화소별 PCT값 결정은 원 영상의 화소의 색값을PCT값으로 정의한 룩업테이블을 이용하여 결정함을 특징으로 한다.

한편, 상기 본 발명의 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상부호화 장치는, 영상 신호의 공간 상관성을 추출하는 여산여현변환기와 시간 상관성을 추출하는 움직임 추출 및 보상부를 구비하며, 부호화하고자 입력되는 원영상 블록내의 각 영상 화소의 시감색차특성값을 룩업테이블을 이용해 정의하고, 원영상 블록내의 임의의 한 화소에 대한 주변 영상 특성치를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블록내에서 인접한 주변화소들간의 색차값과 시감 색차특성값을 서로 비교하여 영상복잡도 구간을 생성하는 영상복잡도결정부; 상기 영상복잡도 결정부에서 결정된 영상복잡도 구간에 따라 상기 원영상 블록에서 정의된 각 화소들의 시감색차 특성값에 가중치를 부여하여 화소의 시감색차 특성값을 조정하는 허용시감색차조정부; 원영상과 상기 움직임 추정 및 보상부에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 정의한 예측오차영상(e) 및 소정의 시감오차영상(P')을 입력으로 하여, 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 예측오차보상부; 및 상기 예측오차보상부에서 생성된 보상예측오차영상(e')에 허용시감새차조정부에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하여 상기 이산여현변환기로 출력하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 시감예측오차발생부를 포함함이 바람직하다.

상기 영상 복잡도 결정부는, 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력으로 하여 이 화소를 중심으로 하는 NxN 크기의 윈도우 W(단, (N-1)은 4의배수값)를 4x4 크기의 종속영상블럭들 s(0≤s≤n, n은 종속영상블럭들의 총수)로 나누고, 각 종속영상 블록들의 특성을 이용해 윈도우 W의 영상복잡도를 정의함이 바람직하다.

상기 허용시감색차조정부는, 상기 영상복잡도결정부에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 시감 색차 특성 가중치를, 그렇지 않으면 작은 시감 색차 특성 가중치를 영상복잡도에 따라 차별적으로 부여한다.

상기 시감예측오차발생부는, 허용 시감 색차 조정부에서 정의된 PCT(Ty, Tu, Tv)와 예측 오차 영상 e' 의 각 색성분별 크기(e'Y, e'U, e'V)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고 PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감 색차 특성에 따른 시감 예측 오차 영상 S를 정의한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 상세히 설명하기로 한다.

도 2는 본 발명에 의한 영상 부호화기의 구성도로서, 영상 입력부(11), 감산기(12), 이산여현변환기(DCT;13), 양자화기(Q;14), 역양자화기(Q^-1;15), 역이산여현변환기(DCT^-1;16), 가산기(17), 영상 복원부(18), 움직임 추정부(19), 움직임 보상부(20), 가변길이 부호화기(VLC;21), 버퍼(22), 비트스트림 출력부(23), 비트조정부(24)와 시감예측오차 처리부(25)로 구성된다. 여기서, 시간예측오차 처리부(25)를 제외한 나머지 구성요소들은 도 1에 도시된 일반적인 영상 부호화기의 구성요소와 동일하다.

도 3은 도 2에 있어서 시감예측 오차처리부(25)의 블록도로서, 영상복잡도 결정부(251), 허용시감색차 조정부(253), 예측오차보상부(255), 시감예측오차 발생부(257)로 이루어진다.

상기 영상복잡도결정부(251)는 부호화하고자 입력되는 원영상 블록내의 각 영상 화소의 시감색차특성값을 룩업테이블(Look-up Table)을 이용해 정의하고, 원영상 블록내의 임의의 한 화소에 대한 주변 영상 특성치를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블록내에서 인접한 주변화소들간의 색차값과 시감 색차특성값을 서로 비교하여 영상복잡도 구간을 생성한다. 그리고 실제 영상을 양자화할 때 양자화특성(Quantixation Step Size)과 불일치하는 경우에는, 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력으로 하여 이 화소를 중심으로 하는 NxN 크기의 윈도우 W(단, (N-1)은 4의 배수값)를 4x4 크기의 종속영상블럭들 s(0≤s≤n, n은 종속영상블럭들의 총수)로 나누고, 각 종속영상 블록들의 특성을 이용해 윈도우 W의 영상복잡도를 정의한다. 즉, Y 성분을 이용하는 분산값 대신에 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력 받아 이 화소를 중심으로 하는 NxN 윈도우 Wx,y (단, (N-1)은 4의 배수)의 영상 복잡도를 시감 색차 특성을 이용해 정의하여 부호화할 화소에 시감 특성을 고려한 PCT 가중치를 부여할 수 있도록 한다.

상기 허용시감색차 조정부(253)는 상기 영상복잡도 결정부(251)에서 결정된영상복잡도 구간에 따라 상기 원영상 블록에서 정의된 각 화소들의 시감색차 특성값에 가중치를 부여하여 화소의 시감색차 특성값을 조정한다. 즉 상기 영상복잡도 결정부(251)에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 PCT 가중치를 그렇지 않으면 작은 PCT 가중치를 영상 복잡도에 따라 차별적으로 부여할 수 있게 하여 부호화기에 부호화할 영상 특성을 제공하도록 한다.

상기 예측오차보상부(255)는 원영상과 상기 움직임 추정 및 보상부(19,20)에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 정의한 예측오차영상(e) 및 소정의 시감오차영상(P')을 입력으로 하여, 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성한다. 즉 상기 허용시감색차 조정부(253)에서 조정된 PCT값에 의해 0 이나 0 에 근접한 값으로 조정된 예측오차들의 조정되기전 오차값(P')만을 다음에 부호화할 영상에 대한 예측오차영상(e)에 비트발생량이 줄어드는 방향으로 보상시킨다.

상기 시감예측오차 발생부(257)는 상기 예측오차보상부(255)에서 생성된 보상예측오차영상(e')에 허용시감색차조정부(253)에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하여 이산여현변환기(DCT,13)로 출력하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성한다. 보다 상세하게는 설명하면 상기 허용시감색차 조정부(253)에서 정의된 PCT(Ty, Tu, Tv)와 예측오차영상(e)의 각 색성분별 크기(eY, eU, eV)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고, PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감색차특성에 따른 시감예측오차 영상(S)을 정의한다.

그러면, 본 발명의 동작에 대하여 도 2 내지 도 6을 참조하여 설명하면 다음과 같다.

도 2에 있어서, 시감예측오차 처리부(25)는 예측 오차 영상(e)이 DCT(13)에 입력되기 전 단계에서 PCT를 모델링한 LUT를 이용해 부호화할 원영상(O)에 대한 영상의 복잡도를 분류하여 PCT값을 조정하고, 발생한 예측 오차 영상들(e)을 조정된 PCT값에 따라 0 또는 0 에 가까운 값으로 변환시키고, 변환되기 전의 예측오차값과 변환된 후의 예측 오차값을 이용해 다음 부호화 영상에 보상시켜 영상의 부호화효율을 높여주기 위한 것으로서, 도 3을 참조하여 좀 더 상세히 설명하면 다음과 같다.

도 3에 있어서, 먼저 영상 복잡도 결정부(251)의 동작은 다음과 같다.

YUV 색값으로 구성된 MxM 원영상 블럭(O)를 입력받아 각 영상 화소들 O(x,y)(단, 0≤x≤M-1, 0≤y≤M-1)에 대한 PCT값을 LUT를 이용해 결정한다. 그리고, 입력 원영상 블럭내의 각 화소들마다의 주변 영상 복잡도를 대상 화소를 중심으로 한 NxN 크기의 윈도우 블럭을 정의하여 윈도우 블럭내에 있는 인접 화소간의 색차와 PCT값을 서로 비교해 시감 색차를 발생하는 인접한 화소들을 추출하여 영상 복잡도 구간을 정의한다. 이때, 연산의 복잡성을 줄이기 위해 LUT를 사용한다. 먼저, 이 영상복잡도 결정부(251)에서 사용되는 PCT용 LUT는 CIE L*a*b* 균등 시감색좌표계상에서 다음 수학식 2와 같이 정의된 CMC(Color Measurement Committee) 시감 색차 공식을 적용해 각 색성분들(L, a, b)에 대한 허용 시감 색차 크기를 결정하고, CIE L*a*b* 색좌표계에서 정의된 허용 시감 색차 크기를 YUV 색좌표계로 변환시켜 도 5에 도시한 것과 같이 구성된다.

그리고, 입력된 원영상 화소의 색값(Oy, Ou, Ov)에 의해 LUT를 이용한 PCT값 (Ty, Tu, Tv)를 정의하는 방법은 다음 수학식 3과 수학식 4와 같다.

index = (Oy/32)*64 + (Ou/32)*8 + (Ov/32)

Ty = LUT[index][0]

Tu = LUT[index][2]

Tv = LUT[index][4]

상기 수학식 4는 영상 입력 형태가 4:4:4 형태일 경우 Tu와 Tv를 정의하는 식으로 영상의 입력 형태에 따라 Tu와 Tv의 결정 방법은 다른게 정의된다. 예를 들면, 4개의 Y성분에 1개의 u와 v성분이 결합되는 4:2:0 영상 입력 형태일 경우 수학식 3과 수학식 4를 적용하면 1개의 u성분에 4 가지 Tu값이 정의되는데(v성분도 동일함) 이런 경우 4 가지 Tu값들 중 최소값으로 결정하게 한다.

이와 같은 방법으로 입력된 원영상의 각 화소들에 대한 PCT값들이 정의되면 입력 영상 블럭내의 각 화소들을 중심으로 한 주변 영상들의 복잡도를 결정해야 하는데 이는 도 6의 (a)와 같이 대상 화소를 중심으로 구성한 NxN 윈도우(W) 영상내에서 서로 인접 화소들간의 색차 특성을 이용해서 결정한다. 즉, 부호화할 원영상 블럭 O 내에 있는 (x,y) 번째 화소에 대한 주변 영상(윈도우 W)의 복잡도는 다음과 같이 두 방향으로의 색차 비교치를 이용해 정의한다.

NxN 크기의 윈도우 Wx,y내의 한 화소 W(i,j)에 대해 수평 방향으로 인접한 화소 (i,j+1)과의 색차 크기 hE 와 수직 방향으로 인접한 화소 (i-1,j)와의 색차 크기 vE 를 수학식 5를 이용해 구한 후, (i,j)화소의 PCT값 (Ty, Tu, Tv)에 대한 색차 크기 pE 와 각기 비교해 hE 나 vE 가 pE 보다 큰 값을 가질 경우 (i,j) 화소는 인접 화소와 색차를 갖는 화소로 판단하여 복잡도를 각 방향에 따라 1 만큼 증가시킨다. 이와 같은 방법으로 윈도우 Wx,y 내 모든 화소들의 색차를 비교하여 복잡도를 계산한다.

이와 같은 방법은 시감적으로 차이를 느낄 수 없는 색차를 갖는 화소들은 동일한 색값을 갖는 화소로 처리함으로써 영상 특성중 복잡도를 대표하는 특성치로 이용할 수 있도록 한 것이다. 또한, NxN 영상 블럭에 대한 최대 복잡도(Max(C)) 크기는 수학식 6과 같이 정의된다.

Max(C) = 2 * N²

한편, 이와 같은 방법으로 결정된 영상 복잡도는 실제 영상을 양자화할때 양자화 간격 특성(quantization step size)과 불일치하는 경우가 발생할 수 있다. 예를 들면, 부호화할 영상 블럭에서 대분분의 영역은 색이 민감한 화소들로 구성되고 낮은 복잡도를 갖고 있으나 임의의 한 부분에만 복잡도가 높은 영상이 치우쳐 나타날 경우 전체 복잡도는 높게 정의되는데, 이는 복잡한 영상은 상대적으로 둔감하다는 시감 특성에 따라 큰값의 양자화 간격을 할당하게 하여 복원 영상의 화질 열화를 두드러지게 하는 결과를 초래한다. 따라서, 본 발명에서는 다음와 같이 NxN 크기의 윈도우 W 를 4x4 크기의 종속 영상 블럭들 s (단, 0≤s≤n, n은 종속영상 블럭들의 총수)로 나누고, 각 종속 영상 블럭들의 특성을 이용해 윈도우 W의 영상 복잡도를 정의하는 방법을 사용해 상기의 문제점을 보완한다. 단, (N-1)은 4의 배수값을 가질 경우이다.

첫째, 종속 영상 블럭들에서 색차를 발생하는 화소들의 수(spel(s))를 구한다. 즉, 수평이나 수직 방향으로 pE 보다 큰 색차를 갖는 화소들을 종속 영상 블럭내에서 정의한다.

둘째, spel(s)≥3을 만족하는 종속 영상 블럭의 총수(sblk)를 구한다.

셋째, sblk≥(n/2)+1 을 만족하거나 sblk=(n/2)이고 spel≥3을 만족하는 종속 영상 블럭이 도 5의 (c)와 같이 나타날 경우 윈도우 W의 영상 복잡도는 위에서 정의한 값으로 정의하지만 위의 조건들을 만족하지 않는 경우 복잡도를 4N-2 값으로 정의한다. 복잡도 4N-2은 도 6의 (b) 및 (c)와 같이 한 선분이 동일한 색으로 구성된 영상 블럭을 대각선 방향으로 지나갈때 정의되어지는 복잡도로 이 복잡도 이하값을 갖는 영상은 민감한 영상으로 분류한다.

상기와 같은 방법으로 분류된 영상 복잡도는 수학식 7과 같이 영상 복잡도 구간(C[0..m])으로 특성화되는데, 이는 시감예측오차 발생부(257)에서 영상 특성에 따라 PCT값을 달리 결정하도록 하는데 이용된다. m은 N값에 따라 결정된다.

한편, 허용 시감 색차 조정부(253)의 동작은 다음과 같다.

상기 수학식 1과 같이 발생된 예측 오차 영상(e)는 영상 특성에 따라 시감적 차이를 달리하는 특성을 갖고 있다. 이와 같은 특성은 부호화할 원영상 블럭(O)에서 각 화소들마다의 주변 영상 복잡도 특성치(C)를 영상 복잡도 결정부(251)에서 입력 받아 C 값에 따라 PCT에 가중치를 할당해야만 하는데 대한 타당성을 제공한다. 즉, 복잡도가 높으면 PCT 값을 상대적으로 높여주고, 낮으면 상대적으로 낮추어야 한다는 것을 의미한다. 수학식 8은 영상 복잡도에 따른 PCT값을 정의하는 식이다.

Ty = Ty*WY

Tu = Tu*WU

Tv = Tv*WV

한편, 시감 예측 오차 발생부(257)의 동작은 다음과 같다.

허용 시감 색차 조정부(253)에서 주변 영상 특성을 고려해 조정된 부호화할 영상 화소들 각각의 PCT값은 예측오차보상부(255)에서 보상된 예측 오차 영상(e')에 적용되어 Y, U, V 색성분별로 예측 오차를 시감 색차 특성에 따라 0 또는 0 에 근접한 값으로 변환하여 전체적으로 오차 발생량을 줄인 예측 오차 영상(S)를 발생하며, Y 색성분에 대해 수학식 9와 같이 정의된다. 나머지 U, V 색성분들은 Y 색성분과 동일한 방법으로 처리한다.

if eY≤Ty SY = 0;

else if(eY<0) SY = (eY+Ty);

else SY = (eY-Ty);

한편, 예측오차보상부(255)의 동작은 다음과 같다.

수학식 1과 같이 정의된 부호화할 영상의 예측 오차 영상 e 에는 식(10)과 같이 시감 예측 오차 발생부에서 시감 색차 특성을 이용해 예측 오차 영상을 재조정하므로써 발생되는 오차(P')가 누적 되어진다. 이에 누적 오차 영상 P' 를 다음에 부호화할 영상의 예측 오차 영상 e 에 제 4 도에서 처럼 보상시킨 예측 오차 e' 를 정의하여 시감 예측 오차 영상 S 를 재구성하는데서 발생되는 시감 오차(P')의 누적을 방지하게 한다.

P' = e' - S

도 4는 Y 색성분에서 부호화시 발생되는 비트량을 최소화하기 위해 예측 오차 크기가 작아지는 방향으로 시감 오차 P'를 예측 오차 e 에 보상시키는 방법을 도시한 것으로 나머지 U, V 색성분들도 Y 색성분과 마찬가지 방법으로 처리된다.

그리고 도 7은 시감 색차를 고려한 예측오차를 도시한 것으로서, (a)는 n-1 번째 예측오차 데이터를 도시한 것이며, (b)는 시감오차를 보상한 n번째 예측오차데이터를 도시한 것이다.

한편, 상술한 본 발명의 구성과 동작을 통해 본 발명의 개념을 정리하면 다음과 같다. 본 발명은 시감색차특성(PCT:Perceptual Color Tolerance)치를 실험적 방법으로 정의하여 시감 색차를 갖지 않는 예측 오차들을 추출하고 이를 제거할 수있게 하였고, 시감 색차를 갖는 예측 오차일 경우 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차를 시감 색차를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 증대시킬 수 있게 하였다.

그리고, 예측 오차들을 제거할때 본 발명에서는 영상 복잡도 특성을 이용하는데, 이는 단순한 영상에 비해 복잡한 영상에서 오차를 둔감하게 느끼는 시감 특성을 영상 부호화 방법에 적용하기 위한 것으로 영상 복잡도를 시감 색차 특성을 이용해 분류하고, 분류된 복잡도마다 각기 다른 PCT 가중치를 부여하게 구성하여 영상 특성에 따른 예측 오차 제거 정도를 차별화할 수 있어 보다 높은 부호화 효율을 기대할 수 있게 하였다. 아울러, 인간의 시감 색차 특성치는 연산의 복잡성(Complexity)을 줄이기 위해 LUT(Look-Up Table)로 구성하여 이용하였다.

또한 현재 부호화할 영상에 대한 예측 오차값을 시감 색차 특성을 이용해 0 또는 0 에 가까운 값으로 조정할 경우, 변경된 오차값은 다음에 부호화할 영상의 예측 오차에 누적되어 예측 오차량을 크게 만드는 문제를 발생시킨다. 따라서, 이와 같이 시감 색차 특성에 의해 조정될 수 있는 예측 오차들이 다음에 부호화할 영상에 누적되는 것을 막기 위해 이런 오차들만을 따로 보상시킬 수 있게 하므로써 부호화 효율을 높일 수 있게 하였다.

본 발명은 기존의 영상 부호화 방법에 사람의 시감 색차 특성을 적용하여 부호화할 각 화소들마다의 주변 영상 특성을 정의하고, 주변 영상 특성에 따라 화소의 PCT값에 가중치를 부여해 PCT값을 조정하여 복원된 영상에 대한 화질 열화는 초래하지 않으면서도 영상의 부호화 효율을 향상시키는 효과를 갖게 한다.

한편, 본 발명에서는 대상 화소의 주변 영상 복잡도를 시감 색차 특성을 이용해 정의하였는데 이는 기존에 분산값을 이용해 영상 복잡도를 정의하는 방법에 비해 다음과 같은 점에서 효과적인 점을 제공할 수 있는 장점이 있다.

1) 영상에서 Y 성분만으로는 정의할 수 없었던 색특성을 고려할 수 있다.

2) 복잡도에 대한 최대값을 알 수 있어 복잡도 정도를 쉽게 판단할 수 있는 기 준을 제공할 수 있다.

3) 복잡도 범위를 알 수 있어 영상을 분류하는 것이 간단하다.

아울러, 발생된 예측 오차를 재조정하는데 있어 주변 영상 특성을 고려할 수 있게 구성하고, 시감 예측 오차(S)를 구성할때 발생되는 시감 오차(P')를 다음에 부호화할 영상의 예측 오차 영상(e)에서 보상시키므로써 영상 부호화 효율을 보다 향상시키는 효과를 갖고 있다.

그리고, 인간의 색시감 특성을 LUT에 구현하므로써 영상 부호화 방법에 적용시 연산을 위한 부가적 처리 시간을 요구하지 않아 연산의 효율을 꾀할 수 있다는 장점을 갖는다. 또한, 기존의 영상 부호화 방법들과 호환성이 유지되도록 적용할 수 있고 구현이 간단하다는 장점을 갖고 있다.

그리고 본 발명은 각종 디지탈 영상 부호화 방법에 적용될 수 있으며, 화질 열화 없이 영상 부호화 효율을 향상시킬 수 있다는 잇점을 갖고 있다.

Claims (7)

1. 부호화하고자 하는 영상(원영상)을 시감색차특성(PCT)를 고려해서 부호화하는 영상부호화방법에 있어서,

   (a) 상기 원영상의 각 화소들에 대한 PCT값을 결정하고, 상기 입력된 원영상 블록 내의 각 화소별로, 상기 각 화소의 PCT값의 색차크기와 상기 각 화소의 주변화소의 색차크기를 비교하여 영상복잡도를 구하는 단계;

   (b) 상기 (a)단계에서 구해진 영상복잡도에 따라, 상기 영상복잡도가 높으면 PCT값을 상대적으로 높이고, 상기 영상복잡도가 낮으면 상대적으로 PCT값을 낮추는 PCT값조정단계;

   (c) 원영상과 움직임 추정 및 보상에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 예측오차영상(e)이라 정의할 때, 상기 예측오차영상(e) 및 소정의 시감오차영상(P')을 사용하여 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 단계;

   (d) 상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 단계; 및

   (e) 상기 (d)단계에서 생성된 시감예측오차영상(S)을 적어도 이산여현변환(DCT) 및 양자화(Q)를 포함한 일련의 부호화과정을 통해 부호화하는단계를 포함함을 특징으로 하는, 시감색차특성을 고려한 영상부호화방법.
2. 제1항에 있어서, 상기 (d)단계의 시감예측오차(S)의 생성은

   상기 (c)단계에서 생성된 보상예측오차영상(e')에 상기 (b)단계에서 조정된 PCT값을 적용하여 상기 조정된 PCT값에 대한 Y 색성분을 Ty, U 색성분을 Tu, V 색성분을 Tv라 할 때,

   상기 Y색성분에 대해서, e'Y가 0 보다 크고 Ty 이하이면 SY = 0 이고, e'Y가 0 보다 작으면 SY = e'Y + Ty 이며, e'Y가 Ty 보다 크면 SY = e'Y - Ty 이고,

   상기 U 색성분 및 V 색성분에 대해서도 상기 Y색성분에서와 동일한 방법으로 처리하되, Y는 각각 U 및 V로 치환됨을 특징으로 하는 시감색차특성을 고려한 영상부호화방법.
3. 제1항에 있어서, 상기 (a)단계의 원 영상의 각 화소별 PCT값 결정은

   원 영상의 화소의 색값을 PCT값으로 정의한 룩업테이블을 이용하여 결정함을 특징으로 하는 시감색차특성을 고려한 영상부호화방법.
4. 영상 신호의 공간 상관성을 추출하는 여산여현변환기와 시간 상관성을 추출하는 움직임 추출 및 보상부를 구비한 영상부호화 장치에 있어서,

   부호화하고자 입력되는 원영상 블록내의 각 영상 화소의 시감색차특성값을 룩업테이블을 이용해 정의하고, 원영상 블록내의 임의의 한 화소에 대한 주변 영상특성치를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블록내에서 인접한 주변화소들간의 색차값과 시감 색차특성값을 서로 비교하여 영상복잡도 구간을 생성하는 영상복잡도결정부;

   상기 영상복잡도 결정부에서 결정된 영상복잡도 구간에 따라 상기 원영상 블록에서 정의된 각 화소들의 시감색차 특성값에 가중치를 부여하여 화소의 시감색차 특성값을 조정하는 허용시감색차조정부;

   원영상과 상기 움직임 추정 및 보상부에 의해 복원된 이전 영상으로 예측한 예측영상 간의 오차를 정의한 예측오차영상(e) 및 소정의 시감오차영상(P')을 입력으로 하여, 상기 예측오차영상(e)을 보상한 보상예측오차영상(e')을 생성하는 예측오차보상부; 및

   상기 예측오차보상부에서 생성된 보상예측오차영상(e')에 허용시감새차조정부에서 조정된 PCT값을 적용하여 오차발생량을 줄인 시감예측오차영상(S)을 생성하여 상기 이산여현변환기로 출력하고, 상기 보상예측오차영상(e')과 상기 시감예측오차영상(S)의 차를 구하여 상기 시감오차영상(P')을 생성하는 시감예측오차발생부를 포함함을 특징으로 하는 시감색차특성을 고려한 영상부호화방법.
5. 제4항에 있어서, 상기 영상 복잡도 결정부는

   원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력으로 하여 이 화소를 중심으로 하는 NxN 크기의 윈도우 W(단, (N-1)은 4의 배수값)를 4x4 크기의 종속영상블럭들 s(0≤s≤n, n은 종속영상블럭들의 총수)로 나누고, 각 종속영상 블록들의특성을 이용해 윈도우 W의 영상복잡도를 정의함을 특징으로 하는 시감색차특성을 고려한 영상 부호화장치.
6. 제4항에 있어서, 상기 허용시감색차조정부는

   상기 영상복잡도결정부에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 시감 색차 특성 가중치를, 그렇지 않으면 작은 시감 색차 특성 가중치를 영상복잡도에 따라 차별적으로 부여하는 것을 특징으로 하는 시감 색차 특성을 고려한 영상 부호화장치.
7. 제4항에 있어서, 상기 시감예측오차발생부는

   허용 시감 색차 조정부에서 정의된 PCT(Ty, Tu, Tv)와 예측 오차 영상 e' 의 각 색성분별 크기(e'Y, e'U, e'V)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고 PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감 색차 특성에 따른 시감 예측 오차 영상 S를 정의함을 특징으로하는 시감 색차 특성을 고려한 영상 부호화장치.

Images