KR100403804B1 - 시감색차특성을고려한영상부호화방법및영상부호화기 - Google Patents

시감색차특성을고려한영상부호화방법및영상부호화기 Download PDF

Info

Publication number
KR100403804B1
KR100403804B1 KR1019960046495A KR19960046495A KR100403804B1 KR 100403804 B1 KR100403804 B1 KR 100403804B1 KR 1019960046495 A KR1019960046495 A KR 1019960046495A KR 19960046495 A KR19960046495 A KR 19960046495A KR 100403804 B1 KR100403804 B1 KR 100403804B1
Authority
KR
South Korea
Prior art keywords
image
complexity
pixel
value
prediction error
Prior art date
Application number
KR1019960046495A
Other languages
English (en)
Other versions
KR19980027652A (ko
Inventor
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1019960046495A priority Critical patent/KR100403804B1/ko
Publication of KR19980027652A publication Critical patent/KR19980027652A/ko
Application granted granted Critical
Publication of KR100403804B1 publication Critical patent/KR100403804B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

시감 색차 특성을 고려한 영상 부호화방법 및 영상 부호화기를 제시한다. 이를 위하여, 영상 부호화방법은 (a) 부호화하고자 입력되는 원영상의 각 화소에 대한 영상의 복잡도를 상기 화소를 중심으로 구성된 소정 크기의 윈도우 블럭내에서 인접한 주변 화소들간의 색차값과 각 화소들마다 정의된 시감 색차 특성값을 서로 비교하여 결정하는 단계; (b) 결정된 복잡도에 따라 원영상의 각 화소들마다 정의된 시감색차특성값에 가중치를 부여하여 각 화소의 시감색차특성값을 조정하는 단계; 및 (c) 부호화하고자 입력되는 원영상과 움직임 추정 및 보상에 의해 생성되는 이전 복원영상과의 차이인 예측오차로 정의되는 예측오차영상의 각 예측오차에 상기 조정된 각 화소의 시감색차특성값을 적용하여, 예측오차들을 0 이나 0 에 근접한 값으로 재조정하여 전체 오차 발생량을 줄인 시감예측오차 영상을 발생시키는 단계를 구비한다. 따라서, 기존의 영상 부호화방법에 사람의 시감 색차 특성을 적용하여 부호화할 각 화소들마다의 주변 영상 특성을 정의하고 이에 따라 화소의 PCT값을 조정함으로써 복원된 영상에 대한 화질 열화는 초래하지 않으면서도 영상의 부호화 효율을 향상시키는 효과를 갖게 한다.

Description

시감 색차 특성을 고려한 영상 부호화방법 및 영상 부호화기{Image coding method and image coder in consideration of perceptual color tolerance}
본 발명은 영상 부호화방법 및 장치에 관한 것으로서, 특히 시감 색차 특성을 이용하여 영상을 구성하는 각 블록의 특성치를 정의하고, 예측 오차를 0 혹은 0에 근접한 값으로 변환하여 영상 부호화효율을 향상시키는 영상 부호화 방법 및 장치에 관한 것이다.
일반적으로, 영상 부호화는 부호화된 영상 데이터(bitstream) 량을 최소화하면서 아울러 복원된 영상의 화질 열화를 최소화하는 것을 목적으로 한다. 이를 위하여, 시간 영역대(time domain)에서 이전 영상과 현재 영상간의 영상 데이터의 상관성(redundancy)과 공간 영역대(spatial domain)에서 영상 데이터들간의 상관성을 이용해 복원 영상의 화질 열화 정도를 최소화하면서 부호화할 영상 데이터량을 줄이는 압축 부호화 방법을 사용하고 있다. 특히, 시간 영역대에서는 이전 시간에 있는 영상과 현재 시간에 있는 영상간의 움직임을 이용해 예측 오차 영상을 구성하고, 이 예측 오차 영상을 부호화하고 보상하는 방법을 일반적으로 사용한다. 한편, 이와 같이 영상 부호화 효율을 높이기 위해 구성한 예측 오차 영상들중에는 실제로 사람의 눈으로 구별할 수 없는 오차 영상들도 존재하는데 이런 예측 오차 영상들을 선별하여 제거한다면 영상 부호화 효율을 더욱 높일 수 있을 것이다.
기존의 디지탈 영상 부호화 방법에서 입력된 영상 데이터에 대한 상관성을 이용해 부호화 효율을 높이는 방법으로는 도 1에 도시한 바와 같이 일반적으로 두가지 부호화 기법을 사용한다.
첫번째 방법은 DCT(Discrete Cosine Transform)를 이용해 부호화할 입력 영상 데이터들을 시간 주파수(temporal frequency) 영역에서 공간 주파수(spatial frequency) 영역으로 변환하여 공간 주파수 영역에서 영상 데이터들의 상관성을 정의하는 변환 부호화 방법(transform coding)이다. 이 부호화 방법은 영상 데이터의 손실 없이 영상 데이터의 공간 주파수 특성만을 추출하여, 영상의 압축, 부호화 방법에 이용하는 것을 그 특징으로 하며, 정지(still) 영상 부호화 방법에 많이 이용된다.
두번째 방법은 DPCM(Differential Pulse Code Modulation)에 의한 예측 부호화 방법(Predictive Coding)으로, 시간 영역에서 부호화할 영상 데이터들의 상관성을 정의하게 한다. 이 방법은 도 1에 도시한 것과 같이, 영상 입력부(11)에서 n번째 부호화할 영상(O)을 입력 받았을 경우 (n-1)번째 부호화한 이전 영상과 비교하여 부호화 영상 단위별 움직임 정도를 벡터값을 이용해 추정하고, 추정된 움직임 벡터에 의해 n번째 부호화할 원영상에 대한 예측 영상(P)을 구성하게 한다. 이와 같이 구성된 예측 영상(P)은 실제 n번째 원영상(O)과 비교했을때 움직임에 의한 오차를 갖고 있는데, 이런 움직임에 의한 오차를 예측 오차(e)라 하고 다음 수학식 1과 같이 정의한다.
e = O - P
이와 같이 정의된 예측 오차(e)는 시간 영역에서 영상 데이터들의 상관 정도를 의미하는 것으로, 이 예측 오차(e)에 의해 구성된 영상 데이터만을 실제 부호화기에서 사용하므로서 영상 데이터의 손실은 있으나 영상의 부호화 효율을 높일 수 있는 특성을 갖고 있다. 따라서, 동화상 부호화 방법에서는 도 1과 같이 영상 신호의 공간 상관성을 추출하는 DCT와 시간 상관성을 추출하는 DPCM 방법을 모두 적용한 혼합형 부호화 방법(hybrid coding)을 많이 사용한다.
한편, 이와 같은 영상 데이터의 상관성 추출 방법에 인간의 시감 색차 특성(Perceptual Color Tolerance;PCT)을 고려한다면 보다 높은 효율의 부호화 효과를 기대할 수 있다. 예를 들어, DPCM 과정을 통해 얻은 예측 오차값들중에는 실제 사람의 눈으로는 식별할 수 없는 예측 오차들이 상당량 존재하고 있다. 따라서,이와 같은 예측 오차들을 시감 색차 특성(PCT)을 이용해 제거한다면 동일한 복원 영상의 화질을 제공하면서도 영상 데이터의 상관성만을 상대적으로 높여 주는 효과를 갖게 하여 부호화 효율을 향상시키는 결과를 갖게 할 수 있다. 아울러, 부호화할 영상이 복잡한 영상인 경우 단순한 영상에 비해 오차에 대한 식별력이 상대적으로 감소하는 시감 특성이 있다. 그런데, 이와 같은 시감 특성은 PCT를 이용한 영상 복잡도 분류법을 이용해 정의하므로써 영상 복잡도가 큰 값으로 분류된 부호화 영상에서 예측된 영상 오차들중 식별 불가능한 예측 오차를 선별하기 위해 사용되는 문턱치를 보다 큰 값으로 정의할 수 있게 한다. 따라서 예측 오차의 제거 효과를 더욱 높이게 할 수 있다. 또한, 시감 색차를 갖는 예측 오차들은 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차에 대해 시감 색차 특성치를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 보다 증대시키게 할 수 있다.
따라서 본 발명의 목적은 인간의 시감 색차 특성을 실시간 처리가 가능하도록 룩업테이블(Look-Up Table;LUT)로 모델링하고, 원영상을 이용하여 영상의 복잡도를 분류하고 분류된 복잡도에 따라 차별적으로 시감 예측 오차들을 분류하여 제거시키기 위한 영상 부호화방법을 제공하는 데 있다.
본 발명의 다른 목적은 상기 영상 부호화방법을 실현하는데 가장 적합한 영상 부호화기를 제공하는 데 있다.
상기 목적을 달성하기 위하여 본 발명에 의한 영상 부호화방법은 (a) 부호화하고자 입력되는 원영상의 각 화소에 대한 영상의 복잡도를 상기 화소를 중심으로 구성된 소정 크기의 윈도우 블럭내에서 인접한 주변 화소들간의 색차값과 각 화소들마다 정의된 시감 색차 특성값을 서로 비교하여 결정하는 단계; (b) 상기 결정된 복잡도에 따라 상기 원영상의 각 화소들마다 정의된 시감색차특성값에 가중치를 부여하여 각 화소의 시감색차특성값을 조정하는 단계; 및 (c) 상기 부호화하고자 입력되는 원영상과 움직임 추정 및 보상에 의해 생성되는 이전 복원영상과의 차이인 예측오차로 정의되는 예측오차영상의 각 예측오차에 상기 조정된 각 화소의 시감색차특성값을 적용하여, 예측오차들을 0 이나 0 에 근접한 값으로 재조정하여 전체 오차 발생량을 줄인 시감예측오차 영상을 발생시키는 단계를 구비하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위하여 본 발명에 의한 영상 부호화기는 영상 신호의 공간 상관성을 추출하는 이산여현변환기와 시간 상관성을 추출하는 움직임 추정 및 보상기를 구비한 영상 부호화기에 있어서, 부호화하고자 입력되는 원영상과 상기 움직임 추정 및 보상기에서 출력되는 이전 복원영상과의 차이인 예측오차로 정의되는 예측오차영상을 발생시키는 감산기; 및 상기 원영상의 각 화소에 대하여 구해진 영상의 복잡도에 따라서 각 화소의 시감색차특성값의 가중치를 결정하고, 결정된 가중치가 적용되어 조정된 시감색차특성값을 상기 감산기로부터 제공되는 예측오차영상의 각 예측오차에 적용하여 시감색차를 발생하는 예측오차들만으로 구성된 시감오차영상을 구성하여 상기 이산여현변환기로 인가하는 시감예측오차 처리부를 구비하는 것을 특징으로 한다.
도 1은 일반적인 영상 부호화기의 구성도.
도 2는 본 발명에 의한 영상 부호화기의 구성도.
도 3은 도 2에 있어서 시감 예측 오차 처리부 구성도.
도 4는 시감 색차 범위 LUT 구성도.
도 5는 주변 영상 복잡도 분류.
도 6은 시감 색차를 고려한 예측 오차.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 상세히 설명하기로 한다.
도 2는 본 발명에 의한 영상 부호화기의 구성도로서, 영상 입력부(11), 감산기(12), 이산여현변환기(DCT;13), 양자화기(Q;14), 역양자화기(Q-1;15), 역이산여현변환기(DCT-1;16), 가산기(17), 영상 복원부(18), 움직임 추정부(19), 움직임 보상부(20), 가변길이 부호화기(VLC;21), 버퍼(22), 비트스트림 출력부(23), 비트조정부(24)와 시감예측오차 처리부(25)로 구성된다. 여기서, 시간예측오차 처리부(25)를 제외한 나머지 구성요소들은 도 1에 도시된 일반적인 영상 부호화기의 구성요소와 동일하다.
도 3은 도 2에 있어서 시감예측오차 처리부(25)의 구성도로서, Y 성분을 이용하는 분산값 대신에 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력 받아 이 화소를 중심으로 하는 NxN 윈도우 Wx,y (단, (N-1)은 4의 배수) 의 영상 복잡도를 시감 색차 특성을 이용해 정의하여 부호화할 화소에 시감 특성을 고려한 PCT 가중치를 부여할 수 있도록 하는 영상 복잡도 결정부(251), 영상 복잡도 결정부(251)에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 PCT 가중치를 그렇지 않으면 작은 PCT 가중치를 영상 복잡도에 따라 차별적으로 부여할 수 있게 하여 부호화기에 부호화할 영상 특성을 제공하도록 하는 허용 시감 색차 조정부(253), 허용 시감 색차 조정부(253)에서 정의된 PCT(Ty, Tu,Tv)와 예측 오차 영상(e)의 각 색성분별 크기(eY, eU, eV)를 비교하여 조정된 PCT 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고 PCT보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키므로써 시감 색차 특성에 따른 시감예측오차 영상(S)을 정의하는 시감 예측 오차 발생부(255)로 구성된다.
그러면, 본 발명의 작용 및 효과에 대하여 도 2 내지 도 6을 참조하여 설명하면 다음과 같다.
도 2에 있어서, 시감예측오차 처리부(25)는 예측 오차 영상(e)이 DCT(13)에 입력되기 전 단계에서 PCT를 모델링한 LUT를 이용해 부호화할 원영상(O)에 대한 영상의 복잡도를 분류하여 PCT값을 조정하고, 발생한 예측 오차 영상들(e)을 조정된 PCT값에 따라 0 또는 0 에 가까운 값으로 변환시키기 위한 것으로서, 도 3을 참조하여 좀 더 상세히 설명하면 다음과 같다.
도 3에 있어서, 먼저 영상 복잡도 결정부(251)의 동작은 다음과 같다.
YUV 색값으로 구성된 MxM 원영상 블럭(O)를 입력받아 각 영상 화소들 O(x,y)(단, 0≤x≤M-1, 0≤y≤M-1)에 대한 PCT값을 LUT를 이용해 결정한다. 그리고, 입력 원영상 블럭내의 각 화소들마다의 주변 영상 복잡도를 대상 화소를 중심으로 한 NxN 크기의 윈도우 블럭을 정의하여 윈도우 블럭내에 있는 인접 화소간의 색차와 PCT값을 서로 비교해 시감 색차를 발생하는 인접한 화소들을 추출하여 영상 복잡도 구간을 정의한다. 이때, 연산의 복잡성을 줄이기 위해 LUT를 사용한다. 먼저, 이 영상 복잡도 결정부(251)에서 사용되는 PCT용 LUT는 CIE L*a*b* 균등 시감색좌표계상에서 다음 수학식 2와 같이 정의된 CMC(Color Measurement Committee) 시감 색차 공식을 적용해 각 색성분들(L, a, b)에 대한 허용 시감 색차 크기를 결정하고, CIE L*a*b* 색좌표계에서 정의된 허용 시감 색차 크기를 YUV 색좌표계로 변환시켜 도 4에 도시한 것과 같이 구성된다.
그리고, 입력된 원영상 화소의 색값(Oy, Ou, Ov)에 의해 LUT를 이용한 PCT값 (Ty, Tu, Tv)를 정의하는 방법은 다음 수학식 3과 수학식 4와 같다.
index = (Oy/32)*64 + (Ou/32)*8 + (Ov/32)
Ty = LUT[index][0]
Tu = LUT[index][2]
Tv = LUT[index][4]
상기 수학식 4는 영상 입력 형태가 4:4:4 형태일 경우 Tu와 Tv를 정의하는 식으로 영상의 입력 형태에 따라 Tu와 Tv의 결정 방법은 다르게 정의된다. 예를 들면, 4개의 Y성분에 1개의 u와 v성분이 결합되는 4:2:0 영상 입력 형태일 경우 수학식 3과 수학식 4를 적용하면 1개의 u성분에 4 가지 Tu값이 정의되는데(v성분도 동일함) 이런 경우 4 가지 Tu값들중 최소값으로 결정하게 한다.
이와 같은 방법으로 입력된 원영상의 각 화소들에 대한 PCT값들이 정의되면 입력 영상 블럭내의 각 화소들을 중심으로 한 주변 영상들의 복잡도를 결정해야 하는데 이는 도 5의 (a)와 같이 대상 화소를 중심으로 구성한 NxN 윈도우(W) 영상내에서 서로 인접 화소들간의 색차 특성을 이용해서 결정한다. 즉, 부호화할 원영상 블럭 O 내에 있는 (x,y) 번째 화소에 대한 주변 영상(윈도우 W)의 복잡도는 다음과 같이 두 방향으로의 색차 비교치를 이용해 정의한다.
NxN 크기의 윈도우 Wx,y내의 한 화소 W(i,j)에 대해 수평 방향으로 인접한 화소 (i,j+1)과의 색차 크기 hE 와 수평 방향으로 인접한 화소 (i-1,j)와의 색차 크기 vE 를 수학식 5를 이용해 구한 후, (i,j)화소의 PCT값 (Ty, Tu, Tv)에 대한 색차 크기 pE 와 각기 비교해 hE 나 vE 가 pE 보다 큰 값을 가질 경우 (i,j) 화소는 인접 화소와 색차를 갖는 화소로 판단하여 복잡도를 각 방향에 따라 1 만큼 증가시킨다. 이와 같은 방법으로 윈도우 Wx,y 내 모든 화소들의 색차를 비교하여 복잡도를 계산한다.
DELTA E = root {{(Y_(i,j) -Y_(i',j') )}^2 +{(U_(i,j) -U_(i',j') )}^2 + {(V_(i,j) -V_(i',j') )}^2 }
이와 같은 방법은 시감적으로 차이를 느낄 수 없는 색차를 갖는 화소들은 동일한 색값을 갖는 화소로 처리함으로써 영상 특성중 복잡도를 대표하는 특성치로 이용할 수 있도록 한 것이다. 또한, NxN 영상 블럭에 대한 최대 복잡도(Max(C)) 크기는 수학식 6과 같이 정의된다.
Max(C) = 2 * N2
한편, 이와 같은 방법으로 결정된 영상 복잡도는 실제 영상을 양자화할때 양자화 간격 특성(quantization step size)과 불일치하는 경우가 발생할 수 있다. 예를 들면, 부호화할 영상 블럭에서 대분분의 영역은 색이 민감한 화소들로 구성되고 낮은 복잡도를 갖고 있으나 임의의 한 부분에만 복잡도가 높은 영상이 치우쳐 나타날 경우 전체 복잡도는 높게 정의되는데, 이는 복잡한 영상은 상대적으로 둔감하다는 시감 특성에 따라 큰값의 양자화 간격을 할당하게 하여 복원 영상의 화질 열화를 두드러지게 하는 결과를 초래한다. 따라서, 본 발명에서는 다음와 같이 NxN 크기의 윈도우 W 를 4x4 크기의 종속 영상 블럭들 s (단, 0≤s≤n, n은 종속 영상 블럭들의 총수)로 나누고, 각 종속 영상 블럭들의 특성을 이용해 윈도우 W의 영상 복잡도를 정의하는 방법을 사용해 상기의 문제점을 보완한다. 단, (N-1)은 4의 배수값을 가질 경우이다.
첫째, 종속 영상 블럭들에서 색차를 발생하는 화소들의 수(spel(s))를 구한다. 즉, 수평이나 수직 방향으로 pE 보다 큰 색차를 갖는 화소들을 종속 영상 블럭내에서 정의한다.
둘째, spel(s)≥3을 만족하는 종속 영상 블럭의 총수(sblk)를 구한다.
셋째, sblk≥(n/2)+1 을 만족하거나 sblk=(n/2)이고 spel≥3을 만족하는 종속 영상 블럭이 도 5의 (c)와 같이 나타날 경우 윈도우 W의 영상 복잡도는 위에서 정의한 값으로 정의하지만 위의 조건들을 만족하지 않는 경우 복잡도를 4(N-2)값으로 정의한다. 복잡도 4(N-2)은 도 5의 (b)와 같이 한 선분이 동일한 색으로 구성된 영상 블럭을 대각선 방향으로 지나갈때 정의되어지는 복잡도로 이 복잡도 이하값을 갖는 영상은 민감한 영상으로 분류한다.
상기와 같은 방법으로 분류된 영상 복잡도는 수학식 7과 같이 영상 복잡도 구간(C[0..m])으로 특성화되는데, 이는 시감 예측 오차 발생부(255)에서 영상 특성에 따라 PCT값을 달리 결정하도록 하는데 이용된다. m은 N값에 따라 결정된다.
&0 ~=~ 복잡도~<=~4(N-2),~~&C~[0]~=~복잡도##&4(N-2)~<~복잡도~<=~2N^2 , ~~&C~[복잡도/10 -2]~=~복잡도
한편, 허용 시감 색차 조정부(253)의 동작은 다음과 같다.
상기 수학식 1과 같이 발생된 예측 오차 영상(e)는 영상 특성에 따라 시감적 차이를 달리하는 특성을 갖고 있다. 이와 같은 특성은 부호화할 원영상 블럭(O)에서 각 화소들마다의 주변 영상 복잡도 특성치(C)를 영상 복잡도 결정부(251)에서입력 받아 C 값에 따라 PCT에 가중치를 할당해야만 하는데 대한 타당성을 제공한다. 즉, 복잡도가 높으면 PCT 값을 상대적으로 높여주고, 낮으면 상대적으로 낮추어야 한다는 것을 의미한다. 수학식 8은 영상 복잡도에 따른 PCT값을 정의하는 식이다.
Ty = Ty*WY
Tu = Tu*WU
Tv = Tv*WV
한편, 시감 예측 오차 발생부(255)의 동작은 다음과 같다.
허용 시감 색차 조정부(253)에서 주변 영상 특성을 고려해 조정된 부호화할 영상 화소들 각각의 PCT값은 예측 오차 영상(e)에 적용되어 Y, U, V 색성분별로 예측 오차를 시감 색차 특성에 따라 0 또는 0 에 근접한 값으로 변환하여 전체적으로 오차 발생량을 줄인 시감예측오차 영상(S)를 발생하는 시감 예측 오차 발생부(255)로 Y 색성분에 대해 수학식 9와 같이 정의된다. 나머지 U, V 색성분들은 Y 색성분과 동일한 방법으로 처리한다.
if eY≤Ty SY = 0;
else if(eY<0) SY=(eY+Ty);
else SY=(eY-Ty);
따라서, 본 발명은 시감 색차 특성치를 실험적 방법으로 정의하여 시감 색차를 갖지 않는 예측 오차들을 추출하고 이를 제거할 수 있게 하였다. 또한, 시감 색차를 갖는 예측 오차일 경우 그 오차값의 크기에 무관하게 복원된 영상에서 사람의 눈으로 식별 가능하기 때문에 이와 같은 예측 오차를 시감 색차를 이용해 0 에 가까운 값으로 재조정시키므로써 영상 데이터의 상관성을 높여 영상 부호화 효율을 증대시킬 수 있게 하였다. 한편, 예측 오차들을 제거할때 본 발명에서는 영상 복잡도 특성을 이용하는데, 이는 단순한 영상에 비해 복잡한 영상에서 오차를 둔감하게 느끼는 시감 특성을 영상 부호화 방법에 적용하기 위한 것으로 영상 복잡도를 시감 색차 특성을 이용해 분류하고, 분류된 복잡도마다 각기 다른 PCT 가중치를 부여하게 구성하여 영상 특성에 따른 예측 오차 제거 정도를 차별화할 수 있어 보다 높은 부호화 효율을 기대할 수 있게 하였다. 또한, 인간의 시감 색차 특성치는 연산의 복잡성을 줄이기 위해 LUT로 구성하여 이용한다.
본 발명은 각종 디지탈 영상 부호화 방법에 적용될 수 있으며, 화질 열화 없이 영상 부호화 효율을 향상시킬 수 있다는 잇점을 갖고 있다.
상술한 바와 같이 본 발명은 기존의 영상 부호화방법에 사람의 시감 색차 특성을 적용하여 부호화할 각 화소들마다의 주변 영상 특성을 정의하고 이에 따라 화소의 PCT값을 조정함으로써 복원된 영상에 대한 화질 열화는 초래하지 않으면서도 영상의 부호화 효율을 향상시키는 효과를 갖게 한다. 한편, 본 발명에서는 대상 화소의 주변 영상 복잡도를 시감 색차 특성을 이용해 정의하였는데 이는 기존에 분산값을 이용해 영상 복잡도를 정의하는 방법에 비해 다음과 같은 점에서 효과적인 점을 제공할 수 있는 장점이 있다. 첫째, 영상에서 Y 성분만으로는 정의할 수 없었던 색특성을 고려할 수 있다. 둘째, 복잡도에 대한 최대값을 알 수 있어 복잡도 정도를 쉽게 판단할 수 있는 기준을 제공할 수 있다. 셋째, 복잡도 범위를 알 수 있어 영상을 분류하는 것이 간단하다. 아울러, 발생된 예측 오차를 제거하는데 있어 주변 영상 특성을 고려할 수 있게 구성하여 보다 많은 오차 제거 효과를 기대할 수 있어 영상 부호화 효율을 향상시키는 효과를 갖는다. 그리고, 인간의 색시감 특성을 LUT에 구현하므로서 영상 부호화방법에 적용시 연산을 위한 부가적 처리 시간을 요구하지 않아 연산의 효율을 꾀할 수 있다는 장점을 갖는다. 또한, 기존의 영상 부호화 방법들과 호환성이 유지되도록 적용할 수 있다는 장점을 갖고 있다.

Claims (6)

  1. (a) 부호화하고자 입력되는 원영상의 각 화소에 대한 영상의 복잡도를 상기 화소를 중심으로 구성된 소정 크기의 윈도우 블럭내에서 인접한 주변 화소들간의 색차값과 각 화소들마다 정의된 시감 색차 특성값을 서로 비교하여 결정하는 단계;
    (b) 상기 결정된 복잡도에 따라 상기 원영상의 각 화소들마다 정의된 시감색차특성값에 가중치를 부여하여 각 화소의 시감색차특성값을 조정하는 단계; 및
    (c) 상기 부호화하고자 입력되는 원영상과 움직임 추정 및 보상에 의해 생성되는 이전 복원영상과의 차이인 예측오차로 정의되는 예측오차영상의 각 예측오차에 상기 조정된 각 화소의 시감색차특성값을 적용하여, 예측오차들을 0 이나 0 에 근접한 값으로 재조정하여 전체 오차 발생량을 줄인 시감예측오차 영상을 발생시키는 단계를 구비하는 것을 특징으로 하는 시감색차특성을 고려한 영상 부호화방법.
  2. 영상 신호의 공간 상관성을 추출하는 이산여현변환기와 시간 상관성을 추출하는 움직임 추정 및 보상기를 구비한 영상 부호화기에 있어서,
    부호화하고자 입력되는 원영상과 상기 움직임 추정 및 보상기에서 출력되는 이전 복원영상과의 차이인 예측오차로 정의되는 예측오차영상을 발생시키는 감산기; 및
    상기 원영상의 각 화소에 대하여 구해진 영상의 복잡도에 따라서 각 화소의 시감색차특성값의 가중치를 결정하고, 결정된 가중치가 적용되어 조정된 시감색차특성값을 상기 감산기로부터 제공되는 예측오차영상의 각 예측오차에 적용하여 시감색차를 발생하는 예측오차들만으로 구성된 시감오차영상을 구성하여 상기 이산여현변환기로 인가하는 시감예측오차 처리부를 구비하는 것을 특징으로 하는 시감 색차 특성을 고려한 영상 부호화기.
  3. 제2항에 있어서, 상기 시감예측오차 처리부는
    부호화할 원영상의 각 화소들 마다의 시감 색차 특성값을 룩업테이블을 이용해 정의하고, 원영상의 각 화소에 대한 영상의 복잡도를 상기 화소를 중심으로 구성된 NxN 크기의 윈도우 블럭내에서 인접한 주변 화소들간의 색차값과 시감 색차 특성값을 서로 비교하는 방식을 사용하여 결정하는 영상 복잡도 결정부;
    상기 영상 복잡도 결정부에서 결정된 복잡도에 따라 상기 원영상의 각 화소들마다 정의된 시감색차특성값에 가중치를 부여하여 각 화소의 시감색차특성값을 조정하는 허용 시감색차 조정부; 및
    상기 허용 시감색차 조정부에서 조정된 각 화소의 시감색차특성값을 상기 예측 오차 영상의 각 예측오차에 적용하여, 예측오차들을 0 이나 0 에 근접한 값으로 재조정하여 전체 오차 발생량을 줄인 시감예측오차 영상을 발생시키는 시감예측오차 발생부를 구비하는 것을 특징으로 하는 시감색차특성을 고려한 영상 부호화기.
  4. 제3항에 있어서, 상기 영상 복잡도 결정부는 Y 성분을 이용하는 분산값 대신에 원영상의 화소 O(x,y) (0≤x≤M-1, 0≤y≤M-1)을 입력받아 이 화소를 중심으로 하는 NxN 윈도우 Wx,y (단, (N-1)은 4의 배수) 의 영상 복잡도를 시감 색차 특성을 이용해 정의하여 부호화할 화소에 시감 특성을 고려한 시감 색차 특성 가중치를 부여할 수 있도록 하는 것을 특징으로 하는 시감 색차 특성을 고려한 영상 부호화기.
  5. 제3항에 있어서, 상기 허용 시감 색차 조정부는 상기 영상 복잡도 결정부에서 정의된 복잡도를 입력 받아 특정 크기의 복잡도 구간들로 나누고, 복잡도가 크면 큰 시감 색차 특성 가중치를, 그렇지 않으면 작은 시감 색차 특성 가중치를 영상 복잡도에 따라 차별적으로 부여하는 것을 특징으로 하는 시감 색차 특성을 고려한 영상 부호화기.
  6. 제3항에 있어서, 상기 시감 예측 오차 발생부는 상기 허용 시감 색차 조정부에서 정의된 시감 색차 특성값(Ty, Tu, Tv)와 예측 오차 영상의 각 색성분별 크기(eY, eU, eV)를 비교하여 조정된 시감색차특성값의 크기보다 작은 값을 갖는 예측 오차들은 시감 색차를 갖지 않는 오차들로 판단하여 모두 0 으로 치환시키고, 시감 색차 특성값보다 큰 크기값을 갖는 예측 오차들은 0 에 근접하는 값으로 변환시키는 것을 특징으로 하는 시감 색차 특성을 고려한 영상 부호화기.
KR1019960046495A 1996-10-15 1996-10-15 시감색차특성을고려한영상부호화방법및영상부호화기 KR100403804B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960046495A KR100403804B1 (ko) 1996-10-15 1996-10-15 시감색차특성을고려한영상부호화방법및영상부호화기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960046495A KR100403804B1 (ko) 1996-10-15 1996-10-15 시감색차특성을고려한영상부호화방법및영상부호화기

Publications (2)

Publication Number Publication Date
KR19980027652A KR19980027652A (ko) 1998-07-15
KR100403804B1 true KR100403804B1 (ko) 2003-12-18

Family

ID=37422563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960046495A KR100403804B1 (ko) 1996-10-15 1996-10-15 시감색차특성을고려한영상부호화방법및영상부호화기

Country Status (1)

Country Link
KR (1) KR100403804B1 (ko)

Also Published As

Publication number Publication date
KR19980027652A (ko) 1998-07-15

Similar Documents

Publication Publication Date Title
KR100740818B1 (ko) 분산 기반의 적응형 블록 사이즈 ｄｃｔ 이미지 압축
KR0184905B1 (ko) 부호량제어장치 및 이것을 사용한 부호화장치
JP3642783B2 (ja) ディスプレイ
JP5107495B2 (ja) 品質ベースのイメージ圧縮
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
US4745473A (en) Hybrid image compression system
JPH0746596A (ja) イントラ−ブロックｄｃ変換係数量子化方法
JP5608245B2 (ja) イメージエンコーダ、イメージデコーダ、符号化されたイメージデータを提供するための方法、イメージデータを復号化するための方法およびコンピュータプログラム
JP2008533937A (ja) Ｄｃｔコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法
JP4045913B2 (ja) 画像符号化装置、画像符号化方法、および画像処理装置
ZA200400075B (en) Interframe encoding method and apparatus.
KR100389893B1 (ko) 영상 특성 분류법을 이용한 영상 부호화 장치
KR100403804B1 (ko) 시감색차특성을고려한영상부호화방법및영상부호화기
KR100316770B1 (ko) 시감색차특성을 고려한 영상부호화 방법 및 장치
JP3736291B2 (ja) 画像信号復号化装置および方法
JP3517455B2 (ja) 画像符号化方法及び装置
KR100261251B1 (ko) 영상신호 특성분류를 이용한 양자화 간격 결정방법 및 장치
JP3517454B2 (ja) 画像符号化装置及び画像符号化方法
JP2000196894A (ja) 画像符号化装置
JP2005086226A (ja) 撮像装置
JPS6374268A (ja) カラー画像データ圧縮装置
JP3176057B2 (ja) 画像処理装置
JPH0481916B2 (ko)
JPS6376684A (ja) カラー画像符号化装置
JP2019004304A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080930

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee