KR100316764B1

KR100316764B1 - 시감특성을 이용한 영상 부호화방법 및 장치

Info

Publication number: KR100316764B1
Application number: KR1019960001097A
Authority: KR
Inventors: 류성걸
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1996-01-19
Filing date: 1996-01-19
Publication date: 2002-02-28
Also published as: KR970060939A

Abstract

본 발명은 시감특성을 이용한 영상 부호화방법 및 장치에 관한 것으로서, 제1 칼라 룩업테이블에 저장된 각 화소값의 색차특성을 근거로 하여, 매크로블럭을 텍스쳐 마스킹을 사용하여 소정의 텍스쳐 클래스로 분류하는 과정; 매크로블럭을 4개의 서브블럭으로 나누어 각 서브블럭의 평균색을 구하고, 평균색에 대한 분류를 실시하여 각 서브블럭의 분류값 중 최소값을 매크로블럭의 칼라 클래스로 결정하는 과정; 제1 및 제2클래스 분류과정에서 분류된 클래스를 조합하여 매크로블럭의 최종 클래스를 분류하는 과정; 매크로블럭의 각 최종 클래스에 대한 양자화간격과 분산값으로 분류한 비트모델을 사용하여 비트발생량을 예측하는 과정; 가변비트율 부호화에 맞는 각 프레임별 목표비트를 계산하는 과정; 및 예측된 비트발생량과 계산된 프레임별 목표비트를 이용하여 실제 비트발생량을 제어하는 과정을 구비한다. 따라서, 밝기 성분 및 색 성분을 고려하여 동화상을 압축함으로써 인간의 시감특성에 더욱 가까운 고효율의 압축을 달성할 수 있고, VBR 부호화시 화질의 결정을 용이하게 하였고, 원하는 목표비트에 맞추기 위한 반복과정을 3회 이내로 줄여 부호화에 소요되는 시간을 단축시킬 수 있다.

Description

시감특성을 이용한 영상 부호화방법 및 장치

본 발명은 영상 부호화방법 및 장치에 관한 것으로서, 특히 영상을 복잡도와 색 등의 시감특성을 이용하여 분류하고, 분류된 특성에 맞는 양자화간격을 사용하여 부호화하기 위한 영상 부호화방법 및 장치에 관한 것이다.

디지탈 영상신호는 정보량이 많기 때문에 제한적 용량의 전송로를 통해 전송하기 위해서는 디지탈 영상신호를 압축해야 할 필요가 있다. 압축기법의 국제적 표준을 주도하는 집단이 바로 MPEG(Moving Picture Experts Group)이다. MPEG은 지난 93년 디지탈 저장매체용 압축규격 MPEG1을 제정한데 이어 94년에는 디지탈 방송용 압축규격 MPEG2를 확정했다. 최근에는 화상회의용 초저속 고압축 기법인 MPEG4 규격 제정에 관심을 집중하고 있다.

일명, CD(Compact Disk) 롬 규격인 MPEG1 규격은 음성 및 동화상을 1.5Mbps로 압축하여 VHS 수준의 화질을 퍼스널 컴퓨터에서 구현할 수 있게 해준다. HDTV용 규격으로 통하는 MPEG2 규격은 음성 및 동화상을 3∼30Mbps로 압축해 일반방송에 버금가는 화질을 제공한다. 이 규격은 96년부터 본격화될 HDTV, 위성방송, 대화형 TV, 디지탈 비디오 디스크(DVD) 등 첨단매체에 널리 채용될 전망이다. 한편, 화상회의 규격으로 대두되는 MPEG4는 MPEG1과 MPEG2가 압축율을 높여 빠른 전송을 하는데 중점을 둔 반면, 64Kbps급의 초저속 고압축을 실현에 목적을 두고 있다.

동영상 부호화를 위한 정보량은 영상신호의 시공간적인 특성 즉, 영상의 복잡도, 움직임, 색 등에 따라 변화한다. 전술한 동화상 압축기법 중 고정비트율(Constant Bit Rate;이하 CBR이라 약함) 부호화에서는 큰 복잡도를 갖는 부분에서 발생하는 초과정보를 버퍼에 일시적으로 저장함으로써 가변적인 정보량을 완화시키게 된다. 그러나, 시간지연과 비용 등을 감안할때 버퍼의 크기는 제한될 수 밖에 없으며, 버퍼의 넘침(buffer overflow)을 막기 위하여 비트발생률을 감소시켜 주어야 한다. 이러한 조절을 통해서 고정비트율을 얻을 수 있지만 복잡도가 큰 부분에서는 화질의 열화가 심하고, 복잡도가 작은 부분에서는 할당된 비트의 불필요한 낭비를 초래하는 단점이 있다. 또한, 부호화된 영상의 화질이 불균일하여 변화가 많은 영상을 얻을 수 밖에 없다. 일반적으로 인간의 시감특성은 왜곡 자체 뿐만 아니라 왜곡의 불균일에 민감하게 반응한다. 반면, 가변비트율 부호화(Variable Bit Rate;이하 VBR이라 약함)에서는 영상의 복잡도에 따라서 필요한 비트수를 할당할 수 있으므로 CBR 부호화에 비하여 화질을 일정하게 유지할 수 있는 장점이 있다.

MPEG 형태의 영상 부호화에서 화질과 발생비트량을 조절하는 가장 일반적인 방법은 양자화간격을 조절하는 것이다. 양자화간격이 클수록 적은 양의 비트가 발생하고, 이와 반대로 양자화간격이 작을수록 많은 양의 비트가 발생하게 된다. CBR 부호화에서는 양자화간격을 동적으로 조절하기 위한 비트율 제어방법이 필요하게 되며, 이는 버퍼에서 비트발생율의 피드백을 통한 제어로 수행된다. 이런 비트율제어는 필연적으로 심각한 화질의 변화를 가져온다. 반면, VBR 부호화에서는 필요한 때만 많은 비트를 할당받게 되므로 균일한 화질을 얻을 수 있을 뿐만 아니라, CBR 부호화에서 보다도 낮은 평균 비트발생율로도 더 좋은 화질을 얻을 수 있다. 이때, 균일한 화질을 판정하는 방법과 평균 비트발생율을 얻기 위한 코딩방법 등에 의해 그 효율성이 달라진다.

제1도는 MPEG2 규격에서 제시한 부호화장치의 구성도로서, 영상신호를 입력되는 프레임의 순서에 따라 I,P,B 처리방식 중에서 한가지 처리방식으로 부호화한다. 여기서, I 프레임은 인트라 픽쳐(Intra Picture)로서 자체정보만을 이용하여 부호화하고, B 프레임은 쌍방향 예측부호화된 픽쳐(Bidirectionally Predictive-coded Picture)로서 현재 프레임의 이전, 이후 프레임을 참조해서 움직임정보를 추출하여 부호화하고, P 프레임은 예측부호화된 픽쳐(Predictive-coded Picture)로서 이전 프레임에서 움직임정보를 추출하여 부호화한다. 다시 말하면 I 프레임은 DPCM을 하지 않고 원화상을 직접 DCT 변환하며, P 및 B 프레임은 DPCM에 의한 차영상을 DCT 변환한다. 또한, P 프레임은 단방향 움직임벡터(Forward Motion Vector)만을 이용하여 차영상을 구하지만, B 프레임은 쌍방향 움직임벡터(Bidirectional Motion Vector)를 이용하여 차영상을 구한다.

그러나, 제1도에 도시된 MPEG2 영상 부호화장치에서는 인간의 시감특성을 반영하는 양자화간격을 결정하기 위하여 매크로블럭 액티비티(Macroblock Activity)라는 척도를 사용한다. 여기서, 매크로블럭 액티비티()는 다음 (1)식에서와 같이 매크로블럭내의 4개의 휘도신호 블럭의 분산값()을 각각 계산하여 그 중 최소값을 선택하는 척도이다.

일반적으로 인간의 시감특성은 단순한 영역에 대해 민감하고, 복잡한 영역에 대해 둔감하다. 그런데 영상신호의 분산값은 영상신호의 복잡도와 비례하므로 인간의 시감특성을 어느 정도 나타낸다고 할 수 있다. 그러므로 영상신호의 분산값을 이용하는 매크로블럭 액티비티는 인간의 시감특성을 어느 정도 반영하기는 하지만충분히 반영하는 것은 아니다. 즉, 제7도의 예에서와 같이 (a)와 (b)의 분산값은 같지만 (a)에 비해 (b)의 복잡도는 2배나 되므로 영상의 분산값만으로는 인간의 시감특성을 충분히 반영시킬 수 없는 문제가 있다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 복잡도와 칼라성분을 이용하여 매크로블럭 클래스를 분류하고, 각 클래스에 적합한 화질열화가 눈에 띄지 않는 최대 양자화간격과 평균 비트발생율에 맞춘 양자화간격을 구하고, 원하는 평균 비트발생율을 얻기 위해 구해진 클래스마다의 양자화간격을 이용하여 여러번의 반복과정을 거치지 않고 각 프레임별 목표비트를 구하고, 구해진 목표비트에 맞추어 비트율을 제어하는 영상 부호화방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 시감특성을 이용한 영상 부호화방법은 부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 각 화소값의 색차특성을 저장하고 있는 제1 칼라 룩업테이블과, 상기 매크로블럭의 평균색의 분류를 위해서 사용되는 제2 칼라 룩업테이블을 구비한 영상 부호화장치에 있어서,

상기 제1 칼라 룩업테이블에 저장된 각 화소값의 색차특성을 근거로 하여, 상기 매크로블럭을 텍스쳐 마스킹을 사용하여 소정의 텍스쳐 클래스로 분류하는 제1클래스 분류과정;

상기 매크로블럭을 4개의 서브블럭으로 나누어 상기 각 서브블럭의 평균색을 구하고, 상기 평균색에 대한 분류를 실시하여 상기 각 서브블럭의 분류값 중 최소값을 상기 매크로블럭의 칼라 클래스로 결정하는 제2클래스 분류과정;

상기 제1 및 제2클래스 분류과정에서 분류된 클래스를 조합하여 상기 매크로블럭의 최종 클래스를 분류하는 제3클래스 분류과정;

상기 제3클래스 분류과정에서 분류한 상기 매크로블럭의 각 클래스에 대한 양자화간격과 분산값으로 분류한 비트모델을 사용하여 비트발생량을 예측하는 비트발생량 예측과정;

가변비트율 부호화에 맞는 각 프레임별 목표비트를 계산하는 목표비트 계산과정; 및

상기 예측된 비트발생량과 상기 계산된 프레임별 목표비트를 이용하여 실제 비트발생량을 제어하는 비트발생량 제어과정을 구비하는 것을 특징으로 한다.

상기 목적을 달성하기 위하여 본 발명은 소스화상에 대하여 움직임 보상을 수행하여 차영상을 출력하는 움직임 보상수단, 상기 차영상을 이산여현변환하는 이산여현변환기, 상기 이산여현변환된 차영상을 소정의 양자화간격으로 양자화하는 양자화기, 상기 양자화된 신호를 가변장부호화하는 가변장부호화기와 상기 가변장부호화된 신호를 일정한 비트스트림으로 출력하는 버퍼를 구비한 시감특성을 이용한 영상 부호화장치에 있어서,

부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 인간의 시감특성을 근거로 하여 상기 매크로블럭의 클래스를 분류하는 매크로블럭 클래스 분류부;

상기 매크로블럭 클래스 분류부에서 분류된 매크로블럭의 시감특성에 적합한 기준 양자화간격을 저장하고 있는 Rq값 저장부;

블럭의 영상신호를 상기 기준 양자화간격으로 양자화할 경우 비트발생량을 예측하기 위하여 상기 블럭의 분산값을 소정 수의 구간으로 분류하는 블럭분산 분류부;

상기 블럭분산 분류부에서 분류된 각 구간의 블럭에 대하여 상기 기준 양자화간격과 상기 예측된 비트발생량과의 관계에 의한 비트모델을 저장하는 비트모델 저장부;

상기 매크로블럭 클래스 분류부의 분류결과와 상기 블럭 분산 분류부의 분류결과로부터 발생하는 블럭 클래스에 대하여 상기 블럭의 프레임내의 누적발생 빈도수를 계산하기 위한 히스토그램 계산부;

프레임내의 모든 매크로블럭을 각각의 매크로블럭 클래스 분류결과에 적합한 기준 양자화간격으로 양자화할 경우 상기 비트모델과 히스토그램으로 부터 프레임 비트발생량을 예측하기 위한 프레임 비트발생량 예측부;

전송속도를 고려하여 주어진 프레인 목표비트와 상기 프레임 비트발생량 예측부에서 계산된 프레임 비트발생량 예측치의 오차와 상기 비트모델를 고려하여 상기 블럭 분류의 모든 경우에 대한 블럭 목표 비트를 할당하기 위한 목표비트 할당부;

상기 프레임 목표비트와 프레임 비트발생량 예측치의 오차를 고려하여 상기 기준 양자화간격을 조정하기 위한 Rq값 조절부; 및

이전 매크로블럭까지의 부호화에 의한 비트발생량으로부터 버퍼점유량을 계산하고, 상기 버퍼점유량과 기준 양자화간격을 이용하여 최종 양자화간격을 구하기위한 비트율 제어부를 구비하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.

제2도는 본 발명에 의한 영상 부호화장치를 나타낸 블럭도로서, 제1도에 도시된 영상 부호화장치에 비하여 점선으로 나타난 매크로블럭 분류기(17)와 레이트 제어기(18)가 상이한 요소이다.

제3도는 제2도에 도시된 매크로블럭 분류기(17)의 세부 블럭도로서, 부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 각 화소값의 색차특성을 근거로 하여 매크로블럭을 텍스쳐 마스킹을 사용하여 소정의 텍스쳐 클래스로 분류하는 텍스쳐 마스킹부(31), 매크로블럭을 4개의 서브블럭으로 나누어 각 서브블럭의 평균색을 구하고, 평균색에 대한 분류를 실시하여 각 서브블럭의 분류값 중 최소값을 매크로블럭의 칼라 클래스로 결정하는 칼라 마스킹부(32), 텍스쳐 마스킹부(31)에서 사용되는 입력 영상신호의 각 화소값의 색차특성을 저장하고 있는 제1 칼라 룩업테이블(33), 칼라 마스킹부(32)에서 매크로블럭의 평균색의 분류를 위해서 사용되는 제2 칼라 룩업테이블(34), 텍스쳐 마스킹부(31)에서 출력되는 텍스쳐 클래스에 대하여 소정의 가중치(n)를 곱하기 위한 승산기(35)와, 승산기(35)와 칼라 마스킹부(32)에서 분류된 클래스를 조합하여 해당 매크로블럭의 최종 클래스로 분류하는 가산기(36)로 구성된다.

제4도는 제2도에 도시된 매크로블럭 분류 및 비트제어수단(17,18)의 세부 블럭도로서, 부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 인간의시감특성을 근거로 하여 상기 매크로블럭의 클래스를 분류하는 매크로블럭 클래스 분류부(41), 매크로블럭 클래스 분류부(41)에서 분류된 매크로블럭의 시감특성에 적합한 기준 양자화간격을 저장하고 있는 Rq값 저장부(42), 블럭의 영상신호를 기준 양자화간격으로 양자화할 경우 비트발생량을 예측하기 위하여 블럭의 분산값을 소정 수의 구간으로 분류하는 블럭분산 분류부(46), 블럭분산 분류부(46)에서 분류된 각 구간의 블럭에 대하여 기준 양자화간격과 예측된 비트발생량과의 관계에 의한 비트모델을 저장하는 비트모델 저장부(47), 매크로블럭 클래스 분류부(41)의 분류결과와 블럭 분산 분류부(46)의 분류결과로부터 발생하는 블럭 클래스에 대하여 블럭의 프레임내의 누적발생 빈도수를 계산하기 위한 히스토그램 계산부(43), 프레임내의 모든 매크로블럭을 각각의 매크로블럭 클래스 분류결과에 적합한 기준 양자화간격으로 양자화할 경우 비트모델과 히스토그램으로부터 프레임 비트발생량을 예측하기 위한 프레임 비트발생량 예측부(44), 전송속도를 고려하여 주어진 프레임 목표비트와 프레임 비트발생량 예측부(44)에서 계산된 프레임 비트발생량 예측치의 오차와 비트모델를 고려하여 블럭 분류의 모든 경우에 대한 블럭 목표 비트를 할당하기 위한 목표비트 할당부(48), 프레임 목표비트와 프레임 비트발생량 예측치의 오차를 고려하여 기준 양자화간격을 조정하기 위한 Rq값 조절부(45), 이전 매크로블럭까지의 부호화에 의한 비트발생량으로부터 버퍼점유량을 계산하고, 버퍼점유량과 기준 양자화간격을 이용하여 최종 양자화간격을 구하는 비트율 제어부(49)로 구성된다.

그러면 본 발명의 작용 및 효과에 대하여 첨부된 도면을 참조하여 설명하기로 한다.

통상적으로, 영상의 복잡도 뿐만 아니라 매크로블럭의 평균색이 어느색인가에 따라 인간이 인지하는 색차를 느끼는 정도가 달라진다. 즉, 일반적으로 어두운 부분이 밝은 부분에 비해 민감하므로 처리하고자 하는 매크로블럭의 시감특성을 반영해서 시감에 덜 민감한 부분은 양자화간격을 크게 하고, 민감한 부분은 상대적으로 양자화간격을 적게 함으로써 기존의 방법보다 압축율을 갖는 부호화를 달성할 수 있다. 즉, 같은 정도의 비트발생량을 보이더라도 시감적으로는 더욱 양호한 화질의 복원영상을 얻을 수 있는 것이다.

제2도에 있어서, 매크로블럭 분류기(17)는 소스화상의 매크로블럭내에 존재하는 영상신호에 대한 색신호특성 및 복잡도특성을 근거로 하여 n개의 매크로블럭 클래스로 분류하기 위한 것이다. 이를 제3도를 참조하여 상세히 설명하기로 한다.

즉, 매크로블럭 분류기(17)에서 수행되는 색신호특성 및 복잡도 특성에 따른 분류를 살펴보면, 우선 MPEG2와는 달리 복잡도 계산을 위해서 Y, Cb, Cr 신호를 받아들이고, 텍스쳐 마스킹부(31)에서 다음 (2)식에 근거하여 매크로블럭내의 텍스쳐 마스킹값을 구한다.

상기 (2)식에서 H_n은 가로방향으로 현재 화소와 인접한 다음 화소 사이의 차에 대해 제1 칼라 룩업테이블(33)에 저장된 문턱값(th)과 비교한 결과 문턱값을 초과한 갯수이고, V_n은 세로방향으로 계산한 것이다. 이때, 텍스쳐 마스킹값은 가로 및 세로방향의 값을 더한 것으로서, 실시예에 의하면

if 텍스쳐 마스킹 > 64, 클래스=0;

else if 텍스쳐 마스킹 > 144, 클래스=1;

else if 텍스쳐 마스킹 > 244, 클래스=2;

else 클래스 = 3

의 4가지로 나눌 수 있다.

이때, 8*8*8 룩업테이블인 경우, 현재 처리중인 화소의 칼라(0∼255 사이의 값)값의 상위 3비트를 사용하여 제1 칼라 룩업테이블(33)을 어드레싱하고, 어드레스에 해당하는 구간의 문턱값을 텍스쳐 마스킹부(31)에 인가한다. 이때 문턱값은 색차를 느끼는 정도의 값을 나타낸다.

한편, 칼라 마스킹부(32)에서는 16*16 매클로블럭을 8*8 블럭 4개로 분리하고, 각 블럭에 대해 다음 (3)식

에 의해 평균색을 구한다. 구해진 평균색에 대해 제2칼라 룩업테이블(34)에서 구해진 클래스를 참조하여 4개의 블럭 중 클래스가 최소인 것을 해당 매크로블럭의 칼라 클래스로 결정한다.

본 발명에서는 텍스쳐 마스킹부(31)에서 인간의 시감특성을 충분히 반영하기 위하여 공간주파수 계산과 칼라 오차허용도(tolerance)를 혼합한 텍스쳐 마스킹 척도를 사용한다. 칼라 오차허용도 룩업테이블 즉, 제1 칼라 룩업테이블(33)에 의해 도출되는 문턱값(th)를 이용하여 매크로블럭의 공간주파수를 상기 (2)식에 의해 계산한다.

즉, 인접 화소간의 휘도신호의 밝기 차이가 문턱값보다 클 경우에만 휘도신호의 밝기변화를 인간이 식별할 수 있으므로 공간주파수를 계산할때 반영하고, 인접 화소간의 휘도신호의 밝기 차이가 문턱값보다 작을 경우에는 공간주파수 계산에 반영하지 않는다.

상기 (2)식과 같은 텍스쳐 마스킹 척도를 사용하면 제7도의 (a)와 (b)를 명확하게 구별할 수 있으므로 영상신호의 복잡도를 MPEG의 액티비티 척도에 비해 정확하게 계산할 수 있다. 또한, 본 발명의 텍스쳐 마스킹 척도는 단순히 인접 화소간의 차이만을 이용하는 것이 아니고, 인간의 시감특성을 고려하므로 MPEG의 복잡도 척도에 비해 매크로블럭의 영상신호에 대한 인간의 시감특성을 충분히 반영할 수 있다.

한편, MPEG에서의 부호화방식이 주로 밝기(Lumimance) 성분에 의존하는데 반해 색차를 인식할때는 밝기 뿐만이 아니라 색상(Chrominance) 성분도 복합적으로 작용하기 때문에 색상의 반영이 필요하다. 따라서 YCbCr 좌표계에서 균등색공간의값인 CIEL^*2^*4^*나 CIEL^*u^*v^*등으로 변환한 뒤, 칼라 오차허용도를 계산하거나 측정해서 시감과 일치하는 YCbCr 좌표계의 오차허용도를 찾는다. YCbCr 좌표계는 MPEG에서 사용하는 표준 좌표계로 입력 데이타가 YCbCr 좌표값으로 되어 있어 해당하는 YCbCr에 대한 칼라 오차허용도값의 도출이 필요하다.

제8A도는 맥베쓰 차트(Macbeth Chart)의 측색된 CIEL^*a^*b^*값을 사용하여 칼라 측정 위원회(CMC)에서 정한 색차식을 적용하여 각 칼라 칩들의 칼라 오차허용도를 그려본 것이다. 결과를 보면 칼라 칩의 a,b 좌표상의 위치에 따라 오차허용도의 크기가 달라지는 것을 알 수 있다.

따라서, YCbCr 좌표계에서 구해진 오차허용도늑 제8B도에 도시된 바와 같다. 결과를 보면 각각의 칼라 칩을 YCbCr 좌표의 Cb, Cr(U,V)에 플로트했을 경우 각각 불규칙한 칼라 오차허용도 경계를 갖는 것을 알 수 있다. 이는 YCbCr 좌표계가 인간의 시감특성과 선형적이지 못하다는 의미이고, 따라서 YCbCr 색은 각 위치에 따라 민감한 부분과 덜 민감한 부분으로 구분될 수 있다. 두 색에 대해 느끼는 차이(색차)는 주로 밝기(Y)성분에 의존하지만 같은 밝기라도 색상성분(Cr,Cb)에 의해서도 그 변이가 많다.

다음 (4)식은 칼라 측정 위원회(CMC)에서 제안한 색차식으로 CIEL^*a^*b^*를 기준으로 두 색 사이의 시감차를 계산하기 위한 것이다.

MPEG에서 사용되는 색좌표계는 균등 색공간이 아니므로 색좌표계내의 어떤 점의 색과 주변색에 대한 차이를 감지할 수 있는 경계가 비선형적인 특성을 내포하고 있어 원화상(Original Image)과 복원영상(Reconstructed Image) 사이의 색차를 적게 하기 위해서는 기존의 밝기(Y)성분과 액티비티에 의해 결정되는 양자화간격에 칼라를 고려해야 할 필요성이 있다. 따라서 기존의 YCbCr 좌표를 균등색공간인 CIEL^*a^*b^*나 CIEL^*u^*v^*등의 공간으로 변환하고, 원화상과 압축/복원화상과의 색차를 구한 후, 양자화간격을 결정하는 것이 시감특성을 더욱 반영하는 방법이다. 그러나, 실제 MPEG 부호화시 YCbCr 좌표를 CIEL^*a^*b^*등으로 실시간 변환하는 것도 복잡도 면에서 불가능할 뿐만 아니라 색차 계산에도 많은 시간이 소요될 수 있다. 따라서 본 발명에서는 색의 민감도 판별을 위하여 룩업테이블을 사용한다.

먼저, 제1 칼라 룩업테이블(33)을 구성하는 방법에 대하여 설명하면 다음과같다.

YCbCr를 0,32,64 순으로 각 8단계(8*8*8)로 구분하고 각 구간의 중심점의 YCbCr를 사용하여 원하는 색차(: CMC가 제안한 색차공식에 의거)의 각 경계를 계산함에 있어서, 다음 세단계를 거쳐 수행된다.

제1단계. YCbCr를 8*8*8(YCbCr 각각 0,32,64,...,255)개의 구간으로 나누고, 각 구간의 중심을 기준으로 -Y 방향, +Y 방향, -Cb 방향, +Cb 방향, -Cr 방향, +Cr 방향의 6 방향으로 변화시키면서 원하는 색차만큼의 경계를 구한다.

제2단계. 구해진 구간 마다의 값은 대표값에 대한 차로서 YCbCr의 최대, 최소값이다. 이때, Y의 범위는 16∼235이고, Cb, Cr의 범위는 16∼245까지가 유효하다.

제3단계. YCbCr 값은 영상의 소스가 ITU-R 권고안 709(1990), ITU-R 권고안 624-4 시스템 M, ITU-R 권고안 624-4 시스템 B,G,SMPTE 170M, SMPTE 240M(1987) 중 어떤 것이냐에 따라 각자 구해질 수 있다.

다음, 제2 칼라 룩업테이블(34)은 제5도의 예에서와 같이 크기별로 분류되어 n개의 종류로 나눠진다.

그러면 전술한 바와 같이 분류된 여상에 대한 양자화간격을 결정하는 방법에 대하여 설명하기로 한다.

상기 과정을 거쳐 각 매크로블럭은 32개의 클래스 중 하나로 분류가 이루어지는데, 각 클래스마다의 최적 양자화간격을 결정하기 위해서 다음과 같은 과정을 거치게 된다. 첫째, 테스트 영상에 대하여 양자화간격을 고정시켜 양자화한 후 복원한다. 이때 양자화간격은 2∼32까지 30단계 각각에 대하여 생성시킨다. 둘째, 각 매크로블럭을 분류한 클래스별로 한 프레임에 재구성한다. 셋째, 제5도에서와 같이 가로방향으로는 같은 클래스를 모으고, 세로방향으로는 각 양자화간격별로 압축/복원한 결과영상으로 재구성한다. 넷째, 각 클래스별로 구성된 프레임을 사용하여 원화상과 차이점을 발견할 수 있는 최소 양자화간격(JND Qss)를 찾는다. 또한, 화질이 열화되어 완전히 뭉그러지는 양자화간격(Qss)을 정하는 각 클래스별로 화질열화 정도를 구한다. 다음 표1은 1 프레임에 대한 JND Qss값을 나타내고, 표2는 P, B 프레임에 대한 JND Qss값을 나타내고, 표3은 1 프레임에 대한 최대 열화 Qss값을 나타내고, 표4는 P, B 프레임에 대한 최대 열화 Qss값을 각각 나타낸다.

(표 1)

(표 2)

(표 3)

(표 4)

VBR 부호화에 있어서 가장 중요한 것은 각 프레임의 목표 비트를 결정하는 기준이다. 일반적으로 대부분의 화질 판단 요소가 PSNR을 기준으로 하는데 비해 본 발명에서는 전술한 화질 열화가 발견되는 최초의 양자화간격 및 화상의 패턴이 완전히 뭉그러지는 최초의 양자화간격을 기준으로 했기 때문에 시감특성을 더욱 반영한 결과를 얻을 수 있다.

영상의 특성을 고려한 프레임별 목표비트 결정방법을 제4도와 제6도를 참조하여 설명하기로 한다. 먼저 첫번째 반복시 처리한 영상의 각 프레임에 대해 JND Qss값만으로 부호화하고, 프레임내의 각 매크로블럭에 대한 클래스분류를 실시한다(제61 내지 제63단계). 이때 클래스 분류는 매크로블럭 클래스 분류부(41)와 블럭분산 분류부(46)에서 텍스쳐 및 칼라 그리고 분산값을 이용하게 분류한다. 블럭분산 분류부(46)에서는 각 분산값에 해당되는 매크로블럭의 갯수들을 프레임별로 만든 히스토그램을 계산한다. 이때, 분산값은 다음의 예에서와 같이 I, P, B 프레임별로 각각 분류되고, 0∼15 중의 하나로 분류된 값은 텍스쳐 및 칼라에 의해 구해진 32개의 클래스의 쌍에 의해 두번째 부호화시의 반복횟수 추정 및 조정단계(제64단계)에 사용된다.

( 예 )

한편, 초기 양자화간격은 JND Qss값을 양자화간격(Rq) 저장부(42)에서 가져와서 변경없이 부호화를 실시하여(제66단계) 비트발생량을 계산한다(제67단계). 제68단계에서는 프레임별 발생한 비트의 합을 전체 목표비트량을 비교하여, 프레임별 발생한 비트의 합이 전체 목표비트량보다 적을 경우에는 또 다른 반복없이 그때의 Rq 값과 프레임별 목표비트를 계산해서 저장한다(제69단계). 만약, 프레임별 발생한 비트의 합이 전체 목표비트량보다 클 경우에는 프레임별 목표비트를 구하기 위해 반복횟수 추정 및 조정단계(제64단계)에서 분류된 클래스와 히스토그램을 사용하고 다음 표5 내지 표7에 각각 도시된 I, P, B 프레임의 비트모델 프로파일을 참조하여 다음 (5)식에 의해 산출되는 목표비트량과 가장 근접한 예측 비트발생량()을 출력하는 반복횟수를 선택한 후, 반복횟수와 소정의 가중치를이용하여 다음 (6)식에 의해 JND Qss값을 변경시킨 양자화간걱(Rq)으로 부호화를 실시한다.

상기 (5)식에서 Mc는 매크로블럭 클래스, Bv는 블럭 분산 클래스를 각각 나타낸다.

상기 방법을 이용할 경우 최대한 3번 정도의 반복횟수만으로도 원하는 정도의 화질이 균등한 프레임별 목표비트를 얻을 수 있다.

(표 5)

(표 6)

(표 7)

다음, 평균 비트발생율을 만족하는 비트율 제어방법에 대하여 설명하기로 한다.

CBR 부호화의 경우에는 전송률이 결정되면 프레임별 목표비트가 버퍼의 크기에 비례하지만, GOP또는 프레임당 거의 일정한 목표비트가 할당된다. 그러나, VBR 부호화의 경우에는 프레임의 특성에 따라 프레임별 목표비트가 가변적으로 할당될 수 있기 때문에 본 발명의 경우 평균 비트발생율에 대한 프레임별 목표비트를 전술한 방법으로 할당받게 된다. 프레임별 목표비트()는 다음 (7)식으로 표현되는 목표비트()와 실제 발생비트()와의 차(Diff)를 다음 (8)식에 의해각 GOP내에서 적절히 배분하여 조절된다.

상기 (7)식과 (8)식에서는 각각 GOP 내의 I,P,B 프레임 목표비트의 합이고, Diff는 목표비트의 현재까지의 누적치와 실제 비트발생량의 누적치의 차로 상기 (8)식에 의해 초기에 입력된 값이 재할당된다.

이렇게 구해진 프레임별 목표비트는 목표비트를 만족시키는 제6도에서 구해진 Rq 및 목표비트를 사용하여 목표비트에 맞게 비트제어를 하기 위해 다음 과정을 수행한다. 첫째, Rq에 의해 발생할 비트량(BIT1)을 추정하는데, 이 값은 제6도의 경우 이미 알고 있는 값이다. 둘째, 비트모델에 의해 Rq에 의해 발생할 비트량(BIT2)을 다음 (9)식에 의해 추정한다.

셋째, 목표비트(T)와 그 Rq값으로 발생할 실제 비트(BIT1)의 차(Diff)를 다음 (10)식에 의해 계산한다.

넷째, 다음 (11)식에 의해 Rq 값을 조정한다.

다섯째, 매크로블럭당 목표비트(Tb)를 다음 (12)식에 의해 할당한다.

여섯째, 비트제어시 Tb값을 이용하여 각 매크로블럭당 실제 비트발생량과 목표 비트발생량의 차이를 보상하는 쪽으로 매크로블럭당 최종 양자화간격을 조정한다.

상술한 바와 같이 본 발명에 의한 영상 부호화방법 및 장치에서는 밝기 성분 및 색 성분을 고려하여 동화상을 압축함으로써 인간의 시감특성에 더욱 가까운 고효율의 압축을 달성할 수 있다. 또한, 화상의 복잡도를 인간의 시감특성을 근거로 하여 평탄부와 복잡부로 분류함으로써 압축시 화상의 특성을 더욱 반영할 수 있다. 또한, MPEG 엔코더 등에 적용되어 화상의 특성에 시감특성을 반영하여 고효율의 압축을 달성하는데 이용할 수 있다. 또한, VBR 부호화시 화질의 결정을 용이하게 하였고, 원하는 목표비트에 맞추기 위한 반복과정을 3회 이내로 줄여 부호화에 소요되는 시간을 단축시킬 수 있다.

제1도는 종래의 MPEG2 영상 부호화장치를 나타낸 블럭도.

제2도는 본 발명에 의한 영상 부호화장치를 나타낸 블럭도.

제3도는 제2도에 도시된 매크로블럭 분류부의 세부 블럭도.

제4도는 제2도에 도시된 매크로블럭 분류 및 비트제어의 세부 블럭도.

제5도는 JND Qss를 확인하기 위해 만든 프레임의 예.

제6도는 본 발명에 적용되는 프레임별 목표비트 계산 및 양자화간격 조정방법을 설명하기 위한 흐름도.

제7도는 복잡도의 예를 설명하기 위한 도면.

제8A,8B도는 각각 멕베쓰 챠트 칼라 오차허용도를 나타낸 그래프.

Claims

부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 각 화소값의 색차특성을 저장하고 있는 제1 칼라 룩업테이블과, 상기 매크로블럭의 평균색의 분류를 위해서 사용되는 제2 칼라 룩업테이블을 구비한 영상 부호화장치에 있어서,

상기 제1 칼라 룩업테이블에 저장된 각 화소값의 색차특성을 근거로 하여, 상기 매크로블럭을 텍스쳐 마스킹을 사용하여 소정의 텍스쳐 클래스로 분류하는 제1클래스 분류과정;

상기 매크로블럭을 4개의 서브블럭으로 나누어 상기 각 서브블럭의 평균색을 구하고, 상기 평균색에 대한 분류를 실시하여 상기 각 서브블럭의 분류값 중 최소값을 상기 매크로블럭의 칼라 클래스로 결정하는 제2클래스 분류과정;

상기 제1 및 제2클래스 분류과정에서 분류된 클래스를 조합하여 상기 매크로블럭의 최종 클래스를 분류하는 제3클래스 분류과정;

상기 제3클래스 분류과정에서 분류한 상기 매크로블랙의 각 클래스에 대한 양자화간격과 분산값으로 분류한 비트모델을 사용하여 비트발생량을 예측하는 비트발생량 예측과정;

가변비트율 부호화에 맞는 각 프레임별 목표비트를 계산하는 목표비트 계산과정; 및

상기 예측된 비트발생량과 상기 계산된 프레임별 목표비트를 이용하여 실제 비트발생량을 제어하는 비트발생량 제어과정을 구비하는 것을 특징으로 하는 시감특성을 이용한 영상 부호화방법.
소스화상에 대하여 움직임 보상을 수행하여 차영상을 출력하는 움직임 보상수단, 상기 차영상을 이산여현변환하는 이산여현변환기, 상기 이산여현변환된 차영상을 소정의 양자화간격으로 양자화하는 양자화기, 상기 양자화된 신호를 가변장부호화하는 가변장부호화기와, 상기 가변장부호화된 신호를 일정한 비트스트림으로 출력하는 버퍼를 구비한 영상 부호화장치에 있어서,

부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 인간의 시감특성을 근거로 하여 상기 매크로블럭의 클래스를 분류하는 매크로블럭 클래스 분류부;

상기 매크로블럭 클래스 분류부에서 분류된 매크로블럭의 시감특성에 적합한 기준 양자화간격을 저장하고 있는 Rq값 저장부;

블럭의 영상신호를 상기 기준 양자화간격으로 양자화할 경우 비트발생량을 예측하기 위하여 상기 블럭의 분산값을 소정 수의 구간으로 분류하는 블럭분산 분류부;

상기 블럭분산 분류부에서 분류된 각 구간의 블럭에 대하여 상기 기준 양자화간격과 상기 예측된 비트발생량과의 관계에 의한 비트모델을 저장하는 비트모델 저장부;

상기 매크로블럭 클래스 분류부의 분류결과와 상기 블럭 분산 분류부의 분류결과로부터 발생하는 블럭 클래스에 대하여 상기 블럭의 프레임내의 누적발생 빈도수를 계산하기 위한 히스토그램 계산부;

프레임내의 모든 매크로블럭을 각각의 매크로블럭 클래스 분류결과에 적합한 기준 양자화간격으로 양자화할 경우 상기 비트모델과 히스토그램으로 부터 프레임 비트발생량을 예측하기 위한 프레임 비트발생량 예측부;

전송속도를 고려하여 주어진 프레임 목표비트와 상기 프레임 비트발생량 예측부에서 계산된 프레임 비트발생량 예측치의 오차와 상기 비트모델을 고려하여 상기 블럭 분류의 모든 경우에 대한 블럭 목표 비트를 할당하기 위한 목표비트 할당부;

상기 프레임 목표비트와 프레임 비트발생량 예측치의 오차를 고려하여 상기 기준 양자화간격을 조정하기 위한 Rq값 조절부; 및

이전 매크로블럭까지의 부호화에 의한 비트발생량으로부터 버퍼점유량을 계산하고, 상기 버퍼점유량과 기준 양자화간격을 이용하여 최종 양자화간격을 구하기 위한 비트율 제어부를 구비하는 것을 특징으로 하는 시감특성을 이용한 영상 부호화장치.
제2항에 있어서, 상기 매크로블럭 클래스 분류부는 부호화하고자 입력되는 영상신호를 구성하는 매크로블럭에 대한 각 화소값의 색차특성을 근거로 하여, 상기 매크로블럭을 텍스쳐 마스킹을 사용하여 소정의 텍스쳐 클래스로 분류하기 위한 텍스쳐 마스킹부;

상기 텍스쳐 마스킹부에서 사용되는 상기 입력 영상신호의 각 화소값의 색차특성을 저장하고 있는 제1 칼라 룩업테이블;

상기 매크로블럭을 4개의 서브블럭으로 나누어 상기 각 서브블럭의 평균색을 구하고, 상기 평균색에 대한 분류를 실시하여 상기 각 서브블럭의 분류값 중 최소값을 상기 매크로블럭의 칼라 클래스로 결정하는 칼라 마스킹부;

상기 칼라 마스킹부에서 상기 매크로블럭의 평균색의 분류를 위해서 사용되는 제2 칼라 룩업테이블; 및

상기 텍스쳐 마스킹부와 상기 칼라 마스킹부에서 분류된 클래스를 조합하여 해당 매크로블럭의 최종 클래스로 분류하기 위한 가산기를 구비하는 것을 특징으로 하는 시감특성을 이용한 영상 부호화장치.