KR100886192B1 - 움직임 보상기반 영상 복호화를 위한 영상 압축방법 - Google Patents

Abstract

본 발명은 영상 처리 방법에 관한 것으로서, 특히 MPEG2와 같은 움직임 보상(Motion Compensation) 기반 영상 복호화를 위한 영상 압축 알고리즘에 관한 것이다.

본 발명은 비디오 영상을 처리하는 방법에 있어서, 비디오 영상 내의 소정 영역의 이미지 특성을 결정하는 단계와; 상기 소정 영역의 이미지 특성을 바탕으로 비디오 영상 처리를 수행하는 단계를 포함하며, 상기 이미지 특성을 결정하는 단계는, 제 1 비교 과정, 제 2 비교 과정 및 제 3 비교 과정을 순차적으로 수행하는 단계와, 상기 복수의 비교 과정에 따른 결과에 근거하여 상기 이미지 특성을 결정하는 단계를 포함하며, 상기 복수의 비교 과정 각각은 상기 소정 영역 내의 인접하거나 이웃하는 펠(pel) 사이의 차를 이용하여 얻어진 계산값에 근거하는 것을 특징으로 하는 비디오 영상 처리 방법을 제공한다.

따라서, 본 발명에 의하면, MPEG2와 같이 움직임 보상 기반의 영상 복호화를 수행할 때의 요구되는 메모리 용량 감축과, 메모리 액세스의 간소화 내지는 용이성을 높이고, 부호화 내지는 복호화를 위한 계산의 복잡도를 줄일 수 있다.

영상압축방법, MPEG2의 영상압축부호화

Description

움직임 보상기반 영상 복호화를 위한 영상 압축방법{METHOD OF IMAGE COMPRESSION FOR VIDEO DECODING BASED ON MOTION COMPENSATION}

도1은 본 발명의 영상압축방법을 설명하기 위한 번들 타입의 예를 나타낸 도면

도2는 본 발명의 영상압축방법을 설명하기 위한 코드 부여방법의 예를 나타나낸 도면

도3은 본 발명의 영상압축방법을 설명하기 위한 양자화 방법의 예를 나타낸 도면

도4는 본 발명의 영상압축방법을 설명하기 위한 코딩 테이블의 예를 나타낸 도면

본 발명은 영상 압축방법에 관한 것으로서 특히 MPEG2와 같은 움직임 보상(Motion Compensation)기반 영상 복호화를 위한 영상 압축 알고리즘으로서; 이미지의 특성에 따라 영역별로 다른 압축 부호화를 적용함에 있어서, 펠블럭(pel block)의 크기를 정의하고, 인접한 펠 사이의 차로부터 이미지 특성을 1차 구분하 고, 이미지 특성정보를 이용해서 이미지 특성을 이미지 타입별로 최종 분류하여 각각의 이미지 타입에 적절한 코드워드를 부여하는 방법으로 이미지 압축을 실행하는 영상 압축방법에 관한 것이다.

종래에 MPEG2와 같이 움직임 보상기반 영상 복호화를 위한 영상 압축방법으로 이미지내의 영역별 특성에 따라 다른 부호화 기법을 적용하여 이미지를 압축함으로써 메모리의 효율적 사용과 전송효율의 증대, 화질저하의 최소화 등을 도모하고 있다.

이러한 영상 압축방법에서는 계산의 간소화와 데이타 액세스의 효율성이나 용이성이 관건이 되고 있다.

종래의 영상 압축방법으로는 트리구조의 벡터 양자화(TSVQ)기법이나, 피라미드 벡터 양자화(PSQ)기법, 가변장 부호화(VLC)기법 등이 제안되고 있으나, 앞에서 설명한 바와같이 계산의 간소화와 데이타 액세스의 효율성 내지는 용이성을 골고루 만족시키지 못하고 있으며, 대부분 데이타 액세스의 효율성 내지 용이성을 충족시키면 계산이 복잡하던가, 계산이 간소한 대신 데이타 액세스의 효율성 내지는 용이성을 충족시키지 못하던가 하는 제약이 있었다.

본 발명은 영상을 압축 부호화함에 있어서, 인접한 두 펠(pel)간의 차이를 계산하여 이미지 영역을 마일드(mild) 영역, 엣지(edge) 영역, 랜덤 패턴(random pattern) 영역으로 구분하여 영역별로 다른 코드워드를 부여하는 방법으로 영상을 압축부호화 하는 방법으로서; 인접한 펠 사이의 차이로부터 1차적으로 이미지 특성 을 판단하고, 이 정보를 기초로 하여 이미지를 소정의 단위영역에 대한 특성으로서 정의되는 번들타입(bundle type)을 최종적으로 결정하면서 각각의 번들타입에 대응하는 코드워드를 적절하게 부여하는 방법으로 영상을 압축 부호화하는 영상 압축 방법을 제공한다.

특히, 본 발명은 펠블럭(pel block)의 크기를 설정하여 번들(bundle)을 정의하고, 인접하거나 이웃하는 펠 사이의 값들과 그 변화 패턴을 검색하여 이미지 특성을 판정하고, 각각의 이미지 특성에 적합한 해당 영역에 대한 코드워드를 적절한 비트 할당(bit allocation)을 통해 부여하는 방법으로 영상을 압축 부호화함으로써, MPEG2와 같이 움직임 보상 기반의 영상 복호화를 수행할 때의 요구되는 메모리 용량 감축과, 메모리 액세스의 간소화 내지는 용이성을 높이고, 부호화 내지는 복화를 위한 계산의 복잡도를 줄일 수 있도록 한 영상 압축방법을 제공한다.

또한 본 발명은 펠블럭의 크기를 설정하여 번들을 정의하고, 인접하거나 이웃하는 펠 사이의 값들과 그 변화 패턴을 검색하는 CDC(Classified Differential Coding)알고리즘을 제공함으로써, 영상 압축 부호화시의 요건인 계산의 복잡도와 메모리의 랜덤 액세스 성능을 만족시킬 수 있도록 한 영상 압축 방법을 제공한다.

본 발명은 비디오 영상을 처리하는 방법에 있어서, 비디오 영상 내의 소정 영역의 이미지 특성을 결정하는 단계와; 상기 소정 영역의 이미지 특성을 바탕으로 비디오 영상 처리를 수행하는 단계를 포함하며, 상기 이미지 특성을 결정하는 단계는, 제 1 비교 과정, 제 2 비교 과정 및 제 3 비교 과정을 순차적으로 수행하는 단 계와, 상기 복수의 비교 과정에 따른 결과에 근거하여 상기 이미지 특성을 결정하는 단계를 포함하며, 상기 복수의 비교 과정 각각은 상기 소정 영역 내의 인접하거나 이웃하는 펠(pel) 사이의 차를 이용하여 얻어진 계산값에 근거하는 것을 특징으로 하는 비디오 영상 처리 방법을 제공한다.

바람직하게는 상기 복수의 비교 과정 각각은, 상기 계산값과 소정의 기준값을 순차적으로 비교하는 것을 특징으로 한다. 더욱 바람직하게는 상기 이미지 특성을 결정하는 단계는, 상기 소정 영역을 하나의 번들(bundle)로 보고, 상기 소정 영역의 이미지 특성을 번들 타입(bundle type)으로 나타내는 것을 특징으로 한다.

그리고, 상기 비디오 영상 처리를 수행하는 단계는, 상기 결정된 이미지 특성에 따라 비디오 영상의 부호화 또는 복호화를 수행하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 종래와 동일한 구성 요소는 설명의 편의상 동일 명칭 및 동일 부호를 부여하며 이에 대한 상세한 설명은 생략한다.

본 발명에 따른 비디오 영상 처리방법은, 이미지 번들 타입을 결정하는 과정과, 상기 결정된 이미지 번들 타입에 대하여 각각 적절한 비트할당을 통해 코드워드를 부여하는 과정으로 이루어지는 것을 특징으로 한다.

바람직하게는, 상기 이미지 번들 타입을 결정하는 과정은, 이미지를 인간의 시각특성(이미지 인식에 영향을 주는 요소)을 기준으로 하여 마일드 영역과 엣지 영역과 랜덤패턴 영역으로 구분할 수 있도록 하고, 각각의 영역에 대하여 인접하거 나 이웃하는 펠 사이의 차와 변화 패턴으로부터 이미지의 특성을 최종적으로 판정하여 상기 각각의 펠 변화의 패턴에 대응하는 적절한 코드워드를 비트 할당을 통해 부여하는 방법으로 영상을 압축함을 특징으로 한다.

[1]. 먼저, 본 실시예에서는 번들을 정의한다.

번들은 가로×세로를 4pels×1pel의 크기로 정의하는 것이 바람직하다.

이 펠 블럭의 크기가 너무 크면 특징을 찾기 어렵고, 너무 작으면 코딩이득(coding gain)이 떨어지므로 본 실시예에서는 4×1을 1번들의 크기로 정의하였다.

[2]. 위와같이 정의된 펠블럭(1 번들)내의 인접한 펠 사이의 차를 구하여 번들의 타입이 마일드에 속할 것인가, 엣지에 속할 것인가, 랜덤패턴에 속할 것인가를 1차적으로 판정한다.

예를 들어 인접한 펠 사이의 차를 기준값(Th)과 비교하여 기준값을 넘으면 인접한 펠 사이의 값변화가 큰 경우이므로 엣지이거나 랜덤일 수 있고, 그렇지 않다면 마일드로 볼 수 있다.

이와같은 인접(내지는 이웃하는) 펠 사이의 차로부터 우리는 점프 인디케이터(J_ij)를 다음과 같이 정의하였으며, 이 점프 인디케이터는 펠 값이 어떻게 변화하는가를 반영하는 정보가 된다.

1 번들을 4개의 펠(p₀,p₁,p₂,p₃ ; p_i, 0≤i≤3)로 정의하였으므로, 인접한 펠(p₀-p₁, p₁-p₂, p₂-p₃) 사이의 차를 소정의 미리 설정한 기준값(J_T)과 비교하여,

(a). p_j-p_i＞J_T 이면 J_ij = + (펠값의 변화는 소정의 기준치 이상 증가)

(b). 절대값(p_j-p_i) ≤ J_T 이면 T_ij = 0 (펠값의 변화는 거의 없음)

(c). p_j-p_i＜J_T 이면 T_ij = - (펠값의 변화는 소정의 기준치 이상 감소)

따라서, 앞의 인접한 펠(p₀-p₁, p₁-p₂, p₂-p₃)에 대한 점프 인디케이터(J₀₁, J₁₂, J₂₃)를 구하여 그 값이 어떤 값으로 되는가에 따라 우리는 그 번들의 타입을 대략 마일드 번들, 엣지 번들, 랜덤 번들로 일단 분류할 수 있으며, 더욱 상세하게는 마일드, 랜덤번들은 각각 1가지, 엣지번들은 12 가지의 경우로 각각 분류할 수 있으며, 각각의 번들 타입에 대하여 도1과 같은 8개의 코드타입(Tc)을 각각 부여한다.

이러한 과정은 번들내에서 이웃하는 펠들에 대해서도 수행함으로써 최종적으로 번들 타입과 그 번들에서 펠값이 얼마만큼 어떠한 형태로 변화하는가 즉, 이미지의 최종적인 특성이 판정된다.

[3]. 앞에서 설명한 바와같이 인접한 펠내지는 이웃하는 펠들 사이의 차로부터 점프 인디케이터를 구하고, 이 것으로부터 번들 타입을 분류하였으며, 각각의 번들 타입에 대응하는 각각의 경우에 대하여 코드타입 8가지를 일단 결정하였다.

이와같이 결정된 코드 타입에 대해서 각각의 특성에 적합한 코드워드를 적절하게 선택하여 사용하는데, 본 발명에서는 앵커코드(anchor code ; Ca)와, 예측코드(prediction code ; Cp), 기울기 코드(slope code ; Cs), 그리고 기울기 보상코 드(slope compensation code ; Cc) 중에서 이미지 특성에 적합한 코드를 선택하고, 각각의 코드에 적절한 비트 할당을 수행함으로써 압축 부호화를 완료한다.

도2에 상기 각각의 코드에 대하여 나타내었다.

도2의 (a)와 같은 경우는 앵커펠(anchor pel)에 대하여 예측되는 펠(predicted pel)과의 차를 예측 코드(prediction code ; Cp)로 하였고, (b)와 같이 앵커펠로부터 예측되는 펠 사이에 보상복원되는 펠(interpolated pel)이 소정의 범위안에 들어오는 경우는 앵커펠과 예측펠 사이의 기울기(slope)를 코드값(Cs)으로 부여하며, (c)와 같이 보상복원되는 펠이 소정의 기울기 범위안에 들어오지 않는 경우는 둘 사이의 차를 기울기 보상코드(slope compensation code ; Cc)로 부여한다.

[4]. 이와같이 인접한 펠 내지는 이웃하는 펠들 사이의 값들의 변화(변화정도와 방향성)을 가지고 도1과 같이 코드타입(Tc)을 일단 8가지로 분류하였으며, 여기에서 앵커펠(p_a)과 보상 펠(p_i), 기울기 펠(p_s), 코드 타입(Tc)에 대하여 다음과 같은 경우 3가지를 추가로 검색하여 코드타입(Tc) 3가지를 추가로 부여한다.

즉, Cs = p_s - p_a, q_i = p_a + Cs/2 일때,

Tc = 3 에서 절대값(p_i-q_i) ＞ E_{i ,max} 이면 Tc = 11로 코드타입을 바꾸고,

Tc = 4 에서 절대값(p_i-q_i) ＞ E_{i ,max} 이면 Tc = 12 로 코드타입을 바꾸고,

Tc = 7 에서 절대값(p_i-q_i) ＞ E_{i ,max} 이면 Tc = 14 로 코드타입을 바꾼다.

여기서 q_i 는 보상 펠 p_i의 복원된 값이고, E_{i ,max} 는 p_i의 최대 허용 에러를 나타낸다.

도3의 (a)에서는 예측코드에 대한 양자화 범위와 맵핑되는 양자화값(Qp)을 각각 나타내었으며, (b)에서는 기울기 보상에 따른 코드에 대한 양자화 에러와 양자화 값(Qc)을 각각 나타내었다.

도3의 (a)에서 양자화 에러 Ep는 -4≤Ep＜4 의 범위안에 들어오고 있으며, 도3의 (b)에서 양자화 에러 Ec 는 -4≤Ep＜4 의 범위안에 들어오고 있다.

[5]. 이와같이 하여 본 발명에서는 코드타입이 총 11가지로 정해졌으며, 이와같이 정해진 코드타입 각각에 대하여 도4와 같이 비트 할당을 수행함으로써 압축 부호화를 완료한다.

즉, 코드타입 Tc = 0 인 경우는 번들 타입이 마일드인 경우이고, 이 경우에 코드타입(Tc)으로 4비트, 앵커코드(Ca)로 8비트, 3개의 예측 코드(Cp)로 각각 4비트씩 할당하였다.

그리고, 코드타입 Tc = 1 인 경우는 번들 타입이 엣지인 경우이고, 이 경우에 코드타입(Tc)으로 4비트, 앵커코드(Ca)로 8비트, 2개의 예측 코드(Cp)로 각각 4비트, 앵커 코드(Ca)로 6비트씩 할당하였다.

같은 방법으로 나머지 코드타입 들에도 적절하게 코드타입(Tc), 앵커코드(Ca), 예측코드(Cp), 기울기 코드(Cs), 기울기 보상코드(Cc)를 각각 적절한 비트로서 할당함으로써, 최종적으로 영상압축 데이타를 얻게 되었다.

본 발명에 따른 비디오 영상 처리 방법에 의하면, CDC알고리즘을 이용한 영상 압축 부호화를 수행함으로써, 영상 데이타 압축에 요구되는 계산의 복잡도를 낮추 수 있었고, 메모리의 랜덤 액세스의 용이성을 확보할 수 있다.

Claims (8)

1. 비디오 영상을 처리하는 방법에 있어서

   비디오 영상 내의 소정 영역의 이미지 특성을 결정하는 단계와;

   상기 결정된 소정 영역의 이미지 특성을 바탕으로 상기 비디오 영상을 부호화 또는 복호화 처리하는 단계를 포함하며,

   상기 이미지 특성을 결정하는 단계는,

   적어도 하나의 소정 값과 기준 값을 비교하는 단계와;

   상기 비교결과에 따라 소정 값이 기준 값보다 클 때와 소정 값이 기준 값보다 작을 때를 구분하여 상기 이미지 특성을 결정하는 단계를 포함하고,

   상기 적어도 하나의 소정 값은 상기 소정영역 내의 인접하거나 이웃하는 펠(pel)들 사이의 차를 근거로 결정되는 것을 특징으로 하는 비디오 영상 처리 방법.
2. 삭제
3. 삭제
4. 제 1 항에 있어서, 상기 이미지 특성을 결정하는 단계는,

   상기 소정 영역을 하나의 번들(bundle)로 보고, 상기 소정 영역의 이미지 특성을 번들 타입(bundle type)으로 나타내는 것을 특징으로 하는 비디오 영상 처리 방법.
5. 삭제
6. 삭제
7. 제 1항에 있어서,

   상기 이미지 특성은 상기 소정 영역이 부드러운 영역임을 나타내는 것을 포함하는 것을 특징으로 하는 비디오 영상 처리 방법.
8. 제 7항에 있어서,

   상기 결정된 소정 영역의 이미지 특성은 상기 소정 영역이 불규칙적인 영역임을 나타내는 것을 포함하는 것을 특징으로 하는 비디오 영상 처리 방법.

Images