KR100849730B1 - 2차 계획법을 이용하는 객체기반 영상 압축 방법 - Google Patents

Abstract

본 발명은 2차 계획법을 이용하는 객체기반 영상 압축 방법에 관한 것으로, 특히 MPEG-4에서 사용되는 객체기반 영상 압축 방법에서 객체 내부 이외의 모든 부분을 변수로 가정하고 2차 계획법을 이용하여 상기 변수의 값을 결정하여 높은 압축율 및 피크 신호 대 신호 잡음비를 유지할 수 있게 하는 것을 목적으로 한다. 이를 위해 본 발명은 영상의 한 블록에서 객체 부분을 추출하여 객체 내부 이외의 모든 부분을 변수로 가정하는 제1단계와; 상기 객체 추출 이후의 영상과 기저 행렬을 내적하여 이산 코사인 변환을 하는 제2단계와; 상기 제2단계에 의해 얻어진 주파수 성분에서 2차 계획법을 사용하여 변수의 값을 결정하는 제3단계와; 상기 결정된 변수의 값을 영상의 각 픽셀에 대입하는 제4단계로 이루어진 것을 특징으로 한다. 따라서, 본 발명은 종래 LPE 방법에 비해 높은 압축율 및 피크 신호 대 신호 잡음비를 유지하고 구현 시 인코더만 바꾸면 되므로 인코더 및 디코더 모두를 바꾸어야 하는 SADCT 방법에 비해 비교적 쉬운 알고리즘으로 영상 압축을 구현할 수 있고 배포에 용이성이 있는 효과가 있다.

Description

2차 계획법을 이용하는 객체기반 영상 압축 방법{OBJECT-BASED CODING METHOD USING QUADRATIC PROGRAMMING}

도 1은 본 발명 2차 계획법을 이용하는 객체기반 영상 압축 방법의 동작 흐름도.

본 발명은 2차 계획법을 이용하는 객체기반 영상 압축 방법에 관한 것으로, 특히 MPEG-4에서 사용되어지는 객체기반 영상 압축 방법에서 객체 내부 이외의 모든 부분을 변수로 가정하고 2차 계획법을 이용하여 상기 변수의 값을 결정하여 높은 압축율 및 피크 신호 대 신호 잡음비를 유지할 수 있게 한 2차 계획법을 이용하는 객체기반 영상 압축 방법에 관한 것이다.

일반적인 객체기반 영상 압축 방법에는 제로 패딩 방법, 그리고 MPEG-4 시험 모델로 사용되어진 LPE(Low-Pass Extrapolation) 방법 그리고 패딩 방법이 아닌 객체 내에서만 압축 알고리즘을 수행하는 SADCT(Shape Adaptive Discrete Cosine Transform) 방법 등이 있다.

상기 제로 패딩 방법은 기존의 외삽법 중 가장 쉽게 구현할 수 있는 것이 제로 패딩이다. 이 방법은 특별한 수학적 연산 없이 바로 외부 픽셀에 모두 "0"으로 채워 넣는다. 하지만, 영상 내부의 객체와의 경계에서 일반적으로 고주파 성분이 많이 생기게 되는 단점이 있다.

상기 LPE 방법은 객체 기반 압축 알고리즘에서 영상을 이산 코사인 변환했을 때 고주파 성분을 많이 감소시키면 시킬수록 영상의 압축 효율은 좋아진다. 다시 말하면 객체를 중심으로 객체 외부 픽셀의 변화량을 줄이는 방법이다. LPE 방법은 라플라시안과 임의의 영상의 컨벌루션을 반복적으로 실행시켜 객체를 중심으로 배 경의 픽셀 값이 부드럽게 퍼져나가게 한다.

그러나, LPE 방법은 압축율이 떨어지고 피크 신호 대 신호 잡음비가 낮은 단점이 있다.

상기 SADCT 방법은 배경에 적절한 값을 패딩하는 다른 방법과는 달리 배경 픽셀을 이용하지 않는 압축 방법이다. 배경 픽셀에 임의 값을 채워넣는 대신 객체 내부의 픽셀로만 영상을 압축하여 전송한다. 객체 내부의 픽셀 값만으로 이산 코사인 변환 처리를 하기 때문에 최종적인 DCT 성분의 개수는 객체 내부의 픽셀의 개수만큼만 존재하며 이 값으로 양자화 및 런 랭스 코딩(Run-length coding)을 하기 때문에 적은 데이터 양과 높은 피크 신호 대 신호 잡음비를 가지고 영상 압축을 수행할 수 있다.

그러나, SADCT 방법은 적은 데이터 양과 높은 피크 신호 대 신호 잡음비를 가지지만 인코더와 디코더를 모두 구현해야 하므로 알고리즘 구현이 다소 복잡한 문제점이 있다.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 2차 계획법을 사용하여 객체 외부의 픽셀을 패딩함으로써 이산 코사인 변환 수행 시 불필요한 픽셀은 전부 제로로 만들어 적은 연산으로 효과적인 패딩 알고리즘을 구현하고 높은 피크 신호 대 신호 잡음비를 획득하고 데이터 압축율을 높일 수 있도록 한 2차 계획법을 이용하는 객체기반 영상 압축 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 영상의 한 블록에서 객체 부분을 추출하여 객체 내부 이외의 모든 부분을 변수로 가정하는 제1단계와; 상기 객체 추출 이후의 영상과 기저 행렬을 내적하여 이산 코사인 변환을 하는 제2단계와; 상기 제2단계에 의해 얻어진 주파수 성분에서 2차 계획법을 사용하여 변수의 값을 결정하는 제3단계와; 상기 결정된 변수의 값을 영상의 각 픽셀에 대입하는 제4단계로 동작하는 것을 특징으로 한다.

이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명 2차 계획법을 이용하는 객체기반 영상 압축 방법의 동작 흐름도로서, 이에 도시한 바와 같이 영상의 한 블록(8×8)에서 객체 부분을 추출하여 객체 내부 이외의 모든 부분을 변수로 가정하는 제1단계(S11, S12)와; 상기 객체 추출 이후의 영상과 기저 행렬을 내적하여 이산 코사인 변환을 하는 제2단계(S13)와; 상기 제2단계(S13)에 의해 얻어진 주파수 성분에서 2차 계획법을 사용하여 변수의 값을 결정하는 제3단계(S14)와; 상기 결정된 변수의 값을 영상의 각 픽셀에 대입하는 제4단계(S15)와; 패딩된 영상을 일반적인 베이스라인 JPEG 압축방법에 따라 압축 후 원영상과 피크 신호 대 신호 잡음비를 비교하는 제5단계(S16)로 이루어진 것으로 본 발명의 일 실시예를 설명하면 다음과 같다.

영상에서 객체의 경계면에 있는 하나의 8×8 블록을 f라 하고, 경계면을 중심으로 객체의 내부와 외부로 나눈다.

f의 배경(Ω₀)에 2차 계획법을 통해서 최적화된 값을 채워 넣은 후 이 영상을 DCT 기저 행렬과의 내적을 통하여 주파수 도메인의 고주파 성분을 배경 픽셀의 개수만큼 "0"으로 만들면 런 랭스 코딩 후 출력될 데이터의 양을 훨씬 줄일 수 있다.

즉, 같은 영상정보를 전송하더라도 적은 양의 데이터만으로 전송이 가능하다.

실제적인 영상 압축을 위해 주파수 영역의 성분을 지그재그 스캔(zig-zag scan)하기 위한 룩업 행렬(L)을 다음과 같이 정의한다.

DCT 기저 행렬(Φ)은 위의 룩업 행렬을 이용하여 64개의 행렬로 정의할 수 있다.

위 64개의 DCT 기저 행렬은 주파수 영역에서의 영상(f)의 각 u, v 위치에 대응한다.

위의 DCT 기저 행렬과 영상의 내적을 다음과 같이 정의할 수 있다.

여기서, f는 영상의 객체와 배경의 경계면에 위치한 임의의 8×8 블록이고, F_t는 f를 이산 코사인 변환한 t 번째 계수이다.

위 수학식 (3)을 f의 배경에 해당되는 픽셀 수를 N으로 할 때, 영상의 내부(Ω_I)와 외부(Ω_O)로 나누어 표현하면 아래의 수학식으로 나타낼 수 있다.

여기서, f_i는 객체 내부의 픽셀만 선택한 (64-N)×1 벡터, 즉 f|Ω_I이고, f_o 는 객체 외부의 N×1 배경 픽셀, 즉 f|Ω_o이고, Φ_t|Ω_I는 t 번째 DCT 기저 행렬 Φ_t에서 객체 내부의 픽셀 값을 순차적으로 배열한 (64-N)×1 벡터이고, Φ_t|Ω_o는 t 번째 DCT 기저 행렬 Φ_t에서 객체 외부의 픽셀 값을 순차적으로 배열한 N×1 벡터이다.

위 수학식 (4)를 보면 왼쪽은 주파수 도메인에서 지그재그 스캔에서 t 번째 성분에 해당하는 값이며 오른쪽의 첫 번째는 t 번째 기저 행렬과 객체 내부(Ω_I)와의 내적이며 두 번째는 t 번째 기저 행렬과 객체 외부(Ω_o)와의 내적이다.

본 일실시예에서는 외부 픽셀을 미지수로 두었으므로 객체 내부(Ω_I)에서의 내적값은 스칼라 값이 된다. 고주파 성분을 배경 픽셀만큼 "0"으로 만드는 것이 목적이므로 t 값마다 하나의 방정식을 얻을 수 있는데 배경 픽셀 수만큼(N) 주파수 성분을 "0"으로 두면 N 개의 방정식을 구할 수 있으며, N 개의 방정식은 다음과 같다.

위 수학식 (5)를 벡터화 하면 아래의 수학식과 같다.

Φ는 t 번째 DCT 기저 행렬 Φ_t에서 객체 외부의 픽셀 값을 순차적으로 정렬한 N×1 벡터를 배경 픽셀 개수만큼 행으로 배열한 행렬이고, X는 미지수로 둔 구하고자 하는 객체 외부의 픽셀 값, 즉 f|Ω_o이고, S는 객체 내부의 픽셀과 기저 행렬과의 내적 값, 즉 <f_ΩI, Φ_t|Ω_I>이다.

위 수학식 (6)을 만족하는 해 X는 정확히 한 개 또는 부등식의 경우에는 많이 존재할 수 있다. 그러므로, 여기서는 다음과 같이 2차 계획법을 사용하여 부드럽게 퍼지는 객체 외부의 픽셀 값 X를 구하여 가능한 고주파 성분을 줄이고자 하였다.

적용된 2차 계획법을 아래 수학식 (7)과 (8)로 나타내면 다음과 같다.

여기서, X는 미지수로 둔 구하고자 하는 객체 외부의 픽셀 값이고, Q는 시메트릭 포지티브 세미디파인 메트릭스(Symmetric Positive Semidefine matrix)이다.

|ΦX+S|≤0.5×m

여기서, Φ는 t 번째 DCT 기저 행렬 Φ_t에서 객체 외부의 픽셀 값을 순차적으로 정렬한 N×1 벡터를 배경 픽셀 개수만큼 행으로 배열한 행렬이고, m은 양자화 스텝 사이즈 벡터(Quantization step size vector)이고, S는 객체 내부의 픽셀과 기저 행렬과의 내적 값, 즉 <f_ΩI, Φ_t|Ω_I>이다.

위에서 정의한 Q는 영상에서 객체를 중심으로 픽셀 값이 밖으로 퍼져나가는 효과를 좋게 하기 위해 다음과 같은 행렬을 사용한다.

다시 말하면 픽셀 간의 값의 변화량을 최소한으로 줄이면서 수학식 (8)의 제한 조건을 만족하는 X를 찾는 것이 2차 계획법이다.

상기 Q를 대입한 수학식 (7)은 상호 픽셀 간의 연관성을 나타내는 값으로 이를 최소화하면 픽셀 간의 값의 변화량이 최소화된다.

부등식의 제한 조건을 주게 되면 제한 조건안의 여러 개의 해를 찾게 된다. DCT 기반의 영상 압축에서는 주파수 영역에서 양자화 행렬을 사용하여 양자화를 수행하는데 본 발명에서는 JPEG 표준에 사용되는 행렬을 사용하여 양자화를 시킨 후 에, 수학식 (7)을 이용하기 위해 수학식 (8)을 제한 조건으로 지정한다.

수학식 (8)에서 제한 조건을 양자화 스텝 사이즈의 반으로 설정하였는데 그 이유는 이산 코사인 변환 후에 양자화를 시킬 때 양자화된 뒤의 그 값이 0.5보다 작기만 하면 정수로 반올림을 할 때 "0"의 값을 갖는 주파수 성분이 적어도 배경의 개수만큼은 존재하게 된다.

하지만, "0"에 가까운 해는 앞서 서술한 제로 패딩 방법과 가까운 결과를 얻게 되므로, 유효한 범위내에서 제한 조건을 작게 주면 줄수록 좋은 결과를 얻게 된다.

이 부분에서는 제한 조건을 0.5로 고정시킨 것이 아니라, 유효한 해가 나오는 범위 내에서 수학식 (8)의 m 앞에 곱하는 값을 점점 줄여가면서 가장 작은 제한 조건을 취하여 최적의 해가 나올 수 있도록 한다.

영상에서 배경의 변수 값을 찾으면 이를 영상에 패딩하고 일반적인 베이스라인 JPEG 압축 방법에 따라 영상을 압축 후 원영상과 피크 신호 대 신호 잡음비를 비교하면 다음과 같은 결과를 얻을 수 있다.

이상에서 상세히 설명한 바와 같이, 본 발명은 종래 LPE 방법에 비해 높은 압축율 및 피크 신호 대 신호 잡음비를 유지하고 구현 시 인코더만 바꾸면 되므로 인코더 및 디코더 모두를 바꾸어야 하는 SADCT 방법에 비해 비교적 쉬운 알고리즘으로 영상 압축을 구현할 수 있고 배포에 용이성이 있는 효과가 있다.

Claims (4)

1. 영상의 한 블록에서 객체 부분을 추출하여 객체 내부 이외의 모든 부분을 변수로 가정하는 제1단계와;

   상기 객체 추출 이후의 영상과 기저 행렬을 내적하여 이산 코사인 변환을 하는 제2단계와;

   상기 제2단계에 의해 얻어진 주파수 성분에서 2차 계획법을 사용하여 변수의 값을 결정하는 제3단계와;

   상기 결정된 변수의 값을 영상의 각 픽셀에 대입하는 제4단계로 이루어진 것을 특징으로 하는 2차 계획법을 이용하는 객체기반 영상 압축 방법.
2. 제1항에 있어서, 상기 제2단계에서 상기 이산 코사인 변환은,

   주파수 영역의 성분을 지그재그 스캔하기 위한 룩업 행렬을 이용하여 아래의 수학식에 따라 영상과 DCT 기저 행렬을 내적하게 이루어진 것을 특징으로 하는 2차 계획법을 이용하는 객체기반 영상 압축 방법.

   (수학식)

   

   상기 수학식에서 f는 영상의 객체와 배경의 경계면에 위치한 임의의 8×8 블록이고, F_t는 f를 이산 코사인 변환한 t 번째 계수이고 Φ_t는 룩업 행렬을 이용한 DCT 기저 행렬이다.
3. 제1항에 있어서, 상기 제3단계에서 상기 2차 계획법은,

   시메트릭 포지티브 세미디파인 메트릭스를 사용하며, 제한 조건으로 아래의 수학식을 만족하는 변수 값을 찾게 이루어진 것을 특징으로 하는 2차 계획법을 이용하는 객체기반 영상 압축 방법.

   (수학식)

   |ΦX+S|≤0.5×m

   상기 수학식에서 Φ는 t 번째 DCT 기저 행렬 Φ_t에서 객체 외부의 픽셀 값을 순차적으로 정렬한 N×1 벡터를 배경 픽셀 개수만큼 행으로 배열한 행렬이고, X는 미지수로 둔 구하고자 하는 객체 외부의 픽셀 값, 즉 f|_Ωo이고, S는 객체 내부의 픽셀과 DCT 기저 행렬의 내적 값, 즉 <f|_ΩI, Φ_t|_ΩI>이고, m은 양자화 스텝 사이즈 벡터이다.
4. 제3항에 있어서, 상기 제한 조건에 사용된 수학식에서 상기 양자화 스텝 사이즈 벡터에 곱해진 상수는,

   상기 상수 0.5를 기설정된 값만큼 줄여가면서 유효한 해가 나오는 가장 작은 상수 값을 취하는 것을 특징으로 하는 2차 계획법을 이용하는 객체기반 영상 압축 방법.

Images