KR100596153B1 - 모양정보부호화시윤곽선다각근사화에서의유지정점에대한정점위치조정방법 - Google Patents

Abstract

본 발명은 이진 마스크(binary mask)의 윤곽선(contour)의 효율적인 압축부호화를 위하여 시간축상의 예측(temporal prediction)을 수행하는 윤곽선 예측부호화(predictive contour coding)방식에 적용 가능하도록 하며, 유지정점이 결정되면 유지정점을 일정한 탐색창(search window)내에서 움직이면서 주어진 오차측정(error measure)을 최소화하는 점을 새로운 유지정점으로 하는 모양정보부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법에 관한 것으로, 인접한 위치에 제거정점이 있는 유지정점인 경우에는 오차중심정점 탐색방법을 적용하지 않으며, 유지정점의 움직임 정보를 체인 미분 부호화 방법을 사용하여 부호화할 수 있고, 유지정점의 움직임 정보를 일반적인 정점위치 부호화방식을 사용하여 부호화할 수 있는 것이다.

Description

모양정보부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정 방법

본 발명은 모양정보 부호화방법에 관한 것으로, 특히 MPEG-4에 있어서, 이진마스크(binary mask)의 윤곽선(contour)의 효율적인 압축부호화를 위하여 시간축상의 예측(temporal prediction)을 수행하는 윤곽선 예측부호화(predictive contour coding)방식에 적용 가능하도록 하며, 유지정점이 결정되면 유지정점을 일정한 탐색창(search window)내에서 움직이면서 주어진 오차측정(error measure)을 최소화하는 점을 새로운 유지정점으로 하는 모양정보부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법에 관한 것이다.

일반적으로 초저속 동영상 신호를 부호화할 경우에 물체 중심 동영상부호화(Object-based Moving Image Codig) 방법을 많이 사용하고 있다.

물체 중심 동영상 부호화 방법은 입력되는 영상신호를 움직이지 않는 배경(background)과, 물체의 움직임으로 인하여 발생된 변화 영역(changed region)으로 분할(segentation)한다.

변화 영역의 움직임 물체들은 움직임 추정 및 이동 보상이 가능할 경우에 이동 보상 가능 물체(motion compensated object)로 분리하고, 움직임 추정 및 이동 보상이 불가능할 경우에는 이동 보상 불가능 물체(motion failed object)로 분리한다.

여기서, 이동 보상 가능 물체는 3차원 공간상의 물체를 2차원적인 물체의 영상으로 변환한 상태에서 수평 이동, 회전 이동 및 선형 이동 등의 일정한 원칙을 가지고 움직이는 물체를 말하는 것이고, 이동 보상 불가능 물체는 상기한 일정한 원칙들의 적용되지 않는 물체를 말하는 것이다.

소정 물체의 영상을 전송할 경우에 이동 보상 가능 물체는 영상의 움직임 정보만을 전송하고, 이동 보상 불가능 물체 및 드러난 물체의 영상은 가장 효과적인 방법으로 부호화하여 전송해야 되는 것으로서 이동 보상 불가능 물체의 신호 정보 데이터의 양이 전체 전송량의 약 60∼70%정도로 많으므로 이를 효율적으로 줄이는데 많은 노력을 기울이고 있는 실정이다.

모양 정보 및/또는 형상 정보를 가지는 대상물의 영상은 데이터 양이 매우 많으므로 기록 매체에 저장할 경우에 저장 용량이 매우 커야 되고, 전송할 경우에는 많은 전송 시간이 소요되어 실시간(real time) 전송이 어렵다.

그러므로 대상물의 영상은 부호화하고, 움직임을 추정하여 정보량을 줄인 후 기록 매체에 저장하며, 실시간으로 전송할 수 있도록 하고 있다.

물체의 신호 정보를 부호화하는 데에는 블록 이산 코사인 변환(Discrete Cosine Transform: 이하, 'DCT'라고 약칭함) 및 벡터 양자화기 등이 사용될 수 있고, 최근에는 모양 적응형 DCT(Shape Adaptive DCT: 이하, 'SADCT'라고 약칭함)가 물체의 모양 정보(shape information)를 이용하는 물체 중심 부호화 방법에서 매우 효과적인 것으로 제안되고 있다.

SADCT는 임의의 형태를 가진 소정 물체의 신호 정보를 효율적으로 부호화하는 것을 목적으로 하는 것으로서, 영상 프레임을 소정 크기의 블록으로 세분화한 후 블록안에 들어가는 물체의 신호 정보만을 부호화하는 것이다.

즉, SADCT는 블록이 부호화할 정보로 모두 채워지면, 2차원 블록 DCT와 부호화 효율이 동일하게 되고, 모두 채워지지 않을 경우에는 물체의 영역에 해당하는 신호들만 X축으로 DCT를 수행하고, 1차원 DCT를 수행한 결과를 다시 Y축으로 1차원 DCT하여 최종 결과 값을 얻는 것이다.

그리고 SADCT는 DCT 부호화 이득을 고려할 경우에 물체의 영상이 여러 블록으로 분리되어 부호화되는 것보다 가능하면 블록 내부에 물체의 영상이 많이 채워지는 것이 변환 계수들의 압축(compaction)효율이 높게 된다.

그러므로 SADCT를 수행할 경우에, 블록의 내부에 부호화할 물체의 영상을 효과적으로 채워 이동 보상 불가능 물체의 영상이 위치하는 블록의 수를 줄인 후 부호화하는 것이 바람직하다.

최근 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG-1,2와는 달리 임의의 모양정보를 갖는 물체를 부호화하는 방식에 대한 표준화 작업, MPEG-4를 수행중이다.

이를 위해, 이진 마스크의 모양정보 부호화를 위한 윤곽선 다각 근사화에 대한 연구가 수행 중이다.

또한, 압축 성능을 향상시키기 위한 주변 연구도 함께 수행되고 있다.

기존의 윤곽선 예측 부호화 방식으로 대표적인 것이 도 1 내지 도 3에 도시된 바와같은 정점 리스트 보정 방법(vertex list update method)이다.

이 방법은 먼저 도 1에 도시된 바와같이 이진 프레임에서의 윤곽선(1)의 근사화에 이용된 정점들을 이용하여 현재 프레임상으로 비-/이동보상예측(non-/motion compensation)을 하고, 도 2에 도시된 바와같이 각 예측된 정점(2) 들로부터 현재 윤곽선(1)과의 거리가 주어진 정확도를 만족하는지를 판단하여 제거할 것인지(deleted vertex)아니면 유지할 것인지(maintained vertex)를 결정한다.

그 다음 도 3에 도시된 바와같이 유지정점(3) 들을 초기 정점들로 사용하여 주어진 정확도가 만족될 때까지 새로운 정점(4)들을 삽입(inserted vertex)한다.

이러한 정점 리스트 보정 방법은 효과적인 윤곽선 정보량 감축이 가능하다는 장점을 가지고 있다.

그러나, 도 4에 도시된 바와같이 예측된 위치에서 유지정점(2)을 그대로 사용하는 경우, 유지정점(2)의 바로 인접한 위치에서 새로운 삽입정점(4)이 발생할 수 있어 점선과 같은 재현 근사 다각선(5)이 발생하게 되는 문제가 있다.

이 문제점은 정보 압축 측면뿐 아니라 주관적 화질(subjective quality)측면에서 상당히 불리한 단점이 있다.

본 발명은 상기와 같은 종래의 정점 리스트 보정 방법의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점을 조정하는 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정 방법을 제공하는데 있다.

이와같은 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점 조정을 오차중심 정점 탐색 방법으로 수행함으로써 달성될 수 있다.

또한, 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점 조정을 오차중심 정점으로 탐색시 탐색창의 크기를 3×3 또는 5×5로 함으로써 달성될 수 있다.

그리고 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점 조정시 인접한 위치에 제거정점이 있는 유지정점인 경우 오차중심 정점 탐색방법을 적용하지 않음으로써 달성될 수 있다.

또한, 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점의 보정에 대한 정보를 플레그와 움직임정보를 수신단에 전송함으로써 달성된다.

그리고 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점의 움직임정보를 체인 부호화방법을 사용하여 부호화함으로써 달성된다.

또한, 본 발명의 목적은 윤곽선 예측 부호화 방식의 일종인 정점 리스트 보정 방법에서 유지정점의 움직임정보를 일반적인 정점위치 부호화 방법을 사용하여 부호화함으로써 달성될 수 있다.

이하, 본 발명 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정 방법의 실시예를 첨부된 도면을 참고로 하여 상세히 설명하면 다음과 같다.

도 5는 일반적인 P-VOP(Predictive VOP) 부호화의 윤곽선 다각 근사화의 전체 구성을 도시한 것으로, 부호화하고자 하는 물체(VOP)에 대해 번호매기기(Region Labeling)를 수행하는 번호 설정부(10)와, 각각의 영역(동일한 번호를 갖는 화소들로 구성)의 윤곽선을 추출하는 윤곽선 추출부(20)와, 상기 윤곽선 추출부(20)에 의해 추출된 윤곽선을 가지고 윤곽선 다각 예측 부호화를 수행하는 윤곽선 다각 예측 부호화부(30)를 포함하여 구성된다.

즉, P-VOP 부호화의 윤곽선 다각 근사화는 부호화하고자 하는 물체 또는 영역에 맨 먼저 번호 매기기(Region Laveling)를 수행하고 다음에 각각의 물체 또는 영역의 윤곽선을 추출한 후 여기에서 추출된 윤곽선을 가지고 윤곽선 다각 근사화를 수행한다.

도 6은 도 5의 윤곽선 다각 근사화 블록을 VOP부분과 윤곽선 부분(Contour-unit)으로 구분하여 각각의 신호처리 순서로 나타낸 본 발명의 동작흐름도이다.

먼저, VOP움직임을 추정하고(S1), VOP 움직임 모드가 4개의 꼭지점을 이용한 모드인가 또는 윤곽선 정합 이동에 따른 모드인가 또는 no MC 모드인가를 결정한 후 VOP움직임을 보정한다(S2).

그리고 VOP를 부호화할 것인가 또는 부호화하지 않을 것인가를 판단(S3)하여 VOP가 똑같은 것이 있을 경우에는 전혀 부호화를 하지 않고 바로 끝내고, 부호화할 경우에는 유사한 윤곽선을 찾고 윤곽선 움직임을 추정한다(S4,S5).

여기서, VOP자체가 변하지 않는 곳에서는 모든 윤곽선이 똑같이 안변한다. 즉, VOP전체의 변화가 일정레벨 이하이어서 이전것을 그대로 사용하는 낫 부호화상태이면 윤곽선마다 부호화(Coded)/낫 부호화(Not Coded)를 할 필요가 없어진다.

윤곽선 변화가 아니라 VOP 변화가 일정하거나 또는 없는 곳에서는 VOP 정보를 가지고 모든 윤곽선 정보를 콘트롤 할 수 있다.

다시말해서 VOP 전체에서 신호를 주면 윤곽선 각각에 신호를 보낼 필요가 없어진다.

한편, 상기 S5단계에서 윤곽선 움직임을 추정한 후 인트라(Intra) 모드인가 인터(Inter) 모드인가를 판단(S6)하여 너무 불량하여 잘 맞지 않는 경우에는 인트라 모드로 하는데 이와같은 인트라 모드일 경우에는 정점을 선택 및 인코딩하여 멀티플렉서로 출력시킴(S7)과 아울러 상기 정점을 선택한 상태에서 예측 검출을 수행하고 오차를 인코딩하여 멀티플렉서로 출력시킨다(S8).

여기서, S7이외에 S8 단계를 더 수행하는 것은 정점을 선택한 것이 에러인 경우 이러한 에러를 수신단으로 전송하기 위한 것이다.

한편, 상기 S6단계에서 인트라 모드가 아닌 경우에는 인터모드이므로 이때에는 움직임 보상(MC)모드가 아닌가(no MC)를 판단(S9)하여 움직임 보상모드이면 움직임 보상모드를 수행(S10)하고 움직임 보상 모드가 아니면 VOP완료인가를 판단하는 단계로 간다.

그리고 움직임 보정 모드를 수행한 상태에서 다시 부호화를 할 것인가 또는 하지 않은 것인가를 판단(S11)하여 부호화를 하지 않을 경우에는 VOP 완료인가를 판단하는 단계로 가고, 부호화를 할 경우에는 정점 재배열을 한 후(S12), 유지정점을 조정하고, 정점을 삽입한다(S13,S14)

다음에 VOP가 끝났는가를 판단(S15)하여 종료가 아니면 상기 S4 단계로 가서 다시 윤곽선을 찾는 과정을 수행하고 종료이면 바로 VOP를 종료한다.

상기 도 6의 S13단계에서 유지정점이 결정되면, 유지정점을 일정한 탐색창(search window)내에서 움직이면 주어진 오차측정(error measure)을 최소화하는 점을 새로운 유지정점으로 하는 오차중심 정점 탐색 방법을 수행한다.

이 개념은 블록단위의 이동정보 추정시 탐색범위(search range) 내에서 평균 절대오차(mean absolute error)가 최소화되도록 이동벡터(motion vector)를 찾는 방식의 개념과 비슷한다.

즉, k번째 유지정점 V_k를 중심으로 한 오차 정점 탐색 방법의 자세한 설명은 다음과 같다.

먼저, 유지정점의 개수를 N_V라 하고, 양쪽으로 이웃한 두 유지정점을 V_k-1(k=0 일때는 V_Nv-1)과 V_k+1(k=N_V-1일 때는 V₀)이라 하자.

를 최대로 하는 윤곽선상의 점이다.

는 두 정점, V_k-1과, V_k를 연결하는 직선과 i번째 윤곽선 화소, C_i 사이의 거리이다.

이때, V_k(a,b)=((V_k,x-a), (V_k,y-b)) -ω≤a,b≤ω(1)

라 하면, 제안한 방식은

인 a,b를 찾는 것이다.

그리고, k번째 정점을 V_k대신 V_k(a,b)로 한다.

(1)에서의 ω는 탐색창의 크기를 결정하며, ε{ · }는 미리 정해진 에러 측정에 의존한다.

본 발명에서는 다음과 같은 두 에러측정수단을 사용한다.

V_k,i는 k번째 정점이 몇 번째 윤곽선 화소인가를 나타낸다.

이러한 오차중심 정점 탐색 방법은 인접한 정점과의 거리가 먼 경우에는 그 효과를 보장하지 못하기 때문에 바로 인접한 정점이 제거정점이 발생한 유지정점의 경우에는 이러한 오차중심 정점 탐색방법을 수행하지 않는다.

만일, 유지정점에 대해 오차중심 정점 탐색 방법을 수행시 그 위치가 옮겨지면, 이에 대한 정보를 수신단에 전송해야 한다.

유지정점의 조정 방식에 대한 정보는 그 위치가 옮겨졌는지 여부에 대한 플래그(flag)와 어떻게 옮겨갔는지에 대한 움직임 정보들로 구성된다.

그 위치를 그대로 유지하는 경우(주위에 제거정점이 있는 유지정점이거나, 오차중심 정점 탐색을 수행시 위치가 변하지 않는 경우)에는 플래그만 전송하면 된다.

그렇지 않은 경우는 플래그와 함께 움직임 정보를 전송한다. 움직임 정보의 부호화 방식으로는 정점 위치 부호화를 위해 일반적으로 쓰이는 방식을 사용하면 된다.

단, 탐색창이 커지면 이러한 정보량이 많아지는 위험성이 있기 때문에 탐색창의 크기를 키우는 것을 위험하다.

탐색창의 크기를 3×3 또는 5×5로 하면 움직임 정보를 체인 미분 부호화(chain differential coding)를 사용할 수 있기 때문에 적은 정보량으로 부호화할 수 있다.

이상, 상기 설명에서와 같이 본 발명은 이진 마스크의 시간축상의 중복성 제거를 통한 정보량 압축을 꾀하는 정점 리스트 보정 방식을 수행할 때 적용가능하다.

그리고 삽입정점의 수가 50% 정도로 감소함과 아울러 삽입정점 전송 정보량이 약 50% 감소하는 효과를 얻을 수 있으며, 삽입정점수의 감소로 인해 모양정보를 표현하는 전체 정점 수가 감소하고 각종 플래그 정보량이 감소하는 효과를 얻을 수 있다.

또한, 주관적 화질을 향상시킬 수 있으며, 재현 오차의 감소효과를 얻을 수 있는 장점이 있다.

도 1은 종래 정점 리스트 보정 방법에서의 예측정점을 설명하기 위한 도면

도 2는 종래 정점 리스트 보정 방법에서 제거정점을 설명하기 위한 도면

도 3은 종래 정점 리스트 보정 방법에서 삽입정점을 설명하기 위한 도면

도 4는 종래 정점 리스트 보정 방법의 전체적인 설명도

도 5는 본 발명의 P-VOP 부호화에서 윤곽선 다각 근사화의 정체 구성도

도 6은 도 5의 윤곽선 다각 근사화의 동작 흐름도

*도면의 주요부분에 대한 부호의 설명*

10: 번호 설정부 20: 윤곽선 추출부

30: 윤곽선 다각 예측 부호화부

Claims (11)

1. 부호화하고자 하는 물체 또는 영역에 번호 매기기를 수행하고 각각의 물체 또는 영역의 윤곽선을 추출한 후 추출된 윤곽선을 가지고 윤곽선 다각 근사화를 수행하는 윤곽선 예측 부호화 방법에 있어서, VOP단위에서 VOP움직임 모드를 추정하고 VOP움직임을 결정 및 보정하는 단계와, 윤곽선 단위에서 윤곽선을 찾고 윤곽선 움직임을 추정한 후 인터모드인 상태에서 움직임 보정 모드일 때 부호화를 수행하여 정점을 재배열하는 단계와, 유지정점이 결정되면 결정된 유지정점을 중심으로 하는 일정한 탐색창을 설정하고, 유지정점을 상기 탐색창내에서 움직이면서 주어진 오차측정을 최소화하는 점을 새로운 유지정점으로 하는 단계로 이루어진 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
2. 제1항에 있어서, 상기 유지정점의 조정을 오차중심 정점 탐색 방법으로 하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
3. 제2항에 있어서, 오차중심 정점 탐색시 탐색창의 크기를 3×3으로 하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
4. 제2항에 있어서, 오차중심 정점 탐색시 탐색창의 크기를 5×5로 하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
5. 제2항에 있어서, 인접한 위치에 제거정점이 있는 유지정점인 경우에는 오차 중심 정점 탐색을 수행하지 않는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
6. 제3항 또는 제5항에 있어서, 상기 유지정점의 움직임정보를 체인 미분 부호화 방식을 사용하여 부호화하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
7. 제4항 또는 제5항에 있어서, 상기 유지정점의 움직임 정보를 일반적인 정점 위치 부호화 방식을 사용하여 부호화하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
8. 제2항에 있어서, 오차중심 정점 탐색시 유지정점의 위치가 변하지 않는 경우에는 플래그만 수신단에 전송하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
9. 제2항에 있어서, 오차중심 탐색시 유지정점의 위치가 변하는 경우에는 유지 정점의 보정에 대한 정보를 플래그와 움직임 정보로 수신단에 전송하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점위치 조정방법.
10. 제2항에 있어서, 상기 오차측정을,

    

    로 하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.
11. 제2항에 있어서, 상기 오차측정을,

    

    로 하는 것을 특징으로 하는 모양정보 부호화시 윤곽선 다각 근사화에서의 유지정점에 대한 정점 위치 조정방법.

Images