KR19980073964A - 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법 - Google Patents

Abstract

본 발명은 이진 모양정보(binary shape information)의 윤곽선(contour)을 효율적으로 압축 부호화를 하고자 할 때 시간 축상의 이동보상 예측(motion compensation)을 수행하는 모든 윤곽선 예측 부호화(predictive contour coding)방식에 적용 가능한 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법에 관한 것으로, 이전 이진 마스크로부터 이전윤곽선을 추출하고, 현재 이진 마스크로부터 현재윤곽선을 추출한 후 이들 이전윤곽선과 현재윤곽선을 매칭하여 이전 윤곽선으로부터 현재 윤곽선으로의 이동 벡터를 구함으로써 윤곽선 예측 부호화에서 이동보상 예측을 수행하도록 하는 것이다.

Description

영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법

본 발명은 영상신호의 모양정보 부호화방법에 관한 것으로, 특히 MPEG-4의 모양 정보 부호화에 있어서, 이진 모양정보(binary shape information)의 윤곽선(contour)을 효율적으로 압축 부호화를 하고자 할 때 시간 축상의 이동보상 예측(motion compensation)을 수행하는 모든 윤곽선 예측 부호화(predictive contour coding)방식에 적용 가능한 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법에 관한 것이다.

일반적으로 초저속 동영상 신호를 부호화할 경우에 물체 중심 동영상 부호화(Object-based Moving Image Coding) 방법을 많이 사용하고 있다.

물체 중심 동영상 부호화 방법은 입력되는 영상신호를 움직이지 않는 배경(backgroud)과, 물체의 움직임으로 인하여 발생된 변화 영역(changed region)으로 분할(segmentation)한다.

변화 영역의 움직임 물체들은 움직임 추정 및 이동 보상이 가능할 경우에 이동 보상 가능 물체(motion compensated object)로 분리하고, 움직임 추정 및 이동 보상이 불가능할 경우에는 이동 보상 불가능 물체(motion failed object)로 분리한다.

여기서, 이동 보상 가능 물체는 3차원 공간상의 물체를 2차원적인 물체의 영상으로 변환한 상태에서 수평 이동, 회전 이동 및 선형 이동 등의 일정한 원칙을 가지고 움직이는 물체를 말하는 것이고, 이동 보상 불가능 물체는 상기한 일정한 원칙들이 적용되지 않는 물체를 말하는 것이다.

소정 물체의 영상을 전송할 경우에 이동 보상 가능 물체는 영상의 움직임 정보만을 전송하고, 이동 보상 불가능 물체 및 드러난 물체의 영상은 가장 효과적인 방법으로 부호화하여 전송해야 되는 것으로서 이동 보상 불가능 물체의 신호 정보 데이터의 양이 전체 전송량의 약 60∼70% 정도로 많으므로 이를 효율적으로 줄이는데 많은 노력을 기울이고 있는 실정이다.

모양 정보 및/또는 형상 정보를 가지는 대상물의 영상은 데이터 양이 매우 많으므로 기록 매체에 저장할 경우에 저장 용량이 매우 커야 되고, 전송할 경우에는 많은 전송 시간이 소요되어 실시간(real time) 전송이 어렵다.

그러므로 대상물의 영상은 부호화하고, 움직임을 추정하여 정보량을 줄인 후 기록 매체에 저장하며, 실시간으로 전송할 수 있도록 하고 있다.

물체의 신호 정보를 부호화하는 데에는 블록 이산 코사인 변환(Discrete Cosine Transform: 이하, 'DCT'라고 약칭함) 및 벡터 양자화기 등이 사용될 수 있고, 최근에는 모양 적응형 DCT(Shape Adaptive DCT: 이하, 'SADCT'라고 약칭함)가 물체의 모양 정보(shape information)를 이용하는 물체 중심 부호화 방법에서 매우 효과적인 것으로 제안되고 있다.

SADCT는 임의의 형태를 가진 소정 물체의 신호 정보를 효율적으로 부호화는 것을 목적으로 하는 것으로서 영상 프레임을 소정 크기의 블록으로 세분화한 후 블록안에 들어가는 물체의 신호 정보만을 부호화하는 것이다.

즉, SADCT는 블록이 부호화할 정보로 모두 채워지면, 2차원 블록 DCT와 부호화 효율이 동일하게 되고, 모두 채워지지 않을 경우에는 물체의 영역에 해당하는 신호들만 X축으로 1차원 DCT를 수행하고, 1차원 DCT를 수행한 결과를 다시 Y축으로 1차원 DCT하여 최종 결과 값을 얻는 것이다.

그리고 SADCT는 DCT 부호화 이득을 고려할 경우에 물체의 영상이 여러 블록으로 분리되어 부호화되는 것보다 가능하면 블록 내부에 물체의 영상이 많이 채워지는 것이 변환 계수들의 압축(compaction) 효율이 높게 된다.

그러므로 SADCT를 수행할 경우에, 블록의 내부에 부호화할 물체의 영상을 효과적으로 채워 이동 보상 불가능 물체의 영상이 위치하는 블록의 수를 줄인 후 부호화하는 것이 바람직하다.

최근 세계 표준화 기구인 ISO/IEC 산하의 WG11에서는 MPEG-1,2와는 달리 임의의 모양정보를 갖는 물체를 부호화하는 방식에 대한 표준화 작업을 MPEG-4에서 수행 중이다.

MPEG-4에서의 모양정보는 크게 이진(binary)과 그레이 스케일(gray scale)모양 정보로 분류할 수 있고 모양정보의 정의는 다음과 같다.

기존의 동영상 표준인 MPEG-4에서는 복합적인 물체들을 포함하고 있는 프레임이 부호화 단위였다.

반면, MPEG-4에서는 프레임안의 복합적인 물체들을 각기 분류한 후, 분류된 물체별로 부호화를 수행한다.

상기한 분류된 물체를 MPEG-4에서는 VOP(Videp Object Plane)라 정의하고, 이들은 같은 VOP내의 배경 또는 각기 다른 물체와 서로 구별되는 정보를 가지고 있다.

같은 VOP내에서 배경과 구별되는 정보를 이진 모양 정보라 하고, 배경과 구별되면서 VOP 합성시 겹친 물체간의 투명도를 표시하는 정보를 그레이 스케일 모양 정보라 한다.

MPEG-4에서 VOP 단위 부호화는 다양한 전송용량(Bandwidth)을 갖는 분야로의 응용 확대, 신축성 있는 부호화(Scalability)에 따른 다양한 화질 및 정보 제공과 합성 영상(자연 영상+그래픽 영상)부호화 가능 그리고 상호 통신(Interactive Commuication) 및 인터페이스(Interface) 등에 대한 사용자의 요구들을 실현시킬 수 있는 중요한 기반 개념이다.

따라서 모양 정보를 사용 목적에 부합되게 효과적으로 표현하고, 부호화하는 것은 매우 중요하다.

MPEH-4에서 연구되고 있는 윤곽선 다각 근사화 부호화 방식은 크게 두 가지 경우인 I-VOP와 P-VOP로 나누어진다.

P-VOP의 경우에는 세부 윤곽선 단위에서 다시 인트라/인터(intra/inter) 모드의 결정을 수행하고, 인트라 모드의 경우에는 도 2의 구성을 따라 윤곽선 단위에서 다시 수행하게 된다.

연속된 프레임에서의 같은 윤곽선 사이에서 중복성이 존재하며, 이러한 중복성을 제거함으로써 효율적인 압축 부호화가 가능하다.

이를 위해 이동보상 예측 부호화를 수행하며 이동정보의 추정이 필요하다.

기존의 방식(예를 들면, MPEG-4의 VM:Verification Modes)에서는 물체내부 부호화(texture coding)를 위해 추정된 이동정보를 사용한다.

그러나 윤곽선 사이에서의 이동정보는 물체내부 부호화의 이동정보와는 상이한 특성을 가지고 있기 때문에 이러한 이동정보를 사용하여 윤곽선의 이동보상 예측 수행시 그 예측 성능의 저하가 불가피하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 그 목적은 이전과 현재 모양 정보간의 시간축상의 중복성 제거를 통하여 정확한 시간축상의 이동 보상 예측을 가능하게 하여 효과적인 정보량 압축을 수행할 수 있는 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법을 제공하는데 있다.

이와같은 목적을 달성하기 위한 본 발명은 이전 이진 마스크로부터 이전윤곽선을 추출하고 현재 이진 마스크로부터 현재윤곽선을 추출한 후 이전윤곽선과 현재윤곽선을 매칭하여 이전 윤곽선으로부터 현재 윤곽선으로의 이동 벡터를 구함으로써 윤곽선 예측 부호화에서 이동보상 예측을 수행하도록 하는 것을 특징으로 한다.

도 1은 I-VOP의 윤곽선 다각 근사화의 블럭도

도 2는 윤곽선 다각 근사화방법에서 인트라 모드인 경우의 블럭도

도 3은 P-VOP의 윤곽선 다각 근사화의 블럭도

도 4는 P-VOP부호화에서의 윤곽선 다각 근사화의 동작 흐름도

도 5는 본 발명 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법의 블럭도

도 6은 본 발명에 따른 윤곽선추출 방법을 설명하기 위한 것으로 (A)는 입력 이진 마스크를 나타낸 도면 (B)는 기존의 윤곽선 추출을 나타낸 도면 (C)는 본 발명에서의 윤곽선 추출을 나타낸 도면

*도면의 주요부분에 대한 부호의 설명*

1: 번호 설정부2: 윤곽선 추출부

3,9: 윤곽선 다각 예측 부호화부4: 정점 선택부

5: 정점 인코딩부6: 멀티플렉서

7: 예측 검출부8: 에러 인코딩부

10,11: 윤곽선 추출부12: 윤곽선 매칭부

이하 본 발명 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법의 실시예를 첨부된 도면을 참고로 하여 상세히 설명하면 다음과 같다.

도 1은 I-VOP의 윤곽선 다각 근사화의 구성도로, 부호화하고자 하는 물체(VOP)에 대해 번호 매기기(Region Labeling)를 수행하는 번호 설정부(1)와, 각각의 영역(동일한 번호를 갖는 화소들로 구성)의 윤곽선을 추출하는 윤곽선 추출부(2)와, 상기 윤곽선 추출부(2)로부터 도 2와 같은 인트라 모드인 경우의 윤곽선 다각 근사화를 수행하는 윤곽선 다각 예측 부호화부(3)를 포함하여 구성된다.

도 2는 윤곽선 다각 근사화 방법에서 인트라 모드인 경우의 구성도로, 입력되는 윤곽선 정보로부터 정점을 선택하는 정점 선택부(4)와, 상기 정점 선택부(4)에 의해 선택된 정점을 인코딩하는 정점 인코딩부(5)와, 상기 정점 인코딩부(5)로부터의 출력을 다중화하는 멀티 플렉서(6)와, 상기 정점 선택부(4)에 의해 선택된 정점의 에러 발생시 예측된 검출을 수행하는 예측 검출부(7)와, 상기 예측 검출부(7)로부터의 에러를 인코딩하여 상기 멀티플렉서(6)로 출력시키는 에러 인코딩부(8)를 포함하여 구성된다.

도 3은 P-VOP(Predivtive VOP) 부호화의 윤곽선 다각 근사화의 전체 구성을 도시한 것으로, 부호화하고자 하는 물체(VOP)에 대해 번호 매기기(Region Labeling)를 수행하는 번호 설정부(1)와, 각각의 영역(동일한 번호를 갖는 화소들로 구성)의 윤곽선을 추출하는 윤곽선 추출부(2)와, 상기 윤곽선 추출부(2)에 의해 추출된 윤곽선을 가지고 도 4와 같은 동작을 수행하는 윤곽선 다각 예측 부호화부(9)를 포함하여 구성된다.

즉, P-VOP 부호화의 윤곽선 다각 근사화는 부호화하고자 하는 물체 또는 영역에 맨 먼저 번호 매기기를 수행하고 다음에 각각의 물체 또는 영역의 윤곽선을 추출한 후 여기에서 추출된 윤곽선을 가지고 윤곽선 다각 근사화를 수행한다.

도 5는 본 발명에 따른 윤곽선 추출을 위한 구성도로, 이전 이진 마스크(previous binary mask)에 대한 정보를 입력받아 윤곽선을 추출하는 윤곽선 추출부(contour extraction)(10)와, 현재 이진 마스크(current binary mask)에 대한 정보를 입력받아 윤곽선을 추출하는 윤곽선 추출부(11)와, 상기 윤곽선 추출부(10)(11)에 의해 추출된 윤곽선을 매칭시켜 이전 윤곽선으로부터 현재 윤곽선으로의 윤곽선 이동 벡터를 구하는 윤곽선 매칭부(contour matching)(12)를 포함하여 구성된다.

이와같은 구성을 갖는 본 발명은 먼저, 도 1과 같은 I-VOP 부호화 구성에 의하여는 반드시 인트라 모드인 경우의 부호화가 수행되고, 도 3과 P-VOP 부호화 구성에 의하여는 인트라/인터 모드중 더 좋은 모드가 선택되어 수행된다.

도 1과 같은 번호 설정부(1)를 통하여 부호화하고자 하는 물체(VOP)에 대한 번호 매기기가 수행되면, 윤곽선 추출부(2)에 의해 각각의 영역의 윤곽선이 추출되고 윤곽선 다각 예측 부호화부(3)에 의해 도 2와 같은 인트라 모드에서의 윤곽선 다각 근사화가 이루어진다.

즉, 인트라 모드일 경우에는 정점 선택부(4)와 정점 인코딩부(5)를 통하여 정점을 선택 및 인코딩한 후 멀티플렉서(6)로 출력시키는 한편 상기 정점선택부(4)를 통하여 정점이 선택된 상태에서 예측검출부(7)를 통하여 예측 검출을 수행하고 에러인코딩부(8)를 통하여 에러를 인코딩하여 멀티플렉서(6)로 출력시킨다.

한편, P-VOP부호화인 경우에는 번호 설정부(1)를 통하여 부호화하고자 하는 물체(VOP)에 대한 번호 매기기가 수행되면, 윤곽선 추출부(2)에 의해 각각의 영역의 윤곽선이 추출되고 윤곽선 다각 예측 부호화부(9)에 의해 도 4와 같은 P-VOP부호화에서의 윤곽선 다각 근사화가 이루어진다.

즉, 도 4를 살펴보면, 먼저 VOP 움직임을 추정하고(S1), VOP 움직임 모드가 4개의 꼭지점을 이용한 모드인가 또는 윤곽선 정합 움직임에 따른 모드인가 또는 움직임 보정 모드가 아닌가(no MC)를 결정한 후 VOP움직임을 보정한다(S2).

그리고 VOP움직임이 보정되면, VOP를 부호화할 것인가 또는 부호화하지 않을 것인가를 판단(S3)하여 VOP가 똑같은 것이 있을 경우에는 전혀 부호화를 하지 않고 바로 종료하고, 부호화할 경우에는 유사한 윤곽선을 찾고 윤곽선 움직임을 측정한다(S4,S5).

여기서, VOP 자체가 변하지 않는 곳에서는 모든 윤곽선도 똑같이 변하지 않는다.

즉, VOP전체의 변화가 일정레벨 이하이어서 이전 것을 그대로 사용하는 낫 부호화상태이면 윤곽선마다 부호화(Coded)/낫 부호화(Not Coded)를 할 필요가 없어진다.

윤곽선 변화가 아니라 VOP변화가 일정하거나 또는 없는 곳에서는 VOP 정보를 가지고 모든 윤곽선 정보를 콘트롤 할 수 있다.

다시 말해서 VOP 전체에서 신호를 주면 윤곽선 각각에 신호를 보낼 필요가 없어진다.

한편, 상기 S5 단계에서 윤곽선 움직임을 추정한 후 인트라(Intra) 모드인가 인터(Inter) 모드인가를 판단(S6)하여 너무 불량하여 잘 맞지 않는 경우에는 인트라 모드로 하는데 이와같은 인트라 모드일 경우에는 정점을 선택 및 인코딩하여 멀티플렉서로 출력시킴(S7)과 아울러 상기 정점을 선택한 상태에서 예측 검출을 수행하고 에러를 인코딩하여 멀티플렉서로 출력시킨다(S8).

여기서, S7 이외에 S8단계를 더 수행하는 것은 정점을 선택한 것이 에러인 경우 이러한 에러를 수신단으로 전송하기 위한 것이다.

한편, 상기 S6단계에서 인트라 모드가 아닌 경우에는 인터모드이므로 이때에는 움직임 보상(MC)모드인가 아닌가(no MC)를 판단(S9)하여 움직임 보상모드이면 움직임 보상 모드를 수행(S10)하고 움직임보상 모드가 아니면 VOP종료인가를 판단하는 단계로 간다.

따라서, 상기와 같은 도 4의 P-VOP부호화에서의 윤곽선 다각 근사화 순서에 따라 윤곽선의 다각 근사화가 이루어진다.

본 발명은 시간축상의 연속된 두 윤곽선을 가지고 윤곽선 화소의 정합을 이용하여 이전 윤곽선으로부터 현재 윤곽선으로의 윤곽선 이동벡터를 구하는 방식으로 부호화할 이진 모양 정보가 입력되면 이의 윤곽선을 찾는다.

메모리에 저장되어 있는 이진 프레임에서의 윤곽선을 주어진 탐색창내에서 움직이면서 현재 윤곽선과 가장 많은 윤곽선 화소가 일치하는 위치를 찾는다.

여기서, 이전 프레임의 윤곽선은 원윤곽선일 수도 있고, 재현 윤곽선일 수도 있다.

그리고 이동정보를 찾는 단위로 도 5에서와 같이 한 개의 윤곽선 단위에서 수행 가능함은 물론, MPEG-4에서 거론되는 VOP 단위(다 윤곽선: multi contours) 일 수도 있다.

이전 윤곽선과 현재 윤곽선은 도 6에서와 같이 프레임 경계에서의 윤곽선 화소는 제외한다.

이와같이 프레임 경계에 이전 모양 정보가 걸치는 경우는 실테 윤곽선과는 달리 프레임 경계에서 윤곽선 화소가 추출되고 이러한 위치의 윤곽선 화소는 실제 이동추정에 불리한 영향을 미치기 때문에 윤곽선 정합 방식을 위한 윤곽선 추출에서는 고려하지 않는 것이다.

또한 탐색창내에서 가장 많은 윤곽선 화소가 일치하는 위치와 현재 위치의 차이를 이동벡터로 하며, 이 이동벡터를 고정길이 부호화 또는 가변길이 부호화여 수신단에 전송한다.

MPEG-4 VM 같이 윤곽선(또는 VOP)의 프레임 상에서의 위치(기준점), 공간상의 참조점(Spatial Reference Point x,y)을 전송하는 경우에는 이 정보를 사용하여, 윤곽선 정합을 하기 전에 이전 윤곽선을 옮기고 정합을 시작할 수 있다.

이상에서 설명한 바와같은 본 발명 윤곽선 정점의 이동보상 예측을 위한 윤곽선 정합 이동 벡터 추정 방법은 이진 모양 정보의 시간축상의 중복성 제거를 통해 모양 정보를 부호화하는 윤곽선 예측 부호화시 정확한 시간축상의 이동보상 예측을 가능하게 하여 효과적인 정보량 압축을 이룰 수 있는 효과가 있다.

Claims (7)

1. 이전 이진 마스크로부터 이전윤곽선을 추출하고, 현재 이진 마스크로부터 현재윤곽선을 추출한 후 이들 이전윤곽선과 현재윤곽선을 매칭하여 이전 윤곽선으로부터 현재 윤곽선으로의 이동 벡터를 구함으로써 윤곽선 예측 부화화에서 이동보상 예측을 수행하도록 하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
2. 제1항에 있어서, 상기 이동벡터를 하나의 윤곽선 단위로 추정하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
3. 제1항에 있어서, 상기 이동벡터를 다-윤곽선(multi-contous)단위로 추정하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
4. 제1항에 있어서, 상기 기준점의 이동을 고려하는 것을 특징으로 하는 영상 신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
5. 제1항에 있어서, 상기 이전 윤곽선으로 재현 윤곽선을 사용하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
6. 제1항에 있어서, 상기 이전 윤곽선으로 원윤곽선을 사용하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.
7. 제1항에 있어서, 상기 이전윤곽선과 현재윤곽선 서 프레임 경계에서의 윤곽선 화소는 제외하는 것을 특징으로 하는 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법.