KR100219706B1

KR100219706B1 - 정점기반 형상 부호화 및 인접 프레임간 정점예측방법

Info

Publication number: KR100219706B1
Application number: KR1019970000506A
Authority: KR
Inventors: 조대성
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1997-01-10
Filing date: 1997-01-10
Publication date: 1999-09-01
Also published as: JPH10208063A; US6121980A; KR19980065483A

Abstract

본 발명은 정점기반 형상 부호화 및 인접 프레임간 정점 예측 방법에 대한 것으로, 정점기반 형상 부호화 방법은 정점 선정 단계; 중복 대응점이 있을 경우에 대한 새로운 정점 선정 단계; 원곡선과 근사된 직선간의 오차를 구하는 단계; 및 부호화 단계로 이루어지고, 인접 프레임간 정점 예측 방법은 정점 예측 단계; 예측된 정점을 조정하는 단계; 모든 정점을 예측하였는지 점검하는 단계; 및 예측되지 않은 정점에 대해 새로운 정점을 선정하는 단계로 이루어진다.

본 발명에 의하면, 2차원 물체의 형상을 부호화/복호화할 때, 정점 선정과정이 빠르고 원곡선과 근사된 직선이 일대일 대응되므로 효율적인 무손실/손실 부호화 성능을 갖는다. 또한 인접 프레임의 형상 정보간 예측을 이용한 무손실 부호화가 가능하므로 한 프레임내의 정보만을 이용하는 종래의 무손실 부호화 성능을 향상시킬 수 있다.

Description

정점기반 형상 부호화 및 인접 프레임간 정점 예측 방법

본 발명은 정점기반 형상 부호화 및 인접 프레임간 정점 예측 방법에 대한 것으로, 특히 중복 대응점이 있는 경우의 정점 선정 방법을 이용하여 부호화하고 이전 프레임으로부터 현재 프레임의 정점을 예측하는 방법에 관한 것이다.

비디오 데이터베이스나 비디오 전송등은 미래 멀티 미디어 기술의 핵심으로 떠오르고 있다. 인간에게 인식되고 있는 대부분의 가시적인 물체들은 궁극적으로 그 형상과 내부 텍스쳐(texture)로 나타낼 수 있으며, 미래의 비디오 처리기술은 한장한장의 프레임(frame)단위가 아닌, 인간에게 지각되는 물체나 콘텐트(content) 단위의 처리를 지향하고 있다. 특히, 현재 추진중인 엠펙4(Moving Picture Expert Group 4, MPEG4)와 같은 국제 영상 부호화 표준은 콘텐트기반(content_based)을 주요 목표로하고 있다. 따라서, 물체의 영상을 묘사하는데 2차원 곡선의 부호화 방법은 기본적인 수단으로 사용되고 있다.

주어진 2차원 곡선의 형상은 다각형 근사에 의해 부호화할 수 있다. 또한, 상기 부호화된 곡선(coded curve)은 다시한번 더 부호화될 수 있는데, 이를 위하여 원곡선(original curve)과 근사된 직선(부호화된 곡선의 한 변)과의 오차를 구해야한다. 원곡선과 근사된 직선과의 오차를 구하기 위한 오차 샘플링에는 여러 방법이 적용될 수 있다. 그러나 디지털 컴퓨터상에서의 용이한 구현 방법중의 하나로서, 도 1과 같이 원곡선위의 한 점과 이 점에 대응되는 근사된 직선위의 한 점과의 거리를 구하는 방법이 있다.

근사된 직선은 보다 높은 근사도를 갖게끔 다시 부호화될 수 있는데, 이를 위하여 원곡선과 근사된 직선과의 오차를 구하여야 한다. 즉, 도1에서 보인 바와 같이 원곡선과 근사된 직선과의 오차를 구하기 위해 정점들을 추출한 후, 원곡선과 근사된 직선과의 오차 샘플링 과정이 필요하다.

오차를 샘플링하기 위해 먼저 원곡선위의 두 정점중 서로의 거리가 가장 큰 점을 초기 두 정점으로 잡는다. 도2에서 정점 A, B가 있을 경우, 상기 두 정점사이의 원곡선과 상기 두 정점을 연결한 직선간의 오차가 어느 임계치 이상이면 새로운 정점을 A와 B사이에 추가한다. 상기 오차는 정점 A, B간의 직선으로부터 원곡선까지의 수직 거리를 측정한 값으로, 점 C를 (x₁,y₁)으로하고 정점 A, B간의 직선 방정식을 ax+by+c=0이라 할 때, 수직거리 d는 다음과 같이 계산할 수 있다.

정점 A, B간의 원곡선 위의 모든 점중 상기 수학식 1의 d가 가장 큰 점 C를 잡았을 때, d가 어느 임계치 이상이면 C를 새로운 정점으로 잡는다. 이와같은 과정을 모든 정점에 대해 수행하고 새로 첨가되는 정점이 없을 때까지 반복한다.

원곡선의 구해진 정점으로부터 근사된 직선과의 오차를 무손실 부호화하는 것은 근사된 직선으로부터 수직인 직선이 원곡선과 만나는 점이 상기 구해진 정점과 반드시 일치하지 않아 정점으로 근사된 곡선으로부터 오차를 구하는 대신, 원곡선위의 모든 점을 정점으로하여 상기 정점들을 부호화해야 한다. 그러나, 원곡선위의 모든 점을 부호화하는 것은 부호화효율을 저하시킨다. 특히 시간상 연속한 두 프레임 사이의 형상정보에 대한 예측을 이용하는 부호화기의 경우 모든 점을 예측해야하므로 이것은 현실적으로 불가능하다.

손실 부호화의 경우, 도3과 같은 오차 샘플링 방법을 이용한다. 즉, 원곡선위에 있는 X0, X1,…,X8과 같은 각각의 점(x_i,y_i)에 대하여 상기 수학식 1을 적용하는 것이다. 원곡선에 대해 오차 샘플링을 하는 경우, 근사된 직선은 고정되어 있으므로 상기 수학식 1의 분모가 다시 계산될 필요는 없다. 그러나, 최소한 두 번의 곱셈(ax₁,by₁)과 두 번의 덧셈(ax₁+by_1,by₁+c) 및 한 번의 나눗셈 계산이 필요하여 계산량이 많다. 또한 손실 부호화의 복원 화질의 경우도 오차 샘플링시 중복 대응점이 발생한 경우, 실제로 어떤 점이 화질의 저하를 가장 작게 하는지를 찾기가 쉽지 않아 효율적인 부호화기를 설계하기 힘들다.

부호화된 오차들을 원영상으로 복원할 때, 도 3의 A0, A1, …, A8의 위치는 부호화시의 위치와 동일해야한다. 왜냐하면, 복원시에는 원곡선에 대한 정보를 갖고있지 않기 때문에 직선을 기준으로 부호화/복호화되어야 하기 때문이다. 따라서, 오차를 부호화/복호화 하기위해서는 원곡선위의 점들로부터 부호화된 직선위로 수선의 발을 내리는 방법을 사용하는 대신 도 3의 부호화된 직선위에 있는 미리 정의된 점들 A0, A1, …, A8로부터 원곡선까지의 수직거리를 측정해야 한다. 이를 위하여 A0, A1, …, A8로부터 올린 수선들과 원곡선이 만나는 교점들을 구한 뒤, 각각 X0, X1, …, X8이라 정하여 A0, A1, …, A8로부터 올린 수선들의 수직거리를 구하면 부호화/복호화에 알맞는 오차를 얻을 수 있다. 그러나, 상기 방법도 A0, A1, …, A8로부터 올린 수선들과 원곡선이 정확히 일치하지 않는 경우가 발생하여 부호화 효율이 저하된다.

본 발명은 상기 문제점을 해결하기 위하여 창출된 것으로서, 효과적인 부호화가 가능하도록 근사된 직선위의 한 점을 조건에 따라 수평축 또는 수직축상으로 투사시킨 후, 투사된 점으로부터 원곡선까지의 거리를 오차측정에 사용하므로써 계산량을 단축하고, 무손실 부호화에 필요치않은 중복 대응점을 없애기 위한 정점기반 형상 부호화 방법 및 인접 프레임의 형상정보간 정점을 예측하여 부호화하기 위한 인접 프레임간 정점 예측 방법을 제공함에 목적이 있다.

도 1은 원곡선과 다각형 근사에 의해 부호화된 곡선을 도시한 것이다.

도 2는 종래의 원곡선과 부호화된 곡선간의 최대 길이를 이용한 정점 선정 방법을 도시한 것이다.

도 3은 종래의 부호화된 곡선의 일부분으로부터 수직거리를 측정하여 오차를 구하는 방법을 도시한 것이다.

도 4는 본 발명에 따른 정점기반 형상 부호화 방법을 흐름도로 도시한 것이다.

도 5는 본 발명에 따른 다각형 근사와 DPCM/DCT를 사용한 외곽선 부/복호화 방법을 개략적으로 도시한 것이다.

도 6은 본 발명에 따른 수평축을 기준으로 수직거리를 측정하므로써 오차를 구하는 방법을 도시한 것이다.

도 7은 본 발명에 따른 수직축을 기준으로 수평거리를 측정하므로써 오차를 구하는 방법을 도시한 것이다.

도 8은 본 발명에 따른 무손실 부호화를 위한 정점 선정 방법을 도시한 것이다.

도 9는 본 발명에 따른 정점 선정 방법을 흐름도로 도시한 것이다.

도 10은 본 발명에 따른 정점 선정 방법을 순서도로 도시한 것이다.

도 11은 본 발명에 따른 연속하는 두 프레임의 형상정보간의 정점 예측 방법을 흐름도로 도시한 것이다.

도 12는 본 발명에 따른 연속하는 두 프레임의 형상정보간의 정점 예측 방법을 순서도로 도시한 것이다.

상기 목적을 달성하기 위한, 본 발명에 따른 정점기반 형상 부호화 방법은 정점 선정 단계; 새로운 정점 선정 단계; 오차 샘플링 단계; 및 부호화 단계를 포함함이 바람직하다.

상기 또 다른 목적을 달성하기 위한, 본 발명에 따른 인접 프레임간 정점 예측 방법은 정점 예측 단계; 예측된 정점을 조정하는 단계; 모든 정점을 예측하였는지 점검하는 단계; 및 예측되지 않은 정점에 대해 새로운 정점을 선정하는 단계로 이루어진다.

이하 첨부한 도면을 참조하여 보다 자세히 설명한다. 도4는 본 발명에 따른 정점기반 부호화 방법을 흐름도로 나타낸 것이다. 정점기반 형상 부호화 방법은 원곡선을 근사하기 위한 정점 및 원곡선과 상기 정점을 연결하여 만든 다각형간의 오차를 부호화하는 방법으로, 먼저, 원곡선을 근사하기 위한 정점을 선정하고(400단계), 상기 선정된 정점외에 중복 대응점을 없애기 위해 새로운 정점을 추가로 선택한 후(410단계), 상기 선정된 정점을 연결하여 이루어진 다각형과 원곡선과의 오차를 무손실 부호화인 경우 샘플링 구간을 1로하고, 손실 부호화인 경우 소정의 샘플링 구간을 정하여 각 샘플링 점에서 구한다음(420단계), 구해진 정점과 오차를 차분 펄스 부호 변조(Differential Pulse Code Modulation, 이하 DCPM이라 한다)/이산 여현 변환(Discrete Cosine Transform, 이하 DCT라 한다)를 이용하여 부호화한다(430단계). 도 5는 상기 과정을 개략적으로 도시한 것으로, 입력 원곡선(500)의 형상은 다각형 근사(510)에 의해 다각형으로 부호화(520)된다. 이를 1차 부호화 곡선이라하고, 참조번호 530을 1차 부호화된 오차라고 한다. 상기 1차 부호화된 오차는 참조번호 540과 같은 오차 샘플링 단계를 거쳐서 무손실 부호화를 위해서 DPCM등의 예측 부호화 방법으로, 손실 부호화를 위해서는 DCT와 같은 변환 부호화 방법으로 보상된다. 상기 부호화된 오차들은 각각의 역 DPCM/DCT에 의하여 다시 복호화(550)되고, 1차 부/복호화된 곡선(560)과 더해지면 원곡선과 같거나(무손실 부호화의 경우, 500), 근사된 곡선(손실 부호화의 경우, 570)으로 된다.

본 발명에서의 손실 부호화를 위한 오차 샘플링 방법은 도6 및 도7에 도시된 바와 같이, 원곡선과 선정된 두 정점을 연결한 직선(이하 직선이라 한다)간의 오차를 구하고자 할 때, 상기 직선을 소정의 구간으로 샘플링하여, 각 샘플링 점에서 각각 수평축 및 수직축에 대해 원곡선과의 거리를 측정한다. 도 6은 상기 직선의 기울기가 0.5이하인 경우로, 수평축(630)을 정하여 상기 수평축으로부터 원곡선(620)까지의 거리에서 상기 수평축(630)으로부터 직선(610)까지의 거리를 감산하여 오차 |X0-A0|, …, |X8-A8|을 계산한다. 직선의 기울기가 0.5보다 큰 경우에는 도 7에 도시된 바와 같이 수직축(730)을 정하여서 상기 수직축으로부터 원곡선(720)까지의 거리에서 상기 수직축(730)으로부터 상기 직선(710)까지의 거리를 감산하여 오차 |X0-A0|, …, |X8-A8|을 계산한다. 상기 도 6 및 도 7의 A0, …, A8은 샘플링 구간으로서,부호화기와 복호화기 양측에서 일정한 간격이 약속되어져야 한다.

샘플링을 하지 않고, 직선위의 모든 점에 대해 오차를 구하는 무손실 부호화가 가능하기 위해서 또는 상기 손실 부호화의 효율을 증대하기 위해서는 원곡선위의 점들과 상기 수평/수직축의 점들이 각각 일대일 대응되어야한다. 상기 일대일 대응을 위한 새로운 정점 선정 방법은 두 정점사이의 오차 성분에 중복 대응점이 존재하면 수직 혹은 수평 거리의 최대값을 갖는 점을 새로운 정점으로 선택하는 것이다. 예를 들어, 도8에 도시된 바와 같이, 수평축의 한 점 P(D)에 대응되는 원곡선(800)의 점이 D₁, D₂및 D가 되는 중복 대응점이 존재하는 경우에, 정점 A, B간 직선(810)에서 상기 원곡선(800)까지의 거리가 최대(820)가 되는 점 C를 정점으로 선정한 후, 다시 일대일 대응을 위해 상기 정점 선정과정을 반복한다.

본 발명에 따른 정점 선정 방법은 도 9에 흐름도로 도시된 바와 같이 정점과 종료여부를 나타내는 플래그가 초기화되는 단계(900단계), 상기 초기화된 정점에서 원곡선과 근사된 직선과의 오차가 구해지는 단계(910단계), 중복 대응점이 있는 경우 상기 910단계에서 최대 오차를 갖는점이 새로운 정점으로 선정되는 단계(920단계); 상기 920단계에서 새로운 정점 선정여부에 따라 종료 플래그가 설정되고, 모든 정점에 대해 조사되도록하는 단계(930단계) 및 상기 설정된 종료 플래그에 따라 종료가 결정되는 단계(940단계)로 이루어진다.

상기 정점선정 방법을 도 10의 순서도를 참조하여 자세히 설명하면 다음과 같다. 먼저, 원곡선상의 두 점중 서로의 직선길이가 가장 긴 두 정점이 선정되어 초기정점으로 된 다음(1000단계), 종료여부를 나타내는 플래그가 초기화된다(1005단계). 상기 1000단계에서 선정된 초기 두 정점간 직선의 기울기가 0.5보다 크거나 같으면(작으면, 1010단계) 상기 도 7(도 6)과 같이 수직축(수평축)에 대하여 원곡선과 근사된 직선과의 수평(수직)방향 오차거리가 가장 큰 점이 선정된다(1015단계). 상기 두 정점사이에서 도8과 같은 중복 대응점의 존재여부를 조사하여(1020단계), 존재한다면 상기 오차거리가 가장 큰 점이 새로운 정점으로 선정된다(1025단계). 중복 대응점이 존재하지 않는다면 상기 두 정점사이가 모두 조사되었는지를 점검하여(1030단계), 모두 조사되지 않았다면 나머지 샘플링 구간이 조사되어(1035단계) 중복 대응점의 존재여부가 점검된다. 상기 1020단계에서 중복 대응점이 존재하거나, 상기 1030단계에서 상기 두 정점사이가 모두 조사되면 새로운 정점이 선정되었는지의 여부가 조사된다(1040단계). 새로운 정점이 있다면 중복 대응점이 없도록 다시 새로운 정점을 선정하기위해 전체과정을 종료하지 않도록 플래그가 설정되고(1045단계), 모든 정점에 대해 조사되었는지가 점검된다(1050단계). 새로운 정점이 선정되지 않았다면 상기 1045단계를 거치지 않고 상기 1050단계가 수행된다. 상기 1050단계에서 모든 정점이 조사되지 않았다면 다음 순서의 정점이 선정되고(1055단계), 모든 정점이 조사되었다면 종료여부를 나타내는 플래그가 점검된다(1060단계). 플래그가 종료하지 않도록 설정되었다면 상기 1025단계로 돌아가서 새로운 정점을 추가 선정하도록 과정을 반복하고, 종료하도록 설정되었다면 상기 전체과정이 종료된다.

한편, 두 프레임의 형상정보간 예측 부호화를 위한 정점 예측 방법은 도11에 흐름도로 도시한 바와 같이 이전 프레임으로부터 정점이 예측되는 단계(1100단계), 상기 예측된 정점의 원곡선과 이전 프레임에서 해당 정점의 원곡선과의 오차가 작은 경우 상기 예측된 정점이 조정되는 단계(1110단계), 모든 정점에 대해 상기 정점예측이 수행되는 단계(1120단계) 및 상기 1110단계에서 오차가 큰 경우 상기 예측된 정점간에 새로운 정점이 선정되는 단계(1130단계)로 이루어진다.

상기 정점 예측 방법을 도 12의 순서도를 참조하여 보다 자세히 설명하면 다음과 같다. 먼저, 현재의 원곡선에 정합될 이전 프레임에서의 형상정보의 초기 두 정점이 선정된다(1200단계). 상기 선정된 두 초기 정점간의 원곡선과 현재 프레임의 형상정보가 가장 잘 정합되도록하는 현재 프레임의 두 정점이 선정(예측)된다(1210단계). 각각의 프레임의 두 정점사이에서 두 원곡선간의 오차가 임계치이하인지 검사된 후(1220단계), 임계치이하이면 정점예측이 잘 이루어진 경우이므로 이전 프레임으로부터 예측된 두 정점이 현재 프레임의 원곡선상에 오도록 조절된 다음(1230단계), 이전 프레임에서 선정된 두 정점이 최종점인지의 여부가 조사된다(1240단계). 임계치보다 큰 경우는 상기 1230단계를 거치지않고 상기 1240단계가 바로 수행된다. 상기 1240단계에서 선정된 두 정점이 최종점이 아니면 이전 프레임에서 다음 순서의 두 정점이 선정된 다음(1250단계), 상기 1210단계로 돌아가서 현재 프레임의 다른 정점들이 예측된다. 상기 1240단계에서 이전 프레임의 두 정점이 최종점이면 상기 도 9와 같은 정점 선정방법으로, 상기 1210단계에서 예측된 현재 프레임의 정점외에 예측되지 않은 정점으로 인한 중복 대응점이 없도록 예측된 정점사이에 새로운 정점이 선정된다(1260단계).

Claims

물체의 형상을 나타내는 2차원 곡선을 부호화 할 때, 상기 물체의 형상에서 선정된 소정의 정점을 기반으로하여 2차원 곡선을 부호화하는 정점기반 형상 부호화 방법에 있어서,

물체의 형상을 나타내는 2차원 곡선을 원곡선이라 할 때, 상기 원곡선을 부호화하기위해 소정의 정점들을 선정하는 단계;

상기 정점들을 차례로 연결하여 만들어진 직선상의 한 점에서 기준 수직축 또는 기준 수평축에 내린 수선의 발을 상기 원곡선까지 연장하여, 상기 연장선과 상기 원곡선이 만나는 점을 대응점이라 하고, 상기 직선상의 한 점에 상기 원곡선상의 점이 하나 이상 대응되는 점을 중복 대응점이라할 때, 상기 중복 대응점을 없애기 위해 새로운 정점을 추가 선정하는 단계;

상기 기준 수직축 또는 기준 수평축에 대한 상기 원곡선과 상기 직선과의 차를 오차라 하면, 상기 오차를 상기 기준 수직축 또는 기준 수평축에 대하여 소정의 구간으로 샘플링하는 단계; 및

상기 선정된 정점들과 샘플링된 오차들을 부호화하는 단계를 포함함을 특징으로하는 정점기반 형상 부호화 방법.
제1항에 있어서, 상기 정점 추가 선정 단계는

상기 선정된 정점들을 차례로 연결한 직선들중 가장 긴 직선을 이루는 두 정점을 임시 정점으로 하는 단계;

상기 직선의 기울기를 소정의 기준치와 비교하는 단계;

기준 수직축 또는 기준 수평축에 대한 상기 원곡선과 상기 직선과의 차를 오차라 하고, 상기 비교단계에서 직선의 기울기가 소정의 기준치보다 크면, 기준 수직축에 대해 또는 직선의 기울기가 소정의 기준치보다 작으면, 기준 수평축에 대해 소정의 구간으로 나누어 상기 오차를 구한 다음, 상기 구해진 오차중에 최대 오차를 갖는 점을 찾는 단계;

상기 임시정점사이에 상기 중복 대응점이 있는 경우, 상기 최대 오차를 갖는 점을 새로운 정점으로 선정하는 단계;

상기 임시 정점이 마지막 순서의 정점인가를 점검하는 단계;

상기 임시 정점이 마지막 순서의 정점이 아닌 경우, 상기 임시 정점이 마지막 순서의 정점이 될 때까지 다음 순서의 정점을 임시 정점으로하여, 그 임시 정점사이의 상기 중복 대응점 유무에 따라 상기 새로운 정점 선정 단계를 반복하는 단계; 및

상기 임시 정점이 마지막 정점이고 상기 새로운 정점이 선정되었다면 상기 중복 대응점이 없도록 새로운 정점 선정 단계를 반복하고, 상기 임시 정점이 마지막 정점이고 상기 새로운 정점이 선정되지 않았다면 상기 정점 추가 선정단계를 종료하는 단계를 포함함을 특징으로하는 정점기반 형상 부호화 방법.
물체의 형상을 나타내는 2차원 곡선을 부호화할 때, 이전 프레임의 정점으로부터 현재 프레임의 정점을 예측하여 현재 프레임을 부호화하기 위한 인접 프레임간 정점 예측 방법에 있어서,

물체의 형상을 나타내는 2차원 곡선을 원곡선이라 할 때, 이전 프레임 원곡선의 두 정점을 선정하여 임시 정점으로하고, 상기 임시 정점의 위치에 해당하는 현재 프레임의 위치에서 현재 프레임의 두 정점을 선정하는 단계;

기준 수직축 또는 기준 수평축에 대한 상기 현재 프레임에서 예측된 두 정점간의 원곡선과 이전 프레임의 상기 임시 정점간 원곡선과의 차를 오차라 할 때, 상기 오차가 소정의 임계치보다 작은 경우, 상기 예측된 정점이 현재 프레임의 원곡선상에 오도록 상기 예측된 정점을 조정하는 단계;

상기 이전 프레임의 임시 정점이 마지막 순서의 정점이 아니거나, 이전 프레임의 원곡선과 현재 프레임의 원곡선간의 상기 오차가 소정의 임계치보다 큰 경우, 다음 순서의 정점을 임시 정점으로 하여 현재 프레임의 해당 정점을 예측하는 단계; 및

상기 이전 프레임의 임시 정점이 마지막 순서의 정점이어서 이전 프레임의 모든 정점에 의한 현재 프레임의 정점 예측이 이루어진 다음, 현재 프레임에서 이전 프레임으로부터 예측되지 않은 새로운 정점을 추가로 선정하는 단계를 포함함을 특징으로하는 인접 프레임간 정점 예측 방법.