KR100439578B1

KR100439578B1 - 버텍스 단위의 움직임 벡터 예측을 통한 3차원 메쉬시퀀스 부호화 장치 및 방법

Info

Publication number: KR100439578B1
Application number: KR10-2002-0012493A
Authority: KR
Inventors: 양정휴; 김창수; 이상욱
Original assignee: 이상욱; 김창수; 양정휴
Priority date: 2002-03-08
Filing date: 2002-03-08
Publication date: 2004-07-12
Also published as: KR20030073100A

Abstract

본 발명은 3차원 메쉬 시퀀스 부호화에 관한 것으로, 본 발명에서는 버텍스 단위의 움직임 예측기법을 이용한 3차원 메쉬 시퀀스 부호화를 통해, 시퀀스의 프레임을 구성하는 버텍스의 개수가 일정하고, 위상학적 정보도 변하지 않는 동형 메쉬 시퀀스에 대해서 각 버텍스의 움직임 벡터를 쉽게 예측할 수 있게 된다. 즉, 이웃하는 버텍스의 움직임 벡터들의 높은 상관도를 이용하여 1단계 예측에서 이웃의 움직임 벡터들의 가중치 합으로부터 버텍스의 움직임 벡터를 예측하도록 하며, 2단계 예측에서 비용-왜곡 최적화 모드 선택 방법을 통해서 지역적 형태 변이에 적응적으로 예측을 수행하도록 함으로써, 3차원 메쉬 시퀀스 부호화에 있어서 종래 세그먼트에 기반한 방법보다 더 간단한 구조를 가지면서도 부호화 이득을 휠씬 높일 수 있게 되는 이점이 있다.

Description

버텍스 단위의 움직임 벡터 예측을 통한 3차원 메쉬 시퀀스 부호화 장치 및 방법{3 DIMENSIONAL MESH SEQUENCE ENCODING APPARATUS BASED ON VERTEX-WISE MOTION VECTOR PREDICTION AND METHOD THEREOF}

본 발명은 3차원 메쉬(Mesh) 시퀀스 부호화에 관한 것으로, 특히, 버텍스(Vertex) 단위의 움직임 벡터 예측에 기반한 동형 메쉬 시퀀스에 대한 효율적인 부호화 장치 및 방법에 관한 것이다.

최근, 3차원 데이터가 가상 현실, 비디오 게임, 캐드, 의료 영상등과 같은 여러 응용 분야에서 사용됨에 따라 그 중요도가 점점 높아지고 있다. 그러나, 3차원 데이터를 표현하기 위해서는 일반적으로 상당히 많은 정보량이 필요하기 때문에 저장과 전송을 위해서는 막대한 저장 용량과 넓은 네트워크 대역폭이 필요하게 된다. 따라서 3차원 데이터를 효율적으로 압축하기 위한 연구가 필요하다. 3차원 데이터를 표현하는 방법 중에서 가장 널리 사용되는 방법 중의 하나가 삼각형 메쉬인데, 크게 정지 메쉬와 메쉬 시퀀스로 분류할 수 있다. 2차원 영상 데이터와의 유사성을 보면, 정지 메쉬는 정지 영상에 해당하고, 메쉬 시퀀스는 동영상에 해당한다.

지금까지의 3차원 메쉬 부호화에 있어서는 정지 메쉬 압축에 대부분의 노력이 기울여져 왔으며, 이에 대한 접근 방향으로는 전양자화(pre-quantization) 후의 무손실 부호화 방법과 점진적 부호화 방법 등이 있다. 메쉬 시퀀스의 경우, 3차원 애니메이션이나 모델링 기법들이 여러 분야에서 응용되고 있고, 실시간 3차원 영상 취득 장치 기술의 발달과 함께 많은 3차원 데이터가 취득 생성되리라 예상되지만, 부호화에 대한 연구 시도는 아직까지 미비하다.

한편, 메쉬 시퀀스를 부호화하기 위해서는 이웃 프레임간의 대칭점을 찾아야하므로, 일반적인 메쉬 시퀀스의 부호화는 어려운 문제가 된다.

이에 반해 동형 시퀀스는 메쉬 시퀀스의 특수한 형태로서, 전체 시퀀스에 대해서 버텍스 개수가 일정하고 위상학적 정보가 유지되는 시퀀스로, 동형 시퀀스에서는 이웃 프레임 간의 대칭점을 쉽게 찾을 수 있어 부호화가 용이하다. 예를 들어 애니메이션 시퀀스는 대표적인 동형 시퀀스로서 애니메이션 시퀀스에서는 이웃 프레임간의 대칭점을 쉽게 찾을 수 있어 부호화를 통한 압축이 가능하게 되는 것이다.

한편, 종래 메쉬 시퀀스의 부호화에 대해서는, Beek 등에 의해 제안된, 2차원 객체를 동형 메쉬로 표현하고 2차원 메쉬 시퀀스 부호화를 수행하는 방법과, Lengyel 등에 의해 제안된 메쉬 분할(segmentation)에 바탕을 둔 동형 메쉬 시퀀스 부호화 방법 등이 제안되고 있다. 상기 부호화 방법은 메쉬 시퀀스의 각 프레임을 먼저 몇 개의 세그먼트로 분할하고, 각 세그먼트들의 움직임을 유사 변환으로 표현하고, 유사 변환 계수와 예측 오차 값들을 양자화한 후, 부호화한다. 즉 상기 방법은 2차원 비디오 영상 코딩 기법과 비슷하고, 메쉬 세그먼트는 비디오 영상의 매크로 블록에 해당된다.

그러나 비디오 영상 코딩에서의 매크로 블록은 비디오 영상 신호의 균일한 특성 때문에 쉽게 얻을 수는 있지만, 3차원 메쉬 시퀀스에서 메쉬 분할은 아주 복잡한 문제이며, 많은 복잡한 계산이 수행되어야 하는 문제점이 있다.

따라서, 본 발명의 목적은 버텍스 단위의 움직임 벡터 예측에 기반한 동형 메쉬 시퀀스에 대한 효율적인 부호화 장치 및 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명은 버텍스 단위의 움직임 벡터 예측을통한 3차원 메쉬 시퀀스 부호화 장치 및 방법에 있어서, 부호화 대상 버텍스의 움직임 벡터()에 대해 이웃 설정된 이전 버텍스들의 복원된 움직임 벡터()를 갱신 저장하는 프레임 메모리와; 상기 프레임 메모리로부터 이웃 설정된 버텍스들의 움직임 벡터를 읽어들이고, 상기 부호화 대상 버텍스의 움직임 벡터 예측을 위한 최적의 가중치를 상기 이웃 버텍스들의 움직임 벡터에 승산하여 1차 예측 움직임 벡터를 산출시키는 1차 예측기와; 상기 1차 예측기로부터 예측된 1차 예측 움직임 벡터와 상기 부호화 대상 버텍스의 움직임 벡터간 차로 생성되는 1차 오차 벡터를 시간적 또는 공간적 예측 모드에 따라 예측한 2차 예측 후보 움직임 벡터들 중 오류율이 가장 낮은 최적 예측 모드의 2차 예측 움직임 벡터를 산출하는 2차 예측기와; 상기 1차 오차 벡터와 상기 2차 예측된 움직임 벡터간 차로 생성되는 2차 오차벡터를 양자화시키는 양자화기와; 상기 양자화된 2차 오차벡터 데이터를 확률분포에 따라 부호화 시키는 산술부호화기;를 포함하는 3차원 메쉬 시퀀스 부호화 장치를 구현하며, (a)부호화 대상 버텍스()의 실제 움직임 벡터()를 입력받는 단계와; (b)상기 부호화 대상 버텍스()의 이웃 설정된 버텍스들의 복원된 움직임 벡터()를 읽어들이는 단계와; (c)상기 부호화 대상 버텍스에 대한 가중치를 산출하고, 상기 이웃 버텍스들의 복원 움직임 벡터()들에 가산하여 1차 예측 움직임 벡터를 산출하는 단계와; (d)상기 부호화 대상 버텍스의 움직임 벡터와 상기 1차 예측 움직임 벡터간의 차인 1차 오차벡터를 산출하는 단계와; (e)시/공간적 예측 모드에 따라 상기 1차 오차벡터를 예측한 2차 예측 후보 움직임 벡터를 산출한후, 오류율이 가장 낮은 최적의 예측 모드에 따른 2차 예측 움직임 벡터를 선택하는 단계와; (f)상기 1차 오차벡터와 상기 2차 예측 움직임 벡터간의 차인 2차 오차벡터를 산출하는 단계와; (g)상기 2차 오차벡터를 양자화하고 산술 부호화하여 3차원 메쉬 시퀀스 부호화를 수행하는 단계;를 포함하는 3차원 메쉬 시퀀스 부호화 방법을 구현하는 것을 특징으로 한다.

도 1은 본 발명의 실시 예에 따른 3차원 메쉬 시퀀스 부호화 장치의 블록 구성도,

도 2는 본 발명의 실시 예에 따른 버텍스 단위의 움직임 벡터 예측을 이용한 3차원 메쉬 시퀀스 부호화 처리 흐름도,

도 3은 본 발명의 실시 예에 따른 버텍스들의 이웃 설정을 도시한 예시도,

도 4 및 도 5는 본 발명의 실시 예에 따른 동형 시퀀스의 3차원 메쉬 모델 일부 프레임 예시도,

도 6은 상기 도 4 및 도 5에 도시된 3차원 메쉬 모델에 대한 부호화 성능 예시도,

도 7은 본 발명의 실시 예에 따른 3차원 메쉬 시퀀스 복호화 장치의 블록 구성도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예의 동작을 상세하게 설명한다.

본 발명에서는 3차원 메쉬 시퀀스 부호화 방법을 구현함에 있어서, 프레임 내 부호화(Intra-frame coding) 기법과 프레임 간 부호화(Inter-frame coding) 기법을 이용하여 부호화를 수행한다. 시퀀스의 첫 번째 프레임에는 프레임 내 부호화 기법이 적용되며 기존의 정지 메쉬 부호화 기법을 사용한다. 그리고 연결 정보 부호화를 위해서는 Touma와 Gotsman의 부호화 기법을 이용하는데, 상기 기법에서는 삼각형 메쉬에서 임의의 버텍스와 직접 연결되는 버텍스들은 일정한 방식에 의해서 순서가 정해질 수 있다는 사실을 이용하여, 특정한 순서에 따라 각 버텍스의 연결 버텍스 개수(vertex degree)들의 리스트로서 연결 정보를 부호화한다. `ADD', `SPLIT', `MERGE'의 세 가지 연산이 부호화 순서를 도와준다. 이 세 가지 연산들 중에서 `ADD' 연산이 가장 빈번하게 나타나고, 연결 버텍스 개수도 6을 중심으로 밀집되어 분포하는 특성이 있다. 이러한 불균일 분포 특성을 이용해서 산술 부호화 기법을 적용한다.

기하학적 정보 부호화를 위해서 각 버텍스의 위치는 쌍방향 평행사변형 기법에 의해서 예측되는데, 이 방법은 순방향 평행사변형과 역방향 평행사변형을 이용함으로써 순방향 평행사변형만을 이용하는 경우보다 예측 오차의 분산을 줄여준다. 그리고, 두번째 프레임부터는 프레임 간 시간 잉여 정보를 제거하기 위해 본 논문에서 제안하는 프레임 간 부호화 기법을 적용하여 버텍스 단위의 움직임 벡터 필드를 예측하게 된다.

도 1은 본 발명의 실시 예에 따른 3차원 메쉬 시퀀스 부호화기의 블록 구성을 도시한 것이다. 이하 설명될 본 발명의 프레임 간 부호화기에서 버텍스의 움직임 벡터는 먼저 이웃의 움직임 벡터를 이용하여 예측된다. 이때 버텍스(v)의 이웃은 기하학적으로 가까운 버텍스들이 아니라, 상기 버텍스(v)로부터 미리 정해진 거리내에 위치해 있고 이미 부호화된 버텍스들의 집합이 된다. 따라서, 이웃에 있는 버텍스들은 상기 버텍스(v)로부터 편중된 방향에 위치하게 되므로, 1차 예측 후에 남게 되는 잉여 정보에 대해서는 2차 예측에서 제거되도록 구성하였다.

이하 상기 도 1을 참조하여 본 발명의 프레임 간 부호화기 내 각 블록의 동작을 살펴보면, 프레임 메모리(Frame memory)(102)는 부호화 대상 버텍스의 움직임 벡터()에 대해 이웃 설정된 이전 버텍스들의 복원된 움직임 벡터()를 갱신 저장한다. 1차 예측기(104)는 상기 프레임 메모리(102)로부터 이웃 설정된 버텍스들의 움직임 벡터를 읽어들이고, 상기 부호화 대상 버텍스의 움직임 벡터 예측을 위한 최적의 가중치를 상기 이웃 버텍스들의 움직임 벡터에 승산하여 1차 예측 움직임 벡터를 산출하고, 이를 제1가산기(108)로 인가시킨다. 제1가산기(108)는 상기 1차 예측기(104)로부터 인가되는 1차 예측 움직임 벡터와 상기 부호화기(100)로 입력되는 부호화 대상 버텍스의 움직임 벡터간 1차 오차벡터를 산출시킨다.

2차 예측기(106)는 1차 예측기(104)로부터 예측된 1차 예측 움직임 벡터와 상기 부호화 대상 버텍스의 움직임 벡터간 차로 생성되는 1차 오차 벡터를 시간적 또는 공간적 예측 모드에 따라 예측한 2차 예측 후보 움직임 벡터를 산출하고, 상기 2차 예측 후보 움직임 벡터들 중 오류율이 가장 낮은 최적 예측 모드의 2차 예측 움직임 벡터를 산출시킨다. 상기 예측 모드라 함은 상기 1차 오차벡터에 대한 정확한 2차 예측 움직임 벡터 산출을 위해 2차 예측기(106)에 구비되는 동작 모드로써,

상기 1차 오차벡터에 대해 어떤 예측도 하지 않고 그대로 출력되도록 하는 비 예측 모드, 부호화 대상 버텍스의 이전 프레임에서의 복원된 오차벡터를 가지고 2차 예측을 위한 움직임 벡터를 산출하는 시간적 예측 모드, 이웃 버텍스들의 이전 프레임에서의 복원된 오차벡터들을 평균하여 2차 예측을 위한 움직임 벡터를 산출하는 공간적 예측 모드, 상기 시간적 예측과 공간적 예측을 모두 이용하여 2차 예측을 위한 움직임 벡터를 산출하는 시/공간적 예측 모드를 말한다.

제2가산기(110)는 제1가산기(108)로부터 출력되는 1차 오차벡터와 상기 2차 예측기(106)로부터 인가되는 2차 예측 움직임 벡터간 차로 생성되는 2차 오차벡터를 산출시킨다. 양자화기(112)는 상기 제2가산기(110)로부터 출력되는 2차 오차벡터를 양자화하여 출력하는데, 상기 양자화된 2차 오차벡터는 역양자화기(114)를 통해 복원된 후, 제3, 제4 가산기(116,118)를 통해 상기 예측에 사용된 1,2차 예측 움직임 벡터들과 가산되어 다음 입력 프레임내 버텍스의 움직임 벡터의 예측을 위해 프레임 메모리(102)에 갱신 저장되며, 또한 산술부호화기(120)로 인가되어 산술부호화가 수행된다.

도 2는 본 발명의 실시 예에 따른 3차원 메쉬 시퀀스 부호화기(100)에서 프레임 간 부호화 처리 흐름을 도시한 것이다. 이하 상기 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명한다.

먼저 부호화기(100)는 부호화기 입력단으로 부호화 대상 버텍스()의 실제 움직임 벡터()가 입력되는 경우 (S200)단계에서 (S202)단계로 진행해서 상기 입력된 버텍스의 이웃 설정된 버텍스들의 복원된 움직임 벡터()를 프레임 메모리(102)로부터 가져온다.

상기에서 두 개의 버텍스사이의 위상학적 거리를 두 버텍스를 연결하는 최소의 에지 개수로 정의하고,로 나타낸다. 그리고,j번째 버텍스()가 부호화되고 있다고 가정할 때, 버텍스()로부터 거리n 이내에 존재하는 이웃은 아래의 [수학식 1]에서와 같이 정의된다.

여기서,E(j)는 이미 부호화된(j-1)개의 버텍스들의 집합을 나타낸다.

도 3는 본 발명의 실시 예에 따른 부호화 과정에서 나타나는 거리 "1"만큼 떨어져 있는 이웃의 3가지 예를 도시한 것이다. 각 프레임에 대해서 연결 정보는 변하지 않는다고 가정하므로, 각 버텍스의 이웃은 첫번째 프레임의 부호화 과정 중에 찾을 수 있고, 전체 시퀀스에 대해서 고정된다. 일반적으로, 움직임 벡터의 상관성은 이웃의 거리가 멀리 떨어져 있을수록 줄어들기 때문에 본 발명에서는 거리가 "1"인 이웃만을 이용하기로 한다.

이어 부호화기(100)는 (S204)단계에서 이웃 버텍스들에 대한 최적 가중치를 계산한다. 상기 가중치라 함은 프레임 메모리(102)에 저장된 이전 움직임 벡터를 이용하여 각 입력 움직임 벡터에 대한 최적의 예측이 가능하도록 하는 값을 의미한다.

전술한 바와 같이 상기 버텍스(v)의 실제 움직임 벡터와 복원된 움직임 벡터를 각각와라고 가정하면, 버텍스(v_j)의 움직임 벡터는 아래의 [수학식 2]에서와 같이 이웃의 가중치 합으로 주어진다.

여기서,는k번째 이웃 버텍스를 나타내고,는에 대한 가중치이다. 이때, 1차 예측 단계 후의 오차 벡터()는 아래의 [수학식 3]에서와 같다.

한편, 상기 [수학식 2]에서 가중치()는 아래의 [수학식 4]에서와 같은 제한 조건을 가지며, 이때 오차 벡터()의 평균 크기를 최소화하도록 정해진다.

여기서,K는 이웃 버텍스들의 개수이며, 상기 [수학식 2], [수학식 4]에 의해 오차 벡터는 아래의 [수학식 5], [수학식 6]과 같이 유도될 수 있다.

한편, 여기서 오차 항목은 아래의 [수학식 7]에서와 같이 나타내어 질 수 있다.

따라서, 최적의 가중치는 상기 [수학식 4]의 제한 조건하에서 상기 [수학식 6]을 최소화하는 값으로 설정되게 되는 것이다. 이때 Langrange multiplier 기법을 도입하면, 아래의 [수학식 8]에서와 같이 제한 조건 최적화 문제를 비제한 조건 문제로 바꿀 수 있게 된다.

상기에서 두 오차 항목과의 상관도가과사이의 위상학적 거리에만 의존한다고 가정하는 경우 오차벡터는 아래의 [수학식 9]에서와 같이 나타내어 질 수 있으며,

각에 대해서 아래의 [수학식 10]에서와 같이 상기 [수학식 8]을 미분한 값이 "0"이 되게 함으로써 최적의 가중치들을 구할 수 있게 된다.

따라서 상기 [수학식 4]와 [수학식 9]로부터 최적의 가중치에 관한 식을 아래의 [수학식 11]에서와 같이 산출할 수 있게 된다.

이어 부호화기(100)는 (S206)단계에서 1차 예측기(104)를 제어하여 상기 (S204)단계에서 구해진 최적의 가중치를 상기 이웃 버텍스의 복원 움직임 벡터()에 곱한 1차 예측 움직임 벡터를 생성시킨 후, (S208)단계로 진행해서 제1가산기(108)를 통해 상기 입력된 실제 움직임 벡터()와 상기 1차 예측기(108)에서 생성된 1차 예측 움짐임 벡터간 1차 오차벡터를 산출한다.

그리고 부호화기(100)는 (S210)단계에서 상기 2차 예측기(106)를 제어하여프레임 메모리(102)에 저장된 이전 프레임 버텍스의 움직임 벡터를 이용한 4가지 예측 모드에 따라 상기 제1가산기(108)로부터 출력되는 1차 오차벡터에 대한 2차 예측 움직임 벡터를 산출한다. 상기 4가지 예측 모드라 함은 상기 오차벡터에 대한 정확한 2차 예측 움직임 벡터 산출을 위해 2차 예측기(106)에 구비되는 동작 모드로써,

상기 오차벡터에 대해 어떤 예측도 하지 않고 그대로 출력되도록 하는 비 예측 모드, 부호화 대상 버텍스의 이전 프레임에서의 복원된 오차벡터를 가지고 2차 예측을 위한 움직임 벡터값을 산출하는 시간적 예측 모드, 이웃 버텍스들의 이전 프레임에서의 복원된 오차벡터들을 평균하여 2차 예측을 위한 움직임 벡터값을 산출하는 공간적 예측 모드, 상기 시간적 예측과 공간적 예측을 모두 이용하여 2차 예측을 위한 움직임 벡터값을 산출하는 시/공간적 예측 모드를 말한다.

이어 부호화기(100)는 (S212)단계로 진행해서 상기 4가지 모드들 각각에 대한 블록의 비트량과 왜곡값을 가지고 R(D) 함수를 통과시켜 상기 2차 예측 후보 움직임 벡터들 중 오차값이 가장 작은 값을 2차 예측 움직임 벡터로 선택하여 상기 오차벡터에 대한 2차 예측을 수행하게 된다. 그런 후, 부호화기(100)는 (S214)단계에서 제2가산기(110)를 통해 상기 제1가산기(108)로부터 출력되는 오차벡터와 상기 2차 예측기(106)로부터 생성된 2차 예측 움직임 벡터간 2차 오차벡터를 계산하여 출력시키게 된다.

한편, 상기 도 3에서 보여지는 바와 같이 버텍스()의 이웃이 상기버텍스()와 일정한 거리 내에서 연결된 모든 버텍스들을 포함하지 않고 이미 부호화된 버텍스들로만 구성되므로, 이웃에 포함된 버텍스들은 상기 버텍스() 로부터 편중된 방향에 분포해 있다. 또한, 상기 [수학식 9]에서의 오차 항목은 이전 프레임들에서의 모든 오차 벡터들을 통해서 평균적으로 구해지므로 3차원 물체의 지역적 변형을 고려하지 않는다. 이러한 두 가지 성질 때문에 이웃 버텍스들의 움직임 벡터들은 버텍스()의 움직임을 충분히 반영하지 못한다. 따라서 상기 (S200)∼(S206)단계에 걸친 1차 예측은 입력 움직임 벡터에 대한 최적이 될 수 없고 잉여 정보가 남게 된다. 이를 위해 본 발명에서는 상기 1차 예측 단계 후 상기 (S208)∼(S214)단계에서 상기 1차 오차벡터에 대한 2차 예측을 수행하도록 하였다.

즉, 상기 오차 벡터의 기하학적 의미를 살펴보면,

를 버텍스(v)의 3차원 좌표라고 할 때, 상기 [수학식 5]에서 오차 항목는 이웃한 두 프레임에서의 에지 벡터의 시간적 변화와 동일하다. 따라서, 오차 벡터()는 상기 버텍스()의 이웃 에지의 시간적 변화의 가중치 합에 해당하며, 시간/지역적인 형태 변화를 반영한다. 결국, 상기 1차 예측 단계에서 이웃의 움직임 벡터를 평균하여 평행 이동 움직임 성분을 보상하고, 2차 예측 단계에서는 물체의 지역적 변형과 회전 움직임을 고려하는 것이다.

3차원 물체의 움직임이 부드럽고 지역적 변형이 높은 공간적 상관성을 가지고 있다는 가정을 하고, 오차 벡터()를 시간적 또는 공간적으로 예측한다. 시간적 예측의 경우, 해당 버텍스의 오차 벡터는 이전 프레임에서의 오차 벡터를 예측값으로 한다. 공간적 예측의 경우, 이웃 버텍스들의 오차 벡터의 평균을 예측값으로 한다. 이때, 상기 2차 예측 단계에서는 전술한 바와 같이 아래의 [수학식 12]에 보여지는 바와 같은 4가지 모드로 2차 예측을 수행하게 된다.

상기에서,는n번째 프레임에서 버텍스(v)에 대한 1차 예측 단계 후 오차 벡터의 복원값을 나타낸다.

즉, 본 발명에서는 전체 시퀀스에 대해서 단일 예측 모드를 적용하는 대신에, 물체를 미리 정해진 개수의 버텍스로 구성된 블록들로 나누고, 블록 단위로 비용-왜곡의 관점에서 최적의 예측 모드를 선택하게 되는데, 아래의 [수학식 13]에서와 같은 라그랑지안 비용 함수를 통해서 모드를 선택할 수 있다.

R(M)

여기서,M은 상기 [수학식 12]에서의 4가지 모드 중, 특정 블록에 대해서 선택된 모드이고,D(M)은 원래 버텍스 좌표와 복원된 버텍스 좌표의 차이값들의 제곱 합이다. 그리고,R(M)은 모드M이 선택되었을 때 필요한 비트 수이다. 부호화기(100)에서는 함수값 J를 최소화하는 최적의 예측 모드를 검색하고 선택된 모드 인덱스는 부가 정보로서 전송된다.

결국, 2차 예측 오차는으로 양자화되고, 복호화기로 전송되며, 이에 따라 복호화기에서는 상기 양자화된 입력 움직임 벡터를 아래의 [수학식 14]에서와 같이 역양자화를 수행한로 복원하게 된다.

도 4 및 도 5는 동형 시퀀스의 특성에 따라 4가지 모드 중 입력 동형 시퀀스의 특성에 따라 적절한 모드를 선택하는 2차 예측기(106)로 입력되는 3차원 메쉬 모델의 일부 프레임 예시도를 도시한 것이다.

상기 도 4에 도시된 'chicken' 모델은 부드러운 형태 변화와 움직임을 가진 3차원 동형 시퀀스인 반면, 상기 도 5에 도시된 'bounce ball'모델은 빠른 움직임과 복잡한 형태 변형이 있는 3차원 동형 시퀀스이다. 본 발명의 실시 예에서 비용-왜곡 최적화를 위한 블록은 실험적으로 15개의 연속된 버텍스를 가지도록 크기를 정하였다.

상기 `chicken'모델은 Lengyel이 제안한 알고리듬에서 쓰였던 실험 시퀀스로서 Softimage라는 애니메이션 툴에서 제작된 모델이고, 상기 `bounceball' 모델은 3D Max Studio 애니메이션 툴에서 얻어진 것이다. 실험 모델의 데이터 구조를 보면, 상기 `chicken' 모델은 400 프레임 시퀀스로서 각 프레임은 3,030개의 버텍스와 5,665개의 삼각형으로 이루어져 있으며 전체 데이터를 표현하기 위해서 압축하지 않을 때 14,577,900 바이트가 필요하다. 그리고, 상기 `bounceball' 모델은 329 프레임 시퀀스로서, 각 프레임에는 162개의 버텍스와 320개의 삼각형이 있고 이를 표현하기 위해서 641,496 바이트가 요구된다.

도 6은 비용-왜곡 최적화 모드 선택을 하는 경우 상기 도 4 및 도 5에 도시된 3차원 메쉬 모델에 대한 본 발명의 부호화 성능을 도시한 것이다.

본 발명의 실시 예에서는 비교를 위해서 4가지 모드 각각을 전체 시퀀스에 대해서 적용했을 경우의 성능을 포함하였다. 또한 실제 모델 데이터와 부호화된 후에 복원되는 데이터의 차이를 비교하기 위한 평가척도 SNR은 아래의 [수학식 15]에서와 같이 정의하였다.

상기에서는 벡터의 크기,와는 각각m번째 프레임의 n번째 버텍스의 원래 좌표와 복원된 좌표 벡터를 나타내고,와는 각각 프레임 수와 버텍스 수를 나타낸다.

이하 상기 도 6을 참조하여 본 발명의 부호화 성능을 살펴보면, 상기 도 6의 (a)에 도시된 `bounceball' 모델의 경우, `spatial', `temporal', `(spatial+temporal)' 모드들이 대부분의 경우 `none' 모드보다 높은 부호화 이득을 가져옴을 볼 수 있다. 이것은 첫 번째 단계 예측 후에 여전히 잉여 정보가 남아 있으며, 두 번째 단계에서 공간적 시간적 예측이 효과적으로 이러한 잉여 정보를 줄여 줌을 보여 준다. 또한, 비용-왜곡 최적화 모드 선택을 통해서 부호화 이득을 좀더 증가시킬 수 있다.

반면, 상기 도 6의 (b)에 도시된 `chicken' 모델의 경우 비용-왜곡 최적화 모드 선택은 단일 모드 선택의 경우에 비해서 부호화 이득을 많이 증가시켜주지 못하는 것을 볼 수 있다. 이것은 `chicken' 모델이 부드러운 형태 변화만을 담고 있기 때문이다.

아래의 [표 1]은 비용-왜곡 최적화 모드 선택에서 4가지 모드 각각이 선택될 확률을 보여주는 것으로,

동작 모드실험 시퀀스	none	spatial	temporal	spatial+temporal
chicken	0.589	0.050	0.243	0.18
bounceball	0.102	0.146	0.451	0.301

상기 [표 1]에서 보여지는 바와 같이, `bounceball' 모델에서는 `temporal' 모드와 `(spatial+temporal)' 모드가 주요한 역할을 하는 반면, `chicken' 시퀀스에서는 `none' 모드가 가장 높은 확률값을 가진다. `none' 모드의 확률값이 크다는 것은 지역적인 형태 변형이 없거나 적으며, 대부분의 움직임이 지역적 또는 전체적인 평행이동이라는 것을 의미한다. 그러한 경우, 비용-왜곡 모드 선택 방법은 단지 모드 인덱스 전송을 위한 부가 정보를 위해 비트를 소비할 뿐임을 알 수 있다.

이제 다시 상기 도 1의 부호화기(100)의 동작 제어흐름을 계속 설명하면, 부호화기(100)는 상기한 바와 같이 최종 2차 오차벡터를 산출한 후, (S216)∼(S218)단계로 진행해서 상기 2차 예측기(106)를 통해 출력되는 2차 오차벡터를 양자화시킨 후, 산술부호화기(120)를 통해 산술부호화하여 3차원 메쉬 동형 시퀀스를 부호화시키게 된다.

본 발명의 실시 예에서, 프레임 내 부호화와 프레임 간 부호화 과정에서 생긴 예측 오차는 데드존(dead-zone) 스칼라 양자화기를 사용해서 균일하게 양자화된다. 예측 오차값은 제로 근처에 밀집해서 분포하므로 데드존 기법은 부호화 이득을 증가시켜준다. 실험 결과를 통해서 양자화된 오차값들의 확률 분포는 라플라시안 분포로 잘 근사화되므로 이러한 불균일 분포 특성을 이용하면 산술부호화기를 통해 효율적으로 양자화 오차를 부호화할 수 있다. 효율적인 엔트로피 부호화를 위해서, 영벡터(0,0,0)와 영벡터 주위의 32개의 좌표 벡터는 부호책에 저장된다. 나머지 스칼라 오차값들은 미리 정해진 문턱치보다 작을 경우에는 산술 부호화가 되고, 그렇지 않을 경우에는 고정 비트율로 부호화된다.

또한 이때 상기 양자화된 2차 오차벡터는 상기 도 1의 부호화기(100) 설명에서 전술한 바와 같이 역양자화기(114)를 통해 복원된 후, 제3, 제4 가산기(116,118)를 통해 상기 예측에 사용된 1,2차 예측 움직임 벡터들과 가산되어 다음 입력 프레임내 버텍스의 움직임 벡터값의 예측을 위해 프레임 메모리(102)에 갱신 저장된다.

도 7의 본 발명의 실시 예에 따른 프레임 간 3차원 메쉬 시퀀스 복호화기의 블록 구성을 도시한 것이다. 이하 상기 도 7을 참조하여 본 발명의 실시 예에 따라 부호화 수행된 3차원 메쉬 동형 시퀀스에 대한 복호화 동작을 살펴보기로 한다.

먼저 복호화기(700)는 상기 부호화기(100)를 통해 최종 산술부호화되어 입력되는 3차원 메쉬 동형 시퀀스의 입력 비트 스트림을 산술복호화부를 통해 복호하며, 이후 양자화되어 입력된 2차 오차벡터에 대한 비트 스트림을 역양자화기(704)를 통해 역양자화시킨다. 이어 복호화기(700)는 2차 예측기(706)를 통해 최적 2차 예측 모드에 대한 비트 스트림을 통해서 2차 예측 모드를 결정하고, 상기 역양자화된 2차 오차벡터로부터 1차 오차 벡터를 예측한 후, 상기 역양자화를 통해 복원한 2차 오차 벡터와 상기 1차 예측기(710)로부터 예측된 1차 오차벡터를 가산하여 1차 오차벡터값을 복원시킨다. 이어 복호화기(700)는 예측 움직임 벡터를 구하고 상기 복원한 1차 오차벡터를 가산하여 입력 버텍스의 움직임 벡터()를 복원해낸다.

즉, 3차원 메쉬 시퀀스는 시간 잉여 정보가 많기 때문에 잉여 정보를 제거해 줌으로써 데이터를 효과적으로 압축할 수 있다. 상술한 바와 같이 본 발명에서는 2단계 버텍스 단위의 움직임 예측기법을 이용한 3차원 메쉬 시퀀스 부호화를 통해 시퀀스의 프레임을 구성하는 버텍스의 개수가 일정하고, 위상학적 정보도 변하지 않는 동형 메쉬 시퀀스에 대해서 각 버텍스의 움직임 벡터를 쉽게 예측할 수 있게 된다. 즉, 움직임 벡터들 사이의 상관성을 이용하기 위하여, 버텍스의 이웃을 정의하고, 1단계 예측에서 이웃의 움직임 벡터들의 가중치 합으로부터 버텍스의 움직임 벡터를 예측하도록 함으로서, Lagrange multiplier를 도입하여 오차가 최소가 되는 가중치를 구할 수 있도록 하며, 2단계 예측에서, 비용-왜곡 최적화 모드 선택 방법을 통해서 지역적 형태 변이에 적응적으로 예측을 수행하도록 함으로써 부호화 이득을 높일 수 있게 된다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

이상에서 설명한 바와 같이, 본 발명에서는 버텍스 단위의 움직임 예측기법을 이용한 3차원 메쉬 시퀀스 부호화를 통해, 시퀀스의 프레임을 구성하는 버텍스의 개수가 일정하고, 위상학적 정보도 변하지 않는 동형 메쉬 시퀀스에 대해서 각 버텍스의 움직임 벡터를 쉽게 예측할 수 있게 된다. 즉, 이웃하는 버텍스의 움직임 벡터들의 높은 상관도를 이용하여 1단계 예측에서 이웃의 움직임 벡터들의 가중치 합으로부터 버텍스의 움직임 벡터를 예측하도록 하며, 2단계 예측에서 비용-왜곡최적화 모드 선택 방법을 통해서 지역적 형태 변이에 적응적으로 예측을 수행하도록 함으로써, 3차원 메쉬 시퀀스 부호화에 있어서 종래 세그먼트에 기반한 방법에서보다 더 간단한 구조를 가지면서도 부호화 이득을 휠씬 높일 수 있게 되는 이점이 있다.

Claims

버텍스 단위의 움직임 벡터 예측을 통한 3차원 메쉬 시퀀스 부호화 장치에 있어서,

부호화 대상 버텍스의 움직임 벡터()에 대해 이웃 설정된 이전 버텍스들의 복원된 움직임 벡터()을 갱신 저장하는 프레임 메모리와;

상기 프레임 메모리로부터 이웃 설정된 버텍스들의 움직임 벡터를 읽어들이고, 상기 부호화 대상 버텍스의 움직임 벡터 예측을 위한 최적의 가중치를 상기 이웃 버텍스들의 움직임 벡터에 승산하여 1차 예측 움직임 벡터를 산출시키는 1차 예측기와;

상기 1차 예측기로부터 예측된 1차 예측 움직임 벡터와 상기 부호화 대상 버텍스의 움직임 벡터간 차로 생성되는 1차 오차 벡터를 시간적 또는 공간적 예측 모드에 따라 예측한 2차 예측 후보 움직임 벡터들 중 오류율이 가장 낮은 최적 예측 모드의 2차 예측 움직임 벡터를 산출하는 2차 예측기와;

상기 1차 오차 벡터와 상기 2차 예측된 움직임 벡터간 차로 생성되는 2차 오차벡터를 양자화시키는 양자화기와;

상기 양자화된 2차 오차벡터 데이터를 확률 분포에 따라 부호화하는 산술부호화기;를 포함하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제1항에 있어서,

상기 양자화기와 프레임 메모리간에 연결되며, 상기 양자화된 2차 오차 벡터에 대한 역양자화를 수행하여 복원시킨 후, 상기 프레임 메모리에 갱신 저장시켜 다음 입력 버텍스의 움직임 벡터 예측을 위해 사용되도록 하는 역양자화기;를 더 포함하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제1항에 있어서,

상기 이웃 버텍스는, 두 개의 버텍스 간의 위상학적 거리를 두 버텍스를 연결하는 최소의 에지 개수로 정의하고, j번째 버텍스()를 부호화하는 경우, 아래의 [수학식]에서와 같이 버텍스()로부터 거리 n 이내에 존재하는 버텍스들로 결정되는 것을 특징으로 3차원 메쉬 시퀀스 부호화기.

E(j) : 이미 부호화된 (j-1)개의 버텍스들의 집합

: 두 버텍스를 연결하는 최소의 에지 개수
제3항에 있어서,

상기 버텍스()의 움직임 벡터()는, 이웃한 버텍스들의 움직임 벡터()에 대한 가중치의 합으로 계산되어 지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.

: k번째 이웃 버텍스

:에 대한 가중치
제1항에 있어서,

상기 1차 오차벡터()는, 아래의 [수학식]에서와 같이 나타내어지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제4항에 있어서,

상기 가중치()는, 아래의 [수학식]에서와 같이 제한되며, 상기 1차 오차벡터()의 평균 크기를 최소화하도록 정해지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.

K : 이웃 버텍스들의 개수
제5항에 있어서,

상기 1차 오차벡터()는 아래의 [수학식]에서와 같이 나타내어지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제7항에 있어서,

상기 1차 오차벡터()는, Langrange multiplier 기법에 의해 아래의 [수학식]으로 나타내어지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제8항에 있어서,

상기 1차 오차벡터()는, 두 오차 항목과의 상관도가과사이의 위상학적 거리에만 의존하는 경우, 각에 대해서 아래의 [수학식]에서와 같이 상기 1차 오차벡터()를 미분한 값이 "0"이 되도록 함으로써 최적의 가중치를 구할 수 있도록 하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제9항에 있어서,

상기 최적의 가중치는, 아래의 [수학식]에서와 같이 구해지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제1항에 있어서,

상기 2차 예측기는, 전체 시퀀스에 대해서 단일 예측 모드를 적용하는 대신에, 물체를 미리 정해진 개수의 버텍스로 구성된 블록들로 나누고, 블록 단위로 비용-왜곡의 관점에서 최적의 예측 모드를 선택하며, 아래의 [수학식]에서와 같은 라그랑지안 비용 함수를 통해서 모드를 선택하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.

J(M) = D(M) +R(M)

M : 4가지 모드 중, 특정 블록에 대해서 선택된 모드

D(M) : 원래 버텍스 좌표와 복원된 버텍스 좌표의 차이값들의 제곱 합

R(M) : 모드M이 선택되었을 때 필요한 비트 수
제11항에 있어서,

상기 2차 예측기는, 상기 1차 오차벡터에 예측이 시간적 예측 모드로 설정되는 경우에는 아래의 [수학식]에서와 같이 해당 버텍스의 오차벡터()를 이전 프레임에서의 오차벡터()로 산출하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.

:n번째 프레임에서 버텍스(v)에 대한 1차 예측 단계 후 오차 벡터의 복원값
제11항에 있어서,

상기 2차 예측기는, 상기 1차 오차벡터의 예측이 공간적 예측 모드로 설정되는 경우에는 아래의 [수학식]에서와 같이 해당 버텍스의 오차벡터를 이웃 버텍스들에 대한 오차벡터의 평균값으로 산출하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제11항에 있어서

상기 2차 예측기는, 상기 1차 오차벡터의 예측이 시/공간적 예측 모드로 설정되는 경우에는 아래의 [수학식]에서와 같이 해당 버텍스의 오차벡터를 시간적 예측된 이전 프레임의 오차벡터값과 공간적 예측된 이웃 버텍스들의 오차벡터 평균값의 합에 대한 평균값으로 산출하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제11항에 있어서,

상기 2차 예측기는, 상기 라그랑지안 비용함수값(J)를 최소화하는 모드를 해당 버텍스의 오차벡터의 예측을 위한 최적의 예측 모드로 설정하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제1항에 있어서,

상기 2차 오차 벡터()는, 아래의 [수학식]에서와 같이 양자화되는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
제2항에 있어서,

상기 역양자화기에서 복원 되는 움직임 벡터()는, 아래의 [수학식]에서와 같이 구해지는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화기.
3차원 메쉬 시퀀스를 부호화하는 방법에 있어서,

(a)부호화 대상 버텍스()의 실제 움직임 벡터()를 입력받는 단계와;

(b)상기 부호화 대상 버텍스()의 이웃 설정된 버텍스들의 복원된 움직임 벡터()를 읽어들이는 단계와;

(c)상기 부호화 대상 버텍스에 대한 가중치를 산출하고, 상기 이웃 버텍스들의 복원 움직임 벡터()들에 가산하여 1차 예측 움직임 벡터를 산출하는 단계와;

(d)상기 부호화 대상 버텍스의 움직임 벡터와 상기 1차 예측 움직임 벡터간의 차인 1차 오차벡터를 산출하는 단계와;

(e)시/공간적 예측 모드에 따라 상기 1차 오차벡터를 예측한 2차 예측 후보 움직임 벡터를 산출한 후, 오류율이 가장 낮은 최적의 예측 모드에 따른 2차 예측 움직임 벡터를 선택하는 단계와;

(f)상기 1차 오차벡터와 상기 2차 예측 움직임 벡터간의 차인 2차 오차벡터를 산출하는 단계와;

(g)상기 2차 오차벡터를 양자화하고 산술 부호화하여 3차원 메쉬 시퀀스 부호화를 수행하는 단계;를 포함하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화 방법.
제18항에 있어서,

상기 (g)단계이후, (h)다음 입력 버텍스의 움직임 벡터 예측을 위해 상기 양자화된 2차 오차벡터를 역양자화하여 복원시킨 후, 저장시키는 단계;를 더 포함하는 것을 특징으로 하는 3차원 메쉬 시퀀스 부호화 방법.