KR100619377B1 - 움직임 추정 방법 및 장치 - Google Patents
움직임 추정 방법 및 장치 Download PDFInfo
- Publication number
- KR100619377B1 KR100619377B1 KR1020000008513A KR20000008513A KR100619377B1 KR 100619377 B1 KR100619377 B1 KR 100619377B1 KR 1020000008513 A KR1020000008513 A KR 1020000008513A KR 20000008513 A KR20000008513 A KR 20000008513A KR 100619377 B1 KR100619377 B1 KR 100619377B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- motion
- vector
- compensation error
- motion compensation
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 디지털 동영상(digital video)의 압축 부호화(compression coding)에 있어서의 움직임 추정방법 및 장치에 관한 것으로, 특히 최소오차를 갖는 움직임 벡터 이외에 영벡터 및 예측 움직임 벡터를 고려하여 움직임 벡터를 선택함으로써 부호화 효율을 향상시키는 것을 특징으로 하는 움직임 추정 방법 및 장치에 관한 것이다.
동영상, 부호화, 움직임 보상, 예측오차, 움직임벡터, 영 벡터, 예측 움직임 벡터
Description
도 1은 종래의 동영상 부호화장치의 개략도,
도 2는 도 1의 부호화장치 중의 움직임 예측기의 세부 구성도,
도 3은 부호화할 매크로블록이 16×16 모드인 경우의 주위 블록의 움직임 벡터의 예시도,
도 4는 본 발명에 의한 움직임 추정 방법의 플로우 챠트,
도 5는 본 발명의 움직임 추정장치의 일실시예의 개략도이다.
* 도면의 주요 부분에 대한 부호의 설명*
10 : 움직임 예측기 20 : 변환기
30 : 양자화기 40 : 가변길이부호화기
50 : 역양자화기 60 : 역변환기
11 : 움직임 보상부 12 : 움직임 추정부
13 : 이전영상 복원부 110 : 움직임 벡터 예측부
120: 움직임 벡터 탐색부 130 : 움직임 벡터 선택부
140 : 움직임 벡터 메모리부
본 발명은 디지털 동영상(digital video)의 압축 부호화(compression coding)에 있어서의 움직임 추정방법 및 장치에 관한 것으로, 더욱 상세하게는 최소오차를 갖는 움직임 벡터 이외에 영벡터 및 예측 움직임 벡터를 고려하여 움직임 벡터를 선택함으로써 부호화 효율을 향상시키는 것을 특징으로 하는 움직임 추정 방법 및 장치에 관한 것이다.
동영상 신호의 압축 부호화 및 복호화는 저속 채널(low rate channel)을 통한 영상 정보의 전송을 가능하게 할 뿐만 아니라 해당 영상을 저장하는데 요구되는 메모리의 용량을 감소시킬 수 있기 때문에, 이러한 압축 부호화 및 복호화 기술은 영상의 저장(storage), 전송(transmission) 등의 응용(application)을 요구하는 멀티미디어(multimedia) 산업에 있어서 매우 중요한 기술이다.
도 1은 종래의 동영상 부호화 장치의 개략도이다. 동영상을 효율적으로 압축 부호화하기 위한 방법으로 현재 영상을 부호화할 때 참조 영상을 참조하여 움직임 벡터(motion vector)를 추정(estimation)하고, 추정된 움직임 벡터를 이용하여 움직임 보상 예측(motion compensation prediction)을 수행하여, 예측 오차 (prediction error)를 부호화하는 방법이 일반적으로 사용되어 왔다. 도 1을 참조하면, 종래의 동영상 부호화 장치는 입력된 현재 영상과 움직임 예측기(10)에서 얻어진 예측 영상(prediction frame)과의 차 영상(frame difference)을 변환하는 변환기(20), 이 변환계수를 데이터 압축을 위하여 양자화하는 양자화기(30), 양자화된 변환 계수(transform coefficient)들을 가변길이부호화(VLC; Variable Length Coding)하는 가변길이부호화기(40), 역양자화기(50) 및 역변환기(60)로 구성된다. 이러한 부호화 장치에서 역양자화기(50) 및 역변환기(60)를 통해 복원된 차 영상은 움직임 예측기(10)의 입력으로 사용되어 다음 영상에 대한 예측 영상을 얻는데 사용된다. 여기서 움직임 예측기(10)는 입력을 통해 들어온 현재 영상과 참조 영상을 이용하여 움직임 벡터 추정을 수행함으로써 예측 영상을 찾는다. 움직임 예측기(10)는 움직임 보상 예측을 수행하며, 추정된 움직임 벡터는 가변길이부호화기(40)에 입력되어 변환 계수와 함께 가변길이부호화되어 전송된다. 가변길이부호화기(40)로부터 출력된 영상 정보 비트스트림은 수신단으로 전송되거나, 다른 신호들과 다중화하기 위하여 다중화기로 전송된다.
일반적인 동영상 부호화 방법 및 장치에서는 전체 영상 단위로 움직임 예측 및 보상 등을 행하는 대신에, 일정한 크기(가로 방향으로 M 화소, 세로 방향으로 N 화소(통상적으로 M×N으로 표시))의 화소(picture element 또는 pixel)의 집합 단위로 움직임 예측 및 보상 등을 수행하는데, 이러한 화소의 집합을 매크로블록(macroblock)이라 일컫는다. 일반적으로 동영상 부호화 방법 및 장치에서는 매크로블록의 크기를 가로로 16 화소, 세로로 16 화소(이하에서는 이러한 크기를 "16×16"으로 표기)로 규정한다. 본 발명에서는 매크로블록의 크기를 특정 크기로 제한할 필요는 없으나, 설명의 용이성을 위하여 16×16의 경우를 예로 들어 설명한다. 움직임 벡터는 2차원 정보로, 참조 프레임과 현재 프레임에서 물 체의 이동을 X-Y 이차원 좌표상의 이동량으로 표시한 것이다. 즉, 움직임 벡터는 가로 방향의 움직임 크기와 세로 방향의 움직임 크기로 구성된다.
도 2는 도 1의 동영상 부호화장치 중의 움직임 예측기(10)의 세부 구성도이다. 종래의 움직임 예측기(10)는 움직임 보상을 수행하는 움직임 보상부(motion compensation unit)(11), 움직임 벡터 추정을 수행하는 움직임 추정부(motion estimation unit)(12), 예측 영상을 얻기 위해 사용되는 이전 영상의 복원 영상을 얻는 이전 영상 복원부(previous image reconstruction unit)(13)로 구성되어 있다. 이 도면에서는 참조 영상으로 이전 영상이 사용되는 경우를 설명하고 있으나 다른 부호화기에서는 예측 효율을 높이기 위하여 이후 프레임을 참조 프레임으로 사용하는 경우도 있다. 본 발명은 설명의 편의를 위하여 참조 프레임으로 이전 프레임을 사용하는 경우를 중심으로 설명하지만, 참조 프레임의 선택으로 본 발명이 제한되지는 않는다. 이전 영상 복원부(13)는 역변환기(60)로부터 입력된 차 영상의 복원 영상과 내부적으로 저장하고 있던 과거의 복원 영상을 더함으로써 부호화된 영상의 복원 영상을 얻고, 다음 입력 영상의 움직임 추정시 움직임 추정부(12)의 입력으로 사용된다. 움직임 추정부(12)는 이전 영상 복원부(13)로부터의 입력과 현재 입력된 영상을 통하여 현재 영상의 부호화를 위한 움직임 추정을 수행하여 움직임 벡터를 출력한다. 출력된 움직임 벡터는 가변길이부호화를 위해 가변길이부호화기 (40)로 전달되는데, 가변길이부호화기(40)는 발생 빈도가 높은 값에 대하여는 적은 수의 비트를 할당하고, 발생 빈도가 낮은 값에 대하여는 많은 수의 비트를 할당함으로써 고정 길이 부호화(Fixed Length Coding; FLC)에 비 하여 훨씬 적은 비트 수로 부호화할 수 있다. 한편, 움직임 추정부(12)로부터 출력된 움직임 벡터는 움직임 보상부(11)에 입력되고, 움직임 보상부(11)는 입력된 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 최종적으로 예측 영상을 출력한다.
상술한 바와 같이, 움직임 벡터 추정 또한 매크로블록 단위로 이루어지는데, 움직임 벡터 추정이란 현재 영상의 매크로블록과 가장 신호가 닮은 부분을 이전 영상에서 찾는 과정을 말한다. 종래의 움직임 벡터 추정은 주위 매크로블록에 대한 정보를 이용하지 않고 단지, 현재 영상의 매크로블록과 가장 닮은 부분을 이전 영상에서 탐색하였다. 움직임 벡터를 구함에 있어서 탐색범위는 전부 찾아보는 전역 탐색(full search), 어떤 대표점들을 조사한 후 그 중 한 점의 둘레만을 이차적으로 조사하는 간략형 탐색(소위 트리 탐색), 피라미드 탐색(pyramidal search), 3 단계 탐색(three-step search), 4 단계 탐색(four-step search) 등이 있는데, 그 방법에 따라 복잡도(complexity) 및 연산량도 다르다. 특히, 전역 탐색 방법은 가장 우수한 특성을 가지고 있으나 매우 많은 계산량을 요구하는 단점이 있다.
움직임 벡터는 영상의 특성상 주변 블록 혹은 매크로블록의 움직임 벡터와 밀접한 연관성(correlation)을 갖는다. 따라서 움직임 벡터를 그대로 가변길이부호화하지 않고, 인접하는 블록 혹은 매크로블록의 움직임 벡터들을 이용하여 예측한 움직임 벡터와의 차이 벡터(difference vector)를 가변길이부호화하면 차이 벡터가 0 또는 0 주위의 값을 갖는 빈도가 크게 증가하므로 부호화 효율(coding efficiency)을 높일 수 있다.
인접한 움직임 벡터를 이용하여 예측 움직임 벡터를 구할 때 일반적으로 사용되는 방법은 좌단, 상단, 우상단 블록 또는 매크로블록의 움직임 벡터들의 중간값(median value)을 취하여 현재 블록 또는 매크로블록의 움직임 벡터와의 차를 구하는 방법이며 ITU-T의 H.263 및 ISO/IEC MPEG-4에서 이 방법이 사용되고 있다.
도 3은 현재 부호화하는 매크로블록이 16×16 모드인 경우 상기한 좌단, 상단, 우상단의 블록 또는 매크로블록의 움직임 벡터를 설명하는 도면이다. 도 3에서 MVa는 두 가지로 해석 가능한데, 만일 현재 매크로블록의 왼쪽 매크로블록이 16×16 모드인 경우에는 왼쪽 매크로블록의 움직임 벡터를 나타내며, 현재 매크로블록의 왼쪽 매크로블록이 8×8 모드인 경우에는 왼쪽 매크로블록의 우상단의 블록의 움직임 벡터를 나타낸다. MVb도 마찬가지로, 만일 현재 매크로블록의 상단 매크로블록이 16×16 모드인 경우에는 상단 매크로블록의 움직임 벡터를 나타내며, 현재 매크로블록의 상단 매크로블록이 8×8 모드인 경우에는 상단 매크로블록의 좌하단의 블록의 움직임 벡터를 나타낸다. MVc도 마찬가지로, 만일 현재 매크로블록의 우상단 매크로블록이 16×16 모드인 경우에는 우상단 매크로블록의 움직임 벡터를 나타내며, 현재 매크로블록의 우상단 매크로블록이 8×8 모드인 경우에는 우상단 매크로블록의 좌하단의 블록의 움직임 벡터를 나타낸다.
일반적인 움직임 탐색 방법에 의해 추정된 움직임 벡터 값은 움직임 보상 에러를 최소화하도록 선택되며, 움직임 벡터의 부호화 효율을 고려하여 선택되지는 않는다. 따라서 이동 보상 에러가 약간 차이 나는 경우에도 부호화된 움직임 벡터의 비트스트림(bitstream)의 크기는 큰 차이를 나타낼 수 있다. 움직임 탐색 방법에 의해 추정된 움직임 벡터와 영 벡터에 의한 이동 보상 에러가 일정한 임계치 이하이면 부호화를 하지 않는 방법이 일반적으로 널리 사용되었으나, 이러한 방법은 영상의 변화가 거의 없는 부분에서만 효과를 얻을 수 있을 뿐 변화가 있는 영상에서는 효과적으로 움직임 추정을 할 수 없는 문제점을 갖는다.
본 발명은 상술한 문제점을 극복하는 것으로, 동영상 압축 부호화에서 움직임벡터의 부호화 효율을 높일 수 있는 움직임 추정 방법 및 장치를 제공하는 것이다. 구체적으로, 움직임 벡터는 가변길이부호화되므로 선택하는 움직임 벡터에 따라 부호화된 결과 비트스트림의 길이가 달라지게 되며, 이에 따라 부호화 효율도 달라지게 되는데, 본 발명은 부호화 효율은 고려하지 않고, 움직임 보상 에러를 최소화하도록 움직임 벡터를 선택하였던 종래의 움직임 추정 방법과 달리, 움직임 보상 에러가 어느 정도 증가하더라도 부호화 효율을 높일 수 있도록 움직임 벡터를 선택하여 비율-왜곡 측면에서 부호화기의 전반적인 효율성을 향상시키는 움직임 추정 방법 및 장치를 제공하는 것이다.
즉, 본 발명의 하나의 양상은 디지털 동영상 부호화에서 움직임 벡터를 추정함에 있어서,
현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터를 이용하여 예측 움직임 벡터를 결정하는 제 1단계(S1);
움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하면서 추정된 움직임 벡 터를 이용하여 움직임 보상 오차 값, 영 벡터를 이용한 움직임 보상 오차 값, 예측 움직임 벡터를 이용한 움직임 보상 오차 값들을 구하는 제 2 단계(S2);
영 벡터를 이용한 움직임 보상 오차 값을 정해진 제 1 임계치와 비교하는 제 3 단계(S3);
상기 제 3단계의 비교 결과 영 벡터를 이용한 움직임 보상 오차 값이 제 1 임계치 보다 작은 경우 영 벡터를 최종 움직임 벡터로 결정하는 제 4 단계(S4);
상기 제 3단계의 비교 결과 영 벡터를 이용한 움직임 보상 오차 값이 제 1 임계치보다 작지 않은 경우 예측 움직임 벡터를 이용한 움직임 보상 오차 값을 정해진 제 2 임계치와 비교하는 제 5 단계(S5);
상기 제 5 단계의 비교 결과 예측 움직임 벡터를 이용한 움직임 보상 오차 값이 제 2 임계치 보다 작은 경우 예측 움직임 벡터를 최종 움직임 벡터로 결정하는 제 6 단계(S6); 및
상기 제 5 단계의 비교 결과 예측 움직임 벡터를 이용한 움직임 보상 오차 값이 제 2 임계치 보다 작지 않은 경우 최소 움직임 보상 오차 값을 가지는 움직임 벡터를 최종적으로 움직임 벡터로 결정하는 제 7 단계(S7)를 포함하는 것을 특징으로 하는 움직임 벡터 추정 방법을 제공하는 것이다.
본 발명의 다른 양상은 디지털 동영상 부호화에서 움직임 벡터를 추정하는 장치에 있어서;
움직임 벡터 메모리에 저장된 현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터들을 이용하여 예측 움직임 벡터를 추정하는 움직임 벡터 예측부;
현재 영상과 참조 영상을 이용하여 움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하면서, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값, 영 벡터에 대한 움직임 보상 오차값 및 예측 움직임 벡터에 대한 움직임 보상 오차값을 구하는 움직임 벡터 탐색부;
상기 움직임 벡터 탐색부로부터 움직임 보상 오차를 최소화하는 움직임 벡터, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값, 영 벡터 및 예측 움직임 벡터 각각에 대한 움직임 보상 오차값들을 입력 받고, 상기 움직임 벡터 예측부로부터 예측 움직임 벡터를 입력 받고, 두 종류의 임계치를 입력 받아, 이들 입력 정보들을 이용하여 최종 움직임 벡터를 선택하는 움직임 벡터 선택부; 및
상기 움직임 벡터 선택부로부터 추정된 최종 움직임 벡터를 입력 받아 저장하는 움직임 벡터 메모리부를 포함하는 것을 특징으로 하는 움직임 벡터 추정 장치를 제공하는 것이다.
이하에서 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서 본원에서 사용되는 약어의 정의를 설명한다.
"MED()"는 괄호 안의 요소들의 중간값을 반환하는 함수를 의미하는 것으로, 예를 들면 MED(1,3,7) = 3이다.
"SAD(Sum of Absolute Difference)"는 차의 절대 값의 합을 의미한다.
"MVZ"는 움직임 벡터 (0,0)를 의미한다.
"MVP"는 주변 매크로블록을 이용하여 예측한 움직임 벡터를 의미한다.
"MVM"는 SAD 값을 최소화하는 움직임 벡터이다.
"SAD_Z"는 MVZ를 이용하여 구한 이전 영상과 현재 영상 사이의 하나의 매크로블록의 SAD 값이다.
"SAD_P"는 MVP를 이용하여 구한 이전 영상과 현재 영상 사이의 하나의 매크로블록의 SAD 값이다.
"SAD_M"은 MVM을 이용하여 구한 이전 영상과 현재 영상 사이의 하나의 매크로블록의 SAD 값이다.
동영상 부호화기에서 움직임 벡터의 탐색시에는 탐색 범위 내의 움직임 벡터에 대한 이동 보상 에러(motion compensated error) 값을 계산하여, 에러가 최소화되는 움직임 벡터 값을 선택한다. 본 발명은 최소오차를 갖는 움직임 벡터 이외에 영 벡터(zero vector)에 대한 에러 값 및 움직임 예측 기법을 사용하여 구한 예측 움직임 벡터에 대한 에러 값을 사용하여 움직임 추정을 행하는 것을 특징으로 한다. 영 벡터에 대한 에러가 충분히 작은 경우 부호화하지 않고 이전 영상을 그대로 사용해도 만족할만한 화질을 얻을 수 있으므로 부호화를 수행하지 않고 부호화가 되지 않음을 나타내는 매우 짧은 길이의 코드를 전송하면 되므로 부호화 효율 측면에서 매우 우수하다. 영 벡터에 대한 에러가 어느 정도 이상이고 예측 움직임 벡터에 대한 에러가 어느 정도 이하인 경우에는 예측 움직임 벡터를 부호화하여 전송한다. 실제로 부호화되는 값은 움직임 벡터 자체가 아니라 움직임 벡터와 예 측 움직임 벡터의 차이 벡터를 가변길이부호화하여 전송하므로 예측 움직임 벡터를 선택하는 경우 차이 벡터는 0이 된다. 차이 벡터 0은 가장 발생 빈도수가 높은 심볼로서 가장 짧은 비트스트림로 부호화되어 전송되므로 부호화 효율을 크게 높일 수 있다. 영 벡터에 대한 에러와 예측 움직임 벡터에 대한 에러가 모두 특정 임계치 이상의 값을 나타내었을 경우에는 움직임 추정 과정에서 구한 최소 움직임 보상 오차 값을 가지는 움직임 벡터를 최종적으로 움직임 벡터로 선택하여 부호화한다.
도 4는 본 발명에 의한 움직임 추정 방법의 플로우 챠트(flow chart)이다. 본 발명의 각 단계들을 보다 자세히 설명하면 다음과 같다.
제 1 단계에서는 현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터를 이용하여 예측 움직임 벡터(MVP)를 구한다(S1). 본 발명에서 예측 움직임 벡터(MVP)를 구하는 방법은 특정 함수로 제한되지 않는다. 일례로, 하기 수학식 1에 의해 현재 부호화할 매크로블록의 주위의 움직임 벡터들의 중간값을 취하여 예측 움직임 벡터를 구할 수 있다.
상기 식에서, MV는 현재 부호화할 매크로블록의 주위의 움직임 벡터들을 의미한다.
제 2 단계(S2)에서는 상기 제 1 단계(S1)에서 구한 예측 움직임 벡터(MVP)를 이용하여 움직임 보상 오차를 최소화하는 움직임 벡터(MVM)를 탐색하면서, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값(일례로, SAD_M), 영 벡터(MVZ)에 대한 움직임 보상 오차 값(예컨대, SAD_Z) 및 예측 움직임 벡터에 대한 움직임 보상 오차값(예컨대, SAD_P)을 구한다. 예를 들어, 16×16 매크로블록의 경우 움직임 벡터가(x, y)일 때, 이전 영상과 현재 영상 사이의 하나의 매크로블록의 절대 오차 합(SAD; Sum of Absolute Difference)은 하기 수학식 2에 의해 정의된다. 본 발명에서 3 가지 움직임 벡터를 이용하여 움직임 보상 오차를 구할 때, 도 4에서는 SAD를 사용하는 것으로 나타내었지만, 이는 설명의 용이성을 위한 것이며 본 발명에서 움직임 보상 오차는 상기 SAD로 국한되지 않는다.
본 발명에서 주어진 탐색 영역 안에서 움직임 보상 오차를 최소화하는 움직임 벡터를 구하는 방법은 특정한 탐색 방법으로 제한되지 않는다. 예를 들면, 본 발명에서 탐색 방법은 전역 탐색, 피라미드 탐색, 3단계 탐색 등 모든 움직임 탐색 방법이 이용 가능하다.
본 발명에서는 움직임 보상 오차를 최소화하기 위하여 탐색 범위 내에서 움직임 벡터를 탐색할 때 영 벡터, 예측 움직임 벡터가 탐색 범위 내에 들어오며, 그러므로 영 벡터와 예측 움직임 벡터 경우를 위해서 움직임 보상 오차를 따로 구하는 것이 아니라 움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하면서 영 벡터 와 예측 움직임 벡터에 대한 오차 값들을 자동적으로 구할 수 있다.
이어서 제 3 단계(S3)에서는 영 벡터(MVZ)에 대한 SAD 값(SAD-Z)을 제 1 임계치(TH1)와 비교하고, SAD-Z가 제 1 임계치(TH1) 보다 작으면 제 4단계를 수행하는 한편, SAD-Z가 제 1 임계치(TH1) 보다 작지 않으면 제 5 단계(S5)를 수행한다. 제 4 단계(S4)에서는 MVZ를 움직임 벡터로 결정하고, 현재 매크로블록에 대한 움직임 추정을 종료한다.
제 5 단계(S5)에서는 예측 움직임 벡터(MVP)에 대한 SAD값(SAD-P)을 제 2 임계치(TH2)와 비교하고, SAD-P가 제 2 임계치(TH2) 보다 작으면 제 6 단계(S6)로 진행하여 MVP를 움직임 벡터로 결정하고, 현재 매크로블록에 대한 움직임 추정을 종료한다. 한편, 제 5 단계의 판단 결과 SAD-P가 제 2 임계치(TH2) 보다 작지 않으면 제 7 단계(S7)에서 움직임 보상 오차를 최소화하는 움직임 벡터(MVM)를 움직임 벡터로 결정하고, 현재 매크로블록에 대한 움직임 추정을 종료한다.
도 5는 본 발명의 움직임 추정장치의 일실시예의 개략도이다. 본 발명의 움직임 추정장치는 움직임 벡터 메모리에 저장된 현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터들을 이용하여 예측 움직임 벡터(MVP)를 추정하는 움직임 벡터 예측부(110); 현재 영상과 참조 영상을 이용하여 움직임 보상 오차를 최소화하는 움직임 벡터(MVM)를 탐색하면서, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값(일례로, SAD_M), 영 벡터(MVZ)에 대한 움직임 보상 오차값(예컨대, SAD_Z) 및 예측 움직임 벡터에 대한 움직임 보상 오차값(일례로, SAD_P)를 구하는 움직임 벡터 탐색부(120); 상기 움직임 벡터 탐색부로부터 움직임 보상 오차를 최소화하는 움직임 벡터(MVM), 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값, 영 벡터 및 예측 움직임 벡터 각각에 대한 움직임 보상 오차값들을 입력 받고, 상기 움직임 벡터 예측부(110)로부터 예측 움직임 벡터(MVP)를 입력 받고, 두 종류의 임계치(TH1, TH2)를 입력 받아, 이들 입력 정보들을 이용하여 최종 움직임 벡터를 선택하는 움직임 벡터 선택부(130) 및 상기 움직임 벡터 선택부(130)로부터 추정된 최종 움직임 벡터를 입력 받아 저장하는 움직임 벡터 메모리부(140)로 구성된다.
도 5에 도시된 본 발명의 움직임 추정 장치에서도 움직임 보상 오차를 최소화하는 움직임 벡터를 구하는 수단은 특정한 탐색 수단으로 제한되지 않는다. 예를 들면, 움직임 벡터 탐색부(120)는 전역 탐색수단(full search), 피라미드 탐색수단(pyramidal search), 3 단계 탐색수단(three-step search), 또는 4 단계 탐색수단(four-step search) 등의 임의의 탐색수단일 수 있다. 단, 움직임 벡터 탐색부(120)은 주어진 탐색 영역내에서 움직임 보상 오차를 최소화하는 움직임 벡터를 찾아야 한다. 또한, 3 가지 움직임 벡터를 이용하여 움직임 보상 오차를 구할 때, 도 5에서는 절대 오차 합(SAD; Sum of Absolute Difference)을 사용하는 것으로 나타내었지만, 이는 역시 설명의 용이성을 위한 것이며 본 발명에서는 움직임 보상 오차 정의를 특정 방법으로 제한하지는 않는다.
도 5의 움직임 벡터 선택부(120)를 보다 상세히 설명하면 다음과 같다. 본 발명의 움직임 추정 장치에서 상기 움직임 벡터 선택부(120)는
영 벡터와 현재 입력 영상과 참조 영상을 이용하여 영벡터에 대한 움직임 보상 오차를 계산하는 제 1 움직임 오차 계산부;
예측 움직임 벡터와 현재 입력 영상과 참조 영상을 이용하여 예측 움직임 벡터에 대한 움직임 보상 오차를 계산하는 제 2 움직임 오차 계산부;
상기 제 1 움직임 오차 계산 수단으로부터 출력되는 영 벡터에 대한 움직임 보상 오차와 입력된 제 1 임계치를 비교하는 제 1 비교부;
상기 제 2 움직임 오차 계산 수단으로부터 출력되는 예측 움직임 벡터에 대한 움직임 보상 오차와 입력된 제 2 임계치를 비교하는 제 2 비교부;
상기 제 1 비교부의 비교 결과에 따라 상기 제 2 비교부를 구동시키거나 영 벡터를 선택하는 제 1 스위치; 및
상기 제 2 비교부의 결과에 따라 움직임 보상 오차를 최소화하는 움직임 벡터와 예측 움직임 벡터 중 한 가지를 선택하는 제 2 스위치로 구성된다.
본 발명에서 상기 제 1 스위치는 제 1 비교부의 비교 결과 영벡터에 대한 움직임 보상 오차가 제 1 임계치 보다 작은 경우 영벡터를 최종 움직임 벡터로 선택하고, 그렇지 않은 경우 상기 제 2 비교부를 구동시킨다. 한편, 상기 제 2 스위치는 제 2 비교부의 비교 결과 예측움직임 벡터에 대한 움직임 보상 오차가 제 2 임계치 보다 작은 경우에는 예측 움직임 벡터를 최종 움직임 벡터로 결정하고, 제 2 임계치 보다 작지 않은 경우에는 최소 움직임 보상 오차값을 갖는 움직임 벡터를 최종 움직임 벡터로 결정한다.
본 발명에서는 상술한 제 1 임계치와 제 2 임계치를 특정 값으로 제한하지는 않는다. 단, 제 2 임계치가 제 1 임계치에 비해서 커야 한다. 이 임계치들의 결정은 많은 실험을 거쳐 모든 영상에 대하여 평균적으로 우수한 값을 미리 선정하여 사용할 수도 있고, 또는 디지탈 비디오를 부호하하면서 특정 비디오에 대하여 적응적으로 계산하여 이용할 수도 있다. 본 발명은 이러한 임계치를 특정 값으로 결정하는 것에 의미를 두기 보다는 두 가지의 임계치를 사용한다는 것에 그 의미가 있다. 도 5를 포함하여 본 발명인 움직임 벡터 선택 장치는 디지탈 동영상 부호화기의 일부이며, 도 5에 도시하지는 않았으나 부호화기를 전체적으로 제어하는 제어부에서 바로 임계치를 결정하게 된다.
본 발명은 동영상 부호화기의 움직임 추정에서 움직임 보상 오차와 함께 발생되는 움직임 벡터의 비트의 길이를 고려하여 영 벡터, 예측 움직임 벡터, 최소 오차 움직임 벡터 중에서 적절한 가중치를 이용하여 적응적으로 움직임 벡터를 선택함으로써 부호화 효율을 높일 수 있는 효과를 제공한다.
Claims (11)
- 디지털 동영상 부호화시 움직임 벡터를 추정함에 있어서,현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터를 이용하여 예측 움직임 벡터를 결정하는 제 1단계;움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하면서 추정된 움직임 벡터를 이용하여 움직임 보상 오차 값, 영 벡터를 이용한 움직임 보상 오차 값, 예측 움직임 벡터를 이용한 움직임 보상 오차 값들을 구하는 제 2 단계;영 벡터를 이용한 움직임 보상 오차 값을 정해진 제 1 임계치와 비교하는 제 3 단계;상기 제 3단계의 비교 결과 영 벡터를 이용한 움직임 보상 오차 값이 제 1 임계치 보다 작은 경우 영 벡터를 최종 움직임 벡터로 결정하는 제 4 단계;상기 제 3단계의 비교 결과 영 벡터를 이용한 움직임 보상 오차 값이 제 1 임계치보다 작지 않은 경우 예측 움직임 벡터를 이용한 움직임 보상 오차 값을 정해진 제 2 임계치와 비교하는 제 5 단계;상기 제 5 단계의 비교 결과 예측 움직임 벡터를 이용한 움직임 보상 오차 값이 제 2 임계치 보다 작은 경우 예측 움직임 벡터를 최종 움직임 벡터로 결정하는 제 6 단계;상기 제 5 단계의 비교 결과 예측 움직임 벡터를 이용한 움직임 보상 오차 값이 제 2 임계치 보다 작지 않은 경우 최소 움직임 보상 오차 값을 가지는 움직임 벡터를 최종적으로 움직임 벡터로 결정하는 제 7 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정 방법.
- 제 1 항에 있어서, 상기 제 1 단계가 하기 수학식 1에 따라 예측 움직임 벡터(MVP)를 현재 부호화할 매크로블록 주위의 매크로블록 또는 블록들의 움직임 벡터 값들의 중간값으로 결정하는 단계인 것을 특징으로 하는 움직임 벡터 추정 방법.[수학식 1]MVP = MED(MV1, MV2, MV3)상기 식에서, MV는 현재 부호화할 매크로블록의 주위의 움직임 벡터들을 의미한다.
- 제 1항에 있어서, 상기 제 2 단계가 전역 탐색방법(full search), 피라미드 탐색방법(pyramidal search), 3 단계 탐색방법(three-step search), 또는 4 단계 탐색방법(four-step search) 가운데 하나의 방법에 의해 움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정 방법.
- 디지털 동영상 부호화에서 움직임 벡터를 추정하는 장치에 있어서;움직임 벡터 메모리에 저장된 현재 부호화하고자 하는 블록 주위의 블록의 움직임 벡터들을 이용하여 예측 움직임 벡터를 추정하는 움직임 벡터 예측부;현재 영상과 참조 영상을 이용하여 움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하면서, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값, 영 벡터에 대한 움직임 보상 오차값 및 예측 움직임 벡터에 대한 움직임 보상 오차값을 구하는 움직임 벡터 탐색부;상기 움직임 벡터 탐색부로부터 움직임 보상 오차를 최소화하는 움직임 벡터, 움직임 보상 오차를 최소화하는 움직임 벡터에 대한 움직임 보상 오차값, 영 벡터 및 예측 움직임 벡터 각각에 대한 움직임 보상 오차값들을 입력 받고, 상기 움직임 벡터 예측부로부터 예측 움직임 벡터를 입력 받고, 두 종류의 임계치를 입력 받아, 이들 입력 정보들을 이용하여 최종 움직임 벡터를 선택하는 움직임 벡터 선택부; 및상기 움직임 벡터 선택부로부터 추정된 최종 움직임 벡터를 입력 받아 저장 하는 움직임 벡터 메모리부를 포함하는 것을 특징으로 하는 움직임 벡터 추정 장치.
- 제 5항에 있어서, 상기 움직임 벡터 선택부가영 벡터와 현재 입력 영상과 참조 영상을 이용하여 영벡터에 대한 움직임 보상 오차를 계산하는 제 1 움직임 오차 계산부;예측 움직임 벡터와 현재 입력 영상과 참조 영상을 이용하여 예측 움직임 벡터에 대한 움직임 보상 오차를 계산하는 제 2 움직임 오차 계산부;상기 제 1 움직임 오차 계산 수단으로부터 출력되는 영 벡터에 대한 움직임 보상 오차와 입력된 제 1 임계치를 비교하는 제 1 비교부;상기 제 2 움직임 오차 계산 수단으로부터 출력되는 예측 움직임 벡터에 대한 움직임 보상 오차와 입력된 제 2 임계치를 비교하는 제 2 비교부;상기 제 1 비교부의 비교 결과에 따라 상기 제 2 비교부를 구동시키거나 영 벡터를 선택하는 제 1 스위치; 및상기 제 2 비교부의 결과에 따라 움직임 보상 오차를 최소화하는 움직임 벡터와 예측 움직임 벡터 중 한 가지를 선택하는 제 2 스위치를 포함하는 것을 특징으로 하는 움직임 벡터 추정 장치.
- 제 6항에 있어서, 상기 제 1 스위치가 제 1 비교부의 비교 결과 영벡터에 대한 움직임 보상 오차가 제 1 임계치 보다 작은 경우 영벡터를 최종 움직임 벡터로 선택하고, 그렇지 않은 경우 상기 제 2 비교부를 구동시키는 것임을 특징으로 하는 움직임 벡터 추정 장치.
- 제 6항에 있어서, 상기 제 2 스위치가 제 2 비교부의 비교 결과 예측움직임 벡터에 대한 움직임 보상 오차가 제 2 임계치 보다 작은 경우에는 예측 움직임 벡터를 최종 움직임 벡터로 결정하고, 제 2 임계치 보다 작지 않은 경우에는 최소 움직임 보상 오차값을 갖는 움직임 벡터를 최종 움직임 벡터로 결정하는 것임을 특징으로 하는 움직임 벡터 추정 장치.
- 제 5항에 있어서, 상기 움직임 벡터 예측부가 하기 수학식 1에 따라 현재 부호화할 매크로블록 주위의 매크로블록 또는 블록들의 움직임 벡터 값의 중간값을 예측 움직임 벡터로 결정하는 수단인 것을 특징으로 하는 움직임 벡터 추정 장치.[수학식 1]MVP = MED(MV1, MV2, MV3)상기 식에서, MV는 현재 부호화할 매크로블록의 주위의 움직임 벡터들을 의미한다.
- 제 5항에 있어서, 상기 움직임 벡터 탐색부가 전역 탐색수단(full search), 피라미드 탐색수단(pyramidal search), 3 단계 탐색수단(three-step search), 또는 4 단계 탐색수단(four-step search) 가운데 하나의 수단에 의해 움직임 보상 오차를 최소화하는 움직임 벡터를 탐색하는 수단을 포함하는 것을 특징으로 하는 움직임 벡터 추정 장치.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000008513A KR100619377B1 (ko) | 2000-02-22 | 2000-02-22 | 움직임 추정 방법 및 장치 |
US09/782,552 US20010019586A1 (en) | 2000-02-22 | 2001-02-13 | Motion estimation method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000008513A KR100619377B1 (ko) | 2000-02-22 | 2000-02-22 | 움직임 추정 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010082934A KR20010082934A (ko) | 2001-08-31 |
KR100619377B1 true KR100619377B1 (ko) | 2006-09-08 |
Family
ID=19648780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020000008513A KR100619377B1 (ko) | 2000-02-22 | 2000-02-22 | 움직임 추정 방법 및 장치 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20010019586A1 (ko) |
KR (1) | KR100619377B1 (ko) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7742525B1 (en) * | 2002-07-14 | 2010-06-22 | Apple Inc. | Adaptive motion estimation |
US7239721B1 (en) | 2002-07-14 | 2007-07-03 | Apple Inc. | Adaptive motion estimation |
US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
US20050013498A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
CN1934871B (zh) * | 2003-08-25 | 2011-08-10 | 新加坡科技研究局 | 在视频编码中对帧间预测进行模式判定的方法和系统 |
US7620106B2 (en) * | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7616692B2 (en) * | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
US7567617B2 (en) | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
US7792188B2 (en) * | 2004-06-27 | 2010-09-07 | Apple Inc. | Selecting encoding types and predictive modes for encoding video data |
US8111752B2 (en) * | 2004-06-27 | 2012-02-07 | Apple Inc. | Encoding mode pruning during video encoding |
KR100606140B1 (ko) | 2004-11-09 | 2006-08-01 | (주)씨앤에스 테크놀로지 | 적응적 모드 결정에 의한 움직임 예측방법 |
US20060146929A1 (en) * | 2005-01-06 | 2006-07-06 | Lg Electronics Inc. | Method and system for acceleration of lossy video encoding owing to adaptive discarding poor-informative macroblocks |
US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
US8482579B2 (en) * | 2007-09-14 | 2013-07-09 | Sharp Kabushiki Kaisha | Image display device and image display method |
JP4990927B2 (ja) * | 2008-03-28 | 2012-08-01 | 三星電子株式会社 | 動きベクトル情報の符号化/復号化方法及び装置 |
KR101299249B1 (ko) * | 2008-08-29 | 2013-08-22 | 삼성테크윈 주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
TW201030682A (en) * | 2009-02-12 | 2010-08-16 | Sunplus Technology Co Ltd | Motion vector estimator for reducing film judder |
JP6468703B2 (ja) * | 2013-12-20 | 2019-02-13 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
KR101582493B1 (ko) * | 2014-07-17 | 2016-01-07 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 |
KR101582495B1 (ko) * | 2014-07-17 | 2016-01-07 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 |
JP2017103744A (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
EP3648059B1 (en) * | 2018-10-29 | 2021-02-24 | Axis AB | Video processing device and method for determining motion metadata for an encoded video |
US20230004750A1 (en) * | 2021-06-30 | 2023-01-05 | International Business Machines Corporation | Abnormal log event detection and prediction |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2591441B2 (ja) * | 1993-09-28 | 1997-03-19 | 日本電気株式会社 | 動画像信号の動ベクトル検出装置 |
US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
US5973742A (en) * | 1996-05-24 | 1999-10-26 | Lsi Logic Corporation | System and method for performing motion estimation with reduced memory loading latency |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
-
2000
- 2000-02-22 KR KR1020000008513A patent/KR100619377B1/ko not_active IP Right Cessation
-
2001
- 2001-02-13 US US09/782,552 patent/US20010019586A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
KR20010082934A (ko) | 2001-08-31 |
US20010019586A1 (en) | 2001-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100619377B1 (ko) | 움직임 추정 방법 및 장치 | |
KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
US9369731B2 (en) | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method | |
JP5669278B2 (ja) | 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法 | |
JP4928627B2 (ja) | 動き推定の探索範囲の適応選択方法及び装置 | |
TWI440364B (zh) | 使用預測導引減數搜尋之移動估計 | |
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
US8559515B2 (en) | Apparatus and method for encoding and decoding multi-view video | |
KR100275694B1 (ko) | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 | |
KR20200015734A (ko) | 다중 참조 예측을 위한 움직임 벡터 개선 | |
EP1927249B1 (en) | Apparatus and method for encoding and decoding multi-view video | |
WO2011064990A1 (ja) | 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法 | |
US7088772B2 (en) | Method and apparatus for updating motion vector memories | |
JP2013225892A (ja) | 直接モード符号化及び復号化装置 | |
CN113302917A (zh) | 局部照明补偿的改进方法 | |
KR100727988B1 (ko) | 변환 영역에서의 dc 계수 예측 방법 및 장치 | |
CN111670578B (zh) | 一种视频编码或解码方法、装置、设备及存储介质 | |
KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
KR100196828B1 (ko) | 영상부호기의 움직임 벡터 선택방법 | |
KR100617177B1 (ko) | 움직임 추정 방법 | |
KR100200226B1 (ko) | 초저속 전송을 위한 영상처리 장치 | |
KR19990058929A (ko) | 움직임벡터 코딩방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20100729 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |