KR100829098B1 - 움직임 추정장치 및 움직임 추정방법 - Google Patents

움직임 추정장치 및 움직임 추정방법 Download PDF

Info

Publication number
KR100829098B1
KR100829098B1 KR1020060098401A KR20060098401A KR100829098B1 KR 100829098 B1 KR100829098 B1 KR 100829098B1 KR 1020060098401 A KR1020060098401 A KR 1020060098401A KR 20060098401 A KR20060098401 A KR 20060098401A KR 100829098 B1 KR100829098 B1 KR 100829098B1
Authority
KR
South Korea
Prior art keywords
vector
motion
local
global
candidate
Prior art date
Application number
KR1020060098401A
Other languages
English (en)
Other versions
KR20080032491A (ko
Inventor
권오재
민종술
김명재
성화석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060098401A priority Critical patent/KR100829098B1/ko
Publication of KR20080032491A publication Critical patent/KR20080032491A/ko
Application granted granted Critical
Publication of KR100829098B1 publication Critical patent/KR100829098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치에 있어서, 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치에 있어서, 현재 프레임을 복수의 블록으로 분할하고, 각 블록마다 이전 프레임의 움직임 벡터를 이용하여 실제 움직임이 있을 가능성이 있는 영역에 대해 복수개의 국부탐색영역을 정의하는 국부탐색영역정의부와; 각 국부탐색영역에 대해 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터로 정의하는 국부후보벡터정의부와; 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의하는 전역후보벡터정의부와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해, 움직임 예측 오류값(SAD)과, 주변벡터와의 상관성(Vector Consistency)을 반영한 벡터간 거리 가중누적값(Sum of Weight Vector Distance)과, 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 결정하는 움직임벡터결정부를 포함하는 것을 특징으로 한다. 이에 의해, 보간 프레임을 생성하는데 기초가 되는 움직임 벡터를 생성함에 있어 실제 움직임에 가까운 움직임 벡터를 생성할 수 있다.

Description

움직임 추정장치 및 움직임 추정방법{Motion Estimator and Motion Estimating Method}
도 1은 본 발명의 일 실시예에 따른 움직임 추정장치의 제어블록도이다.
도 2a는 본 발명의 일 실시예에 따른 움직임 추정장치의 전역탐색영역도이다.
도 2b는 본 발명의 일 실시예에 따른 움직임 추정장치에서 정의된 전역탐색영역에 대해 후보벡터를 산출하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 움직임 추정장치의 국부탐색영역도이다.
도 4는 본 발명의 일 실시예에 따른 움직임 추정장치에서 평균 벡터 방식에 의해 후보벡터를 산출하는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 움직임 추정장치에서 행 평균 벡터 방식에 의해 후보벡터를 산출하는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 움직임 추정장치에서 전역 움직임 벡터 방식에 의해 후보벡터를 산출하는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 움직임 추정장치에서 정의된 후보벡터에 대해 최종 움직임 벡터를 결정하기 위한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 움직임 추정장치에서 정의된 후보벡터에 대해 움직임 벡터 오류값과, 벡터간 거리 가중누적값과, 벡터크기값 각각에 대해 가중치를 산출하는 그래프이다.
도 9는 본 발명의 일 실시예에 따른 움직임 추정장치에서 특정 블록과 주변블럭에 대해 벡터간 거리 가중 누적값을 산출하기 위한 그래프이다.
도 10은 본 발명의 일 실시예에 따른 움직임 추정장치에서 벡터간 거리 가중누적값을 산출하는 계산식이다.
도 11은 본 발명의 일 실실예에 따른 움직임 추정장치의 제어방법 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 신호수신부 20 : 신호처리부
31 : 전역후보벡터정의부 33 : 메모리부
35 : 국부탐색영역정의부 37 : 국부후보벡터정의부
39 : 움직임벡터결정부 40 : 프레임 보간부
50 : 디스플레이부 100 : 움직임 추정장치
본 발명은 움직임 추정장치 및 움직임 추정방법에 관한 것으로서, 보다 상세하게는, 연속된 프레임 사이에 삽입할 보간 프레임을 생성하기 위하여 각 프레임의 움직임을 추정하는 움직임 추정장치 및 움직임 추정방법에 관한 것이다.
일반적으로, 프레임 레이트 변환(Frame Rate Conversion)이란, 입력된 영상신호의 주파수를 디스플레이의 출력규격에 맞게 변환하는 것을 말한다. 예를 들어, 50Hz의 영상신호를 70hz의 디스플레이 출력으로 변환하기 위해서는 입력된 프레임들 사이에 새로운 프레임을 삽입하게 되는데, 단순히 입력된 프레임을 반복하거나 시간적인 선형 보간방법을 이용하는 경우에는 모션 블러(움직임 흐려짐)현상 등이 발생하게 된다. 그래서, 이러한 모션 블러 현상을 감소시키기 위해 향상된 프레임 레이트 변환방법을 사용하는 움직임 추정 및 보상기법을 이용하는 것이 일반적이다.
종래의 움직임 추정방법은 다수의 후보벡터를 정의하고, 움직임 예측 오류값(SAD : Sum of Absolute Difference)을 기준으로 최종 움직임벡터를 결정한다. 그리고, 선택된 최종 움직임벡터에 기초하여 보간할 보간 프레임을 생성하게 된다. 그런데, 이러한 종래의 움직임 추정방법은 후보벡터가 현재 프레임에 마련된 소정의 기준블록에 대해 예상되는 움직임을 나타내고, 실제 움직임은 그 중에서 최소의 움직임 예측 오류값을 갖는다고 가정하에 움직임을 추정하는 방식이다.
그런데, 이러한 종래의 움직임 추정방법은 실제 움직임이 아닌 벡터를 움직임 벡터로 추정할 수 있으며, 후보벡터가 기준블록의 실제 움직임을 잘못 예측한 경우, 지속적으로 잘못된 움직임 벡터를 추정할 수 있으며, 또한 모션 블러 현상을 더 증가시킬 우려가 있다.
따라서, 본 발명의 목적은 보간 프레임을 생성하는데 기초가 되는 움직임 벡 터를 생성함에 있어 실제 움직임에 가까운 움직임 벡터를 생성할 수 있는 움직임벡터 추정장치 및 움직임벡터 추정방법을 제공하는데 있다.
상기 목적을 달성하기 위해서, 본 발명은 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치에 있어서, 현재 프레임을 복수의 블록으로 분할하고, 각 블록마다 이전 프레임의 움직임 벡터를 이용하여 복수개의 국부탐색영역을 정의하는 국부탐색영역정의부와; 각 국부탐색영역에 대해 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터로 정의하는 국부후보벡터정의부와; 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의하는 전역후보벡터정의부와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해, 움직임 예측 오류값(SAD)과, 주변벡터와의 상관성(Vector Consistency)을 반영한 벡터간 거리 가중누적값(Sum of Weight Vector Distance)과, 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 결정하는 움직임벡터결정부를 포함하는 것을 특징으로 하는 움직임 벡터 추정장치를 제공한다.
여기서, 상기 각 국부탐색영역에 대해 상기 국부후보벡터정의부는 평균벡터(Mean Vector)와, 행 평균벡터(Line Mean Vector)와, 영 벡터(Zero Vector)와, 전역 움직임 벡터(Global Vector)와, 업데이터 벡터(Update Vector)를 국부후보벡터로 정의하는 것을 특징으로 한다.
그리고, 전역후보벡터정의부는 이전프레임의 전역탐색영역을 좌측 탐색영역과 우측탐색영역으로 나누고 좌측 탐색영역과 우측 탐색영역에 대해 각 움직임 예측 오류값이 최소인 좌측 전역탐색 벡터와 우측 전역탐색 벡터를 전역후보벡터로 정의하는 것을 특징으로 한다.
또한, 본 발명에 따른 움직임 벡터 추정장치는 이전 프레임의 움직임 벡터를 저장하는 메모리부를 더 포함하고, 국부후보벡터정의부는 메모리부로부터 이전 프레임의 움직임 벡터를 읽어오는 것을 특징으로 한다.
여기서, 이전 프레임의 움직임 벡터는 이전 프레임에 대한 최종움직임 벡터를 포함하는 것을 특징으로 한다.
상기 목적은, 본 발명에 따른, 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치의 제어방법에 있어서, 현재 프레임을 복수의 블록으로 분할하는 단계와; 이전 프레임의 움직임 벡터를 이용하여 복수개의 국부탐색영역을 정의하는 단계와; 각 국부탐색영역 내에서 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터를 정의하는 단계와; 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의하는 단계와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해 움직임 예측 오류값를 산출하는 단계와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해 주변벡터와의 상관성에 기초한 벡터간 거리 가중누적값를 산출하는 단계와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해 벡터크기값을 산출하는 단계와; 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해 움직임 예측 오류값과, 벡터간 거리 가중누적값과, 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 정의하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정장치의 제어방법에 의해서도 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 통해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 움직임 추정장치의 제어블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 움직임 추정장치는 현재 프레임 및 이전 프레임에 기초하여 보간 프레임을 생성합니다. 이를 위해, 본 발명에 따른 움직임 추정장치는 전역후보벡터정의부(31)와, 메모리부(33)와, 국부탐색영역정의부(35)와, 국부후보벡터정의부(37)와, 움직임벡터결정부(39)를 포함한다. 또한, 본 발명에 따른 움직임 추정장치는 신호수신부(10)와, 신호처리부(20)와, 프레임 보간부(40)를 더 포함할 수 있다. 또한, 본 발명에 따른 움직임 추정장치는 필요에 따라 디스플레이부(50)를 더 포함할 수도 있다.
신호수신부(10)는 소정의 외부 영상소스로부터 영상신호를 수신한다. 즉, 신호수신부(10)는 다양한 포맷의 영상신호가 입력 가능하도록 다양한 영상신호 포맷에 대응하는 단자를 포함할 수 있다. 본 발명에 따른 신호수신부(10)는 콤포지트 신호를 입력받기 위한 콤포지트 입력단자와, S-비디오 신호를 입력받기 위한 S-비디오 입력단자와, 콤포넌트 신호를 입력받기 위한 콤포넌트 입력단자와, PC 신호 및 TV 신호를 각각 입력받기 위한 PC 입력단자 및 TV 입력단자 중 적어도 하나를 포함할 수 있다. 여기서, 신호수신부(10)를 통해 수신된 영상신호는 프레임 별로 디스플레이부(50)에 표시되게 된다.
신호처리부(20)는 신호수신부(10)를 통해 입력되는 영상신호를 디스플레이부(50)가 출력 가능하게 처리한다. 여기서, 신호처리부(20)는 도시되지 않은 처리제어부의 제어에 의해, 영상신호에 해당하는 이미지를 디스플레이부(50)에 표시 가능하도록 처리한다.
도 1에서, 신호처리부(20)를 전역후보벡터정의부(31)와 국부후보벡터정의부(37)의 입력단 측에 도시하였으나, 신호처리부(20)는 전역후보벡터정의부(31)와 국부후보벡터정의부(37)의 출력단 측에 마련될 수 있음은 물론이다.
여기서, 전역후보벡터정의부(31)는 현재 프레임을 복수의 블록으로 분할하고 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의한다.
또한, 전역후보벡터정의부(31)는 이전프레임의 전역탐색영역을 좌측 탐색영역과 우측탐색영역으로 나누고 좌측 탐색영역과 우측 탐색영역에 대해 각 움직임 예측 오류값이 최소인 좌측 전역탐색 벡터와 우측 전역탐색 벡터를 전역후보벡터로 정의하는 것이다.
메모리부(33)는 각 프레임 마다 산출한 최종 움직임벡터를 저장합니다. 이때, 메모리부(33)는 복수의 프레임에 대한 최종 움직임벡터를 이전 움직임벡터로 저장할 수도 있으나, 현재 프레임 바로 이전의 프레임에 대한 최종 움직임벡터만을 이전 움직임벡터로서 저장할 수도 있다.
국부탐색영역정의부(35)는 현재 프레임을 복수의 블록으로 분할하고, 상기 각 블록마다 메모리부(33)의 이전 프레임의 움직임 벡터를 이용하여 국부탐색영역을 정의한다.
국부후보벡터정의부(37)는 국부탐색영역정의부(35)에서 정의한 각 국부탐색영역에 대해 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터로 정의한다.
전술한 전역후보벡터와 국부후보벡터를 정의하는 방법은 후술하기로 한다.
움직임벡터결정부(39)는 각 국부후보벡터와 각 전역후보벡터에 대해, 움직임 예측 오류값(SAD)과 주변벡터와의 상관성(Vector Consistency)을 반영한 벡터간 거리 가중누적값과 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 움직임 벡터로 최종 결정하는 것을 특징으로 한다. 움직임 벡터 결정 과정에서 이용되는 벡터는 {
Figure 112006073093541-pat00001
,
Figure 112006073093541-pat00002
,
Figure 112006073093541-pat00003
,
Figure 112006073093541-pat00004
,
Figure 112006073093541-pat00005
,
Figure 112006073093541-pat00006
,
Figure 112006073093541-pat00007
}가 있으며,
Figure 112006073093541-pat00008
는 전역 탐색에 의해 산출된 벡터이고,
Figure 112006073093541-pat00009
는 전역 탐색 벡터가 위치한 영역의 반대쪽(왼쪽 또는 오른쪽) 영역에서 전역 탐색에 의해 산출된 벡터이고,
Figure 112006073093541-pat00010
는 현재블록과 그 주변블록의 이전 프레임 벡터를 이용하여 정의한 영역에서 국부영역 탐색에 의해 산출된 벡터이고,
Figure 112006073093541-pat00011
는 현재블록과 같은 수직 위치에 있는 블록의 이전 프레임 벡터를 이용하여 정의한 영역에서 국부영역 탐색에 의해 산출된 벡터,
Figure 112006073093541-pat00012
는 영 벡터를 중심으로 정의한 영역에서 국부영역 탐색에 의해 산출된 벡터이다. 그리고
Figure 112006073093541-pat00013
는 전역 움직임 벡터(global motion vector)를 중심으로 정의한 영역에서 국부영역 탐색에 의해 산출된 벡터이고,
Figure 112006073093541-pat00014
는 평균벡터에 일정 크기의 수평, 수직 성분을 더한 벡터, 현재블록의 이전 프레임 벡터, 그리고 현재블록에서 수평방향으로 3번째 이전블록과 3번째 이후블록의 이전 프레임 벡터 중 최소 SAD값을 갖는 벡터이다.
움직임벡터결정부(39)가 움직임 벡터를 결정하는 방법은 후술한다.
전역후보벡터정의부(31)는 도 2a에서와 같이 이전 프레임(f
Figure 112006073093541-pat00015
)의 탐색영역(S
Figure 112006073093541-pat00016
)을 좌측 탐색영역(S
Figure 112006073093541-pat00017
)과 우측 탐색영역(S
Figure 112006073093541-pat00018
)로 나누고, 도 2b에서와 같이 현재 블록과 가장 유사한 블록을 블록 정합방법(Block Matching Algorithm)으로 찾아 두 블록 사이의 공간상 위치 이동을 각각 좌측 전역탐색 벡터(
Figure 112006073093541-pat00019
)와 우측 전역탐색 벡터(
Figure 112006073093541-pat00020
)로 정의한다. 블록간 유사성을 측정하기 위한 척도로서 일반적으로 SAD(Sum of Absolute Difference)값이 사용되며, 다음과 같이 계산한다.
[수학식 1]
Figure 112006073093541-pat00021
여기서,
Figure 112006073093541-pat00022
는 현재블록 B에 속한 화소의 좌표를 나타내며,
Figure 112006073093541-pat00023
는 탐색영역 내에서 현재블록으로부터 떨어진 상대적 위치를 나타낸다. 그리고 탐색영역 S내에서 SAD값을 최소화하는 벡터를 다음과 같이 움직임 벡터로 결정한다.
[수학식 2]
Figure 112006073093541-pat00024
이렇게 정의된 좌측 전역탐색 벡터의 SAD값(
Figure 112006073093541-pat00025
)과 우측 전역탐색 벡터의 SAD값(
Figure 112006073093541-pat00026
)을 비교하여 다음 수식에 의해 전역탐색 벡터(
Figure 112006073093541-pat00027
)와 반대방향의 전역탐색 벡터(
Figure 112006073093541-pat00028
)를 결정한다.
[수학식 3]
Figure 112006073093541-pat00029
국부탐색영역정의부(35)는 도 3과 같이, 탐색영역의 중심점으로부터 이전 프레임의 움직임 벡터를 이용하여 산출된 위치만큼 이동된 영역을 국부탐색영역으로 정의한다. 다시 말해, 국부탐색영역정의부(35)는 국부후보벡터정의부(37)에 의해 산출되는 후보벡터를 중심으로 이전 프레임의 움직임 벡터를 이용하여 산출된 위치만큼 이동된 영역을 국부탐색영역으로 정의한다. 도 3에서
Figure 112007094672931-pat00136
은 국부탐색영역이고,
Figure 112007094672931-pat00137
는 각 국부탐색영역에 대한 좌표값을 나타낸다.
국부후보벡터정의부(37)는 평균 벡터(Mean Vector), 행 평균 벡터(Line Mean Vector), 영 벡터(Zero Vector), 전역 움직임 벡터(Global Vector), 업데이터 벡터(Update Vector)에 의해 각각 후보벡터를 산출한다. 그리고, 국부후보벡터정의부(37)는 국부탐색영역정의부(35)에 의해 정의된 국부탐색영역에 대해 최소 SAD값을 갖는 움직임 벡터를 국부후보벡터로 선택한다.
평균벡터 방식은 국부후보벡터정의부(37)가 메모리부(33)로부터 이전 프레임 의 움직임 벡터를 읽어오고 현재 프레임을 복수의 블록으로 분할하고, 분할한 블록 중 하나를 현재블록으로 설정한다. 평균벡터 방식의 국부후보벡터정의부(37)는 도 4와 같이, 5개의 서브그룹(S
Figure 112006073093541-pat00032
~ S
Figure 112006073093541-pat00033
)은 현재블록(4)과 주변 8개 블록(0,1,2,3,5,6,7,8)으로부터 일부를 선택하여 정의된다. 각 서브그룹별로 해당 블록의 이전 프레임의 움직임 벡터로부터 평균 벡터(
Figure 112006073093541-pat00034
:
Figure 112006073093541-pat00035
,
Figure 112006073093541-pat00036
,
Figure 112006073093541-pat00037
,
Figure 112006073093541-pat00038
,
Figure 112006073093541-pat00039
)를 산출하고 평균 벡터와 서브 그룹에 속한 블록의 벡터간 거리를 평균하여 벡터간 거리 평균값(
Figure 112006073093541-pat00040
:
Figure 112006073093541-pat00041
,
Figure 112006073093541-pat00042
,
Figure 112006073093541-pat00043
,
Figure 112006073093541-pat00044
,
Figure 112006073093541-pat00045
)을 계산한다. 벡터간 거리 평균값이 가장 작은 서브 그룹의 평균 벡터를 현재블록의 평균 벡터(
Figure 112006073093541-pat00046
)로 다음과 같이 정의한다.
[수학식 4]
Figure 112006073093541-pat00047
이 평균벡터(
Figure 112007094672931-pat00048
)를 중심으로 한 국부 탐색영역에서 최소 SAD값을 갖는 벡터를 다음과 같이 국부후보벡터로 결정한다.
[수학식 5]
Figure 112006073093541-pat00049
행 평균 벡터 방식의 국부후보벡터정의부(37)는 도 5와 같이, 현재 블록과 같은 수직 위치에 있는 블록의 이전 프레임 벡터 중 움직임 크기가 임계값(
Figure 112006073093541-pat00050
)보다 크고 주변벡터와의 거리 평균값이 임계값(
Figure 112006073093541-pat00051
)보다 작은 벡터만을 평균하여 평균벡터(
Figure 112006073093541-pat00052
)를 다음과 같이 계산한다.
[수학식 6]
Figure 112006073093541-pat00053
여기서,
Figure 112006073093541-pat00054
은 이전 행 움직임벡터이고,
Figure 112006073093541-pat00055
은 이전 행 움직임벡터의 주변블록에 대응하는 이전 움직임벡터이고, 현재블록 및 주변블록의 개수가 N개인 경우이다. L은 주변블록의 개수이다.
산출된 평균 벡터(
Figure 112007094672931-pat00056
)를 중심으로 한 국부탐색영역에서 최소 SAD값을 갖는 벡터를 다음과 같이 국부후보벡터
Figure 112007094672931-pat00057
로 결정한다.
[수학식 7]
Figure 112006073093541-pat00058
영 벡터 방식의 국부후보벡터정의부(37)는 정지 영역의 벡터를 추정하기 위한 것으로 영 벡터(
Figure 112007094672931-pat00059
)를 중심으로 한 국부 탐색영역에서 SAD값을 최소화하는 벡터를 다음과 같이 국부후보벡터
Figure 112007094672931-pat00060
로 결정한다.
[수학식 8]
Figure 112006073093541-pat00061
전역움직임 벡터 방식의 국부후보벡터정의부(37)는 전역 움직임 벡터는 카메라의 움직임(camera panning, tilting, zooming 등)에 의해 화면 전체의 움직임을 나타내는 벡터이다. 전역 움직임 벡터는 다음 식과 같이 정의되며, 제 6도와 같이 이전 프레임 벡터 중 일부 블록을 샘플링하여 모델링 기법에 의해서 계산된다.
[수학식 9]
Figure 112006073093541-pat00062
Figure 112007094672931-pat00063
,
Figure 112007094672931-pat00064
는 움직임 벡터의 x성분 값과 y성분 값이며, n, m는 수평방향과 수직방향의 블록 index를 나타낸다. 그리고 ax, ay는 각각 수평, 수직방향의 zooming factor, bx, by는 수평, 수직방향의 panning factor를 나타낸다. 산출된 전역 움직임 벡터를 중심으로 한 국부 탐색영역에서 최소 SAD값을 갖는 벡터를 다음과 같이 국부후보벡터로 결정한다.
[수학식 10]
Figure 112006073093541-pat00065
업데이터 벡터 방식의 국부후보벡터정의부(37)는 빠른 벡터수렴을 위한 벡터를 후보벡터로 한다. 국부후보벡터정의부(37)는 수학식 4에 의해 계산한 평균벡터(
Figure 112007094672931-pat00066
)에 국부 탐색영역 범위(XL, YL)보다 큰 수평성분(mx), 또는 수직성분(my)을 각각 더하거나 뺀 벡터(
Figure 112007094672931-pat00067
,
Figure 112007094672931-pat00068
,
Figure 112007094672931-pat00069
,
Figure 112007094672931-pat00070
), 현재블록(m,n)의 이전 프레임 벡터(
Figure 112007094672931-pat00071
), 그리고 현재블록에서 수평방향으로 3번째 이전블록(m,n-3) 및 3번째 이후블록(m,n+3)의 이전 프레임 벡터(
Figure 112007094672931-pat00072
,
Figure 112007094672931-pat00073
) 중 최소 SAD값을 갖는 벡터를 다음과 같이 국부후보벡터로 정의한다.
[수학식 11]
Figure 112006073093541-pat00074
움직임벡터결정부(39)는 전역후보벡터정의부(31)와 국부후보벡터정의부(37)에서 산출된 7개의 국부후보벡터{
Figure 112007094672931-pat00075
,
Figure 112007094672931-pat00076
,
Figure 112007094672931-pat00077
,
Figure 112007094672931-pat00078
,
Figure 112007094672931-pat00079
,
Figure 112007094672931-pat00080
,
Figure 112007094672931-pat00081
}에 대해 각각 움직임 추정 비용함수를 계산하여 이를 최소화하는 벡터를 최종 움직임 벡터로 결정한다.
비용함수는 도 7과 같이, 블록간 정합 정도를 나타내는 SAD값(
Figure 112006073093541-pat00082
), 주변벡터와의 상관성을 나타내는 벡터간 거리 가중누적값(
Figure 112006073093541-pat00083
), 그리고 벡터 크기 (l(
Figure 112006073093541-pat00084
)) 측정값으로 구성된다. 세 측정값을 하나의 비용함수로 묶기 위해, 각 측정값의 신뢰도로부터 가중치를 산출한다. 이러한 가중치는 매 블록마다 계산되며, 한 블록의 모든 후보벡터에 대해서는 동일한 값으로 적용된다. SAD값의 가중치(
Figure 112006073093541-pat00085
)는 현재블록의 gradient값(
Figure 112006073093541-pat00086
)으로부터 계산되며, gradient값이 작은 블록은 SAD값의 변별력이 상대적으로 떨어지므로, SAD값의 변별력을 보상하기 위해서 큰 가중치가 할당되도록 수학식 12와 같이 조정된다. 이 가중치를 구하는 함수는 제 8도의 첫번 째 그래프와 같이 단조 감소 함수의 형태를 띠게 된다.
[수학식 12]
Figure 112006073093541-pat00087
[수학식 13]을 수행하여 계산된 블록의 표준편차(
Figure 112006073093541-pat00088
)로 SAD값을 나주어 줌으로써 블록정합 오류값을 정규화한다.
[수학식 13]
Figure 112006073093541-pat00089
벡터간 거리 가중누적값(
Figure 112006073093541-pat00090
)은 도 9, 도 10과 같이 현재블록과 주변블록의 이전 프레임 벡터(
Figure 112006073093541-pat00091
~
Figure 112006073093541-pat00092
)와 후보벡터(
Figure 112006073093541-pat00093
)간의 거리를 미리 정의된 블록간 거리별 가중치(w0 ~ w8)로 곱하여 수학식 14와 같이 계산한다. 블록간 거리별 가중치는 정의된 블록 크기에 따라 블록 중심간의 거리에 비례하도록 정의된다. 이러한 벡터간 거리 가중누적값은 인접한 블록의 움직임 벡터는 서로 유사하다는 영상 특성을 이용한 측정값으로, 실제 움직임 벡터를 추정할 때 유용한 지표이다.
[수학식 14]
Figure 112006073093541-pat00094
또한, [수학식 14]에서 후보벡터(
Figure 112006073093541-pat00095
) 대신에 영벡터(
Figure 112006073093541-pat00096
)를 대입하여 수학식 15와 같이 계산한 참조벡터(
Figure 112006073093541-pat00097
~
Figure 112006073093541-pat00098
)의 크기 가중누적값(
Figure 112006073093541-pat00099
)을 나누어줌으로써 벡터간 거리 가중누적값을 정규화한다. 이러한 정규화 과정을 통해 움직임이 빠른 영역이나 정지에 가까운 움직임이 느린 영역에서 주변벡터와의 상관성 정도를 동일하게 표시할 수 있다.
[수학식 15]
Figure 112006073093541-pat00100
벡터간 거리 가중누적값의 가중치(
Figure 112006073093541-pat00101
)는 벡터간 거리 가중누적값을 계산할 때 이용되는 참조벡터의 상관성 정도(
Figure 112006073093541-pat00102
)에 의해 수학식 16과 같이 계산된다. 참조벡터의 상관성 정도는 참조벡터의 평균벡터와 참조벡터간의 거리 누적값(
Figure 112006073093541-pat00103
)을 참조벡터 크기의 누적값(
Figure 112006073093541-pat00104
)으로 나누어 계산된다. 즉, 벡터의 크기에 비해 벡터간 상관성이 떨어지는 블록은 전경과 배경이 교차하여 인접블록간 벡터가 상이한 벡터필드의 불연속 경계에 해당한다. 이러한 블록에서는 참조벡터가 서로 일관되지 못하므로, 벡터의 상관성을 반영하는 측정값인 벡터간 거리 가중누적값은 더 이상 벡터 결정에 유효하지 않다. 따라서 이러한 블록에 대해서는 벡터간 거리 가중누적값이 비용함수에 반영되지 못하도록 가중치를 줄여 벡터간 거리 가중누적값이 감소하도록 도 8의 두번째 그래프와 같이 단조 감소함수의 형태를 갖게 된다.
[수학식 16]
Figure 112006073093541-pat00105
그리고, 벡터 크기(l(
Figure 112006073093541-pat00106
))는 후보벡터의 수평, 수직성분의 절대값을 합하여 계산한 값으로 다음과 같이 계산된다.
[수학식 17]
Figure 112006073093541-pat00107
벡터 크기의 가중치(
Figure 112006073093541-pat00108
)는 영 벡터의 SAD값(
Figure 112006073093541-pat00109
)과 전역탐색의 최소 SAD값(
Figure 112006073093541-pat00110
)의 차이로부터 계산되며, 두 SAD값의 차이가 작을수록 벡터 크기의 가중치가 증가하도록 수학식 18과 같이 계산한다. 이는 영 벡터의 SAD값과 최소 SAD값의 차이 정도에 따라 영 벡터로부터 떨어진 거리, 즉 벡터 크기를 가중함으로써 영 벡터의 SAD값이 최소 SAD값과 유사한 경우, 상대적으로 벡터 크기가 작은 벡터가 선택되도록 정지 영역의 선택비중이 가중되게 한다.
[수학식 18]
Figure 112006073093541-pat00111
블록 단위로 계산한 동일 가중치(
Figure 112006073093541-pat00112
,
Figure 112006073093541-pat00113
,
Figure 112006073093541-pat00114
)를 후보벡터별로 계산한 세 측정값(
Figure 112006073093541-pat00115
(
Figure 112006073093541-pat00116
)/
Figure 112006073093541-pat00117
, d
Figure 112006073093541-pat00118
(
Figure 112006073093541-pat00119
)/d
Figure 112006073093541-pat00120
(
Figure 112006073093541-pat00121
), l(
Figure 112006073093541-pat00122
))에 곱하여 합산한 비용함수를 최소화하는 벡터를 수학식 19와 같이 움직임 벡터로 최종 결정한다.
[수학식 19]
Figure 112006073093541-pat00123
움직임 추정 비용함수에서 특정 측정값의 신뢰도가 떨어지는 경우 가중치에 의해 그 측정값의 비중을 낮추도록 한다. 따라서 움직임 추정 비용함수에 의한 벡터 결정에서 각 측정값의 신뢰도에 의해 가중치를 조정함으로써, 잘못된 측정값이 배제되도록 하며 이는 정확한 움직임 벡터 추정을 가능하게 한다.
전술한 방법으로 움직임벡터결정부(39)에 의해 결정된 최종 움직임벡터는 보간 프레임을 생성하는데 기초가 된다. 즉, 움직임벡터결정부(39)에 의해 결정된 최종 움직임벡터는 프레임 보간부(40)에 의해 새로운 보간 프레임을 생성하는데 이용된다. 즉, 프레임 보간부(40)는 최종 움직임벡터에 기초하여 현재 프레임과 이전 프레임 사이에 삽입되는 새로운 보간 프레임을 보간한다.
디스플레이부(50)는 신호수신부(10)를 통해 수신되는 영상신호를 입력받아 프레임 별로 화면에 이미지를 표시한다. 디스플레이부(50)는 이미지가 표시되는 디스플레이모듈(미도시)과, 입력되는 영상신호를 처리하여 디스플레이모듈에 이미자가 표시되게 하는 모듈구동부(미도시)를 포함한다.
본 발명에 따른 디스플레이모듈은 CRT(Cathode Ray Tube), DLP(Digital Light Processing), LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 등과 같이 다양한 유형의 디스플레이모듈이 적용 가능하다. 여기서, 디스플레이모듈이 DLP인 경우 모듈구동부는 광학엔진을 포함하게 되고, 디스플레이모듈이 LCD인 경우 모듈구동부는 색변환부로부터 입력되는 영상신호를 데이터신호 및 게이트신호로 변환하는 인쇄회로기판을 포함하게 된다. 마찬가지로, 각 디스플레이부(50)는 각 디스플레이모듈의 유형에 따라 대응하는 모듈구동부의 구성을 가질 수 있다.
도 11은 본 발명의 일 실실예에 따른 움직임 추정장치의 제어방법 흐름도이다.
도 11에서와 같이, 본 발명에 따른 움직임 벡터 추정 방법은 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치의 제어방법에 있어서, 현재 프레임을 복수의 블록으로 분할한다(S10).
이전 프레임의 움직임 벡터를 이용하여 복수개의 국부탐색영역을 정의한다(S20). 각 국부탐색영역 내에서 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터로 정의한다(S30). 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의한다(S40). 복수의 국부후보벡터와 복수의 전역후보벡터 각각에 대해 움직임 예측 오류값를 산출한다(S50). 각 국부후보벡터와 각 전역후보벡터에 대해 주변벡터와의 상관성에 기초한 벡터간 거리 가중누적값를 산출한다(S60). 각 국부후보벡터와 각 전역후보벡터에 대해 벡터크기값을 산출한다(S70). 각 국부후보벡터와 각 전역후보벡터에 대해 움직임 예측 오류값과 벡터간 거리 가중누적값과 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 정의한다(S80).
비록, 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명에 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
이상 설명한 바와 같이, 본 발명에 따르면 보간 프레임을 생성하는데 기초가 되는 움직임 벡터를 생성함에 있어 실제 움직임에 가까운 움직임 벡터를 생성할 수 있는 움직임벡터 추정장치 및 움직임벡터 추정방법이 제공된다.

Claims (6)

  1. 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치에 있어서,
    상기 현재 프레임을 복수의 블록으로 분할하고, 상기 각 블록마다 상기 이전 프레임의 움직임 벡터를 이용하여 복수개의 국부탐색영역을 정의하는 국부탐색영역정의부와;
    상기 각 국부탐색영역에 대해 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터로 정의하는 국부후보벡터정의부와;
    상기 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의하는 전역후보벡터정의부와;
    상기 복수의 국부후보벡터와 상기 복수의 전역후보벡터 각각에 대해, 움직임 예측 오류값(SAD)과, 주변벡터와의 상관성(Vector Consistency)을 반영한 벡터간 거리 가중누적값(Sum of Weight Vector Distance)과, 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 결정하는 움직임벡터결정부를 포함하는 것을 특징으로 하는 움직임 벡터 추정장치.
  2. 제1항에 있어서,
    상기 각 국부탐색영역에 대해 상기 국부후보벡터정의부는 평균벡터(Mean Vector)와, 행 평균벡터(Line Mean Vector)와, 영 벡터(Zero Vector)와, 전역 움직 임 벡터(Global Vector)와, 업데이터 벡터(Update Vector)를 국부후보벡터로 정의하는 것을 특징으로 하는 움직임 벡터 추정장치.
  3. 제1항에 있어서,
    상기 전역후보벡터정의부는 상기 이전프레임의 전역탐색영역을 좌측 탐색영역과 우측탐색영역으로 나누고 상기 좌측 탐색영역과 상기 우측 탐색영역에 대해 상기 각 움직임 예측 오류값이 최소인 좌측 전역탐색 벡터와 우측 전역탐색 벡터를 전역후보벡터로 정의하는 것을 특징으로 하는 움직임 벡터 추정장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이전 프레임의 움직임 벡터를 저장하는 메모리부를 더 포함하고,
    상기 국부후보벡터정의부는 상기 메모리부로부터 이전 프레임의 움직임 벡터를 읽어오는 것을 특징으로 하는 움직임 벡터 추정장치.
  5. 제4항에 있어서,
    상기 이전 프레임의 움직임 벡터는 상기 이전 프레임에 대한 최종움직임 벡터를 포함하는 것을 특징으로 하는 움직임 벡터 추정장치.
  6. 현재 프레임과 이전 프레임에 기초하여 프레임율 변환을 위한 보간 프레임을 생성하는 움직임 벡터 추정장치의 제어방법에 있어서,
    상기 현재 프레임을 복수의 블록으로 분할하는 단계와;
    상기 이전 프레임의 움직임 벡터를 이용하여 복수개의 국부탐색영역을 정의하는 단계와;
    상기 각 국부탐색영역 내에서 최소 움직임 예측 오류값(SAD)을 갖는 움직임 벡터를 국부후보벡터를 정의하는 단계와;
    상기 각 블록마다 좌우측 전역탐색영역 내에서 각각 최소 움직임 예측 오류값(SAD)을 갖는 복수의 전역후보벡터를 정의하는 단계와;
    상기 복수의 국부후보벡터와 상기 복수의 전역후보벡터 각각에 대해 움직임 예측 오류값를 산출하는 단계와;
    상기 복수의 국부후보벡터와 상기 복수의 전역후보벡터 각각에 대해 주변벡터와의 상관성에 기초한 벡터간 거리 가중누적값를 산출하는 단계와;
    상기 복수의 국부후보벡터와 상기 복수의 전역후보벡터 각각에 대해 벡터크기값을 산출하는 단계와;
    상기 복수의 국부후보벡터와 상기 복수의 전역후보벡터 각각에 대해 상기 움직임 예측 오류값과, 상기 벡터간 거리 가중누적값과, 상기 벡터크기값에 기초하여 산출된 누적값이 최소인 벡터를 최종 움직임 벡터로 정의하는 단계를 포함하는 것을 특징으로 하는 움직임 벡터 추정장치의 제어방법
KR1020060098401A 2006-10-10 2006-10-10 움직임 추정장치 및 움직임 추정방법 KR100829098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060098401A KR100829098B1 (ko) 2006-10-10 2006-10-10 움직임 추정장치 및 움직임 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060098401A KR100829098B1 (ko) 2006-10-10 2006-10-10 움직임 추정장치 및 움직임 추정방법

Publications (2)

Publication Number Publication Date
KR20080032491A KR20080032491A (ko) 2008-04-15
KR100829098B1 true KR100829098B1 (ko) 2008-05-19

Family

ID=39533243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060098401A KR100829098B1 (ko) 2006-10-10 2006-10-10 움직임 추정장치 및 움직임 추정방법

Country Status (1)

Country Link
KR (1) KR100829098B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4600530B2 (ja) 2008-06-17 2010-12-15 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
KR102136848B1 (ko) 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
CN114257756A (zh) * 2020-09-25 2022-03-29 瑞昱半导体股份有限公司 校正移动向量的视频处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326975A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償ビデオ信号処理方法及び装置
JPH09266574A (ja) * 1996-01-22 1997-10-07 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
KR20020042166A (ko) * 2000-11-30 2002-06-05 구자홍 영상 변환 부호화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06326975A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償ビデオ信号処理方法及び装置
JPH09266574A (ja) * 1996-01-22 1997-10-07 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
KR20020001331A (ko) * 2000-06-28 2002-01-09 윤종용 디지털 영상 안정화 장치
KR20020042166A (ko) * 2000-11-30 2002-06-05 구자홍 영상 변환 부호화 장치 및 방법

Also Published As

Publication number Publication date
KR20080032491A (ko) 2008-04-15

Similar Documents

Publication Publication Date Title
US8325812B2 (en) Motion estimator and motion estimating method
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
EP2509307A1 (en) Image processing device and image processing method
JP4157579B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
US8189104B2 (en) Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
US8204124B2 (en) Image processing apparatus, method thereof, and program
KR20100139030A (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
KR20040086553A (ko) 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템
JP2008118638A (ja) デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する方法、デジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定する装置、およびデジタル・ビデオ・シーケンスにおける２つのビデオ・フレーム間のジッタを推定するコンピュータ・プログラムを具現するコンピュータが読み取り可能な媒体
GB2476143A (en) Frame rate conversion using bi-directional, local and global motion estimation
JP2010288110A (ja) 画像処理装置および画像処理方法
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
US20030081682A1 (en) Unit for and method of motion estimation and image processing apparatus provided with such estimation unit
KR20070074781A (ko) 프레임율 변환장치
US20080239144A1 (en) Frame rate conversion device and image display apparatus
KR100829098B1 (ko) 움직임 추정장치 및 움직임 추정방법
US8942503B1 (en) Global motion vector calculation using phase plane correlation
JP2010055252A (ja) 動きベクトル検出装置および画像処理装置
JP2009077309A (ja) 動き予測装置および動き予測方法
JP4355347B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP5114290B2 (ja) 信号処理装置
WO2006061421A2 (en) Method and apparatus for generating motion compensated pictures
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee