KR0181027B1 - 화소 단위 움직임 추정을 이용하는 영상처리 시스템 - Google Patents

화소 단위 움직임 추정을 이용하는 영상처리 시스템 Download PDF

Info

Publication number
KR0181027B1
KR0181027B1 KR1019950005869A KR19950005869A KR0181027B1 KR 0181027 B1 KR0181027 B1 KR 0181027B1 KR 1019950005869 A KR1019950005869 A KR 1019950005869A KR 19950005869 A KR19950005869 A KR 19950005869A KR 0181027 B1 KR0181027 B1 KR 0181027B1
Authority
KR
South Korea
Prior art keywords
frame
current frame
skip
motion vectors
frames
Prior art date
Application number
KR1019950005869A
Other languages
English (en)
Other versions
KR960036707A (ko
Inventor
이민섭
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950005869A priority Critical patent/KR0181027B1/ko
Priority to EP19950107990 priority patent/EP0734165B1/en
Priority to DE1995625525 priority patent/DE69525525T2/de
Priority to US08/452,627 priority patent/US5617144A/en
Priority to CN95106689A priority patent/CN1115879C/zh
Priority to JP16678895A priority patent/JP3868017B2/ja
Publication of KR960036707A publication Critical patent/KR960036707A/ko
Application granted granted Critical
Publication of KR0181027B1 publication Critical patent/KR0181027B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

본 발명은 비디오 신호를 부호화 하여 부호화된 신호를 제공하는 영상 처리 시스템으로서, 상기 비디오 신호로부터 다수의 프레임을 선택하되, 이전 프레임과 현재 프레임 사이에 N(N은 정수)개의 프레임을 스킵하는 프레임 선택 수단과; 화소 단위로 상기 이전 프레임과 상기 현재 프레임 간의 변위를 추정하고 추정된 변위로써 상기 이전 프레임을 보상하여 예측된 현재 프레임을 제공하는 수단과; 상기 현재 프레임으로부터 상기 예측된 현제 프레임을 감산하여 차분신호를 제공하고 상기 차분신호와 상기 추정된 변위를 표시하는 제1세트의 움직임 벡터를 부호화하여 상기 부호화된 신호를 제공하는 수단과; 상기 N개의 스킵 프레임 예측 팩터가 곱해진 상기 제1 세트의 움직임 벡터를 이용하여 M(M은 정수)개의 후보 프레임을 발생시키는 수단과; 각각의 상기 N개의 스킵 프레임과 각각의 상기 후보 프레임을 비교하여 각각의 N개의 스킵 프레임에 대해서 하나의 스킵 프레임 예측 팩터를 제공하는 수단을 포함하여 이루어진다.

Description

화소단위 움직임 추정을 이용하는 영상처리 시스템
본 발명은 비디오 신호를 부호화 하고 복호화 하는 영상처리 시스템에 관한 것으로서, 특히 데이타를 압축하기 위해 프레임 데시메이션(decimation)과 화소 단위 움직임 추정과 보상 기법을 이용하여 비디오 신호를 부호화하고 복호화하는 영상처리 시스템에 관한 것이다.
주지된 바와 같이 이산화된 화상 신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지탈 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송되는 데이타를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장부호화)등을 이용한다. 움직임 보상DPCM은 현재 프레임과 이전 프레임 간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치 간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiya 와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
상술하면, 움직임보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
물체의 화소의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블럭단위 방법이고 또 하나는 화소 단위 움직임 추정이다.
블럭 단위 움직임 추정에서는, 현재 프레임의 블럭을 이전프레임의 블럭들과 비교하여 최적 정합 블럭을 결정한다. 이로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터 (프레임간에 블럭이 이동한 정도)가 추정된다. 그러나, 블럭단위 움직임 추정에서는 움직임 보상 과정에서 블럭경계에 블럭킹효과(blocking effect)가 발생할 수 있고; 블럭내의 모든화소가 한방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화효율이 감소한다.
한편, 화소단위 방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이 방법은 화소값을 더 정확히 추정할 수 있고 스케일변화(예를 들어 영상면에 수직한 움직임인 주밍(zooming))도 용이하게 다룰 수 있다. 그러나 화소 단위 방법에서는, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임 벡터를 수신기에 전송하는 것은 불가능하다. 따라서, 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임벡터를 수신측에 전송하는데, 이때 특징점은 인접화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터는 특징점에 대한 움직임 벡터로부터 복원될 수 있다. 동일인에 귀속된 계류중인 미국 특허 번호의 출원 화소 단위 움직임추정을 이용한 비디오 신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation)에 개시된, 특징점을 이용한 움직임추정을 채용한 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 각 선택된 특징점에 대한 움직임벡터가 결정되는데 이때 각 움직임 벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 상술하면, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.
쉽게 구현할 수 있는 또 하나의 압축기법으로 프레임 데시메이션(decimation) 방법이 있는데, 이 방법은 비데오 영상의 선택된 프레임만 부호화하여 전송하고 그 사이에 남는 프레임들은 스킵(skip)함으로써, 즉, 데시메이션함으로써 데이타의 양을 줄인다 (예를 들어, Video Codec for Audiovisual Services at p x 64 kb/s, CCITT 권고안 H.261, CDM XV-R 37-E, International Telegraph and Telecommunication Consultative Committee (CCITT), 1990, 8월 참조).
비데오 부호화기의 입력은 주로 30 프레임/초(frame/sec)의 비데오 신호이다. 두 개의 부호화된 프레임 사이에 하나, 둘 세 개의 프레임을 스킵하면 각각 프레임 레이트는 15,10,7.5 프레임/초가 된다.
상기의 부호화기에서 부호화된 신호를 복호화하는데 있어서, 30프레임/초의 비디오 신호를 복원하기 위해서는 스킵된 프레임을 추정하여야 하므로, 프레임 데시 메이션 기법을 이용하여 전송된 원래의 비디오 신호를 복원하는 개선된 시스템이 필요하다.
따라서, 본 발명의 주 목적은 특징점과 본 발명에 따른 스킵 프레임 예측 팩터를 이용한 화소단위 움직임 추정 및 보상을 이용하는, 비디오 신호 부호화 및 복호화를 위한 영상처리 시스템을 제공하는데 있다.
이상과 같은 본 발명의 목적은, 비디오 신호를 부호화하여 부호화된 신호를 제공하는 수단과 상기 부호화된 신호를 복호화하여 복원된 비디오 신호를 제공하는 수단을 포함하는 영상처리 시스템으로서, 상기 부호화 수단은: 상기 비디오 신호로부터 다수의 프레임을 선택하되, 이전 프레임과 현재 프레임 사이에 N개(N은 양의 정수)을 스킵하는 프레임 선택 수단과; 화소 단위로 상기 이전 프레임과 상기 현재 프레임 간의 변위를 추정하고 추정된 변위로써 상기 이전 프레임을 보상하여 예측된 현제 프레임을 제공하는 수단과; 상기 현재 프레임으로부터 상기 예측된 현재 프레임을 감산하여 차분신호를 제공하고 상기 차분신호와 상기 추정된 변위를 표시하는 제1세트의 움직임 백터를 부호화하여 상기 부호화된 신호를 제공하는 수단과; M개(M은 양의 정수)의 스킵 프레임 예측 팩터가 곱해진 상기 제1세트의 움직임 백터를 이용하여 M개의 후보 프레임을 발생시키는 수단과; 각각의 상기 N개의 스킵 프레임과 각각의 상기 후보 프레임을 비교하여 각각의 상기 N개의 스킵 프레임에 대해서 하나의 스킵 프레임 예측 팩터를 제공하는 수단을 포함하고; 상기 복호화 수단이: 부호화된 신호를 복호화하여 차분신호와 제1세트의 움직임 백터를 복원하는 수단과; 복원된 상기 제1세트의 움직임 백터로써 상기 이전 프레임을 보상하여 예측된 현재 프레임을 복원하는 수단과; 복원된 상기 예측된 현재 프레임을 상기 복원된 차분신호에 가산하여 상기 현재 프레임을 복원하는 수단과; 각각의 상기 N개의 스킵 프레임에 대한 스킵 프레임 예측 팩터가 곱해진 상기 제1세트의 움직임 백터로써 이전 프레임을 보상하여 상기 이전 프레임과 상기 복원된 현재 프레임간에 각각의 상기 N개의 스킵 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 영상처리 시스템에 의해 달성된다.
제1도는 본 발명에 따른 현재 프레임 예측 블럭을 포함한 영상 부호화기.
제2도는 제1도의 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)의 상세한 블럭도.
제3도는 비의사특징점에 대한 움직임 벡터를 검출하는 방법을 묘사하는 도면.
제4a 및 4b도는 후보 블럭들을 정의하기 위한 다수의 예시적인 프레임을 도시하는 도면.
제5도는 제2도의 스킵된 프레임 예측 팩터 결정 블럭의 상세 블럭도.
제6도는 제1도에 도시된 비디오 신호 부호기에 대응하는 비디오 신호 복호기를 도시하는 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 제1프레임 메모리 101 : 프레임 데시메이터
105 : 영상 신호 부호기 107 : 엔트로피 부호기
113 : 영상 신호 복호기 124 : 제2프레임 메모리
148 : 스킵 프레임 메모리
150 : 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭
210 : 특징점 선택 블럭
212 : 특징점 움직임 벡터 검출 블럭
214 : 현재 프레임 움직임 벡터 검출 블럭 216 : 움직임 보상 블럭
218 : 스킵 프레임 예측 팩터 결정 블럭 500 : 곱셈기
502 : 스킵 프레임 예측 팩터 발생 블럭
504 : J번째 후보 프레임 움직임 벡터 검출 블럭
506 : J번째 후보 프레임 움직임 보상 블럭
508 : J번째 후보 프레임 메모리
512 : J번째 후보 프레임 에러 누적 블럭
514 : 비교기 516, 518 : 레지스터
605 : 디멀티플렉서 607 : 엔트로피 디코더
613 : 영상 신호 복호기
650 : 현재 프레임 예측 블럭
이하 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세히 설명한다.
제1도에는 프레임 데시메이션 기법과 화소 단위 움직임 추정 및 보상을 이용하는, 영상 신호 부호기가 도시되어 있다.
입력 신호는 프레임 데시메이터(101)로 입력된다. 프레밍 데시메이터(101)에서는 부호화할 프레임들 사이에 삽입된 프레임들의 데시메이션 정도를 나타내는 기설정된 프레임 데시메이션비(ratio)에 따라 스킵함으로써 선택하고, 이 선택된 프레임들은 제1프레임 메모리(100)로 입력된다. 예를 들어, 기설정된 데시메이션비가 2 또는 3인 경우 각각 프레임 데시메이터(101)은 매 두 개 또는 매 세 개의 프레임중 하나를 선택한다. 스킵된 프레임은 스킵 프레임 메모리(148)에 저장된다.
제1도에 도시된 것처럼 제1프레임 메모리(100)에 저장된 선택된 프레임의 신호는 감산기(102)와 라인(L10)을 통해 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)에 연결되어 있다.
현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)에서는, 제1프레임 메모리(100)으로부터 제공되는 라인(L10) 상의 현재 프레임과 제2프레임 메모리(124)로부터의 라인(L12)상의 복원된 이전의 부호화된 이전 프레임 신호 및 스킵 프레임 메모리(148)로 부터의 라인(L8)상의 스킵 프레임 신호를 처리하여 화소단위로 현재 프레임을 예측하여 라인(L30)상에 예측된 현재 프레임 신호와 라인(L20)상에 특징점에 대한 일군의 움직임벡터를 생성하며, 또한 라인(L21)상에 스킵 프레임 예측 팩터를 제공한다. 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)는 제2도와 제3도를 참조하여 상세히 설명된다.
한편, 감산기(102)에서는 라인(L30)상의 예측된 현재 프레임 신호가 현재 프레임 신호로부터 감산되고 그 결과 데이타, 즉, 차분화소값을 나타내는 에러신호는 영상 신호 부호기(105)로 입력되어, 에러신호는 이산 코사인 변환(DCT)등과 양자화 방법을 이용하여 일련의 양자화된 변환계수로 부호화 된다. 이 이후에 양자화된 변환계수는 엔트로피 부호기(107)와 영상 신호 복호기(113)으로 연결된다.
엔트로피 부호기(107)에서는 영상 신호 부호기(105)로부터의 양자화된 변환계수와 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)으로부터 라인(L20)을 통해 입력된 움직임 벡터가, 런렝쓰(run-length)부호화와 가변길이 부호화의 결합등의 방법을 통해 부호화되고 멀티플렉서(109)로 전송된다. 멀티플렉서(109)는 엔트로피 부호기(107)의 출력신호와 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)으로부터 라인(L21)로 제공되는 스킵 프레임 예측 팩터를 멀티 플렉스하고, 그 결과를 복호기로 전송하기 위해 전송기로 제공한다.
한편, 영상 신호 복호기(113)은 영상 신호 부호기(105)로부터 입력된 양자화된 변환 계수들을 역양자화와 역변환을 통해 복원된 차분 에러 신호로 변환된다.
영상 복호기(113)으로부터의 복원된 에러 신호와 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)으로부터의 예측된 현재 프레임 신호는 가산기(115)에서 합쳐져서 복원된 현재 프레임 신호가 되어 제2프레임 메모리(124)에 이전 프레임으로 저장된다.
제2도에는 제1도의 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)의 상세한 도면이 제시되어 있다. 제2 프레임 메모리(124)로부터의 라인(L12)상의 이전 프레임 신호는 특징점 선택 블럭(210), 특징점 움직임 벡터 검출 블럭(212), 움직임 보상 블럭(216) 및 스킵 프레임 예측 팩터 결정 블럭(218)로 입력된다.
특징점 선택 블럭(210)에서는 이전 프레임에 포함된 화소중 다수의 특징점이 선택된다. 특징점은 프레임 내의 물체의 움직임을 대표할 수 있는 화소로 정의된다. 특징점 선택 블럭(210)으로부터의 선택된 특징점은 특징점 움직임 벡터 검출블럭(212), 현재 프레임 움직임 벡터 검출블럭(214) 및 스킵 프레임 예측 팩터 결정블럭(218)로 입력된다.
특징점 움직임 벡터 검출 블럭(212)에서는 선택된 특징점에 대한 제1 세트의 움직임 벡터를 검출한다. 제1세트의 움직임 벡터 각각은 이전 프레임의 특징점과 현재 프레임에서 가장 유사한 화소간의 변위이다.
모든 특징점에 대한 움직임 벡터, 즉 제1 세트의 움직임 벡터를 검출한 결과는 현재 프레임 움직임 벡터 검출 블럭(214), 스킵 프레임 예측 팩터 결정 블럭(218) 및 엔트로피 부호기(107)(제1도에 도시되어 있음)로 입력된다.
현재 프레임 움직임 벡터 검출 블럭(214)에서는 현재 프레임에 포함된 모든 화소에 대한 제2 세트의 움직임 벡터를, 제1세트의 움직임 벡터와 특징점 선택 블럭(210)으로부터의 특징점을 이용하여 결정한다. 제2세트의 움직임 벡터를 결정하기 위해서는 우선, 유사 특징점에 대한 움직임 벡터를 먼저 결정하는 데, 각각의 유사 특징점은 이전 프레임의 특징점 각각으로부터 해당 제1세트의 움직임 벡터 각각 만큼 이동한 현재 프레임의 화소점을 나타낸다. 유사 특징점의 움직임 벡터의 크기는 해당 특징점의 움직임 벡터와 같고 그 두 움직임 벡터의 방향은 반대이다. 모든 유사 특징점에 대한 움직임 벡터를 결정한 후에는 현재 프레임의 나머지 화소들인 비유사 특징점에 대한 움직임 벡터를 다음과 같이 결정한다.
제3도에 도시된 것처럼, 다수의 유사 특징점이 현재프레임 전체에 불규칙적으로 분포해 있다. 별 모양으로 표시된 비유사 특징점에 대한 움직임 벡터는 반지름 dr+da의 원의 경계에 포함되는 유사 특징점들의 움직임 벡터를 평균함으로서 구하는데, 이때 da는 가장 가까운 유사 특징점과 별표한 화소 위치와의 거리이고 dr은 움직임 벡터 계산에 이용되는 다른 유사 특징점을 포함하도록 확장된 기설정된 반지름이다. 예를 들어, 가장 가까운 유사특징점이 Y이고 유사 특징점 X가 dr +da의 경계에 포함된다면, 별표한 화소에 대한 움직임 벡터 (MVx,MVy)는 다음과 같이 계산된다.
여기에서와는 각각 별표된 화소 위치로부터 유사특징점 X와 Y까지의 거리이고; (MVx,MVy)X와 (MVx,MVy)Y는 각각 유사 특징점에 대한 움직임 벡터들이다.
제2도를 다시 참조하면, 유사 특징점과 비유사 특징점에 대한 제2세트의 움직임벡터는 움직임 보상 블럭(216)으로 제공된다. 움직임 보상 블럭(216)에서는 예측된 현재 프레임에 포함될 화소들 각각을 제2세트 움직임 벡터 각각을 이용하여 제2프레임 메모리(124)(제1도에 도시됨)로부터 인출한다.
한편, 스킵 프레임 예측 팩터 결정 블럭(218)에서는 (L8)로부터 I번째 스킵 프레임 신호가 입력되면, 후에 상술되는, M개의 후보 프레임을 발생시키고, I번째 스킵 프레임과 각각의 후보 프레임을 비교하여 그 스킵 프레임에 대한 스킵 프레임 예측 팩터, 즉 후보 프레임에 대한 어떤 정보를 라인(L21)상으로 발생시킨다. 스킵 프레임 예측 팩터, 후보 프레임의 정의 및 스킵 프레임 예측 팩터 결정 블럭 218의 상세한 사항은 제4a, 4b 및 5도를 참조하여 상세히 설명된다.
제4a도 및 제4b도를 참조하면, N개의 스킵 프레임 중에서 I번째 스킵 프레임을 근사화 시키기 위한 후보 프레임을 규정하기 위한 다수의 프레임이 개략적으로 도시되어 있다. 제4a도에는 4개의 프레임 즉, 이전 프레임(30), 제1스킵프레임(32), 제2스킵 프레임(34) 및 예측된 현재 프레임(36)이 도시되어 있다. 설명의 편의상, 이전 프레임 30과 예측된 현재 프레임(36)간의 스킵된 프레임의 수를 두 개로 하였고, 여러개의 특징점 중에서 하나의 특징점의 움직임을 특징점 A, 특징점 B, 특징점 C 및 특징점 D로 표시하였다. 제4a도에 도시된 바와 같이, 제1스킵 프레임(32)와 제2스킵 프레임(34)상의 특징점은 특징점 A와 특징점 B를 연결하는 연장선 위에 도시되어 있지 않는 데, 이것이 의미하는 바는, N개의 스킵된 프레임의 움직임 벡터와 화소점들을 결정하는데 있어서 두 프레임 사이의 움직임을 그 사이의 시간차에 비례하는 것으로 가정할 경우, 즉 시간상의 비율에 따라 특징점 움직임 벡터의 크기를 1/3 또는 2/3할 경우 정확한 위치의 특징점이 아닌 곳에서 특징점이 계산된다는 점이다.
본 발명에서는 이와 같은 점을 극복하기 위해 이전 프레임과 예측된 현재 프레임사이에 다수의 후보 프레임을 발생시켜 스킵된 실제 프레임의 특징점을 잘 나타낼 수 있는 하나의 후보 프레임을 만든다.
제4b도에 도시된 바와 같이, 여기에는 M개의 후보 프레임이 도시되어 있다. 각각의 후보 프레임은 스킵 프레임을 근사화 시키기 위한 참조 프레임이다. 이전 프레임을 나타내는 후보 프레임(38)과 예측된 현재 프레임을 나타내는 M번째 후보 프레임(50)간의 시간 간격이 T일 경우, 두 개의 후보 프레임 간의 시간 간격 델타 T는 T/(M-1)이다.
M개의 후보 프레임 중에서 J번째의 후보 프레임은 다음과 같이 만들어 진다. J번째 프레임을 만들기 위해서는 다수의 움직임 벡터와 해당하는 수의, J번째 스킵된 프레임의 화소점이 우선 결정되는데, 이때 다수의 움직임 벡터와 해당하는 수의 화소점 각각은 제1 세트의 움직임 벡터 각각에 대응하는 것이고, 작은 J값은 이전 프레임에 가까운 후보 프레임을 표시하는 것이다.
이 가정에 기초하여, J번째 스킵된 프레임의 각 화소점은 이전 프레임의 각 특징점을 해당 제1세트의 움직임 벡터 곱하기 (J-1)/(M-1)만큼 이동시킴으로서 얻는다. 그리고 난후, 이전 프레임과 J번째 프레임 간의 각각의 움직임 벡터는 이전 프레임의 해당 특징점의 움직임 벡터에 (J-1)/(M-1)을 곱함으로써 구한다. J번째 스킵된 프레임의 나머지 화소들에 대한 움직임벡터는 상기 J번째 프레임의 다수의 움직임 벡터와 화소점을 이용하여 제3도를 참조하여 설명된 것과 같은 방법으로 결정한다. 그리고난 후, J번째 프레임의 화소값은 J번째 프레임의 화소에 대한 움직임 벡터를 이용하여 이전 프레임으로부터 쉽게 결정할 수 있다.
제5도를 참조하면, 스킵 프레임 예측 팩터 결정 블럭(218)의 상세 블럭도이다. 제5도에 도시된 바와 같이, 제1 세트의 움직임 벡터가 라인 L18을 통해 곱셈기(500)으로 제공된다. 한편, 스킵 프레임 예측 팩터 발생기(502)로부터 제4b도에 설명된 후보 프레임을 구성시키기 위한 기설정된 스킵 프레임 예측 팩터가 발생된다. 스킵 프레임 예측 팩터는 곱셈기(500) 및 제1 레지스터(516)으로 제공된다. 곱셈기(500)에서는 두 개의 정보를 곱하여 이를 J번째 후보 프레임 움직임 벡터 검출블럭(504)로 제공한다.
J번째 후보 프레임 움직임 벡터 검출 블럭(504)에서는 라인(L13)으로부터 제공되는 특징점의 위치에 대한 정보와 곱셈기(500)에서 스킵 프레임 예측 팩터가 곱해진 제1세트의 움직임 벡터를 이용하여 J번째 후보 프레임의 움직임 벡터를 결정한다. 여기에서의 동작은 제2도에서 설명된 현재 프레임 움직임 벡터 검출 블럭(214)와 유사하다.
J번째 후보 프레임 움직임 보상 블럭(506)에서는 J번째 후보 프레임 움직임 벡터 검출 블럭(504)으로 부터의 움직임 벡터를 사용하여 이전 프레임 신호를 움직임 보상하여 J번째 후보 프레임을 만든다. 이 과정은 제2도에서 설명된 움직임 보상 블럭(216)과 유사하다. J번째 후보 프레임 움직임 보상 블럭(506)으로부터의 J번째 후보 프레임 신호는 J번째 후보 프레임 메모리(508)에 저장된다. 감산기(510)에서는 J번째 후보 프레임과 라인(L8)을 통해 입력되는 I번째 스킵 프레임 신호를 감산하고, 그 결과는 J번째 후보 프레임 에러 누적 블럭(512)에서 누적된다. 여기서 누적된 에러 신호는 비교기(514)로 제공되며, 여기서 J-1번째 누적된 에러 신호와 비교되며, J번째 에러신호가 적을 경우 제2레지스터(518)에 입력될 수 있도록 하는 레지스터 이네이블 신호를 제2 레지스터(518)에 제공한다. 이 이네이블 신호는 제1레지스터(516)에도 제공되는데 이것은 J번째 후보 프레임을 나타내는 스킵 프레임예측 팩터가 저장될 수 있도록 하기 위함이다. I번째 스킵 프레임 신호에 대해서 모든 후보 프레임과 비교가 종료되면 제1 레지스터(516)에 저장된 스킵 프레임 예측 팩터가 라인 L21을 통해 멀티플렉서(109)로 제공된다.
제6도를 참조하면, 전술한 부호화기에 상응하는 복호기를 도시한다. 부호기에서 전송된 신호는 디멀티플레서(605)에서 디멀티프렉스되어, 각각의 스킵 프레임에 대한 예측 팩터는 라인(L66)을 통해 프레임 인터폴레이터(601)로 제공되고, 그외의 신호는 라인(L60)을 통해 엔트로피 디코더(607)로 제공된다. 엔트로피 디코더(607)에서는 부호기에서 엔트로피 코딩된 신호를 복호화하여 차이신호를 라인(L62)를 통해 영상 신호 복호기(613)로 제공하고, 제1세트의 움직임 벡터 신호는 현재 프레임 예측 블럭(650) 및 프레임 인터폴레이터(601)로 제공된다.
영상 신호 복호기(613)에서는 제1도에 도시된 영상 신호 부호기(105)의 역과정을 수행하여 그 결과를 가산기(615)로 제공한다. 한편, 현재 프레임 예측 블럭(650)은 제1도에 도시된 현재 프레임 예측 및 스킵 프레임 예측 팩터 발생 블럭(150)에서 현재 프레임 예측 과정과 동일한 과정을 수행한다. 즉 프레임 메모리(624)에 기록된 신호중에서 이전 프레임 신호를 이용하여 제1도의 라인(L30)상에 제공되는 것과 같은 예측된 현재 프레임 신호를 발생시키고, 그 결과를 라인(L70)을 통해 가산기(615)로 제공하며, 여기서 영상 신호 복호기(613)로 부터의 차분신호가 가산되고, 가산된 신호는 프레임 메모리(624)의 현재 프레임 메모리 부분으로 제공된다.
프레임 인터폴레이터(601)에서는 라인(L66)을 통해 제공되는 스킵된 프레임 예측 팩터와, 프레임 메모리(624)에 저장된 이전 프레임과 예측된 현재 프레임으로 부처 스킵된 프레임을 발생시킨다. 이것은 제4b도에서 설명된 것과 같다.
따라서, 인터폴레이터(601)로부터 출력되는 신호의 순서는 이전 프레임 신호, 스킵된 프레임 그리고 예측된 현재 프레임 신호가 된다.
따라서, 본 발명에 따른, 화소단위 움직임 추정을 이용하는 영상처리 시스템을 이용하면, 프레임 데시메이션 기법을 이용하여 전송된 원래의 비디오 신호를 복원할 수 있다.

Claims (2)

  1. 비디오 신호를 부호화하여 부호화된 신호를 제공하는 수단과 상기 부호화된 신호를 복호화하여 복원된 비디오 신호를 제공하는 수단을 포함하는 영상처리 시스템으로서, 상기 부호화 수단은: 상기 비디오 신호로부터 다수의 프레임을 선택하되, 이전 프레임과 현재 프레임 사이에 N개(N은 양의 정수)을 스킵하는 프레임 선택 수단과; 화소 단위로 상기 이전 프레임과 상기 현재 프레임 간의 변위를 추정하고 추정된 변위로써 상기 이전 프레임을 보상하여 예측된 현재 프레임을 제공하는 수단과; 상기 현재 프레임으로부터 상기 예측된 현재 프레임을 감산하여 차분신호를 제공하고 상기 차분신호와 상기 추정된 변위를 표시하는 제1세트의 움직임 백터를 부호화하여 상기 부호화된 신호를 제공하는 수단과; M개(M은 양의 정수)의 스킵 프레임 예측 팩터가 곱해진 상기 제1세트의 움직임 백터를 이용하여 M개의 후보 프레임을 발생시키는 수단과; 각각의 상기 N개의 스킵 프레임과 각각의 상기 후보 프레임을 비교하여 각각의 상기 N개의 스킵 프레임에 대해서 하나의 스킵 프레임 예측 팩터를 제공하는 수단을 포함하고; 상기 복호화 수단이: 부호화된 신호를 복호화하여 차분신호와 제1세트의 움직임 백터를 복원하는 수단과; 복원된 상기 제1세트의 움직임 백터로써 상기 이전 프레임을 보상하여 예측된 현재 프레임을 복원하는 수단과; 복원된 상기 예측된 현재 프레임을 상기 복원된 차분신호에 가산하여 상기 현재 프레임을 복원하는 수단과; 각각의 상기 N개의 스킵 프레임에 대한 스킵 프레임 예측 팩터가 곱해진 상기 제1세트의 움직임 백터로써 이전 프레임을 보상하여 상기 이전 프레임과 상기 복원된 현재 프레임간에 각각의 상기 N개의 스킵 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 영상처리 시스템.
  2. 제1항에 있어서, 부호화 수단의 상기 예측된 현재 프레임 제공 수단이: 상기 이전 프레임에 포함된 화소로부터 다수의 특징점을 선택하는 수단으로서, 각각의 특징점은 물체의 움직임을 대표하는 화소점인 수단과; 상기 이전 프레임과 상기 현재 프레임을 비교하여 각각의 특징점에 대한 상기 제1세트의 움직임 백터를 검출하는 수단으로서, 상기 제1세트의 움직임 벡터 각각은 상기 이전 프레임의 선택된 특징점중 하나와 상기 현재 프레임의 가장 유사한 화소간의 변위인 비교 수단과; 상기 제1세트의 움직임 벡터와 상기 특징점에 근거하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임 벡터를 구하는 수단과; 상기 이전 프레임을 상기 제2세트의 움직임 벡터로 보상하여 예측된 현재 프레임을 생성하는 수단을 포함하는 것을 특징으로 하는 영상 처리 시스템.
KR1019950005869A 1995-03-20 1995-03-20 화소 단위 움직임 추정을 이용하는 영상처리 시스템 KR0181027B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1019950005869A KR0181027B1 (ko) 1995-03-20 1995-03-20 화소 단위 움직임 추정을 이용하는 영상처리 시스템
EP19950107990 EP0734165B1 (en) 1995-03-20 1995-05-24 Image processing system using pixel-by-pixel motion estimation and frame decimation
DE1995625525 DE69525525T2 (de) 1995-03-20 1995-05-24 Bildverarbeitungssystem unter Verwendung von Pixel-zu-Pixel Bewegungsschätzung und Bilddezimation
US08/452,627 US5617144A (en) 1995-03-20 1995-05-25 Image processing system using pixel-by-pixel motion estimation and frame decimation
CN95106689A CN1115879C (zh) 1995-03-20 1995-06-01 利用逐个象素运动估算与帧抽取的图象处理系统
JP16678895A JP3868017B2 (ja) 1995-03-20 1995-06-08 映像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950005869A KR0181027B1 (ko) 1995-03-20 1995-03-20 화소 단위 움직임 추정을 이용하는 영상처리 시스템

Publications (2)

Publication Number Publication Date
KR960036707A KR960036707A (ko) 1996-10-28
KR0181027B1 true KR0181027B1 (ko) 1999-05-01

Family

ID=19410200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950005869A KR0181027B1 (ko) 1995-03-20 1995-03-20 화소 단위 움직임 추정을 이용하는 영상처리 시스템

Country Status (6)

Country Link
US (1) US5617144A (ko)
EP (1) EP0734165B1 (ko)
JP (1) JP3868017B2 (ko)
KR (1) KR0181027B1 (ko)
CN (1) CN1115879C (ko)
DE (1) DE69525525T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144791B2 (en) 2004-07-22 2012-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for video synchronization

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825929A (en) * 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US6144972A (en) * 1996-01-31 2000-11-07 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
US5970504A (en) * 1996-01-31 1999-10-19 Mitsubishi Denki Kabushiki Kaisha Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated
US5982438A (en) * 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6147684A (en) * 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
EP2262269B1 (en) 2001-12-17 2018-01-24 Microsoft Technology Licensing, LLC Skip macroblock coding
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US7421129B2 (en) * 2002-09-04 2008-09-02 Microsoft Corporation Image compression and synthesis for video effects
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7317839B2 (en) 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
JP3846490B2 (ja) * 2004-05-17 2006-11-15 セイコーエプソン株式会社 画像データ圧縮装置、電子機器及び画像データ圧縮方法
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
JP5188033B2 (ja) * 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
US8811495B1 (en) * 2007-02-06 2014-08-19 Geo Semiconductor Inc. Skipped video data recovery using multiple alternative recovery modes
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP4523024B2 (ja) * 2007-08-08 2010-08-11 パナソニック株式会社 画像符号化装置および画像符号化方法
US8848794B2 (en) 2007-12-18 2014-09-30 Humax Holdings Co., Ltd. Method and device for video coding and decoding
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US8437505B2 (en) * 2009-12-17 2013-05-07 Lifesize Communications, Inc. Detection of local motion between image frames
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN106210852B (zh) * 2016-07-07 2019-06-28 青岛海信电器股份有限公司 一种终端静态图层信息检测方法及终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU612543B2 (en) * 1989-05-11 1991-07-11 Panasonic Corporation Moving image signal encoding apparatus and decoding apparatus
JP3159309B2 (ja) * 1989-09-27 2001-04-23 ソニー株式会社 映像信号符号化方法及び映像信号符号化装置
US4958226A (en) * 1989-09-27 1990-09-18 At&T Bell Laboratories Conditional motion compensated interpolation of digital motion video
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US5305400A (en) * 1990-12-05 1994-04-19 Deutsche Itt Industries Gmbh Method of encoding and decoding the video data of an image sequence
US5398078A (en) * 1991-10-31 1995-03-14 Kabushiki Kaisha Toshiba Method of detecting a motion vector in an image coding apparatus
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
JPH05344493A (ja) * 1992-06-10 1993-12-24 Victor Co Of Japan Ltd 動画像符号化装置
KR0128860B1 (ko) * 1993-07-16 1998-04-10 배순훈 저비트율의 영상전화 시스템의 부호화장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144791B2 (en) 2004-07-22 2012-03-27 Samsung Electronics Co., Ltd. Apparatus, method, and medium for video synchronization

Also Published As

Publication number Publication date
JPH08275177A (ja) 1996-10-18
DE69525525T2 (de) 2002-07-25
CN1115879C (zh) 2003-07-23
EP0734165B1 (en) 2002-02-20
CN1131872A (zh) 1996-09-25
US5617144A (en) 1997-04-01
JP3868017B2 (ja) 2007-01-17
EP0734165A3 (en) 1998-03-11
EP0734165A2 (en) 1996-09-25
DE69525525D1 (de) 2002-03-28
KR960036707A (ko) 1996-10-28

Similar Documents

Publication Publication Date Title
KR0181027B1 (ko) 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5619281A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US5453801A (en) Method and apparatus for detecting motion vectors in a frame decimating video encoder
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
EP0637894B1 (en) Apparatus and method for detecting motion vectors to half-pixel accuracy
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
EP0771117B1 (en) Method and apparatus for encoding and decoding a video signal using feature point based motion estimation
US5654761A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
JP3681784B2 (ja) 映像信号符号化装置
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR0174463B1 (ko) 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
KR0174448B1 (ko) 영역 단위 움직임 벡터를 이용한 움짐임 보상 영상 신호 부호화 장치 및 방법과 움직임 보상 영상 신호 복호화 장치 및 방법
KR0171153B1 (ko) 움직임 보상오차를 이용한 동영상 부호화 장치
JPH08205168A (ja) ビデオ信号の符号化／復号化装置及びその方法
KR100238891B1 (ko) 개선된 움직임 추정 장치 및 그 추정 방법
JPH08205176A (ja) 映像信号符号化装置及び映像信号符号化方法
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121123

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 16

EXPY Expiration of term