KR0174956B1 - 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 - Google Patents

픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 Download PDF

Info

Publication number
KR0174956B1
KR0174956B1 KR1019950003959A KR19950003959A KR0174956B1 KR 0174956 B1 KR0174956 B1 KR 0174956B1 KR 1019950003959 A KR1019950003959 A KR 1019950003959A KR 19950003959 A KR19950003959 A KR 19950003959A KR 0174956 B1 KR0174956 B1 KR 0174956B1
Authority
KR
South Korea
Prior art keywords
current frame
motion vectors
motion
pixels
pixel
Prior art date
Application number
KR1019950003959A
Other languages
English (en)
Other versions
KR960033139A (ko
Inventor
정해묵
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950003959A priority Critical patent/KR0174956B1/ko
Publication of KR960033139A publication Critical patent/KR960033139A/ko
Application granted granted Critical
Publication of KR0174956B1 publication Critical patent/KR0174956B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

본 발명은 특징점 및 보충의 유사특징점을 이용하는 개선된 화소단위 움직임 추정 및 보상기법을 제공하는 것으로, 움직임보상 영상신호 부호기에 사용되며, 디지탈 영상신호의 현재 프레임과 이전 프레임을 가지고 예측된 현재 프레임을 결정하는 장치에 있어서 : 상기 이전 프레임에 포함된 모든 화소에서 다수의 화소를 선택하는 수단과; 상기 현재 프레임과 상기 이전 프레임간에서 상기 선택된 화소 각각의 움직임을 나타내는 움직임 벡터로 이루어진 제1세트의 움직임벡터를 검출하는 수단과; 상기 제1세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 발생시키는 수단과; 상기 제2세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 예비적 예측된 현재 프레임을 결정하는 수단과; 상기 현재 프레임과 상기 예비적 예측된 현재 프레임간의 차이를 결정하여 집단 오차영역을 발견하는 수단과; 상기 집단 오차영역의 각각에 포함된 화소들로 부터 하나의 화소를 선택하는 수단과; 상기 집단 오차영역으로 부터 선택된 화소에 대한 제3세트의 움직임벡터를 결정하는 수단과; 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제4세트의 움직임벡터를 발생시키는 수단과; 상기 제4세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 상기 예측된 현재 프레임을 결정하는 수단을 포함한다.

Description

픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법 및 장치(METHOD AND APPARATUS FOR ENCODING A VIDEO SIGNAL USING PIXEL-BY-PIXEL AMTION PREDICTION)
제1도는 본 발명의 현재 프레임 예측 블럭을 포함한 영상신호 부호화기의 블럭도.
제2도는 제1도의 현재 프레임 예측 블럭의 상세한 블럭도.
제3도는 제2도의 집단 오차 영역 검출 블럭의 상세한 블럭도.
제4도는 제2도의 보충의 유사 특징점 및 그것의 움직임 벡터 검출 블럭의 상세한 블럭도.
제5도는 특징점을 규정하기 위한 예시적인 프레임을 설명하기 위한 도면.
제6a및 b도는 특징점을 선택하기 위한 두 가지 형태의 그리드를 도시하는 도면.
제7a및 b도는 그리드 및 모서리를 통해 특징점을 선택하는 기법을 도시하는 도면.
제8도 비유사 특징점에 대한 움직임벡터를 검출하는 방법을 묘사하는 도면.
제9a도 부터 e도는 집단 오차 영역을 검출하는 기법을 제시하는 도면.
제10a도 및 b도는 보충의 유사 특징점 및 그것의 움직임벡터를 검출하는 기법을 도시하는 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 제1프레임 메모리 105 : 영상신호 부호화기
107 : 앤트로피 부호화기 113 : 영상신호 복호화기
124 : 제2프레임 메모리 150 : 현재 프레임 예측 블럭
210 : 특징검 선택 블럭 212 : 특징검 움직임벡터 검출 블럭
214 : 제1움직임벡터 검출 블럭 216 : 제1움직임 보상 블럭
218 : 집단 오차 영역 검출 블럭
220 : 보충의 유사 특징점 및 그것의 움직임벡터 검출 블럭
222 : 제2움직임벡터 검출 블럭 224 : 제2움직임 보상 블럭
304 : 절대화 블럭 306 : 필터
308 : 집단 오차 영역 검출 블럭 400 : 움직임벡터 선택 블럭
402 : 움직임벡터 검출 블럭 404 : 프레임 메모리
408 : 절대화 블럭 410 : 분활 블럭
412 : 중심점 선택블럭 414 : 결합블럭
416 : 멀티플렉서 418 : 다수 움직임벡터 검출블럭
420 : 제1움직임벡터 검출 및 움직임 보상 블럭
422 : 제2움직임벡터 검출 및 움직임 보상 블럭
424, 426 : 평균 절대 오차 블럭 428 : 비교 및 선택 블럭
본 발명은 비디오 신호를 부호화하는 영상신호 처리 방법 및 그 장치에 관한 것으로서, 특히 픽셀(화소) 단위 움직임 예측 기법을 이용하여 비디오 신호를 부호화하는 데 적합한 부호화 방법 및 그 장치에 관한 것이다.
이 기술분야에 잘 알려진 바와 같이, 이산화된 화상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지신호가 디지탈 형태로 표현될 때, 특히 고품질 텔레비젼의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나, 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송하고자 하는 데이타를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법 중에서, 확률적 부호화기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
한편, 대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이러한 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures,IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.
또한, 이차원 DCT 는 이미지 데이타간의 공간적 리던던시를 이용하거나 제거하는 것으로서, 디지탈 이미지 데이타 블럭, 예를 들면 8X8 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen 과 Pratt 의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그주사, VLC 등을 통해 처리됨으로써 전송할 데이타의 양을 효과적으로 감축할 수 있다.
보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측하는 것이다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임벡터로 나타낼 수 있다.
통상적으로, 물체의 화소 변위를 추정하는 데에는 여러가지 접근 방법이 있으며, 이들은 일반적으로 두개의 타입으로 분류되는데 하나는 블럭 단위의 움직임 추정 방법이고 다른 하나는 화소단위의 움직임 추정 방법이다.
한편, 상기한 움직임 추정방법중 블럭 단위 움직임 추정에서는, 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합 블럭을 결정한 다음, 이로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위 벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 그러나, 이와 같은 블럭 단위 움직임 추정에서는 움직임 보상 과정에서 블럭 경계에 블럭킹 효과(blocking effect)가 발생할 수 있고, 각 블럭내의 모든 픽셀(화소)이 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않게 되므로서 결과적으로 부호화의 효율이 감소한다는 단점이 있다.
다른 한편, 화소 단위 움직임 추정 방법을 이용하면, 변위는 각각의 화소 전부에 대해 구할 수 있으므로 화소값을 보다 더 정확히 추정할 수 있고, 또한 스케일변화(예를 들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는다. 그러나 이와 같은 화소 단위 움직임 추정 방법에서는, 움직임벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임벡터를 수신기에 전송하는 것이 불가능하다는 문제가 있다.
따라서, 본 발명의 주 목적은 특징점 및 보충된 유사 특징점을 이용하여 픽셀 단위로 움직임을 예측할 수 있는 개선된 영상신호 부호화 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 움직임 보상 영상신호 부호기에 사용되며, 디지탈 영상신호의 현재 프레임과 이전 프레임을 가지고 예측된 현재 프레임을 결정하는 장치에 있어서, 상기 이전 프레임에 포함된 모든 화소에서 다수의 화소를 선택하는 수단; 상기 현재 프레임과 상기 이전 프레임간에서 상기 선택된 화소 각각의 움직임을 나타내는 움직임벡터로 이루어진 제1세트의 움짐임벡터를 검출하는 수단; 상기 제1세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 발생시키는 수단; 상기 제2세트의 움직임벡터 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 예비적 예측된 현재 프레임을 결정하는 수단; 상기 현재 프레임과 상기 예비적 예측된 현재 프레임간의 차이를 결정하여 집단 오차 영역을 검출하는 수단; 상기 집단 오차 영역의 각각에 포함된 화소들로부터 하나의 중심점 화소를 선택하는 수단; 상기 집단 오차 영역으로부터 선택된 상기 중심점 화소에 대한 제3세트의 움직임벡터를 결정하는 수단; 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제4세트의 움직임벡터를 발생시키는 수단; 및 상기 제4세트의 움직임벡터 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 상기 예측된 현재 프레임을 결정하는 수단으로 이루어진 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치를 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 움직임보상 영상신호 부호기에 사용되며, 디지탈 영상신호의 현재 프레임과 이전 프레임을 가지고 예측된 현재 프레임을 결정하는 방법에 있어서, (a) 상기 이전 프레임에 포함된 모든 화소에서 다수의 화소를 선택하는 단계; (b) 상기 현재 프레임과 상기 이전 프레임간에서 상기 선택된 화소 각각의 움직임을 나타내는 움직임벡터로 이루어진 제1세트의 움직임벡터를 검출하는 단계; (c) 상기 제1세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 발생시키는 단계; (d) 상기 제2세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 예비적 예측된 현재 프레임을 결정하는 단계; (e) 상기 현재 프레임과 상기 예비적 예측된 현재 프레임간의 차이를 결정하여 집단 오차 영역을 검출하는 단계; (f) 상기 집단 오차 영역의 각각에 포함된 화소들로부터 하나의 화소를 선택하는 단계: (g) 상기 집단 오차 영역으로 부터 선택된 화소에 대한 제3세트의 움직임벡터를 결정하는 단계; (h) 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제4세트의 움직임벡터를 발생시키는 단계; (i) 상기 제4세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 상기 예측된 현재 프레임을 결정하는 단계로 이루어진 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법을 제공한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도는 본 발명에 따른 현재 프레임 예측 블럭을 가진 영상신호 부호화기의 바람직한 실시예가 도시되어 있다. 동도면에 도시된 바와 같이, 입력되는 현재 프레임 신호는 제1프레임 메모리(100)에 저장되며, 제1프레임 메모리(100)는 라인 L9 를 통해 감산기(102)에 연결됨과 동시에 라인 L10 을 통해 현재 프레임 예측 블럭(150)에 연결된다.
또한, 현재 프레임 예측 블럭(150)에서는, 제1프레임 메모리(100)로부터 검색된 라인 L10 상의 현재 프레임과 제2프레임 메모리(124)로부터 제공되는 라인 L12 상의 재구성된 이전 프레임 신호를 처리하여 화소(픽셀) 단위로 현재 프레임을 예측하고, 예측된 현재 프레임 신호를 라인 L30 을 통해 감산기(102)와 가산기(115)에 각각 제공하며, 특징점에 대한 움직임벡터 세트를 L20 을 통해 엔트로피 부호화기(107)에 제공한다.
다음에, 제1도에 도시된 현재 프레임 예측 블럭(150)에 대해서는 그 세부적인 블럭구성을 보여주는 제2도를 참조하여 이후에 상세히 설명한다.
제1도를 참조하면, 감산기(102)에서는 라인 L30 상의 예측된 현재 프레임신호가 라인 L9 로부터의 현재 프레임 신호로부터 감산되고 그 결과 데이타, 즉 차분 화소값을 나타내는 에러신호는 영상신호 부호화기(105)로 입력되며, 이러한 에러신호는 이산 코사인 변환(DCT) 등과 양자화 방법을 이용하여 일련의 양자화된 변환계수로 부호화된다. 그 이후에 양자화된 변환계수는 엔트로피 부호화기(107)와 영상신호 복호화기(113)로 각각 전송된다.
다음에, 엔트로피 부호화기(107)에서는 영상신호 부호화기(105)로부터의 양자화된 변환계수와 현재 프레임 예측 블럭(150)으로부터 라인 L20 을 통해 입력된 움직임 벡터가, 런렝쓰(run-length) 부호화와 가변길이 부호화의 결합 등의 방법을 통해 부호화한 다음 도시 생략된 송신기로 전송한다.
한편, 영상신호 부호화기(113)는 영상신호 부호화기(105)로부터 제공되는 양자회된 변환계수들을 역양자화와 역변환을 통해 복원된 차분 에러신호로 변환한다.
그런 다음, 영상신호 복호화기(113)로부터의 복원된 에러신호와 현재 프레임 예측 블럭(150)으로부터 라인 L30 을 통해 제공되는 예측된 현재 프레임 신호가 가산기(115)에서 합쳐지므로서 복원된 현재 프레임신호로 되어 제2프레임 메모리(124)에 이전 프레임으로 저장된다.
제2도는 제1도에 도시된 현재 프레임 예측 블럭(150)의 세부적인 불럭구성을 보여준다. 동도면에 도시된 바와 같이, 제2프레임 메모리(124)로부터 제공되는 라인 L12 상의 이전 프레임 신호는 특징점 선택 블럭(210), 특징점 움직임벡터 검출 블럭(212), 제1움직임 보상 블럭(216), 보충된 유사 특징점 및 그것의 움직임벡터 검출 블럭(220) 및 제2움직임 보상 블럭(224)으로 입력된다.
한편, 특징점 선택 블럭(210)에서는 이전 프레임에 포함된 화소중 다수의 특징점이 선택된다. 여기에서 각각의 특징점은 프레임내의 물체의 움직임을 대표할 수 있는 화소로 정의된다. 제5도를 참조하면, 10 x 7 화소의 예시적인 프레임이 도시되어 있다. 여기서 이동체가 그 프레임의 중앙을 중심으로 그 근처에 존재하고, 또한 이동체가 한 세트의 화소 즉, A로 부터 I까지의 화소만으로 잘 표현될 수 있다면, 이 화소들이 해당 프레임의 특징점이 된다.
본 발명의 바람직한 실시예에서는, 제6a도 및 제6b도에 각각 도시된 직각 그리드(grid) 또는 육각 그리드와 같은 여러 가지 형태의 그리드를 이용하는 그리드 기법을 이용하여 특징점이 결정된다. 즉, 제6a도 및 제6b도에 도시된 바와 같이, 특징점은 그리드의 노드에 위치한다.
본 발명의 바람직한 다른 실시예로서, 제7a도 및 제7b도에 도시된 바와 같이, 모서리 검출 기법이 전술한 그리드 기법을 함께 사용된다. 이 기법에서는 그리드와 이동체의 모서리와의 교차점이 특징점으로 선택된다.
제2도를 다시 참조하면, 특징점 선택 블럭(210)에서 선택된 특징점은 특징점 움직임벡터 검출 블럭(212), 제1움직임벡터 검출 블럭(214) 및 제2움직임벡터 검출 블럭(222)으로 입력된다. 그리고 , 라인 L10 상의 현재 프레임 신호는 특징점 움직임벡터 검출 블럭(212)에 제공된다.
한편, 특징점 움직임벡터 검출 블럭(212)에서는 특징점 선택 블럭(210)에서 선택된 특징점 각각에 대한 제1세트의 움직임벡터가 검출되며, 이와 같이 검출된 제1세트의 움직임벡터 각각은 이전 프레임의 특징점과 현재 프레임에서 가장 유사한 화소간의 변위이다.
이 기술분야에 잘 알려진 바와 같이, 화소 단위로 움직임벡터를 검출하는 프로세싱 알고리즘에는 여러가지가 있으며, 본 발명의 바람직한 실시예에서는 블럭 매칭 알고리즘이 사용된다. 즉, 블럭 매칭 알고리즘은 하나의 특징점이 특징점 선택 블럭(210)으로부터 수신될 때, 특징점 블럭의 중앙에 특징점을 가지는 특징점 블럭, 예를 들면, 5 x 5 화소의 이전 프레임 데이타를 제2프레임 메모리(124)(제1도에 도시됨)로부터 라인 L12 를 통해 검색한다. 검색 이후, 제1프레임 메모리(100)(제1도에 도시됨)로부터 탐색 영역, 예를 들면 10 x 10 화소의 현재 프레임 데이타에 포함된 동일한 크기의 다수의 후보 블럭과 특징점 블럭과의 유사도를 결정하여 특징점 블럭에 대한 움직임벡터를 결정한다.
그런 다음, 모든 특징점에 대해 움직임벡터를 검출한 후 제1세트의 움직임벡터는 라인 L20 을 통해 제1움직임벡터 검출 블럭(214)과 엔트로피 부호화기(107)(제1도에 도시되어 있음)에 입력된다. 그리고, 제1움직임벡터 검출 블럭(214)에서는 특징점 움직임벡터 검출 블럭(212)으로부터 제공되는 제1세트의 움직임벡터와 특징점 선택 블럭(210)으로부터 제공되는 특징점 정보를 이용하여 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 결정한다.
즉, 제2세트의 움직임벡터를 결정하기 위해서는 우선, 유사 특징점에 대한 움직임벡터를 먼저 결정하는데, 각각의 유사 특징점은 이전 프레임의 각 특징점으로 부터 해당 제1세트의 움직임벡터 각각만큼 이동한 현재 프레임의 화소점을 나타낸다. 이때, 유사 특징점의 움직임벡터의 크기는 해당 특징점의 움직임벡터와 같고 그 두 움직임벡터의 방향은 반대이다. 따라서, 모든 유사 특징점에 대한 움직임벡터를 결정한 후에는 현재 프레임의 나머지 화소들인 비유사 특징점에 대한 움직임벡터를 다음과 같이 결정한다.
제8도에 도시된 바와 같이, 다수의 유사 특징점이 현재 프레임 전체에 불규칙적으로 분포해 있다. 별로 표시된 비유사 특징점에 대한 움직임벡터는 반지름 dr+ α r a r a x y
여기에서,는 각각 별표된 화소 위치로부터 유사 특징점 X 와 Y 까지의 거리이고; (MVx, MVy)x와 (MVx, MVy)Y는 각각 유사 특징점에 대한 움직임벡터들이다.
제2도를 다시 참조하면, 유사 특징점과 비유사 특징점에 대한 제2세트의 움직임벡터는 라인 L16 을 통해 제1움직임 보상 블럭(216)에 제공되고, 유사 특징점에 대한 제2세트의 움직임벡터는 라인 L15 를 통해 보충된 유사 특징점 및 그의 움직임벡터 검출 블럭(220)에 제공된다.
제1움직임 보상 블럭(216)에서는 예측된 현재 프레임에 포함될 화소들 각각을, 제2세트 움직임벡터 각각을 이용하여 제2프레임 메모리(124)로부터 인출함으로써 예비적 예측된 현재 프레임을 발생한다. 제1움직임 보상 블럭(216)의 출력은 집단 오차 영역 검출 블럭(218)에 제공된다.
제3도는 제2도에 도시된 집단 오차 영역 검출 블럭(150)의 상세 블럭도이다. 제3도에 도시된 바와 같이, 현재 프레임은 제1프레임 메모리(100)로부터 라인 L10을 통해 감산기(302)에 제공되고, 또한 제1움직임 보상 블럭(216)으로부터 제공되는 예비적 예측된 현재 프레임신호는 라인 L17 을 통해 감산기(302)에 입력된다. 그리고, 감산기(302)는 절대화 블럭(304)에 연결되어 있다.
따라서, 만약 현재 프레임 신호가 제9a도에 도시된 바와 같고, 예비적 예측된 현재 프레임신호가 제9b도에 도시된 바와 같을 경우, 감산기(302) 및 절대화 블럭(304)의 출력은 제9c도에 도시된 바와 같이 나타날 것이다.
그 결과, 제9c도에 도시된 바와 같이, 다수의 오차부분이 예를 들면, 눈과 입 및 움직임 물체의 모서리 근처에서 발견될 것이며, 절대화 블럭(304)으로부터의 절대화 오차신호는 필터(306)로 입력된다. 필터(306)에서 절대화 오차신호가 필터링되므로서 미세한 오차 영역은 제9d도에 도시된 바와 같이 제거된다. 필터링 후, 필터링된 신호는 집단 오차 영역 검출 블럭(308)으로 제공되는데, 그곳에서 집단 오차 영역이 직각 윈도우에 의해 구획화됨으로써 제9e도에 도시된 바와 같은 집단 오차 영역신호가 라인 L18 상에 제공된다.
제2도를 다시 참조하면, 라인 L18 상의 집단 오차 영역신호는 보충의 유사 특징점 및 그것의 움직임벡터 검출 블럭(220)으로 제공되는데, 블럭(220)에서는 집단 오차 영역 각각의 화소에서 하나의 화소가 선택되고 선택된 화소의 움직임벡터가 보충의 유사 특징점 및 그것의 움직임벡터로 결정된다.
제4도는 제2도에 도시된 보충의 유사 특징점 및 그것의 움직임벡터 검출 블럭(220)의 상세 블럭도이다.
동도면에 도시된 바와 같이, 집단 오차 영역신호는 움직임벡터 선택 블럭(400) 및 움직임벡터 검출 블럭(402)으로 제공되어 집단 오차 영역을 알려준다. 움직임벡터 선택 블럭(400)에서는, 집단 오차 영역신호에 응답하여, 집단 오차 영역의 화소에 대한 제1그룹의 움직임벡터를, 제1움직임벡터 검출 블럭(214)(제2도에 도시됨)으로부터 제공되는 제2세트의 움직임벡터에서 선택하게 된다. 그런 다음, 제1그룹의 움직임벡터는 감산기(406)로 제공된다.
한편, 움직임벡터 검출 블럭(402)에서는 집단 오차 영역의 화소에 대한 제 2 그룹의 움직임벡터가 현재 프레임과 프레임 메모리(404)에 저장된 이전 프레임 메모리간에 결정된다. 그리고, 제 2 그룹의 움직임벡터 역시 감산기(406)로 제공된다.
이후, 감산기(406)에서는 두 그룹의 움직임벡터간의 차이가 계산된다. 이때, 각각의 화소에 대한 차의 크기는 절대화 블럭(408)에서 계산되며, 절대화 블럭(408)의 출력은 두 그룹의 움직임벡터간의 차이의 크기에 따라 분할된다. 만약 차이의 크기가 제10a도에 도시된 바와같을 경우, 집단 오차 영역은 제10b도에 도시된 바와 같이, 분할 블럭(410)에서 두개의 세부 블럭으로 분할된다. 제10b도에 도시된 바와 같은 상황에서, 별표시의 화소가 이 집단 오차 영역에서 보충의 유사 특징점이 되고, 그것의 움직임벡터는 다음과 같이 선택된다.
먼저, 다수 움직임벡터 검출 블럭(418)은 두개의 세부 영역에 대해서 각각 하나의 움직임벡터를 선택함으로써 두개의 세부 영역의 각각에 대한 다수 움직임벡터를 검출하여, 제1세부 영역 움직임벡터를 라인 L42 를 통해 제1움직임벡터 검출 및 움직임 보상 블럭(420) 및 스위치(SW1)로 보내고, 제2세부 영역 움직임벡터를 라인 L44 를 통해 제2움직임벡터 검출 및 움직임 보상 블럭(422) 및 스위치(SW1)로 보낸다.
한편, 결합 블럭(414)에서는, 중심점 선택 블럭(412)에서 선택된 집단 오차 영역의 중심점이 제1움직임벡터 검출 블럭(214)으로부터 라인 L15 를 통해 제공되는 유사 특징점과 결합되고, 그 결과 데이타는 제1 및 제2움직임벡터 검출 및 움직임 보상 블럭(420,422) 으로 제공된다.
제1움직임벡터 검출 및 움직임 보상 블럭(420)에서는 유사 특징점 및 제1세부 영역 움직임벡터간에 결합된 움직임벡터중 적어도 하나를 평균하여 집단 오차 영역의 모든 화소의 움직임벡터를 검출한다. 그리고, 집단 오차 영역에 포함된 각각의 모든 화소들에 대한 값들을 제2프레임 메모리(124)로부터 검색함으로써 제1예측 영역을 결정하며, 이와 같이 결정된 제1예측 영역신호는 제1평균 제곱 오차 검출 블럭(424)에 제공된다.
다른 한편, 제2움직임벡터 검출 및 움직임 보상 블럭(422)에서는 유사 특징점 및 제2세부 영역 움직임벡터간에 결합된 움직임벡터중 적어도 하나를 평균하여 집단 오차 영역의 모든 화소의 움직임벡터를 검출한다. 그리고, 집단 오차 영역에 포함된 각각의 모든 화소들에 대한 값들을 제2프레임 메모리(124)로부터 검색함으로써 제2예측 영역을 결정하며, 이러한 제2예측 영역신호는 제2평균 제곱 오차 검출 블럭(426)에 제공된다.
다음에, 제1평균 제곱 오차 검출 블럭(424)에서는 현재 프레임과 제1예측 영역간의 차이가 결정되고, 그 결과는 비교 및 선택 블럭(428)으로 제공된다. 마찬가지로, 제2평균 제곱 오차 검출블럭(426)에서는 현재 프레임과 제2예측 영역간의 차이가 결정되며, 그 결과는 비교 및 선택 블럭(428)으로 제공된다.
따라서, 비교 및 선택 블럭(428)에서는 두개의 평균 제곱 오차 검출 블럭(424,426)의 출력 중에서 어느 것이 더 적은 지를 결정하며, 그 결정 결과에 상응하여 스위치 신호를 스위치(SW1)에 제공한다. 그 결과, 스위치(SW1)에서 라인 L42 및 L44상의 두개의 출력중 하나가 선택된 후 멀티플렉서(416)로 제공된다. 멀티플렉서(416)에서는 중심점 선택 블럭(412)의 출력 및 스위치(SW1)로부터 제공되는 그것의 움직임벡터가 결합되고, 이것이 하나의 보충의 유사 특징점 및 그것의 움직임벡터로서 라인 L20 을 통해 엔트로피 부호기(107)로 제공된다.
제2도를 다시 참조하면, 제2움직임벡터 검출 블럭(222)에서는 현재 프레임에 포함된 모든 화소들에 대한 제3세트의 움직임벡터가, 유사 특징점 및 보충의 유사 특징점을 사용함으로써 결정된다. 그리고, 제3세트의 움직임벡터는 제2움직임 보상 블럭(224)으로 제공된다. 따라서, 제2움직임 보상 블럭(224)에서는 예측된 현재 프레임에 포함될 화소들 각각을, 제4세트 움직임벡터 각각을 이용하여 제2프레임 메모리(124)(제1도에 도시됨)로부터 인출함으로써 예측된 현재 프레임을 발생한다.
한편, 상술한 부호화기에 상응하는 복호화기에서 사용되는 현재 프레임 예측 블럭은, 특징점 움직임벡터 검출 블럭(212), 제1움직임벡터 검출 블럭(214), 제1움직임 보상 블럭(216), 집단 오차 영역 검출 블럭(218) 및 보충의 유사 특징점 및 그것의 움직임벡터 검출 블럭(220)을 제외하고 제2도와 유사한 구조를 가질 것이다. 이것은 제 1 특징점 움직임벡터, 보충의 유사 특징점 및 그것의 움직임벡터가 부호화기로부터 전송되어 제공되기 때문이다. 따라서, 복호기의 예측 블럭은 상기의 부호기에서 설명한 것과 같은 특징점 선택 블럭, 제2현재 프레임 움직임벡터 검출 블럭 및 제2움직임 보상 블럭을 포함하게 될 것이다.
더욱이, 복호기에서는 프레임 메모리로부터의 이전 프레임신호가 특징점 선택 블럭으로 입력되므로서 다수의 특징점이 선택된다. 제2현재 프레임 움직임 검출 블럭에서는 제2도를 참조하여 설명한 부호기로부터 전송된 선택된 특징점 및 그것의 움직임벡터와 보충의 유사 특징점 및 그것의 움직임벡터에 응답하여 예측된 현재 프레임에 포함될 모든 화소들의 움직임벡터가 결정된다. 그리고, 제2움직임 보상 블럭은 부호기에서와 같이 예측된 현재 프레임을 제공한다. 예측된 현재 프레임은 복호기에서 부가된 처리 과정을 더 거쳐, 비데오 신호 원본과 상당히 동일한 현재 프레임으로 복원된다.
본 발명에 따른 특징점 및 보충의 유사 특징점을 이용하는 개선된 화소 단위 움직임 추정 및 보상 기법을 사용하여 화소 단위로 움직임을 처리함으로써 영상신호의 부호화시 특정한 화면의 화질을 개선할 수 있다.

Claims (10)

  1. 움직임 보상 영상신호 부호기에 사용되며, 디지탈 영상신호의 현재 프레임과 이전 프레임을 가지고 예측된 현재 프레임을 결정하는 장치에 있어서, 상기 이전 프레임에 포함된 모든 화소에서 다수의 화소를 선택하는 수단; 상기 현재 프레임과 상기 이전 프레임간에서 상기 선택된 화소 각각의 움직임을 나타내는 움직임벡터로 이루어진 제1세트의 움직임벡터를 검출하는 수단; 상기 제1세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 발생시키는 수단; 상기 제2세트의 움직임벡터 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 예비적 예측된 현재 프레임을 결정하는 수단; 상기 현재 프레임과 상기 예비적 예측된 현재 프레임간의 차이를 결정하여 집단 오차 영역을 검출하는 수단; 상기 집단 오차 영역의 각각에 포함된 화소들로부터 하나의 중심점 화소를 선택하는 수단; 상기 집단 오차 영역으로부터 선택된 상기 중심점 화소에 대한 제3세트의 움직임벡터를 결정하는 수단; 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제4세트의 움직임벡터를 발생시키는 수단; 및 상기 제4세트의 움직임벡터 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 상기 예측된 현재 프레임을 결정하는 수단으로 이루어진 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치.
  2. 제1항에 있어서, 상기 제2세트의 움직임벡터를 발생하는 수단은, 상기 제1세트의 움직임벡터를, 상기 이전 프레임의 선택된 화소에 대응하여, 상기 현재 프레임의 화소에 대한 상기 제2세트의 일부분으로 배정하는 수단; 상기 제2세트의 움직임벡터 일부분에 포함된 적어도 하나의 움직임벡터를 평균하여 상기 제2세트의 나머지 부분의 움직임벡터를 결정하는 수단을 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치.
  3. 제1항에 있어서, 상기 집단 오차 영역 검출 수단은, 상기 현재 프레임에서 상기 예비적 예측된 현재 프레임을 감산하여 오차 영역신호를 발생하는 수단; 상기 오차신호를 절대화하는 수단; 상기 절대화된 오차신호를 필터링하는 수단; 및 상기 필터링된 절대화 오차신호를 윈도우잉하여 상기 집단 오차 영역신호를 발생하는 수단을 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치
  4. 제1항에 있어서, 상기 제3세트의 움직임벡터를 검출하는 수단은, 상기 각각의 집단 오차 영역에 포함된 각각의 오차값의 크기에 따라서 상기 집단 오차 영역 각각을 두개 이상의 세부 영역으로 분할하는 수단; 상기 세부 영역 각각에 대하여 세부 영역 움직임벡터를 검출하는 수단; 상기 세부 영역 움직임벡터로부터 하나의 움직임벡터를 선택하여 제3세트의 움직임벡터를 제공하는 수단을 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치.
  5. 제4항에 있어서, 상기 제4세트의 움직임벡터를 발생하는 수단은, 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를, 상기 이전 프레임의 선택된 화소에 대응하여, 상기 현재 프레임의 화소에 대한 상기 제4세트의 일부분으로 배정하는 수단; 상기 제 4세트의 움직임벡터 일부분에 포함된 적어도 하나의 움직임벡터를 평균하여 상기 제4세트의 나머지 부분의 움직임벡터를 결정하는 수단을 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 장치.
  6. 움직임보상 영상신호 부호기에 사용되며, 디지탈 영상신호의 현재 프레임과 이전 프레임을 가지고 예측된 현재 프레임을 결정하는 방법에 있어서, (a) 상기 이전 프레임에 포함된 모든 화소에서 다수의 화소를 선택하는 단계; (b) 상기 현재 프레임과 상기 이전 프레임간에서 상기 선택된 화소 각각의 움직임을 나타내는 움직임벡터로 이루어진 제1세트의 움직임벡터를 검출하는 단계; (c) 상기 제1세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제2세트의 움직임벡터를 발생시키는 단계; (d) 상기 제2세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 예비적 예측된 현재 프레임을 결정하는 단계; (e) 상기 현재 프레임과 상기 예비적 예측된 현재 프레임간의 차이를 결정하여 집단 오차 영역을 검출하는 단계; (f) 상기 집단 오차 영역의 각각에 포함된 화소들로부터 하나의 화소를 선택하는 단계; (g) 상기 집단 오차 영역으로 부터 선택된 화소에 대한 제3세트의 움직임벡터를 결정하는 단계; (h) 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를 이용하여 상기 현재 프레임에 포함된 모든 화소에 대한 제4세트의 움직임벡터를 발생시키는 단계; (i) 상기 제4세트의 움직임벡터의 각각을 통해 상기 현재 프레임의 화소중 하나에 대응하는 상기 이전 프레임의 각각의 화소값을 상기 현재 프레임의 상기 하나의 화소값으로 배정함으로써 상기 예측된 현재 프레임을 결정하는 단계로 이루어진 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법.
  7. 제6항에 있어서, 상기 단계(c)는, (c1) 상기 제1세트의 움직임벡터를, 상기 이전 프레임의 선택된 화소에 대응하여, 상기 현재 프레임의 화소에 대한 상기 제2세트의 일부분으로 배정하는 단계; (c2) 상기 제2세트의 움직임벡터 일부분에 포함된 적어도 하나의 움직임벡터를 평균하여 상기 제 2 세트의 나머지 부분의 움직임벡터를 결정하는 단계를 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법.
  8. 제1항에 있어서, 상기 단계(e)는 , (e1) 상기 현재 프레임에서 상기 예비적 예측된 현재 프레임을 감산하여 오차 영역신호를 발생하는 단계; (e2) 상기 오차신호를 절대화하는 단계; (e3) 상기 절대화된 오차신호를 필터링하는 단계; (e4) 상기 필터링된 절대화 오차신호를 윈도우잉하여 상기 집단 오차 영역신호를 발생하는 단계를 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법.
  9. 제1항에 있어서, 상기 단계(g)는, (g1) 상기 각각의 집단 오차 영역에 포함된 각각의 오차값의 크기에 따라서 상기 집단 오차 영역 각각을 두개 이상의 세부 영역으로 분할하는 단계; (g2) 상기 세부 영역 각각에 대하여 세부 영역 움직임벡터를 검출하는 단계; (g3) 상기 세부 영역 움직임벡터로 부터 하나의 움직임벡터를 선택하여 제3세트의 움직임벡터를 제공하는 단계를 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법.
  10. 제9항에 있어서, 상기 단계(h)는, (h1) 상기 제1세트의 움직임벡터와 상기 제3세트의 움직임벡터를, 상기 이전 프레임의 선택된 화소에 대응하여, 상기 현재 프레임의 화소에 대한 상기 제4세트의 일부분으로 배정하는 단계; (h2) 상기 제4세트의 움직임벡터 일부분에 포함된 적어도 하나의 움직임벡터를 평균하여 상기 제4세트의 나머지 부분의 움직임벡터를 결정하는 단계를 포함하는 픽셀 단위 움직임 예측을 이용하는 영상신호 부호화 방법.
KR1019950003959A 1995-02-28 1995-02-28 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 KR0174956B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950003959A KR0174956B1 (ko) 1995-02-28 1995-02-28 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950003959A KR0174956B1 (ko) 1995-02-28 1995-02-28 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR960033139A KR960033139A (ko) 1996-09-17
KR0174956B1 true KR0174956B1 (ko) 1999-03-20

Family

ID=19408915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950003959A KR0174956B1 (ko) 1995-02-28 1995-02-28 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR0174956B1 (ko)

Also Published As

Publication number Publication date
KR960033139A (ko) 1996-09-17

Similar Documents

Publication Publication Date Title
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0171118B1 (ko) 비디오신호 부호화 장치
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
KR0171120B1 (ko) 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
US5546129A (en) Method for encoding a video signal using feature point based motion estimation
EP0528293B1 (en) Apparatus for reducing quantization artifacts in an interframe hybrid coding system with motion compensation
KR0178231B1 (ko) 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
KR0174454B1 (ko) 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
US5627591A (en) Image processing system using a pixel-by-pixel motion estimation based on feature points
EP0734176A2 (en) Motion compensation apparatus for use in a video encoding system
JP3681784B2 (ja) 映像信号符号化装置
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5625417A (en) Image processing system using a feature point-based motion estimation
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
EP0720373A1 (en) Method and apparatus for encoding a video signal using region-based motion vectors
KR0174439B1 (ko) 특징점 기반 움직임 보상에서의 에지선 세선화 방법 및 장치
KR100207397B1 (ko) 영상 부호화 시스템의 움직임 예측장치 및 방법
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
JPH08205179A (ja) 映像信号符号化装置及び映像信号符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee