KR20030058250A - Movement prediction system - Google Patents
Movement prediction system Download PDFInfo
- Publication number
- KR20030058250A KR20030058250A KR1020010088665A KR20010088665A KR20030058250A KR 20030058250 A KR20030058250 A KR 20030058250A KR 1020010088665 A KR1020010088665 A KR 1020010088665A KR 20010088665 A KR20010088665 A KR 20010088665A KR 20030058250 A KR20030058250 A KR 20030058250A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- error
- predicted
- predetermined time
- detector
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Abstract
Description
본 발명은 이미지의 위치를 예측하는 이동 예측 시스템에 관한것으로 특히, 칼만 필터를 이용하여 시공간적 환경변화에 따라 적절히 대응가능한 이동 예측 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion prediction system for predicting the position of an image. In particular, the present invention relates to a motion prediction system that can appropriately respond to changes in space-time using a Kalman filter.
칼만 필터(Kalman Filter)는 이동중인 표적의 탐색 및 추적 문제에서 가장많이 응용되며 선형 시스템의 상태변수를 추정하는 기법으로 1960년 칼만에 의하여 소개된 것으로, 이동 구조가 선형인 모델을 사용하고, 수렴성과 안정성이 보장되고 알고리즘이 단순하며, 종래의 알고리즘과는 달리 스펙트럼 분석방법이 아닌 시간영역에서의 처리방법이다.The Kalman Filter is the most widely used method of estimating and tracking moving targets and was introduced by Kalman in 1960 as a technique for estimating the state variables of a linear system. And the stability is guaranteed and the algorithm is simple. Unlike the conventional algorithm, it is a processing method in the time domain rather than the spectrum analysis method.
그러나 실제 위치를 예측시, 칼만필터링을 적용시 다음과 같은 문제점이 있다.However, when estimating the actual position, there are the following problems when applying Kalman filtering.
칼만필터링은 비교적 예측이 쉬운 선형 시스템에서 그 모델이 형성되었는 바, 선형 시스템에서 보장되는 최적성을 비선형 시스템에서도 유지할 수 있도록 하는 문제가 있고, 필터의 오차, 그리고 시스템이나 잡음에대한 정확한 지식이 없을 때에는 칼만 필터가 갖는 장점들을 유지 시키기 어려운 문제점이 있다.Kalman filtering is modeled in a relatively predictable linear system, which has the problem of maintaining the optimality guaranteed in a linear system even in nonlinear systems. At this time, it is difficult to maintain the advantages of the Kalman filter.
이와 같은 문제점중 칼만 필터의 구조적 개선을 통하여 비선형 시스템의 상태변수를 추정하는 방법으로 개선된 것이 비선형 필터(Filter)이다.Among these problems, the nonlinear filter has been improved by the method of estimating the state variable of the nonlinear system through the structural improvement of the Kalman filter.
이러한 비선형 필터는 비선형 시스템의 선형화에 근거를 두고 있는 것으로 초기치를 선형화 시킨 다음, 선형화된 모델에서 추정치를 구하고, 그 이후 순간 순간의 시점에서 새로이 구한 추정치를 이용하여 선형화 시켜 나가는 되먹임 필터(Recursive Filter) 알고리즘을 확장된 칼만필터(Extended Kalman Filter)라 한다.Such a nonlinear filter is based on the linearization of a nonlinear system, and linearizes an initial value, then obtains an estimate from the linearized model, and then linearizes it using a newly obtained estimate at a moment in time. The algorithm is called Extended Kalman Filter.
이 때 상기 확장된 칼만필터(Extended Kalman Filter)는 상태를 추정할 때마다 새로운 선형화를 필요로 하게되며, 이동표적의 비선형성을 해석하기 위하여는 상태변수의 증가가 불가피하게 되므로 그 계산량이 증가하게 된다.At this time, the Extended Kalman Filter requires a new linearization each time the state is estimated. In order to analyze the nonlinearity of the moving target, an increase in the state variable is inevitable, which increases the amount of computation. do.
즉, 모든 경우의 수에 대한 예측을 위해 일반적인 칼만필터에 비하여 많은 변수를 필요로 하며, 만일 초기 조건의 설정이 잘못된 경우에는 오차상호 분산이 수렴하지 않고 발산하는 문제점이 있게 된다.In other words, many variables are required for the prediction of the number of all cases, compared to the general Kalman filter. If the initial condition is set incorrectly, error cross-variance does not converge and diverges.
따라서, 상기한 칼만필터를 동영상의 물체 인식 분야에 적용시, 시간적인 환경변화에 적절히 대응하기 위해서는 칼만필터의 상태변수를 지속적으로 갱신해야 하는 문제점이 있다.Therefore, when the Kalman filter is applied to the object recognition field of a video, there is a problem in that the state variable of the Kalman filter needs to be continuously updated in order to properly cope with the change in time environment.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 비선형적인 물체의 움직임을 효과적으로 예측가능한 이동 예측 시스템을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-mentioned conventional problems, and an object thereof is to provide a motion prediction system capable of effectively predicting the movement of nonlinear objects.
도 1 본 발명에 따른 이동 예측 시스템의 개념을 설명하는 개념도,1 is a conceptual diagram illustrating the concept of a motion prediction system according to the present invention;
도 2는 본 발명에 따른 이동 예측 시스템의 블럭 개념도,2 is a block diagram of a motion prediction system according to the present invention;
도 3은 본 발명에 따른 이동 예측 시스템의 동작을 개념적으로 설명한 개념도.3 is a conceptual diagram conceptually illustrating the operation of the motion prediction system according to the present invention;
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
100 : 이미지 검출부 200 : 위치 예측부100: image detector 200: position predictor
300 : 이미지 생성부 400 : 오차 보정부300: image generating unit 400: error correction unit
상기한 목적을 달성하기 위한 본 발명은, 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서, 입력되는 이미지에서 원하는 특정 이미지의 위치를 소정시간 단위로 추출하여 출력하는 이미지 검출부; 상기 특정 이미지의 위치를 토대로 일정 시간후의 위치를 예측하고, 상기 예측된 이미지가 가질 수 있는 위치의 오차를 예상하여 상기 이미지 검출부로 상기 소정시간 후, 피드백하는 위치 예측부; 상기 예측된 일정시간후의 이미지에 의해 예측 이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부; 및 상기 예측 이미지와 상기 이미지 검출부에 상기 일정시간후 입력된 실제의 이미지를 비교하여 비교하여 그 오차를 생성하고 이를 상기 이미지 검출부로 피드백하는 오차 보정부를 포함하여 이루어진다.According to an aspect of the present invention, there is provided a moving prediction system for tracking a moving image, the image detecting unit extracting and outputting a desired position of a specific image from an input image by a predetermined time unit; A position predictor for predicting a position after a predetermined time based on the position of the specific image, and predicting an error of a position of the predicted image after the predetermined time and feeding back the image detector; An image generator which forms a predicted image by the predicted image after a predetermined time, and outputs the predicted image after the predetermined time delay; And an error correction unit configured to compare and compare the predicted image and the actual image input after the predetermined time to the image detector, to generate an error thereof, and to feed it back to the image detector.
이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, the most preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.
도 1은 본 발명에 따른 이동 예측 시스템의 동작 개념을 설명하는 블럭 개념도이다.1 is a block diagram illustrating an operation concept of a motion prediction system according to the present invention.
도 1을 참조하여 본 발명의 개념을 설명하면 다음과 같다.Referring to Figure 1 described the concept of the present invention.
도 1a는 본 발명에 따른 이동 예측 시스템의 예측치와 실제 관측치를 도시한 것으로, 점선으로 도시된 y(k)가 실제 관측치이고 실선으로 도시된 x(k|k-1)이 예측치가 된다.FIG. 1A shows the predicted value and the actual observation of the motion prediction system according to the present invention, wherein y (k) shown by the dotted line is the actual observation and x (k | k-1) shown by the solid line is the predicted value.
즉, y(k)가 현재 상태의 관측치라고 하면 x(k|k-1)는 과거의 어느 시점에서 현재상태를 예측한 예측치가 된다.That is, if y (k) is an observation of the current state, x (k | k-1) is a predicted value predicting the current state at some point in the past.
도 1b는 예측치 x(k|k-1)가 측정치 y(k)에 의해 보정되어 보정된 이미지(x(k|k))를 생성하는 것을 도시한 것이며, 도 1c는 상기 도 1a와 마찬가지로 다음 상태를 예측하는 과정을 도시한 것이다.FIG. 1B shows that the predicted value x (k | k-1) is corrected by the measurement y (k) to produce a corrected image x (k | k), and FIG. It shows the process of predicting the state.
즉, 본 발명은 예측치를 관측치에 의해 갱신함으로써, 이동 예측 시스템이 상태변수의 복잡한 계산에 의하지 않고도 물체의 위치를 비교적 정확히 예측할 수 있도록 한다.That is, the present invention updates the predictions by observations, so that the movement prediction system can predict the position of the object relatively accurately without complicated calculation of the state variables.
도 2는 본 발명에 따른 이동 예측 시스템의 블럭 개념도를 나타낸다.2 shows a block diagram of a motion prediction system according to the present invention.
도 2를 참조하면, 이동하는 이미지를 추적하는 이동 예측 시스템에 있어서, 입력되는 이미지에서 원하는 특정 이미지의 위치를 소정시간 단위로 추출하여 출력하는 이미지 검출부(100)와, 상기 특정 이미지의 위치를 토대로 일정 시간후의 위치를 예측하고, 상기 예측된 이미지가 가질 수 있는 위치의 오차를 예상하여 상기 이미지 검출부로 상기 소정시간 후, 피드백하는 위치 예측부(200)와, 상기 예측된 일정시간후의 이미지에 의해 예측 이미지를 형성하고, 이를 상기 소정시간 만큼 지연후 출력하는 이미지 생성부(300) 및 상기 예측 이미지와 상기 이미지 검출부에 상기 일정시간후 입력된 실제의 이미지를 비교하여 비교하여 그 오차를 생성하고 이를 상기 이미지 검출부로 피드백하는 오차 보정부(400)를 포함하여 이루어진다.Referring to FIG. 2, in a motion prediction system for tracking a moving image, an image detection unit 100 extracts and outputs a desired position of a specific image from an input image in predetermined time units and based on the position of the specific image. The position predictor 200 predicts a position after a predetermined time, estimates an error of a position that the predicted image may have, and feeds back to the image detector after the predetermined time, and the image after the predicted predetermined time. A prediction image is formed, and the image generator 300 outputs the delay after the predetermined time and outputs the error by comparing and comparing the prediction image with the actual image input after the predetermined time to the image detection unit. It includes an error correction unit 400 for feeding back to the image detector.
이하, 도 2를 참조하여 상기한 이동 예측 시스템의 동작과정을 살펴보면 다음과 같다.Hereinafter, referring to FIG. 2, the operation of the motion prediction system will be described.
먼저, 이미지 검출부(100)에서는 이동하는 이미지중 원하는 물체를 포착하여 물체의 경계선을 구하고 그 위치를 파악한다.First, the image detector 100 captures a desired object in a moving image to obtain a boundary line of the object and grasps the position thereof.
이미지 검출부(100)가 물체의 이동을 예측시 물체의 경계선을 구하여 물체의 형태를 인식함으로써, 상기 도 1에서 설명한 실측치(y(k))가 생성하되, 소정시간 간격마다 물체를 포착하여 그 실측치(y(k), y(k+1), ···)를 출력한다.When the image detection unit 100 predicts the movement of the object and obtains the boundary of the object to recognize the shape of the object, the measured value y (k) described in FIG. 1 is generated, but the target value is captured at predetermined time intervals. Output (y (k), y (k + 1), ...).
이어서, 이미지 검출부(100)에서 구해진 경계선 내부를 논리 "하이", 경계선 외부를 논리 "로우"로 처리함으로써, 포착된 물체를 매우 단순한 데이터 형태로 만든다.Subsequently, the inside of the boundary obtained by the image detection unit 100 is processed as logic "high" and the outside of the boundary as logic "low", thereby making the captured object a very simple data form.
다음으로, 칼만필터로 구성된 위치 예측부(200)에서 포착된 물체의 경계선을 토대로 일정시간이 지난후의 다음 위치를 예측하고 이를 이미지 생성부(300)에서 예측결과에 따라 예측 이미지(Y(k+1))를 생성한다.Next, the next position after a predetermined time is predicted based on the boundary line of the object captured by the position predictor 200 configured as the Kalman filter, and the image generator 300 predicts the next position according to the prediction result (Y (k +). 1)).
즉, 상기 이미지 검출부(100)에 처음 인가된 이미지가 소정시간 지난후 어떤 이미지가 될 것이라는 가정하에 예측 이미지(Y(k+1))를 생성하고 이를 소정시간 지연시켜 출력한다.That is, under the assumption that the image first applied to the image detector 100 will be a certain image after a predetermined time, a predicted image Y (k + 1) is generated and output by delaying the predetermined time.
또한, 위치 예측부(200)는 예측된 위치가 실제 위치와 틀릴 가능성, 즉 예측 이미지의 오차범위를 예상하여 이를 소정시간 지연후 이미지 검출부(100)로 피드백한다.In addition, the position predictor 200 predicts a possibility that the predicted position is different from the actual position, that is, an error range of the predicted image, and feeds it back to the image detector 100 after a predetermined time delay.
이때, 이미지 검출부(100)에 소정시간 지연 후, 오차값을 전달하여 예측된 오차값(s(k+1))과 이미지 검출부(100)에서 출력될 실측치(y(k+1))와의 타이밍을 맞춘다.In this case, after a predetermined time delay to the image detector 100, an error value is transmitted by transmitting an error value, and a timing between the predicted error value s (k + 1) and the measured value y (k + 1) to be output from the image detector 100. To match.
여기서, 상기 오차값은 통상적인 가우시안 분포에 따라 형성되도록 하여 오차값이 가장 크다고 생각되는 부분의 가중치를 높이고 그 이외의 영역에 대한 가중치를 줄이도록 한다.In this case, the error value is formed according to a normal Gaussian distribution so as to increase the weight of the portion where the error value is considered to be the largest and to reduce the weight for other areas.
이어서, 이미지 생성부(300)에서 출력되는 예측치(Y(K+1))는 소정시간 지연후 출력하도록 하여 이미지 검출부(100)에서 일정한 시간 간격으로 실측치(y(k+1), y(k+2), ···)가 출력될 때마다 실측 이미지가 예측치(Y(k+1), Y(k+2), ···)와 오차 보정부(400)에서 동일한 타이밍에 만날도록 한다.Subsequently, the predicted value Y (K + 1) output from the image generator 300 is output after a predetermined time delay so that the image detector 100 detects the measured values y (k + 1) and y (k) at regular time intervals. Every time +2), ... are outputted, the measured image meets the predicted values Y (k + 1), Y (k + 2), ... and the error correction unit 400 at the same timing. .
예컨데, 오차 보정부(400)의 일측에는 실측치(y(k+1))가 인가되고 타측에는예측치(Y(k+1))이 인가되도록 한다.For example, the measured value y (k + 1) is applied to one side of the error corrector 400 and the predicted value Y (k + 1) is applied to the other side.
따라서, 오차 보정부(400)는 실측치(y(k+1))와 예측치(Y(k+1))간의 오차를 구하여 이를 이미지 검출부(100)로 피드백 함으로써, 이미지 검출부(100)가 측정하고자 하는 물체의 근처에서 측정할 수 있도록 한다.Therefore, the error correction unit 400 obtains an error between the measured value y (k + 1) and the predicted value Y (k + 1) and feeds it back to the image detector 100 so that the image detector 100 can measure it. Make it possible to measure near the object.
도 3은 본 발명에 따른 이동 예측 시스템의 동작을 개념적으로 설명한 개념도로서 원형 물체가 시간의 흐름에 따라 제1상태, 제2상태, 제3상태의 3가지 상태로 변하는것을 보여준다.3 is a conceptual diagram conceptually illustrating the operation of the motion prediction system according to the present invention, and shows that a circular object changes into three states of a first state, a second state, and a third state with time.
여기서, 제1상태는 제2상태의 이전 상태이며, 제2상태는 제3상태의 이전상태를 의미한다.Here, the first state is a state before the second state, and the second state means the state before the third state.
제1상태의 실측치(y(k))와, 제1상태의 이전상태에서 제1상태를 예측한 예측치(x(k|k-1)에 의해서 제2상태의 예측치(x(k+1|k)를 구하고 이 예측치는 실측치(y(k+1))에 의해 보정되어 제3상태의 예측치(x(k+2|k+1))를 생성한다.The predicted value of the second state (x (k + 1 |) based on the measured value y (k) of the first state and the predicted value x (k | k-1) that predicted the first state from the previous state of the first state. k) is obtained and this predictive value is corrected by the measured value y (k + 1) to generate the predicted value x (k + 2 | k + 1) of the third state.
이때, 제1상태의 예측치(x(k|k+1))가 실측치(y(k+1))에 의해 보정됨으로써, 다음 실측치(y(k+2))가 예측치(x(k+2|k+1))와 좀더 가까운 곳에 위치하게 됨을 볼 수 있다.At this time, the predicted value x (k | k + 1) of the first state is corrected by the measured value y (k + 1), so that the next measured value y (k + 2) is the predicted value x (k + 2). You can see that it is closer to (k + 1)).
이상에서 설명한 바와 같이 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명이 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함이 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 명백할 것이다.As described above, the present invention is not limited to the above-described embodiments and the accompanying drawings, and the present invention may be variously substituted, modified, and changed without departing from the spirit of the present invention. It will be apparent to those of ordinary skill in the art.
본 발명은 상기한 바와같이, 물체의 이동을 예측시, 실측치와 예측치와의 차이를 점차로 줄임으로써, 비선형적인 물체의 움직임을 효과적으로 예측이 가능하며, 자동화 시스템과 영상 인식분야에서 이를 다양하게 활용할 수 있다.As described above, when predicting the movement of the object, by gradually reducing the difference between the measured value and the predicted value, it is possible to effectively predict the movement of the non-linear object, it can be variously used in the field of automation systems and image recognition have.
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0088665A KR100436049B1 (en) | 2001-12-31 | 2001-12-31 | Movement prediction system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0088665A KR100436049B1 (en) | 2001-12-31 | 2001-12-31 | Movement prediction system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20030058250A true KR20030058250A (en) | 2003-07-07 |
KR100436049B1 KR100436049B1 (en) | 2004-06-12 |
Family
ID=32216163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2001-0088665A KR100436049B1 (en) | 2001-12-31 | 2001-12-31 | Movement prediction system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100436049B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101375765B1 (en) | 2012-12-14 | 2014-03-20 | (주)오시에스티 | Apparatus and method for tracking moving objects by using kaman filter |
KR101556918B1 (en) | 2014-01-28 | 2015-10-02 | 국방과학연구소 | Method for estimating the size of the imaging target |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH056434A (en) * | 1991-06-27 | 1993-01-14 | Matsushita Electric Ind Co Ltd | Automatic tracking device |
KR100248040B1 (en) * | 1992-09-17 | 2000-03-15 | 윤종용 | Object estimation method |
JP3296675B2 (en) * | 1995-02-28 | 2002-07-02 | 三洋電機株式会社 | Subject tracking apparatus and subject tracking method |
KR0160194B1 (en) * | 1995-12-30 | 1999-03-20 | 김광호 | Moving target detecting method using fast fourier transform |
JPH10336506A (en) * | 1997-05-29 | 1998-12-18 | Canon Inc | Image-processing system, system and method for tracking and storage medium |
KR100312427B1 (en) * | 1999-12-23 | 2001-11-03 | 오길록 | Method and device for tracking robust object from video images using template and kalman filter |
KR100364582B1 (en) * | 2000-04-28 | 2002-12-16 | 주식회사 네트웍코리아 | System tracking and watching multi moving object |
-
2001
- 2001-12-31 KR KR10-2001-0088665A patent/KR100436049B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR100436049B1 (en) | 2004-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hashimoto et al. | Event-triggered intermittent sampling for nonlinear model predictive control | |
Hermoso-Carazo et al. | Unscented filtering algorithm using two-step randomly delayed observations in nonlinear systems | |
Lin et al. | An overview of multirate multisensor systems: Modelling and estimation | |
Shen et al. | Globally optimal distributed Kalman filtering fusion | |
Janczak et al. | State estimation of linear dynamic system with unknown input and uncertain observation using dynamic programming | |
Heravi et al. | Long term trajectory prediction of moving objects using gaussian process | |
Lin et al. | Optimal sequential estimation for asynchronous sampling discrete—Time systems | |
Findeisen et al. | Robustness of prediction based delay compensation for nonlinear systems | |
Stettinger et al. | Control of a magnetic levitation system with communication imperfections: A model-based coupling approach | |
KR100436049B1 (en) | Movement prediction system | |
Sun et al. | Self-tuning weighted measurement fusion white noise deconvolution estimator and its convergence analysis | |
KR100668998B1 (en) | System and method for generating a real-time signal | |
Roberts | A brief overview of model predictive control | |
Berkvens et al. | Asynchronous, electromagnetic sensor fusion in RatSLAM | |
EP3462338A1 (en) | Data processing device, data analyzing device, data processing system and method for processing data | |
Varghese et al. | Tracking crossing targets in passive sonars using NNJPDA | |
CN113779497A (en) | Target tracking method for solving problems of random time delay and packet loss of measurement information | |
Esmzad et al. | Modified likelihood Kalman filter for systems with incomplete, delayed and lost measurements | |
Ran et al. | Self-tuning centralized fusion Kalman filter for multisensor systems with companion form and its convergence | |
Chen et al. | Networked multi-sensor fusion estimation with delays, packet losses and missing measurements | |
Ran et al. | Self-tuning measurement fusion filter for multisensor ARMA signal and its convergence | |
Chen et al. | Single-step-lag OOSM algorithm based on unscented transformation | |
Sznaier et al. | Risk adjusted set membership identification of wiener systems | |
Yoo et al. | Networked control systems design with time-varying delays | |
Nakamori | RLS fixed-lag smoother using covariance information in linear continuous stochastic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |