KR101395233B1 - Image recognition system with power-saving function - Google Patents
Image recognition system with power-saving function Download PDFInfo
- Publication number
- KR101395233B1 KR101395233B1 KR1020120052414A KR20120052414A KR101395233B1 KR 101395233 B1 KR101395233 B1 KR 101395233B1 KR 1020120052414 A KR1020120052414 A KR 1020120052414A KR 20120052414 A KR20120052414 A KR 20120052414A KR 101395233 B1 KR101395233 B1 KR 101395233B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sensor module
- image sensor
- target
- mobile device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 감시 대상의 타겟이 나타나는 것을 감시하여 시스템의 동작을 제어하는 기능을 수행하는 시스템에서 감시 동작에 의한 전력 소모량을 절감하는 기술에 관한 것이다.
이를 위해 본 발명에서는 감시동작을 위한 전반적인 동작을 연산부에서 수행하는 것이 아니라, 이미지 센서모듈에서 감시 대상의 타겟이 출몰하는지의 여부를 판단하는 이미지 인식 기능을 주기적으로 수행하여 타겟이 출몰한 것으로 판단될 때 연산부에 감시 데이터를 전송하고, 연산부는 이미지 센서모듈로부터 감시 데이터가 수신된 경우에만 그 감시 데이터를 연산처리하고 연산처리 결과를 근거로 타겟의 출몰여부를 최종적으로 판단하여 그에 따른 제어동작을 수행하도록 한 것이다.The present invention relates to a technique for reducing power consumption by a monitoring operation in a system that monitors the appearance of a target to be monitored and controls the operation of the system.
For this, in the present invention, rather than performing an overall operation for the monitoring operation in the operation unit, the image sensing module periodically performs an image recognition function for determining whether or not a target to be monitored is visible in the image sensor module, The operation unit processes the monitoring data only when the monitoring data is received from the image sensor module, and finally determines whether or not the target is in sight based on the operation processing result, and performs the control operation according to the result .
Description
본 발명은 이미지 인식 시스템의 절전 기술에 관한 것으로, 특히 감시 대상의 타겟이 출몰하는 것을 감지하는 동작에 의해 전력이 낭비되는 것을 방지할 수 있도록 한 절전기능을 구비한 이미지 인식 시스템에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a power saving technique of an image recognition system, and more particularly, to an image recognition system having a power saving function to prevent power from being wasted by an operation of detecting a target to be monitored.
일반적으로, 이미지 인식 시스템은 아날로그 신호인 광을 전기적 신호로 변환시키는 이미지 센서모듈과, 상기 이미지 센서모듈로부터 입력되는 이미지가 변화될 때 그 변화된 이미지에 대한 인식 작업을 수행하는 연산부를 포함한다. 2. Description of the Related Art Generally, an image recognition system includes an image sensor module that converts light, which is an analog signal, into an electrical signal, and an operation unit that performs a recognition operation on the changed image when an image input from the image sensor module is changed.
종래의 이미지 인식 시스템에서는 이미지 센서모듈이 주변의 타겟(예: 사용자의 얼굴)을 감지하여 그에 따른 센싱데이터를 일정 주기로 연산부에 전송한다. 이에 대응하여, 연산부는 이미지 센서모듈로부터 일정 주기로 입력되는 센싱데이터를 연산처리하여 타겟이 출현하였는지의 여부를 판단한다. In the conventional image recognition system, the image sensor module senses the surrounding target (e.g., the user's face) and transmits the sensed data to the operation unit at regular intervals. Corresponding to this, the arithmetic operation unit computes the sensing data input at regular intervals from the image sensor module to determine whether or not the target has appeared.
상기 연산처리 결과 타겟이 출현하지 않은 것으로 판단되면, 상기 연산부는 계속해서 상기와 같은 연산 처리 작업을 반복적으로 수행한다. 그러나, 상기 연산처리 결과 타겟이 출현한 것으로 판단되면, 상기 연산부는 그에 따른 제어동작 예를 들어 모바일기기(예: 휴대폰)의 표시장치(예: LCD 패널 또는 AMOLED 패널와 같은 표시장치)를 구동상태로 절환하는 제어동작을 수행하거나 통신네트워크를 통해 경고정보를 다른 기기에 전송한다. If it is determined that the operation result target does not appear, the operation unit repeatedly performs the operation processing operation as described above. However, if it is determined that the calculation processing result target has appeared, the operation unit may set the display device (e.g., a display device such as an LCD panel or an AMOLED panel) of the mobile device Or transmits warning information to another device through the communication network.
이와 같이, 종래의 이미지 인식 시스템에 있어서는 평상시 연산부가 이미지 센서모듈과 주기적으로 통신하여 그 때마다 이미지 센서모듈로부터 입력되는 센싱데이터를 연산하고, 그 연산 결과를 근거로 타겟이 출현하였는지의 여부를 판단하게 되어 있으므로, 이와 같은 동작에 의해 전력이 많이 소비되는 문제점이 있다.
As described above, in the conventional image recognition system, the computing unit periodically communicates with the image sensor module at regular intervals to periodically calculate the sensing data input from the image sensor module and judge whether or not the target has appeared based on the calculated result Therefore, there is a problem that a large amount of electric power is consumed by such an operation.
본 발명이 해결하고자 하는 과제는 이미지 센서모듈에서 감시 대상의 타겟이 출몰하는지의 여부를 판단하는 이미지 인식 기능을 주기적으로 수행하여 타겟이 출몰한 것으로 판단될 때 연산부에 감시 데이터를 전송하고, 연산부는 감시 데이터를 근거로 타겟의 출몰여부를 최종적으로 판단하여 그에 따른 제어동작을 수행하도록 하는데 있다.
A problem to be solved by the present invention is to periodically perform an image recognition function for determining whether or not a target to be monitored is visible in an image sensor module, and transmit monitoring data to an operation unit when it is determined that a target has appeared or not, Based on the surveillance data, it is finally determined whether or not the target is visible and the control operation is performed according to the determination.
상기 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 절전기능을 구비한 이미지 인식 시스템은, 해당 구역에 감시 대상의 타겟이 출몰하는 것을 감시하여 그에 따른 인터럽트신호를 전송하고, 이미지전송명령이 수신될 때 상기 해당 구역을 감시하여 획득되는 감시데이터를 전송하는 이미지 센서모듈; 및 상기 이미지 센서모듈로부터 수신되는 상기 감시데이터를 연산하여 상기 해당 구역에 감시 대상의 타겟이 출몰하였는지의 여부를 최종적으로 판단하고, 상기 판단 결과에 따라 해당 기기의 동작을 제어하는 연산부;를 포함한다.
According to an aspect of the present invention, there is provided an image recognition system having a power saving function for monitoring an appearance of a target to be monitored in a corresponding area and transmitting an interrupt signal corresponding thereto, An image sensor module that transmits surveillance data obtained by monitoring the corresponding area; And an arithmetic unit operable to calculate the monitoring data received from the image sensor module to finally determine whether a target to be monitored is present in the corresponding area and to control the operation of the corresponding device according to the determination result .
본 발명은 평상시 이미지 센서모듈에서 감시 대상의 타겟이 출몰하는지의 여부를 판단하는 이미지 인식 기능을 주기적으로 수행하여 타겟이 출몰한 것으로 판단될 때 연산부에 감시 데이터를 전송하고, 연산부는 이미지 센서모듈로부터 감시 데이터가 수신된 경우에만 그 감시 데이터를 연산처리하고 연산처리 결과를 근거로 타겟의 출몰여부를 최종적으로 판단하여 그에 따른 제어동작을 수행하도록 함으로써, 연산처리부의 통신시간 및 연산처리시간이 줄어들어 그만큼 전력소모량이 줄어드는 효과가 있다.
The image sensor module periodically performs an image recognition function to determine whether or not a target to be monitored is present in the image sensor module at a normal time, and transmits monitoring data to the operation unit when it is determined that the target has appeared or disappear, Only when the supervisory data is received, the supervisory data is arithmetically processed, and based on the result of the arithmetic processing, whether or not the target is seen or not is finally determined, and the control operation is performed according to the result. Thus, the communication time and the arithmetic processing time of the arithmetic processing unit are reduced The power consumption is reduced.
도 1은 본 발명의 실시예에 따른 절전기능을 구비한 이미지 인식 시스템의 블록도이다.1 is a block diagram of an image recognition system having a power saving function according to an embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 절전기능을 구비한 이미지 인식 시스템의 블록도로서 이에 도시한 바와 같이, 이미지 센서모듈(11), 연산부(12) 및 표시장치(13)를 포함한다. FIG. 1 is a block diagram of an image recognition system having a power saving function according to an embodiment of the present invention, and includes an
본 발명의 실시예에 따른 이미지 인식 시스템(10)의 설치 부위는 특별히 한정되지 않으나, 여기서는 모바일 기기(예: 휴대폰)에 설치된 것을 예로 하여 설명한다. The installation site of the
이미지 센서모듈(11)은 아날로그 신호인 광을 전기적 신호로 변환시키는 반도체 소자로서 반도체 기판상에 광을 입사 받아 광량에 대응하는 광 전하를 생성하는 포토 다이오드들, 각 포토다이오드들로부터 출력된 광 전하에 대응하는 전기적 신호를 출력하는 구동 유닛들, 각 포토 다이오드들 상에 배치된 컬러필터들 및 각 컬러필터들 상에 배치된 렌즈 유닛을 포함할 수 있다.The
이미지 센서모듈(11)은 평상시 해당 구역에 감시 대상의 타겟(예: 사용자 또는 불법 침입자)이 나타나는 것을 감시하는데 이 감시 방법에는 여러 가지가 있을 수 있다. 예를 들어, 현재 촬영된 영상(image)을 미리 저장된 특정 패턴의 기준이미지와 비교하여 유사도 정도에 따라 타겟이 나타난 것을 판정할 수 있다. 다른 감시 방법으로써, 현재 촬영된 이미지를 바로 이전 주기에 촬영된 이미지와 비교하고, 그 비교 결과에 따라 타겟이 나타난 것을 판정할 수 있다. 여기서, 상기 해당 구역은 모바일 기기가 놓인 전면의 구역을 포함할 수 있다. The
이미지 센서모듈(11)은 상기와 같은 감시 동작을 수행하여 현재 타겟이 나타나지 않은 것으로 판단된 경우 계속해서 상기와 같은 감시동작을 주기적으로 수행한다. 그러나, 상기 이미지 센서모듈(11)에서 상기와 같은 감시 동작의 결과 감시 대상의 타겟이 나타난 것으로 판명될 경우에는 상기 이미지 센서모듈(11)이 연산부(12)에 인터럽트신호(INT)를 전송한다. The
이에 대하여, 상기 연산부(12)로부터 상기 이미지 센서모듈(11)에 이미지전송명령(COMMAND)이 수신되면, 상기 이미지 센서모듈(11)은 상기 해당 구역을 감시하여 획득되는 데이터 예를 들어 이미지데이터(DATA)를 상기 연산부(12)에 전송한다. On the other hand, when an image transfer command is received from the
상기 이미지 센서모듈(11)이 상기 해당 구역을 감시하여 획득되는 데이터는 상기 이미지데이터(DATA)로 한정되는 것이 아니라, 적외선 감시데이터, 열감지 데이터 등의 다른 데이터들이 포함될 수 있다. The data obtained by the
연산부(12)는 상기 이미지 센서모듈(11)로부터 수신되는 이미지데이터(DATA)를 연산처리하여 현재 감시 대상의 타겟이 모바일기기의 전면부에 나타나지 않은 것으로 판명되면 에러처리하고 별다른 제어동작을 수행하지 않는다.The
하지만, 상기 연산부(12)가 상기 이미지 센서모듈(11)로부터 수신되는 이미지데이터(DATA)를 연산처리하여 현재 감시 대상의 타겟이 모바일기기의 전면부에 나타난 것으로 판명될 때에는 미리 정해진 제어동작을 수행한다.However, when the
상기 연산부(12)의 미리 정해진 제어동작의 예로써, 해당 모바일기기의 표시장치(13)를 포함하여 모바일기기의 각부를 구동상태로 절환하는 파워 온 동작이 포함될 수 있다. 따라서, 상기 해당 모바일기기가 이와 같은 제어기능을 구비하는 경우 사용자가 모바일 기기를 사용하기 위해 상기 모바일 기기를 얼굴에 어느 정도 접근시키는 동작만 취해도 자동으로 모바일 기기의 화면이 켜지면서 동작 상태로 절환되므로 사용자는 보다 편리하게 모바일기기를 사용할 수 있게 된다. As an example of a predetermined control operation of the
상기 연산부(12)의 미리 정해진 제어동작의 다른 예로써, 상기 모바일기기를 이용하여 특정 구역을 감시하고자 할 경우, 상기와 같이 감시 대상의 타겟이 나타난 것으로 판명될 때 통신네트워크를 통해 원격지에 위치한 보안 시스템(20)에 경고정보를 전송한다. As another example of the predetermined control operation of the
상기 보안 시스템(20)은 경찰서 또는 119 등에 설치된 서버나, 사용자의 휴대폰 등을 포함할 수 있다.The
상기 표시장치(13)는 특별히 한정되지 않으며, LCD 패널 또는 AMOLED 패널와 같은 평판표시장치를 포함한다. 상기 연산부(12)는 비교적 짧은 시간 내에 많은 분량의 연산처리를 위해 고성능의 연산기능을 구비하는 것이 바람직하다.
The
이상의 설명에서는 상기 이미지 센서모듈(11)이 직접 감시 대상의 타겟이 나타나는 것을 감시하여 그에 따른 인터럽트신호(INT)를 상기 연산부(12)에 전송하고, 이에 대하여 상기 연산부(12)는 상기 이미지 센서모듈(11)에 이미지데이터(DATA)를 요청하여 연산처리한 후 그 연산처리 결과 타겟이 모바일기기의 전면부에 나타난 것으로 판명될 때에는 모바일 기기를 구동 상태로 절환하거나 보안 시스템(20)에 감시 대상의 타겟이 나타났음을 알리는 경고정보를 전송하는 것을 설명하였다.
In the above description, the
이와 동일한 과정을 통해 모바일 기기의 오프동작을 수행할 수 있다. 즉, 상기 이미지 센서모듈(11)이 모바일 기기의 전면부에 타겟이 사라지는 것을 감시하여 상기 인터럽트신호(INT)를 상기 연산부(12)에 전송하고, 이에 대하여 상기 연산부(12)는 상기 이미지 센서모듈(11)에 이미지데이터(DATA)를 요청하여 연산처리한 후 그 연산처리 결과 타겟이 모바일기기의 전면부에서 타겟이 사라진 것으로 판단하여 모바일 기기를 오프 상태로 절환하거나 보안 시스템(20)에 감시 대상의 타겟이 사라졌음을 알리는 경고정보를 전송할 수 있다.
The same operation can be performed to turn off the mobile device. That is, the
이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.
Although the preferred embodiments of the present invention have been described in detail above, it should be understood that the scope of the present invention is not limited thereto. These embodiments are also within the scope of the present invention.
10 : 이미지 인식 시스템 11 : 이미지 센서모듈
12 : 연산부 13 : 표시장치
20 : 보안 시스템10: image recognition system 11: image sensor module
12: operation unit 13: display device
20: Security system
Claims (6)
상기 이미지 센서모듈로부터 상기 인터럽트신호가 수신될 때 상기 이미지전송명령을 전송하고, 이에 대하여 상기 이미지 센서모듈로부터 수신되는 상기 감시데이터를 연산하여 상기 해당 모바일 기기의 전면부에 감시 대상의 타겟이 출몰하였는지의 여부를 2차적으로 판단하고, 상기 2차적으로 판단한 결과에 따라 해당 모바일 기기의 동작을 제어하는 연산부;를 포함하는 것을 특징으로 하는 절전기능을 구비한 이미지 인식 시스템.
The front side of the mobile device is periodically monitored to firstly determine that a target to be monitored is present and visible, and then an interrupt signal corresponding thereto is transmitted. When the image transmission command is received, the front side of the mobile device is monitored An image sensor module for transmitting surveillance data; And
When the interrupt signal is received from the image sensor module, the image transmission command is transmitted, and the monitoring data received from the image sensor module is calculated to determine whether the target of surveillance is visible on the front side of the mobile device And an operation unit for controlling the operation of the mobile device in accordance with a result of the secondary determination.
The image sensor module according to claim 1, wherein the image sensor module compares the currently photographed image with a previously stored reference image of a specific pattern or a previously photographed image, determines that the target has appeared or not according to the degree of similarity, and transmits the interrupt signal And a power saving function.
The image recognition system according to claim 1, wherein the monitoring data transmitted by the image sensor module includes at least one of image data, infrared monitoring data, and thermal sensing data.
The image recognition system according to claim 1, wherein the operation unit turns on or off the display device of the corresponding device according to the determination result.
The image recognition system according to claim 1, wherein the operation unit turns on or off the power of the corresponding device according to the determination result.
The image recognition system of claim 1, wherein the operation unit transmits alert information to a remote security system through a communication network according to the determination result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120052414A KR101395233B1 (en) | 2012-05-17 | 2012-05-17 | Image recognition system with power-saving function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120052414A KR101395233B1 (en) | 2012-05-17 | 2012-05-17 | Image recognition system with power-saving function |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130128589A KR20130128589A (en) | 2013-11-27 |
KR101395233B1 true KR101395233B1 (en) | 2014-05-16 |
Family
ID=49855625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120052414A KR101395233B1 (en) | 2012-05-17 | 2012-05-17 | Image recognition system with power-saving function |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101395233B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101466133B1 (en) * | 2014-07-25 | 2014-11-27 | 렉스젠(주) | Monitering system for saving power and method thereof |
CN106303414A (en) * | 2016-08-09 | 2017-01-04 | 惠州学院 | A kind of system of automatic identification video frequency motion target color |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11242733A (en) * | 1998-02-24 | 1999-09-07 | Sanyo Electric Co Ltd | Power saving controller |
KR100858932B1 (en) * | 2007-06-29 | 2008-09-17 | 고려대학교 산학협력단 | Apparatus and method for controlling power of display device using camera |
KR20090075175A (en) * | 2008-01-03 | 2009-07-08 | 주식회사 대우일렉트로닉스 | Power control apparatus for television |
KR20110109147A (en) * | 2010-03-30 | 2011-10-06 | 한국전자통신연구원 | Crime prevention system |
-
2012
- 2012-05-17 KR KR1020120052414A patent/KR101395233B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11242733A (en) * | 1998-02-24 | 1999-09-07 | Sanyo Electric Co Ltd | Power saving controller |
KR100858932B1 (en) * | 2007-06-29 | 2008-09-17 | 고려대학교 산학협력단 | Apparatus and method for controlling power of display device using camera |
KR20090075175A (en) * | 2008-01-03 | 2009-07-08 | 주식회사 대우일렉트로닉스 | Power control apparatus for television |
KR20110109147A (en) * | 2010-03-30 | 2011-10-06 | 한국전자통신연구원 | Crime prevention system |
Also Published As
Publication number | Publication date |
---|---|
KR20130128589A (en) | 2013-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150109192A1 (en) | Image sensing system, image sensing method, eye tracking system, eye tracking method | |
KR101395233B1 (en) | Image recognition system with power-saving function | |
CN109104689B (en) | Safety warning method and terminal | |
EP3625780B1 (en) | System and method for automatically disarming an intrusion detection system | |
CN112136160A (en) | Self-moving equipment, alarm module of self-moving equipment and alarm method of alarm module | |
US20140111500A1 (en) | Display device and communication method | |
JP2013164774A (en) | Intelligent monitoring system and intelligent monitoring device with automatic notification function | |
KR20140007051A (en) | Antitheft system and apparatus for portable device | |
KR101466133B1 (en) | Monitering system for saving power and method thereof | |
KR20190142645A (en) | Mold temperature control system of injection molding machine | |
US20200409449A1 (en) | Self-checkout terminal sleep and wake operations | |
TW201715397A (en) | Detecting system and method for baseboard management controller | |
KR101510409B1 (en) | A energy-efficient power control method using Human detection sensor and Plug with Wireless communication system | |
CN205959334U (en) | Intelligent wireless anti -theft alarm system | |
KR100743296B1 (en) | Method and apparatus for controlling a power an image display device | |
KR101624866B1 (en) | Remote controller for setting mode according to state of broadcast receiving apparatus | |
KR20220160427A (en) | Wireless power monitoring system | |
KR101375324B1 (en) | Service condition care and loss prevention method of led light device managed based on wireless communication and integrated management device therefor | |
US20180355635A1 (en) | Lock monitoring device, method and system for monitoring lock | |
KR200297601Y1 (en) | Apparatus for protecting to watch television nearly | |
WO2016051686A1 (en) | Crime-prevention management device, crime-prevention management method, control program, and crime-prevention management system | |
CN111615679B (en) | Screen state adjusting method and device | |
KR101856538B1 (en) | Eco-friendly wireless multi-tap system for cutting off standby power | |
CN106448004A (en) | Intelligent wireless antitheft alarm system | |
KR101000319B1 (en) | An economy in power consumption system which multitap for saving power uses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170425 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180425 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190422 Year of fee payment: 6 |