KR101696519B1 - Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same - Google Patents

Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same Download PDF

Info

Publication number
KR101696519B1
KR101696519B1 KR1020140136729A KR20140136729A KR101696519B1 KR 101696519 B1 KR101696519 B1 KR 101696519B1 KR 1020140136729 A KR1020140136729 A KR 1020140136729A KR 20140136729 A KR20140136729 A KR 20140136729A KR 101696519 B1 KR101696519 B1 KR 101696519B1
Authority
KR
South Korea
Prior art keywords
pattern
line
vehicle
code
license plate
Prior art date
Application number
KR1020140136729A
Other languages
Korean (ko)
Other versions
KR20160043197A (en
Inventor
고재필
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020140136729A priority Critical patent/KR101696519B1/en
Priority to PCT/KR2015/008585 priority patent/WO2016028048A1/en
Priority to US15/505,057 priority patent/US20170337408A1/en
Publication of KR20160043197A publication Critical patent/KR20160043197A/en
Application granted granted Critical
Publication of KR101696519B1 publication Critical patent/KR101696519B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 시스템은, 바운더리 코드가 에지 영역에 제공되는 차량의 번호판, 및 상기 바운더리 코드를 본래 차량 번호 정보로 변환하여 상기 차량 번호 정보를 저장하거나 표시하거나 외부로 전송하는 차량 번호 인식 장치를 포함하여 구성된다. 이와 같은 본 발명에 의하면, 고속 차량의 영상 버블링에도 불구하고 원거리에서도 패턴 인식이 용이하고, 특히 패턴 인식에 실패할 확률이 거의 없다.A car number identification system using a boundary code provided at an edge of a license plate of the present invention includes a license plate of a vehicle provided with a boundary code in an edge area and a car code number information storage unit which converts the car code information into original car number information, And a vehicle number recognizing device for displaying or transmitting to the outside. According to the present invention, the pattern recognition is easy even at a long distance despite the image bubbling of the high-speed vehicle, and there is little probability of failing to recognize the pattern.

Description

에지에 바운더리 코드를 포함하는 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법 {Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle number recognition system using a boundary code provided on an edge of a license plate and a vehicle license plate including a boundary code on an edge of the license plate, providing vehicle information using the same}

본 발명은, 차량 번호판, 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 장치, 시스템, 및 그 방법에 관한 것으로, 특히 차량의 번호판은 다양한 패턴과 사이즈가 혼재하고 있어 번호 검출이 복잡하고, 특히 차량이 기울어지거나 과속으로 블러링 되거나 혹은 원거리의 번호판에서 번호 검출 결과가 달라지는 문제점을 해결하기 위하여, 패턴이 있고 없고를 판단하기 때문에 영상이 더블링 된 경우에도 패턴 인식이 가능하고, 식별 코드를 라인 형태의 이미지 패턴으로 구성함으로써 차량이 기울어지는 경우에도 패턴 인식이 명확하며, 라인 패턴을 에지 영역에 배열함으로써 원거리에서도 패턴 인식이 용이함으로써, 차종 별 번호판의 형상이나 사이즈에 관계없이 차량 번호 정보를 성공적으로 획득할 수 있는 에지에 바운더리 코드를 포함하는 차량 번호판, 차량 번호 인식 장치, 시스템, 및 차량 번호 인식 방법에 관한 것이다.The present invention relates to a car number identification apparatus, system and method using a boundary code provided at the edge of a car license plate, a license plate, and more particularly to a vehicle license plate which has various patterns and sizes mixed, Particularly, in order to solve the problem that the vehicle is inclined, blurred at overspeed, or the number detection result is changed in the remote plate, pattern recognition is possible even when the image is doubled, The pattern recognition is clear even when the vehicle is inclined. By arranging the line pattern in the edge area, it is easy to recognize the pattern even at a long distance, so that the car number information can be successfully The boundary code that can be obtained with A car number identification device, a system, and a car number identification method.

일반적으로, 백화점, 아파트, 및 유료 주차장 등과 같은 시설에는 차량의 관리를 위한 다수의 인력이 사용되고 있다. 그러나 인건비를 절감하고자 주차장의 입구와 출구에 카메라를 설치하고 진입하는 차량의 번호판을 촬영한 뒤 이를 문자와 숫자로 인식하여 차량을 식별하고 해당 주차 요금을 정산하는 시스템이 개발되고 있다.Generally, facilities such as department stores, apartments, and paid parking lots use a large number of personnel to manage the vehicle. However, in order to reduce labor costs, a system has been developed in which a camera is installed at the entrance and exit of a parking lot, a license plate of an entering vehicle is photographed, and the license plate is recognized as letters and numbers to identify the vehicle and settle the parking fee.

도 1을 참조하면, 종래의 차량 번호 인식 시스템은 카메라와 영상 처리 수단을 이용하여 번호판 영역을 검출하고(S10), 번호판 영역을 보정하며(S20), 번호판 영역을 분할하고(S30), 분할 영역을 구분 처리하여(S40), 자릿수 별 숫자와 문자를 각각 인식한다(S50).Referring to FIG. 1, a conventional car number recognition system detects a license plate area using a camera and image processing means, corrects the license plate area (S20), divides the license plate area (S30) (S40), and recognizes digits and characters by digits (S50).

이때, 도 2를 참조하면, 번호판의 형상이나 사이즈가 차량 종류별로 다양하여 여기에 인쇄되는 자릿수별 숫자 및 문자 패턴 또한 제각각이다. 번호판 영역을 분할하여 숫자, 및 문자를 인식하는 절차가 매우 복잡하고, 까다로울 수밖에 없으며, 이를 인식하기 곤란하다.At this time, referring to FIG. 2, the shape and size of the license plate vary according to the type of vehicle, and the number and character pattern of each number printed thereon are also different. The process of dividing the license plate area and recognizing numbers and letters is very complicated and difficult, and it is difficult to recognize it.

한편, 카메라는 하나의 영상 프레임을 얻기 위해 이미지 센서에 일정 시간 노출을 주는 노출 시간을 가진다. 움직이는 차량을 촬영하는 경우, 이러한 노출 시간 동안 촬영되는 차량은 정지하여 있는 것이 아니므로, 카메라 노출 시간 동안의 움직임에 대해서 영상 블러링(blurring) 현상이 발생한다. 이러한 영상 블러링 현상이 발생하면 영상에서 해당 움직이는 차량의 정보가 손실되게 되고, 카메라가 제 기능을 할 수 없다.On the other hand, the camera has an exposure time for giving a predetermined time exposure to the image sensor to obtain one image frame. When a moving vehicle is photographed, since the vehicle photographed during such exposure time is not at rest, image blurring occurs with respect to movement during the camera exposure time. If such image blurring occurs, information of the moving vehicle is lost in the image, and the camera can not function.

전술한 바와 같이 차량이 톨게이트 영역이니 카메라 단속 영역을 빠른 속도를 통과하게 되면, 도 3에 도시된 바와 같이 모션 블러링 현상에 의하여 번호판의 번호 인식이 곤란하다. 또한, 차량이 고의로 양쪽 차선에 걸쳐 비스듬하게 통과하면 번호판이 기울게 촬영되기 때문에 영상 처리가 곤란하고, 복구되어 영상 처리가 가능하더라도 화질 저하로 실질적으로 번호 정보 인식이 불가능하다. As described above, if the vehicle passes through the camera intermittent area at a high speed because it is a tollgate area, it is difficult to recognize the number of the license plate by the motion blurring phenomenon as shown in FIG. Further, if the vehicle intentionally passes through both lanes at an angle, the license plate is taken obliquely so that the image processing is difficult, and even if the image processing is possible, the image quality deteriorates and the number information recognition is practically impossible.

종래의 차량 번호 인식 장치 및 방법에 의하면, 전술한 모션 블러링 현상을 피할 길이 없다. 피하더라도 차량 번호 인식이 곤란하다.According to the conventional vehicle number recognition apparatus and method, the above-described motion blurring phenomenon can not be avoided. It is difficult to recognize the car number.

이와 같이, 차량 번호 정보 인식을 위한 영상 처리는 매우 선명한 이미지를 요구하며, 여기에 사용되는 카메라도 고화질 카메라가 사용되며, 야간에는 특히 주간과 같은 영상 효과를 위하여 특수 조명 근적외선 카메라를 이용하여야 하기 때문에, 고가의 카메라가 요구되고, 결과적으로 전체 비용 상승의 원인이 된다.As described above, the image processing for recognizing the car number information requires a very sharp image, and the camera used here is also a high-definition camera. In the nighttime, a special illumination near infrared ray camera , An expensive camera is required, and as a result, the total cost is increased.

공개 특허 10-2014-0078088Patent Document 10-2014-0078088

따라서 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 번호 기반 차량 정보 획득 장치의 경우 차량의 모션 블러링과 같은 불리한 환경에서 차량 번호 인식률이 급격히 저하되는 근본적인 한계를 해결하기 위하여 통상의 카메라를 사용하더라도 모션 블러링에 관계없이 번호 인식이 용이한 차량 번호 인식 방법, 장치 및 시스템을 제공한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and it is an object of the present invention to provide a number-based vehicle information acquiring apparatus, in which a vehicle number recognition rate is rapidly deteriorated in an adverse environment such as a motion blur of a vehicle A method, apparatus and system for recognizing a car number, which can easily recognize a car number regardless of motion blur even if a normal camera is used to solve a fundamental limitation.

본 발명의 다른 목적은 고속 주행 차량에서도 비전 기반 차량 번호 인식이 가능하도록, 코드가 번호판의 전체 테두리에 제공되는 차량 번호 인식 방법, 장치 및 시스템을 제공한다.Another object of the present invention is to provide a vehicle number recognition method, an apparatus and a system in which a code is provided on the entire rim of a license plate so that vision-based license number recognition is possible even in a high-speed driving vehicle.

본 발명의 또 다른 목적은 카메라 촬영에 의하여 차량 번호가 자동 인식되고, 본래 차량 번호와 대응되는 오프라인 코드 정보를 차량 관제 서버에 온라인으로 제공하는 차량 번호 인식 방법, 장치 및 시스템을 제공한다.It is still another object of the present invention to provide a car number identification method, apparatus and system for automatically recognizing a car number by camera shooting and providing off-line code information corresponding to a car number on-line to a car control server.

본 발명의 다른 목적은 차량 번호 정보가 인코딩되는 코드의 인식에 실패하지 않도록 이미지 패턴 구성이 용이한 차량 번호 인식 방법, 장치 및 시스템을 제공한다. It is another object of the present invention to provide a method, apparatus and system for recognizing a car number in which image pattern configuration is easy to prevent recognition of a code in which car number information is encoded.

본 발명의 또 다른 목적은 번호판의 에지 코너 윤곽을 활용하여 코드 인식이 가능한 차량 번호 인식 방법, 장치 및 시스템을 제공한다.It is still another object of the present invention to provide a method, apparatus and system for recognizing a car number capable of recognizing a code by utilizing an edge corner contour of a license plate.

본 발명의 또 다른 목적은 특정 위치의 코드 존재 여부만을 인식하면 코드 인식이 가능한 차량 번호 인식 방법, 장치 및 시스템을 제공한다.It is still another object of the present invention to provide a car number recognition method, an apparatus and a system capable of recognizing codes by recognizing only the presence or absence of a code at a specific location.

본 발명의 또 다른 목적은 차량 번호 정보를 전국의 실제 차량과 각각 대응되도록 다수의 코드 조합이 가능한 차량 번호 인식 방법, 장치 및 시스템을 제공한다.It is still another object of the present invention to provide a car number identification method, apparatus and system capable of combining a plurality of codes so that the car number information corresponds to an actual car in the whole country.

전술한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명의 차량 번호 인식 시스템은, 바운더리 코드가 에지 영역에 제공되는 차량의 번호판, 및 상기 바운더리 코드를 본래 차량 번호 정보로 변환하여 상기 차량 번호 정보를 저장하거나 표시하거나 외부로 전송하는 차량 번호 인식 장치를 포함한다.According to an aspect of the present invention, there is provided a car number recognition system including: a license plate of a vehicle provided with a boundary code in an edge area; And a car number identification device for storing, displaying, or transmitting car number information to the outside.

본 발명의 다른 특징에 의하면, 본 발명의 차량 번호판은, 본래 차량 정보가 배치되는 표지 영역, 상기 표지 영역의 가장자리 둘레에 상기 본래 차량 정보가 식별 코드 형태로 배치되는 에지 영역을 포함하고, 상기 표지 영역에 상기 본래 차량 정보가 숫자나 문자로 표시되고, 상기 에지 영역의 상기 식별 코드는 바운더리 코드이며, 상기 에지 영역은 4 코너 블록을 포함하며, 상기 바운더리 코드는 상기 4 코너 블록에 위치한다.According to another aspect of the present invention, a vehicle license plate of the present invention includes a cover area where original vehicle information is disposed, an edge area around the periphery of the cover area where the original vehicle information is arranged in the form of an identification code, The original vehicle information is represented by numbers or letters in the area, the identification code of the edge area is a boundary code, the edge area includes four corner blocks, and the boundary code is located in the four corner blocks.

본 발명의 또 다른 특징에 의하면, 본 발명의 차량 번호 인식 장치는, 차량 패턴의 영상 데이터를 수집하고, 수집된 영상 데이터로부터 차량 번호판을 검출하고, 상기 번호판에서 차량 번호 정보를 인식하는 차량 번호 인식 장치에 있어서, 상기 차량 번호 인식 장치는, 상기 차량 번호판을 검출하는 영상 처리 애플리케이션(APP), 및 상기 번호판에서 상기 차량 번호 정보를 인식하는 코드 해석 애플리케이션(APP)을 탑재한 스마트기기로 구성되고, 상기 영상 처리 APP는, 상기 영상 데이터에서 상기 차량 패턴을 검출하는 차량 패턴 검출프로그램, 및 상기 차량 패턴에서 상기 번호판 패턴을 검출하는 번호판 패턴 검출프로그램을 포함하고, 상기 코드 해석 APP는, 상기 번호판의 에지 영역을 검출하는 에지 검출프로그램, 상기 에지 영역에서 식별 코드의 패턴 이미지를 추출하는 이미지 추출프로그램, 및 상기 패턴 이미지에서 상기 차량 번호 정보를 생성하는 이미지 처리프로그램을 포함한다.According to another aspect of the present invention, a vehicle number recognition apparatus of the present invention is a vehicle number recognition apparatus that collects image data of a vehicle pattern, detects a license plate from the collected image data, The apparatus comprises a smart device equipped with an image processing application (APP) for detecting the license plate and a code analysis application (APP) for recognizing the license plate number information on the license plate, Wherein the image processing APP includes a vehicle pattern detecting program for detecting the vehicle pattern from the image data and a license plate pattern detecting program for detecting the license plate pattern in the vehicle pattern, An edge detection program for detecting an area in the edge area, In the image extraction program, and the pattern image to extract the image includes an image processing program for generating the car number information.

본 발명의 또 다른 특징에 의하면, 본 발명의 차량 번호 인식 방법은, 차량의 번호판을 촬영하는 단계, 상기 번호판의 패턴을 검출하는 단계, 상기 번호판의 에지 영역을 검출하는 단계, 상기 번호판의 에지 영역을 정렬하는 단계, 상기 에지 영역을 코드 블록으로 분할하는 단계, 상기 분할된 에지 영역 별로 식별 코드를 추출하는 단계, 및 상기 식별 코드를 해석하여 차량 번호 정보를 추출하는 단계를 포함한다.According to another aspect of the present invention, a car number recognition method of the present invention includes the steps of photographing a license plate of a vehicle, detecting a pattern of the license plate, detecting an edge area of the license plate, Dividing the edge area into code blocks, extracting an identification code for each of the segmented edge areas, and extracting the car number information by interpreting the identification code.

위에서 설명한 바와 같이, 본 발명의 구성에 의하면 다음과 같은 효과를 기대할 수 있다.As described above, according to the configuration of the present invention, the following effects can be expected.

첫째, 차종 별 번호판의 형상이나 사이즈에 관계없이 차량 번호 정보를 성공적으로 획득할 수 있다.First, vehicle number information can be acquired successfully regardless of the shape or size of the license plate.

둘째, 차량 번호 정보 인식이 수월해지기 때문에 톨게이트 없이 차로제어기를 이용하여 고속 주행하는 차량에 대하여도 과금이 가능한 스마트 톨링 시스템에도 적용할 수 있다. Second, since it is easy to recognize the car number information, the present invention can be applied to a smart tolling system capable of billing a vehicle traveling at a high speed using a controller without a toll gate.

셋째, 바운더리 코드는 패턴의 길이 혹은 두께를 조절하면 코드 인식이 용이하기 때문에, 차량 번호 정보를 쉽게 인식할 수 있고, 번호 인식이 수월하여 원격 서버를 이용하지 않고도 칩과 같은 카메라 자체 서버를 통하여 차량 번호 정보를 추출할 수 있다.Third, the boundary code can easily recognize the car number information by easily recognizing the code by adjusting the length or the thickness of the pattern, and it is easy to recognize the number. Therefore, without using a remote server, The number information can be extracted.

넷째, 사용자의 시선이 집중되지 않는 번호판의 에지 영역을 활용하기 때문에, 사용자에게 불편을 주지 않으며, 본래 차량 번호 정보를 인식하는데 아무런 지장을 받지 않는다.Fourth, since the edge area of the license plate which does not concentrate the user's attention is utilized, it does not inconvenience the user and does not hinder the recognition of the car number information originally.

다섯째, 특정 이미지 패턴의 존재 혹은 부존재만을 인식하기만 하면 되기 때문에, 패턴 인식에 실패할 확률이 거의 없다. Fifth, since only the presence or absence of a specific image pattern needs to be recognized, there is little probability of failure in pattern recognition.

여섯째, 패턴의 유무, 길이, 두께, 유형, 및 아이콘 결합 여부 등에 따라 무수히 많은 코드 조합이 가능하다.Sixth, it is possible to combine a large number of codes according to whether there is a pattern, a length, a thickness, a type, and a combination of icons.

도 1은 종래 기술에 의한 차량 번호 인식 방법을 나타내는 순서도.
도 2는 종래 기술에 의한 차량 번호판의 다양한 형상과 사이즈 사례.
도 3은 종래 기술에 의한 고속 주행 차량의 영상 블러링 현상 사례.
도 4는 본 발명에 의한 차량 번호 인식 시스템의 블록도.
도 5는 본 발명에 의한 차량 번호 인식 장치의 블록도.
도 6 내지 8은 본 발명에 의한 에지에 바운더리 코드를 포함하는 차량 번호판의 정면도들.
도 9는 본 발명에 의한 차량 번호 인식 방법을 나타내는 순서도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a flowchart showing a car number recognition method according to the prior art;
FIG. 2 is a view showing various shapes and sizes of a license plate according to the prior art.
FIG. 3 is a view showing a conventional image blurring phenomenon of a high-speed traveling vehicle.
4 is a block diagram of a car number identification system according to the present invention;
5 is a block diagram of a car number recognition apparatus according to the present invention;
Figures 6 to 8 are elevation views of a license plate comprising a boundary code on an edge according to the present invention.
9 is a flowchart showing a car number identification method according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해 질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려 주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Brief Description of the Drawings The advantages and features of the present invention, and how to achieve them, will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

이하, 상기한 바와 같은 구성을 가지는 본 발명에 의한 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 시스템의 바람직한 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a vehicle identification system using a boundary code provided on an edge of a license plate according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 차량 번호 인식 장치는, 도로나 건물 등 출입 통제 영역에 고정 설치되고, 출입 통제 영역으로 진입하는 차량 정보를 수집하는 기능을 수행하는 건물 출입 통제 관련 기술 분야에 적용될 수 있다. 이와 네트워크 통신하는 차량 정보 종합 서버는 정보 수집 결과 출입이 허여된 차량이 아니라고 판단되는 경우 경고 알람 등의 퇴거 조치를 수행할 수 있다.The vehicle identification apparatus of the present invention can be applied to a technical field of a building access control system which is fixedly installed in an access control area such as a road or a building and performs a function of collecting vehicle information entering the access control area. And a vehicle information comprehensive server communicating with the network can carry out a retirement measure such as a warning alarm when it is judged that the information collection result is not a vehicle to which access is granted.

본 발명의 차량 번호 인식 장치는, 주차 요금을 부과하기 위하여 주차장으로 진입하거나 퇴거하는 차량 정보를 수집하는 주차 요금 정산 관련 기술 분야에 적용될 수 있다. 이와 네트워크 통신하는 차량 정보 종합 서버는 해당 차량의 주차 시간을 계산하여 주차 요금을 결정하여 통지할 수 있다. The car number recognition apparatus of the present invention can be applied to a technical field related to a parking fee settlement for collecting vehicle information for entering or leaving a parking lot in order to charge a parking fee. The vehicle information comprehensive server that communicates with the network can calculate the parking time of the corresponding vehicle, determine the parking charge, and notify it.

본 발명의 차량 번호 인식 장치는, 불법 주/정차 차량을 단속하기 위하여 단속 차량에 설치되는 주차 단속 관련 기술 분야에 적용될 수 있다. 이와 네트워크 통신하는 차량 정보 종합 서버는 불법 주/정차 기준과 대비하여 불법 주/정차 여부를 결정하며, 필요에 따라 차량(C)의 소유주 단말기로 불법 주/정차 사실을 알려 이를 시정할 수 있다.The vehicle identification apparatus of the present invention can be applied to a parking interception related technical field installed in an intermittent vehicle for interrupting an illegal main / stop vehicle. The network information communication server that communicates with the network determines whether illegal state / stopping is performed in comparison with the illegal state / stop criteria, and can inform the owner terminal of the vehicle (C) of the illegal state / stop if necessary.

본 발명의 차량 번호 인식 장치는, 도난 기타 범죄 차량을 수배하는 경찰차나 일반 자가용의 블랙박스에 설치되는 전방 차량 정보 수집 관련 기술 분야에 적용될 수 있다. 이와 네트워크 통신하는 차량 정보 종합 서버는 해당 범죄 차량을 경찰 서버나 검찰 서버로 신고할 수 있다.The car number recognition apparatus of the present invention can be applied to a technical field related to forward vehicle information collection installed in a black box of a police car or a general car for arresting aft or other crime vehicles. And the vehicle information comprehensive server communicating with the network can report the crime vehicle to the police server or the prosecution server.

도 4를 참조하면, 본 발명의 번호판의 에지에 제공되는 바운더리 코드를 이용한 차량 번호 인식 시스템(1000)은, 식별 코드(102)가 에지(Edge)에 제공되는 번호판(M), 및 식별 코드(102)를 차량 번호 정보로 변환하는 차량 번호 인식 장치(T)를 포함한다. 차량 번호 정보 혹은 차량 번호 정보와 관련된 부가 정보를 실시간으로 생성 및 저장하여 차량 번호 인식 장치(T)에 제공하는 차량 정보 종합 서버(S)를 더 포함할 수 있다. 4, a vehicle number recognition system 1000 using a boundary code provided at an edge of a license plate of the present invention includes a license plate M provided with an identification code 102 at an edge, 102) to the vehicle number information. (S) for generating and storing additional information related to the vehicle number information or the vehicle number information in real time and providing the same to the vehicle number recognizing device (T).

번호판(M)은, 차량(C)의 번호 정보를 시각적으로 알리는 커버를 의미한다. 본래 차량 번호 정보는 사용자가 직접 인식할 수 있는 숫자, 및 문자의 조합으로 구성될 수 있다. The license plate M means a cover that visually informs the number information of the vehicle C. Originally, the car number information can be composed of a combination of numbers and characters that the user can directly recognize.

번호판(M)은 전술한 숫자, 및 문자 조합의 차량 번호 정보가 배치되는 표지 영역(M1)과, 표지 영역(M1)의 가장자리 둘레에 본래 차량 번호 정보가 식별 코드(102) 형태로 배치되는 에지 영역(M2)을 포함한다.The license plate M includes a cover region M1 in which vehicle number information of the number and character combination described above is disposed and a cover region M1 surrounding the edge of the cover region M1 in which original car number information is arranged in the form of an identification code 102 Area M2.

차량 번호 인식 장치(T)는, 그 자체로서 차량 번호 정보를 생성하여 저장하거나 출력할 수 있으며, 통신 수단을 이용하여 차량 번호 정보를 외부에 전송할 수 있다. 가령, 스마트폰, 휴대폰, 아이폰, 노트북 컴퓨터 등 이동성 단말기(Terminal)를 포함할 수 있다. 따라서 이동 통신망(Network)을 통한 통신이나 근거리 무선 통신 등 다양한 통신 기능을 가질 수 있는 단말기는 여기에 모두 포함될 수 있다. 다만, 차량 번호 인식 장치(T)는, 스캐너나 카메라 모듈이 장착되는 것으로 한다. The vehicle identification apparatus T can generate and store the vehicle identification information as it is, and can transmit the vehicle identification information to the outside using the communication means. For example, it may include a mobile terminal such as a smart phone, a mobile phone, an iPhone, and a notebook computer. Accordingly, a terminal that can have various communication functions such as communication via a network and a short-range wireless communication can be all included herein. However, it is assumed that the vehicle number recognition device T is equipped with a scanner or a camera module.

도 5를 참조하면, 차량 번호 인식 장치(T)는, 번호판(M)을 포함하여 차량(C)의 영상 데이터를 수집하는 영상 수집 모듈(110), 수집된 영상 데이터를 처리하여 번호판(M)을 검출하는 영상 처리 모듈(120), 및 번호판(M)에서 번호 정보를 추출하는 코드 해석 모듈(130)을 포함한다. 5, the vehicle number recognizing apparatus T includes an image collecting module 110 for collecting image data of the vehicle C including a license plate M, And a code analyzing module 130 for extracting the number information from the license plate M. The image processing module 120 may be a digital camera,

차량 번호 인식 장치(T)는, 번호 정보를 저장하는 정보 저장 모듈(140), 번호 정보를 사용자에게 보여주거나 말해주는 정보 표시 모듈(150), 및 번호 정보를 외부에 전송하는 정보 통신 모듈(160)을 더 포함할 수 있다.The vehicle number recognition apparatus T includes an information storage module 140 for storing number information, an information display module 150 for displaying or telling the number information to the user, and an information communication module 160 for transmitting the number information to the outside ). ≪ / RTI >

영상 수집 모듈(110)은, 번호판(M)을 포함하는 차량(C)의 영상에 대한 광학적 신호를 수광하는 렌즈(112), 및 상기 수광 된 광학적 신호를 영상 처리에 필요한 전기적 영상 신호로 변경하는 영상 데이터를 생성하는 이미지 센서(114)를 포함하는 카메라 모듈일 수 있다. 이때 영상 수집 모듈(110)은 식별 코드(102)가 컬러 패턴을 포함하는 경우 RGB 필터로 구성되는 컬러 필터 어레이를 더 포함하는 컬러 카메라 모듈일 수 있다.The image collection module 110 includes a lens 112 for receiving an optical signal for an image of the vehicle C including the license plate M and a control unit 112 for changing the received optical signal into an electrical image signal necessary for image processing And a camera module including an image sensor 114 for generating image data. The image acquisition module 110 may be a color camera module that further includes a color filter array composed of RGB filters when the identification code 102 includes a color pattern.

이미지 센서(114)는, CCD(Charged Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등을 포함할 수 있다. 또한, 전술한 컬러 카메라 모듈은, CCD, CMOS 외에도 화상, 웹, 혹은 각종 디지털 카메라를 모두 포함할 수 있다.The image sensor 114 may include a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like. In addition, the color camera module may include an image, a web, or various digital cameras in addition to a CCD and a CMOS.

영상 처리 모듈(120)은, 영상 데이터에서 차량(C) 패턴을 검출하는 차량 패턴 검출부(122), 및 차량(C) 패턴에서 특정 형상의 번호판(M) 패턴을 검출하는 번호판 패턴 검출부(124)를 포함한다.The image processing module 120 includes a vehicle pattern detecting section 122 for detecting a vehicle C pattern from image data and a license plate pattern detecting section 124 for detecting a license plate pattern of a specific shape in the vehicle C pattern, .

차량 패턴 검출부(122)는, 차량(C) 특정 형상의 패턴 경계를 강조하도록, 영상 데이터에서 로컬 평균(local average) 필터를 이용하여 노이즈를 제거하고, 스펙트럼 평활화(spectrum equalization)를 이용하여 특정 패턴의 밝기를 보정해 줄 있다. 가령, 그림자 영향을 제거하는 보정을 실시하거나, 특정 컬러 패턴을 그레이(gray) 패턴으로 변경한 후 일정한 명암 값 분포를 가지도록 그레이 패턴 명암 값에 대한 평활화를 실시할 수 있다.The vehicle pattern detecting unit 122 removes noise using a local average filter in the image data so as to emphasize the pattern boundary of the specific shape of the vehicle C and uses the spectrum equalization to extract a specific pattern The brightness of the image can be corrected. For example, a correction may be performed to remove the shadow effect, or a certain color pattern may be changed to a gray pattern, and then the gray pattern contrast value may be smoothed to have a constant contrast value distribution.

번호판 패턴 검출부(124)는 차량(C) 패턴에서 번호판(C) 패턴만을 검출할 수 있다. 가령, 차량 번호판 인식 알고리즘과 같은 지식 기반 알고리즘(knowledge based-algorithm)을 사용하여, 번호판(M)은 대략 사각형이고 차량(C) 전체에서 중앙에 위치하며, 차량(C) 전체와 비교하여 사이즈 비중은 얼마 정도가 된다는 사실에 출발하여 차량(C) 패턴에서 번호판(M) 패턴만을 검출할 수 있다. The license plate pattern detection unit 124 can detect only the license plate (C) pattern in the vehicle C pattern. For example, using a knowledge based algorithm such as a license plate recognition algorithm, the license plate M is roughly square and centrally located over the entirety of the vehicle C, (M) pattern in the vehicle (C) pattern.

다른 방법으로 백색의 배경색에 검정색 기타 유색의 숫자가 시리얼로 반복되는 경우 번호판(M)으로 인식할 수 있다. 혹은 또 다른 방법으로 번호판 패턴 검출부(124)는 차량(C) 번호판(M) 형상 정보 및 사이즈 정보가 저장된 DB를 이용하여, 기 저정된 DB의 샘플 정보와 비교하여 번호판(M) 패턴을 검출할 수 있다.Alternatively, if the white background color is black and the other colored number is repeated in the serial, it can be recognized as a plate number M. Alternatively, the plate pattern detector 124 may detect the plate (M) pattern by comparing the information with the sample information of the stored DB using the DB storing the shape information and the size information of the vehicle (C) plate .

한편, 차량(C)이 카메라 모듈과 일직선상에 위치하지 않은 경우, 좌우로 기울어진 각도를 추출하고 해당 차량의 방향 값을 계산할 수 있다. 가령, 번호판(M) 패턴이 상호 비대칭인 경우 방향 값을 반영하여 번호판(M)의 식별 코드(102)를 인식할 수 있다. 이와 같이 번호판(M)이 기울어지는 등 정렬되지 않은 경우 이를 회전시켜 정렬하는 기능은 물론이고, 번호판(M)의 사이즈가 상이한 경우에도 이를 동일한 사이즈 환경으로 조정하는 기능도 수행할 수 있다.On the other hand, when the vehicle C is not located on a straight line with the camera module, the angle of the vehicle C can be extracted and the direction value of the vehicle can be calculated. For example, if the license plate patterns are mutually asymmetric, the identification code 102 of the license plate M can be recognized by reflecting the direction value. In the case where the number plate M is not aligned as such, it is possible to perform a function of aligning the number plate M and rotating and aligning the number plate M, and adjusting the same size environment even when the size of the number plate M is different.

코드 해석 모듈(130)은, 번호판(M)의 에지 영역(M2)을 검출하는 에지 검출부(132), 에지 영역(M2)에서 식별 코드(102)의 패턴 이미지를 획득하고 획득된 식별 코드(102)에서 패턴 이미지를 추출하는 이미지 추출부(134), 전술한 패턴 이미지와 대응되는 코드 데이터가 기 저장된 DB를 이용하여 패턴 이미지로부터 번호 정보를 생성하는 이미지 처리부(136)를 포함한다. 여기서, DB에 저장된 코드 데이터는 패턴 이미지를 번호 정보로 변환시키는 암호이다. The code analysis module 130 includes an edge detection section 132 for detecting the edge area M2 of the license plate M and a pattern image of the identification code 102 in the edge area M2, An image extraction unit 134 for extracting a pattern image from the pattern image, and an image processing unit 136 for generating the number information from the pattern image using the DB stored in advance with the code data corresponding to the pattern image. Here, the code data stored in the DB is a code for converting the pattern image into the number information.

이미지 추출부(134)는 에지 영역을 코드 블록(가령, 4개의 코너 블록)(B)으로 분할하는 영역 분할부(134a), 및 코드 블록(B) 별로 식별 코드를 처리하는 블록 처리부(134b)를 포함한다. 따라서 에지 영역은 4 코너 블록을 포함하고, 코드 블록은 4 코너 블록과 대응됨으로써, 블록 처리부(134b)는 4 코너 블록 별로 식별 코드(102)를 처리하게 된다.The image extracting unit 134 includes an area dividing unit 134a for dividing an edge area into code blocks (for example, four corner blocks) B and a block processing unit 134b for processing an identification code for each code block B, . Accordingly, the edge area includes four corner blocks, and the code block corresponds to four corner blocks, so that the block processing section 134b processes the identification code 102 for every four corner blocks.

한편, 본 발명의 차량 번호 인식 장치(T)는 차량용 블랙박스의 영상 기록 장치에 설치되거나 차량용 블랙박스 그 자체일 수 있다. 이와 같이 차량 번호 인식 장치(T)는 통신 기술과 결합하여, 오프라인에서 촬영된 주변의 차량 번호 정보를 종합 서버(S)로 업로드 하여 차량 관제 서비스 용도로 사용될 수 있다.On the other hand, the car number recognition apparatus T of the present invention may be installed in an image recording apparatus of a car black box or may be a car black box itself. In this way, the car number identification device T can be used for vehicle control service by uploading car number information of the surrounding car, photographed in off-line, to the general server S in combination with the communication technology.

만약, 차량 번호 인식 장치(T)로서 스마트기기(Smart Device)가 사용되는 경우, 스마트기기에는 영상 처리 APP 및 코드 해석 APP가 다운로드 되며, 영상 처리 APP 및 코드 해석 APP는 영상 데이터에서 차량(C) 패턴을 검출하는 차량 패턴 검출프로그램, 차량(C) 패턴에서 번호판(M) 패턴을 검출하는 번호판 패턴 검출프로그램, 번호판(M)의 에지 영역(M2)을 검출하는 에지 검출프로그램, 에지 영역(M2)에서 식별 코드(102)의 패턴 이미지를 추출하는 이미지 추출프로그램, 및 패턴 이미지로부터 번호 정보를 생성하는 이미지 처리프로그램을 이용함으로써, 식별 코드(102)를 차량 번호 정보로 변환할 수 있다. 스마트기기를 이용하여 코드 정보 변환하는 경우 별도의 저장 모듈, 카메라 모듈이나 통신 모듈을 구비하지 않아도 된다.If a smart device is used as the car number recognition device T, the image processing APP and the code analysis APP are downloaded to the smart device, and the image processing APP and code analysis APP are downloaded from the image data to the vehicle C, A license plate detection program for detecting the license plate pattern in the vehicle C pattern; an edge detection program for detecting the edge area M2 of the license plate M; The identification code 102 can be converted into the car number information by using an image extraction program for extracting the pattern image of the identification code 102 from the pattern image and an image processing program for generating the number information from the pattern image. When code information is converted using a smart device, it is not necessary to provide a separate storage module, a camera module, or a communication module.

이와 같이, 본 발명에서 번호판의 에지에 제공되는 바운더리 코드를 이용하여 차량 번호 인식 시스템(1000)에 의하면, 카메라 모듈이 장착된 스마트기기는 간단하게 영상 처리 및 코드 해석 APP를 탑재하여 차량 정보 관련 서비스를 제공받을 수 있다.As described above, according to the car number identification system 1000 using the boundary code provided at the edge of the license plate in the present invention, the smart device equipped with the camera module simply implements image processing and code interpretation APP, Can be provided.

차량 정보 종합 서버(S)는, 차량 번호를 유/무선 네트워크를 통하여 수신하고, 차량 번호 DB를 두고, 관련 정보와 차량 번호를 대비하여 이벤트가 존재하는지 판단한다. 여기서 이벤트란, 주차 요금 발생 여부, 도난 기타 범죄 차량 여부 등을 포함할 수 있다. 가령, 차량 번호 DB에 해당 차량 번호가 도난 차량으로 등록되어 있는 경우, 즉시 이 사실을 유관 기관에 알릴 수 있다.The vehicle information comprehensive server S receives the vehicle number via the wired / wireless network, puts the vehicle number DB, and determines whether there is an event by comparing the related information with the vehicle number. Here, an event may include whether a parking fee is generated, whether the vehicle is theft or other crime. For example, if the vehicle number is registered in the vehicle number DB as a stolen vehicle, it can be immediately notified to the related authority.

또한, 차량 정보 종합 서버(S)는, 식별 코드(102)를 정의하고, 번호판(M)에 차량 번호 정보를 식별 코드(102)로 변환(인코딩)하는 것을 지원할 수 있다.The vehicle information comprehensive server S can also support the identification code 102 and convert (encode) the car number information into the identification code 102 in the license plate M. [

본 발명은 차량 번호 정보를 차량 번호 인식 장치(T)에 저장된 코드 데이터를 통해서 차량 번호 정보를 직접 디코딩할 수 있음은 물론이고, 차량 번호 인식 장치(T)는 차량 정보 종합 서버(S)와 네트워크 통신을 수행하여 차량 번호 정보를 전송받을 수 있다.The present invention can directly decode the car number information through the code data stored in the car number recognizing device T. The car number recognizing device T includes a car information collecting server S and a network Communication can be performed to receive the car number information.

본 발명에서 식별 코드(102)는 패턴 이미지를 포함한다. 여기서 패턴 이미지는 번호판(M)의 에지 영역(M2)에 배치 가능한 바운더리 코드 형태로 디자인될 수 있다.In the present invention, the identification code 102 includes a pattern image. Here, the pattern image can be designed in the form of a boundary code that can be placed in the edge area M2 of the plate M.

바운더리 코드는, 도 6 내지 도 8에 도시된 바와 같이, 패턴 이미지로 사용자의 시야를 거스르지 않도록, 번호판(M)의 에지(Edge), 더 구체적으로 코너 블록(Corner Block)에 위치할 수 있다. 따라서 전술한 영역 분할부(134a)에 의하여 분할되는 코드 블록(B)은 4개의 코너 블록일 수 있다.The boundary code may be located at the edge of the license plate M, more specifically in the corner block, so as not to interfere with the user's view with the pattern image, as shown in Figures 6-8. Therefore, the code block B divided by the area dividing section 134a may be four corner blocks.

도 6을 참조하면, 소정의 영역을 가지는 코드 블록(B)을 4개의 코너 블록으로 분할한다면, 바운더리 코드는 번호판(M)의 코너에 위치하게 되고, 바운더리 코드는 코너의 위치에 따라 방향성을 가지는 "L" 타입으로 설계될 수 있다. 이때, 바운더리 코드는 라인 패턴일 수 있다.6, if the code block B having a predetermined area is divided into four corner blocks, the boundary code is located at the corner of the license plate M, and the boundary code is directional It can be designed as an "L" type. At this time, the boundary code may be a line pattern.

따라서 각 코너 블록에는 "━"패턴이 있고, 없고, 그리고 "┃"자 패턴이 있고, 없고의 조합으로 구성된다. "━"패턴과, "┃"자 패턴이 모두 있는 경우, "━"패턴만 있는 경우, "┃"자 패턴만 있는 경우, 및 "━"패턴과, "┃"자 패턴이 모두 없는 경우를 포함하기 때문에, 각 코너 블록은 2비트(2의 제곱)의 정보를 가질 수 있다. 4 코너 블록은 8 비트(2의 8제곱)의 정보를 가질 수 있다. 그래서 4 코너 블록을 가지는 한 개의 번호판(M)은 기본적으로 255의 정보를 표현할 수 있다. Thus, each corner block has a "━" pattern, no, and a "┃" pattern, and is composed of a combination of none and nothing. If there are both "━" patterns and "┃" patterns, there are only "━" patterns, there are only "┃" patterns, and there are no "━" patterns and "┃" , Each corner block can have 2 bits (the square of 2) of information. 4 corner blocks can have 8 bits (2 to 8 squared) of information. Thus, one plate M having four corner blocks can basically express 255 information.

가령, 있으면 "1", 없으면 "0"이 되기 때문에, 4 코너 블록에 "L"패턴이 모두 있는 경우, "11 11 11 11"이 되어 "255"의 값을 갖게 되고(이때, 4 코너 블록에 패턴이 아무도 없는 경우는 배제된다.), 첫 번째 제1코너 블록에만 "L"패턴이 있는 경우 "11 00 00 00"이 되어 "2"의 값을 갖게 된다.11 " 11 "and becomes" 255 "when there are all the " L" patterns in the four corner blocks, Quot; L "pattern exists in only the first first corner block, it becomes" 11 00 00 00 ", so that it has a value of "2 ".

그 중 일부 패턴은 번호판(M)의 상하좌우 구분을 위한 기준점으로 사용될 수 있다.Some patterns may be used as reference points for dividing the license plate M up, down, left, and right.

이와 같이 최소한 번호판(M)의 각 코너에 있는 라인 패턴이 있고, 없고만 인식하면 충분하기 때문에, 패턴 인식에 실패할 확률이 거의 없다.Since there is at least a line pattern at each corner of the number plate M and it is sufficient to recognize only the line pattern, there is little probability of failing to recognize the pattern.

위 라인 패턴은 패턴 변형을 통하여 확장 가능하다.The above line pattern is expandable through pattern transformation.

도 7을 참조하면, 라인이 있고, 없고 외에 라인의 길이, 굵기, 색상, 유형(예컨대, 실선/점선 내지는 직선/요철선), 혹은 아이콘과의 결합 유무/위치 등을 더 포함함으로써 식별 코드 값은 더 많아질 수 있다. Referring to FIG. 7, there is a line, and there is a line, a thickness, a color, a type (for example, solid line / dotted line or straight line / ridge line) Can be more.

가령, 제1코너 블록은 라인의 있고(ⓐ), 없고(ⓑ)의 결합으로 코드화되어 있고, 제2코너 블록은 긴 라인(ⓒ)과, 짧은 라인(ⓓ)의 결합으로 코드화되어 있고, 제3코너 블록은 실선 라인(ⓔ)과 점선 라인(ⓕ)의 결합으로 코드화되어 있으며, 제4코너 블록은 아이콘이 있고(ⓖ), 없고(ⓗ)의 결합으로 코드화되어 있다. 그 밖에 굵은 라인과 가는 라인의 결합, 및 각종 컬러 라인의 결합 등을 고려해 볼 수 있다. For example, the first corner block is coded by a combination of (a), (b) and (c), and the second corner block is coded by a combination of a long line (c) and a short line (d) 3 Corner blocks are coded by a combination of a solid line (ⓔ) and a dashed line (ⓕ), and the fourth corner block is coded by a combination of (ⓖ) and ((아이콘). Other combinations of bold lines and thin lines, and combinations of various color lines can be considered.

가령, 라인의 유무(라인이 있고, 없고) 외에 라인의 길이(긴 라인과 짧은 라인), 라인의 유형(실선 라인과 점선 라인), 그리고 라인과 아이콘의 결합 유무(아이콘의 있고 없고)를 더 포함할 때, 모두 32비트(2의 32제곱 = 최대 4,294,967,296)의 구분이 가능하다.For example, in addition to the presence or absence of a line (with or without a line), the length of the line (long and short lines), the type of line (solid and dashed lines) When included, all 32 bits (32 squared of 2 = up to 4,294,967,296) can be distinguished.

위 라인 패턴은 패턴 라인을 이중화하여 더 확장 가능하다.The above line pattern can be further expanded by duplicating the pattern line.

도 8을 참조하면, 전술한 실시예의 라인 패턴을 다시 2 줄로 확장한다면, 32비트 X 32비트(2의 32제곱 X 2의 32제곱)까지 콘텐츠 정보를 확보할 수 있다. 이정도의 정보량이라면, 전국의 각 차량과 대응되도록 실제 차량의 수만큼 다수의 코드 조합을 만들 수 있다.Referring to FIG. 8, if the line pattern of the above-described embodiment is extended to two lines again, content information can be obtained up to 32 bits X 32 bits (32 squares of X 2 to 32 squares). With this amount of information, it is possible to make a plurality of code combinations as many as the actual number of vehicles so as to correspond to each vehicle in the whole country.

이하, 번호판의 에지에 제공되는 바운더리 코드를 이용하여 차량 번호 정보를 제공하는 방법을 설명한다.Hereinafter, a method of providing the vehicle number information using the boundary code provided at the edge of the license plate will be described.

먼저 번호판(M)에 차량 번호 정보를 바운더리 코드로 인코딩한다. 차량 정보 종합 서버(S)는 전술한 바와 같이 바운더리 코드를 설계할 수 있다. 다음 차량 번호 인식 장치(T)를 이용하여 차량 번호 정보를 디코딩한다.First, the license plate number M is encoded with the boundary code. The vehicle information comprehensive server S can design the boundary code as described above. The car number information is decoded by using the car number identification device T described below.

이하, 도 9를 참조하여 디코딩 광정을 상세히 설명한다.Hereinafter, a decoding light fixture will be described in detail with reference to FIG.

차량 번호 인식 장치(T)의 영상 수집 모듈(110)을 이용하여 번호판(M)을 포함하는 차량(C)을 촬영한다.(S110) 영상 처리 모듈(120)을 이용하여 차량(C) 패턴 및 번호판(M) 패턴을 순서대로 검출한다.(S120) 코드 해석 모듈(130)의 에지 검출부(132)를 이용하여 번호판(M)의 에지 영역(M1)을 검출한다.(S130) 번호판(M)의 에지 영역(M1)을 정렬(회전 정렬/사이즈 정렬)한다.(S140)The vehicle C including the license plate M is photographed using the image collection module 110 of the car number recognition apparatus T. S110: (S120) The edge detection section 132 of the code analysis module 130 is used to detect the edge area M1 of the license plate M. (S130) (Rotation aligning / size aligning) of the edge area M1 of the substrate (S140). (S140)

번호판(M)이 어떤 각도에서 촬영되더라도 스크린(M)을 시계 방향 혹은 반시계 방향으로 정렬한다. 또한 번호판(M)마다 사이즈가 다를 수 있기 때문에, 식별 코드(102)를 추출하기 전에 회전 방향과 함께 사이즈가 정렬될 수 있다.Even if the license plate M is taken at an angle, the screen M is aligned clockwise or counterclockwise. In addition, since the size may be different for each license plate M, the size may be aligned with the rotation direction before extracting the identification code 102. [

다수 코드 블록으로 에지 영역(M1)을 분할한다.(S150) 에지 영역(M1) 별로 식별 코드(102)를 추출한다.(S160) 식별 코드(102)를 해석하여 차량 번호 정보를 추출한다.(S170)The edge area M1 is divided into a plurality of code blocks in step S150. The identification code 102 is extracted for each edge area M1 in step S160. S170)

이미지 추출부(134)를 이용하여 에지 영역(M1)에서 식별 코드(102)의 패턴 이미지를 추출함에 있어서, 4 코드 블록(B)으로 나누어 에지 영역을 분할하고, 분할 된 식별 코드(102)를 해석한다. 이로써 식별 코드(102)를 차량 번호 정보로 변환할 수 있다.In extracting the pattern image of the identification code 102 from the edge area M1 using the image extracting unit 134, the edge area is divided into four code blocks B, and the divided identification code 102 is divided into Interpret. Thus, the identification code 102 can be converted into the car number information.

이상에서 살펴본 바와 같이, 본 발명은 차량의 번호판이 다양한 패턴과 사이즈로 혼재되어 있어 번호 검출이 복잡하고, 특히 차량이 기울어지고, 과속으로 블러링 되며, 원거리에서 번호판을 검출해야 하는 경우 번호 검출 결과가 달라지는 문제점을 해결하기 위하여, 번호판에서 사용되지 않는 에지 영역을 활용하여 식별 코드를 배치함으로써 사용자의 시야를 거스르지 않고 본래 차량 정보와 저촉되지 않으며, 패턴이 있고 없고를 판단하기 때문에 영상이 더블링 된 경우에도 패턴 인식이 가능하고, 식별 코드를 라인 형태의 이미지 패턴으로 구성함으로써 차량이 기울어지는 경우에도 패턴 인식이 명확하며, 라인 패턴을 에지 영역에 배열함으로써 원거리에서도 패턴 인식이 용이한 구성을 기술적 사상으로 하고 있음을 알 수 있다. 이와 같은 본 발명의 기본적인 기술적 사상의 범주 내에서, 당업계의 통상의 지식을 가진 자에게 있어서는 다른 많은 변형이 가능할 것이다.As described above, according to the present invention, a number plate of a vehicle is mixed in various patterns and sizes, and the number detection is complicated. In particular, when the vehicle is inclined and blurred at overspeed, In order to solve the problem that the identification code is arranged by using an edge area which is not used in the license plate, the identification code is arranged so that it does not violate the user's view and is not in conflict with the original vehicle information, Even if the vehicle is inclined, the pattern recognition is clear. By arranging the line pattern in the edge area, it is possible to realize the pattern recognition easily at a long distance by the technical idea . Many other modifications will be possible to those skilled in the art, within the scope of the basic technical idea of the present invention.

1000: 차량 번호 인식 시스템 T: 차량 번호 인식 장치
M: 번호판 M1: 표지 영역
M2: 에지 영역 102: 식별 코드
110: 영상 수집 모듈 112: 렌즈
114: 이미지 센서 120: 영상 처리 모듈
122: 차량 패턴 검출부 124: 번호판 패턴 검출부
130: 코드 해석 모듈 132: 에지 검출부
134: 이미지 추출부 134a: 영역 분할부
134b: 블록 처리부 136: 이미지 처리부
140: 정보 저장 모듈 150: 정보 표시 모듈
160: 정보 통신 모듈
1000: Vehicle identification system T: Vehicle identification system
M: License plate M1: Cover area
M2: edge region 102: identification code
110: image acquisition module 112: lens
114: image sensor 120: image processing module
122: vehicle pattern detection unit 124: license plate pattern detection unit
130: code analysis module 132: edge detection unit
134: image extracting unit 134a: area dividing unit
134b: block processing unit 136:
140: information storage module 150: information display module
160: Information communication module

Claims (11)

바운더리 코드가 에지 영역에 제공되는 차량의 번호판; 및
상기 바운더리 코드를 본래 차량 번호 정보로 변환하여 상기 차량 번호 정보를 저장하거나 표시하거나 외부로 전송하는 차량 번호 인식 장치를 포함하고,
상기 바운더리 코드는 상기 에지 영역의 4 코너 블록에 위치하되,
상기 블록 위치에 따라 방향성을 가지는 "L" 타입의 라인 패턴이고,
상기 라인 패턴의 길이, 굵기, 및 유형의 조합으로서,
상기 라인의 길이는 긴 라인과 짧은 라인의 결합이고,
상기 라인의 굵기는 굵은 라인과 가는 라인의 결합이며,
상기 라인의 유형은 실선 라인과 점선 라인의 결합이며,
상기 본래 차량 번호 정보는 숫자 및 문자를 포함한다고 할 때, 상기 바운더리 코드는 상기 숫자 및 문자의 정보를 정의함으로써,
상기 라인 패턴은 상기 코너 블록에 방향성을 가지는 "━"패턴과 "┃" 패턴을 포함하고, 상기 "━"패턴과 "┃" 패턴의 길고 짧음, 상기 "━"패턴과 "┃" 패턴의 굵고 가늠, 상기 "━"패턴과 "┃" 패턴의 실선 점선 여부에 따라 상기 본래 차량 번호 정보에 따른 고유 식별 값을 가질 수 있는 것을 특징으로 하는 차량 번호 인식 시스템.
A number plate of the vehicle in which the boundary code is provided in the edge area; And
And a car number identification device for converting the boundary code into original car number information and storing, displaying or transmitting the car number information to the outside,
Wherein the boundary code is located in four corner blocks of the edge region,
An "L" type line pattern having directionality according to the block position,
As a combination of the length, the thickness, and the type of the line pattern,
The length of the line is a combination of a long line and a short line,
The thickness of the line is a combination of a thick line and a thin line,
The type of the line is a combination of a solid line and a dotted line,
Wherein the boundary number information includes numbers and characters, the boundary code defines information of the numbers and characters,
Wherein the line pattern includes a pattern having a directional pattern of " - "and a pattern of "'", wherein the long and short patterns of the " Wherein the vehicle identification number can have a unique identification value according to the original vehicle number information according to whether the solid line of the pattern and the pattern is dotted.
삭제delete 제 1 항에 있어서,
상기 차량 번호 인식 장치는,
상기 차량의 영상 데이터를 수집하는 영상 수집 모듈;
상기 영상 데이터를 처리하여 상기 번호판을 검출하는 영상 처리 모듈; 및
상기 번호판에서 상기 차량 번호 정보를 추출하는 코드 해석 모듈을 포함하여 구성됨을 특징으로 하는 차량 번호 인식 시스템.
The method according to claim 1,
The vehicle number recognizing apparatus comprises:
An image collection module for collecting image data of the vehicle;
An image processing module for processing the image data to detect the license plate; And
And a code interpretation module for extracting the car number information from the license plate.
제 3 항에 있어서,
상기 영상 처리 모듈은,
상기 영상 데이터에서 차량 패턴을 검출하는 차량 패턴 검출부; 및
상기 차량 패턴에서 특정 형상의 번호판 패턴을 검출하는 번호판 패턴 검출부를 포함하여 구성됨을 특징으로 하는 차량 번호 인식 시스템.
The method of claim 3,
The image processing module includes:
A vehicle pattern detector for detecting a vehicle pattern from the image data; And
And a license plate pattern detector for detecting a license plate pattern of a specific shape in the vehicle pattern.
제 3 항에 있어서,
상기 코드 해석 모듈은,
상기 에지 영역을 검출하는 에지 검출부;
상기 에지 영역에서 상기 바운더리 코드의 패턴 이미지를 추출하는 이미지 추출부; 및
상기 패턴 이미지에서 상기 차량 번호 정보를 생성하는 이미지 처리부를 포함하여 구성됨을 특징으로 하는 차량 번호 인식 시스템.
The method of claim 3,
Wherein the code interpretation module comprises:
An edge detection unit detecting the edge region;
An image extracting unit for extracting a pattern image of the boundary code in the edge area; And
And an image processing unit for generating the vehicle number information in the pattern image.
제 5 항에 있어서,
상기 이미지 추출부는,
상기 에지 영역을 다수의 코드 블록으로 분할하는 영역 분할부; 및
상기 코드 블록 별로 상기 바운더리 코드를 처리하는 블록 처리부를 포함하고,
상기 에지 영역은 4 코너 블록을 포함하고, 상기 코드 블록은 상기 4 코너 블록과 대응됨으로써, 상기 블록 처리부는 상기 4 코너 블록 별로 상기 바운더리 코드를 처리하는 것을 특징으로 하는 차량 번호 인식 시스템.
6. The method of claim 5,
Wherein the image extracting unit comprises:
An area dividing unit dividing the edge area into a plurality of code blocks; And
And a block processor for processing the boundary code for each code block,
Wherein the edge area includes four corner blocks, and the code block corresponds to the four corner blocks, whereby the block processing unit processes the boundary code for each of the four corner blocks.
본래 차량 정보가 배치되는 표지 영역과,
상기 표지 영역의 가장자리 둘레에 상기 본래 차량 정보가 식별 코드 형태로 배치되는 에지 영역을 포함하고,
상기 표지 영역에 상기 본래 차량 정보가 숫자나 문자로 표시되고,
상기 에지 영역의 상기 식별 코드는 바운더리 코드이며,
상기 에지 영역은 4 코너 블록을 포함하며,
상기 바운더리 코드는 상기 4 코너 블록에 위치하며,
상기 바운더리 코드는 상기 4 코너 블록의 위치에 따라 방향성을 가지는 "L" 타입으로 설계되는 라인 패턴을 포함함으로써, 상기 4 코너 블록에 위치하는 상기 라인 패턴의 길이, 굵기, 및 유형의 조합으로서,
상기 라인의 길이는 긴 라인과 짧은 라인의 결합이고,
상기 라인의 굵기는 굵은 라인과 가는 라인의 결합이며,
상기 라인의 유형은 실선 라인과 점선 라인의 결합이며,
상기 본래 차량 번호 정보는 숫자 및 문자를 포함하고, 상기 바운더리 코드는 상기 숫자 및 문자의 정보를 정의함으로써,
상기 라인 패턴은 상기 4 코너 블록에 방향성을 가지는 "━"패턴과 "┃" 패턴을 포함하고, 상기 "━"패턴과 "┃" 패턴의 길고 짧음, 상기 "━"패턴과 "┃" 패턴의 굵고 가늠, 상기 "━"패턴과 "┃" 패턴의 실선 점선 여부에 따라 상기 본래 차량 번호 정보에 따른 고유 식별 값을 가질 수 있는 것을 특징으로 하는 차량 번호판.
A cover area in which vehicle information is originally placed,
And an edge area in which the original vehicle information is arranged in the form of an identification code around an edge of the mark area,
The original vehicle information is displayed in numbers or letters in the cover area,
Wherein the identification code of the edge region is a boundary code,
Wherein the edge region comprises four corner blocks,
The boundary code is located in the four corner blocks,
Wherein the boundary code includes a line pattern designed as an "L" type having a direction according to a position of the four corner blocks, so that, as a combination of the length, thickness and type of the line pattern located in the four corner blocks,
The length of the line is a combination of a long line and a short line,
The thickness of the line is a combination of a thick line and a thin line,
The type of the line is a combination of a solid line and a dotted line,
Wherein the original vehicle number information includes numbers and characters, and the boundary code defines information of the numbers and characters,
The line pattern includes a directional pattern "━" and a pattern "┃" in the four corner blocks, and the long and short patterns of the "━" pattern and the " Characterized in that it can have a unique identification value according to the original vehicle number information depending on whether it is coarse or fine, and whether the "━" pattern and the "┃" pattern are dotted with solid lines.
삭제delete 삭제delete 차량 패턴의 영상 데이터를 수집하고, 수집된 상기 영상 데이터로부터 차량 번호판을 검출하고, 상기 번호판에서 차량 번호 정보를 인식하는 차량 번호 인식 장치에 있어서,
상기 차량 번호 인식 장치는,
상기 차량 번호판을 검출하는 영상 처리 애플리케이션(APP), 및
상기 번호판에서 상기 차량 번호 정보를 인식하는 코드 해석 애플리케이션(APP)을 탑재한 스마트기기로 구성되고,
상기 영상 처리 APP는,
상기 영상 데이터에서 상기 차량 패턴을 검출하는 차량 패턴 검출프로그램, 및
상기 차량 패턴에서 번호판 패턴을 검출하는 번호판 패턴 검출프로그램을 포함하고,
상기 코드 해석 APP는,
상기 번호판의 에지 영역을 검출하는 에지 검출프로그램,
상기 에지 영역에서 식별 코드의 패턴 이미지를 추출하는 이미지 추출프로그램, 및
상기 패턴 이미지에서 상기 차량 번호 정보를 생성하는 이미지 처리프로그램을 포함하
상기 식별 코드는 바운더리 코드로 구성하고,
상기 바운더리 코드는 상기 에지 영역의 4 코너 블록에 위치하되,
상기 블록 위치에 따라 방향성을 가지는 "L" 타입의 라인 패턴이고,
상기 라인 패턴의 길이, 굵기, 및 유형의 조합으로서,
상기 라인의 길이는 긴 라인과 짧은 라인의 결합이고,
상기 라인의 굵기는 굵은 라인과 가는 라인의 결합이며,
상기 라인의 유형은 실선 라인과 점선 라인의 결합이며,
본래 차량 번호 정보는 숫자 및 문자를 포함하고, 상기 바운더리 코드는 상기 숫자 및 문자의 정보를 정의함으로써,
상기 라인 패턴은 상기 4 코너 블록에 방향성을 가지는 "━"패턴과 "┃" 패턴을 포함하고, 상기 "━"패턴과 "┃" 패턴의 길고 짧음, 상기 "━"패턴과 "┃" 패턴의 굵고 가늠, 상기 "━"패턴과 "┃" 패턴의 실선 점선 여부에 따라 상기 본래 차량 번호 정보에 따른 고유 식별 값을 가질 수 있는 것을 특징으로 하는 차량 번호 인식 장치.
A car number recognition apparatus for collecting image data of a vehicle pattern, detecting a car license plate from the acquired image data, and recognizing car number information from the license plate,
The vehicle number recognizing apparatus comprises:
An image processing application (APP) for detecting the license plate, and
And a smart device equipped with a code analysis application (APP) for recognizing the car number information on the license plate,
The image processing APP includes:
A vehicle pattern detecting program for detecting the vehicle pattern from the image data,
And a license plate pattern detecting program for detecting license plate patterns in the vehicle pattern,
The code analysis APP includes:
An edge detection program for detecting an edge area of the license plate,
An image extraction program for extracting a pattern image of the identification code in the edge area, and
And an image processing program for generating the car number information from the pattern image
Wherein the identification code is composed of a boundary code,
Wherein the boundary code is located in four corner blocks of the edge region,
An "L" type line pattern having directionality according to the block position,
As a combination of the length, the thickness, and the type of the line pattern,
The length of the line is a combination of a long line and a short line,
The thickness of the line is a combination of a thick line and a thin line,
The type of the line is a combination of a solid line and a dotted line,
Original vehicle number information includes numbers and characters, and the boundary code defines the number and character information,
The line pattern includes a directional pattern "━" and a pattern "┃" in the four corner blocks, and the long and short patterns of the "━" pattern and the " Characterized in that it can have a unique identification value according to the original vehicle number information depending on whether the solid line of the pattern of "━" and the pattern of "┃" is thick or not.
차량의 번호판을 촬영하는 단계;
상기 번호판의 패턴을 검출하는 단계;
상기 번호판의 에지 영역을 검출하는 단계;
상기 번호판의 에지 영역을 정렬하는 단계;
상기 에지 영역을 코드 블록으로 분할하는 단계;
상기 분할된 에지 영역 별로 식별 코드를 추출하는 단계; 및
상기 식별 코드를 해석하여 차량 번호 정보를 추출하는 단계를 포함하고,
상기 식별 코드는 바운더리 코드로 구성하고,
상기 바운더리 코드는 상기 에지 영역의 4 코너 블록에 위치하되,
상기 블록 위치에 따라 방향성을 가지는 "L" 타입의 라인 패턴이고,
상기 라인 패턴의 길이, 굵기, 및 유형의 조합으로서,
상기 라인의 길이는 긴 라인과 짧은 라인의 결합이고,
상기 라인의 굵기는 굵은 라인과 가는 라인의 결합이며,
상기 라인의 유형은 실선 라인과 점선 라인의 결합이며,
본래 차량 번호 정보는 숫자 및 문자를 포함하고, 상기 바운더리 코드는 상기 숫자 및 문자의 정보를 정의함으로써,
상기 라인 패턴은 상기 4 코너 블록에 방향성을 가지는 "━"패턴과 "┃" 패턴을 포함하고, 상기 "━"패턴과 "┃" 패턴의 길고 짧음, 상기 "━"패턴과 "┃" 패턴의 굵고 가늠, 상기 "━"패턴과 "┃" 패턴의 실선 점선 여부에 따라 상기 본래 차량 번호 정보에 따른 고유 식별 값을 가질 수 있는 것을 특징으로 하는 차량 번호 인식 방법.
Photographing a license plate of a vehicle;
Detecting a pattern of the license plate;
Detecting an edge region of the plate;
Aligning an edge region of the plate;
Dividing the edge region into code blocks;
Extracting an identification code for each of the segmented edge regions; And
And extracting the car number information by analyzing the identification code,
Wherein the identification code is composed of a boundary code,
Wherein the boundary code is located in four corner blocks of the edge region,
An "L" type line pattern having directionality according to the block position,
As a combination of the length, the thickness, and the type of the line pattern,
The length of the line is a combination of a long line and a short line,
The thickness of the line is a combination of a thick line and a thin line,
The type of the line is a combination of a solid line and a dotted line,
Original vehicle number information includes numbers and characters, and the boundary code defines the number and character information,
The line pattern includes a directional pattern "━" and a pattern "┃" in the four corner blocks, and the long and short patterns of the "━" pattern and the " Characterized in that it is possible to have a unique identification value according to the original vehicle number information depending on whether the solid line of the pattern of "━" and the pattern of "┃" is thick or not.
KR1020140136729A 2014-08-18 2014-10-10 Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same KR101696519B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140136729A KR101696519B1 (en) 2014-10-10 2014-10-10 Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same
PCT/KR2015/008585 WO2016028048A1 (en) 2014-08-18 2015-08-18 Sign, vehicle number plate, screen, and ar marker including boundary code on edge thereof, and system for providing additional object information by using boundary code
US15/505,057 US20170337408A1 (en) 2014-08-18 2015-08-18 Sign, vehicle number plate, screen, and ar marker including boundary code on edge thereof, and system for providing additional object information by using boundary code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140136729A KR101696519B1 (en) 2014-10-10 2014-10-10 Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same

Publications (2)

Publication Number Publication Date
KR20160043197A KR20160043197A (en) 2016-04-21
KR101696519B1 true KR101696519B1 (en) 2017-01-24

Family

ID=55917748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140136729A KR101696519B1 (en) 2014-08-18 2014-10-10 Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same

Country Status (1)

Country Link
KR (1) KR101696519B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338912B1 (en) 2021-08-11 2021-12-15 주식회사 아프로시스템즈 Recognition method of vehicles license plate using super resolution

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332779B1 (en) * 2020-07-16 2021-12-01 박정철 Method of managing car repair list and system performing the same
WO2022019747A1 (en) * 2020-07-24 2022-01-27 Mimos Berhad System and method for identification of text region in video

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956025B2 (en) * 2004-10-08 2007-08-08 独立行政法人電子航法研究所 Mobile object identification and monitoring device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100441536B1 (en) * 2001-11-08 2004-07-23 삼성전자주식회사 Vehicle plate recognition method
KR20140078088A (en) 2012-12-17 2014-06-25 (주) 청원통신 A auto recognition system of vehicle number using CCTV camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3956025B2 (en) * 2004-10-08 2007-08-08 独立行政法人電子航法研究所 Mobile object identification and monitoring device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338912B1 (en) 2021-08-11 2021-12-15 주식회사 아프로시스템즈 Recognition method of vehicles license plate using super resolution

Also Published As

Publication number Publication date
KR20160043197A (en) 2016-04-21

Similar Documents

Publication Publication Date Title
CN111178291B (en) Parking payment system and parking payment method
KR101756849B1 (en) Parking control and management system for on-street parking lot
Naito et al. Robust license-plate recognition method for passing vehicles under outside environment
US4958064A (en) Bar code locator for video scanner/reader system
KR101393391B1 (en) Vehicle license plate recognition method based on embedded system
KR101565978B1 (en) Method of identifying vehicle number and extracting photographic evidences using long distance captured image
KR101553589B1 (en) Appratus and method for improvement of low level image and restoration of smear based on adaptive probability in license plate recognition system
KR101756848B1 (en) Unlawfulness parking and no standing control system and method thereof
Liu et al. A multi-classifier image based vacant parking detection system
Chandra et al. Recognition of vehicle number plate using Matlab
AU2021100546A4 (en) Infringement detection method, device and system
KR101355201B1 (en) The system and the method for monitoring illegal stopping and parking vehicles based spatio-temporal feature vector-based vehicle recognition
KR101696519B1 (en) Number plate of vehicle having boundary code at its edge, and device, system, and method for providing vehicle information using the same
KR100948382B1 (en) Security service method and system
KR20160040036A (en) A car number plate recognition method and recognition device that uses a number of IP cameras
KR101819568B1 (en) The method for operating a parking management system according to recognition of electric vehicle and Hi-pass
Mitra et al. Automatic number plate recognition system: a histogram based approach
KR101686558B1 (en) Multilane camera recognition system and method for analysing image to learning type thereof
KR100969603B1 (en) A licence plate recognition method based on geometric relations of numbers on the plate
KR102338912B1 (en) Recognition method of vehicles license plate using super resolution
KR20170078910A (en) The vehicle entrance and exit management and crime prevention system based on high definition images
KR101911239B1 (en) The channel extension operation system for detecting illegally parked vehicles
KR102220643B1 (en) CCTV for recognizing car number based on deep learning
KR101563543B1 (en) Lpr system for recognition of compact car and two wheel vehicle
Boliwala et al. Automatic number plate detection for varying illumination conditions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4