KR102477410B1 - Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition - Google Patents
Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition Download PDFInfo
- Publication number
- KR102477410B1 KR102477410B1 KR1020220114020A KR20220114020A KR102477410B1 KR 102477410 B1 KR102477410 B1 KR 102477410B1 KR 1020220114020 A KR1020220114020 A KR 1020220114020A KR 20220114020 A KR20220114020 A KR 20220114020A KR 102477410 B1 KR102477410 B1 KR 102477410B1
- Authority
- KR
- South Korea
- Prior art keywords
- image information
- information
- license plate
- vehicle
- main image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005259 measurement Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 자동차 후면 번호판 인식을 이용한 무인 단속 시스템 및 자동차 후면 번호판 인식방법에 관한 것이다.The present invention relates to an unmanned enforcement system using vehicle rear license plate recognition and a vehicle rear license plate recognition method.
일반적으로 무인 단속 시스템은 차량을 촬영하여 차량의 속도 및 신호위반 여부를 파악하고, 이를 통해 교통사고 등과 같은 다양한 사고를 미연에 방지하기 위한 종합 교통 단속 장비이다.In general, an unmanned enforcement system is a comprehensive traffic enforcement equipment for preventing various accidents such as traffic accidents by photographing a vehicle to determine the speed and signal violation of the vehicle.
종래의 무인 단속 시스템은 차량의 전면, 즉, 차량의 주행방향의 전방에서 차량을 촬영하여 차량의 속도위반/신호위반 여부 등을 판단하도록 구성되었다.Conventional unmanned enforcement systems are configured to determine whether the vehicle violates speed/signal violation by photographing the vehicle from the front of the vehicle, that is, from the front of the driving direction of the vehicle.
그러나, 종래의 무인 단속 시스템은 번호판이 전면에 배치된 차량에 대해서만 단속이 가능하여 후면에만 번호판이 배치된 이륜차 또는 전면에 배치된 번호판이 오염된 경우 단속이 불가능한 문제점이 있었다.However, the conventional unmanned enforcement system has a problem in that it is impossible to enforce a two-wheeled vehicle with a license plate placed only on the rear side or a vehicle with a license plate placed on the front because it is possible to enforce only a vehicle with a license plate placed on the front.
따라서, 후면에만 번호판이 배치된 이륜차 및 전면에 배치된 번호판이 오염된 경우에도 정확한 단속이 가능할 수 있는 새로운 형태의 무인 단속 시스템에 대한 필요성이 대두되고 있다.Therefore, there is a need for a new type of unmanned enforcement system that can accurately enforce even when a two-wheeled vehicle with license plates disposed only on the rear and a license plate disposed on the front is contaminated.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 후면 번호판 인식을 통해 후면에만 번호판이 배치된 이륜차 및 전면 번호판이 오염된 차량의 경우에도 정확한 단속을 수행할 수 있는 자동차 후면 번호판 인식을 이용한 무인 단속 시스템 및 자동차 후면 번호판 인식방법을 제공하는 것이다.The present invention has been made to solve the above problems, and an object of the present invention is a vehicle that can perform accurate enforcement even in the case of a two-wheeled vehicle with a license plate disposed only on the rear side and a vehicle with a front license plate contaminated through rear license plate recognition. To provide an unmanned enforcement system using rear license plate recognition and a method for recognizing the rear license plate of a vehicle.
본 발명의 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 자동차 후면 번호판 인식을 이용한 무인 단속 시스템은 주행 중인 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 상기 이미지 정보로부터 자동차의 번호판을 인식하도록 구성되는 번호 인식장치; 및 상기 번호 인식장치와 전기적으로 연결되어 상기 번호 인식장치의 구동을 제어하고, 상기 번호 인식장치에서 획득한 정보를 외부로 전송하도록 구성되는 제어장치;를 포함한다.An unmanned enforcement system using vehicle rear license plate recognition according to an embodiment of the present invention for solving the above problems is a number configured to obtain image information by photographing the rear of a driving vehicle and recognize the license plate of the vehicle from the image information. recognition device; and a control device electrically connected to the number recognition device to control driving of the number recognition device and transmitting information obtained from the number recognition device to the outside.
상기 번호 인식장치는, 상기 자동차의 후면을 연속적으로 촬영하여 번호판 인식을 위한 주 이미지 정보를 획득하는 주 카메라 모듈; 상기 주 카메라 모듈의 주시방향으로 빛을 조사하도록 구성되는 조명모듈; 상기 자동차를 인식하고, 상기 자동차의 주행 속도를 감지하여 주행 속도 정보를 획득하는 속도 측정 모듈; 도로를 촬영하여 상기 자동차가 포함된 보조 이미지 정보를 획득하는 보조 카메라 모듈; 상기 주 카메라 모듈, 상기 조명모듈, 상기 속도 측정 모듈 및 상기 보조 카메라 모듈과 전기적으로 연결되어 상기 주 카메라 모듈, 상기 조명모듈, 상기 속도 측정 모듈 및 상기 보조 카메라 모듈을 제어하고, 상기 주 이미지 정보로부터 상기 자동차의 번호를 인식하고, 상기 자동차의 최종 주행 속도를 산출하여 상기 제어장치로 전송하는 컨트롤러; 상기 컨트롤러와 전기적으로 연결되고, 상기 컨트롤러를 통해 상기 주 카메라 모듈, 상기 조명모듈, 상기 속도 측정 모듈 및 상기 보조 카메라 모듈에 전원을 공급하는 전원공급모듈; 및 상기 주 카메라 모듈, 상기 조명모듈, 상기 속도 측정 모듈, 상기 보조 카메라 모듈, 상기 컨트롤러 및 상기 전원공급모듈을 외부로부터 보호하는 하우징;을 포함할 수 있다.The number recognition device includes a main camera module that continuously photographs the back of the vehicle and obtains main image information for license plate recognition; a lighting module configured to emit light in a viewing direction of the main camera module; a speed measurement module recognizing the vehicle and detecting a driving speed of the vehicle to obtain driving speed information; an auxiliary camera module that acquires auxiliary image information including the vehicle by photographing the road; electrically connected to the main camera module, the lighting module, the speed measurement module, and the auxiliary camera module to control the main camera module, the lighting module, the speed measurement module, and the auxiliary camera module; a controller for recognizing the number of the car, calculating the final driving speed of the car, and transmitting the result to the control device; a power supply module electrically connected to the controller and supplying power to the main camera module, the lighting module, the speed measurement module, and the auxiliary camera module through the controller; and a housing that protects the main camera module, the lighting module, the speed measurement module, the auxiliary camera module, the controller, and the power supply module from the outside.
상기 컨트롤러는, 상기 속도 측정 모듈에서 주행 중인 상기 자동차를 감지하면, 상기 주 카메라 모듈 및 상기 보조 카메라 모듈에 상기 자동차의 촬영을 위한 트리거 신호를 전송할 수 있다.When the speed measuring module detects the driving vehicle, the controller may transmit a trigger signal for photographing the vehicle to the main camera module and the auxiliary camera module.
상기 주 카메라 모듈은, 상기 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 상기 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하고, 상기 보조 카메라 모듈은, 상기 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 상기 도로를 연속적으로 촬영하여 상기 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득할 수 있다.When the trigger signal is input, the main camera module acquires first main image information and second main image information by continuously photographing the back of the vehicle according to a preset time interval, and the auxiliary camera module: When a trigger signal is input, additional image information for determining whether the vehicle is driving may be obtained by continuously photographing the road according to a preset time interval.
상기 컨트롤러는, 상기 주 카메라 모듈로부터 상기 제1 주 이미지 정보 및 상기 제2 주 이미지 정보가 전송되면, 상기 제1 주 이미지 정보에서 상기 자동차의 번호 정보를 인식할 수 있다.When the first main image information and the second main image information are transmitted from the main camera module, the controller may recognize number information of the car from the first main image information.
상기 컨트롤러는, 상기 제1 주 이미지 정보로부터 번호판을 탐지하고, 탐지된 상기 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류한 후, 상기 번호판에서 상기 번호 정보를 인식할 수 있다.The controller may detect a license plate from the first main image information, classify the detected license plate into a license plate of a two-wheeled vehicle or a license plate of a general vehicle, and then recognize the number information from the license plate.
상기 컨트롤러는, 상기 번호판이 상기 이륜차 번호판이면, 상기 제1 주 이미지 정보 내에서 상기 번호판의 위치를 기준으로 헬멧을 탐지하고, 그 결과를 저장할 수 있다.If the license plate is the two-wheeled vehicle license plate, the controller may detect the helmet based on the position of the license plate in the first main image information and store the result.
상기 컨트롤러는, 상기 자동차의 번호가 인식되면, 상기 제1 주 이미지 정보와 상기 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출할 수 있다.When the vehicle number is recognized, the controller may calculate video speed information based on the first main image information and the second main image information.
상기 컨트롤러는, 상기 제1 주 이미지 정보에서 상기 번호판이 탐지된 영역을 잘라내어 제3 주 이미지 정보로 생성하고, 상기 제3 주 이미지 정보로부터 윤곽선을 추출한 후 상기 제3 주 이미지 정보를 패치 이미지 정보로 재설정하며, 상기 제2 주 이미지 정보에서 검색 영역을 설정하여 제4 주 이미지 정보로 생성한 후 상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도를 측정하고, 상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도 측정 결과로부터 상기 제4 주 이미지 정보와 상기 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 상기 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출하며, 상기 매칭 영역에 대한 좌표 정보와, 상기 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출할 수 있다.The controller cuts out the region where the license plate is detected from the first main image information to generate third main image information, extracts an outline from the third main image information, and converts the third main image information into patch image information. reset, and after setting a search area in the second main image information to generate fourth main image information, measuring a similarity between the fourth main image information and the patch image information, and measuring the fourth main image information and the patch image information After obtaining coordinate information for a matching area of the fourth main image information and the patch image information from a similarity measurement result between image information, actual distance information of a pixel is calculated from the fourth main image information, and Image velocity information may be calculated based on coordinate information for the pixel and actual distance information of the pixel.
상기 컨트롤러는, 상기 영상 속도 정보가 산출되면, 상기 영상 속도 정보와 상기 주행 속도 정보를 비교하여 최종 속도 정보를 산출한 후, 상기 번호 정보 및 상기 최종 속도 정보를 저장할 수 있다.When the video speed information is calculated, the controller compares the video speed information with the traveling speed information to calculate final speed information, and then stores the number information and the final speed information.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 자동차 후면 번호판 인식방법은 주행 중인 자동차를 감지하여 자동차의 촬영을 위한 트리거 신호를 생성하는 트리거 생성 단계; 및 상기 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 상기 이미지 정보로부터 상기 자동차의 번호판을 인식하는 번호판 인식 단계;를 포함한다.A method for recognizing a rear license plate of a vehicle according to an embodiment of the present invention for solving the above problems includes a trigger generation step of generating a trigger signal for photographing the vehicle by detecting a vehicle in motion; and a license plate recognition step of acquiring image information by photographing the rear of the vehicle and recognizing the license plate of the vehicle from the image information.
상기 번호판 인식 단계는, 상기 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 상기 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하고, 미리 설정된 시간 간격에 따라 상기 도로를 연속적으로 촬영하여 상기 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득하는, 이미지 획득 단계; 상기 제1 주 이미지 정보에서 자동차의 번호 정보를 인식하는, 자동차 번호 인식 단계; 상기 제1 주 이미지 정보와 상기 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출하는, 영상 속도 정보 산출 단계; 상기 영상 속도 정보와 자동차의 주행 속도 정보를 비교하여 최종 속도 정보를 산출하는, 최종 속도 정보 산출 단계; 및 상기 번호 정보 및 상기 최종 속도 정보를 저장하는, 정보 저장 단계;를 포함할 수 있다.In the license plate recognizing step, when the trigger signal is input, first main image information and second main image information are obtained by continuously photographing the back of the car according to a preset time interval, and the first main image information is obtained according to a preset time interval. an image acquisition step of continuously photographing the road and acquiring additional image information for determining whether the vehicle is driving; a vehicle number recognition step of recognizing vehicle number information from the first main image information; a video speed information calculating step of calculating video speed information based on the first main image information and the second main image information; a final speed information calculation step of comparing the video speed information with vehicle driving speed information to calculate final speed information; and an information storage step of storing the number information and the final speed information.
상기 자동차 번호 인식 단계는, 상기 제1 주 이미지 정보로부터 번호판을 탐지하는, 번호판 탐지 단계; 상기 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류하는, 번호판 분류 단계; 상기 번호판에서 상기 번호 정보를 인식하는, 번호 추출 단계; 및 번호판의 종류 정보 및 상기 번호 정보를 저장하는, 번호판 정보 저장 단계;를 포함할 수 있다.The license plate recognition step may include: a license plate detection step of detecting a license plate from the first main image information; A license plate classification step of classifying the license plate into a two-wheeled vehicle license plate or a general vehicle license plate; Recognizing the number information from the license plate, number extraction step; and a license plate information storage step of storing license plate type information and the number information.
상기 자동차 번호 인식 단계는, 상기 번호판이 상기 이륜차 번호판이면, 상기 번호 추출 단계와 상기 번호판 정보 저장 단계 사이에, 상기 제1 주 이미지 정보 내에서 상기 번호판의 위치를 기준으로 헬멧을 탐지하는, 헬멧 탐지 단계;를 더 포함하고, 상기 번호판 정보 저장 단계는, 상기 헬멧의 유무 정보를 더 저장하는, 번호판 정보 저장 단계;를 포함할 수 있다.In the vehicle number recognition step, if the license plate is the two-wheeled vehicle license plate, between the number extraction step and the license plate information storing step, helmet detection based on the position of the license plate in the first main image information. It may further include, and the license plate information storing step further includes a license plate information storing step of further storing the presence/absence information of the helmet.
상기 영상 속도 정보 산출 단계는, 상기 제1 주 이미지 정보에서 상기 번호판이 탐지된 영역을 잘라내어 제3 주 이미지 정보로 생성하는, 크롭단계; 상기 제3 주 이미지 정보로부터 윤곽선을 추출한 후 상기 제3 주 이미지 정보를 패치 이미지 정보로 재설정하는, 패치 이미지 설정 단계; 상기 제2 주 이미지 정보에서 검색 영역을 설정하여 제4 주 이미지 정보로 생성하는, 검색 영역 설정 단계; 상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도를 측정하는, 유사도 측정 단계; 상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도 측정 결과로부터 상기 제4 주 이미지 정보와 상기 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 상기 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출하는, 거리 산출 단계; 및 상기 매칭 영역에 대한 좌표 정보와, 상기 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출하는, 영상 속도 산출 단계;를 포함할 수 있다.The video speed information calculating step may include a cropping step of cropping an area in which the license plate is detected from the first main image information to generate third main image information; a patch image setting step of extracting an outline from the third main image information and resetting the third main image information into patch image information; a search area setting step of setting a search area in the second main image information and generating fourth main image information; a similarity measuring step of measuring a similarity between the fourth main image information and the patch image information; After obtaining coordinate information on a matching area between the fourth main image information and the patch image information from a similarity measurement result between the fourth main image information and the patch image information, the actual distance of a pixel from the fourth main image information a distance calculation step of calculating information; and an image velocity calculation step of calculating image velocity information based on the coordinate information of the matching area and the actual distance information of the pixel.
상기 번호판 인식 단계는, 상기 주 카메라 모듈의 파라미터를 보정하는, 파라미터 보정 단계;를 더 포함할 수 있다.The license plate recognition step may further include a parameter correction step of correcting parameters of the main camera module.
상기 파라미터 보정 단계는, 상기 매칭 영역의 픽셀 이동 거리에 관한 픽셀 이동거리 좌표정보, 상기 제1 주 이미지 정보와 상기 제2 주 이미지 정보 간 시간 차이 정보, 상기 주행 속도 정보, 영상 속도 정보 및 상기 주 카메라 모듈의 내부 파라미터 정보를 포함하는 구조체를 생성하는, 구조체 생성 단계; 상기 구조체가 미리 설정된 임계 수량이 될 때까지 상기 구조체들을 누적시키는, 구조체 누적 단계; 누적된 상기 구조체들의 상기 주 카메라 모듈의 내부 파라미터 정보를 수정한 뒤, 상기 영상 속도 정보를 업데이트 하고, 업데이트된 상기 영상 속도 정보와 상기 주행 속도 정보 간 차이를 산출한 뒤 누적 및 저장하는, 구조체 보정 단계; 및 상기 영상 속도 정보와 상기 주행 속도 정보 간 차이가 최소가 되면, 현재의 상기 주 카메라 모듈의 파라미터를 저장하는, 파라미터 설정 단계;를 포함할 수 있다.The parameter correction step may include pixel movement distance coordinate information regarding a pixel movement distance of the matching area, time difference information between the first main image information and the second main image information, the driving speed information, video speed information, and the main image information. Creating a structure including internal parameter information of the camera module, structure creation step; a structure accumulation step of accumulating the structures until the number of structures reaches a predetermined threshold number; After correcting internal parameter information of the main camera module of the accumulated structures, updating the video speed information, calculating a difference between the updated video speed information and the traveling speed information, and then accumulating and storing the structure correction. step; and a parameter setting step of storing the current parameters of the main camera module when the difference between the video speed information and the driving speed information is minimized.
본 발명의 실시예에 따르면, 자동차의 전면이 아닌, 후면에서 자동차를 촬영하여 자동차의 번호판을 인식함과 동시에, 자동차의 주행 속도를 산출하도록 구성되므로, 전면과 후면에 번호판이 부착된 일반적인 자동차는 물론, 후면에만 번호판이 배치된 이륜차 및 전면 번호판이 오염된 차량의 경우에도 모두 정확한 단속을 수행할 수 있다.According to an embodiment of the present invention, since the license plate of the vehicle is recognized by photographing the vehicle from the rear rather than the front of the vehicle, and the driving speed of the vehicle is calculated, a typical vehicle with license plates attached to the front and rear surfaces Of course, even in the case of a two-wheeled vehicle in which license plates are disposed only on the rear side and vehicles whose front license plates are contaminated, accurate enforcement can be performed.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present invention.
도 1은 본 발명의 실시예에 따른 무인 단속 시스템을 개략적으로 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 자동차 후면 번호판 인식방법을 나타낸 순서도이다.
도 3은 본 발명의 실시예에 따른 번호판 인식 단계를 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 자동차 번호 인식 단계를 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 영상 속도 정보 산출 단계를 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 파라미터 보정 단계를 나타낸 순서도이다.1 is a conceptual diagram schematically illustrating an unmanned enforcement system according to an embodiment of the present invention.
2 is a flowchart illustrating a method for recognizing a rear license plate of a vehicle according to an embodiment of the present invention.
3 is a flowchart illustrating a license plate recognition step according to an embodiment of the present invention.
4 is a flowchart illustrating a car number recognition step according to an embodiment of the present invention.
5 is a flowchart illustrating a step of calculating video speed information according to an embodiment of the present invention.
6 is a flowchart illustrating a parameter correction step according to an embodiment of the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes can be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents or substitutes to the embodiments are included within the scope of rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only, and may be modified and implemented in various forms. Therefore, the embodiments are not limited to the specific disclosed form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used only for descriptive purposes and should not be construed as limiting. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are given to the same components regardless of reference numerals, and overlapping descriptions thereof will be omitted. In describing the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to fully inform the holder of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are the same as those commonly understood by one of ordinary skill in the art to which the present invention belongs. It has meaning. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the embodiments of the present invention, an ideal or excessively formal meaning not be interpreted as
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.The shapes, sizes, ratios, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are illustrative, so the present invention is not limited to the details shown. In addition, in describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. When 'includes', 'has', 'consists of', etc. mentioned in this specification is used, other parts may be added unless 'only' is used. In the case where a component is expressed in the singular, the case including the plural is included unless otherwise explicitly stated.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, even if there is no separate explicit description, it is interpreted as including the error range.
위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.In the case of a description of a positional relationship, for example, 'on top of', 'on top of', 'at the bottom of', 'next to', etc. Or, unless 'directly' is used, one or more other parts may be located between the two parts.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.When an element or layer is referred to as “on” another element or layer, it includes all cases where another element or layer is directly on top of another element or another layer or other element intervenes therebetween. Like reference numbers designate like elements throughout the specification.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.The size and thickness of each component shown in the drawings are shown for convenience of description, and the present invention is not necessarily limited to the size and thickness of the illustrated components.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.
도 1은 본 발명의 실시예에 따른 무인 단속 시스템을 개략적으로 나타낸 개념도이다.1 is a conceptual diagram schematically illustrating an unmanned enforcement system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시예에 따른 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000)(이하 '무인 단속 시스템(1000)'이라 함)은 도로변에 배치되는 지주 등에 설치되고, 번호 인식장치(1) 및 제어장치(2)를 포함한다.Referring to FIG. 1 , an unmanned enforcement system 1000 (hereinafter referred to as 'unmanned enforcement system 1000') using license plate recognition on the back of a vehicle according to an embodiment of the present invention is installed on a post disposed on a roadside, and recognizes a number It includes a device (1) and a control device (2).
번호 인식장치(1)는 주행 중인 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 이미지 정보로부터 자동차의 번호판을 인식하도록 구성된다.The license
구체적으로, 번호 인식장치(1)는 자동차의 후면을 연속적으로 촬영하여 번호판 인식을 위한 주 이미지 정보를 획득하는 주 카메라 모듈(11)과, 주 카메라 모듈(11)의 주시방향으로 빛을 조사하도록 구성되는 조명모듈(12)을 포함할 수 있다.Specifically, the
예를 들어, 주 카메라 모듈(11)은 카메라 본체와, 카메라 본체에 결합되어 초점거리를 가변시키도록 구성되는 가변 렌즈를 포함할 수 있다. 그리고, 조명모듈(12)은 IR LED로 구현될 수 있다.For example, the
또한, 번호 인식장치(1)는 자동차를 인식하고, 자동차의 주행 속도를 감지하여 주행 속도 정보를 획득하는 속도 측정 모듈(13)과, 도로를 촬영하여 상기 자동차가 포함된 보조 이미지 정보를 획득하는 보조 카메라 모듈(14)을 더 포함할 수 있다.In addition, the
예를 들어, 속도 측정 모듈(13)은 레이더, 라이다, 루프 등으로 구성될 수 있다.For example, the
또한, 번호 인식장치(1)는 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)과 전기적으로 연결되어 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)을 제어하고, 주 이미지 정보로부터 자동차의 번호를 인식하고, 자동차의 최종 주행 속도를 산출하여 제어장치(2)로 전송하는 컨트롤러(15)를 더 포함할 수 있다.In addition, the
컨트롤러(15)에 대한 상세한 설명은 후술하기로 한다.A detailed description of the
또한, 번호 인식장치(1)는 컨트롤러(15)와 전기적으로 연결되고, 컨트롤러(15)를 통해 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)에 전원을 공급하는 전원공급모듈(16) 및 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13), 보조 카메라 모듈(14), 컨트롤러(15) 및 전원공급모듈(16)을 외부로부터 보호하는 하우징(17)을 더 포함할 수 있다.In addition, the
제어장치(2)는 번호 인식장치(1)와 전기적으로 연결되어 번호 인식장치(1)의 구동을 제어하고, 번호 인식장치(1)에서 획득한 정보를 외부로 전송하도록 구성된다.The
예를 들어, 제어장치(2)는 번호 인식장치(1)의 현장 제어를 위한 제어기, 외부, 즉, 상황실과 통신하기 위한 통신장비, 그리고 전원 및 각종 기구 보호를 위한 전기 장치를 포함할 수 있다.For example, the
이하에서는, 컨트롤러(15)에 대하여 상세히 설명한다.Hereinafter, the
속도 측정 모듈(13)에서 주행 중인 자동차를 감지하면, 컨트롤러(15)는 자동차의 촬영을 위한 트리거 신호를 생성하여 주 카메라 모듈(11) 및 보조 카메라 모듈(14)에 전송한다.When the
구체적으로, 속도 측정 모듈(13)에서 주행 속도 정보를 획득하면, 컨트롤러(15)는 자동차의 촬영을 위한 트리거 신호를 생성하고, 생성된 트리거 신호를 주 카메라 모듈(11) 및 보조 카메라 모듈(14)에 전송하여 주 카메라 모듈(11) 및 보조 카메라 모듈(14)을 구동시킨다.Specifically, when driving speed information is obtained from the
이때, 주 카메라 모듈(11)은 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득할 수 있다. 그리고, 보조 카메라 모듈(14)은 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 도로를 연속적으로 촬영하여 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득할 수 있다.In this case, when a trigger signal is input, the
주 카메라 모듈(11)로부터 제1 주 이미지 정보 및 제2 주 이미지 정보가 전송되면, 컨트롤러(15)는 제1 주 이미지 정보에서 자동차의 번호 정보를 인식한다.When the first main image information and the second main image information are transmitted from the
구체적으로, 주 카메라 모듈(11)로부터 컨트롤러(15)에 제1 주 이미지 정보 및 제2 주 이미지 정보가 전송되면, 컨트롤러(15)는 제1 주 이미지 정보로부터 번호판을 탐지하고, 탐지된 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류한 후, 번호판에서 번호 정보를 인식한다.Specifically, when the first main image information and the second main image information are transmitted from the
참고로, 이륜차를 제외한 다른 일반차량 및 특수차량, 건설기계 등은 같은 포맷의 번호판 구조를 가진다. 하지만 이륜차의 경우 이륜차만의 특수한 번호판 구조를 가지기 때문에 이륜차와 일반 차량을 나누어 번호판 인식을 수행할 수 있다.For reference, other general vehicles, special vehicles, construction machines, etc., except for two-wheeled vehicles, have license plate structures of the same format. However, since a two-wheeled vehicle has a unique license plate structure, it is possible to perform license plate recognition by dividing a two-wheeled vehicle and a general vehicle.
만약, 번호판이 이륜차 번호판이면, 컨트롤러(15)는 운전자의 헬멧 착용 여부를 확인하기 위하여 제1 주 이미지 정보 내에서 번호판의 위치를 기준으로 헬멧을 탐지하고, 그 결과를 저장할 수 있다.If the license plate is a two-wheeled vehicle license plate, the
예를 들어, 컨트롤러(15)는 제1 주 이미지 정보의 전체 영역이 아닌, 탐지된 번호판 위치를 기준으로 일정 영역 내에 있는 헬멧 만을 탐지할 수 있다. 이때, 컨트롤러(15)는 미리 설정된 수식을 이용하여 제1 주 이미지 정보 내에서 헬멧을 탐지할 수 있다.For example, the
자동차의 번호가 인식되면, 컨트롤러(15)는 제1 주 이미지 정보와 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출할 수 있다.When the vehicle number is recognized, the
구체적으로, 자동차의 번호가 인식되면, 컨트롤러(15)는 제1 주 이미지 정보에서 번호판이 탐지된 영역을 잘라내어(cropping) 제3 주 이미지 정보로 생성할 수 있다. 그리고, 컨트롤러(15)는 제3 주 이미지 정보로부터 윤곽선을 추출한 후 제3 주 이미지 정보를 패치 이미지 정보로 재설정할 수 있다. 예를 들어, 제3 주 이미지 정보로부터 윤곽선을 추출하는 과정은 소벨 에지(Sobel Edge) 추출 방식을 통해 수행될 수 있다. 패치 이미지 정보가 설정되면, 컨트롤러(15)는 제2 주 이미지 정보에서 패치 이미지 정보와 매칭을 수행할 검색 영역을 설정하여 제4 주 이미지 정보로 생성할 수 있다. 예를 들어, 컨트롤러(15)는 미리 설정된 수식에 의해 검색 영역을 설정할 수 있다. 그리고, 제4 주 이미지 정보가 생성되면, 컨트롤러(15)는 생성된 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도를 측정한다. 예를 들어, 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정을 위하여, 컨트롤러(15)는 Normalized Cross Correlation(NCC)을 수행하여 제4 이미지 정보와 패치 이미지 정보 사이의 여러 변수들(윤곽선, 밝기 등)을 비교하여 가장 높은 유사도를 가지는 부분을 매칭시킬 수 있다. 그리고, 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정이 완료되면, 컨트롤러(15)는 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정 결과로부터 제4 주 이미지 정보와 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출하고, 매칭 영역에 대한 좌표 정보와, 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출할 수 있다.Specifically, when the car number is recognized, the
영상 속도 정보가 산출되면, 컨트롤러(15)는 영상 속도 정보와 주행 속도 정보를 비교하여 최종 속도 정보를 산출한 후, 번호 정보 및 최종 속도 정보를 저장한다.When the video speed information is calculated, the
예를 들어, 컨트롤러(15)는 미리 설정된 수식에 의해 최종 속도 정보를 산출할 수 있다.For example, the
이하에서는, 본 발명의 실시예에 따른 자동차 후면 번호판 인식방법(이하 '자동차 후면 번호판 인식방법'이라 함)에 대하여 설명한다.Hereinafter, a vehicle rear license plate recognition method (hereinafter referred to as 'vehicle rear license plate recognition method') according to an embodiment of the present invention will be described.
참고로, 본 자동차 후면 번호판 인식방법을 설명하기 위한 각 구성에 대해서는 설명의 편의상 본 무인 단속 시스템(1000)을 설명하면서 사용한 도면부호를 동일하게 사용하고, 동일하거나 중복된 설명은 생략하기로 한다.For reference, the same reference numerals used while describing the present
도 2는 본 발명의 실시예에 따른 자동차 후면 번호판 인식방법을 나타낸 순서도이다.2 is a flowchart illustrating a method for recognizing a rear license plate of a vehicle according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 본 자동차 후면 번호판 인식방법은 본 무인 단속 시스템(1000)을 통해 수행된다.Referring to FIGS. 1 and 2 , the vehicle rear license plate recognition method is performed through the
참고로 본 무인 단속 시스템(1000)은 주행 중인 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 이미지 정보로부터 자동차의 번호판을 인식하도록 구성되는 번호 인식장치(1)와, 번호 인식장치(1)와 전기적으로 연결되어 번호 인식장치(1)의 구동을 제어하고, 번호 인식장치(1)에서 획득한 정보를 외부로 전송하도록 구성되는 제어장치(2)를 포함한다.For reference, the present
여기서, 번호 인식장치(1)는, 자동차의 후면을 연속적으로 촬영하여 번호판 인식을 위한 주 이미지 정보를 획득하는 주 카메라 모듈(11)과, 주 카메라 모듈(11)의 주시방향으로 빛을 조사하도록 구성되는 조명모듈(12)과, 자동차를 인식하고, 자동차의 주행 속도를 감지하여 주행 속도 정보를 획득하는 속도 측정 모듈(13)과, 도로를 촬영하여 자동차가 포함된 보조 이미지 정보를 획득하는 보조 카메라 모듈(14)과, 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)과 전기적으로 연결되어 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)을 제어하고, 주 이미지 정보로부터 자동차의 번호를 인식하고, 자동차의 최종 주행 속도를 산출하여 제어장치(2)로 전송하는 컨트롤러(15)와, 컨트롤러(15)와 전기적으로 연결되고, 컨트롤러(15)를 통해 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13) 및 보조 카메라 모듈(14)에 전원을 공급하는 전원공급모듈(16)과, 주 카메라 모듈(11), 조명모듈(12), 속도 측정 모듈(13), 보조 카메라 모듈(14), 컨트롤러(15) 및 전원공급모듈(16)을 외부로부터 보호하는 하우징(17)을 포함한다.Here, the
본 자동차 후면 번호판 인식방법에 대하여 설명한다.A method for recognizing the license plate on the back of the vehicle will be described.
본 무인 단속 시스템(1000)은 주행 중인 자동차를 감지하여 자동차의 촬영을 위한 트리거 신호를 생성한다(S100).The
구체적으로, 속도 측정 모듈(13)에서 주행 중인 자동차가 감지되면, 감지 신호를 컨트롤러(15)에 전송한다. 그리고, 컨트롤러(15)에 감지 신호가 전송되면, 컨트롤러(15)는 자동차의 촬영을 위한 트리거 신호를 생성하여 주 카메라 모듈(11)과 보조 카메라 모듈(14)에 트리거 신호를 전송하고, 이에 주 카메라 모듈(11)과 보조 카메라 모듈(14)이 구동된다.Specifically, when the
즉, 자동차의 후면 촬영의 경우, 전면 촬영에 비하여 차량을 검지하는 거리가 상대적으로 짧기 때문에, 속도 측정 모듈(13)만을 사용해서 촬영할 경우 자동차의 검지율이 하락하게 된다. 따라서, 속도 측정 모듈(13)과, 보조 카메라 모듈(14)을 모두 이용하여 트리거 신호를 발생시킨다.That is, in the case of photographing the rear of the car, since the distance for detecting the vehicle is relatively short compared to the photographing of the front, when photographing using only the
트리거 신호가 생성되면, 본 무인 단속 시스템(1000)은 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 이미지 정보로부터 자동차의 번호판을 인식한다(S200).When the trigger signal is generated, the present
본 무인 단속 시스템(1000)이 자동차의 번호판을 인식하는 과정에 대하여 보다 상세히 설명한다.A process in which the present
도 3은 본 발명의 실시예에 따른 번호판 인식 단계를 나타낸 순서도이다.3 is a flowchart illustrating a license plate recognition step according to an embodiment of the present invention.
도 3을 참조하면, 주 카메라 모듈(11) 및 보조 카메라 모듈(14)에 트리거 신호가 입력되면, 주 카메라 모듈(11)은 미리 설정된 시간 간격에 따라 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하고, 보조 카메라 모듈(14)은 미리 설정된 시간 간격에 따라 도로를 연속적으로 촬영하여 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득한다(S210).Referring to FIG. 3 , when a trigger signal is input to the
제1 주 이미지 정보, 제2 주 이미지 정보 및 추가 이미지 정보가 획득되면, 컨트롤러(15)는 제1 주 이미지 정보에서 자동차의 번호 정보를 인식한다(S220).When the first main image information, the second main image information, and the additional image information are acquired, the
도 4는 본 발명의 실시예에 따른 자동차 번호 인식 단계를 나타낸 순서도이다.4 is a flowchart illustrating a car number recognition step according to an embodiment of the present invention.
도 4를 참조하면, 주 카메라 모듈(11)로부터 컨트롤러(15)에 제1 주 이미지 정보 및 제2 주 이미지 정보가 전송되면, 컨트롤러(15)는 제1 주 이미지 정보로부터 번호판을 탐지한다(S221).Referring to FIG. 4 , when first main image information and second main image information are transmitted from the
번호판이 탐지되면, 컨트롤러(15)는 탐지된 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류한다(S222).When the license plate is detected, the
번호판이 이륜차 번호판 또는 일반차 번호판으로 분류되면, 컨트롤러(15)는 번호판에서 번호 정보를 인식한다(S223). 참고로, 이륜차를 제외한 다른 일반차량 및 특수차량, 건설기계 등은 같은 포맷의 번호판 구조를 가진다. 하지만 이륜차의 경우 이륜차만의 특수한 번호판 구조를 가지기 때문에 이륜차와 일반 차량을 나누어 번호판 인식을 수행할 수 있다.If the license plate is classified as a two-wheeled vehicle license plate or a general vehicle license plate, the
번호 정보가 인식되면, 컨트롤러(15)는 번호판의 종류 정보 및 번호 정보를 저장한다(S224).When the number information is recognized, the
한편, 번호판이 이륜차 번호판일 경우, 컨트롤러(15)는 번호판에서 번호 정보를 인식(S223)한 후에, 운전자의 헬멧 착용 여부를 확인하기 위하여 제1 주 이미지 정보 내에서 번호판의 위치를 기준으로 헬멧을 탐지하고(S225), 그 이후에 번호판의 종류 정보 및 번호 정보와 함께, 헬멧의 유무 정보를 함께 저장(S224)한다.On the other hand, if the license plate is a two-wheeled vehicle license plate, the
예를 들어, 컨트롤러(15)는 제1 주 이미지 정보의 전체 영역이 아닌, 탐지된 번호판 위치를 기준으로 일정 영역 내에 있는 헬멧 만을 탐지할 수 있다. 이때, 컨트롤러(15)는 미리 설정된 수식을 이용하여 제1 주 이미지 정보 내에서 헬멧을 탐지할 수 있다.For example, the
도 3을 참조하면, 자동차의 번호가 인식되면, 컨트롤러(15)는 제1 주 이미지 정보와 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출한다(S230).Referring to FIG. 3 , when the car number is recognized, the
도 5는 본 발명의 실시예에 따른 영상 속도 정보 산출 단계를 나타낸 순서도이다.5 is a flowchart illustrating a step of calculating video speed information according to an embodiment of the present invention.
도 5를 참조하면, 자동차의 번호가 인식되면, 컨트롤러(15)는 제1 주 이미지 정보에서 번호판이 탐지된 영역을 잘라내어(cropping) 제3 주 이미지 정보로 생성한다(S231).Referring to FIG. 5 , when the vehicle number is recognized, the
제3 주 이미지 정보가 생성되면, 컨트롤러(15)는 제3 주 이미지 정보로부터 윤곽선을 추출한 후 제3 주 이미지 정보를 패치 이미지 정보로 재설정한다(S232). 예를 들어, 제3 주 이미지 정보로부터 윤곽선을 추출하는 과정은 소벨 에지(Sobel Edge) 추출 방식을 통해 수행될 수 있다.When the third main image information is generated, the
패치 이미지 정보가 설정되면, 컨트롤러(15)는 제2 주 이미지 정보에서 패치 이미지 정보와 매칭을 수행할 검색 영역을 설정하여 제4 주 이미지 정보로 생성한다(S233). 예를 들어, 컨트롤러(15)는 미리 설정된 수식에 의해 검색 영역을 설정할 수 있다. When the patch image information is set, the
제4 주 이미지 정보가 생성되면, 컨트롤러(15)는 생성된 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도를 측정한다(S234). 예를 들어, 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정을 위하여, 컨트롤러(15)는 Normalized Cross Correlation(NCC)을 수행하여 제4 이미지 정보와 패치 이미지 정보 사이의 여러 변수들(윤곽선, 밝기 등)을 비교하여 가장 높은 유사도를 가지는 부분을 매칭시킬 수 있다. When the fourth main image information is generated, the
제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정이 완료되면, 컨트롤러(15)는 제4 주 이미지 정보와 패치 이미지 정보 간의 유사도 측정 결과로부터 제4 주 이미지 정보와 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출한다(S235).When the similarity measurement between the fourth main image information and the patch image information is completed, the
매칭 영역에 대한 좌표 정보 및 픽셀의 실제 거리 정보를 산출하면, 컨트롤러(15)는 매칭 영역에 대한 좌표 정보와, 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출한다(S236).When the coordinate information of the matching area and the actual distance information of the pixel are calculated, the
도 3을 참조하면, 영상 속도 정보가 산출되면, 컨트롤러(15)는 영상 속도 정보와 주행 속도 정보를 비교하여 최종 속도 정보를 산출한다(S240).Referring to FIG. 3 , when the video speed information is calculated, the
최종 속도 정보가 산출되면, 컨트롤러(15)는 번호 정보 및 최종 속도 정보를 저장한다(S250). 예를 들어, 컨트롤러(15)는 미리 설정된 수식에 의해 최종 속도 정보를 산출할 수 있다.When the final speed information is calculated, the
번호 정보 및 최종 속도 정보가 저장되면, 컨트롤러(15)는 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하는 주 카메라 모듈(11)의 파라미터를 보정한다(S260).When the number information and the final speed information are stored, the
도 6은 본 발명의 실시예에 따른 파라미터 보정 단계를 나타낸 순서도이다.6 is a flowchart illustrating a parameter correction step according to an embodiment of the present invention.
도 6을 참조하면, 컨트롤러(15)는 매칭 영역의 픽셀 이동 거리에 관한 픽셀 이동거리 좌표정보, 제1 주 이미지 정보와 제2 주 이미지 정보 간 시간 차이 정보, 주행 속도 정보, 영상 속도 정보 및 주 카메라 모듈(11)의 내부 파라미터 정보를 포함하는 구조체를 생성한다(S261).Referring to FIG. 6 , the
구조체가 생성되면, 컨트롤러(15)는 구조체가 미리 설정된 임계 수량이 될 때까지 구조체들을 누적시킨다(S262).When the structures are generated, the
구조체들의 누적 수량이 임계 수량과 일치되면, 컨트롤러(15)는 누적된 구조체들의 수량만큼 루프(loop)를 돌면서 누적된 구조체들의 주 카메라 모듈(11)의 내부 파라미터 정보를 수정한 뒤, 영상 속도 정보를 업데이트 하고, 업데이트된 영상 속도 정보와 주행 속도 정보 간 차이를 산출한 뒤 누적 및 저장한다(S263).When the cumulative number of structures coincides with the threshold quantity, the
루프가 종료되면, 컨트롤러(15)는 영상 속도 정보와 주행 속도 정보 간 차이가 최소값인지 확인하고, 영상 속도 정보와 주행 속도 정보 간 차이가 최소값이 되면, 현재 설정된 주 카메라 모듈(11)의 파라미터를 저장한다(S264).When the loop ends, the
즉, 영상 속도의 계산을 위해서는 영상의 픽셀 거리를 실제 환경에서의 거리로 변경해야 한다. 이때, 사용하는 방법이 카메라 켈리브레이션이다. 카메라 켈리브레이션은 카메라의 내부 파라미터, 설치 위치를 조합하여 영상 내 픽셀 거리를 실제 거리로 바꾸어주는 기법이다. 카메라의 설치 위치는 계측으로 측정이 가능하지만 내부 파라미터의 경우 계측이 불가능 하며, 대부분 카메라의 제조사에서 제공하는 스펙시트에 작성되어 있다. 이때, 내부 파라미터는 카메라 제조 공정에서 발생하는 오차가 생길 수 있으며 매우 작은 오차가 발생하더라도 최종 결과에는 큼 영향을 미치게 된다. 때문에, 일반적으로 카메라 켈리브레이션 시 외부 파라미터는 측정값으로 고정해 둔 이후 내부 파라미터는 미세하게 조절하면서 설정을 한다. 이러한 내부 파라미터 미세 조절을 자동화하기 위해서 영상 속도와 주행 속도 정보 등을 활용하여 주 카메라 모듈(11)의 파라미터를 자동으로 보정할 수 있다.That is, in order to calculate the video speed, the pixel distance of the video must be changed to the distance in the real environment. At this time, the method used is camera calibration. Camera calibration is a technique that converts the pixel distance in an image into an actual distance by combining the camera's internal parameters and installation location. The installation location of the camera can be measured by measurement, but measurement of the internal parameters is impossible, and most of them are written in the specification sheet provided by the camera manufacturer. At this time, the internal parameters may cause errors that occur in the camera manufacturing process, and even if a very small error occurs, it has a great effect on the final result. Therefore, in general, when calibrating a camera, the external parameters are fixed as measured values, and then the internal parameters are finely adjusted and set. In order to automate the fine adjustment of the internal parameters, the parameters of the
이처럼 본 발명의 실시예에 따르면, 자동차의 전면이 아닌, 후면에서 자동차를 촬영하여 자동차의 번호판을 인식함과 동시에, 자동차의 주행 속도를 산출하도록 구성되므로, 전면과 후면에 번호판이 부착된 일반적인 자동차는 물론, 후면에만 번호판이 배치된 이륜차 및 전면 번호판이 오염된 차량의 경우에도 모두 정확한 단속을 수행할 수 있다.As described above, according to an embodiment of the present invention, since the vehicle is photographed from the rear rather than the front of the vehicle, the license plate of the vehicle is recognized, and the driving speed of the vehicle is calculated, a typical vehicle with license plates attached to the front and rear surfaces of the vehicle is configured. In addition, accurate enforcement can be performed even in the case of a two-wheeled vehicle with a number plate placed only on the rear side and a vehicle with a contaminated front number plate.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and may be variously modified and implemented without departing from the technical spirit of the present invention. . Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.
1000. 무인 단속 시스템 1. 번호 인식장치
11. 주 카메라 모듈 12. 조명모듈
13. 속도 측정 모듈 14. 보조 카메라 모듈
15. 컨트롤러 16. 전원공급모듈
17. 하우징 2. 제어장치1000.
11.
13.
15.
17.
Claims (16)
상기 번호 인식장치(1)와 전기적으로 연결되어 상기 번호 인식장치(1)의 구동을 제어하고, 상기 번호 인식장치(1)에서 획득한 정보를 외부로 전송하도록 구성되는 제어장치(2);를 포함하고,
상기 번호 인식장치(1)는,
상기 자동차의 후면을 연속적으로 촬영하여 번호판 인식을 위한 주 이미지 정보를 획득하는 주 카메라 모듈(11),
상기 주 카메라 모듈(11)의 주시방향으로 빛을 조사하도록 구성되는 조명모듈(12),
상기 자동차를 인식하고 상기 자동차의 주행 속도를 감지하여 주행 속도 정보를 획득하는 속도 측정 모듈(13),
도로를 촬영하여 상기 자동차가 포함된 보조 이미지 정보를 획득하는 보조 카메라 모듈(14),
상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)과 전기적으로 연결되어 상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)을 제어하고 상기 주 이미지 정보로부터 상기 자동차의 번호를 인식하고 상기 자동차의 최종 주행 속도를 산출하여 상기 제어장치(2)로 전송하는 컨트롤러(15),
상기 컨트롤러(15)와 전기적으로 연결되고 상기 컨트롤러(15)를 통해 상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)에 전원을 공급하는 전원공급모듈(16), 및
상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 상기 보조 카메라 모듈(14) 상기 컨트롤러(15) 및 상기 전원공급모듈(16)을 외부로부터 보호하는 하우징(17)을 포함하며,
상기 컨트롤러(15)는,
상기 속도 측정 모듈(13)에서 주행 중인 상기 자동차를 감지하면, 상기 주 카메라 모듈(11) 및 상기 보조 카메라 모듈(14)에 상기 자동차의 촬영을 위한 트리거 신호를 전송하고,
상기 주 카메라 모듈(11)은,
상기 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 상기 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하고,
상기 보조 카메라 모듈(14)은,
상기 트리거 신호가 입력되면, 미리 설정된 시간 간격에 따라 상기 도로를 연속적으로 촬영하여 상기 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득하며,
상기 컨트롤러(15)는,
상기 제1 주 이미지 정보로부터 번호판을 탐지하고, 탐지된 상기 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류한 후, 상기 번호판에서 상기 번호 정보를 인식하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
a license plate recognizing device (1) configured to obtain image information by photographing the back of a vehicle in motion, and to recognize a license plate of the vehicle from the image information; and
A control device (2) configured to be electrically connected to the number recognition device (1) to control driving of the number recognition device (1) and to transmit information obtained from the number recognition device (1) to the outside; include,
The number recognition device 1,
A main camera module 11 for acquiring main image information for license plate recognition by continuously photographing the back of the car;
A lighting module 12 configured to emit light in the direction of viewing of the main camera module 11;
A speed measuring module 13 recognizing the vehicle and detecting the driving speed of the vehicle to obtain driving speed information;
An auxiliary camera module 14 for acquiring auxiliary image information including the car by photographing the road;
The main camera module 11, the lighting module 12, the speed measuring module 13, and the auxiliary camera module 14 are electrically connected to each other so that the main camera module 11, the lighting module 12, and the speed measuring module (13) and the controller 15 for controlling the auxiliary camera module 14, recognizing the number of the car from the main image information, calculating the final driving speed of the car, and transmitting it to the control device 2;
Electrically connected to the controller 15 and supplying power to the main camera module 11, the lighting module 12, the speed measurement module 13 and the auxiliary camera module 14 through the controller 15 power supply module 16, and
The housing 17 that protects the main camera module 11, the lighting module 12, the speed measurement module 13, the auxiliary camera module 14, the controller 15, and the power supply module 16 from the outside contains,
The controller 15,
When the speed measuring module 13 detects the vehicle running, it transmits a trigger signal for photographing the vehicle to the main camera module 11 and the auxiliary camera module 14,
The main camera module 11,
When the trigger signal is input, first main image information and second main image information are acquired by continuously photographing the back of the vehicle according to a preset time interval;
The auxiliary camera module 14,
When the trigger signal is input, the road is continuously photographed according to a preset time interval to obtain additional image information for determining whether the vehicle is driving,
The controller 15,
An unmanned enforcement system (1000) using vehicle rear license plate recognition to detect a license plate from the first main image information, classify the detected license plate into a two-wheeled vehicle license plate or a general vehicle license plate, and then recognize the number information from the license plate .
상기 컨트롤러(15)는,
상기 주 카메라 모듈(11)로부터 상기 제1 주 이미지 정보 및 상기 제2 주 이미지 정보가 전송되면, 상기 제1 주 이미지 정보에서 상기 자동차의 번호 정보를 인식하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
According to claim 1,
The controller 15,
When the first main image information and the second main image information are transmitted from the main camera module 11, an unmanned enforcement system using license plate recognition on the back of a vehicle recognizing the number information of the car from the first main image information (1000).
상기 컨트롤러(15)는,
상기 번호판이 상기 이륜차 번호판이면, 상기 제1 주 이미지 정보 내에서 상기 번호판의 위치를 기준으로 헬멧을 탐지하고, 그 결과를 저장하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
According to claim 1,
The controller 15,
If the license plate is the two-wheeled vehicle license plate, the helmet is detected based on the position of the license plate in the first main image information, and the result is stored.
상기 컨트롤러(15)는,
상기 자동차의 번호가 인식되면, 상기 제1 주 이미지 정보와 상기 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
According to claim 5,
The controller 15,
When the number of the car is recognized, the video speed information is calculated based on the first main image information and the second main image information.
상기 컨트롤러(15)는,
상기 제1 주 이미지 정보에서 상기 번호판이 탐지된 영역을 잘라내어 제3 주 이미지 정보로 생성하고,
상기 제3 주 이미지 정보로부터 윤곽선을 추출한 후 상기 제3 주 이미지 정보를 패치 이미지 정보로 재설정하며,
상기 제2 주 이미지 정보에서 검색 영역을 설정하여 제4 주 이미지 정보로 생성한 후 상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도를 측정하고,
상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도 측정 결과로부터 상기 제4 주 이미지 정보와 상기 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 상기 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출하며,
상기 매칭 영역에 대한 좌표 정보와, 상기 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
According to claim 8,
The controller 15,
A region in which the license plate is detected is cut out from the first main image information to generate third main image information;
After extracting an outline from the third main image information, resetting the third main image information to patch image information;
After setting a search area in the second main image information to generate fourth main image information, measuring a similarity between the fourth main image information and the patch image information;
After obtaining coordinate information on a matching area between the fourth main image information and the patch image information from a similarity measurement result between the fourth main image information and the patch image information, the actual distance of a pixel from the fourth main image information produce information,
An unmanned enforcement system (1000) using vehicle rear license plate recognition, which calculates image speed information based on the coordinate information of the matching area and the actual distance information of the pixel.
상기 컨트롤러(15)는,
상기 영상 속도 정보가 산출되면, 상기 영상 속도 정보와 상기 주행 속도 정보를 비교하여 최종 속도 정보를 산출한 후, 상기 번호 정보 및 상기 최종 속도 정보를 저장하는, 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000).
According to claim 8,
The controller 15,
When the video speed information is calculated, the video speed information and the driving speed information are compared to calculate the final speed information, and then the number information and the final speed information are stored. 1000).
상기 번호 인식장치(1)와 전기적으로 연결되어 상기 번호 인식장치(1)의 구동을 제어하고, 상기 번호 인식장치(1)에서 획득한 정보를 외부로 전송하도록 구성되는 제어장치(2);를 포함하고,
상기 번호 인식장치(1)는,
상기 자동차의 후면을 연속적으로 촬영하여 번호판 인식을 위한 주 이미지 정보를 획득하는 주 카메라 모듈(11),
상기 주 카메라 모듈(11)의 주시방향으로 빛을 조사하도록 구성되는 조명모듈(12),
상기 자동차를 인식하고 상기 자동차의 주행 속도를 감지하여 주행 속도 정보를 획득하는 속도 측정 모듈(13),
도로를 촬영하여 상기 자동차가 포함된 보조 이미지 정보를 획득하는 보조 카메라 모듈(14),
상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)과 전기적으로 연결되어 상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)을 제어하고 상기 주 이미지 정보로부터 상기 자동차의 번호를 인식하고 상기 자동차의 최종 주행 속도를 산출하여 상기 제어장치(2)로 전송하는 컨트롤러(15),
상기 컨트롤러(15)와 전기적으로 연결되고 상기 컨트롤러(15)를 통해 상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 및 상기 보조 카메라 모듈(14)에 전원을 공급하는 전원공급모듈(16), 및
상기 주 카메라 모듈(11) 상기 조명모듈(12) 상기 속도 측정 모듈(13) 상기 보조 카메라 모듈(14) 상기 컨트롤러(15) 및 상기 전원공급모듈(16)을 외부로부터 보호하는 하우징(17)을 포함하는 자동차 후면 번호판 인식을 이용한 무인 단속 시스템(1000)에 따른 무인 단속 시스템(1000)을 이용한 자동차 후면 번호판 인식방법으로서,
주행 중인 자동차를 감지하여 자동차의 촬영을 위한 트리거 신호를 생성하는 트리거 생성 단계(S100); 및
상기 자동차의 후면을 촬영하여 이미지 정보를 획득하고, 상기 이미지 정보로부터 상기 자동차의 번호판을 인식하는 번호판 인식 단계(S200);를 포함하고,
상기 번호판 인식 단계(S200)는,
상기 트리거 신호가 입력되면 미리 설정된 시간 간격에 따라 상기 자동차의 후면을 연속적으로 촬영하여 제1 주 이미지 정보 및 제2 주 이미지 정보를 획득하고 미리 설정된 시간 간격에 따라 상기 도로를 연속적으로 촬영하여 상기 자동차의 주행 여부 확인을 위한 추가 이미지 정보를 획득하는 이미지 획득 단계(S210),
상기 제1 주 이미지 정보에서 자동차의 번호 정보를 인식하는 자동차 번호 인식 단계(S220),
상기 제1 주 이미지 정보와 상기 제2 주 이미지 정보를 기반으로 영상 속도 정보를 산출하는 영상 속도 정보 산출 단계(S230),
상기 영상 속도 정보와 자동차의 주행 속도 정보를 비교하여 최종 속도 정보를 산출하는 최종 속도 정보 산출 단계(S240), 및
상기 번호 정보 및 상기 최종 속도 정보를 저장하는 정보 저장 단계(S250)를 포함하는, 자동차 후면 번호판 인식방법.
a license plate recognizing device (1) configured to obtain image information by photographing the back of a vehicle in motion, and to recognize a license plate of the vehicle from the image information; and
A control device (2) configured to be electrically connected to the number recognition device (1) to control driving of the number recognition device (1) and to transmit information obtained from the number recognition device (1) to the outside; include,
The number recognition device 1,
A main camera module 11 for acquiring main image information for license plate recognition by continuously photographing the back of the car;
A lighting module 12 configured to emit light in the direction of viewing of the main camera module 11;
A speed measuring module 13 recognizing the vehicle and detecting the driving speed of the vehicle to obtain driving speed information;
An auxiliary camera module 14 for acquiring auxiliary image information including the car by photographing the road;
The main camera module 11, the lighting module 12, the speed measuring module 13, and the auxiliary camera module 14 are electrically connected to each other so that the main camera module 11, the lighting module 12, and the speed measuring module (13) and the controller 15 for controlling the auxiliary camera module 14, recognizing the number of the car from the main image information, calculating the final driving speed of the car, and transmitting it to the control device 2;
Electrically connected to the controller 15 and supplying power to the main camera module 11, the lighting module 12, the speed measurement module 13 and the auxiliary camera module 14 through the controller 15 power supply module 16, and
The housing 17 that protects the main camera module 11, the lighting module 12, the speed measurement module 13, the auxiliary camera module 14, the controller 15, and the power supply module 16 from the outside A vehicle rear license plate recognition method using an unmanned enforcement system 1000 according to an unmanned enforcement system 1000 using vehicle rear license plate recognition including,
A trigger generating step (S100) of detecting a vehicle in motion and generating a trigger signal for photographing the vehicle; and
A license plate recognition step (S200) of obtaining image information by photographing the rear of the vehicle and recognizing the license plate of the vehicle from the image information; including,
In the license plate recognition step (S200),
When the trigger signal is input, first main image information and second main image information are obtained by continuously photographing the back of the car according to a preset time interval, and continuously photographing the road according to a preset time interval to determine the vehicle An image acquisition step (S210) of acquiring additional image information for checking whether the vehicle is driving;
A vehicle number recognition step of recognizing vehicle number information from the first main image information (S220);
Video speed information calculation step (S230) of calculating video speed information based on the first main image information and the second main image information;
Final speed information calculation step (S240) of calculating final speed information by comparing the video speed information with the driving speed information of the vehicle; and
Including an information storage step (S250) of storing the number information and the final speed information, a vehicle rear license plate recognition method.
상기 자동차 번호 인식 단계(S220)는,
상기 제1 주 이미지 정보로부터 번호판을 탐지하는, 번호판 탐지 단계(S221);
상기 번호판을 이륜차 번호판 또는 일반차 번호판으로 분류하는, 번호판 분류 단계(S222);
상기 번호판에서 상기 번호 정보를 인식하는, 번호 추출 단계(S223); 및
번호판의 종류 정보 및 상기 번호 정보를 저장하는, 번호판 정보 저장 단계(S224);를 포함하는, 자동차 후면 번호판 인식방법.
According to claim 11,
In the car number recognition step (S220),
A license plate detection step (S221) of detecting a license plate from the first main image information;
A license plate classification step (S222) of classifying the license plate into a two-wheeled vehicle license plate or a general vehicle license plate;
Recognizing the number information from the number plate, number extraction step (S223); and
A method for recognizing a license plate on the rear side of a vehicle, including license plate type information and a license plate information storage step (S224) of storing the number information.
상기 자동차 번호 인식 단계(S220)는,
상기 번호판이 상기 이륜차 번호판이면, 상기 번호 추출 단계(S223)와 상기 번호판 정보 저장 단계(S224) 사이에, 상기 제1 주 이미지 정보 내에서 상기 번호판의 위치를 기준으로 헬멧을 탐지하는, 헬멧 탐지 단계(S225);를 더 포함하고,
상기 번호판 정보 저장 단계는,
상기 헬멧의 유무 정보를 더 저장하는, 번호판 정보 저장 단계;를 포함하는, 자동차 후면 번호판 인식방법.
According to claim 13,
In the car number recognition step (S220),
If the license plate is the two-wheeled vehicle license plate, between the number extraction step (S223) and the license plate information storing step (S224), a helmet detection step of detecting a helmet based on the position of the license plate in the first main image information (S225); further comprising,
The step of storing the license plate information,
Further storing the presence or absence information of the helmet, license plate information storage step; including, vehicle rear license plate recognition method.
상기 영상 속도 정보 산출 단계(S230)는,
상기 제1 주 이미지 정보에서 상기 번호판이 탐지된 영역을 잘라내어 제3 주 이미지 정보로 생성하는, 크롭단계(S231);
상기 제3 주 이미지 정보로부터 윤곽선을 추출한 후 상기 제3 주 이미지 정보를 패치 이미지 정보로 재설정하는, 패치 이미지 설정 단계(S232);
상기 제2 주 이미지 정보에서 검색 영역을 설정하여 제4 주 이미지 정보로 생성하는, 검색 영역 설정 단계(S233);
상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도를 측정하는, 유사도 측정 단계(S234);
상기 제4 주 이미지 정보와 상기 패치 이미지 정보 간의 유사도 측정 결과로부터 상기 제4 주 이미지 정보와 상기 패치 이미지 정보의 매칭 영역에 대한 좌표 정보를 획득한 후, 상기 제4 주 이미지 정보로부터 픽셀의 실제 거리 정보를 산출하는, 거리 산출 단계(S235); 및
상기 매칭 영역에 대한 좌표 정보와, 상기 픽셀의 실제 거리 정보를 기반으로 영상 속도 정보를 산출하는, 영상 속도 산출 단계(S236);를 포함하는, 자동차 후면 번호판 인식방법.
According to claim 11,
In the video speed information calculation step (S230),
a cropping step (S231) of cropping an area where the license plate is detected from the first main image information to generate third main image information;
a patch image setting step (S232) of resetting the third main image information into patch image information after extracting an outline from the third main image information;
a search area setting step (S233) of setting a search area from the second main image information and generating fourth main image information;
a similarity measuring step (S234) of measuring a similarity between the fourth main image information and the patch image information;
After obtaining coordinate information on a matching area between the fourth main image information and the patch image information from a similarity measurement result between the fourth main image information and the patch image information, the actual distance of a pixel from the fourth main image information Calculating information, distance calculation step (S235); and
and an image velocity calculation step (S236) of calculating image velocity information based on the coordinate information of the matching area and the actual distance information of the pixel.
상기 번호판 인식 단계(S200)는,
상기 자동차의 후면을 연속적으로 촬영하여 상기 제1 주 이미지 정보 및 상기 제2 주 이미지 정보를 획득하는 주 카메라 모듈(11)의 파라미터를 보정하는, 파라미터 보정 단계(S260);를 더 포함하는, 자동차 후면 번호판 인식방법.According to claim 15,
In the license plate recognition step (S200),
A parameter correction step (S260) of correcting the parameters of the main camera module 11 that acquires the first main image information and the second main image information by continuously photographing the rear surface of the car; How to recognize the rear number plate.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220114020A KR102477410B1 (en) | 2022-09-08 | 2022-09-08 | Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220114020A KR102477410B1 (en) | 2022-09-08 | 2022-09-08 | Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102477410B1 true KR102477410B1 (en) | 2022-12-15 |
Family
ID=84439564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220114020A KR102477410B1 (en) | 2022-09-08 | 2022-09-08 | Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102477410B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630939B1 (en) * | 2023-10-06 | 2024-01-30 | 이홍기 | Unmanned traffic enforcement method and system of deep-learning based recognition of front and rear license plate |
| KR102656252B1 (en) * | 2023-10-04 | 2024-04-09 | (주)디라직 | unmanned traffic enforcement system for enhancing accuracy of enforcement |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030024746A (en) | 2003-02-24 | 2003-03-26 | 김태보 | the overspeed detection system and method in using traffic photo equipment |
| KR101304900B1 (en) * | 2012-05-18 | 2013-09-05 | 휴앤에스(주) | Photographing system of multiline road |
| KR20170080481A (en) * | 2015-12-30 | 2017-07-10 | 건아정보기술 주식회사 | Multilane vehicle speed detecting system |
| KR20180013453A (en) * | 2016-07-29 | 2018-02-07 | 이종선 | Traffic violation enforcement system and method for controlling the same |
| KR102008263B1 (en) * | 2018-06-25 | 2019-08-07 | 주식회사 유니시큐 | Convergence detector and traffic enforcement system therewith |
| KR102429312B1 (en) * | 2021-08-09 | 2022-08-04 | 주식회사 영국전자 | Enforcement device and method thereof |
-
2022
- 2022-09-08 KR KR1020220114020A patent/KR102477410B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030024746A (en) | 2003-02-24 | 2003-03-26 | 김태보 | the overspeed detection system and method in using traffic photo equipment |
| KR101304900B1 (en) * | 2012-05-18 | 2013-09-05 | 휴앤에스(주) | Photographing system of multiline road |
| KR20170080481A (en) * | 2015-12-30 | 2017-07-10 | 건아정보기술 주식회사 | Multilane vehicle speed detecting system |
| KR20180013453A (en) * | 2016-07-29 | 2018-02-07 | 이종선 | Traffic violation enforcement system and method for controlling the same |
| KR102008263B1 (en) * | 2018-06-25 | 2019-08-07 | 주식회사 유니시큐 | Convergence detector and traffic enforcement system therewith |
| KR102429312B1 (en) * | 2021-08-09 | 2022-08-04 | 주식회사 영국전자 | Enforcement device and method thereof |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102656252B1 (en) * | 2023-10-04 | 2024-04-09 | (주)디라직 | unmanned traffic enforcement system for enhancing accuracy of enforcement |
| KR102630939B1 (en) * | 2023-10-06 | 2024-01-30 | 이홍기 | Unmanned traffic enforcement method and system of deep-learning based recognition of front and rear license plate |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102477410B1 (en) | Traffic violation enforcement system using rear license plate recognition and method for rear license plate recognition | |
| KR100435650B1 (en) | Detection method of road condition in a vehicle equipped with a camera, and method for detecting distance between vehicles in the same vehicle | |
| EP3208635B1 (en) | Vision algorithm performance using low level sensor fusion | |
| JP6682833B2 (en) | Database construction system for machine learning of object recognition algorithm | |
| US20230076036A1 (en) | Methods and systems for providing depth maps with confidence estimates | |
| US11760313B2 (en) | Sensor pod cleaning system | |
| EP2383713B1 (en) | Detecting and recognizing traffic signs | |
| US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
| US8055017B2 (en) | Headlamp monitoring apparatus for image exposure adjustment | |
| US10679077B2 (en) | Road marking recognition device | |
| KR102008263B1 (en) | Convergence detector and traffic enforcement system therewith | |
| US8175334B2 (en) | Vehicle environment recognition apparatus and preceding-vehicle follow-up control system | |
| US8848980B2 (en) | Front vehicle detecting method and front vehicle detecting apparatus | |
| WO2019238127A1 (en) | Method, apparatus and system for measuring distance | |
| WO2016125377A1 (en) | Image-processing device and vehicle system | |
| US20210339699A1 (en) | Pedestrian protection system for sensor pods | |
| US20210341613A1 (en) | Sensor pod calibration | |
| US8643723B2 (en) | Lane-marker recognition system with improved recognition-performance | |
| US11623585B2 (en) | Sensor pod coverage and placement on vehicle | |
| US11335099B2 (en) | Proceedable direction detection apparatus and proceedable direction detection method | |
| KR20170080481A (en) | Multilane vehicle speed detecting system | |
| KR20150104409A (en) | System and method for detecting vehicle by using sensor | |
| KR20140038986A (en) | Distance measurement by means of a camera sensor | |
| KR102062579B1 (en) | Vehicle license-plate recognition system that recognition of Vehicle license-plate damaged by shadow and light reflection through the correction | |
| CN210112100U (en) | Intelligent road side unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |