KR102608447B1 - System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof - Google Patents
System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof Download PDFInfo
- Publication number
- KR102608447B1 KR102608447B1 KR1020210045676A KR20210045676A KR102608447B1 KR 102608447 B1 KR102608447 B1 KR 102608447B1 KR 1020210045676 A KR1020210045676 A KR 1020210045676A KR 20210045676 A KR20210045676 A KR 20210045676A KR 102608447 B1 KR102608447 B1 KR 102608447B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- camera
- lighting
- vehicle
- posture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000013480 data collection Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000036544 posture Effects 0.000 description 77
- 238000010586 diagram Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 인공지능을 이용한 차량번호인식 제어시스템 및 그 방법에 관한 것이다.
본 발명에 따르면, 차량번호인식 제어시스템은 복수의 차량번호인식장치에 설치된 카메라 및 IR 조명에 대한 기본 자세 정보를 획득하는 자세 정보 획득부, 상기 차량번호인식장치로부터 진입하는 차량에 대한 전방 영상을 수신하는 영상 수신부, 상기 수신된 전방 영상을 전처리하여 번호판 영역을 검출하고, 상기 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득하는 번호판 인식부, 그리고 상기 카메라 및 IR 조명에 대한 기본 자세 정보와 상기 번호판의 형상 정보를 기 학습된 학습 모델에 입력하여 카메라 또는 IR 조명에 대한 보정된 자세 정보를 획득하고, 상기 보정된 자세 정보를 차량번호인식장치에 전달하는 제어부를 포함한다.
이와 같이 본 발명에 따르면, 인공지능을 이용하여 인식된 번호판의 형상정보에 따라 카메라 또는 IR 조명의 자세를 실시간으로 보정가능하고, 각각의 주차장 환경에 따라 실시간으로 제어 가능하므로 번호판에 대한 인식률을 높일 수 있다. 또한, 본 발명에 따르면, 현장에 전문인력을 투입하지 않아도 카메라 및 IR 조명의 자세 보정이 가능하므로 인건비 절감에 효과가 있다. The present invention relates to a vehicle number recognition control system and method using artificial intelligence.
According to the present invention, the license plate recognition control system includes a posture information acquisition unit that acquires basic posture information for cameras and IR lights installed in a plurality of license plate recognition devices, and a front image of a vehicle entering from the license plate recognition device. an image receiving unit, a license plate recognition unit that detects a license plate area by preprocessing the received front image, and obtains shape information of the license plate from the detected license plate area, and basic attitude information about the camera and IR lighting and the license plate It includes a control unit that inputs shape information into a previously learned learning model to obtain corrected posture information for a camera or IR lighting, and transmits the corrected posture information to a license plate recognition device.
According to the present invention, the posture of the camera or IR light can be corrected in real time according to the shape information of the license plate recognized using artificial intelligence, and can be controlled in real time according to the environment of each parking lot, thereby increasing the recognition rate of the license plate. You can. In addition, according to the present invention, it is possible to correct the posture of the camera and IR lighting without having to deploy professional manpower on site, which is effective in reducing labor costs.
Description
본 발명은 인공지능을 이용한 차량번호인식 제어시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 인공지능을 이용하여 차량번호인식장치에 포함된 카메라 및 IR 조명의 자세를 원격으로 제어함으로써, 입차 차량 또는 출차 차량의 번호판에 대한 인식률을 높이기 위한 차량번호인식 제어시스템 및 그 방법에 관한 것이다.The present invention relates to a vehicle number recognition control system and method using artificial intelligence. More specifically, the present invention relates to a vehicle number recognition control system and method using artificial intelligence, by remotely controlling the posture of the camera and IR lighting included in the vehicle number recognition device using artificial intelligence, This relates to a license plate recognition control system and method for increasing the recognition rate of license plates of vehicles leaving the vehicle.
주로 과속, 위반 단속용으로 사용되던 차량번호인식 카메라는 주차장 과금을 포함한 지능형 주차 관제용 용도로 확장되고 있다. License plate recognition cameras, which were mainly used to crack down on speeding and violations, are being expanded to include intelligent parking control, including parking lot charging.
일반적으로 차량 번호판의 인식 과정은 차량번호인식 카메라를 통한 주차장 입구 또는 출구에 진입하는 차량을 촬영하고, 촬영된 영상에서 번호판을 추출한 다음 차량 번호를 출력하는 순으로 진행된다. In general, the vehicle license plate recognition process proceeds in the following order: photographing a vehicle entering the entrance or exit of a parking lot using a license plate recognition camera, extracting the license plate from the captured image, and then printing the vehicle number.
한편, 차량번호인식장치에 설치되는 카메라는 고정된 상태에서 진입하는 차량을 촬영한다. 그러면 관리자는 촬영된 영상을 확인하여 차량 번호판에 대한 인식률이 떨어진다고 판단되면 현장에 방문하여 카메라의 자세를 보정하는 작업을 수행하였다. Meanwhile, the camera installed in the license plate recognition device films the entering vehicle in a fixed state. The manager then checked the captured video and, if it was determined that the recognition rate for the vehicle's license plate was low, visited the site and corrected the camera's posture.
그러나, 현장 방문을 통해 카메라의 자세를 보정하려면 전문인력을 이용하여야 하고, 최근 증가된 주차장 수요에 따라 많은 인력을 필요로 하는 문제점이 있었다. However, in order to correct the camera's posture through an on-site visit, professional personnel must be used, and due to the recently increased demand for parking lots, there was a problem of requiring a large number of personnel.
또한, 차량의 번호판을 인식하는 과정에서, 역광이나 전반사, 주변 물체의 그림자 등의 환경적 요인으로 인하여 차량 번호판의 인식 오류 등의 문제가 발생하고 있으며, 이러한 인식 오류로 인해 차량 번호판의 인식률이 떨어지는 문제를 야기하고 있다.In addition, in the process of recognizing a vehicle's license plate, problems such as recognition errors in the vehicle's license plate occur due to environmental factors such as backlight, total reflection, and shadows from surrounding objects, and these recognition errors cause a decrease in the recognition rate of the vehicle's license plate. It's causing problems.
따라서, 현장 상황에 맞게 환경적 요인을 줄임으로써 차량 번호판의 인식 오류를 최소화함으로써 인식 속도 및 기능을 향상시킬 수 있는 기술의 개발이 필요한 실정이다.Therefore, there is a need to develop technology that can improve recognition speed and function by minimizing recognition errors of vehicle license plates by reducing environmental factors according to field conditions.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2021-016960호(2021.02.17. 공개)에 개시되어 있다.The technology behind the present invention is disclosed in Korean Patent Publication No. 10-2021-016960 (published on February 17, 2021).
이와 같이 본 발명에 따르면, 인공지능을 이용하여 차량번호인식장치에 포함된 카메라 및 IR 조명의 자세를 원격으로 제어함으로써, 입차 차량 또는 출차 차량의 번호판에 대한 인식률을 높이기 위한 차량번호인식 제어시스템 및 그 방법을 제공하기 위한 것이다.According to the present invention, a vehicle number recognition control system and a vehicle number recognition control system for increasing the recognition rate of the license plate of an entering or exiting vehicle by remotely controlling the posture of the camera and IR lighting included in the vehicle number recognition device using artificial intelligence, and The purpose is to provide that method.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 인공지능을 이용한 차량번호인식 제어시스템에 있어서, 복수의 차량번호인식장치에 설치된 카메라 및 IR 조명에 대한 기본 자세 정보를 획득하는 자세 정보 획득부, 상기 차량번호인식장치로부터 진입하는 차량에 대한 전방 영상을 수신하는 영상 수신부, 상기 수신된 전방 영상을 전처리하여 번호판 영역을 검출하고, 상기 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득하는 번호판 인식부, 그리고 상기 카메라 및 IR 조명에 대한 기본 자세 정보와 상기 번호판의 형상 정보를 기 학습된 학습 모델에 입력하여 카메라 또는 IR 조명에 대한 보정된 자세 정보를 획득하고, 상기 보정된 자세 정보를 차량번호인식장치에 전달하는 제어부를 포함한다. According to an embodiment of the present invention to achieve this technical problem, in a vehicle number recognition control system using artificial intelligence, an attitude information acquisition unit that acquires basic attitude information about cameras and IR lights installed in a plurality of vehicle number recognition devices; An image receiver that receives a front image of an approaching vehicle from the license plate recognition device, a license plate recognition unit that pre-processes the received front image to detect a license plate area and obtains shape information of the license plate from the detected license plate area; Then, input the basic posture information for the camera and IR lighting and the shape information of the license plate into a previously learned learning model to obtain corrected posture information for the camera or IR lighting, and apply the corrected posture information to the vehicle license plate recognition device. Includes a control unit that transmits to .
상기 복수의 차량번호인식장치에 설치된 카메라로부터 촬영된 차량의 전방 영상과, 상기 전방 영상에 대응하는 카메라 및 IR 조명에 대하여 각각 보정된 자세 정보를 수집하는 데이터 수집부, 그리고 상기 차량의 전방 영상과 상기 전방 영상으로부터 획득한 번호판의 형상 정보를 포함하는 입력데이터와, 상기 카메라 및 IR 조명의 보정된 자세 정보를 포함하는 출력데이터로 구성된 데이터셋을 상기 학습 모델에 입력하여 학습시키는 학습부를 더 포함할 수 있다. A data collection unit that collects the front image of the vehicle captured from the cameras installed in the plurality of license plate recognition devices, the posture information corrected for the camera and IR lighting corresponding to the front image, respectively, and the front image of the vehicle, It may further include a learning unit for training the learning model by inputting a dataset consisting of input data including shape information of the license plate obtained from the front image and output data including corrected posture information of the camera and IR lighting. You can.
상기 번호판의 형상 정보는, 차량의 전방 영상의 수평 방향 또는 수직 방향에 설정된 기준선을 중심으로 획득한 번호판 영역의 기울기, 위치, 및 크기 중에서 어느 하나를 포함하는 형태 정보와, 상기 번호판 영역에 포함된 모든 픽셀의 밝기값을 포함할 수 있다. The shape information of the license plate includes shape information including any one of the slope, position, and size of the license plate area obtained around a reference line set in the horizontal or vertical direction of the front image of the vehicle, and the shape information included in the license plate area. Can contain brightness values of all pixels.
상기 제어부는, 상기 번호판의 형태 정보에 따라 기본 자세로부터 보정하고자 하는 팬 각도, 틸트 각도 및 로테이션 각도를 각각 획득할 수 있다. The control unit may obtain the pan angle, tilt angle, and rotation angle to be corrected from the basic posture, respectively, according to the shape information of the license plate.
상기 제어부는, 상기 카메라에 대한 팬 각도 및 틸트 각도에 대한 각각의 보정된 각도에 대응하여 IR 조명의 기본 자세로부터 보정하고자 하는 IR 조명에 대한 팬 각도 및 틸트 각도를 획득할 수 있다. The control unit may obtain the pan angle and tilt angle for the IR lighting to be corrected from the basic posture of the IR lighting in response to each corrected pan angle and tilt angle for the camera.
상기 제어부는, 상기 번호판 영역에 포함된 모든 픽셀의 밝기값과 기 설정된 기준 밝기값을 비교하여 IR 조명의 조도 값을 조절할 수 있다. The control unit may adjust the illuminance value of IR lighting by comparing the brightness value of all pixels included in the license plate area with a preset reference brightness value.
상기 제어부는, 상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 높으면 IR 조명의 조도 값을 낮추도록 제어하고, 상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 낮으면 IR 조명의 조도 값을 높이도록 제어할 수 있다. The control unit controls to lower the illuminance value of IR lighting when the average brightness value for all pixels included in the license plate area is higher than the reference brightness value, and the average brightness value for all pixels included in the license plate area is lower than the reference brightness value. If it is lower than this value, the illuminance value of IR lighting can be controlled to increase.
상기 제어부는, 상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 임계 값보다 높으면 상기 IR 조명을 턴오프시키도록 제어하고, 상기 임계 값은 상기 기준 밝기값보다 높은 값을 가질 수 있다. The control unit controls the IR lighting to be turned off when the average brightness value for all pixels included in the license plate area is higher than a threshold value, and the threshold value may have a value higher than the reference brightness value.
또한, 본 발명의 실시예에 따르면 차량번호인식 제어시스템을 이용한 차량번호인식 제어방법에 있어서, 복수의 차량번호인식장치에 설치된 카메라 및 IR 조명에 대한 기본 자세 정보를 획득하는 단계, 상기 차량번호인식장치로부터 진입하는 차량에 대한 전방 영상을 수신하는 단계, 상기 수신된 전방 영상을 전처리하여 번호판 영역을 검출하고, 상기 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득하는 단계, 그리고 상기 카메라 및 IR 조명에 대한 기본 자세 정보와 상기 번호판의 형상 정보를 기 학습된 학습 모델에 입력하여 카메라 또는 IR 조명에 대한 보정된 자세 정보를 획득하고, 상기 보정된 자세 정보를 차량번호인식장치에 전달하여 카메라 또는 IR 조명의 자세를 제어하는 단계를 포함한다. In addition, according to an embodiment of the present invention, in the vehicle number recognition control method using a vehicle number recognition control system, the steps of acquiring basic attitude information about cameras and IR lights installed in a plurality of vehicle number recognition devices, the vehicle number recognition Receiving a front image of an approaching vehicle from a device, preprocessing the received front image to detect a license plate area, obtaining shape information of the license plate from the detected license plate area, and using the camera and IR lighting Input the basic posture information and the shape information of the license plate into a previously learned learning model to obtain corrected posture information for the camera or IR lighting, and transmit the corrected posture information to the license plate recognition device to obtain the camera or IR lighting. It includes the step of controlling the posture of.
이와 같이 본 발명에 따르면, 인공지능을 이용하여 인식된 번호판의 형상정보에 따라 카메라 또는 IR 조명의 자세를 실시간으로 보정가능하고, 각각의 주차장 환경에 따라 실시간으로 제어 가능하므로 번호판에 대한 인식률을 높일 수 있다. 또한, 본 발명에 따르면, 현장에 전문인력을 투입하지 않아도 카메라 및 IR 조명의 자세 보정이 가능하므로 인건비 절감에 효과가 있다. According to the present invention, the posture of the camera or IR light can be corrected in real time according to the shape information of the license plate recognized using artificial intelligence, and can be controlled in real time according to the environment of each parking lot, thereby increasing the recognition rate of the license plate. You can. In addition, according to the present invention, it is possible to correct the posture of the camera and IR lighting without having to deploy professional manpower on site, which is effective in reducing labor costs.
도 1은 본 발명의 실시예에 따른 차량번호인식 제어시스템에 대한 구성도이다.
도 2는 도 1에 도시된 차량번호인식장치를 설명하기 위한 사시도이다.
도 3은 도 2에 도시된 차량번호인식장치에 설치된 카메라를 설명하기 위한 도면이다.
도 4는 도 2에 도시된 차량번호인식장치에 설치된 IR 조명을 설명하기 위한 도면이다.
도 5는 도 1에 도시된 자세 제어 서버를 설명하기 위한 구성도이다.
도 6은 본 발명의 실시예에 따른 차량번호인식 제어시스템을 이용하여 차량번호인식장치를 제어하는 방법을 설명하기 위한 순서도이다.
도 7은 도 6에 도시된 S610단계를 설명하기 위한 순서도이다. Figure 1 is a configuration diagram of a license plate recognition control system according to an embodiment of the present invention.
Figure 2 is a perspective view for explaining the vehicle license plate recognition device shown in Figure 1.
FIG. 3 is a diagram for explaining a camera installed in the license plate recognition device shown in FIG. 2.
FIG. 4 is a diagram for explaining the IR lighting installed in the license plate recognition device shown in FIG. 2.
FIG. 5 is a configuration diagram for explaining the posture control server shown in FIG. 1.
Figure 6 is a flowchart for explaining a method of controlling a vehicle number recognition device using a vehicle number recognition control system according to an embodiment of the present invention.
FIG. 7 is a flowchart for explaining step S610 shown in FIG. 6.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Additionally, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 차량번호인식 제어시스템에 대하여 더욱 상세하게 설명한다. Hereinafter, the license plate recognition control system according to an embodiment of the present invention will be described in more detail using FIG. 1.
도 1은 본 발명의 실시예에 따른 차량번호인식 제어시스템에 대한 구성도이다. Figure 1 is a configuration diagram of a license plate recognition control system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 차량번호인식 제어시스템은 복수의 차량번호인식장치(100) 및 자세 제어 서버(200)를 포함한다. As shown in FIG. 1, the license plate recognition control system according to an embodiment of the present invention includes a plurality of license plate recognition devices 100 and a posture control server 200.
먼저, 복수의 차량번호인식장치(100)는 주차장의 일측에 설치되는 것으로, 카메라 및 IR 조명을 이용하여 입차 차량 또는 출차 차량의 번호판을 인식하는 장치이다. 차량번호인식장치(100)는 촬영된 차량의 전방 영상과 카메라 및 IR 조명에 대한 기본 자세 정보를 자세 제어 서버(200)에 전달한다. First, the plurality of license plate recognition devices 100 are installed on one side of the parking lot and are devices that recognize license plates of entering or exiting vehicles using cameras and IR lighting. The license plate recognition device 100 transmits the captured front image of the vehicle and basic attitude information about the camera and IR lighting to the attitude control server 200.
그 다음, 자세 제어 서버(200)는 차량번호인식장치(100)로부터 전달받은 차량의 전방 영상을 이용하여 카메라 및 IR 조명에 대한 보정된 자세 정보를 획득한다. 부연하자면, 자세 제어 서버(200)는 카메라 및 IR 조명에 대해 보정된 자세 정보를 출력하도록 학습모델을 학습시킨다. 그 다음, 차량번호인식장치(100)로부터 수신된 차량의 전방 영상을 학습이 완료된 학습모델에 입력하여 카메라 및 IR 조명에 대한 보정된 자세 정보를 획득하고, 획득한 보정된 자세 정보를 차량번호인식장치(100)에 전달한다. 그러면, 차량번호인식장치(100)는 전달받은 보정된 자세 정보를 이용하여 카메라 및 IR 조명의 자세를 보정하고, 보정된 자세를 유지한 상태에서 입차 차량 또는 출차 차량의 번호판을 재 촬영한다. Next, the posture control server 200 uses the front image of the vehicle received from the license plate recognition device 100 to obtain corrected posture information for the camera and IR lighting. To elaborate, the posture control server 200 trains a learning model to output posture information corrected for the camera and IR lighting. Next, the front image of the vehicle received from the license plate recognition device 100 is input to the learned model to obtain corrected posture information for the camera and IR lighting, and the obtained corrected posture information is used for license plate recognition. delivered to the device 100. Then, the license plate recognition device 100 corrects the posture of the camera and IR lighting using the received corrected posture information, and rephotographs the license plate of the entering or exiting vehicle while maintaining the corrected posture.
이하에서는 도 2 내지 도 4를 이용하여 도 1에 도시된 차량번호인식장치(100)에 대해 더욱 상세하게 설명한다. Hereinafter, the license plate recognition device 100 shown in FIG. 1 will be described in more detail using FIGS. 2 to 4.
도 2는 도 1에 도시된 차량번호인식장치를 설명하기 위한 사시도이고, 도 3은 도 2에 도시된 차량번호인식장치에 설치된 카메라를 설명하기 위한 도면이고, 도 4는 도 2에 도시된 차량번호인식장치에 설치된 IR 조명을 설명하기 위한 도면이다. FIG. 2 is a perspective view for explaining the vehicle number recognition device shown in FIG. 1, FIG. 3 is a view for explaining a camera installed in the vehicle number recognition device shown in FIG. 2, and FIG. 4 is a view for explaining the vehicle shown in FIG. 2. This is a drawing to explain the IR lighting installed in the number recognition device.
도 2에 도시된 바와 같이, 차량번호인식장치(100)는 사각기둥 형상으로 형성되며, 내측에는 차량의 전방을 촬영하는 카메라(110) 및 적외선 파장을 방사하며 카메라(100)의 감도를 증가시키는 IR 조명(120)을 포함한다. 또한, 차량번호인식장치(110)의 상측에는 카메라(100)를 통해 촬영된 차량의 전방 영상으로부터 획득한 차량 번호를 출력시키는 출력부(130)를 포함한다. As shown in FIG. 2, the license plate recognition device 100 is formed in the shape of a square pillar, and on the inside is a camera 110 that photographs the front of the vehicle and a camera 110 that radiates infrared waves and increases the sensitivity of the camera 100. Includes IR illumination (120). In addition, the upper side of the license plate recognition device 110 includes an output unit 130 that outputs the license plate number obtained from the front image of the vehicle captured through the camera 100.
먼저, 도 3에 도시된 바와 같이, 카메라(110)는 차량번호인식장치(100)의 일측에 설치된다. 이때, 카메라(110)는 진입하는 차량의 변호판에 대한 인식률을 높이기 위해 패닝(panning), 틸팅(tilting) 및 롤링(rolling)되도록 설치되는 것이 바람직하다. First, as shown in FIG. 3, the camera 110 is installed on one side of the license plate recognition device 100. At this time, the camera 110 is preferably installed to pan, tilt, and roll to increase the recognition rate of the side panel of an entering vehicle.
카메라(110)는 고정부(111)의 상측에 위치하는 홀더(112)에 고정된다. 홀더(112)는 제1 회전축(도시되지 않음)에 의해 고정부(110)에 고정되며, 제1 회전축은 모터로부터 전달받은 전력을 이용하여 홀더(112)를 좌우방향으로 회전시킨다. 또한, 홀더(112)의 양단부에는 카메라를 고정하는 제3 회전축(도시하지 않음)을 포함하며, 회전축은 모터로부터 전달받은 전력에 의해 카메라(110)를 상하방향으로 회전시킨다. The camera 110 is fixed to the holder 112 located above the fixing part 111. The holder 112 is fixed to the fixing unit 110 by a first rotation shaft (not shown), and the first rotation shaft rotates the holder 112 in the left and right directions using power received from the motor. In addition, both ends of the holder 112 include a third rotation axis (not shown) that fixes the camera, and the rotation axis rotates the camera 110 in the vertical direction by power received from the motor.
그리고, 도 3에 도시된 바와 같이, 본 발명의 실시예에서는 고정부(110)의 저면에 제3 회전축(113)을 더 포함한다. 제3 회전축(113)은 고정부(110)를 회전시킨다. 따라서, 카메라(110)는 제3 회전축(113)을 이용하여 원형으로 로테이션된다. And, as shown in FIG. 3, the embodiment of the present invention further includes a third rotation axis 113 on the bottom of the fixing part 110. The third rotation axis 113 rotates the fixing part 110. Accordingly, the camera 110 is rotated circularly using the third rotation axis 113.
또한, IR 조명(120)은 카메라(110)의 일측에 설치되는 것으로 입차 차량 또는 출차 차량에 빛을 조사하며, 카메라(110)의 회전 방향에 따라 패닝(panning) 또는 틸팅(tilting)된다. In addition, the IR light 120 is installed on one side of the camera 110 and radiates light to the entering or exiting vehicle, and is panned or tilted according to the rotation direction of the camera 110.
부연하자면, 4에 도시된 바와 같이, IR 조명(120)은 복수의 IR LED를 포함한다. 그리고, IR 조명(120)은 카메라(110)와 마찬가지로 고정부(121)의 상측에 위치하는 홀더(122)에 의해 고정된다. 이때, 홀더(122)는 고정부(121)와 연결되는 회전축(도시하지 않음)에 의해 좌우방향으로 회전된다. 그리고, IR 조명(120)은 홀더(122)의 양단부에 설치된 회전축(도시하지 않음)에 의해 고정되며, 회전축은 IR 조명(120)을 상하 방향으로 회전시킨다. To elaborate, as shown in 4, the IR illumination 120 includes a plurality of IR LEDs. And, like the camera 110, the IR illumination 120 is fixed by the holder 122 located above the fixing part 121. At this time, the holder 122 is rotated left and right by a rotation axis (not shown) connected to the fixing part 121. Additionally, the IR lighting 120 is fixed by a rotating shaft (not shown) installed at both ends of the holder 122, and the rotating shaft rotates the IR lighting 120 in the up and down direction.
본 발명의 실시예에서는 자세 제어 서버(200)로부터 수신된 보정된 자세 정보를 이용하여 카메라(110)를 패닝(panning), 틸팅(tilting) 및 롤링(rolling)시킨다. 또한, IR 조명(120)은 자세 제어 서버(200)로부터 수신된 보정된 자세 정보를 이용하여 패닝(panning) 및 틸팅(tilting) 된다. In an embodiment of the present invention, the camera 110 is panned, tilted, and rolled using the corrected posture information received from the posture control server 200. Additionally, the IR light 120 is panned and tilted using the corrected posture information received from the posture control server 200.
본 발명의 실시예에서는 카메라(110)와 IR 조명(120)이 각각 분리되어 설치된 것으로 설명하였으나. 카메라(110)와 IR 조명(120)은 하나의 하우징에 한꺼번에 설치될 수도 있다. 이때에는, 카메라(110)와 IR 조명(120)의 자세를 각각 제어하는 것이 아니라, 카메라(110)와 IR 조명(120)의 자세를 동시에 제어한다. In the embodiment of the present invention, the camera 110 and the IR light 120 are described as being installed separately. The camera 110 and IR lighting 120 may be installed simultaneously in one housing. At this time, rather than controlling the postures of the camera 110 and the IR lighting 120 separately, the postures of the camera 110 and the IR lighting 120 are controlled simultaneously.
이하에서는 도 5를 이용하여 자세 제어 서버(200)에 대해 더욱 상세하게 설명한다. Hereinafter, the posture control server 200 will be described in more detail using FIG. 5.
도 5는 도 1에 도시된 자세 제어 서버를 설명하기 위한 구성도이다. FIG. 5 is a configuration diagram for explaining the posture control server shown in FIG. 1.
도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 자세 제어 서버(200)는 자세 정보 획득부(210), 영상 수신부(220), 번호판 인식부(230), 데이터 수집부(240), 학습부(250) 및 제어부(260)를 포함한다. As shown in FIG. 5, the posture control server 200 according to an embodiment of the present invention includes a posture information acquisition unit 210, an image reception unit 220, a license plate recognition unit 230, a data collection unit 240, It includes a learning unit 250 and a control unit 260.
먼저, 자세 정보 획득부(210)는 복수의 차량번호인식장치(100)로부터 내부에 설치된 카메라(110) 및 IR 조명(120)에 대한 기본 자세 정보를 획득한다. 부연하자면, 차량번호인식장치(100)는 입차 차량 또는 출차 차량이 진행하는 공간의 일측에 설치된다. 그러므로, 차량번호인식장치(100)가 설치된 장소 및 위치에 따라 차량의 전방을 촬영하는 카메라(110)와 촬영 감도를 높이기 위해 설치된 IR 조명(120)은 기 설정된 높이 및 회전 각도에 의해 셋팅된다. First, the posture information acquisition unit 210 acquires basic posture information about the camera 110 and IR lighting 120 installed inside from the plurality of license plate recognition devices 100. To elaborate, the license plate recognition device 100 is installed on one side of the space where entering or leaving vehicles proceed. Therefore, depending on the location and location where the license plate recognition device 100 is installed, the camera 110 for photographing the front of the vehicle and the IR lighting 120 installed to increase photographing sensitivity are set to a preset height and rotation angle.
따라서, 자세 정보 획득부(210)는 현재 시점에서 셋팅된 카메라(110) 및 IR 조명(120)에 대한 기본 자세 정보를 획득한다. 기본 자세 정보는 높이 및 좌우 방향으로의 회전 각도, 상하 방향으로의 회전 각도 중에서 적어도 하나의 정보를 포함한다. Accordingly, the posture information acquisition unit 210 acquires basic posture information about the camera 110 and the IR light 120 set at the current point of view. The basic posture information includes at least one of height, rotation angle in the left and right directions, and rotation angle in the up and down directions.
영상 수신부(220)는 카메라(110)에 의해 촬영된 차량의 전방 영상을 수신한다. 이때, 차량의 전방 영상은 기본 자세로 셋팅된 카메라(110) 및 IR 조명(120)을 통해 촬영된 영상을 나타낸다. The image receiver 220 receives the front image of the vehicle captured by the camera 110. At this time, the front image of the vehicle represents an image captured through the camera 110 and IR lighting 120 set to the basic posture.
그 다음, 번호판 인식부(230)는 차량의 전방 영상으로부터 번호판의 형상 정보를 획득한다. Next, the license plate recognition unit 230 obtains information about the shape of the license plate from the front image of the vehicle.
부연하자면, 번호판 인식부(230)는 수신된 전방 영상을 전처리하고, 번호판 영역을 검출한 다음, 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득한다. To elaborate, the license plate recognition unit 230 preprocesses the received front image, detects the license plate area, and then obtains information about the shape of the license plate from the detected license plate area.
여기서, 번호판의 형상 정보는 번호판 영역의 기울기, 위치, 및 크기 중에서 어느 하나를 포함하는 형태 정보와, 번호판 영역에 포함된 모든 픽셀의 밝기값을 포함한다. Here, the shape information of the license plate includes shape information including any one of the slope, position, and size of the license plate area, and the brightness value of all pixels included in the license plate area.
데이터 수집부(240)는 복수의 차량번호인식장치(100)로부터 수신된 차량의 전방 영상을 수집한다. 또한, 데이터 수집부(240)는 차량의 전방 영상에 대응하여 차량번호인식장치(100)에 설치된 카메라(110) 및 IR 조명(120)의 기본 자세 정보 또는 보정된 자세 정보를 수집한다. The data collection unit 240 collects front images of the vehicle received from a plurality of license plate recognition devices 100. Additionally, the data collection unit 240 collects basic posture information or corrected posture information of the camera 110 and IR light 120 installed in the license plate recognition device 100 in response to the front image of the vehicle.
그 다음, 학습부(250)는 수집된 차량의 전방 영상, 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 이용하여 학습 모델을 학습시킨다. 부연하자면, 학습부(250)는 차량의 전방 영상과 전방 영상으로부터 추출된 번호판 형상 정보를 포함하는 입력데이터와, 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 포함하는 출력데이터로 구성된 데이터셋을 생성한다. 그 다음, 학습부(250)는 생성된 데이터셋을 학습모델에 입력하여 학습모델로 하여금 보정된 자세 정보를 출력하도록 학습시킨다. Next, the learning unit 250 trains a learning model using the collected front image of the vehicle, the corrected posture information of the camera 110, and the IR light 120. To elaborate, the learning unit 250 outputs input data including the front image of the vehicle and license plate shape information extracted from the front image, and output data including the corrected posture information of the camera 110 and IR light 120. Create a structured dataset. Next, the learning unit 250 inputs the generated dataset into the learning model and trains the learning model to output corrected posture information.
마지막으로 제어부(260)는 수신된 차량의 전방 영상을 학습이 완료된 학습 모델에 입력하여 차량 전방 영상에 대응하는 보정된 자세정보를 획득하고, 획득한 보정된 자세 정보를 해당되는 차량번호인식장치(100)에 전달한다. Finally, the control unit 260 inputs the received front image of the vehicle into the learning model for which learning has been completed to obtain corrected posture information corresponding to the front image of the vehicle, and applies the obtained corrected posture information to the corresponding license plate recognition device ( 100).
이하에서는 도 6 및 도 7을 이용하여 본 발명의 실시예에 따른 차량번호인식 제어시스템을 이용하여 차량번호인식장치에 설치된 카메라 및 IR 조명의 자세를 제어하는 방법에 대해 더욱 상세하게 설명한다. Hereinafter, using FIGS. 6 and 7, a method of controlling the posture of the camera and IR lighting installed in the license plate recognition device using the license plate recognition control system according to an embodiment of the present invention will be described in more detail.
도 6은 본 발명의 실시예에 따른 차량번호인식 제어시스템을 이용하여 차량번호인식장치를 제어하는 방법을 설명하기 위한 순서도이다. Figure 6 is a flowchart for explaining a method of controlling a vehicle number recognition device using a vehicle number recognition control system according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 자세 제어 서버(200)는 구축된 학습모델을 학습시킨다(S610).As shown in FIG. 6, the posture control server 200 according to an embodiment of the present invention trains the constructed learning model (S610).
도 7은 도 6에 도시된 S610단계를 설명하기 위한 순서도이다. FIG. 7 is a flowchart for explaining step S610 shown in FIG. 6.
도 7에 도시된 바와 같이, 먼저, 자세 제어 서버(200)는 복수의 차량번호인식장치(100)로부터 차량의 전방 영상과 차량번호인식장치(100)에 설치된 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 수신한다(S611).As shown in FIG. 7, first, the posture control server 200 receives the front image of the vehicle from a plurality of license plate recognition devices 100 and the camera 110 and IR light 120 installed on the license plate recognition device 100. ) receives the corrected posture information (S611).
차량번호인식장치(110)는 기본 자세로 세팅된 카메라(110) 및 IR 조명(120)을 이용하여 주차장의 출입구 방향으로 진입하는 차량의 전면을 촬영한다. 그리고, 차량의 전방 영상을 이용하여 차량의 번호를 인식하기에 불가능하다고 판단되면, 종래에는 차량번호인식장치(110)를 관리하는 관리자가 카메라(110) 및 IR 조명(120)의 자세를 일일이 보정하였다. The license plate recognition device 110 uses the camera 110 and IR lighting 120 set to the basic posture to photograph the front of a vehicle entering the parking lot toward the entrance. And, if it is determined that it is impossible to recognize the vehicle's license plate number using the front image of the vehicle, conventionally, the manager who manages the license plate recognition device 110 manually corrects the posture of the camera 110 and the IR light 120. did.
본 발명의 실시예에 따른 자세 제어 서버(200)는 관리자로 하여금 일일이 카메라(110) 및 IR 조명(120)의 자세를 보정하는 것이 아니라, 학습 모델로 하여금 입력된 차량의 전방 영상으로부터 카메라(110) 및 IR 조명(120)의 보정된 자세정보를 획득하는데 그 목적이 있다. The posture control server 200 according to an embodiment of the present invention does not require the administrator to individually correct the posture of the camera 110 and the IR light 120, but rather allows the learning model to determine the camera 110 from the input front image of the vehicle. ) and the purpose is to obtain corrected posture information of the IR light 120.
따라서, 자세 제어 서버(200)는 차량번호인식장치(110)로부터 종래에 차량의 전면을 촬영하여 획득한 차량의 전방 영상과 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 수신한다. Therefore, the posture control server 200 receives the front image of the vehicle obtained by conventionally photographing the front of the vehicle and the corrected posture information of the camera 110 and IR light 120 from the license plate recognition device 110. .
이때, 수신된 차량의 전방 영상은 차량번호인식장치(100)에 설치된 카메라(110) 및 IR 조명(120)가 기본 자세인 상태에서 촬영된 영상을 나타낸다. 그리고, 카메라(110)의 자세 정보는 카메라(110)의 팬에 대한 회전 각도, 틸트에 대한 회전 각도 및 로테이션에 대한 회전 각도를 포함하고, IR 조명(120)의 자세 정보는 팬에 대한 회전 각도, 틸트에 대한 회전 각도 및 조명의 밝기값을 포함한다. At this time, the received front image of the vehicle represents an image captured with the camera 110 and IR lighting 120 installed in the license plate recognition device 100 in their basic positions. In addition, the attitude information of the camera 110 includes the rotation angle of the camera 110 with respect to the pan, the rotation angle with respect to the tilt, and the rotation angle with respect to the rotation, and the attitude information of the IR light 120 includes the rotation angle with respect to the pan. , rotation angle for tilt, and brightness value of the light.
수신된 차량의 전방 영상과 차량번호인식장치(100)에 설치된 카메라(110) 및 IR 조명(120)의 보정된 자세 정보는 데이터 수집부(240)에 저장된다. The received front image of the vehicle and the corrected posture information of the camera 110 and IR light 120 installed in the license plate recognition device 100 are stored in the data collection unit 240.
그 다음, 번호판 인식부(230)는 수신된 차량의 전방 영상으로부터 번호판의 형상 정보를 획득한다(S613)Next, the license plate recognition unit 230 obtains the shape information of the license plate from the received front image of the vehicle (S613)
부연하자면, 번호판 인식부(230)는 수신된 차량의 전방 영상을 전처리한 다음, 번호판 영역을 검출한다. 그리고, 번호판 인식부(230)는 기 설정된 수평방향 또는 수직 방향의 기준선을 중심으로 번호판 영역의 형태정보와, 변호판 영역에 포함된 모든 픽셀의 밝기값을 획득한다. To elaborate, the license plate recognition unit 230 preprocesses the received front image of the vehicle and then detects the license plate area. Then, the license plate recognition unit 230 acquires shape information of the license plate area and brightness values of all pixels included in the rear plate area centered on a preset horizontal or vertical reference line.
여기서, 형태 정보는 번호판 영역의 기울기, 위치 및 크기 중에서 어느 하나의 정보를 포함한다. Here, the shape information includes any one of the slope, position, and size of the license plate area.
자세히는, 차량의 종류에 따라서 번호판을 설치한 위치가 상이하고, 차량의 주행 방향이 공간의 일측에 치우치거나 차량의 회전 각도에 따라 차량 전방 영상에 출력되는 번호판의 형상이 상이할 수 있다. 따라서, 번호판 인식부(230)는 기준선을 설정하고, 기준선을 중심으로 번호판의 형태 정보를 추출한다. In detail, the location of the license plate is different depending on the type of vehicle, the driving direction of the vehicle may be biased to one side of the space, or the shape of the license plate displayed on the front image of the vehicle may be different depending on the rotation angle of the vehicle. Accordingly, the license plate recognition unit 230 sets a baseline and extracts shape information of the license plate centered on the baseline.
또한, 번호판 인식부(230)는 번호판 영역에 포함된 모든 픽셀의 밝기값을 획득한다. Additionally, the license plate recognition unit 230 acquires the brightness values of all pixels included in the license plate area.
그 다음, 학습부(250)는 데이터 수집부(240)에 저장된 차량의 전방 영상과 차량의 전방 영상으로부터 획득한 번호판의 형상 정보 및 차량번호인식장치(100)에 설치된 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 이용하여 데이터셋을 생성한다(S613).Next, the learning unit 250 uses the front image of the vehicle stored in the data collection unit 240, the shape information of the license plate obtained from the front image of the vehicle, and the camera 110 and IR lighting installed in the license plate recognition device 100. A dataset is created using the corrected posture information in (120) (S613).
부연하자면, 학습부(250)는 차량의 전방 영상과 그에 대응하는 번호판의 형상 정보를 입력데이터로 하고, 관리자에 의해 보정된 카메라(110) 및 IR 조명(120)의 보정된 자세 정보를 출력데이터로 구성된 데이터셋을 생성한다. To elaborate, the learning unit 250 uses the front image of the vehicle and the shape information of the corresponding license plate as input data, and the corrected posture information of the camera 110 and IR light 120 corrected by the manager as output data. Create a dataset consisting of
그 다음, 학습부(250)는 생성된 데이터셋을 학습모델에 입력하여 학습모델로 하여금 카메라(110) 및 IR 조명(120)에 대한 보정된 자세정보를 출력하도록 학습시킨다(S614). Next, the learning unit 250 inputs the generated dataset into the learning model and trains the learning model to output corrected posture information for the camera 110 and IR light 120 (S614).
자세히는, 학습부(250)는 입력데이터와 출력데이터로 구성된 데이터셋을 이용하여 학습모델을 지도 학습시킨다. 그러면, 학습 모델은 차량의 전방영상을 수신받을 경우, 카메라(110) 및 IR 조명(120)에 대한 보정된 자세 정보를 출력한다. In detail, the learning unit 250 supervised learning a learning model using a dataset consisting of input data and output data. Then, when the learning model receives the front image of the vehicle, it outputs corrected posture information for the camera 110 and IR lighting 120.
S610단계가 완료되면, 영상 수신부(220)는 복수의 차량번호인식장치(100) 중에서 어느 하나의 차량번호인식장치(100)로부터 촬영된 차량의 영상 정보를 수신한다(S620). When step S610 is completed, the image receiver 220 receives image information of the vehicle captured from one of the plurality of license plate recognition devices 100 (S620).
부연하자면, 차량번호인식장치(100)는 기본 자세로 세팅된 카메라(110) 및 IR 조명(120)을 이용하여 입차 또는 출차하는 차량의 전방을 촬영한다. 그리고, 차량번호인식장치(100)는 촬영된 차량의 전방 영상을 자세 제어 서버(200)에 전달한다. 이때, 차량번호인식장치(100)는 내부에 설치된 카메라(110) 및 IR 조명(120)의 기본 자세 정보를 차량의 전방 영상과 함께 전달할 수도 있다. To elaborate, the license plate recognition device 100 uses the camera 110 and the IR light 120 set to the basic posture to photograph the front of the vehicle entering or exiting the vehicle. Then, the license plate recognition device 100 transmits the captured front image of the vehicle to the attitude control server 200. At this time, the license plate recognition device 100 may transmit basic attitude information of the camera 110 and IR lighting 120 installed inside along with the front image of the vehicle.
그 다음, 번호판 인식부(230)는 수신된 차량의 전방 영상으로부터 번호판의 형상 정보를 획득한다(S630)Next, the license plate recognition unit 230 obtains information on the shape of the license plate from the received front image of the vehicle (S630)
부연하자면, 번호판 인식부(230)는 수신된 차량의 전방 영상을 전처리한 다음, 번호판 영역을 검출한다. 그리고, 번호판 인식부(230)는 기 설정된 수평방향 또는 수직 방향의 기준선을 중심으로 번호판 영역의 기울기, 위치 및 크기 중에서 어느 하나의 정보를 포함하는 형태 정보를 획득한다. 또한, 번호판 인식부(230)는 번호판 영역에 포함되는 모든 픽셀의 밝기값을 획득한다. To elaborate, the license plate recognition unit 230 preprocesses the received front image of the vehicle and then detects the license plate area. Then, the license plate recognition unit 230 acquires shape information including any one of the slope, position, and size of the license plate area around a preset horizontal or vertical reference line. Additionally, the license plate recognition unit 230 acquires the brightness values of all pixels included in the license plate area.
그 다음, 제어부(260)는 학습이 완료된 학습모델에 입력하여 학습 모델로부터 카메라(110) 및 IR 조명(120)에 대한 자세 정보를 획득한다(S640). Next, the control unit 260 acquires posture information about the camera 110 and the IR light 120 from the learning model by inputting it into the learning model on which learning has been completed (S640).
부연하자면, 제어부(260)는 차량의 전방 영상과 번호판의 형상 정보를 학습이 완료된 학습 모델에 입력한다. 그러면, 학습 모델은 입력된 차량의 전방 영상과 번호판의 형상정보로부터 보정하고자 하는 카메라(110) 및 IR 조명(120)에 대한 자세 정보를 획득한다. To elaborate, the control unit 260 inputs the front image of the vehicle and the shape information of the license plate into the learning model that has completed learning. Then, the learning model acquires posture information about the camera 110 and IR light 120 to be corrected from the input front image of the vehicle and the shape information of the license plate.
S640단계가 완료되면, 제어부(260)는 학습 모델을 통해 획득한 카메라(110) 및 IR 조명(120)에 대한 보정하고자 하는 자세 정보로부터 카메라(110) 및 IR 조명(120)에 대한 보정된 자세 정보를 획득한다(S650). When step S640 is completed, the control unit 260 determines the corrected posture for the camera 110 and the IR light 120 from the posture information to be corrected for the camera 110 and the IR light 120 obtained through the learning model. Obtain information (S650).
부연하자면, 제어부(260)는 번호판의 형태 정보에 따라 보정하고자 하는 팬 각도, 틸트 각도 및 로테이션 각도를 각각 획득한다. 그리고, 제어부(260)는 보정하고자 하는 팬 각도, 틸트 각도 및 로테이션 각도를 해당되는 카메라(110) 및 IR 조명(120)의 기본 자세에 적용하여 보정된 팬 각도, 틸트 각도 및 로테이션 각도를 획득한다. To elaborate, the control unit 260 obtains the pan angle, tilt angle, and rotation angle to be corrected according to the shape information of the license plate. Then, the control unit 260 obtains the corrected pan angle, tilt angle, and rotation angle by applying the pan angle, tilt angle, and rotation angle to be corrected to the basic posture of the corresponding camera 110 and IR light 120. .
그 다음, 제어부(260)는 카메라(110)에 대한 팬 각도 및 틸트 각도에 대한 각각의 보정된 각도에 대응하여 IR 조명(120)의 기본 자세로부터 보정하고자 하는 IR 조명(120)에 대한 팬 각도 및 틸트 각도를 획득한다. Next, the control unit 260 sets a pan angle for the IR light 120 to be corrected from the basic posture of the IR light 120 in response to each corrected angle for the pan angle and tilt angle for the camera 110. and obtain the tilt angle.
제어부(260)는 카메라(110) 및 IR 조명(120)에 대한 보정된 자세정보를 해당되는 차량번호인식장치(100)에 전달한다. The control unit 260 transmits the corrected posture information about the camera 110 and the IR light 120 to the corresponding license plate recognition device 100.
또한, 제어부(260)는 밝기값에 대한 기준 밝기값을 설정하고, 설정된 기준 밝기값을 이용하여 IR 조명(120)의 조도값을 제어한다(S660). Additionally, the control unit 260 sets a reference brightness value for the brightness value and controls the illuminance value of the IR lighting 120 using the set reference brightness value (S660).
제어부(260)는 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값을 획득하고, 획득한 평균 밝기값과 기준 밝기값을 비교한다. The control unit 260 obtains the average brightness value for all pixels included in the license plate area and compares the obtained average brightness value with the reference brightness value.
그리고, 기준 밝기값이 평균 밝기값보다 높으면, 제어부(260)는 IR 조명(120)의 조도 값을 낮추도록 제어한다. 반면에 기준 밝기값이 평균 밝기값보다 낮으면, 제어부(260)는 IR 조명(120)의 조도 값을 높이도록 제어한다. And, if the reference brightness value is higher than the average brightness value, the control unit 260 controls the illuminance value of the IR lighting 120 to be lowered. On the other hand, if the reference brightness value is lower than the average brightness value, the controller 260 controls the illuminance value of the IR lighting 120 to increase.
한편, 제어부(260)는 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 임계 값보다 높으면 상기 IR 조명을 턴오프시키도록 제어한다. 여기서 임계값은 기준 밝기값보다 높은 값을 나타낸다. Meanwhile, the control unit 260 controls the IR lighting to turn off when the average brightness value for all pixels included in the license plate area is higher than the threshold value. Here, the threshold represents a value higher than the reference brightness value.
이와 같이 본 발명에 따른 차량번호인식 제어시스템에 따르면, 인공지능을 이용하여 인식된 번호판의 형상정보에 따라 카메라 또는 IR 조명의 자세를 실시간으로 보정가능하고, 각각의 주차장 환경에 따라 실시간으로 제어 가능하므로 번호판에 대한 인식률을 높일 수 있다. 또한, 본 발명에 따르면, 현장에 전문인력을 투입하지 않아도 카메라 및 IR 조명의 자세 보정이 가능하므로 인건비 절감에 효과가 있다. According to the license plate recognition control system according to the present invention, the posture of the camera or IR light can be corrected in real time according to the shape information of the license plate recognized using artificial intelligence, and can be controlled in real time according to the environment of each parking lot. Therefore, the recognition rate for license plates can be increased. In addition, according to the present invention, it is possible to correct the posture of the camera and IR lighting without having to deploy professional manpower on site, which is effective in reducing labor costs.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. will be. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the patent claims below.
100 : 차량번호인식장치
200 : 자세 제어 서버
210 : 자세 정보 획득부
220 : 영상 수신부
230 : 번호판 인식부
240 : 데이터 수집부
250 : 학습부
260 : 제어부100: Vehicle number recognition device
200: Attitude control server
210: Attitude information acquisition unit
220: video receiver
230: License plate recognition unit
240: data collection unit
250: Learning Department
260: control unit
Claims (16)
복수의 차량번호인식장치에 설치된 카메라로부터 촬영된 차량의 전방 영상과, 상기 전방 영상에 대응하는 카메라 및 IR 조명에 대하여 각각 보정된 자세 정보를 수집하는 데이터 수집부,
상기 차량의 전방 영상과 상기 전방 영상으로부터 획득한 번호판의 형상 정보를 포함하는 입력데이터와, 상기 카메라 및 IR 조명의 보정된 자세 정보를 포함하는 출력데이터로 구성된 데이터셋을 학습 모델에 입력하여 학습시키는 학습부,
상기 복수의 차량번호인식장치에 설치된 카메라 및 IR 조명에 대한 기본 자세 정보를 획득하는 자세 정보 획득부,
상기 차량번호인식장치로부터 진입하는 차량에 대한 전방 영상을 수신하는 영상 수신부,
상기 수신된 전방 영상을 전처리하여 번호판 영역을 검출하고, 상기 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득하는 번호판 인식부, 그리고
상기 카메라 및 IR 조명에 대한 기본 자세 정보와 상기 번호판의 형상 정보를 상기 학습 모델에 입력하여 카메라 또는 IR 조명에 대한 보정된 자세 정보를 획득하고, 상기 보정된 자세 정보를 차량번호인식장치에 전달하는 제어부를 포함하며,
상기 제어부는,
상기 번호판의 형상 정보에 따라 기본 자세로부터 보정하고자 하는 팬 각도, 틸트 각도 및 로테이션 각도를 각각 획득하고,
상기 카메라에 대한 팬 각도 및 틸트 각도에 대한 각각의 보정된 각도에 대응하여 IR 조명의 기본 자세로부터 보정하고자 하는 IR 조명에 대한 팬 각도 및 틸트 각도를 획득하는 차량번호인식 제어시스템.In the vehicle number recognition control system using artificial intelligence,
A data collection unit that collects the front image of the vehicle captured from cameras installed in a plurality of license plate recognition devices and the corrected posture information for the camera and IR lighting corresponding to the front image, respectively;
A dataset consisting of input data including the front image of the vehicle and shape information of the license plate obtained from the front image, and output data including corrected posture information of the camera and IR lighting is input to the learning model and trained. learning department,
An attitude information acquisition unit that acquires basic attitude information about the cameras and IR lights installed in the plurality of license plate recognition devices,
An image receiver that receives a front image of an approaching vehicle from the license plate recognition device,
A license plate recognition unit that preprocesses the received front image to detect a license plate area and obtains shape information of the license plate from the detected license plate area, and
Input basic posture information for the camera and IR lighting and shape information of the license plate into the learning model to obtain corrected posture information for the camera or IR lighting, and transmit the corrected posture information to the license plate recognition device. Includes a control unit,
The control unit,
Acquire the pan angle, tilt angle, and rotation angle to be corrected from the basic posture according to the shape information of the license plate, respectively,
A license plate recognition control system that acquires the pan angle and tilt angle for the IR light to be corrected from the basic posture of the IR light in response to each corrected angle for the pan angle and tilt angle for the camera.
상기 번호판의 형상 정보는,
차량의 전방 영상의 수평 방향 또는 수직 방향에 설정된 기준선을 중심으로 획득한 번호판 영역의 기울기, 위치, 및 크기 중에서 어느 하나를 포함하는 형태 정보와,
상기 번호판 영역에 포함된 모든 픽셀의 밝기값을 포함하는 차량번호인식 제어 시스템. According to paragraph 1,
The shape information of the license plate is,
Shape information including any one of the inclination, position, and size of the license plate area obtained around a reference line set in the horizontal or vertical direction of the front image of the vehicle;
A vehicle license plate recognition control system including brightness values of all pixels included in the license plate area.
상기 제어부는,
상기 번호판 영역에 포함된 모든 픽셀의 밝기값과 기 설정된 기준 밝기값을 비교하여 IR 조명의 조도 값을 조절하는 차량번호인식 제어시스템.According to paragraph 3,
The control unit,
A vehicle license plate recognition control system that adjusts the illuminance value of IR lighting by comparing the brightness value of all pixels included in the license plate area with a preset reference brightness value.
상기 제어부는,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 높으면 IR 조명의 조도 값을 낮추도록 제어하고,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 낮으면 IR 조명의 조도 값을 높이도록 제어하는 차량번호인식 제어 시스템.According to clause 6,
The control unit,
If the average brightness value of all pixels included in the license plate area is higher than the reference brightness value, the illuminance value of the IR lighting is controlled to be lowered,
A vehicle license plate recognition control system that controls to increase the illuminance value of IR lighting when the average brightness value of all pixels included in the license plate area is lower than the reference brightness value.
상기 제어부는,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 임계 값보다 높으면 상기 IR 조명을 턴오프시키도록 제어하고,
상기 임계 값은 상기 기준 밝기값보다 높은 값을 가지는 차량번호인식 제어 시스템.In clause 7,
The control unit,
Controlling the IR lighting to turn off when the average brightness value for all pixels included in the license plate area is higher than a threshold value,
The threshold value is a vehicle number recognition control system having a value higher than the reference brightness value.
복수의 차량번호인식장치에 설치된 카메라로부터 촬영된 차량의 전방 영상과, 상기 전방 영상에 대응하는 카메라 및 IR 조명에 대하여 각각 보정된 자세 정보를 수집하는 단계,
상기 차량의 전방 영상과 상기 전방 영상으로부터 획득한 번호판의 형상 정보를 포함하는 입력데이터와, 상기 카메라 및 IR 조명의 보정된 자세 정보를 포함하는 출력데이터로 구성된 데이터셋을 학습 모델에 입력하여 학습시키는 단계,
상기 복수의 차량번호인식장치에 설치된 카메라 및 IR 조명에 대한 기본 자세 정보를 획득하는 단계,
상기 차량번호인식장치로부터 진입하는 차량에 대한 전방 영상을 수신하는 단계
상기 수신된 전방 영상을 전처리하여 번호판 영역을 검출하고, 상기 검출된 번호판 영역으로부터 번호판의 형상 정보를 획득하는 단계, 그리고
상기 카메라 및 IR 조명에 대한 기본 자세 정보와 상기 번호판의 형상 정보를 상기 학습 모델에 입력하여 카메라 또는 IR 조명에 대한 보정된 자세 정보를 획득하고, 상기 보정된 자세 정보를 차량번호인식장치에 전달하여 카메라 또는 IR 조명의 자세를 제어하는 단계를 포함하며,
상기 카메라 또는 IR 조명의 자세를 제어하는 단계는,
상기 번호판의 형상 정보에 따라 기본 자세로부터 보정하고자 하는 팬 각도, 틸트 각도 및 로테이션 각도를 각각 획득하고,
상기 카메라에 대한 팬 각도 및 틸트 각도에 대한 각각의 보정된 각도에 대응하여 IR 조명의 기본 자세로부터 보정하고자 하는 IR 조명에 대한 팬 각도 및 틸트 각도를 획득하는 차량번호인식 제어방법.In the vehicle number recognition control method using a vehicle number recognition control system,
Collecting corrected posture information for the front image of the vehicle captured from cameras installed in a plurality of license plate recognition devices, and the camera and IR lighting corresponding to the front image, respectively;
A dataset consisting of input data including the front image of the vehicle and shape information of the license plate obtained from the front image, and output data including corrected posture information of the camera and IR lighting is input to the learning model and trained. step,
Obtaining basic posture information about cameras and IR lights installed on the plurality of license plate recognition devices,
Receiving a front image of an approaching vehicle from the license plate recognition device
preprocessing the received front image to detect a license plate area, and obtaining shape information of the license plate from the detected license plate area; and
Basic posture information for the camera and IR lighting and shape information of the license plate are input to the learning model to obtain corrected posture information for the camera or IR lighting, and the corrected posture information is transmitted to the license plate recognition device. Controlling the pose of a camera or IR light,
The step of controlling the posture of the camera or IR light is,
Acquire the pan angle, tilt angle, and rotation angle to be corrected from the basic posture according to the shape information of the license plate, respectively,
A vehicle number recognition control method for obtaining pan angles and tilt angles for IR lighting to be corrected from the basic posture of IR lighting in response to each corrected angle for the pan angle and tilt angle for the camera.
상기 번호판의 형상 정보는,
차량의 전방 영상의 수평 방향 또는 수직 방향에 설정된 기준선을 중심으로 획득한 번호판 영역의 기울기, 위치, 및 크기 중에서 어느 하나를 포함하는 형태 정보와,
상기 번호판 영역에 포함된 모든 픽셀의 밝기값을 포함하는 차량번호인식 제어방법. According to clause 9,
The shape information of the license plate is,
Shape information including any one of the inclination, position, and size of the license plate area obtained around a reference line set in the horizontal or vertical direction of the front image of the vehicle;
A vehicle license plate recognition control method including brightness values of all pixels included in the license plate area.
상기 카메라 또는 IR 조명의 자세를 제어하는 단계는,
상기 번호판 영역에 포함된 모든 픽셀의 밝기값과 기 설정된 기준 밝기값을 비교하여 IR 조명의 조도 값을 조절하는 차량번호인식 제어방법.According to clause 11,
The step of controlling the posture of the camera or IR light is,
A vehicle license plate recognition control method that adjusts the illuminance value of IR lighting by comparing the brightness value of all pixels included in the license plate area with a preset reference brightness value.
상기 카메라 또는 IR 조명의 자세를 제어하는 단계는,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 높으면 IR 조명의 조도 값을 낮추도록 제어하고,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 기준 밝기값보다 낮으면 IR 조명의 조도 값을 높이도록 제어하는 차량번호인식 제어방법.According to clause 14,
The step of controlling the posture of the camera or IR light is,
If the average brightness value of all pixels included in the license plate area is higher than the reference brightness value, the illuminance value of the IR lighting is controlled to be lowered,
A vehicle number recognition control method that controls to increase the illuminance value of IR lighting when the average brightness value for all pixels included in the license plate area is lower than the reference brightness value.
상기 카메라 또는 IR 조명의 자세를 제어하는 단계는,
상기 번호판 영역에 포함된 모든 픽셀에 대한 평균 밝기값이 임계 값보다 높으면 상기 IR 조명을 턴오프시키도록 제어하고,
상기 임계 값은 상기 기준 밝기값보다 높은 값을 가지는 차량번호인식 제어방법.
According to clause 15,
The step of controlling the posture of the camera or IR light is,
Controlling the IR lighting to turn off when the average brightness value for all pixels included in the license plate area is higher than a threshold value,
A vehicle number recognition control method wherein the threshold value has a value higher than the reference brightness value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210045676A KR102608447B1 (en) | 2021-04-08 | 2021-04-08 | System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210045676A KR102608447B1 (en) | 2021-04-08 | 2021-04-08 | System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220139569A KR20220139569A (en) | 2022-10-17 |
KR102608447B1 true KR102608447B1 (en) | 2023-12-01 |
Family
ID=83809745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210045676A KR102608447B1 (en) | 2021-04-08 | 2021-04-08 | System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102608447B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102655684B1 (en) | 2023-12-11 | 2024-04-05 | 김창남 | Parking fee management system using artificial intelligence camera |
KR102709738B1 (en) * | 2024-03-07 | 2024-09-25 | 건아정보기술 주식회사 | Automatic alarm and automatic recovery for number recognition camera error using AI function Vehicle number reading system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101496390B1 (en) * | 2014-11-04 | 2015-02-27 | 주식회사 사라다 | System for Vehicle Number Detection |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100888554B1 (en) * | 2007-04-26 | 2009-03-11 | 벽산건설 주식회사 | Recognition system |
KR101347450B1 (en) * | 2012-04-10 | 2014-01-09 | 한국기술교육대학교 산학협력단 | Image sensing method using dual camera and apparatus thereof |
KR102181355B1 (en) * | 2019-01-17 | 2020-11-20 | 주식회사 엠제이비전테크 | Vehicle search system based artificial intelligence |
-
2021
- 2021-04-08 KR KR1020210045676A patent/KR102608447B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101496390B1 (en) * | 2014-11-04 | 2015-02-27 | 주식회사 사라다 | System for Vehicle Number Detection |
Also Published As
Publication number | Publication date |
---|---|
KR20220139569A (en) | 2022-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102608447B1 (en) | System for Vehicle Number Recognition Control Using Artificial Intelligence and Method thereof | |
CN110781883B (en) | Parking space size recognition system and method based on 360-degree looking-around camera | |
CN105916758B (en) | Autonomous parking method, driver assistance used to perform the method and the vehicle with the driver assistance | |
US10325165B2 (en) | Vision-based on-street parked vehicle detection via normalized-view classifiers and temporal filtering | |
CN108128245A (en) | Vehicle environmental imaging system and method | |
CN1707584A (en) | Air-floating image display apparatus | |
CN108068817A (en) | A kind of automatic lane change device and method of pilotless automobile | |
US20210276543A1 (en) | Automatic parking method, device, system, and vehicle | |
CN110651301A (en) | Method and system for automatically coloring night vision images | |
KR101679398B1 (en) | 3d studio system | |
EP3745377B1 (en) | Parking management system and method | |
US20160005316A1 (en) | Around view system and operating method thereof | |
CN109835256A (en) | A kind of automobile panoramic round-looking system, method and automobile | |
KR20160061132A (en) | Apparatus and method for recognizing the number of cars and a computer-readable recording program for performing the said method, the recording medium | |
CN109703465B (en) | Control method and device for vehicle-mounted image sensor | |
JP2001236593A (en) | Traffic signal controller | |
CN112927535B (en) | Intelligent temporary signal lamp based on vision technology and implementation method thereof | |
CN106791586A (en) | A kind of method and monitoring device, device, system being monitored to mobile target | |
JPH0737100A (en) | Moving object detection and judgement device | |
CN105376485B (en) | Two-way real-time vehicle chassis image combining method based on Linear Array Realtime video camera | |
JP2004133567A (en) | Mobile object and its position detector | |
CN115520177A (en) | Vision-based parking method and system, vehicle and storage medium | |
CN115965934A (en) | Parking space detection method and device | |
CN114782810A (en) | Agricultural machine remote auxiliary driving system and method based on panoramic vision | |
CN115134537A (en) | Image processing method and device and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |