KR102382583B1 - Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same - Google Patents
Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same Download PDFInfo
- Publication number
- KR102382583B1 KR102382583B1 KR1020200112491A KR20200112491A KR102382583B1 KR 102382583 B1 KR102382583 B1 KR 102382583B1 KR 1020200112491 A KR1020200112491 A KR 1020200112491A KR 20200112491 A KR20200112491 A KR 20200112491A KR 102382583 B1 KR102382583 B1 KR 102382583B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- reading
- images
- read
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 39
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 5
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000000465 moulding Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치에 관한 것이다. 본 발명에 따른 차량판독 장치는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들이 입력되는 이미지 입력부, 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부 및 기저장된 복수의 이미지들과 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량을 판독하는 제어부를 포함할 수 있다. The present invention relates to a vehicle reading apparatus for reading a vehicle using a vehicle image. The vehicle reading apparatus according to the present invention is an image input unit to which a plurality of vehicle images including a front image and a rear image of the vehicle are input, and an image synthesis that synthesizes the front image and the rear image of the vehicle input through the image input unit into one image The control unit may include a controller for reading the vehicle by comparing the plurality of previously stored images and the synthesized image synthesized by the image synthesizing unit.
Description
본 발명은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 전방 및 후방 이미지를 합성한 이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법에 관한 것이다. The present invention relates to a vehicle reading apparatus and method for reading a vehicle using a vehicle image, and more particularly, to a vehicle reading apparatus for reading a vehicle using an image synthesized from front and rear images of the vehicle, and reading using the same It's about how to do it.
기존의 차량을 인식하는 방법으로, 번호판을 인식하여 차량을 인지하는 방법이 주를 이루었었고, 차량 이미지를 이용하여 차량을 판독하는 방법의 경우, 다수의 카메라를 이용하여 다각도의 촬영 영상을 획득하고, 그 촬영된 영상을 분석하여 차량을 인식하는 것들이었다. As a method of recognizing an existing vehicle, the method of recognizing a vehicle by recognizing a license plate was mainly used. , and those that recognize the vehicle by analyzing the captured image.
그러나, 종래에 존재하던 기술은 번호판 정보에 대한 접근 권한이 필요하다. 차량의 번호판과 해당 번호판이 부착된 차량의 정보를 이용하여 차량을 판독하는 방법에 불과했던 것이다. However, the prior art requires access to license plate information. It was simply a method of reading the vehicle using the license plate of the vehicle and the information of the vehicle to which the license plate is attached.
차량의 이미지를 이용하여 차량을 판독하는 방법의 경우, 다수의 카메라를 이용하여 차량에 대한 복수의 이미지를 획득하여야 했고, 이와 비교하기 위한 비교 대상 데이터가 충분히 많이 존재하여야 했다. 따라서, 데이터의 확보에 많은 시간이 필요하며, 데이터와 촬영된 이미지들을 비교하여 차량의 종류, 차량의 연식, 차량의 모델 등을 판독하려면 더 많은 시간이 필요했고, 정확도도 높지 않았다. 이는 차량의 종류마다, 같은 종류에서도 연식에 따라 미세한 외관상의 차이점이 존재하기 때문에, 정확하게 해당 차량의 종류와 연식, 모델 등을 구별하여 판독하는 것은 한동안 이미지를 통한 문자 인식이 어려웠던 것처럼 그 정확도에 한계를 가지고 있었다. In the case of a method of reading a vehicle using an image of a vehicle, it is necessary to acquire a plurality of images of a vehicle using a plurality of cameras, and there must be sufficiently large amounts of data to be compared for comparison. Therefore, a lot of time is required to obtain data, and more time is required to compare the data and the photographed images to read the type of vehicle, the year of the vehicle, the model of the vehicle, etc., and the accuracy is not high. This is because there are subtle differences in appearance for each type of vehicle and year by year even in the same type. had
그러나, 최근에 빅데이터 분석 및 인공지능 기술 및 엔진의 발달로 인하여, 더 빠르고 정확한 차량 판독이 가능해지고 있다. However, due to the recent development of big data analysis and artificial intelligence technology and engine, faster and more accurate vehicle reading is becoming possible.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 차량을 판독하는 방법을 제공하는 것을 그 목적으로 한다. The present invention was created to solve the above problems, and an object of the present invention is to provide a vehicle reading apparatus for reading a vehicle using a vehicle image and a method for reading the vehicle.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다. Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the description below.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 차량을 판독하는 방법이 개시된다. 상기 차량판독 장치는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들이 입력되는 이미지 입력부, 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부 및 기저장된 복수의 이미지들과 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량을 판독하는 제어부를 포함할 수 있다. In order to achieve the above objects, a vehicle reading apparatus for reading a vehicle using a vehicle image and a method for reading a vehicle using the same are disclosed according to an embodiment of the present invention. The vehicle reading device includes an image input unit to which a plurality of vehicle images including a front image and a rear image of the vehicle are input, an image synthesis unit for synthesizing the front image and rear image of the vehicle input through the image input unit into one image, and a device The controller may include a controller for reading the vehicle by comparing the stored plurality of images with the synthesized image synthesized by the image synthesizing unit.
또한, 본 발명의 일 실시예에 따르면, 제어부는 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출할 수 있다. Also, according to an embodiment of the present invention, the controller may input the synthesized image into a multilayer perceptron model, and extract a vehicle image from the synthesized image.
또한, 본 발명의 일 실시예에 따르면, 제어부는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화시키고, 정규화된 특징 부분 이미지를 부호화시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 차량을 판독할 수 있다. In addition, according to an embodiment of the present invention, the controller inputs the extracted vehicle image to a deep learning-based convolutional neural network model (CNN) to generate one or more feature part images, and the generated feature part images The vehicle may be read by normalizing the size of , encoding the normalized feature part image, and comparing the encoded feature part image with a plurality of pre-stored images.
또한, 본 발명의 일 실시예에 따르면, 특징 부분 이미지는 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다. Further, according to an embodiment of the present invention, the feature part image is an image of at least one front component disposed on the front side of the vehicle included in the front image of the vehicle and the image of at least one front component disposed on the rear side of the vehicle included in the rear image of the vehicle. It may include an image of at least one rear component.
또한, 본 발명의 일 실시예에 따르면, 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. Further, according to an embodiment of the present invention, the image of the front component includes images of a headlight, a grille, a molding, a logo, a front bumper, a fog light, and a turn signal lamp, and the image of the rear component includes a tail light, a logo, and a rear bumper , and may include images such as direction indicators.
또한, 본 발명의 일 실시예에 따르면, 제어부는 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다. In addition, according to an embodiment of the present invention, the controller may include a first step of reading the vehicle by comparing the first image and pre-stored images among the generated, normalized, and encoded feature image images.
또한, 본 발명의 일 실시예에 따르면, 제어부는 제1 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다. In addition, according to an embodiment of the present invention, the control unit compares the second image among the generated, normalized, and coded feature image among the candidate groups of the vehicle read in the first step, and reads the vehicle. It may further include two steps.
또한, 본 발명의 일 실시예에 따르면, 제어부는 제2 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다. In addition, according to an embodiment of the present invention, the control unit may control at least one of the generated, normalized, and encoded feature image images among the candidate groups of the vehicle read in the second step that are not used until the second step. The method may further include a third step of reading the vehicle by comparing it with pre-stored images.
또한, 본 발명의 일 실시예에 따르면, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다. In addition, according to an embodiment of the present invention, a plurality of pre-stored images are images obtained by synthesizing a front image and a rear image of a vehicle into one image, and are input to a deep learning-based convolutional neural network (CNN) model. It may be an image that has been learned by
또한, 본 발명의 일 실시예에 따르면, 제어부는 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 상기 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다. In addition, according to an embodiment of the present invention, when the read vehicle corresponds to a preset vehicle type, the control unit causes the image synthesizing unit to generate images for a specific part of the side image of the vehicle or the interior images of the vehicle. At least one of them may be further synthesized.
추가적으로, 상기 차량을 판독하는 방법은 차량의 전방 이미지 및 후방 이미지를 포함하는 이미지들을 입력받는 이미지 입력단계, 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계 및 기저장된 복수의 이미지들과 합성된 이미지를 비교하여 차량을 판독하는 차량 판독단계를 포함할 수 있다.Additionally, the method for reading the vehicle includes an image input step of receiving images including a front image and a rear image of the vehicle, an image synthesis step of synthesizing the received front image and rear image of the vehicle into one image, and a plurality of pre-stored images. It may include a vehicle reading step of reading the vehicle by comparing the images of the synthesized image.
또한, 본 발명의 일 실시예에 따르면, 상기 방법은 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는 단계를 더 포함할 수 있다. Also, according to an embodiment of the present invention, the method may further include inputting the synthesized image into a multilayer perceptron model, and extracting the vehicle image from the synthesized image.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화시키고, 정규화된 특징 부분 이미지를 부호화시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 차량을 판독하는 단계일 수 있다. In addition, according to an embodiment of the present invention, in the vehicle reading step, the extracted vehicle image is input to a deep learning-based convolutional neural network model (CNN) to generate one or more feature partial images, and the generated features Normalizing the size of the partial image, encoding the normalized characteristic partial image, and reading the vehicle by comparing the encoded characteristic partial image with a plurality of pre-stored images.
또한, 본 발명의 일 실시예에 따르면, 특징 부분 이미지는 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다. Further, according to an embodiment of the present invention, the feature part image is an image of at least one front component disposed on the front side of the vehicle included in the front image of the vehicle and the image of at least one front component disposed on the rear side of the vehicle included in the rear image of the vehicle. It may include an image of at least one rear component.
또한, 본 발명의 일 실시예에 따르면, 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. Further, according to an embodiment of the present invention, the image of the front component includes images of a headlight, a grille, a molding, a logo, a front bumper, a fog light, and a turn signal lamp, and the image of the rear component includes a tail light, a logo, and a rear bumper , and may include images such as direction indicators.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다. In addition, according to an embodiment of the present invention, the vehicle reading step may include a first step of reading the vehicle by comparing the first image and pre-stored images among the generated, normalized, and encoded feature image images. there is.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 제1 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다. Further, according to an embodiment of the present invention, in the vehicle reading step, the vehicle is read by comparing a second image among the generated, normalized, and encoded feature image among the candidate groups of the vehicle read in the first step. It may further include a second step of
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 제2 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다. In addition, according to an embodiment of the present invention, in the vehicle reading step, among the generated, normalized, and coded feature part images among the candidate groups of vehicles read in the second step, images not used until the second step The method may further include a third step of reading the vehicle by comparing at least one with pre-stored images.
또한, 본 발명의 일 실시예에 따르면, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다. In addition, according to an embodiment of the present invention, a plurality of pre-stored images are images obtained by synthesizing a front image and a rear image of a vehicle into one image, and are input to a deep learning-based convolutional neural network (CNN) model. It may be an image that has been learned by
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계에서, 판독된 차량의 종류가 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다. In addition, according to an embodiment of the present invention, in the vehicle reading step, when the type of the read vehicle corresponds to the preset vehicle type, among images of a specific part of the side image of the vehicle or the interior images of the vehicle At least one may be further synthesized.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다. Specific details for achieving the above objects will become clear with reference to the embodiments to be described in detail below in conjunction with the accompanying drawings.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다. However, the present invention is not limited to the embodiments disclosed below, but may be configured in various different forms, and those of ordinary skill in the art to which the present invention pertains ( Hereinafter, "a person skilled in the art") is provided to fully inform the scope of the invention.
본 발명의 일 실시예에 의하면, 복수의 차량 이미지를 사용하여 차량을 판독하는 것보다 하나의 이미지로 합성한 이미지를 사용함으로써 보다 빠르게 특정 차량임을 판독할 수 있다. According to an embodiment of the present invention, it is possible to read a specific vehicle more quickly by using an image synthesized into one image rather than reading a vehicle using a plurality of vehicle images.
또한, 본 발명의 일 실시예에 의하면, 딥러닝 기반의 나선 신경망 모델(Convolutional Neural Network)을 적용하여 이미지를 비교 분석함으로써 특정 차량임을 판단하는 차량 판독률을 향상 시킬 수 있다. In addition, according to an embodiment of the present invention, it is possible to improve the vehicle reading rate for determining that a specific vehicle is a specific vehicle by applying a deep learning-based convolutional neural network model to compare and analyze images.
또한, 본 발명의 일 실시예에 의하면, 판독과정을 순차적으로 구성함으로써, 장치를 통한 이미지 판독과정을 효율적으로 이용할 수 있다. In addition, according to an embodiment of the present invention, by sequentially configuring the reading process, it is possible to efficiently use the image reading process through the device.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다. Effects of the present invention are not limited to the above-described effects, and potential effects expected by the technical features of the present invention will be clearly understood from the following description.
상기 언급된 본 발명 내용의 특징들이 상세하게, 보다 구체화된 설명으로, 이하의 실시예들을 참조하여 이해될 수 있도록, 실시예들 중 일부는 첨부되는 도면에서 도시된다. 또한, 도면과의 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하는 것으로 의도된다. 그러나 첨부된 도면들은 단지 본 발명 내용의 특정한 전형적인 실시예들만을 도시하는 것일 뿐, 본 발명의 범위를 한정하는 것으로 고려되지는 않으며, 동일한 효과를 갖는 다른 실시예들이 충분히 인식될 수 있다는 점을 유의하도록 한다.
도 1은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 일 실시예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 블록도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 방법에 관한 순서도이다. BRIEF DESCRIPTION OF THE DRAWINGS In order that the above-mentioned features of the present invention may be understood in detail, with a more specific description, with reference to the following examples, some of the embodiments are shown in the accompanying drawings. Also, like reference numbers with drawings are intended to refer to the same or similar functions throughout the various aspects. However, it should be noted that the accompanying drawings only show certain typical embodiments of the present invention and are not to be considered limiting of the scope of the present invention, and other embodiments having the same effect may be sufficiently recognized. to do it
1 is a diagram illustrating an embodiment of a vehicle reading apparatus for reading a vehicle using a vehicle image.
2 is a diagram illustrating a block diagram of a vehicle reading apparatus for reading a vehicle using a vehicle image according to an embodiment of the present invention.
3 is a flowchart illustrating a vehicle reading method for reading a vehicle using a vehicle image according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. Various features of the invention disclosed in the claims may be better understood upon consideration of the drawings and detailed description. The apparatus, methods, preparations, and various embodiments disclosed herein are provided for purposes of illustration. The disclosed structural and functional features are intended to enable those skilled in the art to specifically practice the various embodiments, and are not intended to limit the scope of the invention. The disclosed terms and sentences are for the purpose of easy-to-understand descriptions of various features of the disclosed invention, and are not intended to limit the scope of the invention.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
이하, 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 차량을 판독하는 방법을 설명한다. Hereinafter, a vehicle reading apparatus for reading a vehicle using a vehicle image and a method for reading a vehicle using the vehicle according to an embodiment of the present invention will be described.
도 1은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 일 실시예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 블록도를 도시한 도면이다. 1 is a diagram illustrating an embodiment of a vehicle reading apparatus for reading a vehicle using a vehicle image, and FIG. 2 is a block diagram of a vehicle reading apparatus for reading a vehicle using a vehicle image according to an embodiment of the present invention It is a drawing showing the figure.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치(10)는 이미지 입력부(110), 이미지 합성부(130), 제어부(150) 및 저장부(170)를 포함할 수 있다. 1 and 2 , the
보다 구체적으로, 이미지 입력부(110)는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들을 입력받을 수 있다. More specifically, the
이미지 합성부(130)는 이미지 입력부(110)를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성할 수 있다. 본 발명은 입력된 복수개의 이미지를 하나의 합성된 이미지로 변환하는 과정을 두어, 저장하는 이미지의 용량을 줄일 수 있으며, 합성된 이미지를 이용함으로써 합성된 하나의 이미지에서 특정 차량임을 판독할 수 있는 특징 부분을 더 많이 포함되도록 할 수 있다. 이는, 차량의 종류와 연식 그리고 모델 등을 구별하는 데에 있어서 차량의 전방 이미지 및 후방 이미지가 거의 대부분을 차지하기 때문이다. 그리하여, 차량 전방 이미지와 후방 이미지, 두 개의 이미지만을 합성하여 하나의 이미지로 만들어 차량의 종류와 연식 등을 판단할 수 있도록 한 것이다. 그러나 이 두 개의 이미지에 한정되는 것은 아니고, 휠의 형태의 차이를 구별하기 위한 옆면 이미지, 종류가 구별된 이후 미리 입력되어 있는 내부의 차이를 인식하여 이에 대한 이미지를 추가함으로써 그 정확도를 높일 수 있다. The
차량의 종류가 같더라도, 연식에 따라서, 그리고 옵션이나 같은 차종에서의 모델에 따라서 미세한 차이를 갖고 있다. 본 발명은 합성된 이미지를 이용하여 차량 판독을 진행함으로써 보다 효율적이고, 빠른 판독을 가능하게 할 수 있다. 더불어, 하나의 이미지에서 한번에 다양한 특징점들의 차이를 파악하여 판독의 정확도를 높일 수 있다. Even if the type of vehicle is the same, there is a subtle difference depending on the model year and option or model of the same vehicle model. The present invention may enable more efficient and faster reading by performing vehicle reading using the synthesized image. In addition, it is possible to increase the reading accuracy by identifying the difference between various feature points in one image at once.
보다 구체적으로, 제어부(150)는 기저장된 복수의 이미지들과 이미지 합성부(130)에서 합성한, 합성된 이미지를 비교하여 차량을 판독할 수 있다. 또한, 제어부(150)는 이미지 합성부(130)에서 합성한, 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지와 그 외의 배경 부분을 구분하여, 차량 이미지만을 추출할 수 있다. More specifically, the
또한, 제어부(150)는 합성된 이미지에서 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성할 수 있고, 생성한 특징 부분 이미지의 크기를 정규화 시킬 수 있으며, 정규화된 특징 부분 이미지를 부호화 시킬 수 있다. 또한, 제어부(150)는 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 특정 차량임을 판독할 수 있다. In addition, the
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다. Here, the feature part image is a part having a characteristic that can be determined as a specific vehicle, and includes an image of at least one front component disposed on the front of the vehicle included in the front image of the vehicle and the image of the vehicle included in the rear image of the vehicle. and an image of at least one rear surface component disposed on the rear surface. In addition, the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component The image of may include images of tail lights, logos, rear bumpers, and turn signals. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
또한, 제어부(150)는 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다. 또한, 제어부(150)는 제1 단계에서 판독된 차량의 후보군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있으며, 제2 단계에서 판독된 차량의 후보군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다. In addition, the
또한, 제어부(150)는 제1 단계, 제2 단계 및 제3 단계의 차량 판독과정을 통해서도 특정 차량임을 판독하지 못한 경우, 제1 단계 내지 제3 단계에서 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독할 수 있다. 차량의 판독을 특징부분 이미지를 이용하여 단계적으로 판독할 수 있게 구성하여, 판독 결과에 따라 판독 절차를 줄일 수 있다. 또한, 판독과정이 단계적으로 진행이 되면서, 판독결과의 정확성을 높일 수 있다. In addition, when the
예를 들어, 합성된 이미지를 기저장된 이미지와 비교하여 차량의 종류 및 색을 판독할 수 있고, 판독한 차량의 종류의 이미지와 전조등 이미지를 비교하여 차량을 판독할 수 있다. 전조등 이미지 비교를 통해 차량 판독이 안 된 경우, 추가적으로 그릴 이미지를 비교하여 판독할 수 있다. 그릴 이미지 비교를 통해 차량 판독이 안 된 경우, 후미등 이미지를 비교하여 판독을 할 수 있다. 이와 같은 방식으로, 특정 차량임이 특정 될 때까지, 비교대상이 되지 않았던 이미지를 이용하여 단계적으로 판별을 할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the type and color of the vehicle may be read by comparing the synthesized image with the pre-stored image, and the vehicle may be read by comparing the read image of the type of vehicle with the headlamp image. If the vehicle cannot be read by comparing the headlight image, it can be read by comparing the additionally drawn image. If the vehicle cannot be read by comparing the image to be drawn, it can be read by comparing the image of the tail light. In this way, until a specific vehicle is identified, it is possible to determine step by step using images that have not been compared. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
또한, 제어부(150)는 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다. In addition, when the read vehicle corresponds to a preset vehicle type, the
또한, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지이다. 딥러닝을 이용하여 이미지를 학습시킴으로써, 정확한 이미지 확보가 가능해져서 차량 판별의 정확도를 높일 수 있다. In addition, the plurality of pre-stored images is an image obtained by synthesizing the front image and the rear image of the vehicle into one image, and is an image learned by inputting into a deep learning-based convolutional neural network (CNN) model. By learning the image using deep learning, it is possible to secure an accurate image, thereby increasing the accuracy of vehicle identification.
일 실시예에서, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치(10)는 저장부(170)를 포함할 수 있다. In an embodiment, the
보다 구체적으로, 저장부(170)는 장치의 내부에 위치하고 있으며, 차량의 판독에 필요한 이미지를 저장할 수 있다. 또한, 저장부(170)는 입력된 이미지를 딥러닝에 입력하여 학습시킨 이미지를 저장할 수 있다. 또한, 저장부(170)는 특정 차량임을 판독하기 위해 사용한 확인대상 이미지를 추가적으로 저장할 수 있다. 확인대상 이미지를 기저장된 이미지에 추가적으로 저장함으로써, 특정 차량의 저장된 이미지의 정확성을 보다 높일 수 있다. More specifically, the
도 3은 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 방법에 관한 순서도이다. 3 is a flowchart illustrating a vehicle reading method for reading a vehicle using a vehicle image according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 방법(S300)은 차량의 전방 이미지 및 후방 이미지를 포함하는 이미지들을 입력받는 이미지 입력단계(S301), 이미지 입력단계를 통해 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계(S303) 및 기저장된 복수의 이미지들과 합성된 이미지를 비교하여 차량을 판독하는 차량 판독단계(S305)를 포함할 수 있다. Referring to FIG. 3 , the method ( S300 ) of the present invention includes an image input step ( S301 ) of receiving images including a front image and a rear image of a vehicle, and a front image and a rear image of the vehicle received through the image input step. It may include an image synthesizing step ( S303 ) of synthesizing a single image and a vehicle reading step ( S305 ) of reading a vehicle by comparing the synthesized image with a plurality of pre-stored images.
일 실시예에서, 이미지 입력단계(S301)는 차량의 전방 이미지 및 후방 이미지가 포함된 이미지를 입력받는 단계일 수 있다. In one embodiment, the image input step ( S301 ) may be a step of receiving an image including a front image and a rear image of the vehicle.
일 실시예에서, 이미지 합성단계(S303)는 이미지 입력단계(S301)를 통해 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 단계일 수 있다. 본 발명은 하나의 합성된 이미지를 생성하여 이를 이용함으로써 저장하는 이미지의 용량을 줄일 수 있으며, 또한, 합성된 이미지를 이용함으로써 합성된 하나의 이미지에서 특정 차량임을 판독할 수 있는 특징 부분을 더 많이 포함되도록 할 수 있다. 이는, 차량의 종류와 연식 그리고 모델 등을 구별하는 데에 있어서 차량의 전방 이미지 및 후방 이미지가 거의 대부분을 차지하기 때문이다. 그리하여, 차량 전방 이미지와 후방 이미지, 두 개의 이미지만을 합성하여 하나의 이미지로 만들어 차량의 종류와 연식 등을 판단할 수 있도록 한 것이다. 그러나 이 두 개의 이미지에 한정되는 것은 아니고, 휠의 형태의 차이를 구별하기 위한 옆면 이미지, 종류가 구별된 이후 미리 입력되어 있는 내부의 차이를 인식하여 이에 대한 이미지를 추가함으로써 그 정확도를 높일 수 있다. In one embodiment, the image synthesizing step S303 may be a step of synthesizing the front image and the rear image of the vehicle input through the image input step S301 into one image. According to the present invention, the capacity of an image to be stored can be reduced by generating and using one synthesized image, and also, by using the synthesized image, more feature parts that can be read as a specific vehicle in one synthesized image can be included. This is because the front image and rear image of the vehicle occupies most of the distinction between the type, year, and model of the vehicle. Thus, only two images, the front image and the rear image of the vehicle, are synthesized into one image so that the type and year of the vehicle can be determined. However, it is not limited to these two images, and it is possible to increase the accuracy by recognizing a side image for discriminating the difference in the shape of the wheel and adding an image for this by recognizing the internal difference that is input in advance after the type is distinguished. .
차량의 종류가 같더라도, 연식에 따라서, 그리고 옵션이나 같은 차종에서의 모델에 따라서 미세한 차이를 갖고 있다. 본 발명은 합성된 이미지를 이용하여 차량 판독을 진행함으로써 보다 효율적이고, 빠른 판독을 가능하게 할 수 있다. 더불어, 하나의 이미지에서 한번에 다양한 특징점들의 차이를 파악하여 판독의 정확도를 높일 수 있다. Even if the type of vehicle is the same, there is a subtle difference depending on the model year and option or model of the same vehicle model. The present invention may enable more efficient and faster reading by performing vehicle reading using the synthesized image. In addition, it is possible to increase the reading accuracy by identifying the difference between various feature points in one image at once.
일 실시예에서, 차량 판독 방법은 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는 단계를 더 포함할 수 있다. 이는, 이미지 합성단계(S303)를 통해 합성된 이미지에서 차량 이미지 부분과 그 외 배경 부분을 구분하여, 차량 이미지만을 추출하는 것이다. In an embodiment, the vehicle reading method may further include inputting the synthesized image into a multilayer perceptron model, and extracting the vehicle image from the synthesized image. This is to extract only the vehicle image by separating the vehicle image part and other background parts from the image synthesized through the image synthesizing step S303.
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 구성들의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 구성들의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다. Here, the feature part image is a part having a characteristic that can be determined as a specific vehicle, and the image of the components disposed on the front of the vehicle included in the front image of the vehicle and the configuration disposed on the rear of the vehicle included in the rear image of the vehicle may include images of them. In addition, the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component The image of may include images of tail lights, logos, rear bumpers, and turn signals. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
일 실시예에서, 차량 판독단계(S305)는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화 시킬 수 있으며, 정규화된 특징 부분 이미지를 부호화 시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 특정 차량임을 판독하는 단계일 수 있다. In one embodiment, the vehicle reading step S305 inputs the extracted vehicle image to a deep learning-based convolutional neural network model (CNN) to generate one or more feature partial images, and The size may be normalized, the normalized feature part image may be encoded, and the encoded feature part image may be compared with a plurality of pre-stored images to read that it is a specific vehicle.
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 구성들의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 구성들의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다. Here, the feature part image is a part having a characteristic that can be determined as a specific vehicle, and the image of the components disposed on the front of the vehicle included in the front image of the vehicle and the configuration disposed on the rear of the vehicle included in the rear image of the vehicle may include images of them. In addition, the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component The image of may include images of tail lights, logos, rear bumpers, and turn signals. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
또한, 차량 판독단계(S305)는 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있고, 제1 단계에서 판독된 차량의 후부군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다. 또한, 차량 판독단계(S305)는 제2 단계에서 판독된 차량의 후부군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징 부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다. In addition, the vehicle reading step (S305) includes a first step of reading the vehicle by comparing the generated, normalized, and coded first image by input to a convolutional neural network (CNN) and pre-stored images. Among the rear groups of the vehicle read in the first step, the second image generated by input to a convolutional neural network (CNN), normalized, and encoded, is compared with the second image to read the vehicle. It may further include two steps. In addition, the vehicle reading step S305 is performed by inputting to a convolutional neural network (CNN) model from among the rear groups of the vehicle read in the second step, a second of the generated, normalized, and encoded feature partial images. The method may further include a third step of reading the vehicle by comparing at least one of the images not used until the step with pre-stored images.
또한, 차량 판독단계(S305)는 제1 단계, 제2 단계 및 제3 단계의 차량 판독과정을 통해서도 특정 차량임을 판독하지 못한 경우, 제1 단계 내지 제3 단계에서 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독할 수 있다. 차량의 판독을 특징부분 이미지를 이용하여 단계적으로 판독할 수 있게 구성하여, 판독 결과에 따라 판독 절차를 줄일 수 있다. 또한, 판독과정이 단계적으로 진행이 되면서, 판독결과의 정확성을 높일 수 있다. In addition, in the vehicle reading step ( S305 ), if the specific vehicle is not read through the vehicle reading process of the first step, the second step, and the third step, at least one of the images not used in the first step to the third step The vehicle can be read by comparing it with pre-stored images. By configuring the reading of the vehicle to be read step by step using the feature image, the reading procedure can be reduced according to the reading result. In addition, as the reading process proceeds step by step, the accuracy of the reading result can be increased.
예를 들어, 합성된 이미지를 기저장된 이미지와 비교하여 차량의 종류 및 색을 판독할 수 있고, 판독한 차량의 종류의 이미지와 전조등 이미지를 비교하여 차량을 판독할 수 있다. 전조등 이미지 비교를 통해 차량 판독이 안 된 경우, 추가적으로 그릴 이미지를 비교하여 판독할 수 있다. 그릴 이미지 비교를 통해 차량 판독이 안 된 경우, 후미등 이미지를 비교하여 판독을 할 수 있다. 이와 같은 방식으로, 특정 차량임이 특정 될 때까지, 비교대상이 되지 않았던 이미지를 이용하여 단계적으로 판별을 할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다. For example, the type and color of the vehicle may be read by comparing the synthesized image with the pre-stored image, and the vehicle may be read by comparing the read image of the type of vehicle with the headlamp image. If the vehicle cannot be read by comparing the headlight image, it can be read by comparing the additionally drawn image. If the vehicle cannot be read by comparing the image to be drawn, it can be read by comparing the image of the tail light. In this way, until a specific vehicle is identified, it is possible to determine step by step using images that have not been compared. The above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
또한, 차량 판독단계(S305)에서, 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 입력된 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다. In addition, in the vehicle reading step ( S305 ), if the read vehicle corresponds to the preset vehicle type, at least one of the side image of the vehicle or the images for a specific part of the inputted vehicle interior images is additionally synthesized can make it
또한, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다. 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킴으로써, 비교대상의 이미지의 판독률을 향상 시킬 수 있다. In addition, the plurality of pre-stored images is an image obtained by synthesizing a front image and a rear image of a vehicle into one image, and may be an image learned by inputting into a deep learning-based convolutional neural network (CNN) model. By inputting and learning into a deep learning-based convolutional neural network (CNN) model, it is possible to improve the read rate of the image of the comparison target.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다. The above description is merely illustrative of the technical spirit of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다. Accordingly, the embodiments disclosed in the present specification are not intended to limit the technical spirit of the present invention, but to illustrate, and the scope of the present invention is not limited by these embodiments.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다. The protection scope of the present invention should be interpreted by the claims, and all technical ideas within the scope equivalent thereto should be understood to be included in the scope of the present invention.
Claims (20)
상기 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부; 및
기저장된 복수의 이미지들과 상기 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량의 종류, 연식 및 모델을 판독하는 제어부를 포함하고,
상기 제어부는,
상기 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하고, 상기 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 상기 생성한 특징 부분 이미지의 크기를 정규화시키고, 상기 정규화된 특징 부분 이미지를 부호화시키고, 상기 부호화된 특징 부분 이미지를 상기 기저장된 복수의 이미지들과 비교하여 차량의 종류, 연식 및 모델을 판독하며,
상기 특징 부분 이미지는,
상기 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 상기 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함하고,
상기 전면 구성요소의 이미지는, 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 상기 후면 구성요소의 이미지는, 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함하는,
차량판독 장치.
an image input unit to which a plurality of vehicle images including a front image and a rear image of the vehicle are input;
an image synthesizing unit for synthesizing a front image and a rear image of the vehicle input through the image input unit into one image; and
Comprising a control unit for reading the type, year and model of the vehicle by comparing the synthesized image synthesized by the image synthesizing unit with a plurality of pre-stored images,
The control unit is
The synthesized image is input to a multilayer perceptron model, a vehicle image is extracted from the synthesized image, and the extracted vehicle image is input to a deep learning-based convolutional neural network (CNN) model. to generate one or more characteristic partial images, normalize the size of the generated characteristic partial image, encode the normalized characteristic partial image, and compare the encoded characteristic partial image with the plurality of pre-stored images. It reads the type, year and model of the vehicle,
The feature part image is,
an image of at least one front component disposed on the front of the vehicle included in the front image of the vehicle and an image of at least one rear component disposed at the rear of the vehicle included in the rear image of the vehicle,
The image of the front component includes images of a headlight, a grille, a molding, a logo, a front bumper, a fog lamp, and a turn indicator, and the image of the rear component includes an image of a tail lamp, a logo, a rear bumper, and a turn indicator doing,
vehicle reading device.
상기 제어부는,
상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 상기 기저장된 이미지들을 비교하여, 차량의 종류, 연식 및 모델을 판독하는 제1 단계를 포함하는,
차량판독 장치.
According to claim 1,
The control unit is
Comprising a first step of reading the type, year, and model of the vehicle by comparing the first image and the pre-stored images among the generated, normalized, and encoded feature images,
vehicle reading device.
상기 제어부는,
상기 제1 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량의 종류, 연식 및 모델을 판독하는 제2 단계를 더 포함하는,
차량판독 장치.
7. The method of claim 6,
The control unit is
The method further includes a second step of reading the type, year, and model of the vehicle by comparing a second image among the generated, normalized, and coded feature image among the candidate groups of the vehicle read in the first step. doing,
vehicle reading device.
상기 제어부는,
상기 제2 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 상기 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 상기 기저장된 이미지들과 비교하여 차량의 종류, 연식 및 모델을 판독하는 제3 단계를 더 포함하는,
차량판독 장치.
8. The method of claim 7,
The control unit is
Among the vehicle candidate groups read in the second step, at least one of the generated, normalized, and encoded feature image images not used until the second step is compared with the pre-stored images. Further comprising a third step of reading the type, year and model of
vehicle reading device.
상기 기저장된 복수의 이미지들은,
차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지인,
차량판독 장치.
According to claim 1,
The plurality of pre-stored images are
It is an image obtained by synthesizing the front image and rear image of the vehicle into one image, which is an image learned by inputting into a deep learning-based convolutional neural network model (CNN).
vehicle reading device.
상기 제어부는,
판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 상기 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 하는,
차량판독 장치.
According to claim 1,
The control unit is
When the read vehicle corresponds to a preset vehicle type, causing the image synthesizing unit to additionally synthesize at least one of images for a specific part of a side image of the vehicle or interior images of the vehicle,
vehicle reading device.
상기 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계; 및
기저장된 복수의 이미지들과 상기 합성된 이미지를 비교하여 차량의 종류, 연식 및 모델을 판독하는 차량 판독단계를 포함하고,
상기 차량 판독단계는,
상기 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하고, 상기 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 상기 생성한 특징 부분 이미지의 크기를 정규화시키고, 상기 정규화된 특징 부분 이미지를 부호화시키고, 상기 부호화된 특징 부분 이미지를 상기 기저장된 복수의 이미지들과 비교하여 차량의 종류, 연식 및 모델을 판독하는 단계이며,
상기 특징 부분 이미지는,
상기 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 상기 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함하고,
상기 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 상기 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함하는,
차량판독 방법.
an image input step of receiving images including a front image and a rear image of the vehicle;
an image synthesis step of synthesizing the received front image and rear image of the vehicle into one image; and
Comprising a vehicle reading step of reading the type, year, and model of the vehicle by comparing the synthesized image with a plurality of pre-stored images,
The vehicle reading step is
The synthesized image is input to a multilayer perceptron model, a vehicle image is extracted from the synthesized image, and the extracted vehicle image is input to a deep learning-based convolutional neural network (CNN) model. to generate one or more characteristic partial images, normalize the size of the generated characteristic partial image, encode the normalized characteristic partial image, and compare the encoded characteristic partial image with the plurality of pre-stored images. It is a step to read the type, year, and model of the vehicle,
The feature part image is,
an image of at least one front component disposed on the front of the vehicle included in the front image of the vehicle and an image of at least one rear component disposed at the rear of the vehicle included in the rear image of the vehicle,
The image of the front component includes images of headlights, grilles, moldings, logos, front bumpers, fog lights, and turn signals, and the images of the rear components include images of tail lights, logos, rear bumpers, and turn indicators.
How to read a vehicle.
상기 차량 판독단계는,
상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 상기 기저장된 이미지들을 비교하여, 차량의 종류, 연식 및 모델을 판독하는 제1 단계를 포함하는,
차량판독 방법.
12. The method of claim 11,
The vehicle reading step is
Comprising a first step of reading the type, year, and model of the vehicle by comparing the first image and the pre-stored images among the generated, normalized, and encoded feature images,
How to read a vehicle.
상기 차량 판독단계는,
상기 제1 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량의 종류, 연식 및 모델을 판독하는 제2 단계를 더 포함하는,
차량판독 방법.
17. The method of claim 16,
The vehicle reading step is
The method further includes a second step of reading the type, year, and model of the vehicle by comparing a second image among the generated, normalized, and coded feature image among the candidate groups of the vehicle read in the first step. doing,
How to read a vehicle.
상기 차량 판독단계는,
상기 제2 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 상기 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 상기 기저장된 이미지들과 비교하여 차량의 종류, 연식 및 모델을 판독하는 제3 단계를 더 포함하는,
차량판독 방법.
18. The method of claim 17,
The vehicle reading step is
Among the vehicle candidate groups read in the second step, at least one of the generated, normalized, and encoded feature image images not used until the second step is compared with the pre-stored images. Further comprising a third step of reading the type, year and model of
How to read a vehicle.
상기 기저장된 복수의 이미지들은,
차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지인,
차량판독 방법.
12. The method of claim 11,
The plurality of pre-stored images are
It is an image obtained by synthesizing the front image and rear image of the vehicle into one image, which is an image learned by inputting into a deep learning-based convolutional neural network model (CNN).
How to read a vehicle.
상기 차량 판독단계에서,
판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 하는,
차량판독 방법.12. The method of claim 11,
In the vehicle reading step,
When the read vehicle corresponds to a preset vehicle type, to additionally synthesize at least one of images for a specific part of a side image of the vehicle or interior images of the vehicle,
How to read a vehicle.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200112491A KR102382583B1 (en) | 2020-09-03 | 2020-09-03 | Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same |
| PCT/KR2021/011704 WO2022050666A1 (en) | 2020-09-03 | 2021-08-31 | Vehicle reading apparatus for reading vehicle by using vehicle image, and method for reading by using same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200112491A KR102382583B1 (en) | 2020-09-03 | 2020-09-03 | Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220030771A KR20220030771A (en) | 2022-03-11 |
| KR102382583B1 true KR102382583B1 (en) | 2022-04-04 |
Family
ID=80491791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200112491A KR102382583B1 (en) | 2020-09-03 | 2020-09-03 | Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102382583B1 (en) |
| WO (1) | WO2022050666A1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016191993A (en) | 2015-03-30 | 2016-11-10 | 株式会社東芝 | Vehicle line determination device and vehicle line determination method |
| KR101812953B1 (en) * | 2017-06-23 | 2017-12-29 | 주식회사 디앤에스 테크놀로지 | Image detecting system and method for underbody of vehicle using recognizing a car type by identifying emblem image |
| KR102097120B1 (en) * | 2018-12-31 | 2020-04-09 | 주식회사 애자일소다 | System and method for automatically determining the degree of breakdown by vehicle section based on deep running |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461108B1 (en) * | 2013-01-18 | 2014-11-12 | 광주과학기술원 | Recognition device, vehicle model recognition apparatus and method |
| KR102048240B1 (en) | 2017-09-06 | 2019-11-25 | 주식회사 씨티아이랩 | System Anomaly Behavior Analysis Technology based on Deep Learning Using Imaged Data |
| KR102125999B1 (en) * | 2018-06-01 | 2020-07-08 | 한화손해보험주식회사 | Ai calculation device, method and computer program |
-
2020
- 2020-09-03 KR KR1020200112491A patent/KR102382583B1/en active IP Right Grant
-
2021
- 2021-08-31 WO PCT/KR2021/011704 patent/WO2022050666A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016191993A (en) | 2015-03-30 | 2016-11-10 | 株式会社東芝 | Vehicle line determination device and vehicle line determination method |
| KR101812953B1 (en) * | 2017-06-23 | 2017-12-29 | 주식회사 디앤에스 테크놀로지 | Image detecting system and method for underbody of vehicle using recognizing a car type by identifying emblem image |
| KR102097120B1 (en) * | 2018-12-31 | 2020-04-09 | 주식회사 애자일소다 | System and method for automatically determining the degree of breakdown by vehicle section based on deep running |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022050666A1 (en) | 2022-03-10 |
| KR20220030771A (en) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887064B2 (en) | Deep learning-based system and method for automatically determining degree of damage to each area of vehicle | |
| Nieto et al. | Automatic vacant parking places management system using multicamera vehicle detection | |
| Alcantarilla et al. | Automatic LightBeam Controller for driver assistance | |
| US10373024B2 (en) | Image processing device, object detection device, image processing method | |
| CN111837156A (en) | Vehicle weight recognition techniques utilizing neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi-view vehicle representations | |
| US9280900B2 (en) | Vehicle external environment recognition device | |
| KR101630154B1 (en) | Image detecting system and method for underbody of vehicle | |
| JP4070437B2 (en) | Forward vehicle recognition device and recognition method | |
| Nguyen et al. | Vehicle re-identification with learned representation and spatial verification and abnormality detection with multi-adaptive vehicle detectors for traffic video analysis. | |
| US11948366B2 (en) | Automatic license plate recognition (ALPR) and vehicle identification profile methods and systems | |
| CN113269267B (en) | Training method of target detection model, target detection method and device | |
| WO2013042675A1 (en) | Device for detecting light from another vehicle, computer program for conducting detection of same, and vehicle light control device | |
| CN110276258A (en) | A kind of method and system identifying vehicle appearance | |
| CN106570451A (en) | Self-recognition of autonomous vehicles in mirrored or reflective surfaces | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| Tehrani et al. | Car detection at night using latent filters | |
| Li et al. | Intelligent headlight control using learning-based approaches | |
| Saadouli et al. | Automatic and secure electronic gate system using fusion of license plate, car make recognition and face detection | |
| KR102382583B1 (en) | Vehicle reading device for reading the vehicle using the vehicle image and method for reading the vehicle using the same | |
| Pradeep et al. | An improved technique for night-time vehicle detection | |
| Li et al. | A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems | |
| Shang et al. | A novel method for vehicle headlights detection using salient region segmentation and PHOG feature | |
| Huang et al. | Deep learning based moving object detection for video surveillance | |
| KR102334388B1 (en) | Method and Apparatus for Action Recognition Using Sequential Feature Data | |
| Rahman et al. | A real-time end-to-end Bangladeshi license plate detection and recognition system for all situations including challenging environmental scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |