WO2022050666A1 - 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법 - Google Patents

차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법 Download PDF

Info

Publication number
WO2022050666A1
WO2022050666A1 PCT/KR2021/011704 KR2021011704W WO2022050666A1 WO 2022050666 A1 WO2022050666 A1 WO 2022050666A1 KR 2021011704 W KR2021011704 W KR 2021011704W WO 2022050666 A1 WO2022050666 A1 WO 2022050666A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
reading
images
read
Prior art date
Application number
PCT/KR2021/011704
Other languages
English (en)
French (fr)
Inventor
최조셉성필
임슬아
이규훈
Original Assignee
주식회사 더트라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더트라이브 filed Critical 주식회사 더트라이브
Publication of WO2022050666A1 publication Critical patent/WO2022050666A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a vehicle reading apparatus and method for reading a vehicle using a vehicle image, and more particularly, to a vehicle reading apparatus for reading a vehicle using an image synthesized from front and rear images of the vehicle, and reading using the same it's about how to
  • the method of recognizing a vehicle by recognizing a license plate was mainly used. , and those that recognize the vehicle by analyzing the captured image.
  • the present invention was created to solve the above problems, and an object of the present invention is to provide a vehicle reading apparatus for reading a vehicle using a vehicle image and a method for reading the vehicle.
  • the vehicle reading device includes an image input unit to which a plurality of vehicle images including a front image and a rear image of the vehicle are input, an image synthesis unit for synthesizing the front image and rear image of the vehicle input through the image input unit into one image, and a device
  • the controller may include a controller for reading the vehicle by comparing the stored plurality of images with the synthesized image synthesized by the image synthesizing unit.
  • the controller may input the synthesized image into a multilayer perceptron model, and extract a vehicle image from the synthesized image.
  • the controller inputs the extracted vehicle image to a deep learning-based convolutional neural network model (CNN) to generate one or more feature part images, and the generated feature part images
  • CNN convolutional neural network model
  • the vehicle may be read by normalizing the size of , encoding the normalized feature part image, and comparing the encoded feature part image with a plurality of pre-stored images.
  • the feature part image is an image of at least one front component disposed on the front side of the vehicle included in the front image of the vehicle and the image of at least one front component disposed on the rear side of the vehicle included in the rear image of the vehicle. It may include an image of at least one rear component.
  • the image of the front component includes images of a headlight, a grille, a molding, a logo, a front bumper, a fog light, and a turn signal lamp
  • the image of the rear component includes a tail light, a logo, and a rear bumper , and may include images such as direction indicators.
  • the controller may include a first step of reading the vehicle by comparing the first image and pre-stored images among the generated, normalized, and encoded feature image images.
  • control unit compares the second image among the generated, normalized, and coded feature image among the candidate groups of the vehicle read in the first step, and reads the vehicle. It may further include two steps.
  • control unit may control at least one of the generated, normalized, and encoded feature image images among the candidate groups of the vehicle read in the second step that are not used until the second step.
  • the method may further include a third step of reading the vehicle by comparing it with pre-stored images.
  • a plurality of pre-stored images are images obtained by synthesizing a front image and a rear image of a vehicle into one image, and are input to a deep learning-based convolutional neural network (CNN) model. It may be an image that has been learned.
  • CNN convolutional neural network
  • the control unit when the read vehicle corresponds to a preset vehicle type, causes the image synthesizing unit to generate images for a specific part of the side image of the vehicle or the interior images of the vehicle. At least one of them may be further synthesized.
  • the method for reading the vehicle includes an image input step of receiving images including a front image and a rear image of the vehicle, an image synthesis step of synthesizing the received front image and rear image of the vehicle into one image, and a plurality of pre-stored images. It may include a vehicle reading step of reading the vehicle by comparing the images of the synthesized image.
  • the method may further include inputting the synthesized image into a multilayer perceptron model, and extracting the vehicle image from the synthesized image.
  • the extracted vehicle image is input to a deep learning-based convolutional neural network model (CNN) to generate one or more feature partial images, and the generated features Normalizing the size of the partial image, encoding the normalized characteristic partial image, and reading the vehicle by comparing the encoded characteristic partial image with a plurality of pre-stored images.
  • CNN deep learning-based convolutional neural network model
  • the feature part image is an image of at least one front component disposed on the front side of the vehicle included in the front image of the vehicle and the image of at least one front component disposed on the rear side of the vehicle included in the rear image of the vehicle. It may include an image of at least one rear component.
  • the image of the front component includes images of a headlight, a grille, a molding, a logo, a front bumper, a fog light, and a turn signal lamp
  • the image of the rear component includes a tail light, a logo, and a rear bumper , and may include images such as direction indicators.
  • the vehicle reading step may include a first step of reading the vehicle by comparing the first image and pre-stored images among the generated, normalized, and encoded feature image images. there is.
  • the vehicle reading step the vehicle is read by comparing a second image among the generated, normalized, and encoded feature image among the candidate groups of the vehicle read in the first step. It may further include a second step of
  • the method may further include a third step of reading the vehicle by comparing at least one with pre-stored images.
  • a plurality of pre-stored images are images obtained by synthesizing a front image and a rear image of a vehicle into one image, and are input to a deep learning-based convolutional neural network (CNN) model. It may be an image that has been learned.
  • CNN convolutional neural network
  • the vehicle reading step when the type of the read vehicle corresponds to the preset vehicle type, among images of a specific part of the side image of the vehicle or the interior images of the vehicle At least one may be further synthesized.
  • FIG. 1 is a diagram illustrating an embodiment of a vehicle reading apparatus for reading a vehicle using a vehicle image.
  • FIG. 2 is a diagram illustrating a block diagram of a vehicle reading apparatus for reading a vehicle using a vehicle image according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a vehicle reading method for reading a vehicle using a vehicle image according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an embodiment of a vehicle reading apparatus for reading a vehicle using a vehicle image
  • FIG. 2 is a block diagram of a vehicle reading apparatus for reading a vehicle using a vehicle image according to an embodiment of the present invention It is a drawing showing the figure.
  • the vehicle reading apparatus 10 for reading a vehicle using a vehicle image includes an image input unit 110 , an image synthesis unit 130 , and a control unit 150 . ) and a storage unit 170 .
  • the image input unit 110 may receive a plurality of vehicle images including a front image and a rear image of the vehicle.
  • the image synthesizing unit 130 may combine the front image and the rear image of the vehicle input through the image input unit 110 into one image.
  • the present invention has a process of converting a plurality of input images into a single synthesized image, thereby reducing the capacity of the image to be stored, and by using the synthesized image, it is possible to read a specific vehicle from one synthesized image. More features can be included. This is because the front image and rear image of the vehicle occupies most of the distinction between the type, year, and model of the vehicle. Thus, only two images, the front image and the rear image of the vehicle, are synthesized into one image so that the type and year of the vehicle can be determined. However, it is not limited to these two images, and it is possible to increase the accuracy by recognizing a side image for discriminating the difference in the shape of the wheel and adding an image for this by recognizing the internal difference that is input in advance after the type is distinguished. .
  • the present invention may enable more efficient and faster reading by performing vehicle reading using the synthesized image.
  • the controller 150 may read the vehicle by comparing a plurality of pre-stored images with the synthesized image synthesized by the image synthesizing unit 130 .
  • the controller 150 inputs the synthesized image synthesized by the image synthesizing unit 130 into a multilayer perceptron model, and distinguishes the vehicle image from other background parts from the synthesized image, Only images can be extracted.
  • the controller 150 may generate one or more feature part images by inputting the vehicle image extracted from the synthesized image into a deep learning-based convolutional neural network model (CNN), and the generated feature part image
  • CNN deep learning-based convolutional neural network model
  • the size of can be normalized, and the normalized feature part image can be encoded.
  • the controller 150 may compare the encoded feature part image with a plurality of pre-stored images to read that it is a specific vehicle.
  • the feature part image is a part having a characteristic that can be determined as a specific vehicle, and includes an image of at least one front component disposed on the front of the vehicle included in the front image of the vehicle and the image of the vehicle included in the rear image of the vehicle. and an image of at least one rear surface component disposed on the rear surface.
  • the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
  • the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component
  • the image of may include images of tail lights, logos, rear bumpers, and turn signals.
  • control unit 150 may include a first step of reading the vehicle by comparing the generated, normalized, and encoded first image by input to a convolutional neural network (CNN) and pre-stored images.
  • CNN convolutional neural network
  • the controller 150 compares the second image among the generated, normalized, and coded feature part images by inputting it into a convolutional neural network (CNN) among the candidate groups of the vehicle read in the first step.
  • the method may further include a second step of reading the vehicle, and among the candidate groups of the vehicle read in the second step, the generated, normalized, and encoded features by inputting into a convolutional neural network (CNN) model.
  • the method may further include a third step of reading the vehicle by comparing at least one of the partial images that have not been used until the second step with pre-stored images.
  • the controller 150 when the controller 150 fails to read that the vehicle is a specific vehicle even through the vehicle reading process of the first, second, and third steps, the controller 150 writes at least one of the images not used in the first to third steps.
  • the vehicle can be read by comparison with the stored images.
  • the reading procedure can be reduced according to the reading result.
  • the accuracy of the reading result can be increased.
  • the type and color of the vehicle may be read by comparing the synthesized image with the pre-stored image, and the vehicle may be read by comparing the read image of the type of vehicle with the headlamp image. If the vehicle cannot be read by comparing the headlight image, it can be read by comparing the additionally drawn image. If the vehicle cannot be read by comparing the image to be drawn, it can be read by comparing the image of the tail light. In this way, until a specific vehicle is identified, it is possible to determine step by step using images that have not been compared.
  • the above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
  • the controller 150 causes the image synthesizing unit to further synthesize at least one of images for a specific part of the side image of the vehicle or the interior images of the vehicle. can make it
  • the plurality of pre-stored images is an image obtained by synthesizing the front image and the rear image of the vehicle into one image, and is an image learned by inputting into a deep learning-based convolutional neural network (CNN) model.
  • CNN convolutional neural network
  • the vehicle reading apparatus 10 for reading a vehicle using a vehicle image may include a storage unit 170 .
  • the storage unit 170 is located inside the device, and may store an image required for vehicle reading.
  • the storage unit 170 may store the learned image by inputting the input image into deep learning.
  • the storage unit 170 may additionally store a confirmation target image used to read that it is a specific vehicle. By additionally storing the confirmation target image in the pre-stored image, it is possible to further increase the accuracy of the stored image of a specific vehicle.
  • FIG. 3 is a flowchart illustrating a vehicle reading method for reading a vehicle using a vehicle image according to an embodiment of the present invention.
  • the method ( S300 ) of the present invention includes an image input step ( S301 ) of receiving images including a front image and a rear image of a vehicle, and a front image and a rear image of the vehicle received through the image input step. It may include an image synthesizing step ( S303 ) of synthesizing a single image and a vehicle reading step ( S305 ) of reading a vehicle by comparing the synthesized image with a plurality of pre-stored images.
  • the image input step ( S301 ) may be a step of receiving an image including a front image and a rear image of the vehicle.
  • the image synthesizing step S303 may be a step of synthesizing the front image and the rear image of the vehicle input through the image input step S301 into one image.
  • the capacity of an image to be stored can be reduced by generating and using one synthesized image, and also, by using the synthesized image, more feature parts that can be read as a specific vehicle in one synthesized image can be included. This is because the front image and rear image of the vehicle occupies most of the distinction between the type, year, and model of the vehicle.
  • only two images, the front image and the rear image of the vehicle are synthesized into one image so that the type and year of the vehicle can be determined.
  • the present invention may enable more efficient and faster reading by performing vehicle reading using the synthesized image.
  • the vehicle reading method may further include inputting the synthesized image into a multilayer perceptron model, and extracting the vehicle image from the synthesized image. This is to extract only the vehicle image by separating the vehicle image part and other background parts from the image synthesized through the image synthesizing step S303.
  • the feature part image is a part having a characteristic that can be determined as a specific vehicle, and the image of the components disposed on the front of the vehicle included in the front image of the vehicle and the configuration disposed on the rear of the vehicle included in the rear image of the vehicle may include images of them.
  • the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
  • the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component
  • the image of may include images of tail lights, logos, rear bumpers, and turn signals.
  • the vehicle reading step S305 inputs the extracted vehicle image to a deep learning-based convolutional neural network model (CNN) to generate one or more feature partial images, and
  • CNN deep learning-based convolutional neural network model
  • the size may be normalized, the normalized feature part image may be encoded, and the encoded feature part image may be compared with a plurality of pre-stored images to read that it is a specific vehicle.
  • the feature part image is a part having a characteristic that can be determined as a specific vehicle, and the image of the components disposed on the front of the vehicle included in the front image of the vehicle and the configuration disposed on the rear of the vehicle included in the rear image of the vehicle may include images of them.
  • the feature part image may include a wheel image included in a side surface of the vehicle, a side design of the vehicle, a position and shape of a door handle, and an interior image of the interior of the vehicle.
  • the image of the front component of the vehicle includes an image of the headlight, grille, molding, logo, front bumper, fog light, turn signal, vehicle exterior image, vehicle color, side mirror position and shape, and rear component
  • the image of may include images of tail lights, logos, rear bumpers, and turn signals.
  • the vehicle reading step (S305) includes a first step of reading the vehicle by comparing the generated, normalized, and encoded first image by input to a convolutional neural network (CNN) and pre-stored images.
  • CNN convolutional neural network
  • the vehicle reading step S305 is performed by inputting to a convolutional neural network (CNN) model from among the rear groups of the vehicle read in the second step, a second of the generated, normalized, and encoded feature partial images.
  • the method may further include a third step of reading the vehicle by comparing at least one of the images not used until the step with pre-stored images.
  • the vehicle reading step ( S305 ) if the specific vehicle is not read through the vehicle reading process of the first step, the second step, and the third step, at least one of the images not used in the first step to the third step
  • the vehicle can be read by comparing it with pre-stored images.
  • the reading procedure can be reduced according to the reading result.
  • the accuracy of the reading result can be increased.
  • the type and color of the vehicle may be read by comparing the synthesized image with the pre-stored image, and the vehicle may be read by comparing the read image of the type of vehicle with the headlamp image. If the vehicle cannot be read by comparing the headlight image, it can be read by comparing the additionally drawn image. If the vehicle cannot be read by comparing the image to be drawn, it can be read by comparing the image of the tail light. In this way, until a specific vehicle is identified, it is possible to determine step by step using images that have not been compared.
  • the above example is only an example for describing the present disclosure, and the present disclosure is not limited thereto.
  • the vehicle reading step ( S305 ) if the read vehicle corresponds to the preset vehicle type, at least one of the side image of the vehicle or the images for a specific part of the inputted vehicle interior images is additionally synthesized can make it
  • the plurality of pre-stored images is an image obtained by synthesizing a front image and a rear image of a vehicle into one image, and may be an image learned by inputting into a deep learning-based convolutional neural network (CNN) model.
  • CNN deep learning-based convolutional neural network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치에 관한 것이다. 본 발명에 따른 차량판독 장치는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들이 입력되는 이미지 입력부, 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부 및 기저장된 복수의 이미지들과 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량을 판독하는 제어부를 포함할 수 있다.

Description

차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
본 발명은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 전방 및 후방 이미지를 합성한 이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법에 관한 것이다.
기존의 차량을 인식하는 방법으로, 번호판을 인식하여 차량을 인지하는 방법이 주를 이루었었고, 차량 이미지를 이용하여 차량을 판독하는 방법의 경우, 다수의 카메라를 이용하여 다각도의 촬영 영상을 획득하고, 그 촬영된 영상을 분석하여 차량을 인식하는 것들이었다.
그러나, 종래에 존재하던 기술은 번호판 정보에 대한 접근 권한이 필요하다. 차량의 번호판과 해당 번호판이 부착된 차량의 정보를 이용하여 차량을 판독하는 방법에 불과했던 것이다.
차량의 이미지를 이용하여 차량을 판독하는 방법의 경우, 다수의 카메라를 이용하여 차량에 대한 복수의 이미지를 획득하여야 했고, 이와 비교하기 위한 비교 대상 데이터가 충분히 많이 존재하여야 했다. 따라서, 데이터의 확보에 많은 시간이 필요하며, 데이터와 촬영된 이미지들을 비교하여 차량의 종류, 차량의 연식, 차량의 모델 등을 판독하려면 더 많은 시간이 필요했고, 정확도도 높지 않았다. 이는 차량의 종류마다, 같은 종류에서도 연식에 따라 미세한 외관상의 차이점이 존재하기 때문에, 정확하게 해당 차량의 종류와 연식, 모델 등을 구별하여 판독하는 것은 한동안 이미지를 통한 문자 인식이 어려웠던 것처럼 그 정확도에 한계를 가지고 있었다.
그러나, 최근에 빅데이터 분석 및 인공지능 기술 및 엔진의 발달로 인하여, 더 빠르고 정확한 차량 판독이 가능해지고 있다.
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 차량을 판독하는 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 차량을 판독하는 방법이 개시된다. 상기 차량판독 장치는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들이 입력되는 이미지 입력부, 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부 및 기저장된 복수의 이미지들과 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량을 판독하는 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화시키고, 정규화된 특징 부분 이미지를 부호화시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 차량을 판독할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 특징 부분 이미지는 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 제1 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 제2 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 제어부는 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 상기 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다.
추가적으로, 상기 차량을 판독하는 방법은 차량의 전방 이미지 및 후방 이미지를 포함하는 이미지들을 입력받는 이미지 입력단계, 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계 및 기저장된 복수의 이미지들과 합성된 이미지를 비교하여 차량을 판독하는 차량 판독단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 상기 방법은 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화시키고, 정규화된 특징 부분 이미지를 부호화시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 차량을 판독하는 단계일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 특징 부분 이미지는 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 제1 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계는 제2 단계에서 판독된 차량의 후보군들 중, 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 차량 판독단계에서, 판독된 차량의 종류가 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 복수의 차량 이미지를 사용하여 차량을 판독하는 것보다 하나의 이미지로 합성한 이미지를 사용함으로써 보다 빠르게 특정 차량임을 판독할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 딥러닝 기반의 나선 신경망 모델(Convolutional Neural Network)을 적용하여 이미지를 비교 분석함으로써 특정 차량임을 판단하는 차량 판독률을 향상 시킬 수 있다.
또한, 본 발명의 일 실시예에 의하면, 판독과정을 순차적으로 구성함으로써, 장치를 통한 이미지 판독과정을 효율적으로 이용할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기 언급된 본 발명 내용의 특징들이 상세하게, 보다 구체화된 설명으로, 이하의 실시예들을 참조하여 이해될 수 있도록, 실시예들 중 일부는 첨부되는 도면에서 도시된다. 또한, 도면과의 유사한 참조번호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하는 것으로 의도된다. 그러나 첨부된 도면들은 단지 본 발명 내용의 특정한 전형적인 실시예들만을 도시하는 것일 뿐, 본 발명의 범위를 한정하는 것으로 고려되지는 않으며, 동일한 효과를 갖는 다른 실시예들이 충분히 인식될 수 있다는 점을 유의하도록 한다.
도 1은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 일 실시예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 블록도를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 방법에 관한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 차량을 판독하는 방법을 설명한다.
도 1은 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 일 실시예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 장치의 블록도를 도시한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치(10)는 이미지 입력부(110), 이미지 합성부(130), 제어부(150) 및 저장부(170)를 포함할 수 있다.
보다 구체적으로, 이미지 입력부(110)는 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들을 입력받을 수 있다.
이미지 합성부(130)는 이미지 입력부(110)를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성할 수 있다. 본 발명은 입력된 복수개의 이미지를 하나의 합성된 이미지로 변환하는 과정을 두어, 저장하는 이미지의 용량을 줄일 수 있으며, 합성된 이미지를 이용함으로써 합성된 하나의 이미지에서 특정 차량임을 판독할 수 있는 특징 부분을 더 많이 포함되도록 할 수 있다. 이는, 차량의 종류와 연식 그리고 모델 등을 구별하는 데에 있어서 차량의 전방 이미지 및 후방 이미지가 거의 대부분을 차지하기 때문이다. 그리하여, 차량 전방 이미지와 후방 이미지, 두 개의 이미지만을 합성하여 하나의 이미지로 만들어 차량의 종류와 연식 등을 판단할 수 있도록 한 것이다. 그러나 이 두 개의 이미지에 한정되는 것은 아니고, 휠의 형태의 차이를 구별하기 위한 옆면 이미지, 종류가 구별된 이후 미리 입력되어 있는 내부의 차이를 인식하여 이에 대한 이미지를 추가함으로써 그 정확도를 높일 수 있다.
차량의 종류가 같더라도, 연식에 따라서, 그리고 옵션이나 같은 차종에서의 모델에 따라서 미세한 차이를 갖고 있다. 본 발명은 합성된 이미지를 이용하여 차량 판독을 진행함으로써 보다 효율적이고, 빠른 판독을 가능하게 할 수 있다. 더불어, 하나의 이미지에서 한번에 다양한 특징점들의 차이를 파악하여 판독의 정확도를 높일 수 있다.
보다 구체적으로, 제어부(150)는 기저장된 복수의 이미지들과 이미지 합성부(130)에서 합성한, 합성된 이미지를 비교하여 차량을 판독할 수 있다. 또한, 제어부(150)는 이미지 합성부(130)에서 합성한, 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지와 그 외의 배경 부분을 구분하여, 차량 이미지만을 추출할 수 있다.
또한, 제어부(150)는 합성된 이미지에서 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성할 수 있고, 생성한 특징 부분 이미지의 크기를 정규화 시킬 수 있으며, 정규화된 특징 부분 이미지를 부호화 시킬 수 있다. 또한, 제어부(150)는 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 특정 차량임을 판독할 수 있다.
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 제어부(150)는 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있다. 또한, 제어부(150)는 제1 단계에서 판독된 차량의 후보군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있으며, 제2 단계에서 판독된 차량의 후보군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다.
또한, 제어부(150)는 제1 단계, 제2 단계 및 제3 단계의 차량 판독과정을 통해서도 특정 차량임을 판독하지 못한 경우, 제1 단계 내지 제3 단계에서 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독할 수 있다. 차량의 판독을 특징부분 이미지를 이용하여 단계적으로 판독할 수 있게 구성하여, 판독 결과에 따라 판독 절차를 줄일 수 있다. 또한, 판독과정이 단계적으로 진행이 되면서, 판독결과의 정확성을 높일 수 있다.
예를 들어, 합성된 이미지를 기저장된 이미지와 비교하여 차량의 종류 및 색을 판독할 수 있고, 판독한 차량의 종류의 이미지와 전조등 이미지를 비교하여 차량을 판독할 수 있다. 전조등 이미지 비교를 통해 차량 판독이 안 된 경우, 추가적으로 그릴 이미지를 비교하여 판독할 수 있다. 그릴 이미지 비교를 통해 차량 판독이 안 된 경우, 후미등 이미지를 비교하여 판독을 할 수 있다. 이와 같은 방식으로, 특정 차량임이 특정 될 때까지, 비교대상이 되지 않았던 이미지를 이용하여 단계적으로 판별을 할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 제어부(150)는 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다.
또한, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지이다. 딥러닝을 이용하여 이미지를 학습시킴으로써, 정확한 이미지 확보가 가능해져서 차량 판별의 정확도를 높일 수 있다.
일 실시예에서, 차량이미지를 이용하여 차량을 판독하는 차량판독 장치(10)는 저장부(170)를 포함할 수 있다.
보다 구체적으로, 저장부(170)는 장치의 내부에 위치하고 있으며, 차량의 판독에 필요한 이미지를 저장할 수 있다. 또한, 저장부(170)는 입력된 이미지를 딥러닝에 입력하여 학습시킨 이미지를 저장할 수 있다. 또한, 저장부(170)는 특정 차량임을 판독하기 위해 사용한 확인대상 이미지를 추가적으로 저장할 수 있다. 확인대상 이미지를 기저장된 이미지에 추가적으로 저장함으로써, 특정 차량의 저장된 이미지의 정확성을 보다 높일 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량이미지를 이용하여 차량을 판독하는 차량판독 방법에 관한 순서도이다.
도 3을 참조하면, 본 발명의 방법(S300)은 차량의 전방 이미지 및 후방 이미지를 포함하는 이미지들을 입력받는 이미지 입력단계(S301), 이미지 입력단계를 통해 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계(S303) 및 기저장된 복수의 이미지들과 합성된 이미지를 비교하여 차량을 판독하는 차량 판독단계(S305)를 포함할 수 있다.
일 실시예에서, 이미지 입력단계(S301)는 차량의 전방 이미지 및 후방 이미지가 포함된 이미지를 입력받는 단계일 수 있다.
일 실시예에서, 이미지 합성단계(S303)는 이미지 입력단계(S301)를 통해 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 단계일 수 있다. 본 발명은 하나의 합성된 이미지를 생성하여 이를 이용함으로써 저장하는 이미지의 용량을 줄일 수 있으며, 또한, 합성된 이미지를 이용함으로써 합성된 하나의 이미지에서 특정 차량임을 판독할 수 있는 특징 부분을 더 많이 포함되도록 할 수 있다. 이는, 차량의 종류와 연식 그리고 모델 등을 구별하는 데에 있어서 차량의 전방 이미지 및 후방 이미지가 거의 대부분을 차지하기 때문이다. 그리하여, 차량 전방 이미지와 후방 이미지, 두 개의 이미지만을 합성하여 하나의 이미지로 만들어 차량의 종류와 연식 등을 판단할 수 있도록 한 것이다. 그러나 이 두 개의 이미지에 한정되는 것은 아니고, 휠의 형태의 차이를 구별하기 위한 옆면 이미지, 종류가 구별된 이후 미리 입력되어 있는 내부의 차이를 인식하여 이에 대한 이미지를 추가함으로써 그 정확도를 높일 수 있다.
차량의 종류가 같더라도, 연식에 따라서, 그리고 옵션이나 같은 차종에서의 모델에 따라서 미세한 차이를 갖고 있다. 본 발명은 합성된 이미지를 이용하여 차량 판독을 진행함으로써 보다 효율적이고, 빠른 판독을 가능하게 할 수 있다. 더불어, 하나의 이미지에서 한번에 다양한 특징점들의 차이를 파악하여 판독의 정확도를 높일 수 있다.
일 실시예에서, 차량 판독 방법은 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는 단계를 더 포함할 수 있다. 이는, 이미지 합성단계(S303)를 통해 합성된 이미지에서 차량 이미지 부분과 그 외 배경 부분을 구분하여, 차량 이미지만을 추출하는 것이다.
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 구성들의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 구성들의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
일 실시예에서, 차량 판독단계(S305)는 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 생성한 특징 부분 이미지의 크기를 정규화 시킬 수 있으며, 정규화된 특징 부분 이미지를 부호화 시키고, 부호화된 특징 부분 이미지를 기저장된 복수의 이미지들과 비교하여 특정 차량임을 판독하는 단계일 수 있다.
여기서, 특징 부분 이미지는 특정 차량임을 판별할 수 있는 특징이 있는 부분으로, 차량의 전방 이미지에 포함된 차량의 전면에 배치된 구성들의 이미지 및 차량의 후방 이미지에 포함된 차량의 후면에 배치된 구성들의 이미지를 포함할 수 있다. 또한, 특징 부분 이미지는 차량의 옆면에 포함된 휠 이미지, 차량의 옆면 디자인, 도어 손잡이 위치 및 모양과 차량 내부의 인테리어 이미지를 포함할 수 있다.
예를 들어, 차량의 전면 구송요소 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등, 차량 외관 이미지, 차량의 색깔, 사이드미러의 위치와 형태의 이미지를 포함하고, 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 차량 판독단계(S305)는 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제1 이미지와 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함할 수 있고, 제1 단계에서 판독된 차량의 후부군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함할 수 있다. 또한, 차량 판독단계(S305)는 제2 단계에서 판독된 차량의 후부군들 중, 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 생성되고, 정규화되고, 부호화된 특징 부분 이미지들 중 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함할 수 있다.
또한, 차량 판독단계(S305)는 제1 단계, 제2 단계 및 제3 단계의 차량 판독과정을 통해서도 특정 차량임을 판독하지 못한 경우, 제1 단계 내지 제3 단계에서 사용되지 않은 이미지들 중 적어도 하나를 기저장된 이미지들과 비교하여 차량을 판독할 수 있다. 차량의 판독을 특징부분 이미지를 이용하여 단계적으로 판독할 수 있게 구성하여, 판독 결과에 따라 판독 절차를 줄일 수 있다. 또한, 판독과정이 단계적으로 진행이 되면서, 판독결과의 정확성을 높일 수 있다.
예를 들어, 합성된 이미지를 기저장된 이미지와 비교하여 차량의 종류 및 색을 판독할 수 있고, 판독한 차량의 종류의 이미지와 전조등 이미지를 비교하여 차량을 판독할 수 있다. 전조등 이미지 비교를 통해 차량 판독이 안 된 경우, 추가적으로 그릴 이미지를 비교하여 판독할 수 있다. 그릴 이미지 비교를 통해 차량 판독이 안 된 경우, 후미등 이미지를 비교하여 판독을 할 수 있다. 이와 같은 방식으로, 특정 차량임이 특정 될 때까지, 비교대상이 되지 않았던 이미지를 이용하여 단계적으로 판별을 할 수 있다. 상기 예시는 본 개시를 설명하기 위한 예시일 뿐, 본 개시는 이에 제한되지 않는다.
또한, 차량 판독단계(S305)에서, 판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 입력된 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 할 수 있다.
또한, 기저장된 복수의 이미지들은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지일 수 있다. 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킴으로써, 비교대상의 이미지의 판독률을 향상 시킬 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.

Claims (20)

  1. 차량의 전방 이미지 및 후방 이미지를 포함하는 복수의 차량 이미지들이 입력되는 이미지 입력부;
    상기 이미지 입력부를 통해 입력된 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성부; 및
    기저장된 복수의 이미지들과 상기 이미지 합성부에서 합성한, 합성된 이미지를 비교하여 차량을 판독하는 제어부를 포함하는,
    차량판독 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는,
    차량판독 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 상기 생성한 특징 부분 이미지의 크기를 정규화시키고, 상기 정규화된 특징 부분 이미지를 부호화시키고, 상기 부호화된 특징 부분 이미지를 상기 기저장된 복수의 이미지들과 비교하여 차량을 판독하는,
    차량판독 장치.
  4. 제3항에 있어서,
    상기 특징 부분 이미지는,
    상기 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 상기 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함하는,
    차량판독 장치.
  5. 제4항에 있어서,
    상기 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 상기 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함하는,
    차량판독 장치.
  6. 제3항에 있어서,
    상기 제어부는,
    상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 상기 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함하는,
    차량판독 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제1 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함하는,
    차량판독 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 제2 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 상기 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 상기 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함하는,
    차량판독 장치.
  9. 제1항에 있어서,
    상기 기저장된 복수의 이미지들은,
    차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지인,
    차량판독 장치.
  10. 제1항에 있어서,
    상기 제어부는,
    판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 상기 이미지 합성부로 하여금, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 하는,
    차량판독 장치.
  11. 차량의 전방 이미지 및 후방 이미지를 포함하는 이미지들을 입력받는 이미지 입력단계;
    상기 입력받은 차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성하는 이미지 합성단계; 및
    기저장된 복수의 이미지들과 상기 합성된 이미지를 비교하여 차량을 판독하는 차량 판독단계를 포함하는,
    차량판독 방법.
  12. 제11항에 있어서,
    상기 방법은,
    상기 합성된 이미지를 다중층 인식망(Multilayer Perceptron) 모델에 입력하여, 합성된 이미지에서 차량 이미지를 추출하는 단계를 더 포함하는,
    차량판독 방법.
  13. 제12항에 있어서,
    상기 차량 판독단계는,
    상기 추출된 차량 이미지를 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여, 특징 부분 이미지를 하나 이상 생성하고, 상기 생성한 특징 부분 이미지의 크기를 정규화시키고, 상기 정규화된 특징 부분 이미지를 부호화시키고, 상기 부호화된 특징 부분 이미지를 상기 기저장된 복수의 이미지들과 비교하여 차량을 판독하는 단계인,
    차량판독 방법.
  14. 제13항에 있어서,
    상기 특징 부분 이미지는,
    상기 차량의 전방 이미지에 포함된 차량의 전면에 배치된 적어도 하나의 전면 구성요소의 이미지 및 상기 차량의 후방 이미지에 포함된 차량의 후면에 배치된 적어도 하나의 후면 구성요소의 이미지를 포함하는,
    차량판독 방법.
  15. 제14항에 있어서,
    상기 전면 구성요소의 이미지는 전조등, 그릴, 몰딩, 로고, 전면 범퍼, 안개등, 방향지시등의 이미지들을 포함하고, 상기 후면 구성요소의 이미지는 후미등, 로고, 후면 범퍼, 방향지시등의 이미지를 포함하는,
    차량판독 방법.
  16. 제13항에 있어서,
    상기 차량 판독단계는,
    상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제1 이미지와 상기 기저장된 이미지들을 비교하여, 차량을 판독하는 제1 단계를 포함하는,
    차량판독 방법.
  17. 제16항에 있어서,
    상기 차량 판독단계는,
    상기 제1 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 제2 이미지를 비교하여, 차량을 판독하는 제2 단계를 더 포함하는,
    차량판독 방법.
  18. 제17항에 있어서,
    상기 차량 판독단계는,
    상기 제2 단계에서 판독된 차량의 후보군들 중, 상기 생성되고, 정규화되고, 부호화된 특징부분 이미지들 중 상기 제2 단계까지 사용되지 않은 이미지들 중 적어도 하나를 상기 기저장된 이미지들과 비교하여 차량을 판독하는 제3 단계를 더 포함하는,
    차량판독 방법.
  19. 제11항에 있어서,
    상기 기저장된 복수의 이미지들은,
    차량의 전방 이미지 및 후방 이미지를 하나의 이미지로 합성한 이미지로, 딥러닝 기반의 나선 신경망 모델(CNN: Convolutional Neural Network)에 입력하여 학습시킨 이미지인,
    차량판독 방법.
  20. 제11항에 있어서,
    상기 차량 판독단계에서,
    판독된 차량이 기설정된 차량의 종류에 해당하는 경우, 차량의 측면 이미지 또는 차량의 내부 이미지들 중 특정부분에 대한 이미지들 중 적어도 하나를 추가로 합성하도록 하는,
    차량판독 장치.
PCT/KR2021/011704 2020-09-03 2021-08-31 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법 WO2022050666A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0112491 2020-09-03
KR1020200112491A KR102382583B1 (ko) 2020-09-03 2020-09-03 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법

Publications (1)

Publication Number Publication Date
WO2022050666A1 true WO2022050666A1 (ko) 2022-03-10

Family

ID=80491791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011704 WO2022050666A1 (ko) 2020-09-03 2021-08-31 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법

Country Status (2)

Country Link
KR (1) KR102382583B1 (ko)
WO (1) WO2022050666A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140093407A (ko) * 2013-01-18 2014-07-28 광주과학기술원 인식기, 차량모델인식장치 및 방법
JP2016191993A (ja) * 2015-03-30 2016-11-10 株式会社東芝 車種判別装置および車種判別方法
KR101812953B1 (ko) * 2017-06-23 2017-12-29 주식회사 디앤에스 테크놀로지 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법
KR20190143506A (ko) * 2018-06-01 2019-12-31 한화손해보험주식회사 Ai 자동 견적 장치, 방법 및 컴퓨터 프로그램
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102048240B1 (ko) 2017-09-06 2019-11-25 주식회사 씨티아이랩 데이터 이미지화를 이용한 딥러닝 기반 시스템 이상행위 분석 기술

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140093407A (ko) * 2013-01-18 2014-07-28 광주과학기술원 인식기, 차량모델인식장치 및 방법
JP2016191993A (ja) * 2015-03-30 2016-11-10 株式会社東芝 車種判別装置および車種判別方法
KR101812953B1 (ko) * 2017-06-23 2017-12-29 주식회사 디앤에스 테크놀로지 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법
KR20190143506A (ko) * 2018-06-01 2019-12-31 한화손해보험주식회사 Ai 자동 견적 장치, 방법 및 컴퓨터 프로그램
KR102097120B1 (ko) * 2018-12-31 2020-04-09 주식회사 애자일소다 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법

Also Published As

Publication number Publication date
KR102382583B1 (ko) 2022-04-04
KR20220030771A (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
WO2021002549A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정 시스템 및 방법
WO2021085848A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2020122301A1 (ko) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
WO2015056890A1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
CN111079586A (zh) 基于深度学习与双目摄像的自动驾驶目标检测系统及方法
WO2016190555A1 (ko) 선행차량 추돌 경보 장치 및 방법
WO2020256246A1 (ko) 딥러닝 기반의 자동차 부위별 파손정도 자동 판정을 위한 모델 학습 방법 및 시스템
WO2022039319A1 (ko) 개인정보 비식별화 처리 방법, 검증 방법 및 시스템
WO2020017829A1 (ko) 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
CN110276258A (zh) 一种识别车辆外观的方法及系统
CN205788226U (zh) 基于图像处理的集装箱箱号及集卡车号识别系统
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2012011715A2 (ko) 차량 충돌 경보 시스템 및 방법
WO2022050666A1 (ko) 차량이미지를 이용하여 차량을 판독하는 차량판독 장치 및 이를 이용하여 판독하는 방법
CN112129778A (zh) 基于计算机视觉的轨道列车维护检测系统
WO2021206338A1 (ko) 컨테이너 문자 인식 방법 및 장치
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
WO2021201474A1 (ko) 객체를 분류하는 레이더 장치 및 방법
WO2021118047A1 (ko) 딥러닝을 이용한 사고 영상의 사고과실 평가 방법 및 장치
WO2021242048A1 (ko) 객체의 번호판 정보를 인식하는 장치 및 방법
WO2021096030A1 (ko) 딥러닝에 기반한 이미지 객체 인식 시스템
CN205644589U (zh) 车牌分类识别装置
WO2023277219A1 (ko) 환경 변화 적응형 특징 생성기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21864626

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 07.08.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21864626

Country of ref document: EP

Kind code of ref document: A1