KR20230011078A - Vehicle identification learning data generation method and vehicle identification learning data generation system using the same - Google Patents
Vehicle identification learning data generation method and vehicle identification learning data generation system using the same Download PDFInfo
- Publication number
- KR20230011078A KR20230011078A KR1020210091664A KR20210091664A KR20230011078A KR 20230011078 A KR20230011078 A KR 20230011078A KR 1020210091664 A KR1020210091664 A KR 1020210091664A KR 20210091664 A KR20210091664 A KR 20210091664A KR 20230011078 A KR20230011078 A KR 20230011078A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- learning
- information
- learning data
- input image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000007670 refining Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 67
- 238000003702 image correction Methods 0.000 claims description 24
- 238000002372 labelling Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000000428 dust Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것으로, 보다 상세히 차량 영상을 라벨링하여 학습용 데이터를 구축하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것이다.The present invention relates to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same. It is about.
일반적으로, 객체 학습 모델에 학습되는 영상 학습 데이터를 생성하기 위해서는 일일이 사람의 수작업을 통하여 라벨이 부착된 학습용(훈련) 데이터를 생성하고 생성되는 학습용 데이터를 객체 학습 모델에 학습함으로써, 기 학습된 객체 학습 모델을 기반으로 영상 속의 객체의 속성(객체 분류 정보)을 파악하고 있다.In general, in order to generate image learning data that is learned in an object learning model, by manually creating labeled learning (training) data and learning the generated learning data in an object learning model, the pre-learned object Based on the learning model, the attributes (object classification information) of objects in the video are identified.
이때, 학습 데이터를 만들기 위한 사람의 수작업은 객체 영역 지정 및 객체 영역에 대한 라벨링 정보를 일일이 입력해야 하기 때문에 사람 간에 발생하는 다른 입력 또는 오탈자에 의하여 부정확한 정보가 입력될 수 있다. 또한, 사람에 의하여 수동으로 입력할 경우, 객체 영역이 정확히 설정되지 않아, 객체 학습 모델에 학습되는 학습 데이터의 신뢰성이 떨어지는 문제점이 있다.At this time, since a person's manual work for creating learning data requires inputting object area designation and labeling information for the object area one by one, inaccurate information may be input due to other inputs or typos occurring between people. In addition, when manually input by a person, the object area is not accurately set, so there is a problem in that the reliability of the learning data learned by the object learning model is low.
이에, 본 발명은 차량 영상 정보를 기반으로 신뢰도 높은 학습 데이터를 생성하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템을 제공하고자 한다.Accordingly, an object of the present invention is to provide a vehicle identification learning data generation method for generating highly reliable learning data based on vehicle image information and a vehicle identification learning data generation system using the same.
본 발명의 실시예의 일 측면에 따른 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템은, 차량 식별 학습 데이터 생성 시스템을 이용한 차량 식별 학습 데이터 생성 방법에 있어서, 학습 데이터 생성 장치가 복수의 촬영 영상을 수신받는 영상 획득 단계, 상기 학습 데이터 생성 장치가 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 입력 영상 추출 단계, 상기 학습 데이터 생성 장치가 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 단계, 상기 학습 데이터 생성 장치가 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 추출하는 입력 영상 정제 단계, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 데이터 보정 단계, 및 상기 학습 데이터 생성 장치가 상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 학습 영상 저장 단계를 포함한다.Vehicle identification learning data generation method and vehicle identification learning data generation system using the vehicle identification learning data generation method according to an aspect of an embodiment of the present invention, in the vehicle identification learning data generation method using the vehicle identification learning data generation system, the learning data generation device includes a plurality of An image acquisition step of receiving a captured image, an input image extraction step of extracting an input image in a predetermined speed unit from the received captured image by the learning data generating device, based on a pre-learned object learning model by the learning data generating device object detection step of detecting object information corresponding to each object included in the input image, wherein the learning data generation device classifies the input image based on the object information of the input image, and An input image refinement step of extracting a learning image to be learned by an object learning model, the learning data generation device outputting the object information included in the learning image and classification information in which the learning image is classified to a user, and the user A data correction step of correcting the object information and the classification information, and a learning image storage step of storing the learning image in which the object information and the classification information are corrected by the learning data generation device.
또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 단계, 상기 학습 데이터 생성 장치가 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하는 추적 객체 품질 판단 단계 및 상기 학습 데이터 생성 장치가 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출하는 추적 객체 추출 단계를 포함할 수 있다.In addition, in the input image refining step, the learning data generation device continuously tracks the object included in the input image, and extracts a plurality of input images in which the same object exists as a plurality of object tracking images. A tracking step, a tracking object quality determination step in which the learning data generating device determines the quality of a plurality of object tracking images including the tracked object based on a preset quality criterion, and the learning data generating device tracks a plurality of the objects. A tracking object extraction step of extracting an object tracking image having a high image quality among images as a training image of the tracked object may be included.
또한, 상기 추적 객체 추출 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 학습 영상 저장 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상을 저장할 수 있다.In addition, in the tracking object extraction step, the learning data generating device extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image, and in the learning image storing step, the The learning data generating device may store an auxiliary learning image that is a low-quality input image in which the same object of the learning image is photographed.
또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 입력 영상 분류 단계를 포함하고, 상기 입력 영상 분류 단계에서, 상기 학습 데이터 생성 장치는, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In addition, in the input image refining step, the learning data generating device determines an occlusion rate of each object included in the input image, and classifies the input image based on the determined occlusion rate. In the input image classification step, the learning data generation apparatus may determine an occlusion ratio based on an overlap ratio between object regions of the object information formed for each object.
또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 단계에서, 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체로부터 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고,상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region, which is an area for the object formed on the input image. and, in the object detection step, if the object included in the input image is a vehicle object based on the pre-learned object learning model, the learning data generation device obtains the object attribute information and the object region from the object. Detects the object information including, but the object property information includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified. The object area may include a first object area corresponding to the vehicle object and a second object area corresponding to the license plate object included in the vehicle object.
또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 단계를 포함할 수 있다.In addition, in the input image refining step, the learning data generating device extracts the input image, in which the object information is not identified, among the object information included in the input image as a sparse information image, and extracts the input image included in the sparse information image. A sparse information image extraction step of receiving the object information of an object and extracting it as the learning image may be included.
또한, 상기 입력 영상 정제 단계는, 상기 학습 데이터 생성 장치가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계를 포함할 수 있다.In addition, the input image refining step may include an image classification step for each object in which the training data generating device extracts a plurality of input images including the same object information as training images and classifies the training images according to the same object information. can
또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버를 포함하고, 상기 학습 데이터 생성 장치가 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 단계를 더 포함할 수 있다.In addition, the vehicle identification learning data generation system includes an external server for storing environment information related to a time and location at which an image was captured and providing the environment information to the learning data generation device, wherein the learning data generation device The location information and time information at which the learning video was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device. The data generating device may further include a training image correction step of correcting the training image based on the environment information corresponding to the location information and the time information of the training image.
또한, 상기 학습 영상 보정 단계에서, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.In addition, in the learning image correction step, the learning data generation device may correct the learning image by further considering the object attribute information for each of the objects included in the learning image.
본 발명의 다른 측면에 따른 차량 식별 학습 데이터 생성 시스템은, 복수의 촬영 영상을 수신받는 영상 입력 모듈, 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 영상 추출 모듈, 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 모듈, 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 선별하는 입력 영상 정제 모듈, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 사용자 인터페이스 모듈,A vehicle identification learning data generation system according to another aspect of the present invention includes an image input module for receiving a plurality of captured images, an image extraction module for extracting an input image from among the received captured images in units of preset speeds, and a pre-learned object. An object detection module that detects object information corresponding to each object included in the input image based on a learning model, classifies the input image based on the object information of the input image, and learns the object from the input image An input image refinement module that selects a learning image to be learned by the model, and the learning data generating device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user receives the object information and a user interface module for correcting the classification information.
상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 저장 모듈을 포함하는 학습 데이터 생성 장치를 포함한다.and a learning data generating device including a storage module for storing the learning image in which the object information and the classification information are corrected.
또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 모듈을 포함하고 상기 객체 추적 모듈은, 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하고, 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출할 수 있다.In addition, the input image refinement module includes an object tracking module that continuously tracks the object included in the input image and extracts a plurality of input images in which the same object exists as a plurality of object tracking images, The object tracking module determines the quality of the plurality of object tracking images including the tracked object based on a preset quality criterion, and selects an object tracking image having a high image quality from among the plurality of object tracking images. It can be extracted as a learning image.
또한, 상기 객체 추적 모듈은, 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 저장 모듈은, 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 상기 보조 학습 영상을 저장할 수 있다.In addition, the object tracking module extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image, and the storage module is configured to extract a low-quality object in which the same object of the learning image is captured. The auxiliary training image, which is an input image, may be stored.
또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 객체 영역 분류 모듈을 포함하고, 상기 객체 영역 분류 모듈은, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.The input image refinement module includes an object region classification module for determining an occlusion rate of each object included in the input image and classifying the input image based on the determined occlusion rate; The object region classification module may determine an occlusion rate based on an overlapping rate between object regions of the object information formed for each object.
또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 모듈은, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region, which is an area for the object formed on the input image. and wherein the object detection module detects the object information including the object attribute information and the object area when the object included in the input image is a vehicle object based on the pre-learned object learning model; , The object property information includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of a license plate object included in the vehicle object is classified, and the object area includes the vehicle A first object area that is an area for an object and a second object area that is an area for the license plate object included in the vehicle object may be included.
또한, 상기 입력 영상 정제 모듈은 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 모듈을 포함할 수 있다.In addition, the input image refinement module extracts the input image for which the object information is not identified among the object information included in the input image as a sparse information image, and extracts the object information of the object included in the sparse information image. It may include a sparse information image extraction module that receives an input and extracts it as the learning image.
또한, 상기 입력 영상 정제 모듈은, 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 상기 객체 정보 별로 분류하는 객체 영상 모듈을 포함할 수 있다.In addition, the input image refinement module may include an object image module for extracting a plurality of input images including the same object information as training images and classifying the training images according to the same object information.
또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버;를 포함하고, 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 모듈을 더 포함할 수 있다.In addition, the vehicle identification learning data generation system includes an external server that stores environment information related to a time and location at which an image was captured and provides the environment information to the learning data generation device, and the external server stores the environment information. The location information and time information at which the learning video was captured are transmitted, the external server provides the environment information based on the location information and the time information received by the learning data generating device, and the learning data generating device A learning image correction module for correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image may be further included.
또한, 상기 학습 영상 보정 모듈은, 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.In addition, the learning image correction module may correct the learning image by further considering the object attribute information for each of the objects included in the learning image.
제안되는 실시예에 의하면, 신뢰성 있는 라벨링 대상의 학습용 영상을 선정하여 학습시킴으로써, 적은 영상 데이터 만으로 차량의 통합 관제(모니터링, 객체 검출 및 위치 추적) 시 객체 정보 검출의 정확성을 향상시킬 수 있는 장점이 있다. According to the proposed embodiment, the advantage of improving the accuracy of object information detection during vehicle integrated control (monitoring, object detection and location tracking) with only a small amount of image data is achieved by selecting and learning a reliable learning image for labeling. there is.
도 1은 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.
도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.
도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.
도 4는, 학습 데이터 생성 장치(100)가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.
도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 차량 식별 학습 데이터 생성 시스템을 보여주는 도면이다.1 is a flowchart illustrating a method for generating vehicle identification learning data according to an embodiment of the present invention.
FIG. 2 is a flowchart showing in detail an image refinement step in the vehicle identification learning data generating method of FIG. 1 .
3 is a diagram showing a learning image extracted based on an input image in the learning data generating device.
4 is a diagram illustrating a process in which the learning
5 is a diagram showing a vehicle identification learning data generating system for performing the vehicle identification learning data generating method of FIG. 1 .
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although first, second, etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, of course, the first component mentioned below may also be the second component within the technical spirit of the present invention.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numbers designate like elements throughout the specification.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.
한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인 바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.On the other hand, the potential effects that can be expected by the technical features of the present invention that are not specifically mentioned in the specification of the present invention are treated as described in the present specification, and this embodiment is intended for those with average knowledge in the art. As it is provided to explain the present invention more completely, the contents shown in the drawings may be exaggerated compared to the actual implementation of the invention, and a detailed description of the configuration that is determined to unnecessarily obscure the subject matter of the present invention. are omitted or briefly described.
이하에서는 첨부되는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은, 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.1 is a flowchart illustrating a method of generating vehicle identification learning data according to an embodiment of the present invention.
도 1를 참조하면, 차량 식별 학습 데이터 생성 방법은 영상 획득 단계(S100), 입력 영상 추출 단계(S200), 객체 검출 단계(S300), 입력 영상 정제 단계(S400), 데이터 보정 단계(S500), 학습 영상 보정 단계(S600) 및 학습 영상 저장 단계(S700)를 포함한다.Referring to FIG. 1, the vehicle identification learning data generation method includes an image acquisition step (S100), an input image extraction step (S200), an object detection step (S300), an input image refinement step (S400), a data correction step (S500), It includes a learning image correction step (S600) and a learning image storage step (S700).
먼저, 학습 데이터 생성 장치(100)가 복수의 촬영 영상을 수신받는 영상 획득 단계(S100)가 수행된다.First, an image acquisition step (S100) of receiving a plurality of captured images by the learning
이때, 학습 데이터 생성 장치(100)는 차량을 촬영하는 촬영 장치 또는 촬영 모듈을 포함하는 사용자 디바이스로부터 차량 객체가 포함된 복수의 촬영 영상을 수신 받을 수 있다.In this case, the learning
상기 촬영 영상은 영상 학습이 가능한 일정 품질로 구성된 영상일 수 있다.The photographed image may be an image composed of a certain quality capable of image learning.
그 다음, 학습 데이터 생성 장치(100)가 수신된 촬영 영상(C) 중 기 설정된 속도 단위로 입력 영상(I)을 추출하는 입력 영상 추출 단계(S200)가 수행된다.Next, an input image extraction step ( S200 ) of extracting an input image (I) from the received captured image (C) by the learning
이때, 상기 기설정된 속도 단위는 30 fps일 수 있으며, 많은 학습 영상이 필요하거나, 다양한 시나리오별 학습 영상을 추출하기 위하여 초당 프레임별 속도가 사용자에 의해 가감이 조절될 수 있다.In this case, the preset speed unit may be 30 fps, and the speed per frame per second may be adjusted up or down by the user to extract a large number of training images or to extract training images for various scenarios.
그 다음, 학습 데이터 생성 장치(100)가 인공지능 알고리즘을 이용한 객체 학습 모델(ML)을 기반으로 입력 영상(I)에 포함된 각각의 객체의 객체 정보(O)를 검출하는 객체 검출 단계(S300)가 수행된다.Next, an object detection step in which the learning
상기 객체 학습 모델(ML)은 CNN, Faster R-CNN, R-CNN, YOLO, MASK-FCN 등과 같이 임의의 컨볼루션 신경망 알고리즘을 기초로 한 다양한 학습 모델이 사용될 수 있다.As the object learning model M L , various learning models based on arbitrary convolutional neural network algorithms such as CNN, Faster R-CNN, R-CNN, YOLO, and MASK-FCN may be used.
상세하게는, 객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)는 차량 객체의 객체 영역(OR) 및 객체 속성 정보(OA)를 검출하기 위하여 입력 영상(I)을 기 학습된 객체 학습 모델(ML)에 입력하여, 이전까지 학습되어진 인공지능 알고리즘 기반의 객체 학습 모델(ML)을 기반으로 입력 영상(I)에 포함된 객체 정보(O)를 검출할 수 있다.In detail, in the object detection step (S300), the learning
이때, 객체 정보(O)는 상기 객체 학습 모델(ML)을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보(OA) 및 입력 영상(I) 상에 형성되는 객체 영역(OR)을 포함할 수 있다.At this time, the object information (O) is the object property information (O A ) in which the attributes of the object included in the input image are classified based on the object learning model (M L ) and an object formed on the input image (I) It may include the region O R .
예시적으로, 객체 영역(OR)은 직사각형 형태의 바운딩 박스 영역으로 설정될 수 있으며, 이에 한정하지 않고 좌표계로 설정된 입력 영상(I) 상의 부분 영역일 수 있다.Illustratively, the object region 0 R may be set as a rectangular bounding box region, but is not limited thereto and may be a partial region on the input image I set as a coordinate system.
객체 검출 단계(S300)에서 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델(ML)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(OA) 및 객체 영역(OR)을 포함하는 객체 정보(O)를 검출할 수 있으나, 이때, 객체 속성 정보(OA)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(OA1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(OA2)를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역(OR1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(OR2)을 포함할 수 있다.In the object detection step (S300), the learning data generating device, based on the pre-learned object learning model (M L ), when the object included in the input image (I) is a vehicle object, object attribute information (O A ) And object information (O) including the object area (O R ) may be detected, but at this time, the object property information (O A ) includes first object property information (O A1 ) in which the property of the vehicle object is classified, and second object property information (O A2 ) of a license plate object of the vehicle object, and the object area includes a first object area (O R1 ) corresponding to the vehicle object and the license plate object included in the vehicle object It may include a second object area O R2 , which is an area for .
예시적으로, 객체 속성 정보(OA)는 판별되는 객체가 차량일 경우, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(OA1)는 차량 제조사, 차량 모델, 차량 유형, 차량 색상 및 차량 방향 중 적어도 하나의 검출된 결과일 수 있으며, 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보(OA2)는, 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나의 검출된 결과일 수 있다.Exemplarily, the object attribute information (O A ), when the object to be determined is a vehicle, the first object attribute information (O A1 ) in which the attribute of the vehicle object is classified is the vehicle manufacturer, vehicle model, vehicle type, vehicle color, and It may be a detected result of at least one of the vehicle directions, and the second object property information (O A2 ) in which the properties of the license plate object included in the vehicle object are classified is at least one of a license plate color, a license plate number, and a license plate pattern. It may be a detected result.
객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)가 상기 기 학습된 객체 학습 모델(ML)을 기반으로 입력 영상(I)의 차량 객체의 객체 정보와, 상기 차량 객체에 포함되는 번호판 객체의 객체 정보를 검출하고, 객체가 검출된 입력 영상(I)을 정제하여 학습 영상(IL)으로 추출함으로써, 차량 객체와 상기 차량 객체의 번호판 객체가 각각 독립적으로 객체 인식이 되는 경우를 방지할 수 있다.In the object detection step (S300), the learning
따라서, 차량 객체와 상기 차량 객체의 번호판 객체가 그룹화(grouping)된 학습 데이터를 기반으로 객체 학습 모델(ML)에 학습시킴으로써, 상기 차량 및 차량에 대한 번호판 정보 검출이 용이할 수 있다.Therefore, by learning the object learning model (M L ) based on learning data in which a vehicle object and a license plate object of the vehicle object are grouped, it is possible to easily detect the vehicle and license plate information about the vehicle.
그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)의 객체 정보(O)를 기반으로 입력 영상(I)의 분류하고, 입력 영상(I) 중 객체 학습 모델(ML)에 학습될 학습 영상(IL)을 추출하는 입력 영상 정제 단계(S400)가 수행된다.Next, the learning
입력 영상 정제 단계(S400)에서, 학습 데이터 생성 장치(100)가 자동적으로 입력 영상(I)의 전처리 및 입력 영상(I) 중 객체에 대한 고품질 영상을 학습 영상(IL)으로 선별하여 추출함으로써, 학습 영상(IL)이 학습될 객체 학습 모델(ML)의 객체 분류 및 객체 검출의 정확도를 강화할 수 있다.In the input image refinement step (S400), the training
그 다음, 학습 데이터 생성 장치(100)가 학습 영상(IL)에 포함되는 객체 정보(O) 및 분류된 학습 영상(IL)의 분류 정보를 사용자에게 출력하고, 상기 사용자가 객체 정보(O) 및 상기 분류 정보를 보정하는 데이터 보정 단계(S500)가 수행된다.Next, the learning
데이터 보정 단계(S500)에서, 학습 데이터 생성 장치(100)가 사용자에게 학습 영상(IL)의 객체 정보(O) 및 상기 분류 정보를 제공함으로써, 상기 사용자는 학습 영상(IL)의 기계적으로 잘못 분류된 객체 정보(O) 및 상기 분류 정보를 수정할 수 있다.In the data correction step (S500), the learning
그 다음, 학습 데이터 생성 장치(100)가 외부 서버(200)로 상기 학습 영상(IL)이 촬영된 위치 정보 및 시간 정보를 송신하고, 외부 서버(200)는 학습 데이터 생성 장치(100)에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 학습 데이터 생성 장치(100)가 학습 영상(IL)의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 학습 영상(IL)을 보정하는 학습 영상 보정 단계(S600)을 수행할 수 있다.Then, the learning
이때, 차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 상기 환경 정보를 저장하는 외부 서버(200)를 포함하여, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.At this time, the vehicle identification learning
학습 영상 보정 단계(S600)에서, 학습 데이터 생성 장치(100)가 상기 학습 영상(IL)에 포함된 각각의 상기 객체에 대한 객체 속성 정보(OA)를 더 고려하여 상기 객체의 학습 영상(IL)을 보정함으로써, 차량 객체 또는 번호판 객체마다 가지고 있는 특성에 맞게 학습 영상이 보정되어, 보다 정확한 학습 영상(IL)을 객체 학습 모델(ML)에 제공할 수 있다.In the learning image correction step (S600), the learning
그 다음, 학습 데이터 생성 장치(100)가 객체 정보(O) 및 상기 분류 정보가 보정된 복수의 학습 영상(IL)을 저장하는 학습 영상 저장 단계(S700)가 수행된다.Next, a learning image storage step ( S700 ) is performed in which the learning
학습 영상 저장 단계(S700)에서 학습 데이터 생성 장치(100)는 복수의 학습 영상(IL)을 저장하고, 학습 영상(IL)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(IAL)을 함께 저장할 수 있다.In the learning image storage step (S700), the learning
객체가 포함된 학습 영상(IL) 및 동일한 객체가 촬영된 저품질 입력 영상을 함께 저장하고, 상기 학습 영상(IL) 및 상기 저품질 입력 영상인 보조 학습 영상(IAL)을 객체 학습 모델(ML)에 학습시킴으로써, 학습 영상(IL)에 대한 객체 정보(O)의 정확도를 높일 수 있는 장점이 있다.A training image ( IL ) including an object and a low-quality input image in which the same object is photographed are stored together, and the training image ( IL ) and the auxiliary training image (I AL ), which is the low-quality input image, are stored together with the object learning model (M L ) has the advantage of increasing the accuracy of the object information (O) for the learning image ( IL ).
또한, 학습 영상 저장 단계(S700)에서 학습 영상 보정 단계(S600)를 통해 생성된 보정된 학습 영상(IL)을 추가적으로 저장함으로써, 정확한 객체 정보를 포함하는 학습 영상(IL)을 기반으로 증강된 데이터를 저장하여, 객체 학습 모델(ML)에 제공할 수 있다 In addition, by additionally storing the corrected learning image ( IL ) generated through the learning image correction step (S600) in the learning image storage step (S700), augmentation based on the learning image ( IL ) including accurate object information. Save the data and provide it to the object learning model (M L )
도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.FIG. 2 is a flowchart showing in detail an image refinement step in the vehicle identification learning data generating method of FIG. 1 .
도 2를 참조하면, 영상 정제 단계(S400)는 객체 영역 분류 단계(S410), 객체 추적 단계(S420), 추적 객체 품질 판단 단계(S430), 추적 객체 추출 단계(S440), 희소 정보 영상 추출 단계(S450) 및 객체별 영상 분류 단계(S460)를 포함한다.Referring to FIG. 2, the image refinement step (S400) includes object region classification step (S410), object tracking step (S420), tracking object quality determination step (S430), tracking object extraction step (S440), sparse information image extraction step. (S450) and an image classification step for each object (S460).
먼저, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류하는 입력 영상 분류 단계(S410)가 수행된다.First, an input image classification step (S410) in which the training
상세하게는, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 각각의 객체마다 형성되는 객체 정보(O)의 객체 영역(OR) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In detail, in the input image classification step (S410), the learning
이에 한정하지 않고, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 영상 분할 알고리즘을 기반으로 각각의 객체의 관심 영역인 객체 영역(OR)을 분할을 수행하고, 상기 분할된 객체 영역과 객체 학습 모델(ML)과의 비교 또는 객체마다 형성되는 객체 영역(OR) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.Without being limited thereto, in the input image classification step (S410), the learning
이때, 영상 분할 알고리즘은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등의 알고리즘일 수 있다.In this case, the image segmentation algorithm may be an algorithm such as semantic segmentation or instance segmentation technology.
또한, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는 판단된 상기 가려짐 비율을 기초하여 입력 영상(I)을 분류할 수 있다.Also, in the input image classification step ( S410 ), the learning
예시적으로, 학습 데이터 생성 장치(100)가 입력 영상(I) 상의 객체에 해당하는 객체 영역(OR)의 가려짐 비율이 80% 이상으로 판단될 경우, 입력 영상(I) 상의 객체는'가려진 객체'로 분류될 수 있으며, 객체 영역(OR)의 가려짐 비율이 50% 이상 및 80% 미만일 경우, 입력 영상(I) 상의 객체는'겹친 객체'로 분류할 수 있다.Exemplarily, when the learning
그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 객체 추적 영상(IT)으로 추출하는 객체 추적 단계(S420)가 수행된다.Next, the learning
이때, 객체 추적 영상(IT)은 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하여, 추적되는 상기 객체가 동일하게 존재하는 복수의 입력 영상(I)이다.In this case, the object tracking image I T is a plurality of input images I in which the object included in the input image I is continuously tracked and the tracked object exists identically.
객체 추적 단계(S420)에서, 학습 데이터 생성 장치(100)는 객체의 특징이 잘 표현된 고품질의 영상을 학습하기 위하여 시계열적으로 입력 영상(I)을 분석하여, 동일한 객체가 존재하는 입력 영상을 선별하여 객체 추적 영상(IT)들을 추출할 수 있다.In the object tracking step (S420), the learning
그 다음, 학습 데이터 생성 장치(100)가 기 설정된 품질 기준(Q)을 기반으로 추적된 객체가 포함된 복수의 객체 추적 영상(IT)의 품질을 판단하는 추적 객체 품질 판단 단계(S430)가 수행될 수 있다.Next, a tracked object quality determination step (S430) in which the learning
상세하게는, 추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)는 품질 기준(Q)에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 각각의 객체 추적 영상(IT)의 영상 품질을 분류할 수 있다.In detail, in the tracking object quality determination step (S430), the learning
이때, 품질 기준(Q)은 사용자가 기 설정한 객체 추적 영상(IT)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.In this case, the quality criterion Q may be a criterion based on at least one of the resolution and noise level (afterimage, ghost image) of the object tracking image I T previously set by the user.
학습 데이터 생성 장치(100)는 객체 추적 영상(IT)에 포함되는 객체 정보(O)의 상기 객체 영역(OR)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(IT)을 분류할 수 있으나, 이에 한정하지 않고, 객체 추적 영상(IT)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(IT)을 분류할 수 있다.The learning
추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)가 품질 기준(Q)에 기초하여 동일한 객체의 영상 품질을 결정함으로써, 학습 데이터 생성 장치(100)가 동일한 객체가 포함되는 입력 영상 중 고품질의 입력 영상(I)을 학습 영상(IL)으로 추출할 수 있다.In the tracking object quality determination step (S430), the learning
그 다음, 학습 데이터 생성 장치(100)가 객체 추적 영상(IT) 중 영상 품질이 높은 객체 추적 영상을 추적된 상기 객체의 학습 영상(IL)으로 추출하는 추적 객체 추출 단계(S440)가 수행될 수 있다.Next, a tracked object extraction step (S440) of the learning
이때, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 동일한 객체를 포함하는 입력 영상 중 적어도 하나의 영상 품질이 높은 입력 영상을 학습 영상(IL)으로 추출할 수 있다.At this time, in the step of extracting the tracking object ( S440 ), the learning
또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 사용자가 설정한 기 설정된 품질 기준(Q)에 기초하여 영상 품질이 높은 입력 영상을 학습 영상(IL)으로 추출할 수 있다.In addition, in the tracking object extraction step (S440), the learning
예시적으로, 사용자가 학습 영상(IL)으로 적절하다고 판단되는 입력 영상(I)의 품질 기준(Q)을 설정하고, 입력 영상(I) 중 상기 품질 기준(Q)의 이상을 가지는 입력 영상을 추출하여 학습 영상(IL)으로 결정할 수 있다.Exemplarily, a user sets a quality criterion (Q) of an input image (I) that is determined to be suitable as a learning image ( IL ), and an input image having more than the quality criterion (Q) among the input images (I) Can be extracted and determined as a training image ( IL ).
또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 상기 학습 영상(IL)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 입력 영상(I)을 보조 학습 영상(IAL)으로 추출할 수 있다.In addition, in the step of extracting the tracking object (S440), the learning
따라서, 상기 보조 학습 영상(IAL)을 추출된 학습 영상(IL)의 데이터를 백데이터(Backdata)로 사용함으로써, 동일한 객체가 촬영된 고품질의 학습 영상(IL)에 대한 객체 정보(O)의 검출 정확도를 높일 수 있는 장점이 있다.Therefore, by using the data of the training image ( IL ) extracted from the auxiliary training image (I AL ) as back data, object information (O ) has the advantage of increasing the detection accuracy.
그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체 정보 중 객체 정보(O)가 식별되지 않는 입력 영상(I)을 희소 정보 영상으로 추출하는 희소 정보 영상 추출 단계(S450)가 수행될 수 있다.Next, a sparse information image extraction step in which the learning
이때, 희소 정보 영상 추출 단계(S450)에서 추출된 상기 희소 정보 영상에 포함된 객체의 객체 정보(O)를 입력받아 학습 영상(IL)으로 추출할 수 있다. At this time, the object information (O) of the object included in the sparse information image extracted in the sparse information image extraction step (S450) may be input and extracted as a learning image ( IL ).
이때, 객체 정보(O)는 사용자 또는 외부 데이터베이스로부터 상기 희소 정보 영상에 대한 객체 정보(O)를 입력 받을 수 있다.At this time, the object information (O) may receive object information (O) for the sparse information image from a user or an external database.
희소 정보 영상 추출 단계(S450)에서, 학습 데이터 생성 장치(100)가 기존 객체 학습 모델(ML)에 학습되지 않았거나 또는 소량으로 학습된 희소 정보(Sparse Information)를 포함하는 입력 영상(I)을 객체 학습 모델(ML)에 학습이 필요한 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상의 객체 정보를 보강하여 학습 영상(IL)으로 추출할 수 있다.In the step of extracting the sparse information image (S450), the learning
그 다음, 학습 데이터 생성 장치(100)가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상(IL)으로 추출하고, 학습 영상(IL)을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계(S460)가 수행된다.Next, an image classification step for each object in which the learning
예시적으로, 객체별 영상 분류 단계(S460)에서 학습 데이터 생성 장치(100)가 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상을 학습 영상(IL)으로 추출할 수 있으며, 추출한 학습 영상(IL)을 동일한 객체 정보 별로 분류할 수 있다.Exemplarily, in the image classification step for each object (S460), the learning
도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.3 is a diagram showing a learning image extracted based on an input image in the learning data generating device.
도 3을 참조하면, 학습 데이터 생성 장치(100)는 입력 영상(I)의 각각의 객체에 대한 정보를 검출할 수 있다.Referring to FIG. 3 , the learning
이때, 학습 데이터 생성 장치(100)는 촬영된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상(I)을 추출하고, 입력 영상(I)을 기 학습된 객체 학습 모델(ML)에 입력하여 추출된 입력 영상(I) 상에 나타나는, 객체에 대한 속성 정보인 객체 속성 정보(OA) 및 입력 영상(I) 중 객체에 대응하는 영역인 객체 영역(OR)을 포함하는 객체 정보(O)를 검출할 수 있다.At this time, the learning
이때, 학습 데이터 생성 장치(100)는 입력 영상(I)상에 존재하는 객체의 객체 정보(O)를 기반으로 입력 영상(I) 중 상기 객체 학습 모델(ML)에 학습이 필요한 입력 영상(I)을 학습 영상(500)을 추출할 수 있다.At this time, the learning
학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체(600, 700)에 해당하는 영역 상에 객체 영역(601, 602, 701, 702)을 생성할 수 있다.The training
이때, 객체 영역(601, 602, 701, 702)은 바운딩 박스(Bounding Box)형태로 생성될 수 있으나, 이에 한정되지 않고, 인식된 객체를 학습하기 위한 다양한 형태로 생성될 수 있다.In this case, the
학습 데이터 생성 장치(100)는 학습 영상(500) 상의 객체(600, 700)가 차량 객체일 경우, 차량 객체의 영상 영역인 제1 객체 영역(601, 701) 및 제1 객체 영역(601, 701)이 생성되는 상기 차량 객체의 번호판에 대한 영상 영역인 제2 객체 영역(602, 702)을 검출하여 학습 영상(500) 상에 생성될 수 있다. 이때, 객체 영역(601, 602, 701, 702)은, 입력 영상(I)을 기 학습된 객체 학습 모델(ML)에 입력하여 생성되는 객체(600, 700)의 객체 영역이며, 입력 영상(I)이 학습이 필요한 학습 영상(500)으로 추출될 경우, 학습 데이터 생성 장치(100)는 사용자에게 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)이 생성된 학습 영상(500)을 출력하여, 상기 사용자가 학습 영상(500)상에 생성된 각각의 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)의 객체 정보(O)를 수정할 수 있다.When the
상기 사용자가 학습 데이터 생성 장치(100)가 크롭한 객체 영역(OR)인 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)을 조정함으로써, 조정된 객체 영역이 반영된 학습 영상이 객체 학습 모델(ML)에 학습되어, 객체 학습 모델(ML)의 객체 인식률을 높일 수 있는 효과가 있다.The user adjusts the first and
또한, 학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체의 객체 속성 정보(미도시)를 표시할 수 있다.Also, the learning
학습 데이터 생성 장치(100)는 상기 학습 영상(500)과 함께 출력된 상기 학습 영상(500)에 포함된 객체(600, 700)의 객체 속성 정보(차량 정보 및 번호판 정보)를 확인하고, 잘못 분류된 정보 또는 잘못 입력된 정보가 존재할 경우, 사용자가 상기 객체 속성 정보를 수정하여, 올바른 상기 객체 속성 정보가 학습 영상(500)에 포함될 수 있다.The learning
도 4는, 학습 데이터 생성 장치가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of tracking a vehicle object output on an input image by an apparatus for generating learning data.
도 4(a) 내지 도 4(c)를 참조하면, 도 4(a) 내지 도 4(c)는 학습 데이터 생성 장치(100)가 동일한 객체가 촬영된 촬영 영상을 추출하여 시계열적으로 나열한 입력 영상(I)이다.Referring to FIGS. 4(a) to 4(c), FIGS. 4(a) to 4(c) are inputs in which the learning
학습 데이터 생성 장치(100)는 연속적으로 객체를 촬영한 상기 촬영 영상 중 기 설정된 속도 단위로 제1 입력 영상(FR1), 제2 입력 영상(FR2), 제3 입력 영상(FR3)을 추출할 수 있다.The learning
학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 입력 영상(FR1, FR2, FR3)을 기반으로 객체(600)를 연속적으로 추적할 수 있다.The learning
이때, 학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 복수의 입력 영상(FR1, FR2, FR3)을 기반으로, 시계열적으로 연속되는 입력 영상(FR1, FR2, FR3)을 비교하여 객체를 추적할 수 있다.At this time, the learning
이때, 학습 데이터 생성 장치(100)는 복수의 입력 영상(FR1, FR2, FR3)을 객체 학습 모델(ML)에 입력하여, 생성되는 객체(600)가 분류 결과 값인 객체 속성 정보(미도시) 및 입력 영상에 포함되는 객체 영역(611, 621, 631, 612, 622, 632)을 포함하는 객체 정보(O)를 생성할 수 있으며, 생성된 객체 정보(O)를 기반으로 각각의 입력 영상을 비교하여 객체를 추적할 수 있다.At this time, the learning
예시적으로, 학습 데이터 생성 장치(100)는 제2 입력 영상(FR2)의 전후 영상인 제1 입력 영상(FR1)에 포함된 객체 정보(O)의 객체 영역(611, 612) 및 제3 입력 영상(FR3)에 포함된 객체 정보(O)의 객체 영역(631, 632) 중 적어도 하나를 제2 입력 영상(FR2)의 객체 정보(621, 622)를 비교하여 객체를 추적할 수 있다.Exemplarily, the learning
이에 한정하지 않고, 학습 데이터 생성 장치(100)는 객체 정보(O)를 기반으로 객체 추적 알고리즘, 칼만 필터, 템플릿 매칭, SIFT 등 알고리즘 또는 딥러닝 등의 방법을 이용하여 객체를 추적할 수 있다.Without being limited thereto, the learning
이때, 학습 데이터 생성 장치(100)는, 추적된 객체(600)의 입력 영상(FR1, FR2, FR3)을 중 기 설정된 품질 기준(Q)을 기반으로 가장 높은 품질을 가지는 입력 영상을 학습 영상(IL)으로 추출할 수 있다.At this time, the learning
예시적으로, 정차 중일 때의 차량을 촬영한 입력 영상인 제1 입력 영상(FR1), 운행중일 때의 차량을 촬영하여 객체가 흐릿하게 촬영된 입력 영상을 제2 입력 영상(FR2) 및 제3 입력 영상(FR3)이라고 할 경우, 학습 데이터 생성 장치(100)는 동일한 차량 객체(600)가 촬영된 입력 영상(FR1, FR2, FR3)에 포함된 객체(600)를 연속적으로 추적하여, 객체(600)가 가장 정확하게 촬영된 제1 입력 영상(FR1)을 학습 영상(IL)으로 추출할 수 있다.Exemplarily, the first input image FR1, which is an input image obtained by capturing the vehicle while it is stopped, and the second input image FR2 and the third input image FR2, are input images obtained by capturing the vehicle while driving and blurring the object. When referred to as the input image FR3, the learning
동일한 객체(600)가 포함된 입력 영상 중 고품질의 입력 영상을 학습 영상(IL)으로 추출하여, 객체 학습 모델(ML)에 학습시킴으로써, 상기 객체(600)와 관련된 객체 학습 모델(ML)의 학습 데이터의 경량화가 가능할 뿐만 아니라, 객체 검출이 보다 향상될 수 있다.An object learning model (M L ) related to the
도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 학습 데이터 생성 장치를 보여주는 도면이다.5 is a diagram showing a learning data generating device for performing the vehicle identification learning data generating method of FIG. 1 .
도 5을 참조하면, 차량 식별 학습 데이터 생성 시스템(10)은 학습 영상(IL)을 생성하는 학습 데이터 생성 장치(100) 및 영상이 촬영된 상기 환경 정보를 저장하는 외부 서버(200)를 포함할 수 있다.Referring to FIG. 5 , the vehicle identification learning
먼저, 학습 데이터 생성 장치(100)는 영상 입력 모듈(110), 영상 추출 모듈(120), 객체 검출 모듈(130), 입력 영상 정제 모듈(140), 사용자 인터페이스 모듈(150), 저장 모듈(160) 및 학습 영상 보정 모듈(170)을 포함할 수 있다.First, the learning
먼저, 영상 입력 모듈(110)은 촬영 장치 또는 사용자 디바이스로부터 객체가 포함된 복수의 촬영 영상을 수신받는다.First, the
이때, 사용자 디바이스는 스마트폰과 같은 촬영 모듈이 포함된 장치일 수 있으며, 통신망에 연결되어 외부로부터 수신 받은 동영상 또는 이미지를 수신 받는 장치 일 수 있다.In this case, the user device may be a device including a photographing module, such as a smart phone, or a device that is connected to a communication network and receives a video or image received from the outside.
영상 추출 모듈(120)은 동영상 또는 복수의 이미지 형태의 상기 촬영 영상 중 기설정된 속도 단위로 객체가 포함된 복수의 입력 영상(I)을 자동으로 추출할 수 있다.The
예시적으로, 상기 촬영 영상은 동영상 또는 복수의 이미지 형태의 고해상도 영상(1920X1080 Full HD) 이상의 영상이 될 수 있으며, 이에 한정하지 않고 객체 학습 모델(ML)을 기반으로 영상 학습이 가능한 해상도로 구성된 영상일 수 있다.Illustratively, the captured image may be a high-resolution image (1920X1080 Full HD) or higher in the form of a video or a plurality of images, but is not limited thereto, and is composed of a resolution capable of image learning based on an object learning model (M L ). it could be a video.
이때, 학습 영상(IL)은 정제된 입력 영상(I) 상에 존재하는 객체에 해당되는 영역에 라벨링이 수행되고, 정확한 객체 인식하기 위하여 객체 학습 모델(ML)에 입력되는 학습용 영상이다.At this time, the learning image IL is a learning image input to the object learning model M L in order to accurately recognize an object after labeling is performed on a region corresponding to an object existing on the refined input image I.
객체 검출 모듈(130)은 기 학습된 객체 학습 모델(ML)을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보(O)를 검출할 수 있다.The
상세하게는, 객체 검출 모듈(130)은 기 학습된 객체 학습 모델(ML)에 입력 영상(I)을 입력하여, 입력 영상(I) 상에 포함된 객체에 대한 객체 정보(O)를 검출할 수 있다.In detail, the
객체 검출 모듈(130)은 객체 정보(O)를 객체에 라벨링하여 표시될 수 있다. 이때, 객체 정보(O)는 입력 영상(I) 상의 상기 객체에 대한 영역인 객체 영역(OR) 및 상기 객체의 속성이 분류된 객체 속성 정보(OA)를 포함한다.The
이때, 상기 객체 검출 모듈(130)은, 상기 기 학습된 객체 학습 모델(ML)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(OA) 및 객체 영역(OR)을 포함하는 상기 객체 정보를 검출할 수 있다.At this time, the
이때, 객체 속성 정보(OA)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(OA1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(OA2)를 포함하고, 객체 영역(OR)은 상기 차량 객체에 대한 영역인 제1 객체 영역(OR1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(OR2)을 포함할 수 있다.At this time, the object property information (O A ) includes first object property information (O A1 ) in which the property of the vehicle object is classified and second object property information (O A2 ) of the license plate object of the vehicle object, and The area O R may include a first object area O R1 , which is an area for the vehicle object, and a second object area O R2 , which is an area for the license plate object included in the vehicle object.
입력 영상 정제 모듈(140)은 입력 영상(I)의 상기 객체 정보(O)를 기반으로 상기 입력 영상을 분류하고, 입력 영상(I) 중 상기 객체 학습 모델(ML)에 학습될 학습 영상(IL)을 추출할 수 있다.The input
이때, 입력 영상 정제 모듈(140)은, 객체 영역 분류 모듈(141), 객체 추적 모듈(142), 희소 정보 추출 모듈(143) 및 객체 분류 모듈(144)을 포함할 수 있다.In this case, the input
객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류할 수 있다. The object
객체 영역 분류 모듈(141)은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등 영상 분할 알고리즘을 기반으로 입력 영상(I) 내 개별 객체의 가려짐 비율을 판별할 수 있다.The object
예시적으로, 객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 상기 가려짐 비율이 제1 비율일 경우, 상기 객체를 '가려진 객체'로 분류하고, 상기 가려짐 비율이 제2 비율일 경우, 상기 객체를 '겹친 객체'로 분류할 수 있다.Exemplarily, when the occlusion ratio of an object included in the input image I is a first ratio, the object
이때, 상기 가려짐 비율은 사용자가 학습 데이터 생성 장치(100)에 기 설정한 가려짐 비율일 수 있다.In this case, the occlusion rate may be a preset occlusion rate in the learning
객체 영역 분류 모듈(141)은, 각각의 상기 객체마다 형성되는 상기 객체 정보(O)의 객체 영역(OR) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.The object
객체 영역 분류 모듈(141)이 객체의 가려짐 비율을 판단하여 객체 학습 모델(ML)에 학습하기 위한 학습 영상(IL)으로 사용함으로써, 가려짐 비율을 고려한 객체 학습이 가능하다.The object
객체 추적 모듈(142)은 시계열적으로 입력된 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 복수의 객체 추적 영상(IT)으로 추출할 수 있다.The
이때, 객체 추적 모듈(142)은 상기 객체가 동일하게 존재하는 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 품질 기준(Q)에 따라 추적된 객체가 포함된 입력 영상(I)을 선택적으로 학습 영상(IL)으로 추출할 수 있다.At this time, the
이때, 객체 추적 모듈(142)은 기 설정된 품질 기준(Q)을 기반으로 객체가 추적된 복수의 입력 영상(I)의 영상 품질을 분류하고, 분류된 상기 영상 품질을 기반으로 학습 영상(IL)을 추출할 수 있다.At this time, the
상세하게는, 객체 추적 모듈(142)은 품질 기준에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 입력 영상(I)을 분류할 수 있다.In detail, the
이때, 품질 기준(Q)은 사용자가 기 설정한 입력 영상(I)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.In this case, the quality criterion Q may be a criterion based on at least one of the resolution and noise level (afterimage, ghost image) of the input image I previously set by the user.
상세하게는, 객체 추적 모듈(142)는 입력 영상(I)에 포함된 추적 대상이 되는 객체 정보(O)의 객체 영역(OR)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있으나, 이에 한정하지 않고, 입력 영상(I)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있다.In detail, the
객체 추적 모듈(142)은 품질 기준(Q)에 기초하여 동일한 객체가 포함된 복수의 입력 영상을 분류함으로써, 동일한 객체의 영상 중 고품질의 입력 영상(을 학습 영상(IL)으로 추출할 수 있다.The
또한, 상기 학습 영상(IL)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 상기 객체 추적 영상(IT)을 보조 학습 영상(IAL)으로 추출할 수 있다.In addition, the object tracking image (IT ) of less than a preset quality criterion ( Q ) in which the same object as the learning image ( IL ) is photographed may be extracted as an auxiliary training image (I AL ).
상기 보조 학습 영상(IAL)으로 추출된 기 설정된 품질 기준(Q) 이하의 입력 영상(I)을 학습 영상(IL)의 데이터의 백데이터(Backdata)로 사용함으로써, 학습 영상(IL)의 객체 정보를 객체 학습 모델(ML)에 학습시키는데 있어서, 객체에 대한 정보를 강인하게 학습시킬 수 있다는 장점이 있다.By using the input image (I) of the predetermined quality standard (Q) or less extracted as the auxiliary training image (I AL ) as back data of the data of the training image (IL ), the training image ( IL ) In learning the object information of the object learning model (M L ), there is an advantage in that information about the object can be robustly learned.
희소 정보 추출 모듈(143)은 입력 영상(I)에 포함된 객체 정보(O) 중 식별되지 않는 입력 영상을 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상을 학습 영상(IL)으로 추출할 수 있다.The sparse
이때, 상기 희소 정보 영상은 신규 객체에 대한 정보를 포함하는 학습 영상(IL)이며, 상기 희소 정보 영상을 별도의 라벨링이 수행되도록 외부 데이터베이스 또는 신규 객체 정보에 대한 입력을 위하여 사용자에게 제공될 수 있다.In this case, the sparse information image is a learning image ( IL ) including information on a new object, and the sparse information image may be provided to a user for input of an external database or new object information so that separate labeling is performed. there is.
즉, 희소 정보 추출 모듈(143)은 상기 희소 정보 영상에 포함된 상기 객체의 객체 정보(O)를 입력 받을 수 있다.That is, the sparse
예시적으로, 희소 정보 추출 모듈(143)이 입력 영상(I) 내 포함된 차량 객체의 객체 정보(차량 정보 및 번호판 정보) 중 적어도 하나가 존재하지 않거나 또는 사용자가 설정한 기 설정된 범위 이하로 존재할 경우, 입력 영상(I)을 상기 희소 정보 영상으로 판단하고, 학습 영상(IL)으로 추출할 수 있다.Illustratively, at least one of the object information (vehicle information and license plate information) of the vehicle object included in the input image I by the sparse
이때, 차량 정보는 차량 번호판, 차량 모델, 차량 색상 및 차량 방향 중 적어도 하나일 수 있으며, 번호판 정보는 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나일 수 있다.In this case, the vehicle information may be at least one of a license plate, a vehicle model, a vehicle color, and a vehicle direction, and the license plate information may be at least one of a license plate color, a vehicle number, and a license plate pattern.
객체 분류 모듈(144)은 동일한 객체 정보(O)를 포함하는 복수의 입력 영상을 학습 영상(IL)으로 추출하고, 학습 영상(IL)을 동일한 객체 정보 별로 분류할 수 있다.The
예시적으로, 객체 분류 모듈(144)이 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상(I)을 학습 영상(IL)으로 추출하고, 객체 학습 모델(ML)에 학습시켜, 상기 촬영 영상에 포함되는 상기 객체에 대한 검출을 정확성을 높일 수 있다.Illustratively, the
사용자 인터페이스 모듈(150)은 학습 영상(IL)에 포함되는 객체 정보 및 학습 영상(IL)이 분류된 상기 분류 정보를 사용자에게 출력할 수 있다.The
이때, 사용자 인터페이스 모듈(150)은 입력 영상(I)의 객체 정보(차량 정보 및 번호판 정보)를 사용자에게 출력하여 제공함으로써, 사용자가 객체에 대한 객체 정보(객체 속성 정보(OA), 객체 영역(OR))를 보강 및 수정이 가능하며, 이를 통해 신뢰성 있는 학습 영상(IL)을 생성할 수 있다.At this time, the
상세하게는, 사용자 인터페이스 모듈(150)을 통해 객체 정보의 객체 영역(OR) 및 객체 속성 정보(OA)의 값이 표시되며, 표시되는 객체 영역(OR)을 사용자가 객체에 대한 영역에 맞게 수정하여 기계적으로 발생하는 영역의 오차를 최소화된 학습 영상(IL)을 생성할 수 있다. 또한, 객체 속성 정보(OA)를 사용자가 검토를 수행하여, 올바른 값으로 재입력이 가능함으로써 정확한 객체 정보를 포함하는 학습 영상(IL)을 생성할 수 있다.In detail, the values of the object area ( OR ) of object information and the object property information (O A ) are displayed through the
이때, 사용자가 사용자 인터페이스 모듈(150)을 통해 알맞은 객체 정보를 입력함으로써, 다양한 방향 및 환경에서 촬영되는 복수의 학습 영상(IL)을 객체 학습 모듈에 학습시켜, 학습된 객체 학습 모듈에 입력되는 상기 촬영 영상의 객체 검출 결과가 정확해질 수 있는 장점이 있다.At this time, the user inputs appropriate object information through the
또한, 사용자 인터페이스 모듈(150)은, 입력 영상 정제 모듈(140)로부터 학습 영상(IL)이 분류된 상기 분류 정보를 출력하고, 출력된 상기 분류 정보를 사용자가 확인하여 상기 분류 정보를 보정할 수 있다.In addition, the
이때, 상기 분류 정보는 객체의 가려짐 비율에 따른 분류 또는 동일한 객체 정보를 기준으로 분류된 학습 영상(IL)의 분류 정보일 수 있다.In this case, the classification information may be classification information according to the occlusion rate of the object or classification information of the training image IL classified based on the same object information.
예시적으로, 사용자 인터페이스 모듈(150)는 모니터와 같이 학습 영상(IL)에 포함된 객체 정보(O) 및 상기 분류 정보를 사용자에게 표시하고, 객체 학습 모델에 학습 영상(IL)들로 구성된 학습 데이터를 생성하기 위하여 사용자에게 키보드, 터치스크린 등 다양한 정보를 입력 또는 출력이 가능한 하나 이상의 하드웨어로 구성될 수 있다.Exemplarily, the
저장 모듈(160)은 객체 정보(O) 및 상기 분류 정보가 보정된 학습 영상을 저장할 수 있다.The
저장 모듈(160)은 보정이 완료된 복수의 학습 영상 및 보조 학습 영상으로 구성된 학습 데이터를 저장할 수 있으며, 학습 영상(IL)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(IAL)을 함께 저장할 수 있다. The
저장 모듈(160)이 상기 학습 영상(IL) 및 상기 저품질 입력 영상인 보조 학습 영상(IAL)을 저장하여, 선택적으로 학습 데이터 및 보조 학습 영상(IAL)을 객체 학습 모델(ML)에 학습시킴으로써, 객체를 포함하는 영상에 대한 객체 정보 검출의 정확도를 높일 수 있는 장점이 있다.The
차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공하는 외부 서버(200)를 포함할 수 있다.The vehicle identification learning
상세하게는, 외부 서버(200)는 학습 데이터 생성 장치(100)에 학습 영상(IL)이 촬영된 상기 위치 정보 및 상기 시간 정보를 수신 받고, 학습 데이터 생성 장치(100)에 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 제공할 수 있다.In detail, the
이때, 상기 환경 정보는 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 포함할 수 있다.In this case, the environment information may include at least one of weather information for each time information and location information, fine dust information, sunlight information, and event information.
예시적으로, 외부 서버(200)는 위치 및 시간별 기상 정보를 제공하는 기상 서버, 또는 위치별 도시 환경에 대한 정보를 포함하고 있는 별도의 데이터베이스 등 적어도 하나 이상의 서버로 구성될 수 있으며, 외부 서버(200)는 학습 데이터 생성 장치(100)가 촬영한 촬영 영상의 시간 및 위치에 따른 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.Illustratively, the
학습 데이터 생성 장치(100)는 외부 서버(200)로 학습 영상(IL)이 촬영된 위치 정보 및 시간 정보를 포함하는 메타데이터를 송신하고, 외부 서버(200)는 수신된 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신할 수 있다.The learning
이때, 학습 데이터 생성 장치(100)는 외부 서버(200)로부터 학습 영상(IL)의 상기 환경 정보를 수신 받고, 상기 환경 정보를 기반으로 학습 영상(IL)을 보정하는 학습 영상 보정 모듈(170)를 더 포함할 수 있다.At this time, the learning
학습 영상 보정 모듈(170)은 학습 영상(IL)이 촬영된 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일몰 시간 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 기반으로 학습 영상(IL)을 보정할 수 있다.The learning
상세하게는, 학습 영상 보정 모듈(170)는 수신된 상기 환경 정보를 기반으로 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(IL)을 보정할 수 있다.In detail, the training
이때, 학습 영상 보정 모듈(170)은 상기 학습 영상(IL)에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보(OA)를 더 고려하여 학습 영상(IL)을 보정할 수 있다.In this case, the learning
예시적으로, 학습 영상(IL)의 촬영된 위치 정보가 '서울시 강남구 역삼동'이고, 촬영된 시각 정보가 '18시 30분'일 때, 외부 서버(200)는 상기 위치 정보 및 시각 정보에 해당하는 날씨 정보가 '흐림', 미세먼지 정보가 '좋음', 일몰 시간 정보가 '노을짐', 일조량 정보가 '적당함', 이벤트 정보가 '없음'에 관한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신하고, 학습 데이터 생성 장치(100)의 학습 영상 보정 모듈(170)은 각각의 상기 환경 정보에 대한 파라미터 값을 이용하여 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(IL)을 보정할 수 있다.Exemplarily, when the captured location information of the learning video IL is 'Yeoksam-dong, Gangnam-gu, Seoul' and the captured time information is '18:30', the
이때, 학습 영상(IL)에 포함된 차량 객체의 객체 속성 정보의 차량 종류가 '대형 차량', 차량 색상이 '하얀색'일 경우, 학습 영상 보정 모듈(170)은 차량 종류 및 차량 색상을 기반으로 객체에 반사되는 외부 광원을 고려하여 학습 영상(IL)의 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 추가적으로 조정하여 학습 영상(IL)을 보정할 수 있다.At this time, when the vehicle type of the object attribute information of the vehicle object included in the learning image IL is 'large vehicle' and the vehicle color is 'white', the learning
이에 한정하지 않고, 학습 영상 보정 모듈(170)은 상기 객체 정보의 적어도 하나의 객체 속성 정보와 상기 환경 정보 간의 연관성을 고려하여 상기 학습 영상(IL)을 보정할 수 있다.Without being limited thereto, the learning
학습 영상 보정 모듈(170)이 학습 영상(IL)의 상기 환경 정보 및 객체 정보를 기반으로 학습 영상(IL)을 보정함으로써, 날씨, 반사광, 등 환경 조건에 왜곡되는 학습 영상(IL)을 보정할 수 있으며, 따라서 학습 영상(IL)에 포함되는 차량 객체에 대한 객체 정보(O) 및 번호판 객체에 대한 객체 정보가 정확히 식별되는 학습 영상(IL)을 생성될 수 있다.The learning
또한, 학습 영상 보정 모듈(170)이 보정을 거치지 않는 학습 영상(IL)과 더불어 상기 환경 정보 및 객체 정보(O)를 기반하여 보정된 학습 영상을 추가적으로 생성하여, 객체 학습 모델(ML)에 정확한 학습 데이터를 추가로 제공할 수 있는 효과가 있다.In addition, the learning
상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although the preferred embodiment of the present invention has been described above, the present invention is not limited thereto, and it is possible to make various modifications and practice within the scope of the claims and the detailed description of the invention and the accompanying drawings, and this is also the present invention. It is natural to fall within the scope of
S100 : 영상 획득 단계
S200 : 입력 영상 추출 단계
S300 : 객체 검출 단계
S400 : 입력 영상 정제 단계
S410 : 객체 영역 분류 단계
S420 : 객체 추적 단계
S430 : 추적 객체 품질 판단 단계
S440 : 추적 객체 추출 단계
S450 : 희소 정보 영상 추출 단계
S460 : 객체별 영상 분류 단계
S500 : 데이터 보정 단계
S600 : 학습 영상 보정 단계
S700 : 학습 영상 저장 단계
10 : 차량 식별 학습 데이터 생성 시스템
100 : 학습 데이터 생성 장치
110 : 영상 입력 모듈
120 : 영상 추출 모듈
130 : 객체 검출 모듈
140 : 입력 영상 정제 모듈
141 : 객체 영역 분류 모듈
142 : 객체 추적 모듈
143 : 희소 정보 추출 모듈
144 : 객체 분류 모듈
150 : 사용자 인터페이스 모듈
160 : 저장 모듈
170 : 학습 영상 보정 모듈
200 : 외부 서버S100: image acquisition step S200: input image extraction step
S300: object detection step S400: input image refinement step
S410: object area classification step S420: object tracking step
S430: tracking object quality determination step S440: tracking object extraction step
S450: sparse information image extraction step S460: image classification step for each object
S500: Data correction step S600: Learning image correction step
S700: learning image storage step
10: vehicle identification learning data generation system 100: learning data generation device
110: image input module 120: image extraction module
130: object detection module 140: input image refinement module
141: object area classification module 142: object tracking module
143: sparse information extraction module 144: object classification module
150: user interface module 160: storage module
170: learning image correction module 200: external server
Claims (18)
학습 데이터 생성 장치가 복수의 촬영 영상을 수신받는 영상 획득 단계;
상기 학습 데이터 생성 장치가 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 입력 영상 추출 단계;
상기 학습 데이터 생성 장치가 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 단계;
상기 학습 데이터 생성 장치가 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 추출하는 입력 영상 정제 단계;
상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 데이터 보정 단계; 및
상기 학습 데이터 생성 장치가 상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 학습 영상 저장 단계;를 포함하는 차량 식별 학습 데이터 생성 방법.
A vehicle identification learning data generation method using a vehicle identification learning data generation system including a learning data generation device,
An image acquiring step of receiving a plurality of captured images by a learning data generating device;
an input image extraction step of extracting, by the learning data generation device, an input image from the received captured image in units of a predetermined speed;
an object detection step of detecting, by the learning data generation device, object information corresponding to each object included in the input image based on a pre-learned object learning model;
an input image refinement step of classifying the input image based on the object information of the input image and extracting a learning image to be learned by the object learning model from among the input image, by the learning data generation device;
a data correction step in which the learning data generation device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user corrects the object information and the classification information; and
A learning image storage step of storing, by the learning data generating device, the learning image in which the object information and the classification information are corrected; vehicle identification learning data generation method comprising:
상기 입력 영상 정제 단계는
상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 단계;
상기 학습 데이터 생성 장치가 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하는 추적 객체 품질 판단 단계; 및
상기 학습 데이터 생성 장치가 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출하는 추적 객체 추출 단계;를 포함하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The input image refinement step is
an object tracking step of continuously tracking the object included in the input image by the learning data generation device and extracting a plurality of input images in which the same object exists as a plurality of object tracking images;
a tracking object quality determination step of determining, by the learning data generating device, the quality of the plurality of object tracking images including the tracked object based on a preset quality criterion; and
and a tracking object extraction step of extracting, by the learning data generation device, an object tracking image having a high image quality among a plurality of object tracking images as a learning image of a tracked object.
상기 추적 객체 추출 단계에서,
상기 학습 데이터 생성 장치는 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고,
상기 학습 영상 저장 단계에서,
상기 학습 데이터 생성 장치는 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상을 저장하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 방법.
According to claim 2,
In the tracking object extraction step,
The learning data generation device extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image,
In the learning image storage step,
The method of generating learning data for vehicle identification, characterized in that the learning data generating device stores an auxiliary learning image that is a low quality input image in which the same object of the learning image is photographed.
상기 입력 영상 정제 단계는
상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 입력 영상 분류 단계를 포함하고,
상기 입력 영상 분류 단계에서,
상기 학습 데이터 생성 장치는, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The input image refinement step is
An input image classification step of determining, by the learning data generation device, an occlusion rate of each object included in the input image, and classifying the input image based on the determined occlusion rate;
In the input image classification step,
Wherein the learning data generating device determines an occlusion ratio based on an overlapping ratio between object regions of the object information formed for each object.
상기 객체 정보는,
상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고,
상기 객체 검출 단계에서,
상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체로부터 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되,
상기 객체 속성 정보는,
상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고,
상기 객체 영역은,
상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The object information,
Including object attribute information in which attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region that is a region for the object formed on the input image;
In the object detection step,
If the object included in the input image is a vehicle object based on the pre-learned object learning model, the learning data generation device detects the object property information and the object information including the object region from the object; ,
The object property information,
Includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified,
The object area,
A method for generating vehicle identification learning data, comprising: a first object area corresponding to the vehicle object and a second object area corresponding to the license plate object included in the vehicle object.
상기 입력 영상 정제 단계는
상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 단계를 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The input image refinement step is
The learning data generating device extracts the input image for which the object information is not identified among the object information included in the input image as a sparse information image, and receives the object information of the object included in the sparse information image. , vehicle identification learning data generation method comprising the step of extracting the sparse information image to be extracted as the learning image.
상기 입력 영상 정제 단계는,
상기 학습 데이터 생성 장치가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계를 포함하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The step of refining the input image,
A vehicle identification learning data generation method comprising: an image classification step for each object in which the learning data generating device extracts a plurality of input images including the same object information as learning images and classifies the learning images according to the same object information.
상기 차량 식별 학습 데이터 생성 시스템은,
영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버를 포함하고,
상기 학습 데이터 생성 장치가 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 단계;를 더 포함하는 차량 식별 학습 데이터 생성 방법.
According to claim 1,
The vehicle identification learning data generation system,
An external server for storing environment information related to a time and location at which an image was captured and providing the environment information to the learning data generating device;
The learning data generating device transmits location information and time information at which the learning image was captured to the external server, and the external server transmits the environment information based on the location information and time information received by the learning data generating device. and a learning image correction step of, by the learning data generating device, correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image; vehicle identification learning data generation further comprising Way.
상기 학습 영상 보정 단계에서,
상기 학습 데이터 생성 장치가 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 방법.
According to claim 8,
In the learning image correction step,
The method of generating vehicle identification learning data, characterized in that the learning data generating device corrects the learning image by further considering the object attribute information for each of the objects included in the learning image.
수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 영상 추출 모듈,
기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 모듈,
상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 선별하는 입력 영상 정제 모듈,
상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 사용자 인터페이스 모듈,
상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 저장 모듈을 포함하는 학습 데이터 생성 장치;를 포함하는 차량 식별 학습 데이터 생성 시스템.
An image input module for receiving a plurality of captured images;
An image extraction module for extracting an input image at a predetermined speed from among the received captured images;
An object detection module for detecting object information corresponding to each object included in the input image based on a pre-learned object learning model;
An input image refinement module that classifies the input image based on the object information of the input image and selects a learning image to be learned by the object learning model from among the input image;
A user interface module in which the learning data generation device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user corrects the object information and the classification information;
A learning data generating device including a storage module for storing the learning image in which the object information and the classification information are corrected; vehicle identification learning data generating system comprising a.
상기 입력 영상 정제 모듈은,
상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 모듈을 포함하고
상기 객체 추적 모듈은,
기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하고, 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The input image refinement module,
An object tracking module for continuously tracking the object included in the input image and extracting a plurality of input images in which the same object exists as a plurality of object tracking images;
The object tracking module,
Determining the quality of a plurality of object tracking images including the tracked object based on a preset quality standard, and extracting an object tracking image having a high image quality among the plurality of object tracking images as a training image of the tracked object. Characterized by vehicle identification learning data generation system.
상기 객체 추적 모듈은,
상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고,
상기 저장 모듈은,
상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 상기 보조 학습 영상을 저장하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 11,
The object tracking module,
Extracting the object tracking image of less than a preset quality standard in which the same object as the learning image is captured as an auxiliary learning image;
The storage module,
Vehicle identification learning data generation system, characterized in that for storing the auxiliary learning image, which is a low-quality input image in which the same object of the learning image is photographed.
상기 입력 영상 정제 모듈은,
상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 객체 영역 분류 모듈을 포함하고,
상기 객체 영역 분류 모듈은,
각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The input image refinement module,
an object region classification module for determining an occlusion rate of each object included in the input image and classifying the input image based on the determined occlusion rate;
The object area classification module,
Vehicle identification learning data generation system, characterized in that for determining the occlusion ratio based on the overlap ratio between object regions of the object information formed for each object.
상기 객체 정보는,
상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고,
상기 객체 검출 모듈은,
상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되,
상기 객체 속성 정보는,
상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고,
상기 객체 영역은,
상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The object information,
Including object attribute information in which attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region that is a region for the object formed on the input image;
The object detection module,
When the object included in the input image is a vehicle object based on the pre-learned object learning model, detecting the object property information and the object information including the object region,
The object property information,
Includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified,
The object area,
The vehicle identification learning data generating system, characterized in that it comprises a first object area that is an area for the vehicle object and a second object area that is an area for the license plate object included in the vehicle object.
상기 입력 영상 정제 모듈은
상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 모듈을 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The input image refinement module
Among the object information included in the input image, the input image for which the object information is not identified is extracted as a sparse information image, the object information of the object included in the sparse information image is received, and extracted as the learning image. Vehicle identification learning data generation system, characterized in that it comprises a sparse information image extraction module.
상기 입력 영상 정제 모듈은,
동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 상기 객체 정보 별로 분류하는 객체 영상 모듈을 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The input image refinement module,
A vehicle identification learning data generation system comprising an object image module for extracting a plurality of input images including the same object information as learning images and classifying the learning images according to the same object information.
상기 차량 식별 학습 데이터 생성 시스템은,
영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버;를 포함하고,
상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 모듈을 더 포함하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.
According to claim 10,
The vehicle identification learning data generation system,
An external server for storing environment information related to the time and location at which the image was captured and providing the environment information to the learning data generating device;
The location information and time information at which the learning video was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device. The vehicle identification learning data generation system, characterized in that the data generating device further comprises a learning image correction module for correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image.
상기 학습 영상 보정 모듈은,
상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정하는 것을 특징으로 하는 차량 식별 학습 데이터 생성 시스템.According to claim 17,
The learning image correction module,
Vehicle identification learning data generation system, characterized in that for correcting the learning image by further considering the object attribute information for each of the objects included in the learning image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210091664A KR102582431B1 (en) | 2021-07-13 | 2021-07-13 | Vehicle identification learning data generation method and vehicle identification learning data generation system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210091664A KR102582431B1 (en) | 2021-07-13 | 2021-07-13 | Vehicle identification learning data generation method and vehicle identification learning data generation system using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230011078A true KR20230011078A (en) | 2023-01-20 |
KR102582431B1 KR102582431B1 (en) | 2023-09-26 |
Family
ID=85108475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210091664A KR102582431B1 (en) | 2021-07-13 | 2021-07-13 | Vehicle identification learning data generation method and vehicle identification learning data generation system using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102582431B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180073424A (en) * | 2016-12-22 | 2018-07-02 | 삼성전자주식회사 | A method and an apparatus for deep learning networks training using soft-labelling |
US20180373980A1 (en) * | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
KR102015945B1 (en) * | 2018-04-19 | 2019-08-28 | 주식회사 크라우드웍스 | Method for packaging learning images for atonomous vehicle and apparatus thereof |
KR102015947B1 (en) * | 2018-04-19 | 2019-10-21 | 주식회사 크라우드웍스 | Method for extracting image of learning object for autonomous driving and apparatus thereof |
US20190347524A1 (en) * | 2016-12-08 | 2019-11-14 | Koninklijke Philips N.V. | Learning annotation of objects in image |
-
2021
- 2021-07-13 KR KR1020210091664A patent/KR102582431B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190347524A1 (en) * | 2016-12-08 | 2019-11-14 | Koninklijke Philips N.V. | Learning annotation of objects in image |
KR20180073424A (en) * | 2016-12-22 | 2018-07-02 | 삼성전자주식회사 | A method and an apparatus for deep learning networks training using soft-labelling |
US20180373980A1 (en) * | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
KR102015945B1 (en) * | 2018-04-19 | 2019-08-28 | 주식회사 크라우드웍스 | Method for packaging learning images for atonomous vehicle and apparatus thereof |
KR102015947B1 (en) * | 2018-04-19 | 2019-10-21 | 주식회사 크라우드웍스 | Method for extracting image of learning object for autonomous driving and apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
KR102582431B1 (en) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dong et al. | Supervision-by-registration: An unsupervised approach to improve the precision of facial landmark detectors | |
CN110543867B (en) | Crowd density estimation system and method under condition of multiple cameras | |
US10699170B2 (en) | Apparatuses and methods for semantic image labeling | |
KR101179497B1 (en) | Apparatus and method for detecting face image | |
US8374393B2 (en) | Foreground object tracking | |
US8218819B2 (en) | Foreground object detection in a video surveillance system | |
CN103116896B (en) | Automatic detection tracking method based on visual saliency model | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
US8155396B2 (en) | Method, apparatus, and program for detecting faces | |
CN103578116A (en) | Apparatus and method for tracking object | |
CN111160291B (en) | Human eye detection method based on depth information and CNN | |
JP2007047965A (en) | Method and device for detecting object of digital image, and program | |
GB2609723A (en) | Exposure defects classification of images using a neural network | |
CN105404884A (en) | Image analysis method | |
CN106447701A (en) | Methods and devices for image similarity determining, object detecting and object tracking | |
TW202004667A (en) | Object tracking system and method thereof | |
CN117011563B (en) | Road damage inspection cross-domain detection method and system based on semi-supervised federal learning | |
JP6448212B2 (en) | Recognition device and recognition method | |
KR100755800B1 (en) | Face detector and detecting method using facial color and adaboost | |
Fernández-Caballero et al. | Display text segmentation after learning best-fitted OCR binarization parameters | |
KR101408344B1 (en) | Apparatus for detecting face | |
JP2011170890A (en) | Face detecting method, face detection device, and program | |
KR102582431B1 (en) | Vehicle identification learning data generation method and vehicle identification learning data generation system using the same | |
Berclaz et al. | Principled detection-by-classification from multiple views | |
JPH11306348A (en) | Method and device for object detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |