KR102582431B1

KR102582431B1 - Vehicle identification learning data generation method and vehicle identification learning data generation system using the same

Info

Publication number: KR102582431B1
Application number: KR1020210091664A
Authority: KR
Inventors: 기창민; 지문세; 문범섭
Original assignee: (주)블루컴
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2023-09-26
Also published as: KR20230011078A

Abstract

본 발명은 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것으로, 보다 상세히 차량 영상을 라벨링 하여 학습용 데이터를 구축하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것이다.
본 발명의 실시예에 학습 데이터 생성 장치를 포함하는 차량 식별 학습 데이터 생성 시스템을 이용한 차량 식별 학습 데이터 생성 방법에 있어서, 학습 데이터 생성 장치가 복수의 촬영 영상을 수신받는 영상 획득 단계, 상기 학습 데이터 생성 장치가 수신된 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 입력 영상 추출 단계, 상기 학습 데이터 생성 장치가 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 단계;상기 학습 데이터 생성 장치가 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 추출하는 입력 영상 정제 단계; 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 데이터 보정 단계, 및 상기 학습 데이터 생성 장치가 상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 학습 영상 저장 단계를 포함한다.The present invention relates to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same. In more detail, a vehicle identification learning data generation method for constructing learning data by labeling vehicle images and a vehicle identification learning data generation system using the same. It's about.
In an embodiment of the present invention, a vehicle identification learning data generating method using a vehicle identification learning data generating system including a learning data generating device, an image acquisition step of receiving a plurality of captured images by the learning data generating device, and generating the learning data. An input image extraction step in which a device extracts an input image from received captured images in a preset speed unit, and the learning data generating device selects an object corresponding to each object included in the input image based on a pre-learned object learning model. An object detection step of detecting information; The learning data generating device classifies the input image based on the object information of the input image, and input image purification to extract a learning image to be learned by the object learning model from the input image. step; A data correction step in which the learning data generating device outputs the object information included in the learning image and classification information by which the learning image is classified to the user, and the user corrects the object information and the classification information, and the learning A learning image storage step in which the data generating device stores the learning image in which the object information and the classification information have been corrected.

Description

Vehicle identification learning data generation method and vehicle identification learning data generation system using the same {VEHICLE IDENTIFICATION LEARNING DATA GENERATION METHOD AND VEHICLE IDENTIFICATION LEARNING DATA GENERATION SYSTEM USING THE SAME}

본 발명은 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것으로, 보다 상세히 차량 영상을 라벨링하여 학습용 데이터를 구축하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것이다.The present invention relates to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same. In more detail, a vehicle identification learning data generation method for constructing learning data by labeling vehicle images and a vehicle identification learning data generation system using the same. It's about.

일반적으로, 객체 학습 모델에 학습되는 영상 학습 데이터를 생성하기 위해서는 일일이 사람의 수작업을 통하여 라벨이 부착된 학습용(훈련) 데이터를 생성하고 생성되는 학습용 데이터를 객체 학습 모델에 학습함으로써, 기 학습된 객체 학습 모델을 기반으로 영상 속의 객체의 속성(객체 분류 정보)을 파악하고 있다.In general, in order to generate image learning data to be learned in an object learning model, labeled learning (training) data is created individually through human manual work, and the generated training data is trained in an object learning model to create a pre-learned object. Based on the learning model, the properties (object classification information) of objects in the video are identified.

이때, 학습 데이터를 만들기 위한 사람의 수작업은 객체 영역 지정 및 객체 영역에 대한 라벨링 정보를 일일이 입력해야 하기 때문에 사람 간에 발생하는 다른 입력 또는 오탈자에 의하여 부정확한 정보가 입력될 수 있다. 또한, 사람에 의하여 수동으로 입력할 경우, 객체 영역이 정확히 설정되지 않아, 객체 학습 모델에 학습되는 학습 데이터의 신뢰성이 떨어지는 문제점이 있다.At this time, since human manual work to create learning data requires specifying object areas and entering labeling information for object areas one by one, inaccurate information may be entered due to different inputs or typos that occur between people. Additionally, when manually input by a person, the object area is not set accurately, which reduces the reliability of the learning data learned by the object learning model.

이에, 본 발명은 차량 영상 정보를 기반으로 신뢰도 높은 학습 데이터를 생성하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템을 제공하고자 한다.Accordingly, the present invention seeks to provide a vehicle identification learning data generation method for generating highly reliable learning data based on vehicle image information and a vehicle identification learning data generation system using the same.

본 발명의 실시예의 일 측면에 따른 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템은, 차량 식별 학습 데이터 생성 시스템을 이용한 차량 식별 학습 데이터 생성 방법에 있어서, 학습 데이터 생성 장치가 복수의 촬영 영상을 수신받는 영상 획득 단계, 상기 학습 데이터 생성 장치가 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 입력 영상 추출 단계, 상기 학습 데이터 생성 장치가 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 단계, 상기 학습 데이터 생성 장치가 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 추출하는 입력 영상 정제 단계, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 데이터 보정 단계, 및 상기 학습 데이터 생성 장치가 상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 학습 영상 저장 단계를 포함한다.A method of generating vehicle identification learning data and a vehicle identification learning data generating system using the same according to an aspect of an embodiment of the present invention include a method of generating vehicle identification learning data using a vehicle identification learning data generating system, wherein the learning data generating device includes a plurality of An image acquisition step of receiving a captured image, an input image extraction step of the learning data generating device extracting an input image from the received captured images in a preset speed unit, and the learning data generating device based on a pre-learned object learning model. an object detection step of detecting object information corresponding to each object included in the input image, the learning data generating device classifies the input image based on the object information of the input image, and An input image purification step of extracting a learning image to be learned in an object learning model, the learning data generating device outputs the object information included in the learning image and classification information by which the learning image is classified to the user, and the user It includes a data correction step of correcting the object information and the classification information, and a learning image storage step of the learning data generating device storing the learning image with the object information and the classification information corrected.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 단계, 상기 학습 데이터 생성 장치가 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하는 추적 객체 품질 판단 단계 및 상기 학습 데이터 생성 장치가 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출하는 추적 객체 추출 단계를 포함할 수 있다.In addition, in the input image purification step, the learning data generating device continuously tracks the object included in the input image, and extracts a plurality of input images in which the object is identically present into a plurality of object tracking images. A tracking step, a tracking object quality determination step in which the learning data generating device determines the quality of the plurality of object tracking images including tracked objects based on a preset quality standard, and the learning data generating device tracks the plurality of objects. It may include a tracking object extraction step of extracting an object tracking image with high image quality from among the images as a training image of the tracked object.

또한, 상기 추적 객체 추출 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 학습 영상 저장 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상을 저장할 수 있다.In addition, in the tracking object extraction step, the learning data generating device extracts the object tracking image below a preset quality standard in which the same object as the learning image is captured as an auxiliary learning image, and in the learning image storage step, The learning data generating device may store an auxiliary learning image that is a low-quality input image in which the same object in the learning image is captured.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 입력 영상 분류 단계를 포함하고, 상기 입력 영상 분류 단계에서, 상기 학습 데이터 생성 장치는, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In addition, the input image purification step is an input image classification in which the learning data generating device determines the occlusion ratio of each object included in the input image and classifies the input image based on the determined occlusion ratio. It may include a step, and in the input image classification step, the learning data generating device may determine an occlusion ratio based on an overlap ratio between object areas of the object information formed for each object.

또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 단계에서, 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체로부터 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고,상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the properties of the object included in the input image are classified based on the previously learned object learning model, and an object area that is an area for the object formed on the input image. Including, in the object detection step, when the object included in the input image is a vehicle object, the learning data generating device generates the object attribute information and the object area from the object based on the pre-learned object learning model. Detecting the object information including, wherein the object attribute information includes first object attribute information in which attributes of the vehicle object are classified and second object attribute information in which attributes of a license plate object included in the vehicle object are classified. And, the object area may include a first object area that is an area for the vehicle object and a second object area that is an area for the license plate object included in the vehicle object.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 단계를 포함할 수 있다.In addition, in the input image purification step, the learning data generating device extracts the input image in which the object information is not identified among the object information included in the input image as a rare information image, and It may include a rare information image extraction step of receiving the object information of an object and extracting it as the learning image.

또한, 상기 입력 영상 정제 단계는, 상기 학습 데이터 생성 장치가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계를 포함할 수 있다.In addition, the input image purification step may include an object-specific image classification step in which the learning data generating device extracts a plurality of input images containing the same object information as learning images and classifies the learning images according to the same object information. You can.

또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버를 포함하고, 상기 학습 데이터 생성 장치가 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 단계를 더 포함할 수 있다.In addition, the vehicle identification learning data generating system includes an external server that stores environmental information related to the time and location at which the image was captured and provides the environmental information to the learning data generating device, and the learning data generating device The location information and time information at which the learning image was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device, and the learning image is captured. The data generating device may further include a learning image correction step of correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image.

또한, 상기 학습 영상 보정 단계에서, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.Additionally, in the learning image correction step, the learning data generating device may correct the learning image by further considering the object attribute information for each object included in the learning image.

본 발명의 다른 측면에 따른 차량 식별 학습 데이터 생성 시스템은, 복수의 촬영 영상을 수신받는 영상 입력 모듈, 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 영상 추출 모듈, 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 모듈, 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 선별하는 입력 영상 정제 모듈, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 사용자 인터페이스 모듈,A vehicle identification learning data generation system according to another aspect of the present invention includes an image input module that receives a plurality of captured images, an image extraction module that extracts an input image in a preset speed unit among the received captured images, and a previously learned object. An object detection module that detects object information corresponding to each object included in the input image based on a learning model, classifies the input image based on the object information in the input image, and learns the object among the input images. An input image purification module that selects a training image to be learned in a model, the learning data generating device outputs the object information included in the learning image and classification information by which the learning image is classified to the user, and the user provides the object information and a user interface module that corrects the classification information,

상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 저장 모듈을 포함하는 학습 데이터 생성 장치를 포함한다.and a learning data generating device including a storage module for storing the learning image in which the object information and the classification information have been corrected.

또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 모듈을 포함하고 상기 객체 추적 모듈은, 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하고, 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출할 수 있다.In addition, the input image refinement module includes an object tracking module that continuously tracks the object included in the input image and extracts a plurality of input images in which the same object exists into a plurality of object tracking images, The object tracking module determines the quality of the plurality of object tracking images including the tracked object based on a preset quality standard, and selects an object tracking image with a high image quality among the plurality of object tracking images as the tracked object. It can be extracted as a training video.

또한, 상기 객체 추적 모듈은, 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 저장 모듈은, 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 상기 보조 학습 영상을 저장할 수 있다.In addition, the object tracking module extracts the object tracking image below a preset quality standard in which the same object as the learning image was captured as an auxiliary learning image, and the storage module extracts the object tracking image in which the same object as the learning image was captured as an auxiliary learning image. The auxiliary learning image, which is an input image, can be stored.

또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 객체 영역 분류 모듈을 포함하고, 상기 객체 영역 분류 모듈은, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In addition, the input image purification module includes an object area classification module that determines an occlusion ratio of each object included in the input image and classifies the input image based on the determined occlusion ratio, The object area classification module may determine an occlusion ratio based on an overlap ratio between object areas of the object information formed for each object.

또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 모듈은, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the properties of the object included in the input image are classified based on the previously learned object learning model, and an object area that is an area for the object formed on the input image. And wherein the object detection module detects the object information including the object attribute information and the object area when the object included in the input image is a vehicle object based on the pre-learned object learning model, , the object attribute information includes first object attribute information in which the attributes of the vehicle object are classified and second object attribute information in which the attributes of the license plate object included in the vehicle object are classified, and the object area is the vehicle It may include a first object area, which is an area for objects, and a second object area, which is an area for the license plate object included in the vehicle object.

또한, 상기 입력 영상 정제 모듈은 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 모듈을 포함할 수 있다.In addition, the input image purification module extracts the input image in which the object information is not identified among the object information included in the input image as a rare information image, and extracts the object information of the object included in the sparse information image. It may include a rare information image extraction module that receives input and extracts it as the learning image.

또한, 상기 입력 영상 정제 모듈은, 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 상기 객체 정보 별로 분류하는 객체 영상 모듈을 포함할 수 있다.Additionally, the input image purification module may include an object image module that extracts a plurality of input images containing the same object information into training images and classifies the training images according to the same object information.

또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버;를 포함하고, 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 모듈을 더 포함할 수 있다.In addition, the vehicle identification learning data generation system includes an external server that stores environmental information related to the time and location at which the image was captured, and provides the environmental information to the learning data generating device, and the external server Transmits location information and time information at which the learning image was captured, the external server provides the environment information based on the location information and the time information received by the learning data generating device, and the learning data generating device It may further include a learning image correction module that corrects the learning image based on the environment information corresponding to the location information and the time information of the learning image.

또한, 상기 학습 영상 보정 모듈은, 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.Additionally, the learning image correction module may correct the learning image by further considering the object attribute information for each object included in the learning image.

제안되는 실시예에 의하면, 신뢰성 있는 라벨링 대상의 학습용 영상을 선정하여 학습시킴으로써, 적은 영상 데이터 만으로 차량의 통합 관제(모니터링, 객체 검출 및 위치 추적) 시 객체 정보 검출의 정확성을 향상시킬 수 있는 장점이 있다. According to the proposed embodiment, there is an advantage of improving the accuracy of object information detection during integrated vehicle control (monitoring, object detection, and location tracking) with only a small amount of image data by selecting and learning training images of reliable labeling targets. there is.

도 1은 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.
도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.
도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.
도 4는, 학습 데이터 생성 장치(100)가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.
도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 차량 식별 학습 데이터 생성 시스템을 보여주는 도면이다.1 is a flowchart showing a method of generating vehicle identification learning data according to an embodiment of the present invention.
FIG. 2 is a flowchart showing in detail the image purification step in the vehicle identification learning data generation method of FIG. 1.
Figure 3 is a diagram showing a learning image extracted based on an input image in a learning data generating device.
FIG. 4 is a diagram illustrating a process in which the learning data generating device 100 tracks a vehicle object output on an input image.
FIG. 5 is a diagram showing a vehicle identification learning data generation system for performing the vehicle identification learning data generation method of FIG. 1.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms, but the present embodiments only serve to ensure that the disclosure of the present invention is complete and are within the scope of common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although first, second, etc. are used to describe various components, these components are of course not limited by these terms. These terms are merely used to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may also be a second component within the technical spirit of the present invention.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or fully combined or combined with each other, and as can be fully understood by those skilled in the art, various technical interconnections and operations are possible, and each embodiment may be implemented independently of each other. It may be possible to conduct them together due to a related relationship.

한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인 바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.Meanwhile, potential effects that can be expected from technical features of the present invention that are not specifically mentioned in the specification of the present invention are treated as if described in the specification, and this embodiment is intended for those with average knowledge in the art. As provided to more completely explain the present invention, the content shown in the drawings may be exaggerated compared to the actual implementation of the invention, and a detailed description of the configuration that is judged to unnecessarily obscure the gist of the present invention. is omitted or briefly described.

이하에서는 첨부되는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은, 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.1 is a flowchart showing a method of generating vehicle identification learning data according to an embodiment of the present invention.

도 1를 참조하면, 차량 식별 학습 데이터 생성 방법은 영상 획득 단계(S100), 입력 영상 추출 단계(S200), 객체 검출 단계(S300), 입력 영상 정제 단계(S400), 데이터 보정 단계(S500), 학습 영상 보정 단계(S600) 및 학습 영상 저장 단계(S700)를 포함한다.Referring to Figure 1, the vehicle identification learning data generation method includes an image acquisition step (S100), an input image extraction step (S200), an object detection step (S300), an input image purification step (S400), a data correction step (S500), It includes a learning image correction step (S600) and a learning image storage step (S700).

먼저, 학습 데이터 생성 장치(100)가 복수의 촬영 영상을 수신받는 영상 획득 단계(S100)가 수행된다.First, an image acquisition step (S100) in which the learning data generating device 100 receives a plurality of captured images is performed.

이때, 학습 데이터 생성 장치(100)는 차량을 촬영하는 촬영 장치 또는 촬영 모듈을 포함하는 사용자 디바이스로부터 차량 객체가 포함된 복수의 촬영 영상을 수신 받을 수 있다.At this time, the learning data generating device 100 may receive a plurality of captured images including vehicle objects from a user device including a photographing device or a photographing module for photographing a vehicle.

상기 촬영 영상은 영상 학습이 가능한 일정 품질로 구성된 영상일 수 있다.The captured image may be an image composed of a certain quality capable of image learning.

그 다음, 학습 데이터 생성 장치(100)가 수신된 촬영 영상(C) 중 기 설정된 속도 단위로 입력 영상(I)을 추출하는 입력 영상 추출 단계(S200)가 수행된다.Next, an input image extraction step (S200) is performed in which the learning data generating device 100 extracts an input image (I) from the received captured images (C) in a preset speed unit.

이때, 상기 기설정된 속도 단위는 30 fps일 수 있으며, 많은 학습 영상이 필요하거나, 다양한 시나리오별 학습 영상을 추출하기 위하여 초당 프레임별 속도가 사용자에 의해 가감이 조절될 수 있다.At this time, the preset speed unit may be 30 fps, and when a large number of training images are needed, the speed for each frame per second may be adjusted by the user in order to extract training images for various scenarios.

그 다음, 학습 데이터 생성 장치(100)가 인공지능 알고리즘을 이용한 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 각각의 객체의 객체 정보(O)를 검출하는 객체 검출 단계(S300)가 수행된다.Next, an _object detection step ( S300) is performed.

상기 객체 학습 모델(M_L)은 CNN, Faster R-CNN, R-CNN, YOLO, MASK-FCN 등과 같이 임의의 컨볼루션 신경망 알고리즘을 기초로 한 다양한 학습 모델이 사용될 수 있다.The object learning model ( _ML ) may be a variety of learning models based on any convolutional neural network algorithm, such as CNN, Faster R-CNN, R-CNN, YOLO, MASK-FCN, etc.

상세하게는, 객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)는 차량 객체의 객체 영역(O_R) 및 객체 속성 정보(O_A)를 검출하기 위하여 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여, 이전까지 학습되어진 인공지능 알고리즘 기반의 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 객체 정보(O)를 검출할 수 있다.Specifically, in the object detection step (S300), the learning data generating device 100 converts the input image (I) into a previously learned object in order to detect the object area (O _R ) and object attribute information (O _A ) of the vehicle object. By inputting it into the learning model ( _ML ), object information (O) included in the input image (I) can be detected based on the previously learned object learning model ( _ML ) based on an artificial intelligence algorithm.

이때, 객체 정보(O)는 상기 객체 학습 모델(M_L)을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보(O_A) 및 입력 영상(I) 상에 형성되는 객체 영역(O_R)을 포함할 수 있다.At this time, the object information (O) is object attribute information (O _A ) in which the properties of the object included in the input image are classified based on the object learning model (M _L ), and the object formed on the input image (I) It may include an area (O _R ).

예시적으로, 객체 영역(O_R)은 직사각형 형태의 바운딩 박스 영역으로 설정될 수 있으며, 이에 한정하지 않고 좌표계로 설정된 입력 영상(I) 상의 부분 영역일 수 있다.By way of example, the object area O _R may be set as a rectangular bounding box area, but is not limited to this and may be a partial area on the input image I set as a coordinate system.

객체 검출 단계(S300)에서 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(O_A) 및 객체 영역(O_R)을 포함하는 객체 정보(O)를 검출할 수 있으나, 이때, 객체 속성 정보(O_A)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(O_A2)를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역(O_R1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(O_R2)을 포함할 수 있다.In the object detection step (S300), if the object included in the input image (I) is a vehicle object, the learning data generating device generates object attribute information (O _A ) based on the pre-learned object learning model ( _ML ). And object information (O) including the object area (O _R ) can be detected, but at this time, the object attribute information (O _A ) includes first object attribute information (O _A1 ) in which the attributes of the vehicle object are classified, and It includes second object attribute information (O _A2 ) of the license plate object of the vehicle object, and the object area includes a first object area (O _R1 ) that is an area for the vehicle object and the license plate object included in the vehicle object. It may include a second object area (O _R2 ), which is an area for .

예시적으로, 객체 속성 정보(O_A)는 판별되는 객체가 차량일 경우, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1)는 차량 제조사, 차량 모델, 차량 유형, 차량 색상 및 차량 방향 중 적어도 하나의 검출된 결과일 수 있으며, 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보(O_A2)는, 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나의 검출된 결과일 수 있다.Illustratively, when the object to be determined is a vehicle, the object attribute information (O _A1 ) includes the vehicle manufacturer, vehicle model, vehicle type, vehicle color _, and It may be a detected result of at least one of the vehicle directions, and the second object attribute information (O _A2 ) in which the properties of the license plate object included in the vehicle object are classified is at least one of license plate color, vehicle number, and vehicle license plate pattern. This may be a detected result.

객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)가 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)의 차량 객체의 객체 정보와, 상기 차량 객체에 포함되는 번호판 객체의 객체 정보를 검출하고, 객체가 검출된 입력 영상(I)을 정제하여 학습 영상(I_L)으로 추출함으로써, 차량 객체와 상기 차량 객체의 번호판 객체가 각각 독립적으로 객체 인식이 되는 경우를 방지할 수 있다.In the object detection step (S300), the learning data generating device 100 generates object information of the vehicle object of the input image (I) based on the previously learned object learning model (M _L ), and a license plate object included in the vehicle object. By detecting object information, refining the input image (I) in which the object is detected, and extracting it as a learning image (I _L ), the case where the vehicle object and the license plate object of the vehicle object are recognized independently can be prevented. You can.

따라서, 차량 객체와 상기 차량 객체의 번호판 객체가 그룹화(grouping)된 학습 데이터를 기반으로 객체 학습 모델(M_L)에 학습시킴으로써, 상기 차량 및 차량에 대한 번호판 정보 검출이 용이할 수 있다.Accordingly, by learning the object learning model (M _L ) based on learning data in which vehicle objects and their license plate objects are grouped, detection of the vehicle and license plate information for the vehicle can be facilitated.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)의 객체 정보(O)를 기반으로 입력 영상(I)의 분류하고, 입력 영상(I) 중 객체 학습 모델(M_L)에 학습될 학습 영상(I_L)을 추출하는 입력 영상 정제 단계(S400)가 수행된다.Next, the learning data generating device 100 classifies the input image (I) based on the object information (O) of the input image (I) and learns the object learning model ( _ML ) from the input image (I). An input image refinement step (S400) is performed to extract the training image (I _L ).

입력 영상 정제 단계(S400)에서, 학습 데이터 생성 장치(100)가 자동적으로 입력 영상(I)의 전처리 및 입력 영상(I) 중 객체에 대한 고품질 영상을 학습 영상(I_L)으로 선별하여 추출함으로써, 학습 영상(I_L)이 학습될 객체 학습 모델(M_L)의 객체 분류 및 객체 검출의 정확도를 강화할 수 있다.In the input image purification step (S400), the learning data generating device 100 automatically preprocesses the input image (I) and selects and extracts high-quality images of objects from the input image (I) as the learning image (I _L ). , the accuracy of object classification and object detection of the object learning model (M _L ) to be learned from the learning image (I _L ) can be strengthened.

그 다음, 학습 데이터 생성 장치(100)가 학습 영상(I_L)에 포함되는 객체 정보(O) 및 분류된 학습 영상(I_L)의 분류 정보를 사용자에게 출력하고, 상기 사용자가 객체 정보(O) 및 상기 분류 정보를 보정하는 데이터 보정 단계(S500)가 수행된다.Next, the learning data generating device 100 outputs object information (O) included in the learning image (I _L ) and classification information of the classified learning image (I _L ) to the user, and the user outputs the object information (O ) and a data correction step (S500) to correct the classification information is performed.

데이터 보정 단계(S500)에서, 학습 데이터 생성 장치(100)가 사용자에게 학습 영상(I_L)의 객체 정보(O) 및 상기 분류 정보를 제공함으로써, 상기 사용자는 학습 영상(I_L)의 기계적으로 잘못 분류된 객체 정보(O) 및 상기 분류 정보를 수정할 수 있다.In the data correction step (S500), the learning data generating device 100 _provides the object information (O) and the classification information of the learning image (I _L ) to the user, so that the user can mechanically Incorrectly classified object information (O) and the classification information can be corrected.

그 다음, 학습 데이터 생성 장치(100)가 외부 서버(200)로 상기 학습 영상(I_L)이 촬영된 위치 정보 및 시간 정보를 송신하고, 외부 서버(200)는 학습 데이터 생성 장치(100)에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 학습 데이터 생성 장치(100)가 학습 영상(I_L)의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 학습 영상(I_L)을 보정하는 학습 영상 보정 단계(S600)을 수행할 수 있다.Next, the learning data generating device 100 transmits the location information and time information at which the learning image ( _IL ) was captured to the external server 200, and the external server 200 sends the learning data generating device 100 to the learning data generating device 100. The environment information is provided based on the received location information and the time information, and the learning data generating device 100 provides the environment information corresponding to the location information and the time information of the learning image ( _IL ). A learning image correction step (S600) of correcting the learning image ( _IL ) may be performed.

이때, 차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 상기 환경 정보를 저장하는 외부 서버(200)를 포함하여, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.At this time, the vehicle identification learning data generation system 10 includes an external server 200 that stores the environmental information related to the time and location at which the image was captured, and provides the environmental information to the learning data generating device 100. You can.

학습 영상 보정 단계(S600)에서, 학습 데이터 생성 장치(100)가 상기 학습 영상(I_L)에 포함된 각각의 상기 객체에 대한 객체 속성 정보(O_A)를 더 고려하여 상기 객체의 학습 영상(I_L)을 보정함으로써, 차량 객체 또는 번호판 객체마다 가지고 있는 특성에 맞게 학습 영상이 보정되어, 보다 정확한 학습 영상(I_L)을 객체 학습 모델(M_L)에 제공할 수 있다.In the learning image correction step (S600), the learning data generating device 100 further considers the object attribute information (O _A ) for each object included in the learning image (I _L ) and the learning image (O A) of the object ( By correcting _IL ), the learning image is corrected to suit the characteristics of each vehicle object or license plate object, and a more accurate learning image (I _L ) can be provided to the object learning model ( _ML ).

그 다음, 학습 데이터 생성 장치(100)가 객체 정보(O) 및 상기 분류 정보가 보정된 복수의 학습 영상(I_L)을 저장하는 학습 영상 저장 단계(S700)가 수행된다.Next, a learning image storage step (S700) is performed in which the learning data generating device 100 stores object information (O) and a plurality of learning images ( _IL ) in which the classification information has been corrected.

학습 영상 저장 단계(S700)에서 학습 데이터 생성 장치(100)는 복수의 학습 영상(I_L)을 저장하고, 학습 영상(I_L)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(I_AL)을 함께 저장할 수 있다.In the learning image storage step (S700), the learning data generating device 100 stores a plurality of learning images (I _L ) and an auxiliary learning image (I _AL ), which is a low-quality input image in which the same object of the learning image (I _L ) is captured. ) can be saved together.

객체가 포함된 학습 영상(I_L) 및 동일한 객체가 촬영된 저품질 입력 영상을 함께 저장하고, 상기 학습 영상(I_L) 및 상기 저품질 입력 영상인 보조 학습 영상(I_AL)을 객체 학습 모델(M_L)에 학습시킴으로써, 학습 영상(I_L)에 대한 객체 정보(O)의 정확도를 높일 수 있는 장점이 있다.A training image (I _L ) containing an object and a low-quality input image in which the same object is captured are stored together, and the learning image (I _L ) and the auxiliary learning image (I _AL ), which is the low-quality input image, are used to create an object learning model (M There is an advantage in that the accuracy of object information (O) for the learning image (I _L ) can be increased by learning on _L ).

또한, 학습 영상 저장 단계(S700)에서 학습 영상 보정 단계(S600)를 통해 생성된 보정된 학습 영상(I_L)을 추가적으로 저장함으로써, 정확한 객체 정보를 포함하는 학습 영상(I_L)을 기반으로 증강된 데이터를 저장하여, 객체 학습 모델(M_L)에 제공할 수 있다 In addition, by additionally storing the corrected learning image (I _L ) generated through the learning image correction step (S600) in the learning image storage step (S700), the augmentation is based on the learning image (I _L ) containing accurate object information. The data can be saved and provided to the object learning model (M _L ).

도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.FIG. 2 is a flowchart showing in detail the image purification step in the vehicle identification learning data generation method of FIG. 1.

도 2를 참조하면, 영상 정제 단계(S400)는 객체 영역 분류 단계(S410), 객체 추적 단계(S420), 추적 객체 품질 판단 단계(S430), 추적 객체 추출 단계(S440), 희소 정보 영상 추출 단계(S450) 및 객체별 영상 분류 단계(S460)를 포함한다.Referring to Figure 2, the image purification step (S400) includes an object area classification step (S410), an object tracking step (S420), a tracking object quality determination step (S430), a tracking object extraction step (S440), and a sparse information image extraction step. (S450) and an image classification step for each object (S460).

먼저, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류하는 입력 영상 분류 단계(S410)가 수행된다.First, an input image classification step (S410) in which the learning data generating device 100 determines the occlusion ratio of the object included in the input image (I) and classifies the input image (I) based on the determined occlusion ratio. is performed.

상세하게는, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 각각의 객체마다 형성되는 객체 정보(O)의 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.Specifically, in the input image classification step (S410), the learning data generating device 100 determines the occlusion ratio based on the overlap ratio between the object areas (O _R ) of the object information (O) formed for each object. You can judge.

이에 한정하지 않고, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 영상 분할 알고리즘을 기반으로 각각의 객체의 관심 영역인 객체 영역(O_R)을 분할을 수행하고, 상기 분할된 객체 영역과 객체 학습 모델(M_L)과의 비교 또는 객체마다 형성되는 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.Not limited to this, in the input image classification step (S410), the learning data generating device 100 performs segmentation of the object area (O _R ), which is the area of interest of each object, based on an image segmentation algorithm, and the segmentation The occlusion ratio can be determined based on the comparison between the object area and the object learning model (M _L ) or the overlap ratio between the object area (O _R ) formed for each object.

이때, 영상 분할 알고리즘은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등의 알고리즘일 수 있다.At this time, the image segmentation algorithm may be an algorithm such as semantic segmentation or instance segmentation technology.

또한, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는 판단된 상기 가려짐 비율을 기초하여 입력 영상(I)을 분류할 수 있다.Additionally, in the input image classification step (S410), the learning data generating device 100 may classify the input image (I) based on the determined occlusion ratio.

예시적으로, 학습 데이터 생성 장치(100)가 입력 영상(I) 상의 객체에 해당하는 객체 영역(O_R)의 가려짐 비율이 80% 이상으로 판단될 경우, 입력 영상(I) 상의 객체는'가려진 객체'로 분류될 수 있으며, 객체 영역(O_R)의 가려짐 비율이 50% 이상 및 80% 미만일 경우, 입력 영상(I) 상의 객체는'겹친 객체'로 분류할 수 있다.For example, when the learning data generating device 100 determines that the occlusion ratio of the object area (O _R ) corresponding to the object on the input image (I) is 80% or more, the object on the input image (I) is ' It can be classified as an 'occluded object', and if the occlusion ratio of the object area (O _R ) is more than 50% and less than 80%, the object on the input image (I) can be classified as an 'overlapping object'.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 객체 추적 영상(I_T)으로 추출하는 객체 추적 단계(S420)가 수행된다.Next, the learning data generating device 100 continuously tracks the object included in the input image (I) and extracts the input images (I) in which the object is identically present as an object tracking image (I _T ). An object tracking step (S420) is performed.

이때, 객체 추적 영상(I_T)은 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하여, 추적되는 상기 객체가 동일하게 존재하는 복수의 입력 영상(I)이다.At this time, the object tracking image (I _T ) is a plurality of input images (I) in which the object included in the input image (I) is continuously tracked and the tracked object is the same.

객체 추적 단계(S420)에서, 학습 데이터 생성 장치(100)는 객체의 특징이 잘 표현된 고품질의 영상을 학습하기 위하여 시계열적으로 입력 영상(I)을 분석하여, 동일한 객체가 존재하는 입력 영상을 선별하여 객체 추적 영상(I_T)들을 추출할 수 있다.In the object tracking step (S420), the learning data generating device 100 analyzes the input image (I) in time series to learn a high-quality image in which the characteristics of the object are well expressed, and selects an input image in which the same object exists. Object tracking images ( _IT ) can be extracted by selection.

그 다음, 학습 데이터 생성 장치(100)가 기 설정된 품질 기준(Q)을 기반으로 추적된 객체가 포함된 복수의 객체 추적 영상(I_T)의 품질을 판단하는 추적 객체 품질 판단 단계(S430)가 수행될 수 있다.Next, a tracking object quality determination step (S430) in which the learning data generating device 100 determines the quality of a plurality of object tracking images (I _T ) including the tracked object based on a preset quality standard (Q). It can be done.

상세하게는, 추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)는 품질 기준(Q)에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 각각의 객체 추적 영상(I_T)의 영상 품질을 분류할 수 있다.In detail, in the tracking object quality determination step (S430), the learning data generating device 100 determines "0 level: lowest, 1 level: low, 2 level: low, 3 level: medium," according to the quality standard (Q). The image quality of each object tracking image (I _T ) can be classified as “4 level: good, 5 level: best.”

이때, 품질 기준(Q)은 사용자가 기 설정한 객체 추적 영상(I_T)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.At this time, the quality standard (Q) may be a standard based on at least one of the resolution and noise level (afterimage, ghost image) of the object tracking image (I _T ) preset by the user.

학습 데이터 생성 장치(100)는 객체 추적 영상(I_T)에 포함되는 객체 정보(O)의 상기 객체 영역(O_R)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(I_T)을 분류할 수 있으나, 이에 한정하지 않고, 객체 추적 영상(I_T)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(I_T)을 분류할 수 있다.The learning data generating device 100 determines the resolution and noise level of the object area (O _R ) of the object information (O) included in the object tracking image (I _T ) and meets the predetermined quality standard (Q). The object tracking image (I _T ) can be classified according to, but is not limited to, the resolution and noise level of the entire area of the object tracking image (IT), and the object tracking image (I _T ) is determined according to the predetermined quality standard (Q). The tracking image (I _T ) can be classified.

추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)가 품질 기준(Q)에 기초하여 동일한 객체의 영상 품질을 결정함으로써, 학습 데이터 생성 장치(100)가 동일한 객체가 포함되는 입력 영상 중 고품질의 입력 영상(I)을 학습 영상(I_L)으로 추출할 수 있다.In the tracking object quality determination step (S430), the learning data generating device 100 determines the image quality of the same object based on the quality standard (Q), so that the learning data generating device 100 determines the input image containing the same object. A high-quality input image (I) can be extracted as a learning image (I _L ).

그 다음, 학습 데이터 생성 장치(100)가 객체 추적 영상(I_T) 중 영상 품질이 높은 객체 추적 영상을 추적된 상기 객체의 학습 영상(I_L)으로 추출하는 추적 객체 추출 단계(S440)가 수행될 수 있다.Next, a tracking object extraction step (S440) is performed in which the learning data generating device 100 extracts an object tracking image with high image quality from among the object tracking images (I _T ) as a learning image (I _L ) of the tracked object. It can be.

이때, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 동일한 객체를 포함하는 입력 영상 중 적어도 하나의 영상 품질이 높은 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.At this time, in the tracking object extraction step (S440), the learning data generating device 100 may extract at least one input image with high image quality among input images including the same object as the learning image ( _IL ).

또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 사용자가 설정한 기 설정된 품질 기준(Q)에 기초하여 영상 품질이 높은 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.In addition, in the tracking object extraction step (S440), the learning data generating device 100 can extract an input image with high image quality as a learning image ( _IL ) based on a preset quality standard (Q) set by the user. there is.

예시적으로, 사용자가 학습 영상(I_L)으로 적절하다고 판단되는 입력 영상(I)의 품질 기준(Q)을 설정하고, 입력 영상(I) 중 상기 품질 기준(Q)의 이상을 가지는 입력 영상을 추출하여 학습 영상(I_L)으로 결정할 수 있다.As an example, the user sets a quality standard (Q) for an input image (I) that is judged to be appropriate as a training image (I _L ), and among the input images (I), an input image that has an abnormality of the quality standard (Q) can be extracted and determined as the learning image (I _L ).

또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 상기 학습 영상(I_L)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 입력 영상(I)을 보조 학습 영상(I_AL)으로 추출할 수 있다.In addition, in the tracking object extraction step (S440), the learning data generating device 100 selects an input image (I) below a preset quality standard (Q) in which the same object as the learning image (I _L ) is captured as an auxiliary learning image. It can be extracted as (I _AL ).

따라서, 상기 보조 학습 영상(I_AL)을 추출된 학습 영상(I_L)의 데이터를 백데이터(Backdata)로 사용함으로써, 동일한 객체가 촬영된 고품질의 학습 영상(I_L)에 대한 객체 정보(O)의 검출 정확도를 높일 수 있는 장점이 있다.Therefore, by using the data of the training image (I _L ₎ extracted from the auxiliary learning image (I _AL ) as backdata, object information (O ) has the advantage of increasing the detection accuracy.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체 정보 중 객체 정보(O)가 식별되지 않는 입력 영상(I)을 희소 정보 영상으로 추출하는 희소 정보 영상 추출 단계(S450)가 수행될 수 있다.Next, a sparse information image extraction step ( S450) may be performed.

이때, 희소 정보 영상 추출 단계(S450)에서 추출된 상기 희소 정보 영상에 포함된 객체의 객체 정보(O)를 입력받아 학습 영상(I_L)으로 추출할 수 있다. At this time, object information (O) of the object included in the sparse information image extracted in the rare information image extraction step (S450) may be input and extracted as a learning image (I _L ).

이때, 객체 정보(O)는 사용자 또는 외부 데이터베이스로부터 상기 희소 정보 영상에 대한 객체 정보(O)를 입력 받을 수 있다.At this time, the object information (O) for the rare information image may be input from a user or an external database.

희소 정보 영상 추출 단계(S450)에서, 학습 데이터 생성 장치(100)가 기존 객체 학습 모델(M_L)에 학습되지 않았거나 또는 소량으로 학습된 희소 정보(Sparse Information)를 포함하는 입력 영상(I)을 객체 학습 모델(M_L)에 학습이 필요한 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상의 객체 정보를 보강하여 학습 영상(I_L)으로 추출할 수 있다.In the sparse information image extraction step (S450), the learning data generating device 100 selects an input image (I) containing sparse information that has not been learned in the existing object learning model (M _L ) or has been learned in a small amount. is determined to be the sparse information image that needs to be learned in the object learning model ( _ML ), and the object information of the sparse information image can be strengthened and extracted as a learning image ( _IL ).

그 다음, 학습 데이터 생성 장치(100)가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상(I_L)으로 추출하고, 학습 영상(I_L)을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계(S460)가 수행된다.Next, an object-specific image classification step in which the learning data generating device 100 extracts a plurality of input images containing the same object information into learning images ( _IL ) and classifies the learning images ( _IL ) by the same object information. (S460) is performed.

예시적으로, 객체별 영상 분류 단계(S460)에서 학습 데이터 생성 장치(100)가 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상을 학습 영상(I_L)으로 추출할 수 있으며, 추출한 학습 영상(I_L)을 동일한 객체 정보 별로 분류할 수 있다.As an example, in the object-specific image classification step (S460), the learning data generating device 100 extracts input images in which the same object is photographed in different directions (back, front, left and right, etc.) as a learning image (I _L ). And the extracted learning images (I _L ) can be classified according to the same object information.

도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.Figure 3 is a diagram showing a learning image extracted based on an input image in a learning data generating device.

도 3을 참조하면, 학습 데이터 생성 장치(100)는 입력 영상(I)의 각각의 객체에 대한 정보를 검출할 수 있다.Referring to FIG. 3, the learning data generating device 100 may detect information about each object of the input image (I).

이때, 학습 데이터 생성 장치(100)는 촬영된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상(I)을 추출하고, 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여 추출된 입력 영상(I) 상에 나타나는, 객체에 대한 속성 정보인 객체 속성 정보(O_A) 및 입력 영상(I) 중 객체에 대응하는 영역인 객체 영역(O_R)을 포함하는 객체 정보(O)를 검출할 수 있다.At this time, the learning data generating device 100 extracts the input image (I) from the captured images in a preset speed unit, inputs the input image (I) into the previously learned object learning model ( _ML ), and extracts the input image (I) from the captured images. Object information (O) including object attribute information (O _A ), which is attribute information about an object, appearing on the input image (I), and object area (O _R ), which is an area corresponding to the object in the input image (I) can be detected.

이때, 학습 데이터 생성 장치(100)는 입력 영상(I)상에 존재하는 객체의 객체 정보(O)를 기반으로 입력 영상(I) 중 상기 객체 학습 모델(M_L)에 학습이 필요한 입력 영상(I)을 학습 영상(500)을 추출할 수 있다.At _this time, the learning data generating device 100 generates an input image ( I) The learning image 500 can be extracted.

학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체(600, 700)에 해당하는 영역 상에 객체 영역(601, 602, 701, 702)을 생성할 수 있다.The learning data generating device 100 may generate object areas 601, 602, 701, and 702 on areas corresponding to the objects 600 and 700 included in the learning image 500.

이때, 객체 영역(601, 602, 701, 702)은 바운딩 박스(Bounding Box)형태로 생성될 수 있으나, 이에 한정되지 않고, 인식된 객체를 학습하기 위한 다양한 형태로 생성될 수 있다.At this time, the object areas 601, 602, 701, and 702 may be created in the form of a bounding box, but are not limited to this and may be created in various forms for learning the recognized object.

학습 데이터 생성 장치(100)는 학습 영상(500) 상의 객체(600, 700)가 차량 객체일 경우, 차량 객체의 영상 영역인 제1 객체 영역(601, 701) 및 제1 객체 영역(601, 701)이 생성되는 상기 차량 객체의 번호판에 대한 영상 영역인 제2 객체 영역(602, 702)을 검출하여 학습 영상(500) 상에 생성될 수 있다. 이때, 객체 영역(601, 602, 701, 702)은, 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여 생성되는 객체(600, 700)의 객체 영역이며, 입력 영상(I)이 학습이 필요한 학습 영상(500)으로 추출될 경우, 학습 데이터 생성 장치(100)는 사용자에게 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)이 생성된 학습 영상(500)을 출력하여, 상기 사용자가 학습 영상(500)상에 생성된 각각의 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)의 객체 정보(O)를 수정할 수 있다.When the objects 600 and 700 on the learning image 500 are vehicle objects, the learning data generating device 100 generates first object areas 601 and 701, which are image areas of the vehicle object, and first object areas 601 and 701, respectively. ) may be generated on the learning image 500 by detecting the second object areas 602 and 702, which are image areas for the license plate of the vehicle object in which the image is generated. At this time, the object areas (601, 602, 701, and 702) are the object areas of the objects (600, 700) created by inputting the input image (I) into the previously learned object learning model (M _L ), and the input image ( When I) is extracted as a learning image 500 that requires learning, the learning data generating device 100 provides the user with a learning image in which the first object areas 601 and 701 and the second object areas 602 and 702 are generated. By outputting 500, the user can modify the object information (O) of each of the first object areas 601 and 701 and the second object areas 602 and 702 created on the learning image 500. .

상기 사용자가 학습 데이터 생성 장치(100)가 크롭한 객체 영역(O_R)인 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)을 조정함으로써, 조정된 객체 영역이 반영된 학습 영상이 객체 학습 모델(M_L)에 학습되어, 객체 학습 모델(M_L)의 객체 인식률을 높일 수 있는 효과가 있다.The user adjusts the first object areas 601 and 701 and the second object areas 602 and 702, which are the object areas (O _R ) cropped by the learning data generating device 100, so that the adjusted object area is reflected. The image is trained on the object learning model ( _ML ), which has the effect of increasing the object recognition rate of the object learning model ( _ML ).

또한, 학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체의 객체 속성 정보(미도시)를 표시할 수 있다.Additionally, the learning data generating device 100 may display object attribute information (not shown) of an object included in the learning image 500.

학습 데이터 생성 장치(100)는 상기 학습 영상(500)과 함께 출력된 상기 학습 영상(500)에 포함된 객체(600, 700)의 객체 속성 정보(차량 정보 및 번호판 정보)를 확인하고, 잘못 분류된 정보 또는 잘못 입력된 정보가 존재할 경우, 사용자가 상기 객체 속성 정보를 수정하여, 올바른 상기 객체 속성 정보가 학습 영상(500)에 포함될 수 있다.The learning data generating device 100 checks the object attribute information (vehicle information and license plate information) of the objects 600 and 700 included in the learning image 500 output together with the learning image 500 and classifies them incorrectly. If incorrect or incorrectly entered information exists, the user may modify the object attribute information and the correct object attribute information may be included in the learning image 500.

도 4는, 학습 데이터 생성 장치가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.FIG. 4 is a diagram illustrating a process in which a learning data generating device tracks a vehicle object output on an input image.

도 4(a) 내지 도 4(c)를 참조하면, 도 4(a) 내지 도 4(c)는 학습 데이터 생성 장치(100)가 동일한 객체가 촬영된 촬영 영상을 추출하여 시계열적으로 나열한 입력 영상(I)이다.Referring to FIGS. 4(a) to 4(c), FIGS. 4(a) to 4(c) are inputs in which the learning data generating device 100 extracts captured images of the same object and lists them in time series. This is video (I).

학습 데이터 생성 장치(100)는 연속적으로 객체를 촬영한 상기 촬영 영상 중 기 설정된 속도 단위로 제1 입력 영상(FR1), 제2 입력 영상(FR2), 제3 입력 영상(FR3)을 추출할 수 있다.The learning data generating device 100 can extract a first input image (FR1), a second input image (FR2), and a third input image (FR3) from the captured images of continuously photographed objects in a preset speed unit. there is.

학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 입력 영상(FR1, FR2, FR3)을 기반으로 객체(600)를 연속적으로 추적할 수 있다.The learning data generating device 100 may continuously track the object 600 based on input images FR1, FR2, and FR3 that include the same object 600.

이때, 학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 복수의 입력 영상(FR1, FR2, FR3)을 기반으로, 시계열적으로 연속되는 입력 영상(FR1, FR2, FR3)을 비교하여 객체를 추적할 수 있다.At this time, the learning data generating device 100 compares sequential input images (FR1, FR2, and FR3) based on a plurality of input images (FR1, FR2, and FR3) containing the same object 600. Objects can be tracked.

이때, 학습 데이터 생성 장치(100)는 복수의 입력 영상(FR1, FR2, FR3)을 객체 학습 모델(M_L)에 입력하여, 생성되는 객체(600)가 분류 결과 값인 객체 속성 정보(미도시) 및 입력 영상에 포함되는 객체 영역(611, 621, 631, 612, 622, 632)을 포함하는 객체 정보(O)를 생성할 수 있으며, 생성된 객체 정보(O)를 기반으로 각각의 입력 영상을 비교하여 객체를 추적할 수 있다.At this time, the learning data generating device 100 inputs a plurality of input images (FR1, FR2, FR3) into the object learning model (M _L ), so that the generated object 600 includes object attribute information (not shown) that is the classification result value. And object information (O) including object areas (611, 621, 631, 612, 622, 632) included in the input image can be generated, and each input image is generated based on the generated object information (O). You can track objects by comparing them.

예시적으로, 학습 데이터 생성 장치(100)는 제2 입력 영상(FR2)의 전후 영상인 제1 입력 영상(FR1)에 포함된 객체 정보(O)의 객체 영역(611, 612) 및 제3 입력 영상(FR3)에 포함된 객체 정보(O)의 객체 영역(631, 632) 중 적어도 하나를 제2 입력 영상(FR2)의 객체 정보(621, 622)를 비교하여 객체를 추적할 수 있다.Exemplarily, the learning data generating device 100 uses the object areas 611 and 612 of the object information O included in the first input image FR1, which is the image before and after the second input image FR2, and the third input image. The object may be tracked by comparing at least one of the object areas 631 and 632 of the object information O included in the image FR3 with the object information 621 and 622 of the second input image FR2.

이에 한정하지 않고, 학습 데이터 생성 장치(100)는 객체 정보(O)를 기반으로 객체 추적 알고리즘, 칼만 필터, 템플릿 매칭, SIFT 등 알고리즘 또는 딥러닝 등의 방법을 이용하여 객체를 추적할 수 있다.Not limited to this, the learning data generating device 100 may track the object based on the object information (O) using an object tracking algorithm, Kalman filter, template matching, SIFT, or other algorithms or methods such as deep learning.

이때, 학습 데이터 생성 장치(100)는, 추적된 객체(600)의 입력 영상(FR1, FR2, FR3)을 중 기 설정된 품질 기준(Q)을 기반으로 가장 높은 품질을 가지는 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.At this time, the learning data generating device 100 converts the input images FR1, FR2, and FR3 of the tracked object 600 into a learning image with the highest quality based on a preset quality standard (Q). I _L ) can be extracted.

예시적으로, 정차 중일 때의 차량을 촬영한 입력 영상인 제1 입력 영상(FR1), 운행중일 때의 차량을 촬영하여 객체가 흐릿하게 촬영된 입력 영상을 제2 입력 영상(FR2) 및 제3 입력 영상(FR3)이라고 할 경우, 학습 데이터 생성 장치(100)는 동일한 차량 객체(600)가 촬영된 입력 영상(FR1, FR2, FR3)에 포함된 객체(600)를 연속적으로 추적하여, 객체(600)가 가장 정확하게 촬영된 제1 입력 영상(FR1)을 학습 영상(I_L)으로 추출할 수 있다.As an example, the first input image (FR1) is an input image of a vehicle while stopped, and the second input image (FR2) and the third input image are a blurred image of an object while a vehicle is in operation. In the case of the input image FR3, the learning data generating device 100 continuously tracks the object 600 included in the input images FR1, FR2, and FR3 in which the same vehicle object 600 is photographed, and creates the object ( 600) can extract the most accurately captured first input image (FR1) as a learning image (I _L ).

동일한 객체(600)가 포함된 입력 영상 중 고품질의 입력 영상을 학습 영상(I_L)으로 추출하여, 객체 학습 모델(M_L)에 학습시킴으로써, 상기 객체(600)와 관련된 객체 학습 모델(M_L)의 학습 데이터의 경량화가 가능할 뿐만 아니라, 객체 검출이 보다 향상될 수 있다.Among the input images containing the same object 600, high-quality input images are extracted as learning images (I _L ) and trained on the object learning model (M _L ), thereby creating an object learning model (M _L ) related to the object 600. ), not only can the training data be made lighter, but object detection can be further improved.

도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 학습 데이터 생성 장치를 보여주는 도면이다.FIG. 5 is a diagram showing a learning data generating device for performing the vehicle identification learning data generating method of FIG. 1.

도 5을 참조하면, 차량 식별 학습 데이터 생성 시스템(10)은 학습 영상(I_L)을 생성하는 학습 데이터 생성 장치(100) 및 영상이 촬영된 상기 환경 정보를 저장하는 외부 서버(200)를 포함할 수 있다.Referring to FIG. 5, the vehicle identification learning data generating system 10 includes a learning data generating device 100 that generates a learning image ( _IL ) and an external server 200 that stores the environment information in which the image was captured. can do.

먼저, 학습 데이터 생성 장치(100)는 영상 입력 모듈(110), 영상 추출 모듈(120), 객체 검출 모듈(130), 입력 영상 정제 모듈(140), 사용자 인터페이스 모듈(150), 저장 모듈(160) 및 학습 영상 보정 모듈(170)을 포함할 수 있다.First, the learning data generating device 100 includes an image input module 110, an image extraction module 120, an object detection module 130, an input image purification module 140, a user interface module 150, and a storage module 160. ) and a learning image correction module 170.

먼저, 영상 입력 모듈(110)은 촬영 장치 또는 사용자 디바이스로부터 객체가 포함된 복수의 촬영 영상을 수신받는다.First, the image input module 110 receives a plurality of captured images containing objects from a photographing device or a user device.

이때, 사용자 디바이스는 스마트폰과 같은 촬영 모듈이 포함된 장치일 수 있으며, 통신망에 연결되어 외부로부터 수신 받은 동영상 또는 이미지를 수신 받는 장치 일 수 있다.At this time, the user device may be a device that includes a photography module, such as a smartphone, or may be a device that is connected to a communication network and receives video or images received from an external source.

영상 추출 모듈(120)은 동영상 또는 복수의 이미지 형태의 상기 촬영 영상 중 기설정된 속도 단위로 객체가 포함된 복수의 입력 영상(I)을 자동으로 추출할 수 있다.The image extraction module 120 can automatically extract a plurality of input images (I) containing an object in a preset speed unit from the captured images in the form of a video or a plurality of images.

예시적으로, 상기 촬영 영상은 동영상 또는 복수의 이미지 형태의 고해상도 영상(1920X1080 Full HD) 이상의 영상이 될 수 있으며, 이에 한정하지 않고 객체 학습 모델(M_L)을 기반으로 영상 학습이 가능한 해상도로 구성된 영상일 수 있다.By way of example, the _captured image may be a high-resolution image (1920 It could be a video.

이때, 학습 영상(I_L)은 정제된 입력 영상(I) 상에 존재하는 객체에 해당되는 영역에 라벨링이 수행되고, 정확한 객체 인식하기 위하여 객체 학습 모델(M_L)에 입력되는 학습용 영상이다.At this time, the training image (I _L ) is a training image in which labeling is performed on the area corresponding to the object existing in the refined input image (I) and is input to the object learning model ( _ML ) in order to accurately recognize the object.

객체 검출 모듈(130)은 기 학습된 객체 학습 모델(M_L)을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보(O)를 검출할 수 있다.The object detection module 130 may detect object information (O) corresponding to each object included in the input image based on a previously learned object learning model ( _ML ).

상세하게는, 객체 검출 모듈(130)은 기 학습된 객체 학습 모델(M_L)에 입력 영상(I)을 입력하여, 입력 영상(I) 상에 포함된 객체에 대한 객체 정보(O)를 검출할 수 있다.In detail, the object detection module 130 inputs the input image (I) into the previously learned object learning model ( _ML ) and detects object information (O) about the object included in the input image (I). can do.

객체 검출 모듈(130)은 객체 정보(O)를 객체에 라벨링하여 표시될 수 있다. 이때, 객체 정보(O)는 입력 영상(I) 상의 상기 객체에 대한 영역인 객체 영역(O_R) 및 상기 객체의 속성이 분류된 객체 속성 정보(O_A)를 포함한다.The object detection module 130 may display object information (O) by labeling the object. At this time, the object information (O) includes an object area (O _R ), which is an area for the object on the input image (I), and object attribute information (O _A ) in which the attributes of the object are classified.

이때, 상기 객체 검출 모듈(130)은, 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(O_A) 및 객체 영역(O_R)을 포함하는 상기 객체 정보를 검출할 수 있다.At this time, when the object included in the input image (I) is a vehicle object based on the pre-learned object learning model (M _L ), the object detection module 130 generates object attribute information (O _A ) and the object The object information including the area O _R can be detected.

이때, 객체 속성 정보(O_A)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(O_A2)를 포함하고, 객체 영역(O_R)은 상기 차량 객체에 대한 영역인 제1 객체 영역(O_R1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(O_R2)을 포함할 수 있다.At this time, the object attribute information (O _A ) includes first object attribute information (O _A1 ) in which the attributes of the vehicle object are classified and second object attribute information (O _A2 ) of the license plate object of the vehicle object, The area O _R may include a first object area O _R1 , which is an area for the vehicle object, and a second object area O _R2 , an area for the license plate object included in the vehicle object.

입력 영상 정제 모듈(140)은 입력 영상(I)의 상기 객체 정보(O)를 기반으로 상기 입력 영상을 분류하고, 입력 영상(I) 중 상기 객체 학습 모델(M_L)에 학습될 학습 영상(I_L)을 추출할 수 있다.The input image purification module 140 classifies the input image based on the object information (O) of the input image (I), and the learning image to be learned in the object learning model (M _L ) among the input image (I) ( I _L ) can be extracted.

이때, 입력 영상 정제 모듈(140)은, 객체 영역 분류 모듈(141), 객체 추적 모듈(142), 희소 정보 추출 모듈(143) 및 객체 분류 모듈(144)을 포함할 수 있다.At this time, the input image purification module 140 may include an object area classification module 141, an object tracking module 142, a rare information extraction module 143, and an object classification module 144.

객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류할 수 있다. The object area classification module 141 may determine the occlusion ratio of an object included in the input image (I) and classify the input image (I) based on the determined occlusion ratio.

객체 영역 분류 모듈(141)은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등 영상 분할 알고리즘을 기반으로 입력 영상(I) 내 개별 객체의 가려짐 비율을 판별할 수 있다.The object area classification module 141 can determine the occlusion ratio of individual objects in the input image (I) based on an image segmentation algorithm such as semantic segmentation and instance segmentation technology.

예시적으로, 객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 상기 가려짐 비율이 제1 비율일 경우, 상기 객체를 '가려진 객체'로 분류하고, 상기 가려짐 비율이 제2 비율일 경우, 상기 객체를 '겹친 객체'로 분류할 수 있다.Exemplarily, the object area classification module 141 classifies the object as an 'occluded object' when the occlusion ratio of the object included in the input image I is the first ratio, and the occlusion ratio is the first ratio. If the ratio is 2, the object can be classified as an 'overlapping object'.

이때, 상기 가려짐 비율은 사용자가 학습 데이터 생성 장치(100)에 기 설정한 가려짐 비율일 수 있다.At this time, the occlusion ratio may be an occlusion ratio preset by the user in the learning data generating device 100.

객체 영역 분류 모듈(141)은, 각각의 상기 객체마다 형성되는 상기 객체 정보(O)의 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.The object area classification module 141 may determine the occlusion ratio based on the overlap ratio between the object areas (O _R ) of the object information (O) formed for each object.

객체 영역 분류 모듈(141)이 객체의 가려짐 비율을 판단하여 객체 학습 모델(M_L)에 학습하기 위한 학습 영상(I_L)으로 사용함으로써, 가려짐 비율을 고려한 객체 학습이 가능하다.The object area classification module 141 determines the occlusion ratio of the object and uses it as a training image (I _L ) for learning the object learning model (M _L ), thereby enabling object learning considering the occlusion ratio.

객체 추적 모듈(142)은 시계열적으로 입력된 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 복수의 객체 추적 영상(I_T)으로 추출할 수 있다.The object tracking module 142 continuously tracks objects included in the input image (I) input in time series, and converts the input images (I) in which the object is identical into a plurality of object tracking images (I _T ). It can be extracted.

이때, 객체 추적 모듈(142)은 상기 객체가 동일하게 존재하는 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 품질 기준(Q)에 따라 추적된 객체가 포함된 입력 영상(I)을 선택적으로 학습 영상(I_L)으로 추출할 수 있다.At this time, the object tracking module 142 continuously tracks the object included in the input image (I) in which the object is identically present, and tracks the input image (I) including the object tracked according to the quality standard (Q). Optionally, it can be extracted as a training image (I _L ).

이때, 객체 추적 모듈(142)은 기 설정된 품질 기준(Q)을 기반으로 객체가 추적된 복수의 입력 영상(I)의 영상 품질을 분류하고, 분류된 상기 영상 품질을 기반으로 학습 영상(I_L)을 추출할 수 있다.At this time, the object tracking module 142 classifies the image quality of the plurality of input images (I) in which the object is tracked based on a preset quality standard (Q), and the training image (I _L ) based on the classified image quality. ) can be extracted.

상세하게는, 객체 추적 모듈(142)은 품질 기준에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 입력 영상(I)을 분류할 수 있다.In detail, the object tracking module 142 processes the input image (0 level: lowest, 1 level: low, 2 level: low, 3 level: middle, 4 level: high, 5 level: best) according to quality standards. I) can be classified.

이때, 품질 기준(Q)은 사용자가 기 설정한 입력 영상(I)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.At this time, the quality standard (Q) may be a standard based on at least one of the resolution and noise level (afterimage, ghost image) of the input image (I) preset by the user.

상세하게는, 객체 추적 모듈(142)는 입력 영상(I)에 포함된 추적 대상이 되는 객체 정보(O)의 객체 영역(O_R)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있으나, 이에 한정하지 않고, 입력 영상(I)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있다.In detail, the object tracking module 142 determines the resolution and noise level of the object area (O _R ) of the object information (O) to be tracked included in the input image (I) and determines the predetermined quality standard. The input image (I) can be classified according to (Q), but is not limited to this, and the resolution and noise level are determined for the entire area of the input image (I) and input according to the predetermined quality standard (Q). The image (I) can be classified.

객체 추적 모듈(142)은 품질 기준(Q)에 기초하여 동일한 객체가 포함된 복수의 입력 영상을 분류함으로써, 동일한 객체의 영상 중 고품질의 입력 영상(을 학습 영상(I_L)으로 추출할 수 있다.The object tracking module 142 classifies a plurality of input images containing the same object based on the quality standard (Q), thereby extracting a high-quality input image (IL) from among the images of the same object as a learning image ( _IL ). .

또한, 상기 학습 영상(I_L)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 상기 객체 추적 영상(I_T)을 보조 학습 영상(I_AL)으로 추출할 수 있다.In addition, the object tracking image (I _T ) below a preset quality standard (Q) in which the same object as the learning image (I _L ) is captured can be extracted as an auxiliary learning image (I _AL ).

상기 보조 학습 영상(I_AL)으로 추출된 기 설정된 품질 기준(Q) 이하의 입력 영상(I)을 학습 영상(I_L)의 데이터의 백데이터(Backdata)로 사용함으로써, 학습 영상(I_L)의 객체 정보를 객체 학습 모델(M_L)에 학습시키는데 있어서, 객체에 대한 정보를 강인하게 학습시킬 수 있다는 장점이 있다.By using the input image (I) below the preset quality standard (Q) extracted as the auxiliary learning image (I _AL ) as backdata of the data of the learning image (I _L ), the learning image (I _L ) In training object information in an object learning model (M _L ), there is an advantage that information about objects can be learned robustly.

희소 정보 추출 모듈(143)은 입력 영상(I)에 포함된 객체 정보(O) 중 식별되지 않는 입력 영상을 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상을 학습 영상(I_L)으로 추출할 수 있다.The sparse information extraction module 143 determines an unidentified input image among the object information (O) included in the input image (I) as the sparse information image, and extracts the sparse information image as a learning image (I _L ). You can.

이때, 상기 희소 정보 영상은 신규 객체에 대한 정보를 포함하는 학습 영상(I_L)이며, 상기 희소 정보 영상을 별도의 라벨링이 수행되도록 외부 데이터베이스 또는 신규 객체 정보에 대한 입력을 위하여 사용자에게 제공될 수 있다.At this time, the sparse information image is a learning image (I _L ) containing information about a new object, and can be provided to the user for input into an external database or new object information so that separate labeling of the sparse information image is performed. there is.

즉, 희소 정보 추출 모듈(143)은 상기 희소 정보 영상에 포함된 상기 객체의 객체 정보(O)를 입력 받을 수 있다.That is, the sparse information extraction module 143 may receive object information (O) of the object included in the sparse information image.

예시적으로, 희소 정보 추출 모듈(143)이 입력 영상(I) 내 포함된 차량 객체의 객체 정보(차량 정보 및 번호판 정보) 중 적어도 하나가 존재하지 않거나 또는 사용자가 설정한 기 설정된 범위 이하로 존재할 경우, 입력 영상(I)을 상기 희소 정보 영상으로 판단하고, 학습 영상(I_L)으로 추출할 수 있다.As an example, the rare information extraction module 143 detects that at least one of the object information (vehicle information and license plate information) of the vehicle object included in the input image (I) does not exist or exists below a preset range set by the user. In this case, the input image (I) can be determined to be the sparse information image and extracted as a learning image (I _L ).

이때, 차량 정보는 차량 번호판, 차량 모델, 차량 색상 및 차량 방향 중 적어도 하나일 수 있으며, 번호판 정보는 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나일 수 있다.At this time, the vehicle information may be at least one of the vehicle license plate, vehicle model, vehicle color, and vehicle direction, and the license plate information may be at least one of the license plate color, vehicle number, and vehicle license plate pattern.

객체 분류 모듈(144)은 동일한 객체 정보(O)를 포함하는 복수의 입력 영상을 학습 영상(I_L)으로 추출하고, 학습 영상(I_L)을 동일한 객체 정보 별로 분류할 수 있다.The object classification module 144 may extract a plurality of input images containing the same object information (O) into a learning image ( _IL ) and classify the learning image ( _IL ) according to the same object information.

예시적으로, 객체 분류 모듈(144)이 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상(I)을 학습 영상(I_L)으로 추출하고, 객체 학습 모델(M_L)에 학습시켜, 상기 촬영 영상에 포함되는 상기 객체에 대한 검출을 정확성을 높일 수 있다.As an example, the object classification module 144 extracts an input image (I) in which the same object is photographed in different directions (back, front, left and right, etc.) as a learning image (I _L ), and extracts an object learning model (M _L ), the detection accuracy of the object included in the captured image can be increased.

사용자 인터페이스 모듈(150)은 학습 영상(I_L)에 포함되는 객체 정보 및 학습 영상(I_L)이 분류된 상기 분류 정보를 사용자에게 출력할 수 있다.The user interface module 150 may output object information included in the learning image ( _IL ) and the classification information by which the learning image ( _IL ) is classified to the user.

이때, 사용자 인터페이스 모듈(150)은 입력 영상(I)의 객체 정보(차량 정보 및 번호판 정보)를 사용자에게 출력하여 제공함으로써, 사용자가 객체에 대한 객체 정보(객체 속성 정보(O_A), 객체 영역(O_R))를 보강 및 수정이 가능하며, 이를 통해 신뢰성 있는 학습 영상(I_L)을 생성할 수 있다.At this time, the user interface module 150 outputs and provides object information (vehicle information and license plate information) of the input image (I) to the user, so that the user can use object information (object attribute information (O _A ), object area, etc.) for the object. (O _R )) can be reinforced and modified, and through this, a reliable learning image (I _L ) can be generated.

상세하게는, 사용자 인터페이스 모듈(150)을 통해 객체 정보의 객체 영역(O_R) 및 객체 속성 정보(O_A)의 값이 표시되며, 표시되는 객체 영역(O_R)을 사용자가 객체에 대한 영역에 맞게 수정하여 기계적으로 발생하는 영역의 오차를 최소화된 학습 영상(I_L)을 생성할 수 있다. 또한, 객체 속성 정보(O_A)를 사용자가 검토를 수행하여, 올바른 값으로 재입력이 가능함으로써 정확한 객체 정보를 포함하는 학습 영상(I_L)을 생성할 수 있다.In detail, the values of the object area (O _R ) and object attribute information (O _A ) of the object information are displayed through the user interface module 150, and the displayed object area (O _R ) is selected by the user as the area for the object. By modifying it accordingly, a learning image (I _L ) with minimized errors in mechanically occurring areas can be generated. In addition, the user can review the object attribute information (O _A ) and re-enter it with the correct value, thereby generating a learning image (I _L ) containing accurate object information.

이때, 사용자가 사용자 인터페이스 모듈(150)을 통해 알맞은 객체 정보를 입력함으로써, 다양한 방향 및 환경에서 촬영되는 복수의 학습 영상(I_L)을 객체 학습 모듈에 학습시켜, 학습된 객체 학습 모듈에 입력되는 상기 촬영 영상의 객체 검출 결과가 정확해질 수 있는 장점이 있다.At this time, by the user inputting appropriate object information through the user interface module 150, a plurality of learning images ( _IL ) taken in various directions and environments are taught to the object learning module, and the learned object learning module is input to the object learning module. There is an advantage that the object detection result of the captured image can be more accurate.

또한, 사용자 인터페이스 모듈(150)은, 입력 영상 정제 모듈(140)로부터 학습 영상(I_L)이 분류된 상기 분류 정보를 출력하고, 출력된 상기 분류 정보를 사용자가 확인하여 상기 분류 정보를 보정할 수 있다.In addition, the user interface module 150 outputs the classification information in which the learning image ( _IL ) is classified from the input image purification module 140, and allows the user to check the output classification information and correct the classification information. You can.

이때, 상기 분류 정보는 객체의 가려짐 비율에 따른 분류 또는 동일한 객체 정보를 기준으로 분류된 학습 영상(I_L)의 분류 정보일 수 있다.At this time, the classification information may be classification information according to the occlusion ratio of the object or classification information of the learning image ( _IL ) classified based on the same object information.

예시적으로, 사용자 인터페이스 모듈(150)는 모니터와 같이 학습 영상(I_L)에 포함된 객체 정보(O) 및 상기 분류 정보를 사용자에게 표시하고, 객체 학습 모델에 학습 영상(I_L)들로 구성된 학습 데이터를 생성하기 위하여 사용자에게 키보드, 터치스크린 등 다양한 정보를 입력 또는 출력이 가능한 하나 이상의 하드웨어로 구성될 수 있다.Exemplarily, the user interface module 150 displays the object information (O) and the classification information included in the learning image (I _L ) to the user, like a monitor, and displays the object information (O) and the classification information included in the learning image (I _L ) to the object learning model. In order to generate configured learning data, it may be composed of one or more hardware that allows the user to input or output various information, such as a keyboard or touch screen.

저장 모듈(160)은 객체 정보(O) 및 상기 분류 정보가 보정된 학습 영상을 저장할 수 있다.The storage module 160 may store object information (O) and a learning image in which the classification information has been corrected.

저장 모듈(160)은 보정이 완료된 복수의 학습 영상 및 보조 학습 영상으로 구성된 학습 데이터를 저장할 수 있으며, 학습 영상(I_L)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(I_AL)을 함께 저장할 수 있다. The storage module 160 can store learning data consisting of a plurality of corrected learning images and auxiliary learning images, and can store the auxiliary learning image (I _AL ), which is a low-quality input image in which the same object of the learning image (I _L ) is captured. You can save them together.

저장 모듈(160)이 상기 학습 영상(I_L) 및 상기 저품질 입력 영상인 보조 학습 영상(I_AL)을 저장하여, 선택적으로 학습 데이터 및 보조 학습 영상(I_AL)을 객체 학습 모델(M_L)에 학습시킴으로써, 객체를 포함하는 영상에 대한 객체 정보 검출의 정확도를 높일 수 있는 장점이 있다.The storage module 160 stores the training image (I _L ) and the auxiliary learning image (I _AL ), which is the low-quality input image, and selectively stores the training data and the auxiliary learning image (I _AL ) as an object learning model (M _L ). There is an advantage in that the accuracy of object information detection for images containing objects can be increased by learning.

차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공하는 외부 서버(200)를 포함할 수 있다.The vehicle identification learning data generating system 10 may include an external server 200 that stores environmental information related to the time and location at which the image was captured and provides the environmental information to the learning data generating device 100.

상세하게는, 외부 서버(200)는 학습 데이터 생성 장치(100)에 학습 영상(I_L)이 촬영된 상기 위치 정보 및 상기 시간 정보를 수신 받고, 학습 데이터 생성 장치(100)에 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 제공할 수 있다.In detail, the external server 200 receives the location information and the time information at which the learning image ( _IL ) was captured by the learning data generating device 100, and sends the learning data generating device 100 the location information and the time information. The environment information may be provided based on the time information.

이때, 상기 환경 정보는 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 포함할 수 있다.At this time, the environmental information may include at least one of weather information for each time information and location information, fine dust information, sunlight information, and event information.

예시적으로, 외부 서버(200)는 위치 및 시간별 기상 정보를 제공하는 기상 서버, 또는 위치별 도시 환경에 대한 정보를 포함하고 있는 별도의 데이터베이스 등 적어도 하나 이상의 서버로 구성될 수 있으며, 외부 서버(200)는 학습 데이터 생성 장치(100)가 촬영한 촬영 영상의 시간 및 위치에 따른 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.Illustratively, the external server 200 may be composed of at least one server, such as a weather server that provides weather information by location and time, or a separate database containing information about the urban environment by location, and the external server ( 200) may provide the learning data generating device 100 with the environmental information according to the time and location of the captured image captured by the learning data generating device 100.

학습 데이터 생성 장치(100)는 외부 서버(200)로 학습 영상(I_L)이 촬영된 위치 정보 및 시간 정보를 포함하는 메타데이터를 송신하고, 외부 서버(200)는 수신된 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신할 수 있다.The learning data generating device 100 transmits metadata including location information and time information at which the learning image I _L was captured to the external server 200, and the external server 200 receives the received location information and the The environment information based on time information may be transmitted to the learning data generating device 100.

이때, 학습 데이터 생성 장치(100)는 외부 서버(200)로부터 학습 영상(I_L)의 상기 환경 정보를 수신 받고, 상기 환경 정보를 기반으로 학습 영상(I_L)을 보정하는 학습 영상 보정 모듈(170)를 더 포함할 수 있다.At this time, the learning data generating device 100 receives the environment information of the learning image ( _IL ) from the external server 200, and corrects the learning image ( _IL ) based on the environment information (a learning image correction module ( 170) may be further included.

학습 영상 보정 모듈(170)은 학습 영상(I_L)이 촬영된 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일몰 시간 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 기반으로 학습 영상(I_L)을 보정할 수 있다.The learning image correction module ₁₇₀ is based on at least one of weather information, fine dust information, sunset time information, sunlight amount information, and event information for each time information and location information at which the learning image (I _L ) can be corrected.

상세하게는, 학습 영상 보정 모듈(170)는 수신된 상기 환경 정보를 기반으로 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(I_L)을 보정할 수 있다.In detail, the learning image correction module 170 may correct the learning image ( _IL ) by adjusting at least one of brightness, saturation, brightness, color, luminance, hue, and sharpness based on the received environmental information. .

이때, 학습 영상 보정 모듈(170)은 상기 학습 영상(I_L)에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보(O_A)를 더 고려하여 학습 영상(I_L)을 보정할 수 있다.At this time, the learning image correction module 170 may correct the learning image ( _IL ) by further considering the object attribute information (O _A ) for each object included in the learning image ( _IL ).

예시적으로, 학습 영상(I_L)의 촬영된 위치 정보가 '서울시 강남구 역삼동'이고, 촬영된 시각 정보가 '18시 30분'일 때, 외부 서버(200)는 상기 위치 정보 및 시각 정보에 해당하는 날씨 정보가 '흐림', 미세먼지 정보가 '좋음', 일몰 시간 정보가 '노을짐', 일조량 정보가 '적당함', 이벤트 정보가 '없음'에 관한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신하고, 학습 데이터 생성 장치(100)의 학습 영상 보정 모듈(170)은 각각의 상기 환경 정보에 대한 파라미터 값을 이용하여 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(I_L)을 보정할 수 있다.For example, when the captured location information of the learning video (I _L ) is 'Yeoksam-dong, Gangnam-gu, Seoul' and the captured time information is '18:30', the external server 200 records the location information and time information. A data generating device that learns the environmental information such that the corresponding weather information is 'cloudy', fine dust information is 'good', sunset time information is 'glow', sunlight information is 'adequate', and event information is 'none'. 100, and the learning image correction module 170 of the learning data generating device 100 uses parameter values for each of the environmental information to determine at least one of brightness, saturation, brightness, color, luminance, hue, and sharpness. You can correct the learning image (I _L ) by adjusting one.

이때, 학습 영상(I_L)에 포함된 차량 객체의 객체 속성 정보의 차량 종류가 '대형 차량', 차량 색상이 '하얀색'일 경우, 학습 영상 보정 모듈(170)은 차량 종류 및 차량 색상을 기반으로 객체에 반사되는 외부 광원을 고려하여 학습 영상(I_L)의 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 추가적으로 조정하여 학습 영상(I_L)을 보정할 수 있다.At this time, when the vehicle type of the object attribute information of the vehicle object included in the learning image (I _L ) is 'large vehicle' and the vehicle color is 'white', the learning image correction module 170 is based on the vehicle type and vehicle color. The learning image ( _IL ) can be corrected by additionally adjusting at least one of brightness, saturation, brightness, color, luminance, hue, and sharpness of the learning image ( _IL ) in consideration of the external light source reflected by the object.

이에 한정하지 않고, 학습 영상 보정 모듈(170)은 상기 객체 정보의 적어도 하나의 객체 속성 정보와 상기 환경 정보 간의 연관성을 고려하여 상기 학습 영상(I_L)을 보정할 수 있다.Not limited to this, the learning image correction module 170 may correct the learning image I _L by considering the correlation between at least one object attribute information of the object information and the environment information.

학습 영상 보정 모듈(170)이 학습 영상(I_L)의 상기 환경 정보 및 객체 정보를 기반으로 학습 영상(I_L)을 보정함으로써, 날씨, 반사광, 등 환경 조건에 왜곡되는 학습 영상(I_L)을 보정할 수 있으며, 따라서 학습 영상(I_L)에 포함되는 차량 객체에 대한 객체 정보(O) 및 번호판 객체에 대한 객체 정보가 정확히 식별되는 학습 영상(I_L)을 생성될 수 있다.The learning image correction module 170 corrects the learning image (I _L ) based on the environmental information and object information of the learning image (I _L ), so that the learning image (I _L ) is distorted by environmental conditions such as weather, reflected light, etc. can be corrected, and thus a learning image ( _IL ) can be generated in which object information (O) for the vehicle object and object information for the license plate object included in the learning image ( _IL ) are accurately identified.

또한, 학습 영상 보정 모듈(170)이 보정을 거치지 않는 학습 영상(I_L)과 더불어 상기 환경 정보 및 객체 정보(O)를 기반하여 보정된 학습 영상을 추가적으로 생성하여, 객체 학습 모델(M_L)에 정확한 학습 데이터를 추가로 제공할 수 있는 효과가 있다.In addition, the learning image correction module 170 additionally generates a learning image corrected based on the environment information and object information (O) in addition to the learning image (I _L ) that does not undergo correction, thereby producing an object learning model ( _ML ). It has the effect of providing additional accurate learning data.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although the preferred embodiment of the present invention has been described above, the present invention is not limited thereto, and can be implemented with various modifications within the scope of the claims, the detailed description of the invention, and the accompanying drawings, and this is also the present invention. It is natural that it falls within the scope of .

S100 : 영상 획득 단계 S200 : 입력 영상 추출 단계
S300 : 객체 검출 단계 S400 : 입력 영상 정제 단계
S410 : 객체 영역 분류 단계 S420 : 객체 추적 단계
S430 : 추적 객체 품질 판단 단계 S440 : 추적 객체 추출 단계
S450 : 희소 정보 영상 추출 단계 S460 : 객체별 영상 분류 단계
S500 : 데이터 보정 단계 S600 : 학습 영상 보정 단계
S700 : 학습 영상 저장 단계
10 : 차량 식별 학습 데이터 생성 시스템 100 : 학습 데이터 생성 장치
110 : 영상 입력 모듈 120 : 영상 추출 모듈
130 : 객체 검출 모듈 140 : 입력 영상 정제 모듈
141 : 객체 영역 분류 모듈 142 : 객체 추적 모듈
143 : 희소 정보 추출 모듈 144 : 객체 분류 모듈
150 : 사용자 인터페이스 모듈 160 : 저장 모듈
170 : 학습 영상 보정 모듈 200 : 외부 서버S100: Image acquisition step S200: Input image extraction step
S300: Object detection step S400: Input image purification step
S410: Object area classification step S420: Object tracking step
S430: Tracking object quality determination step S440: Tracking object extraction step
S450: Sparse information image extraction step S460: Image classification step for each object
S500: Data correction step S600: Learning image correction step
S700: Learning video storage step
10: Vehicle identification learning data generation system 100: Learning data generation device
110: video input module 120: video extraction module
130: object detection module 140: input image purification module
141: Object area classification module 142: Object tracking module
143: Sparse information extraction module 144: Object classification module
150: user interface module 160: storage module
170: Learning video correction module 200: External server

Claims

In a method of generating vehicle identification learning data using a vehicle identification learning data generating system including a learning data generating device,
An image acquisition step in which a learning data generating device receives a plurality of captured images;
An input image extraction step in which the learning data generating device extracts an input image from among the received captured images in a preset speed unit;
An object detection step in which the learning data generating device detects object information corresponding to each object included in the input image based on a previously learned object learning model;
an input image purification step in which the learning data generating device classifies the input image based on the object information of the input image and extracts a learning image to be learned by the object learning model from the input image;
A data correction step in which the learning data generating device outputs the object information included in the learning image and classification information by which the learning image is classified to a user, and the user corrects the object information and the classification information; and
A learning image storage step in which the learning data generating device stores the learning image in which the object information and the classification information have been corrected,
The input image purification step is
an object tracking step in which the learning data generating device continuously tracks the object included in the input image and extracts a plurality of input images in which the same object exists into a plurality of object tracking images;
A tracking object quality determination step in which the learning data generating device determines the quality of the plurality of object tracking images including the tracked object based on a preset quality standard; and
A tracking object extraction step in which the learning data generating device extracts an object tracking image with high image quality from among the plurality of object tracking images as a learning image of the tracked object,
In the tracking object extraction step,
The learning data generating device extracts the object tracking image below a preset quality standard in which the same object as the learning image is captured as an auxiliary learning image,
In the learning video storage step,
The learning data generating device stores an auxiliary learning image that is a low-quality input image in which the same object of the learning image is captured.

delete

According to claim 1,
The input image purification step is
An input image classification step in which the learning data generating device determines an occlusion ratio of each object included in the input image and classifies the input image based on the determined occlusion ratio,
In the input image classification step,
The learning data generating device determines an occlusion ratio based on an overlap ratio between object areas of the object information formed for each object.

According to claim 1,
The object information is,
It includes object attribute information in which attributes of the object included in the input image are classified based on the previously learned object learning model, and an object area that is an area for the object formed on the input image,
In the object detection step,
When the object included in the input image is a vehicle object, the learning data generating device detects the object information including the object attribute information and the object area from the object based on the previously learned object learning model, ,
The object attribute information is,
Contains first object attribute information in which the attributes of the vehicle object are classified and second object attribute information in which the attributes of the license plate object included in the vehicle object are classified,
The object area is,
A vehicle identification learning data generating method comprising a first object area that is an area for the vehicle object and a second object area that is an area for the license plate object included in the vehicle object.

According to claim 1,
The input image purification step is
The learning data generating device extracts the input image in which the object information is not identified among the object information included in the input image as a sparse information image, and receives the object information of the object included in the sparse information image. , A vehicle identification learning data generation method comprising a rare information image extraction step of extracting from the learning image.

According to claim 1,
The input image purification step is,
A vehicle identification learning data generating method comprising an object-specific image classification step in which the learning data generating device extracts a plurality of input images containing the same object information as learning images and classifies the learning images by the same object information.

According to claim 1,
The vehicle identification learning data generation system,
An external server that stores environmental information related to the time and location at which the image was captured and provides the environmental information to the learning data generating device,
The learning data generating device transmits location information and time information at which the learning image was captured to the external server, and the external server provides the environment information based on the location information and time information received by the learning data generating device. Generating vehicle identification learning data further comprising: providing a learning image correction step in which the learning data generating device corrects the learning image based on the environment information corresponding to the location information and the time information of the learning image; method.

According to clause 8,
In the learning image correction step,
The learning data generating device corrects the learning image by further considering object attribute information for each object included in the learning image, and the object attribute information is input based on the previously learned object learning model. A vehicle identification learning data generation method, characterized in that the properties of the objects included in the image are classified .

A video input module that receives multiple captured images,
An image extraction module that extracts an input image from the received captured images in a preset speed unit,
an object detection module that detects object information corresponding to each object included in the input image based on a previously learned object learning model;
An input image purification module that classifies the input image based on the object information of the input image and selects a learning image to be learned by the object learning model from among the input images,
A user interface module that outputs the object information included in the learning image and classification information by which the learning image is classified to a user, and allows the user to correct the object information and the classification information;
A learning data generating device including a storage module for storing the learning image in which the object information and the classification information have been corrected,
The input image purification module is,
An object tracking module that continuously tracks the object included in the input image and extracts the plurality of input images in which the same object exists into a plurality of object tracking images;
The object tracking module is,
Determine the quality of the plurality of object tracking images including the tracked object based on preset quality standards, and extract an object tracking image with high image quality from among the plurality of object tracking images as a training image of the tracked object, The object tracking module is,
Extracting the object tracking image below a preset quality standard in which the same object as the learning image was captured as an auxiliary learning image,
The storage module is,
A vehicle identification learning data generation system, characterized in that for storing the auxiliary learning image, which is a low-quality input image in which the same object of the learning image is captured.

delete

According to claim 10,
The input image purification module is,
An object area classification module that determines an occlusion ratio of each object included in the input image and classifies the input image based on the determined occlusion ratio,
The object area classification module is,
A vehicle identification learning data generation system characterized in that the occlusion ratio is determined based on the overlap ratio between object areas of the object information formed for each object.

According to claim 10,
The object information is,
It includes object attribute information in which attributes of the object included in the input image are classified based on the previously learned object learning model, and an object area that is an area for the object formed on the input image,
The object detection module is,
When the object included in the input image is a vehicle object based on the previously learned object learning model, detect the object information including the object attribute information and the object area,
The object attribute information is,
Contains first object attribute information in which the attributes of the vehicle object are classified and second object attribute information in which the attributes of the license plate object included in the vehicle object are classified,
The object area is,
A vehicle identification learning data generation system comprising a first object area, which is an area for the vehicle object, and a second object area, which is an area for the license plate object included in the vehicle object.

According to claim 10,
The input image purification module is
Among the object information included in the input image, the input image in which the object information is not identified is extracted as a sparse information image, the object information of the object included in the sparse information image is input, and extracted as the learning image. A vehicle identification learning data generation system comprising a rare information image extraction module.

According to claim 10,
The input image purification module is,
A vehicle identification learning data generation system comprising an object image module that extracts a plurality of input images containing the same object information as learning images and classifies the learning images according to the same object information.

According to claim 10,
The vehicle identification learning data generation system,
An external server that stores environmental information related to the time and location at which the image was captured and provides the environmental information to the learning data generating device,
The location information and time information at which the learning image was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device, and the learning image is captured. A vehicle identification learning data generation system, wherein the data generating device further includes a learning image correction module that corrects the learning image based on the environment information corresponding to the location information and the time information of the learning image.

According to claim 17,
The learning image correction module,
The learning image is corrected by further considering object attribute information for each object included in the learning image, and the object attribute information is based on the previously learned object learning model of the object included in the input image. A vehicle identification learning data generation system characterized by classified properties.