KR20230011078A

KR20230011078A - Vehicle identification learning data generation method and vehicle identification learning data generation system using the same

Info

Publication number: KR20230011078A
Application number: KR1020210091664A
Authority: KR
Inventors: 기창민; 지문세; 문범섭
Original assignee: (주)블루컴
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2023-01-20
Also published as: KR102582431B1

Abstract

The present invention relates to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same and, more specifically, to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same for labeling vehicle images to build a learning data. The vehicle identification learning data generation method using a vehicle identification learning data generation system including a learning data generation device according to one embodiment of the present invention comprises: an image acquisition step in which the learning data generation device receives a plurality of captured images; an input image extraction step in which the learning data generation device extracts an input image from the received captured images by pre-set speed unit; an object detection step in which the learning data generation device detects object information corresponding to each object included in the input image, based on a pre-trained object learning model; an input image refining step in which the learning data generation device classifies the input images, based on the object information on the input image and extract a learning image to be learned by the object learning model from the input images; a data correction step in which the learning data generation device outputs the object information included in the learning image and classification information on the classified learning images to a user and the user corrects the object information and the classification information; and a learning data storing step in which the learning data generation device stores the learning image where the object information and the classification information are corrected.

Description

Vehicle identification learning data generation method and vehicle identification learning data generation system using the same

본 발명은 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것으로, 보다 상세히 차량 영상을 라벨링하여 학습용 데이터를 구축하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템에 관한 것이다.The present invention relates to a vehicle identification learning data generation method and a vehicle identification learning data generation system using the same. It is about.

일반적으로, 객체 학습 모델에 학습되는 영상 학습 데이터를 생성하기 위해서는 일일이 사람의 수작업을 통하여 라벨이 부착된 학습용(훈련) 데이터를 생성하고 생성되는 학습용 데이터를 객체 학습 모델에 학습함으로써, 기 학습된 객체 학습 모델을 기반으로 영상 속의 객체의 속성(객체 분류 정보)을 파악하고 있다.In general, in order to generate image learning data that is learned in an object learning model, by manually creating labeled learning (training) data and learning the generated learning data in an object learning model, the pre-learned object Based on the learning model, the attributes (object classification information) of objects in the video are identified.

이때, 학습 데이터를 만들기 위한 사람의 수작업은 객체 영역 지정 및 객체 영역에 대한 라벨링 정보를 일일이 입력해야 하기 때문에 사람 간에 발생하는 다른 입력 또는 오탈자에 의하여 부정확한 정보가 입력될 수 있다. 또한, 사람에 의하여 수동으로 입력할 경우, 객체 영역이 정확히 설정되지 않아, 객체 학습 모델에 학습되는 학습 데이터의 신뢰성이 떨어지는 문제점이 있다.At this time, since a person's manual work for creating learning data requires inputting object area designation and labeling information for the object area one by one, inaccurate information may be input due to other inputs or typos occurring between people. In addition, when manually input by a person, the object area is not accurately set, so there is a problem in that the reliability of the learning data learned by the object learning model is low.

이에, 본 발명은 차량 영상 정보를 기반으로 신뢰도 높은 학습 데이터를 생성하기 위한 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템을 제공하고자 한다.Accordingly, an object of the present invention is to provide a vehicle identification learning data generation method for generating highly reliable learning data based on vehicle image information and a vehicle identification learning data generation system using the same.

본 발명의 실시예의 일 측면에 따른 차량 식별 학습 데이터 생성 방법 및 이를 이용한 차량 식별 학습 데이터 생성 시스템은, 차량 식별 학습 데이터 생성 시스템을 이용한 차량 식별 학습 데이터 생성 방법에 있어서, 학습 데이터 생성 장치가 복수의 촬영 영상을 수신받는 영상 획득 단계, 상기 학습 데이터 생성 장치가 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 입력 영상 추출 단계, 상기 학습 데이터 생성 장치가 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 단계, 상기 학습 데이터 생성 장치가 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 추출하는 입력 영상 정제 단계, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 데이터 보정 단계, 및 상기 학습 데이터 생성 장치가 상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 학습 영상 저장 단계를 포함한다.Vehicle identification learning data generation method and vehicle identification learning data generation system using the vehicle identification learning data generation method according to an aspect of an embodiment of the present invention, in the vehicle identification learning data generation method using the vehicle identification learning data generation system, the learning data generation device includes a plurality of An image acquisition step of receiving a captured image, an input image extraction step of extracting an input image in a predetermined speed unit from the received captured image by the learning data generating device, based on a pre-learned object learning model by the learning data generating device object detection step of detecting object information corresponding to each object included in the input image, wherein the learning data generation device classifies the input image based on the object information of the input image, and An input image refinement step of extracting a learning image to be learned by an object learning model, the learning data generation device outputting the object information included in the learning image and classification information in which the learning image is classified to a user, and the user A data correction step of correcting the object information and the classification information, and a learning image storage step of storing the learning image in which the object information and the classification information are corrected by the learning data generation device.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 단계, 상기 학습 데이터 생성 장치가 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하는 추적 객체 품질 판단 단계 및 상기 학습 데이터 생성 장치가 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출하는 추적 객체 추출 단계를 포함할 수 있다.In addition, in the input image refining step, the learning data generation device continuously tracks the object included in the input image, and extracts a plurality of input images in which the same object exists as a plurality of object tracking images. A tracking step, a tracking object quality determination step in which the learning data generating device determines the quality of a plurality of object tracking images including the tracked object based on a preset quality criterion, and the learning data generating device tracks a plurality of the objects. A tracking object extraction step of extracting an object tracking image having a high image quality among images as a training image of the tracked object may be included.

또한, 상기 추적 객체 추출 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 학습 영상 저장 단계에서, 상기 학습 데이터 생성 장치는 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상을 저장할 수 있다.In addition, in the tracking object extraction step, the learning data generating device extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image, and in the learning image storing step, the The learning data generating device may store an auxiliary learning image that is a low-quality input image in which the same object of the learning image is photographed.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 입력 영상 분류 단계를 포함하고, 상기 입력 영상 분류 단계에서, 상기 학습 데이터 생성 장치는, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In addition, in the input image refining step, the learning data generating device determines an occlusion rate of each object included in the input image, and classifies the input image based on the determined occlusion rate. In the input image classification step, the learning data generation apparatus may determine an occlusion ratio based on an overlap ratio between object regions of the object information formed for each object.

또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 단계에서, 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체로부터 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고,상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region, which is an area for the object formed on the input image. and, in the object detection step, if the object included in the input image is a vehicle object based on the pre-learned object learning model, the learning data generation device obtains the object attribute information and the object region from the object. Detects the object information including, but the object property information includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified. The object area may include a first object area corresponding to the vehicle object and a second object area corresponding to the license plate object included in the vehicle object.

또한, 상기 입력 영상 정제 단계는 상기 학습 데이터 생성 장치가 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 단계를 포함할 수 있다.In addition, in the input image refining step, the learning data generating device extracts the input image, in which the object information is not identified, among the object information included in the input image as a sparse information image, and extracts the input image included in the sparse information image. A sparse information image extraction step of receiving the object information of an object and extracting it as the learning image may be included.

또한, 상기 입력 영상 정제 단계는, 상기 학습 데이터 생성 장치가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계를 포함할 수 있다.In addition, the input image refining step may include an image classification step for each object in which the training data generating device extracts a plurality of input images including the same object information as training images and classifies the training images according to the same object information. can

또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버를 포함하고, 상기 학습 데이터 생성 장치가 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 단계를 더 포함할 수 있다.In addition, the vehicle identification learning data generation system includes an external server for storing environment information related to a time and location at which an image was captured and providing the environment information to the learning data generation device, wherein the learning data generation device The location information and time information at which the learning video was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device. The data generating device may further include a training image correction step of correcting the training image based on the environment information corresponding to the location information and the time information of the training image.

또한, 상기 학습 영상 보정 단계에서, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.In addition, in the learning image correction step, the learning data generation device may correct the learning image by further considering the object attribute information for each of the objects included in the learning image.

본 발명의 다른 측면에 따른 차량 식별 학습 데이터 생성 시스템은, 복수의 촬영 영상을 수신받는 영상 입력 모듈, 수신된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상을 추출하는 영상 추출 모듈, 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보를 검출하는 객체 검출 모듈, 상기 입력 영상의 상기 객체 정보를 기반으로 상기 입력 영상을 분류하고, 상기 입력 영상 중 상기 객체 학습 모델에 학습될 학습 영상을 선별하는 입력 영상 정제 모듈, 상기 학습 데이터 생성 장치가 상기 학습 영상에 포함되는 상기 객체 정보 및 상기 학습 영상이 분류된 분류 정보를 사용자에게 출력하고, 상기 사용자가 상기 객체 정보 및 상기 분류 정보를 보정하는 사용자 인터페이스 모듈,A vehicle identification learning data generation system according to another aspect of the present invention includes an image input module for receiving a plurality of captured images, an image extraction module for extracting an input image from among the received captured images in units of preset speeds, and a pre-learned object. An object detection module that detects object information corresponding to each object included in the input image based on a learning model, classifies the input image based on the object information of the input image, and learns the object from the input image An input image refinement module that selects a learning image to be learned by the model, and the learning data generating device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user receives the object information and a user interface module for correcting the classification information.

상기 객체 정보 및 상기 분류 정보가 보정된 상기 학습 영상을 저장하는 저장 모듈을 포함하는 학습 데이터 생성 장치를 포함한다.and a learning data generating device including a storage module for storing the learning image in which the object information and the classification information are corrected.

또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 복수의 상기 입력 영상을 복수의 객체 추적 영상으로 추출하는 객체 추적 모듈을 포함하고 상기 객체 추적 모듈은, 기 설정된 품질 기준을 기반으로 추적된 객체가 포함된 복수의 상기 객체 추적 영상의 품질을 판단하고, 복수의 상기 객체 추적 영상 중 영상 품질이 높은 객체 추적 영상을 추적된 객체의 학습 영상으로 추출할 수 있다.In addition, the input image refinement module includes an object tracking module that continuously tracks the object included in the input image and extracts a plurality of input images in which the same object exists as a plurality of object tracking images, The object tracking module determines the quality of the plurality of object tracking images including the tracked object based on a preset quality criterion, and selects an object tracking image having a high image quality from among the plurality of object tracking images. It can be extracted as a learning image.

또한, 상기 객체 추적 모듈은, 상기 학습 영상과 동일한 객체가 촬영된 기 설정된 품질 기준 미만의 상기 객체 추적 영상을 보조 학습 영상으로 추출하고, 상기 저장 모듈은, 상기 학습 영상의 동일한 객체가 촬영된 저품질 입력 영상인 상기 보조 학습 영상을 저장할 수 있다.In addition, the object tracking module extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image, and the storage module is configured to extract a low-quality object in which the same object of the learning image is captured. The auxiliary training image, which is an input image, may be stored.

또한, 상기 입력 영상 정제 모듈은, 상기 입력 영상에 포함된 각각의 상기 객체의 가려짐 비율을 판단하고, 판단된 상기 가려짐 비율에 기초하여 상기 입력 영상을 분류하는 객체 영역 분류 모듈을 포함하고, 상기 객체 영역 분류 모듈은, 각각의 상기 객체마다 형성되는 상기 객체 정보의 객체 영역 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.The input image refinement module includes an object region classification module for determining an occlusion rate of each object included in the input image and classifying the input image based on the determined occlusion rate; The object region classification module may determine an occlusion rate based on an overlapping rate between object regions of the object information formed for each object.

또한, 상기 객체 정보는, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보 및 상기 입력 영상 상에 형성되는 상기 객체에 대한 영역인 객체 영역을 포함하고, 상기 객체 검출 모듈은, 상기 기 학습된 객체 학습 모델을 기반으로 상기 입력 영상에 포함된 상기 객체가 차량 객체일 경우, 상기 객체 속성 정보 및 상기 객체 영역을 포함하는 상기 객체 정보를 검출하되, 상기 객체 속성 정보는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보 및 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역을 포함할 수 있다.In addition, the object information includes object attribute information in which the attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region, which is an area for the object formed on the input image. and wherein the object detection module detects the object information including the object attribute information and the object area when the object included in the input image is a vehicle object based on the pre-learned object learning model; , The object property information includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of a license plate object included in the vehicle object is classified, and the object area includes the vehicle A first object area that is an area for an object and a second object area that is an area for the license plate object included in the vehicle object may be included.

또한, 상기 입력 영상 정제 모듈은 상기 입력 영상에 포함된 상기 객체 정보 중 상기 객체 정보가 식별되지 않는 상기 입력 영상을 희소 정보 영상으로 추출하고, 상기 희소 정보 영상에 포함된 상기 객체의 상기 객체 정보를 입력받아, 상기 학습 영상으로 추출하는 희소 정보 영상 추출 모듈을 포함할 수 있다.In addition, the input image refinement module extracts the input image for which the object information is not identified among the object information included in the input image as a sparse information image, and extracts the object information of the object included in the sparse information image. It may include a sparse information image extraction module that receives an input and extracts it as the learning image.

또한, 상기 입력 영상 정제 모듈은, 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상으로 추출하고, 상기 학습 영상을 동일한 상기 객체 정보 별로 분류하는 객체 영상 모듈을 포함할 수 있다.In addition, the input image refinement module may include an object image module for extracting a plurality of input images including the same object information as training images and classifying the training images according to the same object information.

또한, 상기 차량 식별 학습 데이터 생성 시스템은, 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 상기 학습 데이터 생성 장치에 제공하는 외부 서버;를 포함하고, 상기 외부 서버로 상기 학습 영상이 촬영된 위치 정보 및 시간 정보를 송신하고, 상기 외부 서버는 상기 학습 데이터 생성 장치에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 상기 학습 데이터 생성 장치가 상기 학습 영상의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 상기 학습 영상을 보정하는 학습 영상 보정 모듈을 더 포함할 수 있다.In addition, the vehicle identification learning data generation system includes an external server that stores environment information related to a time and location at which an image was captured and provides the environment information to the learning data generation device, and the external server stores the environment information. The location information and time information at which the learning video was captured are transmitted, the external server provides the environment information based on the location information and the time information received by the learning data generating device, and the learning data generating device A learning image correction module for correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image may be further included.

또한, 상기 학습 영상 보정 모듈은, 상기 학습 영상에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보를 더 고려하여 상기 학습 영상을 보정할 수 있다.In addition, the learning image correction module may correct the learning image by further considering the object attribute information for each of the objects included in the learning image.

제안되는 실시예에 의하면, 신뢰성 있는 라벨링 대상의 학습용 영상을 선정하여 학습시킴으로써, 적은 영상 데이터 만으로 차량의 통합 관제(모니터링, 객체 검출 및 위치 추적) 시 객체 정보 검출의 정확성을 향상시킬 수 있는 장점이 있다. According to the proposed embodiment, the advantage of improving the accuracy of object information detection during vehicle integrated control (monitoring, object detection and location tracking) with only a small amount of image data is achieved by selecting and learning a reliable learning image for labeling. there is.

도 1은 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.
도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.
도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.
도 4는, 학습 데이터 생성 장치(100)가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.
도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 차량 식별 학습 데이터 생성 시스템을 보여주는 도면이다.1 is a flowchart illustrating a method for generating vehicle identification learning data according to an embodiment of the present invention.
FIG. 2 is a flowchart showing in detail an image refinement step in the vehicle identification learning data generating method of FIG. 1 .
3 is a diagram showing a learning image extracted based on an input image in the learning data generating device.
4 is a diagram illustrating a process in which the learning data generating apparatus 100 tracks a vehicle object output on an input image.
5 is a diagram showing a vehicle identification learning data generating system for performing the vehicle identification learning data generating method of FIG. 1 .

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although first, second, etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Therefore, of course, the first component mentioned below may also be the second component within the technical spirit of the present invention.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numbers designate like elements throughout the specification.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.

한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인 바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.On the other hand, the potential effects that can be expected by the technical features of the present invention that are not specifically mentioned in the specification of the present invention are treated as described in the present specification, and this embodiment is intended for those with average knowledge in the art. As it is provided to explain the present invention more completely, the contents shown in the drawings may be exaggerated compared to the actual implementation of the invention, and a detailed description of the configuration that is determined to unnecessarily obscure the subject matter of the present invention. are omitted or briefly described.

이하에서는 첨부되는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은, 본 발명의 일 실시예에 따른 차량 식별 학습 데이터 생성 방법을 보여주는 순서도이다.1 is a flowchart illustrating a method of generating vehicle identification learning data according to an embodiment of the present invention.

도 1를 참조하면, 차량 식별 학습 데이터 생성 방법은 영상 획득 단계(S100), 입력 영상 추출 단계(S200), 객체 검출 단계(S300), 입력 영상 정제 단계(S400), 데이터 보정 단계(S500), 학습 영상 보정 단계(S600) 및 학습 영상 저장 단계(S700)를 포함한다.Referring to FIG. 1, the vehicle identification learning data generation method includes an image acquisition step (S100), an input image extraction step (S200), an object detection step (S300), an input image refinement step (S400), a data correction step (S500), It includes a learning image correction step (S600) and a learning image storage step (S700).

먼저, 학습 데이터 생성 장치(100)가 복수의 촬영 영상을 수신받는 영상 획득 단계(S100)가 수행된다.First, an image acquisition step (S100) of receiving a plurality of captured images by the learning data generating apparatus 100 is performed.

이때, 학습 데이터 생성 장치(100)는 차량을 촬영하는 촬영 장치 또는 촬영 모듈을 포함하는 사용자 디바이스로부터 차량 객체가 포함된 복수의 촬영 영상을 수신 받을 수 있다.In this case, the learning data generating apparatus 100 may receive a plurality of captured images including a vehicle object from a user device including a photographing device or a photographing module for photographing a vehicle.

상기 촬영 영상은 영상 학습이 가능한 일정 품질로 구성된 영상일 수 있다.The photographed image may be an image composed of a certain quality capable of image learning.

그 다음, 학습 데이터 생성 장치(100)가 수신된 촬영 영상(C) 중 기 설정된 속도 단위로 입력 영상(I)을 추출하는 입력 영상 추출 단계(S200)가 수행된다.Next, an input image extraction step ( S200 ) of extracting an input image (I) from the received captured image (C) by the learning data generating apparatus 100 is performed in a preset speed unit.

이때, 상기 기설정된 속도 단위는 30 fps일 수 있으며, 많은 학습 영상이 필요하거나, 다양한 시나리오별 학습 영상을 추출하기 위하여 초당 프레임별 속도가 사용자에 의해 가감이 조절될 수 있다.In this case, the preset speed unit may be 30 fps, and the speed per frame per second may be adjusted up or down by the user to extract a large number of training images or to extract training images for various scenarios.

그 다음, 학습 데이터 생성 장치(100)가 인공지능 알고리즘을 이용한 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 각각의 객체의 객체 정보(O)를 검출하는 객체 검출 단계(S300)가 수행된다.Next, an object detection step in which the learning data generating apparatus 100 detects object information O of each object included in the input image I based on the object learning model M _L using an artificial intelligence algorithm ( S300) is performed.

상기 객체 학습 모델(M_L)은 CNN, Faster R-CNN, R-CNN, YOLO, MASK-FCN 등과 같이 임의의 컨볼루션 신경망 알고리즘을 기초로 한 다양한 학습 모델이 사용될 수 있다.As the object learning model M _L , various learning models based on arbitrary convolutional neural network algorithms such as CNN, Faster R-CNN, R-CNN, YOLO, and MASK-FCN may be used.

상세하게는, 객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)는 차량 객체의 객체 영역(O_R) 및 객체 속성 정보(O_A)를 검출하기 위하여 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여, 이전까지 학습되어진 인공지능 알고리즘 기반의 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 객체 정보(O)를 검출할 수 있다.In detail, in the object detection step (S300), the learning data generating apparatus 100 uses the input image (I) as a pre-learned object in order to detect the object region (O _R ) and object attribute information (O _A ) of the vehicle object. Object information (O) included in the input image (I) may be detected based on the object learning model (M _L ) based on the artificial intelligence algorithm that has been learned before by inputting the input to the learning model (M _L ).

이때, 객체 정보(O)는 상기 객체 학습 모델(M_L)을 기반으로 상기 입력 영상에 포함된 상기 객체의 속성이 분류된 객체 속성 정보(O_A) 및 입력 영상(I) 상에 형성되는 객체 영역(O_R)을 포함할 수 있다.At this time, the object information (O) is the object property information (O _A ) in which the attributes of the object included in the input image are classified based on the object learning model (M _L ) and an object formed on the input image (I) It may include the region O _R .

예시적으로, 객체 영역(O_R)은 직사각형 형태의 바운딩 박스 영역으로 설정될 수 있으며, 이에 한정하지 않고 좌표계로 설정된 입력 영상(I) 상의 부분 영역일 수 있다.Illustratively, the object region 0 _R may be set as a rectangular bounding box region, but is not limited thereto and may be a partial region on the input image I set as a coordinate system.

객체 검출 단계(S300)에서 상기 학습 데이터 생성 장치가 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(O_A) 및 객체 영역(O_R)을 포함하는 객체 정보(O)를 검출할 수 있으나, 이때, 객체 속성 정보(O_A)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(O_A2)를 포함하고, 상기 객체 영역은, 상기 차량 객체에 대한 영역인 제1 객체 영역(O_R1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(O_R2)을 포함할 수 있다.In the object detection step (S300), the learning data generating device, based on the pre-learned object learning model (M _L ), when the object included in the input image (I) is a vehicle object, object attribute information (O _A ) And object information (O) including the object area (O _R ) may be detected, but at this time, the object property information (O _A ) includes first object property information (O _A1 ) in which the property of the vehicle object is classified, and second object property information (O _A2 ) of a license plate object of the vehicle object, and the object area includes a first object area (O _R1 ) corresponding to the vehicle object and the license plate object included in the vehicle object It may include a second object area O _R2 , which is an area for .

예시적으로, 객체 속성 정보(O_A)는 판별되는 객체가 차량일 경우, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1)는 차량 제조사, 차량 모델, 차량 유형, 차량 색상 및 차량 방향 중 적어도 하나의 검출된 결과일 수 있으며, 상기 차량 객체에 포함되는 번호판 객체의 속성이 분류된 제2 객체 속성 정보(O_A2)는, 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나의 검출된 결과일 수 있다.Exemplarily, the object attribute information (O _A ), when the object to be determined is a vehicle, the first object attribute information (O _A1 ) in which the attribute of the vehicle object is classified is the vehicle manufacturer, vehicle model, vehicle type, vehicle color, and It may be a detected result of at least one of the vehicle directions, and the second object property information (O _A2 ) in which the properties of the license plate object included in the vehicle object are classified is at least one of a license plate color, a license plate number, and a license plate pattern. It may be a detected result.

객체 검출 단계(S300)에서 학습 데이터 생성 장치(100)가 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)의 차량 객체의 객체 정보와, 상기 차량 객체에 포함되는 번호판 객체의 객체 정보를 검출하고, 객체가 검출된 입력 영상(I)을 정제하여 학습 영상(I_L)으로 추출함으로써, 차량 객체와 상기 차량 객체의 번호판 객체가 각각 독립적으로 객체 인식이 되는 경우를 방지할 수 있다.In the object detection step (S300), the learning data generating apparatus 100 provides object information of the vehicle object of the input image I based on the pre-learned object learning model M _L and the license plate object included in the vehicle object. By detecting the object information of the object, refining the input image (I) in which the object is detected, and extracting the learning image ( _IL ), it is possible to prevent the case where the vehicle object and the license plate object of the vehicle object are independently recognized. can

따라서, 차량 객체와 상기 차량 객체의 번호판 객체가 그룹화(grouping)된 학습 데이터를 기반으로 객체 학습 모델(M_L)에 학습시킴으로써, 상기 차량 및 차량에 대한 번호판 정보 검출이 용이할 수 있다.Therefore, by learning the object learning model (M _L ) based on learning data in which a vehicle object and a license plate object of the vehicle object are grouped, it is possible to easily detect the vehicle and license plate information about the vehicle.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)의 객체 정보(O)를 기반으로 입력 영상(I)의 분류하고, 입력 영상(I) 중 객체 학습 모델(M_L)에 학습될 학습 영상(I_L)을 추출하는 입력 영상 정제 단계(S400)가 수행된다.Next, the learning data generation apparatus 100 classifies the input image (I) based on the object information (O) of the input image (I), and learns the object learning model (M _L ) of the input image (I). An input image refinement step (S400) of extracting the training image (I _L ) is performed.

입력 영상 정제 단계(S400)에서, 학습 데이터 생성 장치(100)가 자동적으로 입력 영상(I)의 전처리 및 입력 영상(I) 중 객체에 대한 고품질 영상을 학습 영상(I_L)으로 선별하여 추출함으로써, 학습 영상(I_L)이 학습될 객체 학습 모델(M_L)의 객체 분류 및 객체 검출의 정확도를 강화할 수 있다.In the input image refinement step (S400), the training data generating apparatus 100 automatically pre-processes the input image (I) and selects and extracts a high-quality image of the object from the input image (I) as the training image ( _IL ). , object classification and object detection accuracy of the object learning model (M _L ) to be learned from the training image ( _IL ) can be enhanced.

그 다음, 학습 데이터 생성 장치(100)가 학습 영상(I_L)에 포함되는 객체 정보(O) 및 분류된 학습 영상(I_L)의 분류 정보를 사용자에게 출력하고, 상기 사용자가 객체 정보(O) 및 상기 분류 정보를 보정하는 데이터 보정 단계(S500)가 수행된다.Next, the learning data generating device 100 outputs object information (O) included in the learning _image (IL ) and classification information of the classified learning image ( _IL ) to the user, and the user receives the object information (O ) and a data correction step (S500) of correcting the classification information is performed.

데이터 보정 단계(S500)에서, 학습 데이터 생성 장치(100)가 사용자에게 학습 영상(I_L)의 객체 정보(O) 및 상기 분류 정보를 제공함으로써, 상기 사용자는 학습 영상(I_L)의 기계적으로 잘못 분류된 객체 정보(O) 및 상기 분류 정보를 수정할 수 있다.In the data correction step (S500), the learning data generating apparatus 100 provides the user with the object information O of the learning _{image IL} and the classification information, so that the user can mechanically modify the training image _IL . Misclassified object information O and the classification information may be corrected.

그 다음, 학습 데이터 생성 장치(100)가 외부 서버(200)로 상기 학습 영상(I_L)이 촬영된 위치 정보 및 시간 정보를 송신하고, 외부 서버(200)는 학습 데이터 생성 장치(100)에 수신된 상기 위치 정보 및 상기 시간 정보를 기반으로 상기 환경 정보를 제공하며, 학습 데이터 생성 장치(100)가 학습 영상(I_L)의 상기 위치 정보 및 상기 시간 정보에 대응하는 상기 환경 정보를 기반으로 학습 영상(I_L)을 보정하는 학습 영상 보정 단계(S600)을 수행할 수 있다.Then, the learning data generating device 100 transmits location information and time information at which the learning image _IL was captured to the external server 200, and the external server 200 sends the learning data generating device 100 The environment information is provided based on the received location information and the time information, and the learning data generating device 100 provides the location information of the learning image _IL based on the environment information corresponding to the time information. A learning image correction step (S600) of correcting the learning image ( _IL ) may be performed.

이때, 차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 상기 환경 정보를 저장하는 외부 서버(200)를 포함하여, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.At this time, the vehicle identification learning data generation system 10 includes an external server 200 that stores the environment information related to the time and location at which the video was captured, and provides the environment information to the learning data generation device 100. can

학습 영상 보정 단계(S600)에서, 학습 데이터 생성 장치(100)가 상기 학습 영상(I_L)에 포함된 각각의 상기 객체에 대한 객체 속성 정보(O_A)를 더 고려하여 상기 객체의 학습 영상(I_L)을 보정함으로써, 차량 객체 또는 번호판 객체마다 가지고 있는 특성에 맞게 학습 영상이 보정되어, 보다 정확한 학습 영상(I_L)을 객체 학습 모델(M_L)에 제공할 수 있다.In the learning image correction step (S600), the learning data generation apparatus 100 further considers the object property information (0 _A ) of each of the objects included in the learning image ( _IL ), and the learning image of the object ( By correcting I _L ), the learning image is corrected according to the characteristics of each vehicle object or license plate object, and a more accurate learning image _IL can be provided to the object learning model M _L .

그 다음, 학습 데이터 생성 장치(100)가 객체 정보(O) 및 상기 분류 정보가 보정된 복수의 학습 영상(I_L)을 저장하는 학습 영상 저장 단계(S700)가 수행된다.Next, a learning image storage step ( S700 ) is performed in which the learning data generating apparatus 100 stores object information O and a plurality of learning images _IL in which the classification information is corrected.

학습 영상 저장 단계(S700)에서 학습 데이터 생성 장치(100)는 복수의 학습 영상(I_L)을 저장하고, 학습 영상(I_L)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(I_AL)을 함께 저장할 수 있다.In the learning image storage step (S700), the learning data generation apparatus 100 stores a plurality of learning images IL, and the auxiliary learning _image I _AL is a low-quality input image in which the same object of the learning image _IL is captured. ) can be stored together.

객체가 포함된 학습 영상(I_L) 및 동일한 객체가 촬영된 저품질 입력 영상을 함께 저장하고, 상기 학습 영상(I_L) 및 상기 저품질 입력 영상인 보조 학습 영상(I_AL)을 객체 학습 모델(M_L)에 학습시킴으로써, 학습 영상(I_L)에 대한 객체 정보(O)의 정확도를 높일 수 있는 장점이 있다.A training image ( _IL ) including an object and a low-quality input image in which the same object is photographed are stored together, and the training image ( _IL ) and the auxiliary training image (I _AL ), which is the low-quality input image, are stored together with the object learning model (M _L ) has the advantage of increasing the accuracy of the object information (O) for the learning image ( _IL ).

또한, 학습 영상 저장 단계(S700)에서 학습 영상 보정 단계(S600)를 통해 생성된 보정된 학습 영상(I_L)을 추가적으로 저장함으로써, 정확한 객체 정보를 포함하는 학습 영상(I_L)을 기반으로 증강된 데이터를 저장하여, 객체 학습 모델(M_L)에 제공할 수 있다 In addition, by additionally storing the corrected learning image ( _IL ) generated through the learning image correction step (S600) in the learning image storage step (S700), augmentation based on the learning image ( _IL ) including accurate object information. Save the data and provide it to the object learning model (M _L )

도 2는, 도 1의 차량 식별 학습 데이터 생성 방법 중 영상 정제 단계를 상세하게 보여주는 순서도이다.FIG. 2 is a flowchart showing in detail an image refinement step in the vehicle identification learning data generating method of FIG. 1 .

도 2를 참조하면, 영상 정제 단계(S400)는 객체 영역 분류 단계(S410), 객체 추적 단계(S420), 추적 객체 품질 판단 단계(S430), 추적 객체 추출 단계(S440), 희소 정보 영상 추출 단계(S450) 및 객체별 영상 분류 단계(S460)를 포함한다.Referring to FIG. 2, the image refinement step (S400) includes object region classification step (S410), object tracking step (S420), tracking object quality determination step (S430), tracking object extraction step (S440), sparse information image extraction step. (S450) and an image classification step for each object (S460).

먼저, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류하는 입력 영상 분류 단계(S410)가 수행된다.First, an input image classification step (S410) in which the training data generating apparatus 100 determines the occlusion rate of objects included in the input image (I) and classifies the input image (I) based on the determined occlusion rate. is performed

상세하게는, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 각각의 객체마다 형성되는 객체 정보(O)의 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.In detail, in the input image classification step (S410), the learning data generating apparatus 100 determines the occlusion ratio based on the overlapping ratio between the object regions 0 _R of the object information O formed for each object. can judge

이에 한정하지 않고, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는, 영상 분할 알고리즘을 기반으로 각각의 객체의 관심 영역인 객체 영역(O_R)을 분할을 수행하고, 상기 분할된 객체 영역과 객체 학습 모델(M_L)과의 비교 또는 객체마다 형성되는 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.Without being limited thereto, in the input image classification step (S410), the learning data generating apparatus 100 divides the object region 0 _R , which is the region of interest of each object, based on the image segmentation algorithm, and performs the division. The occlusion ratio may be determined based on a comparison between the occluded object region and the object learning model ( _M _L ) or an overlap ratio between the object regions (OR ) formed for each object.

이때, 영상 분할 알고리즘은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등의 알고리즘일 수 있다.In this case, the image segmentation algorithm may be an algorithm such as semantic segmentation or instance segmentation technology.

또한, 입력 영상 분류 단계(S410)에서, 학습 데이터 생성 장치(100)는 판단된 상기 가려짐 비율을 기초하여 입력 영상(I)을 분류할 수 있다.Also, in the input image classification step ( S410 ), the learning data generating apparatus 100 may classify the input image I based on the determined occlusion ratio.

예시적으로, 학습 데이터 생성 장치(100)가 입력 영상(I) 상의 객체에 해당하는 객체 영역(O_R)의 가려짐 비율이 80% 이상으로 판단될 경우, 입력 영상(I) 상의 객체는'가려진 객체'로 분류될 수 있으며, 객체 영역(O_R)의 가려짐 비율이 50% 이상 및 80% 미만일 경우, 입력 영상(I) 상의 객체는'겹친 객체'로 분류할 수 있다.Exemplarily, when the learning data generating apparatus 100 determines that the occlusion rate of the object region O _R corresponding to the object on the input image I is 80% or more, the object on the input image I is ' It may be classified as an 'occluded object', and if the occlusion rate of the object region ( _OR ) is greater than 50% and less than 80%, the object on the input image (I) may be classified as an 'overlapping object'.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 객체 추적 영상(I_T)으로 추출하는 객체 추적 단계(S420)가 수행된다.Next, the learning data generation device 100 continuously tracks the object included in the input image I, and extracts the input images I in which the object is the same as the object tracking image I _T . An object tracking step (S420) is performed.

이때, 객체 추적 영상(I_T)은 입력 영상(I)에 포함된 상기 객체를 연속적으로 추적하여, 추적되는 상기 객체가 동일하게 존재하는 복수의 입력 영상(I)이다.In this case, the object tracking image I _T is a plurality of input images I in which the object included in the input image I is continuously tracked and the tracked object exists identically.

객체 추적 단계(S420)에서, 학습 데이터 생성 장치(100)는 객체의 특징이 잘 표현된 고품질의 영상을 학습하기 위하여 시계열적으로 입력 영상(I)을 분석하여, 동일한 객체가 존재하는 입력 영상을 선별하여 객체 추적 영상(I_T)들을 추출할 수 있다.In the object tracking step (S420), the learning data generating apparatus 100 analyzes the input image I in a time-sequential manner in order to learn a high-quality image in which the characteristics of the object are well expressed, and selects an input image in which the same object exists. Object tracking images (I _T ) may be extracted by selection.

그 다음, 학습 데이터 생성 장치(100)가 기 설정된 품질 기준(Q)을 기반으로 추적된 객체가 포함된 복수의 객체 추적 영상(I_T)의 품질을 판단하는 추적 객체 품질 판단 단계(S430)가 수행될 수 있다.Next, a tracked object quality determination step (S430) in which the learning data generating device 100 determines the quality of a plurality of object tracking images (I _T ) including the tracked object based on a preset quality criterion (Q) is performed. can be performed

상세하게는, 추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)는 품질 기준(Q)에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 각각의 객체 추적 영상(I_T)의 영상 품질을 분류할 수 있다.In detail, in the tracking object quality determination step (S430), the learning data generating device 100 determines "0 level: lowest, 1 level: low, 2 level: low, 3 level: medium," according to the quality criterion (Q). The image quality of each object tracking image (I _T ) may be classified as “4 level: good, 5 level: best”.

이때, 품질 기준(Q)은 사용자가 기 설정한 객체 추적 영상(I_T)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.In this case, the quality criterion Q may be a criterion based on at least one of the resolution and noise level (afterimage, ghost image) of the object tracking image I _T previously set by the user.

학습 데이터 생성 장치(100)는 객체 추적 영상(I_T)에 포함되는 객체 정보(O)의 상기 객체 영역(O_R)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(I_T)을 분류할 수 있으나, 이에 한정하지 않고, 객체 추적 영상(I_T)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 객체 추적 영상(I_T)을 분류할 수 있다.The learning data generation apparatus 100 determines the resolution and noise level of the object region O _R of the object information O included in the object tracking image I _T and determines the quality standard Q based on the predetermined quality standard. The object tracking image (I _T ) may be classified according to the object tracking image (I T ), but the object tracking image (I _T ) is not limited thereto. The tracking image (I _T ) can be classified.

추적 객체 품질 판단 단계(S430)에서, 학습 데이터 생성 장치(100)가 품질 기준(Q)에 기초하여 동일한 객체의 영상 품질을 결정함으로써, 학습 데이터 생성 장치(100)가 동일한 객체가 포함되는 입력 영상 중 고품질의 입력 영상(I)을 학습 영상(I_L)으로 추출할 수 있다.In the tracking object quality determination step (S430), the learning data generating apparatus 100 determines the image quality of the same object based on the quality criterion Q, so that the learning data generating apparatus 100 determines the input image including the same object. A high-quality input image (I) may be extracted as a training image ( _IL ).

그 다음, 학습 데이터 생성 장치(100)가 객체 추적 영상(I_T) 중 영상 품질이 높은 객체 추적 영상을 추적된 상기 객체의 학습 영상(I_L)으로 추출하는 추적 객체 추출 단계(S440)가 수행될 수 있다.Next, a tracked object extraction step (S440) of the learning data generation device 100 extracting an object tracking image having a high image quality among the object tracking images (I _T ) as a learning image ( _IL ) of the tracked object is performed. It can be.

이때, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 동일한 객체를 포함하는 입력 영상 중 적어도 하나의 영상 품질이 높은 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.At this time, in the step of extracting the tracking object ( S440 ), the learning data generating apparatus 100 may extract at least one input image having a high image quality among input images including the same object as the training image _IL .

또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 사용자가 설정한 기 설정된 품질 기준(Q)에 기초하여 영상 품질이 높은 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.In addition, in the tracking object extraction step (S440), the learning data generating apparatus 100 may extract an input image having high image quality as a learning image _IL based on a preset quality criterion Q set by a user. there is.

예시적으로, 사용자가 학습 영상(I_L)으로 적절하다고 판단되는 입력 영상(I)의 품질 기준(Q)을 설정하고, 입력 영상(I) 중 상기 품질 기준(Q)의 이상을 가지는 입력 영상을 추출하여 학습 영상(I_L)으로 결정할 수 있다.Exemplarily, a user sets a quality criterion (Q) of an input image (I) that is determined to be suitable as a learning image ( _IL ), and an input image having more than the quality criterion (Q) among the input images (I) Can be extracted and determined as a training image ( _IL ).

또한, 추적 객체 추출 단계(S440)에서, 학습 데이터 생성 장치(100)는 상기 학습 영상(I_L)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 입력 영상(I)을 보조 학습 영상(I_AL)으로 추출할 수 있다.In addition, in the step of extracting the tracking object (S440), the learning data generating apparatus 100 converts the input image (I) of the same object as the training image ( _IL ) below the preset quality criterion (Q) into an auxiliary learning image. (I _AL ) can be extracted.

따라서, 상기 보조 학습 영상(I_AL)을 추출된 학습 영상(I_L)의 데이터를 백데이터(Backdata)로 사용함으로써, 동일한 객체가 촬영된 고품질의 학습 영상(I_L)에 대한 객체 정보(O)의 검출 정확도를 높일 수 있는 장점이 있다.Therefore, by using the data of the training image ( _IL ) extracted from the auxiliary training _image (I _AL ) as back data, object information (O ) has the advantage of increasing the detection accuracy.

그 다음, 학습 데이터 생성 장치(100)가 입력 영상(I)에 포함된 상기 객체 정보 중 객체 정보(O)가 식별되지 않는 입력 영상(I)을 희소 정보 영상으로 추출하는 희소 정보 영상 추출 단계(S450)가 수행될 수 있다.Next, a sparse information image extraction step in which the learning data generation apparatus 100 extracts an input image (I) in which object information (O) is not identified among the object information included in the input image (I) as a sparse information image ( S450) may be performed.

이때, 희소 정보 영상 추출 단계(S450)에서 추출된 상기 희소 정보 영상에 포함된 객체의 객체 정보(O)를 입력받아 학습 영상(I_L)으로 추출할 수 있다. At this time, the object information (O) of the object included in the sparse information image extracted in the sparse information image extraction step (S450) may be input and extracted as a learning image ( _IL ).

이때, 객체 정보(O)는 사용자 또는 외부 데이터베이스로부터 상기 희소 정보 영상에 대한 객체 정보(O)를 입력 받을 수 있다.At this time, the object information (O) may receive object information (O) for the sparse information image from a user or an external database.

희소 정보 영상 추출 단계(S450)에서, 학습 데이터 생성 장치(100)가 기존 객체 학습 모델(M_L)에 학습되지 않았거나 또는 소량으로 학습된 희소 정보(Sparse Information)를 포함하는 입력 영상(I)을 객체 학습 모델(M_L)에 학습이 필요한 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상의 객체 정보를 보강하여 학습 영상(I_L)으로 추출할 수 있다.In the step of extracting the sparse information image (S450), the learning data generating device 100 extracts an input image (I) including sparse information that has not been learned in the existing object learning model (M _L ) or has been learned in a small amount. may be determined as the sparse information image requiring learning in the object learning model (M _L ), and object information of the sparse information image may be reinforced and extracted as a learning image ( _IL ).

그 다음, 학습 데이터 생성 장치(100)가 동일한 객체 정보를 포함하는 복수의 입력 영상을 학습 영상(I_L)으로 추출하고, 학습 영상(I_L)을 동일한 객체 정보 별로 분류하는 객체별 영상 분류 단계(S460)가 수행된다.Next, an image classification step for each object in which the learning data generation apparatus 100 extracts a plurality of input images including the same object information as training images ( _IL ) and classifies the learning images ( _IL ) according to the same object information. (S460) is performed.

예시적으로, 객체별 영상 분류 단계(S460)에서 학습 데이터 생성 장치(100)가 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상을 학습 영상(I_L)으로 추출할 수 있으며, 추출한 학습 영상(I_L)을 동일한 객체 정보 별로 분류할 수 있다.Exemplarily, in the image classification step for each object (S460), the learning data generating device 100 extracts input images of the same object from different directions (rear, front, left and right, etc.) as a learning image ( _IL ). And, the extracted learning image ( _IL ) can be classified according to the same object information.

도 3은, 학습 데이터 생성 장치에서 입력 영상을 기반으로 추출된 학습 영상을 보여주는 도면이다.3 is a diagram showing a learning image extracted based on an input image in the learning data generating device.

도 3을 참조하면, 학습 데이터 생성 장치(100)는 입력 영상(I)의 각각의 객체에 대한 정보를 검출할 수 있다.Referring to FIG. 3 , the learning data generating apparatus 100 may detect information about each object of the input image I.

이때, 학습 데이터 생성 장치(100)는 촬영된 상기 촬영 영상 중 기 설정된 속도 단위로 입력 영상(I)을 추출하고, 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여 추출된 입력 영상(I) 상에 나타나는, 객체에 대한 속성 정보인 객체 속성 정보(O_A) 및 입력 영상(I) 중 객체에 대응하는 영역인 객체 영역(O_R)을 포함하는 객체 정보(O)를 검출할 수 있다.At this time, the learning data generating apparatus 100 extracts an input image I from the captured images in a predetermined speed unit, and inputs the input image I to a pre-learned object learning model M _L for extraction. Object information (O) including object property information (O _A ), which is attribute information about an object, and object area (O _R ), which is a region corresponding to an object in the input image (I), appearing on the input image (I) can be detected.

이때, 학습 데이터 생성 장치(100)는 입력 영상(I)상에 존재하는 객체의 객체 정보(O)를 기반으로 입력 영상(I) 중 상기 객체 학습 모델(M_L)에 학습이 필요한 입력 영상(I)을 학습 영상(500)을 추출할 수 있다.At this time, the learning data generating apparatus 100 is an input image (which requires learning for the object learning model (M _L ) of the input image (I) based on the object information (O) of the object existing on the input image (I). I) can extract the training image 500.

학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체(600, 700)에 해당하는 영역 상에 객체 영역(601, 602, 701, 702)을 생성할 수 있다.The training data generating apparatus 100 may generate object areas 601 , 602 , 701 , and 702 on areas corresponding to the objects 600 and 700 included in the training image 500 .

이때, 객체 영역(601, 602, 701, 702)은 바운딩 박스(Bounding Box)형태로 생성될 수 있으나, 이에 한정되지 않고, 인식된 객체를 학습하기 위한 다양한 형태로 생성될 수 있다.In this case, the object areas 601, 602, 701, and 702 may be created in the form of a bounding box, but are not limited thereto and may be created in various forms for learning the recognized object.

학습 데이터 생성 장치(100)는 학습 영상(500) 상의 객체(600, 700)가 차량 객체일 경우, 차량 객체의 영상 영역인 제1 객체 영역(601, 701) 및 제1 객체 영역(601, 701)이 생성되는 상기 차량 객체의 번호판에 대한 영상 영역인 제2 객체 영역(602, 702)을 검출하여 학습 영상(500) 상에 생성될 수 있다. 이때, 객체 영역(601, 602, 701, 702)은, 입력 영상(I)을 기 학습된 객체 학습 모델(M_L)에 입력하여 생성되는 객체(600, 700)의 객체 영역이며, 입력 영상(I)이 학습이 필요한 학습 영상(500)으로 추출될 경우, 학습 데이터 생성 장치(100)는 사용자에게 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)이 생성된 학습 영상(500)을 출력하여, 상기 사용자가 학습 영상(500)상에 생성된 각각의 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)의 객체 정보(O)를 수정할 수 있다.When the objects 600 and 700 on the learning image 500 are vehicle objects, the learning data generating apparatus 100 includes first object regions 601 and 701 that are image regions of the vehicle object and first object regions 601 and 701 ) may be generated on the learning image 500 by detecting the second object areas 602 and 702, which are image areas for the license plate of the vehicle object. At this time, the object regions 601, 602, 701, and 702 are object regions of the objects 600 and 700 generated by inputting the input image I to the pre-learned object learning model M _L , and the input image ( When I) is extracted as a learning image 500 requiring learning, the learning data generating device 100 provides the user with a learning image in which the first object regions 601 and 701 and the second object regions 602 and 702 are generated. By outputting 500, the user can modify object information O of each of the first object regions 601 and 701 and the second object regions 602 and 702 created on the learning image 500. .

상기 사용자가 학습 데이터 생성 장치(100)가 크롭한 객체 영역(O_R)인 제1 객체 영역(601, 701) 및 제2 객체 영역(602, 702)을 조정함으로써, 조정된 객체 영역이 반영된 학습 영상이 객체 학습 모델(M_L)에 학습되어, 객체 학습 모델(M_L)의 객체 인식률을 높일 수 있는 효과가 있다.The user adjusts the first and second object regions 601 and 701 and the second object regions 602 and 702, which are the object regions O _R cropped by the learning data generating apparatus 100, so that the adjusted object region is reflected in learning. The image is learned by the object learning model (M _L ), so that the object recognition rate of the object learning model (M _L ) can be increased.

또한, 학습 데이터 생성 장치(100)는 학습 영상(500)에 포함된 객체의 객체 속성 정보(미도시)를 표시할 수 있다.Also, the learning data generating device 100 may display object property information (not shown) of an object included in the learning image 500 .

학습 데이터 생성 장치(100)는 상기 학습 영상(500)과 함께 출력된 상기 학습 영상(500)에 포함된 객체(600, 700)의 객체 속성 정보(차량 정보 및 번호판 정보)를 확인하고, 잘못 분류된 정보 또는 잘못 입력된 정보가 존재할 경우, 사용자가 상기 객체 속성 정보를 수정하여, 올바른 상기 객체 속성 정보가 학습 영상(500)에 포함될 수 있다.The learning data generating device 100 checks the object attribute information (vehicle information and license plate information) of the objects 600 and 700 included in the learning image 500 output together with the learning image 500, and classifies them incorrectly. If incorrect or wrongly entered information exists, the user can modify the object property information and correctly include the object property information in the training image 500 .

도 4는, 학습 데이터 생성 장치가 입력 영상 상에 출력되는 차량 객체를 추적하는 과정을 도시한 도면이다.4 is a diagram illustrating a process of tracking a vehicle object output on an input image by an apparatus for generating learning data.

도 4(a) 내지 도 4(c)를 참조하면, 도 4(a) 내지 도 4(c)는 학습 데이터 생성 장치(100)가 동일한 객체가 촬영된 촬영 영상을 추출하여 시계열적으로 나열한 입력 영상(I)이다.Referring to FIGS. 4(a) to 4(c), FIGS. 4(a) to 4(c) are inputs in which the learning data generating apparatus 100 extracts captured images of the same object and arranges them in time series. This is the video (I).

학습 데이터 생성 장치(100)는 연속적으로 객체를 촬영한 상기 촬영 영상 중 기 설정된 속도 단위로 제1 입력 영상(FR1), 제2 입력 영상(FR2), 제3 입력 영상(FR3)을 추출할 수 있다.The learning data generating apparatus 100 may extract a first input image FR1, a second input image FR2, and a third input image FR3 from the photographed images in which the object is continuously photographed at a predetermined speed unit. there is.

학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 입력 영상(FR1, FR2, FR3)을 기반으로 객체(600)를 연속적으로 추적할 수 있다.The learning data generating device 100 may continuously track the object 600 based on the input images FR1 , FR2 , and FR3 including the same object 600 .

이때, 학습 데이터 생성 장치(100)는 동일한 객체(600)가 포함된 복수의 입력 영상(FR1, FR2, FR3)을 기반으로, 시계열적으로 연속되는 입력 영상(FR1, FR2, FR3)을 비교하여 객체를 추적할 수 있다.At this time, the learning data generating apparatus 100 compares input images FR1, FR2, and FR3 consecutive in time series based on a plurality of input images FR1, FR2, and FR3 including the same object 600, Objects can be tracked.

이때, 학습 데이터 생성 장치(100)는 복수의 입력 영상(FR1, FR2, FR3)을 객체 학습 모델(M_L)에 입력하여, 생성되는 객체(600)가 분류 결과 값인 객체 속성 정보(미도시) 및 입력 영상에 포함되는 객체 영역(611, 621, 631, 612, 622, 632)을 포함하는 객체 정보(O)를 생성할 수 있으며, 생성된 객체 정보(O)를 기반으로 각각의 입력 영상을 비교하여 객체를 추적할 수 있다.At this time, the learning data generation apparatus 100 inputs a plurality of input images FR1, FR2, and FR3 into the object learning model M _L , and the object 600 generated is object attribute information (not shown) that is a classification result value And object information (O) including the object regions (611, 621, 631, 612, 622, 632) included in the input image may be generated, and each input image may be generated based on the generated object information (O). Objects can be tracked by comparison.

예시적으로, 학습 데이터 생성 장치(100)는 제2 입력 영상(FR2)의 전후 영상인 제1 입력 영상(FR1)에 포함된 객체 정보(O)의 객체 영역(611, 612) 및 제3 입력 영상(FR3)에 포함된 객체 정보(O)의 객체 영역(631, 632) 중 적어도 하나를 제2 입력 영상(FR2)의 객체 정보(621, 622)를 비교하여 객체를 추적할 수 있다.Exemplarily, the learning data generating apparatus 100 includes the object regions 611 and 612 of object information O included in the first input image FR1 that is the image before and after the second input image FR2 and the third input image FR2. The object may be tracked by comparing at least one of the object areas 631 and 632 of the object information O included in the image FR3 with the object information 621 and 622 of the second input image FR2.

이에 한정하지 않고, 학습 데이터 생성 장치(100)는 객체 정보(O)를 기반으로 객체 추적 알고리즘, 칼만 필터, 템플릿 매칭, SIFT 등 알고리즘 또는 딥러닝 등의 방법을 이용하여 객체를 추적할 수 있다.Without being limited thereto, the learning data generation apparatus 100 may track an object based on the object information O using an algorithm such as an object tracking algorithm, a Kalman filter, template matching, or SIFT, or a method such as deep learning.

이때, 학습 데이터 생성 장치(100)는, 추적된 객체(600)의 입력 영상(FR1, FR2, FR3)을 중 기 설정된 품질 기준(Q)을 기반으로 가장 높은 품질을 가지는 입력 영상을 학습 영상(I_L)으로 추출할 수 있다.At this time, the learning data generating apparatus 100 converts the input image having the highest quality based on the preset quality criterion Q among the input images FR1 , FR2 , and FR3 of the tracked object 600 into a learning image ( I _L ) can be extracted.

예시적으로, 정차 중일 때의 차량을 촬영한 입력 영상인 제1 입력 영상(FR1), 운행중일 때의 차량을 촬영하여 객체가 흐릿하게 촬영된 입력 영상을 제2 입력 영상(FR2) 및 제3 입력 영상(FR3)이라고 할 경우, 학습 데이터 생성 장치(100)는 동일한 차량 객체(600)가 촬영된 입력 영상(FR1, FR2, FR3)에 포함된 객체(600)를 연속적으로 추적하여, 객체(600)가 가장 정확하게 촬영된 제1 입력 영상(FR1)을 학습 영상(I_L)으로 추출할 수 있다.Exemplarily, the first input image FR1, which is an input image obtained by capturing the vehicle while it is stopped, and the second input image FR2 and the third input image FR2, are input images obtained by capturing the vehicle while driving and blurring the object. When referred to as the input image FR3, the learning data generating device 100 continuously tracks the object 600 included in the input images FR1, FR2, and FR3 in which the same vehicle object 600 is photographed, and obtains the object ( 600) may extract the most accurately captured first input image FR1 as the training image _IL .

동일한 객체(600)가 포함된 입력 영상 중 고품질의 입력 영상을 학습 영상(I_L)으로 추출하여, 객체 학습 모델(M_L)에 학습시킴으로써, 상기 객체(600)와 관련된 객체 학습 모델(M_L)의 학습 데이터의 경량화가 가능할 뿐만 아니라, 객체 검출이 보다 향상될 수 있다.An object learning model (M _L ) related to the object 600 is obtained by extracting a high-quality input image among input images including the same object 600 as a learning image (IL ) and training the object learning model (M _L ₎ . ), and object detection can be further improved.

도 5는, 도 1의 차량 식별 학습 데이터 생성 방법을 수행하기 위한 학습 데이터 생성 장치를 보여주는 도면이다.5 is a diagram showing a learning data generating device for performing the vehicle identification learning data generating method of FIG. 1 .

도 5을 참조하면, 차량 식별 학습 데이터 생성 시스템(10)은 학습 영상(I_L)을 생성하는 학습 데이터 생성 장치(100) 및 영상이 촬영된 상기 환경 정보를 저장하는 외부 서버(200)를 포함할 수 있다.Referring to FIG. 5 , the vehicle identification learning data generating system 10 includes a learning data generating device 100 generating a learning image _IL and an external server 200 storing the environment information in which the image was captured. can do.

먼저, 학습 데이터 생성 장치(100)는 영상 입력 모듈(110), 영상 추출 모듈(120), 객체 검출 모듈(130), 입력 영상 정제 모듈(140), 사용자 인터페이스 모듈(150), 저장 모듈(160) 및 학습 영상 보정 모듈(170)을 포함할 수 있다.First, the learning data generating device 100 includes an image input module 110, an image extraction module 120, an object detection module 130, an input image refinement module 140, a user interface module 150, and a storage module 160. ) and a learning image correction module 170.

먼저, 영상 입력 모듈(110)은 촬영 장치 또는 사용자 디바이스로부터 객체가 포함된 복수의 촬영 영상을 수신받는다.First, the image input module 110 receives a plurality of captured images including objects from a photographing device or a user device.

이때, 사용자 디바이스는 스마트폰과 같은 촬영 모듈이 포함된 장치일 수 있으며, 통신망에 연결되어 외부로부터 수신 받은 동영상 또는 이미지를 수신 받는 장치 일 수 있다.In this case, the user device may be a device including a photographing module, such as a smart phone, or a device that is connected to a communication network and receives a video or image received from the outside.

영상 추출 모듈(120)은 동영상 또는 복수의 이미지 형태의 상기 촬영 영상 중 기설정된 속도 단위로 객체가 포함된 복수의 입력 영상(I)을 자동으로 추출할 수 있다.The image extraction module 120 may automatically extract a plurality of input images I including an object at a predetermined speed unit from among the captured images in the form of a video or a plurality of images.

예시적으로, 상기 촬영 영상은 동영상 또는 복수의 이미지 형태의 고해상도 영상(1920X1080 Full HD) 이상의 영상이 될 수 있으며, 이에 한정하지 않고 객체 학습 모델(M_L)을 기반으로 영상 학습이 가능한 해상도로 구성된 영상일 수 있다.Illustratively, the captured image may be a high-resolution image (1920X1080 Full HD) or higher in the form of a video or a plurality of images, but is not limited thereto, and is composed of a resolution capable of image learning based on an object learning model (M _L ). it could be a video.

이때, 학습 영상(I_L)은 정제된 입력 영상(I) 상에 존재하는 객체에 해당되는 영역에 라벨링이 수행되고, 정확한 객체 인식하기 위하여 객체 학습 모델(M_L)에 입력되는 학습용 영상이다.At this time, the learning image _IL is a learning image input to the object learning model M _L in order to accurately recognize an object after labeling is performed on a region corresponding to an object existing on the refined input image I.

객체 검출 모듈(130)은 기 학습된 객체 학습 모델(M_L)을 기반으로 상기 입력 영상에 포함된 각각의 객체에 해당하는 객체 정보(O)를 검출할 수 있다.The object detection module 130 may detect object information O corresponding to each object included in the input image based on a pre-learned object learning model M _L .

상세하게는, 객체 검출 모듈(130)은 기 학습된 객체 학습 모델(M_L)에 입력 영상(I)을 입력하여, 입력 영상(I) 상에 포함된 객체에 대한 객체 정보(O)를 검출할 수 있다.In detail, the object detection module 130 inputs the input image I to the pre-learned object learning model M _L and detects object information O about an object included in the input image I. can do.

객체 검출 모듈(130)은 객체 정보(O)를 객체에 라벨링하여 표시될 수 있다. 이때, 객체 정보(O)는 입력 영상(I) 상의 상기 객체에 대한 영역인 객체 영역(O_R) 및 상기 객체의 속성이 분류된 객체 속성 정보(O_A)를 포함한다.The object detection module 130 may display object information O by labeling the object. In this case, the object information O includes an object area O _R , which is an area for the object on the input image I, and object property information O _A in which the property of the object is classified.

이때, 상기 객체 검출 모듈(130)은, 상기 기 학습된 객체 학습 모델(M_L)을 기반으로 입력 영상(I)에 포함된 상기 객체가 차량 객체일 경우, 객체 속성 정보(O_A) 및 객체 영역(O_R)을 포함하는 상기 객체 정보를 검출할 수 있다.At this time, the object detection module 130, if the object included in the input image (I) is a vehicle object based on the pre-learned object learning model (M _L ), the object attribute information (O _A ) and the object The object information including the area O _R may be detected.

이때, 객체 속성 정보(O_A)는, 상기 차량 객체의 속성이 분류된 제1 객체 속성 정보(O_A1) 및 상기 차량 객체의 번호판 객체의 제2 객체 속성 정보(O_A2)를 포함하고, 객체 영역(O_R)은 상기 차량 객체에 대한 영역인 제1 객체 영역(O_R1) 및 상기 차량 객체에 포함되는 상기 번호판 객체에 대한 영역인 제2 객체 영역(O_R2)을 포함할 수 있다.At this time, the object property information (O _A ) includes first object property information (O _A1 ) in which the property of the vehicle object is classified and second object property information (O _A2 ) of the license plate object of the vehicle object, and The area O _R may include a first object area O _R1 , which is an area for the vehicle object, and a second object area O _R2 , which is an area for the license plate object included in the vehicle object.

입력 영상 정제 모듈(140)은 입력 영상(I)의 상기 객체 정보(O)를 기반으로 상기 입력 영상을 분류하고, 입력 영상(I) 중 상기 객체 학습 모델(M_L)에 학습될 학습 영상(I_L)을 추출할 수 있다.The input image refinement module 140 classifies the input image based on the object information (O) of the input image (I), and the learning image (M L ) to be learned in the object learning model (M _L ) of the input image (I). I _L ) can be extracted.

이때, 입력 영상 정제 모듈(140)은, 객체 영역 분류 모듈(141), 객체 추적 모듈(142), 희소 정보 추출 모듈(143) 및 객체 분류 모듈(144)을 포함할 수 있다.In this case, the input image refinement module 140 may include an object region classification module 141 , an object tracking module 142 , a sparse information extraction module 143 and an object classification module 144 .

객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 가려짐 비율을 판단하고, 판단된 가려짐 비율에 기초하여 입력 영상(I)을 분류할 수 있다. The object region classification module 141 may determine an occlusion rate of objects included in the input image I, and classify the input image I based on the determined occlusion rate.

객체 영역 분류 모듈(141)은 의미 분할(Semantic Segmentation), 인스턴스 분할(Instance Segmentation) 기술 등 영상 분할 알고리즘을 기반으로 입력 영상(I) 내 개별 객체의 가려짐 비율을 판별할 수 있다.The object region classification module 141 may determine the occlusion ratio of individual objects in the input image I based on an image segmentation algorithm such as semantic segmentation and instance segmentation technology.

예시적으로, 객체 영역 분류 모듈(141)은 입력 영상(I)에 포함된 객체의 상기 가려짐 비율이 제1 비율일 경우, 상기 객체를 '가려진 객체'로 분류하고, 상기 가려짐 비율이 제2 비율일 경우, 상기 객체를 '겹친 객체'로 분류할 수 있다.Exemplarily, when the occlusion ratio of an object included in the input image I is a first ratio, the object region classification module 141 classifies the object as an 'occluded object', and the occlusion ratio is the first ratio. 2, the object may be classified as an 'overlapping object'.

이때, 상기 가려짐 비율은 사용자가 학습 데이터 생성 장치(100)에 기 설정한 가려짐 비율일 수 있다.In this case, the occlusion rate may be a preset occlusion rate in the learning data generating apparatus 100 by the user.

객체 영역 분류 모듈(141)은, 각각의 상기 객체마다 형성되는 상기 객체 정보(O)의 객체 영역(O_R) 간의 중첩 비율을 기반으로 가려짐 비율을 판단할 수 있다.The object region classification module 141 may determine an occlusion ratio based on an overlap ratio between object regions 0 _R of the object information O formed for each object.

객체 영역 분류 모듈(141)이 객체의 가려짐 비율을 판단하여 객체 학습 모델(M_L)에 학습하기 위한 학습 영상(I_L)으로 사용함으로써, 가려짐 비율을 고려한 객체 학습이 가능하다.The object region classification module 141 determines the occlusion rate of the object and uses it as a learning image ( _IL ) for learning in the object learning model (M _L ), so object learning considering the occlusion rate is possible.

객체 추적 모듈(142)은 시계열적으로 입력된 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 상기 객체가 동일하게 존재하는 입력 영상(I)들을 복수의 객체 추적 영상(I_T)으로 추출할 수 있다.The object tracking module 142 continuously tracks the objects included in the input images (I) inputted in time series, and converts the input images (I) in which the objects are identical to a plurality of object tracking images (I _T ). can be extracted.

이때, 객체 추적 모듈(142)은 상기 객체가 동일하게 존재하는 입력 영상(I)에 포함된 객체를 연속적으로 추적하고, 품질 기준(Q)에 따라 추적된 객체가 포함된 입력 영상(I)을 선택적으로 학습 영상(I_L)으로 추출할 수 있다.At this time, the object tracking module 142 continuously tracks the object included in the input image (I) in which the same object exists, and generates the input image (I) including the tracked object according to the quality criterion (Q). It can be selectively extracted as a training image ( _IL ).

이때, 객체 추적 모듈(142)은 기 설정된 품질 기준(Q)을 기반으로 객체가 추적된 복수의 입력 영상(I)의 영상 품질을 분류하고, 분류된 상기 영상 품질을 기반으로 학습 영상(I_L)을 추출할 수 있다.At this time, the object tracking module 142 classifies the image quality of the plurality of input images I in which the objects are tracked based on a preset quality criterion Q, and based on the classified image quality, the training image I _L ) can be extracted.

상세하게는, 객체 추적 모듈(142)은 품질 기준에 따라 "0 level: 최저, 1 level: 저, 2 level: 하, 3 level: 중, 4 level: 상, 5 level: 최상"으로 입력 영상(I)을 분류할 수 있다.In detail, the object tracking module 142 determines the input image (level 0: lowest, level 1: low, level 2: low, level 3: medium, level 4: high, level 5: best) according to the quality criterion. I) can be classified.

이때, 품질 기준(Q)은 사용자가 기 설정한 입력 영상(I)의 해상도 및 노이즈 정도(잔상, 고스트 영상) 중 적어도 하나를 기반으로 한 기준일 수 있다.In this case, the quality criterion Q may be a criterion based on at least one of the resolution and noise level (afterimage, ghost image) of the input image I previously set by the user.

상세하게는, 객체 추적 모듈(142)는 입력 영상(I)에 포함된 추적 대상이 되는 객체 정보(O)의 객체 영역(O_R)을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있으나, 이에 한정하지 않고, 입력 영상(I)의 전체 영역을 대상으로 해상도 및 노이즈 정도를 판단하여 상기 기 결정된 품질 기준(Q)에 따라 입력 영상(I)을 분류할 수 있다.In detail, the object tracking module 142 determines the resolution and noise level of the object area 0 _R of the object information O included in the input image I to be tracked, and determines the predetermined quality criterion. Although the input image (I) can be classified according to (Q), the input image (I) is not limited thereto, and the resolution and noise level are determined for the entire region of the input image (I), and the input image (I) is input according to the predetermined quality criterion (Q). Image (I) can be classified.

객체 추적 모듈(142)은 품질 기준(Q)에 기초하여 동일한 객체가 포함된 복수의 입력 영상을 분류함으로써, 동일한 객체의 영상 중 고품질의 입력 영상(을 학습 영상(I_L)으로 추출할 수 있다.The object tracking module 142 classifies a plurality of input images including the same object based on the quality criterion Q, and extracts a high-quality input image among images of the same object as a training image _IL .

또한, 상기 학습 영상(I_L)과 동일한 객체가 촬영된 기 설정된 품질 기준(Q) 미만의 상기 객체 추적 영상(I_T)을 보조 학습 영상(I_AL)으로 추출할 수 있다.In addition, the object tracking image (IT ) of less than a preset quality criterion ( _Q ) in which the same object as the learning image ( _IL ) is photographed may be extracted as an auxiliary training image (I _AL ).

상기 보조 학습 영상(I_AL)으로 추출된 기 설정된 품질 기준(Q) 이하의 입력 영상(I)을 학습 영상(I_L)의 데이터의 백데이터(Backdata)로 사용함으로써, 학습 영상(I_L)의 객체 정보를 객체 학습 모델(M_L)에 학습시키는데 있어서, 객체에 대한 정보를 강인하게 학습시킬 수 있다는 장점이 있다.By using the input image (I) of the predetermined quality standard (Q) or less extracted as the auxiliary training _image (I _AL ) as back data of the data of the training image (IL ), the training image ( _IL ) In learning the object information of the object learning model (M _L ), there is an advantage in that information about the object can be robustly learned.

희소 정보 추출 모듈(143)은 입력 영상(I)에 포함된 객체 정보(O) 중 식별되지 않는 입력 영상을 상기 희소 정보 영상으로 판단하고, 상기 희소 정보 영상을 학습 영상(I_L)으로 추출할 수 있다.The sparse information extraction module 143 determines an input image that is not identified among the object information (O) included in the input image (I) as the sparse information image, and extracts the sparse information image as a training image ( _IL ). can

이때, 상기 희소 정보 영상은 신규 객체에 대한 정보를 포함하는 학습 영상(I_L)이며, 상기 희소 정보 영상을 별도의 라벨링이 수행되도록 외부 데이터베이스 또는 신규 객체 정보에 대한 입력을 위하여 사용자에게 제공될 수 있다.In this case, the sparse information image is a learning image ( _IL ) including information on a new object, and the sparse information image may be provided to a user for input of an external database or new object information so that separate labeling is performed. there is.

즉, 희소 정보 추출 모듈(143)은 상기 희소 정보 영상에 포함된 상기 객체의 객체 정보(O)를 입력 받을 수 있다.That is, the sparse information extraction module 143 may receive object information O of the object included in the sparse information image.

예시적으로, 희소 정보 추출 모듈(143)이 입력 영상(I) 내 포함된 차량 객체의 객체 정보(차량 정보 및 번호판 정보) 중 적어도 하나가 존재하지 않거나 또는 사용자가 설정한 기 설정된 범위 이하로 존재할 경우, 입력 영상(I)을 상기 희소 정보 영상으로 판단하고, 학습 영상(I_L)으로 추출할 수 있다.Illustratively, at least one of the object information (vehicle information and license plate information) of the vehicle object included in the input image I by the sparse information extraction module 143 does not exist or exists within a preset range set by the user. In this case, the input image (I) may be determined as the sparse information image and extracted as a learning image ( _IL ).

이때, 차량 정보는 차량 번호판, 차량 모델, 차량 색상 및 차량 방향 중 적어도 하나일 수 있으며, 번호판 정보는 번호판 색깔, 차량 번호 및 차량 번호판 패턴 중 적어도 하나일 수 있다.In this case, the vehicle information may be at least one of a license plate, a vehicle model, a vehicle color, and a vehicle direction, and the license plate information may be at least one of a license plate color, a vehicle number, and a license plate pattern.

객체 분류 모듈(144)은 동일한 객체 정보(O)를 포함하는 복수의 입력 영상을 학습 영상(I_L)으로 추출하고, 학습 영상(I_L)을 동일한 객체 정보 별로 분류할 수 있다.The object classification module 144 may extract a plurality of input images including the same object information O as training images _IL , and classify the training images _IL according to the same object information.

예시적으로, 객체 분류 모듈(144)이 동일한 객체가 서로 다른 방향(후방, 전방, 좌우 등)에서 촬영된 입력 영상(I)을 학습 영상(I_L)으로 추출하고, 객체 학습 모델(M_L)에 학습시켜, 상기 촬영 영상에 포함되는 상기 객체에 대한 검출을 정확성을 높일 수 있다.Illustratively, the object classification module 144 extracts an input image (I) in which the same object is photographed in different directions (rear, front, left and right, etc.) as a training image ( _IL ), and an object learning model (M _L ), it is possible to increase the accuracy of detection of the object included in the captured image.

사용자 인터페이스 모듈(150)은 학습 영상(I_L)에 포함되는 객체 정보 및 학습 영상(I_L)이 분류된 상기 분류 정보를 사용자에게 출력할 수 있다.The user interface module 150 may output object information included in the training _image IL and the classification information in which the training image _IL is classified to the user.

이때, 사용자 인터페이스 모듈(150)은 입력 영상(I)의 객체 정보(차량 정보 및 번호판 정보)를 사용자에게 출력하여 제공함으로써, 사용자가 객체에 대한 객체 정보(객체 속성 정보(O_A), 객체 영역(O_R))를 보강 및 수정이 가능하며, 이를 통해 신뢰성 있는 학습 영상(I_L)을 생성할 수 있다.At this time, the user interface module 150 outputs and provides object information (vehicle information and license plate information) of the input image I to the user, so that the user can provide object information about the object (object property information (O _A ), object area (O _R )) can be reinforced and corrected, and through this, a reliable learning image ( _IL ) can be created.

상세하게는, 사용자 인터페이스 모듈(150)을 통해 객체 정보의 객체 영역(O_R) 및 객체 속성 정보(O_A)의 값이 표시되며, 표시되는 객체 영역(O_R)을 사용자가 객체에 대한 영역에 맞게 수정하여 기계적으로 발생하는 영역의 오차를 최소화된 학습 영상(I_L)을 생성할 수 있다. 또한, 객체 속성 정보(O_A)를 사용자가 검토를 수행하여, 올바른 값으로 재입력이 가능함으로써 정확한 객체 정보를 포함하는 학습 영상(I_L)을 생성할 수 있다.In detail, the values of the object area ( _{OR ) of object information and the object property information (O A} ₎ are displayed through the user interface module 150, and the displayed object area ( _OR ) is the area for the object by the user. It is possible to generate a learning image ( _IL ) in which errors in the mechanically generated region are minimized by modifying according to . In addition, the user can review the object attribute information (O _A ) and re-enter the correct value, thereby generating a learning image ( _IL ) including accurate object information.

이때, 사용자가 사용자 인터페이스 모듈(150)을 통해 알맞은 객체 정보를 입력함으로써, 다양한 방향 및 환경에서 촬영되는 복수의 학습 영상(I_L)을 객체 학습 모듈에 학습시켜, 학습된 객체 학습 모듈에 입력되는 상기 촬영 영상의 객체 검출 결과가 정확해질 수 있는 장점이 있다.At this time, the user inputs appropriate object information through the user interface module 150, so that the object learning module learns a plurality of learning images ( _IL ) taken in various directions and environments, and is input to the learned object learning module. There is an advantage in that the object detection result of the captured image can be accurate.

또한, 사용자 인터페이스 모듈(150)은, 입력 영상 정제 모듈(140)로부터 학습 영상(I_L)이 분류된 상기 분류 정보를 출력하고, 출력된 상기 분류 정보를 사용자가 확인하여 상기 분류 정보를 보정할 수 있다.In addition, the user interface module 150 outputs the classification information in which the training image _IL is classified from the input image refinement module 140, and the user checks the output classification information to correct the classification information. can

이때, 상기 분류 정보는 객체의 가려짐 비율에 따른 분류 또는 동일한 객체 정보를 기준으로 분류된 학습 영상(I_L)의 분류 정보일 수 있다.In this case, the classification information may be classification information according to the occlusion rate of the object or classification information of the training image _IL classified based on the same object information.

예시적으로, 사용자 인터페이스 모듈(150)는 모니터와 같이 학습 영상(I_L)에 포함된 객체 정보(O) 및 상기 분류 정보를 사용자에게 표시하고, 객체 학습 모델에 학습 영상(I_L)들로 구성된 학습 데이터를 생성하기 위하여 사용자에게 키보드, 터치스크린 등 다양한 정보를 입력 또는 출력이 가능한 하나 이상의 하드웨어로 구성될 수 있다.Exemplarily, the user interface module 150 displays the object information (O) included in the learning image (IL ) and the classification information to the user, like a monitor, and converts the learning _image ( _IL ) to the object learning model. In order to generate the configured learning data, it may be composed of one or more hardware capable of inputting or outputting various information such as a keyboard and a touch screen to the user.

저장 모듈(160)은 객체 정보(O) 및 상기 분류 정보가 보정된 학습 영상을 저장할 수 있다.The storage module 160 may store the object information O and the training image in which the classification information is corrected.

저장 모듈(160)은 보정이 완료된 복수의 학습 영상 및 보조 학습 영상으로 구성된 학습 데이터를 저장할 수 있으며, 학습 영상(I_L)의 동일한 객체가 촬영된 저품질 입력 영상인 보조 학습 영상(I_AL)을 함께 저장할 수 있다. The storage module 160 may store training data composed of a plurality of corrected training images and auxiliary training images, and may store an auxiliary training image (I _AL ), which is a low-quality input image in which the same object of the training image ( _IL ) is captured. can be stored together.

저장 모듈(160)이 상기 학습 영상(I_L) 및 상기 저품질 입력 영상인 보조 학습 영상(I_AL)을 저장하여, 선택적으로 학습 데이터 및 보조 학습 영상(I_AL)을 객체 학습 모델(M_L)에 학습시킴으로써, 객체를 포함하는 영상에 대한 객체 정보 검출의 정확도를 높일 수 있는 장점이 있다.The storage module 160 stores the training image ( _IL ) and the auxiliary training image (I _AL ), which is the low-quality input image, and selectively converts the training data and the auxiliary training image (I _AL ) into an object learning model ( _ML ). By learning on , there is an advantage in increasing the accuracy of object information detection for an image including an object.

차량 식별 학습 데이터 생성 시스템(10)은 영상이 촬영된 시간 및 위치와 관련된 환경 정보를 저장하고, 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공하는 외부 서버(200)를 포함할 수 있다.The vehicle identification learning data generation system 10 may include an external server 200 that stores environment information related to the time and location at which an image was captured and provides the environment information to the learning data generation apparatus 100.

상세하게는, 외부 서버(200)는 학습 데이터 생성 장치(100)에 학습 영상(I_L)이 촬영된 상기 위치 정보 및 상기 시간 정보를 수신 받고, 학습 데이터 생성 장치(100)에 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 제공할 수 있다.In detail, the external server 200 receives the location information and the time information at which the learning image _IL was captured by the learning data generating device 100, and receives the location information and the time information from the learning data generating device 100. The environment information based on the time information may be provided.

이때, 상기 환경 정보는 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 포함할 수 있다.In this case, the environment information may include at least one of weather information for each time information and location information, fine dust information, sunlight information, and event information.

예시적으로, 외부 서버(200)는 위치 및 시간별 기상 정보를 제공하는 기상 서버, 또는 위치별 도시 환경에 대한 정보를 포함하고 있는 별도의 데이터베이스 등 적어도 하나 이상의 서버로 구성될 수 있으며, 외부 서버(200)는 학습 데이터 생성 장치(100)가 촬영한 촬영 영상의 시간 및 위치에 따른 상기 환경 정보를 학습 데이터 생성 장치(100)에 제공할 수 있다.Illustratively, the external server 200 may be composed of at least one server, such as a weather server providing weather information by location and time, or a separate database including information on the city environment by location, and an external server ( 200) may provide the learning data generating device 100 with the environment information according to the time and location of the photographed image taken by the learning data generating device 100.

학습 데이터 생성 장치(100)는 외부 서버(200)로 학습 영상(I_L)이 촬영된 위치 정보 및 시간 정보를 포함하는 메타데이터를 송신하고, 외부 서버(200)는 수신된 상기 위치 정보 및 상기 시간 정보에 기반한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신할 수 있다.The learning data generating device 100 transmits metadata including location information and time information at which the training image _IL was captured to the external server 200, and the external server 200 transmits the received location information and the received location information. The environment information based on the time information may be transmitted to the learning data generating device 100 .

이때, 학습 데이터 생성 장치(100)는 외부 서버(200)로부터 학습 영상(I_L)의 상기 환경 정보를 수신 받고, 상기 환경 정보를 기반으로 학습 영상(I_L)을 보정하는 학습 영상 보정 모듈(170)를 더 포함할 수 있다.At this time, the learning data generating apparatus 100 receives the environment information of the learning image _IL from the external server 200, and the learning image correction module (which corrects the learning image _IL based on the environment information) 170) may be further included.

학습 영상 보정 모듈(170)은 학습 영상(I_L)이 촬영된 시간 정보 및 위치 정보 별 날씨 정보, 미세먼지 정보, 일몰 시간 정보, 일조량 정보 및 이벤트 정보 중 적어도 하나를 기반으로 학습 영상(I_L)을 보정할 수 있다.The learning image correction module 170 is based on at least one of weather information, fine dust information, sunset time information, sunlight information, and event information for each location and time information at which the learning _image _IL was captured. ) can be corrected.

상세하게는, 학습 영상 보정 모듈(170)는 수신된 상기 환경 정보를 기반으로 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(I_L)을 보정할 수 있다.In detail, the training image correction module 170 may correct the training image _IL by adjusting at least one of brightness, saturation, brightness, color, luminance, hue, and sharpness based on the received environment information. .

이때, 학습 영상 보정 모듈(170)은 상기 학습 영상(I_L)에 포함된 각각의 상기 객체에 대한 상기 객체 속성 정보(O_A)를 더 고려하여 학습 영상(I_L)을 보정할 수 있다.In this case, the learning image correction module 170 may correct the learning image _IL by further considering the object attribute information O _A for each object included in the learning image _IL .

예시적으로, 학습 영상(I_L)의 촬영된 위치 정보가 '서울시 강남구 역삼동'이고, 촬영된 시각 정보가 '18시 30분'일 때, 외부 서버(200)는 상기 위치 정보 및 시각 정보에 해당하는 날씨 정보가 '흐림', 미세먼지 정보가 '좋음', 일몰 시간 정보가 '노을짐', 일조량 정보가 '적당함', 이벤트 정보가 '없음'에 관한 상기 환경 정보를 학습 데이터 생성 장치(100)로 송신하고, 학습 데이터 생성 장치(100)의 학습 영상 보정 모듈(170)은 각각의 상기 환경 정보에 대한 파라미터 값을 이용하여 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 조정하여 학습 영상(I_L)을 보정할 수 있다.Exemplarily, when the captured location information of the learning video _IL is 'Yeoksam-dong, Gangnam-gu, Seoul' and the captured time information is '18:30', the external server 200 provides the location information and time information Apparatus for generating learning data for the environment information about corresponding weather information is 'cloudy', fine dust information is 'good', sunset time information is 'glow', sunlight information is 'adequate', and event information is 'no' 100, and the learning image correction module 170 of the learning data generating device 100 uses the parameter value for each of the environment information to at least one of brightness, saturation, brightness, color, luminance, hue, and sharpness. By adjusting one, the training image ( _IL ) can be corrected.

이때, 학습 영상(I_L)에 포함된 차량 객체의 객체 속성 정보의 차량 종류가 '대형 차량', 차량 색상이 '하얀색'일 경우, 학습 영상 보정 모듈(170)은 차량 종류 및 차량 색상을 기반으로 객체에 반사되는 외부 광원을 고려하여 학습 영상(I_L)의 명도, 채도, 밝기, 색상, 휘도, 색조, 선명도 중 적어도 하나를 추가적으로 조정하여 학습 영상(I_L)을 보정할 수 있다.At this time, when the vehicle type of the object attribute information of the vehicle object included in the learning image _IL is 'large vehicle' and the vehicle color is 'white', the learning image correction module 170 is based on the vehicle type and vehicle color. The training _{image IL} may be corrected by additionally adjusting at least one of the brightness, saturation, brightness, color, luminance, hue, and sharpness of the training image _IL in consideration of an external light source reflected on the object.

이에 한정하지 않고, 학습 영상 보정 모듈(170)은 상기 객체 정보의 적어도 하나의 객체 속성 정보와 상기 환경 정보 간의 연관성을 고려하여 상기 학습 영상(I_L)을 보정할 수 있다.Without being limited thereto, the learning image correction module 170 may correct the learning image _IL in consideration of a correlation between at least one object property information of the object information and the environment information.

학습 영상 보정 모듈(170)이 학습 영상(I_L)의 상기 환경 정보 및 객체 정보를 기반으로 학습 영상(I_L)을 보정함으로써, 날씨, 반사광, 등 환경 조건에 왜곡되는 학습 영상(I_L)을 보정할 수 있으며, 따라서 학습 영상(I_L)에 포함되는 차량 객체에 대한 객체 정보(O) 및 번호판 객체에 대한 객체 정보가 정확히 식별되는 학습 영상(I_L)을 생성될 수 있다.The learning image correction module 170 corrects the learning image ( _IL ) based on the environment information and object information of the learning image ( _IL ), so that the learning image ( _IL ) is distorted by environmental conditions such as weather, reflected light, and the like. can be calibrated, and thus, the learning image ( _IL ) in which the object information (O) for the vehicle object included in the learning _image (IL ) and the object information for the license plate object are accurately identified can be generated.

또한, 학습 영상 보정 모듈(170)이 보정을 거치지 않는 학습 영상(I_L)과 더불어 상기 환경 정보 및 객체 정보(O)를 기반하여 보정된 학습 영상을 추가적으로 생성하여, 객체 학습 모델(M_L)에 정확한 학습 데이터를 추가로 제공할 수 있는 효과가 있다.In addition, the learning image correction module 170 additionally generates a corrected learning image based on the environment information and the object information (O) together with the learning image ( _IL ) that is not subjected to correction, so that the object learning model (M _L ) There is an effect that can additionally provide accurate learning data.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.Although the preferred embodiment of the present invention has been described above, the present invention is not limited thereto, and it is possible to make various modifications and practice within the scope of the claims and the detailed description of the invention and the accompanying drawings, and this is also the present invention. It is natural to fall within the scope of

S100 : 영상 획득 단계 S200 : 입력 영상 추출 단계
S300 : 객체 검출 단계 S400 : 입력 영상 정제 단계
S410 : 객체 영역 분류 단계 S420 : 객체 추적 단계
S430 : 추적 객체 품질 판단 단계 S440 : 추적 객체 추출 단계
S450 : 희소 정보 영상 추출 단계 S460 : 객체별 영상 분류 단계
S500 : 데이터 보정 단계 S600 : 학습 영상 보정 단계
S700 : 학습 영상 저장 단계
10 : 차량 식별 학습 데이터 생성 시스템 100 : 학습 데이터 생성 장치
110 : 영상 입력 모듈 120 : 영상 추출 모듈
130 : 객체 검출 모듈 140 : 입력 영상 정제 모듈
141 : 객체 영역 분류 모듈 142 : 객체 추적 모듈
143 : 희소 정보 추출 모듈 144 : 객체 분류 모듈
150 : 사용자 인터페이스 모듈 160 : 저장 모듈
170 : 학습 영상 보정 모듈 200 : 외부 서버S100: image acquisition step S200: input image extraction step
S300: object detection step S400: input image refinement step
S410: object area classification step S420: object tracking step
S430: tracking object quality determination step S440: tracking object extraction step
S450: sparse information image extraction step S460: image classification step for each object
S500: Data correction step S600: Learning image correction step
S700: learning image storage step
10: vehicle identification learning data generation system 100: learning data generation device
110: image input module 120: image extraction module
130: object detection module 140: input image refinement module
141: object area classification module 142: object tracking module
143: sparse information extraction module 144: object classification module
150: user interface module 160: storage module
170: learning image correction module 200: external server

Claims

A vehicle identification learning data generation method using a vehicle identification learning data generation system including a learning data generation device,
An image acquiring step of receiving a plurality of captured images by a learning data generating device;
an input image extraction step of extracting, by the learning data generation device, an input image from the received captured image in units of a predetermined speed;
an object detection step of detecting, by the learning data generation device, object information corresponding to each object included in the input image based on a pre-learned object learning model;
an input image refinement step of classifying the input image based on the object information of the input image and extracting a learning image to be learned by the object learning model from among the input image, by the learning data generation device;
a data correction step in which the learning data generation device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user corrects the object information and the classification information; and
A learning image storage step of storing, by the learning data generating device, the learning image in which the object information and the classification information are corrected; vehicle identification learning data generation method comprising:

According to claim 1,
The input image refinement step is
an object tracking step of continuously tracking the object included in the input image by the learning data generation device and extracting a plurality of input images in which the same object exists as a plurality of object tracking images;
a tracking object quality determination step of determining, by the learning data generating device, the quality of the plurality of object tracking images including the tracked object based on a preset quality criterion; and
and a tracking object extraction step of extracting, by the learning data generation device, an object tracking image having a high image quality among a plurality of object tracking images as a learning image of a tracked object.

According to claim 2,
In the tracking object extraction step,
The learning data generation device extracts the object tracking image of less than a predetermined quality standard in which the same object as the learning image is captured as an auxiliary learning image,
In the learning image storage step,
The method of generating learning data for vehicle identification, characterized in that the learning data generating device stores an auxiliary learning image that is a low quality input image in which the same object of the learning image is photographed.

According to claim 1,
The input image refinement step is
An input image classification step of determining, by the learning data generation device, an occlusion rate of each object included in the input image, and classifying the input image based on the determined occlusion rate;
In the input image classification step,
Wherein the learning data generating device determines an occlusion ratio based on an overlapping ratio between object regions of the object information formed for each object.

According to claim 1,
The object information,
Including object attribute information in which attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region that is a region for the object formed on the input image;
In the object detection step,
If the object included in the input image is a vehicle object based on the pre-learned object learning model, the learning data generation device detects the object property information and the object information including the object region from the object; ,
The object property information,
Includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified,
The object area,
A method for generating vehicle identification learning data, comprising: a first object area corresponding to the vehicle object and a second object area corresponding to the license plate object included in the vehicle object.

According to claim 1,
The input image refinement step is
The learning data generating device extracts the input image for which the object information is not identified among the object information included in the input image as a sparse information image, and receives the object information of the object included in the sparse information image. , vehicle identification learning data generation method comprising the step of extracting the sparse information image to be extracted as the learning image.

According to claim 1,
The step of refining the input image,
A vehicle identification learning data generation method comprising: an image classification step for each object in which the learning data generating device extracts a plurality of input images including the same object information as learning images and classifies the learning images according to the same object information.

According to claim 1,
The vehicle identification learning data generation system,
An external server for storing environment information related to a time and location at which an image was captured and providing the environment information to the learning data generating device;
The learning data generating device transmits location information and time information at which the learning image was captured to the external server, and the external server transmits the environment information based on the location information and time information received by the learning data generating device. and a learning image correction step of, by the learning data generating device, correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image; vehicle identification learning data generation further comprising Way.

According to claim 8,
In the learning image correction step,
The method of generating vehicle identification learning data, characterized in that the learning data generating device corrects the learning image by further considering the object attribute information for each of the objects included in the learning image.

An image input module for receiving a plurality of captured images;
An image extraction module for extracting an input image at a predetermined speed from among the received captured images;
An object detection module for detecting object information corresponding to each object included in the input image based on a pre-learned object learning model;
An input image refinement module that classifies the input image based on the object information of the input image and selects a learning image to be learned by the object learning model from among the input image;
A user interface module in which the learning data generation device outputs the object information included in the learning image and classification information in which the learning image is classified to a user, and the user corrects the object information and the classification information;
A learning data generating device including a storage module for storing the learning image in which the object information and the classification information are corrected; vehicle identification learning data generating system comprising a.

According to claim 10,
The input image refinement module,
An object tracking module for continuously tracking the object included in the input image and extracting a plurality of input images in which the same object exists as a plurality of object tracking images;
The object tracking module,
Determining the quality of a plurality of object tracking images including the tracked object based on a preset quality standard, and extracting an object tracking image having a high image quality among the plurality of object tracking images as a training image of the tracked object. Characterized by vehicle identification learning data generation system.

According to claim 11,
The object tracking module,
Extracting the object tracking image of less than a preset quality standard in which the same object as the learning image is captured as an auxiliary learning image;
The storage module,
Vehicle identification learning data generation system, characterized in that for storing the auxiliary learning image, which is a low-quality input image in which the same object of the learning image is photographed.

According to claim 10,
The input image refinement module,
an object region classification module for determining an occlusion rate of each object included in the input image and classifying the input image based on the determined occlusion rate;
The object area classification module,
Vehicle identification learning data generation system, characterized in that for determining the occlusion ratio based on the overlap ratio between object regions of the object information formed for each object.

According to claim 10,
The object information,
Including object attribute information in which attributes of the object included in the input image are classified based on the pre-learned object learning model and an object region that is a region for the object formed on the input image;
The object detection module,
When the object included in the input image is a vehicle object based on the pre-learned object learning model, detecting the object property information and the object information including the object region,
The object property information,
Includes first object property information in which the property of the vehicle object is classified and second object property information in which the property of the license plate object included in the vehicle object is classified,
The object area,
The vehicle identification learning data generating system, characterized in that it comprises a first object area that is an area for the vehicle object and a second object area that is an area for the license plate object included in the vehicle object.

According to claim 10,
The input image refinement module
Among the object information included in the input image, the input image for which the object information is not identified is extracted as a sparse information image, the object information of the object included in the sparse information image is received, and extracted as the learning image. Vehicle identification learning data generation system, characterized in that it comprises a sparse information image extraction module.

According to claim 10,
The input image refinement module,
A vehicle identification learning data generation system comprising an object image module for extracting a plurality of input images including the same object information as learning images and classifying the learning images according to the same object information.

According to claim 10,
The vehicle identification learning data generation system,
An external server for storing environment information related to the time and location at which the image was captured and providing the environment information to the learning data generating device;
The location information and time information at which the learning video was captured are transmitted to the external server, and the external server provides the environment information based on the location information and the time information received by the learning data generating device. The vehicle identification learning data generation system, characterized in that the data generating device further comprises a learning image correction module for correcting the learning image based on the environment information corresponding to the location information and the time information of the learning image.

According to claim 17,
The learning image correction module,
Vehicle identification learning data generation system, characterized in that for correcting the learning image by further considering the object attribute information for each of the objects included in the learning image.