KR20220090203A - Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof - Google Patents
Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof Download PDFInfo
- Publication number
- KR20220090203A KR20220090203A KR1020200181170A KR20200181170A KR20220090203A KR 20220090203 A KR20220090203 A KR 20220090203A KR 1020200181170 A KR1020200181170 A KR 1020200181170A KR 20200181170 A KR20200181170 A KR 20200181170A KR 20220090203 A KR20220090203 A KR 20220090203A
- Authority
- KR
- South Korea
- Prior art keywords
- labeling
- data
- neural network
- object detection
- artificial neural
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재죈 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.The deep learning object detection and tracking-based automatic data labeling method of the present invention includes the steps of: a smart terminal collecting video images transmitted by a camera; and an automatic data labeling tool delivering the collected image DB to an object detection artificial neural network mounted on the smart terminal to detect the object, and when the object detection is successful, the automatic data labeling tool delivers the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information; When an object non-detection occurs, the object tracking artificial neural network estimates the undetected part based on the previously received detection information of a continuous object to express the object information, and an automatic data labeling tool is displayed in the above step The step of automatically labeling the object information, the labeler determining whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data, and the labeler leaving the abnormal labeling data in the collected image DB as it is and performing normal labeling The data is stored in the labeling complete DB, the labeler transmits the labeling complete DB, which is the purified data, to the object detection artificial neural network mounted on the smart terminal to update the object detection artificial neural network, and the automatic data labeling tool is updated Detecting an object by delivering the collected image DB, which is the data that has failed to be refined, to the object detection artificial neural network that has been processed. When the object detection is successful, the automatic data labeling tool is mounted on the smart terminal. Objects detected by the object tracking artificial neural network A step of delivering information and displaying the detected object information, and when an object non-detection occurs in the step, the object tracking artificial neural network estimates the undetected part based on the previously received detection information of the consecutive object to estimate the object The step of expressing information, the step of the automatic data labeling tool automatically labeling the object information expressed in the step, and the labeler whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data Determining, leaving the labeler in the abnormal collected image DB as it is, and storing normal labeling data in the labeling complete DB, and the smart terminal transmits the labeling complete DB, which is the refined data, to the object detection artificial neural network to detect an object It is characterized in that it comprises the step of updating the artificial neural network.
Description
본 발명은 데이터의 자동 라벨링에 관한 것이다. 일반적으로 딥 러닝의 인공 신경망의 객체 검출율을 높이기 위하여는 정량화된 대량의 빅 데이터가 필요하며 정량화된 데이터를 얻기 위하여는 데이터 라벨링이 필요하며 이를 수동 또는 자동으로 하여야 하는 것이다. 따라서 본 발명은 효과적인 데이터 자동 라벨링 구축 방식을 제안하고자 하는 것이다.The present invention relates to automatic labeling of data. In general, a large amount of quantified big data is required to increase the object detection rate of artificial neural networks in deep learning, and data labeling is required to obtain quantified data, which must be done manually or automatically. Therefore, the present invention is to propose an effective data automatic labeling construction method.
본 발명과 관련된 종래 기술은 대한민국 등록특허 제10-2030027호(2019. 10. 08. 공고)에 게시되어 있는 것이다. 도 1은 상기 종래의 라벨링 데이터의 정제방법 흐름도이다. 상기도 1에서 종래의 라벨링 데이터의 정제방법은 단계 S110에서, 컴퓨터는 제1 이미지에 대한 영상정보 및 자동 라벨링 정보를 획득한다. 일 실시 예에서, 제1 이미지는 하나 이상의 라벨링 대상 객체를 포함하는 이미지를 의미할 수 있으며, 자동 라벨링 정보는 상술한 바와 같이 인공지능 모델을 이용하여 객체가 속한 영역정보 및 영역에 속한 객체에 대한 라벨링이 자동으로 수행된 정보를 포함할 수 있다. 또한, 일 실시 예에서, 컴퓨터는 획득한 영상정보의 해상도를 높이기 위해 머신러닝을 통해 손상된 픽셀정보를 회복할 수 있다. 또한, 상기 자동 라벨링 정보를 획득하는 과정에서, 하나 이상의 라벨링 정보를 획득할 수 있으며, 같은 범주의 상위 또는 하위 라벨링 정보를 획득할 수 있다. 예를 들어, 컴퓨터는 영상정보에서 '칼'이라는 라벨링 정보를 획득한 경우 '흉기'라는 상위 범주의 라벨링 정보를 함께 획득할 수 있다. 이러한 라벨링 정보들은 데이터베이스에 미리 저장될 수 있으며, 데이터베이스에는 기 라벨링된 객체들의 명칭, 유사명칭, 대표명칭, 속성, 상위 및 하위관계, 카테고리, 상호 연관성 등에 대한 다양한 정보들이 저장될 수 있다. 또한, 단계 S120에서, 컴퓨터는 제1 이미지 및 제1 자동 라벨링 정보를 표시한다. 일 실시 예에서, 컴퓨터는 제1 자동 라벨링 정보를 병렬적 또는 선택적으로 표시할 수 있다. 이 라벨링 정보는 제1 이미지 상에 오버레이로 표시될 수 있으며, 사용자의 선택에 따라 제1 이미지와 분리되어 표시될 수 있다. 또한, 단계 S130에서, 컴퓨터는 제1 이미지의 수동 라벨링 정보를 획득한다. 또한, 단계 S140에서, 컴퓨터는 상기 획득한 제1 이미지에 대한 자동 라벨링 정보 및 수동 라벨링 정보에 기초하여 제1라벨링 정보를 결정한다. 일 실시 예에서, 컴퓨터는 획득한 자동 라벨링 정보와 함께 라벨링 정보의 채택빈도를 함께 제공할 수 있으며, 이러한 채택빈도는 데이터베이스에 기록된 라벨링 정보 중 제1 이미지에 대한 영상처리에 기반하여 최종적으로 선택된 라벨링 정보의 빈도를 의미할 수 있는 것이다. The prior art related to the present invention is published in Republic of Korea Patent Registration No. 10-2030027 (2019. 10. 08. Announcement). 1 is a flowchart of a method for refining the conventional labeling data. In the conventional method of refining labeling data in FIG. 1, in step S110, the computer acquires image information and automatic labeling information for the first image. In an embodiment, the first image may mean an image including one or more labeling target objects, and the automatic labeling information uses an artificial intelligence model as described above for region information to which an object belongs and an object belonging to the region. It may include information on which labeling is performed automatically. Also, in an embodiment, the computer may recover damaged pixel information through machine learning in order to increase the resolution of the acquired image information. In addition, in the process of acquiring the automatic labeling information, one or more labeling information may be acquired, and upper or lower labeling information of the same category may be acquired. For example, when the computer obtains labeling information of 'sword' from image information, it may also acquire labeling information of a higher category of 'weapon'. Such labeling information may be stored in advance in a database, and various information about the names, similar names, representative names, attributes, parent and sub-relationships, categories, mutual relevance, etc. of previously labeled objects may be stored in the database. Also, in step S120, the computer displays the first image and the first automatic labeling information. In an embodiment, the computer may display the first automatic labeling information in parallel or selectively. This labeling information may be displayed as an overlay on the first image, and may be displayed separately from the first image according to a user's selection. Also, in step S130, the computer acquires manual labeling information of the first image. In addition, in step S140, the computer determines the first labeling information based on the automatic labeling information and the manual labeling information for the acquired first image. In one embodiment, the computer may provide the frequency of adoption of the labeling information together with the obtained automatic labeling information, and this frequency of adoption is finally selected based on the image processing for the first image among the labeling information recorded in the database. It may mean the frequency of labeling information.
도 2는 종래 영상 이미지에 대한 라벨링 방법 흐름도이다. 상기도 2에서 종래 영상 이미지에 대한 라벨링 방법은 수집된 영상 이미지를 수동 데이터 라벨링 툴을 이용하여 모든 프레임에 대해 라벨링된 데이터를 생성하기에는 인간의 막대한 작업량을 필요로 하는 것임을 나타내고 있는 것이다. 이러한 막대한 작업량을 줄이고자 자동 데이터 라벨링 구축 방식을 적용하여 라벨링된 데이터를 효과적으로 생성할 필요가 있는 것이다. 기본적인 자동 데이터 라벨링 구축 방식은 현재까지 구축한 라벨링된 데이터로 딥러닝 객체 검출 인공 신경망을 학습한 후, 해당 인공신경망으로 객체 검출 결과를 출력하여 자동으로 데이터를 생성하는 것이다. 하지만 검출율 개선을 위한 데이터 라벨링의 주된 목적은 현재 검출하지 못하는 객체에 대한 라벨링이 필요한 것인데, 라벨링 결과물은 현재 검출된 객체의 라벨링이므로 검출율 개선에 직접적인 개선이 어렵다. 따라서 객체 검출 인공신경망이 출력한 라벨링 결과물에 대해 인간이 해당 데이터를 정제해주어야 하는 단계가 필요하며 이 단계는 오검출된 객체를 수정 또는 삭제하거나 미검출된 객체를 라벨링하는 수동적인 방식이 포함되고 이러한 수동적인 방식은 검출 엔진 성능에 의한 오검출 결과로 인해 경우에 따라 전체 수동 라벨링을 하는 경우보다 오히려 작업량이 많아질 수도 있는 것이다. 2 is a flowchart of a conventional labeling method for a video image. In FIG. 2, the conventional labeling method for video images shows that it requires a huge amount of human work to generate labeled data for all frames using a manual data labeling tool for the collected video images. In order to reduce this enormous amount of work, it is necessary to effectively generate labeled data by applying an automatic data labeling construction method. The basic automatic data labeling construction method is to learn the deep learning object detection artificial neural network with the labeled data constructed so far, and then output the object detection result to the artificial neural network to automatically generate data. However, the main purpose of data labeling to improve the detection rate is to require labeling of an object that cannot be detected at present. Since the labeling result is the labeling of a currently detected object, it is difficult to directly improve the detection rate. Therefore, there is a need for a human to purify the data for the labeling output output by the object detection artificial neural network. This step includes a manual method of correcting or deleting erroneously detected objects or labeling undetected objects. In the manual method, the amount of work may be higher than in the case of performing full manual labeling in some cases due to a false detection result due to the detection engine performance.
상기와 같이 구성된 종래의 라벨링 데이터의 정제방법은 자동 레벨링 정보와 수동 라벨링 정보를 획득하고 라벨링 정보의 빈도 등을 고려하여 라벨링 정보를 최종 결정하는 것이나, 라벨링 시에 미검출 객체에 대한 라벨링을 하는 방법을 제시하지 못하는 문제점이 있는 것이다. 따라서 본 발명의 목적은 데이터를 정제하는 과정 중 오 검출된 객체를 수정하거나 삭제하는 과정과 더불어 미 검출된 객체에 대하여 라벨링하는 방법를 제시하여 라벨링 과정에 필요한 시간을 줄이고자 하는 것이다. 또한 본 발명의 다른 목적은 딥러닝 객체 추적을 접목시켜 향상된 객체 검출로 인간이 정제해주는 과정을 개선함으로써 데이터 라벨링 속도를 향상 시킬 수 있도록 하기 위한 것이다. The conventional method for refining labeling data configured as described above is to obtain automatic leveling information and manual labeling information, and finally determine the labeling information in consideration of the frequency of labeling information, or to label an undetected object at the time of labeling. There is a problem that cannot be presented. Accordingly, it is an object of the present invention to reduce the time required for the labeling process by proposing a method of labeling an undetected object along with a process of correcting or deleting an erroneously detected object during the data refining process. Another object of the present invention is to improve the data labeling speed by improving the process of human refinement with improved object detection by grafting deep learning object tracking.
상기와 같은 목적을 가진 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계와, 상기 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계와, 자동 데이터 라벨링 툴이 상기 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계와, 라벨러가 비정상적인 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계를 포함하여 이루어지는 것을 특징으로 하는 것이다.The present invention deep learning object detection and tracking-based automatic data labeling method having the above object includes the steps of: a smart terminal collecting a video image transmitted by a camera; The step of detecting an object by delivering the collected image DB, and when the detection of the object is successful, the automatic data labeling tool delivers the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information step, and when object non-detection occurs in the step, the object tracking artificial neural network estimating the undetected part based on the previously received detection information of the continuous object to express the object information; automatic data labeling The tool automatically labels the object information expressed in the above step, the labeler determines whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data, and the labeler abnormal labeling data is the collected image The steps of leaving the DB as it is and storing the normal labeling data in the labeling complete DB, the labeler passing the labeling complete DB, which is the purified data, to the object detection artificial neural network mounted on the smart terminal, and updating the object detection artificial neural network; The automatic data labeling tool transmits the collected image DB, which is the data that has failed to be refined, to the updated object detection artificial neural network to detect the object, and when the object detection is successful, the automatic data labeling tool tracks the object mounted in the smart terminal Transmitting the detected object information to the artificial neural network and displaying the detected object information; and when the object non-detection occurs in the step, the object tracking artificial neural network does not detect the object based on the previously received detection information of the continuous object. A step of expressing object information by estimating the part that has been changed, a step of an automatic data labeling tool automatically labeling the object information expressed in the step, and a labeler determining whether the data labeled by the automatic data labeling tool is normal labeling data Determining whether it is conventional labeling data, the labeler leaving the abnormal collected image DB as it is, and storing the normal labeling data in the labeling complete DB, and the smart terminal storing the purified data, the labeling complete DB, in an object detection artificial neural network It is characterized in that it comprises the step of updating the object detection artificial neural network by sending it to the
상기와 같이 구성된 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템은 미 검출된 이미지를 라벨링하는 과정에 필요한 라벨링 시간을 줄일 수 있는 효과가 있는 것이다. 본 발명은 또한 단순히 딥 러닝 객체 검출 인공 신경망으로 데이터를 생성하는 방식에서 딥러닝 객체 추적을 접목시켜 향상된 객체 검출로 인간이 정제해주는 과정을 개선할 수 있는 효과가 있는 것이다. 또한, 본 발명은 정량화된 데이터를 신속하게 생성하고 해당 데이터로 재학습하여 딥러닝 객체 검출 인공신경망의 성능을 향상시키는 과정을 반복함으로써 라벨링 속도를 개선할 수 있는 효과가 있는 것이다.The present invention deep learning object detection and tracking-based automatic data labeling method and the automatic data labeling system using the same configured as described above have the effect of reducing the labeling time required for the process of labeling the undetected image. The present invention also has the effect of improving the process of human refinement with improved object detection by grafting deep learning object tracking in a method of simply generating data with a deep learning object detection artificial neural network. In addition, the present invention has the effect of improving the labeling speed by repeating the process of rapidly generating quantified data and re-learning with the data to improve the performance of the deep learning object detection artificial neural network.
도 1은 종래의 라벨링 데이터의 정제방법 흐름도,
도 2는 종래 영상 이미지에 대한 라벨링 방법 흐름도,
도 3은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 흐름도,
도 4는 종래도 2에 의한 미검출 객체 방식과 본 발명에 의한 미 검출 객체 발생에 대한 대비 도면,
도 5는 본 발명에 적용된 딥 러닝 객체 추적을 접목시켜 향상된 객체 검출로 장량화된 데이터를 생성하고 해당 데이터로 재학습하는 경우의 라벨링 속도 효과 대비표,
도 6은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템 구성도,
도 7은 본 발명에 적용되는 데이터 정제 툴 작업 결과 화면이다.1 is a flow chart of a conventional purification method of labeling data;
2 is a flowchart of a labeling method for a conventional video image;
3 is a flowchart of the present invention deep learning object detection and tracking-based automatic data labeling method;
4 is a contrast diagram for the undetected object method according to the prior art 2 and the undetected object generation according to the present invention;
5 is a comparison table of the labeling speed effect in the case of generating data quantified by improved object detection by grafting the deep learning object tracking applied to the present invention and re-learning with the data;
6 is a configuration diagram of an automatic data labeling system based on deep learning object detection and tracking of the present invention;
7 is a data purification tool operation result screen applied to the present invention.
상기와 같은 목적을 가진 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 및 이를 이용한 자동 데이터 라벨링 시스템을 도 3 내지 도 7을 기초로 하여 설명하면 다음과 같다.The deep learning object detection and tracking-based automatic data labeling method and automatic data labeling system using the same according to the present invention having the above object will be described based on FIGS. 3 to 7 as follows.
도 3은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법 흐름도이다. 상기도 3에서 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은 스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계(S11)와, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S12)와, 객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S13)와, 상기 S12 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S14)와, 자동 데이터 라벨링 툴이 S13 단계 및 S14 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계(S15)와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S16)와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S17)와, 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S18)와, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S19)와, 객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S20)와, 상기 S19 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S21)와, 자동 데이터 라벨링 툴이 S20, S21 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계(S22)와, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S23)와, 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S24)와, 스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S25)를 포함하여 이루어지는 것을 특징으로 하는 것이다.3 is a flowchart of an automatic data labeling method based on deep learning object detection and tracking of the present invention. In FIG. 3, the deep learning object detection and tracking-based automatic data labeling method of the present invention includes the steps of: a smart terminal collecting video images transmitted by a camera (S11), and an object detection artificial neural network in which an automatic data labeling tool is mounted on the smart terminal Step (S12) of detecting the object by delivering the image DB collected to the, and if the object detection is successful, the automatic data labeling tool transfers the detected object information to the object tracking artificial neural network mounted on the smart terminal, and the detected object In the step of expressing the information (S13) and in the step S12, when the non-detection of the object occurs, the object tracking artificial neural network estimates the undetected part based on the previously received detection information of the continuous object to obtain the object information. A step of expressing (S14), the automatic data labeling tool automatically labeling the object information expressed in steps S13 and S14 (S15), and the labeler checking whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal A step (S16) of determining whether the labeling data is the labeling data, a step (S17) of the labeler leaving the abnormal labeling data as it is in the collected image DB and storing the normal labeling data in the labeling complete DB (S17), and the labeler completing the labeling of the purified data A step (S18) of updating the object detection artificial neural network by transferring the to detect the object (S19), and when the detection of the object is successful, the automatic data labeling tool transmits the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information (S20) And, when the object non-detection occurs in step S19, the object tracking artificial neural network estimating the undetected part based on the previously received detection information of the continuous object to express the object information (S21); Data labeling tool in steps S20 and S21 A step of automatically labeling the displayed object information (S22), the labeler determining whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data (S23), and the labeler abnormal labeling data is collected Step (S24) of leaving the image DB as it is, and storing normal labeling data in the labeling complete DB (S24), and updating the object detection artificial neural network by sending the labeling complete DB, which is the refined data, to the object detection artificial neural network by the smart terminal ( S25) is characterized in that it is included.
도 4는 종래도 2에 의한 미검출 객체 발생과 본 발명에 의한 미 검출 객체 발생에 대한 대비 도면이다. 상기도 4에서 기존 방식에서는 사람 이동 객체인 영상 이미지 100 Frames 당 약 7.5 Frames의 미검출 객체가 발생하였고, 딥 러닝 객체 추적 방식을 적용한 본 발명에서는 사람 이동 객체인 영상 이미지 100 Frames 당 약 3 Frames의 미검출 객체가 발생하였음을 보여주고 있는 것이다.FIG. 4 is a contrast diagram between generation of an undetected object according to FIG. 2 and generation of an undetected object according to the present invention. 4, in the conventional method, an undetected object of about 7.5 Frames per 100 Frames of a moving object of a video image was generated, and in the present invention to which a deep learning object tracking method is applied, about 3 Frames per 100 Frames of a moving object of a video image. It shows that an undetected object has occurred.
도 5는 본 발명에 적용된 딥 러닝 객체 추적을 접목시켜 향상된 객체 검출로 장량화된 데이터를 생성하고 해당 데이터로 재학습하는 경우의 라벨링 속도 효과 대비표이다. 상기도 5는 본 발명을 적용하여 정량화된 데이터를 신속히 생성하고 해당 데이터로 재학습하여 딥 러닝 객체 검출 인공신경망의 성능을 향상시키는 과정을 반복함으로써 수동 데이터 라벨링 속도보다 약 8배 빠른 뛰어난 효과가 있을을 나타내고 있는 것이다.5 is a comparison table of the labeling speed effect in the case of generating data quantified by improved object detection by grafting the deep learning object tracking applied to the present invention and re-learning with the data. 5 shows that the present invention is applied to quickly generate quantified data and repeat the process of improving the performance of the deep learning object detection artificial neural network by re-learning with the data, which is about 8 times faster than the manual data labeling speed. is representing
도 6은 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템 구성도이다. 상기도 6에서 본 발명 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 시스템은 촬영된 영상 이미지 정보를 스마트 단말기로 전송하는 카메라(10)와, 카메라로부터 수신된 영상 이미지 정보를 수집하고 저장하는 것으로 자동 데이터 라벨링 툴이 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하며, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인경 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표시부로 표출하며, 객체 미검출인 경우에는 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 상기 표시부에 표출된 객체 정보를 자동으로 라벨링하며, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하며 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인(정제된) 라벨링 데이터는 라벨링 완료 DB에 저장하며, 라벨러가 상기 정제된 데이터인 레벨링 완료 DB를 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하며, 자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연소된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라렐러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 스마트 단말기(20)로 구성된 것을 특징으로 하는 것이다. 상기에서 스마트 단말기는 스마트 휴대폰일 수 있으며, PC이거나, PDA 등 라벨러가 라벨링을 위하여 사용할 수 있는 단말기들이다. 또한, 상기에서 자동 데이터 라벨링 툴은 상기 스마트 단말기에 탑재되어 사용될 수 있는 것이다.6 is a configuration diagram of an automatic data labeling system based on deep learning object detection and tracking of the present invention. In FIG. 6, the deep learning object detection and tracking-based automatic data labeling system of the present invention includes a
도 7은 본 발명에 적용되는 데이터 정제 툴 작업 결과 화면이다. 상기도 7에서 본 발명은 오검출 객체 수정, 오검출 객체 삭제 및 미검출 객체 라벨링한 후 정제한 결과 영상 이미지를 나타내고 있는 것이다.7 is a data purification tool operation result screen applied to the present invention. 7, the present invention shows an image image as a result of refining a misdetected object after correcting, deleting a misdetected object, and labeling an undetected object.
10 : 카메라, 20 : 스마트 단말기10: camera, 20: smart terminal
Claims (8)
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계(S11)와;
자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S12)와;
객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S13)와;
상기 S12 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S14)와;
자동 데이터 라벨링 툴이 S13 단계 및 S14 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계(S15)와;
라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S16)와;
라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S17)와;
라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S18)와;
자동 데이터 라벨링 툴이 업데이트된 객체 검출 인공 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S19)와;
객체 검출에 성공한 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S20)와;
상기 S19 단계에서 객체 미검출이 발생한 경우, 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S21)와;
자동 데이터 라벨링 툴이 S20, S21 단계에서 표출된 객체정보를 자동으로 라벨링하는 단계(S22)와;
라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S23);
및 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S24)를 포함하여 이루어지는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
In a deep learning object detection and tracking-based automatic data labeling method to reduce labeling time,
The deep learning object detection and tracking-based automatic data labeling method,
The smart terminal collects the video image transmitted by the camera (S11) and;
The automatic data labeling tool transmits the collected image DB to the object detection artificial neural network mounted on the smart terminal to detect the object (S12);
If the object detection is successful, the automatic data labeling tool transmits the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information (S13);
When the object non-detection occurs in step S12, the object tracking artificial neural network estimating the undetected portion based on the previously received continuous object detection information to express the object information (S14);
The automatic data labeling tool automatically labels the object information expressed in steps S13 and S14 (S15);
determining, by the labeler, whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data (S16);
The labeler leaving the abnormal labeling data in the collected image DB and storing the normal labeling data in the labeling complete DB (S17);
updating the object detection artificial neural network by transferring the labeler complete labeling DB, which is the refined data, to the object detection artificial neural network mounted in the smart terminal (S18);
The automatic data labeling tool transmits the collected image DB, which is the data that has failed to be refined, to the updated object detection artificial neural network to detect the object (S19);
When the object detection is successful, the automatic data labeling tool transmits the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information (S20);
When the object is not detected in the step S19, the object tracking artificial neural network estimating the undetected part based on the previously received detection information of the continuous object to express the object information (S21);
The automatic data labeling tool automatically labels the object information expressed in steps S20 and S21 (S22);
The labeler determining whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data (S23);
and a step (S24) of the labeler leaving the abnormal labeling data as it is in the collected image DB, and storing the normal labeling data in the labeling complete DB (S24).
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
스마트 단말기가 상기 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S25)를 더 포함하여 이루어지는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
According to claim 1,
The deep learning object detection and tracking-based automatic data labeling method,
Automatic data labeling method based on deep learning object detection and tracking, characterized in that the smart terminal transmits the labeled data, which is the purified data, to the object detection artificial neural network to update the object detection artificial neural network (S25) .
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
상기 S19 단계 내지 S25 단계를 반복하여 이행하는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
3. The method of claim 2,
The deep learning object detection and tracking-based automatic data labeling method,
Deep learning object detection and tracking-based automatic data labeling method, characterized in that by repeating the steps S19 to S25.
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
스마트 단말기가 카메라가 전송하는 영상 이미지를 수집하는 단계(S11)와;
자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하는 단계(S12)와;
객체 검출에 성공하는 경우, 자동 데이터 라벨링 툴이 스마트 단말기에 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표출하는 단계(S13)와;
상기 S12 단계에서 객체 미검출이 발생하는 경우, 객체 추적 인공 신경망이 이전에 입력 받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하여 객체 정보를 표출하는 단계(S14)와;
자동 데이터 라벨링 툴이 S13 단계 및 S14 단계에서 표출된 객체 정보를 자동으로 라벨링하는 단계(S15)와;
라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터를 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하는 단계(S16)와;
라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하는 단계(S17);
및 라벨러가 상기 정제된 데이터인 라벨링 완료 DB를 스마트 단말기에 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 단계(S18)를 포함하여 이루어지는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
In a deep learning object detection and tracking-based automatic data labeling method to reduce labeling time,
The deep learning object detection and tracking-based automatic data labeling method,
The smart terminal collects the video image transmitted by the camera (S11) and;
The automatic data labeling tool transmits the collected image DB to the object detection artificial neural network mounted on the smart terminal to detect the object (S12);
If object detection is successful, the automatic data labeling tool transmits the detected object information to the object tracking artificial neural network mounted on the smart terminal and displays the detected object information (S13);
When the object is not detected in the step S12, the object tracking artificial neural network estimating the undetected part based on the previously received detection information of the continuous object to express the object information (S14);
The automatic data labeling tool automatically labels the object information expressed in steps S13 and S14 (S15);
The labeler determining whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data (S16);
A step of the labeler leaving the abnormal labeling data in the collected image DB and storing the normal labeling data in the labeling complete DB (S17);
and a step (S18) of a labeler updating the object detection artificial neural network by transferring the labeling complete DB, which is the refined data, to the object detection artificial neural network mounted on the smart terminal (S18) Deep learning object detection and tracking based Automatic data labeling method.
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법은,
상기 S11 단계 내지 S18 단계를 반복하여 수행하는 것을 특징으로 하는 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 방법.
5. The method of claim 4,
The deep learning object detection and tracking-based automatic data labeling method,
Deep learning object detection and tracking-based automatic data labeling method, characterized in that by repeating the steps S11 to S18.
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제 시스템은,
촬영된 영상 이미지 정보를 스마트 단말기로 전송하는 카메라(10);
및 카메라로부터 수신된 영상 이미지 정보를 수집하고 저장하는 것으로 자동 데티터 라벨링 툴이 탑재된 객체 검출 인공 신경망에 수집된 영상 DB를 전달하여 객체를 검출하며, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인경 신경망에 검출된 객체 정보를 전달하고 검출된 객체 정보를 표시부로 표출하며, 객체 미검출인 경우에는 객체 추적 인공 신경망이 이전에 입력받아온 연속된 객체의 검출 정보를 바탕으로 미검출된 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 상기 표시부에 표출된 객체 정보를 자동으로 라벨링하며, 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하며 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인(정제된) 라벨링 데이터는 라벨링 완료 DB에 저장하며, 라벨러가 상기 정제된 데이터인 레벨링 완료 DB를 탑재된 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 스마트 단말기(20)로 구성된 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제 시스템.
In a deep learning object detection and tracking-based automatic data labeling and purification system to reduce labeling time,
The deep learning object detection and tracking-based automatic data labeling and purification system,
a camera 10 for transmitting the captured video image information to the smart terminal;
And, by collecting and storing the video image information received from the camera, the collected image DB is delivered to the object detection artificial neural network equipped with the automatic data labeling tool to detect the object. If the object detection is successful, an automatic data labeling tool is installed The detected object information is transmitted to the object tracking neural network, and the detected object information is displayed on the display unit. The part is estimated and the estimated object information is displayed on the display unit, the automatic data labeling tool automatically labels the displayed object information on the display unit, and the labeler determines whether the data labeled by the automatic data labeling tool is normal labeling data or abnormal labeling data The labeler determines whether or not to recognize the abnormal labeling data as it is in the collected image DB, stores the normal (refined) labeling data in the labeling complete DB, and the labeler stores the refined data, the leveling complete DB, in the mounted object detection artificial neural network. Deep learning object detection and tracking-based automatic data labeling and purification system, characterized in that it consists of a smart terminal (20) that updates the object detection artificial neural network by transmitting it.
상기 스마트 단말기는,
자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연소된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 것을 더 포함하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제 시스템.
7. The method of claim 6,
The smart terminal,
The automatic data labeling tool detects the object by delivering the collected image DB, which is the data that failed the purification, to the updated object detection neural network, and when the object detection succeeds, the object detected by the object tracking artificial neural network equipped with the automatic data labeling tool The information is transmitted and displayed through the display unit, and when an object undetected date occurs, the object tracking artificial neural network estimates the undetected part based on the previously received detection information of the burned object and displays the estimated object information on the display unit, The automatic data labeling tool automatically labels the object information displayed on the display, the labeler determines whether the data labeled by the automatic data labeling tool is normal or abnormal labeling data, and the labeler leaves the abnormal labeling data in the collected image DB. , A deep learning object detection and tracking-based automatic data labeling and purification system, further comprising updating the object detection artificial neural network by storing the normal labeling data in the labeling complete DB and passing the labeling complete DB, which is purified data, to the object detection artificial neural network .
상기 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제시스템은,
자동 데이터 라벨링 툴이 업데이트된 객체 검출 인경 신경망에 상기 정제에 실패한 데이터인 수집된 영상 DB를 전달하여 객체를 검출하고, 객체 검출에 성공하면 자동 데이터 라벨링 툴이 탑재된 객체 추적 인공 신경망에 검출된 객체 정보를 전달하고 표시부를 통하여 표출하며 객체 미검출일 발생한 경우에는 객체 추적 인공신경망이 이전에 입력받아온 연소된 객체의 검출정보를 바탕으로 미검출 부분을 추정하고 추정된 객체 정보를 표시부에 표출하며, 자동 데이터 라벨링 툴이 표시부에 표출된 객체정보를 자동으로 라벨링하며 라벨러가 자동 데이터 라벨링 툴이 라벨링한 데이터가 정상적인 라벨링 데이터인지 비정상적인 라벨링 데이터인지 판단하고 라벨러가 비정상적인 라벨링 데이터는 수집된 영상 DB에 그대로 두고, 정상적인 라벨링 데이터는 라벨링 완료 DB에 저장하며 정제된 데이터인 라벨링 완료 DB를 객체 검출 인공 신경망에 전달하여 객체 검출 인공 신경망을 업데이트하는 것을 반복 이행하는 것을 특징으로 하는 딥 러닝 객체 검출 및 추적 기반 자동 데이터 라벨링 및 정제시스템.
8. The method of claim 7,
The deep learning object detection and tracking-based automatic data labeling and purification system,
The automatic data labeling tool detects the object by delivering the collected image DB, which is the data that failed the purification, to the updated object detection neural network, and when the object detection succeeds, the object detected by the object tracking artificial neural network equipped with the automatic data labeling tool The information is transmitted and displayed through the display unit, and when an object undetected date occurs, the object tracking artificial neural network estimates the undetected part based on the previously received detection information of the burned object and displays the estimated object information on the display unit, The automatic data labeling tool automatically labels the object information displayed on the display, the labeler determines whether the data labeled by the automatic data labeling tool is normal or abnormal labeling data, and the labeler leaves the abnormal labeling data in the collected image DB. , Deep learning object detection and tracking-based automatic data, characterized in that the normal labeling data is stored in the labeling complete DB, and the refined data, the labeling complete DB, is transmitted to the object detection artificial neural network to repeatedly update the object detection artificial neural network Labeling and purification systems.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181170A KR102537695B1 (en) | 2020-12-22 | 2020-12-22 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200181170A KR102537695B1 (en) | 2020-12-22 | 2020-12-22 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220090203A true KR20220090203A (en) | 2022-06-29 |
| KR102537695B1 KR102537695B1 (en) | 2023-05-26 |
Family
ID=82270071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200181170A KR102537695B1 (en) | 2020-12-22 | 2020-12-22 | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102537695B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102515259B1 (en) * | 2022-09-20 | 2023-03-30 | 주식회사 랑데뷰 | Automatic Collecting Apparatus for Machine Learning Labeling Data of Objects Detecting |
| CN116246332A (en) * | 2023-05-11 | 2023-06-09 | 广东工业大学 | Eyeball tracking-based data labeling quality detection method, device and medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (en) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
| KR20190044814A (en) * | 2017-10-23 | 2019-05-02 | (주)인스페이스 | Generate training data for deep learning |
| KR102002024B1 (en) * | 2018-12-06 | 2019-07-22 | 주식회사 아임클라우드 | Method for processing labeling of object and object management server |
| KR102030027B1 (en) * | 2019-05-09 | 2019-10-08 | (주)엠폴시스템 | Method, apparatus and program for refining labeling data |
-
2020
- 2020-12-22 KR KR1020200181170A patent/KR102537695B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101879735B1 (en) * | 2017-03-15 | 2018-07-18 | (주)넥셀 | Method and apparatus for automatic generating training data and self-learning apparatus and method using the same |
| KR20190044814A (en) * | 2017-10-23 | 2019-05-02 | (주)인스페이스 | Generate training data for deep learning |
| KR102002024B1 (en) * | 2018-12-06 | 2019-07-22 | 주식회사 아임클라우드 | Method for processing labeling of object and object management server |
| KR102030027B1 (en) * | 2019-05-09 | 2019-10-08 | (주)엠폴시스템 | Method, apparatus and program for refining labeling data |
Non-Patent Citations (1)
| Title |
|---|
| Noor M. AL-Shakarji 등, Semi-automatic System for Rapid Annotation of Moving Object in Surveillance Videos using Deep Detection and Multi-object Tracking Techniques, IEEE AIPR(2020.10.13.)* * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102515259B1 (en) * | 2022-09-20 | 2023-03-30 | 주식회사 랑데뷰 | Automatic Collecting Apparatus for Machine Learning Labeling Data of Objects Detecting |
| KR102528594B1 (en) * | 2022-09-20 | 2023-05-08 | 주식회사 랑데뷰 | Automatic Collecting Method for Machine Learning Labeling Data of Objects Detecting |
| WO2024063217A1 (en) * | 2022-09-20 | 2024-03-28 | 주식회사 랑데뷰 | Apparatus for automatically collecting ai object-recognition-learning labeling data, and method for automatically collecting ai object-recognition-learning labeling data by using same |
| CN116246332A (en) * | 2023-05-11 | 2023-06-09 | 广东工业大学 | Eyeball tracking-based data labeling quality detection method, device and medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102537695B1 (en) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705405B (en) | Target labeling method and device | |
| CN101465955B (en) | Method and apparatus for updating background | |
| CN110084165B (en) | Intelligent identification and early warning method for abnormal events in open scene of power field based on edge calculation | |
| KR20220090203A (en) | Automatic Data Labeling Method based on Deep learning Object Detection amd Trace and System thereof | |
| CN107621932B (en) | Local amplification method and device for display image | |
| CN110660102B (en) | Speaker recognition method, device and system based on artificial intelligence | |
| CN113382279A (en) | Live broadcast recommendation method, device, equipment, storage medium and computer program product | |
| CN111241928B (en) | Face recognition base optimization method, system, equipment and readable storage medium | |
| CN107133266B (en) | Method and device for detecting video shot type and method and device for updating database | |
| CN111881740A (en) | Face recognition method, face recognition device, electronic equipment and medium | |
| CN113963363A (en) | Detection method and device based on AR technology | |
| JP2020160804A (en) | Information processing device, program, and information processing method | |
| CN111199172A (en) | Terminal screen recording-based processing method and device and storage medium | |
| CN108765451A (en) | A kind of movement of traffic object detection method of adaptive RTS threshold adjustment | |
| CN115083008A (en) | Moving object detection method, device, equipment and storage medium | |
| CN115331204A (en) | Fatigue driving recognition method, system, electronic device and storage medium | |
| CN117274177A (en) | Power transmission line external damage prevention method and device based on image recognition | |
| CN112561954A (en) | Method and device for determining tracking track of target object and storage medium | |
| CN114821513B (en) | Image processing method and device based on multilayer network and electronic equipment | |
| CN116364064A (en) | Audio splicing method, electronic equipment and storage medium | |
| CN110599525A (en) | Image compensation method and apparatus, storage medium, and electronic apparatus | |
| CN116002480A (en) | Automatic detection method and system for accidental falling of passengers in elevator car | |
| CN112883755A (en) | Smoking and calling detection method based on deep learning and behavior prior | |
| CN115314684A (en) | Railway bridge inspection method, system, equipment and readable storage medium | |
| CN113033552B (en) | Text recognition method and device and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |