KR102399425B1 - Data labelling pre-processing, distributing and checking system - Google Patents

Data labelling pre-processing, distributing and checking system Download PDF

Info

Publication number
KR102399425B1
KR102399425B1 KR1020210148706A KR20210148706A KR102399425B1 KR 102399425 B1 KR102399425 B1 KR 102399425B1 KR 1020210148706 A KR1020210148706 A KR 1020210148706A KR 20210148706 A KR20210148706 A KR 20210148706A KR 102399425 B1 KR102399425 B1 KR 102399425B1
Authority
KR
South Korea
Prior art keywords
data
labeling
labeler
image data
unit
Prior art date
Application number
KR1020210148706A
Other languages
Korean (ko)
Inventor
김영훈
노재춘
Original Assignee
(주)넥스트박스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥스트박스 filed Critical (주)넥스트박스
Priority to KR1020210148706A priority Critical patent/KR102399425B1/en
Application granted granted Critical
Publication of KR102399425B1 publication Critical patent/KR102399425B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

The objective of the present invention is to provide a data labelling pre-processing, distributing and inspecting system comprising a new data processing method. The present invention relates to a data labeling system. The system comprises a labeling station, a plurality of labeler terminals connected to the labeling station, and an image data source for supplying original image data to the labeling station.

Description

데이터 라벨링 전처리, 분배 및 검수 시스템{Data labelling pre-processing, distributing and checking system} Data labeling pre-processing, distributing and checking system

본 발명은 데이터 라벨링 전처리, 분배 및 검수 시스템에 관한 것이다. The present invention relates to a data labeling preprocessing, distribution and inspection system.

인공지능 시대가 도래하면서 사람이 인지 및 판단하는 것을 컴퓨터가 인지 및 판단하는 작업을 수행하고 있다. 데이터의 양은 무한하며, 데이터의 종류는 영상, 이미지, 오디오, 텍스트, 바이너리<신호>등 다양하다. 인간은 시각, 청각, 촉각, 미각, 후각의 오감에 의한 느낌을 기반으로 정보를 인지하고 판단한다. 머신러닝과 인공지능 분야에서는 데이터가 입력될수록 정보에 대한 정확한 인식과 예측이 가능해진다. With the advent of the age of artificial intelligence, computers are performing the task of recognizing and judging what humans perceive and judge. The amount of data is infinite, and the types of data are diverse, such as video, image, audio, text, and binary <signal>. Humans recognize and judge information based on the senses of the five senses: sight, hearing, touch, taste, and smell. In the field of machine learning and artificial intelligence, the more data is input, the more accurate recognition and prediction of information becomes possible.

데이터를 머신러닝, 인공지능 분야에 활용하기에는 그 데이터의 의미가 추상적이고 광범위하므로 활용 가능한 수준의 데이터 가공, 분류 및 지정이 필요하다. 이미지데이터를 라벨링하는 작업도 마찬가지이다. 데이터 라벨링은 인공지능이나 컴퓨터 프로그램만으로는 학습이 완료된다고 볼 수 없으며, 현재와 다가올 미래까지 데이터 라벨링에는 인간이 확인 및 검증해야 하는 작업이 필수적이라 할 수 있다. In order to use data in machine learning and artificial intelligence fields, the meaning of the data is abstract and broad, so it is necessary to process, classify, and designate data at an usable level. The same is true for labeling image data. In data labeling, learning cannot be completed with artificial intelligence or computer programs alone, and human confirmation and verification is essential for data labeling now and in the future.

데이터 라벨링을 하는 작업자인 "라벨러"는 현재 여러 가지 어려운 상황에 놓여 있다. 라벨러는 라벨링 업체가 프로젝트를 생성하여 라벨러를 모집하는 것을 일일이 찾아봐야 하며, 라벨링을 처음 하는 경우 교육을 이수해야 하고, 라벨링을 높은 정확도로 정확하게 하지 않으면 작업이 반려되고, 대부분 데스크탑과 같은 고정형 컴퓨터로 작업하므로, 시간과 공간이 제약되는 문제가 있다.Data labeling workers, “labelers,” are now in a number of difficult situations. Labelers have to find each labeler that creates a project and recruits labelers. If they are new to labeling, they need to complete training. If labeling is not done accurately and with high accuracy, the job is rejected, and most of them work with a fixed computer such as a desktop. Therefore, there is a problem that time and space are limited.

따라서, 라벨러들이 작업하고 싶을 때 어디에서든, 언제든지, 쉽고 편리하게 할 수 있는 라벨링 시스템이 필요하다. Therefore, there is a need for a labeling system that labelers can easily and conveniently do whenever, wherever they want to work.

일부 라벨링 업체에서는 일부 작업된 데이터를 사용, 인공지능을 만들어 학습하는 방식으로 데이터 라벨링 작업에 대한 시간, 비용을 낮추기 위해 노력하고 있으나 데이터 가공을 위한 작업 방식은 여전히 기존 체계를 유지하고 있다. Some labeling companies are trying to reduce the time and cost of data labeling by using some processed data to create and learn artificial intelligence, but the working method for data processing still maintains the existing system.

한편, 실제 라벨링 작업 시, 이미지 한 장당 객체의 수는 1개가 될 수도 있고 10개 이상 혹은 그보다 더 많을 수 있으며, 이미지당 객체의 수에 따라 작업자의 업무 부하가 높아지고 작업이 지속될수록 작업 효율의 저하를 가져오게 된다. 결국 전체 데이터가 많아지면 작업자의 수를 늘리게 되며 시간 및 비용 효율성의 문제점이 나타나게 되는 것이다.On the other hand, in actual labeling work, the number of objects per image may be one, 10 or more, or more. will bring Eventually, if the total data is large, the number of workers will increase, and problems of time and cost effectiveness will appear.

또, 모바일과 같은 작은 화면에서는 데이터 라벨링을 하기 어렵다. 예를 들어, 하나의 이미지에 서로 다른 8개(1번부터~8번객체)의 객체의 데이터 라벨링을 해야 한다고 하면 1번 객체를 라벨링 작업하기 좋은 크기로 작업자가 직접 확대하고, 확대된 객체 이미지의 데이터라벨링을 정확하게 수행하고, 해당 객체가 어떤 종류(승용차, 화물차, 버스, 오토바이, 사람 등)인지 입력하고, 다시 이미지를 축소해서 2번 객체의 데이터 라벨링을 앞서의 과정을 반복하여 수행해야 한다. 이러한 작업을 PC 모니터와 같은 큰 화면에서 수행한다고 해도 용이한 작업이 아니며, 현재의 데이터 라벨링 시스템으로는 모바일이라는 작은 디스플레이 환경에 적응하기 어려운 문제점이 존재한다. 더욱, 하나의 이미지 데이터의 10개의 인스턴스(타깃 객체)가 있는 경우 이미지 파일이 상대적으로 매우 커서 라벨링 업체와 라벨러간 통신에 있어 대역폭 및 네트워크 비용에 대한 문제도 존재한다. In addition, it is difficult to label data on a small screen such as a mobile device. For example, if it is necessary to label the data of 8 different objects (objects 1 to 8) in one image, the operator directly enlarges the object 1 to a suitable size for labeling work, and the enlarged object image data labeling of the object, input the type of the object (car, truck, bus, motorcycle, person, etc.) . Even if this task is performed on a large screen such as a PC monitor, it is not an easy task, and there is a problem in that it is difficult to adapt to the small display environment of mobile with the current data labeling system. Moreover, when there are 10 instances (target object) of one image data, the image file is relatively very large, so there is also a problem of bandwidth and network cost in communication between the labeler and the labeler.

이미지 데이터의 라벨링과 관련하여 특허 공개 제10-2020-0130636호는 하나 이상의 이미지에 대한 자동 라벨링 정보를 획득하고, 이미지에 대한 자동 라벨링 정보를 표시하고, 이미지에 대한 수동 라벨링 정보를 획득하고 획득된 수동 라벨링 정보에 기초하여 이미지에 대한 라벨링 정보를 결정하는 단계를 포함하는, 라벨링 데이터 정제방법을 개시하고 있다. 다른 특허 공개 제10-2019-0137087호는 도로의 이미지를 캡처하도록 구성된 카메라 및 카메라에 통신 가능하게 연결된 전자 프로세서를 포함하며, 전자 프로세서가 제 1 복수의 피처들을 포함하는 지도를 로딩하여 이미지를 수신하고, 이미지에 지도를 투영하여 제 2 복수의 피처들을 검출하고 제 1 복수의 피처들을 제 2 복수의 피처들과 정렬시킴으로써 지도를 이미지와 정렬하도록 구성된 자동 이미지 라벨링 방법을 개시하고 있다. 그러나, 이들 선행특허는 이미지 데이터의 라벨링 처리에만 국한하고 있으며 라벨러를 포함하는 전반적인 데이터 처리 모델과 시스템은 개시하고 있지 않다.Regarding the labeling of image data, Patent Publication No. 10-2020-0130636 discloses obtaining automatic labeling information for one or more images, displaying automatic labeling information for images, obtaining manual labeling information for images, and obtaining the obtained Disclosed is a method for refining labeling data, comprising determining labeling information for an image based on manual labeling information. Another Patent Publication No. 10-2019-0137087 includes a camera configured to capture an image of a roadway and an electronic processor communicatively coupled to the camera, wherein the electronic processor loads a map including a first plurality of features to receive the image and projecting the map onto the image to detect a second plurality of features and aligning the map with the image by aligning the first plurality of features with a second plurality of features. However, these prior patents are limited to the labeling processing of image data and do not disclose the overall data processing model and system including the labeler.

발명자는 이상의 선행기술의 문제점을 해소하기 위하여 라벨러 업체 및 라벨러간의 능동적인 교신을 통해 데이터라벨링을 효율적으로 수행할 수 있는 데이터 라벨링 전처리, 분배 및 검수 시스템을 제안하게 되었다.In order to solve the above problems of the prior art, the inventor has proposed a data labeling preprocessing, distribution and inspection system that can efficiently perform data labeling through active communication between labeler companies and labelers.

그러므로 본 발명은 데이터의 가공 수요가 기하급수적으로 늘어날 것에 대비하여 효율적으로 대응 가능한 새로운 데이터 가공 방식을 포함하는 데이터 라벨링 전처리, 분배 및 검수 시스템을 제공하는 것을 목적으로 한다. Therefore, an object of the present invention is to provide a data labeling pre-processing, distribution and inspection system including a new data processing method that can efficiently respond in preparation for an exponential increase in data processing demand.

상술한 목적을 달성하기 위하여 본 발명은, 데이터 라벨링 시스템으로서, 상기 시스템은 라벨링스테이션과, 라벨링스테이션에 연결된 복수의 라벨러단말과, 라벨링스테이션에 원본인 이미지데이터를 공급하는 이미지데이터소스를 포함하는, 데이터라벨링 시스템을 제공한다.In order to achieve the above object, the present invention provides a data labeling system comprising a labeling station, a plurality of labeler terminals connected to the labeling station, and an image data source for supplying original image data to the labeling station, A data labeling system is provided.

상기 라벨러단말은 모바일 디바이스일 수 있다.The labeler terminal may be a mobile device.

상기 라벨링스테이션은 이미지데이터수신부와, 객체데이터생성부와, 고유키생성부와, 객체데이터송신부와, 라벨러선정부를 포함하며, 이미지데이터수신부는 이미지데이터 소스로부터 이미지데이터를 수신 받고, 객체데이터생성부는 이미지데이터를 토대로 이미지데이터에서 객체를 추출하여 객체데이터를 생성하며, 고유키생성부는 각각의 이미지데이터-복수의 객체데이터에 동일한 고유키를 생성하여 부여하여 라벨링데이터저장부에 저장할 수 있다.The labeling station includes an image data receiving unit, an object data generating unit, a unique key generating unit, an object data transmitting unit, and a labeler selecting unit, the image data receiving unit receiving image data from an image data source, and the object data generating unit The object data is generated by extracting an object from the image data based on the image data, and the unique key generator generates and assigns the same unique key to each image data-plural object data and stores it in the labeling data storage unit.

라벨러 선정부는 각각의 라벨러의 업무 부하 상태, 작업품질, 객체당 처리 시간을 포함하는 라벨러 관련 정보를 저장한 라벨러DB에서 작업 가능한 라벨러를 선별하고, 객체데이터송신부는 선별된 라벨러에게 각각의 객체데이터를 전송할 수 있다.The labeler selection unit selects workable labelers from the labeler DB, which stores labeler-related information including each labeler's workload status, work quality, and processing time per object, and the object data sending unit sends each object data to the selected labeler. can be transmitted

라벨러단말은 라벨링수행부를 포함하며, 라벨링수행부는 객체를 가로지르는 대각선상의 두 포인트를 터치하면 포인트가 이루는 사각형을 최대의 바운더리로 인식하고 그 범위안에서 경계선을 인식하여 추출하며, 객체에 인덴테이션(indentation)을 부여하기 위한 단어를 더 표시할 수 있다.The labeler terminal includes a labeling execution unit, and when two points on a diagonal crossing an object are touched, the labeling execution unit recognizes the rectangle formed by the points as the maximum boundary, recognizes the boundary within the range, and extracts the indentation (indentation) to the object. ) can be further indicated.

라벨링스테이션은 작업데이터병합부와 최종라벨링데이터생성부를 더 포함하며, 작업데이터병합부는 라벨러단말이 송신한 작업데이터에서 고유키를 판독하여 동일한 고유키를 가진 작업데이터들을 소트하여 병합하고, 최종라벨링데이터생성부는 병합된 작업데이터들과 동일한 고유키를 가지는 이미지데이터를 라벨링데이터저장부에서 서치하여 탐색하고, 이미지데이터와 작업데이터가 합해진 최종라벨링데이터를 생성할 수 있다.The labeling station further includes a job data merging unit and a final labeling data generating unit, and the job data merging unit reads a unique key from the job data transmitted by the labeler terminal, sorts and merges the job data having the same unique key, and merges the final labeling data The generating unit may search and search for image data having the same unique key as the merged work data in the labeling data storage unit, and generate final labeling data in which the image data and the work data are combined.

본 발명은, 모바일 기반으로 1개의 이미지에서 전체 인스턴스를 각각 하나씩 분류하여 단위를 축소시켜 작은 모바일 디스플레이 환경으로 최소의 데이터 비용으로 최적화된 라벨링 작업과 분배를 가능하게 한다는 효과를 발휘한다. The present invention has the effect of enabling optimized labeling and distribution with minimal data cost in a small mobile display environment by reducing the unit by classifying each instance in one image on a mobile basis.

본 발명은 작업자에게 효율적으로 작업을 분할 및 분배함으로써 실시간으로 작업자는 1가지 상황에 집중하여 더 단순하고 신속하게 라벨링 작업을 완료할 수 있다는 효과를 발휘한다.The present invention effectively divides and distributes the work to the operator, so that the operator can focus on one situation in real time and complete the labeling task more simply and quickly.

본 발명은 데이터의 저용량을 실현하고, 모바일과 같은 작은 화면에서도 객체의 정확한 라벨링이 가능하며, 이미지를 잘라서 부분적인 객체를 라벨러에게 보내기 때문에 1차적인 보안 유지가 가능하고, 20초 안에 1개의 객체 라벨링을 언제, 어디서나 처리할 수 있다는 효과를 발휘한다.The present invention realizes a low data capacity, enables accurate labeling of objects even on small screens such as mobile, cuts the image and sends partial objects to the labeler, so primary security can be maintained, and one object in 20 seconds It has the effect of being able to handle labeling anytime, anywhere.

도 1은 본 발명의 데이터 라벨링 전처리, 분배 및 검수 시스템의 전체 구성도이다.
도 2는 본 발명의 라벨링스테이션의 구성도이다.
도 3은 본 발명의 라벨러단말의 구성도이다.
도 4는 본 발명에서 이미지데이터에서 객체데이터를 추출하는 과정을 도시한 예이다.
도 5는 라벨러의 라벨러단말로 전송된 객체데이터와, 라벨링 수행부가 행하는 기능을 도시한 도면이다. 1 is an overall configuration diagram of the data labeling pre-processing, distribution and inspection system of the present invention.
2 is a block diagram of a labeling station of the present invention.
3 is a block diagram of a labeler terminal of the present invention.
4 is an example illustrating a process of extracting object data from image data in the present invention.
5 is a diagram illustrating object data transmitted to a labeler terminal of a labeler and functions performed by a labeling performing unit.

본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 본 발명은 각 실시예에 포함되는 개별 구성 및 개별 기능 중, 적어도 어느 하나 이상의 조합으로 구성될 수 있다.Each embodiment according to the present invention is merely an example for helping understanding of the present invention, and the present invention is not limited to these embodiments. The present invention may be composed of a combination of at least any one of individual components and individual functions included in each embodiment.

본 발명에서 어느 구성을 “포함”한다는 기재는 그 구성은 물론이고 다른 구성도 포함할 수 있다는 개방된 의미로 해석되어야 한다. In the present invention, the statement “including” any component should be interpreted as an open meaning that may include other components as well as the component.

도 1은 본 발명의 데이터 라벨링 전처리, 분배 및 검수 시스템{1}의 전체 구성도이다. 1 is an overall configuration diagram of a data labeling pre-processing, distribution and inspection system {1} of the present invention.

본 발명의 데이터 라벨링시스템(1)은 라벨링스테이션(2)과, 라벨링스테이션(2)에 연결된 복수의 라벨러단말(4)을 포함한다. 라벨링스테이션(2)은 라벨링 기관이나 업체에 구축된다. 데이터 라벨링을 수행하는 라벨러들은 라벨링 업체에 이미 등록 및 인증되어 있으며 각각이 소유한 라벨러단말(4)이 라벨링스테이션(2)에 연결된다. 라벨러단말(4)은 스마트폰과 같은 모바일 디바이스가 가장 바람직하나, 반드시 이에 한정되는 것은 아니다. The data labeling system 1 of the present invention includes a labeling station 2 and a plurality of labeler terminals 4 connected to the labeling station 2 . The labeling station 2 is built in a labeling institution or company. Labelers performing data labeling are already registered and certified with a labeling company, and each of the labeler terminals 4 owned is connected to the labeling station 2 . The labeler terminal 4 is most preferably a mobile device such as a smartphone, but is not necessarily limited thereto.

이미지데이터 소스(6)는 라벨링스테이션(2)에 원본인 이미지데이터를 전송한다. 이러한 소스(6)는 라벨링 발주 기관 또는 업체일 수 있다. 또는 라벨링 업체와 계약한 차량의 소유주나 자동차 제조사일 수 있으며 이 경우에는 차량에 장착된 카메라 및 라이더 센서가 획득한 정보가 라벨링 스테이션(2)으로 자동 전송된다.The image data source 6 transmits the original image data to the labeling station 2 . This source 6 may be a labeling ordering organization or company. Alternatively, it may be the owner of the vehicle contracted with the labeling company or the automobile manufacturer. In this case, the information acquired by the camera and lidar sensor mounted on the vehicle is automatically transmitted to the labeling station 2 .

도 2는 본 발명의 핵심인 라벨링스테이션(2)의 구성도이다. 2 is a block diagram of the labeling station 2, which is the core of the present invention.

라벨링스테이션(2)은 이미지데이터수신부(10)와, 객체데이터생성부(12)와, 고유키생성부(14)와, 객체데이터송신부(16)와, 라벨러선정부(18)를 포함한다.The labeling station 2 includes an image data receiving unit 10 , an object data generating unit 12 , a unique key generating unit 14 , an object data transmitting unit 16 , and a labeler selecting unit 18 .

이미지데이터수신부(10)는 이미지데이터 소스(6)로부터 이미지데이터를 수신 받는다. 이미지데이터는 동영상 또는 사진일 수 있다. 객체데이터생성부(12)는 이미지데이터를 토대로 이미지데이터에서 객체를 추출하여 객체데이터를 생성한다. The image data receiving unit 10 receives image data from the image data source 6 . The image data may be a moving picture or a photo. The object data generating unit 12 generates object data by extracting an object from the image data based on the image data.

도 4a는 이미지데이터가 동영상 또는 연속된 일련의 사진인 경우를 도시하고 있다. 객체데이터생성부(12)는 이로부터 도 4b에 도시한 것처럼 하나 하나의 분할된 이미지로 분리한다. 다음, 도 4c에 도시한 것처럼 이미지의 객체(도시한 예에서는 5개)를 식별하여 그 경계선을 따라 각각의 객체의 형상을 모두 포함하는 방식으로 누락 없이 최대한 넓게 각각의 객체를 분리하여 객체데이터를 생성한다. 도 4c는 5개의 객체데이터의 예를 도시하고 있다. 이러한 방법으로 다른 이미지데이터에 대해서 객체를 추출하면 다수의 객체 데이터가 생성된다. 본 발명에서는 이미지데이터에서 객체가 추출되는 과정이 1차 라벨링 작업 또는 전처리 작업(pre-processing)에 해당한다.4A shows a case where the image data is a moving picture or a series of pictures. The object data generating unit 12 separates the divided images one by one as shown in FIG. 4B. Next, as shown in Fig. 4c, by identifying the objects of the image (five in the example shown) and separating each object as wide as possible without omission in a way that includes all the shapes of each object along the boundary line, the object data is stored create 4C shows an example of five object data. In this way, if an object is extracted for other image data, a plurality of object data is generated. In the present invention, the process of extracting an object from image data corresponds to a primary labeling operation or a pre-processing operation.

하나의 이미지데이터는 적어도 n개 이상의 고유한 객체를 포함하므로 본 발명의 고유키생성부(14)는 마스터-슬레이브 관계인 이들 각각의 이미지데이터-객체데이터에 동일한 고유키를 생성하여 부여한다. 고유키는 나중에 객체데이터를 취합하여 이미지에 통합시키는 과정에서도 필요하다. 고유키의 생성은 예를 들어 해쉬(hash) 프로그램을 이용할 수 있다. 또, 관리의 편의를 위해 이미지데이터중에서 동일한 차종 또는 동일한 소스에서 전송된 데이터에도 각각의 고유코드가 추가로 부여된다.Since one image data includes at least n or more unique objects, the unique key generator 14 of the present invention generates and assigns the same unique key to each of the image data-object data in the master-slave relationship. The unique key is also needed later in the process of collecting object data and integrating it into the image. The unique key may be generated using, for example, a hash program. In addition, for the convenience of management, each unique code is additionally assigned to data transmitted from the same vehicle model or the same source among image data.

이와 같이 고유키가 부여된 이미지데이터와 객체데이터는 라벨링데이터저장부(22)에 저장된다. As such, the image data and object data to which the unique key is assigned are stored in the labeling data storage unit 22 .

이상의 설명에서 대용량의 이미지데이터 처리가 필요한 작업, 예를 들어 동영상데이터의 사진으로의 분할 작업 또는 라벨링데이터의 저장은 외부의 클라우드 서버를 이용할 수 있으며, 이 한도에서 클라우드 서버의 구성요건은 본 발명의 권리범위에 포함될 수 있다.In the above description, an external cloud server can be used for work that requires processing of large-capacity image data, for example, segmentation of moving image data into photos or storage of labeling data, and the cloud server's components within this limit are of the present invention. may be included in the scope of rights.

본 발명의 라벨링스테이션(2)은 라벨러DB(20)를 포함하고 있다. 라벨러DB(20)에는 작업자의 업무 부하 상태, 작업품질, 객체당 처리 시간등의 라벨러와 관련된 정보가 등록되어 있다. 일부 정보 - 현재 작업 가능 여부, 작업 가능 시간등- 은 후술하는 것과 같이 라벨러가 라벨러단말(4)에 입력하여 라벨링스테이션(2)으로 전송할 수 있다.The labeling station (2) of the present invention includes a labeler DB (20). In the labeler DB 20, information related to the labeler such as the worker's workload status, work quality, and processing time per object is registered. Some information - whether current work is available, work available time, etc. - can be transmitted to the labeling station 2 by being input by the labeler into the labeler terminal 4 as will be described later.

라벨러선정부(16)는 라벨러DB(20)를 참조로 현재 작업 가능한 라벨러를 선별한다. 라벨러는 작업 가능한 라벨러들 중에서 임의로 또는 순서대로 선택될 수 있다. The labeler selection unit 16 selects a labeler that can currently work with reference to the labeler DB 20 . The labeler may be randomly or sequentially selected from among the workable labelers.

객체데이터전송부(18)는 선별된 라벨러에게 라벨링데이터저장부(22)에 저장된 객체데이터를 전송한다. 바람직하게, 객체데이터는 하나이며, 따라서 라벨러는 모바일을 통해 신속하고 용이하게 라벨링 작업을 수행할 수 있다. 동일한 이미지데이터를 기반으로 한 복수의 객체데이터가 서로 다른 라벨러에게 부여되어도 고유키에 의한 식별과 취합이 가능하므로 문제되지 않는다.The object data transmission unit 18 transmits the object data stored in the labeling data storage unit 22 to the selected labeler. Preferably, the object data is one, so that the labeler can quickly and easily perform labeling through mobile. Even if a plurality of object data based on the same image data is assigned to different labelers, there is no problem because identification and collection by unique key is possible.

분할된 객체 데이터가 여러 작업자들에게 자동으로 하나씩 분배되는데 이때 작업자는 시스템에 접속되어 있고 작업이 준비된 상태이므로 데이터의 중요도에 따라 데이터를 실시간으로 전달할 수 있다.The divided object data is automatically distributed one by one to multiple workers. At this time, since the worker is connected to the system and ready for work, data can be delivered in real time according to the importance of the data.

다음, 본 발명의 다른 구성인 라벨러단말(4)에 대하여 도 3을 참조로 설명한다. 라벨러단말(4)은 전술한 것과 같이 기본적으로 스마트폰 등의 휴대기기를 전제로 하지만 PC, 스마트폰, 패드 등 기본적인 디스플레이와 입력기기가 있는 기기이면 모두 가능하다.Next, another configuration of the labeler terminal 4 of the present invention will be described with reference to FIG. 3 . The labeler terminal 4 is basically a mobile device such as a smart phone as described above, but any device having a basic display and input device such as a PC, a smart phone, and a pad is possible.

본 발명의 라벨러단말(4)은 라벨러데이터입력부(40)와, 객체데이터수신부(42)와, 라벨링수행부(44)와, 작업데이터송신부(46)를 포함한다. 이들은 라벨링 작업을 위한 고유의 앱이나 프로그램으로 제공되는 것이 일반적이다.The labeler terminal 4 of the present invention includes a labeler data input unit 40 , an object data receiving unit 42 , a labeling performing unit 44 , and a working data transmitting unit 46 . These are typically provided as their own apps or programs for labeling tasks.

라벨러데이터입력부(40)는 라벨러가 자신의 현재 작업 가능 여부, 작업 가능 시간등의 개인 정보를 입력하며, 입력된 정보는 라벨링스테이션(2)으로 전송되어 라벨러DB(20)에 저장되고 실시간으로 갱신된다.The labeler data input unit 40 allows the labeler to input personal information such as whether his/her current work is possible, work available time, etc., and the input information is transmitted to the labeling station 2 and stored in the labeler DB 20 and updated in real time. do.

객체데이터수신부(42)는 객체데이터전송부(18)가 송신한 객체데이터를 수신하며 이는 모바일 디바이스의 화면에 표시된다.The object data receiving unit 42 receives the object data transmitted by the object data transmitting unit 18, which is displayed on the screen of the mobile device.

도 5a는 하나의 이미지데이터에서 추출한 5개의 객체데이터가 5명의 라벨러의 라벨러단말(4)로 전송되어 화면에 표시된 예를 도시하고 있다.5A shows an example in which five object data extracted from one image data is transmitted to the labeler terminal 4 of five labelers and displayed on the screen.

라벨링수행부(44)는 기존의 라벨링작업과 같이 작업자가 객체의 윤곽을 따라 포인트를 정하고 세그멘테이션하는 과정을 포함하지만, 모바일 디바이스의 장점을 살리기 위하여 다음의 두 과정을 더 제공하는 점에 장점이 있다.The labeling performing unit 44 includes a process in which an operator sets a point along the outline of an object and performs segmentation as in the conventional labeling operation, but there is an advantage in that the following two processes are further provided in order to take advantage of the advantages of the mobile device. .

하나는 터치-터치 방식으로, 예를 들어 도 5b에 도시한 것과 같이, 객체를 가로지르는 대각선상의 두 포인트를 터치하면 포인트가 이루는 사각형을 최대의 바운더리로 인식하고 그 범위안에서 경계선을 인식하고 추출하는 것이다. 다른 하나는 객체의 인덴테이션(indentation)을 용이하게 한 것으로, “사람” “강아지” “양배추” “자동차”의 단어 에서 바로 “승용차”를 터치하여 선택할 수 있다. 본 발명에서는 작업자가 라벨링수행부(44)를 통하여 데이터 라벨링을 수행하는 과정이 2차 라벨링 작업에 해당한다.One is a touch-touch method, for example, as shown in Fig. 5b, when two points on a diagonal crossing an object are touched, the rectangle formed by the points is recognized as the maximum boundary, and the boundary line is recognized and extracted within the range. will be. The other is to facilitate object indentation, which can be selected by touching “car” directly from the words “person”, “dog”, “cabbage” and “car”. In the present invention, the process of the operator performing data labeling through the labeling performing unit 44 corresponds to the secondary labeling operation.

라벨러가 라벨링 작업을 마친 작업데이터는 작업데이터송신부(46)를 통하여 라벨링스테이션(2)으로 전송된다. The job data that the labeler completes the labeling operation is transmitted to the labeling station 2 through the job data transmission unit 46 .

다시 도 2를 참조하면 본 발명의 라벨링스테이션(2)은 작업데이터병합부(24)와 최종라벨링데이터생성부(26)를 포함한다.Referring back to FIG. 2 , the labeling station 2 of the present invention includes a work data merging unit 24 and a final labeling data generating unit 26 .

작업데이터병합부(24)는 라벨러단말(4)이 송신한 작업데이터에서 고유키를 판독하여 동일한 고유키를 가진 작업데이터들을 소트하여 병합한다.The job data merging unit 24 reads a unique key from the job data transmitted by the labeler terminal 4, sorts and merges the job data having the same unique key.

최종라벨링데이터생성부(26)는 병합된 작업데이터들과 동일한 고유키를 가지는 이미지데이터를 라벨링데이터저장부(22)에서 서치하여 탐색하고, 이미지데이터와 작업데이터가 합해진 최종라벨링데이터를 생성한다. 본 발명에서는 작업데이터병합부(24)와 최종라벨링데이터생성부(26)에서 수행하는 데이터의 병합과 합성이 3차 라벨링 작업에 해당한다.The final labeling data generating unit 26 searches and searches for image data having the same unique key as the merged work data in the labeling data storage unit 22, and generates the final labeling data in which the image data and the work data are combined. In the present invention, merging and synthesis of data performed by the work data merging unit 24 and the final labeling data generating unit 26 corresponds to the tertiary labeling operation.

최종라벨링데이터는 도시하지 않은 표시장치를 통하여 표시되며, 라벨링스테이션(2)의 관리자나 작업자는 이 최종라벨링데이터를 보고 라벨링 작업의 PASS/FAIL을 결정할 수 있다.The final labeling data is displayed through a display device (not shown), and the manager or operator of the labeling station 2 can determine the PASS/FAIL of the labeling operation by looking at the final labeling data.

본 발명에서 하나의 객체데이터에 대한 라벨링 작업은 20초면 충분하다. 또 라벨링 작업이 간편하므로 사전 교육이 필요하지 않으며 모바일 디바이스로 언제 어디서나 간편하게 라벨링 작업을 수행할 수 있는 장점이 있다.In the present invention, 20 seconds is sufficient for labeling one object data. In addition, since the labeling operation is easy, there is no need for prior training, and it has the advantage of being able to conveniently perform labeling work anytime, anywhere with a mobile device.

이상 기술한 본 발명은 각각의 구성요건에도 특징이 있지만, 라벨링 업체와 라벨러간을 포함하는 새로운 모델을 구축한 점에 장점이 있음을 이해할 수 있을 것이다.Although the present invention described above has characteristics in each component, it will be understood that there is an advantage in establishing a new model including between a labeling company and a labeler.

Claims (6)

데이터 라벨링 시스템으로서, 상기 시스템은 라벨링스테이션과, 라벨링스테이션에 연결된 복수의 라벨러단말과, 라벨링스테이션에 원본인 이미지데이터를 공급하는 이미지데이터소스를 포함하고,
상기 라벨링스테이션은 이미지데이터수신부와, 객체데이터생성부와, 고유키생성부와, 객체데이터송신부와, 라벨러선정부를 포함하며, 이미지데이터수신부는 이미지데이터 소스로부터 이미지데이터를 수신 받고, 객체데이터생성부는 이미지데이터를 토대로 이미지데이터에서 객체를 추출하여 객체데이터를 생성하며, 고유키생성부는 각각의 이미지데이터-복수의 객체데이터에 동일한 고유키를 생성하여 부여하여 라벨링데이터저장부에 저장하고,
라벨러단말은 라벨링수행부를 포함하며, 라벨링수행부는 객체를 가로지르는 대각선상의 두 포인트를 터치하면 포인트가 이루는 사각형을 최대의 바운더리로 인식하고 그 범위안에서 경계선을 인식하여 추출하며, 객체에 인덴테이션(indentation)을 부여하기 위한 단어를 더 표시하는, 데이터 라벨링 시스템.A data labeling system comprising: a labeling station; a plurality of labeler terminals connected to the labeling station; and an image data source for supplying original image data to the labeling station,
The labeling station includes an image data receiving unit, an object data generating unit, a unique key generating unit, an object data transmitting unit, and a labeler selecting unit, the image data receiving unit receiving image data from an image data source, and the object data generating unit Based on the image data, the object is extracted from the image data to generate object data, and the unique key generator generates and assigns the same unique key to each image data-plural object data and stores it in the labeling data storage unit,
The labeler terminal includes a labeling execution unit, and when two points on a diagonal crossing an object are touched, the labeler terminal recognizes the rectangle formed by the points as the maximum boundary, recognizes and extracts the boundary within the range, and indents the object. ), a data labeling system, further indicating a word for assigning. 제 1항에 있어서,
상기 라벨러단말은 모바일 디바이스인, 데이터 라벨링 시스템.The method of claim 1,
The labeler terminal is a mobile device, data labeling system. 삭제delete 제 1항에 있어서,
라벨러 선정부는 각각의 라벨러의 업무 부하 상태, 작업품질, 객체당 처리 시간을 포함하는 라벨러 관련 정보를 저장한 라벨러DB에서 작업 가능한 라벨러를 선별하고, 객체데이터송신부는 선별된 라벨러에게 하나의 이미지데이터에서 추출되어 분리된 각각의 객체데이터를 전송하는, 데이터 라벨링 시스템.The method of claim 1,
The labeler selection unit selects workable labelers from the labeler DB, which stores labeler-related information including each labeler's workload status, work quality, and processing time per object, and the object data sending unit provides the selected labelers from one image data. A data labeling system that transmits each extracted and separated object data. 삭제delete 제 1항에 있어서,
라벨링스테이션은 작업데이터병합부와 최종라벨링데이터생성부를 더 포함하며, 작업데이터병합부는 라벨러단말이 송신한 작업데이터에서 고유키를 판독하여 동일한 고유키를 가진 작업데이터들을 소트하여 병합하고, 최종라벨링데이터생성부는 병합된 작업데이터들과 동일한 고유키를 가지는 이미지데이터를 라벨링데이터저장부에서 서치하여 탐색하고, 이미지데이터와 작업데이터가 합해진 최종라벨링데이터를 생성하는, 데이터 라벨링 시스템.


The method of claim 1,
The labeling station further includes a job data merging unit and a final labeling data generating unit, and the job data merging unit reads a unique key from the job data transmitted by the labeler terminal, sorts and merges the job data having the same unique key, and merges the final labeling data The generating unit searches and searches the labeling data storage unit for image data having the same unique key as the merged work data, and generates the final labeling data in which the image data and the work data are combined, a data labeling system.
KR1020210148706A 2021-11-02 2021-11-02 Data labelling pre-processing, distributing and checking system KR102399425B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210148706A KR102399425B1 (en) 2021-11-02 2021-11-02 Data labelling pre-processing, distributing and checking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210148706A KR102399425B1 (en) 2021-11-02 2021-11-02 Data labelling pre-processing, distributing and checking system

Publications (1)

Publication Number Publication Date
KR102399425B1 true KR102399425B1 (en) 2022-05-18

Family

ID=81800851

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210148706A KR102399425B1 (en) 2021-11-02 2021-11-02 Data labelling pre-processing, distributing and checking system

Country Status (1)

Country Link
KR (1) KR102399425B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486983B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for variable sampling inspection for artificial intelligence learning
KR102486979B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for calculating label data accuracy for artificial intelligence learning
KR102486990B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Automatic detection method for abusing labeling process of label data for artificial intelligence learning
KR102486967B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for adjusting label data for artificial intelligence learning
KR102534742B1 (en) 2022-12-26 2023-05-26 주식회사 데이터메이커 Method and apparatus for generating label data for artificial intelligence learning using basic tools
KR102553205B1 (en) 2022-12-26 2023-07-07 주식회사 데이터메이커 Apparatus and method for generating label data for artificial intelligence learning that performs labeling on obscured objects
KR102597987B1 (en) 2022-12-26 2023-11-06 주식회사 데이터메이커 Method and apparatus for adjusting label data for artificial intelligence learning
KR102597991B1 (en) 2022-12-26 2023-11-06 주식회사 데이터메이커 Apparatus and method for adjusting label data for artificial intelligence learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105779A (en) * 2020-02-19 2021-08-27 주식회사 에이모 Method and apparatus for forming inspection criteria data with cloud outsorcing work by using artificial intelligent
KR102310594B1 (en) * 2021-03-19 2021-10-13 주식회사 인피닉 Method for predicting cost of works, and computer program recorded on record-medium for executing method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210105779A (en) * 2020-02-19 2021-08-27 주식회사 에이모 Method and apparatus for forming inspection criteria data with cloud outsorcing work by using artificial intelligent
KR102310594B1 (en) * 2021-03-19 2021-10-13 주식회사 인피닉 Method for predicting cost of works, and computer program recorded on record-medium for executing method therefor

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486983B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for variable sampling inspection for artificial intelligence learning
KR102486979B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for calculating label data accuracy for artificial intelligence learning
KR102486990B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Automatic detection method for abusing labeling process of label data for artificial intelligence learning
KR102486967B1 (en) 2022-07-04 2023-01-10 주식회사 데이터메이커 Method for adjusting label data for artificial intelligence learning
KR102534742B1 (en) 2022-12-26 2023-05-26 주식회사 데이터메이커 Method and apparatus for generating label data for artificial intelligence learning using basic tools
KR102553205B1 (en) 2022-12-26 2023-07-07 주식회사 데이터메이커 Apparatus and method for generating label data for artificial intelligence learning that performs labeling on obscured objects
KR102597987B1 (en) 2022-12-26 2023-11-06 주식회사 데이터메이커 Method and apparatus for adjusting label data for artificial intelligence learning
KR102597991B1 (en) 2022-12-26 2023-11-06 주식회사 데이터메이커 Apparatus and method for adjusting label data for artificial intelligence learning

Similar Documents

Publication Publication Date Title
KR102399425B1 (en) Data labelling pre-processing, distributing and checking system
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
CN112232293B (en) Image processing model training method, image processing method and related equipment
JP2020504358A (en) Image-based vehicle damage evaluation method, apparatus, and system, and electronic device
CN112132113A (en) Vehicle re-identification method and device, training method and electronic equipment
CN109947989B (en) Method and apparatus for processing video
KR102002024B1 (en) Method for processing labeling of object and object management server
CN110674788A (en) Vehicle damage assessment method and device
CN110888582B (en) Tag information processing method, device, storage medium and terminal
CN110780965B (en) Vision-based process automation method, equipment and readable storage medium
CN101489073A (en) Information processing device, information processing method and computer readable medium
CN105787062A (en) Method and equipment for searching for target object based on video platform
JP2020064564A (en) Learning server, learning system, and additional learning program
Balchandani et al. A deep learning framework for smart street cleaning
CN111563398A (en) Method and device for determining information of target object
CN115567563B (en) Comprehensive transportation hub monitoring and early warning system based on end edge cloud and control method thereof
CN112418026A (en) Vehicle violation detection method, system and device based on video detection
CN115546824B (en) Taboo picture identification method, apparatus and storage medium
CN114972500A (en) Checking method, marking method, system, device, terminal, equipment and medium
CN110334763B (en) Model data file generation method, model data file generation device, model data file identification device, model data file generation apparatus, model data file identification apparatus, and model data file identification medium
CN113591580A (en) Image annotation method and device, electronic equipment and storage medium
CN113869367A (en) Model capability detection method and device, electronic equipment and computer readable medium
CN115565201B (en) Taboo picture identification method, apparatus and storage medium
KR102555733B1 (en) Object management for improving machine learning performance, control method thereof
CN115826899B (en) Graffiti image processing method and system based on remote desktop sharing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant