KR102265678B1 - Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof - Google Patents
Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof Download PDFInfo
- Publication number
- KR102265678B1 KR102265678B1 KR1020210037450A KR20210037450A KR102265678B1 KR 102265678 B1 KR102265678 B1 KR 102265678B1 KR 1020210037450 A KR1020210037450 A KR 1020210037450A KR 20210037450 A KR20210037450 A KR 20210037450A KR 102265678 B1 KR102265678 B1 KR 102265678B1
- Authority
- KR
- South Korea
- Prior art keywords
- difficulty
- image file
- bounding box
- ratio
- image files
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치에 관한 것으로, 보다 상세하게는 이미지 파일에서 인공지능을 활용하여 바운딩 박스 작업의 난이도를 사전에 예측할 수 있는, 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치에 관한 것이다.The present invention relates to a method for predicting the difficulty of a bounding box task of an image file and a computer device for performing the same, and more particularly, to an image file that can predict the difficulty of a bounding box task in advance by using artificial intelligence in an image file. It relates to a method of predicting the difficulty of a task of a bounding box of a file and a computer apparatus for performing the same.
인공지능은 다양한 알고리즘으로 구현될 수 있고, 이러한 인공지능의 알고리즘은 다양한 데이터를 학습하여 인공지능 모델이 될 수 있다. 이러한 인공지능 모델을 학습시키기 위해서는 많은 양의 데이터가 필요하다. 최근 인공지능에 대한 개발이 가속화됨에 따라 다양한 인공지능 모델을 학습시키기 위해, 모델의 목적에 부합하는 데이터를 준비하여 알고리즘을 학습시키는데 사용된다. Artificial intelligence can be implemented with various algorithms, and such artificial intelligence algorithms can become artificial intelligence models by learning various data. A large amount of data is required to train such an artificial intelligence model. Recently, as the development of artificial intelligence is accelerated, in order to train various artificial intelligence models, it is used to train algorithms by preparing data that meets the purpose of the model.
이와 같이, 인공지능 모델을 학습시키기 위해서는 수많은 로우(raw) 데이터를 인공지능 모델의 목적에 맞게 사전 처리하거나 라벨링(labeling) 해야 한다. 특히, 최근에는 인공지능 모델을 학습시키기 위해 영상 데이터가 많이 사용되는데, 이미지나 동영상을 포함하는 영상 데이터는 다양한 객체와 배경을 포함하고 있으므로, 인공지능을 수행하는 컴퓨터나 장치가 영상 데이터 내의 이미지 등을 이해하고 학습하기 위해 로우 영상 데이터의 사전처리가 필요하다. 예를 들어, 영상 데이터의 사전처리는 임의의 영상 데이터에서 인공지능 모델을 학습시키는데 필요한 객체나 이미지 부분을 추출하고, 해당 객체나 이미지에 대한 좌표나 속성 등의 정보를 추출하여, 인공지능 모델이 데이터를 학습할 수 있도록 사전에 처리하는 것을 의미한다. In this way, in order to train an AI model, it is necessary to pre-process or label a lot of raw data according to the purpose of the AI model. In particular, recently, image data is widely used to train an artificial intelligence model. Since image data including images or moving images includes various objects and backgrounds, a computer or device performing artificial intelligence can use images such as images in image data. Pre-processing of raw image data is required to understand and learn. For example, pre-processing of image data extracts an object or an image part necessary for learning an artificial intelligence model from arbitrary image data, and extracts information such as coordinates or properties about the object or image, so that the artificial intelligence model is It means preprocessing the data so that it can be learned.
이와 같이, 컴퓨터가 처리할 수 있는 데이터로 가공된 것을 메타 데이터라 하고, 이러한 메타 데이터 중 인공지능 모델에 맞게 데이터에 주석을 달고 인공지능 모델이 훈련할 수 있도록 라벨링하는 것을 데이터 어노테이션(data annotation)이라 한다. 이러한 데이터 어노테이션은 데이터에 따라 다양한 방식으로 이루어질 수 있다. 바운딩 박스(Bounding box; Bbox)는 데이터 어노테이션 방식 중 하나로, 영상 데이터 또는 이미지 파일에 대해서 많이 사용되는 방식이다.In this way, what is processed into data that can be processed by a computer is called metadata, and data annotation is used to annotate data according to the AI model and label it so that the AI model can be trained. it is said Such data annotation may be performed in various ways depending on the data. A bounding box (Bbox) is one of the data annotation methods, and is a method widely used for image data or image files.
바운딩 박스 작업은 데이터 어노테이션 분야에서 최근까지 사람에 의해 수동으로 직접 수행되었다. 이러한 바운딩 박스 작업은 사람에 의해 수동으로 수행되다 보니 작업의 정확도가 떨어지고 작업 결과로 나오는 데이터를 이용하여 인공지능 모델을 학습시키는 경우 모델의 성능이 저하되는 문제가 발생될 수 있다. 이에, 다양한 작업자들이 바운딩 박스 작업을 수행하고 바운딩 박스 작업의 결과를 검수자가 추가로 검토하는 과정을 통해 인공지능 모델의 성능을 향상시킬 수 있는 데이터 학습 방법을 강구해왔다. Bounding box operations were performed manually by humans until recently in the field of data annotation. Since these bounding box tasks are performed manually by humans, the accuracy of the task is lowered, and when an AI model is trained using the data resulting from the task, a problem may occur that the performance of the model is deteriorated. Accordingly, various workers have been devising a data learning method that can improve the performance of the AI model through the process of performing the bounding box work and the inspector additionally reviewing the results of the bounding box work.
그러나, 이러한 바운딩 박스 작업은 대부분 사람인 작업자에 의해 이루어지므로, 작업자의 작업 숙련도에 따라 작업 품질이 상이해질 수 있다. 이에, 바운딩 박스 작업을 수행한 데이터에 대해 일률적인 검수 과정이 필수적으로 요구되며, 이로 인해 별도의 검수 인력이나 검수를 위한 별도의 장치나 프로그램이 필요하므로, 바운딩 박스 작업을 완료하기까지 많은 비용이 투입되어야 하는 문제점이 존재한다. 또한, 바운딩 박스 작업을 수행하는 작업자에 비해 바운딩 박스 작업 결과를 검수하는 검수자는 현저히 적으므로, 검수에 따른 시간과 비용이 매우 커지는 문제점도 존재한다.However, since most of the bounding box work is performed by a human operator, the work quality may be different depending on the work skill of the operator. Therefore, a uniform inspection process is essential for the data on which the bounding box work has been performed, and for this reason, a separate inspection manpower or a separate device or program for inspection is required, so it costs a lot to complete the bounding box work. There are problems that need to be put in. In addition, since there are significantly fewer inspectors who inspect the results of the bounding box work compared to the workers who perform the bounding box work, there is also a problem in that the time and cost according to the inspection are very large.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the above-mentioned background art is technical information that the inventor possessed for the derivation of the present invention or acquired during the derivation process of the present invention, and it cannot be said that it is necessarily a known technique disclosed to the general public before the filing of the present invention .
본 발명이 해결하고자 하는 과제는 인공지능 모델을 활용하여 바운딩 박스 작업의 난이도를 사전에 예측할 수 있는, 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method for predicting the difficulty of the bounding box task of an image file, which can predict the difficulty of the bounding box task in advance by using an artificial intelligence model, and a computer device for performing the same.
또한, 본 발명이 해결하고자 하는 다른 과제는 사전 예측된 바운딩 박스 작업의 난이도를 이용하여, 난이도에 알맞은 작업자를 매칭하여 바운딩 박스 작업을 효율적으로 배분할 수 있는, 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치를 제공하는 것이다.In addition, another problem to be solved by the present invention is to predict the difficulty of the task of the bounding box of the image file, which can efficiently distribute the task of the bounding box by matching a worker suitable for the difficulty by using the difficulty of the task of the bounding box predicted in advance. To provide a method and a computer device for performing the same.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 바운딩 박스 작업의 대상인 이미지 파일에서 인스턴스에 대응하는 바운딩 박스의 좌표를 이용하여, 인스턴스의 사이즈나 배치에 따라 난이도를 보다 구체적으로 분석할 수 있고 난이도를 보다 정확하게 예측할 수 있는, 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치를 제공하는 것이다.In addition, another problem to be solved by the present invention is that by using the coordinates of the bounding box corresponding to the instance in the image file that is the object of the bounding box operation, the difficulty can be analyzed more specifically according to the size or arrangement of the instance, and the difficulty level can be reduced. An object of the present invention is to provide a method for predicting the difficulty of a bounding box operation of an image file, which can be predicted more accurately, and a computer apparatus for performing the same.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 바운딩 박스 작업의 난이도를 기초로 바운딩 박스 작업의 작업 수행 시간을 예측할 수 있고 작업 결과 바운딩 박스를 검수하고 수정하는데 필요한 비용 또는 시간을 절감할 수 있는, 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법 및 이를 수행하는 컴퓨터 장치를 제공하는 것이다.In addition, another problem to be solved by the present invention is that the task execution time of the bounding box task can be predicted based on the difficulty of the bounding box task, and the cost or time required to inspect and correct the task result bounding box can be reduced, An object of the present invention is to provide a method for estimating the difficulty of a bounding box operation of an image file and a computer apparatus for performing the same.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법은 복수의 이미지 파일들을 포함하는 데이터 세트에서 이미지 파일 각각으로부터 어노테이션(annotation) 정보를 추출하는 단계, 어노테이션 정보로부터 이미지 파일에 포함된 인스턴스의 수 및 인스턴스에 대응하는 바운딩 박스(bounding box)의 좌표를 추출하는 단계, 바운딩 박스의 좌표를 기초로, 이미지 파일의 전체 면적에 대한 바운딩 박스 각각의 면적의 비율을 산출하는 단계, 바운딩 박스의 좌표를 기초로, 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 산출하는 단계, 이미지 파일에서 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 산출하는 단계, 복수의 이미지 파일 각각에 대한 인스턴스의 수, 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 기초로, 제1 데이터 프레임을 생성하는 단계, 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹을 결정하는 단계, 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값을 산출하는 단계, 난이도 그룹 각각에 대해, 난이도 그룹에 포함된 이미지 파일을 난이도 값을 기준으로 정렬하는 단계, 및 인스턴스의 수를 기준으로 난이도 그룹을 정렬하여, 제2 데이터 프레임을 생성하는 단계를 포함한다. In order to solve the above problems, a method for predicting the difficulty of a bounding box operation of an image file according to an embodiment of the present invention includes annotation information from each image file in a data set including a plurality of image files. extracting, extracting the number of instances included in the image file and coordinates of a bounding box corresponding to the instances from the annotation information, based on the coordinates of the bounding box, a bounding box for the entire area of the image file calculating the ratio of each area, calculating the number of overlapping bounding boxes for each bounding box in the image file based on the coordinates of the bounding box, the average value of the ratio of the area of each bounding box in the image file and the overlapping bounding calculating an average value of the number of boxes, generating a first data frame based on the average value of the number of instances for each of the plurality of image files, the average value of the ratio of the area of each bounding box, and the average value of the number of overlapping bounding boxes , determining a difficulty group for each image file of the first data frame, calculating a difficulty value of each image file included in the difficulty group, for each difficulty group, setting the difficulty value of the image file included in the difficulty group and aligning the difficulty groups based on the number of instances to generate a second data frame.
본 발명의 다른 특징에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법은, 바운딩 박스 각각의 면적의 비율을 산출하는 단계 이후, 바운딩 박스의 면적의 비율이 특정 임계값 이상이면, 바운딩 박스의 면적의 비율을 특정 임계값으로 변경하고, 바운딩 박스의 면적의 비율이 특정 임계값 미만이면, 바운딩 박스의 면적의 비율을 유지하는 단계, 및 특정 임계값에서 바운딩 박스의 면적의 비율을 뺀 값으로, 바운딩 박스의 면적의 비율을 보정하는 단계를 더 포함할 수 있다.The method of predicting the difficulty of the task of the bounding box of the image file according to another feature of the present invention, after calculating the ratio of the area of each bounding box, if the ratio of the area of the bounding box is greater than or equal to a specific threshold, the changing the ratio of the area to a specific threshold, and if the ratio of the area of the bounding box is less than the specific threshold, maintaining the ratio of the area of the bounding box, and subtracting the ratio of the area of the bounding box from the specific threshold , the method may further include correcting the ratio of the area of the bounding box.
본 발명의 또 다른 특징에 따르면, 난이도 그룹은 미리 결정된 수의 난이도 그룹 중 하나이고, 난이도 그룹을 결정하는 단계는, 복수의 이미지 파일 각각에 대해, 이미지 파일의 인스턴스의 수에 따라 난이도 그룹을 매칭하는 단계, 및 동일한 난이도 그룹에 대응하는 이미지 파일들을 그룹화하는 단계를 포함할 수 있다.According to another feature of the present invention, the difficulty group is one of a predetermined number of difficulty groups, and the determining of the difficulty group includes, for each of the plurality of image files, matching the difficulty group according to the number of instances of the image file. and grouping the image files corresponding to the same difficulty group.
본 발명의 또 다른 특징에 따르면, 난이도 값을 산출하는 단계는, 이미지 파일마다 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 정규화하여, 정규화된 난이도 벡터를 생성하는 단계, 및 이미지 파일마다 정규화된 난이도 벡터를 난이도 값을 산출하기 위한 기준 벡터와 비교하는 단계를 포함할 수 있다.According to another feature of the present invention, the calculating of the difficulty value includes normalizing the average value of the ratio of the number of instances, the area of bounding boxes, and the average value of the number of overlapping bounding boxes for each image file to generate a normalized difficulty vector and comparing the normalized difficulty vector for each image file with a reference vector for calculating the difficulty value.
본 발명의 또 다른 특징에 따르면, 비교하는 단계는, 이미지 파일마다 난이도 벡터와 기준 벡터 사이의 유클리드 거리를 산출하는 단계를 포함할 수 있다.According to another feature of the present invention, the comparing may include calculating the Euclidean distance between the difficulty vector and the reference vector for each image file.
본 발명의 또 다른 특징에 따르면, 이미지 파일을 정렬하는 단계는, 유클리드 거리가 커지는 순서로 이미지 파일을 정렬하는 단계를 포함할 수 있다.According to another feature of the present invention, the arranging of the image files may include arranging the image files in an order of increasing Euclidean distance.
본 발명의 또 다른 특징에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법은, 제2 데이터 프레임을 기초로, 회귀분석 모델을 활용하여 각각의 이미지 파일마다 예상되는 작업시간을 계산하는 단계를 더 포함할 수 있다.The method of predicting the difficulty of the task of the bounding box of an image file according to another feature of the present invention comprises the steps of calculating the expected working time for each image file using a regression analysis model based on the second data frame. may include more.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법은, 복수의 데이터 세트 각각에 대해 제1항에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계, 및 복수의 데이터 세트 각각마다 결정된 난이도 값 및 예상작업시간 중 적어도 하나를 기초로, 데이터 세트 각각에 작업자를 할당하는 단계를 포함할 수 있다.In order to solve the above problems, the method of predicting the difficulty of the task of the bounding box of the image file according to another embodiment of the present invention is a method of predicting the difficulty of the task of the bounding box of the image file according to
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 장치는, 프로세서, 및 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하는 컴퓨터 장치로서, 명령어들은, 프로세서에 의해 실행될 때, 컴퓨터 장치로 하여금: 복수의 이미지 파일들을 포함하는 데이터 세트에서 이미지 파일 각각으로부터 어노테이션 정보를 추출하게 하고, 어노테이션 정보로부터 이미지 파일에 포함된 인스턴스의 수 및 인스턴스에 대응하는 바운딩 박스의 좌표를 추출하게 하고, 바운딩 박스의 좌표를 기초로, 이미지 파일의 전체 면적에 대한 바운딩 박스 각각의 면적의 비율을 산출하게 하고, 바운딩 박스의 좌표를 기초로, 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 산출하게 하고, 이미지 파일에서 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 산출하게 하고, 복수의 이미지 파일 각각에 대한 인스턴스의 수, 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 기초로, 제1 데이터 프레임을 생성하게 하고, 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹을 결정하게 하고, 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값을 산출하게 하고, 난이도 그룹 각각에 대해, 난이도 그룹에 포함된 이미지 파일을 난이도 값을 기준으로 정렬하게 하고, 인스턴스의 수를 기준으로 난이도 그룹을 정렬하여, 제2 데이터 프레임을 생성하게 한다.In order to solve the problems as described above, a computer device according to an embodiment of the present invention is a computer device including a processor and a memory in electrical communication with the processor and storing computer readable instructions, the instructions being provided to the processor. causes the computer device to: extract annotation information from each image file in a data set including a plurality of image files, and, from the annotation information, the number of instances included in the image file and the coordinates of bounding boxes corresponding to the instances Based on the coordinates of the bounding box, calculate the ratio of the area of each bounding box to the total area of the image file, and based on the coordinates of the bounding box, the bounding box overlapped for each bounding box in the image file to calculate the number of , and to calculate the average value of the ratio of the area of each bounding box in the image file and the average value of the number of overlapping bounding boxes, the number of instances for each of a plurality of image files, the ratio of the area of each bounding box Based on the average value of and the average value of the number of overlapping bounding boxes, the first data frame is generated, the difficulty group is determined for each image file of the first data frame, and the difficulty level of each image file included in the difficulty group The value is calculated, and for each difficulty group, the image files included in the difficulty group are sorted based on the difficulty value, and the difficulty group is sorted based on the number of instances to generate a second data frame.
본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일 실시예는 인공지능 모델을 활용하여 바운딩 박스 작업의 난이도를 사전에 예측할 수 있다.According to any one of the problem solving means of the present invention, an embodiment of the present invention can predict the difficulty of the bounding box task in advance by using an artificial intelligence model.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 다른 실시예는 사전 예측된 바운딩 박스 작업의 난이도를 이용하여, 난이도에 알맞은 작업자를 매칭하여 바운딩 박스 작업을 효율적으로 배분할 수 있다.In addition, according to any one of the problem solving means of the present invention, another embodiment of the present invention can efficiently distribute the bounding box work by matching a worker suitable for the difficulty by using the difficulty of the pre-predicted bounding box work.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 또 다른 실시예는 바운딩 박스 작업의 대상인 이미지 파일에서 인스턴스에 대응하는 바운딩 박스의 좌표를 이용하여, 인스턴스의 사이즈나 배치에 따라 난이도를 보다 구체적으로 분석할 수 있고 난이도를 보다 정확하게 예측할 수 있다.In addition, according to any one of the problem solving means of the present invention, another embodiment of the present invention uses the coordinates of the bounding box corresponding to the instance in the image file that is the object of the bounding box operation, depending on the size or arrangement of the instance. can be analyzed more specifically and the difficulty can be predicted more accurately.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 또 다른 실시예는 바운딩 박스 작업의 난이도를 기초로 바운딩 박스 작업의 작업 수행 시간을 예측할 수 있고 작업 결과 바운딩 박스를 검수하고 수정하는데 필요한 비용 또는 시간을 절감할 수 있다.In addition, according to any one of the problem solving means of the present invention, another embodiment of the present invention can predict the task execution time of the bounding box task based on the difficulty of the bounding box task, and inspect and correct the task result bounding box. It can reduce the required cost or time.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.
도 1은 본 발명의 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계를 도시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법에서 사용되는 데이터 세트, 이미지 파일, 및 어노테이션 정보 등을 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 인스턴스의 수 및 바운딩 박스의 좌표를 추출하는 과정을 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따라 바운딩 박스의 면적의 비율과 겹쳐진 바운딩 박스의 수를 산출하는 과정을 설명하기 위한 이미지 파일을 예시적으로 도시한 것이다.
도 5는 본 발명의 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시예에 따라 산출된 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값, 및 겹쳐진 바운딩 박스의 수의 평균값을 예시적으로 도시한 것이다.
도 7은 본 발명의 일 실시예에 따라 생성된 제1 데이터 프레임을 예시적으로 도시한 것이다.
도 8은 본 발명의 또 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따라 인스턴스의 수에 따른 이미지 파일의 난이도를 그룹화하는 과정을 설명하기 위해 예시적으로 도시한 것이다.
도 10은 본 발명의 또 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따라 출력되는 이미지 파일의 바운딩 박스 작업의 난이도와 예상 작업 시간을 예시적으로 도시한 것이다.1 is a flowchart illustrating the steps of performing a method of predicting the difficulty of a bounding box operation of an image file according to an embodiment of the present invention.
2 exemplarily illustrates a data set, an image file, and annotation information used in a method for predicting the difficulty of a bounding box task according to an embodiment of the present invention.
3 exemplarily illustrates a process of extracting the number of instances and coordinates of a bounding box according to an embodiment of the present invention.
4 exemplarily illustrates an image file for explaining a process of calculating the ratio of the area of the bounding box and the number of overlapping bounding boxes according to an embodiment of the present invention.
5 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention.
6 exemplarily illustrates the average value of the ratio of the number of instances, the area of bounding boxes, and the average value of the number of overlapping bounding boxes calculated according to an embodiment of the present invention.
7 exemplarily illustrates a first data frame generated according to an embodiment of the present invention.
8 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention.
9 exemplarily illustrates a process of grouping the difficulty of an image file according to the number of instances according to an embodiment of the present invention.
10 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention.
11 exemplarily illustrates the difficulty and expected working time of the bounding box operation of the image file output according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are exemplary, and thus the present invention is not limited to the illustrated matters. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When 'including', 'having', 'consisting', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. When a component is expressed in a singular, the case in which the plural is included is included unless otherwise explicitly stated.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, it is interpreted as including an error range even if there is no separate explicit description.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although first, second, etc. are used to describe various elements, these elements are not limited by these terms. These terms are only used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.
별도로 명시하지 않는 한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. Unless otherwise specified, like reference numerals refer to like elements throughout.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and technically various interlocking and driving are possible, as will be fully understood by those skilled in the art, and each embodiment may be independently implemented with respect to each other, It may be possible to implement them together in a related relationship.
이하, 본 명세서에서 사용되는 용어에 대해 정의한다.Hereinafter, terms used in this specification are defined.
본 명세서에서 데이터 세트란 다양한 데이터들의 집합체를 의미한다. 특히, 본 명세서에서 데이터 세트는 이미지 파일들의 집합을 의미할 수 있다. 또한, 본 명세서에서 데이터 세트는 인공지능 모델을 학습시키거나 인공지능 모델을 통해 추론하는데 사용되는 이미지 파일들 자체 또는 이러한 이미지 파일들과 관련된 다양한 정보들을 포함하는 데이터들의 세트를 의미할 수도 있다. 구체적으로, 데이터 세트는 이미지 파일들 그 자체 또는 이미지 파일에서 추출된 어노테이션 정보(예를 들어, 인스턴스에 대한 바운딩 박스의 좌표 등), 클래스 정보, 인스턴스의 개수 등에 대한 정보들을 포함하는 데이터들의 집합체일 수 있다. In this specification, a data set means a collection of various data. In particular, in this specification, a data set may mean a set of image files. In addition, in the present specification, a data set may mean a set of data including image files themselves used for training an artificial intelligence model or inferring through the artificial intelligence model or various information related to these image files. Specifically, the data set is an aggregate of data including information about the image files themselves or annotation information extracted from the image file (eg, coordinates of a bounding box for an instance, etc.), class information, and the number of instances. can
본 명세서에서 인스턴스는 바운딩 박스에 의해 둘러쌓인 객체를 지칭할 수 있으며, 바운딩 박스에 의해 선택되거나 잘려진 이미지 부분을 의미할 수 있다. 또한, 본 명세서에서는 바운딩 박스에 의해 선택되거나 잘려진 이미지 부분에 객체가 존재하지 않을 수도 있다. 본 명세서에서 인스턴스와 바운딩 박스는 대응하는 관계에 있으면서 실질적으로 동일한 의미로 사용될 수도 있다.In this specification, an instance may refer to an object surrounded by a bounding box, and may refer to an image part selected or cut by the bounding box. Also, in the present specification, an object may not exist in the image part selected or cut by the bounding box. In this specification, an instance and a bounding box may be used as substantially the same meaning while having a corresponding relationship.
컴퓨터 장치는 프로세서, 및 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하며, 이러한 프로세서를 통해 인공지능 모델을 실행할 수 있다. 또한, 이러한 컴퓨터 장치는 프로세서를 통해 데이터를 학습하여 인공지능 모델을 학습시킬 수도 있고, 학습된 인공지능 모델에 데이터를 입력하여 추론이나 예측을 할 수도 있다. A computer device includes a processor and a memory in electrical communication with the processor and storing computer readable instructions through which the processor may execute an artificial intelligence model. In addition, such a computer device may learn data through a processor to train an artificial intelligence model, or may make inferences or predictions by inputting data into the learned artificial intelligence model.
이하 첨부된 도면을 참조하여, 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계를 도시한 순서도이다. 도 1은 본 발명의 실시예 전체에 대한 순서도이며, 도 2, 도 3, 도 5, 도 6, 도 7, 도 9 및 도 11은 도 1의 순서도의 각 단계에 대해 이해를 돕기 위한 실시예를 도시한 것이다. 이하에서는 전체적으로 도 1을 함께 참조하면서 본 발명의 실시예들을 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법에서 사용되는 데이터 세트, 이미지 파일, 및 어노테이션 정보 등을 예시적으로 도시한 것이다. 도 3은 본 발명의 일 실시예에 따라 인스턴스의 수 및 바운딩 박스의 좌표를 추출하는 과정을 예시적으로 도시한 것이다.1 is a flowchart illustrating the steps of performing a method of predicting the difficulty of a bounding box operation of an image file according to an embodiment of the present invention. 1 is a flowchart for the entire embodiment of the present invention, and FIGS. 2, 3, 5, 6, 7, 9 and 11 are examples for helping understanding of each step of the flowchart of FIG. will show Hereinafter, embodiments of the present invention will be described with reference to FIG. 1 as a whole. 2 exemplarily illustrates a data set, an image file, and annotation information used in a method for predicting the difficulty of a bounding box task according to an embodiment of the present invention. 3 exemplarily illustrates a process of extracting the number of instances and coordinates of a bounding box according to an embodiment of the present invention.
먼저 도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법은, 복수의 이미지 파일들을 포함하는 데이터 세트에서 이미지 파일 각각으로부터 어노테이션(annotation) 정보를 추출하는 단계(S100), 어노테이션 정보로부터 이미지 파일에 포함된 인스턴스의 수 및 인스턴스에 대응하는 바운딩 박스(bounding box)의 좌표를 추출하는 단계(S110), 바운딩 박스의 좌표를 기초로, 이미지 파일의 전체 면적에 대한 바운딩 박스 각각의 면적의 비율을 산출하는 단계(S120), 바운딩 박스의 좌표를 기초로, 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 산출하는 단계(S130), 이미지 파일에서 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 산출하는 단계(S140), 복수의 이미지 파일 각각에 대한 인스턴스의 수, 바운딩 박스 각각의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 기초로, 제1 데이터 프레임을 생성하는 단계(S150), 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹을 결정하는 단계(S160), 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값을 산출하는 단계(S170), 난이도 그룹 각각에 대해, 난이도 값을 기준으로 난이도 그룹에 포함된 이미지 파일을 정렬하는 단계(S180), 인스턴스의 수를 기준으로 난이도 그룹을 정렬하여, 제2 데이터 프레임을 생성하는 단계를 포함한다. First, referring to FIG. 1 , in a method of predicting the difficulty of a bounding box operation of an image file according to an embodiment of the present invention, annotation information is extracted from each image file in a data set including a plurality of image files. step (S100), extracting the number of instances included in the image file and the coordinates of the bounding box corresponding to the instances from the annotation information (S110), based on the coordinates of the bounding box, the entire image file Calculating the ratio of the area of each bounding box to the area (S120), based on the coordinates of the bounding box, calculating the number of overlapping bounding boxes for each bounding box in the image file (S130), bounding in the image file Calculating the average value of the ratio of the area of each box and the average value of the number of overlapping bounding boxes (S140), the number of instances for each of a plurality of image files, the average value of the ratio of the area of each bounding box, and the number of overlapping bounding boxes Based on the average value of , generating a first data frame (S150), determining a difficulty group for each image file of the first data frame (S160), determining the difficulty value of each image file included in the difficulty group Calculating (S170), for each difficulty group, aligning the image files included in the difficulty group based on the difficulty value (S180), aligning the difficulty group based on the number of instances, to generate the second data frame comprising the steps of creating
이하, 도 1 및 도 2를 참조하여 본 발명의 S100단계를 설명한다.Hereinafter, step S100 of the present invention will be described with reference to FIGS. 1 and 2 .
도 1 및 도 2를 참조하면, 데이터 세트(200)는 복수의 이미지 파일들(201, 202, 203)을 포함하고, 이미지 파일들(201, 202, 203) 각각으로부터 다양한 정보들이 추출될 수 있다. 구체적으로, 이미지 파일들(201, 202, 203) 각각에 대한 인공지능 모델의 추론 결과가 데이터 세트(200)의 이미지 파일(201, 202, 203)에 포함될 수 있으며, 이미지 파일들(201, 202, 203) 각각은 파일명, 이미지 파일이 존재하는 경로정보, 이미지 파일 내의 인스턴스들에 대한 어노테이션 정보 등과 같은 다양한 관련 정보들을 포함할 수 있다. 여기서, 이미지 파일에 대한 어노테이션 정보들(210, 220, 230)은 이미지 파일들(201, 202, 203) 각각이 인공지능 모델에 의해 추론된 결과로 생성된 것일 수 있다. 또는, 이미지 파일에 대한 어노테이션 정보들(210, 220, 230)은 이미지 파일들(201, 202, 203) 각각에 대해 사람인 작업자에 의해 직접 바운딩 박스 작업이 수행된 결과로 생성된 정보일 수도 있다. 1 and 2 , the
이미지 파일에 대한 어노테이션 정보들(210, 220, 230)은 하나의 이미지 파일에서 인스턴스들 각각에 대한 어노테이션 정보들(211, 221, 231)을 포함한다. 예를 들어, 제1 이미지 파일(201)은 복수의 인스턴스들을 포함하고, 제1 이미지 파일(201)에 대한 어노테이션 정보(210)는 제1 이미지 파일(201)에 포함된 복수의 인스턴스들 각각에 대한 어노테이션 정보들(211, 212)을 포함한다. 마찬가지로 제2 이미지 파일(202)과 제3 이미지 파일(203) 각각에 포함된 인스턴스들에 대해서도 인스턴스들 각각에 대한 어노테이션 정보들(221, 222, 231, 232)이 존재할 수 있다. 본 발명의 일 실시예에 따르면, 데이터 세트(200)에 포함된 복수의 이미지 파일들(201, 202, 203) 각각으로부터 인스턴스마다, 인스턴스 각각에 대응하는 어노테이션 정보(211, 221, 231)가 추출된다.The
도 1 및 도 3을 참조하면, 하나의 이미지 파일에 대응하여 추출 정보 세트(301, 302, 303)가 생성될 수 있다. 하나의 추출 정보 세트(301, 302, 303)는 하나의 이미지 파일에 포함된 인스턴스의 수 및 하나의 이미지 파일에 포함된 인스턴스들 각각에 대응하는 바운딩 박스의 좌표를 포함할 수 있다. 1 and 3 , extraction information sets 301 , 302 , and 303 may be generated corresponding to one image file. One extraction information set 301 , 302 , 303 may include the number of instances included in one image file and coordinates of a bounding box corresponding to each of the instances included in one image file.
구체적으로, 하나의 이미지 파일에 대한 어노테이션 정보들(210, 220, 230)로부터 각각의 이미지 파일에 포함된 인스턴스의 수가 추출될 수 있고, 인스턴스들 각각에 대한 어노테이션 정보들(211, 212, 221, 222, 231, 232)로부터 인스턴스 각각에 대응하는 바운딩 박스의 좌표가 추출될 수 있다. 이에, 하나의 이미지 파일로부터, 이미지 파일에 포함된 인스턴스의 수와 함께 하나의 이미지 파일에 포함된 전체 인스턴스들 각각에 대한 바운딩 박스의 좌표가 추출된다. 도 3에서는 하나의 이미지 파일에 하나의 추출 정보 세트가 대응하는 것으로 도시되었으나, 추출 정보 세트는 설명의 편의상 설정된 개념으로 도 3에 도시된 바로 제한되지 않는다. 이와 같이 추출된 인스턴스들 각각에 대한 바운딩 박스의 좌표는 이후 단계에서 제1 데이터 프레임을 생성하는데 사용된다. 바운딩 박스의 좌표를 활용하여 제1 데이터 프레임을 생성하는 구체적인 단계(S120 내지 S150)에 대해서는 도 4 내지 도 7을 참조하여 후술한다.Specifically, the number of instances included in each image file may be extracted from the
도 4는 본 발명의 일 실시예에 따라 바운딩 박스의 면적의 비율과 겹쳐진 바운딩 박스의 수를 산출하는 과정을 설명하기 위한 이미지 파일을 예시적으로 도시한 것이다. 도 5는 본 발명의 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다. 도 6은 본 발명의 일 실시예에 따라 산출된 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값, 및 겹쳐진 바운딩 박스의 수의 평균값을 예시적으로 도시한 것이다. 도 7은 본 발명의 일 실시예에 따라 생성된 제1 데이터 프레임을 예시적으로 도시한 것이다.FIG. 4 exemplarily illustrates an image file for explaining a process of calculating the number of overlapping bounding boxes with a ratio of an area of a bounding box according to an embodiment of the present invention. 5 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention. 6 exemplarily illustrates the average value of the ratio of the number of instances, the area of bounding boxes, and the average value of the number of overlapping bounding boxes calculated according to an embodiment of the present invention. 7 exemplarily illustrates a first data frame generated according to an embodiment of the present invention.
도 1 및 도 4를 참조하면, 하나의 이미지 파일(400)에서 추출된 바운딩 박스의 좌표로부터, 이미지 파일의 전체 면적에 대한 바운딩 박스 각각의 면적의 비율과 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수가 산출된다(S120, S130). 1 and 4, from the coordinates of the bounding box extracted from one
구체적으로, 제2 이미지 파일인 하나의 이미지 파일(400)의 전체 면적은 1920X1080 픽셀이고, 이에 대한 제1 인스턴스의 바운딩 박스(401)의 면적의 비율은 제1 인스턴스의 바운딩 박스의 좌표를 이용하여 산출될 수 있다. 예를 들어, 제1 인스턴스의 바운딩 박스(401)의 좌표가 (xmin, xmax, ymin, ymax) = (0, 600, 10, 500)이라고 할 때, 제1 인스턴스의 바운딩 박스(401)의 면적의 비율은 약 7.05이다. 마찬가지로 하나의 이미지 파일(400)의 전체 면적에 대한 제2 인스턴스 내지 제9 인스턴스의 바운딩 박스(402 내지 409) 각각의 면적의 비율도 제2 인스턴스 내지 제9 인스턴스 각각의 바운딩 박스의 좌표를 이용하여 산출될 수 있다. 이와 같이, 하나의 이미지(400)로부터 추출된 인스턴스별 바운딩 박스의 좌표를 이용하여, 이미지 파일의 전체 면적에 대한 바운딩 박스 각각의 면적의 비율이 산출될 수 있다.Specifically, the total area of one
또한, 도 4에서 하나의 이미지 파일(400)에는 9개의 인스턴스들이 포함되어 있고, 9개의 인스턴스들 중 제2 인스턴스의 바운딩 박스(402)와 제3 인스턴스의 바운딩 박스(403)가 서로 겹쳐져 있고 제4 인스턴스의 바운딩 박스(404), 제5 인스턴스의 바운딩 박스(405) 및 제7 인스턴스의 바운딩 박스(407)가 서로 겹쳐져 있으며 제8 인스턴스의 바운딩 박스(408)와 제9 인스턴스의 바운딩 박스(409)가 서로 겹쳐져 있다. 본 발명의 실시예에 따르면, 하나의 이미지 파일(400)에서 제2 인스턴스의 바운딩 박스(402), 제3 인스턴스의 바운딩 박스(403), 제4 인스턴스의 바운딩 박스(404), 제7 인스턴스의 바운딩 박스(407), 제8 인스턴스의 바운딩 박스(408) 및 제9 인스턴스의 바운딩 박스(409)에 겹쳐진 바운딩 박스의 수는 각각 1이고, 제5 인스턴스의 바운딩 박스(405)에 겹쳐진 바운딩 박스의 수는 2이며, 제1 인스턴스의 바운딩 박스(401) 및 제6 인스턴스의 바운딩 박스(406)에 겹쳐진 바운딩 박스의 수는 각각 0이다. 이와 같이, 하나의 이미지(400)로부터 추출된 인스턴스별 바운딩 박스의 좌표를 이용하여, 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수가 산출될 수 있다.In addition, in FIG. 4 , one
본 발명의 일 실시예에 따르면, 이미지 파일마다 포함된 바운딩 박스의 좌표를 기초로, 하나의 이미지 파일 전체 면적에 대한 바운딩 박스 각각의 면적의 비율과 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수가 산출된다. 산출된 바운딩 박스 각각의 면적의 비율과 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 기초로, 각각의 평균값이 산출될 수 있으며 산출된 결과 및 이를 기초로 생성되는 제1 데이터 프레임에 대해서는 도 6 및 도 7을 참조하여 후술한다. According to an embodiment of the present invention, based on the coordinates of the bounding box included in each image file, the ratio of the area of each bounding box to the total area of one image file and the number of overlapping bounding boxes for each bounding box are calculated. Based on the calculated ratio of the area of each bounding box and the number of overlapping bounding boxes for each bounding box, each average value may be calculated, and for the calculated result and the first data frame generated based thereon, FIGS. 6 and FIG. 7 will be described later.
한편, 도 5를 참조하면, 본 발명의 다른 실시예에 따르면, 바운딩 박스 각각의 면적의 비율을 산출하는 단계(S120) 이후, 바운딩 박스의 면적의 비율이 특정 임계값 이상(S121)이면, 바운딩 박스의 면적의 비율을 특정 임계값으로 변경(S123)하고, 바운딩 박스의 면적의 비율이 특정 임계값 미만(S121)이면, 특정 임계값에서 바운딩 박스의 면적의 비율을 유지(S125)하는 단계가 더 수행될 수 있다. 이어서, 바운딩 박스의 면적의 비율은, 특정 임계값에서 바운딩 박스의 면적의 비율을 뺀 값으로, 보정(S127)될 수 있다.Meanwhile, referring to FIG. 5 , according to another embodiment of the present invention, after calculating the ratio of the area of each bounding box ( S120 ), if the ratio of the area of the bounding box is greater than or equal to a specific threshold value ( S121 ), the bounding Changing the ratio of the area of the box to a specific threshold (S123), and if the ratio of the area of the bounding box is less than the specific threshold (S121), maintaining the ratio of the area of the bounding box at the specific threshold (S125) more can be done. Subsequently, the ratio of the area of the bounding box may be corrected ( S127 ) as a value obtained by subtracting the ratio of the area of the bounding box from a specific threshold value.
도 4 및 도 5를 참조하면, 상술한 바와 같이 이미지 파일(400)의 전체 면적에 대한 제1 인스턴스의 바운딩 박스(401)의 면적의 비율은 약 7.05이다. 본 발명의 실시예에서 특정 임계값이 5일 때, 제1 인스턴스의 바운딩 박스(401)의 면적의 비율은 특정 임계값 이상이므로, 제1 인스턴스의 바운딩 박스(401)의 면적의 비율은 특정 임계값인 5로 변경될 수 있다. 또한, 이미지 파일(400)의 전체 면적에 대한 제3 인스턴스의 바운딩 박스(403)의 면적의 비율이 0.3이라면, 제3 인스턴스의 바운딩 박스(403)의 면적의 비율은 특정 임계값 5 미만이므로, 제3 인스턴스의 바운딩 박스(403)의 면적의 비율은 원래 산출된 값인 0.3으로 유지될 수 있다. 마찬가지로, 나머지 인스턴스의 바운딩 박스의 면적의 비율도 특정 임계값과 비교하여 특정 임계값인 5 이상인 바운딩 박스의 면적의 비율은 5로 변경되고, 특정 임계값 5 미만인 바운딩 박스의 면적의 비율은 원래 값으로 유지된다.4 and 5 , as described above, the ratio of the area of the
이어서, 인스턴스 각각에 대한 바운딩 박스의 면적의 비율을 특정 임계값인 5에서 뺀 값이 바운딩 박스의 면적의 비율의 보정된 값으로 결정될 수 있다. 예를 들어, 제1 인스턴스의 바운딩 박스(401)의 면적의 비율의 보정된 값은, 특정 임계값 5에서 변경된 바운딩 박스의 면적의 비율인 5를 뺀 값으로 0이 된다. 또한, 제3 인스턴스의 바운딩 박스(403)의 면적의 비율의 보정된 값은, 특정 임계값 5에서 유지된 바운딩 박스의 면적의 비율인 0.3을 뺀 값인 4.7이 된다. Subsequently, a value obtained by subtracting the ratio of the area of the bounding box for each instance from the specific threshold value of 5 may be determined as a corrected value of the ratio of the area of the bounding box. For example, the corrected value of the ratio of the area of the
본 발명에 따르면, 바운딩 박스의 면적의 비율이 클수록 실질적으로 작업자가 바운딩 박스 작업을 보다 수월하게 수행할 수 있고 작업의 정확도도 높아지므로, 바운딩 박스 작업의 난이도는 낮아질 수 있다. 그러나, 바운딩 박스의 면적의 비율이 특정 임계값보다 큰 경우에는 이후 난이도 값을 산출하는 과정에서 바운딩 박스의 면적의 비율이 큰 가중치로 작용하여 난이도 값이 부정확해질 수 있다. 이에, 바운딩 박스의 면적의 비율을 특정 임계값을 기준으로 보정함으로써, 특정 임계값 이상의 바운딩 박스의 면적의 비율이 난이도 값을 산출하는데 미치는 영향력이 적절하게 조절될 수 있다. 이와 같이, 바운딩 박스의 면적의 비율의 보정된 값은 0에서 1 사이의 값으로 설정될 수 있으며, 추후에 이미지 파일에 대한 난이도 값을 산출할 때 0에 가까울수록 난이도는 쉬워지고 1에 가까울수록 난이도는 어려워진다. 난이도 값을 산출하는 구체적인 단계에 대해서는 도 8 내지 도 10을 참조하여 후술한다.According to the present invention, the greater the ratio of the area of the bounding box, the more easily the operator can actually perform the bounding box work and the accuracy of the work is also increased, so the difficulty of the bounding box work can be lowered. However, when the ratio of the area of the bounding box is greater than a specific threshold value, the ratio of the area of the bounding box acts as a large weight in the process of calculating the difficulty value later, and thus the difficulty value may become inaccurate. Accordingly, by correcting the ratio of the area of the bounding box based on the specific threshold value, the influence of the ratio of the area of the bounding box equal to or greater than the specific threshold on calculating the difficulty value may be appropriately adjusted. As such, the corrected value of the ratio of the area of the bounding box may be set to a value between 0 and 1, and when the difficulty value for the image file is calculated later, the closer to 0, the easier the difficulty. The difficulty level becomes difficult. A specific step of calculating the difficulty value will be described later with reference to FIGS. 8 to 10 .
도 1, 도 4 및 도 6을 참조하면, 이미지 파일 각각에서 산출된 인스턴스의 바운딩 박스 각각의 면적의 비율과 겹쳐진 바운딩 박스의 수는 바운딩 박스 각각의 면적의 비율의 평균값과 겹쳐진 바운딩 박스의 수의 평균값을 산출하는데 사용된다. 예를 들어, 도 4에 도시된 이미지 파일(400)과 동일한 제2 이미지 파일(602)에는 9개의 인스턴스가 포함되어 있고, 도 4에 대한 설명에서 상술한 바와 같이, 제1 인스턴스의 바운딩 박스(401)의 면적의 비율이 약 7.05이고, 제3 인스턴스의 바운딩 박스(403)의 면적의 비율은 약 0.3일 수 있다. 이와 같이, 제2 이미지 파일(602)에 포함된 9개의 인스턴스 각각에 대해 바운딩 박스의 면적의 비율을 기초로, 제2 이미지 파일(602)에 포함된 바운딩 박스들의 면적의 비율의 평균값이 산출될 수 있다. 도 6에 도시된 바와 같이, 제2 이미지 파일(602)에 포함된 바운딩 박스들의 면적의 비율의 평균값은 3.48일 수 있다. 마찬가지로, 제1 이미지 파일(601) 및 제3 이미지 파일(603)에 대해서도 제2 이미지 파일(602)과 동일한 방식으로 각각의 이미지 파일에 포함된 바운딩 박스들의 면적의 비율의 평균값이 산출될 수 있다. 예를 들어, 제1 이미지 파일(601)에 포함된 바운딩 박스들의 면적의 비율의 평균값은 4.27이고, 제3 이미지 파일(603)에 포함된 바운딩 박스들의 면적의 비율의 평균값은 1.67이다. 이러한 결과로 보아, 대체로 인스턴스의 수가 많을수록 이미지 파일에서 바운딩 박스들이 차지하는 면적 비율의 평균값이 높아지는 경향이 있고, 바운딩 박스들의 면적의 비율의 평균값이 높을수록 해당 이미지 파일에서 바운딩 박스 작업을 수행하는 난이도가 다소 높을 것이라는 것을 직관적으로 이해할 수 있을 것이다.1, 4 and 6, the ratio of the area of each bounding box of the instance calculated from each image file and the number of overlapping bounding boxes is the average value of the ratio of the area of each bounding box and the number of overlapping bounding boxes. It is used to calculate the average value. For example, 9 instances are included in the
또한, 도 1, 도 4 및 도 6을 참조하면, 도 4에 도시된 이미지 파일(400)과 동일한 제2 이미지 파일(602)에서 6개의 바운딩 박스가 각각 1개의 다른 바운딩 박스와 겹쳐져 있고, 1개의 바운딩 박스는 2개의 다른 바운딩 박스와 겹쳐져 있으며, 2개의 바운딩 박스는 겹쳐진 바운딩 박스가 없다. 이에, 제2 이미지 파일(602)에서 하나의 바운딩 박스가 다른 바운딩 박스와 겹쳐진 개수의 평균값은 0.89이다. 마찬가지로, 제1 이미지 파일(601) 및 제3 이미지 파일(603)에 대해서도 제2 이미지 파일(602)과 동일한 방식으로 각각의 이미지 파일에 포함된 바운딩 박스들의 겹쳐진 바운딩 박스의 수의 평균값이 산출될 수 있다. 예를 들어, 제1 이미지 파일(601)에 포함된 바운딩 박스들 각각에 대해 겹쳐진 바운딩 박스의 수의 평균값은 0.82이고, 제3 이미지 파일(603)에 포함된 바운딩 박스들 각각에 대해 겹쳐진 바운딩 박스의 수의 평균값은 0이다. 도 6에 도시된 제1 이미지 파일(601) 내지 제3 이미지 파일(603)을 살펴보면, 겹쳐진 바운딩 박스가 없는 제3 이미지 파일(603)에서는 바운딩 박스의 작업이 수월할 것이라는 것이 직관적으로 예상되며, 작은 바운딩 박스들이 겹쳐져 있는 제1 이미지 파일(601)과 제2 이미지 파일(602)에서는 바운딩 박스의 작업이 어려울 것이 직관적으로 예상될 수 있을 것이다. In addition, referring to FIGS. 1, 4 and 6 , in the
본 발명의 실시예에 따르면, 이미지 파일 각각에 대해서 포함된 인스턴스의 수 이외에도 인스턴스에 대한 바운딩 박스가 차지하는 면적의 비율과 겹쳐진 바운딩 박스의 수는, 이미지 파일에서 인스턴스에 대한 바운딩 박스를 작업하는 난이도에 영향을 줄 수 있으며, 이러한 바운딩 박스 각각의 면적의 비율의 평균값과 겹쳐진 바운딩 박스의 수의 평균값을 이용하여 이미지 파일에 대한 바운딩 박스 작업의 난이도를 보다 빠르고 정확하게 예측할 수 있다. According to an embodiment of the present invention, in addition to the number of instances included for each image file, the ratio of the area occupied by the bounding box for the instance and the number of overlapping bounding boxes depend on the difficulty of working the bounding box for the instance in the image file. By using the average value of the ratio of the area of each of these bounding boxes and the average value of the number of overlapping bounding boxes, the difficulty of the bounding box operation for the image file can be predicted more quickly and accurately.
도 1 및 도 7을 참조하면, 도 6에서와 같이 산출된 바운딩 박스 각각의 면적의 비율의 평균값과 겹쳐진 바운딩 박스의 수의 평균값을 해당 이미지 파일과 이미지 파일에 포함된 인스턴스의 수와 매칭하여, 전체 이미지 파일에 대한 제1 데이터 프레임(700)이 생성된다. 즉, 본 발명의 실시예에 의한 바운딩 박스 작업의 난이도를 예측하는 방법에 따르면, 하나의 이미지 파일에 대해서, 해당 이미지 파일의 인스턴스의 수, 산출된 바운딩 박스 각각의 면적의 비율의 평균값, 및 겹쳐진 바운딩 박스의 수의 평균값을 데이터베이스로 만들어 제1 데이터 프레임(700)이 생성된다. 이러한 제1 데이터 프레임(700)은 이미지 파일의 이름, 해당 이미지 파일의 인스턴스의 수, 해당 이미지 파일에 대해 산출된 바운딩 박스 각각의 면적의 비율의 평균값, 및 겹쳐진 바운딩 박스의 수의 평균값을 포함한다. 도 7에서는 제1 데이터 프레임(700)이 해당 이미지 파일에 대해 산출된 바운딩 박스 각각의 면적의 비율의 평균값을 포함하는 것으로 도시되었으나, 도 5에서 설명된 실시예에 따라 바운딩 박스의 면적의 비율의 보정된 값을 평균한 값이 제1 데이터 프레임(700)에 포함될 수도 있다.1 and 7, by matching the average value of the ratio of the area of each bounding box calculated as in FIG. 6 and the average value of the number of overlapping bounding boxes to the image file and the number of instances included in the image file, A
본 발명의 실시예에 따른 제1 데이터 프레임(700)은 바운딩 박스 작업 프로젝트에 포함된 모든 이미지 파일 각각에 대한 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 포함함에 따라, 이미지 파일 각각에 대한 바운딩 박스 작업의 난이도가 계산될 수 있으며, 이를 기초로 전체 바운딩 박스 작업 프로젝트의 난이도도 계산될 수 있다. 제1 데이터 프레임(700)에 포함된 이미지 파일 각각에 대한 난이도를 결정하고 정렬하는 구체적인 방법에 대해서는 이하 도 8 내지 도 10을 참조하여 후술한다.The
도 8은 본 발명의 또 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다. 도 9는 본 발명의 일 실시예에 따라 인스턴스의 수에 따른 이미지 파일의 난이도를 그룹화하는 과정을 설명하기 위해 예시적으로 도시한 것이다. 도 10은 본 발명의 또 다른 실시예에 따른 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 단계의 일부를 보다 상세하게 설명하기 위한 순서도이다.8 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention. 9 exemplarily illustrates a process of grouping the difficulty of an image file according to the number of instances according to an embodiment of the present invention. 10 is a flowchart for explaining in more detail a part of a step of performing a method for predicting the difficulty of a bounding box task according to another embodiment of the present invention.
도 1 및 도 8을 참조하면, 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹이 결정(S160)되고, 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값이 산출(S170)되고, 난이도 그룹 각각에 대해, 난이도 그룹에 포함된 이미지 파일이 난이도 값을 기준으로 정렬(S180)되며, 인스턴스의 수를 기준으로 난이도 그룹을 정렬하여, 제2 데이터 프레임이 생성(S190)된다. 여기서, 난이도 그룹은 미리 결정된 수의 난이도 그룹 중 하나이며, 본 발명의 실시예에 따르면 인스턴스 수를 기준으로 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 사용하여 난이도 그룹의 개수가 결정될 수 있다. 예를 들어, 난이도 그룹은 인스턴스 수를 기준으로 3개의 난이도 그룹으로 구성될 수 있으며, 이러한 3개의 난이도 그룹은 어려움(hard), 보통(normal), 및 쉬움(easy)으로 구성될 수 있다. 이러한 난이도 그룹을 결정하는 단계(S160)는 복수의 이미지 파일 각각에 대해, 이미지 파일의 인스턴스의 수에 따라 난이도 그룹을 매칭하는 단계(S161), 및 동일한 난이도 그룹에 대응하는 이미지 파일들을 그룹화하는 단계(S163)를 포함할 수 있다.1 and 8, a difficulty group is determined for each image file of the first data frame (S160), a difficulty value of each image file included in the difficulty group is calculated (S170), and the difficulty group is assigned to each difficulty group. In contrast, image files included in the difficulty group are sorted based on the difficulty value (S180), and the difficulty group is sorted based on the number of instances, thereby generating a second data frame (S190). Here, the difficulty group is one of a predetermined number of difficulty groups, and according to an embodiment of the present invention, the number of difficulty groups may be determined using a Gaussian Mixture Model (GMM) based on the number of instances. For example, the difficulty group may be composed of three difficulty groups based on the number of instances, and these three difficulty groups may be composed of hard, normal, and easy. The step of determining the difficulty group (S160) includes, for each of the plurality of image files, matching the difficulty group according to the number of instances of the image file (S161), and grouping the image files corresponding to the same difficulty group. (S163) may be included.
도 8 및 도 9를 참조하면, 본 발명의 실시예로 6개의 이미지 파일이 3개의 난이도 그룹 중 하나로 결정되고 그룹화되는 과정이 설명된다. 제1 이미지 파일(901)은 17개의 인스턴스를 포함하고, 제2 이미지 파일(902)은 2개의 인스턴스를 포함하고, 제3 이미지 파일(903)은 9개의 인스턴스를 포함하고, 제4 이미지 파일(904)은 18개의 인스턴스를 포함하고, 제5 이미지 파일(905)은 8개의 인스턴스를 포함하며, 제6 이미지 파일(906)은 4개의 인스턴스를 포함한다. 미리 결정된 기준에 따라 3개의 난이도 그룹이 설정될 수 있으며, 예시적으로 10개 이상의 인스턴스를 포함하는 이미지 파일은 어려움 그룹(911), 5개 이상 10개 미만의 인스턴스를 포함하는 이미지 파일은 보통 그룹(912), 그리고 5개 미만의 인스턴스를 포함하는 이미지 파일은 쉬움 그룹(913)으로 분류될 수 있다. 이에, 도 7에 도시된 제1 데이터 프레임(700)에 포함된 복수의 이미지 파일 각각에 대해, 이미지 파일의 인스턴스의 수에 따라 난이도 그룹이 매칭된다. 예를 들어, 17개의 인스턴스를 포함하는 제1 이미지 파일(901)과 18개의 인스턴스를 포함하는 제4 이미지 파일(904)은 어려움 그룹(911)에 매칭되고, 9개의 인스턴스를 포함하는 제3 이미지 파일(903)과 8개의 인스턴스를 포함하는 제5 이미지 파일(905)은 보통 그룹(912)에 매칭되며, 2개의 인스턴스를 포함하는 제2 이미지 파일(902)과 4개의 인스턴스를 포함하는 제6 이미지 파일(906)은 쉬움 그룹(913)에 매칭된다. 이어서, 동일한 어려움 그룹(911)에 대응하는 제1 이미지 파일(901)과 제4 이미지 파일(904)은 어려움 그룹(911)으로 그룹화되고, 동일한 보통 그룹(912)에 대응하는 제3 이미지 파일(903)과 제5 이미지 파일(905)은 보통 그룹(912)으로 그룹화되며, 동일한 쉬움 그룹(913)에 대응하는 제2 이미지 파일(902)과 제6 이미지 파일(906)은 쉬움 그룹(913)으로 그룹화된다.8 and 9 , a process in which six image files are determined as one of three difficulty groups and grouped according to an embodiment of the present invention will be described. The
이와 같이, 본 발명의 실시예에 따르면, 제1 데이터 프레임에 포함된 복수의 이미지 파일들이 인스턴스의 수에 따라 미리 결정된 수의 난이도 그룹 중 하나에 포함됨으로써, 복수의 이미지 파일들이 난이도 그룹으로 분리되어 그룹화된다. 이에, 난이도 그룹으로 묶여진 이미지 파일들은 바운딩 박스 작업의 난이도가 대체로 유사하며, 바운딩 박스 작업을 수행하는 시간도 대체로 비슷한 경향을 가질 수 있다. 이미지 파일에 포함된 인스턴스의 수에 따라, 이미지 파일에 대한 바운딩 박스 작업의 난이도를 개략적으로 예측할 수 있다. 이로 인해, 동일한 난이도 그룹에 포함된 이미지 파일에 대한 바운딩 박스 작업의 난이도는 대체로 유사하다는 것을 확인할 수 있으며, 나아가, 동일한 난이도 그룹에서 개별 이미지 파일마다 보다 자세하고 정확한 난이도 값이 산출될 수 있다. 보다 자세하고 정확한 난이도 값을 활용하여, 전체 이미지 파일을 포함하는 프로젝트에서 개별 이미지 파일들의 난이도에 따라 적절한 작업자를 매칭시킬 수도 있고, 개별 이미지 파일에 대한 바운딩 박스 작업 및 전체 프로젝트에 대한 작업에 걸리는 시간도 예측할 수 있다. 이와 같이 본 발명의 실시예에 따른 구체적인 바운딩 박스 작업의 난이도를 확인할 수 있는 예시는 도 11을 참조하여 후술한다.As such, according to an embodiment of the present invention, the plurality of image files included in the first data frame are included in one of a predetermined number of difficulty groups according to the number of instances, so that the plurality of image files are separated into difficulty groups. are grouped Accordingly, the image files grouped into the difficulty group may have similar difficulties in the bounding box work, and a similar tendency in the time required to perform the bounding box work. Depending on the number of instances included in the image file, it is possible to roughly predict the difficulty of the bounding box operation on the image file. Due to this, it can be confirmed that the difficulty of the bounding box operation for the image files included in the same difficulty group is generally similar, and further, a more detailed and accurate difficulty value can be calculated for each image file in the same difficulty group. Using a more detailed and accurate difficulty value, it is possible to match the appropriate worker according to the difficulty of individual image files in a project including the entire image file, and the time it takes to work on the bounding box for individual image files and for the entire project can also be predicted. As such, an example of confirming the difficulty of a specific bounding box operation according to an embodiment of the present invention will be described later with reference to FIG. 11 .
도 1 및 도 10을 참조하면, 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값이 산출(S170)되고, 난이도 그룹 각각에 대해, 난이도 그룹에 포함된 이미지 파일이 난이도 값을 기준으로 정렬(S180)되며, 인스턴스의 수를 기준으로 난이도 그룹을 정렬하여, 제2 데이터 프레임이 생성(S190)된다. 구체적으로, 난이도 값을 산출하는 단계(S170)는 이미지 파일마다 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 정규화하여, 정규화된 난이도 벡터를 생성하는 단계(S171), 및 이미지 파일마다 정규화된 난이도 벡터를 난이도 값을 산출하기 위한 기준 벡터와 비교하는 단계(S173)를 포함할 수 있다. 또한, 난이도 그룹에 포함된 이미지 파일을 난이도 값을 기준으로 정렬하는 단계(S180)는, 유클리드 거리가 커지는 순서로 이미지 파일을 정렬하는 단계(S181)를 포함할 수 있다.1 and 10, the difficulty value of each image file included in the difficulty group is calculated (S170), and for each difficulty group, the image file included in the difficulty group is sorted based on the difficulty value (S180) and by sorting the difficulty group based on the number of instances, a second data frame is generated (S190). Specifically, the step of calculating the difficulty value (S170) is a step of generating a normalized difficulty vector by normalizing the average value of the ratio of the number of instances, the area of the bounding box, and the average value of the number of overlapping bounding boxes for each image file (S171) ), and comparing the normalized difficulty vector for each image file with a reference vector for calculating a difficulty value ( S173 ). In addition, the step of arranging the image files included in the difficulty group based on the difficulty value (S180) may include the step of arranging the image files in the order of increasing the Euclidean distance (S181).
하나의 난이도 그룹에 포함되어 있는 이미지 파일을 기초로 난이도 값이 산출된다. 구체적으로, 난이도 그룹 내의 이미지 파일마다 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값, 및 겹쳐진 바운딩 박스의 수의 평균값을 정규화하여 정규화된 난이도 벡터가 생성된다. 예를 들어, 도 6에 도시된 제2 이미지 파일(602)은 9개의 인스턴스를 포함하고, 바운딩 박스의 면적의 비율의 평균값은 3.48이며, 겹쳐진 바운딩 박스의 수의 평균값은 0.89이다. 제2 이미지 파일(602)에 대한 난이도 벡터는 [인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값, 겹쳐진 바운딩 박스의 수의 평균값] = [9, 3.48, 0.89]이며, 이러한 난이도 벡터에서 각각의 변수가 0~1사이의 값으로 정규화될 수 있다. 구체적으로, 도 5를 참조하여 상술한 바와 같이, 바운딩 박스의 면적의 비율의 평균값은 특정 임계값을 기준으로 보정되어 정규화될 수 있다. 예를 들어, 도 6에 도시된 제2 이미지 파일(602)의 바운딩 박스의 면적의 비율의 평균값은 3.48이고 이는 특정 임계값인 5미만이므로, 제2 이미지 파일(602)의 바운딩 박스의 면적의 비율의 평균값을 5로 나눈 값으로 0.696이 된다. 유사한 방식으로 난이도 벡터의 다른 변수인 인스턴스의 수와 겹쳐진 바운딩 박스의 수의 평균값도 0~1 사이의 값으로 정규화될 수 있다. 예를 들어, 인스턴스의 수에 대한 임계값은 20으로 하고 겹쳐진 바운딩 박스의 수의 평균값에 대한 임계값은 2로하면, 도 6에 도시된 제2 이미지 파일(602)의 정규화된 난이도 벡터는 [0.45, 0.696, 0.75]가 될 수 있다. 여기서, 정규화된 난이도 벡터의 최소값은 [0, 0, 0]이고 정규화된 난이도 벡터의 최대값은 [1, 1, 1]이 된다. 난이도 벡터를 정규화하는 방식은 다양하게 존재할 수 있으며, 본 발명의 실시예에서는 난이도 벡터를 정규화하는 방식을 제한하지 않는다. A difficulty value is calculated based on an image file included in one difficulty group. Specifically, a normalized difficulty vector is generated by normalizing the average value of the number of instances, the ratio of the area of bounding boxes, and the average value of the number of overlapping bounding boxes for each image file in the difficulty group. For example, the
이어서, 정규화된 난이도 벡터는 기준 벡터와 비교를 통해 난이도 값을 산출한다. 구체적으로, 정규화된 난이도 벡터는 기준 벡터와의 유클리드 거리를 산출하는데 이용된다. 즉, 정규화된 난이도 벡터와 기준 벡터 사이의 유클리드 거리를 계산함으로써, 계산된 유클리드 거리는 해당 이미지 파일의 난이도 값으로 결정될 수 있다. 예를 들어, 도 6에 도시된 제2 이미지 파일(602)의 정규화된 난이도 벡터는 [0.45, 0.696, 0.75]이고 기준 벡터는 [1, 1, 1]이라고 할 때, 제2 이미지 파일(602)의 난이도 값은 [0.45, 0.696, 0.75]와 [1, 1, 1]의 유클리드 거리인 0.676이 된다. 이에, 제1 데이터 프레임에 포함된 이미지 파일들 각각에 대하여 난이도 값이 산출될 수 있다. 이러한 유클리드 거리에 따른 난이도 값은 작을수록 난이도가 어려움을 의미하고 클수록 난이도가 쉬움을 의미할 수 있다. 이에, 유클리드 거리의 크기에 따라 일정한 순서로 이미지 파일들을 정렬시킬 수 있다. Then, the normalized difficulty vector is compared with the reference vector to calculate a difficulty value. Specifically, the normalized difficulty vector is used to calculate the Euclidean distance from the reference vector. That is, by calculating the Euclidean distance between the normalized difficulty vector and the reference vector, the calculated Euclidean distance may be determined as the difficulty value of the corresponding image file. For example, when the normalized difficulty vector of the
난이도 값이 산출된 이후, 각각의 난이도 그룹마다 난이도 그룹에 포함된 이미지 파일들이 난이도 값에 따라 정렬될 수 있다. 구체적으로, 어려움 그룹에 포함된 이미지 파일들은 각각의 유클리드 거리가 커지는 순서로 정렬될 수 있고, 보통 그룹에 포함된 이미지 파일들은 각각의 유클리드 거리가 커지는 순서로 정렬될 수 있으며, 쉬움 그룹에 포함된 이미지 파일들도 각각의 유클리드 거리가 커지는 순서로 정렬될 수 있다. After the difficulty value is calculated, for each difficulty group, image files included in the difficulty group may be sorted according to the difficulty value. Specifically, the image files included in the difficulty group may be sorted in the increasing order of each Euclidean distance, and the image files included in the normal group may be sorted in the increasing order of each Euclidean distance, and included in the easy group Image files can also be sorted in increasing order of each Euclidean distance.
본 발명의 실시예에서 난이도 그룹은 인스턴스의 수를 기준으로 분류되므로, 인스턴스의 수를 기준으로 난이도 그룹을 어려움, 보통, 쉬움 그룹 순으로 정렬할 수 있다. 이에 따라, 어려움 그룹 내의 이미지 파일이 유클리드 거리가 커지는 순서(난이도 값이 높아짐에 따라 난이도가 쉬워지는 순서)로 정렬되고, 보통 그룹 내의 이미지 파일이 유클리드 거리가 커지는 순서로 정렬되고, 쉬움 그룹 내의 이미지 파일도 유클리드 거리가 커지는 순서로 정렬된다. 결과적으로, 큰 1차적 분류인 난이도 그룹에 의해 난이도가 쉬워지는 순서로 정렬되고, 각각의 그룹 안에서 2차적으로 세부적인 난이도 값에 따라 난이도가 쉬워지는 순서대로 정렬된다. 이와 같이, 인스턴스의 수를 기준으로 먼저 난이도 그룹을 정렬한 이후 난이도 그룹 내의 이미지 파일들도 난이도가 쉬워지는 순서대로 정렬되어, 최종적으로 제2 데이터 프레임이 생성될 수 있다. 이러한 과정에서, 어려움 그룹에 포함된 이미지 파일 중 난이도가 쉬운 이미지 파일은 보통 그룹에 포함된 이미지 파일 중 난이도가 어려운 이미지 파일보다 유클리드 거리가 작을 수도 있다. 즉, 어려움 그룹에 포함된 이미지 파일 중 난이도가 쉬운 이미지 파일은 보통 그룹에 포함된 이미지 파일 중 난이도가 어려운 이미지 파일보다 계산된 난이도 값이 더 작을 수 있다.In an embodiment of the present invention, since the difficulty group is classified based on the number of instances, the difficulty group may be arranged in the order of difficulty, normal, and easy groups based on the number of instances. Accordingly, the image files in the difficulty group are sorted in increasing order of Euclidean distance (the difficulty becomes easier as the difficulty value increases), the image files in the normal group are arranged in increasing order of the Euclidean distance, and images in the easy group are arranged in the order of increasing Euclidean distance. Files are also sorted in increasing order of Euclidean distance. As a result, they are sorted in order of increasing difficulty by difficulty group, which is a large primary classification, and are arranged in order of increasing difficulty according to secondary detailed difficulty values within each group. In this way, after first sorting the difficulty group based on the number of instances, the image files in the difficulty group are also sorted in the order in which the difficulty becomes easier, and finally, a second data frame may be generated. In this process, the image file having the easy difficulty among the image files included in the difficulty group may have a smaller Euclidean distance than the image file having the difficult difficulty among the image files included in the normal group. That is, an image file having an easy difficulty among image files included in the difficulty group may have a calculated difficulty value smaller than an image file having a difficult difficulty among image files included in a normal group.
상술한 바와 같이, 1차적으로 인스턴스의 수를 기초로 난이도 그룹을 분리하여 정렬하고, 2차적으로 그룹 내의 이미지 파일에 대해 계산된 난이도 값에 따라 정렬된 이미지 파일들이 하나의 제2 데이터 프레임으로 병합된다. 이와 같이 병합된 제2 데이터 프레임을 기초로, 회귀분석 모델을 활용하여 각각의 이미지 파일마다 예상되는 바운딩 박스의 작업시간이 계산될 수 있다. 이미지 파일별 계산된 예상 작업시간은 제2 데이터 프레임과 병합되어 새로운 데이터 프레임이 생성될 수도 있다.As described above, firstly, the difficulty group is separated and sorted based on the number of instances, and the image files sorted according to the difficulty value calculated for the image files in the group are secondarily merged into one second data frame. do. Based on the second data frame merged in this way, the expected working time of the bounding box for each image file may be calculated by using the regression analysis model. The estimated working time calculated for each image file may be merged with the second data frame to generate a new data frame.
상술한 본 발명의 실시예에 따라, 전체 이미지 파일들에 대한 바운딩 박스 작업의 난이도 및 예상 작업시간이 도출될 수 있을 뿐만 아니라, 이미지 파일들 각각에 대해서도 보다 세부적이고 구체적인 바운딩 박스 작업의 난이도 및 예상 작업시간이 산출될 수 있다.According to the embodiment of the present invention described above, not only the difficulty and expected working time of the bounding box work for all image files can be derived, but also the difficulty and expectation of the more detailed and specific bounding box work for each of the image files. Working hours can be calculated.
도 11은 본 발명의 또 다른 실시예에 따라 출력되는 이미지 파일의 바운딩 박스 작업의 난이도와 예상 작업 시간을 예시적으로 도시한 것이다.11 exemplarily illustrates the difficulty and expected working time of the bounding box operation of the image file output according to another embodiment of the present invention.
도 11을 참조하면, 전체 데이터 세트에 포함된 이미지 파일 각각에 대해 인스턴스의 수, 바운딩 박스의 면적의 비율의 평균값 및 겹쳐진 바운딩 박스의 수의 평균값을 산출한 결과가 목적에 맞게 가공될 수 있다. 예를 들어, 전체 데이터 세트에서 클래스별 인스턴스가 몇 개나 존재하는지 표시하는 그래프, 인스턴스의 수의 분포가 어느정도 되는지 표시하는 그래프, 바운딩 박스의 평균적인 사이즈에 대한 분포가 어느정도 되는지 표시하는 그래프, 및 겹쳐진 바운딩 박스의 수의 평균 분포가 어느정도 되는지 표시하는 그래프 등 다양한 방식으로 산출된 결과가 가공되어 출력될 수 있다. 또한, 난이도 그룹에 따른 바운딩 박스 작업의 예상 작업시간과 이미지 파일의 수 등도 가공되어 출력될 수 있다. 이러한 결과들을 바탕으로, 전체 바운딩 박스 작업의 프로젝트 책임자는 난이도와 해당 난이도에 포함되는 이미지 파일의 수에 따라 바운딩 박스 작업자 및 검수자를 적절하게 분배할 수 있으며, 예상되는 작업 종료시간을 기초로 이후 다른 프로젝트와의 연관성을 고려하여 프로젝트 전반에 대한 계획을 설정하고 수정할 수도 있다. Referring to FIG. 11 , the result of calculating the average value of the ratio of the number of instances, the area of the bounding box, and the average value of the number of overlapping bounding boxes for each image file included in the entire data set may be processed according to the purpose. For example, a graph that shows how many instances of each class exist in the entire data set, a graph that shows how the number of instances is distributed, a graph that shows what the distribution is for the average size of the bounding box, and The results calculated in various ways, such as a graph indicating the average distribution of the number of bounding boxes, may be processed and output. In addition, the expected working time of the bounding box work according to the difficulty group and the number of image files may be processed and output. Based on these results, the project manager of the entire bounding box work can properly distribute the bounding box workers and inspectors according to the difficulty level and the number of image files included in the difficulty level, and based on the expected end time of the work, Considering the relevance to the project, it is also possible to set and revise the overall project plan.
이와 같이, 전체 프로젝트의 책임자는, 본 발명의 실시예에 따른 이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법을 수행하는 컴퓨터 장치를 통해, 복수의 데이터 세트 각각에 대해 이미지 파일의 바운딩 박스 작업의 난이도를 예측하고, 복수의 데이터 세트 각각마다 결정된 난이도 값 및 예상작업시간 중 적어도 하나를 기초로, 데이터 세트 각각에 작업자를 할당할 수도 있다. 이에 따라, 프로젝트의 책임자는 바운딩 박스 작업의 난이도와 예상작업시간을 보다 상세하고 정확하게 예측하고, 실시간 작업 상황 등과 비교하여, 프로젝트를 보다 능동적으로 관리할 수 있다.In this way, the person in charge of the entire project, through the computer device performing the method of predicting the difficulty of the task of the bounding box of the image file according to the embodiment of the present invention, for each of a plurality of data sets, the task of the bounding box of the image file The difficulty may be predicted, and a worker may be assigned to each data set based on at least one of a difficulty value determined for each of a plurality of data sets and an expected working time. Accordingly, the person in charge of the project can predict the difficulty and expected work time of the bounding box work in more detail and accurately, compare it with the real-time work situation, etc., and manage the project more actively.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In this specification, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that it is also possible for the functions recited in blocks or steps to occur out of order in some alternative embodiments. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 기록 매체 또는 저장 매체에 상주할 수도 있다. 예시적인 기록 매체 또는 저장 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체 또는 저장 매체로부터 정보를 판독할 수 있고 기록 매체 또는 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체 또는 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체 또는 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.The steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented in hardware, software module executed by a processor, or a combination of the two. A software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM, or any other form of recording or storage medium known in the art. An exemplary recording medium or storage medium is coupled to the processor, the processor capable of reading information from, and writing information to, the recording medium or storage medium. Alternatively, the recording medium or storage medium may be integral with the processor. A processor and a recording medium or storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user terminal. Alternatively, the processor and storage medium may reside as separate components within the user terminal.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications may be made within the scope without departing from the technical spirit of the present invention. . Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
200 데이터 세트
201, 601, 901 제1 이미지 파일
202, 602, 902 제2 이미지 파일
203, 603, 903 제3 이미지 파일
210 제1 이미지 파일에 대한 어노테이션 정보
211 제1 이미지 파일의 제1 인스턴스에 대한 어노테이션 정보
212 제1 이미지 파일의 제2 인스턴스에 대한 어노테이션 정보
220 제2 이미지 파일에 대한 어노테이션 정보
221 제2 이미지 파일의 제1 인스턴스에 대한 어노테이션 정보
222 제2 이미지 파일의 제2 인스턴스에 대한 어노테이션 정보
230 제3 이미지 파일에 대한 어노테이션 정보
231 제3 이미지 파일의 제1 인스턴스에 대한 어노테이션 정보
232 제3 이미지 파일의 제2 인스턴스에 대한 어노테이션 정보
301 제1 이미지 파일의 추출 정보 세트
302 제2 이미지 파일의 추출 정보 세트
303 제3 이미지 파일의 추출 정보 세트
400 이미지 파일
401 제1 인스턴스의 바운딩 박스
402 제2 인스턴스의 바운딩 박스
403 제3 인스턴스의 바운딩 박스
404 제4 인스턴스의 바운딩 박스
405 제5 인스턴스의 바운딩 박스
406 제6 인스턴스의 바운딩 박스
407 제7 인스턴스의 바운딩 박스
408 제8 인스턴스의 바운딩 박스
409 제9 인스턴스의 바운딩 박스
700 제1 데이터 프레임
904 제4 이미지 파일
905 제5 이미지 파일
906 제6 이미지 파일
911 어려움 그룹
912 보통 그룹
913 쉬움 그룹200 data sets
201, 601, 901 first image file
202, 602, 902 second image file
203, 603, 903 3rd image file
210 Annotation information for the first image file
211 Annotation information for the first instance of the first image file
212 Annotation information for the second instance of the first image file
220 Annotation information for the second image file
221 Annotation information for the first instance of the second image file
222 Annotation information for the second instance of the second image file
230 Annotation information for the third image file
231 Annotation information for the first instance of the third image file
232 Annotation information for the second instance of the third image file
301 Extraction information set of the first image file
302 Extraction information set of the second image file
303 Extraction information set of the third image file
400 image files
401 bounding box of first instance
402 bounding box of second instance
403 bounding box of 3rd instance
404 bounding box of 4th instance
405 Bounding Box of
406 bounding box of 6th instance
407 bounding box of
408 The bounding box of the eighth instance
409 bounding box of the ninth instance
700 first data frame
904 4th image file
905 5th image file
906 6th image file
911 difficulty group
912 Normal group
913 easy group
Claims (9)
상기 어노테이션 정보로부터 상기 이미지 파일에 포함된 인스턴스의 수 및 상기 인스턴스에 대응하는 바운딩 박스(bounding box)의 좌표를 추출하는 단계;
상기 바운딩 박스의 좌표를 기초로, 상기 이미지 파일 각각의 전체 면적에 대한 상기 바운딩 박스 각각의 면적의 비율을 산출하는 단계;
상기 바운딩 박스의 좌표를 기초로, 상기 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 산출하는 단계;
상기 이미지 파일에서 상기 바운딩 박스 각각의 면적의 비율의 평균값 및 상기 겹쳐진 바운딩 박스의 수의 평균값을 산출하는 단계;
상기 복수의 이미지 파일 및 상기 복수의 이미지 파일 각각에 대한 상기 인스턴스의 수, 상기 바운딩 박스 각각의 면적의 비율의 평균값 및 상기 겹쳐진 바운딩 박스의 수의 평균값을 포함하는, 제1 데이터 프레임을 생성하는 단계;
상기 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹을 결정하는 단계;
상기 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값을 산출하는 단계;
상기 난이도 그룹 각각에 대해, 상기 난이도 그룹에 포함된 상기 이미지 파일을 상기 난이도 값을 기준으로 정렬하는 단계; 및
상기 인스턴스의 수를 기준으로 상기 난이도 그룹을 정렬하여, 제2 데이터 프레임을 생성하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.extracting annotation information from each image file in a data set including a plurality of image files;
extracting the number of instances included in the image file and coordinates of a bounding box corresponding to the instances from the annotation information;
calculating a ratio of the area of each of the bounding boxes to the total area of each of the image files based on the coordinates of the bounding box;
calculating the number of overlapping bounding boxes for each bounding box in the image file based on the coordinates of the bounding box;
calculating an average value of a ratio of areas of each of the bounding boxes in the image file and an average value of the number of overlapping bounding boxes;
Generating a first data frame comprising the plurality of image files and the average value of the number of instances for each of the plurality of image files, the average value of the ratio of the area of each of the bounding boxes, and the average value of the number of the overlapping bounding boxes; ;
determining a difficulty group for each image file of the first data frame;
calculating a difficulty value of each image file included in the difficulty group;
for each difficulty group, arranging the image files included in the difficulty group based on the difficulty value; and
Sorting the difficulty group based on the number of instances to generate a second data frame,
How to predict the difficulty of working with bounding boxes on image files.
상기 바운딩 박스 각각의 면적의 비율을 산출하는 단계 이후,
상기 바운딩 박스의 면적의 비율이 특정 임계값 이상이면, 상기 바운딩 박스의 면적의 비율을 상기 특정 임계값으로 변경하고,
상기 바운딩 박스의 면적의 비율이 상기 특정 임계값 미만이면, 상기 바운딩 박스의 면적의 비율을 유지하는 단계; 및
상기 특정 임계값에서 상기 바운딩 박스의 면적의 비율을 뺀 값으로, 바운딩 박스의 면적의 비율을 보정하는 단계를 더 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.According to claim 1,
After calculating the ratio of the area of each bounding box,
If the ratio of the area of the bounding box is greater than or equal to a specific threshold, changing the ratio of the area of the bounding box to the specific threshold,
maintaining the ratio of the area of the bounding box when the ratio of the area of the bounding box is less than the specific threshold value; and
Further comprising the step of correcting the ratio of the area of the bounding box to a value obtained by subtracting the ratio of the area of the bounding box from the specific threshold value,
How to predict the difficulty of working with bounding boxes on image files.
상기 난이도 그룹은 미리 결정된 수의 난이도 그룹 중 하나이고,
상기 난이도 그룹을 결정하는 단계는,
상기 복수의 이미지 파일 각각에 대해, 상기 이미지 파일의 인스턴스의 수에 따라 난이도 그룹을 매칭하는 단계; 및
동일한 난이도 그룹에 대응하는 이미지 파일들을 그룹화하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.According to claim 1,
the difficulty group is one of a predetermined number of difficulty groups;
The step of determining the difficulty group is,
for each of the plurality of image files, matching a difficulty group according to the number of instances of the image file; and
grouping image files corresponding to the same difficulty group;
How to predict the difficulty of working with bounding boxes on image files.
상기 난이도 값을 산출하는 단계는,
상기 이미지 파일마다 상기 인스턴스의 수, 상기 바운딩 박스의 면적의 비율의 평균값 및 상기 겹쳐진 바운딩 박스의 수의 평균값을 정규화하여, 정규화된 난이도 벡터를 생성하는 단계; 및
상기 이미지 파일마다 상기 정규화된 상기 난이도 벡터를 상기 난이도 값을 산출하기 위한 기준 벡터와 비교하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.According to claim 1,
The step of calculating the difficulty value is,
generating a normalized difficulty vector by normalizing the average value of the ratio of the number of instances, the area of the bounding box, and the number of overlapping bounding boxes for each image file; and
Comprising the step of comparing the normalized difficulty vector for each image file with a reference vector for calculating the difficulty value,
How to predict the difficulty of working with bounding boxes on image files.
상기 비교하는 단계는,
상기 이미지 파일마다 상기 난이도 벡터와 상기 기준 벡터 사이의 유클리드 거리를 산출하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.5. The method of claim 4,
The comparing step is
Comprising the step of calculating the Euclidean distance between the difficulty vector and the reference vector for each image file,
How to predict the difficulty of working with bounding boxes on image files.
상기 이미지 파일을 정렬하는 단계는,
상기 유클리드 거리가 커지는 순서로 상기 이미지 파일을 정렬하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.6. The method of claim 5,
The step of arranging the image files is,
Comprising the step of arranging the image files in the order of increasing the Euclidean distance,
How to predict the difficulty of working with bounding boxes on image files.
상기 제2 데이터 프레임을 기초로, 회귀분석 모델을 활용하여 각각의 이미지 파일마다 예상되는 작업시간을 계산하는 단계를 더 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.According to claim 1,
Based on the second data frame, using a regression analysis model further comprising the step of calculating an expected working time for each image file,
How to predict the difficulty of working with bounding boxes on image files.
상기 복수의 데이터 세트 각각마다 결정된 난이도 값 및 상기 제2 데이터 프레임을 기초로, 회귀분석 모델을 활용하여 각각의 이미지 파일마다 예상되는 작업시간 중 적어도 하나를 기초로, 상기 데이터 세트 각각에 상기 바운딩 박스 작업을 수행하기 위한 작업자를 할당하는 단계를 포함하는,
이미지 파일의 바운딩 박스 작업의 난이도를 예측하는 방법.performing a method of predicting the difficulty of a bounding box task of an image file according to claim 1 for each of a plurality of data sets; and
Based on the difficulty value determined for each of the plurality of data sets and the second data frame, based on at least one of the estimated working time for each image file using a regression analysis model, the bounding box is placed on each of the data sets. assigning workers to perform the work;
How to predict the difficulty of working with bounding boxes on image files.
상기 프로세서와 전기적으로 통신하고 컴퓨터 판독가능 명령어들을 저장하는 메모리를 포함하는 컴퓨터 장치로서,
상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 컴퓨터 장치로 하여금:
복수의 이미지 파일들을 포함하는 데이터 세트에서 이미지 파일 각각으로부터 어노테이션 정보를 추출하게 하고,
상기 어노테이션 정보로부터 상기 이미지 파일에 포함된 인스턴스의 수 및 상기 인스턴스에 대응하는 바운딩 박스의 좌표를 추출하게 하고,
상기 바운딩 박스의 좌표를 기초로, 상기 이미지 파일 각각의 전체 면적에 대한 상기 바운딩 박스 각각의 면적의 비율을 산출하게 하고,
상기 바운딩 박스의 좌표를 기초로, 상기 이미지 파일 내의 바운딩 박스 각각마다 겹쳐진 바운딩 박스의 수를 산출하게 하고,
상기 이미지 파일에서 상기 바운딩 박스 각각의 면적의 비율의 평균값 및 상기 겹쳐진 바운딩 박스의 수의 평균값을 산출하게 하고,
상기 복수의 이미지 파일 및 상기 복수의 이미지 파일 각각에 대한 상기 인스턴스의 수, 상기 바운딩 박스 각각의 면적의 비율의 평균값 및 상기 겹쳐진 바운딩 박스의 수의 평균값을 포함하는, 제1 데이터 프레임을 생성하게 하고,
상기 제1 데이터 프레임의 이미지 파일 각각에 대해 난이도 그룹을 결정하게 하고,
상기 난이도 그룹에 포함된 이미지 파일 각각의 난이도 값을 산출하게 하고,
상기 난이도 그룹 각각에 대해, 상기 난이도 그룹에 포함된 상기 이미지 파일을 상기 난이도 값을 기준으로 정렬하게 하고,
상기 인스턴스의 수를 기준으로 상기 난이도 그룹을 정렬하여, 제2 데이터 프레임을 생성하게 하는,
컴퓨터 장치.processor; and
A computer device comprising: a memory in electrical communication with the processor and storing computer readable instructions;
The instructions, when executed by the processor, cause the computer device to:
extract annotation information from each image file in a data set comprising a plurality of image files;
extract the number of instances included in the image file and coordinates of a bounding box corresponding to the instances from the annotation information;
Based on the coordinates of the bounding box, calculate the ratio of the area of each of the bounding boxes to the total area of each of the image files,
Based on the coordinates of the bounding box, calculate the number of overlapping bounding boxes for each bounding box in the image file,
to calculate the average value of the ratio of the area of each of the bounding boxes in the image file and the average value of the number of the overlapping bounding boxes,
generate a first data frame comprising the plurality of image files and the average value of the number of instances for each of the plurality of image files, the average value of the ratio of the area of each of the bounding boxes, and the average value of the number of overlapping bounding boxes, and ,
determine a difficulty group for each image file of the first data frame;
to calculate the difficulty value of each image file included in the difficulty group,
For each difficulty group, the image files included in the difficulty group are sorted based on the difficulty value,
Sorting the difficulty group based on the number of instances to generate a second data frame,
computer device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210037450A KR102265678B1 (en) | 2021-03-23 | 2021-03-23 | Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210037450A KR102265678B1 (en) | 2021-03-23 | 2021-03-23 | Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102265678B1 true KR102265678B1 (en) | 2021-06-16 |
Family
ID=76602852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210037450A KR102265678B1 (en) | 2021-03-23 | 2021-03-23 | Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102265678B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023054832A1 (en) * | 2021-09-30 | 2023-04-06 | 주식회사 인피닉 | Annotation method for easily designating object, and computer program recorded in recording medium in order to perform method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102112859B1 (en) * | 2020-01-02 | 2020-05-19 | 셀렉트스타 주식회사 | Method for training a deep learning model for a labeling task and apparatus using the same |
| KR102117543B1 (en) | 2018-04-26 | 2020-06-01 | 주식회사 슈퍼브에이아이 | Computing device and artificial intelligence based image processing service system using the same |
| US20200202615A1 (en) * | 2018-12-21 | 2020-06-25 | The Regents Of The University Of Michigan | Reconstructing 3D Video Using Particle Filtering To Aggregate Crowd Responses |
| KR20200077321A (en) * | 2018-12-20 | 2020-06-30 | 네이버랩스 주식회사 | Semantic object region segmentation method and system based on weak map learning object detector |
| KR20200077942A (en) * | 2018-12-21 | 2020-07-01 | 네이버랩스 주식회사 | Method and system for tracking object in video through prediction of future motion of object |
-
2021
- 2021-03-23 KR KR1020210037450A patent/KR102265678B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102117543B1 (en) | 2018-04-26 | 2020-06-01 | 주식회사 슈퍼브에이아이 | Computing device and artificial intelligence based image processing service system using the same |
| KR20200077321A (en) * | 2018-12-20 | 2020-06-30 | 네이버랩스 주식회사 | Semantic object region segmentation method and system based on weak map learning object detector |
| US20200202615A1 (en) * | 2018-12-21 | 2020-06-25 | The Regents Of The University Of Michigan | Reconstructing 3D Video Using Particle Filtering To Aggregate Crowd Responses |
| KR20200077942A (en) * | 2018-12-21 | 2020-07-01 | 네이버랩스 주식회사 | Method and system for tracking object in video through prediction of future motion of object |
| KR102112859B1 (en) * | 2020-01-02 | 2020-05-19 | 셀렉트스타 주식회사 | Method for training a deep learning model for a labeling task and apparatus using the same |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023054832A1 (en) * | 2021-09-30 | 2023-04-06 | 주식회사 인피닉 | Annotation method for easily designating object, and computer program recorded in recording medium in order to perform method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zavrtanik et al. | Draem-a discriminatively trained reconstruction embedding for surface anomaly detection | |
| CN110349147B (en) | Model training method, fundus macular region lesion recognition method, device and equipment | |
| CN105955889A (en) | Graphic interface automated test method | |
| CN110210483B (en) | Medical image lesion region segmentation method, model training method and device | |
| CN109934227A (en) | System for recognizing characters from image and method | |
| US11461584B2 (en) | Discrimination device and machine learning method | |
| US9852354B2 (en) | Method and apparatus for image scoring and analysis | |
| KR102370910B1 (en) | Method and apparatus for few-shot image classification based on deep learning | |
| CN112513927A (en) | Wind turbine blade defect inspection based on convolutional neural networks | |
| KR102265678B1 (en) | Method of predicting difficulty of bounding box work in the image file and computer apparatus conducting thereof | |
| JP2019021243A (en) | Object extractor and super pixel labeling method | |
| CN113435458A (en) | Rock slice image segmentation method, device and medium based on machine learning | |
| CN112633341A (en) | Interface testing method and device, computer equipment and storage medium | |
| KR102337692B1 (en) | Method of detecting error-suspicious bounding box and computer apparatus conducting thereof | |
| KR102301635B1 (en) | Method of inferring bounding box using artificial intelligence model and computer apparatus of inferring bounding box | |
| KR20220060722A (en) | Image data labelling apparatus and method thereof | |
| CN111459796A (en) | Automatic testing method and device, computer equipment and storage medium | |
| CN109743200B (en) | Resource feature-based cloud computing platform computing task cost prediction method and system | |
| CN116661786A (en) | Design page generation method and device | |
| US20220108433A1 (en) | Information processing apparatus, information processing program, and information processing method | |
| CN113705559B (en) | Character recognition method and device based on artificial intelligence and electronic equipment | |
| KR102256409B1 (en) | Method of generating a learning data set and computer apparatus for generating a learning data set | |
| CN113435482B (en) | Method, device and equipment for judging open set | |
| CN112232380B (en) | Neural network robustness detection method and device | |
| CN113918471A (en) | Test case processing method and device and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |