KR20220062977A - 이미지 엔트로피를 이용한 객체 검출용 데이터셋 구성 방법 및 이를 수행하는 데이터 처리장치 - Google Patents

Abstract

이미지 엔트로피를 이용한 객체 검출용 데이터셋 구성 방법 및 이를 수행하는 데이터 처리장치가 개시된다. 일 실시 예에 따른 일 실시 예에 따른 데이터 처리장치는, 다수의 이미지를 입력 받는 입력부와, 입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하고, 선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하는 제어부와, 구성된 객체 검출용 데이터셋을 저장하는 저장부를 포함한다.

Description

이미지 엔트로피를 이용한 객체 검출용 데이터셋 구성 방법 및 이를 수행하는 데이터 처리장치 {Object detection data set composition method using image entropy and data processing device performing the same}

본 발명은 데이터 분석 및 처리 기술에 관한 것으로, 보다 상세하게는 객체 검출을 위한 데이터셋을 구성하는 기술에 관한 것이다.

최근 딥러닝의 급격한 발전에 따라 이미지뿐만 아니라 비디오, 자연어 처리, 기계번역 등 다양한 분야에서 딥러닝을 활용하는 연구와 서비스가 진행되고 있다. 이러한 딥러닝 모델이 좋은 성능을 내기 위해서는 양질의 데이터가 필요하다. 각자 도메인에 맞는 학습 모델을 구성하기 위해서는 이에 맞는 자체적인 데이터셋(Dataset)을 저작해야 하는데, 데이터셋 저작에는 큰 비용과 시간이 지출된다. 또한, 저작한 데이터셋을 검수하는 과정도 많은 비용이 든다.

자체 데이터셋을 저작하는데 많은 비용이 들지만, 올바르게 구성되지 않으면 딥러닝 모델을 제대로 학습시키지 못하기 때문에 올바른 데이터셋을 효율적으로 구성하는 것이 중요하다.

일 실시 예에 따라, 이미지 엔트로피를 이용하여 데이터 구성 작업의 우선 순위를 선정하는 방법과 누락되거나 잘못 저작된 데이터를 빨리 찾아내 검수를 진행하는 방법을 통해 객체 검출용 데이터셋을 구성할 수 있는 객체 검출용 데이터셋 구성 방법 및 이를 수행하는 데이터 처리장치를 제안한다.

일 실시 예에 따른 데이터 처리장치는, 다수의 이미지를 입력 받는 입력부와, 입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하고, 선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하는 제어부와, 구성된 객체 검출용 데이터셋을 저장하는 저장부를 포함한다.

제어부는, 각 이미지를 대상으로 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하며, 계산된 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선순위로 선정할 수 있다.

이미지 분할 알고리즘을 이용한 이미지 엔트로피 계산은, 각 이미지를 해당 이미지에 나타나는 적어도 하나의 색상으로 분할하고, 분할된 색상 종류의 수를 미리 설정된 색상 민감도로 나눈 값으로 이미지 엔트로피를 계산할 수 있다.

객체 검출 모델을 이용한 이미지 엔트로피 계산은, 소정의 이미지를 객체 검출 모델에 입력하고, 해당 객체 검출 모델을 통해 객체들을 검출한 후 검출된 객체들의 점수 값을 합산한 값으로 이미지 엔트로피 값으로 이미지 엔트로피를 계산할 수 있다.

제어부는, 이미지가 동영상인 경우, 동영상에서 다수의 프레임 이미지를 추출하고, 추출된 다수의 프레임 이미지를 미리 설정된 구간 별로 분류하고, 분류된 각 구간 이미지들로부터 해당 구간의 평균 이미지 엔트로피를 계산하며, 계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 구간 이미지 또는 계산된 평균 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 구간 이미지를 작업 우선순위로 선정할 수 있다.

제어부는, 구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행하고 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정할 수 있다.

제어부는, 객체 검출용 데이터셋의 이미지에서 객체정보를 이용하여 적어도 하나의 객체를 소거하고, 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피를 계산하며, 계산된 이미지 엔트로피를 이용하여 재 작업 대상 이미지를 판단할 수 있다.

제어부는, 이미지 분할 알고리즘을 이용하여 이미지 엔트로피를 계산하는 경우, 주변 색으로 채우기 또는 주변 이미지로 채우기를 통해 적어도 하나의 객체를 소거하고, 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하는 경우, black out, white out 또는 해당 영역의 평균 색으로 채우기를 통해 적어도 하나의 객체를 할 수 있다.

제어부는, 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피 값이 미리 설정된 기준 값 이상인 경우 해당 이미지를 재 작업 대상으로 판단할 수 있으며, 미리 설정된 기준 값은 상황에 따라 변경 가능하다.

다른 실시 에에 따른 데이터 처리장치를 이용한 객체 검출용 데이터셋 구성방법은, 데이터 처리장치가 다수의 이미지를 입력 받는 단계와, 입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하는 단계와, 선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하는 단계를 포함한다.

작업 우선순위를 선정하는 단계는, 각 이미지를 대상으로 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하는 단계와, 계산된 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선순위로 선정하는 단계를 포함할 수 있다.

작업 우선순위를 선정하는 단계는, 이미지가 동영상인 경우, 동영상에서 다수의 프레임 이미지를 추출하는 단계와, 추출된 다수의 프레임 이미지를 미리 설정된 구간 별로 분류하는 단계와, 분류된 각 구간 이미지들로부터 해당 구간의 평균 이미지 엔트로피를 계산하는 단계와, 계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 구간 이미지 또는 계산된 평균 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 구간 이미지를 작업 우선순위로 선정하는 단계를 포함할 수 있다.

객체 검출용 데이터셋 구성방법은, 구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행하는 단계와, 재 작업 대상이 아닌 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하는 단계와, 재 작업 대상에 대해 재 작업을 수행한 후 검수를 수행하여 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하는 단계를 더 포함할 수 있다.

검수를 수행하는 단계는, 객체 검출용 데이터셋의 이미지에서 객체정보를 이용하여 적어도 하나의 객체를 소거하는 단계와, 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피를 계산하는 단계와, 계산된 이미지 엔트로피를 이용하여 재 작업 대상 이미지를 판단하는 단계를 포함할 수 있다.

재 작업 대상 이미지를 판단하는 단계에서, 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피 값이 미리 설정된 기준 값 이상인 경우 해당 이미지를 재 작업 대상으로 판단할 수 있으며, 미리 설정된 기준 값은 상황에 따라 변경 가능하다.

딥러닝 학습 데이터를 구성하는 일은 많은 비용과 자원이 소요된다. 본 발명에서는 이미지 엔트로피를 이용하여 데이터 구성 작업의 우선 순위를 결정하고 결정된 우선순위에 따라 데이터 구성 작업을 진행함에 따라, 비용과 자원을 보다 효율적으로 사용할 수 있다.

또한, 검수 과정에서는 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하고 미저작 또는 부분 저작된 데이터를 효율적으로 검수하는 방법을 제안하였다. 이러한 검수 방법을 이용하면 데이터 검수 과정에서 효율화가 이루어져 전체적으로 제한된 리소스를 가지고 보다 유용한 고품질의 이미지 메타데이터를 구성할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 구성 대상이 되는 객체 검출용 데이터셋의 예를 도시한 도면,
도 2는 본 발명의 일 실시 에에 따른 데이터 처리장치의 구성을 도시한 도면,
도 3은 본 발명의 이해를 돕기 위한 이미지 엔트로피를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 이미지 분할 알고리즘으로 평균 이동(Mean Shift)을 이용한 이미지 엔트로피 계산 예를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 객체 검출 모델을 이용한 이미지 엔트로피 계산 예를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용하여 이미지에서의 객체 검출용 데이터셋의 작업 우선 순위를 계산하는 예를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용하여 동영상에서의 객체 검출용 데이터셋의 작업 우선 순위를 계산하는 예를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용한 객체 검출용 데이터셋 검수 방법의 흐름을 도시한 도면,
도 9는 본 발명의 일 실시 예에 따른 이미지 엔트로피 계산 방법에 따른 객체를 소거하는 방법을 정리한 도면,
도 10은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용한 객체 검출용 데이터셋 검수 방법의 예를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

도 1은 본 발명의 일 실시 예에 따른 구성 대상이 되는 객체 검출용 데이터셋의 예를 도시한 도면이다.

도 1을 참조하면, 객체 검출용 데이터셋은 이미지에 나타나는 객체들(예를 들어, 도 1의 Persons, Plant, Bottles)의 객체 정보를 가지고 있는 데이터의 집합이다. 객체 정보는 해당 객체의 객체 명, 위치 정보 등을 포함할 수 있다.

Label Studio, CVAT 등의 데이터 저작 툴을 이용하여 각 이미지에 객체 정보를 저작하여 객체 검출용 데이터셋을 저작할 수 있다. 이 작업이 각 이미지에 대해 수작업으로 진행되는 경우에는 많은 비용(인력, 시간 등)이 필요하다.

구성된 객체 검출용 데이터셋이 효용성이 있기 위해서는 누락된 객체 정보, 잘못 저작된 객체 정보가 없어야 한다. 저작된 객체 검출용 데이터셋에 대해 전량 수작업 검수를 진행해야 하기 때문에 검수 작업에서도 비용도 상당히 많이 필요하다.

도 2는 본 발명의 일 실시 에에 따른 데이터 처리장치의 구성을 도시한 도면이다.

도 2를 참조하면, 데이터 처리장치(1)는 이미지 엔트로피를 이용하여 객체 검출용 데이터셋을 구성하고, 미저작 또는 부분 저작된 데이터를 효율적으로 검수한다. 여기서, '구성'은 '구축', '저작' 등과 동일한 의미로 사용될 수 있다.

데이터 처리장치(1)는 소정의 연산 프로세스 및 통신 프로세스를 수행할 수 있는 컴퓨팅 장치일 수 있다. 예를 들어, 데이터 처리장치(1)는 전형적인 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS; network-attached storage) 및 스토리지 영역 네트워크(SAN; storage area network)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 명령어들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

일 실시 예에 따른 데이터 처리장치(1)는 입력부(10), 제어부(12), 출력부(14) 및 저장부(16)를 포함한다.

입력부(10)는 다수의 원본 이미지를 입력 받는다.

제어부(12)는 입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하고, 선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하며, 구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행한다.

일 실시 예에 따른 제어부(12)는 데이터셋 구성부(121)와 데이터셋 검수부(122)를 포함한다.

데이터셋 구성부(121)는 각 이미지를 대상으로 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산한다.

이미지 분할 알고리즘을 이용한 이미지 엔트로피 계산 예를 들면, 각 이미지를 해당 이미지에 나타나는 적어도 하나의 색상으로 분할하고, 분할된 색상 종류의 수를 미리 설정된 색상 민감도로 나눈 값으로 이미지 엔트로피를 계산한다. 이미지 분할 알고리즘을 이용한 이미지 엔트로피 계산 예는 도 4를 참조로 하여 후술한다.

객체 검출 모델을 이용한 이미지 엔트로피 계산 예를 들면, 소정의 이미지를 객체 검출 모델에 입력하고, 해당 객체 검출 모델을 통해 객체들을 검출한 후 검출된 객체들의 점수 값을 합산한 값으로 이미지 엔트로피 값으로 이미지 엔트로피를 계산한다. 객체 검출 모델을 이용한 이미지 엔트로피 계산 예는 도 5를 참조로 하여 후술한다.

이어서, 데이터셋 구성부(121)는 계산된 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선순위로 선정한다.

이미지가 동영상인 경우, 데이터셋 구성부(121)는 동영상에서 다수의 프레임 이미지를 추출하고, 추출된 다수의 프레임 이미지를 미리 설정된 구간 별로 분류할 수 있다. 이어서, 분류된 각 구간 이미지들로부터 해당 구간의 평균 이미지 엔트로피를 계산할 수 있다. 이때, 계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 구간 이미지 또는 계산된 평균 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 구간 이미지를 작업 우선순위로 선정할 수 있다.

데이터셋 검수부(122)는 구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행하고 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정한다. 예를 들어, 데이터셋 검수부(122)는 객체 검출용 데이터셋의 이미지에서 객체정보를 이용하여 적어도 하나의 객체를 소거할 수 있다. 이미지 분할 알고리즘을 이용하여 이미지 엔트로피를 계산하는 경우, 주변 색으로 채우기 또는 주변 이미지로 채우기를 통해 적어도 하나의 객체를 소거할 수 있다. 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하는 경우, black out, white out 또는 해당 영역의 평균 색으로 채우기를 통해 적어도 하나의 객체를 소거할 수 있다.

이어서, 데이터셋 검수부(122)는 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피를 계산하고, 계산된 이미지 엔트로피를 이용하여 재 작업 대상 이미지를 판단한다. 예를 들어, 데이터셋 검수부(122)는 적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피 값이 미리 설정된 기준 값 이상인 경우 해당 이미지를 재 작업 대상으로 판단할 수 있다. 미리 설정된 기준 값은 상황에 따라 변경 가능하다. 데이터셋 검수부(122)의 검수 방법에 대해서는 도 8을 참조로 하여 후술한다.

출력부(14)는 데이터 처리장치(1)의 동작 수행에 따라 제공되는 화면을 표시한다. 이때, 제어부(12)를 통한 객체 검출용 데이터셋 구성 결과와 검수 결과를 표시할 수 있다. 저장부(16)는 제어부(12)의 분석에 필요한 정보와 분석 결과에 따라 생성되는 정보를 저장한다. 저장부(16)는 구성된 객체 검출용 데이터셋을 저장할 수 있다.

도 3은 본 발명의 이해를 돕기 위한 이미지 엔트로피를 설명하기 위한 도면이다.

이미지 엔트로피(Image Entropy)는 이미지 정보량의 기대 값을 의미한다. 도 3의 (a) 사진은 구름이 있는 하늘 사진이다. 이 사진에는 구름이라는 객체만 있기 때문에 정보량이 적다고 볼 수 있다. 도 3의 (b) 사진은 두 남녀가 강아지와 산책하는 사진이다. 이 사진에는 사람, 개, 개 줄, 나무 등 다양한 객체가 있어 정보량이 많다고 말할 수 있다. 따라서, 이미지 정보량은 해당 이미지에 나타나는 객체의 개수에 비례한다고 볼 수 있다.

도 4는 본 발명의 일 실시 예에 따른 이미지 분할 알고리즘으로 평균 이동(Mean Shift)을 이용한 이미지 엔트로피 계산 예를 도시한 도면이다.

도 4를 참조하면, 데이터 처리장치는 이미지 분할 알고리즘으로서 평균 이동(Mean Shift)을 이용하여 이미지를 분할할 수 있다. 분할된 이미지에 분포하는 색상의 개수로 이미지에 나타나는 객체의 개수를 유추할 수 있다.

이미지 분할 알고리즘을 적용하면 대부분의 객체는 보통 2~3가지 색으로 분할되어, 수학식 1과 같이 간단한 이미지 엔트로피 계산 수학식을 만들 수 있다. 수학식 1을 이용하여 이미지 엔트로피를 계산하면, 해당 이미지를 대상으로 대략적인 객체 종류의 수를 알 수 있다.

… 수학식 1

도 4의 예는 색상 민감도(N)를 2로 설정하여 이미지 분할 알고리즘을 이용한 이미지 엔트로피를 계산하는 예시이다. 도 4의 예에서, 위쪽 이미지에 나타나는 색상 종류의 수는 5이며, 해당 이미지의 이미지 엔트로피는 5/2 = 2.5이다. 아래쪽 이미지에 나타나는 색상의 종류의 수는 17이며, 해당 이미지의 이미지 엔트로피는 17/2 = 8.5이다.

도 5는 본 발명의 일 실시 예에 따른 객체 검출 모델을 이용한 이미지 엔트로피 계산 예를 도시한 도면이다.

도 5를 참조하면, 데이터 처리장치는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산할 수 있다. 소정의 이미지를 객체 검출 모델에 입력하고, 해당 객체 검출 모델을 통해 객체들을 검출한다. 수학식 2처럼 검출된 객체들의 점수(score) 값을 합산하며, 이 합산 값을 이미지 엔트로피 값으로 사용할 수 있다.

… 수학식 2

도 5의 예에서, 위쪽 이미지의 이미지 엔트로피는 1.1758(person) + 1.8829(person) + 0.9875(plant) + 1.0582(bottle) + 1.2302(bottle) = 6.3346 이다. 아래쪽 이미지의 이미지 엔트로피는 2.4985(person) = 2.4985이다.

도 6은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용하여 이미지에서의 객체 검출용 데이터셋의 작업 우선 순위를 계산하는 예를 도시한 도면이다.

도 6을 참조하면, 데이터 처리장치는 이미지 엔트로피를 이용하여 각 이미지에서의 작업 우선 순위를 선정함으로써 효율적으로 객체 검출용 데이터셋을 구성할 수 있다. 이를 위해, 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지들의 이미지 엔트로피를 계산하고, 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선 순위로 선정한다.

예를 들어, 도 6에 도시된 바와 같이 이미지들 중에서 이미지 엔트로피가 8.5인 이미지가 작업 우선 순위가 1번째로 가장 높다. 이미지 엔트로피가 높은 순서 또는 미리 설정된 기준 값 이상으로 작업 우선 순위를 선정하면, 비용과 시간에 제한이 있을 경우 동일한 이미지 수를 구성하였더라도 보다 더 정보가 많은 고품질의 객체 검출용 데이터셋을 구성할 수 있게 된다.

도 7은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용하여 동영상에서의 객체 검출용 데이터셋의 작업 우선 순위를 계산하는 예를 도시한 도면이다.

동영상으로 객체 검출용 데이터셋을 구성할 때 이미지에서의 작업 우선 순위를 선정하는 방식과 유사한 방식으로 작업 우선 순위를 선정할 수 있다. 동영상으로 객체 검출용 데이터셋을 만들기 위해서는 동영상에서 프레임 이미지들을 추출하고, 작업의 효율성을 올리기 위해 장면 변화 단위로 구간을 분할한다. 이때, 각 구간의 평균 이미지 엔트로피를 이용하여 작업 우선 순위를 선정할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 소정의 구간에 존재하는 이미지들의 평균 이미지 엔트로피를 계산하고, 계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선 순위로 선정한다.

도 8은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용한 객체 검출용 데이터셋 검수 방법의 흐름을 도시한 도면이다.

도 8을 참조하면, 일 실시 예에 따른 데이터 처리장치는 이미지 엔트로피를 이용하여 재 작업 대상(예를 들어, 객체 정보가 누락된 이미지, 객체 정보가 잘못 저작된 이미지)을 찾아 다시 객체 검출용 데이터셋을 구성할 수 있도록 하는 객체 검출용 데이터셋 검수 방법을 사용한다.

제안하는 검수 방법에 따르면, 데이터 처리장치는 저작된 객체 검출용 데이터셋을 입력(810) 받아, 저작된 객체 검출용 데이터셋의 이미지에 저작된 객체 정보(객체 명, 위치 정보 등)를 이용하여 저작된 객체들을 다양한 기법으로 소거한다(820).

이어서, 데이터 처리장치는 객체들이 소거된 데이터셋의 이미지 엔트로피를 계산한다(830). 이미지 엔트로피 계산 단계(830)에서, 이미지 분할 알고리즘인 Mean Shift 또는 객체 검출 모델 등을 이용하여 이미지 엔트로피를 계산할 수 있다.

이어서, 데이터 처리장치는 계산된 이미지 엔트로피를 이용하여 재 작업 여부를 판단한다(840). 이미지 엔트로피 값은 대략적으로 이미지에 존재하는 객체의 수를 의미한다고 볼 수 있다. 재 작업을 판단하는 기준이 되는 이미지 엔트로피 기준 값이 1.0인 경우, 소정 이미지의 이미지 엔트로피 값이 1.0 미만이면, 해당 이미지에 더 이상 저작할 객체가 존재할 확률이 적은 것을 의미하므로 해당 이미지를 최종 객체 검출용 데이터셋으로 판별한다. 이에 비해, 이미지 엔트로피 값이 1.0 이상인 이미지는 재 작업 대상이 된다.

재 작업을 판단하는 기준이 되는 이미지 엔트로피 기준 값을 사전에 설정할 수 있으며, 상황에 따라 변경할 수도 있다. 이미지 엔트로피 기준 값을 1.0 보다 작게 설정할 경우, 조금의 객체 정보가 있더라도 검수를 진행하게 되므로 엄격하게 검수가 수행될 것이다. 이에 비해, 이미지 엔트로피 기준 값을 1.0 보다 크게 설정할 경우, 어느 정도의 객체 정보가 있더라도 검수를 진행하지 않으므로 느슨하게 검수가 수행될 것이므로 상황에 따라 그에 맞는 기준 값을 설정할 수 있다.

이어서, 데이터 처리장치는 재 작업 대상이 아닌 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하고, 재 작업 대상에 대해 재 작업을 수행한 후 검수를 수행하여 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정한다(850).

검수 방법의 절차인 객체 소거(820), 이미지 엔트로피 계산(830), 재 작업 여부 판단(840) 과정은 데이터 처리장치에 의해 자동화되므로 효율성이 크게 증진될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 이미지 엔트로피 계산 방법에 따른 객체를 소거하는 방법을 정리한 도면이다.

도 9를 참조하면, 객체 처리장치는 이미지 엔트로피를 이용하여 객체 검출용 데이터셋을 올바르게 검수하기 위해, 이미 구성된 객체 데이터(객체 명, 객체 위치)를 이미지에서 소거한다.

객체를 소거하는 방법은 black out, white out, 해당 영역의 평균 색으로 채우기, 주변 색으로 채우기 등 다양한 방법이 있는데, 이미지 엔트로피를 계산하는 방법에 따라 효율적인 객체를 소거하는 방법을 선택할 수 있다. 도 9의 예에서는 두 가지 이미지 엔트로피 계산 방법에 따른 효율적인 객체를 소거하는 방법을 분류하였다. 예를 들어, 이미지 엔트로피 계산 방법이 이미지 분할 알고리즘을 이용한 이미지 엔트로피 계산인 경우, 객체를 소거하는 방법은 주변 색으로 채우기, 주변 이미지로 채우기 등이 있다. 이미지 엔트로피 계산 방법이 객체 검출 모델을 이용한 이미지 엔트로피 계산인 경우, 객체를 소거하는 방법은 black out, white out, 해당 영역의 평균 색으로 채우기 등이 있다.

도 10은 본 발명의 일 실시 예에 따른 이미지 엔트로피를 이용한 객체 검출용 데이터셋 검수 방법의 예를 도시한 도면이다.

도 10을 참조하면, 객체 처리장치는 원본 이미지들로부터 객체 검출용 데이터셋을 저작하고, 저작된 객체 검출용 데이터셋을 대상으로 적어도 하나의 객체 영역을 소거한 후, 이미지 엔트로피를 이용하여 재 작업 유무를 결정한다. 재 작업을 진행해야 할 이미지는 재 작업 이후, 동일한 검수 방법을 수행하게 되고, 검수를 통과해야 최종 객체 검출용 데이터셋으로 판별된다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

1. 다수의 이미지를 입력 받는 입력부;
   입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하고, 선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하는 제어부; 및
   구성된 객체 검출용 데이터셋을 저장하는 저장부;
   를 포함하는 것을 특징으로 하는 데이터 처리장치.
2. 제 1 항에 있어서, 제어부는
   각 이미지를 대상으로 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하며,
   계산된 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선순위로 선정하는 것을 특징으로 하는 데이터 처리장치.
3. 제 2 항에 있어서,
   이미지 분할 알고리즘을 이용한 이미지 엔트로피 계산은, 각 이미지를 해당 이미지에 나타나는 적어도 하나의 색상으로 분할하고, 분할된 색상 종류의 수를 미리 설정된 색상 민감도로 나눈 값으로 이미지 엔트로피를 계산하는 것을 특징으로 하는 데이터 처리장치.
4. 제 2 항에 있어서,
   객체 검출 모델을 이용한 이미지 엔트로피 계산은, 소정의 이미지를 객체 검출 모델에 입력하고, 해당 객체 검출 모델을 통해 객체들을 검출한 후 검출된 객체들의 점수 값을 합산한 값으로 이미지 엔트로피 값으로 이미지 엔트로피를 계산하는 것을 특징으로 하는 데이터 처리장치.
5. 제 1 항에 있어서, 제어부는
   이미지가 동영상인 경우, 동영상에서 다수의 프레임 이미지를 추출하고,
   추출된 다수의 프레임 이미지를 미리 설정된 구간 별로 분류하고,
   분류된 각 구간 이미지들로부터 해당 구간의 평균 이미지 엔트로피를 계산하며,
   계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 구간 이미지 또는 계산된 평균 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 구간 이미지를 작업 우선순위로 선정하는 것을 특징으로 하는 데이터 처리장치.
6. 제 1 항에 있어서, 제어부는
   구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행하고 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하는 것을 특징으로 하는 데이터 처리장치.
7. 제 6 항에 있어서, 제어부는
   객체 검출용 데이터셋의 이미지에서 객체정보를 이용하여 적어도 하나의 객체를 소거하고,
   적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피를 계산하며,
   계산된 이미지 엔트로피를 이용하여 재 작업 대상 이미지를 판단하는 것을 특징으로 하는 데이터 처리장치.
8. 제 7 항에 있어서, 제어부는
   이미지 분할 알고리즘을 이용하여 이미지 엔트로피를 계산하는 경우, 주변 색으로 채우기 또는 주변 이미지로 채우기를 통해 적어도 하나의 객체를 소거하고,
   객체 검출 모델을 이용하여 이미지 엔트로피를 계산하는 경우, black out, white out 또는 해당 영역의 평균 색으로 채우기를 통해 적어도 하나의 객체를 소거하는 것을 특징으로 하는 데이터 처리장치.
9. 제 7 항에 있어서, 제어부는
   적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피 값이 미리 설정된 기준 값 이상인 경우 해당 이미지를 재 작업 대상으로 판단하며,
   미리 설정된 기준 값은 상황에 따라 변경 가능한 것을 특징으로 하는 데이터 처리장치.
10. 데이터 처리장치를 이용한 객체 검출용 데이터셋 구성방법에 있어서, 데이터 처리장치가
    다수의 이미지를 입력 받는 단계;
    입력된 다수의 이미지를 대상으로 이미지 엔트로피를 이용하여 작업 우선순위를 선정하는 단계; 및
    선정된 작업 우선순위에 따라 해당하는 이미지로부터 객체 검출용 데이터셋을 구성하는 단계;
    를 포함하는 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.
11. 제 10 항에 있어서, 작업 우선순위를 선정하는 단계는
    각 이미지를 대상으로 이미지 분할 알고리즘 또는 객체 검출 모델을 이용하여 이미지 엔트로피를 계산하는 단계; 및
    계산된 이미지 엔트로피가 높은 순서대로 소정 개수의 이미지 또는 계산된 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 이미지를 작업 우선순위로 선정하는 단계;
    를 포함하는 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.
12. 제 10 항에 있어서, 작업 우선순위를 선정하는 단계는
    이미지가 동영상인 경우, 동영상에서 다수의 프레임 이미지를 추출하는 단계;
    추출된 다수의 프레임 이미지를 미리 설정된 구간 별로 분류하는 단계;
    분류된 각 구간 이미지들로부터 해당 구간의 평균 이미지 엔트로피를 계산하는 단계; 및
    계산된 평균 이미지 엔트로피가 높은 순서대로 소정 개수의 구간 이미지 또는 계산된 평균 이미지 엔트로피가 미리 설정된 기준 값 이상인 소정 개수의 구간 이미지를 작업 우선순위로 선정하는 단계;
    를 포함하는 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.
13. 제 10 항에 있어서, 객체 검출용 데이터셋 구성방법은
    구성된 객체 검출용 데이터셋을 대상으로 이미지 엔트로피를 이용하여 재 작업 대상을 판단하는 검수를 수행하는 단계;
    재 작업 대상이 아닌 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하는 단계; 및
    재 작업 대상에 대해 재 작업을 수행한 후 검수를 수행하여 검수를 통과한 객체 검출용 데이터셋을 최종 객체 검출용 데이터셋으로 결정하는 단계;
    를 더 포함하는 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.
14. 제 13 항에 있어서, 검수를 수행하는 단계는
    객체 검출용 데이터셋의 이미지에서 객체정보를 이용하여 적어도 하나의 객체를 소거하는 단계;
    적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피를 계산하는 단계; 및
    계산된 이미지 엔트로피를 이용하여 재 작업 대상 이미지를 판단하는 단계;
    를 포함하는 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.
15. 제 14 항에 있어서, 재 작업 대상 이미지를 판단하는 단계는
    적어도 하나의 객체가 소거된 이미지의 이미지 엔트로피 값이 미리 설정된 기준 값 이상인 경우 해당 이미지를 재 작업 대상으로 판단하며,
    미리 설정된 기준 값은 상황에 따라 변경 가능한 것을 특징으로 하는 객체 검출용 데이터셋 구성방법.

Images