KR102168558B1

KR102168558B1 - 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법

Info

Publication number: KR102168558B1
Application number: KR1020200084806A
Authority: KR
Inventors: 지석호; 김진우
Original assignee: 서울대학교산학협력단
Priority date: 2019-10-24
Filing date: 2020-07-09
Publication date: 2020-10-21

Abstract

개시된 기술은 액티브 러닝을 위한 학습용 데이터 선정 방법, 장치 및 액티브 러닝을 이용한 영상 분석 방법에 관한 것으로, 컴퓨팅장치가 입력장치를 이용하여 CCTV에서 촬영된 복수개의 영상들을 입력받는 단계; 상기 컴퓨팅장치가 상기 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 상기 영상들 중 일부의 영상들을 선별하는 단계; 상기 컴퓨팅장치가 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하는 단계; 상기 컴퓨팅장치가 상기 객체 학습 모델의 분류 결과를 토대로 상기 선별된 영상 각각에 대한 엔트로피를 계산하는 단계; 및 상기 컴퓨팅장치가 상기 선별된 영상들 중 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 단계;를 포함한다. 따라서 레이블이 입력된 일부의 데이터를 객체 학습 모델에 먼저 훈련시킴으로써 적은 수의 데이터로도 예측 결과의 신뢰도를 높이는 효과가 있다.

Description

액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법 {TRAINING DATA SELECTION METHOD FOR ACTIVE LEARNING, TRAINING DATA SELECTION DEVICE FOR ACTIVE LEARNING AND IMAGE ANALYSIS METHOD USING ACTIVE LEARNING}

개시된 기술은 액티브 러닝을 위한 학습용 데이터를 선정하는 방법, 액티브 러닝을 위한 학습용 데이터를 선정하는 장치 및 액티브 러닝을 이용한 영상 분석 방법에 관한 것이다.

머신러닝(Machine Learning)이란 데이터를 기반으로 컴퓨터가 스스로 학습한 내용을 바탕으로 회귀, 분류, 군집화 등의 예측 작업을 수행하는 것을 의미한다. 예컨대, 자동으로 일반메일과 스팸메일을 분류하거나 사용자의 얼굴을 인식하는 기술에 적용될 수 있다.

한편, 이러한 머신러닝은 크게 지도학습(Supervised Learning)과 자율학습(Unsupervised Learning)으로 구분될 수 있다. 지도학습은 알고리즘을 통해 정해진 답을 찾는 것이 목적이므로 훈련용 데이터(Training Data)로부터 함수를 추론해내는 형태의 머신러닝이다. 이러한 추론과정을 위해 지도학습에서는 트레이닝에 레이블 된 샘플을 사용한다. 레이블이란 목표로 하는 출력값을 의미하며 레이블 된 샘플이란 예측을 목표로 하는 특정 출력값이 입력된 샘플을 의미한다. 지도학습 알고리즘은 일련의 학습 데이터와 그에 상응하는 목표 출력값을 수신하고 입력되는 데이터에 대한 실제 출력값과 목표 출력값을 비교하는 학습을 통해 오류를 찾아내고 이 결과를 학습 모델에 반영한다.

한편, 지도 학습을 위한 학습 데이터의 레이블링은 수작업과 영상 처리 프로그램을 이용한 방식이 이용된다. 수작업 방식이 학습 모델을 정확하게 훈련할 수 있으므로 프로그램이나 기계를 이용하여 레이블을 입력하는 방법 대비 더 폭넓게 이용되고 있다. 그러나 사람이 직접 다수의 데이터에 레이블을 달아야 하므로 많은 시간과 인건비가 요구되는 문제점이 있었다.

한국 공개특허 10-2017-0083419호(발명의 명칭 : 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템)를 참조하면 레이블이 입력되지 않은 다수의 데이터를 이용하여 학습 모델을 훈련하는 기술을 개시하고 있다. 그러나 이러한 방법은 학습 모델이 신뢰도 높은 결과를 도출하기 위해서 종래와 마찬가지로 많은 수의 데이터를 필요로 한다는 단점이 있었다.

개시된 기술은 액티브 러닝을 위한 학습용 데이터를 선정하는 방법, 액티브 러닝을 위한 학습용 데이터를 선정하는 장치 및 액티브 러닝을 이용한 영상 분석 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 컴퓨팅장치가 입력장치를 이용하여 CCTV에서 촬영된 복수개의 영상들을 입력받는 단계, 상기 컴퓨팅장치가 상기 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 상기 영상들 중 일부의 영상들을 선별하는 단계, 상기 컴퓨팅장치가 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하는 단계, 상기 컴퓨팅장치가 상기 객체 학습 모델의 분류 결과를 토대로 상기 선별된 영상 각각에 대한 엔트로피를 계산하는 단계 및 상기 컴퓨팅장치가 상기 선별된 영상들 중 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 단계;를 포함하는 액티브 러닝을 위한 학습용 데이터 선정 방법을 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 CCTV에서 촬영된 복수개의 영상들을 입력받는 입력장치 및 상기 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 일부의 영상들을 선별하고 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하고 상기 객체를 분류한 결과를 토대로 상기 선별된 영상 각각에 대한 엔트로피를 계산하여 상기 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 컴퓨팅장치를 포함하는 액티브 러닝을 위한 학습용 데이터 선정 장치를 제공하는데 있다.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 3 측면은 컴퓨팅장치가 임의로 선별한 영상들에 대한 엔트로피를 계산하여 상기 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 단계, 상기 컴퓨팅 장치가 라벨링이 입력된 학습용 데이터를 이용하여 객체 학습 모델을 훈련하는 단계 및 상기 컴퓨팅장치가 샘플 영상을 입력받아 상기 훈련된 학습 모델에 입력하여 상기 샘플 영상에 포함된 적어도 하나의 객체를 분류하는 단계를 포함하는 액티브 러닝을 이용한 영상 분석 방법을 제공하는데 있다.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

개시된 기술의 일 실시예에 따르면 액티브 러닝을 위한 학습용 데이터 선정 방법, 장치 및 액티브 러닝을 이용한 영상 분석 방법은 레이블이 입력된 일부의 데이터를 객체 학습 모델에 먼저 훈련시킴으로써 예측 결과의 신뢰도를 높이는 효과가 있다.

또한, 상대적으로 적은 수의 데이터를 이용하여 레이블에 소요되는 시간을 단축시키는 효과가 있다.

또한, 적은 수의 데이터로도 신뢰도 높은 결과를 도출할 수 있는 학습용 데이터베이스를 구축하는 효과가 있다.

도 1은 개시된 기술의 일 실시예에 따른 액티브 러닝을 위한 학습용 데이터 선정 방법에 대한 순서도이다.
도 2는 개시된 기술의 일 실시예에 따른 액티브 러닝을 위한 학습용 데이터 선정 장치에 대한 도면이다.
도 3은 개시된 기술의 일 실시예에 따른 액티브 러닝 알고리즘을 나타낸 도면이다.
도 4는 개시된 기술의 일 실시예에 따른 레이블 된 영상을 나타낸 도면이다.
도 5는 개시된 기술의 일 실시예에 따른 액티브 러닝을 이용한 영상 분석 방법에 대한 순서도이다.
도 6은 액티브 러닝과 랜덤 러닝의 결과 예측에 대한 신뢰도를 비교한 것을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.

도 1은 개시된 기술의 일 실시예에 따른 액티브 러닝을 위한 학습용 데이터 선정 방법에 대한 순서도이다. 도 1을 참조하면 액티브 러닝을 위한 학습용 데이터 선정 방법은 이하의 단계들을 포함한다.

110 단계에서 컴퓨팅장치는 CCTV에서 촬영된 복수개의 영상들을 입력받는다. 컴퓨팅장치는 입력장치를 이용하여 복수개의 영상을 입력받을 수 있다. 컴퓨팅장치는 CCTV와 무선으로 통신하여 복수개의 영상들을 직접 수신하거나 별도의 저장장치에 옮겨진 영상들을 입력받을 수 있다.

한편 CCTV에서 입력되는 복수개의 영상들은 특정 객체에 대한 정보를 파악하기 위해서 객체 학습 모델에 입력하기 위한 데이터로 활용된다. 예컨대, 건설현장을 자동으로 모니터링하기 위해서 현장에 배치된 CCTV에서 촬영된 영상을 데이터로 이용할 수 있다. 건설현장에는 작업자, 중장비, 자재 등의 다양한 종류의 객체들이 존재한다. 그리고 이들 객체는 상황에 따라 특정 위치로 이동하거나 상태가 변하게 된다. 가령, 작업자가 지게차에 자재를 실어 일 측으로 옮긴다고 가정하면 영상에 포함된 객체들은 작업자, 지게차 및 자재이고 각 객체들은 저마다의 위치를 이동하거나 모양이 변형될 수 있다.

이와 같이 다양한 객체들과 각 객체들에 대한 정보가 포함된 영상들은 CCTV에 의해 일정 주기마다 촬영될 수 있는데 이러한 영상을 건설현장의 관리자가 직접 눈으로 확인하면서 작업상황을 모니터링하게 된다. 그러나 이러한 경우에는 모니터링에 따른 인력투자가 장시간 이어지게 되고 관리자가 잠시 자리를 이탈하는 경우에는 이탈한 시간 동안 작업상황을 모니터링할 수 없으므로 효율성이 떨어진다. 따라서 개시된 기술에서는 객체 학습 모델을 훈련시켜서 건설현장에 대한 모니터링을 효율적으로 수행하고자 한다.

120 단계에서 컴퓨팅장치는 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 복수개의 영상들 중 일부의 영상들을 선별한다. 무작위 샘플링에 따라 단순 난수표를 기반으로 하는 방식과는 다르게 전체 영상을 모집단으로 하고 모집단의 각각의 요소들이 평균적으로 고르게 선택될 수 있도록 n개의 추출단위로 구성된 모든 부분집합들이 표본으로 선택될 수 있도록 영상을 선별할 수 있다.

130 단계에서 컴퓨팅장치는 선별된 영상들을 객체 학습 모델에 입력한다. 객체 학습 모델은 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류한다. 객체 학습 모델은 RNN(Recurrent Neural Networks), FFNN(feedforward neural network), CNN(convolutional neural network) 등 다양한 모델이 사용될 수 있다.

엔트로피 계산을 위하여 사용하는 객체 학습 모델은 영상의 특정 객체를 분류하기 위한 초기 학습 모델일 수 있다. 초기 학습 모델은 학습이 완벽하게 되지 않은 모델을 의미한다. 즉, 레이블이 입력된 다수의 데이터를 이용하여 미리 학습된 상태가 아니라 초기에 주어진 소수의 데이터 또는 일부의 데이터만을 입력하여 학습된 상태의 모델일 수 있다. 또는, 객체 학습 모델은 학습 대상이 아니고, 사전에 마련된 다른 모델일 수도 있다.

130 단계에서 객체 학습 모델은 아직 라벨링이 입력된 데이터를 통해 학습된 상태는 아니다. 즉, 정답을 이용한 학습에 앞서 우선적으로 라벨링이 입력되지 않은 영상에서 객체를 분류한다.

개시된 기술에 따른 컴퓨팅장치는 지도학습 기반의 객체 학습 모델을 포함한다. 즉, 지도학습 알고리즘에 따라 객체를 인식하는데 있어서 인식 정확도를 향상시키는 결과를 얻고자 하는 것이 목적이다. 종래의 컴퓨팅장치에서는 이러한 결과를 얻기 위해서 객체 학습 모델에 라벨링이 입력된 데이터를 적용한다. 즉, 객체 학습 모델에 정답이 포함된 다수개의 데이터를 입력하여 충분히 훈련시킨 다음 영상들을 입력하여 객체를 분류하게 된다. 그러나 이러한 방식에서는 데이터에 라벨링을 입력하기 위한 시간이 많이 요구된다. 결과의 정확도를 높이기 위해서는 다수의 데이터를 이용하여 객체 학습 모델을 훈련해야 하므로 각각의 데이터에 라벨링을 입력하는 시간은 프로그램과 같은 기계적은 방식을 이용하더라도 수십 분에 이를 만큼 요구되는 시간이 상당히 크다.

한편, 개시된 기술에서는 상술한 종래의 방식과는 달리 상대적으로 적은 수의 라벨링 데이터를 이용해서 종래보다 개선된 정확도를 갖도록 객체 학습 모델을 훈련시키는 것이 가능하다. 이를 위해 컴퓨팅장치는 선별된 일부의 영상을 객체 학습 모델에 입력하여 각각의 영상마다 포함되어 있는 적어도 하나의 객체들을 분류하는데 이는 각각의 영상에 대한 엔트로피를 계산하기 위함이다.

140 단계에서 컴퓨팅장치는 객체 학습 모델의 분류 결과를 토대로 선별된 영상 각각에 대한 엔트로피를 계산한다. 여기에서 엔트로피는 열역학에서 에너지의 흐름을 의미하는 것이 아니라 정보 엔트로피 또는 섀넌 엔트로피를 의미한다. 이러한 정보 엔트로피는 정보의 불확실성에 따라 엔트로피가 높고 낮음으로 판단된다. 가령, 객체 학습 모델이 영상의 객체를 분류하는데 있어서 객체의 종류나 객체의 움직임 등을 분류하기 어려울수록 객체에 대한 불확실성이 높은 것을 뜻한다. 컴퓨팅장치는 객체 학습 모델을 이용하여 각각의 영상에 포함된 적어도 하나의 객체를 분류함으로써 각각의 영상에 대한 엔트로피를 계산한다.

일 실시예로, 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 많으면 엔트로피가 높은 것으로 계산할 수 있다. 객체 학습 모델은 하나의 영상에 포함된 서로 다른 객체들을 분류하거나 동일한 다수의 객체를 분류할 수 있다. 다른 일 실시예로, 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 적으면 엔트로피가 낮은 것으로 계산한다. 즉, 어느 하나의 영상에 포함된 객체의 숫자가 적거나 없으면 해당 영상의 엔트로피가 낮은 것으로 판단할 수 있다.

한편 140 단계에서 컴퓨팅장치는 각각의 영상들에 대한 엔트로피의 총합을 계산한다. 컴퓨팅장치는 이하의 수학식 1을 이용하여 각각의 영상에 대한 엔트로피의 총합을 계산한다.

[수학식 1]

여기에서 x는 영상에 포함된 복수의 프레임 중 하나를 의미한다. 그리고 y는 프레임 x에 대한 i번째 객체 식별 결과이다. 영상의 프레임에는 각각 객체 분류 결과값이 적어도 하나 존재한다. 컴퓨팅장치는 이러한 결과값들을 모두 더하여 엔트로피를 계산할 수 있다.

150 단계에서 컴퓨팅장치는 선별된 영상들 중 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정한다. 객체 학습 모델에 입력되도록 선별된 영상들은 복수개이므로 컴퓨팅장치는 엔트로피 총합의 계산결과를 토대로 이들 중 일정 개수만큼을 선정하는 것이 가능하다. 이때 엔트로피를 기준으로 일정 개수만큼 선별할 수 있다. 일 실시예로, 엔트로피에 대한 기준값을 사용자로부터 사전에 입력받고 이를 기준으로 기준값을 초과하는 영상들을 선별하고 여기에서 미리 설정된 개수만큼 추출하는 것일 수 있다. 다른 일 실시예로, 각 영상들에 대한 엔트로피 결과값을 엔트로피가 높은 순서대로 정렬한 다음 엔트로피가 높은 순서대로 일정 개수를 추출할 수도 있다.

여기에서 엔트로피가 높다는 것은 객체 학습 장치가 영상 속 객체를 분류하기 어려운 것을 의미한다. 가령 객체가 다수개 포함되어 있거나 객체의 형태가 식별하기 어려운 상태로 영상에 촬영되어 있는 것을 의미한다. 컴퓨팅장치는 이와 같이 객체를 식별하기 어려운 일부의 영상을 엔트로피를 기준으로 일정 개수만큼 추출하여 이를 객체 학습 모델을 훈련시키기 위한 학습용 데이터로 선정할 수 있다.

한편, 150 단계는 학습용 데이터를 데이터베이스에 저장하는 단계를 포함한다. 컴퓨팅장치는 학습용 데이터 각각에 대한 라벨링이 입력되면 학습용 데이터를 데이터베이스에 저장한다. 이 단계에 따라 저장된 학습용 데이터는 객체 학습 모델이 객체를 분류하는데 있어서 정확도를 높이기 위한 지도학습을 수행하기 위해서 이용된다. 이러한 단계에 따라 저장된 학습용 데이터는 종래의 지도학습 방식보다 데이터의 개수는 현저하게 적지만 객체 학습 모델이 객체 분류의 정확도를 높이기 위한 충분한 난이도의 학습용 데이터로서 이용할 수 있다. 사람으로 예를 들면 낮은 난이도의 문제를 여러번 반복해서 풀기 보다는 고난이도의 문제 위주로 학습한 이후에 시험을 치르는 것과 비슷하다. 즉, 컴퓨팅장치는 객체 학습 모델의 객체 분류에 따른 정확도를 향상시키기 위해서 객체 학습 모델에 양적 훈련을 반복하는 대신 질적 훈련을 수행함으로써 객체 분류에 따른 정확도를 높일 수 있다.

도 2는 개시된 기술의 일 실시예에 따른 액티브 러닝을 위한 학습용 데이터 선정 장치(200)에 대한 순서도이다. 도 2를 참조하면 학습용 데이터 선정 장치(200)는 입력장치(210) 및 컴퓨팅장치(220)를 포함한다.

입력장치(210)는 CCTV(201)에서 촬영된 복수개의 영상들을 입력받는다. CCTV(201)는 건설현장을 모니터링하기 위해서 배치된 것으로 건설현장 내 작업자나 중장비 등의 작업상태를 모니터링하는데 이용된다. 학습용 데이터 선정 장치(200)는 입력장치(210)를 통해 이러한 CCTV(201)에서 촬영되는 복수개의 영상들을 입력받는다.

입력장치(210)는 외부에서 일정한 명령 및 데이터를 입력받을 수 있는 인터페이스 장치(210a)를 포함할 수 있다. 예컨대, 키보드, 마우스와 같은 장치를 이용하거나 USB나 외장하드와 같은 별도의 저장매체에 기록된 데이터를 읽을 수 있는 단자나 연결장치를 인터페이스 장치(210a)로 이용할 수 있다.

한편, 입력장치(210)는 통신장치(210b)를 포함할 수 있다. 통신장치(210b)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신장치(210b)는 건설현장의 CCTV(201)와 유선 또는 무선으로 통신하여 복수개의 영상을 수신할 수 있다. 그리고 수신된 복수개의 영상을 컴퓨팅장치(220)로 전달할 수 있다.

컴퓨팅장치(220)는 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 일부의 영상들을 선별한다. 앞서 도 1을 통해 설명한 바와 같이 모집단의 각각의 요소들이 평균적으로 고르게 선택될 수 있도록 일부의 영상을 선별할 수 있다. 그리고 선별된 영상들을 객체 학습 모델에 입력하여 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류한다. 컴퓨팅장치(220)는 지도학습 기반의 객체 학습 모델이 탑재된 프로세서(220a)를 포함한다. 그리고 프로세서(220a)를 이용하여 객체 학습 모델에 라벨링이 입력되지 않은 영상을 객체 학습 모델에 데이터로 입력한다. 그리고 객체 학습 모델이 각 영상에 대한 객체를 분류하도록 제어한다.

한편, 컴퓨팅장치(220)는 프로세서(220a)를 이용하여 객체 학습 모델이 분류된 결과값의 종류 또는 개수가 많으면 엔트로피가 높은 것으로 계산하고 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 적으면 엔트로피가 낮은 것으로 계산한다. 여기에서 엔트로피가 높은 것으로 계산된 영상은 객체 학습 모델이 객체를 분류하기 어려운 영상을 의미한다. 반대로 엔트로피가 낮은 것으로 계산된 영상은 객체 학습 모델이 객체를 손쉽게 분류할 수 있는 영상일 수 있다. 컴퓨팅장치(220)는 프로세서(220a)를 이용하여 도 1을 통해 언급한 수학식 1을 계산함으로써 각 영상에 대한 엔트로피 총합을 계산한다.

컴퓨팅장치(220)는 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정한다. 그리고 데이터베이스(220b)에 학습용 데이터를 저장한다. 이때, 컴퓨팅장치(220)는 엔트로피에 대한 계산이 종료되면 바로 학습용 데이터를 저장하는 것이 아니라 각각의 학습용 데이터에 라벨링이 입력된 이후에 데이터베이스(220b)에 저장할 수 있다.

도 3은 개시된 기술의 일 실시예에 따른 액티브 러닝 알고리즘을 나타낸 도면이다. 도 3을 참조하면 액티브 러닝 알고리즘은 크게 레이블이 입력되지 않은 데이터의 불확실성을 평가하는 과정(301), 학습 데이터를 선정하여 라벨링을 입력하는 과정(302) 및 영상 분석을 위한 모델을 훈련시키는 과정(303)을 포함한다.

전체 과정 중에서 첫번째 과정(301)이 객체 학습 모델의 정확도에 가장 직접적인 영향을 미치는 핵심이 된다. 무작위 샘플링을 통해 선별된 일부의 영상에 사전에 어느 정도 학습된 객체 인식 모델을 적용하고 예측결과의 신뢰도를 계산한 다음 각각의 영상에 대한 엔트로피의 총합을 계산한다. 많은 수의 영상에 모두 레이블을 입력하여 객체 학습 모델에 적용하면 가장 최선의 훈련이 수행되는 것으로 볼 수 있다. 그러나 현실적으로 모든 영상에 레이블을 입력하는 것은 기계적인 방식을 이용하더라도 많은 시간이 소요되는 작업이므로 이러한 과정에서 소요되는 시간을 최대한 단축시키면서 객체 학습 모델의 학습 효과는 극대화할 수 있도록 영상을 엔트로피에 따라 선별하는 것이다.

도 4는 개시된 기술의 일 실시예에 따른 레이블이 입력된 영상을 나타낸 도면이다. 영상에 포함된 객체가 무엇인지 종류나 유형을 파악하는 것을 레이블링(Labeling)이라 한다. 이와 같이 레이블이 입력된 데이터는 객체 학습 모델이 객체 분류의 정확도를 향상시키기 위한 훈련 내지는 학습을 수행하는데 이용된다. 도 4를 참조하면 영상에는 2개의 객체(401a, 401b)가 포함되어 있다. 영상의 상단에 포함된 객체(401a)에는 포크레인이라는 레이블이 입력될 수 있고 영상의 하단에 포함된 객체(410b)에는 트럭이라는 레이블이 입력될 수 있다.

당연하게도 레이블의 정확도에 따라 객체 학습 모델의 성능이 향상이 이루어지기 때문에 높은 신뢰도가 뒷받침되는 레이블이 입력되어야 한다. 레이블을 입력하는 방법은 크게 사람이 육안으로 영상을 확인하여 레이블을 수기로 입력하는 방법과 “Labellmg”와 같은 프로그램을 이용하여 자동으로 레이블을 입력하는 방법이 있다. 전자의 경우 신뢰도는 높지만 작업에 따른 소요시간이 증가하는 문제가 있으며 후자의 경우 신뢰도는 다소 떨어지지만 전자보다 빠른 시간에 레이블을 입력하는 것이 가능하다.

상술한 바와 같이 레이블의 신뢰도가 객체 학습 모델의 성능에 직결되기 때문에 바람직하게는 사람이 직접 레이블을 입력하는 것이 객체 학습 모델의 성능 향상에 도움이 된다. 그러나 모든 영상에 레이블을 입력하는 것은 현실적으로 불가능하므로 개시된 기술의 일 실시예에 따라 엔트로피를 기준으로 일부의 영상을 학습용 데이터로 선정하고 여기에만 레이블을 입력하여 객체 학습 모델을 훈련하기 위한 데이터베이스를 구축하는 것이다.

한편, 도 1 및 도 2를 통해 설명한 바와 같이 객체 학습 모델을 훈련하기 위한 학습용 데이터를 선정하여 데이터베이스를 구축하면 객체 학습 모델이 CCTV의 영상을 분석하여 건설현장에 대한 모니터링을 자동으로 수행하는 것이 가능하다.

도 5는 개시된 기술의 일 실시예에 따른 액티브 러닝을 이용한 영상 분석 방법에 대한 순서도이다. 도 5를 참조하면 영상 분석 방법은 이하의 단계들을 포함한다.

510 단계에서 컴퓨팅장치는 임의로 선별한 영상들에 대한 엔트로피를 계산하여 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정한다. 510 단계는 앞서 도 1을 통해 설명한 단계들을 그대로 적용할 수 있다.

520 단계에서 컴퓨팅장치는 라벨링이 입력된 학습용 데이터를 이용하여 객체 학습 모델을 훈련한다. 여기에서 라벨링이 입력된 학습용 데이터는 선정되지 않은 영상보다 높은 엔트로피 총합을 같은 영상을 의미한다. 컴퓨팅장치는 이러한 학습용 데이터를 이용하여 객체 학습 모델을 훈련시킬 수 있다. 520 단계에서 컴퓨팅장치는 RNN(Recurrent Neural Networks), FFNN(feedforward neural network), CNN(convolutional neural network) 등의 다양한 종류의 모델을 객체 학습 모델로 사용할 수 있다.

530 단계에서 컴퓨팅장치는 훈련된 객체 학습 모델의 성능 평가를 위해 샘플 영상을 이용한다. 여기에서 객체 학습 모델의 성능 평가는 객체 분류에 따른 정확도를 평가하는 것을 의미한다. 컴퓨팅장치는 샘플 영상을 객체 학습 모델에 입력하여 샘플 영상에 포함된 적어도 하나의 객체를 분류한다. 그리고 540 단계에 따라 샘플 영상에 대한 객체 분류와 라벨링 정보를 비교하여 객체 학습 모델에 대한 정확도를 평가하는 것이 가능하다.

일 실시예로, 컴퓨팅장치가 샘플 영상에 입력되는 라벨링 정보와 객체를 분류한 결과를 비교할 수 있다. 가령 객체에 대한 정확도가 목표치 미만이면 550 단계에 따라 객체 학습 모델이 가진 인공뉴런의 가중치(Weight)를 조절하여 라벨링 정보에 수렴하도록 할 수 있다.

도 6은 액티브 러닝과 랜덤 러닝의 결과 예측에 대한 신뢰도를 비교한 것을 나타낸 도면이다. 액티브 러닝은 개시된 기술의 일 실시예에 따라 적용된 머신러닝 데이터베이스 구축 기법이고 랜덤 러닝은 종래와 같이 임의의 데이터를 이용하는 데이터베이스 구축 기법이다. 도 6을 참조하면 액티브 러닝 기반의 HCI(Human-Computer Interactive) 러닝과 랜덤 러닝 각각에 대한 객체 분류 결과를 확인할 수 있다.

HCI 러닝의 경우에는 약 80%의 정확도를 나타내기 위해서 180여개의 학습용 데이터가 이용되었다. 반면 랜덤 러닝의 경우에는 약 80%의 정확도를 나타내기 위해서 1,830개의 학습용 데이터가 요구되었다. 즉, 객체 학습 모델이 충분한 성능을 나타내기 위해서 약 10분의 1 수준의 데이터량을 요구할 정도로 개선된 성능을 나타내었다.

한편, 라벨링에 소요되는 시간에 있어서도 HCI 러닝 기법은 90분 정도인 반면 랜덤 러닝 기법은 905분의 시간이 소요되었다. 즉, 단순히 데이터의 개수 뿐만 아니라 라벨링에 따른 소요시간에 있어서도 10분의 1 수준으로 줄어든 것을 확인할 수 있다. 이는 분류하고자 하는 객체를 유형에 따라 세분화하여도 비슷한 수준을 나타내었으며 이러한 알고리즘을 이용하여 CCTV에 촬영된 영상에서 건설현장에 투입된 작업자의 상황이나 중장비의 움직임을 분석하고 현장관리를 위한 스케줄링, 의사결정 등을 지원하는데이터로 활용할 수 있다.

개시된 기술의 일 실시예에 따른 액티브 러닝을 위한 학습용 데이터 선정 방법, 장치 및 액티브 러닝을 이용한 영상 분석 방법은 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

110 : CCTV에서 촬영된 복수개의 영상 입력
120 : 무작위로 일부 영상 선별
130 : 영상에 포함된 객체 분류
140 : 각 영상에 대한 엔트로피 계산
150 : 엔트로피에 따라 학습용 데이터 선정
200 : 학습용 데이터 선정 장치 201 : CCTV
210 : 입력장치 220 : 컴퓨팅장치
220a : 프로세서 220b : 데이터베이스

Claims

컴퓨팅장치가 입력장치를 이용하여 CCTV에서 촬영된 복수개의 영상들을 입력받는 단계;
상기 컴퓨팅장치가 상기 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 상기 영상들 중 일부의 영상들을 선별하는 단계;
상기 컴퓨팅장치가 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하는 단계;
상기 컴퓨팅장치가 상기 객체 학습 모델의 분류 결과를 토대로 상기 선별된 영상 각각에 대하여 엔트로피를 계산하는 단계; 및
상기 컴퓨팅장치가 상기 선별된 영상들 중 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 단계;를 포함하되,
상기 영상은,
건설현장을 자동으로 모니터링하기 위하여 일정주기마다 촬영된 작업자, 중장비 또는 자재를 객체로 하는 CCTV영상이며,
상기 객체 분류단계는,
라벨링이 입력되지 않은 영상에서 객체를 분류하며,
상기 엔트로피를 계산하는 단계는,
상기 객체 학습 모델이 영상의 객체를 분류하는데 있어서 하나의 영상에 포함된 서로 다른 객체 또는 동일한 다수의 객체를 분류하여 객체의 종류나 객체의 움직임을 분류하기 어려울수록 객체에 대한 불확실성이 높은 결과값을 나타내며, 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 많으면 상기 엔트로피가 높은 것으로 계산하고 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 적으면 상기 엔트로피가 낮은 것으로 계산하고, 아래의 수학식 1에 따라 상기 선별된 영상 각각에 대한 엔트로피 총합을 계산하며,
[수학식 1]

(여기에서 x는 영상의 프레임이고 y는 프레임 x에 대한 i번째 객체 식별 결과임)
상기 학습용 데이터로 선정하는 단계는,
상기 엔트로피가 기준값을 초과하는 일정개수의 영상 또는 엔트로피가 높은 순서대로 일정개수의 영상을 학습용 데이터로 선정하여 라벨링하는 단계; 및
상기 학습용 데이터 각각에 대한 라벨링이 입력되면 데이터베이스에 저장하며, 상기 라벨링의 정보와 상기 객체를 분류한 결과를 비교하여 상기 객체에 대한 정확도가 목표치 미만이면 상기 객체 학습 모델이 가진 인공뉴런의 가중치(Weight)를 조절하는 단계를 포함하는 액티브 러닝을 위한 학습용 데이터 선정방법.
제 1 항에 있어서, 상기 학습용 데이터로 선정하는 단계는,
상기 학습용 데이터 각각에 대한 라벨링이 입력되면 데이터베이스에 저장하는 단계를 포함하는 액티브 러닝을 위한 학습용 데이터 선정 방법.
CCTV에서 촬영된 복수개의 영상들을 입력받는 입력장치; 및
상기 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 일부의 영상들을 선별하고 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하고 상기 객체를 분류한 결과를 토대로 상기 선별된 영상 각각에 대한 엔트로피를 계산하여 상기 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 컴퓨팅장치;를 포함하되,
상기 컴퓨팅 장치는 객체 학습 모델이 탑재된 프로세서를 포함하며,
상기 영상은,
건설현장을 자동으로 모니터링하기 위하여 일정주기마다 촬영된 작업자, 중장비 또는 자재를 객체로 하는 CCTV영상이며,
상기 객체 분류는,
라벨링이 입력되지 않은 영상에서 객체를 분류하며,
상기 엔트로피의 계산은 상기 객체 학습 모델이 영상의 객체를 분류하는데 있어서 하나의 영상에 포함된 서로 다른 객체 또는 동일한 다수의 객체를 분류하여 객체의 종류나 객체의 움직임을 분류하기 어려울수록 객체에 대한 불확실성이 높은 결과값을 나타내며, 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 많으면 상기 엔트로피가 높은 것으로 계산하고 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 적으면 상기 엔트로피가 낮은 것으로 계산하고, 아래의 수학식 1에 따라 상기 선별된 영상 각각에 대한 엔트로피 총합을 계산하며,
[수학식 1]

(여기에서 x는 영상의 프레임이고 y는 프레임 x에 대한 i번째 객체 식별 결과임)
상기 학습용 데이터 선정은,
상기 엔트로피가 기준값을 초과하는 일정개수의 영상 또는 엔트로피가 높은 순서대로 일정개수의 영상을 학습용 데이터로 선정하여 라벨링하는 단계; 및
상기 학습용 데이터 각각에 대한 라벨링이 입력되면 데이터베이스에 저장하며, 상기 라벨링의 정보와 상기 객체를 분류한 결과를 비교하여 상기 객체에 대한 정확도가 목표치 미만이면 상기 객체 학습 모델이 가진 인공뉴런의 가중치(Weight)를 조절하는 단계를 포함하여 수행되는 액티브 러닝을 위한 학습용 데이터 선정 장치.
제 3 항에 있어서,
상기 컴퓨팅장치는 데이터베이스를 포함하고, 상기 학습용 데이터 각각에 대한 라벨링이 입력되면 상기 데이터베이스에 상기 학습용 데이터를 저장하는 액티브 러닝을 위한 학습용 데이터 선정 장치.
컴퓨팅장치가 임의로 선별한 영상들에 대한 엔트로피를 계산하여 상기 엔트로피가 기준값을 초과하는 일정 개수의 영상 또는 상기 엔트로피가 높은 순서대로 일정 개수의 영상을 학습용 데이터로 선정하는 단계;
상기 컴퓨팅 장치가 라벨링이 입력된 학습용 데이터를 이용하여 객체 학습 모델을 훈련하는 단계; 및
상기 컴퓨팅장치가 샘플 영상을 입력받아 상기 훈련된 학습 모델에 입력하여 상기 샘플 영상에 포함된 적어도 하나의 객체를 분류하고 상기 객체를 분류한 결과를 평가하는 단계;를 포함하되,
상기 학습용 데이터로 선정하는 단계는,
상기 컴퓨팅장치가 복수개의 영상들에 무작위 샘플링(Random Sampling)을 적용하여 복수개의 영상들 중 일부의 영상들을 선별하는 단계;
상기 컴퓨팅장치가 상기 선별된 영상들을 객체 학습 모델에 입력하여 상기 선별된 영상 각각에 포함된 적어도 하나의 객체를 분류하는 단계; 및
상기 컴퓨팅장치가 상기 객체 학습 모델의 분류 결과를 토대로 상기 선별된 영상 각각에 대한 엔트로피를 계산하는 단계;를 포함하며
상기 영상은,
건설현장을 자동으로 모니터링하기 위하여 일정주기마다 촬영된 작업자, 중장비 또는 자재를 객체로 하는 CCTV영상이며,
상기 객체 분류는,
라벨링이 입력되지 않은 영상에서 객체를 분류하며,
상기 객체 학습 모델이 영상의 객체를 분류하는데 있어서 하나의 영상에 포함된 서로 다른 객체 또는 동일한 다수의 객체를 분류하여 객체의 종류나 객체의 움직임을 분류하기 어려울수록 객체에 대한 불확실성이 높은 결과값을 나타내며, 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 많으면 상기 엔트로피가 높은 것으로 계산하고 상기 객체 학습 모델이 분류한 결과값의 종류 또는 개수가 적으면 상기 엔트로피가 낮은 것으로 계산하고, 아래의 수학식 1에 따라 상기 선별된 영상 각각에 대한 엔트로피 총합을 계산하며,
[수학식 1]

(여기에서 x는 영상의 프레임이고 y는 프레임 x에 대한 i번째 객체 식별 결과임)
상기 학습용 데이터로 선정하는 단계는,
상기 엔트로피가 기준값을 초과하는 일정개수의 영상 또는 엔트로피가 높은 순서대로 일정개수의 영상을 학습용 데이터로 선정하여 라벨링하는 단계; 및
상기 학습용 데이터 각각에 대한 라벨링이 입력되면 데이터베이스에 저장하며, 상기 라벨링의 정보와 상기 객체를 분류한 결과를 비교하여 상기 객체에 대한 정확도가 목표치 미만이면 상기 객체 학습 모델이 가진 인공뉴런의 가중치(Weight)를 조절하는 단계를 포함하는 액티브 러닝을 이용한 영상 분석 방법.