KR102500975B1 - 딥러닝 모델을 학습시키기 위한 장치 및 그 방법 - Google Patents

Abstract

실시예에 의한 딥러닝 모델을 학습시키기 위한 장치 및 그 방법이 개시된다. 상기 딥러닝 모델을 학습시키기 위한 장치는 영상을 획득하는 영상 획득부; 상기 영상 획득부로부터 획득된 기준 영상을 기초로 학습용 영상 빅데이터를 구축하고 상기 구축된 학습용 영상 빅데이터의 상기 기준 영상으로부터 학습 대상 객체를 추출하여 상기 추출된 학습 대상 객체를 기초로 딥러닝 모델을 학습시키는 모델 학습부; 상기 학습된 딥러닝 모델을 기초로 상기 영상 획득부로부터 제공 받는 감시 영상 내 대상 객체를 추론하여 상기 추론된 결과로 유고상황 데이터를 생성하는 객체 추론부; 및 상기 생성된 유고상황 데이터를 정탐지 데이터와 오탐지 데이터로 분류하고, 상기 분류된 오탐지 데이터를 미리 정해진 오탐지 대상 객체에 대한 적어도 하나의 객체 오탐지 데이터로 정의하는 오탐지 정의부를 포함하고, 상기 모델 학습부는 상기 학습용 영상 빅데이터에 상기 정의된 적어도 하나의 객체 오탐지 데이터를 추가시켜 상기 딥러닝 모델을 재 학습시킨다.

Description

딥러닝 모델을 학습시키기 위한 장치 및 그 방법{APPARATUS FOR LEARNING DEEP LEARNING MODEL AND METHOD THEREOF}

실시예는 오탐지 데이터를 이용하여 딥러닝 모델을 학습시키기 위한 장치 및 그 방법에 관한 것이다.

딥러닝 모델의 학습 및 추론은 대상 객체들이 포함된 동영상들을 정지영상으로 분해한 다음, 대상 객체들을 레이블링한 데이터로 추론 및 학습용 데이터로 나누지 않고 레이블링 데이터를 전부 활용하여 학습을 진행한다. 대중에 공개된 Pascal VOC 데이터셋이나 COCO 데이터셋은 연속성이 없는 정지영상 수 만장 속에 포함된 다양한 객체들이 레이블링 되어 있다. 그렇기 때문에 학습용 데이터셋과 검증용 데이터셋을 나눈 다음 검증용 데이터를 추론해 보면 딥러닝 모델이 학습용 데이터에 편향적으로 학습되었는지 확인할 수 있다.

그러나 영상 기반 레이블링 데이터는 수 많은 정지영상들이 연속적으로 이어지므로, 전후 정지영상들이 서로 유사한 영상환경을 보인다. 이러한 이유로 인해 검증용 데이터를 추론하여 학습결과를 검증한다 하여도 딥러닝 모델이 편향적으로 학습되었는지 파악하기 쉽지 않다. 따라서, 딥러닝 시스템의 현장 투입 및 모니터링을 통해 딥러닝 모델의 객체인식 능력을 검증해야 한다. 여기서, 학습데이터셋의 배경과 현재 영상에 보여지는 배경과의 차이로 인하여, 초기 학습이 완료된 딥러닝 시스템의 현장적용 초기단계에는 많은 오탐지 경우가 많이 발생한다.

이러한 빈번한 오탐지 경우는 정탐지 성능 요구조건만큼 현장 운영에 큰 영향을 미친다. 사실과 다른 빈번한 경보와 불필요한 현장 인력 동원을 초래하게 되며, 오탐지 데이터가 정탐지 데이터와 섞여 구분에 많은 애로가 발생하며, 정탐지 상황의 효용성을 크게 저감시키는 결과를 초래한다.

게다가, 동영상을 대상으로 대상 객체를 인식하고 오탐지가 다수 발생할 경우 이를 저감시키기 위해서는 기존 학습자료에 더하여 오탐지를 저감하기 위한 추가 학습자료의 준비가 필요한데, 일반적으로 학습자료는 대상 객체의 레이블링 작업이 선행되어야 하기 때문에, 추가 학습자료의 준비에 많은 시간과 노력이 필요하다.

실시예는, 오탐지 데이터를 이용하여 딥러닝 모델을 학습시키기 위한 장치 및 그 방법을 제공할 수 있다.

실시예에 따른 딥러닝 모델을 학습시키기 위한 장치는 영상을 획득하는 영상 획득부; 상기 영상 획득부로부터 획득된 기준 영상을 기초로 학습용 영상 빅데이터를 구축하고 상기 구축된 학습용 영상 빅데이터의 상기 기준 영상으로부터 학습 대상 객체를 추출하여 상기 추출된 학습 대상 객체를 기초로 딥러닝 모델을 학습시키는 모델 학습부; 상기 학습된 딥러닝 모델을 기초로 상기 영상 획득부로부터 제공 받는 감시 영상 내 대상 객체를 추론하여 상기 추론된 결과로 유고상황 데이터를 생성하는 객체 추론부; 및 상기 생성된 유고상황 데이터를 정탐지 데이터와 오탐지 데이터로 분류하고, 상기 분류된 오탐지 데이터를 미리 정해진 오탐지 대상 객체에 대한 적어도 하나의 객체 오탐지 데이터로 정의하는 오탐지 정의부를 포함하고, 상기 모델 학습부는 상기 학습용 영상 빅데이터에 상기 정의된 적어도 하나의 객체 오탐지 데이터를 추가시켜 상기 딥러닝 모델을 재 학습시킬 수 있다.

상기 오탐지 정의부는 상기 유고상황 데이터로부터 정탐지와 오탐지를 사용자로부터 지정받아 상기 정탐지 데이터와 상기 오탐지 데이터를 분류할 수 있다.

상기 미리 정해진 오탐지 대상 객체는 제1 대상 객체와 제2 대상 객체를 포함하고, 상기 오탐지 정의부는 상기 오탐지 데이터를 상기 제1 대상 객체와 상기 제2 대상 객체 중 적어도 상기 제2 대상 객체에 대한 객체 오탐지 데이터로 정의할 수 있다.

상기 오탐지 데이터는 오탐지된 영상과 상기 오탐지 영상 내 오탐지 대상 객체에 대한 레이블링 정보를 포함하고, 상기 오탐지 정의부는 상기 오탐지 대상 객체가 상기 제1 대상 객체인 경우 해당 대상 객체의 레이블링 정보를 제거하고, 상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 해당 대상 객체의 레이블링 정보 중 객체 클래스명을 오탐지 대상 객체임을 나타내기 위한 오류객체로 변경할 수 있다.

상기 오탐지 정의부는 상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 상기 오탐지 영상의 해당 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역을 제거할 수 있다.

상기 오탐지 정의부는 상기 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역이 모두 제거된 오탐지 영상과 상기 변경된 레이블링 정보를 포함하는 오탐지 데이터를 해당 오탐지 객체 대상에 대한 오탐지 데이터로 정의할 수 있다.

실시예에 따른 딥러닝 모델을 학습시키기 위한 방법은 영상 획득부로부터 획득된 기준 영상을 기초로 학습용 영상 빅데이터를 구축하고 상기 구축된 학습용 영상 빅데이터의 상기 기준 영상으로부터 학습 대상 객체를 추출하여 상기 추출된 학습 대상 객체를 기초로 딥러닝 모델을 학습시키는 단계; 상기 학습된 딥러닝 모델을 기초로 상기 영상 획득부로부터 제공 받는 감시 영상 내 대상 객체를 추론하여 상기 추론된 결과로 유고상황 데이터를 생성하는 단계; 상기 생성된 유고상황 데이터를 정탐지 데이터와 오탐지 데이터로 분류하고, 상기 분류된 오탐지 데이터를 미리 정해진 오탐지 대상 객체에 대한 적어도 하나의 객체 오탐지 데이터로 정의하는 단계; 및 상기 정의된 적어도 하나의 객체 오탐지 데이터를 상기 학습용 영상 빅데이터에 추가시켜 상기 딥러닝 모델을 재 학습시키는 단계를 포함할 수 있다.

상기 정의하는 단계에서는 상기 유고상황 데이터로부터 정탐지와 오탐지를 사용자로부터 지정받아 상기 정탐지 데이터와 상기 오탐지 데이터를 분류할 수 있다.

상기 미리 정해진 오탐지 대상 객체는 제1 대상 객체와 제2 대상 객체를 포함하고, 상기 정의하는 단계에서는 상기 오탐지 데이터를 상기 제1 대상 객체와 상기 제2 대상 객체 중 적어도 상기 제2 대상 객체에 대한 객체 오탐지 데이터로 정의할 수 있다.

상기 오탐지 데이터는 오탐지된 영상과 상기 오탐지 영상 내 오탐지 대상 객체에 대한 레이블링 정보를 포함하고, 상기 정의하는 단계에서는 상기 오탐지 대상 객체가 상기 제1 대상 객체인 경우 해당 대상 객체의 레이블링 정보를 제거하고, 상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 해당 대상 객체의 레이블링 정보 중 객체 클래스명을 오탐지 대상 객체임을 나타내기 위한 오류객체로 변경할 수 있다.

상기 정의하는 단계에서는 상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 상기 오탐지 영상의 해당 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역을 제거할 수 있다.

상기 정의하는 단계에서는 상기 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역이 모두 제거된 오탐지 영상과 상기 변경된 레이블링 정보를 포함하는 오탐지 데이터를 해당 오탐지 객체 대상에 대한 오탐지 데이터로 정의할 수 있다.

실시예에 따르면, 미리 생성된 레이블링 데이터와 실시간 추론 과정에서 발생하는 오탐지 데이터를 이용하여 딥러닝 모델을 재학습시켜 업데이트하도록 함으로써, 오탐지 결과를 별도의 레이블링 작업없이 학습 자료에 추가 반영할 수 있다.

실시예에 따르면, 기존 레이블링 데이터의 학습을 저해하지 않고 객체 인식 성능을 향상시킬 수 있다.

실시예에 따르면, 딥러닝 모델 적용 현장에서 발생하는 오탐지를 저감할 수 있다.

도 1은 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 장치를 나타내는 도면이다.
도 2는 도 1에 도시된 데이터 구축부의 상세한 구성을 나타내는 도면이다.
도 3은 도 1에 도시된 오탐지 정의부의 상세한 구성을 나타내는 도면이다.
도 4a 내지 도 4d는 실시예에 따른 오탐지 데이터를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 방법을 나타내는 도면이다.
도 6a 내지 도 6b는 딥러닝 기반 터널 CCTV 영상유고 시스템의 오탐지 발생 현황을 나타내는 그래프이다.
도 7은 도 5에 도시된 시스템에서 발생된 오탐지 샘플을 보여주는 도면이다.
도 8은 화재와 보행자에 대한 정탐지와 오탐지 간의 유사성을 설명하기 위한 도면이다.
도 9는 오탐지 데이터를 포함하는 딥러닝 학습 프로세스를 나타내는 도면이다.
도 10은 딥러닝 모델의 레이블링 데이터에 대한 재추론 결과를 보여주는 그래프이다.
도 11은 딥러닝 모델의 현장 적용에 대한 모니터링 현황을 보여주는 그래프이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.

또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.

또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, “A 및(와) B, C 중 적어도 하나(또는 한 개 이상)”로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.

또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.

이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.

그리고, 어떤 구성 요소가 다른 구성요소에 ‘연결’, ‘결합’ 또는 ‘접속’된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 ‘연결’, ‘결합’ 또는 ‘접속’ 되는 경우도 포함할 수 있다.

또한, 각 구성 요소의 “상(위) 또는 하(아래)”에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, “상(위) 또는 하(아래)”으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.

실시예에서는, 학습 데이터로 미리 생성된 레이블링 데이터를 이용하여 딥러닝 모델을 학습시킨 후 실시간 추론 과정에서 발생하는 유고상황 데이터를 오탐지 데이터와 정탐지 데이터로 분류하고, 분류된 오탐지 데이터와 레이블링 데이터를 이용하여 딥러닝 모델을 재학습시켜 업데이트하도록 한, 새로운 방안을 제안한다.

도 1은 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 장치를 나타내는 도면이다.

도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 장치는 영상 획득부(100), 데이터 구축부(200), 모델 학습부(300), 객체 추론부(400), 오탐지 정의부(500)를 포함할 수 있다.

영상 획득부(100)는 서로 다른 위치에 설치되어, 도로 상의 영상을 획득할 수 있다. 이러한 영상 획득부(100)는 예컨대, CCTV(Closed Circuit Television)를 포함할 수 있다.

데이터 구축부(200)는 미리 정해진 다양한 환경 조건 하에서 다수의 기준 영상을 수집하여 수집된 기준 영상을 포함하는 학습용 영상 빅데이터를 구축할 수 있다.

데이터 구축부(200)는 학습용 영상 빅데이터를 기초로 기준 영상으로부터 관심 영역의 영상을 추출하여 추출된 관심 영역의 영상으로부터 학습 대상 객체를 추출하고, 추출된 학습 대상 객체를 포함하는 학습용 데이터 셋을 구축할 수 있다.

모델 학습부(300)는 구축된 학습용 데이터 셋을 기초로 딥러닝 모델(deep learning model) 또는 딥러닝 알고리즘(deep learning algorithm)을 학습시킬 수 있다.

모델 학습부(300)는 학습된 딥러닝 모델을 이용하여 대상 객체를 추론하는 과정에서 발생한 오탐지 데이터 셋과 학습용 데이터 셋을 기초로 딥러닝 모델을 재학습시킬 수 있다.

객체 추론부(400)는 학습된 딥러닝 모델을 기초로 영상 획득부(100)로부터 제공 받는 감시 영상 내 대상 객체를 추론하고, 추론된 대상 객체를 기초로 유고 상황을 판단하여 대상 객체와 유고 상황을 포함하는 유고상황 데이터를 생성할 수 있다.

오탐지 정의부(500)는 생성된 유고상황 데이터를 분석하여 그 분석한 결과로 정탐지 데이터와 오탐지 데이터로 분류하고, 분류된 오탐지 데이터로부터 미리 정해진 적어도 하나의 오탐지 대상 객체에 대한 객체 오탐지 데이터를 정의할 수 있다. 여기서 오탐지 대상 객체는 차량, 보행자, 화재 등을 포함할 수 있는데, 실시예에서는 상대적으로 정확하게 인식되는 차량을 제외한 보행자, 화재를 포함할 수 있다.

이때, 오탐지 정의부(500)는 생성된 유고상황 데이터로부터 정탐지와 오탐지를 사용자로부터 지정받아 정탐지 데이터와 오탐지 데이터를 분류할 수 있다.

도 2는 도 1에 도시된 데이터 구축부의 상세한 구성을 나타내는 도면이다.

도 2를 참조하면, 본 발명의 실시예에 따른 데이터 셋을 구축하기 위한 데이터 구축부(200)는 수집부(210), 추출부(220), 구축부(230)를 포함하여 구성될 수 있다.

수집부(210)는 영상 획득부(100)와 유선 또는 무선 연동하고, 미리 정해진 다양한 환경 조건 하에서 영상 획득부(100)로부터 미리 획득된 기준 영상을 수집하여 수집된 기준 영상을 포함하는 학습용 영상 빅데이터를 구축할 수 있다. 이러한 기준 영상은 미리 정해진 대상 객체를 포함하는 영상일 수 있다.

추출부(220)는 구축된 학습용 기준 영상 빅데이터를 기초로 각 기준 영상으로부터 관심 영역(Region of Interest) 영상을 추출할 수 있다. 예컨대, 추출부(220)는 미리 지정된 영역의 영상을 관심 영역 영상으로 추출하거나, 사용자에 의해 지정된 영역의 영상을 관심 영역 영상으로 추출할 수 있다.

추출부(220)는 추출된 관심 영역 영상으로부터 적어도 하나의 학습 대상 객체를 추출하고, 추출된 적어도 하나의 학습 대상 객체에 대한 레이블링을 수행할 수 있다.

이렇게 레이블링을 수행하는 이유는 추출된 학습 대상 객체가 차량이나 사람이 아닌 곤충, 새, 동물일 수 있기 때문에 감시 대상이 아닌 객체를 제외시키기 위함이다.

이때, 대상 객체에 대한 정확한 레이블링을 하기 위해 추출부(220)는 추출된 적어도 하나의 학습 대상 객체에 대한 사용자의 입력 정보를 기초로 레이블링을 수행할 수 있다. 즉, 사용자가 추출된 학습 대상 객체가 감시 대상인지 아닌지를 직접 결정하도록 한다. 여기서, 입력 정보는 예컨대, 객체 종류(차량 객체(Car), 보행자 객체(Person), 화재 객체(Fire)), 위치, 크기 등의 다양한 레이블링 정보를 포함할 수 있다.

구축부(230)는 레이블링된 학습 대상 객체 중 감시 대상이 되는 학습 대상 객체를 추출하여 추출된 학습 대상 객체를 포함하는 학습용 데이터 셋을 구출할 수 있다.

도 3은 도 1에 도시된 오탐지 정의부의 상세한 구성을 나타내는 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 오탐지 데이터를 정의하기 위한 오탐지 정의부(500)는 수집부(510), 분류부(520), 정의부(530)을 포함하여 구성될 수 있다.

수집부(510)는 객체 추론부(400)로부터 생성된 유고상황 데이터를 수집할 수 있다. 수집부(510)는 비정기적으로 영상 유고 시스템이 운영 중인 현장을 방문하여 그 시점까지 탐지된 유고상황 데이터를 수집할 수 있다.

이때, 유고상황 데이터는 객체 추론 과정에서 자동으로 레이블링이 수행된 데이터로, 영상과 영상 내 적어도 하나의 대상 객체에 대한 레이블링 정보를 포함할 수 있다.

분류부(520)는 유고상황 데이터를 분석하여 분석한 결과로 정탐지 데이터와 오탐지 데이터로 분류하고, 분류된 오탐지 데이터를 다수의 객체 오탐지 데이터로 분류할 수 있다. 예컨대, 분류부(520)는 분류된 오탐지 데이터를 차량에 대한 객체 오탐지 데이터, 보행자에 대한 객체 오탐지 데이터, 화재에 대한 객체 오탐지 데이터로 분류할 수 있다.

정의부(530)는 분류된 다수의 객체 오탐지 데이터에서 대상 객체의 레이블링 정보 중 클래스명을 오탐지 객체임을 나타내기 위한 정보로 변경하여 오탐지 데이터로 정의할 수 있다.

이때, 레이블링 클래스명으는 정탐지된 대상 객체 종류인 차량 객체(Car), 보행자 객체(Person), 화재 객체(Fire)와 오탐지된 대상 객체 종류인 차량 오류객체(Not_Car), 보행자 오류객체(Not_Person), 화재 오류 객체(Not_Fire)를 포함할 수 있다.

이를 통해 본 실시예에서는 레이블링 클래스명을 수정하는 과정을 거쳐 오탐지된 비교 객체를 추가하도록 하여 빈번하게 발생하는 오탐지를 예외 처리할 수 있다.

도 4a 내지 도 4d는 실시예에 따른 오탐지 데이터를 설명하기 위한 도면이다.

도 4a 내지 도 4b를 참조하면, 그 일예로, 실시예에 따른 정의부(530)는 대상 객체가 보행자인 보행자 오탐지 데이터의 레이블링 정보 중 클래스명을 보행자 객체 {Person}에서 보행자 오류객체 {Not_Person}으로 변경하여 보행자 오탐지 데이터로 정의할 수 있다.

다른 예로, 실시예에 따른 정의부(530)는 대상 객체가 화재인 화재 오탐지 데이터의 레이블링 정보 중 클래스명을 화재 객체 {Fire}에서 화재 오류객체 {Not_Fire}으로 변경하여 화재 오탐지 데이터로 정의할 수 있다.

이때, 차량 객채 {Car}의 경우 비교 객체를 통한 예외처리보다 레이블을 지우는 것이 효과적이기 때문에 오탐지 데이터로 정의하지 않고 레이블링 정보를 삭제한다.

또한, 하나의 영상 내에는 다수의 대상 객체가 존재할 수 있고 다수의 대상 객체는 정탐지되거나 오탐지될 수 있다. 따라서 실시예에서는 오탐지된 대상 객체가 존재하는 영역 즉, 오탐지된 객체 박스를 제외한 나머지 영역을 모두 제거하고자 한다.

이를 통해 본 실시예는 불확실한 추론 정보나 미탐지 정보의 재학습을 방지하여 오탐지 영상의 재학습으로 인한 기존 정탐지율 저하 가능성을 최소화할 수 있다.

도 4c 내지 도 4d를 참조하면, 그 일예로, 실시예에 따른 정의부(530)는 대상 객체가 보행자인 보행자 오탐지 데이터의 영상에서 보행자 오류객체가 존재하는 영역을 제외한 나머지 영역을 모두 제거할 수 있다.

다른 예로, 실시예에 따른 정의부(530)는 대상 객체가 화재인 화재 오탐지 데이터의 영상에서 화재 오류객체가 존재하는 영역을 제외한 나머지 영역을 모두 제거할 수 있다.

정의부(530)는 오탐지된 객체만이 존재하는 영역을 제외한 나머지 영역이 모두 제거된 영상과 변경된 레이블링 정보를 포함하는 오탐지 데이터를 정의할 수 있다.

도 5는 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 방법을 나타내는 도면이다.

도 5를 참조하면, 본 발명의 실시예에 따른 딥러닝 모델을 학습시키기 위한 장치(이하, 학습 장치라고 한다)는 미리 정해진 다양한 환경 조건 하에서 획득된 기준 영상을 수집할 수 있다(S511).

다음으로, 학습 장치는 수집된 기준 영상을 포함하는 학습용 영상 빅데이터를 구축할 수 있다(S512).

다음으로, 학습 장치는 학습용 영상 빅데이터를 기초로 각 기준 영상으로부터 관심 영역의 영상을 추출하여 추출된 관심 영역의 영상으로부터 학습 대상 객체를 추출하고, 추출된 학습 대상 객체를 포함하는 학습용 데이터 셋을 구축할 수 있다(S513).

다음으로, 학습 장치는 구축된 학습용 데이터 셋을 기초로 딥러닝 모델을 학습시킬 수 있다(S514).

한편, 학습 장치는 미리 정해진 위치에서 실시간으로 획득된 감시 영상을 수집할 수 있다(S521).

다음으로, 학습 장치는 학습된 딥러닝 모델을 기초로 수집된 감시 영상 내 대상 객체를 추론하고(S522), 추론된 대상 객체를 기초로 유고 상황을 판단하여 그 판단한 결과로 대상 객체와 유고 상황을 포함하는 유고상황 데이터를 생성할 수 있다(S523).

이때, 학습 장치는 생성된 유고상황 데이터를 기초로 감시 영상을 표시할 수 있다(S524). 즉, 학습 장치는 유고상황 데이터에 포함된 대상 객체와 유고 상황을 감시 영상에 결합하여 표시할 수 있다.

다음으로, 학습 장치는 생성된 유고상황 데이터를 분석하여 분석한 결과로 정탐지 데이터와 오탐지 데이터로 분류하고, 이렇게 분류된 데이터 중 오탐지 데이터만을 다시 세분화하여 다수의 객체 오탐지 데이터로 분류할 수 있다(S525).

다음으로, 학습 장치는 분류된 다수의 객체 오탐지 데이터에서 대상 객체의 레이블링 클래스명에 오탐지 객체임을 나타내기 위한 정보를 삽입하여 오탐지 데이터로 정의할 수 있다(S526).

다음으로, 학습 장치는 정의된 적어도 하나의 객체 오탐지 데이터를 학습용 데이터 셋에 추가하여 학습용 데이터 셋을 확장시킬 수 있다(S527).

다음으로, 학습 장치는 확장된 학습용 데이터 셋 즉, 레이블링된 학습용 데이터 셋과 레이블링되지 않은 오탐지 데이터를 기초로 딥러닝 모델을 재 학습시켜 업데이트할 수 있다(S528).

딥러닝 기반 터널 CCTV 영상유고 시스템의 기본 개념 및 시스템 구성도가 완성되었으며, 실제 시스템을 터널 관제센터 현장에 설치 및 모니터링을 진행하고 있다.

1. 딥러닝 기반 터널 CCTV 영상유고 시스템 기본 개념

딥러닝 기반 터널 CCTV 영상유고 시스템은 우선 일정 프레임 간격 주기마다 터널 내 CCTV 정지영상을 입력값으로 하여 딥러닝 모델이 정지영상 내에 존재하는 차량, 화재, 보행자 객체를 구분하여 위치와 크기를 직사각형의 경계박스(bounding box)로 나타낸다. 이 단계에서 화재와 보행자가 발생하는 유고상황을 검출할 수 있다. 그 다음, 정지영상에서 인식된 차량 객체를 바탕으로 객체 추적을 하며, 객체 인식과정보다 긴 일정 프레임 주기마다 정차 및 역주행을 판단한다. 객체 추적 과정은 이전 프레임 주기와 현재 프레임 주기에서 검출된 차량 객체들을 서로 비교하여 겹치는 면적 비율이 일정 값 이상인 객체 쌍이 존재할 때, 객체 번호를 부여하여 동일한 객체로 인식시킨다. 정차 및 역주행의 판단은 이전 프레임 주기와 현재 프레임 주기에서 동일한 객체 번호를 가진 차량 객체 쌍에 대해서 시행하는데, 정차는 겹치는 면적 비율이 0.9 이상일 때, 역주행은 터널 진행방향 반대로 주행하면서 겹치는 선 길이 비율이 0.75 미만일 때 각각 정차와 역주행으로 판단한다. 이 내용은 딥러닝 기반 터널 CCTV 영상유고 시스템의 핵심과정이며, 현장에서 설치할 전 주기 시스템은 9채널의 카메라를 동시에 감시할 수 있도록 CCTV 영상을 입력받아 핵심 과정에서 활용할 수 있도록 영상을 전처리하는 전처리 과정과 핵심과정, 터널 관제센터에서 직접 유고상황을 확인할 수 있는 유고상황 표출 과정으로 구성되어 있다. 딥러닝 학습 과정은 현장에서 학습하지 않으며, 다른 장소에서 학습한 다음 2주~1개월마다 비정기적으로 전주기 시스템의 딥러닝 모델을 갱신한다.

한편, 딥러닝을 포함한 기계학습(machine learning)에서 지도학습(supervised learning)은 입력값과 출력값이 포함된 레이블링 데이터(labeling data)를 학습하며, 데이터가 충분할 경우 다양하게 활용될 수 있어 가장 활발히 연구되고 있는 분야이다. 지도학습의 기본과정은 학습용 데이터와 추론용 데이터를 나누며, 학습용 데이터를 바탕으로 딥러닝 모델을 학습한다. 그리고 딥러닝 모델의 검증은 학습용 데이터의 재추론 인식 성능의 확인과 추론용 데이터의 인식 성능을 확인하는 것으로 실제 현장에 적용하였을 때 딥러닝 기반 시스템이 제대로 목표를 인식할 수 있는지 예측할 수 있다. 이 과정에서 딥러닝 모델의 인식 성능을 평가할 때 Table 1을 바탕으로 인식된 출력값의 유형을 4가지로 분류한 다음 평가한다.

Category	Predicted as Positive	Predicted as Negative
Positive	True Positive (TP)	False Negative (FN)
Negative	False Positive (FP)	True Negative (TN)

상기 표 1에서 정답(positive)은 인식 대상 객체, 오답(negative)은 정답이 아닌 객체를 의미하며, 정답을 제대로 인식했을 경우에는 정탐지(true positive), 정답으로 인식했는데 오답일 경우 오탐지(false positive)에 해당된다. 오답을 제대로 인식하면 오답 탐지(true negative)이고, 오답으로 예측하였는데 실제로 정답이면 미탐지(false negative)에 해당된다. 대부분의 딥러닝 기반 시스템은 정탐지를 최대화하고 오탐지와 미탐지를 줄이는 방향으로 목표를 설정하므로 정탐지의 양적인 인식률을 평가하는 재현률(recall), 정탐지의 질적인 인식률을 평가하는 정밀도(precision)를 이용해 평균 정밀도(average precision) 값으로 평가하며 재현률, 정밀도와 평균 정밀도는 각각 수학식 1, 2, 3과 같이 나타낼 수 있다.

[수학식 1]

Recall = TP / (TP + FN)

[수학식 2]

Precision = TP / (TP + FP)

[수학식 3]

Average Precision = ∫Precision(Recall)dRecall

평균 정밀도는 정탐지의 양과 질적인 측면을 모두 고려할 수 있는 지표이고, 0~1의 범위를 가진 스칼라값으로 표현가능하므로 레이블링 데이터에 대한 딥러닝 모델의 추론 정확도를 나타내는 표준적인 지표로 사용하고 있다.

2. 딥러닝 기반 터널 CCTV 영상유고 시스템 모니터링 현황

딥러닝 기반 터널 CCTV 영상유고 시스템은 특정 고속도로 터널 관제 센터에 설치되어 운용을 시작하였다. 해당 터널 관제 센터는 폐쇄형 네트워크 기반 CCTV 카메라를 바탕으로 터널 및 도로를 감시하고 있으며, 유고상황이 발생할 경우 고속도로를 주행하고 있는 운전자에게 알리는 동시에 작업인력이 유고상황 이 발생한 현장으로 투입된다. 대부분의 터널 관제 센터는 국토교통부의 가이드라인에 의해 유고상황 감지 시스템을 설치하였다. 그러나 기존 유고상황 감지 시스템은 오탐지 발생의 빈번함으로 인해 낮은 신뢰성을 보이며 현장의 불필요한 확인작업과 사후조치 노력이 소요되면서, 유고상황 감지 시스템을 구비하였어도 운용하지 않고 육안으로 유고상황을 감시하고 있는 현장이 다수이다. 이 때문에 본 발명에서 개발된 딥러닝 기반 터널 CCTV 영상유고 시스템을 모니터링할 때, 정탐지가 되는지 확인하는 것이 가장 중요한 목표이지만 동시에 오탐지로 인식되는 경우를 줄이는 것 또한 중요하다. 딥러닝 기반 터널 CCTV 영상유고 시스템을 위해 레이블링 데이터로 딥러닝 모델을 학습하여 적용하고 모니터링을 시작하였다. 55일 동안 시스템을 모니터링한 결과, 차량 객체는 대체로 오탐지 객체 없이 상당히 정확하게 인식하였지만, 화재 객체와 보행자 객체는 꾸준히 오탐지된 객체가 발생하고 있었다.

도 6a 내지 도 6b는 딥러닝 기반 터널 CCTV 영상유고 시스템의 오탐지 발생 현황을 나타내는 그래프이다.

도 6a 내지 도 6b를 참조하면, 딥러닝 기반 터널 CCTV 영상유고 시스템을 설치한 뒤 55일 동안 모니터링하여 9채널의 카메라에서 발생한 화재와 보행자의 오탐지 발생 현황을 그래프로 나타내었다. 보행자는 최대 1000개, 하루에 200~400개의 오탐지가 발생하고 있었으며, 화재는 최대 120개, 하루에 0~40개의 오탐지가 발생하였다. 화재보다 보행자의 오탐지 개수가 훨씬 빈번하게 발생하고 있는데, 보행자의 객체의 인식이 훨씬 까다롭기 때문이다.

보행자 객체는 대체로 화재나 차량 객체보다 작은 크기를 가지고 있으며, 세로로 길쭉한 형상을 보인다. 게다가 차량 충돌사고가 발생할 경우 운전자는 차량의 상태를 확인하기 위해 차량 밖으로 나오게 되는데, 차량 주변에 붙어있는 모습이 CCTV에서 촬영된다. 이러한 현상을 이동객체간 겹침 현상이라고 하며, 보행자 객체와 차량 객체의 겹침 현상으로 인해 일반적인 딥러닝 모델의 학습법으로는 딥러닝 모델이 차량의 그림자나 차선과 보행자를 구분하기 쉽지 않다. 터널 내에서 화재가 발생할 수 있는 요소는 주로 차량에 의한 화재를 생각할 수 있다. 즉, 화재가 발생할 때 CCTV에서 촬영된 화재 객체의 크기는 최소 차량의 크기로 볼 수 있으며, 거대하게 일어나면 CCTV 화면 전체 영역을 차지할 정도로 크기 때문에 차량과 구분된다. 그러나 작업차량의 경광등이나 터널 입구부에서 반사되는 햇빛으로 인해 화재로 오인될 수 있으며, 도 6과 같은 오탐지 현상을 확인할 수 있었다.

도 7은 도 5에 도시된 시스템에서 발생된 오탐지 샘플을 보여주는 도면이다.

도 7을 참조하면, 딥러닝 기반 터널 CCTV 영상유고 시스템에 발생한 화재 및 보행자가 오탐지된 화면이다. 화재의 경우, (a), (c)와 같이 작업 차량의 경광등이 터널 내부에서 비치는 형상과 터널 입구부에서 대형 트럭의 뒷면이 햇빛에 반사되어 밝게 빛나는 형상이 화재로 오탐지 되고 있다. 그리고 보행자의 경우, (b), (d)와 같이 차량 객체의 검은 음영으로 되어 있는 일부 형상과 하얀 차선을 보행자로 인식하고 있었다. 이러한 문제는 딥러닝 모델의 학습에 사용했던 레이블링 데이터와 비교하였을 때 그 원인을 판단할 수 있다.

도 8은 화재와 보행자에 대한 정탐지와 오탐지 간의 유사성을 설명하기 위한 도면이다.

도 8을 참조하면, 화재와 보행자에 대하여 레이블링 데이터와 오탐지 데이터 샘플을 비교하였다. 각 정지영상의 전체적인 그림을 보면 레이블링 데이터와 오탐지 데이터 사이에 차이점이 존재한다는 것을 알 수 있다. 그러나 직사각형 의 경계박스만 놓고 비교하면 유사점이 존재하며, 화재의 경우 작업차량의 경광등과 실제 화재 형상이 상당히 유사하다. 보행자 객체도 마찬가지로 차량의 검은 음영과 실제 보행자만 놓고 보면 정확히 유사하진 않지만 딥러닝 모델이 충분히 보행자로 착각할 수 있을 만큼 유사한 편이었다. 따라서 딥러닝 모델에 대한 기존 레이블링 데이터의 학습만으로는 학습 외 영상에서 발생하는 오탐지 대처가 쉽지 않다.

3. 딥러닝 모델의 오탐지포함 학습방법 및 평가

딥러닝 기반 CCTV 영상유고 시스템을 모니터링하면서 발생한 오탐지 데이터는 레이블링된 데이터의 학습으로 얻어진 딥러닝 모델의 한계를 보여주었으며, 낮은 시스템의 신뢰성을 보인다. 본 발명은 이러한 문제를 해결하기 위해 오탐지 데이터를 포함하여 딥러닝 모델을 학습하는 방법을 제안한다. 그리고 오탐지 데이터를 포함하여 학습하는 방법의 유효성을 검증하기 위해 레이블링 데이터에 대한 재추론 성능과 오탐지 데이터에 대한 인식 성능을 측정하여 레이블링 데이터만 학습된 딥러닝 모델과 오탐지 데이터를 포함한 딥러닝 모델을 비교할 것이다.

3.1 딥러닝 모델의 오탐지 포함 학습방법

본 발명에서 제안하는 딥러닝 모델의 오탐지 포함 학습방법은 도 8과 같은 절차로 진행되며, 터널 관제센터에 설치되어 있는 딥러닝 기반 CCTV 영상유고 시스템의 모니터링 과정에서 확인된 오탐지 데이터의 확보가 전제된다.

도 9는 오탐지 데이터를 포함하는 딥러닝 학습 프로세스를 나타내는 도면이다.

도 9를 참조하면, 딥러닝 모델의 오탐지 포함 학습방법은 먼저 레이블링 데이터로 딥러닝 모델을 학습시킨 다음, 검증을 통해 딥러닝 모델의 객체 인식능력을 확인하여 터널 관제센터 현장에 설치된 시스템에 딥러닝 모델을 적용한다. 그리고 비정기적으로 터널 관제센터 현장을 방문하여 지금까지 탐지된 유고상황 데이터를 수집하여 분석한 뒤, 오탐지 데이터와 정탐지 데이터를 분류한다. 오탐지 데이터에서 학습에 사용할 객체는 현장에서 상대적으로 정확하게 인식된 차량을 제외한 보행자, 화재 2가지이며, 딥러닝 모델의 학습에 사용할 클래스를 각각 화재 오탐지(false fire)과 보행자 오탐지(false person)으로 정의하여 오탐지 데이터셋을 제작한다. 제작된 오탐지 데이터셋은 레이블링 데이터와 같이 딥러닝 모델의 학습에 사용되며, 다시 딥러닝 모델을 검증하여 이상이 없으면 터널 관제센터 현장에 적용중인 딥러닝 모델을 교체시킨다. 이러한 과정을 반복하여 오탐지 데이터를 추가하여 학습시킬수록 딥러닝 모델의 오탐지 인식이 시스템 수정없이 자동으로 저감되며, 레이블링 데이터의 재추론 또한 수학식 2에서 오탐지의 개수가 감소하므로 추론 성능이 자동 향상되는 효과를 기대할 수 있다.

3.2 딥러닝 모델 성능 평가

본 발명에서 제안한 딥러닝 모델의 오탐지 포함 학습방법은 레이블링 데이터의 추가 없이 현장에서 발생된 오탐지 데이터를 추가하여 학습하므로 레이블링 데이터의 제작에 소요되는 시간과 비용을 절약할 수 있다. 이 방법을 검증하기 위하여 기존 레이블링 데이터로 학습한 모델과 오탐지 데이터를 추가한 다음, 학습한 딥러닝 모델을 비교하여 딥러닝 모델의 객체인식 성능을 평가한다. 객체인식 성능의 평가는 레이블링 데이터의 재추론 성능과 오탐지 데이터 인식 저감 성능을 비교하여 딥러닝 모델의 오탐지 포함 학습방법의 실효성을 평가할 것이다.

3.2.1 레이블링 및 오탐지 빅데이터 현황

딥러닝 모델의 학습에 사용할 레이블링 및 오탐지 데이터의 현황은 표 2와 같다. AA~DD 데이터셋은 전부 수동으로 레이블링된 데이터이며, 총 70,914장의 정지영상에서 441,670개의 차량과 49721개의 보행자, 857개의 화재 객체가 존재한다. 딥러닝 모델의 학습대상 객체는 차량, 보행자와 화재이고, 도로 터널에서 촬영된 영상이므로 레이블링 데이터에서 차량 객체의 개수가 가장 많다. 그 다음 보행자와 화재 순서로 객체가 많은데, 화재의 객체수가 적은 것은 일반적으로 도로 터널 내에서 화재가 발생하는 경우가 드물며 화재와 관련된 유고영상의 확보가 쉽지 않기 때문이다. 이러한 이유로 인해 화재 객체의 다양성이 떨어지는 문제점을 안고 딥러닝 모델을 학습한다.

표 2에서 오탐지 데이터는 현장적용 단계에서 자동으로 도출된 오탐 데이터를 의미하며, FP data 1은 화재 오탐지의 개수와 보행자 오탐지의 개수가 1:2의 비율로 구성되고 FP data 2는 보행자 오탐지 데이터가 지배적이다. FP data 1은 화재 오탐지와 보행자 오탐지를 동시에 저감되는 효과를 검토하기 위해 구성된 데이터이고, FP data2는 보행자 오탐지의 저감 효과 검토를 주목적으로 하여 구성된 데이터이다. 이렇게 구성된 것은 레이블링 데이터에서 화재 객체수가 적어서 딥러닝 모델을 적용한 현장에서 발생하는 화재 오탐지의 유형이 단순하므로 화재 오탐지의 저감이 용이하기 때문이다. 또한 레이블링 데이터에서 화재 오탐지를 터널 내 경광등, 차량의 후미등, 작업차량의 경광등 등의 불빛을 화재 오탐지로 정의하였으므로 FP data 1에서 화재 오탐지로 정의된 객체 데이터691개를 포함하고 FP data 2에서는 22개만 포함되었다. 반면 보행자 오탐지의 경우, 규모에 따른 오탐지 저감효과를 확인하기 위하여 FP data 1에서는 1357개, FP data 2에서는 7999개의 보행자 오탐지 데이터를 포함한다.

Data category	Number of images	Car	Person	Fire	False_fire	False_person
AA	38831	219292	26612	0	181984	0
BB	873	0	0	857	713	0
CC	7471	52296	9042	0	1751	0
DD	23739	175138	11487	0	0	0
FP data1	2041	0	0	0	691	1357
FP data2	8007	0	0	0	22	7999

3.2.2 딥러닝 모델에 따른 데이터 구성 및 평가방법상기 표 2에서 서술한 레이블링 데이터와 오탐지 데이터를 바탕으로 학습에 사용될 데이터셋을 구성하였으며, 목적에 따라 표 3과 같이 3개의 유형으로 나누었다. 표 3에서 Model 1은 레이블링 데이터만 학습하며, 오탐지 데이터를 추가하여 학습한 Model 2, Model 3을 비교하기 위해 학습된 모델이다. Model 2는 FP data 1 오탐지 데이터셋을 추가하였으며, 화재 오탐지와 보행자 오탐지를 한번에 저감하는 효과를 검토하기 위한 목적을 가진다. 마지막으로 Model 3은 Model 2보다 확실한 보행자 오탐지의 저감 효과 검토를 위해 FP data 1과 FP data 2를 추가하여 학습을 진행한다.

Model name	Including dataset
Model1	Labeled dataset
Model2	Labeled dataset + FP data1
Model3	Labeled dataset + FP data1 + FP data2

이러한 모델 조건을 기반으로 하여 표 4와 같은 딥러닝 모델 학습 조건으로 학습을 진행한다. 딥러닝 모델은 딥러닝 객체인식 분야에서 널리 쓰이고 있는 Faster R-CNN (Regional Convolutional Neural Network)을 사용한다. 그래픽카드는 NVIDIA GTX 1070 8 GB를 사용하며, 리눅스 환경에서 딥러닝 모델의 학습 및 추론을 진행하였다. 각 모델마다 10 epoch씩 학습하였다.

Deep learning model	Faster R-CNN
GPU	NVIDIA GTX 1070 8 GB
OS	Linuxmint 18.3
Epoch	10

딥러닝 모델의 평가는 레이블링 데이터에 대한 재추론, 보행자 오탐지 데이터의 인식 개수, 딥러닝 모델 현장적용 후 화재 오탐지 데이터의 인식현황을 확인한다. 레이블링 데이터를 재추론하여 기존 레이블링 데이터만 학습한 Model 1과 비교하여 차량, 화재, 보행자 객체인식 능력이 향상되었는지 비교평가를 진행한다. 보행자 오탐지 데이터의 경우, 딥러닝 모델의 학습에 사용한 보행자 오탐지 개수에 따른 보행자 오탐지의 저감성능을 평가하며, Model 2에 사용한 보행자 오탐지 데이터와 Model 3에 사용한 보행자 오탐지 데이터를 따로 평가한다. 화재 오탐지의 경우, Model 2를 현장에 적용한 뒤 모니터링하여 화재 오탐지가 저감되었는지 직접 확인한다.3.2.3 레이블링 데이터에 대한 재추론 평가

각 딥러닝 모델에 따른 레이블링 데이터에 대한 재추론 결과는 다음의 도 10과 같다.

도 10은 딥러닝 모델의 레이블링 데이터에 대한 재추론 결과를 보여주는 그래프이다.

도 10을 참조하면, 차량과 보행자의 경우, Model 1과 비교해 Model 2와 Model 3의 객체인식 성능이 더 뛰어난 결과를 보여준다. 이러한 결과는 오탐지 데이터를 포함하여 학습하면 기존 레이블링 데이터의 객체인식 능력을 저해하지 않으며, 오히려 객체인식 능력을 향상시킬 수 있었다. 차량은 Model 2와 Model 3이 비슷한 객체인식 능력을 보이지만, 보행자의 경우 오탐지 데이터를 더 추가하여 학습한 Model 3이 Model 2보다 더 나은 보행자 객체인식 능력을 보였다. 다시 말하면 보행자 객체 클래스에서 보행자 오탐지 데이터를 추가하여 학습할수록 보행자에 대한 오탐지의 저감능력이 향상된다고 할 수 있다. 한 편, 화재의 객체인식 능력은 0.9의 AP값으로 Model 1, Model 2와 Model 3이 같은 값을 가지는데, 레이블링 데이터에서 화재의 객체 수가 적고 화재에 대한 학습 난이도가 낮기 때문에 3개의 모델이 모두 주어진 데이터에서 화재 객체에 대하여 완전하게 학습되었다.

3.2.4 오탐지 데이터의 인식개수 평가

레이블링 데이터를 재추론함으로써 차량 객체인식 성능의 향상, 보행자 오탐지의 저감에 따른 보행자 객체인식 성능의 향상, 일관성 있게 유지된 화재의 객체인식 성능을 확인할 수 있었다. 그러나 보행자 오탐지와 화재 오탐지의 저감 성능을 직접적으로 확인하기 위해서는 오탐지 데이터를 직접 추론하는 작업과 현장에 오탐지를 포함하여 적용한 딥러닝 모델을 모니터링하는 작업이 필요하다.

딥러닝 모델에 대한 보행자 오탐지 저감성능에 대한 평가는 표 5와 같이 오탐지 데이터를 포함한 Model 2와 Model 3을 대상으로 하였으며, 각각 Model 2에서 학습된 보행자 오탐지 데이터 1357개와 Model 3에서 사용된 보행자 오탐지 데이터 9358개에 대하여 재추론하였다.

Target model	Number of detected persons as FP
	1357 Negative examples	9358 Negative examples
Model2	329	3270
Model3	34	466

보행자 오탐지 데이터에 대한 재추론 결과는 Model 3가 훨씬 우수한 오탐지 저감성능을 보였다. 먼저 1357개의 보행자 오탐지에 대하여 추론한 경우, Model 2의 329개와 비교하여 Model 3은 34개만 오탐지가 발생하였다. 그리고 9358개의 보행자 오탐지를 추론한 결과, Model 2는 3270개의 보행자 오탐지를 발생시켰으며, Model 3은 466개의 보행자 오탐지만 발생하였다. 종합적으로 판단하면 Model 2는 추론 대상 보행자 오탐지 데이터의 24%, 35%의 비율로 보행자 오탐지를 발생시켰지만, Model 3은 2.5%, 5%의 비율만 보행자 오탐지를 발생시켰다. 따라서 Model 2보다 많은 보행자 오탐지 데이터를 추가하여 학습한 Model 3의 보행자 오탐지의 저감성능이 뛰어나다고 할 수 있다.

도 11은 딥러닝 모델의 현장 적용에 대한 모니터링 현황을 보여주는 그래프이다.

도 11을 참조하면, 화재 오탐지의 저감성능 확인을 위한 딥러닝 모델 현장 적용에 대한 모니터링 현황으로, 도 5에서 화재에 대한 모니터링 현황과 이어지며, 딥러닝 모델의 현장 설치 후 55일까지 모델1을 사용하고 56일부터 모델2를 사용하였다.

그 결과, 모델1에서는 최대 120개, 보통 0~40개의 화재 오탐지가 발생되었지만, 모델2를 적용한 시점 이후로 0~3개의 화재 오탐지만 발생되었다. 모델2에서 사용된 화재 오탐지의 데이터 개수는 FP data 1에서 691개인데, 이 데이터만으로도 확실하게 화재 오탐지를 저감시킬 수 있었다. 그러나 화재 레이블링 데이터의 개수는 857개로 많지 않은 편이므로 보행자 오탐지와 비교하면 화재 오탐지의 저감이 훨씬 용이한 것으로 판단할 수 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 영상 획득부
200: 데이터 구축부
300: 모델 학습부
400: 객체 추론부
500: 오탐지 정의부

Claims (12)

1. 영상을 획득하는 영상 획득부;
   상기 영상 획득부로부터 획득된 기준 영상을 기초로 학습용 영상 빅데이터를 구축하고 상기 구축된 학습용 영상 빅데이터의 상기 기준 영상으로부터 학습 대상 객체를 추출하여 상기 추출된 학습 대상 객체를 기초로 딥러닝 모델을 학습시키는 모델 학습부;
   상기 학습된 딥러닝 모델을 기초로 상기 영상 획득부로부터 제공 받는 감시 영상 내 대상 객체를 추론하여 상기 추론된 결과로 유고상황 데이터를 생성하는 객체 추론부; 및
   상기 생성된 유고상황 데이터를 정탐지 데이터와 오탐지 데이터로 분류하고, 상기 분류된 오탐지 데이터를 미리 정해진 오탐지 대상 객체에 대한 적어도 하나의 객체 오탐지 데이터로 정의하는 오탐지 정의부를 포함하고,
   상기 미리 정해진 오탐지 대상 객체는 제1 대상 객체와 제2 대상 객체를 포함하고,
   상기 오탐지 데이터는 오탐지된 영상과 상기 오탐지 영상 내 오탐지 대상 객체에 대한 레이블링 정보를 포함하고,
   상기 오탐지 정의부는,
   상기 오탐지 데이터를 상기 제1 대상 객체와 상기 제2 대상 객체 중 적어도 상기 제2 대상 객체에 대한 객체 오탐지 데이터로 정의하되,
   상기 오탐지 대상 객체가 상기 제1 대상 객체인 경우 해당 대상 객체의 레이블링 정보를 제거하고,
   상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 해당 대상 객체의 레이블링 정보 중 객체 클래스명을 오탐지 대상 객체임을 나타내기 위한 오류객체로 변경하여 상기 객체 오탐지 데이터로 정의하고,
   상기 모델 학습부는,
   상기 학습용 영상 빅데이터에 상기 정의된 적어도 하나의 객체 오탐지 데이터를 추가시켜 상기 딥러닝 모델을 재 학습시키는, 딥러닝 모델을 학습시키기 위한 장치.
2. 제1항에 있어서,
   상기 오탐지 정의부는,
   상기 유고상황 데이터로부터 정탐지와 오탐지를 사용자로부터 지정받아 상기 정탐지 데이터와 상기 오탐지 데이터를 분류하는, 딥러닝 모델을 학습시키기 위한 장치.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 오탐지 정의부는,
   상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 상기 오탐지 영상의 해당 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역을 제거하는, 딥러닝 모델을 학습시키기 위한 장치.
6. 제5항에 있어서,
   상기 오탐지 정의부는,
   상기 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역이 모두 제거된 오탐지 영상과 상기 변경된 레이블링 정보를 포함하는 오탐지 데이터를 해당 오탐지 객체 대상에 대한 오탐지 데이터로 정의하는, 딥러닝 모델을 학습시키기 위한 장치.
7. 영상 획득부로부터 획득된 기준 영상을 기초로 학습용 영상 빅데이터를 구축하고 상기 구축된 학습용 영상 빅데이터의 상기 기준 영상으로부터 학습 대상 객체를 추출하여 상기 추출된 학습 대상 객체를 기초로 딥러닝 모델을 학습시키는 단계;
   상기 학습된 딥러닝 모델을 기초로 상기 영상 획득부로부터 제공 받는 감시 영상 내 대상 객체를 추론하여 상기 추론된 결과로 유고상황 데이터를 생성하는 단계; 및
   상기 생성된 유고상황 데이터를 정탐지 데이터와 오탐지 데이터로 분류하고, 상기 분류된 오탐지 데이터를 미리 정해진 오탐지 대상 객체에 대한 적어도 하나의 객체 오탐지 데이터로 정의하는 단계; 및
   상기 정의된 적어도 하나의 객체 오탐지 데이터를 상기 학습용 영상 빅데이터에 추가시켜 상기 딥러닝 모델을 재 학습시키는 단계를 포함하고,
   상기 미리 정해진 오탐지 대상 객체는 제1 대상 객체와 제2 대상 객체를 포함하고,
   상기 오탐지 데이터는 오탐지된 영상과 상기 오탐지 영상 내 오탐지 대상 객체에 대한 레이블링 정보를 포함하고,
   상기 정의하는 단계에서는,
   상기 오탐지 데이터를 상기 제1 대상 객체와 상기 제2 대상 객체 중 적어도 상기 제2 대상 객체에 대한 객체 오탐지 데이터로 정의하고,
   상기 오탐지 대상 객체가 상기 제1 대상 객체인 경우 해당 대상 객체의 레이블링 정보를 제거하고,
   상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 해당 대상 객체의 레이블링 정보 중 객체 클래스명을 오탐지 대상 객체임을 나타내기 위한 오류객체로 변경하여 상기 객체 오탐지 데이터로 정의하는, 딥러닝 모델을 학습시키기 위한 방법.
8. 제7항에 있어서,
   상기 정의하는 단계에서는,
   상기 유고상황 데이터로부터 정탐지와 오탐지를 사용자로부터 지정받아 상기 정탐지 데이터와 상기 오탐지 데이터를 분류하는, 딥러닝 모델을 학습시키기 위한 방법.
9. 삭제
10. 삭제
11. 제7항에 있어서,
    상기 정의하는 단계에서는,
    상기 오탐지 대상 객체가 상기 제2 대상 객체인 경우 상기 오탐지 영상의 해당 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역을 제거하는, 딥러닝 모델을 학습시키기 위한 방법.
12. 제11항에 있어서,
    상기 정의하는 단계에서는,
    상기 오탐지 대상 객체가 존재하는 영역을 제외한 나머지 영역이 모두 제거된 오탐지 영상과 상기 변경된 레이블링 정보를 포함하는 오탐지 데이터를 해당 오탐지 객체 대상에 대한 오탐지 데이터로 정의하는, 딥러닝 모델을 학습시키기 위한 방법.

Images