KR101963308B1 - 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법 - Google Patents

Abstract

실시예에 의한 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법이 개시된다. 상기 이동객체 및 돌발상황 감시 시스템은 영상을 획득하는 영상 획득부; 미리 정해진 열악한 환경 조건 하에서 상기 영상 획득부로부터 획득된 기준 영상을 수집하고, 상기 수집된 기준 영상을 기초로 가상의 기준 영상을 생성하여 학습용 기준 영상 빅데이터를 구축하여 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하고, 상기 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 상기 추출된 기준 이동 객체를 기초로 딥 러닝 학습을 수행하는 객체 학습부; 상기 딥 러닝 학습을 수행한 결과를 기초로 상기 영상 획득부로부터 제공 받는 제1 촬영 영상 내 이동 객체를 추론하고 상기 추론된 이동 객체의 정보를 상기 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성하는 객체 추론부; 및 상기 생성된 제2 촬영 영상을 표시하는 영상 표시부를 포함하고, 상기 객체 학습부는 상기 객체 추론부에서 추론된 이동 객체의 정보를 상기 학습용 기준 영상 빅데이터에 추가시켜 상기 학습용 기준 영상 빅데이터를 확장시킨다.

Description

열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법{SYSTEM FOR MONITORING MOVING OBJECT AND INCIDENT IN IMAGE USING DEEP LEARNING UNDER ADVERSE ENVIRONMENTS AND METHOD THEREOF}

실시예는 돌발상황 감시 기법에 관한 것으로, 보다 상세하게는 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법에 관한 것이다.

영상기술 및 장비가 발달함에 따라 촬영된 영상을 분석하여 객체를 검출 및 추적하여 이벤트를 감지하는 영상 감시 기술의 수요도가 기하급수적으로 증가하고 있다. 이러한 이벤트로는 교통 흐름과 돌발 상황 등을 포함할 수 있는데, 돌발 상황이란 도로상에서 발생되는 비반복적이고 예측 불가능한 일련의 사건으로, 예를들어, 차량의 지정체, 교통 사고, 도로 공사, 차량의 고장 등으로 인한 차로의 차단, 도로상의 장애물 존재, 도로의 유지 보수 작업, 기타 비일상적인 사건 등이 포함된다.

돌발 상황이 발생하게 되면, 교통류의 정상 흐름이 와해되고, 도로의 용량은 감소하게 되며, 교통 혼잡과 대기 오염 등 막대한 사회적, 경제적인 손실을 초래하게 된다. 그러므로 예측 불가능한 돌발 상황에 대해 효과적인 대응을 하기 위해서는 보다 신속하고 정확한 돌발 상황의 검지가 요구된다.

최근 교통 분야에서는 교통 사고의 위험 감소와 교통 정체를 해결하기 위하여 교통 체계를 지능화하여 교통 운영의 효율성을 확보하고, 교통 안전 및 환경 개선을 위한 지능형 교통 체계(Intelligent Transportation Systems: ITS) 사업이 활발히 진행되고 있다. ITS 사업에서는 교통 혼잡을 완화시키기 위한 핵심 방안 중 하나로 돌발 상황 검지 시스템을 구축하고 있다.

하지만, 기존의 돌발 상황 검지 시스템은 CCTV 영상을 이용하기 때문에, 호우, 강설 등 악천후, 저조도, 먼지, 낮은 설치 위치 등 열악한 환경 조건 하에서 인식률이 매우 낮다는 문제점이 있다.

공개특허공보 제10-2009-0118582호 등록특허공보 제10-1852057호

실시예는 열악한 환경 조건 하에서 돌발 상황 인식률을 확보할 수 있는 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템 및 그 방법을 제공할 수 있다.

본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 시스템은, 영상을 획득하는 영상 획득부; 미리 정해진 열악한 환경 조건 하에서 상기 영상 획득부로부터 획득된 기준 영상을 수집하고, 상기 수집된 기준 영상을 기초로 가상의 기준 영상을 생성하여 학습용 기준 영상 빅데이터를 구축하고 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하고, 상기 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 상기 추출된 기준 이동 객체를 기초로 딥 러닝 학습을 수행하는 객체 학습부; 상기 딥 러닝 학습을 수행한 결과를 기초로 상기 영상 획득부로부터 제공 받는 제1 촬영 영상 내 이동 객체를 추론하고 상기 추론된 이동 객체의 정보를 상기 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성하는 객체 추론부; 및 상기 생성된 제2 촬영 영상을 표시하는 영상 표시부를 포함하고, 상기 객체 학습부는 상기 추론된 이동 객체의 정보를 상기 학습용 기준 영상 빅데이터에 추가시켜 상기 학습용 기준 영상 빅데이터를 확장시킬 수 있다.

상기 영상 획득부로부터 획득된 기준 영상을 수집하는 수집부; 상기 수집된 기준 영상을 컴퓨터 그래픽 기법을 이용하여 왜곡시키거나 다른 영상을 합성시켜 가상의 기준 영상을 생성하여 상기 기준 영상과 상기 가상의 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축하는 생성부; 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하여 왜곡 영상을 생성하고, 상기 생성된 왜곡 영상으로부터 기준 이동 객체의 영상을 추출하여 기준 이동 객체 데이터셋을 구축하는 추출부; 및 상기 구축된 기준 이동 객체 데이터 셋을 기초로 상기 딥 러닝 학습을 수행하는 학습부를 포함할 수 있다.

상기 추출부는 상기 수집된 기준 영상 내 관심 영역을 사용자로부터 지정받고, 상기 기준 영상으로부터 상기 지정 받은 관심 영역의 영상을 추출할 수 있다.

상기 추출부는 상기 수집된 기준 영상의 왜곡을 보정하고, 상기 왜곡이 보정된 기준 영상으로부터 상기 관심 영역의 영상을 추출할 수 있다.

상기 추출부는 상기 왜곡 영상 내 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행하고, 그 수행한 결과로 감시 대상인 기준 이동 객체의 영상을 추출하여 상기 추출된 기준 이동 객체의 영상을 포함하는 상기 기준 이동 객체 데이터 셋을 구축할 수 있다.

상기 추출부는 사용자로부터 입력받은 정보를 기초로 상기 왜곡 영상 내 적어도 하나의 기준 이동 객체 각각에 대한 레이블링을 수행할 수 있다.

상기 객체 추론부는 상기 추론된 이동 객체의 정보를 기초로 상기 이동 객체의 차종에 따른 형상을 상기 제1 촬영 영상 내 해당 위치에 결합할 수 있다.

본 발명의 다른 실시예에 따른 이동객체 및 돌발상황 감시 방법은, 미리 정해진 열악한 환경 조건 하에서 미리 획득된 기준 영상을 수집하고, 상기 수집된 기준 영상을 기초로 가상의 기준 영상을 생성하여 학습용 기준 영상 빅데이터를 구축하는 단계; 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하고, 상기 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 상기 추출된 기준 이동 객체를 기초로 딥 러닝 학습을 수행하는 단계; 상기 영상 획득부로부터 획득된 촬영 영상을 제공받으면, 상기 딥 러닝 학습을 수행한 결과를 기초로 상기 제공 받는 제1 촬영 영상 내 이동 객체를 추론하는 단계; 상기 추론된 이동 객체의 정보를 상기 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성하는 단계; 상기 생성된 제2 촬영 영상을 표시하는 단계; 및 상기 추론된 이동 객체의 정보를 상기 학습용 기준 영상 빅데이터에 추가시켜 상기 학습용 기준 영상 빅데이터를 확장시키는 단계를 포함할 수 있다.

상기 구축하는 단계는 상기 수집된 기준 영상을 컴퓨터 그래픽 기법을 이용하여 왜곡시키거나 다른 영상을 합성시켜 가상의 기준 영상을 생성하여 상기 기준 영상과 상기 가상의 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축할 수 있다.

상기 수행하는 단계는 상기 기준 영상으로부터 추출된 관심 영역의 영상을 좌표 변환하여 왜곡 영상을 생성하고, 상기 생성된 왜곡 영상으로부터 상기 기준 이동 객체의 영상을 추출하여 기준 이동 객체 데이터셋을 구축할 수 있다.

상기 수행하는 단계는 상기 왜곡 영상 내 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행하고, 그 수행한 결과로 감시 대상인 기준 이동 객체의 영상을 추출하여 상기 추출된 기준 이동 객체의 영상을 포함하는 상기 기준 이동 객체 데이터 셋을 구축할 수 있다.

상기 생성하는 단계에서는 상기 추론된 이동 객체의 정보를 기초로 상기 이동 객체의 차종에 따른 형상을 상기 제1 촬영 영상 내 해당 위치에 결합할 수 있다.

실시예에 따르면, 미리 정해진 열악한 환경 조건 하에서 획득된 기준 영상 내 관심 영역의 영상을 추출하여 재 구성하고 재 구성된 관심 영역의 영상으로부터 이동 객체를 추출하여 추출된 이동 객체의 데이터 셋을 기초로 딥 러닝 학습을 수행한 후 실시간으로 획득된 촬영 영상 내 이동 객체를 추론하여 그 추론된 이동 객체의 정보를 촬영 영상에 결합하여 표시하도록 함으로써, 이동 객체 및 돌발 상황의 인식률을 높일 수 있다.

실시예에 따르면, 딥 러닝 학습을 수행한 결과를 기초로 이동 객체 및 돌발 상황의 인식률이 높이지기 때문에, 돌발 상황에 대한 즉각적인 대응이 가능할 수 있다.

실시예에 따르면, 영상 획득부를 이용하여 획득한 기준 영상과 함께 그 기준 영상을 왜곡시키거나 다른 영상과 합성시킨 가상의 기준 영상을 추가 생성하여 사용하고 실시간으로 획득된 기준 영상에서 추론된 이동 객체의 정보를 추가하여 사용하기 때문에, 다양한 열악한 환경 조건 하에서의 이동 객체에 대한 인식률을 확보할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 시스템을 나타내는 도면이다.
도 2는 도 1에 도시된 객체 학습부의 상세한 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 왜곡 영상 생성 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 왜곡 영상 생성 원리를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 객체 추론부의 상세한 구성을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 구축된 감시 시스템을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 딥 러닝 학습 과정을 설명하기 위한 도면이다.
도 9는 Pascal VOC dataset의 라벨 구성과 그 포맷을 설명하기 위한 도면이다.
도 10은 시나리오에 따른 딥 러닝 학습 및 추론 모델을 설명하기 위한 도면이다.
도 11은 도 10에 도시된 TS1 모델의 학습 횟수에 따른 AP 값의 변화를 보여주는 도면이다.
도 12는 도 10에 도시된 TS2 모델의 학습 횟수에 따른 AP 값의 변화를 보여주는 도면이다.
도 13 내지 도 16은 학습 모델에 의해 추론된 객체 영상을 보여주는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

실시예에서는 미리 정해진 열악한 환경 조건 하에서 획득된 기준 영상 내 관심 영역의 영상을 추출하여 재 구성하고 재 구성된 관심 영역의 영상으로부터 이동 객체를 추출하여 추출된 이동 객체의 데이터 셋을 기초로 딥 러닝 학습을 수행한 후 실시간으로 획득된 촬영 영상 내 이동 객체를 추론하여 그 추론된 이동 객체의 정보를 촬영 영상에 결합하여 표시하도록 한, 새로운 돌발상황 감시 방안을 제안한다.

이때, 열악한 환경 조건(호우 및 강설등과 같은 악천후, 낮은 조도, 짙은 먼지, 낮은 설치위치로 인한 심한 원근현상)은 시야 확보가 어려운 환경 조건으로, 예컨대, 뿌연 먼지나 연기로 인해 시야 확보가 어려운 환경 조건과, 터널 내부 또는 야간 시간대의 낮은 조도로 인해 시야 확보가 어려운 환경 조건과, CCTV의 설치 위치가 낮아 이동객체가 심하게 겹침으로 인해 시야 확보가 어렵고 원근감이 심해 동일 영상 내 동일 객체의 크기 변화가 심한 환경 조건과, 비, 눈, 우박 등의 악천후로 인해 시야 확보가 어려운 환경 조건을 포괄하는 개념이다.

딥러닝 학습 및 추론 성능은 학습에 사용되는 영상 빅데이터의 양과 질에 좌우되므로, 상기한 모든 열악한 환경조건이 학습에 사용되는 영상에 충분히 반영되어 있어야 한다. 따라서, 본 실시예에서는 한두가지의 열악한 환경 조건에서 CCTV로 촬영된 기준 영상을 기초로 일반적인 컴퓨터 그래픽기법을 활용해 인위적으로 밤과 낮, 외부와 내부 상황의 조도를 조절해 원본 영상인 기준 영상을 왜곡시켜 가상의 기준 영상을 추가로 만들거나, 기 확보된 열악한 환경 조건의 원본 영상인 기준 영상과 호우나 강설 등의 영상과의 합성을 통해 인위적으로 가상의 기준 영상을 추가로 만들어, 열악한 환경 조건 하에서 CCTV로 촬영된 기준 영상과 기준 영상을 왜곡시키거나 합성시켜 생성된 가상의 기준 영상을 포함하는 학습용 영상 빅데이터를 구축하여 사용한다.

또한, 본 실시예에서는 원본 영상에 원근감을 감안하여 임의 형태의 관심 영역을 설정하여 왜곡시킴으로써, 동일한 객체이지만 멀리 있어 작게 보이는 객체와 가까이 있어 크게 보이는 객체의 크기를 유사하게 하여 딥러닝 학습에 사용한다. 동일 영상내에 겹쳐 보이는 객체들은 겹쳐 보이는 상황을 감안하여 각각의 객체들을 개별적으로 박스(Bounding Box: BB)와 레이블링으로 객체를 정의하여 학습에 사용한다. 이때, 동일한 영상의 객체들은 촬영 당시의 기존 열악한 환경 조건에 더하여 인위적으로 만들어낸 다양한 열악한 환경을 배경으로 한 객체 영상들도 인위적으로 만들어 내어 딥러닝 학습에 사용함으로써, 실제 현장에서 보여질 수 있는 다양한 열악한 환경 조건 하에서의 이동객체 인식율을 확보할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 시스템을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 시스템은 영상 획득부(100), 객체 학습부(200), 객체 저장부(300), 객체 추론부(400), 영상 표시부(500)를 포함하여 구성될 수 있다.

영상 획득부(100)는 서로 다른 위치에 설치되어, 도로 상의 영상을 획득할 수 있다. 이러한 영상 획득부(100)는 예컨대, CCTV(Closed Circuit Television)를 포함할 수 있다.

객체 학습부(200)는 미리 정해진 열악한 환경 조건 하에서 미리 획득된 기준 영상을 수집하고 기준 영상을 왜곡시키거나 합성시킨 가상 기준 영상을 생성하여 기준 영상과 가상 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축하고, 구축된 학습용 기준 영상 빅데이터를 기초로 기준 영상과 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 추출된 관심 영역의 영상을 좌표 변환하고, 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 기준 이동 객체 데이터 셋을 구축할 수 있다. 객체 학습부(200)는 구축된 기준 이동 객체 데이터 셋을 기초로 딥 러닝 학습을 수행할 수 있다.

객체 저장부(300)는 추출된 기준 이동 객체 데이터 셋을 저장 및 갱신할 수 있다.

객체 추론부(400)는 딥 러닝 학습을 수행한 결과를 기초로 영상 획득부(100)로부터 제공 받는 제1 촬영 영상 내 이동 객체를 추론하고 추론된 이동 객체의 정보를 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성할 수 있다.

이때, 객체 추론부(400)는 딥 러닝 학습이 수행된 이후에, 영상 획득부(100)로부터 실시간으로 획득된 제1 촬영 영상을 제공 받으면, 딥 러닝 학습을 수행한 결과를 기초로 실시간으로 제공 받는 제1 촬영 영상 내 이동 객체를 추론한다.

또한, 객체 추론부(400)는 추론된 이동 객체의 정보를 기초로 이동 객체의 차종에 따른 형상을 제1 촬영 영상 내 해당 위치에 결합하여 제2 촬영 영상을 생성한다.

영상 표시부(500)는 객체 추론부(400)로부터 생성된 제2 촬영 영상을 제공 받아 제공받은 제2 촬영 영상을 화면 상에 표시할 수 있다. 이렇게 화면 상에 표시되는 영상을 통해, 관리자는 도로 상의 이동 객체를 인식하고 돌발 상황을 모니터링할 수 있다.

도 2는 도 1에 도시된 객체 학습부의 상세한 구성을 나타내는 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 학습부(200)는 이동 객체의 데이터 셋을 구축하고, 그 구축된 이동 객체의 데이터 셋에 대한 딥 러닝 학습을 수행하고, 수집부(210), 생성부(212), 추출부(220), 학습부(230)를 포함하여 구성될 수 있다.

수집부(210)는 영상 획득부(100)와 연동하고, 미리 정해진 열악한 환경 조건 하에서 영상 획득부(100)로부터 미리 획득된 기준 영상을 수집할 수 있다. 이러한 기준 영상은 미리 정해진 기준 이동 객체를 포함하는 영상일 수 있다.

생성부(212)는 수집된 기준 영상을 기초로 일반적인 컴퓨터 그래픽 기법을 활용해 인위적으로 밤과 낮, 외부와 내부 상황의 조도를 조절해 원본 영상인 기준 영상을 왜곡시켜 가상의 기준 영상을 추가로 생성하거나, 원본 영상인 기준 영상과 호우나 강설 등의 영상과의 합성을 통해 인위적으로 가상의 기준 영상을 추가로 생성할 수 있다.

생성부(212)는 동일한 영상의 이동 객체들이 다수의 열악한 환경을 배경으로 하는 기준 영상에 포함되도록, 수집된 기준 영상에 그 기준 영상을 왜곡시키거나 합성시킨 가상의 기준 영상을 추가 생성하여, 학습용 기준 영상 빅데이터를 구축할 수 있다.

생성부(212)는 객체 추론부의 추론부로부터 추론된 이동 객체의 정보를 제공 받아 미리 구성된 학습용 기준 영상 빅데이터에 추가시켜 학습용 기준 영상 빅데이터를 확장시킬 수 있다.

추출부(220)는 구축된 학습용 기준 영상 빅데이터를 기초로 기준 영상과 가상의 기준 영상 각각으로부터 관심 영역(Region of Interest) 영상을 추출할 수 있다. 예컨대, 추출부(220)는 미리 지정된 영역의 영상을 관심 영역 영상으로 추출하거나, 사용자에 의해 지정된 영역의 영상을 관심 영역 영상으로 추출할 수 있다.

이때, 추출부(220)는 영상 획득부에 의해 획득된 기준 영상의 왜곡을 보정한 후 보정된 기준 영상으로부터 관심 영역을 추출할 수 있다. 이러한 영상의 왜곡은 예컨대, 영상 획득부의 설치 위치나 촬영 방향에 따라 발생할 수 있는 왜곡, 쏠림 또는 흔들림에 따라 발생할 수 있는 왜곡 등을 포함할 수 있다.

추출부(220)는 추출된 관심 영역 영상 내 적어도 일부 영역의 좌표를 변환하여 왜곡 영상을 생성하고, 생성된 왜곡 영상으로부터 적어도 하나의 기준 이동 객체를 추출하고, 추출된 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행할 수 있다.

이때, 컴퓨터 그래픽 기법을 도입하여 생성된 영상인 경우라도 원본 영상 내 이동객체의 크기와 위치는 변화가 없으므로 레이블링의 노력이 추가로 요구되지는 않는다.

이렇게 레이블링을 수행하는 이유는 추출된 기준 이동 객체가 차량이나 사람이 아닌 곤충, 새, 동물일 수 있기 때문에 감시 대상이 아닌 객체를 제외시키기 위함이다.

이때, 이동 객체에 대한 정확한 레이블링을 하기 위해 추출부(220)는 추출된 적어도 하나의 기준 이동 객체에 대한 사용자의 입력 정보를 기초로 레이블링을 수행할 수 있다. 즉, 사용자가 추출된 기준 이동 객체가 감시 대상인지 아닌지를 직접 결정하도록 한다. 여기서, 입력 정보는 종류(차량, 사람, 낙하물, 지장물 등), 위치, 크기, 및 유형(정주행, 정지 상태, 역주행, 화재 등) 등의 정보를 포함할 수 있다.

추출부(220)는 레이블링된 기준 이동 객체 중 감시 대상인 기준 이동 객체를 추출하고 추출된 기준 이동 객체를 객체 저장부에 저장하여 이동 객체의 데이터 셋을 구축할 수 있다.

학습부(230)는 구축된 기준 이동 객체의 데이터 셋을 기초로 딥 러닝 학습을 수행할 수 있다.

도 3은 본 발명의 일 실시예에 따른 왜곡 영상 생성 원리를 설명하기 위한 도면이다.

도 3의 (a)를 참조하면, 추출부(220)는 수집부로부터 기준 영상(1)을 제공받으면 제공받은 기준 영상(1)으로부터 이동 객체(A, B)가 존재하는 관심 영역(10)을 사용자로부터 지정받을 수 있다.

도 3의 (b)를 참조하면, 추출부(220)는 사용자에 의해 지정받은 관심 영역의 영상(10)을 추출할 수 있다.

이렇게 추출된 관심 영역의 영상(10) 내 이동 객체(A, B)는 원근법에 의해 위치에 따라 상대적으로 크기가 작을 수 있어 크기가 작은 이동 객체(B)가 감시 대상인지를 식별하기에 한계가 있다. 따라서 본 발명에서는 관심 영역 내 위치에 상관없이 소정 크기 이상의 이동 객체를 얻고자 관심 영역의 영상을 변환시키고자 한다.

도 3의 (c)를 참조하면, 추출부(220)는 추출된 관심 영역의 영상의 적어도 일부 영역의 좌표를 변환하여 왜곡 영상(10')을 생성할 수 있다. 이때, 관심 영역의 영상의 좌표가 변환되기 때문에 왜곡 영상(10') 내 이동 객체(A', B')도 변환될 수 있다. 즉, 왜곡 영상(10') 내 이동 객체(A', B')는 모두 식별 가능할 수 있다.

도 4는 본 발명의 다른 실시예에 따른 왜곡 영상 생성 원리를 설명하기 위한 도면이다.

도 4의 (a)를 참조하면, 영상 획득부의 설치 위치가 낮아 이동객체가 심하게 겹치는 경우, 추출부(220)는 수집부로부터 기준 영상(1)을 제공받으면 제공받은 기준 영상(1)으로부터 이동 객체(A, B)가 존재하는 관심 영역(10)을 사용자로부터 지정받을 수 있다.

도 4의 (b)를 참조하면, 추출부(220)는 사용자에 의해 지정받은 관심 영역의 영상(10)을 추출할 수 있다. 그리고 추출부(220)는 심하게 겹쳐진 이동 객체(B)를 사용자에 의해 미리 정해진 객체에 대한 정보 예컨대, 박스(Bounding Box: BB)로 정의할 수 있다.

도 4의 (c)를 참조하면, 추출부(220)는 추출된 관심 영역의 영상의 적어도 일부 영역의 좌표를 변환하여 왜곡 영상(10')을 생성할 수 있다. 이때, 관심 영역의 영상의 좌표가 변환되기 때문에 왜곡 영상(10') 내 이동 객체(A', B')도 변환될 수 있다. 즉, 왜곡 영상(10') 내 이동 객체(A', B')는 모두 식별 가능할 수 있다.

도 5는 도 1에 도시된 객체 추론부의 상세한 구성을 나타내는 도면이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 객체 추론부(400)는 딥 러닝 학습을 수행한 결과를 기초로 실시간 수신되는 제1 촬영 영상에서 적어도 하나의 이동 객체를 추론하고, 수신부(410), 추론부(420), 결합부(430)를 포함하여 구성될 수 있다.

수신부(410)는 영상 획득부(100)와 연동하고, 영상 획득부(100)로부터 획득된 제1 촬영 영상을 수신할 수 있다.

추론부(420)는 수신부(410)로부터 제1 촬영 영상을 제공 받고, 딥 러닝 학습을 수행한 결과를 기초로 제1 촬영 영상 내 이동 객체를 추론 또는 추정할 수 있다.

이때, 추론부(420)는 추론된 이동 객체의 정보를 결합부(430)에 제공할 뿐 아니라, 객체 학습부의 생성부에도 제공하여 학습용 기준 영상 빅데이터를 확장시키도록 한다.

결합부(430)는 추론부(420)로부터 추론된 이동 객체의 정보를 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성할 수 있다.

그 일예로, 결합부(430)는 추론된 이동 객체의 정보를 기초로 이동 객체의 차종에 따른 형상을 제1 촬영 영상 내 해당 위치에 결합하여 제2 촬영 영상을 생성한다.

다른 예로, 결합부(430)는 추론된 이동 객체의 정보를 기초로 제1 촬영 영상 내에 이동 객체의 차종과 위치 정보가 표시되도록 결합하여 제2 촬영 영상을 생성한다.

도 6은 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 방법을 나타내는 도면이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 이동객체 및 돌발상황 감시 방법은 기준영상 수집단계(S100), 빅데이터 생성부(S120), 이동객체 추출단계(S200), 딥러닝 학습단계(S300), 제1 촬영영상 수신단계(S400), 이동객체 추론단계(S500), 제2 촬영영상 생성단계(S600), 제2 촬영영상 표시단계(S700)를 포함할 수 있다.

기준영상 수집단계(S100)에서, 본 발명의 이동객체 및 돌발상황 감시 시스템(이하, 감시 시스템이라고 한다)은 미리 정해진 열악한 환경 조건 하에서 획득된 기준 영상을 수집할 수 있다.

빅데이터 생성부(S120)에서, 감시 시스템은 수집된 기준 영상을 왜곡시키거나 다른 영상과 합성시켜 가상의 기준 영상을 추가 생성하고, 기준 영상과 가상의 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축할 수 있다.

이동객체 추출단계(S200)에서, 감시 시스템은 수집한 기준 영상으로부터 관심 영역의 영상을 추출하여 추출된 관심 영역의 영상으로부터 기준 이동 객체를 추출할 수 있다.

구체적으로 설명하면, 감시 시스템은 기준 영상으로부터 관심 영역의 영상을 추출하고(S210) 그 추출된 관심 영역의 영상의 적어도 일부 영역의 좌표를 변환하여 왜곡 영상을 생성할 수 있다(S220). 감시 시스템은 생성된 왜곡 영상 내 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행하고(S230), 그 수행한 결과로 감시 대상인 기준 이동 객체를 추출할 수 있다(S240). 그리고 감시 시스템은 추출된 기준 이동 객체를 기초로 기준 이동 객체 데이터 셋을 구축할 수 있다(S250).

딥러닝 학습단계(S300)에서, 감시 시스템은 구축된 기준 이동 객체 데이터 셋을 기초로 딥 러닝 학습을 수행할 수 있다.

딥 러닝 학습을 수행한 후, 제1 촬영영상 수신단계(S400)에서, 감시 시스템은 영상 획득부로부터 실시간으로 획득된 제1 촬영 영상을 제공받을 수 있다.

이동객체 추론단계(S500)에서, 감시 시스템은 딥 러닝 학습을 수행한 결과를 기초로 실시간으로 제공받는 제1 촬영 영상 내 적어도 하나의 이동 객체를 추론할 수 있다.

제2 촬영영상 생성단계(S600)에서, 감시 시스템은 추론된 이동 객체의 정보를 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성할 수 있다.

제2 촬영영상 표시단계(S700)에서, 감시 시스템은 생성된 제2 촬영 영상을 표시할 수 있다.

이러한 본 발명의 일 실시예에 따라 터널 내부의 열악한 환경 조건 하에서 딥 러닝을 이용한 영상 내 이동객체 및 돌발상황 감시 시스템을 설계 구축하여 성능을 평가하였다.

도 7은 본 발명의 일 실시예에 따라 구축된 감시 시스템을 나타내는 도면이고, 도 8은 본 발명의 일 실시예에 따른 딥 러닝 학습 과정을 설명하기 위한 도면이다.

도 7을 참조하면, 시스템의 첫번째 단계는 딥러닝 학습을 위한 터널 초기 CCTV영상 빅데이터 구성 단계이다. 본 단계에서는 터널 내 설치된 CCTV영상에서 인지코자 하는 관심영역(ROI)의 영상을 정지영상(30frames/초) 형태로 추출한다. 추출된 각 정지영상 내에 포함되어 있는 객체들의 위치 및 크기 정보들을 좌표 형태로 뽑아내고, 각 객체들의 유형(일반이동차량, 사람, 화재발생, 작업차량, 낙하물 등)을 코드화하여 함께 텍스트형태로 파일에 저장한다. 따라서, 각 ROI내 정지영상과 각 영상 내 포함되어 있는 모든 객체들의 정보(위치, 크기 및 유형 정보)군이 쌍을 이루어, 방대한 양의 “영상-객체정보” 빅데이터를 구성한다. 본 초기 단계의 빅데이터 구성은 기존 수학 기반의 이미지 프로세싱 기법을 활용하여 각 영상정보의 특성을 감안하여 요구되는 객체 정보를 뽑아내고, 뽑아진 객체 정보는 해당 영상과 함께 육안으로 확인하며 수동으로 검증하고 자료를 교정하며 양질의 빅데이터를 완성한다. 본 단계의 빅데이터셋은 상기 도 7에서 DS-1으로 표현하였다.

다음의 2단계는 빅데이터(DS-1)의 딥러닝 학습 단계이다. 상기 과정을 통해 작성된 초기 빅데이터(DS-1)을 대상으로 본 발명에서 도입한 Faster R-CNN을 이용하여 터널 내 CCTV영상 내 이동객체 위치 및 유형을 학습시킨다. 이때, 영상의 학습이라 함은, 도 8과 같이 기본 인공신경망의 입력정보(input variable)와 모든 유닛 간 연결선(connection)에 배정되어 있는 가중치(w)들과의 연산을 통해 ‘계산되는 이동객체 위치 정보와 이동객체 유형’과 ‘실제 영상 내에 존재하는 이동객체 위치 및 이동객체 유형’과의 오차(Error)가 최소가 되는 가중치값(w)들의 조합을 찾아내는 것을 의미한다. 이때, 터널 내부의 열악한 환경(먼지, 낮은 조도, 낮은 해상도)이 반영된 터널 내 설치되어 있는 CCTV 영상들이 사전 필터링 없이 있는 그대로 딥러닝 학습에 반영된다.

다음의 3단계는 딥러닝 학습결과(2단계)에 기초한 터널 CCTV 영상 내 실시간 객체 인식 및 유형 추론 단계이다. 터널 내에서 규정에 따라 설치되어 있는 CCTV로부터 실시간으로 촬영되어 얻어지는 영상에서 기 설정된 관심영역 영상을 추출한다. 추출된 ROI영상을 2단계의 딥러닝 학습단계를 통해 얻어진 초기 학습완료 DNN의 입력 자료로 입력되어, 입력 영상 내 객체들을 인식(사각 박스 형태로 위치와 규모를 인식)하고 인식된 객체들의 종류(차량, 사람, 낙하물, 지장물 등)와 유형(정주행, 정지상태, 역주행, 화재 등)를 추론한다. ROI영상 기준으로 추론된 인식 객체 및 특성들은 원 영상으로 역변화되어 실 CCTV영상에 가시화되며, 인식된 객체의 돌발상황이 인지되면 CCTV 모니터링 시스템에 알림과 동시에 관리자에게 경보를 알리게 된다.

다음의 4단계는 영상, 영상 내 객체 및 객체의 특성을 담은 딥러닝 빅데이터 자동 확장 단계이다. 3단계에서 추론된 영상 내 객체와 객체 유형 등의 정보들은 별도 저장공간에 저장되며, 저장된 객체 및 객체 유형 정보들은 개별적으로 별도의 검증 과정(딥러닝을 통해 추론된 객체의 정보(위치, 크기 및 객체의 유형 등)들을 원본 객체 영상과 함께 화면상에 나타내고, 육안으로 확인하여 적절한지 파악하고, 오류가 있는 정보들은 사용자에 의한 입력을 통해 수정된다)을 거쳐 1단계에서 구성된 빅데이터 학습자료(DS-1)와 동일한 포맷으로 재 저장된다. 검증된 추론결과(DS-N, N은 빅데이터 확장 진행횟수)는 기존의 초기 영상 빅데이터인 DS-1과 합쳐져 확장되며, 확장된 빅데이터를 학습자료로 하여 다시 2단계 딥러닝 학습단계를 통해 동일 학습환경으로 학습이 진행된다. 이후, 2단계부터 4단계는 실시간으로 누적된 터널 내 CCTV영상자료와 함께 지속적으로 반복되며, 이에 따라, 터널 내 객체와 객체 특성으로 구성되어 있는 빅데이터는 자동으로 확장되어 반복적으로 학습자료로 활용된다. 또한, 자동으로 확장되는 학습자료의 반복적인 딥러닝 학습을 통해, 터널 내 이동 객체의 인식률 및 인식된 객체의 돌발 상황 인지 성능이 자동으로 향상되어 진화된다.

딥 러닝 기반으로 영상 데이터를 학습하기 위하여 우선 CCTV 동영상을 정지영상 이미지로 분리한 다음, 이미지 상에 존재하는 각 객체의 이름과 좌표 정보들로 구성된 레이블을 작성하여 저장하는 작업을 진행한다. 그리고 딥러닝을 학습하여 추론 모델을 얻어 검증하는 작업을 거친다. 여기서는 빅데이터의 구성, 딥러닝 학습을 위해 설정된 학습 모델과 학습 환경, 딥러닝 학습 결과 및 결과 분석 내용을 살펴본다.

1. 영상 빅데이터 구성 및 특성 분석

1.1 Pascal VOC dataset

본 발명에 적용된 딥러닝 알고리즘인 Faster R-CNN을 포함한 객체 인식 딥러닝 알고리즘은 이미지와 레이블이 한쌍으로 구성된 큰 규모의 이미지-레이블 빅데이터셋을 요구한다. 현재 웹 상에는 범용 객체인식용 데이터셋인 COCO, Pascal VOC, Kitti dataset 등과 같은 공개 데이터 셋들과 그들의 규격들이 공개되어 있다. 이동객체 인식의 용도가 다르다 하더라도 데이터 셋의 규격을 맞춘다면 공개된 이동객체 데이터 셋과 연계할 수 있다. 본 발명에서는 Pascal VOC dataset과 그 규격을 사용하였으며, 각 이미지와 쌍을 이루는 레이블의 구성은 도 9와 같다.

도 9는 Pascal VOC dataset의 라벨 구성과 그 포맷을 설명하기 위한 도면이다.

본 발명에서 사용한 레이블 파일의 포맷은 xml형식이다. 도 9에서와 같이 레이블 파일 내에는 파일 및 이미지의 기본 정보가 기록되어 있으며, 이미지 상에 존재하는 각 객체의 이름이 기록되어 있고, 객체의 위치 및 크기 정보가 하나의 경계박스(bounding-box) 형태로 정의된다. 각 경계박스는 이미지 픽셀 기준으로 최 좌상단을 원점으로 한 이미지 좌표상에서 경계박스의 대각선 양 끝 단의 좌표로 정의된다. 한 레이블 안에 물체가 N개가 있으면 이러한 정보들이 각각 N개가 존재하게 된다.

1.2 CCTV 빅데이터 현황

도로터널 방재시설 설치 및 관리지침(MOLIT, 2016b)에서는 터널 내 영상 돌발 감지 설비 설치 및 운영 시에는 다음의 4개의 영상 돌발 상황을 감지 및 평가 대상 돌발 상황 항목으로 규정하고 있다. 이들은 (1) 터널 내 보행자, (2) 충돌 및 정지차량, (3) 역주행, (4) 화재 상황이다. 이러한 터널 내의 돌발 상황을 학습하기 위해서는 CCTV에서 촬영된 돌발 상황에 대한 영상 데이터가 필요하다. 따라서, 학습자료 확보를 위해 현재 공용중인 터널 관리 현장들을 섭외하여, 영상 돌발 상황이 포함된 방대한 양의 터널 CCTV 영상을 확보하였다. 본 발명에서는 도입된 딥러닝 기반 영상 돌발 학습 개념에 대한 고찰에 중점을 두기 위해 일반 이동 차량과 주요 영상 돌발 대상 객체인 ‘터널 내 보행자’가 존재하는 영상을 일부 발췌하여 딥러닝 학습에 활용하였다. 적용된 데이터는 다음의 [표 1]과 같다.

Dataset ID		The number of Images	Image number	Object type	The number of objects
S1	S1A	2401	0~2400	Car	12314
				Person	500
	S1B	210	2401~2610	Car	1204
				Person	209
S2	S2A	2300	2611~4910	Car	3359
				Person	431
	S2B	809	4911~5719	Car	1378
				Person	215

본 발명에서는 공식 영상 돌발 항목 중 정지 차량과 역주행 차량의 감지는 일반 이동차량 객체를 인식한 후, 감지된 이동 차량 객체의 위치와 크기 정보를 이용하여 차량의 이동 벡터를 계산하고, 현재 정지하고 있는지, 역주행을 하고 있는지를 판단토록 하였다. 따라서, 이동 중인 차량이 정확하게 인식된다면 정지 차량 및 역주행 차량을 정확히 인식할 수 있다고 판단할 수 있다. 이와는 달리, 보행자 및 화재 상황은 각각을 별도의 객체로 정의하여 학습시키고, 일반 차량 경우와 같이 독립된 하나의 객체로 감지해 인식하게 된다. 본 발명에서는 상대적으로 많은 영상을 확보한 ‘보행자’ 영상에 초점을 맞추어 고찰하였다.

본 발명에서는 효과적인 학습 및 추론효과 고찰을 위해 [표 1]과 같이 데이터셋을 구분하여 명명하였다. 먼저 데이터셋 S1과 S2는 각각 다른 터널현장에서 수집한 데이터셋이며, 각 터널현장에서 얻어진 CCTV 동영상(약30 frames/sec)들은 1초에 1개의 정지영상(frame)만을 발췌하여 이미지 데이터셋을 구성하였다. 그리고 동일 터널구간에서는 시간이력별로 A(선)와 B(후)로 나누어 데이터셋을 구분해 명명하였다. 이는 현장 CCTV 운영상황을 감안하여, 학습과 추론 시점에 대한 영향을 고찰하기 위함이다.

1.2 딥러닝 학습 환경 설정

1.2.1 학습 환경

Faster R-CNN을 학습하기 위한 딥러닝 알고리즘 코드는 파이썬2 (Python2) GPU버전의 텐서플로우(Tensorflow) 딥러닝 프레임워크를 이용하여 작성하였으며, 본 코드를 활용한 딥러닝 학습 환경은 다음의 [표 2]와 같다.

Operating system	Lunuxmint 18.2
GPU	NVIDIA GTX 1070 8 Gb
Programming Framework of deep-learning algorithm	Tensorflow 1.3
Code language	Python 2
Training speed	20000 iterations/h

운영체제는 파이선 2 버전의 텐서플로우를 효과적으로 사용하기 위하여 리눅스 환경을 채택하였으며, 적용된 리눅스는 Linuxmint이다. 학습에 사용된 GPU (Graphic Processing Unit)은 엔비디아의 그래픽카드인 GTX 1070을 사용하였고, 딥러닝 프레임워크는 구글에서 제작한 텐서플로우를 사용하여 딥러닝 코드를 제작하였다. 그리고 Faster R-CNN의 학습속도는 측정 결과, 시간당 약 20,000회 반복할 수 있는 학습속도 성능을 보였다. 이는 도입된 딥러닝 알고리즘의 속성상 정지영상 내 포함된 객체의 수와 무관하게 유사한 학습속도를 기대할 수 있다.

1.2.2 Faster R-CNN 및 RPN의 설정 상수

Faster R-CNN과 RPN은 학습을 용이하게 하기 위하여 사전에 보정이 완료된 상수를 사용하며, 본 발명의 학습에 적용된 대표 학습상수들과 적용 값들은 다음의 [표 3], [표 4]와 같다.

Learing rate	0.001
Maximum iteration	50000
Image scale	600
CNN	VGGnet(16layers)

Positive overlap	0.7
Negative overlap	0.3
Post NMS top N	2000

상기 [표 3]에서 학습률(learning rate)은 Fig. 4의 딥러닝 모델 갱신과정에서 갱신 속도를 조절할 수 있는 상수로, 너무 높으면 모델의 수렴이 잘 되지 않으며, 너무 낮으면 모델의 수렴은 되나 수렴 속도가 느려진다. 학습이 종료되는 최대 학습반복회수(maximum iteration)는 5만 번으로 설정하였다. 이미지 크기(image scale)은 이미지를 학습에 반영할 때, 촬영된 CCTV 원영상의 해상도로 학습되는 것이 아니라, 원해상도를 학습 시스템에 설정된 이미지 크기로 일괄적으로 조정하여 학습에 반영된다. CNN은 VGG network를 이용하여 학습하였는데, 이는 VGG network의 구조가 비교적 간단하면서도 모델의 성능이 우수하기 때문이다.

Positive overlap과 Negative overlap은 영역 제안 네트워크(Regional Proposal Network, RPN)에서 요구되는 학습상수이다. 각 이미지 상에서 수 만개의 경계박스가 각 이미지 내 픽셀을 옮겨가며 무작위로 제안되며, 각 경계박스 내에서 객체의 존재 가능성을 0에서 1 사이의 값으로 계산하게 되는데, 계산된 존재 가능성 값을 가지고 제안 경계박스 내 객체가 존재하는지, 아니면 그냥 배경인지를 판단하여야 한다. Positive overlap은 이 값 이상일 때 해당 경계 박스는 객체라고 판단할 수 있고, Negative overlap은 이 값 이하일 때 해당 경계 박스를 배경으로 판단한다. 이와 같이, 영역 제안 네트워크 학습과정 후에는 수 만개의 경계박스가 제안된 상태가 되며, 이 경계박스들을 전부 Faster R-CNN 알고리즘으로 전송하면 너무 과도한 계산이 수행되어야 하므로, 수 만개의 제안된 경계박스 중에서 가장 점수가 높아 객체일 가능성이 높은 N개의 경계박스만 Faster R-CNN 알고리즘으로 전송하여 학습을 진행하게 된다.

1.3 딥러닝 학습 모델 설정 및 학습 결과 분석

1.3.1 학습 모델 설정

학습 모델은 크게 같은 터널 내에서만 학습과 추론이 진행되는 시나리오(Test Scenario 1, TS1)와, 복수의 터널에서 학습이 진행되고 학습에 포함된 각각의 터널에 대해 추론이 진행되는 시나리오(Test Scenario 2, TS2)로 구분하여 설정하였다. 이러한 학습 및 추론 시나리오 모델을 도 9에 도식화하여 나타내었다.

도 10은 시나리오에 따른 딥 러닝 학습 및 추론 모델을 설명하기 위한 도면이다.

도 10을 참조하면, TS1은 S1과 S2 터널에서 수집한 영상자료의 선행 데이터셋인 S1A과 S2A을 각각 학습하고, 각각에 대한 학습 데이터셋을 재추론(re-inference)하여 학습이 충분히 되었는지를 확인한다. 학습되지 않은 후행 데이터셋에 대한 추론을 통해서는 동일 터널조건의 영상이지만 학습에 사용되지 않은 후행 영상에 대한 객체 및 돌발상황 감지 성능을 검토해보고자 하였다. TS2는 일정시간(A) 구간에서 촬영된 가용한 영상 데이터셋 S1A와 S2A 모두를 학습에 사용하였고, 역시 학습에 사용된 각각의 학습자료의 재추론을 통해 학습이 충분히 이루러 졌는지 확인코자 하였고, 이어 학습에 사용되지 않은 시간 구간(B)의 데이터셋에 대한 추론을 통해 추론성능을 검토해 보고자 하였다.

1.3.2 객체인식 추론 성능 분석

본 발명에서는 설정된 각 학습 및 추론 시나리오에 대하여 결과한 학습 및 추론 성능을 AP(Average Precision) 값을 이용하여 고찰하였다. AP값은 학습이 진행된 시점을 기준으로 추론대상 데이터셋에 대해 계산가능하며, 객체의 인식 성능과 인식된 객체의 유형 판단의 정확도를 종합하여 나타내는 지표로 활용될 수 있다. 그리고 각 추론 대상 데이터셋마다 추론대상 객체인 ‘이동차량(car)’과 ‘보행자(person)’에 대해 각각 AP값을 계산하고 비교 검토될 수 있다.

도 11은 도 10에 도시된 TS1 모델의 학습 횟수에 따른 AP 값의 변화를 보여주는 도면이다.

도 11을 참조하면, S1 데이터셋에 대한 학습횟수에 따른 AP값의 변화추이를 나타냈었다. AP값이 1에 가까울수록 추론성능이 좋다고 판단할 수 있다. 학습에 대한 추론은 매 1만 번의 학습횟수 때마다 AP 평가를 진행하였고, 각각 추론할 데이터셋엔 차량 및 사람에 대한 레이블 정보가 모두 존재하므로 객체의 종류마다 AP를 평가하여 도시하였다. S1터널 데이터셋의 경우에 대한 결과를 보면(Fig. 10(a)), 학습된 데이터셋에 대한 재추론은 AP값 0.9 이상 수준으로 매우 높은 추론성능을 보여 학습이 효과적으로 잘 수행되었음을 알 수 있다. 학습되지 않은 B시간구간에서는 차량의 경우, 학습이 되지 않았음에도 AP값이 0.8 이상으로 매우 높은 추론성능을 보여 객체인식이 이루어졌음을 알 수 있다. 하지만 학습되지 않은 구간의 보행자 객체의 인식은 AP값 수준이 0.4 이상 0.6 이하정도로 나타나 상대적으로 낮은 추론성을 보였지만, 학습이 진행되면서 점차 AP값이 향상되고 있는 경향을 보이고 있다.

이와는 달리, 학습된 구간의 차량과 보행자, 그리고 학습에 사용안된 차량의 경우는 30,000회 이상의 학습 이후에는 유사한 AP값 수준으로 추론성능이 수렴되고 있음을 알 수 있다.

S2터널의 데이터셋에 대한 학습의 경우(Fig. 10(b)), 학습에 반영된 구간과 학습에 반영안된 시점 구간의 차량 객체의 추론성능은 AP값이 각각 0.9 이상, 0.7 이상으로 우수한 성능을 보였으며, 10,000회 이상의 학습회수 이후에는 추론성능이 수렴된 것을 알 수 있다. 보행자 객체에 대해서는 학습된 보행자에 대해서는 객체인식 추론성능이 학습이 진행됨에 따라 지속적으로 향상되고 있는 경향을 보이고 있어 궁극적으로 50,000회 이상의 학습단계에서는 0.8수준 이상의 추론성능을 보이고 있다. 하지만, 학습되지 않은 시간구간의 보행자 객체의 경우에서는 S1터널의 경우와 같이 0.4 이하 수준으로 상대적으로 낮은 수준의 추론성능으로 수렴되고 있음을 알 수 있다.

이를 통해, 결론적으로 학습된 객체가 학습되지 않은 객체보다 추론성능이 우수함은 당연히 추론성능 결과를 통해 확인할 수 있으며, 차량의 경우 학습되지 않은 객체에 대해서도 매우 양호한 AP값 수준의 추론성능으로 객체인식이 가능했다. 이를 통해, 상대적으로 가용한 객체의 수가 현저히 적었던(차량 객체의 수의 5% 이하 수준) 보행자의 경우는 상대적으로 낮은 AP수준으로 추론성능을 보였으나, 지속적으로 가용한 보행자 객체의 수가 점차 증가하고, 추가 학습이 진행된다면 학습되지 않은 보행자의 추론성능도 향상될 수 있을 것으로 예측할 수 있다.

도 12는 도 10에 도시된 TS2 모델의 학습 횟수에 따른 AP 값의 변화를 보여주는 도면이다.

도 12를 참조하면, A시간구간 동안 S1터널과 S2터널에서 확보한 데이터셋을 통합하여 학습한 추론 성능 결과를 나타낸다. 학습에 사용된 데이터셋에 대한 재추론 결과, S1터널의 경우는 차량과 보행자 공히 0.8 이상의 AP값으로 매우 우수한 성능의 추론결과를 보였다. S2터널의 경우, 차량 객체에 대한 추론은 0.8 이상으로 매우 우수한 추론 성능을 보였다. 이와는 달리, 보행자의 경우는 상대적으로 낮은 0.6의 AP수준으로 추론성능을 보였으나, 학습이 진행됨에 따라 현격히 추론성능이 향상되고 있는 것을 보이고 있다. 이는 통합된 학습자료를 학습하는 과정에서 S1터널의 객체들과 S2터널의 차량 객체가 우선적으로 학습이 진행되었고, S2터널의 보행자 객체가 후행 하여 점차 학습수준이 향상되고 있음을 알 수 있다. 이는 충분히 추가 학습이 진행된다면 S2터널의 보행자 객체도 S1터널의 보행자 수준으로 재추론 성능을 보일 수 있음을 의미한다. 또한, 서로 다른 CCTV설치 및 촬영 환경에서 촬영된 터널 자료들의 통합 학습 시에도, 각각의 터널 객체에 대한 추론성능은 결코 떨어지지 않고 동일 이상 수준의 추론성능을 보일 수 있음을 알 수 있다.

학습되지 않은 시간구간(B)에 대한 객체인식 추론의 경우, 도 10의 경우와 유사한 추론성능 평가 경향을 보였다. S1 및 S2 양 터널 모두, 차량 객체의 경우는 0.7 이상의 우수한 추론성능을 보였으나, 보행자 객체의 경우는 상대적으로 낮은 추론성능을 보였다. 그리고 S1터널의 보행자 객체의 경우도 20,000회 학습 이후부터는 0.7 AP 수준의 높은 추론성능을 보였고, 학습이 진행됨에 따라 지속적으로 추론성능이 향상되는 경향을 보였다. 이는 도 10의 경우와 같이, 양 터널 모두 보행자 객체 수의 부족으로 추론성능이 상대적으로 낮게 나타난 것으로 판단되며, 향후 가용한 객체 영상이 지속적으로 증가하고 추가학습이 진행된다면 그 추론성능이 차량에 대한 추론성능 수준으로 크게 향상될 수 있을 것으로 판단된다.

또한, TS2모델과 같은 통합자료의 학습과 추론 모델을 통해 다양한 터널에서 확보된 영상 데이터셋이 다른 터널의 이동 객체 인식 및 영상돌발감지에 활용될 수 있음을 보였다. 따라서, 다양한 터널의 돌발영상을 통합관리하고, 통합자료를 학습자료로 활용하는 것이, 개별 터널 내에서 돌발영상을 관리하고 시스템에 반영하는 것 보다 돌발영상 빅데이터를 보다 빠르게 확장시킬 수 있으며, 보다 효과적으로 돌발영상 빅데이터를 관리할 수 있을 것으로 판단된다. 본 연구를 통해, 딥러닝 영상돌발추론 성능은 인식 대상 객체 및 돌발영상 데이터 확보 수준에 가장 크게 영향을 미침을 알 수 있었으므로, 향후 돌발영상 빅데이터 확보 및 관리가 터널 영상돌발감지 성능 확보를 위해서 가장 중요한 사항이라 할 수 있다.

1.3.3 객체인식 추론 영상 분석

도 13 내지 도 16은 학습 모델에 의해 추론된 객체 영상을 보여주는 도면이다.

도 10에서 명명된 TS1과 TS2 학습모델을 통해, 학습되지 않은 시간 구간(B)의 몇몇 정지 이미지 내의 객체 들을 인식하고 그 유형을 추론한 결과들의 추론 영상을 도 13 내지 도 16에서 보여준다. 그림 상에서 Original이라고 표현된 영상은 학습에 사용되지는 않았지만, 영상 내 객체와 객체의 유형이 정의되어 있는 이미지이다. 또한, 추론 결과 영상(predicted image)은 학습모델을 50,000회까지 학습을 진행하고 추론한 영상으로 original 영상과 비교를 통해 추론 성능을 육안으로 확인할 수 있다. TS1-S1A의 학습모델의 경우는 학습되지 않은 2435번 영상 이미지의 보행자를(화살표시) 정확히 인식하였으나 2543번 및 2595번 영상 이미지에서는 인식하지 못했음을 알 수 있다. 하지만, 상대적으로 차량 객체는 모든 발췌영상 이미지 내에서 상대적으로 정확히 객체를 파악하여 추론해 낸 것을 알 수 있다. TS1-S2A 학습모델의 경우에서는 4911번 영상 이미지에서 보행자 영상을 정확히 감지하였으며, 타 영상 이미지에서는 존재하는 차량 객체를 감시해 냈다. 특히, 5680번 영상 이미지 상에서는, 원본 영상의 상단 부에 작은 크기의 차량이 존재했지만 객체로 정의하지 않았으나, 추론단계에서 차량으로 감지한 사례를 보여준다.

도 13에서는 TS2-S12A 통합 학습모델을 이용하여 학습되지 않은 S1B 데이터셋의 몇몇에 대해 추론한 결과 이미지를 보여준다. 2435번 이미지에서는 차량 옆에 위치한 보행자를 정확히 감지하였으나, 2543번과 2595번 이미지에서는 감지하지 못했음을 보여준다. 하지만 차량의 경우는 그 차량의 크기에 대한 추론 정도에 차이가 있으나, 많은 차량이 존재함에도 객체인식 추론이 잘 이루어 졌음을 알 수 있다. 또한 도 13에서는 동일한 통합 학습모델을 이용하여 S2B 데이터셋에 대한 추론 영상 일부를 도시하였다. 그림과 같이 모든 영상 이미지의 차량과 보행자 객체가 정확히 인식되었음을 알 수 있다.

본 발명에서는 터널 영상 돌발 감시 시스템을 개발하기 위하여 최신 영상 딥러닝 알고리즘의 하나인 Faster R-CNN 알고리즘을 코드화 하였고, 이를 이용해서 운용중인 2개의 터널현장(TS1과 TS2)에서 수집된 돌발영상 데이터셋을 학습하여 터널 내 영상돌발 대상객체에 대한 객체인식 추론성능을 고찰하였다. 본 고찰을 통해 얻어진 주요 결과와 결론은 다음과 같다.

1. CCTV 촬영 및 설치조건이 매우 열악한 폐쇄된 터널 내부의 환경에도 불구하고, 터널 CCTV 영상을 통해 보여지는 다수의 이동 차량과 고정상의 주요 영상돌발 대상 객체인 보행자 객체들은 성공적으로 학습될 수 있음을 보였다. 학습 후, 추론단계에 있어서는 학습시점과 가까운 시간구간에서는 높은 추론성능을 기대할 수 있었다.

2. 학습단계와 추론단계의 시간차가 클 경우에, 학습단계에서 충분한 객체가 확보되어 있었던 차량 객체의 경우는 그 추론성능이 매우 우수했으나, 상대적으로 가용한 객체의 수가 적었던 보행자 객체의 경우는 그 추론성능이 현저히 떨어졌다. 이를 통해, 추론단계의 학습되지 않은 객체에 대한 추론 성능은 지속적인 추가 반복학습을 통해 확보될 수 있으며, 학습에 가용한 객체의 개수와 다양성 확보 수준이 그 객체에 대한 추론 성능을 좌우하는 것으로 판단된다.

3. 두 개의 다른 터널에서 확보된 객체 및 돌발영상들을 통합한 자료로 학습하고, 학습에 사용되지 않은 터널 영상 이미지에 대한 추론성능 분석을 통해, 다양한 터널에서 확보된 통합 영상자료가 다른 터널의 객체 인식 및 영상돌발감지에 활용될 수 있음을 보였다. 따라서, 다양한 터널의 돌발영상을 통합관리하고, 통합자료를 학습자료로 활용하는 것이, 개별 터널 내에서 돌발영상을 관리하고 시스템에 반영하는 것 보다 돌발영상 빅데이터를 보다 빠르게 확장시킬 수 있으며, 보다 효과적으로 돌발영상 빅데이터를 관리할 수 있을 것으로 판단되었다.

결론적으로 본 고찰을 통해, 딥러닝 영상돌발 추론 성능은 인식 대상 객체 및 돌발영상 데이터 확보 수준에 가장 크게 영향을 미치며, 향후 터널 돌발영상 빅데이터 확보 및 관리가 터널 영상돌발감지 성능 확보를 위해서 가장 중요한 사항인 것으로 판단되었다. 또한, 학습자료에 지배되는 터널 영상돌발 추론 성능은 터널 CCTV 영상 및 돌발 상황 빅데이터의 지속적 확장과 지속적인 반복학습을 통해, 시스템의 추가 보정이나 수정 없이도 그 추론 성능이 자동으로 향상되며, 예기치 못한 다양한 상황에서도 자동으로 적응 가능할 것으로 판단된다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 영상 획득부
200: 객체 학습부
210: 수집부
212: 생성부
220: 추출부
230: 학습부
300: 객체 저장부
400: 객체 추론부
410: 수신부
420: 추론부
430: 결합부
500: 영상 표시부

Claims (12)

1. 영상을 획득하는 영상 획득부;
   미리 정해진 환경 조건 하에서 상기 영상 획득부로부터 획득된 기준 영상을 수집하고, 상기 수집된 기준 영상을 기초로 가상의 기준 영상을 생성하여 학습용 기준 영상 빅데이터를 구축하고 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하고, 상기 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 상기 추출된 기준 이동 객체를 기초로 딥 러닝 학습을 수행하는 객체 학습부;
   상기 딥 러닝 학습을 수행한 결과를 기초로 상기 영상 획득부로부터 제공 받는 제1 촬영 영상 내 이동 객체를 추론하고 상기 추론된 이동 객체의 정보를 상기 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성하는 객체 추론부; 및
   상기 생성된 제2 촬영 영상을 표시하는 영상 표시부를 포함하고,
   상기 객체 학습부는 상기 객체 추론부에서 추론된 이동 객체의 정보를 상기 학습용 기준 영상 빅데이터에 추가시켜 상기 학습용 기준 영상 빅데이터를 확장시키고,
   상기 객체 학습부는
   상기 영상 획득부로부터 획득된 기준 영상을 수집하는 수집부;
   상기 수집된 기준 영상을 컴퓨터 그래픽 기법을 이용하여 왜곡시키거나 다른 영상을 합성시켜 가상의 기준 영상을 생성하여 상기 기준 영상과 상기 가상의 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축하는 생성부;
   상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하여 왜곡 영상을 생성하고, 상기 생성된 왜곡 영상으로부터 기준 이동 객체의 영상을 추출하여 기준 이동 객체 데이터셋을 구축하는 추출부; 및
   상기 구축된 기준 이동 객체 데이터 셋을 기초로 상기 딥 러닝 학습을 수행하는 학습부를 포함하는, 이동객체 및 돌발상황 감시 시스템.
2. 삭제
3. 제1항에 있어서,
   상기 추출부는,
   상기 수집된 기준 영상 내 관심 영역을 사용자로부터 지정받고, 상기 기준 영상으로부터 상기 지정받은 관심 영역의 영상을 추출하는, 이동객체 및 돌발상황 감시 시스템.
4. 제1항에 있어서,
   상기 추출부는,
   상기 수집된 기준 영상의 왜곡을 보정하고, 상기 왜곡이 보정된 기준 영상으로부터 상기 관심 영역의 영상을 추출하는, 이동객체 및 돌발상황 감시 시스템.
5. 제1항에 있어서,
   상기 추출부는,
   상기 왜곡 영상 내 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행하고, 그 수행한 결과로 감시 대상인 기준 이동 객체의 영상을 추출하여 상기 추출된 기준 이동 객체의 영상을 포함하는 상기 기준 이동 객체 데이터 셋을 구축하는, 이동객체 및 돌발상황 감시 시스템.
6. 제5항에 있어서,
   상기 추출부는,
   사용자로부터 입력받은 정보를 기초로 상기 왜곡 영상 내 적어도 하나의 기준 이동 객체 각각에 대한 레이블링을 수행하는, 이동객체 및 돌발상황 감시 시스템.
7. 제1항에 있어서,
   상기 객체 추론부는,
   상기 추론된 이동 객체의 정보를 기초로 상기 이동 객체의 차종에 따른 형상을 상기 제1 촬영 영상 내 해당 위치에 결합하는, 이동객체 및 돌발상황 감시 시스템.
8. 객체 학습부가 미리 정해진 환경 조건 하에서 영상 획득부로부터 획득된 기준 영상을 수집하고, 상기 수집된 기준 영상을 기초로 가상의 기준 영상을 생성하여 학습용 기준 영상 빅데이터를 구축하는 단계;
   상기 객체 학습부가 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상 각각으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하고, 상기 좌표 변환된 관심 영역의 영상으로부터 기준 이동 객체를 추출하여 상기 추출된 기준 이동 객체를 기초로 딥 러닝 학습을 수행하는 단계;
   객체 추론부가 상기 영상 획득부로부터 획득된 촬영 영상을 제공받으면, 상기 딥 러닝 학습을 수행한 결과를 기초로 상기 제공 받는 제1 촬영 영상 내 이동 객체를 추론하는 단계;
   상기 객체 추론부가 상기 추론된 이동 객체의 정보를 상기 제1 촬영 영상에 결합하여 제2 촬영 영상을 생성하는 단계;
   영상 표시부가 상기 생성된 제2 촬영 영상을 표시하는 단계; 및
   상기 객체 학습부가 상기 추론된 이동 객체의 정보를 상기 학습용 기준 영상 빅데이터에 추가시켜 상기 학습용 기준 영상 빅데이터를 확장시키는 단계를 포함하고,
   상기 객체 학습부는 수집부, 생성부, 추출부, 학습부를 포함하고,
   상기 구축하는 단계는
   상기 수집부가 상기 영상 획득부로부터 획득된 기준 영상을 수집하는 단계; 및
   상기 생성부가 상기 수집된 기준 영상을 컴퓨터 그래픽 기법을 이용하여 왜곡시키거나 다른 영상을 합성시켜 가상의 기준 영상을 생성하여 상기 기준 영상과 상기 가상의 기준 영상을 포함하는 학습용 기준 영상 빅데이터를 구축하는 단계를 포함하고,
   상기 수행하는 단계는
   상기 추출부가 상기 구축된 학습용 기준 영상 빅데이터를 기초로 상기 기준 영상과 상기 가상의 기준 영상으로부터 관심 영역의 영상을 추출하여 상기 추출된 관심 영역의 영상을 좌표 변환하여 왜곡 영상을 생성하고, 상기 생성된 왜곡 영상으로부터 기준 이동 객체의 영상을 추출하여 기준 이동 객체 데이터셋을 구축하는 단계; 및
   상기 학습부가 상기 구축된 기준 이동 객체 데이터 셋을 기초로 상기 딥 러닝 학습을 수행하는 단계를 포함하는, 이동객체 및 돌발상황 감시 방법.
9. 삭제
10. 삭제
11. 제8항에 있어서,
    상기 수행하는 단계는,
    상기 추출부가 상기 왜곡 영상 내 적어도 하나의 기준 이동 객체에 대한 레이블링을 수행하고, 그 수행한 결과로 감시 대상인 기준 이동 객체의 영상을 추출하여 상기 추출된 기준 이동 객체의 영상을 포함하는 상기 기준 이동 객체 데이터 셋을 구축하는, 이동객체 및 돌발상황 감시 방법.
12. 제8항에 있어서,
    상기 생성하는 단계에서는,
    상기 객체 추론부가 상기 추론된 이동 객체의 정보를 기초로 상기 이동 객체의 차종에 따른 형상을 상기 제1 촬영 영상 내 해당 위치에 결합하는, 이동객체 및 돌발상황 감시 방법.

Images