KR20200060868A - 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 - Google Patents

Abstract

본 발명은 모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출한다. GMM은 연속적인 프레임을 통한 비지도 학습으로 배경 모델을 형성한 후, 형성된 배경 모델을 기반으로 모션 정보 추출이 가능하다. 따라서 전배경이 분리된 전처리 영상에 GMM을 적용하면 배경의 잡음으로 인한 잘못된 모션 정보를 배제하고, 움직임이 없는 객체 부분도 배경으로 판단하여 움직임을 갖는 부분만을 구별할 수 있다.
YOLO는 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하므로 기존 분류기 기반 탐지 기법에 비하여 매우 효율적이다. 따라서 YOLO는 실시간 객체 탐지가 가능하며, 특히 R-CNN보다 1,000배 이상, Fast R-CNN보다 100배 빠르게 객체를 탐지한다.

Description

객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템{multi-view monitoring system using object-oriented auto-tracking function}

본 발명은 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템에 관한 것으로서 복수의 카메라 모듈을 포함하는 다시점 영상 감시 시스템에 있어서 감시 대상 객체를 자동으로 추적하는 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템에 관한 것이다.

일반적으로, 시설 관리, 범죄 예방, 보안 등의 다양한 목적으로 감시 시스템이 구축되며, 이러한 감시 시스템은 다양한 장소에 고정 설치되는 감시 카메라(CCTV: Closed Circuit TeleVision)와 감시 카메라로부터 촬영된 영상을 저장하는 서버로 구성됨으로써, 사용자의 요청에 따라 특정 구역 또는 특정 시간대의 영상을 복원하여 확인할 수 있다.

그러나 종래의 감시 시스템에 의하면, 원하는 시간 또는 위치의 영상을 확인할 수는 있으나, 영상 내 객체의 특정 패턴의 행동 유형은 검색하기 어려운 문제점을 갖는다. 예컨대, 특정 일자(2015년 8월 12일 ~ 2015년 8월 13일) 사이에 건물의 출입한 특정 인상 착의(파랑 계통의 상의를 착용)를 갖는 인물을 찾고자 할 때, 종래의 감시 시스템에 의하면 비상구를 향하여 설치된 감시 카메라의 해당 일자의 영상만을 확인할 수 있을 뿐이며, 사용자는 영상의 재생 속도를 조절하는 등의 방법으로 영상 내의 인물을 직접 찾아야 한다.

그로 인하여, 종래의 감시 시스템을 통해서는 영상 내 특정 검색 조건을 충족하는 객체를 찾기 위하여 많은 시간 및 인력을 투입하여야 하고, 검색 조건이 변경되는 경우 또다시 검색 과정을 되풀이하여야 하는 등, 영상 내 특정 패턴의 행동 유형을 갖는 객체를 검색하기 어려운 문제점이 존재한다.

상술한 문제점을 해결하기 위하여 본 발명은 사람들이 많이 지나다니는 번화가, 우범지역 그리고 범죄취약지역 등에 CCTV를 설치하여 각종 범죄 및 사고를 예방하고, 자연재해 피해를 최소화하는 기반시설이며, 상황발생시 신속한 대응을 위한 감시체계를 확립하고, 시민의 불안감을 해소하며, 안전한 도시기반 마련 및 시민의 안전을 도모하는 시스템으로 멀티 메가 픽셀카메라 구성기술과 영상처리기술을 적용하여 사각지대 없이 상시감시하고 움직임 자동검지기능과 이미지손실 없이 움직이는 대상물체를 추적하는 디지털 오토트래킹 구현으로 방범, 어린이보호, 공원감시, 대중교통시설 모니터링, 항만 및 물류터미널 등에 대한 보안감시나 원격모니터링을 제공하는 것을 목적으로 한다.

적응 혼합 가우시안 모델을 매 픽셀마다 3~5개의 분포로 하여 배경모델의 계산이 완료가 되면 그 모델들의 값보다 2.5배 이상 차이가 나면 전경으로 간주하게 된다. 이렇게 하여 전경으로 된 픽셀 값은 1의 값을 갖게 되고 이것은 이진 마스크 영상에서 백색을 나타내게 된다. 이 과정이 완료가 되면 전경마스크 추출이 완료가 되는데 전경마스크 이미지가 모양의 돌출이 심하거나 블랍의 구멍이 심하게 되거나 하는 경우가 생기며, 이러한 블랍 모양의 정정이 필요하게 됨. 이때 수행하는 것이 전경 마스크 정정이며 전경 마스크 정정은 보통 열림, 닫힘 등의 모폴로지 연산이 전처리 단계로 처리되어 수행된다.

감시 시스템에 적합한 객체 추출 방법은 배경 차 연산기법이며, 그 중 GMM(가우시안 혼합 모델)을 이용한 기법이 널리 쓰이고 있음. 단일 가우시안 분포가 아닌 가우시안 혼합 모델을 이용하여 각 화소의 배경을 모델링하기 때문에 시간의 흐름에 따른 휘도의 변화, 바람에 의해 흔들리는 나뭇가지 등의 다중 배경을 모델링 할 수 있다. 또한 배경/전경의 구별 기준을 고정된 임계값에 의존하지 않고 적응적으로 학습하기 때문에 환경의 변화에 강인한 특성을 지닌다.

모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출한다. GMM은 연속적인 프레임을 통한 비지도 학습으로 배경 모델을 형성한 후, 형성된 배경 모델을 기반으로 모션 정보 추출이 가능함. 따라서 전배경이 분리된 전처리 영상에 GMM을 적용하면 배경의 잡음으로 인한 잘못된 모션 정보를 배제하고, 움직임이 없는 객체 부분도 배경으로 판단하여 움직임을 갖는 부분만을 구별할 수 있다.

모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출한다. GMM은 연속적인 프레임을 통한 비지도 학습으로 배경 모델을 형성한 후, 형성된 배경 모델을 기반으로 모션 정보 추출이 가능하다. 따라서 전배경이 분리된 전처리 영상에 GMM을 적용하면 배경의 잡음으로 인한 잘못된 모션 정보를 배제하고, 움직임이 없는 객체 부분도 배경으로 판단하여 움직임을 갖는 부분만을 구별할 수 있다.

YOLO는 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하므로 기존 분류기 기반 탐지 기법에 비하여 매우 효율적이다. 따라서 YOLO는 실시간 객체 탐지가 가능하며, 특히 R-CNN보다 1,000배 이상, Fast R-CNN보다 100배 빠르게 객체를 탐지한다.

도 1은 본 발명의 일 실시예에 따른 이동객체 검출과정이다.
도 2는 본 발명의 일 실시예에 따른 이동객체 검출의 (a)원본 이미지, (b)전경 마스크 이미지, (c)전경 마스크 정정 이미지이다.
도 3은 본 발명의 일 실시예에 따른 GMM 움직임 탐지를 통한 YOLO의 입력 영상이다.
도 4는 본 발명의 일 실시예에 따른 실시간 객체 분할을 위한 처리도이다.
도 5는 본 발명의 의 일 실시예에 따른 YOLO 알고리즘을 이용한 객체 탐지 과정도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

이동객체 검출이란 특정 영상에서 관찰해야 하는 대상 등을 나타내어 검출하는 것을 말하며 이러한 이동객체를 검출하기 위한 방법으로 포인트 검출, 실루엣 검출, 에지 검출, 장면 모델링 등의 방식이 있음. 전경 객체를 검출하기 위해 제안된 방법 가운데 가장 효과적인 방법은 배경 차 연산(background subtraction)기법으로 먼저 배경 장면을 모델링한 다음 입력 영상과 배경 장면모델을 비교하여 차이가 클 때 이 픽셀들을 전경 픽셀로 표시 및 전경 객체로 검출하는 방법이다.

전경 마스크는 전경 픽셀들은 1의 값을, 배경 픽셀은 0의 값을 가지도록 처리된 이진 영상으로 되어 있음. 이것은 전경은 흰색, 배경은 흑색으로 된 이진 영상을 의미함. 전경 마스크 추출에서 가장 중요한 것은 배경 모델링이 잘 되어야 하는 것임. 그러나 영상 데이터로 받는 배경은 조명의 변화, 장면의 이동하는 배경 객체(바람에 흔들리는 풀,나무, 호수 등), 주차된 차량의 이동 등 고려해야할 사항이 많은데 이러한 조건들을 처리하는데 뛰어난 적응 혼합 가우시안 모델(GMM)을 이용한다.

적응 혼합 가우시안 모델을 매 픽셀마다 3~5개의 분포로 하여 배경모델의 계산이 완료가 되면 그 모델들의 값보다 2.5배 이상 차이가 나면 전경으로 간주하게 된다. 이렇게 하여 전경으로 된 픽셀 값은 1의 값을 갖게 되고 이것은 이진 마스크 영상에서 백색을 나타내게 된다. 이 과정이 완료가 되면 전경마스크 추출이 완료가 되는데 전경마스크 이미지가 모양의 돌출이 심하거나 블랍의 구멍이 심하게 되거나 하는 경우가 생기며, 이러한 블랍 모양의 정정이 필요하게 됨. 이때 수행하는 것이 전경 마스크 정정이며 전경 마스크 정정은 보통 열림, 닫힘 등의 모폴로지 연산이 전처리 단계로 처리되어 수행된다.

감시 시스템에 적합한 객체 추출 방법은 배경 차 연산기법이며, 그 중 GMM(가우시안 혼합 모델)을 이용한 기법이 널리 쓰이고 있다. 단일 가우시안 분포가 아닌 가우시안 혼합 모델을 이용하여 각 화소의 배경을 모델링하기 때문에 시간의 흐름에 따른 휘도의 변화, 바람에 의해 흔들리는 나뭇가지 등의 다중 배경을 모델링 할 수 있다. 또한 배경/전경의 구별 기준을 고정된 임계값에 의존하지 않고 적응적으로 학습하기 때문에 환경의 변화에 강인한 특성을 지닌다.

모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출한다. GMM은 연속적인 프레임을 통한 비지도 학습으로 배경 모델을 형성한 후, 형성된 배경 모델을 기반으로 모션 정보 추출이 가능하다. 따라서 전배경이 분리된 전처리 영상에 GMM을 적용하면 배경의 잡음으로 인한 잘못된 모션 정보를 배제하고, 움직임이 없는 객체 부분도 배경으로 판단하여 움직임을 갖는 부분만을 구별할 수 있다.

장면의 각 픽셀의 휘도 값은 K가우시안 분포로 모델링되고, 즉, 각 픽셀이 시간 N일 때 GMM을 적용하여 움직임이 있는 부분만이 탐지된 결과 영상에서는 탐지된 부분이 온전한 객체 모양이 아닌 파편의 형태로 나타남. 이러한 파편은 객체 몸체의 일부가 움직여 그 크기가 아주 작은 것부터 근접한 여러 객체가 움직여 상대적으로 큰 것까지 다양한 크기를 갖게 됨. 이 때, 전처리 영상에 나타난 각 객체의 넓이를 모두 측정하고, 객체만큼의 면적을 갖는 객체 중 파편의 비율이 임계값 이상인 객체만을 선택함. 전처리 영상으로부터 선택된 객체를 추출함으로써 아래 그림과 같이 YOLO의 입력 영상을 생성한다.

딥 러닝 기법은 1980년대에 처음으로 소개된 기계 학습 방법으로써 인공 신경망에 기반한 구조를 가지고 있다. 이전에는 신경망 학습에 소요되는 시간이 매우 오래 걸리고, 학습 데이터셋에 과도하게 맞추어 훈련되는 과적합(Overfitting) 문제로 인하여 딥 러닝 기법 대신 SVM(Support Vector Machine)과 같은 기법들이 널리 사용되어 왔음. 그러나 최근 성능이 우수한 하드웨어의 개발로 학습에 소요되는 시간이 단축되었고, 2013년에는 ICASSP에서 과적합을 방지하기 위한 효율적인 Drop-out 기법이 소개되면서 각종 딥 러닝 기법들이 급속히 발전하고 있다. 또한 빅 데이터 개념이 등장하면서 이를 분석하고 학습하기에 적합한 딥 러닝 기법이 더욱 각광받고 있으며, 현재는 컴퓨터 비전, 음성 인식, 자연어 처리, 신호 처리 등 다양한 분야에 적용되고 있다.

딥 러닝 기법 중 객체 탐지 기법은 컴퓨터 비전 분야에서 가장 많이 연구되며 활용되고 있는 기법으로, 영상 내에서 특정 객체를 빠짐없이 탐지하여 위치 정보를 Bounding Box로 표시함. 널리 사용되는 딥 러닝 기반 객체 탐지 기법으로는 R-CNN(Regions with CNN)이나 R-CNN의 개량 버전인 Fast/Faster R-CNN 등이 있음. 최근에는 탐지 속도가 더욱 빠르면서 인식률 저하가 거의 없는 YOLO(You Only Look Once)가 소개되었다.

기존의 딥 러닝 탐지 기법들은 분류기나 로컬라이저 기반으로 단일 이미지를 다양한 위치와 규모로 구성된 다수 영역으로 분할한 후, 각 영역에 대하여 신경망 모델을 적용함. 특히, R-CNN의 경우에는 단일 이미지에 Region Proposal 방법을 사용하여 수천 개의 CNN모델을 적용함. 그러나 YOLO는 하나의 신경망을 Grid 방식을 통해 전체 이미지에 적용하므로 기존 분류기 기반 탐지 기법에 비하여 매우 효율적이다. 따라서 YOLO는 실시간 객체 탐지가 가능하며, 특히 R-CNN보다 1,000배 이상, Fast R-CNN보다 100배 빠르게 객체를 탐지한다.

YOLO의 신경망은 탐지 과정에서 전체 이미지를 Grid 셀로 분할하고, 각 Grid 셀에 대하여 Bounding Box를 예측하고 확률을 계산한다. 또한, 계산된 확률을 이용하여 Bounding Box를 가중시킴으로써 200여개 클래스에 대한 Bounding Box를 탐지한다. 따라서 YOLO는 기존 분류기 기반 기법에 비하여 탐지 정확도의 손실 또한 적음. 최근에는 기존의 YOLO 구조를 유지하면서 학습 과정과 인식률을 개선한 YOLOv2가 개발되었으며, 이는 Faster R-CNN에 비하여 인식률이 우세하고 9,000여개 클래스에 대한 탐지가 가능하다.

추출한 객체 정보에 대하여 딥 러닝 기법 중 하나인 YOLO를 적용함으로써 관측대상 객체만을 탐지하여 Bounding Box를 획득함, YOLO 알고리즘은 CNN 계열의 우수한 객체 검출 알고리즘 중 하나이며, Region Proposal 방식을 사용하는 R-CNN과 달리 Grid 방식을 사용함으로써 실시간에 효율적인 객체 검출이 가능함. 특히, 본 개발품에서는 기존의 YOLO 알고리즘에서 모든 컨볼루션레이어에 대한 배치 정규화, 학습 데이터에 대한 다중 스케일 학습 등을 적용함으로써 성능이 향상된 YOLOv2 알고리즘을 사용하였다.

앞서 생성한 YOLO의 입력 영상은 움직임을 갖는 근접 객체 전경만을 포함하며, 움직임이 없는 객체와 배경은 포함되지 않음. 이러한 YOLO의 입력 영상에 YOLOv2을 적용함으로써 개별 객체에 대한 탐지 결과가 Bounding Box로 표시된 영상을 획득함. 또한, 이후의 영상 처리 과정에서 탐지 결과를 통해 디지털 줌화면 분리를 수행할 때 각 프레임의 Bounding Box 정보(x 좌표, y 좌표, 너비, 높이)를 활용할 수 있도록 이러한 정보를 포함한다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (3)

1. 복수의 모듈을 카메라가 촬영 영역을 촬상하고 있는 상태에서 상기 파악되는 영역 좌표를 매칭시킨 매핑 정보를 작성하는 과정; 및 검출된 객체의 위치 좌표를 실시간으로 산출하는 과정;을 포함하며,
   모션 정보를 추출하기 위해, 카메라 영상 데이터로부터 전배경을 분리한 전처리 영상에 GMM(Gaussian Mixture Method)을 적용하여 움직임을 갖는 객체 정보만을 추출하는 것을 특징으로 하는 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템.
   
2. 제1항에 있어서,
   적응 혼합 가우시안 모델을 매 픽셀마다 3~5개의 분포로 하여 배경모델의 계산이 완료가 되면 그 모델들의 값보다 2.5배 이상 차이가 나면 전경으로 간주하고, 이렇게 하여 전경으로 된 픽셀 값은 1의 값을 갖게 되고 이것은 이진 마스크 영상에서 백색으로 나타내는 것을 특징으로 하는 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템.
   
3. 제2항에 있어서,
   장면의 각 픽셀의 휘도 값은 K가우시안 분포로 모델링되고, 픽셀이 시간 N일 때 GMM을 적용하여 움직임이 있는 부분만이 탐지된 결과 영상에서는 탐지된 부분이 온전한 객체 모양이 아닌 파편의 형태로 나타내는 것을 특징으로 하는 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템.

Images