KR20160089165A - 이동 물체 탐지 시스템 및 방법 - Google Patents

Abstract

이동 물체 탐지 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 이동 물체 탐지 시스템은, 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장하는 화소 정보 저장부, 상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정하는 배경 모델 설정부, 상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 배경화소 판단부 및 상기 배경 모델을 주기적으로 업데이트 하는 배경 모델 업데이트부를 포함하며, 상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함한다.

Description

이동 물체 탐지 시스템 및 방법{System and Method for Detecting Moving Objects}

본 발명은 이동 물체 탐지 시스템 및 방법에 관한 발명으로서, 촬상 장치를 통해 촬영되는 영상으로부터 배경 화소와 전경 화소를 판단함으로써, 이동 물체를 탐지할 수 있는 이동 물체 탐지 시스템 및 방법에 관한 발명이다.

전통적인 CCTV 영상 보안 기술은 카메라를 통하여 획득된 영상을 전송망을 통하여 전달 받아 모니터를 이용하여 보안상황을 사람이 직접 감시하거나 DVR 등으로 저장한 후, 사후에 저장된 영상을 검색하여 대응하는 다소 수동적인 물리적 보안 시스템을 의미한다.

그러나 이러한 영상 보안 시스템은 급속한 CCTV 카메라의 보급에 따른 사람에 의한 직접 감시 및 분석의 한계, 사후처리가 아닌 실시간 감시 시스템에 대한 요구 증대, IT 기술의 급속한 발전 등에 따른 이들 기술들이 통합된 지능형 영상 보안 시스템으로의 새로운 진화를 요구하고 있다.

지능형 영상 보안 기술의 응용 분야는 공항, 군사, 항만, 도로, 교량 등 주요 국가시설, 지하철, 버스, 빌딩, 경기장, 주차장, 카지노, 자동차 및 모바일 기기에 이르기까지 매우 다양한 분야로 그 응용영역을 확대하고 있는 추세이다.

지능형 영상 보안 시스템을 위한 가장 기본이 되는 기능은, 입력 영상에서 움직이는 물체를 검출하는 기술이며, 현재까지 다양한 기술들이 선행 연구되어져 왔다. 선행 연구 대부분의 배경 모델링 기술은 화소 단위로 배경에 대한 모델을 생성하는 방식으로서, 크게 모수(Parametric) 방식의 배경 모델링과 비모수(Non-parametric) 방식으로 나눌 수 있다. 모수 방식의 경우 배경의 시간축 평균을 구해서 입력 영상을 배경 영상과 차를 통해 검출하는 간단한 방식과, 평균과 분산으로 표현하는 가우시안 모델(Gaussian Model) 방식이 주로 사용되었다.

하지만, 단일 모수 방식의 배경 모델은 동작 배경(흔들리는 나무, 물결 등)을 적절히 제거하지 못하는 문제를 발생시키기 때문에, 다중 모델의 개수를 사용하는 방식이 제안되었다. 대표적으로는 Gaussian Mixture Model 방식으로 연속적으로 입력되는 화소 값의 변화를 K개의 가우시안 분포로 모델링 하여 확률적으로 배경 확률을 모델링한다.

본 발명에 따른 이동 물체 탐지 시스템 및 방법은, 색상 정보뿐만 아니라 시간 정보를 포함하여 보다 정확히 배경을 모델링 함으로써 동적 배경과 급격한 배경 화에 모두 대응할 수 있는 이동 물체 탐지 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 이동 물체 탐지 시스템은, 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장하는 화소 정보 저장부, 상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정하는 배경 모델 설정부, 상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 배경화소 판단부 및 상기 배경 모델을 주기적으로 업데이트 하는 배경 모델 업데이트부를 포함하며, 상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함한다.

또한, 상기 배경 모델 업데이트부는, 일정 시간 이상 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

또한, 상기 배경 모델 업데이트부는, 상기 배경 모델의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델이 상기 경계 영역을 포함하도록 상기 배경 모델을 업데이트 할 수 있으며, 확장된 상기 경계 영역에 대응하는 화소가 일정 시간 이상 입력되지 않는 경우, 확장된 상기 경계 영역을 소정 비율로 축소할 수 있다.

또한, 상기 배경 모델 업데이트부는, 상기 화소 정보에 따라 상기 배경 모델 요소에 사용 시간 정보를 포함하여 상기 배경 모델을 업데이트할 수 있으며, 상기 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함할 수 있다.

또한, 상기 배경 모델 업데이트부는, 전경 화소로 판단된 화소의 화소 정보 및 사용 시간 정보를 포함하는 배경 후보 모델 요소를 생성할 수 있으며, 상기 배경 후보 모델 요소의 개수는 상기 배경 모델 요소의 개수보다 작을 수 있다.

또한, 상기 배경 모델 업데이트부는, 상기 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고, 가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

또한, 상기 화소 정보는, 밝기 정보, 색상 정보 및 계조 정보 중 적어도 하나 이상을 포함하고, 상기 배경화소 판단부는, 상기 화소 정보에 대응하는 특징을 갖는 화소를 배경 화소로 판단할 수 있다.

본 발명의 일 실시예에 따른 이동 물체 탐지 방법은, 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장하는 단계, 상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정하는 단계, 상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 단계 및 상기 배경 모델을 업데이트 하는 단계를 포함하며, 상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함한다.

또한, 상기 업데이트 단계에서는, 일정 시간 이상 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

또한, 업데이트 단계에서는, 상기 배경 모델의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델이 상기 경계 영역을 포함하도록 상기 배경 모델을 업데이트 할 수 있으며, 확장된 상기 경계 영역에 대응하는 화소가 일정 시간 이상 입력되지 않는 경우, 확장된 상기 경계 영역을 소정 비율로 축소할 수 있다.

또한, 상기 업데이트 단계에서는, 상기 화소 정보에 따라 상기 배경 모델 요소에 사용 시간 정보를 포함하여 상기 배경 모델을 업데이트 할 수 있으며, 상기 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함할 수 있다.

또한, 상기 업데이트 단계에서는, 전경 화소로 판단된 화소의 화소 정보 및 시간 정보를 포함하는 배경 후보 모델 요소를 생성할 수 있으며, 상기 배경 후보 모델 요소의 개수는 상기 배경 모델 요소의 개수보다 작을 수 있다.

또한, 상기 업데이트 단계에서는, 상기 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고, 가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

또한, 상기 화소 정보는, 밝기 정보, 색상 정보 및 계조 정보 중 적어도 하나 이상을 포함하고, 상기 판단 단계에서는, 상기 화소 정보에 대응하는 특징을 갖는 화소를 배경 화소로 판단할 수 있다.

본 발명에 따른 이동 물체 탐지 시스템 및 방법은, 색상 정보뿐만 아니라 시간 정보를 포함하여 보다 정확히 배경을 모델링 함으로써 동적 배경과 급격한 배경 화에 모두 대응할 수 있는 이동 물체 탐지 시스템 및 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이동 물체 탐지 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 배경 모델을 예시적으로 나타내는 도면이다.
도 3은 배경 모델의 확장을 예시적으로 나타내는 도면이다.
도 4는 배경 모델 확장을 고려하지 않은 배경 모델을 사용하는 경우를 나타내는 도면이다.
도 5는 배경 모델 업데이트를 개략적으로 나타내는 도면이다.
도 6은 배경 모델 요소 삭제를 예시적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이동 물체 탐지 방법을 개략적으로 나타내는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.

도 1은 본 발명의 일 실시예에 따른 이동 물체 탐지 시스템의 개략적인 구성을 나타내는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이동 물체 탐지 시스템(100)은, 화소 정보 저장부(110), 배경 모델 설정부(120), 배경화소 판단부(130) 및 배경 모델 업데이트부(140)를 포함한다.

화소 정보 저장부(110)는, 촬상 장치(미도시)로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장한다. 상기 촬상 장치는 이동 물체 탐지 시스템(100) 외부에 설치되어 촬영되는 영상을 상기 이동 물체 탐지 시스템(100)에 제공할 수 있는 비디오 카메라, 감시용 카메라 등으로 이루어질 수 있다. 그리고, 상기 촬상 장치는 일반적으로 특정 위치에 고정 설치될 수 있으며, 사용자의 별도 조작이 있기 전까지는 위치나 촬영 방향이 달라지지 않는다.

또한, 상기 촬상 장치는 상기 이동 물체 탐지 시스템(100)과 유선 또는 무선으로 연결되어 정보를 주고 받을 수 있으며, 상기 이동 물체 탐지 시스템(100)에 포함되도록 구성되는 것도 가능하다.

상기 촬상 장치로부터 제공되는 영상은 단위 시간당 복수개의 프레임을 포함할 수 있으며, 예를 들어 60fps(frames per second), 120fps 등, 초당 60개의 프레임 또는 초당 120개의 프레임을 포함할 수 있다. 프레임 개수는 상기 촬상 장치의 성능 및/또는 사용자에 의한 시스템 설정에 의하여 달라질 수 있으며, 특정 개수로 제한되지 않는다.

상기 촬상 장치로부터 제공되는 영상을 구성하는 각각의 프레임은 다시 복수개의 화소를 포함할 수 있다. 상기 프레임은 가로 방향으로 m개, 세로 방향으로 n개의 화소를 포함하여 총 m×n개의 화소를 포함할 수 있다. 각각의 상기 화소는 상기 촬상 장치를 통해 촬영된 화면을 상기 화소의 개수에 대응하여 분할하고, 각각 서로 다른 색상, 밝기, 계조 등을 표현할 수 있다.

화소 정보 저장부(110)는, 상기 각각의 화소가 포함하는 색상 정보, 밝기 정보, 및 계조 정보 등의 화소 정보를 저장하는 기능을 수행하며, 데이터를 저장하고 상기 촬상 장치와 통신할 수 있는 각종 저장장치로 구성될 수 있다.

배경 모델 설정부(120)는, 상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정한다. 상기 촬상 장치를 통하여 제공되는 영상은 하나 이상의 피사체를 표시하고 있을 수 있으며, 상기 하나 이상의 피사체는 움직이는 전경과, 움직이지 않는 배경으로 구분될 수 있다. 예를 들어, 자동차, 사람 등은 전경으로 구분될 수 있으며, 건물, 나무, 신호등, 도로 등은 배경으로 구분될 수 있다.

상기 배경 모델은, 배경으로 구분될 피사체를 표시하는 화소가 포함하고 있을 것으로 예상되는 색상, 계조, 밝기 등의 영상 특성 정보를 포함함으로써, 상기 복수의 화소가 표시하는 피사체가 배경에 해당하는지 여부를 판단할 수 있는 기준 역할을 할 수 있다.

한편, 상기 배경 모델은 영상 특성 정보 또는 사용 시간 정보 중 적어도 하나를 포함하는 하나 이상의 배경 모델 요소를 포함한다. 상기 배경 모델 요소는 배경 모델을 구성하는 요소로서, 상기 하나 이상의 배경 모델 요소는 각각 서로 다른 특성을 갖는 배경에 대응하는 색상 정보, 밝기 정보, 및 계조 정보를 포함할 수 있다.

또한, 상기 배경 모델 요소는 시간 정보를 포함하는데, 상기 시간 정보는 상기 촬상 장치로부터 입력되는 영상을 구성하는 프레임에 연관되는 정보로서 해당 배경 모델 요소가 사용된 프레임과 관련된 정보를 포함할 수 있다. 예를 들어, 상기 시간 정보는 해당 배경 모델 요소가 사용된 프레임의 개수, 해당 배경 모델 요소가 사용된 최근 프레임 정보, 해당 배경 모델 요소가 연속적으로 사용되지 않은 프레임의 개수 등을 포함할 수 있다.

배경화소 판단부(130)는, 상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단한다. 배경화소 판단부(130)는, 상기 배경 모델 설정부(120)에서 설정된 배경 모델과 상기 화소 정보 저장부(110)에 저장되는 복수의 화소 정보를 비교하여 상기 복수의 화소 각각이 배경에 속하는지 전경에 속하는지 여부를 판단한다.

상기 배경 모델과 상기 화소 정보는 각각 색상 정보, 밝기 정보, 및 계조 정보 등을 포함하고 있으며, 배경화소 판단부(130)는, 상기 화소 정보에 포함되는 색상 정보, 밝기 정보, 및 계조 정보가 상기 배경 모델에 포함되는 색상 정보, 밝기 정보, 및 계조 정보와 일치하는지 경우, 해당 화소를 배경 화소로 판단한다.

반대로, 상기 화소 정보에 포함되는 색상 정보, 밝기 정보, 및 계조 정보가 상기 배경 모델에 포함되는 색상 정보, 밝기 정보, 및 계조 정보와 일치하지 않는 경우, 해당 화소를 전경 화소로 판단한다.

상기 이동 물체 탐지 시스템(100)은, 움직이는 피사체를 탐지하는 것을 주된 목적으로 하며, 여기서 움직이는 피사체는 상기 배경화소 판단부(130)에서 전경으로 판단되는 화소로 구성될 수 있다.

한편, 배경화소 판단부(130)에서는, 상기 복수의 화소 각각이 배경 화소인지 전경 화소인지 여부를 판단하고, 배경 화소로 판단되는 화소가 검출되는 경우 해당 화소에 대응하는 배경 모델 요소가 사용되었음을 나타내는 정보를 생성할 수 있다.

마지막으로, 배경 모델 업데이트부(140)는, 상기 배경 모델을 주기적으로 업데이트 한다. 배경화소 판단부(130)는, 상기 화소 정보를 이용하여 해당 화소가 배경에 속하는지 전경에 속하는지 여부를 판단하고, 해당 화소가 배경에 속하는 것으로 판단되면 상기 해당 화소에 대응하는 배경 모델 요소가 사용되었음을 나타내는 정보를 생성하고, 생성된 상기 정보를 배경 모델 업데이트부(140)에 제공한다.

배경 모델 업데이트부(140)는, 배경화소 판단부(130)로부터 제공된 정보를 바탕으로 특정 배경 모델 요소의 영상 특성 정보 및 사용 시간 정보를 업데이트 한다. 업데이트된 정보는 배경 모델 설정부(120)로 제공되며, 다음 프레임에 포함되는 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 데에 사용된다.

한편, 상기 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함할 수 있다.

상기 촬상 장치로부터 제공되는 영상은 복수의 프레임을 포함하는데, 예를 들어 60fps의 촬상 장치를 이용하는 경우, 상기 촬상 장치로부터 제공되는 영상은 초당 60개의 프레임을 포함한다. 이러한 경우, 상기 영상에 포함되는 프레임 각각은 상기 이동 물체 탐지 시스템(100)이 구동된 이후부터 그 개수가 카운팅(counting)되고, 5초 동안의 영상이 제공되는 경우 1번 프레임부터 300번 프레임까지 번호가 부여될 수 있다.

예컨대, 초당 60개의 프레임을 포함하는 영상을 이용하는 때에, 현재 처리중인 프레임의 번호가 1200번이고, 상기 제1 시간 요소의 값이 900인 경우, 해당 배경 모델 요소는 15초부터 20초까지 사용되지 않았음을 의미하고, 이로부터 해당 배경 모델 요소에 상응하는 배경은 15초 이후에는 존재하지 않는 동적 배경인 것으로 판단될 수 있다.

또한, 현재 처리중인 프레임의 번호가 1200번이고, 상기 제2 시간 요소의 값이 600인 경우, 해당 배경 모델 요소는 20초 동안 특정 구간에서 10초 동안 사용되지 않았음을 의미한다.

그리고, 현재 처리중인 프레임의 번호가 1200번이고, 상기 제3 시간 요소의 값이 300인 경우, 해당 배경 모델 요소가 사용된 시간의 총 합이 5초인 것을 알 수 있다.

상기 제1 내지 제3 시간 요소는 사용 시간 정보를 구성하며, 상기 사용 시간 정보는 상기 배경 모델(또는, 배경 모델 요소)을 업데이트 하는 중요한 기준이 될 수 있으며, 도 2 내지 도 4를 참조로 하여 자세히 설명하도록 한다.

도 2는 배경 모델을 예시적으로 나타내는 도면이다.

도 2(a) 및 도 2(b)는 각각 제1 배경 모델 요소(BE1), 제2 배경 모델 요소(BE2) 및 제3 배경 모델 요소(BE3)를 포함한다. 도 2에서는 설명의 편의를 위하여 계조 정보에 따라 구분되는 배경 모델 요소를 도시한다.

먼저, 도 2(a)를 참조하면, 상기 제1 내지 제3 배경 모델 요소(BE1, BE2, BE3)는 각각 서로 다른 계조 범위를 포함하고, 포함되는 계조에 따라 서로 구분된다. 상기 제1 배경 모델 요소(BE1)는 가장 넓은 범위의 계조를 포함하고, 상기 제3 배경 모델 요소(BE3)는 가장 좁은 범위의 계조를 포함한다. 상기 제1 내지 제3 배경 모델 요소(BE1, BE2, BE3)는 하나의 배경 모델을 구성한다. 상기 배경 모델이 반드시 3개의 배경 모델 요소만을 포함하는 것은 아니며, 하나 이상의 배경 모델 요소를 포함하면 충분하다.

상기 배경 모델(또는, 배경 모델 요소)은 상기 이동 물체 탐지 시스템(100)의 구동을 통해 자동적으로 설정될 수 있으며, 사용자의 관찰 결과에 의해 임의로 설정될 수도 있다.

특정 위치에 고정 설치되는 비디오 카메라 또는 감시 카메라를 상기 촬상 장치로 이용하는 경우, 사용자는 상기 촬상 장치가 설치되고 일정 시간이 경과하기 전까지는 배경 모델을 설정하지 않을 수 있다. 그리고, 상기 일정 시간이 경과하는 동안 상기 촬상 장치로부터 제공되는 영상을 분석하여 배경으로 판단되는 화소, 즉 시간의 변화에도 불구하고 색상, 계조 등이 변화하지 않는 화소의 화소 정보를 이용하여 배경 모델을 설정할 수 있다.

예를 들어, 상기 촬상 장치가 설치된 후 제공되는 영상에 건물, 나무, 도로가 존재하는 경우, 상기 건물, 나무, 도로를 표시하는 화소들의 색상, 계조 정보를 통해 특정 범위의 색상, 계조 정보를 갖는 배경 모델을 설정할 수 있다.

따라서, 배경 모델 요소의 개수는 촬상 장치로부터 제공되는 영상에 존재하는 배경의 종류에 대응하여 많아지거나 적어질 수 있으며, 경우에 따라서는 오직 하나의 배경 모델 요소만 설정될 수도 있다. 그리고, 설정된 배경 모델은 배경화소 판단부(130)에서, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 기준으로 사용된다.

도 2(b)는, 배경 화소와 전경 화소를 예시적으로 나타낸다. 도 2(b)에는, 제1 화소(PX1)와 제2 화소(PX2)가 도시되는데, 설명의 편의를 위해 2개의 화소만을 도시한 것으로, 상기 촬상 장치의 해상도에 따라 복수의 화소가 있을 수 있다.

상기 제1 화소(PX1)의 계조는 상기 제1 배경 모델 요소(BE1)의 계조 범위에 포함되나, 상기 제2 화소(PX2)의 계조는 상기 제1 내지 제3 배경 모델 요소(BE1, BE2, BE3) 중 어느 배경 모델 요소의 계조 범위에도 포함되지 않는다. 따라서, 상기 제1 화소(PX1)는 배경 화소인 것으로 판단되고, 상기 제2 화소(PX2)는 전경 화소인 것으로 판단될 수 있다.

또한, 상기 제1 배경 모델 요소(BE1)는 최근 프레임에서 사용된 것으로 업데이트 되고, 상기 제1 및 제2 배경 모델 요소(BE2, BE3)는 최근 프레임에서 사용되지 않은 것으로 업데이트 된다.

도 3은 배경 모델의 확장을 예시적으로 나타내는 도면이다.

도 3은 하나의 배경 모델 요소(BE)를 포함하는 배경 모델을 도시하며, 도 2를 참조로 하여 설명한 바와 같이, 배경 모델 요소의 개수는 설명을 위한 예시에 불과하다.

도 3(a)를 참조하면, 80 이상 140 이하의 계조 범위를 갖는 배경 모델 요소(BE)의 경계 영역에 대응하는 화소가 존재한다. 이때, 배경 모델 요소의 경계 영역은 해당 배경 모델 요소가 갖는 범위의 최저값 또는 최고값일 수 있다. 또는, 상기 최저값 또는 최고값을 포함하는 소정 영역이 될 수도 있다.

예를 들어, 도 3에서 상기 배경 모델 요소(BE)의 경계 영역은 계조 80 및 계조 140이 될 수 있다. 또는, 계조 80을 포함하는 소정 영역으로서 계조 78 이상 82 이하의 범위, 계조 140을 포함하는 소정 영역으로서 계조 138 이상 142 이하의 영역이 될 수 있다.

배경 모델 업데이트부(140)는, 상기 배경 모델의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델이 상기 경계 영역을 포함하도록 상기 배경 모델을 업데이트할 수 있다.

도 3(b)는, 도 3(a)의 배경 모델 요소(BE)가 확장되어 업데이트 된 배경 모델 요소(BE’)를 도시한다. 도 3(b)의 배경 모델 요소(BE’)는 80 이상 142 이하의 계조 범위를 갖는데, 이는 도 3(a)의 배경 모델 요소(BE)의 고 계조 영역이 확장되었음을 의미한다. 즉, 업데이트 전의 배경 모델 요소(BE)의 경계 영역(138 이상 142 이하의 계조 범위)에 대응하는 영상 특성을 갖는 화소(PX)가 존재하여 상기 경계 영역을 상기 배경 모델 요소(BE)에 포함되도록 업데이트 하여 새로운 배경 모델 요소(BE’)가 생성되었음을 의미한다.

한편, 배경 모델 업데이트부(140)는, 도 3에 도시되는 바와 같이 배경 모델 요소의 영상 특성 정보를 업데이트함과 동시에, 업데이트 된 새로운 배경 모델 요소의 사용 시간 정보를 함께 업데이트 한다. 따라서, 도 3(b)의 경우, 배경 모델 요소(BE’)가 사용된 최근 프레임 정보가 업데이트 될 수 있다.

또한, 상기 배경 모델 업데이트부(140)는, 주기적으로 상기 배경 모델(또는, 배경 모델 요소)을 업데이트 하되, 상기 배경 모델의 과도한 확장을 방지하기 위하여 확장된 상기 경계 영역에 대응하는 화소가 일정 시간 이상 존재하지(입력되지) 않는 경우에는 확장된 배경 모델을 일정 비율로 축소할 수도 있다.

도 4는 배경 모델 확장을 고려하지 않은 배경 모델을 사용하는 경우를 나타내는 도면이다.

도 4(a)와 도 4(b)는 촬상 장치로부터 제공된 영상과, 상기 영상에 포함되는 배경과 전경이 구분되어 나타내는 화면을 도시한다. 도 4(a)와 도 4(b)의 우측에 위치하는 화면은, 배경 모델 확장 즉, 배경 모델 요소의 경계 영역 확장을 고려하지 않고 배경과 전경을 구분하여 처리한 화면을 나타내며, 밝은 색으로 표시되는 화소는 전경으로 판단된 화소를 의미한다.

먼저 도 4(a)를 참조하면, 사람이 존재하는 영역은 전경으로 판단되어 밝게 표시된 것을 알 수 있다. 그러나, 나무와 그 그림자가 위치하는 영역은 배경임에도 불구하고 전경으로 판단되어 사람이 존재하는 영역과 마찬가지로 밝게 표시되어 있다. 도 4(b)를 참조하면, 모든 영역이 배경으로 판단되어야 하나 일부 영역이 전경으로 판단되어 밝게 표시되어 있음을 알 수 있다.

도 4(a)의 예에서는 바람이 불어 나뭇잎이 흔들리는 경우 나뭇잎의 주변 영역과 나무 그림자의 주변 영역이 짧은 시간 동안 영상 특성이 변화하여, 전경으로 판단된 것으로 볼 수 있다. 또한, 도 4(b)의 예에서는 구름이 지나가면서 생긴 그림자가 배경과 전경을 구분하는 것을 방해하였기 때문으로 이해할 수 있다.

바람이 불거나 그림자가 드리워지는 경우에는 기존의 배경 모델 요소의 경계 영역의 영상 특성 정보를 갖는 화소가 존재할 수 있으며, 이러한 화소가 존재하는 경우에는 배경 모델 요소의 경계 영역이 포함되도록 기존의 배경 모델 요소를 업데이트 하는 것이 바람직하다.

따라서, 도 3을 참조로 하여 설명한 바와 같은 업데이트 과정을 통하여, 비교적 빠르게 변화하는 동적 배경에 대한 적응도를 높일 수 있다.

도 5는 배경 모델 업데이트를 개략적으로 나타내는 도면이다.

도 5는, 배경 후보 모델 요소가 배경 모델 요소로 업데이트 되는 것을 나타낸다. 도 5에서, BMC는 배경 후보 모델 요소를 나타내고, BM은 배경 모델 요소를 나타낸다.

상기 배경 후보 모델 요소(BMC 및 BMC1 내지 BMCn)는 배경화소 판단부(130)에 의해 전경 화소로 판단된 화소들의 화소 정보 및 사용 시간 정보를 포함하며, 배경 모델 업데이트부(140)는, 전경 화소로 판단된 화소의 화소 정보 및 사용 시간 정보를 포함하는 배경 후보 모델 요소를 생성할 수 있다.

배경 후보 모델 요소는 향후 배경 모델 요소로 업데이트될 수 있는 모델 요소를 의미한다. 예컨대, 현재는 전경 화소로 판단되나, 시간의 경과에 따라 배경 화소로 판단될 가능성이 있는 화소의 영상 특성을 포함하는 모델 요소를 의미한다.

주차장에 주차 중인 차량은 일단은 전경으로 판단될 수 있으나, 장시간 주차가 계속되는 경우에는 배경으로 판단하는 것이 바람직하다. 따라서, 상기 차량을 표현하는 화소들은 전경 화소로 판단될 수 있으나, 동시에 배경 후보 모델 요소로 분류되어 향후 배경 화소로 판단될 수 있도록 한다.

상기 배경 후보 모델 요소(BMC 및 BMC1 내지 BMCn)는 배경 모델 요소와 마찬가지로 사용 시간 정보를 포함할 수 있다. 즉, 전경 화소로 판단된 화소의 화소 정보와 해당 화소가 전경 화소로 사용된 연속된 프레임의 개수 및/또는 전경 화소로 사용된 최근 프레임 정보 등을 포함할 수 있다.

배경 모델 업데이트부(140)는, 배경 후보 모델 요소의 영상 특성에 대응하는 화소가 소정 개수 이상의 프레임에 연속적으로 존재하는 경우, 해당 배경 후보 모델 요소를 배경 모델 요소로 업데이트할 수 있다.

예를 들어, 초당 60개의 프레임을 포함하는 영상에서 상기 소정 개수가 108000개로 설정된 경우에는, 하나의 전경이 30분 이상 계속하여 존재할 때에 이를 배경으로 전환하도록 설정됨을 의미한다. 앞서, 차량을 예로든 경우에 있어서, 주차장에 30분 이상 주차된 차량은 전경에서 배경으로 전환되는 것으로 이해할 수 있다.

상기 소정 개수는 상기 이동 물체 탐지 시스템(100)의 사용 목적, 사용자의 의도에 따라 유연하게 설정될 수 있음은 통상의 기술자에게 자명하다.

한편, 상기 배경 모델 업데이트부(140)는, 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고, 가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

도 5를 참조하면, 배경 후보 모델 요소는 총 n개가 존재하고, 배경 모델 요소는 총 m개가 존재하는데, 상기 n개의 배경 후보 모델 요소 중 하나의 배경 후보 모델 요소(BMC)가 배경 모델 요소로 업데이트 되면, 기존에 존재하던 m개의 배경 모델 요소(BM1 내지 BMm) 중 하나의 배경 모델 요소(BM2)가 삭제된다.

이때, 삭제되는 상기 배경 모델 요소(BM2)는 상기 m개의 배경 모델 요소(BM1 내지 BMm) 중에서 가장 오랫동안 사용되지 않은 배경 모델 요소, 즉, 제2 시간 요소의 크기가 가장 큰 배경 모델 요소에 해당한다.

그리고, 상기 배경 후보 모델 요소의 개수 n은 상기 배경 모델 요소의 개수 m보다 작게 설정될 수 있다. 배경 후보 모델 요소는 기본적으로 전경과 같은 의미로서, 전경은 한 번 검출되고 나면 사라지는 경우가 대부분이기 때문에 많은 수의 모델 요소를 갖고 지속 추적하는 것은 시스템에 과도한 부하를 지울 수 있으므로 바람직하지 않다.

도 6은 배경 모델 요소 삭제를 예시적으로 나타내는 도면이다.

도 6(a)는 3개의 배경 모델 요소(BE1, BE2, BE3) 및 복수의 화소를 나타낸다. 도 6(a)를 참조하면, 상기 3개의 배경 모델 요소(BE1, BE2, BE3)는 서로 다른 범위의 계조 정보를 포함하며, 상기 복수의 화소는 모두 5개로, 촬상 장치로부터 제공되는 영상을 구성하는 프레임에 포함되는 화소이다.

제1 배경 모델 요소(BE1)에 대응하는 화소는 3개, 제3 배경 모델 요소(BE3)에 대응하는 화소는 2개, 그리고 제2 배경 모델 요소(BE2)에 대응하는 화소는 존재하지 않는다. 상기 5개의 화소는 각각 배경 모델 요소에 대응하므로, 모두 배경 화소로 판단된다.

도 6(a)에 도시되는 바와 같이, 특정 배경 모델 요소에 대응하는 화소가 존재하지 않는 프레임이 연속적으로 입력되는 경우, 즉 특정 배경 모델 요소가 사용되지 않는 시간이 길어져 제2 시간 요소의 값이 점점 커지게 되면, 상기 특정 배경 모델 요소가 배경 모델 요소에 적합하지 않다는 결론에 도달할 수 있다.

특정 배경 모델 요소가 배경 모델 요소로서 적합하지 않게 되면, 이를 배경 모델에서 삭제하고 배경 후보 모델 요소 중 사용 빈도가 높은 것을 배경 모델 요소로 업데이트 하는 것이 바람직하다.

따라서, 도 6(b)에 도시되는 바와 같이, 도 6(a)의 제2 배경 모델 요소는 삭제된다. 한편, 배경 모델 요소를 삭제하기 위한 판단 기준이 되는 미사용 시간의 길이는 이동 물체 탐지 시스템(100)의 사용 목적 또는 사용자의 의도에 의하여 유연하게 설정될 수 있을 것이다.

도 7은 본 발명의 일 실시예에 따른 이동 물체 탐지 방법을 개략적으로 나타내는 순서도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 이동 물체 탐지 방법은, 화소 정보 저장 단계(S110), 배경 모델 설정 단계(S120), 배경 화소 여부 판단 단계(S130) 및 배경 모델 업데이트 단계(S140)를 포함한다.

화소 정보 저장 단계(S110)에서는, 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장한다. 상기 촬상 장치는 도 1을 참조로 하여 설명한 바와 같이 특정 위치에 고정 설치되어 일정한 화각 안의 피사체 정보를 영상으로 제공하는 비디오 카메라 또는 감시용 카메라 일 수 있다.

상기 촬상 장치로부터 제공되는 영상은 상기 촬상 장치의 성능 또는 사용자의 설정에 따라 초당 복수의 프레임으로 이루어질 수 있으며, 상기 프레임 각각은 복수의 화소를 포함할 수 있다. 그리고, 상기 복수의 화소 각각은 색상, 계조, 밝기 등의 영상 특성 정보를 포함한다.

상기 화소 정보 저장 단계(S110)에서는, 상기 복수의 화소 각각이 포함하는 상기 영상 특성 정보를 각 화소별로 저장할 수 있다.

배경 모델 설정 단계(S120)에서는, 상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화인지 여부를 구분하기 위한 배경 모델을 설정한다. 상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함한다.

상기 배경 모델 요소가 포함하는 상기 영상 특성 정보는 상기 복수의 화소 각각이 포함하는 영상 특성 정보와 동일한 의미로서, 색상, 계조, 밝기 등의 정보로 구성될 수 있다. 또한, 상기 사용 시간 정보는 해당 배경 모델 요소가 어느 정도의 빈도로 사용되는지 즉, 해당 배경 모델 요소에 대응하는 화소가 어느 정도의 빈도로 입력되는지 여부를 판단함으로써, 해당 배경 모델 요소가 동적 배경인지 정적 배경인지, 배경 모델 요소로서 의미를 갖는지 여부를 판단하는데 중요한 기준이 된다.

한편, 상기 배경 모델 요소는 상기 촬상 장치로부터 영상을 제공 받기 전에 미리 설정될 수 있으므로, 상기 배경 모델 설정 단계(S120)는 상기 화소 정보 저장 단계(S110)에 앞서 수행될 수 있다.

상기 배경 화소 여부 판단 단계(S130)에서는, 상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단한다.

상기 배경 모델에 포함되는 하나 이상의 상기 배경 모델 요소와 상기 복수의 화소 각각이 서로 대응하는 영상 특성 정보를 갖는 경우, 해당 화소는 배경 화소로 판단되고, 그렇지 않은 경우에는 전경 화소로 판단된다.

상기 배경 모델 업데이트 단계(S140)에서는, 배경 화소인지 여부를 판단하는 기준이 되는 상기 배경 모델을 주기적으로 업데이트 한다. 예를 들어, 상기 배경 모델 업데이트 단계(S140)에서는, 일정 시간 이상 사용되지 않은 배경 모델 요소를 삭제하는 방식의 업데이트가 이루어질 수 있다.

또한, 상기 배경 모델(또는, 배경 모델 요소)의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델(또는, 배경 모델 요소)이 상기 경계 영역을 포함하도록 업데이트할 수 있다.

한편, 상기 배경 모델 업데이트 단계(S140)에서는, 전경 화소로 판단된 화소의 화소 정보 및 사용 시간 정보를 포함하는 배경 후보 모델 요소를 생성할 수 있으며, 이때의 상기 사용 시간 정보는 상기 화소가 존재하는 프레임의 정보일 수 있다. 예를 들어, 상기 시간 정보는 상기 촬상 장치로부터 제공된 프레임 중 상기 화소가 존재하는 프레임이 몇 번째 프레임인지 나타내는 정보로 이루어질 수 있다.

또한, 상기 배경 후보 모델 요소의 개수는 상기 배경 모델 요소의 개수보다 작고, 상기 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고, 가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제할 수 있다.

한편, 상기 배경 모델 요소가 포함하는 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함할 수 있다.

지금까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 이동 물체 탐지 시스템 110: 화소 정보 저장부
120: 배경 모델 설정부 130: 배경 화소 판단부
140: 배경 모델 업데이트부

Claims (20)

1. 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장하는 화소 정보 저장부;
   상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정하는 배경 모델 설정부;
   상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 배경화소 판단부; 및
   상기 배경 모델을 주기적으로 업데이트 하는 배경 모델 업데이트부;
   를 포함하며,
   상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함하는 이동 물체 탐지 시스템.
2. 제1항에 있어서,
   상기 배경 모델 업데이트부는, 일정 시간 이상 사용되지 않은 배경 모델 요소를 삭제하는 이동 물체 탐지 시스템.
3. 제1항에 있어서,
   상기 배경 모델 업데이트부는, 상기 배경 모델의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델이 상기 경계 영역을 포함하도록 상기 배경 모델을 업데이트 하는 이동 물체 탐지 시스템.
4. 제3항에 있어서,
   상기 배경 모델 업데이트부는, 확장된 상기 경계 영역에 대응하는 화소가 일정 시간 이상 입력되지 않는 경우, 확장된 상기 경계 영역을 소정 비율로 축소하는 이동 물체 탐지 시스템.
5. 제1항에 있어서,
   상기 배경 모델 업데이트부는, 상기 화소 정보에 따라 상기 배경 모델 요소에 사용 시간 정보를 포함하여 상기 배경 모델을 업데이트 하는 이동 물체 탐지 시스템.
6. 제5항에 있어서,
   상기 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함하는 이동 물체 탐지 시스템.
7. 제1항에 있어서,
   상기 배경 모델 업데이트부는, 전경 화소로 판단된 화소의 화소 정보 및 사용 시간 정보를 포함하는 배경 후보 모델 요소를 생성하는 이동 물체 탐지 시스템.
8. 제7항에 있어서,
   상기 배경 후보 모델 요소의 개수는 상기 배경 모델 요소의 개수보다 작은 이동 물체 탐지 시스템.
9. 제7항에 있어서,
   상기 배경 모델 업데이트부는, 상기 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고,
   가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제하는 이동 물체 탐지 시스템.
10. 제1항에 있어서,
    상기 화소 정보는, 밝기 정보, 색상 정보 및 계조 정보 중 적어도 하나 이상을 포함하고,
    상기 배경화소 판단부는, 상기 화소 정보에 대응하는 특징을 갖는 화소를 배경 화소로 판단하는 이동 물체 탐지 시스템.
11. 촬상 장치로부터 입력되는 영상의 각 프레임 별 화소 정보를 저장하는 단계;
    상기 영상의 각 프레임에 포함되는 복수의 화소가 배경 화소인지 여부를 구분하기 위한 배경 모델을 설정하는 단계;
    상기 화소 정보와 상기 배경 모델을 비교하여, 상기 복수의 화소가 배경 화소인지 전경 화소인지 여부를 판단하는 단계; 및
    상기 배경 모델을 업데이트 하는 단계;
    를 포함하며,
    상기 배경 모델은 영상 특성 정보 및 사용 시간 정보를 포함하는 하나 이상의 배경 모델 요소를 포함하는 이동 물체 탐지 방법.
12. 제11항에 있어서,
    상기 업데이트 단계에서는, 일정 시간 이상 사용되지 않은 배경 모델 요소를 삭제하는 이동 물체 탐지 방법.
13. 제11항에 있어서,
    상기 업데이트 단계에서는, 상기 배경 모델의 경계 영역에 대응하는 영상 특성을 갖는 화소가 존재하는 경우, 상기 배경 모델이 상기 경계 영역을 포함하도록 상기 배경 모델을 업데이트 하는 이동 물체 탐지 방법.
14. 제13항에 있어서,
    상기 업데이트 단계에서는, 확장된 상기 경계 영역에 대응하는 화소가 일정 시간 이상 입력되지 않는 경우, 확장된 상기 경계 영역을 소정 비율로 축소하는 이동 물체 탐지 방법.
15. 제11항에 있어서,
    상기 업데이트 단계에서는, 상기 화소 정보에 따라 상기 배경 모델 요소에 사용 시간 정보를 포함하여 상기 배경 모델을 업데이트 하는 이동 물체 탐지 방법.
16. 제15항에 있어서,
    상기 사용 시간 정보는, 해당 배경 모델 요소가 사용된 가장 최근의 프레임 정보에 상응하는 제1 시간 요소, 해당 배경 모델 요소가 연속하여 사용되지 않은 프레임 개수 정보에 상응하는 제2 시간 요소 및 해당 배경 모델 요소가 사용된 프레임의 개수 정보에 상응하는 제3 시간 요소를 포함하는 이동 물체 탐지 방법.
17. 제11항에 있어서,
    상기 업데이트 단계에서는, 전경 화소로 판단된 화소의 화소 정보 및 시간 정보를 포함하는 배경 후보 모델 요소를 생성하는 이동 물체 탐지 시스템.
18. 제17항에 있어서,
    상기 배경 후보 모델 요소의 개수는 상기 배경 모델 요소의 개수보다 작은 이동 물체 탐지 방법.
19. 제17항에 있어서,
    상기 업데이트 단계에서는, 상기 배경 후보 모델 요소가 사용된 프레임의 개수가 기 설정된 프레임 개수보다 큰 경우, 상기 배경 후보 모델 요소를 배경 모델 요소로 업데이트 하고,
    가장 오랫동안 사용되지 않은 배경 모델 요소를 삭제하는 이동 물체 탐지 방법.
20. 제11항에 있어서,
    상기 화소 정보는, 밝기 정보, 색상 정보 또는 계조 정보 중 적어도 하나 이상을 포함하고,
    상기 판단 단계에서는, 상기 화소 정보에 대응하는 특징을 갖는 화소를 배경 화소로 판단하는 이동 물체 탐지 방법.

Images