KR101764845B1 - 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 - Google Patents

Abstract

본 발명은 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법에 관한 것으로서, 다중 이동 물체의 감시 방법은, 영상 감시 시스템이 입력된 영상으로부터 배경을 모델링함으로써 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하고, 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하며, 필터를 이용하여 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적한다.

Description

다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법{A video surveillance apparatus for removing overlap and tracking multiple moving objects and method thereof}

본 발명은 영상 감시 기술에 관한 것으로, 특히 영상을 입력받아 영상 내의 다중 이동 물체를 식별하되 다중 이동 물체의 움직임에 의해 겹침 현상이 발생할 경우 이들 각각의 이동 물체를 추적하는 영상 감시 장치 및 방법, 그 방법을 기록한 기록매체에 관한 것이다.

비디오 감시 시스템은 종래의 CCTV를 통한 움직임 감시와 같은 단순한 감시 장치로부터 오늘날의 정교하고 고도화된 IT 기술이 복합된 지능형 감시 시스템으로 발전하고 있다. 특히 이러한 지능형 비디오 감시 시스템은 고객이 요구하는 다양한 패턴을 최대한 수렴하고 학습이 가능한 유형으로 진화하고 있다.

종래의 비디오 감시를 위해 활용되던 CCTV 시스템은 사용의 용이함과 저렴한 가격대를 유지한다는 면에서 장점을 갖지만, VCR 또는 DVR(Digital Video Recorder)에 녹화된 영상을 사후에 검토함에 있어서는 관리자가 직접 모니터를 통해 모든 순차적인 영상을 지켜보아야 하는 불편함이 존재한다. 최근에는 DVR과 IP 카메라에 움직임 감지(motion detection)와 관련한 기술이 반영되는 등 일정 수준 무인 보안 감시가 가능해졌으나, 여전히 움직임 감지의 경우 완벽한 무인 자동화 감시를 구현하기에는 그 성능이 기대에 미치지 못하는 실정이다.

또 다른 시도로서 컴퓨터 비전과 영상처리 기법을 사용하여 실시간으로 객체를 먼저 탐지하거나 추적하는 기술들이 제안되기도 하였으며, 영상을 지능적으로 분석하여 사람의 개입이 없이도 비정상적인 행위를 탐지하여 관리자에게 알려주는 기법이 활용될 수 있다. 그러나, 이러한 지능형 감시 시스템의 경우 미리 사람에 의해서 인위적인 탐지 규칙(rule)과 탐지하고자 하는 객체(자동차, 사람 등)들을 미리 정의하여야 하기 때문에 이러한 규칙에 포함되지 않은 객체가 돌발적으로 발생한 경우에는 감시 및 탐지가 불가능한 한계를 보여준다. 이하에서 인용되는 선행기술문헌은 카메라를 통해 입력되는 영상 정보를 미리 설정된 규칙 조건에 따라 분석함으로써 물체를 식별하는 지능형 영상 감시 시스템을 제시하고 있다.

CCTV나 카메라를 기반으로 하는 실시간 지능형 영상 감시 시스템은 기존의 관제 요원이 직접 감시하거나, DVR를 이용하여 사후에 검사를 하도록 되어있는 시스템과는 달리 실시간으로 영상을 분석하여 감시 상황에 맞는 이벤트를 발생시킨다. 발생되는 이벤트는 알람, 경보 등으로 담당자에게 온-라인(on-line)으로 알려주는 행동을 수행하며 실시간 대응이 가능하도록 하는 시스템이다. 지능형 영상 감시 시스템은 영상 분석, 컴퓨터 비전, 패턴 인식 등의 기술을 적용하여 재난이나 테러, 방화, 거리 보안, 교통량 측정, DMZ 경계, 불법 주정차 단속 등 많은 분야에 활용되고 있다. 특히, 범죄로 인한 인명 피해를 예방하기 위해 사람 인식 및 관련 정보를 이용한 침입자 탐지, 추적 기술의 개발이 각광받고 있으며, 실시간으로 영상의 감시와 분석이 가능하기 때문에 영상 처리를 이용한 지능형 영상 감시 시스템의 수요가 매년 증가하고 있다.

따라서, 이러한 지능형 영상 감시 시스템의 기초적인 요소 기술로서, 다수의 객체가 포함된 영상 내에서 실시간으로 복수 개의 이동 물체를 특정하고, 이러한 이동 물체의 움직임을 자율적으로 추적, 감시할 수 있는 고도화된 기술적 수단의 제시가 요구된다.

한국특허공개공보 10-2010-0077662, 2010.07.08 공개, 주식회사 에디텍

본 발명이 해결하고자 하는 기술적 과제는, 종래의 비디오 영상을 이용한 지능형 감시 시스템에서 관리자의 조작이나 규칙 입력 없이 영상 내의 이동 물체를 실시간으로 특정하여 추적할 수 없는 문제점을 해결하고, 특히 영상 내에 다수의 이동 물체가 교차하는 상황에서 각각의 개별 이동 물체를 정확하게 추적할 수 없는 기술적 한계를 극복하고자 한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다중 이동 물체의 감시 방법은, 영상 감시 시스템이 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하는 단계; 상기 영상 감시 시스템이 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하는 단계; 및 상기 영상 감시 시스템이 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적하는 단계;를 포함한다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 추출하는 단계는, 상기 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리하는 단계; 및 이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거하는 단계;를 포함한다. 또한, 상기 이동 물체를 추출하는 단계는, 모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하는 단계; 및 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원하는 단계;를 더 포함할 수 있다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 식별하는 단계는, 추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성하는 단계; 및 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별하는 단계;를 포함한다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 라벨링된 영상을 생성하는 단계는, 상기 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여하되, 검색된 영역 중 미리 설정된 크기보다 작은 영역을 잡음으로 간주하여 제거할 수 있다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체 각각의 영역을 식별하는 단계는, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 영상 변화량이 임계값보다 큰 특징점을 추출하고, 추출된 상기 특징점을 서로 매칭하여 매칭된 특징점에 대한 화소 이동량을 산출하되, 색상 정보를 포함하는 히스토그램을 이용하여 상기 서로 다른 복수 개의 시점의 영상으로부터 이동 물체의 유사도를 판별함으로써 수행될 수 있다. 또한, 상기 이동 물체 각각의 영역을 식별하는 단계는, 상기 라벨링된 영상 내의 이동 물체의 주변을 관심 영역으로 설정하고, 설정된 상기 관심 영역에 대해서만 상기 화소 이동량을 실시간으로 산출할 수 있다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체 각각의 영역을 식별하는 단계는, 시간의 흐름에 따라 변화하는 영상의 프레임마다 수행됨으로써 상기 영상 내에 분포된 적어도 둘 이상의 이동 물체를 각각 식별할 수 있다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체 각각의 영역을 식별하는 단계는, 이동 물체의 움직임 변화량이 상대적으로 적은 부분으로서 상기 이동 물체 영역의 무게중심으로부터 가장 가까운 위치에 존재하는 적어도 3개의 특징점을 선택할 수 있다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체 각각의 영역을 식별하는 단계는, 비교 대상인 두 개의 히스토그램에 대하여 제 1 히스토그램을 제 2 히스토그램에 일치시키기 위한 화소 정보의 이동량을 산출함으로써 이동 물체 간의 유사도를 판별할 수 있다. 또한, 상기 화소 정보의 이동량은 히스토그램에서 옮겨진 색상의 거리와 옮겨진 색상의 양을 승산한 값이며, 상기 색상의 거리는 색상과 채도 값으로 구성된 2차원 히스토그램의 유클리드 거리(Euclidean distance)인 것이 바람직하다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 추적하는 단계는, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사한다.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우, 상기 이동 물체를 추적하는 단계는, 오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정할 수 있다. 또한, 상기 이동 물체를 추적하는 단계는, 오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정할 수 있다.

나아가, 이하에서는 상기 기재된 다중 이동 물체의 감시 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 다중 이동 물체 감시 장치는, 카메라로부터 촬영된 영상을 입력받는 입력부; 입력된 영상 내에 포함된 적어도 둘 이상의 이동 물체의 움직임을 감시하는 영상 감시 프로그램을 저장하는 메모리; 및 상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서;를 포함하되, 상기 메모리에 저장된 영상 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하고, 추출된 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하며, 상기 영상 감시 시스템이 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적하는 명령어를 포함한다.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 상기 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리하고, 이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거하고, 모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하며, 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원함으로써, 상기 이동 물체를 추출할 수 있다.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성하고, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별할 수 있다.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사하며, 적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우, 오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정함으로써, 상기 이동 물체를 추적할 수 있다. 또한, 상기 메모리에 저장된 영상 감시 프로그램은, 오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정할 수 있다.

본 발명에 따르면, 비디오 영상을 이용한 지능형 감시 시스템에서 관리자의 조작이나 규칙 입력 없이 자동으로 영상 내의 다중 이동 물체 각각을 실시간으로 특정하여 추적할 수 있으며, 영상 내에 다수의 이동 물체가 교차, 오버랩되는 상황에서도 각각의 개별 이동 물체를 정확하고 지속적으로 추적할 수 있는 영상 감시 체계를 구현하였다.

도 1은 본 발명의 일 실시예에 따른 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 물체를 추출하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 3은 이진화와 모폴로지 연산을 이용하여 이동 물체의 노이즈를 제거하는 과정을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 물체를 식별하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5는 이동 물체 추출 영역에 대한 라벨링 수행 결과을 예시한 도면이다.
도 6은 두 영상 간의 특징점 매칭 결과를 예시한 도면이다.
도 7은 특징점 중심으로부터 관심 영역을 지정한 결과를 예시한 도면이다.
도 8은 화소 이동량을 이용하여 이동 물체의 유사도를 판별하는 과정을 설명하기 위한 예시도이다.
도 9는 이동 물체의 겹침 현상을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 영상 감시 방법을 구현한 알고리즘을 예시한 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치를 도시한 블록도이다.
도 12는 본 발명의 실시예들에 따른 영상 감시 방법을 구현한 실험을 통해 이동 물체의 위치를 연속적으로 추적한 결과를 예시한 도면이다.

본 발명의 실시예들을 설명하기에 앞서, 지능형 영상 감시 기술과 관련한 기존의 영상 처리 과정에서 발생하는 문제점들을 개괄적으로 살펴보고, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.

지능형 영상 감시는 보통 이동 물체의 탐지를 위한 움직임 영역 추출, 감지된 이동 물체의 추적을 위한 움직임 영역의 특징 정보 추출, 마지막으로 특징 벡터를 기반으로 한 이동 물체의 추적으로 이루어져 있다. 현재, 연속된 두 개의 영상 차이를 이용하는 움직임 영역 추출 기술은 많은 연구가 진행된 바 있으며 고정된 환경에서 입력된 영상의 컬러의 화소(pixel) 변화를 학습하여 배경을 모델링하는 방법, 배경의 차를 이용하여 이동 물체를 검출하는 방법 등이 제안된 바 있다. 상기와 같은 방법들은 배경 모델링 이후 매우 빠른 속도로 움직임 이동 물체를 추출할 수 있는 장점을 갖고 있지만, 조도 변화나, 잡음 등에 민감한 특성을 갖고 있다.

또한, 검출된 이동 물체를 효과적으로 분석하고, 인식하기 위해서는 추출된 움직임 이동 물체만의 고유 특징 벡터가 필요하다. 특징 벡터를 추출하기 위한 방법으로 색상(color), 윤곽선(skeleton), 형태, 질감, 모양 등에 관한 연구가 진행된 바 있다. 이러한 방법 중 윤곽선 정보를 이용하여 사람, 자동차 등과 같은 이동 물체를 인식하는 방법은 에지(edge) 기반을 이용하기 때문에 영상의 밝기 변화나, 조명 변화 등에 덜 민감하다는 장점이 있지만, 내부 패턴이 복잡하지 않으면서 고유의 독특한 윤곽선 정보를 갖고 있어야 하는 단점도 있다.

한편, 이동 물체의 특징 정보를 이용한 추적 알고리즘으로는 희소 추적 방법인 옵티컬 플로우(optical flow) 방법이 제안되었다. 이 방법은 입력되는 두 영상에 대해 각 영상이 갖고 있는 코너 점의 화소에 대한 윈도우(window)를 설정하고, 다음 프레임(frame)에서 이 윈도우와 가장 잘 매칭(matching)되는 곳을 찾는 방법이다. 하지만, 모든 화소에 윈도우를 설정하고, 특징점을 매칭한다면 연산량이 많아 인식 속도가 느려지는 단점이 있다. 또한, 영상의 크기와 회전에 불변하는 특징을 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘이 제안되었는데, SIFT 알고리즘은 크기, 조명, 평행 이동, 회전에 강인한 반면 계산량이 많은 단점이 있다. 나아가, 컬러 분포를 특징 값으로 사용하는 Meanshift 알고리즘이 제안되었으며, Meatshift 알고리즘은 추적하고자 하는 대상 이동 물체에 컬러 히스토그램을 데이터베이스에 저장하고, 입력된 영상에서 추출한 이동 물체와 가장 유사한 히스토그램을 갖는 윈도우 영역을 찾는다. 그러나, 이 방법 또한 복잡한 계산량에 의해 실시간 추적에는 무리가 따른다. 이러한 문제점을 보완하고, 연속적인 영상에 적용하기 위해 탐색 윈도우의 크기를 조정하는 CAMshift(Continuously Adaptive Mean-Shift) 알고리즘이 제안되었으나, 이 방법 역시 조도 변화나 잡음에 영향을 많이 받는 단점이 있다.

따라서, 이하에서 제안되는 본 발명의 실시예들은 상기된 문제점을 보완하고 이동 물체의 식별 및 추적 기술의 향상을 위한 시스템을 제안하고자 한다. 제안된 시스템은 크게 세 부분으로 구성된다. 이동 물체 추출(object detection), 이동 물체 식별(object recognition), 그리고 이동 물체 추적(object tracking)이 바로 그것이다.

그 개요만을 약술하건대, 먼저 이동 물체의 추출을 위해 GMM(Gaussian Mixture Model)기법을 이용하여 배경을 모델링하고, 모델링된 배경에서 영상의 잡음을 제거하기 위해 기하학적 기법을 채택하였다. 그 다음, 모델링된 배경에서 다수의 이동 물체 영역을 인식하기 위해 라벨링 기법을 사용한다. 이어서, 라벨링 기법을 통해 인식된 다수의 이동 물체 식별을 위해 옵티컬 플로우(optical flow) 기법과 색상 정보를 융합한 방법을 제안한다. 마지막으로, 이동 물체의 추적을 위해서 칼만 필터와 이동 물체의 위치 및 이동거리 정보를 이용한 추적 알고리즘을 제안한다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 방법을 도시한 흐름도로서, 크게 이동 물체 추출, 이동 물체 인식 및 식별, 그리고 이동 물체 추적 등 세 부분을 포함한다.

S110 단계에서, 영상 감시 시스템은 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출한다. 보다 구체적으로, 입력받은 영상(예를 들어 RGB(Red-Green-Blue) 영상이 될 수 있다.)에서 이동 물체를 추출하기 위해 배경을 모델링하는데, 배경을 모델링하기 위한 방법으로는 조명 변화나, 이동 물체의 모양 변화 등에 적응적이고 강인한 GMM(Gaussian Mixture Model) 방법을 이용할 수 있다. 그리고 모델링된 배경에서 이동 물체가 검출되면, 검출 과정에서 발생하는 그림자 및 잡음으로 인한 인식 오차율을 줄이기 위해 영상의 이진화와 모폴로지(morphology) 기법을 수행하는 것이 바람직하다.

S120 단계에서, 상기 영상 감시 시스템은 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별한다. 보다 구체적으로, 추출된 다수의 이동 물체의 각 이동 영역을 인식하기 위해 라벨링 기법을 이용한 다음, 라벨링을 통해 인식된 이동 물체를 식별하기 위해 옵티컬 플로우(optical flow)와 EMD(Earth Movers Distance) 알고리즘 방법을 융합하여 이동 물체를 식별한다.

S130 단계에서, 상기 영상 감시 시스템은 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적한다. 보다 구체적으로, 식별된 이동 물체를 추적하기 위해 칼만 필터를 이용하여 이동 물체의 추적 위치를 예측, 보정하며, 이때 이동 물체 추적 중 다수 이동 물체가 겹쳐져 하나의 이동 물체로 인식되거나, 겹쳐진 이동 물체가 다시 분리되는 경우에도 지속적인 추적을 위해서 칼만 필터에 의해 보정된 추적 위치와 각 이동 물체의 위치 및 이동거리 정보를 융합한 추적 알고리즘을 활용한다.

이하에서는, 각 과정을 보다 구체적으로 기술한다.

(1) GMM 과 모폴로지 기법을 이용한 이동 물체 추출

감시 카메라로부터 입력된 RGB 영상에서 이동 물체를 추출하기 위해서 먼저 GMM 기반의 전배경(foreground) 분리 방법을 이용하고 이 결과 영상에서 빛의 반사와 그림자를 분리하기 위해 영상에 이진화(binary)를 수행한다. 마지막으로, 모폴로지 기법을 이용하여 노이즈를 제거하여 최종적으로 이동 물체를 추출할 수 있다.

도 2는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 물체를 추출하는 과정(S110)을 보다 구체적으로 도시한 흐름도이다.

먼저, S111 단계에서는 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리한다. 감시 카메라로부터 입력된 RGB 영상에서 움직임 이동 물체를 검출하기 위해서 확률 모델을 이용하는 GMM 기반의 전배경 분리 방법을 이용한다. GMM은 복수 개의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링하는 방법으로서, 본 실시예에서는 먼저 입력 영상 내의 각 화소에 대하여 가우시안 확률 밀도 함수로 모델링한다. 그 다음, 화소의 변화에 따라 평균과 분산, 가중치를 적용하여 매 프레임마다 새로 입력되는 값을 적응시켜 학습된 배경을 형성하며, 배경의 학습을 통해 이동 물체를 분리하고 검출한다. GMM은 다음의 수학식 1과 같이 유도될 수 있다.

여기서,

는 입력 데이터,

는 평균이

이고, 분산이

인 확률밀도함수를 의미하고,

는 각 확률밀도함수의 가중치이다.

다음으로, S112 단계에서는 이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거한다. 배경이 모델링된 상태에서 이동 물체가 검출되었을 때 해당 영상은 이진 영상이기 때문에 빛의 반사와 그림자가 발생한다. 이때 발생하는 그림자와 전배경을 분리하기 위해 임계값(threshold)을 이용하며, 사용된 임계값은 수학식 2와 같다.

여기서

는 배경 모델을 나타내며,

은 입력 영상을 나타낸다.

그러나, 임계값을 적용하여 그림자 영역을 제거하여도 광원 변화나 카메라의 미세한 흔들림으로 인해 잡음이 발생한다.

이를 처리하기 위해, S113 단계에서는 기하학적 영상 처리 기법인 모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하고, 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원하는 과정을 더 포함할 수 있다.

도 3은 이진화와 모폴로지 연산을 이용하여 이동 물체의 노이즈를 제거하는 과정을 예시한 도면이다.

도 3의 (a)는 입력 영상이며, 도 3의 (b)는 입력 영상 (a)를 GMM 기법을 이용하여 이동 물체를 추출한 영상이다. 여기서 사각형은 이동 물체의 그림자를 나타낸다. 이 그림자를 제거하기 위해 이진화 기법을 사용한 결과는 도 3의 (c)와 같다. 도 3의 (c)에 의하면 그림자가 완전히 사라졌음을 확인할 수 있다. 그러나 도 3의 (c)에서 볼 수 있듯이 아직 노이즈들이 존재한다. 도 3의 (d)는 이러한 노이즈는 모폴로지 기법을 이용하여 제거한 영상을 나타낸다.

(2) 다수의 이동 물체 영역 인식 및 식별 방법

도 4는 본 발명의 일 실시예에 따른 도 1의 영상 감시 방법에서 이동 물체를 식별하는 과정(S120)을 보다 구체적으로 도시한 흐름도이다.

먼저, S121 단계에서는 추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성한다. 이 과정에서는, 모폴로지 연산을 통해 얻어진 다수의 이동 물체 영역을 인식하기 위한 방법으로 라벨링을 수행한다. 라벨링 기법은 입력 영상의 각 블롭들(blobs)에 대해 4 방향 또는 8 방향 커널을 적용하여 이웃 화소로 뭉쳐있는 영역을 찾아내는 방법으로서, 본 실시예에서는 라벨링된 영역 중 일정한 크기를 넘지 못하는 라벨은 잡음으로 간주하였다. 즉, 상기 라벨링된 영상을 생성하는 S121 단계는, 상기 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여하되, 검색된 영역 중 미리 설정된 크기보다 작은 영역을 잡음으로 간주하여 제거하는 것이 바람직하다. 도 5는 이동 물체 추출 영역에 대한 라벨링 수행 결과을 예시한 도면으로서, 라벨링 기법을 통해 이동 물체를 인식한 결과를 나타내었다.

다음으로, 도 5와 같이 라벨링 기법을 통해 인식된 다수의 이동 물체를 식별하기 위해서는 각 이동 물체만의 고유 특징 정보를 알아야 하며, 이들의 행동을 분석하고 추적하기 위해서 특징 정보를 분석하는 과정이 선행되어야 한다. 따라서 본 발명의 일 실시예에서는 이동 물체 간의 고유 특징 정보를 알기 위해 영상의 왜곡에 강인한 특징점을 추출하여 옵티컬 플로우(optical flow) 기법을 적용하며, 추출된 특징점을 기반으로 색상 정보 분석을 통한 다수의 이동 물체 식별 방법을 제안한다.

다시 도 4로 돌아와서, S122 단계에서는, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별한다. 보다 구체적으로, 상기 이동 물체 각각의 영역을 식별하는 S122 과정은, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 영상 변화량이 임계값보다 큰 특징점을 추출하고, 추출된 상기 특징점을 서로 매칭하여 매칭된 특징점에 대한 화소 이동량을 산출하되, 색상 정보를 포함하는 히스토그램을 이용하여 상기 서로 다른 복수 개의 시점의 영상으로부터 이동 물체의 유사도를 판별함으로써 수행되는 것이 바람직하다. 또한, 상기 이동 물체 각각의 영역을 식별하는 S122 과정은, 상기 라벨링된 영상 내의 이동 물체의 주변을 관심 영역으로 설정하고, 설정된 상기 관심 영역에 대해서만 상기 화소 이동량을 실시간으로 산출하는 것이 가능하다.

먼저 특징점을 추출하기 위해 인식된 이동 물체에 대하여 채택된 특징점은 다음 수식을 만족하는 점들로 주어질 수 있다.

는 미리 정의된 임계값,

,

는 두 고유벡터 방향에 대한 실제 영상 변화량을 의미한다. 여기서

,

중 최소값이

보다 크면 특징점으로 식별하며 본 실시예에서는 식별된 특징점을

라 정의한다.

그 다음 추출된 특징점을 이용해 옵티컬 플로우(optical flow) 알고리즘을 적용한다. 옵티컬 플로우 알고리즘이란 입력되는 두 영상에 대해 각 영상이 갖고 있는 특징점을 추출하고, 잘 매칭된 특징점들에 대한 화소 이동량을 나타내는 방법이다. 여기서, 입력 영상의 모든 화소 정보를 구하면 연산량이 크게 증가하는 문제를 갖고 있다. 따라서 이러한 문제점을 해결하기 위해 이동 물체 영역 주변에 관심영역을 지정하고, 관심영역 내에서만 화소 이동량을 계산함으로써 전체적인 연산량을 줄여 실시간 검출이 가능하도록 한다.

도 6은 두 영상 간의 특징점 매칭 결과를 예시한 도면으로서, 옵티컬 플로우 기법을 통해 이전 이동 물체의 특징점 추출과 현 이동 물체의 특징점 추출 결과에 대해 두 영상을 매칭한 결과를 도시하였다. 먼저, 도 6의 (a)와 도 6의 (c)는 이전 영상과 현재 영상에 대하여 인식된 이동 물체 추출 영역이다. 그리고 도 6의 (b)와 도 6의 (d)는 각 이동 물체 추출 영역에 지정된 관심 영역에 대하여 옵티컬 플로우 기법을 적용한 결과를 나타낸다. 여기서, 옵티컬 플로우 기법을 적용하여 매칭된 특징점

는 검정색 원으로 도시하였다.

다음으로, 다수 이동 물체의 식별을 위해 매칭된 특징점을 기반으로 색상 정보를 분석한다. 이를 위해, 본 발명의 실시예에서 이동 물체 각각의 영역을 식별하는 과정은, 이동 물체의 움직임 변화량이 상대적으로 적은 부분으로서 상기 이동 물체 영역의 무게중심으로부터 가장 가까운 위치에 존재하는 적어도 3개의 특징점을 선택하는 것이 바람직하다.

보다 구체적으로, 우선 특징점에 대해 색상 정보를 분석하기에 앞서 이동 물체로부터 추출된 가장 의미 있는 특징점을 선정한다. 본 실시예에서는 이동 물체의 강인한 식별을 위해서는 여러 실험을 통해 최소 3개 이상의 특징점이 필요하다고 판단하였다. 또한 매칭된 모든 특징점 영역에 대해 매 프레임마다 색상 정보를 분석하게 되면 이동 물체 영역의 식별 성능은 향상되지만, 연산량이 매우 많아지는 문제점을 발견하였다. 따라서 이동 물체의 실시간 추적을 위해 가장 의미 있는 특징점 4개를 선정하였으며, 특징점을 선정하는 기준은 이동 물체의 움직임 변화량이 가장 적은 부분으로 이동 물체 영역의 무게 중심으로부터 가장 가까운 특징점을 선택하였다. 이동 물체의 무게 중심과 특징점 간에 거리는 각각 수학식 4와 수학식 5와 같이 도출될 수 있다.

여기서,

는

번째 이동 물체

의 무게중심을 의미하며,

은

번째 이동 물체 영역의

축의 영역의 화소의 수,

은

번째 이동 물체 영역의

축 영역의 화소의 수를 의미한다.

는

번째 이동 물체

와 특징점(F)간의 유클리드 거리(Euclidean distance)를 의미하며,

는

번째 특징점

의 좌표를 의미한다.

도 7은 특징점 중심으로부터 관심 영역을 지정한 결과를 예시한 도면으로서, 도 7의 (a)는 이동 물체 추출 영역이며, 도 7의 (b)는 색상 정보를 분석하기 위해 이동 물체의 무게 중심(검정색 원으로 표시되었다.)으로부터 4개의 특징점에 대하여 관심 영역을 지정한 결과를 나타낸다. 여기서, 지정된 관심 영역은 검정색 박스(Box)로 도시하였다.

그런 다음, 이동 물체 각각의 영역을 식별하는 과정은, 비교 대상인 두 개의 히스토그램에 대하여 제 1 히스토그램을 제 2 히스토그램에 일치시키기 위한 화소 정보의 이동량을 산출함으로써 이동 물체 간의 유사도를 판별할 수 있다. 특히, 상기 화소 정보의 이동량은 히스토그램에서 옮겨진 색상의 거리와 옮겨진 색상의 양을 승산한 값이며, 상기 색상의 거리는 색상과 채도 값으로 구성된 2차원 히스토그램의 유클리드 거리(Euclidean distance)로 설정될 수 있다.

보다 구체적으로, 관심 영역 내의 색상 정보 분석을 위한 방법으로 조명의 변화에 강인한 EMD(Earth Movers Distance) 알고리즘을 적용할 수 있다. 여기서 EMD는 비교 대상이 되는 두 개의 히스토그램이 있을 때, 이 중 특정한 히스토그램과 일치시키기 위해 얼마나 많은 양을 옮겨야 하는지 계산한다. 이때 필요한 최소 작업량(

)을 이용하여 두 히스토그램의 유사도를 판단한다. 이를 위해 수학식 6과 같이 두 히스토그램

와

를 정의한다.

여기서,

와

는 색상을 의미하며,

와

는 색상에 대한 비율을 의미한다.

이때, 히스토그램

와

의 거리는

가

의 히스토그램과 일치시키기 위해 들어가는 최소

양을 계산함으로써 측정할 수 있으며, 수학식 7과 같이 표현될 수 있다.

여기서,

는 히스토그램에서 옮겨진 색상의 거리

와 옮겨진 색들의 양

의 곱으로 나타낸다.

는

를

로 이동시키기 위해 이동하여야 하는 거리를 의미하며, 본 실시예에서는 이동 거리 척도를 색상(Hue)과 채도(Saturation) 값으로 이루어진 2차원 히스토그램에서의 유클리드 거리로 정의하였다. 또한

는

를

로 이동시키기 위한 일의 양으로 정의된다. 두 히스토그램을 일치시키기 위한 값

,

와 수학식 7의 결과가 최소값이 되도록 하는 값으로 EMD가 정의되며, 다음과 같은 제약 조건이 적용된다.

EMD는 전체 흐름에 대한 정규화 작업을 통해 다음의 수학식 12와 같이 정의된다.

본 발명의 실시예들에서는 이동 물체 영역을 식별하기 위해 이동 물체로부터 추출된 특징점을 기반으로 4개의 관심 영역에 대해 히스토그램을 계산하며, 각각의 히스토그램으로부터 계산된 EMD 값을 바탕으로 사용자가 지정한 임계값을 통하여 이동 물체의 유사도를 판별, 식별한다.

도 8은 화소 이동량을 이용하여 이동 물체의 유사도를 판별하는 과정을 설명하기 위한 예시도이다. 여기서 도 8의 (a)는 데이터베이스에 저장된 이동 물체에 대하여 4개의 관심 영역 중 한 개 영역의 색상과 채도 히스토그램(제 1 히스토그램)이며, 도 8의 (b)도 마찬가지로 현재 입력 영상에서 식별하기 위한 이동 물체의 히스토그램(제 2 히스토그램)을 나타낸다. 다음 도 8의 (c)는 두 개의 히스토그램에 대하여 EMD 계산을 통해 유사도를 판별하여

을 식별한 결과를 도시한 그림이다. 또한 식별된 이동 물체가 감시영역에 머무른 시간을 알 수 있도록 시간(

)를 적용하며,

와 같이 정의하였다. 여기서

는

번째 이동 물체가 감시 영역에 머무르는 시간을 의미한다.

상기와 같은 식별 과정을 매 프레임마다 수행함으로써 영상에서의 이동 물체 영역을 식별하였으며, 이는 다수의 이동 물체에 대해서도 식별이 가능함을 실험을 통해 증명하였다. 요약하건대, 본 발명의 일 실시예에 따른 영상 감시 방법에서 이동 물체 각각의 영역을 식별하는 과정은, 시간의 흐름에 따라 변화하는 영상의 프레임마다 수행됨으로써 영상 내에 분포된 적어도 둘 이상의 이동 물체를 각각 식별할 수 있다.

(3) 칼만 필터와 이동 물체의 위치 및 이동 거리 정보를 융합한 추적

본 실시예에 따른 영상 감시 방법에서 이동 물체를 추적하는 과정은 앞서 식별된 이동 물체의 추적을 위한 방법으로 칼만 필터(Kalman filter)를 이용하여 이동 물체들의 위치를 예측 보정한다. 이때, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사하게 된다. 만약 적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우, 상기 이동 물체를 추적하는 과정은 오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정하게 된다. 특히, 상기 이동 물체를 추적하는 과정은 오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정할 수 있다.

보다 구체적으로, 이동 물체의 식별된 위치에 대하여 칼만 필터를 적용하기 위한 시스템은 다음과 같이 모델링하였다. 먼저, 이동 물체의 추적 위치와 속도를 수학식 13과 같이 상태 벡터로 나타내었다.

여기서, 시간

에서의 상태 벡터

는 수학식 14와 같이 나타내며, 전이 행렬

는 수학식 15와 같다.

여기서,

는 사용자 입력에 의한 상태 전이 행렬,

는 예측 노이즈 공분산 행렬

를 가지는 가우시안 분포

를 따르는 잡음 오차를 의미한다.

그 다음 측정값

는 인식된 이동 물체의 위치이며, 수학식 16과 같이 측정 방정식을 나타낼 수 있다.

여기서,

는 인식된 이동 물체의 위치만을 가지며,

는 측정 노이즈 공분산 행렬

를 가지는 가우시안 분포

를 따르는 잡음 오차를 의미한다. 따라서 상태 행렬

는 상태 벡터에서 속도를 나타내는 요소는 제거하고, 위치를 나타내는 요소만 적용하여 다음 수학식 17과 같이 나타낼 수 있다.

상기와 같은 처리 과정을 통해 칼만 필터를 적용하여 이동 물체의 추적 위치를 보정한다.

그러나, 이동 물체의 겹침 현상을 설명하기 위한 예시도인 도 9와 같이 다수의 이동 물체 영역이 겹쳤을 경우에는 두 물체의 영역이 하나의 이동 물체로 인식되는 경우가 있다. 여기서는 인식된 이동 물체 영역에 대해서만 식별하고, 추적하기 때문에 겹쳐진 이동 물체는 추적에 실패하는 경우가 자주 발생하는데, 그 원인은 겹쳐진 물체의 위치를 갱신하지 못하기 때문이다. 따라서, 본 발명의 실시예들에서는 이와 같은 문제점을 해결하기 위한 방법을 제안한다.

도 10은 본 발명의 일 실시예에 따른 영상 감시 방법을 구현한 알고리즘을 예시한 흐름도로서, 다중 이동 물체의 인식, 물체의 식별 및 추적에 대한 전체 알고리즘을 도시하였다. 도 10을 통해 본 발명의 실시예들에 따른 영상 감시 방법이 제안하는 추적 기법을 구체적으로 설명하도록 한다. 도 10에 도시된 알고리즘은 크게 세 부분으로 나누어지며, 구체적인 설명은 다음과 같다.

1) 이동 물체 인식 및 식별

먼저, S1011 단계를 통한 GMM 기반의 모델링된 배경 영상에서 S1013 단계를 거쳐 이동 물체가 탐지되었을 경우, 이동 물체를 식별하기 위해 S1021 단계의 옵티컬 플로우(optical flow)와 S1023 단계의 EMD 기법을 이용하며, 이러한 식별 과정은 매 프레임마다 수행된다. S1025 단계의 검사를 통해 만약 이동 물체 영역의 인식, 식별이 완료되면, 이동 물체의 시간 변수

는 입력 영상으로부터 식별이 처음 완료된 시간을 갱신하게 된다. 그리고 인식된 이동 물체 식별에 실패할 경우에는 S1037 단계로 진행하여 위치 예측, 추정 단계를 수행한다.

2) 칼만 필터를 이용한 추적 및 겹침 여부 판단

식별된 이동 물체의 위치는 S1031 단계의 칼만 필터를 이용하여 추적 위치를 보정한다. 그 다음, S1035 단계의 다수의 이동 물체가 겹쳐진 경우를 판단하기 위한 방법으로 S1033 단계의 유클리드 거리를 이용하며 수학식 18과 같이 나타낼 수 있다.

여기서,

와

는 식별된 이동 물체의 번호를 의미하고, 두 이동 물체의

와 사용자 정의 거리

를 이용하여 S1035 단계에서 오버랩(겹침) 여부를 판단한다. 만약 이동 물체가 오버랩되지 않은 경우 S1039 단계로 진행하여 해당 이동 물체 영역의 위치를 갱신하고, 추적하게 된다.

3) 이동 물체의 위치 추정

만약, S1025 단계의 검사를 통해 인식된 이동 물체의 식별에 실패하거나, S1035 단계의 검사를 통해 다수의 이동 물체가 오버랩된 경우에는 S1037 단계로 진행하여 위치 예측, 추정 알고리즘을 수행한다. 본 발명의 실시예에서는 위치 추정을 위해 칼만 필터로 보정된 이전 영상에서의 추적 위치

와 식별에 다시 성공된 현재 이동 물체 영역

와의 거리 오차

는 유클리드 거리를 이용하며 수학식 19와 같이 나타낸다.

여기서, 두 이동 물체의 거리 오차

가 사용자 정의 거리

보다 작을 경우, 식별된 이동 물체 영역은 동일 물체로 추정하여

의 위치는

의 위치로 갱신된다. 따라서, 상기와 같은 방법으로 식별에 실패할 경우에도 추적 위치를 갱신함으로써 지속적인 추적을 가능하게 한다. 또한 이동 물체 영역이 겹쳐져 하나의 이동 물체 영역으로 인식될 경우에는 인식된 하나의 물체 영역에 대해서만 식별이 가능하고, 식별된 영역을 추적할 수 있다. 이때, 식별되지 못한 이동 물체 영역의 위치를 추정하기 위한 방법으로

로부터 현재 하나로 식별된 이동 물체 영역의 위치

와의 이동 거리 정보를 이용한다.

본 발명의 실시예에서는

의 위치가 이동하는 거리만큼

도 동일하게 이동한다고 가정하였으며, 이 가정은 이동 물체 영역이 다시 분리될 때까지 지속된다. 그 다음, 이동 물체 영역이 분리되었을 때 분리된 두 영역은 다시 식별된다. 이때, 식별된 이동 물체의 위치

와

와의 관계는 수학식 19를 통해 판단하며, 거리 오차

가 사용자가 정의한 거리

보다 작을 경우 식별된 이동 물체 영역은 오버랩되었던 물체로 추정되어

의 위치는 식별된 이동 물체 영역의 위치로 갱신된다.

이상에서 제안한 방법은 인식된 이동 물체 영역의 식별에 실패하거나, 두 이동 물체의 영역이 오버랩되고 분리되는 과정에서 식별되지 못한 이동 물체 영역의 위치를 추정함으로써 지속적인 추적이 가능함을 알 수 있다. 마지막으로 S1051 단계의 검사를 통해, 추적중인 이동 물체가 입력 영상에서 사용자가 사전에 정의한 시간 변수

만큼 감지되지 않을 경우 해당 이동 물체 영역의 식별된 정보와 영상에 머물렀던 시간을 데이터베이스에 저장하고, S1053 단계로 진행하여 이동 물체가 사라졌다고 판단한다.

도 11은 본 발명의 다른 실시예에 따른 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치(100)를 도시한 블록도로서, 앞서 도 1을 통해 설명한 각 수행 과정을 하드웨어 간의 연결 관계를 중심으로 기술하였다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 구성의 수행 기능을 약술하도록 한다.

입력부(10)는, 카메라(200)로부터 촬영된 영상을 입력받는다.

메모리(30)는, 입력부(10)를 통해 입력된 영상 내에 포함된 적어도 둘 이상의 이동 물체의 움직임을 감시하는 영상 감시 프로그램을 저장한다.

프로세서(20)는, 상기 영상 감시 프로그램을 구동하는 주체로서, 적어도 하나의 하드웨어로서 구현되어 메모리(30)에 접근하여 영상 감시 프로그램에 정의된 명령을 수행, 제어할 수 있다.

여기서, 메모리에 저장된 영상 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하고, 추출된 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하며, 상기 영상 감시 시스템이 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적하는 명령어를 포함한다.

보다 구체적으로, 메모리(30)에 저장된 영상 감시 프로그램은, 상기 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리하고, 이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거하고, 모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하며, 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원함으로써, 상기 이동 물체를 추출할 수 있다.

또한, 메모리(30)에 저장된 영상 감시 프로그램은, 추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성하고, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별할 수 있다.

나아가, 메모리(30)에 저장된 영상 감시 프로그램은, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사하며, 적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우, 오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정함으로써, 상기 이동 물체를 추적할 수 있다. 특히, 상기 영상 감시 프로그램은, 오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정할 수 있다.

이하에서는 상기된 본 발명의 실시예들에 따른 영상 감시 프로그램을 하드웨어 상에 구현하여 수행한 실험예를 제시하여 앞서 목표로 하였던 다중 이동 물체의 검출 및 추적 성능을 검증하였다. 이상에서 기술한 옵티컬 플로우와 EMD 알고리즘을 이용한 다수의 이동 물체 식별과 칼만 필터를 이용한 추적 알고리즘은 이동 물체의 식별 및 추적 기술의 향상을 위해 개발되었으며, 영상에서의 이동 물체 영역의 식별과 다수의 이동 물체 영역이 겹쳐질 경우에 대하여 실험하였다. 실험 환경은 i5-2500 3.3GHz CPU, 4GB RAM의 PC에서 수행하였고, 640x480 화소, 초당 30 프레임의 웹 카메라를 사용하였다. 또한, 실험에 동원된 이동 물체는 3명으로 설정하였다.

도 12는 본 발명의 실시예들에 따른 영상 감시 방법을 구현한 실험을 통해 이동 물체의 위치를 연속적으로 추적한 결과를 예시한 도면으로서, 각 입력 영상에서 다중 이동 물체를 식별하고, 적어도 두 개의 이동 물체 영역이 겹칠 때와 분리될 경우의 이동 물체 추적 결과를 프레임(frame) 별로 도시하였다. 여기서, 도 12의 (a), (b), (c)는 각각의 이동 물체 영역

,

,

에 대하여 식별한 결과를 도시한 도면이며, 도 12의 (d) 내지 (j)는 다수의 이동 물체 영역이 겹쳐지고 나서 다시 분리되는 과정에도 추적에 성공한 결과를 도시한 도면이다. 시간의 흐름에 따른 프레임별 상황을 나타내는 세부 도면을 약술하면 다음의 표 1과 같다.

세부 도면	설명
도면 12의 (a)	가 식별됨 (20 프레임)
도면 12의 (b)	가 식별됨 (69 프레임)
도면 12의 (c)	가 식별됨 (155 프레임)
도면 12의 (d)	와 가 오버랩됨 (164 프레임)
도면 12의 (e)	와 가 분리됨 (176 프레임)
도면 12의 (f)	189 프레임
도면 12의 (g)	318 프레임
도면 12의 (h)	와 가 오버랩됨 (324 프레임)
도면 12의 (i)	와 가 분리됨 (332 프레임)
도면 12의 (j)	343 프레임

도 12에서 알 수 있듯이 본 발명의 실시예들이 제안한 영상 감시 방법은 색상 정보 소실로 인한 이동 물체 식별에 실패하거나, 겹쳐진 경우에도 지속적인 추적이 가능함을 증명한다.

상기된 본 발명의 실시예들은, 옵티컬 플로우와 EMD 알고리즘을 이용한 다수의 이동 물체 식별과 칼만 필터를 이용한 추적 알고리즘을 제안하였다. 제안한 영상 감시 시스템은 카메라를 통해 입력된 영상에서 추출된 이동 물체의 인식을 위해 라벨링 기법을 이용하였으며, 인식된 이동 물체의 식별을 위해 옵티컬 플로우 알고리즘과 이동 물체의 색상 기반 히스토그램 정보를 EMD 알고리즘에 적용하는 방법을 제안하였다. 그런 다음, 식별된 이동 물체 영역의 위치를 추적하기 위해 칼만 필터와 이동 물체의 위치 및 이동거리 정보를 융합한 알고리즘을 제안하였다. 이를 통해 제안된 영상 감시 방법은 이동 물체 영역이 오버랩되었을 경우에도 이동 물체의 추적율을 향상시키고, 오버랩 현상에도 불구하고 지속적인 추적이 가능한 영상 감시 체계를 구현하였으며, 모의 실험을 통해 제안된 알고리즘에 대한 응용 가능성을 증명하였다.

한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 영상 감시 장치
200 : 카메라
10 : 입력부
20 : 프로세서
30 : 메모리

Claims (20)

1. 영상 감시 시스템이 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하는 단계;
   상기 영상 감시 시스템이 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하는 단계; 및
   상기 영상 감시 시스템이 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적하는 단계;를 포함하고,
   상기 이동 물체를 식별하는 단계는,
   추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성하는 단계; 및
   시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별하는 단계;를 포함하며,
   상기 이동 물체 각각의 영역을 식별하는 단계는,
   비교 대상인 두 개의 히스토그램에 대하여 제 1 히스토그램을 제 2 히스토그램에 일치시키기 위한 화소 정보의 이동량을 산출함으로써 이동 물체 간의 유사도를 판별하되, 상기 화소 정보의 이동량은 히스토그램에서 옮겨진 색상의 거리와 옮겨진 색상의 양을 승산한 값이고, 상기 색상의 거리는 색상과 채도 값으로 구성된 2차원 히스토그램의 유클리드 거리(Euclidean distance)인 것을 특징으로 하는 다중 이동 물체의 감시 방법.
2. 제 1 항에 있어서,
   상기 이동 물체를 추출하는 단계는,
   상기 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리하는 단계; 및
   이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거하는 단계;를 포함하는 다중 이동 물체의 감시 방법.
3. 제 2 항에 있어서,
   상기 이동 물체를 추출하는 단계는,
   모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하는 단계; 및
   상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원하는 단계;를 더 포함하는 다중 이동 물체의 감시 방법.
4. 삭제
5. 제 1 항에 있어서,
   상기 라벨링된 영상을 생성하는 단계는,
   상기 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여하되, 검색된 영역 중 미리 설정된 크기보다 작은 영역을 잡음으로 간주하여 제거하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
6. 제 1 항에 있어서,
   상기 이동 물체 각각의 영역을 식별하는 단계는,
   시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 영상 변화량이 임계값보다 큰 특징점을 추출하고, 추출된 상기 특징점을 서로 매칭하여 매칭된 특징점에 대한 화소 이동량을 산출하되, 색상 정보를 포함하는 히스토그램을 이용하여 상기 서로 다른 복수 개의 시점의 영상으로부터 이동 물체의 유사도를 판별함으로써 수행되는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
7. 제 6 항에 있어서,
   상기 이동 물체 각각의 영역을 식별하는 단계는,
   상기 라벨링된 영상 내의 이동 물체의 주변을 관심 영역으로 설정하고, 설정된 상기 관심 영역에 대해서만 상기 화소 이동량을 실시간으로 산출하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
8. 제 1 항에 있어서,
   상기 이동 물체 각각의 영역을 식별하는 단계는,
   시간의 흐름에 따라 변화하는 영상의 프레임마다 수행됨으로써 상기 영상 내에 분포된 적어도 둘 이상의 이동 물체를 각각 식별하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
9. 제 1 항에 있어서,
   상기 이동 물체 각각의 영역을 식별하는 단계는,
   이동 물체의 움직임 변화량이 상대적으로 적은 부분으로서 상기 이동 물체 영역의 무게중심으로부터 가장 가까운 위치에 존재하는 적어도 3개의 특징점을 선택하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
10. 삭제
11. 삭제
12. 제 1 항에 있어서,
    상기 이동 물체를 추적하는 단계는,
    칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
13. 제 12 항에 있어서,
    적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우,
    상기 이동 물체를 추적하는 단계는,
    오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
14. 제 13 항에 있어서,
    상기 이동 물체를 추적하는 단계는,
    오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정하는 것을 특징으로 하는 다중 이동 물체의 감시 방법.
15. 제 1 항 내지 제 3 항, 제 5 항 내지 제 9 항, 제 12 항 내지 제 14 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
16. 카메라로부터 촬영된 영상을 입력받는 입력부;
    입력된 영상 내에 포함된 적어도 둘 이상의 이동 물체의 움직임을 감시하는 영상 감시 프로그램을 저장하는 메모리; 및
    상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서;를 포함하되,
    상기 메모리에 저장된 영상 감시 프로그램은,
    입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 이동 물체를 추출하고, 추출된 상기 이동 물체들이 분포된 영상 영역에 고유 식별자를 부여하는 라벨링(labeling)을 수행하고 라벨링된 이동 물체를 식별하며, 필터를 이용하여 상기 이동 물체들의 위치를 예측 보정함으로써 이동 물체를 추적하는 명령어를 포함하고,
    상기 메모리에 저장된 영상 감시 프로그램은,
    추출된 상기 이동 물체들이 포함된 영상의 블롭들(blobs)에 대하여 인접한 화소(pixel)가 연속적으로 분포된 영역을 검색하여 인접한 화소 영역에 고유 식별자를 부여함으로써 라벨링된 영상을 생성하고, 시간의 흐름에 따라 서로 다른 복수 개의 시점에 상기 라벨링된 영상 내의 이동 물체로부터 특징점을 추출하여 서로 매칭하고 매칭된 특징점에 기초한 색상 정보를 이용하여 상기 이동 물체 각각의 영역을 식별하며,
    비교 대상인 두 개의 히스토그램에 대하여 제 1 히스토그램을 제 2 히스토그램에 일치시키기 위한 화소 정보의 이동량을 산출함으로써 이동 물체 간의 유사도를 판별함으로써 상기 이동 물체 각각의 영역을 식별하되, 상기 화소 정보의 이동량은 히스토그램에서 옮겨진 색상의 거리와 옮겨진 색상의 양을 승산한 값이고, 상기 색상의 거리는 색상과 채도 값으로 구성된 2차원 히스토그램의 유클리드 거리(Euclidean distance)인 것을 특징으로 하는 것을 특징으로 하는 다중 이동 물체 감시 장치.
17. 제 16 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    상기 입력된 영상으로부터 확률 모델을 이용하여 전배경(foreground)을 분리하고, 이진화를 수행하여 상기 전배경이 분리된 영상으로부터 빛의 반사와 그림자를 제거하고, 모폴로지(morphology) 연산 중 침식(erosion) 연산을 이용하여 노이즈를 제거하며, 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실을 팽창(dilation) 연산을 통해 복원함으로써, 상기 이동 물체를 추출하는 것을 특징으로 하는 다중 이동 물체 감시 장치.
18. 삭제
19. 제 16 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 적어도 둘 이상의 이동 물체 간의 거리를 산출하여 이동 물체들이 오버랩(overlap)되었는지 여부를 검사하며, 적어도 둘 이상의 이동 물체가 오버랩(overlap)되었다고 판단된 경우, 오버랩 이전까지의 이동 물체 각각의 움직임에 기초하여 오버랩 이후의 이동 물체의 위치를 추정함으로써, 상기 이동 물체를 추적하는 것을 특징으로 하는 다중 이동 물체 감시 장치.
20. 제 19 항에 있어서,
    상기 메모리에 저장된 영상 감시 프로그램은,
    오버랩 이전 시점에서 보정된 추적 위치와 오버랩 시점의 이동 물체 영역 간의 거리 오차를 이용하여 오버랩 이후의 이동 물체 영역의 위치를 추정하는 것을 특징으로 하는 다중 이동 물체 감시 장치.

Images