KR20130057283A - 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 - Google Patents

팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 Download PDF

Info

Publication number
KR20130057283A
KR20130057283A KR1020110123116A KR20110123116A KR20130057283A KR 20130057283 A KR20130057283 A KR 20130057283A KR 1020110123116 A KR1020110123116 A KR 1020110123116A KR 20110123116 A KR20110123116 A KR 20110123116A KR 20130057283 A KR20130057283 A KR 20130057283A
Authority
KR
South Korea
Prior art keywords
pixel
background model
background
input image
foreground
Prior art date
Application number
KR1020110123116A
Other languages
English (en)
Other versions
KR101299237B1 (ko
Inventor
장일권
임정은
김수완
김선정
이광무
윤기민
최진영
Original Assignee
삼성테크윈 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 서울대학교산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020110123116A priority Critical patent/KR101299237B1/ko
Priority to US13/682,137 priority patent/US9418320B2/en
Priority to CN201210480951.4A priority patent/CN103139447B/zh
Publication of KR20130057283A publication Critical patent/KR20130057283A/ko
Application granted granted Critical
Publication of KR101299237B1 publication Critical patent/KR101299237B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법을 개시한다.
본 발명의 팬틸트줌 카메라를 이용한 물체 탐지 장치는, 현재 입력 영상과 이전 입력 영상을 기초로 생성된 배경 모델을 필터링하는 필터와, 상기 현재 입력 영상과 상기 배경 모델 간의 관계 행렬을 추정하는 관계 행렬 추정부와, 상기 필터링된 배경 모델에 상기 관계 행렬을 적용하여 배경 모델을 변환하고, 상기 변환된 배경 모델과 상기 필터링된 현재 입력 영상을 정렬하는 영상 정렬부와, 상기 정렬된 배경 모델과 현재 입력 영상 간에 대응하는 픽셀들을 비교하여 전경을 검출하는 전경/배경 검출부를 포함할 수 있다.

Description

팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법{Apparatus and method for detecting object using PTZ camera}
본 발명은 팬틸트줌(PTZ) 카메라로부터 입력되는 영상에서 움직이는 물체를 탐지하기 위한 장치 및 방법에 관한 것이다.
팬틸트줌 카메라를 이용한 물체 탐지 알고리즘으로서 광류를 사용한 움직임 분리 기법이 있다. 이는 카메라의 움직임은 배경과 같은 데에 비해 자신만의 움직임을 갖는 전경들은 다른 움직임을 보이기 때문에 광류를 사용하여 다른 움직임을 그룹화하는 방법이다.
다른 팬틸트줌 카메라를 이용한 물체 탐지 알고리즘은 움직이는 물체를 탐지하는 데에 있어서 카메라의 횡축 이동 및 종축 이동 범위 안의 모든 영역을 큰 배경 모델로 만드는 방법이다. 이 방법은 카메라가 이동하며 큰 배경 모델을 생성하고 현재 입력 영상에 해당되는 부분을 큰 배경 모델 내에서 찾고 이를 비교함으로써 움직이는 물체를 탐지할 수 있다. 이 방법은 또한 카메라의 팬틸트줌 정보를 사용하는 방법과 사용하지 않는 방법으로 나눌 수 있다.
또 다른 팬틸트줌 카메라를 이용한 물체 탐지 알고리즘은 입력 영상과 같은 크기의 배경 모델을 생성하는 방법이다.
미국 등록 특허 US 6798897은 입력 영상과 같은 크기의 배경 모델을 이용하고, 영상 내의 특정 위치들마다 확률적 모델을 세워 인접된 두 영상 간의 행렬을 구하여, 이를 물체 탐지에 이용하고 있다.
본 발명은 팬틸트줌(PTZ) 카메라를 이용한 감시 시스템에서, 움직이는 물체를 보다 효과적이고 정확하게 탐지할 수 있는 장치 및 방법에 관한 것이다.
본 발명의 바람직한 일 실시예에 따른 팬틸트줌 카메라를 이용한 물체 탐지 장치는, 현재 입력 영상과, 이전 입력 영상을 기초로 생성된 배경 모델을 필터링하는 필터; 상기 현재 입력 영상과 상기 배경 모델 간의 관계 행렬을 추정하는 관계 행렬 추정부; 상기 필터링된 배경 모델에 상기 관계 행렬을 적용하여 배경 모델을 변환하고, 상기 변환된 배경 모델과 상기 필터링된 현재 입력 영상을 정렬하는 영상 정렬부; 및 상기 정렬된 배경 모델과 현재 입력 영상 간에 대응하는 픽셀들을 비교하여 전경을 검출하는 전경/배경 검출부;를 포함할 수 있다.
상기 물체 탐지 장치는, 상기 배경 모델의 특징점을 추출하고, 상기 현재 입력 영상에서 대응하는 특징점을 추적하는 특징점 추출부;를 더 포함하고, 상기 관계 행렬 추정부는, 상기 현재 입력 영상과 상기 배경 모델의 특징점 간의 관계를 기초로 상기 관계 행렬을 추정할 수 있다.
상기 필터는, 가우시안 차 필터일 수 있다.
상기 전경/배경 검출부는, 상기 배경 모델의 시공간 정보를 이용하여 상기 현재 입력 영상의 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류할 수 있다.
상기 전경/배경 검출부는, 상기 현재 픽셀과 상기 현재 픽셀 주변의 인접 픽셀들에 대응하는 상기 배경 모델에서의 비교 픽셀들의 시간적 평균값과 분산값을 기초로, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류할 수 있다.
상기 인접 픽셀들은 상기 현재 픽셀과 공간 상의 유클리디안 거리가 제1임계값 이내의 픽셀들일 수 있다.
상기 전경/배경 검출부는, 상기 비교 픽셀들 중 적어도 하나의 시간적 평균값과 상기 현재 픽셀의 픽셀값의 차이가, 상기 비교 픽셀의 분산값과 제2임계값의 곱보다 작은 경우, 상기 현재 픽셀을 배경 픽셀로 분류할 수 있다.
상기 물체 탐지 장치는, 상기 검출된 전경에 라벨을 생성하여 추적하는 추적부를 더 포함할 수 있다. 상기 추적부는, 상기 전경에 PID 제어 방식을 적용하여 추적할 수 있다.
상기 전경/배경 검출부는, 상기 추적 결과 동일한 라벨의 전경이 일정 시간 동안 지속적으로 검출된 경우, 해당 전경의 검출 예측 영역에서, 상기 현재 픽셀과 상기 현재 픽셀에 대응하는 상기 배경 모델의 픽셀을 비교하여, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류할 수 있다.
상기 물체 탐지 장치는, 픽셀별 시간 정보를 기초로 상기 배경 모델을 업데이트하는 배경 업데이트부;를 더 포함할 수 있다.
상기 배경 업데이트부는, 상기 현재 입력 영상의 픽셀에 다음 배경 모델까지 대응되는 배경 모델의 픽셀 수인 에이지 값을 기초로 픽셀마다 학습률을 설정하여 상기 배경 모델을 업데이트할 수 있다.
상기 배경 업데이트부는, 상기 에이지 값의 역수인 가중치가 적용된, 상기 배경 모델에서 픽셀의 시간적 평균값과 상기 현재 입력 영상에서 픽셀의 픽셀값의 가중합을 기초로 상기 배경 모델을 업데이트할 수 있다.
본 발명의 바람직한 일 실시예에 따른 팬틸트줌 카메라를 이용한 물체 탐지 방법은, 현재 입력 영상과, 이전 입력 영상을 기초로 생성된 배경 모델을 필터링하는 단계; 상기 현재 입력 영상과 상기 배경 모델 간의 관계 행렬을 추정하는 단계; 상기 필터링된 배경 모델에 상기 관계 행렬을 적용하여 배경 모델을 변환하고, 상기 변환된 배경 모델과 상기 필터링된 현재 입력 영상을 정렬하는 단계; 및 상기 정렬된 배경 모델과 현재 입력 영상 간에 대응하는 픽셀들을 비교하여 전경을 검출하는 단계;를 포함할 수 있다.
상기 관계 행렬 추정 단계는, 상기 배경 모델의 특징점을 추출하고, 상기 현재 입력 영상에서 대응하는 특징점을 추적하는 단계; 및 상기 현재 입력 영상과 상기 배경 모델의 특징점 간의 관계를 기초로 상기 관계 행렬을 추정하는 단계;를 포함할 수 있다.
상기 필터는, 가우시안 차 필터일 수 있다.
상기 전경 검출 단계는, 상기 배경 모델의 시공간 정보를 이용하여 상기 현재 입력 영상의 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 단계;를 포함할 수 있다.
상기 방법은,상기 현재 픽셀과 상기 현재 픽셀 주변의 인접 픽셀들에 대응하는 상기 배경 모델에서의 비교 픽셀들의 시간적 평균값과 분산값을 기초로, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 단계;를 포함할 수 있다.
상기 인접 픽셀들은 상기 해당 픽셀과 공간 상의 유클리디안 거리가 제1임계값 이내의 픽셀들일 수 있다.
상기 전경 검출 단계는, 상기 비교 픽셀들 중 적어도 하나의 시간적 평균값과 상기 현재 픽셀의 픽셀값의 차이가, 상기 비교 픽셀의 분산값과 제2임계값의 곱 이내인 경우, 상기 현재 픽셀을 배경 픽셀로 분류하는 단계;를 포함할 수 있다.
상기 방법은, 상기 검출된 전경에 라벨을 생성하여 추적하는 단계;를 더 포함할 수 있다. 상기 추적 단계는, 상기 전경에 PID 제어 방식을 적용하여 추적하는 단계;를 포함할 수 있다.
상기 전경 검출 단계는, 상기 추적 결과 동일한 라벨의 전경이 일정 시간 동안 지속적으로 검출된 경우, 해당 전경의 검출 예측 영역에서, 상기 현재 픽셀과 상기 현재 픽셀에 대응하는 상기 배경 모델의 픽셀을 비교하여, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 단계;를 포함할 수 있다.
상기 방법은, 픽셀별 시간 정보를 기초로 상기 배경 모델을 업데이트하는 단계;를 더 포함할 수 있다.
상기 배경 모델 업데이트 단계는, 상기 현재 입력 영상의 픽셀에 다음 배경 모델까지 대응되는 배경 모델의 픽셀 수인 에이지 값을 기초로 픽셀마다 학습률을 설정하여 상기 배경 모델을 업데이트하는 단계;를 포함할 수 있다.
상기 배경 모델 업데이트 단계는, 상기 에이지 값의 역수인 가중치가 적용된, 상기 배경 모델에서 픽셀의 시간적 평균값과 상기 현재 입력 영상에서 픽셀의 픽셀값의 가중합을 기초로 상기 배경 모델을 업데이트하는 단계;를 포함할 수 있다.
본 발명은 팬틸트줌(PTZ) 카메라를 이용한 감시 시스템에서, 움직이는 물체를 보다 효과적이고 정확하게 탐지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물체 탐지 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1의 영상 변환부의 내부 구성을 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 현재 입력 영상과 와핑된 배경 모델을 정렬한 예를 도시한다.
도 4는 도 1의 물체 탐지부의 내부 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 현재 입력 영상으로부터 전경 검출 결과를 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 전경 픽셀과 배경 픽셀을 판단하는 방법을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 시간에 따라 전경 검출 결과의 변화를 도시하는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 에이지(Age) 값 설정의 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 물체 탐지 방법을 개략적으로 설명한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 감시 시스템의 구성을 개략적으로 도시한 블록도이다.
이하 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명될 것이다.
광류를 사용한 움직임 분리 방법은 연산 속도가 매우 느리다는 단점이 있다. 광류를 실시간으로 사용하기 위해 영상 전체에 대해서 픽셀 단위로 광류를 추적하지 않고 구역을 나누어서 하는 방법이 있지만 탐지 알고리즘의 목적상 모든 픽셀에서 전경을 검출해야 그 시스템의 강인성이 보장되기 때문에 적합하지 않다.
큰 배경 모델을 생성하는 방법은 만들어진 배경 모델을 저장해야 하기 때문에 큰 저장 공간이 필요하고, 시간이 흐름에 따라 전체 배경 모델이 계속 업데이트되어야 하는데 입력 영상이 있는 곳만 업데이트될 수 있기 때문에 일정 시간이 흐른 뒤 계속하여 업데이트되지 않은 영역에 카메라가 위치할 경우 물체를 정확하게 검출해 내지 못한다는 단점이 있다. 또한 입력 영상이 큰 배경 모델에서 위치하는 영역을 항상 찾아야 하는데 배경 모델의 크기가 클수록 시간이 오래 걸린다는 단점이 있다.
입력 영상과 같은 크기의 배경 모델을 생성하는 방법은 빠르고 작은 저장 공간을 필요로 하지만 정확한 배경 모델을 만들기가 어렵기 때문에 물체의 오검출이 많다는 단점이 있다. 특히 윤곽선 부분에서 오검출이 많이 나타날 수 있고, 입력 영상 변환에서 나타난 오류가 계속해서 배경 모델에 누적이 될 수 있다. 또한 물체가 작거나 배경과 색이 비슷한 경우 물체를 검출하기 어렵다는 단점이 존재한다.
본 발명은 인접한 두 영상, 즉, 이전 입력 영상에 의해 업데이트된 배경 모델과 현재 입력 영상 간의 특징점 추적을 통해 두 영상의 관계 행렬을 계산하고, 가우시안의 차로 묘사되는 DOG(Difference Of Gaussian) 필터를 통과한 배경 모델을 계산된 관계 행렬을 통해 변환하고, 현재 입력 영상과 겹쳐지는 영역을 찾는다. 그리고, 주변 픽셀들의 정보를 고려하여 현재 입력 영상에서 움직이는 물체를 찾아내고, 배경 모델을 시간적 정보를 통해 업데이트하여 실시간으로 정확하게 움직이는 물체를 탐지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물체 탐지 장치를 개략적으로 도시한 블록도이다. 도 9는 본 발명의 일 실시예에 따른 물체 탐지 방법을 개략적으로 설명한 흐름도이다. 이하에서는 도 1의 물체 탐지 장치의 동작을 도 9와 함께 설명하겠다.
가장 처음 입력되는 영상을 첫 번째 배경 모델로 설정하고, 두 번째 입력되는 영상부터 물체 탐지가 수행된다. 예를 들어, 두 번째 입력되는 현재 입력 영상은 처음 입력된 영상인 배경 모델과의 비교에 의해 물체 탐지가 수행된다.
도 1을 참조하면, 본 발명의 물체 탐지 장치는 영상 변환부(100), 물체 탐지부(200), 및 배경 업데이트부(300)를 포함한다.
영상 변환부(100)는 현재 입력 영상과 배경 모델 사이의 관계를 정의하고, 두 영상을 변환한다(S700). 현재 입력 영상은 팬틸트줌(PTZ) 카메라에 의해 촬영된 RGB 영상으로, 팬틸트줌(PTZ) 카메라의 움직임에 의해 시간에 따라 입력되는 장면(scene)이 달라질 수 있다. 배경 모델은 이전 입력 영상을 기초로 생성된 RGB 영상이다. 따라서, 현재 입력 영상과 배경 모델은 시간상으로 인접한 영상들이다. 배경 모델은 현재 입력 영상과 동일한 크기로 생성된다. 따라서, 본 실시예의 물체 탐지 장치는 큰 배경 모델을 생성하는 방법에 비해 속도가 빠르고 저장 공간이 적게 드는 장점을 갖는다.
도 2는 도 1의 영상 변환부(100)의 내부 구성을 개략적으로 도시한 블록도이다. 도 2를 함께 참조하면, 영상 변환부(100)는 필터(101), 특징점 추출부(103), 관계 행렬 추정부(105), 및 영상 정렬부(107)를 포함한다.
필터(101)는 현재 입력 영상과 배경 모델을 필터링한다(S701). 필터(101)는현재 입력 영상과 배경 모델을 필터링하여 윤곽선을 강조한 보정 영상을 생성한다. 여기서, 필터(101)는 하기 수학식 1로 표현되는 가우시안의 차(DOG: Difference Of Gaussian) 필터일 수 있다. DOG 필터는 분산이 다른 두 개의 가우시안의 차로 구성되며, 영상에서 윤곽선을 강조해 주는 효과가 있다. 따라서, 탐지하고자 하는 물체가 매우 작은 영상이나, 채도 대비가 낮은 영상에 DOG 필터를 적용시켜줌으로써 물체의 탐지를 더욱 정확하게 할 수 있다. DOG 필터는 공지된 기술이므로 상세한 설명은 생략하겠다. 이하에서는 DOG 필터를 적용하여 보정된 영상에 대한 움직임 검출을 설명하겠으나, 본 발명은 DOG 필터에 한정하지 않고, 영상 품질을 개선할 수 있는 다양한 필터가 사용될 수 있음은 물론이다. 필터(101)는 수학식 1에 의해 DOG 필터링되어 보정된 현재 입력 영상과 배경 모델을 출력한다. 수학식 1에서 x는 임의의 픽셀을 나타낸다.
[수학식 1]
Figure pat00001
특징점 추출부(103)는 현재 입력 영상과 배경 모델에서 특징점을 추출한다(S703). 이때 사용되는 현재 입력 영상과 배경 모델은 필터(101)가 적용되지 않은 필터링 전 RGB 영상이다. 특징점 추출부(103)는 배경 모델에서 특징점(Xi)을 추출하고, 현재 입력 영상에서 대응하는 특징점(Xi')을 추적함으로써, 두 영상 간에 대응하는 특징점을 추출한다. 특징점은 예를 들어, LKT(Kanade-Lucas-Tomasi) 추적을 통해 추출될 수 있다. LKT 추적에 의한 특징점 추출 및 추적은 공지된 기술이므로 상세한 설명은 생략하겠다.
관계 행렬 추정부(105)는 추출된 특징점을 기초로 현재 입력 영상과 배경 모델 간의 관계 행렬(H: Homography metrix)을 추정한다(S703). 배경 모델의 크기가 입력 영상과 같은 크기이고, 배경 모델은 이전 입력 영상을 기초로 생성되기 때문에, 팬틸트줌 카메라가 PTZ 값을 변경하며 영상을 촬영할 경우, 현재 입력 영상과 배경 모델 간에는 시차가 존재하여 두 영상 간에 겹쳐지는 영역과 새로 도입된 영역이 존재한다. 따라서, 두 영상 간에 대응 관계를 정의할 필요가 있다. 현재 입력 영상과 배경 모델 간의 대응 관계는 배경 모델에서 추출된 특징점(Xi)과 현재 입력 영상에서 추적된 특징점(Xi') 간의 관계인 수학식 2의 관계 행렬(H)로 표현할 수 있다. 수학식 2에서 (x,y)는 영상 내에서 임의의 픽셀의 위치(좌표)를 나타낸다.
[수학식 2]
Figure pat00002
여기서,
Figure pat00003
영상 정렬부(107)는 보정된(필터링된) 배경 모델에 관계 행렬(H)을 적용하여 배경 모델을 변환하고, 변환된 배경 모델과 필터링된 현재 입력 영상을 정렬한다(S705). 배경 모델에 관계 행렬(H)을 적용하여 변환하는 과정을 와핑이라 한다. 도 3은 본 발명의 일 실시예에 따른 현재 입력 영상과 와핑된 배경 모델을 정렬한 예를 도시한다. 도 3을 참조하면, 영상 정렬부(107)는 와핑된 배경 모델과 보정된 현재 입력 영상을 정렬하여, 두 영상 간에 중첩(겹쳐지는) 영역(B)과 새롭게 입력된 영역(A)을 검출한다. 두 영상 간에 중첩(겹쳐지는) 영역(B)에서는 움직이는 물체를 탐지하고, 새롭게 입력된 영역(A)은 배경 모델 업데이트에 적용된다.
물체 탐지부(200)는 배경 모델과 현재 입력 영상 간에 서로 대응하는 픽셀들을 비교하여 움직이는 물체를 탐지한다(S800). 여기서 배경 모델은 DOG 필터링에 의해 보정된 후 와핑된 영상이고, 현재 입력 영상은 DOG 필터링에 의해 보정된 영상이다. 이하에서는, 설명의 편의를 위해, 물체 탐지부(200)에서 처리되는 영상이 DOG 필터링에 의해 보정된 영상임을 추가 설명하지 않고, 현재 입력 영상 및 배경 모델로 각각 지칭하여 설명하겠다.
도 4는 도 1의 물체 탐지부의 내부 구성을 개략적으로 도시한 블록도이다. 도 4를 함께 참조하면, 물체 탐지부(200)는 전경/배경 검출부(201) 및 추적부(203)를 포함한다.
전경/배경 검출부(201)는 배경 모델의 시공간적 정보를 이용하여 현재 입력 영상에서 전경을 검출한다(S801). 전경/배경 검출부(201)는 현재 입력 영상과 배경 모델 간에 서로 대응하는 픽셀들을 비교하여 현재 입력 영상에서 전경 픽셀과 배경 픽셀을 분류함으로써 움직이는 물체, 즉, 전경(foreground)을 검출할 수 있다. 도 5는 본 발명의 일 실시예에 따른 현재 입력 영상으로부터 전경 검출 결과를 나타낸 예시도이다. 도 5를 참조하면, 전경/배경 검출부(201)는 도 5(a)의 현재 입력 영상으로부터 전경을 검출하여 도 5(b)의 이진 전경 검출 영상을 출력할 수 있다.
종래에는 임의의 픽셀을 전경이나 배경으로 결정할 때 입력 영상의 현재 픽셀과 배경 모델에서 대응 픽셀의 픽셀값을 비교하여 차이가 크면 전경으로 결정하고 차이가 작으면 배경으로 결정하였다. 이러한 방법은 고정된 카메라를 이용한 물체 탐지에서는 유용한 방법이지만, 팬틸트줌(PTZ) 카메라를 사용한 물체 탐지에서는 오탐지가 많은 문제점이 있다.
이에 따라, 전경/배경 검출부(201)는 현재 입력 영상의 현재 픽셀의 배경 모델에서의 픽셀값(이하, '배경값'이라 함) 뿐만 아니라, 현재 픽셀 주변의 인접 픽셀들의 배경값을 고려하여, 현재 픽셀의 전경 또는 배경 픽셀 여부를 판단한다. 이때 배경값은 시간적 평균 픽셀값(이하, '평균값'이라 함)을 이용한다. 여기서, 픽셀의 시간적 평균 픽셀값은 제1 프레임부터 제n 프레임까지 대응하는 픽셀의 픽셀값의 평균을 의미한다. 즉, 전경/배경 검출부(201)는 배경 모델의 시공간적 정보를 이용하여 현재 입력 영상에서 전경을 검출함으로써 오검출을 줄이고 강인한 물체 탐지를 수행할 수 있다.
[수학식 3]
Figure pat00004
수학식 3에서, dist는 공간 상의 유클리디안 거리를 나타내고, Mean은 배경 모델에서 픽셀의 평균값(이하, '배경 평균값'이라 함), 즉, 최근 일정 수의 배경 모델에서 픽셀의 픽셀값들의 평균을 의미한다. Input은 현재 입력 영상에서 픽셀의 픽셀값, Var은 배경 모델에서 픽셀의 분산값(이하, '배경 분산값'이라 함)을 의미한다. T1과 T2는 기 설정된 임계값이다. 인접 픽셀(xj)은 현재 픽셀(xi)과의 유클리디안 거리가 제1임계값(T1) 내에 위치한 픽셀들이다. 수학식 3에서 x는 임의의 픽셀을 나타낸다.
전경/배경 검출부(201)는 현재 입력 영상의 현재 픽셀(xi)과 인접 픽셀(xj)들에 대응하는 배경 모델의 픽셀들, 즉, 비교 픽셀들의 시간적 평균값과 분산값을 기초로, 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류한다. 전경/배경 검출부(201)는 비교 픽셀들 중 적어도 하나에 대해, 비교 픽셀의 배경 평균값과 현재 픽셀(xi)의 픽셀값의 차가, 제2임계값(T2)과 비교 픽셀의 배경 분산값의 곱보다 작을 경우, 현재 픽셀(xi)은 배경 픽셀(BG)로 판단하고, 그 외에는 전경 픽셀(FG)로 판단한다.
도 6은 본 발명의 일 실시예에 따른 전경 픽셀과 배경 픽셀을 판단하는 방법을 설명하는 예시도이다.
전경/배경 검출부(201)는 현재 입력 영상의 현재 픽셀(xi)과의 유클리디안 거리가 제1임계값(T1) 내에 위치한 인접 픽셀(xj)들을 찾는다. 도 6을 참조하면, 현재 입력 영상에서 중심의 현재 픽셀(xi)과 현재 픽셀(xi)과 유클리디안 거리가 제1임계값(T1) 내인 8개의 인접 픽셀(xj)들이 도시되어 있다. 그리고, 배경 모델에서 현재 입력 영상의 현재 픽셀(xi)과 인접 픽셀(xj)들에 대응하는 배경 모델의 픽셀들, 즉, 9개의 비교 픽셀들이 도시되어 있다.
전경/배경 검출부(201)는 배경 모델에서 비교 픽셀들의 배경 평균값과 현재 입력 영상의 현재 픽셀(xi)의 픽셀값을 기초로 현재 픽셀(xi)의 전경 픽셀 여부를 판단한다. 도 6을 참조하면, 전경/배경 검출부(201)는 9개의 비교 픽셀들 중 비교 대상이 되는 픽셀의 배경 평균값(Mean(xi), Mean(xj))과 배경 분산값(Var(xi), Var(xj)), 제2임계값(T2), 및 현재 픽셀(xi)의 픽셀값(Input(xi))에 수학식 3의 연산을 수행한다. 전경/배경 검출부(201)는 비교 픽셀들 중 적어도 하나가 수학식 3의 첫번째 식을 만족하면, 현재 픽셀(xi)을 배경 픽셀로 판단하고, 그 외에는 전경 픽셀로 판단한다.
비교 픽셀들의 비교 순서는 사용자 설정에 따라 달라질 수 있다. 예를 들어, 비교 픽셀들 중 현재 픽셀(xi)에 대응하는 픽셀의 비교가 우선되는 경우, 전경/배경 검출부(201)는 먼저 현재 입력 영상의 현재 픽셀(xi)과, 비교 픽셀들 중 현재 픽셀(xi)에 대응하는 픽셀을 비교할 수 있다. 전경/배경 검출부(201)는 픽셀값(Input(xi), Mean(xi), Var(xi))을 이용한 비교 결과 수학식 3의 첫번째 식을 만족하면, 현재 픽셀(xi)을 배경 픽셀(BG)로 판단할 수 있다. 전경/배경 검출부(201)는 비교 결과 수학식 3의 첫번째 식을 만족하지 않으면, 현재 픽셀(xi)을 바로 전경 픽셀로 판단하지 않고, 다른 비교 픽셀과 현재 픽셀(xi)을 비교할 수 있다. 전경/배경 검출부(201)는 다른 비교 픽셀들도 모두 수학식 3의 첫번째 식을 만족하지 않으면, 현재 픽셀(xi)을 전경 픽셀로 판단할 수 있다.
그리고, 전경/배경 검출부(201)는 추적부(203)로부터 이전 입력 영상의 전경 추적 결과를 피드백 받는다. 전경/배경 검출부(201)는 전경 추적 결과, 일정 시간(소정 개수의 영상) 동안 지속적으로 검출된 전경이 크기가 상이하더라도 동일한 물체라고 판단된 경우, 전경/배경 판단 모드를 변경한다.
전경/배경 검출부(201)는 픽셀 주변의 배경을 고려하여 전경을 검출하기 때문에 전경과 배경으로 유사한 경우, 전경 픽셀이 배경 픽셀로 판단되어 전경의 크기가 줄어들 수 있다. 따라서, 전경/배경 검출부(201)는 일정 시간 동안 전경 추적 결과 지속적으로 검출되는 전경이 동일한 물체라고 판단되는 경우, 픽셀 주변의 배경을 고려하지 않고 전경 여부를 판단한다. 즉, 전경/배경 검출부(201)는 해당 전경의 검출 영역을 예측하고, 예측된 검출 영역에서는, 현재 입력 영상의 현재 픽셀과 배경 모델에서 대응하는 픽셀을 비교한다. 전경/배경 검출부(201)는 현재 입력 영상의 현재 픽셀의 픽셀값과 배경 모델에서 대응하는 픽셀의 픽셀값을 비교하고, 비교 결과 차이가 크면 전경 픽셀로 판단하고, 차이가 작으면 배경 픽셀로 판단한다. 이로써 전경과 유사한 배경으로 인한 전경 오검출 오류를 줄일 수 있다.
도 7은 본 발명의 일 실시예에 따른 시간에 따라 전경 검출 결과의 변화를 도시하는 예시도이다. 도 7을 참조하면, 전경/배경 검출부(201)는 추적부(203)로부터 피드백되는 전경 추적 결과를 참조하여, 크기가 상이하게 검출된 전경이 동일한 물체에 대해 검출된 결과라고 판단되면, 전경/배경 판단 모드를 변경한다. 이에 따라 동일한 물체에 대해 검출된 전경의 크기가 복귀될 수 있어, 전경 검출 오류가 지속되는 것을 방지할 수 있다.
전경/배경 검출부(201)는 해당 전경에 대해 예측된 검출 영역 외 영역에 대해서는 종전과 마찬가지로 주변의 배경을 고려하여 픽셀의 전경 및 배경 여부를 판단한다.
추적부(203)는 전경/배경 검출부(201)에서 출력되는 전경 검출 영상의 전경을 추적하고, 추적 결과를 전경/배경 검출부(201)로 피드백한다(S803).
추적부(203)는 검출된 전경에 라벨을 생성한다. 따라서, 연속하여 입력되는 영상에서 검출되는 전경이 동일한 물체에 대해 검출된 것인지 여부를 알 수 있다. 라벨은 내부적으로 사용하는 식별번호 체계에 따라 부여될 수 있으며, 영상에 직접 표시되거나, 표시되지 않을 수 있다. 추적부(203)는 이전 입력 영상에 대한 전경 검출 결과와 현재 입력 영상에 대한 전경 검출 결과에 PID(proportional-integral-derivative) 제어 방식을 적용하여 전경을 추적하고, 추적 결과를 전경/배경 검출부(201)로 피드백한다.
이전 입력 영상에 대한 전경 추적 결과와 현재 입력 영상에 대한 전경 검출 결과의 차이를 e라고 하면, PID 제어 방식에 따라 현재 입력 영상에서 추적 결과 θ는 하기 수학식 4에 의해 업데이트될 수 있다. PID 제어 방식은 공지된 기술이므로 상세한 설명은 생략하겠다. 여기서, ki는 적분 이득(Integral gain), kp는 비례 이득(Proportional gain), kd는 미분 이득(Derivative gain) 파라미터들이다.
[수학식 4]
Figure pat00005
배경 업데이트부(300)는 현재 입력 영상의 픽셀별 시간 정보를 기초로 배경 모델을 업데이트한다(S900). 업데이트된 배경 모델은 다음 입력 영상의 배경 모델이 된다. 픽셀별 시간 정보는 카메라의 움직임에 의한 감시 영상의 변화에 따라 입력되는 각 픽셀에 할당되는 에이지(Age) 값이다. 배경 업데이트부(300)는 에이지(Age) 값을 기초로 가중치를 결정하고, 픽셀마다 가중치를 적용하여 픽셀마다 학습률을 다르게 설정함으로써 배경을 업데이트한다.
수학식 5 내지 7은 배경 모델 업데이트를 설명하는 수학식이다. 여기서 업데이트되는 배경 모델은 RGB 영상이다. 따라서, 배경 모델을 업데이트하기 위한 수학식 5 내지 7의 값들은 RGB 영상의 픽셀값이다.
[수학식 5]
Figure pat00006
[수학식 6]
Figure pat00007
[수학식 7]
Figure pat00008
수학식 5를 참조하면, 업데이트되는 픽셀의 배경 평균값(Mean(xi t)), 즉, 다음 배경 모델에서 픽셀의 배경 평균값(Mean(xi t))은, 현재 배경 모델에서 픽셀의 배경 평균값(Mean(xi t -1))과 현재 입력 영상에서 픽셀의 픽셀값(Input(xi t))의 가중합으로 정해진다. 상기 수학식 5의 가중합에 포함된 현재 입력 영상에서 픽셀의 픽셀값과 현재 배경 모델에서 픽셀의 배경 평균값 간의 차의 절대값(│Input(xi t)-Mean(xi t-1)│) 항은 급격한 조명 변화에 배경 모델을 적응시키기 위한 항이다.
수학식 6을 참조하면, 다음 배경 모델에서 픽셀의 배경 분산값(Var(xi t))은, 현재 배경 모델에서 픽셀의 배경 분산값(Var(xi t-1))과 현재 입력 영상에서 픽셀의 픽셀값의 가중합으로 정해진다. 상기 수학식 6의 가중합에 포함된 현재 입력 영상에서 픽셀의 픽셀값과 현재 배경 모델에서 픽셀의 배경 평균값의 차(Input(xi t)-Mean(xi t-1))에 곱해지는 임계값(T3)이 크면 분산값 변동이 커지고, 물체 탐지에 있어 오알람을 줄여주나 실제 물체를 탐지하지 못할 수 있다. 따라서, 오알람률과 물체 탐지 간의 관계를 고려하여 적절한 임계값(T3)을 설정하는 것이 바람직하다.
수학식 5 및 6에 적용되는 가중치(α)는 수학식 7에 의해 결정된다. 가중치(α)는 학습 속도 역할을 하는 에이지(Age) 값의 역수이다. 에이지(Age) 값은 현재 입력 영상의 픽셀에 시간 t까지(다음 배경 모델까지) 대응되는 배경 모델의 픽셀 수이다. 즉, 새로운 영상이 입력될 때마다 배경 모델과 새로운 입력 영상 간에 겹쳐지는 영역의 픽셀은 에이지(Age) 값이 1씩 증가하게 되고, 새로 도입된 영역의 픽셀은 에이지(Age) 값이 1로 시작을 한다. 새로 도입된 영역의 픽셀은 다음 배경 모델에서 처음 대응하는 픽셀이 되므로 에이지(Age) 값이 1이 된다. 따라서, 새로 도입된 영역의 픽셀에 적용되는 가중치가 겹쳐지는 영역의 픽셀에 비해 큰 값을 갖게 되어, 새로 도입된 영역의 픽셀에 학습률이 높게 설정된다.
도 8은 본 발명의 일 실시예에 따른 에이지(Age) 값 설정의 예를 도시한다. 도 8을 참조하면, 첫번째 프레임에서 각 픽셀은 새로 도입된 영역의 픽셀이므로 에이지(Age) 값이 1이다. 입력되는 두번째 프레임과 첫번째 프레임 간에 겹쳐지는 영역의 픽셀은 에이지(Age) 값이 2가 되고, 두번째 프레임에 의해 새로 도입된 영역의 픽셀은 에이지(Age) 값이 1로 시작한다. 다음으로 세번째 프레임이 입력되고, 첫번째 프레임부터 세번째 프레임까지 겹쳐지는 영역의 픽셀은 에이지(Age) 값이 3이 되고, 첫번째 프레임과 두번째 프레임에 의해 겹쳐지는 영역의 픽셀은 에이지(Age) 값이 2가 되고, 세번째 프레임에 의해 새로 도입되는 영역의 픽셀은 에이지(Age) 값이 1로 시작한다. 네번째 프레임 이후에도 유사하게 첫번째 프레임부터 n번째 프레임까지 각 픽셀은 겹쳐지는 횟수에 따라 에이지(Age) 값이 설정된다.
한편, 수학식 5 내지 7은 수학식 3의 배경 평균값과 배경 분산값 산출에 이용될 수 있으며, 이때 수학식 5 내지 7의 값들은 필터링된 영상의 픽셀값이다.
도 10은 본 발명의 일 실시예에 따른 감시 시스템의 구성을 개략적으로 도시한 블록도이다.
도 10을 참조하면, 감시 시스템(1)은 카메라(20), 물체 탐지 장치(10), 및 디스플레이부(30)를 포함할 수 있다.
카메라(10)는 특정 장소의 고정된 위치에 배치되고, 팬(Pan)/틸트(Tilt)/줌(Zoom) 기능을 갖는 PTZ 카메라이다. 카메라(10)는 PTZ 기능에 의해 고정된 위치에서 몸체를 회전시켜 가면서 영상을 획득할 수 있다.
물체 탐지 장치(10)는 도 1 내지 도 9를 참조하여 전술한 바와 같이, 카메라(10)로부터 입력된 영상에 대해 이동 물체 탐지 기능을 소프트웨어 및/또는 하드웨어 구성에 의해 수행할 수 있다.
물체 탐지 장치(10)는 시간적으로 인접한 입력 영상과 배경 영상(배경 모델)을, 예를 들어, DOG 필터링하여 선명한 영상을 획득하고, 예를 들어, LKT 추적을 이용하여, 입력 영상과 배경 영상으로부터 특징점 추출 및 추적에 의해 관계 행렬을 계산한다. 물체 탐지 장치(10)는 관계 행렬을 DOG 필터링된 배경 영상에 적용하여 배경 영상을 와핑함으로써 입력 영상과 배경 영상 간에 겹치는 영역을 찾고, 전경을 검출한다.
물체 탐지 장치(10)는 현재 픽셀 주변의 배경을 고려하여 현재 픽셀의 전경 여부를 판단한다. 특히, 물체 탐지 장치(10)는 배경 영상에서 픽셀의 시간적 평균 픽셀값을 이용한다. 따라서, 물체 탐지 장치(10)는 배경 영상의 시공간 정보를 이용하여 전경을 검출함으로써 정확하게 이동 물체를 탐지할 수 있다.
또한, 물체 탐지 장치(10)는 입력 영상의 픽셀별 시간 정보를 기초로 배경 영상을 업데이트하여 다음 배경 영상을 생성한다. 배경 영상의 업데이트시, 물체 탐지 장치(10)는 PTZ 카메라의 움직임에 따라 입력 영상이 변화하는 특성을 고려하여 배경 영상의 픽셀마다 학습률을 설정할 수 있다. 물체 탐지 장치(10)는 입력 영상과 배경 영상 간에 겹치는 영역, 즉, 대응하는 픽셀을 찾고, 학습 속도 역할을 하는 에이지(Age) 값을 산출한다. 물체 탐지 장치(10)는 에이지(Age) 값에 따라 설정되는 가중치를 픽셀마다 적용하여 배경 영상을 업데이트한다. 이에 따라 새로 도입된 영역의 픽셀에 높은 가중치를 적용함으로써 해당 픽셀의 학습률을 높게 설정할 수 있다.
물체 탐지 장치(10)는 검출된 전경에 라벨을 생성하여 전경을 추적하고 추적 결과를 다음 입력 영상의 전경 검출에 이용한다. 물체 탐지 장치(10)는 동일 라벨의 전경이 일정 시간 동안 지속적으로 검출되는 경우, 입력 영상의 현재 픽셀 주변의 배경을 고려하지 않고, 현재 픽셀과 배경 영상의 대응 픽셀 간의 비교에 의해 전경을 검출한다.
물체 탐지 장치(10)의 물체 탐지 구성 및 방법은 도 1 내지 도 9를 참조하여 설명되었으므로, 이하 상세한 설명은 생략하겠다.
물체 탐지 장치(10)는 감시카메라와 같은 영상 촬영 시스템에서 내부 구성 요소로 동작할 수도 있고, 독립적 장치로 컴퓨터, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 모바일 폰 등에 탑재되어 동작할 수도 있다.
디스플레이부(30)는 이동 물체를 표시하는 감시 영상을 표시한다. 디스플레이부(30)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있으며, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이부(30)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비될 수 있다.
본 발명의 물체 탐지 장치(10)는 팬틸트줌 카메라에서 물체를 탐지함에 있어서 물체의 크기가 작거나 배경과 색이 유사한 경우와 같이 다양한 상황에서도 입력 영상과 같은 크기의 배경 모델만을 이용함으로써 실시간성을 확보하고 시공간적 배경 모델을 통해 물체의 오검출을 줄여 우수한 성능으로 물체를 탐지할 수 있다.
또한 본 발명의 물체 탐지 장치(10)는 전체 배경 모델을 저장하는 것이 아니라 최근의 영상만을 갖고 입력 영상과 동일한 크기의 배경을 생성하기 때문에 저장 공간을 적게 사용하는 효율적인 탐지 방법이다.
뿐만 아니라 본 발명의 물체 탐지 장치(10)는 보다 정확하게 물체를 탐지함으로써 감시 시스템에서 해당 물체를 추적하거나 인식할 때 보다 많은 정보를 제공할 수 있다.
본 발명의 팬틸트줌 카메라에서 정확하게 물체를 탐지할 수 있는 방법은, 이동형 로봇이나 움직이는 차량 등에 설치된 카메라로 움직이는 물체들을 찾아 이에 대응하는 행동을 취할 수 있도록 하는 시스템에 적용할 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 상기 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 상기 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (18)

  1. 현재 입력 영상과, 이전 입력 영상을 기초로 생성된 배경 모델을 필터링하는 필터;
    상기 현재 입력 영상과 상기 배경 모델 간의 관계 행렬을 추정하는 관계 행렬 추정부;
    상기 필터링된 배경 모델에 상기 관계 행렬을 적용하여 배경 모델을 변환하고, 상기 변환된 배경 모델과 상기 필터링된 현재 입력 영상을 정렬하는 영상 정렬부; 및
    상기 정렬된 배경 모델과 현재 입력 영상 간에 대응하는 픽셀들을 비교하여 전경을 검출하는 전경/배경 검출부;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  2. 제1항에 있어서,
    상기 배경 모델의 특징점을 추출하고, 상기 현재 입력 영상에서 대응하는 특징점을 추적하는 특징점 추출부;를 더 포함하고,
    상기 관계 행렬 추정부는, 상기 현재 입력 영상과 상기 배경 모델의 특징점 간의 관계를 기초로 상기 관계 행렬을 추정하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  3. 제1항에 있어서,
    상기 필터는, 가우시안 차 필터인 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  4. 제1항에 있어서, 상기 전경/배경 검출부는,
    상기 현재 픽셀과 상기 현재 픽셀 주변의 인접 픽셀들에 대응하는 상기 배경 모델에서의 비교 픽셀들의 시간적 평균값과 분산값을 기초로 하는, 상기 배경 모델의 시공간 정보를 이용하여, 상기 현재 입력 영상의 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하고,
    상기 인접 픽셀들은 상기 현재 픽셀과 공간 상의 유클리디안 거리가 제1임계값 이내의 픽셀들인 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  5. 제4항에 있어서, 상기 전경/배경 검출부는,
    상기 비교 픽셀들 중 적어도 하나의 시간적 평균값과 상기 현재 픽셀의 픽셀값의 차이가, 상기 비교 픽셀의 분산값과 제2임계값의 곱보다 작은 경우, 상기 현재 픽셀을 배경 픽셀로 분류하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  6. 제1항에 있어서,
    상기 검출된 전경에 라벨을 생성하여 추적하는 추적부;를 더 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  7. 제6항에 있어서, 상기 전경/배경 검출부는,
    상기 추적 결과 동일한 라벨의 전경이 일정 시간 동안 지속적으로 검출된 경우, 해당 전경의 검출 예측 영역에서, 상기 현재 픽셀과 상기 현재 픽셀에 대응하는 상기 배경 모델의 픽셀을 비교하여, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  8. 제1항에 있어서,
    픽셀별 시간 정보를 기초로 상기 배경 모델을 업데이트하는 배경 업데이트부;를 더 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  9. 제8항에 있어서, 상기 배경 업데이트부는,
    상기 현재 입력 영상의 픽셀에 다음 배경 모델까지 대응되는 배경 모델의 픽셀 수인 에이지 값을 기초로 픽셀마다 학습률을 설정하며,
    상기 에이지 값의 역수인 가중치가 적용된, 상기 배경 모델에서 픽셀의 시간적 평균값과 상기 현재 입력 영상에서 픽셀의 픽셀값의 가중합을 기초로 상기 배경 모델을 업데이트하는 팬틸트줌 카메라를 이용한 물체 탐지 장치.
  10. 현재 입력 영상과, 이전 입력 영상을 기초로 생성된 배경 모델을 필터링하는 단계;
    상기 현재 입력 영상과 상기 배경 모델 간의 관계 행렬을 추정하는 단계;
    상기 필터링된 배경 모델에 상기 관계 행렬을 적용하여 배경 모델을 변환하고, 상기 변환된 배경 모델과 상기 필터링된 현재 입력 영상을 정렬하는 단계; 및
    상기 정렬된 배경 모델과 현재 입력 영상 간에 대응하는 픽셀들을 비교하여 전경을 검출하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  11. 제10항에 있어서, 상기 관계 행렬 추정 단계는,
    상기 배경 모델의 특징점을 추출하고, 상기 현재 입력 영상에서 대응하는 특징점을 추적하는 단계; 및
    상기 현재 입력 영상과 상기 배경 모델의 특징점 간의 관계를 기초로 상기 관계 행렬을 추정하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  12. 제10항에 있어서, 상기 필터링 단계는,
    가우시안 차 필터에 의해 배경 모델을 필터링하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  13. 제10항에 있어서, 상기 전경 검출 단계는,
    상기 현재 픽셀과 상기 현재 픽셀 주변의 인접 픽셀들에 대응하는 상기 배경 모델에서의 비교 픽셀들의 시간적 평균값과 분산값을 기초로 하는, 상기 배경 모델의 시공간 정보를 이용하여, 상기 현재 입력 영상의 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 단계;를 포함하고,
    상기 인접 픽셀들은 상기 해당 픽셀과 공간 상의 유클리디안 거리가 제1임계값 이내의 픽셀들인 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  14. 제13항에 있어서, 상기 현재 픽셀 분류 단계는,
    상기 비교 픽셀들 중 적어도 하나의 시간적 평균값과 상기 현재 픽셀의 픽셀값의 차이가, 상기 비교 픽셀의 분산값과 제2임계값의 곱보다 작은 경우, 상기 현재 픽셀을 배경 픽셀로 분류하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  15. 제10항에 있어서,
    상기 검출된 전경에 라벨을 생성하여 추적하는 단계;를 더 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  16. 제15항에 있어서, 상기 전경 검출 단계는,
    상기 추적 결과 동일한 라벨의 전경이 일정 시간 동안 지속적으로 검출된 경우, 해당 전경의 검출 예측 영역에서, 상기 현재 픽셀과 상기 현재 픽셀에 대응하는 상기 배경 모델의 픽셀을 비교하여, 상기 현재 픽셀을 전경 픽셀 또는 배경 픽셀로 분류하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  17. 제10항에 있어서,
    픽셀별 시간 정보를 기초로 상기 배경 모델을 업데이트하는 단계;를 더 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
  18. 제17항에 있어서, 상기 배경 모델 업데이트 단계는,
    상기 현재 입력 영상의 픽셀에 다음 배경 모델까지 대응되는 배경 모델의 픽셀 수인 에이지 값을 기초로 픽셀마다 학습률을 설정하며,
    상기 에이지 값의 역수인 가중치가 적용된, 상기 배경 모델에서 픽셀의 시간적 평균값과 상기 현재 입력 영상에서 픽셀의 픽셀값의 가중합을 기초로 상기 배경 모델을 업데이트하는 단계;를 포함하는 팬틸트줌 카메라를 이용한 물체 탐지 방법.
KR1020110123116A 2011-11-23 2011-11-23 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 KR101299237B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110123116A KR101299237B1 (ko) 2011-11-23 2011-11-23 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
US13/682,137 US9418320B2 (en) 2011-11-23 2012-11-20 Apparatus and method for detecting object using PTZ camera
CN201210480951.4A CN103139447B (zh) 2011-11-23 2012-11-23 使用ptz相机检测对象的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110123116A KR101299237B1 (ko) 2011-11-23 2011-11-23 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130057283A true KR20130057283A (ko) 2013-05-31
KR101299237B1 KR101299237B1 (ko) 2013-08-22

Family

ID=48426989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110123116A KR101299237B1 (ko) 2011-11-23 2011-11-23 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법

Country Status (3)

Country Link
US (1) US9418320B2 (ko)
KR (1) KR101299237B1 (ko)
CN (1) CN103139447B (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101583787B1 (ko) * 2014-07-10 2016-01-08 경북대학교 산학협력단 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치
US9466095B2 (en) 2014-01-21 2016-10-11 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
KR20160126596A (ko) * 2015-04-24 2016-11-02 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
KR20170088227A (ko) * 2016-01-22 2017-08-01 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080448A1 (ja) * 2011-12-01 2013-06-06 パナソニック株式会社 情報処理装置
TWI505203B (zh) * 2012-11-02 2015-10-21 Avisonic Technology Corp 產生車用影像的影像處理方法及影像處理裝置
TWI507661B (zh) * 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法
TWI489415B (zh) * 2013-07-17 2015-06-21 Vivotek Inc 視訊處理方法及系統
DE102013217648A1 (de) * 2013-09-04 2015-03-05 Conti Temic Microelectronic Gmbh Kamera-basierte erkennung eines an einem fahrzeug montierbaren trägersystems
KR102025362B1 (ko) * 2013-11-07 2019-09-25 한화테크윈 주식회사 검색 시스템 및 영상 검색 방법
DE102014012285A1 (de) * 2014-08-22 2016-02-25 Jenoptik Robot Gmbh Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
CN105835074B (zh) * 2015-01-12 2020-07-10 达明机器人股份有限公司 机器手臂取放物件的教导方法
CN106034237B (zh) * 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
WO2017115432A1 (ja) * 2015-12-28 2017-07-06 株式会社島津製作所 放射線装置
US10121234B2 (en) * 2016-04-06 2018-11-06 Hrl Laboratories, Llc System and method for ghost removal in video footage using object bounding boxes
TWI615806B (zh) * 2016-10-11 2018-02-21 威聯通科技股份有限公司 影像背景學習方法及電子裝置
CN107330940A (zh) * 2017-01-25 2017-11-07 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107133972A (zh) * 2017-05-11 2017-09-05 南宁市正祥科技有限公司 一种视频运动目标检测方法
CN107680115A (zh) * 2017-09-28 2018-02-09 深圳市鑫汇达机械设计有限公司 一种变电站智能系统中运动目标检测系统
CN109598741A (zh) * 2017-09-30 2019-04-09 佳能株式会社 图像处理装置和方法及监控系统
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
US10410371B2 (en) * 2017-12-21 2019-09-10 The Boeing Company Cluttered background removal from imagery for object detection
KR102622123B1 (ko) * 2018-02-22 2024-01-09 삼성전자주식회사 전자 장치의 움직임에 따라 관심 영역에 움직이는 피사체에 대한 움직임과 관련된 임계값을 조정하여 동영상을 촬영하는 전자 장치 및 그 작동 방법
US10769799B2 (en) 2018-08-24 2020-09-08 Ford Global Technologies, Llc Foreground detection
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
KR20210017269A (ko) * 2019-08-07 2021-02-17 삼성전자주식회사 보정 데이터의 획득을 위한 방법 및 이를 위한 전자 장치
US11812139B1 (en) 2022-06-20 2023-11-07 Samsung Electronics Co., Ltd. Closed loop dynamic ISP throttling
GB2622770A (en) * 2022-09-20 2024-04-03 Thales Holdings Uk Plc Image processor

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798897B1 (en) * 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
KR20000054784A (ko) * 2000-06-23 2000-09-05 이성환 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
US7321386B2 (en) * 2002-08-01 2008-01-22 Siemens Corporate Research, Inc. Robust stereo-driven video-based surveillance
EP1766581A4 (en) * 2004-06-14 2010-11-03 Agency Science Tech & Res DETECTION METHOD BY A DESIRED OBJECT OBSERVATION SYSTEM IN A VERY DYNAMIC ENVIRONMENT
US8073197B2 (en) * 2005-03-17 2011-12-06 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
DE602006017977D1 (de) * 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
JP2009508450A (ja) * 2005-09-13 2009-02-26 ヴェリフィコン コーポレーション 物体のトラッキングおよび活動分析のためのシステムおよび方法
US20070177800A1 (en) * 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
EP1879149B1 (en) * 2006-07-10 2016-03-16 Fondazione Bruno Kessler method and apparatus for tracking a number of objects or object parts in image sequences
TW200834459A (en) 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
KR101375665B1 (ko) 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치
WO2009032922A1 (en) * 2007-09-04 2009-03-12 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
US8041116B2 (en) * 2007-09-27 2011-10-18 Behavioral Recognition Systems, Inc. Identifying stale background pixels in a video analysis system
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品
US8571261B2 (en) * 2009-04-22 2013-10-29 Checkvideo Llc System and method for motion detection in a surveillance video
KR101071352B1 (ko) * 2009-08-31 2011-10-07 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
CN102243765A (zh) * 2011-05-06 2011-11-16 大连民族学院 基于多相机的多目标定位跟踪方法及系统
AU2012216341A1 (en) * 2012-08-21 2014-03-13 Canon Kabushiki Kaisha Method, apparatus and system for segmenting an image in an image sequence
US9177383B2 (en) * 2013-08-29 2015-11-03 Analog Devices Global Facial detection
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
US10848672B2 (en) 2013-07-12 2020-11-24 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
US9466095B2 (en) 2014-01-21 2016-10-11 Hanwha Techwin Co., Ltd. Image stabilizing method and apparatus
KR101583787B1 (ko) * 2014-07-10 2016-01-08 경북대학교 산학협력단 영상 분해와 강건한 온라인 주성분 분석을 이용한 전경 검출 방법, 이를 수행하기 위한 기록 매체 및 장치
KR20160126596A (ko) * 2015-04-24 2016-11-02 국방과학연구소 픽셀 기반의 배경추정을 통한 이동물체 분할 방법
KR20170088227A (ko) * 2016-01-22 2017-08-01 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법

Also Published As

Publication number Publication date
US9418320B2 (en) 2016-08-16
US20130129144A1 (en) 2013-05-23
KR101299237B1 (ko) 2013-08-22
CN103139447B (zh) 2018-01-02
CN103139447A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
KR101299237B1 (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
US10237483B2 (en) Image stabilization techniques for video surveillance systems
KR100677913B1 (ko) 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치
EP2858008B1 (en) Target detecting method and system
CN102982598B (zh) 基于单个摄像头场景配置的视频人数统计方法和系统
US9036039B2 (en) Apparatus and method for acquiring face image using multiple cameras so as to identify human located at remote site
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
US8094884B2 (en) Apparatus and method for detecting object
EP2357614A1 (en) Method and terminal for detecting and tracking moving object using real-time camera motion estimation
US10157327B2 (en) Image processing device, image processing method, and program
TWI668669B (zh) 物件追蹤系統及方法
KR20160020172A (ko) 도로에서의 차선 검출 방법 및 장치
KR101537559B1 (ko) 객체 검출 장치, 차량용 객체 검출 장치 및 이들의 방법
CN104219488A (zh) 目标图像的生成方法和装置、以及视频监控系统
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN110728700B (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
JP7125843B2 (ja) 障害検知システム
JP2016143335A (ja) グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Sutopo et al. Appearance-based passenger counting in cluttered scenes with lateral movement compensation
Sincan et al. Moving object detection by a mounted moving camera
KR102161212B1 (ko) 움직임 검출 시스템 및 방법
Alavianmehr et al. Video foreground detection based on adaptive mixture gaussian model for video surveillance systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180726

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 7