KR101230567B1 - 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템 - Google Patents

객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템 Download PDF

Info

Publication number
KR101230567B1
KR101230567B1 KR1020110039532A KR20110039532A KR101230567B1 KR 101230567 B1 KR101230567 B1 KR 101230567B1 KR 1020110039532 A KR1020110039532 A KR 1020110039532A KR 20110039532 A KR20110039532 A KR 20110039532A KR 101230567 B1 KR101230567 B1 KR 101230567B1
Authority
KR
South Korea
Prior art keywords
image
detected
tracking
feature
map
Prior art date
Application number
KR1020110039532A
Other languages
English (en)
Other versions
KR20120121627A (ko
Inventor
이민호
이원오
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110039532A priority Critical patent/KR101230567B1/ko
Publication of KR20120121627A publication Critical patent/KR20120121627A/ko
Application granted granted Critical
Publication of KR101230567B1 publication Critical patent/KR101230567B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템이 개시된다. 객체 검출 및 추적장치는, 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하는 특징 영상 추출부; 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성하는 돌출맵 생성부; 및 생성된 돌출맵에 대해 형태학적인 영상처리를 수행하여 객체를 검출하고, 검출된 객체의 특징을 이용하여 객체를 추적하고 검출된 객체 정보를 출력하는 객체 검출 및 추적부;를 포함하는 것을 특징으로 한다.

Description

객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템{Object detection and tracking apparatus and method thereof, and intelligent surveillance vision system using the same}
본 발명은 감시 시스템에 관한 것으로, 보다 상세하게는 동영상 촬상이 가능한 IP 카메라 등과 같은 일반 카메라로부터 입력된 영상을 처리하여 입력된 영상에 포함된 객체 정보를 신속하게 검출 및 추적하고 사용자에게 알려주는 영상처리기술을 이용한 객체 검출 및 추적장치와 방법 및 그것을 사용하는 지능형 감시 시스템에 관한 것이다.
일반적으로, 감시 시스템은 감시하고자 하는 원격 위치에 비디오 카메라를 설치하고 비디오 카메라에 의해 촬상된 영상을 감시 스테이션에 설치된 모니터에 표시되도록 하여 원격 위치에 있는 감시영역을 감시한다. 이러한 감시 시스템은 소수의 인원만으로 감시영역을 감시할 수 있으므로, 감시영역에 여러 사람을 배치시키는 것과 비교하여 상당한 비용 절감을 달성할 수 있게 된다.
하지만, 위와 같은 종래의 감시 시스템은 감시영역 내의 객체의 움직임에 대한 경계를 하기 위해 사용자가 원격 위치에 설치된 비디오 카메라에 의해 촬상된 영상을 표시하는 모니터 화면 또는 모니터 화면 내의 분할화면들을 주의를 기울여 주시해야하는 어려움이 있다.
또한, 위와 같은 종래의 감시 시스템은 통상 비교적 넓은 감시구역을 감시하기 위해 복수 개의 비디오 카메라를 설치하는 경우가 대부분이므로, 감시 스테이션에 설치되는 모니터의 수 또는 모니터 화면 내에 표시되는 감시영역에 대한 분할화면의 수가 많아진다.
따라서, 감시 시스템의 사용자는 많은 모니터 또는 모니터 화면 내의 분할화면들에 대해 상당한 주의를 기울이지 않으면 감시영역 내의 객체의 움직임을 포착하기 어려울 수 있다. 특히, 이 경우, 원격 위치에 설치되는 비디오 카메라의 성능 및/또는 감시 스테이션에 설치되는 모니터의 크기와 성능이 좋지 않다면, 모니터 화면 또는 모니터 화면 내의 분할화면들에 표시된 영상만으로 감시영역 내의 객체의 움직임을 포착하기 어렵다.
이러한 문제를 해결하기 위해, 비디오 카메라로 열화상 카메라 등을 사용할 경우에는 감시 영역 내의 객체의 움직임을 쉽게 포착할 수 있지만, 열화상 카메라가 고가이므로 감시 시스템을 구성하기 위한 비용이 증가하게 된다.
따라서, 감시영역 내의 움직임에 대한 경계를 위해 사용자가 모니터 화면 또는 모니터 화면 내의 분할화면들에 대해 크게 주의를 기울이지 않아도 될 뿐 아니라 비디오 카메라의 성능 및/또는 모니터의 크기와 성능이 좋지 않은 저가의 일반 카메라를 사용하더라도 감시영역 내의 객체의 움직임에 대한 경계를 쉽게 할 수 있게 하는 감시 시스템이 요구되고 있다.
본 발명은 상술한 바와 같은 종래의 문제점을 감안하여 이를 개선하고자 창출된 것으로, 본 발명의 목적은 동영상 촬영이 가능한 IP 카메라 등과 같은 일반 카메라로부터 입력된 영상을 처리하여 입력된 영상에 포함된 객체 정보를 신속하게 검출 및 추적하고 검출된 객체 정보를 사용자에게 알려 주는 영상처리기술을 이용한 객체 검출 및 추적정치와 방법 및 그것을 구비한 감시 시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시양태에 따르면, 객체 검출 및 추적장치는, 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하는 특징 영상 추출부; 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성하는 돌출맵 생성부; 및 생성된 돌출맵에 대해 형태학적인 영상처리를 수행하여 객체를 검출하고, 검출된 객체의 특징을 이용하여 객체를 추적하고 검출된 객체 정보를 출력하는 객체 검출 및 추적부;를 포함하는 것을 특징으로 한다.
돌출맵 생성부는 명도 영상과 윤곽선 영상의 각각에 대해 프레임 단위로 중심강화 및 주변억제 연산을 수행하여 특징 맵(conspicuity map)을 생성하고, 생성된 특징 맵을 선형 결합하여 정적 돌출맵을 생성하고, 일정 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성할 수 있다.
객체 검출 및 추적부는 생성된 동적 돌출맵을 이진화하고 형태학적인 영상처리 연산을 수행한 다음 레이블링 하여 객체영역을 검출하는 객체 검출부, 및 연속된 프레임에서 동일한 객체가 검출되면 동일한 고유번호를 부여하고, 각 프레임의 검출된 객체영역 영상의 특징을 이용하여 특징의 유사도가 높은 객체영역을 서로 연결하는 것에 의해 객체를 추적하는 객체 추적부를 포함할 수 있다. 이때, 객체영역 영상의 특징은 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 포함 할 수 있다. 객체영역 영상은 특징을 추출하기 위해 흑백 영상을 가로, 세로로 다수의 하위 영역(예를 들면, 가로 6 x 세로 8)으로 분할하도록 할 수 있으며, 각 영역에서 평균과 표준편차를 계산한다. 또한, 객체의 움직임 멈춤 등과 같은 일시적인 장애로 인해 이전 프레임에서 추적중인 객체를 현재 프레임에서 검출하지 못할 경우, 객체 추적부는 이전 프레임에 대해 저장된 추적중인 객체영역 영상의 특징을 이용하여 입력된 영상으로부터 객체를 검출할 수 있다. 이를 위해, 객체 검출 및 추적정치는 검출된 객체영역 영상의 특징을 저장하는 저장부를 더 포함할 수 있다.
본 발명의 또 다른 실시양태에 따르면, 객체 검출 및 추적방법은, 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하는 단계; 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성하는 단계; 생성된 돌출맵에 대해 형태학적인 영상처리를 수행하여 객체를 검출하는 단계; 및 검출된 객체영역 영상의 특징을 이용하여 객체를 추적하고 검출된 객체 정보를 출력하는 단계를 포함하는 것을 특징으로 한다.
돌출맵을 생성하는 단계는, 명도 영상과 윤곽선 영상의 각각에 대해 프레임 단위로 중심강화 및 주변억제 연산을 수행하여 특징 맵을 생성하는 단계; 생성된 특징 맵을 선형 결합하여 정적 돌출맵을 생성하는 단계; 및 일정 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성하는 단계를 포함할 수 있다.
객체를 검출하는 단계는, 생성된 동적 돌출맵을 이진화하는 단계; 이진화된 동적 돌출맵에 대해 형태학적인 영상처리 연산을 수행하는 단계; 및 형태학적인 영상처리 연산이 수행된 동적 돌출맵을 레이블링하여 객체영역을 검출하는 단계를 포함할 수 있다.
객체를 추적하고 검출된 객체 정보를 출력하는 단계는, 연속된 프레임에서 동일한 객체가 검출되면 동일한 고유번호를 부여하는 단계; 및 각 프레임의 검출된 객체영역 영상의 특징을 이용하여 특징의 유사도가 높은 객체영역을 서로 연결하는 단계를 포함할 수 있다. 이때, 객체영역 영상의 특징은 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 포함할 수 있다.
또한, 객체를 추적하고 검출된 객체정보를 출력하는 단계는 객체의 움직임 멈춤 등과 같은 일시적인 장애로 인해 이전 프레임에서 추적중인 객체를 현재 프레임에서 검출하지 못할 경우 이전 프레임에 대해 저장된 추적중인 객체영역 영상의 특징을 이용하여 입력된 영상으로부터 객체를 검출하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시양태에 따르면, 지능형 감시 시스템은, 감시영역의 영상을 촬상하는 카메라부; 카메라부로부터 입력된 영상으로부터 객체를 검출하고 추적하는 위에서 설명한 객체 검출 및 추적장치; 및 객체 검출 및 추적장치에서 검출된 객체 정보를 표시하는 디스플레이부;를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 객체 검출 및 추적장치와 방법 및 그것을 구비한 지능형 감시 시스템은 영상처리기술을 이용하여, 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하고, 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성한 다음, 생성된 돌출맵에 대해 형태학적인 영상처리를 수행하여 객체를 검출하고, 검출된 객체의 특징을 이용하여 객체를 추적하고 검출된 객체 정보를 출력한다. 따라서, 본 발명의 객체 검출 및 추적장치와 방법 및 그것을 구비한 지능형 감시 시스템은 종래의 감시 시스템에서와 같이 감시영역 내의 움직임에 대한 경계를 위해 사용자가 모니터 화면 또는 모니터 화면 내의 분할화면들에 대해 크게 주의를 기울이지 않아도 될 뿐 아니라 비디오 카메라의 성능 및/또는 모니터의 크기와 성능이 좋지 않은 저가의 일반 카메라를 사용하더라도 감시영역 내의 객체의 움직임에 대한 경계를 쉽게 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 및 추적정치를 구비하는 지능형 감시 시스템을 예시하고 블록도, 및
도 2는 도 1에 도시한 지능형 감시 시스템의 동작을 예시하는 플로우챠트이다.
이하, 본 발명의 실시예에 따른 객체 검출 및 추적장치와 방법 및 그것을 구비한 지능형 감시 시스템을 첨부도면에 관하여 상세히 설명하면 다음과 같다.
먼저, 도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 검출 및 추적정치를 구비하는 지능형 감시 시스템(1)이 블록도로 예시되어 있다.
본 발명의 일 실시예의 지능형 감시 시스템(1)은 카메라부(10), 객체 검출 및 추적장치(20), 디스플레이부(30), 및 사용자 인터페이스부(40)를 포함한다.
카메라부(10)는 감시영역의 영상을 촬상하는 촬상장치로, 감시영역을 조망할 수 있는 감시영역의 특정위치에 설치된 동영상을 촬상할 수 있는 비디오 카메라로 구성된다. 본 실시예에서, 비디오 카메라는 IP 카메라 등과 같은 저가형 일반 카메라로 구현될 수 있다.
객체 검출 및 추적장치(20)는 카메라부(10)의 비디오 카메라의 의해 촬상되어 입력된 영상으로부터 객체를 검출하고 추적하기 위한 것으로, 특징 영상 추출부(21), 돌출맵 생성부(22), 객체 검출 및 추적부(23), 및 저장부(26)를 구비한다.
특징 영상 추출부(21)는 입력된 영상으로부터 촬상된 영상이 가지는 명도를 반영한 명도 영상과 윤곽선을 반영한 윤곽선 영상을 추출한다.
본 발명의 실시예에서, 명도 영상과 윤곽선 영상이 이용되며, 명도 영상은 RGB 칼라 영상을 이용하여 생성되고 간단하게 다음 수학식 1과 같이 각 칼라 영상의 평균으로 구해진다.
Figure 112011031333122-pat00001
수학식 1에서, I는 명도 영상이고, R, G, B는 각 칼라 영상을 의미한다.
윤곽선 영상은 에지 디텍션 기법을 통해 추출될 수 있다. 보다 상세히 설명하면, 영상으로부터 소스 비트맵(source bitmap) 영상을 추출하고, 소벨 연산자(Sobel operator)를 이용하여 윤곽선 영상을 생성할 수 있다. 소벨 연산자는 빠른 연산 속도를 위해 사용되며, 가로 방향과 세로 방향의 두 연산자(HO, VO)로 이루어져 있으며, 이들 각각을 이용한 윤곽선 영상(Gx, Gy)을 픽셀 단위에서 RMS(Root Mean Square) 값을 이용하여 계산함으로서 윤곽선 영상(G)이 생성된다. 이는 다음 수학식 2로 표현될 수 있다.
Figure 112011031333122-pat00002
여기서,
Figure 112011031333122-pat00003
,
Figure 112011031333122-pat00004
G x = HO * I, 및 G y = VO * I
수학식 2에서, HO는 가로방향의 연산자, VO는 세로방향의 연산자, I는 흑백영상, G는 윤곽선 영상을 의미한다.
이러한 특징 영상 추출부(21)의 명도 영상 및 윤곽선 영상 추출은 그래픽스 하드웨어의 프로그래머블 쉐이더에 의해 수행될 수 있다.
돌출맵 생성부(22)는 명도 영상과 윤곽선 영상의 각각에 대해 프레임 단위로 중심강화 및 주변억제 연산을 수행하여 특징 맵을 생성하고 생성된 특징 맵들을 선형 결합하여 정적 돌출맵을 생성하고, 일정 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성한다.
보다 상세히 설명하면, 돌출맵 생성부(22)는 특징 영상 추출부(21)에 의해 추출된 명도 영상과 윤곽선 영상에 대해 중심강화 및 주변억제 연산을 수행하여 특징 맵들을 생성한다. 중심강화 및 주변억제 연산은 중심주변차이(center-surround difference) 원리를 이용하여 중심에 해당하는 높은 해상도(center; 즉, 상세하게 표시된)의 영상에서 낮은 해상도(surround; 즉, 덜 상세하게 된)의 영상의 차이를 구함으로서 상세한 차이만을 남기는 것이다. 즉, 중심주변차이 연산은 중심에 해당하는 상세한 이미지(낮은 레벨)와 덜 상세한 이미지(높은 레벨) 간의 차이의 절대값을 구하는 것으로서, 그 결과 이미지는 어느 특징에 대한 눈에 띄는 정도를 나타내는 특징 맵이 된다. 중심주변차이의 원리는 사람 눈의 지각에 기반한 것으로 효율적으로 눈에 띄는 곳을 찾아낸다고 알려져 있다. 이러한 연산은 그래픽스 하드웨어의 프로그래머블 쉐이더에 의해 수행될 수 있다.
이어서, 돌출맵 생성부(22)는 생성된 명도 영상과 윤곽선 영상에 대한 특징 맵들의 각 특징 간의 스케일(scale)의 차이를 없애기 위해 정규화를 할 수 있도록 선형 결합 계수(linear combination weight)를 구한 다음, 특징 맵들을 선형 결합계수를 사용하여 선형 결합하여 정적 돌출맵을 생성한다. 선형 결합 계수는 해당하는 영상 내의 픽셀들의 최대값의 역수로서 결정된다. 이와 같이 최대값의 역수로서 계수를 가지면 각 특징의 특징 맵들의 차이들은 0에서 1(또는 0(black)에서 255(white)) 사이의 동일한 범위로 정규화되고, 특징 맵의 높은 값의 픽셀이 돌출 정도가 높은 픽셀이 된다. 최대값을 찾는 과정은 특징 맵의 처음부터 끝까지 픽셀 값들을 읽으면서 찾게 된다. 최대값을 찾는 과정은 그래픽스 하드웨어의 병렬적 처리를 이용할 수 없으므로, 별도의 중앙처리장치(CPU)를 이용하는 영상처리 소프트웨어를 이용하게 된다. 이와 같이 찾아진 선형 결합 계수값들은 프로그래머블 쉐이더에 반영되어 정적 돌출맵을 생성하기 위해 특징 맵들을 선형 결합하는 데 사용된다.
그 다음, 돌출맵 생성부(22)는 후술하는 객체 검출 및 추적부(23)에서 객체의 움직임을 검출할 수 있도록 하기 위해, 프로그래머블 쉐이더를 통해 일정 프레임, 예를 들면, 5 개의 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성한다.
객체 검출 및 추적부(23)는 돌출맵 생성부(22)에 의해 형성된 동적 돌출맵으로부터 객체의 움직임을 검출하고 입력되는 영상의 연속된 프레임의 객체의 움직임을 추적한다.
이를 위해, 객체 검출 및 추적부(23)는 객체 검출부(24), 및 객체 추적부(25)를 구비한다.
객체 검출부(24)는 생성된 동적 돌출맵에 대해 형태학적인 영상처리를 수행하여 객체를 검출 및 저장하고, 검출된 객체 정보를 포함하는 영상 데이타를 디스플레이부(30)로 출력한다.
보다 상세히 설명하면, 객체 검출부(24)는 생성된 동적 돌출맵의 픽셀들의 색상값들을 일정 역치값(threshold value), 예를 들면, 125를 기준으로 각각 0(black)과 255(white)으로 변환한다. 즉, 윤곽선 영상(13)에 대응하는 픽셀들의 색상값들이 각각 125 이상이면, 255로 변환하고, 125 미만이면 0으로 변환한다. 그 다음, 객체 검출부(24)는 각 픽셀의 값이 0(black)인 픽셀들은 '0'으로 두고 255(white)인 픽셀들은 '1'로 변환하여 이진화한다. 그리고, 객체 검출부(24)는 이진화된 픽셀값들을 형태학적인 영상처리로서 잡음을 제거하고 레이블링에 적합한 형태로 만들기 위해 사용하며, 예를 들면, 객체의 외곽선을 부드럽게 해주고 가늘게 돌출한 부위를 제거하는 열기연산을 수행한 다음 레이블링하여 객체영역을 검출한다. 이러한 객체 검출부(24)의 객체 검출은 그래픽스 하드웨어의 프로그래머블 쉐이더에 의해 수행될 수 있다. 그 결과, 환경 변화와 잡음에 강건한 객체영역이 검출될 수 있다.
객체 검출부(24)는 검출된 객체영역에 대한 정보를 저장부(26)에 저장함과 함께 객체영역에 대한 정보를 포함하는 영상 데이타를 디스플레이부(30)로 출력된다. 이때, 저장부(26)에 저장되는 객체영역에 대한 정보는, 예를 들면, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차 등을 포함한다. 또한, 영상 데이타는 사용자가 디스플레이부(30) 화면을 통해 표시되는 영상으로부터 객체영역을 쉽게 구분할 수 있도록 객체영역을 구분하는 박스표시 등의 데이타를 포함한다.
객체 추적부(25)는 객체 검출부(24)에 의해 검출된 객체영역의 특징을 이용하여 객체의 움직임을 추적하고 검출된 객체영역의 움직임에 대한 정보를 객체 검출부(24)로 피드백하여 디스플레이부(30)로 출력한다.
보다 상세히 설명하면, 객체 추적부(25)는 연속된 프레임에서 동일한 객체영역이 검출되면 동일한 고유번호를 부여하고, 각 프레임의 검출된 객체영역의 특징, 예를 들면, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 이용하여 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차의 유사도가 높은 객체 영역을 서로 연결하여 객체영역을 추적한다. 이때, 객체의 움직임 멈춤과 같은 일시적인 장애로 인해 이전 프레임에서 추적중인 객체영역을 현재 프레임에서 검출하지 못할 경우, 객체 추적부(25)는 이전 프레임에 대해 저장된 추적중인 객체영역 의 특징(즉, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차)를 이용하여 카메라부(10)로부터 입력되는 영상에서 객체영역을 검출할 수 있다. 객체 추적부(25)에 의해 추적된 객체영역에 대한 정보는 다시 객체 검출부(24)로 피드백되어 저장됨과 함께 디스플레이부(30)로 출력된다.
이와 같은 객체 추적부(25)의 객체 추적은 그래픽스 하드웨어의 프로그래머블 쉐이더에 의해 수행될 수 있다.
저장부(26)는 객체 검출부(24)의 제어하에 객체 검출부(24)에 의해 검출된 객체영역 및 객체 추적부(25)에 의해 추적된 객체영역에 대한 정보, 예를 들면, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차 등을 저장한다.
사용자 인터페이스부(40)는 감시 시스템(1)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키들을 구비하며, 사용자로부터 객체 검출 및 추적에 대한 명령을 입력받는다. 사용자 인터페이스부(40)는 터치패드 등과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수도 있고, 마우스, 키보드 등과 같은 입력 장치 및 디스플레이부(30)와 결합된 터치 스크린 형태로 구현될 수도 있다.
디스플레이부(30)는 객체 검출부(24)에서 출력된 객체영역에 대한 정보를 포함하는 영상 데이타를 표시하는 것으로, CRT 모니터, LCD 모니터, LED 등과 같은 표시 장치로 구성된다.
이와 같이 구성된 본 발명의 일 실시예의 객체 검출 및 추적정치(20)가 적용된 지능형 감시 시스템(1)의 동작을 설명하면 다음과 같다.
먼저, 카메라부(10)는 감시영역의 영상을 촬상한다(S1).
다음으로, 특징 영상 추출부(21)는 카메라부(10)에 의해 촬상된 영상으로부터 명도 영상과 윤곽선 영상을 추출한다(S2).
이어서, 돌출맵 생성부(22)는 추출된 명도 영상과 윤곽선 영상을 중심강화 및 주변억제 연산을 통해 명도 영상과 윤곽선 영상에 대응되는 특징 맵들을 생성하고, 생성된 특징 맵들을 선형 결합하여 정적 돌출맵을 생성한 다음, 일정 프레임, 예를 들면, 5 개의 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성한다(S3).
그 다음, 객체 검출부(24)는 생성된 동적 돌출맵을 이진화한 다음, 형태학적인 영상처리로서, 예를 들면, 객체의 외곽선을 부드럽게 해주고 가늘게 돌출한 부위를 제거하는 열기연산을 수행하여 레이블링하여 객체영역을 검출하고, 객체영역에 대한 정보를 저장부(26)에 저장함과 동시에 객체영역에 대한 정보를 포함하는 영상 데이타를 디스플레이부(30)로 출력한다(S4). 이때, 영상 데이타는 객체영역을 구분하는 박스표시 등의 데이타를 포함한다.
그리고, 객체 추적부(25)는, 입력되는 영상의 연속된 프레임에서 동일한 객체가 검출되면 동일한 고유번호를 부여하고, 각 프레임의 검출된 객체영역 영상의 특징, 예를 들면, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 이용하여 특징의 유사도가 높은 객체 영역을 서로 연결하여 입력되는 영상에 대한 객체영역을 추적한 다음, 추적된 객체영역에 대한 정보를 다시 객체 검출부(24)로 피드백하여 저장함과 함께 디스플레이부(30)로 출력되도록 한다.
이때, 만일 객체의 움직임 멈춤 등과 같은 일시적인 장애 등으로 인해 이전 프레임에서 추적중인 객체영역을 현재 프레임에서 검출하지 못할 경우, 객체 추적부(25)는 이전 프레임에 대해 저장부(26)에 저장된 추적중인 객체영역 영상의 특징(즉, 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차)을 이용하여 카메라부(10)로부터 입력되는 영상에서 객체영역을 검출할 수 있다.
디스플레이부(30)는 객체 검출부(24)로부터 출력된 객체영역에 대한 정보를 포함하는 영상 데이타를 표시한다(S5).
이상에서, 본 발명은 원리를 예시하기 위한 실시예와 관련하여 설명하고 도시하였으나, 본 발명은 그와 같이 도시되고 설명된 구성 및 작용으로 한정되지 않는다. 또, 첨부된 특허청구범위의 사상 및 범주를 벗어 나지 않고 본 발명에 대한 다양한 변경과 수정이 가능함은 당업자들에게는 잘 이해될 수 있을 것이다. 따라서, 본 발명에 대한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주 되어야 할 것이다.
1: 감시 시스템 10: 카메라부
20: 객체 검출 및 추적장치 21: 특징 영상 추출부
22: 돌출맵 생성부 23: 객체 검출 및 추적부 24: 객체 검출부 25: 객체 추적부
26: 저장부 30: 디스플레이부
40: 사용자 인터페이스부

Claims (12)

  1. 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하는 특징 영상 추출부;
    상기 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성하는 돌출맵 생성부; 및
    상기 생성된 돌출맵에 대해 객체의 외곽선을 부드럽게 해주고 가늘고 돌출한 부위를 제거하는 열기연산을 수행하여 상기 객체를 검출하고, 검출된 객체의 특징을 이용하여 상기 객체를 추적하고 검출된 객체 정보를 출력하는 객체 검출 및 추적부;를 포함하는 것을 특징으로 하는 객체 검출 및 추적장치.
  2. 제1항에 있어서, 상기 돌출맵 생성부는 상기 명도 영상과 윤곽선 영상의 각각에 대해 프레임 단위로 중심강화 및 주변억제 연산을 수행하여 특징 맵(conspicuity map)을 생성하고, 상기 생성된 특징 맵을 선형 결합하여 정적 돌출맵을 생성하고, 일정 프레임에 걸쳐 얻어진 상기 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성하는 것을 특징으로 하는 객체 검출 및 추적장치.
  3. 제2항에 있어서, 상기 객체 검출 및 추적부는,
    상기 생성된 동적 돌출맵을 이진화하고 객체의 외곽선을 부드럽게 해주고 가늘고 돌출한 부위를 제거하는 열기연산을 수행한 다음 레이블링하여 객체영역을 검출하는 객체 검출부; 및
    연속된 프레임에서 동일한 객체가 검출되면 동일한 고유번호를 부여하고, 각 프레임의 검출된 객체영역 영상의 특징을 기준으로 유사도가 높은 객체영역을 서로 연결하는 것에 의해 상기 객체를 추적하는 객체 추적부를 포함하며,
    상기 각 프레임의 검출된 객체영역 영상의 상기 특징은 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 포함하는 것을 특징으로 하는 객체 검출 및 추적장치.
  4. 삭제
  5. 제3항에 있어서,
    상기 검출된 객체영역 영상의 상기 특징을 저장하는 저장부를 더 포함하고,
    상기 객체 추적부는 이전 프레임에서 추적중인 객체를 현재 프레임에서 검출하지 못할 경우, 상기 이전 프레임에 대해 저장된 추적중인 객체영역 영상의 특징을 이용하여 상기 입력된 영상으로부터 상기 객체를 검출하는 것을 특징으로 하는 객체 검출 및 추적장치.
  6. 입력된 영상으로부터 명도 영상과 윤곽선 영상을 추출하는 단계;
    상기 추출된 명도 영상과 윤곽선 영상으로부터 돌출맵을 생성하는 단계;
    상기 생성된 돌출맵에 대해 객체의 외곽선을 부드럽게 해주고 가늘고 돌출한 부위를 제거하는 열기연산을 수행하여 상기 객체를 검출하는 단계; 및
    상기 검출된 객체의 특징을 이용하여 상기 객체를 추적하고 검출된 객체 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 객체 검출 및 추적방법.
  7. 제6항에 있어서, 상기 돌출맵을 생성하는 단계는,
    상기 명도 영상과 상기 윤곽선 영상의 각각에 대해 프레임 단위로 중심강화 및 주변억제 연산을 수행하여 특징 맵을 생성하는 단계;
    상기 생성된 특징 맵을 선형 결합하여 정적 돌출맵을 생성하는 단계; 및
    일정 프레임에 걸쳐 얻어진 정적 돌출맵들의 동일 위치의 픽셀들에서 엔트로피값을 계산하여 동적 돌출맵을 생성하는 단계를 포함하는 것을 특징으로 하는 객체 검출 및 추적방법.
  8. 제7항에 있어서, 상기 객체를 검출하는 단계는,
    상기 생성된 동적 돌출맵을 이진화하는 단계;
    상기 이진화된 동적 돌출맵에 대해 객체의 외곽선을 부드럽게 해주고 가늘고 돌출한 부위를 제거하는 열기연산을 수행하는 단계; 및
    상기 열기연산이 수행된 동적 돌출맵을 레이블링하여 객체영역을 검출하는 단계를 포함하는 것을 특징으로 하는 객체 검출 및 추적방법.
  9. 제6항에 있어서, 상기 객체를 추적하고 검출된 객체 정보를 출력하는 단계는,
    연속된 프레임에서 동일한 객체가 검출되면 동일한 고유번호를 부여하는 단계; 및
    각 프레임의 검출된 객체영역 영상의 특징을 기준으로 유사도가 높은 객체영역을 서로 연결하는 단계를 포함하며,
    상기 각 프레임의 검출된 객체영역 영상의 상기 특징은 색상 히스토그램과 분할된 흑백 영상의 평균과 표준편차를 포함하는 것을 특징으로 하는 객체 검출 및 추적방법.
  10. 삭제
  11. 제9항에 있어서, 상기 객체를 추적하고 검출된 객체정보를 출력하는 단계는 일시적인 장애로 인해 이전 프레임에서 추적중인 객체를 현재 프레임에서 검출하지 못할 경우 상기 이전 프레임에 대해 저장된 추적중인 객체영역 영상의 특징을 이용하여 상기 입력된 영상으로부터 상기 객체를 검출하는 단계를 더 포함하는 것을 특징으로 하는 객체 검출 및 추적방법.
  12. 감시영역의 영상을 촬상하는 카메라부;
    상기 카메라부로부터 입력된 영상으로부터 객체를 검출하고 추적하는 제1항 내지 제5항 중의 어느 한 항에 기재된 객체 검출 및 추적장치; 및
    상기 객체 검출 및 추적장치에서 검출된 객체 정보를 표시하는 디스플레이부;를 포함하는 것을 특징으로하는 지능형 감시 시스템.
KR1020110039532A 2011-04-27 2011-04-27 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템 KR101230567B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110039532A KR101230567B1 (ko) 2011-04-27 2011-04-27 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110039532A KR101230567B1 (ko) 2011-04-27 2011-04-27 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템

Publications (2)

Publication Number Publication Date
KR20120121627A KR20120121627A (ko) 2012-11-06
KR101230567B1 true KR101230567B1 (ko) 2013-02-07

Family

ID=47508049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110039532A KR101230567B1 (ko) 2011-04-27 2011-04-27 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템

Country Status (1)

Country Link
KR (1) KR101230567B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517538B1 (ko) * 2013-12-31 2015-05-15 전남대학교산학협력단 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101384784B1 (ko) * 2012-12-31 2014-04-21 창원대학교 산학협력단 모바일 기기 카메라 화면의 사물 위치 판단 방법
KR101465314B1 (ko) * 2013-02-14 2014-12-01 인하대학교 산학협력단 원격지의 모니터링 시스템을 관리하는 온라인 관리 및 보수 시스템 및 그 방법
KR20150074455A (ko) * 2013-12-24 2015-07-02 주식회사 알티캐스트 영상 디스플레이 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002097A (ko) * 1999-06-11 2001-01-05 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
JP2006133990A (ja) 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 画像処理装置
JP2010262648A (ja) 2009-04-30 2010-11-18 Xerox Corp 文書オブジェクトを自動位置合わせするための方法及び装置
JP2011035636A (ja) 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010002097A (ko) * 1999-06-11 2001-01-05 김운용 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
JP2006133990A (ja) 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 画像処理装置
JP2010262648A (ja) 2009-04-30 2010-11-18 Xerox Corp 文書オブジェクトを自動位置合わせするための方法及び装置
JP2011035636A (ja) 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517538B1 (ko) * 2013-12-31 2015-05-15 전남대학교산학협력단 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체

Also Published As

Publication number Publication date
KR20120121627A (ko) 2012-11-06

Similar Documents

Publication Publication Date Title
US11594031B2 (en) Automatic extraction of secondary video streams
US7944454B2 (en) System and method for user monitoring interface of 3-D video streams from multiple cameras
US7787011B2 (en) System and method for analyzing and monitoring 3-D video streams from multiple cameras
US8848053B2 (en) Automatic extraction of secondary video streams
JP6764481B2 (ja) 監視装置
US7778445B2 (en) Method and system for the detection of removed objects in video images
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
US9602778B2 (en) Security video system using customer regions for monitoring point of sale areas
US20060221181A1 (en) Video ghost detection by outline
Kumar et al. Multiple cameras using real time object tracking for surveillance and security system
KR101230567B1 (ko) 객체 검출 및 추적장치와 방법, 및 그것을 사용하는 지능형 감시 시스템
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
US10997734B2 (en) Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program
JP6831396B2 (ja) 映像監視装置
Fang et al. 1-D barcode localization in complex background
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
JPH0514891A (ja) 画像監視装置
KR102297908B1 (ko) 영상 분석에 기반한 상품 수량 관리 시스템 및 방법
Latzel et al. People tracking using robust motion detection and estimation
Kachhava et al. Security system and surveillance using real time object tracking and multiple cameras
Sen et al. Saving Electrical Power in a Surveillance Environment
KR20160048462A (ko) 배경 차분 및 1차원 상관관계 기반의 움직이는 물체의 검출방법
Almbladh et al. Real-time illumination-invariant motion detection in spatio-temporal image volumes
Cai et al. An Algorithm for Automatic Detection of Banners in Surveillance Videos
Sahoo Gesture based PTZ camera control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8