KR101422084B1 - 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법 - Google Patents

배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법 Download PDF

Info

Publication number
KR101422084B1
KR101422084B1 KR1020140058705A KR20140058705A KR101422084B1 KR 101422084 B1 KR101422084 B1 KR 101422084B1 KR 1020140058705 A KR1020140058705 A KR 1020140058705A KR 20140058705 A KR20140058705 A KR 20140058705A KR 101422084 B1 KR101422084 B1 KR 101422084B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
module
image
modeling
Prior art date
Application number
KR1020140058705A
Other languages
English (en)
Inventor
김중석
해용석
소영성
Original Assignee
(주)나인정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나인정보시스템 filed Critical (주)나인정보시스템
Priority to KR1020140058705A priority Critical patent/KR101422084B1/ko
Application granted granted Critical
Publication of KR101422084B1 publication Critical patent/KR101422084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법이 개시된다. 적어도 하나 이상의 CCTV 카메라로부터 영상을 입력받는 카메라 영상 입력부; 평균 필터를 이용하여 상기 카메라 영상 입력부에서 입력받은 영상의 노이즈를 제거하는 영상 전처리부; 상기 노이즈가 제거된 영상이 정적인 영상인 경우 시공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하고 물체를 검지하는 물체 검지부; 상기 물체 검지부에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행하는 물체 라벨링부; 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 시점 내 추적부를 구성한다.

Description

배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법{MULTI-VIEWPOINT LINKED TRACKING SYSTEM AND METHOD USING PARTICLE FILTER IN THE OBJECT AREA DETECTED BY BACKGROUND MODELING}
본 발명은 이미지의 물체 추적 시스템 및 방법에 관한 것으로서, 좀 더 구체적으로는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간(inter viewpoint) 내지는 프레임간(inter-frame) 연계 추적 시스템 및 방법에 관한 것이다.
CCTV(closed circuit television)는 범죄 예방과 주요 시설물의 감시 등에 매우 유용하게 이용되고 있다.
큰 건물이나 도로 등에 설치된 CCTV 카메라로부터 원격의 관제 센터가 영상 프레임을 수신하며, 관제 센터의 모니터 요원이 이를 실시간으로 모니터하거나 사후에 상황 파악을 하고 있다.
그런데, 관제 센터의 모니터 요원이 수많은 CCTV 카메라로부터 수신되는 수많은 영상들을 동시에 모니터링하는 것은 거의 불가능하다.
이에, 영상 내 움직이는 물체/사람을 분석하여 효율적인 감시 체계를 구축하는 것이 CCTV 감시 체계의 관건이 되고 있다.
지능형 영상 분석 등 다양한 기법이 개시되어 있지만, 아직까지도 효과적인 영상의 자동 분석 기능 및 감시 기능은 매우 제한적이다.
또한, 종래 개시되어 있는 대부분의 자동 영상 분석 기법은 보통 1대의 CCTV 카메라에서 수신되는 영상만을 분석하는 수준에 불과하다. 영상을 분석하기 위해서는 영상 내 움직이는 물체/사람의 검지와 검지된 물체의 픽셀(pixel)을 라벨링(labeling)하고 그 움직임을 추적하여 동일한 물체인지 아닌지 새로운 물체인지 등을 정확하게 파악하여야 한다.
종래의 방식으로는 이러한 모든 알고리즘에 대해 하나의 CCTV 영상 분석 그 이상의 분석은 거의 불가능한 실정이다.
한편, 공개특허공보 10-2013-0077933 및 등록특허공보 10-1377029는 CCTV의 지능형 영상 분석 및 감시에 대해 개시하고 있다.
그러나, 이 외의 선행문헌들은 모두 음성 인식에 의한 위험 인지라든가 대상체의 이동 감지에 대한 프로세스를 하나의 관제 센터에서 모두 수행할 정도의 효율성을 갖지 못하고 있다.
물체의 검지, 라벨링 그리고 이동 감지에 대해 동시에 여러 영상을 처리하기 위해서는 보다 효율적인 알고리즘이 요구된다.
한편, 기존에는 물체의 움직임을 감지하기 위해 물체로 인식되는 픽셀의 파티클(particle)을 영상 내에서 랜덤(random)하게 생성하였는데, 이를 연속된 프레임(frame)간에 매칭시키는 경우 그 결과가 매우 좋지 않은 문제점이 있었다.
기존의 영상 분석 방식으로는 하나의 카메라 영상만을 기준으로 행해지며 이는 사람의 동선 파악 등 다양한 정보의 수집에 제약을 가져오게 된다.
대한민국특허청 공개특허공보 10-2013-0077933 대한민국특허청 등록특허공보 10-1377029
본 발명의 목적은 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템은, 적어도 하나 이상의 CCTV 카메라(closed circuit television camera)(200)로부터 영상을 입력받는 카메라 영상 입력부(110); 평균 필터를 이용하여 상기 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈(noise)를 제거하는 영상 전처리부(120); 상기 노이즈가 제거된 영상이 정적인 영상인 경우 시 공간적 가우시안 혼합 모델링(spatial temporal Gaussian mixture modeling) 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 물체 검지부(130); 상기 물체 검지부(130)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서(multi core processor)를 이용하여 병렬적 라벨링(labeling)을 수행하는 물체 라벨링부(140); 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부에서 라벨링된 물체의 컬러(color) 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 시점 내 추적부(150)를 포함하도록 구성될 수 있다.
여기서, 상기 시점 내 추적부(150)는, 상기 영상의 프레임(frame)간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 상기 소정 프레임의 물체와 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 상기 물체의 ID를 재할당하고 상기 물체를 시점간 연계 추적하도록 구성될 수 있다.
이때, 상기 시점 내 추적부(150)는, 상기 물체 라벨링부(140)에서 병렬적 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식에 의해 파티클을 업데이트하도록 구성되고,
[수학식]
Figure 112014045950563-pat00001
여기서,
Figure 112014045950563-pat00002
은 랜덤 노이즈 성분이고,
Figure 112014045950563-pat00003
은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타내고, 새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식에 의해 처리되고, [수학식]
Figure 112014045950563-pat00004
여기서,
Figure 112014045950563-pat00005
은 파티클의 유사도이고,
Figure 112014045950563-pat00006
는 컬러를 나타내도록 구성될 수 있다.
그리고 상기 시점 내 추적부(150)는, 상기 확장 칼만 필터를 이용하여 상기 소정 프레임 내 물체의 개수를 계수하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 상기 물체가 사라짐(disappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성될 수 있다.
한편, 상기 물체 검지부(130)는, 상기 노이즈가 제거된 영상을 입력받는 영상 입력 모듈(131); 상기 입력받은 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 상기 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 픽셀값 설정 모듈(132); 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 가우시안 모델링 적용 모듈(133); 상기 가우시안 모델링 적용 모듈(133)에서 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 시간적 가우시안 모델링 모듈(134); 상기 가우시안 모델링 적용 모듈(134)에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 공간적 데이터 병합 모듈(135); 상기 시간적 가우시안 모델링 모듈(134)에서 출력된 픽셀값 및 상기 공간적 데이터 병합 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 미디언 필터(median filter) 모듈(136)을 포함하도록 구성될 수 있다.
이때, 상기 가우시안 모델링 적용 모듈(134)은, 상기 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경이 되는 경우에는 상기 소정 픽셀을 안정적 픽셀로 지정하고, 상기 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 상기 소정 픽셀을 불안정적 픽셀로 지정하고, 상기 공간적 데이터 병합 모듈(135)은, 상기 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단하고, 상기 판단 결과 상기 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 개수를 갖는 종류의 픽셀의 픽셀값을 출력하고, 상기 판단 결과 상기 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 상기 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성될 수 있다.
다른 한편, 상기 물체 라벨링부(140)는, 상기 물체 검지부(130)의 영상을 입력받아 각 픽셀에 대하여 전경 픽셀에 픽셀값 1을 설정하고, 배경 픽셀에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 영상입력모듈(141); 첫번째 이터레이션(iteration)에서 입력된 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여하는 배열번호 할당모듈(142); 라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별하는 이터레이션 판별모듈(143); 상기 이터레이션 판별모듈의 판별결과에 따라 홀수 이터레이션과 짝수 이터레이션에서 서로 다른 방식의 영상처리 알고리즘을 적용하여 처리속도를 향상시킨 하이브리드 병렬처리부(144); 및 분리된 물체의 전경 픽셀이 동일한 숫자로 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력하는 물체추출모듈(145)을 포함하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법은, 카메라 영상 입력부(110)가 적어도 하나 이상의 CCTV 카메라로부터 영상을 입력받는 단계; 영상 전처리부(120)가 평균 필터를 이용하여 상기 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈를 제거하는 단계; 물체 검지부(130)가 상기 노이즈가 제거된 영상이 정적인 영상인 경우 시공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 단계; 물체 라벨링부(130)가 상기 물체 검지부(120)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행하는 단계; 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계를 포함하도록 구성될 수 있다.
여기서, 상기 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계는, 상기 영상의 프레임간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 상기 소정 프레임의 물체와 상기 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 상기 물체의 ID를 재할당하고 상기 물체를 시점간 연계 추적하도록 구성될 수 있다.
그리고 상기 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계는, 상기 물체 라벨링부(140)에서 병렬적 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식에 의해 파티클을 업데이트하도록 구성되고, [수학식]
Figure 112014045950563-pat00007
여기서,
Figure 112014045950563-pat00008
은 랜덤 노이즈 성분이고,
Figure 112014045950563-pat00009
은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타내고, 새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식에 의해 처리되고, [수학식]
Figure 112014045950563-pat00010
여기서,
Figure 112014045950563-pat00011
은 파티클의 유사도이고,
Figure 112014045950563-pat00012
는 컬러를 나타내도록 구성될 수 있다.
이때, 상기 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계는, 상기 확장 칼만 필터를 이용하여 상기 소정 프레임 내 물체의 개수를 계수하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 상기 물체가 사라짐(disappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성될 수 있다.
한편, 상기 물체 검지부(130)가 상기 노이즈가 제거된 영상을 시 공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 단계는, 영상 입력 모듈(131)이 상기 영상 전처리부(120)로부터 영상을 입력받는 단계; 픽셀값 설정 모듈(132)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 상기 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 단계; 가우시안 모델링 적용 모듈(133)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 단계; 시간적 가우시안 모델링 모듈(134)이 상기 가우시안 모델링 적용 모듈에서 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계; 공간적 데이터 병합 모듈(135)이 상기 가우시안 모델링 적용 모듈에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계; 미디언 필터(median filter) 모듈(136)이 상기 시간적 가우시안 모델링 모듈에서 출력된 픽셀값 및 상기 공간적 가우시안 모델링 모듈에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 단계; 미디언 필터(median filter) 모듈(136)이 상기 시간적 가우시안 모델링 모듈(134) 및 상기 공간적 데이터 병합 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 단계를 포함하도록 구성될 수 있다.
이때, 상기 가우시안 모델링 적용 모듈(133)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 단계는, 상기 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경이 되는 경우에는 상기 소정 픽셀을 안정적 픽셀로 지정하고, 상기 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 상기 소정 픽셀을 불안정적 픽셀로 지정하도록 구성되고, 상기 공간적 데이터 병합 모듈(135)이 상기 가우시안 모델링 적용 모듈에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계는, 상기 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단하고, 상기 판단 결과 상기 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 개수를 갖는 종류의 픽셀의 픽셀값을 출력하고, 상기 판단 결과 상기 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 상기 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성될 수 있다.
다른 한편, 상기 물체 라벨링부(140)가 상기 물체 검지부(130)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행하는 단계는, 영상입력모듈(141)이 상기 물체 검지부(130)의 영상을 입력받아 각 픽셀에 대하여 전경 픽셀에 픽셀값 1을 설정하고, 배경 픽셀에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 단계; 배열번호 할당모듈(142)이 첫번째 이터레이션(iteration)에서 입력된 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여하는 단계; 이터레이션 판별모듈(143)이 라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별하는 단계; 하이브리드(hybrid) 병렬처리부(144)가 상기 이터레이션 판별모듈(143)의 판별결과에 따라 홀수 이터레이션과 짝수 이터레이션에서 서로 다른 방식의 영상처리 알고리즘을 적용하여 처리속도를 향상시키는 단계; 물체추출모듈(145)이 상기 분리된 물체의 전경 픽셀이 동일한 숫자로 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력하는 단계를 포함하도록 구성될 수 있다.
상기와 같은 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법에 의하면, 확장 칼만 필터에 의해 물체의 파티클의 움직임을 파악하는데 물체의 예상 이동 거리, 그 종류, 컬러 등을 통해 파티클의 움직임을 정확하게 인지하고 동선을 파악할 수 있는 효과가 있다. 특히, 물체의 겹침, 사라짐, 다시 나타남 등을 정확하게 파악할 수 있다.
특히, 기존과 달리 시공간적 가우시안 혼합 모델링 방식에 의해 검지된 물체에 대해서만 그 파티클을 생성하고 업데이트하도록 구성됨으로써, 파티클을 정확하게 인지하여 연속된 프레임간 파티클의 움직임과 연계성을 보다 정확하게 추출하고 동선을 확보할 수 있는 효과가 있다.
더불어, 시공간적 가우시안 혼합 모델링 방식에 의해 검지된 물체에 대해 다수의 코어 프로세서를 이용하여 병렬적 방식으로 라벨링을 수행함으로써, 그 처리 속도를 높여 영상 분석의 속도를 높이는 것은 물론, 동시의 여러 대의 카메라 영상을 분석하여 움직이는 물체를 감시할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 물체 검지부의 블록 구성도이다.
도 3a 내지 도 3c는 종래 기술에 따른 배경 모델링 이미지 및 본 발명에 따른 배경 모델링 이미지를 대비한 실험예이다.
도 4는 본 발명의 일 실시예에 따른 물체 라벨링부의 블록 구성도이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 라벨링 방식의 개념도이다.
도 6a 및 도 6b는 종래 기술에 의한 파티클 필터링과 본 발명에 따른 파티클 필터링의 실험예이다.
도 7은 본 발명의 일 실시예에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 물체 검지 방법의 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 물체 라벨링 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 파티클 필터링에 의한 물체 동선 파악 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템(이하, '연계 추적 시스템'이라 함)(100)은 카메라 영상 입력부(110), 영상 전처리부(120), 물체 검지부(130), 물체 라벨링부(140), 시점 내 추적부(150)를 포함하도록 구성될 수 있다.
시점간 연계 추적 시스템(100)은 확장 칼만 필터에 의해 물체의 파티클의 움직임을 파악하도록 구성되며, 물체의 예상 이동 거리, 그 종류, 컬러 등을 통해 파티클의 움직임을 정확하게 인지하고 동선을 파악하도록 구성된다.
여기서, 물체의 파티클은 기존과 달리 시공간적 가우시안 혼합 모델링 방식의 배경 모델링 방식에 의해 검지되며 다수의 코어 프로세서에 의해 병렬 라벨링 처리되는 물체의 픽셀에 대하여 파티클을 설정하고 그 움직임에 따르 지속적으로 업데이트하도록 구성되는 것을 특징으로 한다.
이에, 기존에 비하여 파티클을 정확하게 인지하여 연속된 프레임간 파티클의 움직임과 연계성을 보다 정확하게 추출하고 동선을 확보할 수 있다.
또한, 물체의 검지, 라벨링, 파티클 필터링의 각 알고리즘을 시간적/공간적 가우시안 혼합 모델링 방식에 의한 물체 검지, 다수 코어 프로세서에 의해 병렬 라벨링, 병렬 라벨링된 픽셀의 파티클 필터링 등을 이용하여 그 알고리즘 처리 속도를 총체적으로 높임으로써, 다수의 CCTV 카메라의 영상에 대한 물체의 움직임 감지를 동시에 수행할 수 있도록 구성된다. 이에, 적은 모니터링 요원에 의해 다수의 영상을 동시에 효율적으로 모니터링할 수 있다.
이하, 세부적인 구성에 대하여 설명한다.
카메라 영상 입력부(110)은 적어도 하나 이상의 CCTV 카메라(closed circuit television camera)로부터 영상을 입력받도록 구성될 수 있다.
영상 전처리부(120)는 평균 필터를 이용하여 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈(noise)를 제거하도록 구성될 수 있다.
영상 전처리부(120)는 다음 수학식 1의 평균 필터에 의해 노이즈를 제거하도록 구성될 수 있다.
Figure 112014045950563-pat00013
f(x,y)는 출력 이미지의 밝기값이고, x, y는 각각 좌표이고, m, n은 주변값을 참조할 윈도우의 x,y 크기이고, m, n이 각각 3이라면 3*3 크기의 윈도우에 들어온 데이터를 평균한다는 의미이다. 그리고 g(x,y)는 입력 픽셀의 밝기값을 나타낸다.
물체 검지부(130)는 노이즈가 제거된 영상을 사용하여 시 공간적 가우시안 혼합 모델링 방식(spatial Temporal Gaussian mixture modeling)에 의해 배경 모델링을 수행하여 물체를 검지하도록 구성될 수 있다.
물체 라벨링부(140)는 물체 검지부에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서(multi core processor)를 이용하여 병렬적 라벨링(labeling)을 수행하도록 구성될 수 있다.
시점 내 추적부(150)는 확장 칼만 필터(Extended Kalman Filter)를 이용하여 물체 라벨링부(140)에서 라벨링된 물체의 컬러(color) 정보, 크기 정보, 종류에 따라 물체간의 병합(merging) 또는 분리(demerging)와 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키도록 구성될 수 있다.
시점 내 추적부(150)는 영상의 프레임(frame)간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 소정 프레임의 물체와 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 물체의 ID를 재할당하고 물체를 시점간 연계 추적하도록 구성될 수 있다.
좀 더 구체적으로는 시점 내 추적부(150)는 물체 라벨링부(140)에서 병렬적 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식 2에 의해 파티클을 업데이트하도록 구성될 수 있다.
Figure 112014045950563-pat00014
여기서,
Figure 112014045950563-pat00015
은 랜덤 노이즈 성분이고,
Figure 112014045950563-pat00016
은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타낸다.
그리고 새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식 3에 의해 처리될 수 있다.
Figure 112014045950563-pat00017
여기서,
Figure 112014045950563-pat00018
은 파티클의 유사도이고,
Figure 112014045950563-pat00019
는 컬러를 나타낼 수 있다.
한편, 시점 내 추적부(150)는, 확장 칼만 필터를 이용하여 소정 프레임 내 물체의 개수를 계수하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 물체의 위치가 소정 임계치 범위를 넘는 경우 물체가 사라짐(disappearing)으로 판단하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하고, 계수된 물체의 개수가 다음 프레임에서 증가하고 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고, 계수된 물체의 개수가 다음 프레임에서 증가하고 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하고, 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 물체 검지부의 블록 구성도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 물체 검지부(130)는 영상 입력 모듈(131), 픽셀값 설정 모듈(132), 가우시안 모델 적용 모듈(133), 시간적 가우시안 적용 모듈(134), 공간적 데이터 병합 모듈(135) 및 미디언 필터 모듈(136)을 포함하도록 구성될 수 있다.
물체 검지부(130)는 정적인 영상에서는 종래 시간적 가우시안 모델링 모듈(134)이 배경 모델링을 수행하고, 흔들리는 나뭇잎이나 파도 또는 휘날리는 깃발과 같은 동적인 영상에서는 공간적 데이터 병합 모듈(135)이 새로운 공간적 알고리즘을 이용하여 배경 모델링을 수행하도록 구성된다. 이에, 동적인 영상에서 배경 모델링이 매우 개선된 효과를 갖는다.
이하, 세부적인 구성에 대하여 설명한다.
영상 입력 모듈(131)은 입력 영상을 입력받도록 구성된다.
픽셀값 설정 모듈(132)은 입력 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하도록 구성된다.
가우시안 모델링 적용 모듈(133)은 입력 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하도록 구성된다. 안정적 픽셀과 불안정적 픽셀은 본 발명에서 새로 정의하는 구성이며, 불안정적 픽셀로 지정된 픽셀에 대하여는 공간적 데이터 병합 모듈(135)이 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여는 시간적 가우시안 모델링 모듈(134)이 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하는 것으로 구성된다.
가우시안 모델링 적용 모듈(133)은 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 M개의 프레임까지 전경 픽셀/배경 픽셀로 상호 간 몇 회나 변경되는지 판단한다.
이때, 가우시안 모델링 적용 모듈(133)은 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경되는 경우에는 소정 픽셀을 안정적 픽셀로 지정하고, 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 M개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 소정 픽셀을 불안정적 픽셀로 지정하도록 구성된다.
여기에서, K/3회 이하의 횟수인 경우에는 적어도 그 픽셀은 변화가 별로 없는 정적인 픽셀로 볼 수 있으며, K/3 초과의 횟수인 경우에는 그 픽셀이 변화가 많은 동적인 픽셀로 볼 수 있다.
이에, M은 10으로서 이전 10개의 프레임을 통해 변화를 모니터링하는 것이 바람직하다. 10은 실험적으로 도출된 수치이나 상황에 따라 다른 값도 가능하다.
이에, 가우시안 모델링 적용 모듈(133)은 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 모듈(134)이 배경 모델링을 수행하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 모듈(135)이 배경 모델링을 수행하도록 제어한다.
시간적 가우시안 모델링 모듈(134)은 종래의 동일한 방식의 가우시안 혼합 모델링(Gaussian Mixture Modeling)을 수행한다. 즉, 시간적 가우시안 모델링 모듈(140)은 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하도록 구성된다.
한편, 공간적 데이터 병합 모듈(135)은 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단한다. 그리고 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 종류의 픽셀이 무엇인지 판단한다. 판단 결과 더 많은 종류의 픽셀의 픽셀값을 출력한다. 그리고 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성된다. 즉, 주변의 8 픽셀의 픽셀값을 확인하여 보다 높은 확률의 픽셀값으로 대체하는 공간적 개념의 알고리즘이 이용된다. 그리고 안정적 픽셀에 대해서는 픽셀값이 변경될 확률이 적으므로 그냥 이전 프레임의 픽셀값을 그대로 이용한다.
미디언 필터 모듈(136)은 시간적 가우시안 모델링 모듈(134) 및 공간적 데이터 병합 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하도록 구성된다.
도 3a 내지 도 3c는 종래 기술에 따른 배경 모델링 이미지 및 본 발명에 따른 배경 모델링 이미지를 대비한 실험예이다.
도 3a는 정적인 영상이고, 도 3b 및 도 3c는 동적인 영상이다. 여기서 정적이라 함은 배경으로 분류되어야 할 부분들에 거의 움직임이 없다는 의미이고 동적이라 함은 배경으로 분류되어야 할 부분들에 움직임이 있다는 의미이다.
먼저 도 3a를 참조하면, 도 3a의 (a)는 원 영상이고, (b)는 전경 픽셀/배경 픽셀에 대한 레이블링을 수행한 영상이고, (c)는 종래 시간적 가우시안 모델링에 따른 영상이고, (d)는 본 발명의 시공간적 가우시안 혼합 모델링에 따른 영상이다.
도 3a는 정적인 영상이므로, (c)의 영상이나 (d)의 영상에 큰 차이가 없다.
도 3b를 참조하면, 도 3b의 (a)는 원 영상이고, (b)는 전경 픽셀/배경 픽셀에 대한 레이블링을 수행한 영상이고, (c)는 종래 시간적 가우시안 모델링에 따른 영상이고, (d)는 본 발명의 시공간적 가우시안 혼합 모델링에 따른 영상이다.
도 3b는 영상 상단의 나뭇가지와 영상 중상단 좌측 끝의 나뭇가지 부분이 잔잔하게 흔들리는 동영상에서 따온 영상이다.
도 3b에서 보듯이, (d)의 영상이 (c)의 영상에 비해 배경으로 분류되어야 하는 흔들리는 나뭇잎에 대해 둔감하게 반응하고 있음을 알 수 있다.
도 3c를 참조하면, 도 3c의 (a)는 원 영상이고, (b)는 전경 픽셀/배경 픽셀에 대한 레이블링을 수행한 영상이고, (c)는 종래 시간적 가우시안 모델링에 따른 영상이고, (d)는 본 발명의 시공간적 가우시안 혼합 모델링에 따른 영상이다.
도 3c는 영상내 거의 모든 나뭇가지들이 매우 심하게 흔들리는 동영상에서 따온 영상이다.
도 3c에서 보듯이, 배경으로 분류되어야 하는 흔들리는 나뭇잎이 (c)의 영상에 비해 (d)의 영상에서 과도하게 감지되고 있음을 알 수 있다.
도 4는 본 발명의 일 실시예에 따른 물체 라벨링부의 블록 구성도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 물체 라벨링부(140)는 영상 입력 모듈(141), 배열번호 할당모듈(142), 이터레이션 판별모듈(143), 하이브리드 병렬 처리 모듈(144) 및 물체추출모듈(145)을 포함하도록 구성될 수 있다.
여기서, 영상 입력 모듈(141)은 CCTV 등으로 촬영한 NxM 픽셀의 영상을 입력받아 입력 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하도록 구성될 수 있다.
배열번호 할당모듈(142)은 영상 입력 모듈(141)과, 첫번째 이터레이션에서 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여하도록 구성될 수 있다.
이터레이션 판별모듈(143)은 라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별하도록 구성될 수 있다.
M8DLS 모듈(144a)는 이터레이션 판별모듈(143)의 판별 결과 짝수 이터레이션이면 변형된 8 방향 라벨 선택(M8DLS) 알고리즘에 따라 각 픽셀을 라벨링하도록 구성될 수 있다.
MKC 모듈(144b)은 이터레이션 판별모듈(30)의 판별결과 홀수 이터레이션이면 변형된 커널 C(MKC) 알고리즘에 따라 각 픽셀을 라벨링하도록 구성될 수 있다.
물체추출모듈(145)은 분리된 물체의 전경 픽셀(foreground pixel)이 서로 다른 숫자로 동일하게 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력하는 로 구성될 수 있다.
도 1을 참조하면, M8DLS 모듈(144a)의 변형된 8 방향 라벨 선택 알고리즘의 개요 코드(pseudo code)는 다음 표 1과 같다.
for i=1 to n iterations do
for each pixel p in an image do
if p is an object pixel
then it becomes a focused pixel
if (i>=2) and (label of p is not the smallest)
then apply 8DLS
end if
end if
end for
if no label change for all the object pixels
then exit
end if
endfor
표 1을 참조하면, 최초 영상 내 물체 픽셀은 해당 배열 번호를 해당 라벨로 설정한다. 첫 번째 이터레이션에서는 8방향(상, 하, 좌, 우, 대각선 방향)을 검색해서 가장 작은 라벨로 해당 픽셀 라벨을 변경하고, 두 번째 이터레이션부터는 위 8DLS 방법을 반복하여 사용한다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 라벨링 방식의 개념도이다.
도 5a를 참조하면, 6 x 10 픽셀의 영상 샘플에서 흰색 픽셀이 물체 픽셀이고, 검은 색 픽셀이 배경 픽셀이다. 도 5a의 영상을 보면 물체가 2개임을 알 수 있으며, 도 5a의 (a)는 첫 번째 이터레이션이고, (b)는 두 번째 이터레이션, (c)는 세 번째 이터레이션, (d)는 네번째 이터레이션을 나타낸다.
도 5a의 (a)에서 6 x 10 영상 내 모든 픽셀이 하나의 유일한 인덱스를 가지도록 0부터 59까지 병렬 코어의 인덱스로 설정하고, (b) 영상에서 물체 픽셀이면 8방향(상, 하, 좌, 우, 대각선)으로 검색하여 가장 작은 라벨을 찾아서 해당 픽셀의 라벨을 재설정한다. 예를 들어, 도 5a의 (a) 영역에서 27번 라벨을 가지는 픽셀을 보면, 두 번째 이터레이션에서(즉, (b) 영상에서) 8방향 중 가장 작은 라벨인 9를 해당 픽셀의 라벨로 설정한 것을 알 수 있다. 두 번째 이터레이션 이 후부터인 (c)부터는 8DLS 방법인 8방향으로 가장 작은 레이블로 재설정해가는 과정이고, (d) 역시 같은 과정이다.
MKC 모듈(144b)의 변형된 커널 C 알고리즘의 개요 코드(The MKC method in pseudo code)는 다음 표 2와 같다.
for j=1 to n iterations do
for each pixel p in an image do
if p is an object pixel
then it becomes a focused pixel
if (i>=2) and (label of p is not the smallest)
for i = 1 to 4 directions do
search for minimum label until background pixel is hit
and put it in mini
end for
take minimum label m among mini , 1<= i <= 4 and relabel the focused pixel with label m
end if
end if
end for
if no label change for all the object pixels
then exit
end if
endfor
표 2의 방법은 첫 번째 이터레이션어서 M8DLS 방법과 같이 모든 픽셀에 유일한 라벨을 입력하고, 두 번째 이터레이션부터 4방향(상, 하, 좌, 우)으로 검색하여 최소 라벨로 맵핑해 나가는 과정을 가지며, 이 때 영상 샘플은 앞서 설명한 M8DLS 방법과 같고, 처리 결과 이미지는 도 3에 도시된 바와 같다.
도 5b의 (a)에서 6 x 10 영상의 모든 픽셀에 대해서 0부터 59까지 유일한 라벨로 입력한다. 도 5b의 (b)영상은 두 번째 이터레이션으로서 4방향(상, 하, 좌, 우)를 검색하여 가장 작은 라벨로 모든 픽셀을 변화시키고, 도 3의 (c), (d) 역시 같은 처리를 반복한다.
위 결과를 보면 알 수 있듯이 4번의 이터레이션으로 모든 물체에 동일한 라벨이 입력되지 않는다. 즉, 라벨링을 완료하기 위해서는 더 많은 이터레이션이 필요하나 본 발명에서 제안하는 하이브리드 방법을 적용하게 되면 효율적으로 처리량이 줄어든다.
한편, 본 발명에 따른 하이브리드 병렬 처리 모듈(144)이 처리하는 하이브리드 방법의 알고리즘의 개요 코드(The HYBRID1 method in pseudo code)는 다음 표 3과 같다.
for i=1 to n iterations do
for each pixel p in an image do
if p is an object pixel
then it becomes a focused pixel
if i % 2 == 0
then apply M8DLS
else apply MKC
end if
end if
end for
if no label change for all the object pixels
then exit
end if
endfor
도 5c를 참조하면, 본 발명에 따른 하이브리드 라벨링 방법은 홀수번째 이터레이션에서는 MKC 방법이 사용되고, 짝수번째 이터레이션에서는 M8DLS 방법이 사용된다. 즉, 첫 번째 이터레이션에서 모든 픽셀에 유일한 라벨을 입력하고, 두 번째 이터레이션에서는 상, 하, 좌, 우, 대각선으로 8방향을 검색하여 가장 작은 라벨로 해당 라벨을 재입력하고, 세 번째 이터레이션에서는 상, 하, 좌, 우 4방향으로 가장 작은 라벨을 검색하여 재입력한다. 네 번째 이터레이션에서는 다시 8방향을 검색하여 가장 작은 라벨로 해당 라벨을 재 입력하며 라벨링을 완료할 때까지 반복한다.
도 6a 및 도 6b는 종래 기술에 의한 파티클 필터링과 본 발명에 따른 파티클 필터링의 실험예이다.
도 6a는 배경 모델링 처리를 하지 않고 파티클 필터링을 한 영상을 예시하고 있으며, 도 6b는 배경 모델링 처리를 하여 물체를 정확하게 감지한 후 파티클 필터링을 한 영상을 예시하고 있다.
도 7은 본 발명의 일 실시예에 따른 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법의 흐름도이다.
도 7을 참조하면, 먼저 카메라 영상 입력부(110)가 적어도 하나 이상의 CCTV 카메라로부터 NXM 픽셀의 영상을 입력받는다(S101).
다음으로, 영상 전처리부(120)가 평균 필터를 이용하여 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈를 제거한다(S102).
다음으로, 물체 검지부(130)가 노이즈가 제거된 영상이 정적인 영상인 경우 시간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하고 노이즈가 제거된 영상이 동적인 영상인 경우 공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하여 물체를 검지한다(S103).
다음으로, 물체 라벨링부(140)가 물체 검지부(130)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행한다(S104).
다음으로, 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 물체간의 병합(merging) 또는 분리(demerging)와 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 물체 각각에 대해 아이디(ID)를 부여하고 매칭시킨다(S105).
이때, 영상의 프레임간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 소정 프레임의 물체와 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 물체의 ID를 재할당하고 물체를 시점간 연계 추적하도록 구성될 수 있다.
좀 더 구체적으로는, 물체 라벨링부(140)에서 병렬 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식 4에 의해 파티클을 업데이트하도록 구성될 수 있다.
Figure 112014045950563-pat00020
여기서,
Figure 112014045950563-pat00021
은 랜덤 노이즈 성분이고,
Figure 112014045950563-pat00022
은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타내고,
한편, 새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식 5에 의해 처리될 수 있다.
Figure 112014045950563-pat00023
여기서,
Figure 112014045950563-pat00024
은 파티클의 유사도이고,
Figure 112014045950563-pat00025
는 컬러를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 물체 검지 방법의 흐름도이다.
도 8을 참조하면, 먼저 영상 입력 모듈(131)이 영상 전처리부(120)로부터 영상을 입력받는다(S131).
다음으로, 픽셀값 설정 모듈(132)이 노이즈가 제거된 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별한다(S132).
다음으로, 가우시안 모델링 적용 모듈(133)이 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어한다(S133).
이때, 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경이 되는 경우에는 소정 픽셀을 안정적 픽셀로 지정하고, 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 소정 픽셀을 불안정적 픽셀로 지정하도록 구성될 수 있다.
다음으로, 시간적 가우시안 모델링 모듈(134)이 가우시안 모델링 적용 모듈에서 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력한다(S134).
다음으로, 공간적 데이터 병합 모듈(135)이 가우시안 모델링 적용 모듈(133)에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력한다(S135).
이때, 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단하고, 판단 결과 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 개수를 갖는 종류의 픽셀의 픽셀값을 출력하고, 판단 결과 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성될 수 있다.
다음으로, 미디언 필터(median filter) 모듈(136)이 시간적 가우시안 모델링 모듈(133)에서 출력된 픽셀값 및 공간적 가우시안 모델링 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 물체를 검지한다(S136).
도 9는 본 발명의 일 실시예에 따른 물체 라벨링 방법의 흐름도이다.
도 9를 참조하면, 영상입력모듈(141)이 물체 검지부(130)의 영상을 입력받아 각 픽셀에 대하여 전경 픽셀에 픽셀값 1을 설정하고, 배경 픽셀에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별한다(S141).
다음으로, 배열번호 할당모듈(142)이 첫번째 이터레이션(iteration)에서 입력된 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여한다(S142).
다음으로, 이터레이션 판별모듈(143)이 라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별한다(S143).
다음으로, 하이브리드(hybrid) 병렬처리부(144)가 이터레이션 판별모듈(143)의 판별결과에 따라 홀수 이터레이션과 짝수 이터레이션에서 서로 다른 방식의 영상처리 알고리즘을 적용하여 처리속도를 향상시킨다(S144).
다음으로, 물체추출모듈(145)이 분리된 물체의 전경 픽셀이 동일한 숫자로 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력한다(S145).
도 10은 본 발명의 일 실시예에 따른 파티클 필터링에 의한 물체 동선 파악 방법 흐름도이다.
도 10을 참조하면, 먼저, 확장 칼만 필터를 이용하여 소정 프레임 내 물체의 개수를 계수한다(S151).
다음으로, 계수된 물체의 개수가 증가하는지 판단한다(S152).
여기서, 물체의 개수가 감소하는 경우 다시 물체의 위치가 소정 임계치 범위 이내인지 판단한다(S153).
판단 결과 물체의 위치가 소정 임계치 범위를 넘는 경우 물체가 사라짐(disappearing)으로 판단하고(S153a), 계수된 물체의 개수가 다음 프레임에서 감소하고 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하도록 구성될 수 있다(S153b).
또한, 물체의 개수가 증가하는 경우 다시 물체의 위치가 소정 임계치 범위 이내인지 판단한다(S154).
여기서, 계수된 물체의 개수가 다음 프레임에서 증가하고 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고(S154a), 계수된 물체의 개수가 다음 프레임에서 증가하고 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하도록 구성될 수 있다(S154b). 그리고 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성될 수 있다(S153c).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 카메라 영상 입력부
120: 영상 전처리부
130: 물체 검지부
131: 영상 입력 모듈
132: 픽셀값 설정 모듈
133: 가우시안 모델 적용 모듈
134: 시간적 가우시안 적용 모듈
135: 공간적 데이터 병합 모듈
136: 미디언 필터 모듈
140: 물체 라벨링부
141: 영상 입력 모듈
142: 배열번호 할당 모듈
143: 이터레이션 판별 모듈
144: 하이브리드 병렬 처리 모듈
144a: M8 DLS 모듈
144b: MKC 모듈
145: 물체 추출 모듈
150: 시점 내 추적부

Claims (10)

  1. 적어도 하나 이상의 CCTV 카메라(closed circuit television camera)(200)로부터 영상을 입력받는 카메라 영상 입력부(110);
    평균 필터를 이용하여 상기 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈(noise)를 제거하는 영상 전처리부(120);
    상기 노이즈가 제거된 영상이 정적인 영상인 경우 시 공간적 가우시안 혼합 모델링(spatial temporal Gaussian mixture modeling) 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 물체 검지부(130);
    상기 물체 검지부(130)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서(multi core processor)를 이용하여 병렬적 라벨링(labeling)을 수행하는 물체 라벨링부(140);
    확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부에서 라벨링된 물체의 컬러(color) 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 시점 내 추적부(150)를 포함하고,
    상기 시점 내 추적부(150)는,
    상기 영상의 프레임(frame)간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 상기 소정 프레임의 물체와 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 상기 물체의 ID를 재할당하고 상기 물체를 시점간 연계 추적하도록 구성되며,
    상기 확장 칼만 필터를 이용하여 상기 소정 프레임 내 물체의 개수를 계수하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 상기 물체가 사라짐(disappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성되는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템.
  2. 제1항에 있어서, 상기 시점 내 추적부(150)는,
    상기 물체 라벨링부(140)에서 병렬적 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식에 의해 파티클을 업데이트하도록 구성되고,
    [수학식]
    Figure 112014045950563-pat00026

    여기서,
    Figure 112014045950563-pat00027
    은 랜덤 노이즈 성분이고,
    Figure 112014045950563-pat00028
    은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타내고,
    새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식에 의해 처리되고,
    [수학식]
    Figure 112014045950563-pat00029

    여기서,
    Figure 112014045950563-pat00030
    은 파티클의 유사도이고,
    Figure 112014045950563-pat00031
    는 컬러를 나타내는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템.
  3. 삭제
  4. 제1항에 있어서, 상기 물체 검지부(130)는,
    상기 노이즈가 제거된 영상을 입력받는 영상 입력 모듈(131);
    상기 입력받은 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 상기 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 픽셀값 설정 모듈(132);
    상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 가우시안 모델링 적용 모듈(133);
    상기 가우시안 모델링 적용 모듈(133)에서 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 시간적 가우시안 모델링 모듈(134);
    상기 가우시안 모델링 적용 모듈(134)에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 공간적 데이터 병합 모듈(135);
    상기 시간적 가우시안 모델링 모듈(134)에서 출력된 픽셀값 및 상기 공간적 데이터 병합 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 미디언 필터(median filter) 모듈(136)을 포함하고,
    상기 가우시안 모델링 적용 모듈(134)은,
    상기 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경이 되는 경우에는 상기 소정 픽셀을 안정적 픽셀로 지정하고, 상기 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 상기 소정 픽셀을 불안정적 픽셀로 지정하고,
    상기 공간적 데이터 병합 모듈(135)은,
    상기 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단하고, 상기 판단 결과 상기 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 개수를 갖는 종류의 픽셀의 픽셀값을 출력하고, 상기 판단 결과 상기 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 상기 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성되는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템.
  5. 제1항에 있어서, 상기 물체 라벨링부(140)는,
    상기 물체 검지부(130)의 영상을 입력받아 각 픽셀에 대하여 전경 픽셀에 픽셀값 1을 설정하고, 배경 픽셀에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 영상입력모듈(141);
    첫번째 이터레이션(iteration)에서 입력된 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여하는 배열번호 할당모듈(142);
    라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별하는 이터레이션 판별모듈(143);
    상기 이터레이션 판별모듈의 판별결과에 따라 홀수 이터레이션과 짝수 이터레이션에서 서로 다른 방식의 영상처리 알고리즘을 적용하여 처리속도를 향상시킨 하이브리드 병렬처리부(144); 및
    분리된 물체의 전경 픽셀이 동일한 숫자로 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력하는 물체추출모듈(145)을 포함하는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템.
  6. 카메라 영상 입력부(110)가 적어도 하나 이상의 CCTV 카메라로부터 영상을 입력받는 단계;
    영상 전처리부(120)가 평균 필터를 이용하여 상기 카메라 영상 입력부(110)에서 입력받은 영상의 노이즈를 제거하는 단계;
    물체 검지부(130)가 상기 노이즈가 제거된 영상이 정적인 영상인 경우 시공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 단계;
    물체 라벨링부(130)가 상기 물체 검지부(120)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행하는 단계;
    시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계를 포함하고,
    상기 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계는,
    상기 영상의 프레임간 물체의 파티클 매칭(particle matching)에 의해 소정 프레임 내 물체가 예상 가능한 이동 거리 내에서 다음 프레임에서 검지되는지와 상기 소정 프레임의 물체와 상기 다음 프레임 내에서 검지된 물체의 색상 유사도가 소정 임계치 내인지를 판단하여 상기 물체의 ID를 재할당하고 상기 물체를 시점간 연계 추적하도록 구성되며,
    상기 확장 칼만 필터를 이용하여 상기 소정 프레임 내 물체의 개수를 계수하고, 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 상기 물체가 사라짐(disappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 감소하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 병합(merging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위 내인 경우 다시 나타남(reappearing)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임에서 증가하고 상기 물체의 위치가 소정 임계치 범위를 넘는 경우 분리(demerging)으로 판단하고, 상기 계수된 물체의 개수가 다음 프레임의 경계(boundary)에서 증가하면 새로운 물체의 나타남으로 판단하도록 구성되는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법.
  7. 제6항에 있어서, 상기 시점 내 추적부(150)가 확장 칼만 필터(Extended Kalman Filter)를 이용하여 상기 물체 라벨링부(140)에서 라벨링된 물체의 컬러 정보, 크기 정보, 종류에 따라 상기 물체간의 병합(merging) 또는 분리(demerging)와 상기 물체의 사라짐(disappearing) 또는 다시 나타남(reappearing)을 판단하여 상기 물체 각각에 대해 아이디(ID)를 부여하고 매칭시키는 단계는,
    상기 물체 라벨링부(140)에서 병렬적 라벨링이 수행된 픽셀의 파티클을 1차 선택 파티클로 설정하고, 다음 수학식에 의해 파티클을 업데이트하도록 구성되고,
    [수학식]
    Figure 112014045950563-pat00032

    여기서,
    Figure 112014045950563-pat00033
    은 랜덤 노이즈 성분이고,
    Figure 112014045950563-pat00034
    은 각 파티클의 RGB 정보를 이용하여 계산된 상태 내지는 웨이트(weight)를 나타내고,
    새로운 파티클의 생성 및 기존 파티클의 소멸은 다음 수학식에 의해 처리되고,
    [수학식]
    Figure 112014045950563-pat00035

    여기서,
    Figure 112014045950563-pat00036
    은 파티클의 유사도이고,
    Figure 112014045950563-pat00037
    는 컬러를 나타내는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법.
  8. 삭제
  9. 제6항에 있어서, 상기 물체 검지부(130)가 상기 노이즈가 제거된 영상을 시 공간적 가우시안 혼합 모델링 방식에 의해 배경 모델링을 수행하여 물체를 검지하는 단계는,
    영상 입력 모듈(131)이 상기 영상 전처리부(120)로부터 영상을 입력받는 단계;
    픽셀값 설정 모듈(132)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 전경 픽셀(foreground pixel)에 픽셀값(pixel value) 1을 설정하고, 배경 픽셀(background pixel)에 대해 픽셀값 0을 설정하여 상기 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 단계;
    가우시안 모델링 적용 모듈(133)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 단계;
    시간적 가우시안 모델링 모듈(134)이 상기 가우시안 모델링 적용 모듈에서 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계;
    공간적 데이터 병합 모듈(135)이 상기 가우시안 모델링 적용 모듈에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계;
    미디언 필터(median filter) 모듈(136)이 상기 시간적 가우시안 모델링 모듈에서 출력된 픽셀값 및 상기 공간적 가우시안 모델링 모듈에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 단계를 포함하고,
    미디언 필터(median filter) 모듈(136)이 상기 시간적 가우시안 모델링 모듈(134) 및 상기 공간적 데이터 병합 모듈(135)에서 출력된 픽셀값에 대하여 미디언 필터링을 수행하여 상기 물체를 검지하는 단계를 포함하고,
    상기 가우시안 모델링 적용 모듈(133)이 상기 노이즈가 제거된 영상의 각 픽셀에 대하여 안정적 픽셀(stable pixel) 또는 불안정적 픽셀(unstable pixel)로 구별하여 지정하고, 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 데이터 병합 방식에 따라 배경 모델링을 수행하도록 제어하고, 안정적 픽셀로 지정된 픽셀에 대하여 시간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하도록 제어하는 단계는,
    상기 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 이하의 횟수로 전경 픽셀/배경 픽셀 상호 간 변경이 되는 경우에는 상기 소정 픽셀을 안정적 픽셀로 지정하고, 상기 입력 영상의 소정 픽셀이 현재 프레임으로부터 과거 K개의 프레임까지 K/3회 초과의 횟수로 전경 픽셀/배경 픽셀 간 상호 변경이 되는 경우에는 상기 소정 픽셀을 불안정적 픽셀로 지정하도록 구성되고,
    상기 공간적 데이터 병합 모듈(135)이 상기 가우시안 모델링 적용 모듈에서 불안정적 픽셀로 지정된 픽셀에 대하여 공간적 가우시안 모델링 방식에 따라 배경 모델링을 수행하여 픽셀값을 출력하는 단계는,
    상기 불안정적 픽셀로 지정된 픽셀에 대하여 주변 8 픽셀이 안정적 픽셀인지 불안정적 픽셀인지 판단하고, 상기 판단 결과 상기 주변 8 픽셀에서 안정적 픽셀과 불안정적 픽셀 중 더 많은 개수를 갖는 종류의 픽셀의 픽셀값을 출력하고, 상기 판단 결과 상기 주변 8 픽셀 중 안정적 픽셀이 없는 경우에는 상기 픽셀에 이전 프레임의 해당 픽셀값을 출력하도록 구성되는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법.
  10. 제6항에 있어서, 상기 물체 라벨링부(140)가 상기 물체 검지부(130)에서 검지된 물체의 다수의 픽셀에 대하여 다수의 코어 프로세서를 이용하여 병렬적 라벨링을 수행하는 단계는,
    영상입력모듈(141)이 상기 물체 검지부(130)의 영상을 입력받아 각 픽셀에 대하여 전경 픽셀에 픽셀값 1을 설정하고, 배경 픽셀에 대해 픽셀값 0을 설정하여 각 픽셀을 전경 픽셀 또는 배경 픽셀로 구별하는 단계;
    배열번호 할당모듈(142)이 첫번째 이터레이션(iteration)에서 입력된 NxM 픽셀에 대하여 소정의 순서대로 고유한 배열번호를 부여하는 단계;
    이터레이션 판별모듈(143)이 라벨링을 위한 이터레이션 과정에서 홀수 이터레이션과 짝수 이터레이션을 판별하는 단계;
    하이브리드(hybrid) 병렬처리부(144)가 상기 이터레이션 판별모듈(143)의 판별결과에 따라 홀수 이터레이션과 짝수 이터레이션에서 서로 다른 방식의 영상처리 알고리즘을 적용하여 처리속도를 향상시키는 단계;
    물체추출모듈(145)이 상기 분리된 물체의 전경 픽셀이 동일한 숫자로 라벨링되어 라벨링이 완료되면 물체 추출 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 방법.
KR1020140058705A 2014-05-16 2014-05-16 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법 KR101422084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140058705A KR101422084B1 (ko) 2014-05-16 2014-05-16 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140058705A KR101422084B1 (ko) 2014-05-16 2014-05-16 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101422084B1 true KR101422084B1 (ko) 2014-08-14

Family

ID=51748808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058705A KR101422084B1 (ko) 2014-05-16 2014-05-16 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101422084B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784955B1 (ko) 2016-05-04 2017-10-12 엘아이지넥스원 주식회사 영상 정보를 이용한 비행 속도 산출 방법
CN107264797A (zh) * 2016-04-06 2017-10-20 成都积格科技有限公司 人群聚集预警无人机
US10970874B2 (en) 2018-03-30 2021-04-06 Electronics And Telecommunications Research Institute Method and apparatus for performing image feature matching using labeled keyframes in SLAM-based camera tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110075250A (ko) * 2009-12-28 2011-07-06 엘지전자 주식회사 객체 추적 모드를 활용한 객체 추적 방법 및 장치
KR20110098288A (ko) * 2010-02-26 2011-09-01 주식회사 비츠로시스 객체 자동 추적 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110075250A (ko) * 2009-12-28 2011-07-06 엘지전자 주식회사 객체 추적 모드를 활용한 객체 추적 방법 및 장치
KR20110098288A (ko) * 2010-02-26 2011-09-01 주식회사 비츠로시스 객체 자동 추적 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107264797A (zh) * 2016-04-06 2017-10-20 成都积格科技有限公司 人群聚集预警无人机
CN107264797B (zh) * 2016-04-06 2019-12-17 成都积格科技有限公司 人群聚集预警无人机
KR101784955B1 (ko) 2016-05-04 2017-10-12 엘아이지넥스원 주식회사 영상 정보를 이용한 비행 속도 산출 방법
US10970874B2 (en) 2018-03-30 2021-04-06 Electronics And Telecommunications Research Institute Method and apparatus for performing image feature matching using labeled keyframes in SLAM-based camera tracking

Similar Documents

Publication Publication Date Title
US10679315B2 (en) Detected object tracker for a video analytics system
US9390333B2 (en) System and method for robust motion detection
US9008365B2 (en) Systems and methods for pedestrian detection in images
KR20180135898A (ko) 기계 학습에 의해 객체 분류기를 훈련시키는 시스템 및 방법
US20170083764A1 (en) Detected object tracker for a video analytics system
KR20200071799A (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
US20170083766A1 (en) Detected object tracker for a video analytics system
CN107657626B (zh) 一种运动目标的检测方法和装置
Mohan et al. Video image processing for moving object detection and segmentation using background subtraction
CN112381075A (zh) 一种机房特定场景下进行人脸识别的方法及系统
Armanfard et al. TED: A texture-edge descriptor for pedestrian detection in video sequences
US20170083765A1 (en) Detected object tracker for a video analytics system
CN111783665A (zh) 一种动作识别方法、装置、存储介质和电子设备
WO2014208963A1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
CN103870824A (zh) 一种在人脸检测跟踪过程中的人脸捕捉方法及装置
KR101030257B1 (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
KR101422084B1 (ko) 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법
Thapa et al. Moving object detection and segmentation using frame differencing and summing technique
WO2017053822A1 (en) Detected object tracker for a video analytics system
JP2021531598A (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
CN114764895A (zh) 异常行为检测装置和方法
Nalepa et al. Real-time people counting from depth images
Satybaldina et al. Development of an algorithm for abnormal human behavior detection in intelligent video surveillance system
Krishna et al. Automatic detection and tracking of moving objects in complex environments for video surveillance applications
JP6429323B2 (ja) オブジェクト抽出方法および装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170519

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190514

Year of fee payment: 6