KR20110128529A - 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 - Google Patents

형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20110128529A
KR20110128529A KR1020100048029A KR20100048029A KR20110128529A KR 20110128529 A KR20110128529 A KR 20110128529A KR 1020100048029 A KR1020100048029 A KR 1020100048029A KR 20100048029 A KR20100048029 A KR 20100048029A KR 20110128529 A KR20110128529 A KR 20110128529A
Authority
KR
South Korea
Prior art keywords
image
shape control
tracking
background
control points
Prior art date
Application number
KR1020100048029A
Other languages
English (en)
Other versions
KR101130963B1 (ko
Inventor
백준기
김태경
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100048029A priority Critical patent/KR101130963B1/ko
Priority to PCT/KR2010/004928 priority patent/WO2011149145A1/ko
Publication of KR20110128529A publication Critical patent/KR20110128529A/ko
Application granted granted Critical
Publication of KR101130963B1 publication Critical patent/KR101130963B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법이 개시된다. 배경 생성부는 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신한다. 움직임 검출부는 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역의 검출 결과로 출력한다. 형상 제어점 추출부는 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출한다. 객체 추적부는 객체 교합의 발생여부에 따라 상기 추출된 형상 제어점들을 기초로 블록 기반 정합 알고리즘을 수행하여 객체를 추적하거나, 무게 중심에 기반한 블록 정합 알고리즘 또는 주기적 갱신 기반 블록 정합 알고리즘에 의해 객체를 추적한다. 본 발명에 따르면, 검증된 형상 제어점들만으로 객체의 추적을 지속할 수 있어 객체와 배경 사이의 일시적 공간 유사성, 객체 변형, 교합 등과 같은 잠재적인 실패 요인으로부터 자유로울 수 있다.

Description

형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법{Apparatus and method for tracking non-rigid object based on shape and feature information}
본 발명은 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법에 관한 것으로, 보다 상세하게는 형태와 특징 정보를 이용하여 영상에 존재하는 객체를 검출하고 검출된 객체를 추적하는 장치 및 방법에 관한 것이다.
많은 영상 객체 추적 시스템들은 단순한 계산 구조와 강인한 성능으로 인해 블록 매칭 알고리즘을 사용한다. 그러나 블록 매칭 알고리즘은 비정형 형태와 배경에 유사한 패턴에 기인한 기본적인 제한이 있다.
영상 분석과 추적은 대부분의 영상 처리, 컴퓨터 비전, 영상 관측, 콘텐츠 생성을 위한 영상 합성, 인간-컴퓨터 상호 작용(Human-Computer-Interaction : HCI), 영상 압축 등을 포함하는 다양한 시각적 응용에서 동적으로 이차원 정보를 추출하는 기초적인 문제이다. 대부분의 기존 영상 관측 시스템은 단순히 범죄 조사와 교통 흐름 모니터를 위해 영상을 기록하고 전송한다. 그러나 최근의 영상 기술이 발전함에 따라 움직임 검출, 추적, 분류, 인식, 종합 및 행동 분석과 같은 지능적인 특성의 구현이 가능하다.
영상 추적은 일련의 연산 모듈로 구성되며, 각각의 모듈은 객체 측위, 객체 인식 및 객체 추적의 기능을 수행한다. 추적 시스템은 동적 정보에 의한 시공간을 이용하기 때문에 움직이는 객체는 무엇보다 정적인 배경으로부터 구분되어야 한다. 그러나 차이 기반 추적 알고리즘은 매우 느리게 움직이는 객체를 검출할 수 없다. 게다가 교합 현상이 발생하면 두 개 이상의 객체가 하나의 객체로 인식된다. 교합은 또 다른 문제이며, 변하는 조명, 정적인 그림자, 카메라 잡음 등을 포함하는 불안정한 환경하에서 강인한 추적을 위해서는 적응적인 배경 생성이 요구된다.
능동 형상 모델(Active Shape Model : ASM) 기반의 추적 알고리즘은 선험적으로 훈련된 형상 정보를 가지고 비정형 객체를 지역화한다. ASM 기반의 추적 알고리즘은 객체 형상을 모델링한 후에 반복적으로 가능한 움직임 정보 조합과의 적합화를 수행한다. 리 등은 높은 정합 정확도로 반복적인 모델 적합화 과정을 가속하기 위해 ASM의 계층적인 확장을 제안한 바 있다. 저 해상도 영상에서 모델 적합화는 연산량을 상당히 감소시키며, 칼만 필터와 결합한 형상의 대략-미세(coarse-to-fine) 추정은 보다 강인한 추적 결과를 제공한다.
그러나 ASM 기반 추적의 초기 및 확장 버전은 훈련집합의 랜드마크점의 개수와 모델의 형태와 같은 사전 지식에 크게 의존한다. 대부분의 경우에 랜드마크점의 개수는 훈련 데이터를 검사하여 수동적으로 결정된다.
연산 부담을 줄이기 위해 비사전 훈련 능동 특징 모델(non-prior tranining active feature model : NPT-AFM)이라는 특징 기반 형상 추적 기법이 제시된 바 있다. 이와 같은 특징 기반 객체 모델링 기법은 전체 형상을 취하는 기존의 형상 기반 모델링 기법에 비해 상당히 감소된 개수의 특징점을 사용하여 객체를 추적할 수 있다. 훈련집합의 쉼없는 갱신과 감소된 개수의 특징점들은 실시간으로 강인한 추적 시스템을 가능하게 할 수 있다. 개선된 연산 효율과 교합 제어 성능에도 불구하고, NPT-AFM 기법은 여전히 객체의 특징점들에 대한 부가적인 그룹핑과 갱신이 필요하다. 게다가 NPT-AFM 기법은 영상에서 대부분의 정보를 포함하는 배경정보를 이용하지 않는다.
또 다른 성공적인 추적 기법은 하나의 프레임으로부터 다른 프레임 내의 매칭 블록을 찾아내는 블록 정합 알고리즘이다. 블록 정합 알고리즘은 하나의 프레임에서 주어진 블록이 참조 프레임의 검색 블록과 일치하는지 여부를 결정하기 위해 정합 규칙을 사용한다. 블록 정합 알고리즘의 주요한 이점은 직접적인 정합 성격이 움직임 추정 절차를 단순화하고, 블록이 쉽게 인자화될 수 없는 객체의 특성을 보존한다는 것이다. 블록 정합 알고리즘은 추정 정확도와 연산 효율성이 보다 개선된 다양한 변형이 존재한다. 한편 블록 정합 알고리즘의 단점은 비정형 형상 및 배경과 유사한 패턴에 대한 낮은 성능이다. 비정형 객체의 비규칙적인 손상은 블록 정합 알고리즘의 정합 정확도를 저하시킨다.
본 발명이 이루고자 하는 기술적 과제는, 비정형 형상 및 배경과 유사한 패턴에 대한 객체 검출 및 추적이 용이한 비정형 객체 추적 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 비정형 형상 및 배경과 유사한 패턴에 대한 객체 검출 및 추적이 용이한 비정형 객체 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 형태와 특징 정보를 이용한 비정형 객체 추적 장치의 바람직한 실시예는, 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신하는 배경 생성부; 상기 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역의 검출 결과로 출력하는 움직임 검출부; 상기 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출하는 형상 제어점 추출부; 및 객체 교합이 발생하지 않으면 상기 추출된 형상 제어점들을 기초로 블록 기반 정합 알고리즘(Block Matching Algorithm : BMA)을 수행하여 객체를 추적하고, 객체 교합이 발생하면 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적하는 객체 추적부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 형태와 특징 정보를 이용한 비정형 객체 추적 방법의 바람직한 실시예는, (a) 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신하는 단계; (b) 상기 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역으로 검출하는 단계; (c) 상기 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출하는 단계; 및 (d) 객체 교합이 발생하지 않으면 상기 추출된 형상 제어점들을 기초로 블록 기반 정합 알고리즘(Block Matching Algorithm : BMA)을 수행하여 객체를 추적하고, 객체 교합이 발생하면 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적하는 단계;를 갖는다.
본 발명에 따른 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법에 의하면, 적응적인 배경 생성과 강하게 결합된 형태와 특징 정보에 기반하여 비정형 객체를 추적함으로써 객체의 순간적인 움직임 또는 특징 변화에 강인하다. 또한 배경과 형태 경계 정보를 결합함으로써 목표 객체와 대응하는 경계상의 특징점을 용이하게 검출할 수 있으므로, 추적 성능이 상당히 개선된다. 나아가 객체의 추적 중에 무게 중심을 비교하고 갱신하여 벗어난 SCP들을 제외함으로써, 검증된 SCP들만으로 추적을 지속할 수 있어 객체와 배경 사이의 일시적 공간 유사성, 객체 변형, 교합 등과 같은 잠재적인 실패 요인으로부터 자유로울 수 있다.
도 1은 본 발명에 따른 결합된 형상과 특징 기반 객체 추적 시스템의 바람직한 실시예의 구성을 도시한 도면,
도 2a는 컴퓨터 그래픽에 의해 표현된 물고기 영상 시퀀스에서 선택된 입력 영상 프레임을 도시한 도면,
도 2b는 도 2a에 도시된 입력 영상 프레임과 배경 영상의 차이에 의해 얻어진 영상을 도시한 도면,
도 2c는 도 2a에 도시된 입력 영상 프레임에서 움직임 검출부(120)에 의해 검출된 움직임 영역(사각형 박스)을 도시한 도면,
도 3a는 도 2c에 도시된 움직임 영역에 대해 형태학적 연산을 수행한 결과를 도시한 도면,
도 3b는 형태적인 결과와 라플라시언 연산의 결과를 결합하여 검출된 객체의 경계 정보를 도시한 도면,
도 4는 영상을 구성하는 각각의 픽셀을 '배경', '객체' 및 '경계'로 분류한 결과를 도시한 도면,
도 5는 객체의 경계 영역 내의 경계 정보(즉, 에지 영역)에서 SCP를 선정하는 과정을 도시한 도면,
도 6a는 객체의 경계 상에서 결정된 SCP들을 도시한 도면,
도 6b는 결정된 SCP들을 입력 영상 프레임에 중첩시킨 영상을 도시한 도면,
도 7a 내지 도 7c는 각각 객체 교합이 발생하지 않은 경우에 BMA, CBMA 및 PBMA에 의해 객체를 추적하는 과정을 도시한 도면,
도 8은 객체 교합의 발생 및 그에 따른 객체 추적 과정을 도시한 도면,
도 9는 본 발명에 따른 객체 추적 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 10은 실험에 사용된 영상을 도시한 도면,
도 11은 배경 영상의 생성과 대응되는 SCP 추출을 사용하여 객체의 움직임 영역을 검출하는 상태를 도시한 도면,
도 12는 14개의 초기 SCP, k=30, 5×5 픽셀 크기의 블록 및 65개의 프레임을 가지고 CBMA를 이용하여 물고기 영상의 추적 결과를 도시한 도면,
도 13은 11개의 초기 SCP, k=30, 5×5 픽셀 크기의 블록 및 65개의 프레임을 가지고 PBMA를 이용하여 물고기 영상의 추적 결과를 도시한 도면,
도 14는 동일한 영상 시퀀스에 대해 프레임의 개수가 증가함에 따라 생성되는 SCP의 개수의 변화, 형태변화에 의한 위치, 그리고 손실된 SCP를 BMA, CBMA 및 PBMA를 수행하여 얻어진 결과를 도시한 도면,
도 15는 기존의 추적 기법과 본 발명을 유사도 측정의 측면에서 비교한 결과를 도시한 도면,
도 16은 본 발명(CBMA와 PBMA)의 추적 결과와 ASM 및 NPT-AFM의 추적 결과를 비교한 도면,
도 17은 객체 교합이 해결된 이후의 SCP 재할당을 도시한 도면, 그리고,
도 18 내지 도 20은 상이한 조건을 가진 입력 영상들에 대한 본 발명의 수행 결과를 도시한 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 결합된 형상과 특징 기반 객체 추적 시스템의 바람직한 실시예의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 실시예는 배경 생성부(110), 움직임 검출부(120), 형상 제어점 추출부(130) 및 객체 추적부(140)를 구비한다.
배경 생성부(110)는 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신한다. 이를 위해 배경 생성부(110)는 영상 시퀀스를 구성하는 영상 프레임 중에서 첫 번째 영상 프레임을 초기 배경 영상으로 설정한다. 그리고 배경 생성부(110)는 다음의 수학식을 이용하여 얻어진 값을 기초로 배경 영상의 갱신 여부를 결정한다. 이러한 갱신 규칙을 적용함으로써 배경 영상의 갱신시 내부 움직임과 광도 변화에 의한 원치않는 효과를 피할 수 있다. 이때 배경 영상의 갱신은 블록 단위(예를 들면, 가로와 세로가 모두 5개의 픽셀로 이루어진 블록)로 이루어지는 것이 바람직하다.
Figure pat00001
여기서, (u,v)는 수평 및 수직 좌표를 나타내고, (mx,my)는 움직임 벡터를 나타내며, (p,q)는 영상 블록의 수평 및 수직 크기를 나타낸다.
만약 SAD 값이 실험적으로 선택된 제1임계치(예를 들면, 0.05)보다 작으면, 배경 생성부(110)는 다음의 수학식에 의해 해당 블록을 갱신한다.
Figure pat00002
여기서, B(t)는 시간 t에서 배경을 나타내고, I(t)는 시간 t에서 입력 영상을 나타내며, σ는 0에서 1까지의 범위에서 실험적으로 설정되는 혼합비를 나타낸다.
한편 제1임계치보다 높은 SAD 값을 갖는 블록(즉, 움직이는 객체를 포함하는 블록)에 대해서는 갱신 과정이 수행되지 않으며, 이때 갱신에서 배제된 블록들에 기인한 블록킹 결함을 보상하기 위해 배경 생성부(110)는 배경 영상에 대해 부가적인 미디언 필터링을 수행한다. 이와 같이 움직이는 객체의 효과가 미디언 필터에 의해 제거되므로, 배경 생성부(110)는 움직이는 영역과 형상의 변화를 높은 정확도로 검출할 수 있는 배경 영상을 유지할 수 있다.
비록 미디언 필터가 잡음과 조명 변화에는 강인하지만, 여전히 배경 변화, 내부 반사 및 움직임 변화 등과 같은 동적인 환경 요인으로 인해 객체를 놓칠 가능성이 존재한다. 이러한 동적 요인들을 제거하기 위해 지속적으로 배경을 갱신할 필요가 있다. 또한 배경의 바람직한 특성은 배경이 일정한 분포를 가져야 한다는 것이다. 이러한 특성에 기초하면 영상 내에서 만의 변화가 일정한 분포에 영향을 주어서는 안된다. 이러한 이유로 인해 W4 알고리즘은 일시적인 미디언 필터를 사용하여 객체와 배경을 분리하며, 결과적으로 조명 변화에 대해 일정한 분포를 제공할 수 있다. 이러한 알고리즘은 또한 미디언 필터를 사용하기 때문에 영상 내에서의 빠른 움직임이나 갑작스런 변화를 제어할 수 있다.
움직임 검출부(120)는 다음의 수학식을 사용하여 객체의 움직임 영역을 검출한다. 배경 생성부(110)에 의해 적절한 배경 영상이 생성되면, 객체의 움직임 영역은 생성된 배경 영상과 현재의 입력 영상 프레임을 비교하여 용이하게 검출된다. 다음의 수학식에서 초기 배경 영상 B(O)는 영상 시퀀스의 첫 번째 프레임이다.
Figure pat00003
여기서, D(t)는 배경 영상과 입력 영상 프레임 사이의 차이의 존재를 나타낸다.
수학식 3에서 주어지는 바와 같이, D(t)가 1이면 대응되는 영역은 움직임 영역으로 정의되고, D(t)가 1이면 대응되는 영역은 배경으로 정의된다.
움직임 검출부(120)는 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형(예를 들면, 좌상 좌표와 우하 좌표로 표현되는 사각형)을 움직임 영역의 검출 결과로 출력한다. 도 2a에는 각각 컴퓨터 그래픽에 의해 표현된 물고기 영상 시퀀스에서 선택된 입력 영상 프레임이 도시되어 있고, 도 2b에는 도 2a에 도시된 입력 영상 프레임과 배경 영상의 차이에 의해 얻어진 영상이 도시되어 있으며, 도 2c에는 도 2a에 도시된 입력 영상 프레임에서 움직임 검출부(120)에 의해 검출된 움직임 영역(사각형 박스)이 도시되어 있다.
형상 제어점 추출부(130)는 움직임 검출부(120)에 의해 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출한다. 형상, 특징, 움직임 및 다른 가능한 정보들을 모두 사용하면, 영상 추적 시스템에서의 연상량이 상당히 증가하므로 실시간 추적이 어렵게 된다. 본 발명에서는 객체의 형상을 검출하기 위해 단지 경계 정보로부터 추출된 SCP들만을 사용한다. 그리고 본 발명에서는 형태적인 연산과 에지 검출에 의해 정의된 이진 데이터를 사용하여 객체의 움직임 영역을 표현하며, 이차 미분법을 사용하여 객체의 경계를 추정한다.
형상 제어점 추출(130)는 수평 방향과 수직 방향 모두에 대해 2차 미분을 적용하여 객체의 경계 정보를 계산한다. 형태적인 연산과 함께 미분 정보는 간단하고 효율적인 에지 추출을 가능하게 한다. 이러한 기법은 배경 차이 영상에 의해 생성된 에러를 감소하기 위한 배경과 객체의 색상 조합과 유사하다. 그리고 형상 제어점 추출부(130)는 이전 영상과 현재 영상 사이의 차이 영상으로부터 얻어진 이진 영상에 대해 형태적 연산을 적용한 후 형태적 연산 결과와 라플라시언 연산 결과를 결합하여 객체의 경계를 확정짓는다. 도 3a에는 도 2c에 도시된 움직임 영역에 대해 형태학적 연산을 수행한 결과가 도시되어 있고, 도 3b에는 형태적인 결과와 라플라시언 연산의 결과를 결합하여 검출된 객체의 경계 정보가 도시되어 있다.
이와 같이 본 발명에서는 움직이는 객체 영역을 검출한 후에 형태적인 에지 연산을 사용하여 객체의 경계를 계산한다. 경계 정보는 SCP들과 SCP들의 후보들을 분류하여 배경으로부터 객체를 구분시킨다. 이때 SCP들은 객체 형상을 추적하기 위해 사용되는 반면, 후보 SCP들은 손상이나 교합이 발생할 때 SCP들을 갱신하기 위해 사용된다. 그리고 블록 정합 기법은 변형될 수 있는 객체를 추적하기 위해서 사용될 뿐만 아니라 배경 생성을 위해 사용된다. 만약 교합이 발생하면, 현재의 SCP들은 움직임 영역의 크기와 SCP들의 개수를 기초로 적절한 후보 SCP들로 대체된다.
도 3b에 도시된 바와 같은 객체의 경계 정보는 SCP들을 정의하기 위해 사용된다. 특징 기반 추적 기법은 객체의 잘못된 특정으로 인해 종종 객체 검출 및 추적에 실패하기 때문에 경계 정보를 저장하여 객체의 특징을 분류할 필요가 있다. 도 4에는 영상을 구성하는 각각의 픽셀을 '배경', '객체' 및 '경계'로 분류한 결과가 도시되어 있다.
SCP들은 움직임 영역으로부터 얻어진 객체의 경계 정보로부터 얻어진다. 의사 에지들은 경험적으로 선택된 임계치를 사용하여 제거된다. 이때 전체 영상을 정합하는 것은 연산 효율의 관점에서 비현실적이므로, 객체를 포함하는 영역 R을 다음의 수학식과 같이 정의한다.
Figure pat00004
여기서, (x1,y1) 및 (x2,y2)는 각각 수평 투영 및 수직 투영의 최소와 최대 좌표를 의미한다.
수학식 4에 따르면, R은 객체를 포함하는 최소의 사각형을 나타내고, 객체의 경계 정보는 다음의 수학식으로 표현되는 라플라시언 연산에 의해 검출된다.
Figure pat00005
이때 가시적인 경계 에지점들만 SCP로 정의되며, 특히, i번째 SCP인 Ai는 다음의 수학식으로 표현되는 최소 사각형 R(x,y)에서의 대응되는 좌표를 나타낸다.
Figure pat00006
여기서, z는 에지 좌표의 전체 개수를 나타낸다.
그리고 SCP들은 다음의 수학식으로 표현된다.
Figure pat00007
여기서, k는 여분 SCP들을 건너뛰기 위한 간격이다.
도 5는 객체의 경계 영역 내의 경계 정보(즉, 에지 영역)에서 SCP를 선정하는 과정을 도시한 도면이다. 도 5를 참조하면, 5×5 픽셀 크기의 블록들로 이루어진 객체의 경계 영역(좌측의 큰 사각형) 내에서 SCP를 선택할 블록(우측의 작은 사각형)의 중심에 위치한 픽셀이 SCP로 선정된다. 그리고 나머지 픽셀들은 배경과 객체 내부로 구분된다. 형상 제어점 추출(130)는 이상의 과정을 통해 선택된 SCP들의 집합을 최종적으로 일차원 어레이에 저장한다. 도 6a에는 객체의 경계 상에서 결정된 SCP들이 도시되어 있고, 도 6b에는 결정된 SCP들을 입력 영상 프레임에 중첩시킨 영상이 도시되어 있다.
객체 추적부(140)는 객체 교합(occlusion)의 발생여부에 따라 상이한 기법을 사용하여 객체를 추적한다. 만약 객체 교합이 발생하지 않으면, 객체 추적부(140)는 결정된 SCP를 기초로 BMA에 의해 객체를 추적한다. 그러나 BMA를 사용한 결과는 객체와 배경 사이의 유사성, 객체의 변형, 교합, 조명 변화 등에 쉽게 영향을 받을 수 있다. 따라서 객체 교합이 발생하면 객체 추적부(140)는 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적한다. CBMA를 적용할 경우에 객체 추적부(140)는 SCP들 사이의 거리를 계산하여 각각의 SCP의 상대적인 위치를 보존한다. 그리고 에러의 가능한 범위 내에서 SCP들을 유지하며, 그렇지 않을 경우에는 새로운 SCP들로 대체한다. 이와 달리 PBMA를 적용할 경우에 객체 추적부(140)는 움직임이 없는 영역에서 SCP들을 추출한다. 이때 객체 추적부(140)는 두 개의 연속적인 입력 프레임들 사이의 대응하는 SCP 쌍을 비교하여 손실되거나 진동하는 SCP들을 갱신하고, 움직임 영역의 외부에 존재하는 SCP들을 제거한 후 남아있는 SCP들만을 이용하여 추적을 수행한다. 도 7a 내지 도 7c에는 각각 객체 교합이 발생하지 않은 경우에 BMA, CBMA 및 PBMA에 의해 객체를 추적하는 과정이 도시되어 있다.
한편 객체가 변형되거나 교합이 발생하면 SCP들은 객체의 정확한 위치를 제공할 수 없으며, 이 경우에 후보 SCP들이 사용된다. 비록 BMA에 대한 우선적인 가정은 원본과 비교되는 블록들은 매우 큰 상관성을 갖는다는 것이지만, 이러한 가정이 현실 응용에서 언제나 올바르지는 않다. 이하에서는 객체 교합이 발생한 경우에 객체 추적부(140)가 CBMA에 의해 객체를 추적하는 과정에 대해 상세하게 설명한다.
본 발명에 따른 객체 추적 시스템에서 객체는 SCP들의 그룹으로 정의된다. 객체 교합의 존재는 중첩되는 그룹들의 비율을 점검함으로써 용이하게 검출된다. 만약 영역의 25 % 이상이 중첩되면, 객체는 교합이 발생한 것으로 판단한다. 이를 객체 추적부(140)는 먼저 추출된 객체의 움직임 영역 각각에 대해 식별자를 할당한다. 그리고 객체 추적부(140)는 각각의 움직임 영역에 SCP를 할당하고 그 정보를 저장한다. 다음으로 객체 추적부(140)는 움직임 영역의 크기와 영역 내의 SCP의 개수를 이용하여 객체 교합의 발생 여부를 검출한다. 이때 두 영역의 비가 사전에 설정된 임계치(예를 들면, 25 %) 미만이면, 교합이 발생하지 않은 것으로 결정그리고 객체 교합이 발생한 것으로 판단되면, 객체 추적부(140)는 CBMA를 사용하여 객체를 추적한다. 도 8에는 객체 교합의 발생 및 그에 따른 객체 추적 과정이 도시되어 있다.
도 9는 본 발명에 따른 객체 추적 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 9를 참조하면, 배경 생성부(110)는 영상 시퀀스를 구성하는 영상 프레임 중에서 첫 번째 영상 프레임을 초기 배경 영상으로 설정하고, 연속적으로 입력되는 영상 프레임과 기 설정된 배경 영상을 기초로 수학식 1에 의해 SAD 값을 산출한다(S900). 다음으로 배경 생성부(110)는 산출된 SAD 값을 제1임계치와 비교한다(S905). 만약 SAD 값이 제1임계치보다 작으면, 배경 생성부(110)는 수학식 2에 의해 해당 블록을 갱신한다(S910). 이와 달리 SAD 값이 제1임계치보다 크면, 배경 생성부(110)는 해당 블록을 갱신 대상 블록에서 제거하고, 나머지 블록들에 대해 미디언 필터링을 수행한다(S915). 이와 같은 과정에 의해 배경 생성부(110)는 매 영상 프레임의 입력시 또는 사전에 설정된 간격(예를 들면, 5초, 10프레임 간격 등)으로 배경 영상의 갱신을 수행한다.
다음으로 움직임 검출부(120)는 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역의 검출 결과로 출력한다(S920). 다음으로 형상 제어점 추출부(130)는 형태적인 연산을 통해 입력 영상 프레임 내에 복수 개의 객체 영역이 존재하는지 확인한다(S925). 만약 복수 개의 객체 영역이 존재하면, 형상 제어점 추출부(130)는 각각의 객체 영역을 그룹핑한다(S930). 다음으로 형상 제어점 추출부(130)는 각각의 객체 영역들에 대해 라플라시언 연산을 수행하여 에지 정보를 추출한다(S935). 다음으로 형상 제어점 추출부(130)는 수학식 7에 의해 에지를 구성하는 픽셀 중에서 SCP들을 추출한 후 일차원 어레이에 저장한다(S940).
다음으로 객체 추적부(140)는 객체의 교합이 발생했는지 여부를 확인한다(S945). 만약 객체 교합이 발생하지 않으면, 객체 추적부(140)는 결정된 SCP를 기초로 BMA에 의해 객체를 추적한다(S950). 이와 달리 객체 교합이 발생하면 객체 추적부(140)는 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적한다(S955). S950단계 또는 S955단계를 수행하여 객체를 추적할 때 객체 추적부(140)는 SCP를 갱신한다.
상술한 바와 같은 본 발명의 가장 큰 이점은 움직이는 객체를 검출하고 추적함에 있어서 배경의 사용과 형상의 외곽선으로부터 기인한 높은 신뢰성이다. 블록 정합에 의해 추정된 객체 영역은 배경 정보만을 갖는 많은 수의 객체가 없는 블록을 포함한다. 한편 형상의 외곽선을 사용함으로써 객체를 포함하는 블록을 선택하고 특징점들을 형상의 외곽선에 위치시켜 이와 같은 문제를 완화시킨다. 또한 본 발명은 이후 설명될 측정값을 하는 사용하는 주어진 블록 영역 내에서 잘못 배치된 특징점들을 효율적으로 제거할 수 있다. 본 발명은 또한 선택된 특징점들로부터 객체 추적에 있어서 중요한 역할을 하는 SCP들로 불리우는 특징점들을 선택할 수 있다.
이하에서 형상 변형, 교합, 조명 변화 및 크기 변화의 경우에 대해 본 발명에 따른 객체 추적 시스템의 성능 평가결과 및 기존의 차이 기반 및 정량적 측면에서 능동적 형상 모델 기반 알고리즘과의 비교결과에 대해 설명한다. 테스트 영상 시퀀스는 (i) 컴퓨터 그래픽으로 생성한 물고기 영상 시퀀스, (ii) PETS 2002 영상 시퀀스, (iii) 실내 영상 시퀀스 및 (iv) 실외 영상 시퀀스이다. 모든 테스트 영상 시퀀스는 320×240의 동일한 해상도를 갖는다. 실험에서는 시뮬레이션의 속도를 높이기 위해 그레이 스케일의 영상만을 사용하였다. 그리고 실내 영상 시퀀스를 얻기 위해 3색 CCD 컬러 비디오 카메라를 사용하였다. 물고기 영상 시퀀스는 객체와 배경 모두에 있어서 유사한 강도 분포를 가지는 반면에, 물고기의 형태는 지속적으로 변한다. PETS 영상 시퀀스는 유리창에 내부 반사되고 객체의 크기가 변한다. 실내 영상 시퀀스는 외부 조명과 상당한 양의 잡음을 가지며, 실외 영상 시퀀스는 교합되는 다중 객체를 가진다. 도 10에는 실험 영상이 도시되어 있다.
도 10의 (a)는 컴퓨터 그래픽으로 생성한 물고기 영상으로 객체와 배경의 구조가 유사하고 객체의 변하는 블록 정합에 대한 최악의 조건을 가지고 있다. 기존의 블록 정합 기반의 기법들은 이와 같은 영상 시퀀스에서 형태가 변하는 물고기를 추적하는데 실패하는 반면에 본 발명은 신뢰성있는 추적 결과를 제공한다. 도 11은 배경 영상의 생성과 대응되는 SCP 추출을 사용하여 객체의 움직임 영역을 검출하는 상태를 도시한 도면이다. 도 11의 (b)와 (c)를 참조하면, 비록 입력 영상에는 의미있는 정도의 잡음이 존재하지 않지만 초기에 검출된 객체는 생성된 배경과 입력 영상 사이의 차감을 수행하는 동안에 증폭된 잡음을 포함한다. 본 발명에서 이러한 잡음 효과는 일련의 형태적 처리, 분류 및 SCP 정합과 갱신을 사용하여 제거된다.
도 12는 14개의 초기 SCP, k=30, 5×5 픽셀 크기의 블록 및 65개의 프레임을 가지고 CBMA를 이용하여 물고기 영상의 추적 결과를 도시한 도면이다. 물고기 형태에 있어서의 대부분의 변화들은 특히 꼬리 부분에서 발생한다. 본 발명은 정적인 영역에서는 동일한 SCP를 유지하는 반면에 동적인 꼬리 부분에서 SCP들의 개수를 증가시킨다. 블록 정합 기법은 형태의 변화에 대해 약점을 가지고 있으나, 본 발명에서 제안된 SCP를 사용함으로써 일정 정도 해결될 수 있다. 또한 대부분의 블록 정합 기법들에서 강도 영향을 고려하지 않는다. 도 12에 도시된 배경에서 SCP의 결과는 위치를 벗어나 있다. 따라서 강도에 있어서 그래디언트 검색을 이용할 수 있다. 게다가 전체적인 CSP의 사용을 개선하기 위해 본 발명은 추적의 형태로 부가적인 정보와 도 12에 도시된 바와 같은 그래디언트 검색 기법을 통합하였다.
도 13은 11개의 초기 SCP, k=30, 5×5 픽셀 크기의 블록 및 65개의 프레임을 가지고 PBMA를 이용하여 물고기 영상의 추적 결과를 도시한 도면이다. PBMA는 5개의 프레임마다 SCP를 갱신한다. CBMA는 SCP를 재계산하여 기존의 SCP를 대체한다. 도 14에는 동일한 영상 시퀀스에 대해 프레임의 개수가 증가함에 따라 생성되는 SCP의 개수의 변화, 형태변화에 의한 위치, 그리고 손실된 SCP를 BMA, CBMA 및 PBMA를 수행하여 얻어진 결과가 도시되어 있다.
아울러 본 발명의 추적 성능을 프레임 차이 기반 기법 및 ASM 기반 기법과 비교를 수행하였다. 참조 객체의 위치는 실험자가 직접 특정한 객체의 경계 내의 모든 픽셀들의 중심에 의해 표현된다. 추적의 정확도는 다음의 수학식으로 표현되는 두 개의 점 (x,y)와 (x'.y') 사이의 유클리디안 거리(유사도)에 의해 측정되었다.
Figure pat00008
여기서,
Figure pat00009
이고, (xi,yi)(단, i=0,1,…,N-1)는 사용자가 직접 설정한 특정한 객체 경계 내의 픽셀들을 나타내고, (x'j,y'j)(단, j=0,1,…,S-1)는 비교되는 추적 기법에 의해 얻어진 SCP의 집합이다.
만약 ρ가 충분히 작으면 추적 알고리즘은 정확하다고 간주할 수 있다. 도 15는 기존의 추적 기법과 본 발명을 유사도 측정의 측면에서 비교한 결과를 도시한 도면이다. 도 15를 참조하면, ASM 기반의 추적 기법을 제외한 모든 기법들은 참조 중심과 합치하는 거의 동일한 중심점을 제공한다. 프레임의 개수가 증가함에 따라 CBMA는 유사도가 지속적으로 증가하는 반면에 ASM과 NPT-AFM은 악화된다. 단순한 차이 기반 기법은 초기의 프레임들에 대해서는 양호한 성능을 보이지만, 본 발명은 유사도가 지속적으로 증가함에 주목할 필요가 있다. 또한 ASM과 NPT-AFM은 모두 초기 훈련 형태와 경계 잡음에 매우 민감하다.
도 16은 본 발명(CBMA와 PBMA)의 추적 결과와 ASM 및 NPT-AFM의 추적 결과를 비교한 도면이다. ASM 기반의 추적의 경우에 초기 프레임에서 초기화의 부족은 열악한 수렴을 낳게되고 모델 정합 단계에서 에러를 증가시킨다. 이러한 문제는 높은 특징 검출과 정합 정확도를 가진 NPT-AFM 기반 방법을 사용하여 극복될 수 있다. 그러나 NPT-AFM의 효율은 오로지 경계 근처의 객체 형상으로부터의 특징점 이탈을 낳을 수 있는 분할 절차에 의존한다. 상술한 바와 같은 단점들 모두 본 발명에 의해 극복될 수 있다. 도 16의 첫 번째 열은 원본 영상 시퀀스이고, 두 번째 열은 그레이 스케일로 얻어진 40개의 검출된 점들을 가지고 ASM을 사용한 추적 결과이다. 또한 도 16의 세 번째 열은 YCrCb 영상 포맷의 Y채널에서 NPT-AFM 알고리즘의 결과이며, 네 번째 열은 그레이 스케일로 얻어진 본 발명에 따른 CBMA와 PBMA에 의한 결과이다. 도 16에서 알 수 있듯이, 비록 NPT-AFM은 머리 영역에서 제어점들을 정확하게 추적하지만, 꼬리 영역의 오목한 형태는 NPT-AFM의 가정을 만족하지 않기 때문에 꼬리 영역에서의 추적은 실패한다. 다른 한편 본 발명은 모든 제어점들을 균등하게 추적한다. 결론적으로 본 발명이 안정성, 강인성, 사용되는 제어점의 개수 면에서 다른 기법들에 대해 우수한 성능을 보임을 알 수 있다.
한편 객체 교합의 존재는 움직임 영역의 크기와 객체에서의 SCP 개수를 평가하여 결정될 수 있다. 일단 객체 교합이 발생하면, SCP들은 재할당된다. CBMA 기법은 교합된 객체를 추적하기 위해 사용된다. 도 17은 객체 교합이 해결된 이후의 SCP 재할당을 도시한 도면이다. SCP들은 추적되지 않은 객체들의 부분적인 교합들을 낳는다. 이러한 문제를 해결하기 위해 CBMA 기법이 이전과 현재 프레임들을 비교하기 위해 사용되고, 다음으로 후보 SCP가 계산된다. 적절한 SCP들을 선택하는 과정은 수학식 7의 k 파라미터의 값에 의해 결정된다. 손실되거나 잘못 배치된 SCP들은 후보 SCP들로 대체된다. 따라서 SCP의 개수는 변하지 않고 유지된다.
도 18 내지 도 20은 상이한 조건을 가진 입력 영상들에 대한 본 발명의 수행 결과를 도시한 도면이다. 도 18은 변화하는 조명 반사가 없는 결과이다. 한편 도 19와 도 20은 각각 변화하는 반사와 조명이 있는 결과이다. 도 18 내지 도 20에 도시된 결과에 따르면, 본 발명은 반사와 조명 변화와 같은 다양한 조건에서도 강인하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (20)

  1. 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신하는 배경 생성부;
    상기 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역의 검출 결과로 출력하는 움직임 검출부;
    상기 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출하는 형상 제어점 추출부; 및
    객체 교합이 발생하지 않으면 상기 추출된 형상 제어점들을 기초로 블록 기반 정합 알고리즘(Block Matching Algorithm : BMA)을 수행하여 객체를 추적하고, 객체 교합이 발생하면 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적하는 객체 추적부;를 포함하는 것을 특징으로 하는 객체 추적 장치.
  2. 제 1항에 있어서,
    상기 배경 생성부는 다음의 수학식 1을 이용하여 얻어진 값이 사전에 설정된 제1임계치보다 작으면, 다음의 수학식 2를 이용하여 상기 배경 영상을 갱신하는 것을 특징으로 하는 객체 추적 장치:
    [수학식 1]
    Figure pat00010

    여기서, (u,v)는 수평 및 수직 좌표를 나타내고, (mx,my)는 움직임 벡터를 나타내며, (p,q)는 영상 블록의 수평 및 수직 크기를 나타내고,
    [수학식 2]
    Figure pat00011

    여기서, B(t)는 시간 t에서 배경을 나타내고, I(t)는 시간 t에서 입력 영상을 나타내며, σ는 0에서 1까지의 범위에서 실험적으로 설정되는 혼합비를 나타낸다.
  3. 제 2항에 있어서,
    상기 배경 생성부는 상기 수학식 1을 이용하여 얻어진 값이 상기 제1임계치보다 큰 영상 블록에 대해서는 배경 갱신 과정을 수행하지 않고 갱신에서 배제된 블록들에 기인한 블록킹 결함을 보상하기 위해 상기 배경 영상에 대해 부가적인 미디언 필터링을 수행하는 것을 특징으로 하는 객체 추적 장치.
  4. 제 2항에 있어서,
    상기 배경 생성부는 영상 시퀀스를 구성하는 영상 프레임 중에서 첫 번째 영상 프레임을 초기 배경 영상으로 설정하는 것을 특징으로 하는 객체 추적 장치.
  5. 제 1항 또는 제 2항에 있어서,
    상기 움직임 검출부는 다음의 수학식을 사용하여 객체의 움직임 영역을 검출하는 것을 특징으로 하는 객체 추적 장치:
    [수학식 3]
    Figure pat00012

    여기서, D(t)는 배경 영상과 입력 영상 프레임 사이의 차이의 존재이고, 초기 배경 영상 B(O)는 영상 시퀀스의 첫 번째 프레임이다.
  6. 제 1항 또는 제 2항에 있어서,
    상기 형상 제어점 추출부는 상기 검출된 움직임 영역의 수평 방향과 수직 방향 모두에 대해 2차 미분을 적용하여 객체의 경계 정보를 계산하고, 이전 영상과 현재 영상 사이의 차이 영상으로부터 얻어진 이진 영상에 대해 형태적 연산을 적용한 후 형태적 연산 결과와 라플라시언 연산 결과를 결합하여 객체의 경계를 확정짓는 것을 특징으로 하는 객체 추적 장치.
  7. 제 1항 또는 제 2항에 있어서,
    상기 형상 제어점 추출부는 사전에 설정된 크기의 블록들로 이루어진 객체의 경계 영역 내에서 상기 형상 제어점을 선택할 블록의 중심에 위치한 픽셀을 형상 제어점으로 선정하는 것을 특징으로 하는 객체 추적 장치.
  8. 제 1항 또는 제 2항에 있어서,
    상기 객체 추적부 상기 CBMA를 적용하여 객체를 추적할 경우에, 상기 형상 제어점들 사이의 거리를 계산하여 각각의 형상 제어점들의 상대적인 위치를 보존하고, 사전에 설정된 에러 범위를 초과하는 형상 제어점들을 새로운 형상 제어점들로 대체하는 것을 특징으로 하는 객체 추적 장치.
  9. 제 1항 또는 제 2항에 있어서,
    상기 객체 추적부는 상기 PBMA를 적용하여 객체를 추적할 경우에, 움직임이 없는 영역에서 상기 형상 제어점들을 추출하고, 두 개의 연속적인 입력 프레임들 사이의 대응하는 상기 추출된 형상 제어점 쌍을 비교하여 손실되거나 진동하는 형상 제어점들을 갱신하며, 움직임 영역의 외부에 존재하는 형상 제어점들을 제거한 후 남아있는 형상 제어점들만을 이용하여 객체 추적을 수행하는 것을 특징으로 하는 객체 추적 장치.
  10. 제 1항 또는 제 2항에 있어서,
    상기 객체 추적부는 상기 검출된 객체 영역들이 사전에 설정된 제2임계치 이상의 영역이 중첩되면 객체 교합이 발생한 것으로 판단하는 것을 특징으로 하는 객체 추적 장치.
  11. (a) 연속적으로 입력되는 영상 프레임을 기초로 배경 영상을 생성하고, 영상 프레임들로부터 검출된 객체의 움직임 여부에 따라 배경 영상을 갱신하는 단계;
    (b) 상기 배경 영상과 입력 영상 프레임 사이에 차이가 존재하는 블록들을 모두 포함하는 사각형을 움직임 영역으로 검출하는 단계;
    (c) 상기 검출된 움직임 영역으로부터 형상 제어점(Shape Control Point : SCP)을 추출하는 단계; 및
    (d) 객체 교합이 발생하지 않으면 상기 추출된 형상 제어점들을 기초로 블록 기반 정합 알고리즘(Block Matching Algorithm : BMA)을 수행하여 객체를 추적하고, 객체 교합이 발생하면 무게 중심에 기반한 블록 정합 알고리즘(Center-of-gravity-based Block Matching Algorithm : CBMA)과 주기적 갱신 기반 블록 정합 알고리즘(Periodic-update-based Block Matching Algorithm : PBMA) 중에서 하나의 알고리즘에 의해 객체를 추적하는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
  12. 제 11항에 있어서,
    상기 (a)단계에서, 다음의 수학식 1을 이용하여 얻어진 값이 사전에 설정된 제1임계치보다 작으면, 다음의 수학식 2를 이용하여 상기 배경 영상을 갱신하는 것을 특징으로 하는 객체 추적 방법:
    [수학식 1]
    Figure pat00013

    여기서, (u,v)는 수평 및 수직 좌표를 나타내고, (mx,my)는 움직임 벡터를 나타내며, (p,q)는 영상 블록의 수평 및 수직 크기를 나타내고,
    [수학식 2]
    Figure pat00014

    여기서, B(t)는 시간 t에서 배경을 나타내고, I(t)는 시간 t에서 입력 영상을 나타내며, σ는 0에서 1까지의 범위에서 실험적으로 설정되는 혼합비를 나타낸다.
  13. 제 12항에 있어서,
    상기 (a)단계에서, 상기 수학식 1을 이용하여 얻어진 값이 상기 제1임계치보다 큰 영상 블록에 대해서는 배경 갱신 과정을 수행하지 않고 갱신에서 배제된 블록들에 기인한 블록킹 결함을 보상하기 위해 상기 배경 영상에 대해 부가적인 미디언 필터링을 수행하는 것을 특징으로 하는 객체 추적 방법.
  14. 제 11항 또는 제 12항에 있어서,
    상기 (b)단계에서, 다음의 수학식을 사용하여 객체의 움직임 영역을 검출하는 것을 특징으로 하는 객체 추적 방법:
    [수학식 3]
    Figure pat00015

    여기서, D(t)는 배경 영상과 입력 영상 프레임 사이의 차이의 존재이고, 초기 배경 영상 B(O)는 영상 시퀀스의 첫 번째 프레임이다.
  15. 제 11항 또는 제 12항에 있어서,
    상기 (c)단계에서, 상기 검출된 움직임 영역의 수평 방향과 수직 방향 모두에 대해 2차 미분을 적용하여 객체의 경계 정보를 계산하고, 이전 영상과 현재 영상 사이의 차이 영상으로부터 얻어진 이진 영상에 대해 형태적 연산을 적용한 후 형태적 연산 결과와 라플라시언 연산 결과를 결합하여 객체의 경계를 확정짓는 것을 특징으로 하는 객체 추적 방법.
  16. 제 11항 또는 제 12항에 있어서,
    상기 (c)단계에서, 사전에 설정된 크기의 블록들로 이루어진 객체의 경계 영역 내에서 상기 형상 제어점을 선택할 블록의 중심에 위치한 픽셀을 형상 제어점으로 선정하는 것을 특징으로 하는 객체 추적 방법.
  17. 제 11항 또는 제 12항에 있어서,
    상기 (d)단계에서, 상기 CBMA를 적용하여 객체를 추적할 경우에, 상기 형상 제어점들 사이의 거리를 계산하여 각각의 형상 제어점들의 상대적인 위치를 보존하고, 사전에 설정된 에러 범위를 초과하는 형상 제어점들을 새로운 형상 제어점들로 대체하는 것을 특징으로 하는 객체 추적 방법.
  18. 제 11항 또는 제 12항에 있어서,
    상기 (d)단계에서, 상기 PBMA를 적용하여 객체를 추적할 경우에, 움직임이 없는 영역에서 상기 형상 제어점들을 추출하고, 두 개의 연속적인 입력 프레임들 사이의 대응하는 상기 추출된 형상 제어점 쌍을 비교하여 손실되거나 진동하는 형상 제어점들을 갱신하며, 움직임 영역의 외부에 존재하는 형상 제어점들을 제거한 후 남아있는 형상 제어점들만을 이용하여 객체 추적을 수행하는 것을 특징으로 하는 객체 추적 방법.
  19. 제 11항 또는 제 12항에 있어서,
    상기 (d)단계에서, 상기 검출된 객체 영역들이 사전에 설정된 제2임계치 이상의 영역이 중첩되면 객체 교합이 발생한 것으로 판단하는 것을 특징으로 하는 객체 추적 방법.
  20. 제 11항 또는 제 12항에 기재된 객체 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100048029A 2010-05-24 2010-05-24 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법 KR101130963B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100048029A KR101130963B1 (ko) 2010-05-24 2010-05-24 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
PCT/KR2010/004928 WO2011149145A1 (ko) 2010-05-24 2010-07-24 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100048029A KR101130963B1 (ko) 2010-05-24 2010-05-24 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110128529A true KR20110128529A (ko) 2011-11-30
KR101130963B1 KR101130963B1 (ko) 2012-04-04

Family

ID=45004120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100048029A KR101130963B1 (ko) 2010-05-24 2010-05-24 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101130963B1 (ko)
WO (1) WO2011149145A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101220194B1 (ko) * 2012-06-29 2013-01-10 한국과학기술원 밝기 대소를 이용하여 표적을 추적하기 위한 장치
KR101220195B1 (ko) * 2012-06-29 2013-01-10 한국과학기술원 밝기 대소를 이용하여 표적을 추적하기 위한 방법
KR20140115784A (ko) * 2013-03-22 2014-10-01 한국전자통신연구원 영상 정합 장치 및 그것의 동작 방법
EP3336804A4 (en) * 2016-08-19 2019-04-17 Soochow University METHOD AND SYSTEM FOR DETECTING A MOBILE TARGET
WO2019225808A1 (ko) * 2018-05-25 2019-11-28 삼성전자 주식회사 복수 개의 영상을 처리하는 방법 및 전자 장치
KR20200114604A (ko) * 2019-03-29 2020-10-07 주식회사 한글과컴퓨터 전자 문서에 삽입된 개체의 병합을 통해 요약 이미지의 생성이 가능한 전자 장치 및 그 동작 방법
KR20210014774A (ko) * 2013-06-14 2021-02-09 퀄컴 인코포레이티드 트랙커 보조 이미지 캡쳐

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3055997A1 (fr) * 2016-09-13 2018-03-16 Alexandre Delattre Systeme pour la determination d'au moins une caracteristique relative au contour d'un sujet contenu dans au moins une image numerique
KR102107957B1 (ko) 2020-01-06 2020-05-07 주식회사 투윈스컴 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054784A (ko) * 2000-06-23 2000-09-05 이성환 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
KR100777199B1 (ko) 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR20090093119A (ko) * 2008-02-28 2009-09-02 홍익대학교 산학협력단 움직이는 객체 추적을 위한 다중 정보의 융합 방법
KR20090093710A (ko) * 2008-02-29 2009-09-02 홍익대학교 산학협력단 적응적 3 프레임 차분 방법 기반 템플릿 생성

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101220194B1 (ko) * 2012-06-29 2013-01-10 한국과학기술원 밝기 대소를 이용하여 표적을 추적하기 위한 장치
KR101220195B1 (ko) * 2012-06-29 2013-01-10 한국과학기술원 밝기 대소를 이용하여 표적을 추적하기 위한 방법
KR20140115784A (ko) * 2013-03-22 2014-10-01 한국전자통신연구원 영상 정합 장치 및 그것의 동작 방법
KR20210014774A (ko) * 2013-06-14 2021-02-09 퀄컴 인코포레이티드 트랙커 보조 이미지 캡쳐
US11538232B2 (en) 2013-06-14 2022-12-27 Qualcomm Incorporated Tracker assisted image capture
EP3336804A4 (en) * 2016-08-19 2019-04-17 Soochow University METHOD AND SYSTEM FOR DETECTING A MOBILE TARGET
US10410361B2 (en) 2016-08-19 2019-09-10 Soochow University Moving object detection method and system
WO2019225808A1 (ko) * 2018-05-25 2019-11-28 삼성전자 주식회사 복수 개의 영상을 처리하는 방법 및 전자 장치
KR20200114604A (ko) * 2019-03-29 2020-10-07 주식회사 한글과컴퓨터 전자 문서에 삽입된 개체의 병합을 통해 요약 이미지의 생성이 가능한 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
WO2011149145A1 (ko) 2011-12-01
KR101130963B1 (ko) 2012-04-04

Similar Documents

Publication Publication Date Title
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
CN108470354B (zh) 视频目标跟踪方法、装置和实现装置
US10318813B1 (en) Digital video fingerprinting using motion segmentation
EP2548174B1 (en) Method and apparatus for trajectory estimation, and method for segmentation
US7783118B2 (en) Method and apparatus for determining motion in images
JP4668921B2 (ja) 画像中のオブジェクト検出
Noh et al. A new framework for background subtraction using multiple cues
US11704888B2 (en) Product onboarding machine
Venkatesh et al. Efficient object-based video inpainting
CN106778712B (zh) 一种多目标检测与跟踪方法
US9672634B2 (en) System and a method for tracking objects
Kim et al. Combined shape and feature-based video analysis and its application to non-rigid object tracking
Safaei et al. Real-time search-free multiple license plate recognition via likelihood estimation of saliency
Allaert et al. Consistent optical flow maps for full and micro facial expression recognition
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
Zhao et al. APPOS: An adaptive partial occlusion segmentation method for multiple vehicles tracking
KR101827113B1 (ko) 축사 근접 개체 탐지 장치 및 방법
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Dai et al. Robust and accurate moving shadow detection based on multiple features fusion
Lee et al. Multisensor fusion-based object detection and tracking using active shape model
JP2004013615A (ja) 移動物体監視装置
JP2009076094A (ja) 移動物体監視装置
phadke Robust multiple target tracking under occlusion using Fragmented Mean Shift and Kalman Filter
KR20230013842A (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 8