KR20110111106A - 객체추적 및 로이터링 장치 및 방법 - Google Patents

객체추적 및 로이터링 장치 및 방법 Download PDF

Info

Publication number
KR20110111106A
KR20110111106A KR1020100030505A KR20100030505A KR20110111106A KR 20110111106 A KR20110111106 A KR 20110111106A KR 1020100030505 A KR1020100030505 A KR 1020100030505A KR 20100030505 A KR20100030505 A KR 20100030505A KR 20110111106 A KR20110111106 A KR 20110111106A
Authority
KR
South Korea
Prior art keywords
input image
fractal
information
transformation
frequency
Prior art date
Application number
KR1020100030505A
Other languages
English (en)
Inventor
이재훈
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020100030505A priority Critical patent/KR20110111106A/ko
Priority to US12/871,256 priority patent/US20110243378A1/en
Priority to CN2010105521350A priority patent/CN102215397A/zh
Publication of KR20110111106A publication Critical patent/KR20110111106A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본원 발명의 바람직한 일 실시예에서는 입력영상을 웨이블릿 변환하여 얻은 주파수 정보와 프렉탈어파인변환의 Fractal Affine Coefficient의 정보를 이용하여 움직임 벡터의 기능을 수행한다. 또한, Fractal Affine Coefficient의 정보를 이용함으로써 자동 객체 추적 및 로이터링이 가능하다.

Description

객체추적 및 로이터링 장치 및 방법{Method and Apparatus for object tracking and loitering}
본 발명은 비디오 감시 시스템에 관한 것이다. 보다 상세히, 객체 추적 및 로이터링 방법에 관한 발명이다.
네트워크 감시 시스템에서는 주로 카메라를 이용하여 입력영상을 획득한다. 카메라의 종류는 크게 Box type Camera와 PTZ type camera로 구분된다.
Box type Camera는 주로 고정형 위치에서 고정된 영상 Scene를 전송하는 기능을 수행한다. 따라서, Box type Camera에서 송출되는 영상 Scene에서는 Object Tracking과 Loitering을 위하여 사용자는 고정된 Scene에서 원하는 영역을 Polygon Line Drawing을 통하여 지정할 수 있다.
PTZ type camera는 Pan/ Tilt/ Zoom 기능을 수행하여 이동형 영상 Scene를 전송한다. 따라서, PTZ type camera에서는 사용자가 기 정의된 Preset 영역마다 Wanted Region을 지정해야한다는 문제점이 발생한다. 또한 Preset으로 설정되지 않은 영상 Scene에 관한 Object의 Tracking과 Loitering을 위해서는 매번 사용자의 Line Drawing 과정이 수동적으로 필요하다는 문제점이 있다.
이러한 과정이 없을 경우 PTZ type Camera에서는 Undefined Preset Region에 관하여 발생되는 모든 Object에 관하여 Full Range Search를 통하여 Object의 Tracking과 Loitering을 수행하거나 혹은 전혀 그 기능을 수행하지 못하는 문제점이 있다.
또한, 종래에 객체 추적 및 로이터링 검출을 위해 사용하던 MPEG 또는 H.264 기반에서는, 영상 내에서 움직이는 객체의 움직임을 단순히 2차원적으로 표현하므로 움직이는 객체의 회전, 소멸, 겹침, 크기 변환 등과 같은 형태를 표현하기에 적합하지 않은 문제점이 있다. 이외에도 영상 내에 객체가 많은 경우, 움직임 예측 및 보상 연산량이 과도하게 증가하는 문제점이 있다.
이러한 문제점을 극복하기 위하여 기존 동영상 코덱의 매크로블록의 크기를 보다 세분화하거나, 움직임 검색 범위를 증가시키거나 또는 픽셀 기반 검색 영역을 세분화시켜서 검색을 수행하는 대안이 도출되었다. 그러나, 궁극적으로 Full Search를 수행하지 않음으로, 여전히 검색시 Local Minimum Error가 발생하는 문제점이 있다.
본원 발명의 바람직한 일 실시예에서는 입력영상을 웨이블릿 변환하여 얻은 주파수 정보와 프렉탈어파인변환의 Fractal Affine Coefficient의 정보를 이용하여 움직임 벡터의 기능을 수행한다. 이러한 방법을 통해 종래 MPEG 또는 H.264 기반 코덱의 문제점을 해결할 수 있다. 또한, Fractal Affine Coefficient의 정보를 이용함으로써 자동 객체 추적 및 로이터링이 가능하다.
본 발명의 바람직한 일 실시예로서 객체추적 및 로이터링장치는 입력영상을 주파수 대역 및 해상도별로 변환 및 분리하는 웨이블릿 변환부; 상기 주파수 대역으로 변환된 입력영상으로부터 상기 입력영상의 주요 정보를 포함하고 있는 객체정보를 추출한 후, 상기 객체정보에 프렉탈어파인변환(Fractal Affine Transform)을 수행하는 움직임예측부; 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상의 객체정보와 상기 입력영상의 객체정보의 차이값을 보상하는 움직임보상부;를 포함한다.
바람직하게, 객체추적 및 로이터링장치는 상기 입력영상의 객체정보 및 상기 계수값을 이용하여 라우팅 경로들을 검출하고, 상기 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석부;를 더 포함한다.
바람직하게, 객체추적 및 로이터링장치는 상기 입력영상에 새로운 추적대상이 발생된 경우, 상기 ROI 영역 내인 경우 상기 새로운 추적대상을 추적하는 객체추적및로이터링부;를 더 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서 비디오분석시스템은 입력영상을 주파수 대역 및 해상도별로 변환 및 분리하는 웨이블릿 변환부; 상기 주파수 대역으로 변환된 입력영상에 프렉탈어파인변환을 수행하는 움직임예측부; 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상과 상기 입력영상의 차이값을 보상하는 움직임보상부; 상기 입력영상 및 상기 계수값을 이용하여 라우팅 경로들을 설정하고, 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석부;및 상기 입력영상에 새로운 추적대상이 발생된 경우, 상기 ROI 영역 내인 경우 상기 새로운 추적대상을 추적하는 객체추적및로이터링부;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서 객체추적 및 로이터링장치에서 움직임 경로를 추출하는 방법은 입력영상을 주파수 대역 및 해상도별로 변환 및 분리하는 웨이블릿변환단계; 상기 주파수 대역으로 변환된 입력영상으로부터 상기 입력영상의 주요 정보를 포함하고 있는 객체정보를 추출하는 단계; 상기 객체정보에 프렉탈어파인변환을 수행하는 단계; 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상의 객체정보와 상기 입력영상의 객체정보의 차이값을 보상하는 단계;를 포함한다.
본 발명의 또 다른 바람직한 일 실시예로서 비디오분석시스템에서 움직임 경로를 추출하는 방법은 입력영상을 주파수 대역 및 해상도별로 변환 및 분리하는 웨이블릿변환단계; 상기 주파수 대역으로 변환된 입력영상에 프렉탈어파인변환을 수행하는 움직임예측단계; 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상과 상기 입력영상의 차이값을 보상하는 움직임보상단계; 상기 입력영상 및 상기 계수값을 이용하여 라우팅 경로들을 설정하고, 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석단계;및 상기 입력영상에 새로운 추적대상이 발생된 경우, 상기 ROI 영역 내인 경우 상기 새로운 추적대상을 추적하는 단계;를 포함한다.
본원 발명에서는 영상에 발생된 객체의 2차원적인 움직임만이 아니라 3차원적인 움직임을 까지도 영상 분석이 가능하다. 또한, 영상 내의 객체의 움직임을 분석한 결과를 기초로 객체 추적 및 로이터링을 수행할 수 있다.
도 1 은 객체 추적 및 로이터링을 위한 기존의 Video Analystic 시스템의 내부 구성도를 도시한다.
도 2 (a) 및 (b)는 객체 추적을 수행하는 영상의 일 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 자동 객체 추적 및 로이터링 시스템의 내부 구성도를 도시한다.
도 4 (a) 내지 (d)는 본 발명의 바람직한 일 실시예에서, 웨이블릿 변환을 설명한다.
도 5 는 영상을 웨이블릿 변환을 통해 여러 레벨의 주파수로 변환한 일 예를 도시한다.
도 6은 주파수 블록에 대하여 크기변환, 회전변환, 및 스케일 변환을 수행과정을 도시한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
객체 추적 기능(Object Tracking Method)은 영상 내에서 물체의 움직임을 추출하고, 이동하는 물체의 위치를 계속해서 추적하는 기능을 의미한다.
객체 로이터링 검출 기능(Object Loitering Detection Method)은 특정 영역 내의 객체가 배회하는 이동 경로를 연속적으로 검출하는 기능이다. 객체 로이터링 검출 기능은 특정 영역에 침입하려는 자를 사전에 감시할 수 있으므로 범죄를 미연에 방지할 수 있는 이점을 지닌다.
도 1 은 객체 추적 및 로이터링을 위한 기존의 Video Analystic 시스템의 내부 구성도를 도시한다.
Video Analystic 시스템은 동영상 압축부(110)와 비디오 분석부(120)로 구성된다. 도 1에 도시된 바와 같이 동영상 압축부(110)와 비디오 분석부(120)는 입력영상(S100)만 분기시킬 뿐 별도로 동작한다. 이로 인해 동일하거나 유사한 기능을 각각 별도로 수행함으로써 시스템 구현시 비용이 상승하는 문제점이 있다.
보다 상세히 살펴보면, 동영상 압축부(110)와 비디오 분석부(120)는 각각 유사하거나 실질적으로 동일한 기능을 수행하는 ME/MC부(111,112) 및 ME/MC부(131, 132)를 포함한다. 따라서, 이미 동영상 압축부(110)의 ME/MC(111,112)에서 움직임 벡터와 움직임 정보를 이미 추출해냈음에도 불구하고, 비디오 분석부(120)의 ME/MC부(131, 132)부에서 중복적으로 움직임 벡터와 움직임 정보를 추출하게 된다.
그로 인해 비용 상승, 데이터 트래픽의 과도한 사용, Network SoC, Asic 구현시 중복적 로직 구현 등의 문제가 발생 된다. 또한, 비디오 분석부(120)의 ME/MC부(131, 132)의 수행결과와는 별도로 로이터링을 구현하므로, 시스템 구현시 비용이 상승하는 문제점이 있다.
도 2 (a) 및 (b) 는 객체 추적을 수행하는 영상의 일 예를 도시한다.
도 1 에 도시된 예와 같은, 기존의 Video Analystic 시스템에서는 객체 추적 및 로이터링 수행시 MPEG-4 및 H.264 등의 동영상 압축 방식을 이용하여 움직임 예측 및 보상(Motion Estimation and Compensation)을 이용하였다.
이 경우, 예를 들어, Video Analystic 시스템의 비디오 분석부(120)의 ME/MC부(131, 132) 및 동영상 압축부(110)의 ME/MC부(111,112)는 MPEG4 또는 H.264를 기반으로 한 2-D 좌표추적 기반으로 움직임 벡터를 추출함으로써, 물체의 위치이동, 회전 변환, 크기 변환, 소멸 및 중첩 등의 변화에 효과적으로 대응하지 못하여, 객체 추적 및 로이터링시 문제를 발생시킬 수 있다.
구체적으로, MPEG4 또는 H.264를 기반으로 한 2-D 좌표추적 방법은 객체 추적 및 로이터링을 위해, 사용자가 감시하고자 하는 영상 내에 특정 영역(Region of Interest, 110)을 설정한다. 이후 특정영역(110) 내에 있는 객체(120)를 선정하여 추적한다.
그러나, 이러한 객체 추적 방식은 도 2(b)와 같이 특정 영역 내에 객체가 무작위로 빈번하게 발생하는 경우, 발생된 복수의 객체들 각각에 대해 모두 움직임 벡터(Motion Vector)를 기초로 객체 추적을 수행해야 한다. 또한, 발생된 객체들이 사라질 때까지 또는 특정시간 동안 추적을 해야하므로, 복수의 객체들 각각에 대한 추적 정보(예, Motion Vector History)를 지속적으로 유지해야 되는 문제점이 있다.
따라서, MPEG-4 및 H.264 등의 동영상 압축 방식은 객체의 개수가 증가할 경우 연산량이 과도하게 증가되는 문제점이 있다. 연산량의 과도한 증가는 시스템 구현시 가격을 상승시키거나 또는 과도한 연산량으로 인해 영상의 해상도가 증가되어 실시간으로 구현이 어렵게 된다.
또한, MPEG-4 및 H.264 등의 동영상 압축 방식에서는 2차원 움직임을 기반으로한 ME/MC를 수행하므로, 3차원적인 움직임과 관련된 물체의 위치이동, 회전 변환, 크기 변환, 소멸 및 중첩 등에 관한 정확한 추적이 어렵다.
도 3 은 본 발명의 바람직한 일 실시예로서, 자동 객체 추적 및 로이터링 시스템의 내부 구성도를 도시한다.
본원 발명의 바람직한 일 실시예인 자동 객체 추적 및 로이터링 시스템에서는 웨이블릿 변환된 영상의 주파수 정보와 프렉탈어파인변환(Fractal Affine Transform)의 Fractal Affine Coefficient들의 정보를 이용하여 움직임 벡터의 기능을 수행할 수 있다.
이로써, 3차원적인 움직임과 관련된 물체의 위치이동, 회전 변환, 크기 변환, 소멸 및 중첩 등에 관한 정확한 추적이 가능하여, 기존의 동영상 코덱에서 2차원 움직임을 기반으로 ME/MC를 수행시 발생하던 문제점을 해결할 수 있다.
본원 발명의 바람직한 일 실시예인 자동 객체 추적 및 로이터링 시스템은 Image Resizer(310), 웨이블릿 변환부(320), 움직임 예측 및 보상부(330), Object_DB(331), 라우팅 경로분석부(340) 그리고 객체추적 및 로이터링부(350)를 포함한다.
Image Resizer(310)는 입력된 영상 신호를 기초로 해상도에 따라 여러 유형의 영상을 생성한다. 생성되는 영상의 예로는 D1, CIF, QCIF 등이 있다. 이후 Image Resizer(310)에서는 생성된 여러 유형의 영상 중 하나의 영상만을 출력한다. 예를 들어, 생성된 D1, CIF, QCIF 등의 영상 중 CIF 영상만을 출력한다.
본원 발명의 바람직한 일 실시예에서는, 복수의 해상도의 신호(예; D1, CIF, QCIF) 모두에 대해 주파수 변환 및 움직임 정보 추출을 수행하지 않는다. 본원 발명의 바람직한 일 실시예에서는, 웨이블릿 변환을 통해 하나의 해상도(예; CIF)에 대한 주파수 영역 신호로 변환 및 움직임 정보 추출 과정을 한 번만 수행하여, 이로부터 복수의 해상도의 출력을 얻을 수 있다.
예를 들어, 웨이블릿 변환을 통하여 하나의 해상도 CIF에 대해 주파수 변환을 수행하는 경우, 웨이블릿 변환된 CIF Frequency를 이용하여 Object 및 Motion 주파수 값을 2배로 설정하여 2배의 해상도인 D1의 주파수를 획득하거나 또는 Object 및 Motion 주파수 값을 1/2배로 설정하여 1/2 배의 해상도인 QCIF의 주파수를 얻을 수 있다.
웨이블릿 변환부(320)는 입력영상을 스케일링(sclaing)과 평행이동(shifting)을 이용하여 주파수 대역 및 해상도별로 분리한다. 일 예로서, 웨이블릿 변화부(320)는 Image Resizer(310)의 출력인 CIF 영상 신호를 입력으로 수신한 후 CIF Frequency로 웨이블릿 변환한다. 웨이블릿 변환부(320)에서는 입력영상을 주파수 범위별로 분할하므로, 분할된 주파수들에 좌표변환, 회전변환, 크기변환 등의 적용이 가능하다.
본원 발명의 바람직한 일 실시예에서는 프렉탈 선형 어파인 변환(Fractal linear affine transform)을 이용하여 크기변환, 회전변환, 및 스케일 변환을 수행할 수 있다. 따라서, 프렉탈어파인변환(Fractal Affine Transform)을 수행하여 구해진 Fractal Affine Coefficient 정보를 이용하여 이전 프레임과 현재프레임 간의 차이점을 파악할 수 있다.
움직임 예측 및 보상부(330)에서는 웨이블릿 변환된 주파수 신호로 구성된 영상으로부터 입력영상과 유사한 블록(이하, 객체정보)을 추출한다. 객체정보란 웨이블릿 변환 과정에서 입력영상을 수직, 수평방향으로 모두 저역통과필터를 적용한 블록의 데이터를 의미하는 것으로, 입력영상의 가장 주요한 정보를 포함하고 있다. 도 4(d)의 일 실시예를 참고하면, 원 영상에 근접한 블록(450)의 정보가 객체정보에 해당한다. 객체정보를 추출하는 구체적인 방법은 도 4(a) 내지 (c)를 참고한다.
이후, 추출된 객체정보와 Object_DB(331)에 저장되어 있는 이전 프레임들의 객체정보의 차이값을 구한다. Object_DB(331)는 입력영상의 각 프레임에서 추출된 객체정보, 객체ID, 이전 프레임의 웨이블릿 주파수 정보 및 Fractal Affine Coefficient 정보 등을 포함할 수 있다.
객체정보의 차이값이 기설정된 문턱값 이내인 경우, 객체정보의 차이값을 Fractal Affine Coefficient를 이용하여 Object_DB(331)에 저장한다. 이와 같은 방법으로 현재프레임과 이전프레임 간의 움직임 보상을 수행할 수 있다.
객체정보의 차이값이 기설정된 문턱값을 벗어나는 경우, 현재 프레임에서 새롭게 추출한 객체정보를 버린다. 일 예로서, 입력영상 내의 특정 물체를 추적 중일 때, 입력영상 내에 갑자기 새로운 방해 물체가 지나간 경우 등이 이에 해당한다.
이러한 과정이 반복되면서 Object_DB(331) 내의 객체정보와 Fractal Affine Coefficient 정보는 누적적으로 갱신되므로, 객체의 이동 경로가 누적될 수 있다. 그리고, Fractal Affine Coefficient 정보를 이용하여 현재 프레임 내의 특정 영상이 이전 프레임들과 비교할 때 어떻게 이동하였는지 파악할 수 있다. 따라서, 전체 객체의 움직임을 단순히 각각의 객체와 Fractal Affine Coefficient값으로 나타낼 수 있다.
라우팅 경로분석부(340)는 Object_DB(331)에 저장된 객체 정보, Fractal Affine Coefficient 정보 등을 이용하여 객체의 라우팅 경로 및 각 라우팅 경로의 발생빈도를 작성한다. 이후 라우팅 경로의 발생빈도를 기초로 ROI(Region of Interest) 영역을 선정한다.
객체추적 및 로이터링부(350)는 영상 내에 새로운 추적대상(예, 물체, 사람 등)이 발생된 경우, 추적대상이 라우터링 경로분석부(340)에서 선정한 ROI 영역 내에 있는지를 판단한다. ROI 영역 내인 경우 자동으로 영상 내에 새롭게 발생한 객체를 추적한다. 또한, 새롭게 발생한 객체를 추적한 정보는 다시 Object_DB(331)에 자동으로 저장된다.
도 4(a) 내지 (d)는 본 발명의 바람직한 일 실시예에서, 웨이블릿 변환을 설명한다. 본원 발명의 바람직한 일 실시예에서, 자동 객체 추적 및 로이터링 시스템은 웨이블릿 변환을 통해 주파수 영역의 신호로의 변환 및 움직임 정보 추출 과정을 한 번만 수행하고, 이로부터 복수의 해상도의 출력을 얻음으로써, 복수의 해상도의 신호에 대해 각각 주파수 영역의 신호로의 변환 및 움직임 정보 추출 과정을 거치는 시스템에 비하여, 처리 시간 및 작업량을 현저하게 감소시킬 수 있다.
도 4(a) 내지 (c)에서 웨이블릿 변환 방식을 구체적으로 살펴보면 다음과 같다.
웨이블릿 변환이 수행된 제1 이미지 데이터는 먼저 4개의 서브 이미지로 변환된다. 제1 이미지 데이터에 대하여 수평, 수직방향으로 저역통과필터를 적용하여 생성한 LL 블록(410), 수직방향으로는 고역통과필터를 적용한 HL 블록(420), 수평방향으로 고역통과필터를 적용한 LH 블록(430), 및 수직, 수평방향에 대하여 모두 고역통과필터를 적용한 HH 블록(440)이 생성된다.
HL 블록(420)은 수직방향의 주파수 오차 성분을 포함하므로 가로방향의 경계가 명확하게 나타나며, LL 블록(410)은 수평방향의 주파수 오차 성분을 포함하므로 세로방향의 경계가 명확하게 나타난다. 또한 HH 블록(440)은 대각선 방향의 경계가 명확하게 나타난다. 한편, LL 블록(410)은 수직, 수평방향으로 모두 저역통과필터를 적용한 것으로서 제1 이미지의 근사 이미지가 생성된다. 또한, 제 1 이미지의 가장 주요한 정보를 포함하고 있다. 상기 생성된 근사 이미지(410)에 대하여 상기와 같은 필터링 동작을 반복하면 여러 레벨의 주파수 블록을 갖는 주파수 변환이 가능해진다.
웨이블릿 변환의 기저함수
Figure pat00001
는 수학식 1과 같다.
Figure pat00002
입력영상 신호 f(t)는 기저함수를 이용하여 수학식 2와 같이 나타낼 수 있다. 수학식 1에서 t는 시간, j는 스케일 파라미터 그리고 k는 시간 축에 대응되는 이동 파라미터를 나타낸다.
Figure pat00003
수학식 2에서 a j ,k 는 웨이블릿 계수를 나타낸다. 웨이블릿을 이용한 다해상도 분석에서는, 스케일 함수 Φ(t)와 웨이블릿 함수 Ψ(t)가 존재한다. 이때 입력영상 신호 f(t)는 수학식 3과 같이 나타낼 수 있다.
Figure pat00004
Figure pat00005
웨이블릿 변환의 결과로서, 입력영상은 주파수 대역과 공간 영역에 따라 분리된다. 또한 주파수 대역과 해상도에 따라 분리함으로써 입력영상은 도 4(d)와 같이 변환될 수 있다.
도 4(d)는 영상신호를 웨이블릿 변환을 통해 주파수 대역과 해상도에 따라 분리한 일 예를 도시한다.
도 5 는 영상을 웨이블릿 변환을 통해 여러 레벨의 주파수로 변환한 일 예를 도시한다.
하나의 영상 또는 이미지 데이터를 도 4와 같이 웨이블릿 변환과정에서 필터링 동작을 반복하면 도 5에 도시된 바와 같은 여러 레벨의 주파수 블록을 갖는 주파수 변환이 가능해진다. 이렇게 분할된 주파수들은 좌표변환, 회전변환, 크기변환 등을 통해 다른 주파수 범위로 표현이 가능하다.
도 5에서 좌측의 도면에서 빗금친 부분(510)이 사용자에 의하여 선택된 제1주파수 영역이며, 우측의 도면에서 빗금친 부분(520)이 좌표변환, 회전변환, 크기변환 등을 통해 제 1 주파수 영역이 새롭게 표현된 제 1 이미지 영역이다.
구체적으로 살펴보면, (ⅰ)사용자에 의하여 선택된 제1 주파수 영역이 각 블록에서 추출된다(S500). (ⅱ) 추출된 제 1 주파수 영역을 크기 변환한다(S501). (ⅲ) 크기 변환된 제 1 주파수 영역을 회전변환한다(S502). (ⅳ) 변환된 제 1 주파수 영역과 새롭게 표현된 제 1 이미지 영역을 비교한다(S503). 최종적으로 변환된 제 1 주파수 영역과, 제 1 주파수 영역이 새롭게 표현된 제 1 이미지 영역의 주파수 블록이 일치하는 경우를 탐색한다. 이상에서 주파수 블록의 크기변환, 회전변환, 및 스케일 변환 등은 반복하여 수행이 가능하며, 또한 순서를 변경하여 적용이 가능하다.
양 주파수 블록이 일치하는 경우에는 그 때에 적용된 크기변환, 회전변환, 및 스케일 변환 정도를 파악한다. 크기변환, 회전변환, 및 스케일 변환 정도는 추출된 객체에 수행된 프렉탈어파인변환(Fractal Affine Transform)의 Fractal Affine Coefficient들을 검출하여 파악할 수 있다.
예를 들어, Fractal Affine Coefficient(x, y, z)들 중 x와 y를 통해, 크기 변환, 스케일 변환 등을 파악할 수 있고, z 값을 통해서는 각도를 파악하여 회전 변환 정도 등을 파악할 수 있다.
이상과 같이, 웨이블릿 변환된 영상의 주파수 정보와 프렉탈어파인변환(Fractal Affine Transform)의 Fractal Affine Coefficient들의 정보를 이용하여 움직임 벡터의 기능을 수행할 수 있다.
도 6은 주파수 블록에 대하여 크기변환, 회전변환, 및 스케일 변환을 수행과정을 도시한다.
(ⅰ)영상에서 제 1 주파수영역(610)을 추출한다(S600). (ⅱ) 추출된 제 1 주파수 영역을 크기 변환한다(S601). (ⅲ) 크기변환된 제 1 주파수 영역을 스케일 변환한다(S602). (ⅳ)변환된 제 1 주파수 영역과 새롭게 표현된 제 1 이미지 영역의 주파수 블록이 일치하는지를 판단한다(S603). 양 주파수 블록이 일치하는 경우에는 그 때의 크기변환, 회전변환, 및 스케일 변환에 해당하는 Fractal Affine Coefficient들을 검출한다. 검출한 Fractal Affine Coefficient들은 중심좌표 오차 및 회전각도 오차를 검출하는데 사용될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

Claims (15)

  1. 입력영상을 주파수 대역으로 변환 및 해상도별로 분리하는 웨이블릿 변환부;
    상기 주파수 대역으로 변환된 입력영상에서 상기 입력영상의 주요 정보를 포함하고 있는 객체정보를 추출한 후, 상기 객체정보에 프렉탈어파인변환(Fractal Affine Transform)을 수행하는 움직임예측부; 및
    상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상의 객체정보와 상기 입력영상의 객체정보의 차이값을 보상하는 움직임보상부;를 포함하는 것을 특징으로 하는 객체추적 및 로이터링장치.
  2. 제 1 항에 있어서,
    상기 입력영상의 객체정보 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 라우팅 경로들을 검출하고, 상기 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석부;를 더 포함하는 것을 특징으로 하는 객체추적 및 로이터링장치.
  3. 제 2 항에 있어서,
    상기 입력영상에 설정된 상기 ROI 내에 새로운 추적대상이 발생된 경우 상기 새로운 추적대상을 추적하는 객체추적및로이터링부;를 더 포함하는 것을 특징으로 하는 객체추적 및 로이터링장치.
  4. 제 1 항에 있어서, 상기 객체정보는
    상기 웨이블릿 변환부에서 상기 입력영상을 수직, 수평방향으로 모두 저역통과필터를 적용한 데이터인 것을 특징으로 하는 객체추적 및 로이터링장치.
  5. 입력영상을 주파수 대역으로 변환 및 해상도별로 분리하는 웨이블릿 변환부;
    상기 주파수 대역으로 변환된 입력영상에 프렉탈어파인변환을 수행하는 움직임예측부;
    상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상과 상기 입력영상의 차이값을 보상하는 움직임보상부;
    상기 입력영상 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 라우팅 경로들을 설정하고, 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석부;및
    상기 입력영상에 설정된 상기 ROI 내에 새로운 추적대상이 발생한 경우 상기 새로운 추적대상을 추적하는 객체추적및로이터링부;를 포함하는 것을 특징으로 하는 비디오분석시스템.
  6. 제 5 항에 있어서, 상기 움직임예측부는
    상기 주파수 대역으로 변환된 입력영상의 정보 중
    상기 웨이블릿 변환부에서 상기 입력영상을 수직, 수평방향으로 모두 저역통과필터(LPF)를 적용하여 주파수 변환된 데이터에 대응되는 정보만 상기 프렉탈어파인변환을 수행하는 것을 특징으로 하는 비디오분석시스템.
  7. 제 5 항에 있어서,
    상기 객체정보와 상기 프렉탈어파인변환으로 얻은 계수값을 저장 및 갱신하는 Object_DB;를 더 포함하는 것을 특징으로 하는 비디오분석시스템.
  8. 제 7 항에 있어서, 상기 Object_DB는
    상기 기저장된 이전영상과 상기 입력영상의 차이값이 기설정된 문턱값을 초과하는 경우, 상기 입력영상과 관련된 정보는 버리는 것을 특징으로 하는 비디오분석시스템.
  9. 객체추적 및 로이터링장치에서 움직임 경로를 추출하는 방법으로서,
    입력영상을 주파수 대역으로 변환 및 해상도별로 분리하는 웨이블릿변환단계;
    상기 주파수 대역으로 변환된 입력영상으로부터 상기 입력영상의 주요 정보를 포함하고 있는 객체정보를 추출하는 단계;
    상기 객체정보에 프렉탈어파인변환을 수행하는 단계; 및
    상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상의 객체정보와 상기 입력영상의 객체정보의 차이값을 보상하는 단계;를 포함하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  10. 제 9 항에 있어서,
    상기 입력영상의 객체정보 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 라우팅 경로들을 검출하는 단계;및
    상기 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  11. 제 10 항에 있어서,
    상기 입력영상의 상기 ROI 영역 내에 새로운 추적대상이 발생된 경우, 상기 새로운 추적대상을 추적하는 단계;를 더 포함하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  12. 비디오분석시스템에서 움직임 경로를 추출하는 방법으로서,
    입력영상을 주파수 대역으로 변환 및 해상도별로 분리하는 웨이블릿변환단계;
    상기 주파수 대역으로 변환된 입력영상에 프렉탈어파인변환을 수행하는 움직임예측단계;
    상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 기저장된 이전영상과 상기 입력영상의 차이값을 보상하는 움직임보상단계;
    상기 입력영상 및 상기 프렉탈어파인변환으로 얻은 계수값을 이용하여 라우팅 경로들을 설정하고, 각 라우팅 경로의 발생빈도를 기초로 탐색영역 ROI를 설정하는 라우팅경로분석단계;및
    상기 입력영상의 상기 ROI 내에 새로운 추적대상이 발생된 경우, 상기 새로운 추적대상을 추적하는 단계;를 포함하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  13. 제 12 항에 있어서, 상기 움직임예측단계는
    상기 주파수 대역으로 변환된 입력영상의 정보 중
    상기 웨이블릿 변환부에서 상기 입력영상을 수직, 수평방향으로 모두 저역통과필터(LPF)를 적용하여 주파수 변환된 데이터에 대응되는 정보만 상기 프렉탈어파인변환을 수행하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  14. 제 12 항에 있어서, 상기 비디오분석시스템은
    상기 객체정보와 상기 프렉탈어파인변환으로 얻은 계수값을 저장 및 갱신하는 Object_DB;를 포함하는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
  15. 제 14 항에 있어서, 상기 Object_DB는
    상기 기저장된 이전영상과 상기 입력영상의 차이값이 기설정된 문턱값을 초과하는 경우, 상기 입력영상과 관련된 정보는 버리는 것을 특징으로 하는 움직임 경로를 추출하는 방법.
KR1020100030505A 2010-04-02 2010-04-02 객체추적 및 로이터링 장치 및 방법 KR20110111106A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100030505A KR20110111106A (ko) 2010-04-02 2010-04-02 객체추적 및 로이터링 장치 및 방법
US12/871,256 US20110243378A1 (en) 2010-04-02 2010-08-30 Method and apparatus for object tracking and loitering detection
CN2010105521350A CN102215397A (zh) 2010-04-02 2010-11-17 用于对象跟踪和徘徊检测的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100030505A KR20110111106A (ko) 2010-04-02 2010-04-02 객체추적 및 로이터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110111106A true KR20110111106A (ko) 2011-10-10

Family

ID=44709719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100030505A KR20110111106A (ko) 2010-04-02 2010-04-02 객체추적 및 로이터링 장치 및 방법

Country Status (3)

Country Link
US (1) US20110243378A1 (ko)
KR (1) KR20110111106A (ko)
CN (1) CN102215397A (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITVI20120041A1 (it) * 2012-02-22 2013-08-23 St Microelectronics Srl Rilevazione di caratteristiche di un'immagine
CN103067692B (zh) * 2012-12-30 2016-01-20 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103456030B (zh) * 2013-09-08 2016-04-13 西安电子科技大学 基于散射描述子的目标跟踪方法
CN104318244A (zh) * 2014-10-16 2015-01-28 深圳锐取信息技术股份有限公司 一种基于教学视频的行为检测方法及装置
KR102282465B1 (ko) * 2014-10-27 2021-07-27 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
KR102015588B1 (ko) * 2015-07-16 2019-08-28 한화테크윈 주식회사 배회 경보 방법 및 장치
CN105184812B (zh) * 2015-07-21 2018-08-24 复旦大学 一种基于目标跟踪的行人徘徊检测方法
CN106851399B (zh) * 2015-12-03 2021-01-22 阿里巴巴（中国）有限公司 视频分辨率提升方法及装置
CN108122207B (zh) * 2016-11-30 2021-04-23 展讯通信（上海）有限公司 图像分频方法、装置及电子设备
WO2020169109A1 (en) * 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Sub-table for history-based affine mode

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
CN101493889B (zh) * 2008-01-23 2011-12-07 华为技术有限公司 对视频对象进行跟踪的方法及装置

Also Published As

Publication number Publication date
US20110243378A1 (en) 2011-10-06
CN102215397A (zh) 2011-10-12

Similar Documents

Publication Publication Date Title
KR20110111106A (ko) 객체추적 및 로이터링 장치 및 방법
JP5844394B2 (ja) 適応探索範囲を用いた動き推定
US9230333B2 (en) Method and apparatus for image processing
KR101861722B1 (ko) 비디오 데이터를 처리하는 방법과 이미지 처리 회로
KR100378902B1 (ko) 픽셀 데이터를 처리하기 위한 방법 및 장치, 및 컴퓨터 판독 가능한 매체
WO2010079556A1 (ja) 移動体検出方法および移動体検出装置
JP2008541508A (ja) 動き安定化
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN112805996B (zh) 一种用于生成慢动作视频片段的设备和方法
US20090154565A1 (en) Video data compression method, medium, and system
JP2010500818A (ja) 漫画アニメーション圧縮のためのシステムおよび方法
JP2007266652A (ja) 移動物体検出装置、移動物体検出方法、移動物体検出プログラム、映像復号化装置、映像符号化装置、撮像装置及び映像管理システム
JP2000011133A (ja) 移動物体検出装置及びその方法
JP5268796B2 (ja) 移動物体領域検出装置及び移動物体領域検出プログラム
EP3413268B1 (en) Counter-flow detection in compressed video
EP3413565B1 (en) Image compression method using homography transformation of a reference picture
Kwon et al. Motion compensated subband coding of video acquired from a moving platform
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
Nguyen et al. Moving object detection in compressed domain for high resolution videos
JP4069468B2 (ja) 映像形成装置
KR20030024354A (ko) 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법
Watanabe et al. Video synthesis with high spatio-temporal resolution using motion compensation and image fusion in wavelet domain
WangNo et al. An improved K-means clustering filter for mixed noise removal in RGB color
KR100856474B1 (ko) 영상 흔들림 보정방법
Wang et al. Long term background reference based satellite video coding

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid