KR101760892B1 - 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법 - Google Patents

옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법 Download PDF

Info

Publication number
KR101760892B1
KR101760892B1 KR1020160077880A KR20160077880A KR101760892B1 KR 101760892 B1 KR101760892 B1 KR 101760892B1 KR 1020160077880 A KR1020160077880 A KR 1020160077880A KR 20160077880 A KR20160077880 A KR 20160077880A KR 101760892 B1 KR101760892 B1 KR 101760892B1
Authority
KR
South Korea
Prior art keywords
tracking
information
descriptor
tracking object
background
Prior art date
Application number
KR1020160077880A
Other languages
English (en)
Inventor
노경수
권정흠
남상훈
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020160077880A priority Critical patent/KR101760892B1/ko
Application granted granted Critical
Publication of KR101760892B1 publication Critical patent/KR101760892B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법에 관한 것이다.
본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법은, 추적 객체 영역 초기화부에 의해 추적하고자 하는 영상 내 객체의 관심 영역을 지정하는 단계; 지정된 추적 객체 영역을 기반으로, 추적 객체/배경 특징점/서술자 획득부에 의해 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득하는 단계; 추적 객체/배경 특징점/서술자 학습부가 상기 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하는 단계; 추적 객체 특징점/서술자 매칭부가 상기 학습된 추적 객체 및 배경의 특징점/서술자 정보와 상기 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해내는 단계; 추적 객체 스케일/회전 계산부가 외부로부터 제공된 영상 왜곡 계산 정보와 상기 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산하는 단계; 및 추적 객체 정보 획득부가 상기 획득된 추적 객체의 특징점 정보와 상기 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득하는 단계를 포함한다.

Description

옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법{System and method for tracking object based on omnidirectional image in omni-camera}
본 발명은 객체 추적 시스템 및 방법에 관한 것으로서, 더 상세하게는 옴니 카메라의 렌즈로 인한 외형 정보 왜곡에 기인한 서술자 매칭 실패/추적 특징점(keypoint) 손실을 렌즈 왜곡 모델을 적용하여 보상해 줌으로써 영상 내 객체의 위치, 크기 및 회전 계산에 있어서의 오차를 줄여 객체 추적 성공률을 향상시킬 수 있는, 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법에 관한 것이다.
비디오 감시 분야에서 넓은 영역을 관찰하기 위한 방법으로는 PTZ(pan-tilt-zoom) 카메라를 이용하거나 여러 개의 카메라로 찍은 영상을 합성하는 방법, 전방위 카메라를 통한 관찰 방법이 있다. 전방위 카메라의 경우 하나의 카메라를 이용하여 360도(degree)의 전 방향을 관찰할 수 있는 장점이 있으나, 렌즈나 거울의 모양에 따른 왜곡이 발생한다. 객체 추적의 관점에서 전방향 영상을 이용하면 360도 내의 모든 주변 환경에서 일어나는 모든 움직임을 인식할 수 있다는 장점이 있지만, 왜곡의 문제로 인해 이동하는 동일한 객체의 외형 정보의 왜곡이 발생하여 외형 정보에 기반한 추적 성공률이 낮다.
지금까지 객체 추적에 있어 다양한 추적 방식들이 연구되어 왔으며, 그중의 하나로 움직이는 객체의 추적을 위하여 이미지 내에서 추적 객체의 특징점 (keypoint) 검출을 통한 서술자(descriptor) 매칭을 이용하는 추적 방식이 주로 사용되고 있다. 여기서, 특징점은 주변 이미지와 비교하여 두드러지는 위치를 의미하고, 서술자는 해당 특징점 위치를 기반으로 주변 이미지 픽셀들 간의 관계를 계산한 외형 정보를 의미한다.
이상과 같은 특징점 검출을 통한 서술자 매칭을 이용하는 추적 방식은 관심 객체의 특징점을 검출하여 서술자를 추출하고 이를 저장해 두었다가, 추가적인 영상이 입력되었을 때, 저장된 서술자와 추가적인 영상의 서술자를 매칭시켜, 매칭된 특징점의 위치 간의 관계를 기반으로 영상 내에서 추적 객체의 위치를 찾는 방식이다. 이러한 방식에서는 저장된 서술자와 추가 영상의 서술자 간의 매칭 성공률과, 매칭된 서술자들의 특징점을 기반으로 한 영상 내 객체의 위치 및 크기/회전 계산이 가장 중요한 부분이다.
한편, 공개특허공보 제10-2012-0088367호(특허문헌 1)에는 "회전줌 카메라 기반 평균이동 알고리즘을 이용한 객체추적 시스템"이 개시되어 있는바, 이에 따른 객체추적 시스템은, 회전줌 카메라로부터 감시대상 영역의 촬영 영상을 수신하는 영상입력부; 상기 촬영 영상을 전처리하는 전처리부; 상기 촬영 영상으로부터 객체를 추출하는 객체추출부; 평균이동 알고리즘를 이용하여, 상기 객체가 이동한 이동지점을 계산하는 객체추적부; 및 상기 회전줌 카메라의 초점을 상기 이동지점으로 맞추는 카메라 제어부를 포함하고, 상기 평균이동 알고리즘은 상기 촬영 영상의 직전 이미지에서 추적한 객체 모델과 다음 이미지에서의 후보 객체 모델 간의 유사도가 가장 큰 위치를 찾는 것을 목적으로 하는 평균이동 벡터를 이용하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 평균이동 알고리즘을 이용함으로써, 객체에 대한 실시간 추적이 가능하고, 객체의 이동이나 회전 등에도 강건하게 추적을 행할 수 있는 효과가 있기는 하나, 여기에서도 회전줌 카메라(PTZ 카메라)를 이용하고 있어 왜곡의 문제로 인해 이동하는 동일한 객체의 외형 정보의 왜곡이 발생하게 되며, 이로 인해 외형 정보에 기반한 추적 성공률이 낮아지는 문제를 내포하고 있다.
공개특허공보 제10-2012-0088367호(2012.08.08.)
본 발명은 상기와 같은 종래 기술의 문제점을 개선하기 위하여 창출된 것으로서, 옴니 카메라의 렌즈로 인한 외형 정보 왜곡에 기인한 서술자 매칭 실패/추적 특징점(keypoint) 손실을 영상 왜곡 계산 정보를 적용하여 보상해 줌으로써 영상 내 객체의 위치, 크기 및 회전 계산에 있어서의 오차를 줄여 객체 추적 성공률을 향상시킬 수 있는, 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템은,
추적하고자 하는 영상 내 객체의 관심 영역을 지정하는 추적 객체 영역 초기화부;
상기 추적 객체 영역 초기화부에 의해 지정된 추적 객체 영역을 기반으로 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득하는 추적 객체/배경 특징점/서술자 획득부;
매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하는 추적 객체/배경 특징점/서술자 학습부;
상기 추적 객체/배경 특징점/서술자 학습부에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해내는 추적 객체 특징점/서술자 매칭부;
외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산하는 추적 객체 스케일/회전 계산부; 및
상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보와 상기 추적 객체 스케일/회전 계산부에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득하는 추적 객체 정보 획득부를 포함하는 점에 그 특징이 있다.
여기서, 상기 추적 객체/배경 특징점/서술자 학습부는 상기 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지하는 기능을 구비할 수 있다.
또한, 외부로부터 상기 추적 객체 스케일/회전 계산부로 제공된 상기 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보일 수 있다.
또한, 상기 추적 객체 스케일/회전 계산부는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해주는 기능을 구비할 수 있다.
이때, 상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산될 수 있다.
Figure 112016060287330-pat00001
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법은,
a) 추적 객체 영역 초기화부에 의해 추적하고자 하는 영상 내 객체의 관심 영역을 지정하는 단계;
b) 상기 추적 객체 영역 초기화부에 의해 지정된 추적 객체 영역을 기반으로, 추적 객체/배경 특징점/서술자 획득부에 의해 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득하는 단계;
c) 매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해, 추적 객체/배경 특징점/서술자 학습부가 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하는 단계;
d) 추적 객체 특징점/서술자 매칭부가 상기 추적 객체/배경 특징점/서술자 학습부에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해내는 단계;
e) 추적 객체 스케일/회전 계산부가 외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산하는 단계; 및
f) 추적 객체 정보 획득부가 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보와 상기 추적 객체 스케일/회전 계산부에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 c)에서 상기 추적 객체/배경 특징점/서술자 학습부는 상기 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지할 수 있다.
또한, 상기 단계 e)에서 상기 외부로부터 제공된 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보일 수 있다.
또한, 상기 단계 e)에서 상기 추적 객체 스케일/회전 계산부는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해주는 기능을 구비할 수 있다.
이때, 상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산될 수 있다.
Figure 112016060287330-pat00002
이와 같은 본 발명에 의하면, 옴니 카메라의 렌즈로 인한 외형 정보 왜곡에 기인한 서술자 매칭 실패/추적 특징점(keypoint) 손실을 영상 왜곡 계산 정보(렌즈 왜곡 모델의 파라미터)를 적용하여 보상해 줌으로써, 영상 내 객체의 위치, 크기 및 회전 계산에 있어서의 오차를 줄여 객체 추적 성공률을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법에있어서, 서술자 정보 리셈플링 과정을 도식적으로 나타낸 도면이다.
도 4는 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법에있어서, 매칭 실패로 손실된 키포인트들의 위치를 보상해주는 과정을 도식적으로 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템(100)은 추적 객체 영역 초기화부(110), 추적 객체/배경 특징점/서술자 획득부(120), 추적 객체/배경 특징점/서술자 학습부(130), 추적 객체 특징점/서술자 매칭부(140), 추적 객체 스케일/회전 계산부(150), 추적 객체 정보 획득부(160)를 포함하여 구성된다.
추적 객체 영역 초기화부(110)는 추적하고자 하는 영상 내 객체의 관심 영역을 지정한다. 즉, 추적 객체 영역 초기화부(110)는 추적하고자 하는 영상 내의 객체에 대해 사각형 형태의 관심 영역을 지정하는 것이다. 이때, 관심 영역 이외의 나머지 부분의 이미지 영역은 배경 영역이 된다.
추적 객체/배경 특징점/서술자 획득부(120)는 추적 객체 영역 초기화부(110)에 의해 지정된 추적 객체 영역을 기반으로 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득한다. 여기서, 특징점은 전술한 바와 같이 주변 이미지와 비교하여 두드러지는 위치를 의미하고, 서술자는 해당 특징점 위치를 기반으로 주변 이미지 픽셀들 간의 관계를 계산한 외형 정보를 의미한다.
추적 객체/배경 특징점/서술자 학습부(130)는 매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해 상기 추적 객체/배경 특징점/서술자 획득부(120)에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습한다. 이와 같은 추적 객체/배경 특징점/서술자 학습부(130)는 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지하는 기능을 구비할 수 있다. 이와 같은 리샘플링에 대해서는 뒤에서 다시 설명한다.
추적 객체 특징점/서술자 매칭부(140)는 상기 추적 객체/배경 특징점/서술자 학습부(130)에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부(120)에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해 낸다.
추적 객체 스케일/회전 계산부(150)는 외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부(140))에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산한다. 여기서, 외부로부터 추적 객체 스케일/회전 계산부(150)로 제공된 상기 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보일 수 있다.
또한, 이와 같은 추적 객체 스케일/회전 계산부(150)는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부(140)에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해주는 기능을 구비할 수 있다.
이때, 상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산될 수 있다.
Figure 112016060287330-pat00003
여기서, xi t는 t시간의 i번째 키포인트(특징점),
Figure 112016060287330-pat00004
는 이동 벡터, ∥...∥는 유클리디언 거리를 각각 나타낸다. 이상과 관련해서는 뒤에서 다시 설명한다.
추적 객체 정보 획득부(160)는 상기 추적 객체 특징점/서술자 매칭부(140)에 의해 획득된 추적 객체의 특징점 정보와 상기 추적 객체 스케일/회전 계산부(150)에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득한다.
이상에서 설명한 바와 같은 추적 객체 영역 초기화부(110), 추적 객체/배경 특징점/서술자 획득부(120), 추적 객체/배경 특징점/서술자 학습부(130), 추적 객체 특징점/서술자 매칭부(140), 추적 객체 스케일/회전 계산부(150) 및 추적 객체 정보 획득부(160)는 그 기능별로 각각의 모듈(즉, 6개의 개별 모듈)로 구성될 수도 있고, 하나의 통합 모듈 내에 6개의 분할 영역이 마련되고 각 분할 영역이 각기 다른 기능을 수행하는 형태로 구성될 수도 있다. 이때, 이러한 모듈로는 마이크로프로세서가 사용될 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템을 기반으로 하여 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법에 대해 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 방법에 따라, 먼저 추적 객체 영역 초기화부(110)에 의해 추적하고자 하는 영상 내 객체의 관심 영역을 지정한다(단계 S201). 즉, 전술한 바와 같이, 추적 객체 영역 초기화부(110)는 추적하고자 하는 영상 내의 객체에 대해 사각형 형태의 관심 영역을 지정하는 것이다. 이때, 관심 영역 이외의 나머지 부분의 이미지 영역은 배경 영역이 된다.
이렇게 하여 관심 영역(추적 객체 영역)의 지정이 완료되면, 추적 객체/배경 특징점/서술자 획득부(120)는 추적 객체 영역 초기화부(110)에 의해 지정된 추적 객체 영역을 기반으로, 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득한다(단계 S202).
그런 후, 매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해, 추적 객체/배경 특징점/서술자 학습부(130)는 상기 추적 객체/배경 특징점/서술자 획득부(120)에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습한다(단계 S203). 여기서, 추적 객체/배경 특징점/서술자 학습부(130)는 상기 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지할 수 있다. 여기서, 이와 관련하여 도 3을 참조하여 부연 설명을 해보기로 한다.
도 3을 참조하면, 서술자 매칭 성공률을 높이기 위해서는 매 프레임마다 변화하는 배경과 추적 객체의 외형정보를 반영하기 위한 적응적 학습이 필요하다. 이를 위해 매 영상에서 새로운 배경과 추적 객체의 키포인트(특징점)/서술자를 선별하여 각각의 키포인트/서술자를 누적하여 학습할 필요가 있다. 이때, 누적되는 서술자 정보가 시간이 지날수록 무한정 많아지므로 리샘플링(resampling)을 통하여 특정 크기를 유지한다. 도 3에서 DBt -1은 t-1시간에서의 추적 객체/배경 서술자 정보, DBt는 t시간에서의 추적 객체/배경 서술자 정보를 의미한다. 전체적으로 t-1시간의 서술자 정보와 t시간의 영상에서 배경과 추적 객체(bt) 서술자 정보를 각각 추출하여 새로이 선별된 배경 서술자(FBt)는 기존의 배경 서술자(DBBt - 1)와 합쳐진 뒤 무작위적(randomized)으로 리샘플링되고, 새로이 선별된 추적 객체 서술자(FFt) 또한 같은 방법으로 기존의 추적 객체 서술자(DBFt - 1)와 합쳐진 뒤 무작위적으로 리샘플링 된다.
다시 도 2를 참조하면, 이후 추적 객체 특징점/서술자 매칭부(140)가 상기 추적 객체/배경 특징점/서술자 학습부(130)에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부(120)에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해 낸다(단계 S204).
그런 다음, 추적 객체 스케일/회전 계산부(150)가 외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부(140)에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산한다(단계 S205). 여기서, 상기 외부로부터 제공된 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보일 수 있다. 이는 선행 단계(pre-processing)를 통해 획득된 렌즈 왜곡 모델의 변수(parameter)를 의미한다.
또한, 추적 객체 스케일/회전 계산부(150)는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부(140)에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해 줄 수 있다. 여기서, 이와 관련하여 부연 설명해 보기로 한다.
도 4를 참조하면, (A)는 t 시간의 키포인트(특징점)(파란색)들이 t+1 시간에 매칭되었을 때 이동된 위치(노란색)를 나타낸 것이다. t+1 시간에서 푸른색 점선들은 t 시간에서의 키포인트의 위치를 비교하기 위한 것이다. 도 4에서 (B)는 t시간의 키포인트들이 t+1 시간에 매칭되었을 때, 옴니 카메라의 렌즈 왜곡으로 인한 추적 객체 외형변화로 특정 키포인트들(예컨대, 5,6,7,8 키포인트)이 매칭되지 못한 상황을 나타낸다. 이런 경우, t시간의 키포인트 위치들에 렌즈 왜곡 파라미터를 적용한 이동 벡터(
Figure 112016060287330-pat00005
)를 더해줌으로써 매칭 실패로 손실된 키포인트들의 위치를 보상해준다.
이때, 상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산될 수 있다.
Figure 112016060287330-pat00006
여기서, xi t는 t시간의 i번째 키포인트(특징점),
Figure 112016060287330-pat00007
는 이동 벡터, ∥...∥는 유클리디언 거리를 각각 나타낸다.
이상에 의해 추적 객체의 스케일 및 회전 계산이 완료되면, 추적 객체 정보 획득부(160)는 추적 객체 특징점/서술자 매칭부(140)에 의해 획득된 추적 객체의 특징점 정보와 추적 객체 스케일/회전 계산부(150)에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득한다(단계 S206).
이상의 설명과 같이, 본 발명에 따른 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법은 옴니 카메라의 렌즈로 인한 외형 정보 왜곡에 기인한 서술자 매칭 실패/추적 특징점(keypoint) 손실을 영상 왜곡 계산 정보(렌즈 왜곡 모델의 파라미터)를 적용하여 보상해 줌으로써 영상 내 객체의 위치, 크기 및 회전 계산에 있어서의 오차를 줄여 객체 추적 성공률을 향상시킬 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 추적 객체 영역 초기화부
120: 추적 객체/배경 특징점/서술자 획득부
130: 추적 객체/배경 특징점/서술자 학습부
140: 추적 객체 특징점/서술자 매칭부
150: 추적 객체 스케일/회전 계산부
160: 추적 객체 정보 획득부

Claims (10)

  1. 추적하고자 하는 영상 내 객체의 관심 영역을 지정하는 추적 객체 영역 초기화부;
    상기 추적 객체 영역 초기화부에 의해 지정된 추적 객체 영역을 기반으로 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득하는 추적 객체/배경 특징점/서술자 획득부;
    매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하는 추적 객체/배경 특징점/서술자 학습부;
    상기 추적 객체/배경 특징점/서술자 학습부에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해내는 추적 객체 특징점/서술자 매칭부;
    외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산하는 추적 객체 스케일/회전 계산부; 및
    상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보와 상기 추적 객체 스케일/회전 계산부에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득하는 추적 객체 정보 획득부를 포함하는 옴니 카메라의 전방향 영상 기반 객체 추적 시스템.
  2. 제1항에 있어서,
    상기 추적 객체/배경 특징점/서술자 학습부는 상기 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지하는 기능을 구비하는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 시스템.
  3. 제1항에 있어서,
    외부로부터 상기 추적 객체 스케일/회전 계산부로 제공된 상기 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보인 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 시스템.
  4. 제1항에 있어서,
    상기 추적 객체 스케일/회전 계산부는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해주는 기능을 구비하는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 시스템.
  5. 제4항에 있어서,
    상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산되는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 시스템.
    Figure 112016060287330-pat00008

    여기서, xi t는 t시간의 i번째 키포인트(특징점),
    Figure 112016060287330-pat00009
    는 이동 벡터, ∥...∥는 유클리디언 거리를 각각 나타낸다.
  6. a) 추적 객체 영역 초기화부에 의해 추적하고자 하는 영상 내 객체의 관심 영역을 지정하는 단계;
    b) 상기 추적 객체 영역 초기화부에 의해 지정된 추적 객체 영역을 기반으로, 추적 객체/배경 특징점/서술자 획득부에 의해 추적 객체 영상과 추적 객체 주변의 배경 영상에 대한 특징점과 이들의 서술자를 획득하는 단계;
    c) 매 프레임 변화하는 추적 객체의 영상 정보를 적응적으로 학습하기 위해, 추적 객체/배경 특징점/서술자 학습부가 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하는 단계;
    d) 추적 객체 특징점/서술자 매칭부가 상기 추적 객체/배경 특징점/서술자 학습부에 의해 누적되어 학습된 추적 객체 및 배경의 특징점/서술자 정보와, 상기 추적 객체/배경 특징점/서술자 획득부에 의해 획득된 추적 객체 및 배경 정보를 매칭하여 추적 객체의 특징점을 선별해내는 단계;
    e) 추적 객체 스케일/회전 계산부가 외부로부터 제공된 영상 왜곡 계산 정보와 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보를 이용하여 추적 객체의 스케일 및 회전을 계산하는 단계; 및
    f) 추적 객체 정보 획득부가 상기 추적 객체 특징점/서술자 매칭부에 의해 획득된 추적 객체의 특징점 정보와 상기 추적 객체 스케일/회전 계산부에 의해 계산된 추적 객체의 스케일 및 회전 정보를 기반으로 해당 영상 프레임에서의 추적 객체의 정보를 최종적으로 획득하는 단계를 포함하는 옴니 카메라의 전방향 영상 기반 객체 추적 방법.
  7. 제6항에 있어서,
    상기 단계 c)에서 상기 추적 객체/배경 특징점/서술자 학습부는 상기 추적 객체와 배경의 특징점 및 서술자 정보를 선별 및 누적하여 학습하되, 누적되는 서술자 정보를 리샘플링(resampling)을 통해 특정 크기를 유지하는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 방법.
  8. 제6항에 있어서,
    상기 단계 e)에서 상기 외부로부터 제공된 영상 왜곡 계산 정보는 미리 계산된 옴니 카메라의 렌즈 왜곡 정보인 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 방법.
  9. 제6항에 있어서,
    상기 단계 e)에서 상기 추적 객체 스케일/회전 계산부는 소정 시점에서의 추적 객체의 특징점 위치들에 옴니 카메라의 렌즈 왜곡 파라미터(parameter)를 적용한 이동 벡터를 더해줌으로써, 상기 추적 객체 특징점/서술자 매칭부에 의한 매칭에서 매칭 실패로 손실된 특징점들의 위치를 보상해주는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 방법.
  10. 제9항에 있어서,
    상기 옴니 카메라의 렌즈 왜곡 파라미터를 적용하여 보상한 추적 객체 특징점들을 기반으로 계산되는 추적 객체의 스케일(s)과 회전(r)은 다음의 수식에 의해 계산되는 것을 특징으로 하는 옴니 카메라의 전방향 영상 기반 객체 추적 방법.
    Figure 112016060287330-pat00010

    여기서, xi t는 t시간의 i번째 키포인트(특징점),
    Figure 112016060287330-pat00011
    는 이동 벡터, ∥...∥는 유클리디언 거리를 각각 나타낸다.
KR1020160077880A 2016-06-22 2016-06-22 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법 KR101760892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160077880A KR101760892B1 (ko) 2016-06-22 2016-06-22 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160077880A KR101760892B1 (ko) 2016-06-22 2016-06-22 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101760892B1 true KR101760892B1 (ko) 2017-07-24

Family

ID=59429248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160077880A KR101760892B1 (ko) 2016-06-22 2016-06-22 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101760892B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061511A (ja) 2009-09-10 2011-03-24 Dainippon Printing Co Ltd 魚眼監視システム
JP2012244479A (ja) 2011-05-20 2012-12-10 Toshiba Teli Corp 全方位監視画像処理システム
KR101303124B1 (ko) 2012-05-31 2013-09-09 삼성에스디에스 주식회사 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011061511A (ja) 2009-09-10 2011-03-24 Dainippon Printing Co Ltd 魚眼監視システム
JP2012244479A (ja) 2011-05-20 2012-12-10 Toshiba Teli Corp 全方位監視画像処理システム
KR101303124B1 (ko) 2012-05-31 2013-09-09 삼성에스디에스 주식회사 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법

Similar Documents

Publication Publication Date Title
TWI750498B (zh) 視訊流的處理方法和裝置
US10339386B2 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
US8977060B2 (en) Motion stabilization and detection of articulated objects
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20040141633A1 (en) Intruding object detection device using background difference method
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
CN110555377B (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
Lisanti et al. Continuous localization and mapping of a pan–tilt–zoom camera for wide area tracking
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
Dinh et al. High resolution face sequences from a PTZ network camera
Xie et al. Fast detecting moving objects in moving background using ORB feature matching
CN113033353A (zh) 基于俯视图像的行人轨迹生成方法、存储介质和电子设备
JP6977337B2 (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
KR101760892B1 (ko) 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
CN113033350B (zh) 基于俯视图像的行人重识别方法、存储介质和电子设备
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
Shahbazi et al. Visual–inertial object tracking: Incorporating camera pose into motion models
CN114926508A (zh) 视野分界线确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant