KR100677913B1 - 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치 - Google Patents

다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치 Download PDF

Info

Publication number
KR100677913B1
KR100677913B1 KR1020050064855A KR20050064855A KR100677913B1 KR 100677913 B1 KR100677913 B1 KR 100677913B1 KR 1020050064855 A KR1020050064855 A KR 1020050064855A KR 20050064855 A KR20050064855 A KR 20050064855A KR 100677913 B1 KR100677913 B1 KR 100677913B1
Authority
KR
South Korea
Prior art keywords
image
unit
moving object
tracking
fusion
Prior art date
Application number
KR1020050064855A
Other languages
English (en)
Other versions
KR20070010352A (ko
Inventor
정시창
백준기
신정호
Original Assignee
삼성탈레스 주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사, 중앙대학교 산학협력단 filed Critical 삼성탈레스 주식회사
Priority to KR1020050064855A priority Critical patent/KR100677913B1/ko
Publication of KR20070010352A publication Critical patent/KR20070010352A/ko
Application granted granted Critical
Publication of KR100677913B1 publication Critical patent/KR100677913B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 복수의 센서들로부터 수신된 신호들의 융합에 의한 이동 객체 추적 장치에 관한 것으로, 특히 상기 복수의 센서들로부터 수신된 각 신호에서 사용자가 원치 않는 카메라의 움직임으로 인해 상기 입력되는 신호가 흔들리는 현상을 보상하는 영상 안정화부와, 상기 영상 안정화부에서 생성된 안정화된 영상으로 움직이는 객체의 초기값을 추정하기 위해서 배경 정보를 미리 생성하고, 생성된 배경과 입력되는 영상의 차분을 계산하여 객체의 대략적인 위치 및 형태를 추정하는 객체 분할부와, 상기 객체 분할부에서 출력된 이동 객체의 분할 정보와 상기 영상 안정화부에서 출력된 안정화된 영상 정보를 이용하여 상기 각 센서에서 수신된 신호들을 영상 융합하는 이동 객체 추적부를 포함함을 특징으로 한다.
센서, 영상 융합, 이동 객체, 추적, 객체 분할

Description

다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치{APPARATUS FOR TRACING A MOVING OBJECT BY MIXING THE VIDEO SIGNALS FROM MULTI SENSORS}
도 1은 본 발명에 따른 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치를 나타낸 블록도.
도 2는 본 발명의 실시예에 따른 객체 분할부의 세부 구성을 나타낸 블록도.
도 3은 본 발명의 실시예에 따른 이동 객체 추적부의 세부 구성을 나타낸 블록도.
도 4는 본 발명의 실시예에 따른 영상 융합부에서의 처리 과정을 나타낸 도면.
도 5는 본 발명의 실시예에 따른 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 절차를 나타낸 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
100 : 영상 안정화부 110 : 객체 분할부
120 : 이동 객체 추적부 200 : 이동 객체 추출부
210 : 영역 추적부 220 : 형태 초기화부
230: 능동 형태 기반 추적부 300 : 영상 정합부
310 : 영상 융합부 320 : 융합 결과 검증부
본 발명은 수신된 비디오 신호에서 이동하는 객체를 검출하는 장치에 관한 것으로서, 보다 상세하게는 다중 비디오 센서의 입력 신호에서 이동하는 객체를 검출하는 장치에 관한 것이다.
현대 과학 기술에 의해, 사업과 개인적인 생활을 더욱 안전하고 편리하게 하는 지능적인 보안 시스템이 개발되고 있다. 침입 탐지기는 감시 영역으로의 인간 신체의 침입을 탐지하는 자동 시스템이다. 감시 영역은 침입 탐지기를 통해 보호되어야 하는 영역으로서, 사무실, 은행, 가정 주택 또는 그 외의 빌딩 등 외부에 개방되는 공간이 아닌 지역을 포함한다. 지난 몇 년 이래로 이러한 보안 시스템 분야에 대한 다양한 기술적인 해결 방안들이 제안되고 있다.
일반적으로 객체 추적 시스템은 객체의 색상 정보를 이용하는 방식과 객체의 움직임 정보를 이용하여 추적하는 방식이 널리 사용되고 있는데, 그러한 객체 추적시스템의 일례를 살펴보면, 카메라에서 촬상된 영상화면의 프레임 데이터를 입력받아, 기 저장되어 있던 이전 프레임 데이터를 통해 존재하는 객체의 움직임 벡터를 산출하고, 이 움직임 벡터 계산에 의해 산출된 객체 영역의 움직임 벡터 정보를 근거로 객체를 추적하게 된다.
종래의 이러한 이동하는 객체를 추적하는 시스템은 하나의 센서 또는 한 종류의 센서를 이용하여 추적하는 방법이었다. 한편, 최근에는 보다 효율적인 감시를 위하여 동일한 지역에 여러 대의 센서(예컨대, 무인 카메라) 등을 설치하게 되며, 이때, 각 센서들은 종류도 다양하게 설치되어 각 센서에서 입력되는 영상의 종류 및 배율 등이 다양한 형태를 가지게 된다.
따라서, 동일 지역에 여러 개의 센서가 설치되었다 하더라도 각 센서에서 입력된 영상을 상호 융합하여 처리하지 못하고 개별적으로 처리하는 방법이 사용되었다. 이와 같이, 종래에는 여러 센서에서 입력된 영상을 적절히 융합하지 못함으로써 추적 효율이 떨어지는 문제점이 있었다. 또한, 움직이는 영상 신호 처리에 대한 객체 기반의 처리가 없어 잡음에 강하지 못한 특성이 존재하는 문제점이 있었다.
따라서, 본 발명의 목적은 복수의 종류의 센서들을 사용하여 이동 객체를 효율적으로 추적하고 융합하기 위한 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치를 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명의 장치는; 복수의 센서들로부터 수신된 신호들의 융합에 의한 이동 객체 추적 장치에 있어서, 상기 복수의 센서들로부터 수신된 각 신호에서 사용자가 원치 않는 카메라의 움직임에 인해 상기 입력되는 신호가 흔들리는 현상을 보상하는 영상 안정화부와, 상기 영상 안정화부에서 생성된 안정화된 영상으로 움직이는 객체의 초기값을 추정하기 위해서 배경 정보를 미 리 생성하고, 생성된 배경과 입력되는 영상의 차분을 계산하여 객체의 대략적인 위치 및 형태를 추정하는 객체 분할부와, 상기 객체 분할부에서 출력된 이동 객체의 분할 정보와 상기 영상 안정화부에서 출력된 안정화된 영상 정보를 이용하여 각 센서에서 입력받은 신호들을 영상 융합하는 이동 객체 추적부를 포함함을 특징으로 한다.
상기 영상 안정화부는 공간상 또는 주파수상에서의 디지털 움직임 추정 방법을 사용하여 영상을 보정하는 것을 특징으로 한다.
상기 객체 분할부는 상기 안정화된 비디오 신호에서 배경을 미리 생성하고, 상기 미리 생성된 배경과 현재 영상의 차분을 계산함으로써 움직이는 객체의 초기 결과를 추정하는 이동 객체 추출부와, 상기 이동 객체 추출부에서 추정된 객체의 대략적인 형태의 윤곽선을 능동 형태 기반 추적을 위한 훈련 집합으로 구성하여 모델링하는 형태 초기화부와, 상기 형태 초기화부에서의 모델링된 훈련 집합을 이용하여 변화하는 객체의 형태를 최적화하여 추적하는 능동 형태 기반 추적부와, 상기 이동 객체 추출부에서 배경 차분을 이용해서 얻은 이동 객체의 대략적인 형태와 위치를 검출하고, 상기 능동 형태 기반 추적부에서 추적되고 있는 이동 객체의 움직임을 예측함으로써 이동 객체의 영역을 추적하는 영역 추적부를 포함함을 특징으로 한다.
상기 이동 객체 추적부는 상기 복수의 센서에서 추출된 복수의 객체들을 포함하는 각 입력 센서들에 의해 입력된 영상을 동일한 영상으로 정합되도록 공간변환을 수행하는 영상 정합부와, 상기 영상 정합부에서 영상 정합된 각 센서로 입력 된 영상을 융합함으로써 추적 결과를 보완하는 영상 융합부와, 상기 영상 융합부에서의 융합된 영상과 상기 객체 분할부에서 출력된 이동 객체 분할 정보를 이용하여 상기 영상 융합부에서의 영상 융합이 정상적으로 수행되었는지를 검증하는 융합 결과 검증부를 포함함을 특징으로 한다.
상기 영상 융합부는 상기 영상 정합부에서 정합된 각 영상을 다중 스케일 변환하고, 상기 스케일 변환된 영상에 기반하여 레벨을 선택한 후, 다중스케일 역변환하는 것을 특징으로 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.
본 발명은 다중 비디오 센서의 입력 신호를 안정화하고, 형태기반 객체분할을 이용하여 이동하는 객체를 분할함으로써 이동객체의 형태 및 위치를 검출하고, 각각의 센서에서 얻어진 프레임들을 기준프레임의 위치에 일치하게 정합하여 다중센서의 특징을 가시화하기 위하여 각각의 프레임을 융합하는 방법을 제안한다.
즉, 본 발명은 여러 종류의 센서를 사용한 이동 객체를 효율적으로 추적하고, 융합하는 효과적인 방법을 제안하며, 이러한 효율적인 추적 및 융합을 위하여, 영상 융합, 영상안정화, 형태기반 객체분할, 영상 융합기반 이동객체 추적 등의 기 술을 적용한다
이하, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 장치를 설명한다.
도 1은 본 발명에 따른 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치를 나타낸 블록도이다. 상기 도 1을 참조하면, 본 발명에 따른 이동 객체 추적 장치는 영상 안정부(100), 객체 분할부(110) 및 이동 객체 추적부(120) 등으로 구성될 수 있다. 입력 센서 1 및 입력 센서 2로부터 입력된 영상 신호는 각각 상기 영상 안정화부(100)를 통해 손떨림 보상 등의 안정화(stabilization)가 이루어진다. 그런 다음, 상기 객체 분할부(110)에서 형태기반 객체 분할을 하고, 상기 객체 분할부(110)에서 분할된 정보와 상기 영상 안정화부(100)에서 출력된 안정화된 영상을 이용하여 상기 이동 객체 추적부(120)에서 영상 융합에 기반한 이동 객체 추적이 이루어지게 된다. 이때, 상기 도 1에서는 두 개의 센서로부터 입력된 영상 신호를 처리하는 구조로 도시되었으나 세 개 이상의 처리도 본 발명에 따라 동일한 방법으로 수행될 수 있음은 자명하다.
이하, 상기 도 1의 각 블록에서 수행되는 기능을 보다 구체적으로 설명하기로 한다.
먼저, 상기 영상 안정화부(100)에서는 손떨림 현상과 같은 사용자가 원치 않는 카메라의 움직임으로 인하여 입력되는 비디오가 흔들리는 현상을 보상하기 위한 알고리즘을 적용한다. 즉, 이와 같은 영상 안정화부(100)에서의 떨림에 대한 보상이 적절히 이루어지지 않을 경우 실제 움직이는 객체가 존재하지 않음에도 불구하 고 영상 변화로 인한 오판을 하게 되는 오류가 생길 수가 있게 된다.
한편, 특히 줌 기능을 사용해서 영상을 확대하여 저장하는 경우에는 손떨림과 같은 움직임에도 매우 민감하게 영상이 흔들리는 현상이 발생하게 된다. 이러한 경우에는 카메라 손떨림 현상을 보상하기 위한 영상안정화 기술이 필수적이다. 이와 같은 영상 안정화 기술은 일반적으로 자이로 스코프 등의 기계적인 센서로 움직임을 감지하여 움직인 영상을 보상하지만, 본 발명에서는 공간상 또는 주파수상에서의 디지털 움직임 추정 기법을 사용한다.
상기 객체 분할부(110)에서는 상기 영상 안정화부(100)에서 안정화된 영상으로 형태 기반 객체 분할을 수행한다. 이때, 영상에 존재하는 객체를 추적하기 위해서는 객체를 영상의 배경과 분리하는 과정이 필요하다. 본 발명에서는 움직이는 객체의 초기값을 추정하기 위해서 배경 정보를 미리 생성하고, 생성된 배경과 입력되는 영상의 차분을 계산하여 객체의 대략적인 위치 및 형태를 추정하게 된다. 여기서 추정된 객체의 초기 형태를 기본으로 하여 객체의 윤곽을 통계적으로 모델링하여 형태기반의 객체분할을 수행하게 된다.
다음으로, 상기 이동 객체 추적부(120)에서는 상기 객체 분할부(110)에서 출력된 이동 객체의 분할 정보와 상기 영상 안정화부(100)에서 출력된 안정화된 영상 정보를 이용하여 영상 융합 기반의 이동 객체 추적을 수행하게 된다. 이때, 본 발명에서는 다중 센서에서 입력된 영상들에서 분할된 각 객체 정보들을 상호 융합하여 이동하는 객체를 추적하는 방법을 제안한다.
예컨대, 조명이 없거나 어두운 장소에서 일반 비디오 카메라로 객체를 추적 하는 것은 불가능하기 때문에 적외선 센서로 객체를 추적하여 비디오 카메라에서 놓친 객체를 계속 추적할 수가 있게 된다. 또한, 숲 속에서 같은 색의 위장복을 착용하여 은닉하고 있는 객체 또는 사람을 적외선 센서로 객체를 추출해 내고, 그 결과를 비디오 카메라의 영상과 융합하여 추적 결과를 보완함으로써 효과적인 상호 융합을 할 수가 있게 된다.
이하, 상술한 본 발명에 따른 객체 분할부(110) 및 이동 객체 추적부(120)의 세부 구성을 도 2 및 도 3을 참조하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 객체 분할부(110)의 세부 구성을 나타낸 블록도이다. 상기 도 2를 참조하면, 본 발명의 실시예에 따른 객체 분할부(110)는 이동 객체 추출부(200), 영역 추적부(210), 형태 초기화부(220), 능동 형태 기반 추적부(230) 등으로 구성될 수 있다. 즉, 상기 객체 분할부(110)에서는 상기 영상 안정화부(100)로부터 제공된 안정화된 비디오에서 배경 차분을 이용한 이동객체를 추출하고, 그 영역 정보에서 능동형태 기반 추적 방식을 이용하여 이동 객체 정보를 산출하게 된다.
먼저, 상기 이동 객체 추출부(200)에서는 배경 차분을 이용한 이동 객체 추출을 수행하게 되며, 움직이는 객체를 추출하기 위하여 안정화된 비디오에서 배경을 미리 생성하고, 상기 미리 생성된 배경과 현재 영상의 차분을 계산함으로써 움직이는 객체의 초기 결과를 추정하게 된다.
상기 형태 초기화부(220)는 상기 이동 객체 추출부(200)에서 추정된 객체의 대략적인 형태의 윤곽선을 능동 형태 기반 추적을 위한 훈련 집합으로 구성하게 된 다. 이때, 자동차 등의 정형 객체와는 달리 보행중인 사람과 같은 비정형 객체를 추적하기 위해서는 통계적인 정보를 이용하는 능동 형태 기반의 추적을 위한 훈련 집합의 모델링이 필요하게 된다.
상기 능동 형태 기반 추적부(230)에서는 상기 형태 초기화부(220)에서의 모델링된 훈련 집합을 이용하여 객체의 형태를 추적하게 된다. 이때, 움직이는 비정형 객체는 상술한 바와 같이 각각의 영상 프레임에서의 형태가 변화하기 때문에 상기와 같은 모델링된 사전 훈련 집합을 사용해서 변화하는 객체의 형태를 최적화하여 추적하게 된다.
상기 영역 추적부(210)에서는 상기 이동 객체 추출부(200)에서 배경 차분을 이용해서 얻은 이동 객체의 대략적인 형태와 위치를 검출하고, 상기 능동 형태 기반 추적부(230)에서 추적되고 있는 이동 객체의 움직임을 예측함으로써 이동 객체의 영역을 추적하게 된다. 이렇게 함으로써, 상기 영역 추적부(210) 및 능동 형태 기반 추적부(230)에서 수행되는 추적의 정확도를 보다 향상시킬 수가 있게 된다. 최종적으로 상기 영역 추적부(210)에서는 이동 객체의 분할 정보를 생성하여 상술한 이동 객체 추적부(120)로 제공하게 된다.
도 3은 본 발명의 실시예에 따른 이동 객체 추적부(120)의 세부 구성을 나타낸 블록도이다. 상기 도 3을 참조하면, 상기 이동 객체 추적부(120)는 영상 정합부(300), 영상 융합부(310) 및 융합 결과 검증부(320) 등으로 구성될 수 있다. 이때, 상기 이동 객체 추적부(120)에서 수행되는 영상 융합 기반 이동객체 추적은 상기 객체 분할부(110)에서 생성된 이동 객체 분할 정보와 상기 영상 안정화부(100)에서 출력된 안정화 비디오를 이용하여 영상 정합과 영상 융합을 거쳐 객체 분할 기반 융합 결과를 검증하게 된다.
상기 이동 객체 추적부(120)의 각 기능 블록들의 세부 기능은 다음과 같다.
먼저, 상기 영상 정합부(300)에서는 추출된 객체 1 및 2를 포함하는 입력센서 1과 2의 영상을 동일한 영상으로 정합되도록 공간변환을 수행한다. 즉, 상술한 바와 같이 본 발명에서는 각기 다른 종류의 복수개의 센서를 사용하여 이동 객체를 추적하게 되므로 각 센서에서 출력되는 영상을 동일한 영상으로 정합하는 과정이 필요하게 된다.
한편, 상기 영상 정합부(300)에서는 이동하는 객체와 배경이 분리되어 입력되기 때문에 배경 영상인 안정화 비디오 1과 2를 정합하여 기준영상에 대하여 입력된 영상이 일치하도록 공간변환을 수행하게 된다. 이때, 배경 영상의 정보와 이동객체의 윤곽 정보를 동시에 사용하여 영상을 정합함으로써 영상 정합의 정확도를 높일 수가 있게 된다.
상기 영상 융합부(310)에서는 상기 영상 정합부(300)에서 영상 정합된 각 센서의 영상을 융합함으로써 추적 결과를 보완하게 된다. 예컨대, 상술한 바와 같이 조명이 없거나 어두운 장소에서 일반 비디오 카메라로 객체를 추적하는 것이 불가능하기 때문에 적외선 센서와 같은 다른 특성을 갖는 센서를 이용하여 객체를 추적하여 비디오 카메라에서 추적할 수 없는 객체를 추적하게 된다.
또한, 숲 속에서 같은 색의 위장복을 착용하여 은닉하고 있는 객체 또는 사람을 적외선 센서로 객체를 추출해 내고, 그 결과를 비디오 카메라의 영상과 융합 하여 추적 결과를 보완할 수가 있게 된다.
이때, 상기 영상을 융합하는 방법으로는 입력되는 영상들을 공간 주파수 성분과 위치 정보를 분석할 수 있는 다중스케일 변환을 이용하여 융합 목적에 적합한 화소 선택법을 적용함으로써 서로 다른 센서로 입력된 영상들을 이해하기 쉽고 추적하기 쉽게 가시화하게 된다.
마지막으로, 상기 융합 결과 검증부(320)에서는 상기 영상 융합부(310)에서의 융합된 영상과 상기 객체 분할부(110)에서 출력된 이동 객체 분할 정보를 이용하여 상기 영상 융합부(310)에서의 영상 융합이 정상적으로 수행되었는지를 검증하게 된다. 즉, 상기 융합된 영상이 추적된 이동 객체를 포함하고 있는지 이동객체 1 및 2의 윤곽과 위치를 비교함으로써 융합이 성공적으로 수행되었는지 검증한다. 상기 검증 결과 융합이 성공적이면 융합된 객체 정보와 비디오를 최종 출력으로 내보내게 된다.
도 4는 본 발명의 실시예에 따른 영상 융합부(310)에서의 처리 과정을 나타낸 도면이다. 상기 도 4를 참조하면, 영상의 융합은 상기 영상 정합부(300)에서 정합된 각 영상을 다중 스케일 변환(400)하고, 상기 스케일 변환된 영상에 기반하여 레벨을 선택(410)한 후, 다중스케일 역변환(420)하는 단계로 이루어진다.
도 5는 본 발명의 실시예에 따른 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 절차를 나타낸 흐름도이다.
상기 도 5를 참조하면, 먼저 각 복수의 다중 센서들로 입력된 입력 비디오 신호를 안정화(S501)시키게 된다. 그런 다음, 상기 안정화된 비디오 신호에서 배경 차분을 이용하여 이동 객체를 추출(S502)하게 된다. 또한, 상기 이동 객체 추출에 의해 배경 차분을 이용해서 얻은 이동 객체의 대략적인 형태와 위치를 검출함으로써 상기 이동 객체에 대한 정보를 산출(S503)하게 된다.
상기와 같이 이동 객체에 대한 분할 정보가 생성되면, 상기 이동 객체 분할 정보와 안정화된 비디오 신호를 이용하여 각 센서의 신호들을 영상 정합(S504)한 후, 영상 융합하게 된다. 상기 영상 융합은 상술한 바와 같이 상기 영상 정합 과정에서 정합된 각 영상을 다중 스케일 변환(S505)하고, 레벨 선택(S506)한 후, 다중 스케일 역변환(S507)함으로써 이동 객체에 대한 형태 및 위치 정보가 생성된다. 상기 영상 융합에 따른 결과는 상기 단계에서 생성된 이동 객체에 대한 정보를 통해 검증(S508)을 함으로써 보다 신뢰성 있는 정보를 최종 출력하게 된다.
이상으로 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같은 본 발명은, 여러 종류의 센서로 입력된 신호를 본 발명에 따라 영상 정합 및 영상 융합함으로써 상기 각 센서에서의 추적 결과를 보완하게 된다. 즉, 적외선 센서와 비디오 카메라를 통한 영상 추적을 수행할 경우 상기 비 디오 카메라로 추출할 수 없는 움직이는 객체를 상기 적외선 센서로 추출해 내고, 본 발명에 따라 상기 결과를 비디오 카메라의 영상에 융합함으로써 추적 결과를 효과적으로 보완할 수가 있게 되는 장점이 있다.
또한, 이동 객체에 대한 분할 정보 생성시 객체 형태에 기반한 객체 분할을 수행함으로써 잡음에 보다 강한 이동 객체 추출이 가능해지는 장점이 있다.

Claims (4)

  1. 복수의 센서들로 입력된 신호들의 융합에 의한 이동 객체 추적 장치에 있어서,
    상기 복수의 센서들로부터 수신된 각 신호에서 사용자가 원치 않는 카메라의 움직임으로 인해 상기 입력되는 신호가 흔들리는 현상을 보상하는 영상 안정화부와,
    상기 영상 안정화부에서 생성된 안정화된 영상으로 움직이는 객체의 초기값을 추정하기 위해서 배경 정보를 미리 생성하고, 생성된 배경과 입력되는 영상의 차분을 계산하여 객체의 대략적인 위치 및 형태를 추정하는 객체 분할부와,
    상기 객체 분할부에서 출력된 이동 객체의 분할 정보와 상기 영상 안정화부에서 출력된 안정화된 영상 정보를 이용하여 상기 각 센서에서 수신된 신호들을 영상 융합하는 이동 객체 추적부를 포함함을 특징으로 하는 상기 장치.
  2. 제1항에 있어서, 상기 객체 분할부는,
    상기 안정화된 비디오 신호에서 배경을 미리 생성하고, 상기 미리 생성된 배경과 현재 영상의 차분을 계산함으로써 움직이는 객체의 초기 결과를 추정하는 이동 객체 추출부와,
    상기 이동 객체 추출부에서 추정된 객체의 대략적인 형태의 윤곽선을 능동 형태 기반 추적을 위한 훈련 집합으로 구성하여 모델링하는 형태 초기화부와,
    상기 형태 초기화부에서의 모델링된 훈련 집합을 이용하여 변화하는 객체의 형태를 최적화하여 추적하는 능동 형태 기반 추적부와,
    상기 이동 객체 추출부에서 배경 차분을 이용해서 얻은 이동 객체의 대략적인 형태와 위치를 검출하고, 상기 능동 형태 기반 추적부에서 추적되고 있는 이동 객체의 움직임을 예측함으로써 이동 객체의 영역을 추적하는 영역 추적부를 포함함을 특징으로 하는 상기 장치.
  3. 제1항에 있어서, 상기 이동 객체 추적부는,
    상기 복수의 센서에서 추출된 복수의 객체들을 포함하는 각 입력 센서들로부터의 영상을 동일한 영상으로 정합되도록 공간변환을 수행하는 영상 정합부와,
    상기 영상 정합부에서 영상 정합된 각 센서의 영상을 융합함으로써 추적 결과를 보완하는 영상 융합부와,
    상기 영상 융합부에서의 융합된 영상과 상기 객체 분할부에서 출력된 이동 객체 분할 정보를 이용하여 상기 영상 융합부에서의 영상 융합이 정상적으로 수행되었는지를 검증하는 융합 결과 검증부를 포함함을 특징으로 하는 상기 장치.
  4. 제3항에 있어서, 상기 영상 융합부는, 상기 영상 정합부에서 정합된 각 영상 을 다중 스케일 변환하고, 상기 스케일 변환된 영상에 기반하여 레벨을 선택한 후, 다중스케일 역변환하는 것을 특징으로 하는 상기 장치.
KR1020050064855A 2005-07-18 2005-07-18 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치 KR100677913B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050064855A KR100677913B1 (ko) 2005-07-18 2005-07-18 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050064855A KR100677913B1 (ko) 2005-07-18 2005-07-18 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치

Publications (2)

Publication Number Publication Date
KR20070010352A KR20070010352A (ko) 2007-01-24
KR100677913B1 true KR100677913B1 (ko) 2007-02-05

Family

ID=38011579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050064855A KR100677913B1 (ko) 2005-07-18 2005-07-18 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치

Country Status (1)

Country Link
KR (1) KR100677913B1 (ko)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
WO2024167173A1 (en) * 2023-02-07 2024-08-15 Samsung Electronics Co., Ltd. Full frame media stabilization in electronic devices

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698092B2 (en) 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
KR101396838B1 (ko) * 2013-01-24 2014-05-19 전자부품연구원 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
US9779487B2 (en) * 2013-10-11 2017-10-03 Disney Enterprises, Inc. Methods and systems of local signal equalization
KR102209008B1 (ko) 2014-02-17 2021-01-28 삼성전자주식회사 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
KR102503057B1 (ko) * 2022-09-14 2023-02-23 (주)트루엔 입력 이미지를 보정하는 전자 장치 및 전자 장치의 동작 방법

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US10033944B2 (en) 2009-03-02 2018-07-24 Flir Systems, Inc. Time spaced infrared image enhancement
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9807319B2 (en) 2009-06-03 2017-10-31 Flir Systems, Inc. Wearable imaging devices, systems, and methods
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9521289B2 (en) 2011-06-10 2016-12-13 Flir Systems, Inc. Line based image processing and flexible memory system
US9723227B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9723228B2 (en) 2011-06-10 2017-08-01 Flir Systems, Inc. Infrared camera system architectures
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US9538038B2 (en) 2011-06-10 2017-01-03 Flir Systems, Inc. Flexible memory systems and methods
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9716844B2 (en) 2011-06-10 2017-07-25 Flir Systems, Inc. Low power and small form factor infrared imaging
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US10230910B2 (en) 2011-06-10 2019-03-12 Flir Systems, Inc. Infrared camera system architectures
US9706139B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Low power and small form factor infrared imaging
US10250822B2 (en) 2011-06-10 2019-04-02 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
WO2024167173A1 (en) * 2023-02-07 2024-08-15 Samsung Electronics Co., Ltd. Full frame media stabilization in electronic devices

Also Published As

Publication number Publication date
KR20070010352A (ko) 2007-01-24

Similar Documents

Publication Publication Date Title
KR100677913B1 (ko) 다중 센서 비디오 신호의 융합에 의한 이동 객체 추적 장치
Del Bimbo et al. Particle filter-based visual tracking with a first order dynamic model and uncertainty adaptation
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130057283A (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
US20130155226A1 (en) Object tracking system using robot and object tracking method using a robot
US20150146988A1 (en) Image angle variation detection device, image angle variation detection method and image angle variation detection program
WO2016021147A1 (ja) 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
US20160210756A1 (en) Image processing system, image processing method, and recording medium
EP2061009B1 (en) Iterative motion segmentation
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
Kim et al. Spatio-temporal weighting in local patches for direct estimation of camera motion in video stabilization
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
KR102426649B1 (ko) 지능형 카메라 영상에 대한 프라이버시 마스킹장치 및 방법
Greenhill et al. Occlusion analysis: Learning and utilising depth maps in object tracking
US20080198237A1 (en) System and method for adaptive pixel segmentation from image sequences
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Shahbazi et al. Visual–inertial object tracking: Incorporating camera pose into motion models
Shahbaz et al. Probabilistic foreground detector with camouflage detection for sterile zone monitoring
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
Greenhill et al. Learning the semantic landscape: embedding scene knowledge in object tracking

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 14