KR101480824B1 - 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법 - Google Patents

다중 호모그래피 기법을 이용한 배경 움직임 보상 방법 Download PDF

Info

Publication number
KR101480824B1
KR101480824B1 KR1020140016479A KR20140016479A KR101480824B1 KR 101480824 B1 KR101480824 B1 KR 101480824B1 KR 1020140016479 A KR1020140016479 A KR 1020140016479A KR 20140016479 A KR20140016479 A KR 20140016479A KR 101480824 B1 KR101480824 B1 KR 101480824B1
Authority
KR
South Korea
Prior art keywords
group
motion
motion vector
background
homography
Prior art date
Application number
KR1020140016479A
Other languages
English (en)
Inventor
성기열
정영헌
김소연
박현욱
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140016479A priority Critical patent/KR101480824B1/ko
Application granted granted Critical
Publication of KR101480824B1 publication Critical patent/KR101480824B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서도 획득된 영상에서 이동 표적을 정확히 탐지해 내기 위하여 배경영역을 분리하고 그 움직임을 보상하는 배경 움직임 보상 방법에 관한 것이다.

Description

다중 호모그래피 기법을 이용한 배경 움직임 보상 방법{Background motion compensation method using multi-homography scheme}
본 발명은 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서도 획득된 영상에서 이동 표적을 정확히 탐지해 내기 위하여 배경영역을 분리하고 그 움직임을 보상하는 배경 움직임 보상 방법에 관한 것이다.
영상을 이용한 감시장비는 군사적 목적뿐만 아니라, 교통관제 및/또는 시설 보안등의 민수분야에서도 활용도가 높아지고 있으며, 이와 관련된 기술들이 매우 활발히 연구되고 있는 분야이다. 특히, 최근 군사적 목적으로 활용이 예상되는 무인감시장비는 그 특성상 획득된 영상을 이용하여 자동으로 표적을 추출하고 표적위치를 파악하기 위한 자동 표적탐지기능이 요구된다.
일반적으로 대부분의 이동 표적 탐지 기법은 이전 프레임의 영상과 현재 프레임의 영상의 차를 이용하여 영상 간의 변화를 찾아내어 이동 표적을 탐지하는 방법을 사용하고 있다.
이와 같은 표적탐지 방식은 감시장비가 고정된 상태로 운용되는 경우에는 좋은 성능을 기대할 수 있으나, 차량과 같은 이동 플랫폼에 장착하여 운용되는 감시장비의 경우에는 획득된 영상 내에서 이동 표적 뿐만 아니라 표적 이외의 배경 영역에서도 이전 프레임과 현재 프레임의 영상 간에 변화가 발생함으로서 표적을 탐지하는데 한계가 있다.
따라서 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서도 이동 표적을 정확히 탐지하기 위해서는 표적과 배경영역을 분리하여 배경영역의 움직임을 보상할 수 있는 방법이 요구된다.
1. 한국공개특허번호 제10-2009-0065198호 2. 한국공개특허번호 제10-2012-0054325호 3. 한국공개특허번호 제10-2010-0072843호
1. 곽동민외, "클러터 환경에서 영상특징을 이용한 표적 추적"전자공학회논문지 49(10) 209-216 2287-5026 2013년 1월.
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서도 이동 표적을 정확히 탐지하기 위해서는 표적과 배경영역을 분리하여 배경영역의 움직임을 보상할 수 있는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서도 이동 표적을 정확히 탐지하기 위해서는 표적과 배경영역을 분리하여 배경영역의 움직임을 보상할 수 있는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법을 제공한다.
상기 배경 움직임 보상 방법은,
영상을 이용한 감시장비에서의 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법에 있어서,
연속적으로 입력되는 영상 프레임에서 이전 프레임 영상
Figure 112014014124045-pat00001
과 현재 프레임 영상
Figure 112014014124045-pat00002
에 대해 특징점(features) 추출 및 정합하는 추출 정합 단계;
정합된 특징점 쌍에 대한 위치의 차이를 이용하여 배경 움직임을 표시하는 모션벡터들을 계산하는 모션벡터 계산 단계;
상기 모션벡터들의 크기와 방향이 유사한 것들끼리 묶어주는 그룹핑을 수행하는 그룹핑 단계;
각 그룹마다 움직임을 정의할 수 있는 다중 호모그래피 매트릭스를 생성하는 호모그래피 매트릭스 생성 단계; 및
생성된 다중 호모그래피 매트릭스를 이용하여 추정된 배경 움직임을 보상하는 움직임 보상 단계;
현재 프레임 영상
Figure 112014014124045-pat00003
과 배경 움직임이 보상된 영상
Figure 112014014124045-pat00004
의 차영상을 구함으로써 이동 표적을 탐지하는 이동 표적 탐지 단계;를 포함하는 것을 특징으로 한다.
이때, 상기 특징점 추출 및 정합은 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 수행되는 것을 특징으로 할 수 있다.
또한, 상기 모션벡터들의 방향은 감시장비가 이동하는 방향에 따라 결정되며, 상기 모션벡터들의 크기는 상기 감시장비로부터의 거리에 따라 크기가 다르게 나타나는 것을 특징으로 할 수 있다.
또한, 상기 다중 호모그래피 매트릭스는 적응형 다중 호모그래피 매트릭스인 것을 특징으로 할 수 있다.
또한, 상기 움직임은 평행이동, 줌, 및 회전 중 적어도 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 호모그래피 매트릭스는 수학식
Figure 112014014124045-pat00005
(여기서, x', y'는 현재(t) 프레임에서 추출한 특징점(
Figure 112014014124045-pat00006
)의 좌표,
x", y"는 이전(t-1) 프레임에서 추출한 특징점(
Figure 112014014124045-pat00007
)의 좌표,
Figure 112014014124045-pat00008
,
Figure 112014014124045-pat00009
는 평행이동 계수,
Figure 112014014124045-pat00010
,
Figure 112014014124045-pat00011
는 줌 계수,
Figure 112014014124045-pat00012
는 회전 계수를 나타낸다)으로 표현되는 것을 특징으로 할 수 있다.
또한, 각 그룹의 호모그래피 매트릭스는 해당 그룹의 정합된 특징점들에 대해 RANSAC(RANdom Sample Consensus) 알고리즘을 적용하여 산출되는 것을 특징으로 할 수 있다.
상기 RANSAC 알고리즘을 적용한 그룹별 호모그래피 매트릭스
Figure 112014014124045-pat00013
(단,
Figure 112014014124045-pat00014
이고,
Figure 112014014124045-pat00015
은 전체 그룹의 개수)은 해당 그룹의 특징점들에 대한 변환 오차를 최소화하는 값으로 수학식
Figure 112014014124045-pat00016
(여기서,
Figure 112014014124045-pat00017
는 현재 프레임 영상의
Figure 112014014124045-pat00018
번째 특징점의 좌표,
Figure 112014014124045-pat00019
는 이전 프레임 영상에서 대응되는
Figure 112014014124045-pat00020
번째 특징점 좌표,
Figure 112014014124045-pat00021
은 해당 그룹내에서 매칭된 특징점의 개수,
Figure 112014014124045-pat00022
는 매칭된 특징점들에 대한 변환 오차를 나타냄)으로 표현되는 것을 특징으로 할 수 있다.
또한, 상기 그룹핑 단계는, 모션 벡터들을 선택하여 초기 모션 벡터 그룹들에 할당하는 단계; 그룹별로 상기 모션 벡터 그룹들의 평균 모션 벡터값을 산출하는 단계; 상기 초기 모션 벡터 그룹들에 할당되지 않은 그룹 미할당 모션 벡터를 선택하는 단계; 선택된 그룹 미할당 모션 벡터를 평균 모션 벡터값과 비교하여 해당 그룹에 속하게 하거나 다른 새그룹을 생성하는 단계; 및 그룹 미할당 모션 벡터가 있는지를 확인하여, 그룹 미할당 모션 벡터가 없으면, 그룹별 모션 벡터의 개수를 임계치와 비교하여 해당 그룹을 삭제하거나 유지하는 단계;를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따라 영상을 이용한 감시장비에 있어서 감시장비가 이동하는 환경에서 운용되는 경우, 다중 호모그래피 매트릭스(homography matrix)를 이용해 배경 움직임을 추정하여 배경 움직임을 보상하고, 배경 움직임이 보상된 영상과 현재 프레임 영상의 차를 구함으로써, 감시장비 이동 간에도 이동 표적을 탐지할 수 있다.
또한, 본 발명의 다른 효과로서는 감시장비 이동 간 표적 탐지 능력을 확보함으로써, 감시 능력을 크게 향상시킬 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 다중 호모그래피 기법을 이용한 배경 움직임 보상 과정을 보여주는 흐름도이다.
도 2는 도 1에 도시된 모션 벡터 검출 및 그룹핑 단계(S130)를 상세하게 설명한 흐름도이다.
도 3은 본 발명의 일실시예에 따른 t-1 프레임 영상과 t 프레임 영상의 정합을 보여주는 개념도이다.
도 4는 도 3에 도시된 영상 정합에 의해 획득된 모션 벡터를 보여주는 화면예이다.
도 5는 본 발명의 일실시예에 따른 모션 벡터 그룹핑의 예를 보여주는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법을 상세하게 설명하기로 한다.
감시장비(미도시)가 이동하는 환경에서 감시장비로부터 획득된 영상에서 발생할 수 있는 움직임은 크게 두 종류로 나뉜다. 하나는 감시장비의 이동으로 인한 영상센서(미도시)의 움직임으로 야기되는 배경 움직임(Global motion)이다. 다른 하나는 배경을 제외한 이동 표적의 움직임(Local motion)이다.
배경 움직임은 감시장비로부터의 거리에 따라 이동량이 각기 다르게 나타난다. 예를 들어, 감시장비로부터 먼 거리에 있는 물체는 이동량이 작게 나타나며, 가까운 거리에 있는 물체는 이동량이 상대적으로 매우 크게 나타난다.
따라서, 본 발명의 일실시예서는 감시장비가 이동하는 상황에서 감시장비로부터의 거리에 따라 각기 다르게 나타나는 여러 배경 움직임들을 그룹핑하고, 각 그룹마다 움직임(회전, 평행이동, 줌)을 정의할 수 있는 호모그래피 매트릭스(Homography matrix)를 구하여 배경 움직임을 추정한다. 특히, 적응형 다중 homography 기법을 이용하여 배경을 추출한 후, 배경을 제외한 이동 표적을 탐지해 내는 방법을 제안한다.
도 1은 본 발명의 일실시예에 따른 다중 호모그래피 기법을 이용한 배경 움직임 보상 과정을 보여주는 흐름도이다. 도 1을 참조하면, 먼저, 연속적으로 입력되는 영상 프레임에서 이전 프레임 영상
Figure 112014014124045-pat00023
과 현재 프레임 영상
Figure 112014014124045-pat00024
에 대해 특징점(features) 추출 및 정합 과정을 거친다(단계 S110,S120).
특징점 추출 및 정합은 일반적으로 많이 알려진 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 알고리즘 등을 사용할 수 있다. 이러한 특징점 추출에 대한 개념을 보여주는 도면이 도 3에 도시된다. 도 3에 대하여는 후술하기로 한다.
도 1을 계속 참조하면, 특징점 추출 및 정합이후, 배경 움직임을 표시하는 모션벡터들을 계산하고 모션벡터의 크기와 방향이 유사한 것들끼리 묶어주는 그룹핑 과정을 거친다(단계 S130).
배경의 움직임, 즉 모션벡터는 두 영상에서 정합된 특징점 쌍에 대한 위치의 차이로 구할 수 있으며, 감시장비가 이동하는 방향에 따라 모션벡터의 방향이 결정되며, 감시장비로부터의 거리에 따라 크기가 다르게 나타난다. 이를 보여주는 도면이 도 4에 도시된다. 도 4에 대하여는 후술하기로 한다.
그룹핑은 유사한 모션벡터끼리 묶어주는 것으로써, 이러한 그룹핑 과정을 보여주는 도면이 도 2에 도시된다. 도 2에 대하여는 후술하기로 한다.
모션 벡터 검출 및 그룹핑이 완료되면, 각 그룹마다 움직임(평행이동, 줌, 회전)을 정의할 수 있는 적응형 다중 Homography matrix(
Figure 112014014124045-pat00025
)을 구한다(단계 S140). 여기서 L은 그룹의 개수이다.
Homography matrix는 다음식 같이 평행이동, 줌, 회전 움직임을 표현하는 계수
Figure 112014014124045-pat00026
로 구성되어 있다.
Figure 112014014124045-pat00027
여기서, x', y'는 현재(t) 프레임에서 추출한 특징점(
Figure 112014014124045-pat00028
)의 좌표이고, x", y"는 이전(t-1) 프레임에서 추출한 특징점(
Figure 112014014124045-pat00029
)의 좌표이며,
Figure 112014014124045-pat00030
,
Figure 112014014124045-pat00031
는 평행이동 계수,
Figure 112014014124045-pat00032
,
Figure 112014014124045-pat00033
는 줌 계수,
Figure 112014014124045-pat00034
는 회전 계수를 나타낸다.
각 그룹의 호모그래피 매트릭스는 해당 그룹의 정합된 특징점들에 대해 RANSAC(RANdom Sample Consensus) 알고리즘을 적용하여 구할 수 있다. RANSAC 알고리즘을 적용한 그룹별 호모그래피 매트릭스
Figure 112014014124045-pat00035
(단,
Figure 112014014124045-pat00036
이고,
Figure 112014014124045-pat00037
은 전체 그룹의 개수)은 해당 그룹의 특징점들에 대한 변환 오차를 최소화하는 값이며, 이를 수학식으로 나타내면 다음과 같다.
Figure 112014014124045-pat00038
여기서,
Figure 112014014124045-pat00039
는 현재 프레임 영상의
Figure 112014014124045-pat00040
번째 특징점의 좌표,
Figure 112014014124045-pat00041
는 이전 프레임 영상에서 대응되는
Figure 112014014124045-pat00042
번째 특징점 좌표,
Figure 112014014124045-pat00043
은 해당 그룹내에서 매칭된 특징점의 개수,
Figure 112014014124045-pat00044
는 매칭된 특징점들에 대한 변환 오차를 나타낸다.
이후, t-1 프레임의 모든 픽셀에 가장 적합한 homography matrix를 구하여 추정된 배경 움직임을 보상하는 단계이다. 먼저, t-1 프레임의 모든 픽셀에 대해 가장 적합한 homography matrix를 아래식과 같이 구한다.
Figure 112014014124045-pat00045
그리고, 상기의 방법으로 구하여진 각 픽셀 별 최적의 homography matrix를 모든 픽셀에 대해 각각 적용하여 배경 움직임이 보상된 영상
Figure 112014014124045-pat00046
을 구한다.
마지막 단계로서, 현재 프레임의 영상
Figure 112014014124045-pat00047
와 배경 움직임이 보상된 영상
Figure 112014014124045-pat00048
의 차영상을 구함으로써 이동 표적을 탐지하게 된다.
도 2는 도 1에 도시된 모션 벡터 검출 및 그룹핑 단계(S130)를 상세하게 설명한 흐름도이다. 도 2를 참조하면, 임의의 모션벡터를 선택하고, 초기 모션벡터 그룹에 할당한다(단계 S210).
모션벡터 그룹들의 평균 모션벡터 값을 구한다(단계 S220).
모션벡터 그룹에 할당되지 않은 새로운 그룹 미할당 모션벡터를 선택하고, 새로운 그룹 미할당 모션벡터를 각 그룹들의 평균 모션벡터값들과 비교한다(단계 S230,S240).
단계(S250)에서, 새로운 그룹 미할당 모션벡터값과 각 모션벡터 그룹의 평균값의 차이가 문턱값
Figure 112014014124045-pat00049
보다 작으면 해당 그룹에 속하도록 한다(단계 S251).
이와달리, 단계(S250)에서, 새로운 그룹 미할당 모션벡터값과 각 모션벡터 그룹의 평균값의 차이가 문턱값
Figure 112014014124045-pat00050
보다 크면, 새로운 그룹을 생성하고 해당 모션벡터를 새 모션벡터 그룹에 할당한다(단계 S252).
단계(S260)에서, 어느 그룹에도 할당되지 않은 그룹 미할당 모션벡터가 있는지 확인하고, 그룹 미할당 모션벡터가 있으면 단계(S220) 내지 단계(S260)를 반복수행한다. 이러한 반복 수행에 따라 모든 모션벡터들에 대해 위와 같은 단계들을 반복 수행한다.
이와달리, 단계(S260)에서, 더이상 그그룹 미할당 모션벡터가 없으면, 생성된 각각의 그룹별로 모션벡터의 개수를 임계치(Tn)와 비교한다(단계 S270).
비교결과, 단계(270)에서 모션벡터의 개수가 임계치보다 작으면 해당 그룹은 잘못 정합된 그룹으로 판단하여 그룹을 삭제한다(단계 S280).
이와 달리, 단계(S270)에서 모션벡터의 개수가 임계치보다 크면 해당 그룹을 유지한다.
도 3은 본 발명의 일실시예에 따른 t-1 프레임 영상과 t 프레임 영상의 정합을 보여주는 개념도이다. 도 3은 감시장비(미도시)가 좌에서 우로 이동하는 상황에서 t-1 프레임(310)과 t 프레임(320)에서 영상 특징점들을 추출한 결과를 도시한 것이다. t-1 프레임(310)에서 추출한 임의의 특징점
Figure 112014014124045-pat00051
(311)과 t 프레임(320)에서 추출한 특징점
Figure 112014014124045-pat00052
(321)이 동일한 지점으로 정합된 것을 나타낸다.
도 4는 도 3에 도시된 영상 정합에 의해 획득된 모션 벡터를 보여주는 화면예이다. 도 4는 도 3으로부터 획득한 모션벡터들을 영상의 픽셀(640ㅧ480) 좌표 기준으로 도시한 것이다. 도면에 도시된 바와 같이, 감시장비로부터 먼 거리에 있는 물체(일반적으로 영상의 윗부분에 해당)들은 모션벡터의 크기가 작으며, 가까이에 있는 물체(일반적으로 영상의 아랫부분에 해당)는 모션벡터의 크기가 상대적으로 크게 나타남을 알 수 있다. 도 4에서 불균일한 방향을 갖거나 크기가 매우 큰 모션벡터(410)가 산발적으로 발생된 것은 배경의 움직임이 아닌 이동물체에 의한 것이거나 영상 정합시의 오차로 판단하여 그룹핑 단계에서 제거된다.
도 5는 본 발명의 일실시예에 따른 모션 벡터 그룹핑의 예를 보여주는 개념도이다. 도 5를 참조하면, 인라이어(inlier) 모션 벡터 그룹(510)과 아웃라이어(outlier) 모션 벡터 그룹(520)으로 그룹핑된다.
310: t-1 프레임
320: t 프레임

Claims (9)

  1. 영상을 이용한 감시장비에서의 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법에 있어서,
    연속적으로 입력되는 영상 프레임에서 이전 프레임 영상
    Figure 112014014124045-pat00053
    과 현재 프레임 영상
    Figure 112014014124045-pat00054
    에 대해 특징점(features) 추출 및 정합하는 추출 정합 단계;
    정합된 특징점 쌍에 대한 위치의 차이를 이용하여 배경 움직임을 표시하는 모션벡터들을 계산하는 모션벡터 계산 단계;
    상기 모션벡터들의 크기와 방향이 유사한 것들끼리 묶어주는 그룹핑을 수행하는 그룹핑 단계;
    각 그룹마다 움직임을 정의할 수 있는 다중 호모그래피 매트릭스를 생성하는 호모그래피 매트릭스 생성 단계; 및
    생성된 다중 호모그래피 매트릭스를 이용하여 추정된 배경 움직임을 보상하는 움직임 보상 단계;
    현재 프레임 영상
    Figure 112014014124045-pat00055
    과 배경 움직임이 보상된 영상
    Figure 112014014124045-pat00056
    의 차영상을 구함으로써 이동 표적을 탐지하는 이동 표적 탐지 단계;
    를 포함하는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  2. 제 1 항에 있어서,
    상기 특징점 추출 및 정합은 SIFT(Scale Invariant Feature Transform) 또는 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 수행되는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  3. 제 1 항에 있어서,
    상기 모션벡터들의 방향은 감시장비가 이동하는 방향에 따라 결정되며, 상기 모션벡터들의 크기는 상기 감시장비로부터의 거리에 따라 크기가 다르게 나타나는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  4. 제 1 항에 있어서,
    상기 다중 호모그래피 매트릭스는 적응형 다중 호모그래피 매트릭스인 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  5. 제 1 항에 있어서,
    상기 움직임은 평행이동, 줌, 및 회전 중 적어도 어느 하나인 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  6. 제 5 항에 있어서,
    상기 호모그래피 매트릭스는 수학식
    Figure 112014014124045-pat00057
    (여기서, x', y'는 현재(t) 프레임에서 추출한 특징점(
    Figure 112014014124045-pat00058
    )의 좌표,
    x", y"는 이전(t-1) 프레임에서 추출한 특징점(
    Figure 112014014124045-pat00059
    )의 좌표,
    Figure 112014014124045-pat00060
    ,
    Figure 112014014124045-pat00061
    는 평행이동 계수,
    Figure 112014014124045-pat00062
    ,
    Figure 112014014124045-pat00063
    는 줌 계수,
    Figure 112014014124045-pat00064
    는 회전 계수를 나타낸다)으로 표현되는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  7. 제 1 항에 있어서,
    각 그룹의 다중 호모그래피 매트릭스는 해당 그룹의 정합된 특징점들에 대해 RANSAC(RANdom Sample Consensus) 알고리즘을 적용하여 산출되는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  8. 제 7 항에 있어서,
    상기 RANSAC 알고리즘을 적용한 그룹별 호모그래피 매트릭스
    Figure 112014014124045-pat00065
    (단,
    Figure 112014014124045-pat00066
    이고,
    Figure 112014014124045-pat00067
    은 전체 그룹의 개수)은 해당 그룹의 특징점들에 대한 변환 오차를 최소화하는 값으로 수학식
    Figure 112014014124045-pat00068
    (여기서,
    Figure 112014014124045-pat00069
    는 현재 프레임 영상의
    Figure 112014014124045-pat00070
    번째 특징점의 좌표,
    Figure 112014014124045-pat00071
    는 이전 프레임 영상에서 대응되는
    Figure 112014014124045-pat00072
    번째 특징점 좌표,
    Figure 112014014124045-pat00073
    은 해당 그룹내에서 매칭된 특징점의 개수,
    Figure 112014014124045-pat00074
    는 매칭된 특징점들에 대한 변환 오차를 나타냄)으로 표현되는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
  9. 제 1 항에 있어서,
    상기 그룹핑 단계는,
    모션 벡터들을 선택하여 초기 모션 벡터 그룹들에 할당하는 단계(임의 모션 벡터 1개 와 초기 모션 벡터 그룹 1개만 할당)S210;
    그룹별로 상기 모션 벡터 그룹들의 평균 모션 벡터값을 산출하는 단계;
    상기 초기 모션 벡터 그룹들에 할당되지 않은 그룹 미할당 모션 벡터를 선택하는 단계;
    선택된 그룹 미할당 모션 벡터를 평균 모션 벡터값과 비교하여 해당 그룹에 속하게 하거나 다른 새그룹을 생성하는 단계; 및
    그룹 미할당 모션 벡터가 있는지를 확인하여, 그룹 미할당 모션 벡터가 없으면, 그룹별 모션 벡터의 개수를 임계치와 비교하여 해당 그룹을 삭제하거나 유지하는 단계;를 포함하는 것을 특징으로 하는 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법.
KR1020140016479A 2014-02-13 2014-02-13 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법 KR101480824B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140016479A KR101480824B1 (ko) 2014-02-13 2014-02-13 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140016479A KR101480824B1 (ko) 2014-02-13 2014-02-13 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법

Publications (1)

Publication Number Publication Date
KR101480824B1 true KR101480824B1 (ko) 2015-01-13

Family

ID=52588575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140016479A KR101480824B1 (ko) 2014-02-13 2014-02-13 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법

Country Status (1)

Country Link
KR (1) KR101480824B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170012666A (ko) * 2015-07-22 2017-02-03 (주)인스페이스 이동 물체 검출 장치 및 그 제어 방법
KR20230030996A (ko) 2021-08-26 2023-03-07 현대자동차주식회사 객체 추적 장치 및 방법
CN117876945A (zh) * 2024-03-11 2024-04-12 上海通用卫星导航有限公司 一种用于导引头的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Suhr, Jae Kyu, et al. "Background compensation for pan-tilt-zoom cameras using 1-D feature matching and outlier rejection." Circuits and Systems for Video Technology, IEEE Tr. 21.3 (2011): 371-377. *
Uemura, Hirofumi, Seiji Ishikawa, and Krystian Mikolajczyk. "Feature Tracking and Motion Compensation for Action Recognition." BMVC. 2008. *
박용희, 권오석, "가이드된 순차 RANSAC에 의한 다중 호모그래피 추정", 한국콘텐츠학회논문지 제10권 제7호 (2010년 7월) pp.10-22 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170012666A (ko) * 2015-07-22 2017-02-03 (주)인스페이스 이동 물체 검출 장치 및 그 제어 방법
KR101722969B1 (ko) * 2015-07-22 2017-04-13 (주)인스페이스 이동 물체 검출 장치 및 그 제어 방법
KR20230030996A (ko) 2021-08-26 2023-03-07 현대자동차주식회사 객체 추적 장치 및 방법
US12125218B2 (en) 2021-08-26 2024-10-22 Hyundai Motor Company Object tracking apparatus and method
CN117876945A (zh) * 2024-03-11 2024-04-12 上海通用卫星导航有限公司 一种用于导引头的目标跟踪方法
CN117876945B (zh) * 2024-03-11 2024-06-07 上海通用卫星导航有限公司 一种用于导引头的目标跟踪方法

Similar Documents

Publication Publication Date Title
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
EP3186780B1 (en) System and method for image scanning
US8693785B2 (en) Image matching devices and image matching methods thereof
CN107564034A (zh) 一种监控视频中多目标的行人检测与跟踪方法
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
US9361692B2 (en) Image registration device and operation method of the same
KR20130058286A (ko) 보행자 검출기의 보행자 검출 방법
US20150294152A1 (en) Method of detection of points of interest in a digital image
KR101480824B1 (ko) 다중 호모그래피 기법을 이용한 배경 움직임 보상 방법
Tashlinskii et al. Pixel-by-pixel estimation of scene motion in video
KR101460317B1 (ko) 불안정한 카메라 환경에서의 이동 객체 검출 장치 및 방법
CN104484865A (zh) 对视频图像进行去雨的方法
CN111462178A (zh) 基于热成像的活体流向检测方法、装置、设备及存储介质
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN113284167A (zh) 人脸跟踪检测方法、装置、设备和介质
Li et al. Fast visual tracking using motion saliency in video
KR101588648B1 (ko) 지능형 영상 감시를 위한 보행자 검출 및 추적 방법
JP2016004382A (ja) 動き情報推定装置
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
JP6598943B2 (ja) 画像処理装置および方法並びに監視システム
Xie et al. A new method of inland river overloaded ship identification using digital image processing
JP5152144B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140213

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141230

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150106

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180103

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190103

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200103

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20211016