KR20130134163A - 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 - Google Patents

표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR20130134163A
KR20130134163A KR1020120057471A KR20120057471A KR20130134163A KR 20130134163 A KR20130134163 A KR 20130134163A KR 1020120057471 A KR1020120057471 A KR 1020120057471A KR 20120057471 A KR20120057471 A KR 20120057471A KR 20130134163 A KR20130134163 A KR 20130134163A
Authority
KR
South Korea
Prior art keywords
target
image
likelihood ratio
value
input image
Prior art date
Application number
KR1020120057471A
Other languages
English (en)
Other versions
KR101747216B1 (ko
Inventor
이활석
박상지
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120057471A priority Critical patent/KR101747216B1/ko
Priority to US13/795,446 priority patent/US9047673B2/en
Publication of KR20130134163A publication Critical patent/KR20130134163A/ko
Application granted granted Critical
Publication of KR101747216B1 publication Critical patent/KR101747216B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41J—TARGETS; TARGET RANGES; BULLET CATCHERS
    • F41J9/00—Moving targets, i.e. moving when fired at
    • F41J9/14—Cinematographic targets, e.g. moving-picture targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체에 관한 것으로, 보다 상세하게는 영상에서 화소 밝기값의 확률적인 모델링을 통해 표적을 추출하는 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체에 관한 것이다. 표적 추출 방법은 입력 영상으로부터 배경 영상을 추출하는 단계, 입력 영상과 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계, 입력 영상 모델링 결과 및 배경 영상 모델링 결과간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 단계, 산출된 우도비를 이용하여 표적의 위치를 결정하는 단계 및 결정된 표적의 위치 정보를 출력하는 단계를 포함한다. 본 발명에 따르면, 서로 다른 크기를 갖는 복수개의 표적 탬플릿, 배경 영상 모델링 및 입력 영상과 배경 영상간의 상관도를 이용하여 표적 크기 변화에 관계없이 영상으로부터 정확하게 표적을 추출할 수 있다.

Description

표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체{Apparatus and method for extracting target, and the recording media storing the program for performing the said method}
본 발명은 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체에 관한 것으로, 보다 상세하게는 영상에서 화소 밝기값의 확률적인 모델링을 통해 표적을 추출하는 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체에 관한 것이다.
일반적으로 배경 영상 모델링 방법을 통해 표적을 추출하는 방법은 다음 수학식 1로 표현될 수 있다.
Figure pat00001
여기서, x는 특정 화소의 위치이며 I(x)는 x 화소의 밝기 값을 의미한다.
수학식 1은 표적 추출 시 단순히 입력 영상과 배경 영상 간의 밝기값의 차이를 이용한 것이며, 배경 영상 예측 모델이 하나인 경우에 대해서만 표적을 추출할 수 있다.
본 발명이 해결하고자 하는 기술적인 과제는 과제는 서로 다른 크기를 갖는 복수개의 표적 탬플릿 및 배경 영상 모델링을 이용하여 표적 크기 변화에 관계없이 영상으로부터 정확하게 표적을 추출할 수 있는 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체를 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 표적 추출 방법은 입력 영상으로부터 배경 영상을 추출하는 단계; 상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계; 상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 단계; 상기 산출된 우도비를 이용하여 표적의 위치를 결정하는 단계; 및 상기 결정된 표적의 위치 정보를 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 가우시안 분포로 모델링하는 단계는, 상기 입력 영상 및 상기 배경 영상내의 임의의 화소를 중심으로 하는 소정 크기의 윈도우를 설정하는 단계; 상기 설정된 윈도우에 포함된 화소들의 밝기 평균값을 산출하는 단계; 상기 윈도우 중심 화소의 밝기 값에서 상기 밝기 평균값을 감산하는 단계; 및 상기 입력 영상 및 상기 배경 영상 전체에 상기 윈도우를 스캔하면서 상기 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 영상을 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 우도비 산출 단계는, 상기 입력 영상 및 상기 배경 영상의 상기 가우시안 분포로 모델링한 결과를 수신하는 단계; 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 수신하는 단계; 상기 입력 영상 모델링 결과와 배경 영상 모델링 결과간의 상관도를 산출하는 단계; 상기 표적 탬플릿의 개수만큼 상기 영상 내의 각 화소에 대해 우도비를 획득한 후 최대 우도비 값을 상기 화소의 우도비 값으로 결정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적 탬플릿을 수신하는 단계에서, 상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있는 경우, 상기 표적 탬플릿은 설정된 탬플릿의 밝기 분포값을 그대로 이용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적 탬플릿 값을 수신하는 단계에서, 상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있지 않은 경우, 상기 표적 탬플릿은 제1 값인 것을 특징으로 한다.
본 발명에 있어서, 상기 상관도를 산출하는 단계는, 상기 입력 영상의 가우시안 분포 모델링 결과에서 상기 표적 탬플릿 크기의 제1 부영상을 추출하는 단계; 상기 배경 영상의 가우시안 분포 모델링 결과에서 상기 표적 탬플릿 크기의 제2 부영상을 추출하는 단계; 및 상기 제1 부영상 및 제2 부영상을 이용하여 상기 입력 영상과 배경 영상의 유사한 정도를 나타내는 상관도를 산출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 상관도는 하기 수학식
Figure pat00002
에 의해 산출되고,
Figure pat00003
,
Figure pat00004
를 나타내며,
Figure pat00005
는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
Figure pat00006
는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내는 것을 특징으로 한다.
본 발명에 있어서, 상기 우도비는 하기 수학식
Figure pat00007
에 의해 산출되고, Sk는 서로 다른 크기를 갖는 복수개의 표적 탬플릿들 중 k번째 표적 탬플릿을 나타내고,
Figure pat00008
,
Figure pat00009
를 나타내며,
Figure pat00010
는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
Figure pat00011
는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내며, ρk는 제1 부영상 및 제2 부영상으로 산출된 상관도를 나타내는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적의 위치를 결정하는 단계는, 단일 표적의 위치 결정 시에, 상기 산출된 우도비 값들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적의 위치를 결정하는 단계는, 다 표적의 위치 결정 시에, 상기 우도비 값들 및 표적 결정을 위한 임계값을 수신하는 단계; 상기 입력 영상과 동일한 크기의 표적 지도를 생성하고, 상기 우도비 값이 상기 임계값 보다 큰 경우 상기 표적 지도 상에 제1 값을 설정하고, 그렇지 않은 경우, 상기 표적 지도 상에 제2 값을 설정하는 단계; 및 상기 제1값으로 설정된 블랍 각각을 하나의 표적으로 판단하고 상기 표적별로 대표 위치를 설정하여 상기 표적의 위치로 결정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 표적 추출 장치는 입력 영상으로부터 배경 영상을 추출하는 배경 영상 추출부; 상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 가우시안 분포 모델링부; 상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과 간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출부; 및 상기 산출된 우도비를 이용하여 표적의 위치를 결정하여 상기 결정된 표적의 위치 정보를 출력하는 표적 위치 결정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 가우시안 분포 모델링부는, 상기 입력 영상 및 상기 배경 영상내의 임의의 화소를 중심으로 하는 소정 크기의 윈도우를 설정하는 윈도우 설정부; 상기 설정된 윈도우에 포함된 화소들의 밝기 평균값을 산출하는 제1 연산부; 상기 윈도우 중심 화소의 밝기 값에서 상기 밝기 평균값을 감산하는 제2 연산부; 및 상기 입력 영상 및 상기 배경 영상 전체에 상기 윈도우를 스캔하면서 상기 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 영상을 생성하는 가우시안 분포를 모델링 영상 생성부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 우도비 산출부는, 상기 입력 영상 및 상기 배경 영상의 상기 가우시안 분포 모델링 결과 및 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 수신하는 수신부; 상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과 간의 상관도를 산출하는 상관도 산출부; 및 상기 표적 탬플릿의 개수만큼 상기 영상 내의 각 화소에 대해 우도비를 획득한 후 최대 우도비 값을 상기 화소의 우도비 값으로 우도비 결정부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 수신부는, 상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있는 경우, 상기 표적 탬플릿은 설정된 탬플릿의 밝기 분포값들을 그대로 이용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 수신부는, 상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있지 않은 경우, 상기 표적 탬플릿은 제1 값인 것을 특징으로 한다.
본 발명에 있어서, 상기 상관도 산출부는,
Figure pat00012
에 의해 상기 상관도를 산출하고,
Figure pat00013
,
Figure pat00014
를 나타내며,
Figure pat00015
는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
Figure pat00016
는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내는 것을 특징으로 한다.
본 발명에 있어서, 상기 우도비는 하기 수학식
Figure pat00017
에 의해 산출되고, Sk는 서로 다른 크기를 갖는 복수개의 표적 탬플릿들 중 k번째 표적 탬플릿을 나타내고,
Figure pat00018
,
Figure pat00019
를 나타내며,
Figure pat00020
는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
Figure pat00021
는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내며, ρk는 제1 부영상 및 제2 부영상으로 산출된 상관도를 나타내는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적 위치 결정부는, 단일 표적에 대해, 상기 산출된 우도비 값들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 표적 위치 결정부는, 다 표적에 대해, 상기 우도비 값들 및 표적 결정을 위한 임계값을 수신하고, 상기 입력 영상과 동일한 크기의 표적 지도를 생성하며, 상기 우도비 값이 상기 임계값 보다 큰 경우 상기 표적 지도 상에 제1 값을 설정하고, 그렇지 않은 경우, 상기 표적 지도 상에 제2 값을 설정한 후, 상기 제1값으로 설정된 블랍 각각을 하나의 표적으로 판단하고 상기 표적별로 대표 위치를 설정하여 상기 표적의 위치로 결정하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 표적 추출 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 입력 영상으로부터 배경 영상을 추출하는 단계;
상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계;
상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 단계;
상기 산출된 우도비를 이용하여 표적의 위치를 결정하는 단계; 및
상기 결정된 표적의 위치 정보를 출력하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 서로 다른 크기를 갖는 복수개의 표적 탬플릿, 배경 영상 모델링 및 입력 영상과 배경 영상간의 상관도를 이용하여 표적 크기 변화에 관계없이 영상으로부터 정확하게 표적을 추출할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 표적 추출 장치의 구성을 보이는 블록도 이다.
도 2는 입력 영상 및 입력 영상의 히스토그램을 보이는 도면이다.
도 3은 배경 영상 및 배경 영상의 히스토그램을 보이는 도면이다.
도 4는 도 1 중 가우시안 분포 모델링부의 상세 블록도 이다.
도 5는 입력 영상에 대한 가우시안 분포 모델링 결과 영상 및 그의 히스토그램을 보이는 도면이다.
도 6은 배경 영상에 대한 가우시안 분포 모델링 결과 영상 및 그의 히스토그램을 보이는 도면이다.
도 7은 도 1 중 우도비 산출부(140)의 상세 블록도 이다.
도 8은 다양한 크기의 표적이 존재하는 입력 영상 및 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 보이는 도면이다.
도 9은 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 입력 영상 및 배경 영상으로의 적용을 보이는 도면이다.
도 10은 복수개의 표적에 대한 레이블링을 설명하는 도면이다.
도 11는 본 발명의 일 실시 예에 따른 표적 추출 방법의 동작을 보이는 흐름도 이다.
도 12은 도 11 중 입력 영상 및 배경 영상의 가우시안 분포 모델링 방법의 동작을 보이는 흐름도 이다.
도 13은 도 11 중 우도비 산출 및 결정 방법의 동작을 보이는 흐름도 이다.
도 14는 도 11 중 표적의 위치 결정 방법을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 표적 추출 장치(100)의 구성을 보이는 블록도 이다.
도 1을 참조하면, 표적 추출 장치(100)는 이미지 센서(110), 배경 영상 추출부(120), 가우시안 분포 모델링부(130), 우도비 산출부(140) 및 표적 위치 결정부(150)를 포함할 수 있다.
이미지 센서(110)는 카메라(미도시)를 통하여 입력 되는 영상 신호를 센싱한다.
이미지 센서(110)는 적외선을 사용하여 영상을 센싱하는 적외선(imaging infrared) 센서일 수 있고, 피사체에서 방출되는 열에 의해 영상을 센싱하는 열상 센서일 수 있으며, 또는 피사체의 색상에 의해 영상을 센싱하는 CCD(charge coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서일 수 있다. 이와 같은 이미지 센서는 상기 센서들로 한정되는 것은 아니고, 영상을 센싱할 수 있는 그 어떠한 센서도 사용 가능하다.
도 2a에는 임의의 입력 영상이 도시되어 있고, 도 2b에는 도 2a에 도시된 입력 영상의 밝기 분포를 나타내는 히스토그램이 도시되어 있다. 도 2b로부터 입력 영상은 다양한 밝기 분포를 나타내고 있음을 알 수 있다.
배경 영상 추출부(120)는 이미지 센서(110)로부터 수신한 입력 영상으로부터 배경 영상을 추출한다.
입력 영상으로부터 배경을 추출하는 방법에는 여러 가지가 있다. 예를 들어, 연속된 두 영상 프레임을 비교하여 그 차이로부터 배경 영상을 추출하는 프레임 차이법(frame difference)이 있다. 다른 방법으로, 각 화소의 색 분포를 한 개의 가우시안 함수로 모델링하거나 여러 개의 가우시안 함수를 사용하여 모델링 하여 배경 영상을 추출할 수 있다. 이 중 가우시안 혼합 모델을 이용한 배경 추출 방법은 확률적 학습 방법을 사용하게 되는데, 영상의 각 화소 밝기 분포를 가우시안 혼합 모델을 사용하여 근사화 하고, 근사화된 모델 변수값을 이용하여 측정된 화소가 전경영역과 배경영역 중 어디에 속할지를 판단하여 배경 영상을 추출할 수 있다. 또한 색 분포를 특정 함수로 모델링 하지 않고 확률 분포로만 표현하여 배경 영상을 추출하는 방법도 있다. 일반적으로 입력 영상으로부터 배경 영상 추출 시에 색(color)을 이용하지만, 색 이외에 에지(edge) 또는 텍스쳐(texture)를 이용하기도 한다. 텍스쳐를 이용하는 방법에는 "local binary pattern"이나 "mixture of dynamic texture"를 사용하는 방법 등이 있다.
도 3a에는 도 2a에 도시된 입력 영상으로부터 추출된 배경 영상이 도시되어있고, 도 3b에는 도 3a에 도시된 배경 영상의 밝기 분포를 나타내는 히스토그램이 도시되어 있다. 도 3b로부터 배경 영상 또한 다양한 밝기 분포를 나타내고 있음을 알 수 있다.
가우시안 분포 모델링부(130)는 입력 영상 및 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링한다. 도 4를 참조하면, 가우시안 분포 모델링부(130)는 윈도우 설정부(131), 제1 연산부(132), 제2 연산부(133) 및 가우시안 분포 영상 생성부(134)를 포함한다.
윈도우 설정부(131)는 입력 영상 및 배경 영상 각각에 대하여, 임의의 화소를 중심으로 하는 소정 크기 예를 들어, 5×5의 윈도우를 설정한다.
제1 연산부(132)는 입력 영상 및 배경 영상에 설정된 윈도우 내에 포함된 화소들의 밝기 평균값을 산출한다. 예를 들어, 5×5 윈도우 내에는 25개의 화소가 존재하게 되며, 이 윈도우에 포함된 화소들의 밝기 평균값을 산출한다.
제2 연산부(133)는 입력 영상 및 배경 영상에 설정된 윈도우 중심 화소의 밝기 값에서 산출된 밝기 평균값을 감산한다.
가우시안 분포 영상 생성부(134)는 각 화소를 중심으로 하는 윈도우를 입력 영상 및 배경 영상 내에서 스캔하면서, 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 가우시안 분포 모델링 결과로서의 가우시안 분포 영상을 생성한다. 이와 같은 과정을 거쳐 생성된 입력 영상의 가우시안 분포 모델링 영상이 도 5a에 도시되어 있고, 도 5b에는 도 5a의 히스토그램이 도시되어 있다. 도 5a 및 도 5b에 의하면, 입력 영상의 밝기 분포가 제로 평균 가우시안(zero-mean Gaussian) 분포를 따르고 있음을 확인할 수 있다. 이와 같은 과정을 거쳐 생성된 배경 영상의 가우시안 분포 모델링 영상이 도 6a에 도시되어 있고, 도 6b에는 도 6a의 히스토그램이 도시되어 있다. 도 6a 및 도 6b에 의하면, 배경 영상의 밝기 분포가 제로 평균 가우시안(zero-mean Gaussian) 분포를 따르고 있음을 확인할 수 있다.
본 발명에서는 입력 영상 및 배경 영상의 밝기 성분 이용하여 가우시안 분포 모델링 영상을 생성하였고, 가우시안 분포 모델링 결과가 제로-평균 가우시안 분포에 해당되고 있다. 그러나, 가우시안 분포 모델링 결과가 제로-평균 가우시안 분포에 따른다면, 본 발명은 밝기 성분이 아닌 다른 성분 예를 들어 엣지 성분 등을 이용할 수도 있다.
우도비 산출부(140)는 가우시안 분포를 모델링 결과를 이용하여 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하는 우도비를 산출하고 결정한다. 도 7을 참조하면, 우도비 산출부(140)는 수신부(141), 상관도 산출부(142), 우도비 결정부(143)를 포함한다.
영상의 평균값은 빠르게 변하지만 분산값은 천천히 변하는 과정으로 생각할 수 있다. 그래서, 매 화소 마다 그 화소 근방에서 구한 평균 밝기값(지역 평균 밝기값)을 그 화소의 밝기 값에서 감산한 후 획득된 영상의 밝기 값의 분포는 평균이 0인 가우시안 분포와 매우 흡사하다. 그래서 특정 위치를 갖는 화소(p)가 표적에 속할 확률(f0)과 표적에 속하지 않을 확률(f1)을 하기 수학식 2와 같이 구할 수 있다.
Figure pat00022
여기서, Y는 관심 있는 화소 위치를 중심으로 획득한 m×n 입력 영상이고, X는 입력 영상에 대한 배경 영상이고, mX와 mY는 각각 Y 및 X에 대한 평균 벡터이다. 또한 S는 표적에 의한 m×n 탬플릿이고, D는 표적 탬플릿 내의 화소 수이며, M은 하기 수학식 3으로 구할 수 있다.
Figure pat00023
이와 같이 한 화소(p)에 대하여 표적에 속할 확률(f0)과 표적에 속하지 않을 ㅇ률(f1)을 구하고, 이들의 비율(R)이 임계값 K' 보다 크면 현재 화소(p)는 표적에 해당하는 화소라고 판단하는 표적 판단식 즉, 우도비 산출식이 하기 수학식 4와 같다.
Figure pat00024
이와 같은 우도비 산출식을 보다 간략화 하면 하기 수학식 5와 같다.
Figure pat00025
여기서, Sk는 서로 다른 크기를 갖는 복수개의 표적 탬플릿들 중 k번째 표적 탬플릿을 나타내고,
Figure pat00026
,
Figure pat00027
를 나타내며,
Figure pat00028
는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
Figure pat00029
는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내며, ρk는 제1 부영상 및 제2 부영상으로 산출된 상관도를 나타낸다.
수신부(141)는 가우시안 분포 모델링부(130)로부터 입력 영상 및 배경 영상의 상기 가우시안 분포 모델링 결과를 수신하고, 또한 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)을 수신한다.
도 6a에는 다양한 크기의 표적(예를 들어, 사람)이 존재하는 입력 영상이 도시되어 있고, 도 6b에는 서로 다른 크기를 갖는 미리 설정된 복수개의 표적 탬플릿(S1,…,S4)이 도시되어 있다. 이러한 표적 탬플릿은 설정된 표적에 따라 그 크기가 다르게 설정될 수 있다. 예를 들어 표적이 사람인 경우, 사람은 가로의 길이가 세로의 길이 보다 더 크기 때문에, 표적 탬플릿 설정 시에 이를 반영할 수 있다.
본 발명에서 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)은 두 가지 의미로 해석될 수 있다. 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)이 미리 설정되어 있는 경우, 표적 탬플릿은 설정된 탬플릿의 밝기 분포값들을 그대로 이용할 수 있다. 그러나, 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)이 미리 설정되어 있지 않은 경우, 이는 제1 값 예를 들어 1일 수 있다.
또한 본 발명에서 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)은 부영상들 간의 상관도 ρk를 산출할 때 이용될 수 있는데, 이때 서로 다른 크기를 갖는 복수개의 표적 탬플릿(S1,…,SL)은 그 밝기 분포값이 아닌, 예를 들어 3×2, 5×3과 같은 탬플릿의 크기를 나타낸다.
상관도 산출부(142)는 입력 영상과 배경 영상의 유사한 정도를 나타내는 상관도(ρk)를 산출한다.
상관도 ρk를 구하기 위해서, 입력 영상의 가우시안 분포 모델링 결과의 각 화소에서 제1 내지 제l 표적 탬플릿(S1,…,SL) 크기의 제1 부영상(Y'1,…,Y'L)을 추출하고, 배경 영상의 가우시안 분포 모델링 결과의 각 화소에서 제1 내지 제l 표적 탬플릿(S1,…,SL) 크기의 제2 부영상(X'1,…,X'L)을 추출한다.
제1 부영상(Y'1,…,Y'L) 및 제2 부영상(X'1,…,X'L)이 추출되면, 수학식 6을 이용하여 상관도 ρk를 산출한다.
Figure pat00030
수학식 6에서 산출된 부영상 제1 부영상(Y'1,…,Y'L) 및 제2 부영상(X'1,…,X'L)간의 상관도는 0-1 사이의 값을 가지며, 상관도가 1에 가까울수록 입력 영상과 배경 영상이 유사함을 나타낸다.
도 8a는 서로 다른 크기를 갖는 4 개의 표적 탬플릿(S1,…,S4)을 나타낸다. 도 8b는 입력 영상의 가우시안 분포 모델링 결과의 특정 위치(i,j)를 갖는 화소(p)에서 제1 내지 제4 표적 탬플릿(S1,…,S4) 크기의 제1 부영상(Y'1,…,Y'L) 추출을 보여준다. 도 8c는 배경 영상의 가우시안 분포 모델링 결과의 특정 위치(i,j)를 갖는 화소(p)에서 제1 내지 제4 표적 탬플릿(S1,…,S4) 크기의 제2 부영상(X'1,…,X'L) 추출을 보여준다.
우도비 결정부(143)는 수학식 5를 이용하여 우도비를 산출하는데, 서로 다른 크기를 갖는 복수개의 표적 탬플릿값, 입력 영상 및 배경 영상의 가우시안 분포 모델링 결과 및 제1 부영상 및 제2 부영상 간의 상관도를 이용하여, 표적 탬플릿의 개수만큼 영상 전체의 각 화소 대하여 우도비를 산출한 후 최대 우도비 값을 해당 화소의 우도비 값으로 결정한다.
여기서, 수학식 5의 후단에 Sk의 절대값으로 나누어 주는 항이 존재하는데, 이는 표적 탬플릿 크기에 따라 우도비 값에 차이가 발생하므로, 우도비가 표적 탬플릿 크기에 영향을 받지 않게 하기 위함이다.
표적 위치 결정부(150)는 우도비 산출부(140)에서 출력되는 우도비를 이용하여 표적의 위치를 결정하고, 결정된 표적의 위치 정보를 출력한다. 표적 위치 결정부(150)의 표적 위치 결정은 표적의 개수에 따라 다르게 동작한다.
먼저 영상 내에 단일 표적이 존재하는 경우, 표적 위치 결정부(150)는 산출된 우도비 값들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하여 출력한다.
그러나, 영상 내에 복수개의 표적이 존재하는 경우, 표적 위치 결정부(150)는 우도비 산출부(140)에서 산출된 우도비 값들 및 표적 결정을 위한 임계값(K)를 수신하고, 입력 영상과 동일한 크기의 표적 지도를 생성한다. 그리고 우도비 값이 임계값(K) 보다 큰 경우 표적 지도 상에 제1 값 예를 들어 1을 설정하고, 그렇지 않은 경우, 표적 지도 상에 제2 값 예를 들어 0을 설정한다.
도 10a에는 입력 영상을, 도 10b에는 입력 영상과 동일한 크기를 갖는 표적 지도 상에 우도비값이 임계값(K) 보다 큰 경우 제1 값을 레이블링하고, 그렇지 않은 경우 제2 값을 레이블링 한 예가 도시되어 있다. 도 10c에는 도 10b를 흑백으로 표현한 도면이다.
표적 위치 결정부(150)는 제1값으로 설정된 블랍(blob) 각각을 하나의 표적으로 판단하고 각 표적별로 대표 위치를 설정하여 표적의 위치로 결정하여 출력한다.
도 11은 본 발명의 일 실시 예에 따른 표적 추출 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서, 도 1 내지 도 10에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 11을 참조하면, 먼저 표적 추출 장치(100)는 이미지 센서로부터 입력 영상을 수신하는 단계(S10)를 수행한다.
입력 영상이 수신되면, 표적 추출 장치(100)는 입력 영상으로부터 배경 영상을 추출하는 단계(S20)수행한다. 입력 영상으로부터 배경 영상을 추출하는 방법은 상기에 개시되어 있으므로 생략하기로 한다.
입력 영상으로부터 배경 영상 추출이 완료되면, 표적 추출 장치(100)는 입력 영상 및 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계(S30)를 수행한다. 도 12에는 입력 영상 및 배경 영상의 가우시안 분포 모델링 방법의 동작을 보이는 흐름도가 도시되어 있다.
도 12를 참조하면, 표적 추출 장치(100)는 입력 영상 및 배경 영상 각각에 대하여, 임의의 화소를 중심으로 하는 소정 크기의 윈도우를 설정하는 단계(S31)를 수행한다. 윈도우 설정이 완료되면, 표적 추출 장치(100)는 입력 영상 및 배경 영상에 설정된 윈도우 내에 포함된 화소들의 밝기 평균값을 산출하는 단계(S32)를 수행한다. 윈도우 내에 포함된 화소들의 밝기 평균값 산출이 완료되면, 표적 추출 장치(100)는 입력 영상 및 배경 영상에 설정된 윈도우 중심 화소의 밝기 값에서 산출된 밝기 평균값을 감산하는 단계(S33)를 수행한다. 이후 표적 추출 장치(100)는 각 화소를 중심으로 하는 윈도우를 입력 영상 및 배경 영상 내에서 스캔하면서, 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 가우시안 분포 모델링 결과로서의 가우시안 영상을 생성하는 단계(S34)를 수행한다.
도 11로 돌아와서, 가우시안 분포 모델링 결과로서의 가우시안 영상 생성이 완료되면, 표적 추출 장치(100)는 가우시안 분포 모델링 결과를 이용하여 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 및 결정 단계(S40)를 수행한다. 도 13에는 우도비 산출 및 결정 방법의 동작을 보이는 흐름도가 도시되어 있다.
도 13을 참조하면, 표적 추출 장치(100)는 입력 영상의 가우시안 분포 모델링 결과 및 배경 영상의 가우시안 분포 모델링 결과를 수신하는 단계(S41)를 수행한다. 가우시안 분포 모델링 결과 수신이 완료되면, 표적 추출 장치(100)는 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 수신하는 단계(S42)를 수행한 후 이 중 첫 번째 표적 탬플릿을 선택하는 단계(S43)를 수행한다. 이후 표적 추출 장치(100)는 입력 영상 가우시안 분포 모델링 결과의 각 화소를 중심으로 하여 현재 표적 탬플릿 크기의 제1 부영상 및 배경 영상 가우시안 분포 모델링 결과의 각 화소를 중심으로 하여 현재 표적 탬플릿 크기의 제2 부영상을 추출하는 단계(S44)를 수행한다. 제1 부영상 및 제2 부영상 추출이 완료되면, 표적 추출 장치(100)는 상기 수학식 6을 이용하여 제1 부영상 및 제2 부영상 간의 상관도를 산출하는 단계(S45)를 수행한다. 상관도 산출이 완료되면, 표적 추출 장치(100)는 표적 탬플릿, 상관도, 제1 부영상 및 제2 부영상을 수학식 5에 대입하여 우도비를 산출하고 그 결과를 저장하는 단계(S46)를 수행한다. 현재 표적 탬플릿에 대한 우도비 산출 및 저장이 완료되면, 표적 추출 장치(100)는 다음 표적 탬플릿을 선택하는 단계(S47)를 수행하고, 선택된 표적 탬플릿이 마지막 표적 탬플릿인가를 판단하는 단계(S48)를 수행한다. 선택된 표적 탬플릿이 마지막 표적 탬플릿이 아닌 경우, 표적 추출 장치(100)는 S44 단계 내지 S47 단계를 반복적으로 수행한다. 마지막 표적 탬플릿까지 우도비 산출 및 저장이 완료되면, 표적 추출 장치(100)는 각 화소 별로 저장된 우도비들 중 최대값을 최종 우도비로 결정하는 단계(S49)를 수행한다.
다시 도 11로 돌아와서, 우도비 산출 및 결정이 완료되면, 표적 추출 장치(100)는 우도비를 이용하여 표적의 위치를 결정하는 단계(S50)를 수행한다. 도 14에는 표적의 위치 결정 방법을 보이는 흐름도가 도시되어 있다.
도 14를 참조하면, 표적 추출 장치(100)는 표적이 복수개인지 아니면 단일 표적인지 판단하는 단계(S51)를 수행한다. 판단 결과, 단일 표적인 경우, 표적 추출 장치(100)는 산출된 우도비들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하는 단계(S52)를 수행한다. 그러나, 판단 결과 표적이 복수개인 경우, 표적 추출 장치(100)는 산출된 우도비들 및 표적 결정을 위한 임계값(K)를 수신하는 단계(S53)를 수행한다. 이후, 표적 추출 장치(100)는 입력 영상과 동일한 크기의 표적 지도를 생성하고 우도비 값이 임계값(K) 보다 큰 경우 표적 지도 상에 제1 값 예를 들어 1을 설정하고, 그렇지 않은 경우, 표적 지도 상에 제2 값 예를 들어 0을 설정하는 단계(S54)를 수행한다. 표적 지도 상에 제1 값 또는 제2 값 설정이 완료되면, 표적 추출 장치(100)는 제1 값으로 설정된 블랍 각각을 하나의 표적으로 판단하고, 표적 별로 대표 위치를 설정하여 표적의 위치로 결정하는 단계(S55)를 수행한다.
다시 도 11로 돌아와서, 표적의 위치 결정이 완료되면, 표적 추출 장치(100)는 결정된 표적의 위치 정보를 출력하는 단계(S60)를 수행한다.
이와 같은 방법을 이용하여 서로 다른 크기를 갖는 복수개의 표적 탬플릿, 배경 영상 모델링 및 입력 영상과 배경 영상간의 상관도를 이용하여 표적 크기 변화에 관계없이 영상으로부터 정확하게 표적을 추출할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
100: 표적 추출 장치
110: 이미지 센서
120: 배경 영상 추출부
130: 가우시안 분포 모델링부
140: 우도비 산출부
150: 표적 위치 결정부

Claims (20)

  1. 입력 영상으로부터 배경 영상을 추출하는 단계;
    상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계;
    상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 단계;
    상기 산출된 우도비를 이용하여 표적의 위치를 결정하는 단계; 및
    상기 결정된 표적의 위치 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법.
  2. 제 1항에 있어서, 상기 가우시안 분포로 모델링하는 단계는,
    상기 입력 영상 및 상기 배경 영상내의 임의의 화소를 중심으로 하는 소정 크기의 윈도우를 설정하는 단계;
    상기 설정된 윈도우에 포함된 화소들의 밝기 평균값을 산출하는 단계;
    상기 윈도우 중심 화소의 밝기 값에서 상기 밝기 평균값을 감산하는 단계; 및
    상기 입력 영상 및 상기 배경 영상 전체에 상기 윈도우를 스캔하면서 상기 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법.
  3. 제 1항에 있어서, 우도비 산출 단계는,
    상기 입력 영상 및 상기 배경 영상의 상기 가우시안 분포로 모델링한 결과를 수신하는 단계;
    서로 다른 크기를 갖는 복수개의 표적 탬플릿을 수신하는 단계;
    상기 입력 영상 모델링 결과와 배경 영상 모델링 결과간의 상관도를 산출하는 단계;
    상기 표적 탬플릿의 개수만큼 상기 영상 내의 각 화소에 대해 우도비를 획득한 후 최대 우도비 값을 상기 화소의 우도비 값으로 결정하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법.
  4. 제 3항에 있어서, 상기 표적 탬플릿을 수신하는 단계에서,
    상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있는 경우, 상기 표적 탬플릿은 설정된 탬플릿의 밝기 분포값을 그대로 이용하는 것을 특징으로 하는 표적 추출 방법.
  5. 제 3항에 있어서, 상기 표적 탬플릿 값을 수신하는 단계에서,
    상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있지 않은 경우, 상기 표적 탬플릿은 제1 값인 것을 특징으로 하는 표적 추출 방법.
  6. 제 3항에 있어서, 상기 상관도를 산출하는 단계는,
    상기 입력 영상의 가우시안 분포 모델링 결과에서 상기 표적 탬플릿 크기의 제1 부영상을 추출하는 단계;
    상기 배경 영상의 가우시안 분포 모델링 결과에서 상기 표적 탬플릿 크기의 제2 부영상을 추출하는 단계; 및
    상기 제1 부영상 및 제2 부영상을 이용하여 상기 입력 영상과 배경 영상의 유사한 정도를 나타내는 상관도를 산출하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법.
  7. 제 6항에 있어서,
    상기 상관도는 하기 수학식
    Figure pat00031

    에 의해 산출되고,
    Figure pat00032
    ,
    Figure pat00033
    를 나타내며,
    Figure pat00034
    는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
    Figure pat00035
    는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내는 것을 특징으로 하는 표적 추출 방법.
  8. 제 3항에 있어서,
    상기 우도비는 하기 수학식
    Figure pat00036

    에 의해 산출되고, Sk는 서로 다른 크기를 갖는 복수개의 표적 탬플릿들 중 k번째 표적 탬플릿을 나타내고,
    Figure pat00037
    ,
    Figure pat00038
    를 나타내며,
    Figure pat00039
    는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
    Figure pat00040
    는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내며, ρk는 제1 부영상 및 제2 부영상으로 산출된 상관도를 나타내는 것을 특징으로 하는 표적 추출 방법.
  9. 제 1항에 있어서, 상기 표적의 위치를 결정하는 단계는,
    단일 표적의 위치 결정 시에, 상기 산출된 우도비 값들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하는 것을 특징으로 하는 표적 추출 방법.
  10. 제 1항에 있어서, 상기 표적의 위치를 결정하는 단계는,
    다 표적의 위치 결정 시에, 상기 우도비 값들 및 표적 결정을 위한 임계값을 수신하는 단계;
    상기 입력 영상과 동일한 크기의 표적 지도를 생성하고, 상기 우도비 값이 상기 임계값 보다 큰 경우 상기 표적 지도 상에 제1 값을 설정하고, 그렇지 않은 경우, 상기 표적 지도 상에 제2 값을 설정하는 단계; 및
    상기 제1값으로 설정된 블랍 각각을 하나의 표적으로 판단하고 상기 표적별로 대표 위치를 설정하여 상기 표적의 위치로 결정하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법.
  11. 입력 영상으로부터 배경 영상을 추출하는 배경 영상 추출부;
    상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 가우시안 분포 모델링부;
    상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과 간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출부; 및
    상기 산출된 우도비를 이용하여 표적의 위치를 결정하여 상기 결정된 표적의 위치 정보를 출력하는 표적 위치 결정부;를 포함하는 것을 특징으로 하는 표적 추출 장치.
  12. 제 11항에 있어서, 상기 가우시안 분포 모델링부는,
    상기 입력 영상 및 상기 배경 영상내의 임의의 화소를 중심으로 하는 소정 크기의 윈도우를 설정하는 윈도우 설정부;
    상기 설정된 윈도우에 포함된 화소들의 밝기 평균값을 산출하는 제1 연산부;
    상기 윈도우 중심 화소의 밝기 값에서 상기 밝기 평균값을 감산하는 제2 연산부; 및
    상기 입력 영상 및 상기 배경 영상 전체에 상기 윈도우를 스캔하면서 상기 윈도우 중심 화소의 밝기 값에서 밝기 평균값을 감산한 영상을 생성하는 가우시안 분포를 모델링 영상 생성부;를 포함하는 것을 특징으로 하는 표적 추출 장치.
  13. 제 11항에 있어서, 상기 우도비 산출부는,
    상기 입력 영상 및 상기 배경 영상의 상기 가우시안 분포 모델링 결과 및 서로 다른 크기를 갖는 복수개의 표적 탬플릿을 수신하는 수신부;
    상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과 간의 상관도를 산출하는 상관도 산출부; 및
    상기 표적 탬플릿의 개수만큼 상기 영상 내의 각 화소에 대해 우도비를 획득한 후 최대 우도비 값을 상기 화소의 우도비 값으로 우도비 결정부;를 포함하는 것을 특징으로 하는 표적 추출 장치.
  14. 제 13항에 있어서, 상기 수신부는,
    상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있는 경우, 상기 표적 탬플릿은 설정된 탬플릿의 밝기 분포값들을 그대로 이용하는 것을 특징으로 하는 표적 추출 장치.
  15. 제 13항에 있어서, 상기 수신부는,
    상기 다른 크기를 갖는 복수개의 표적이 미리 설정되어 있지 않은 경우, 상기 표적 탬플릿은 제1 값인 것을 특징으로 하는 표적 추출 장치.
  16. 제 13항에 있어서, 상기 상관도 산출부는,
    Figure pat00041

    에 의해 상기 상관도를 산출하고,
    Figure pat00042
    ,
    Figure pat00043
    를 나타내며,
    Figure pat00044
    는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
    Figure pat00045
    는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내는 것을 특징으로 하는 표적 추출 장치.
  17. 제 13항에 있어서, 상기 우도비 결정부는,
    Figure pat00046

    에 의해 우도비를 산출하고, Sk는 서로 다른 크기를 갖는 복수개의 표적 탬플릿들 중 k번째 표적 탬플릿을 나타내고,
    Figure pat00047
    ,
    Figure pat00048
    를 나타내며,
    Figure pat00049
    는 입력 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제1 부영상을 나타내고,
    Figure pat00050
    는 배경 영상의 가우시안 분포 모델링 결과로부터 추출된 k번째 표적 탬플릿 크기의 제2 부영상을 나타내며, ρk는 제1 부영상 및 제2 부영상으로 산출된 상관도를 나타내는 것을 특징으로 하는 표적 추출 장치.
  18. 제 11항에 있어서, 상기 표적 위치 결정부는,
    단일 표적에 대해, 상기 산출된 우도비 값들 중 최대값을 갖는 화소의 위치를 표적의 위치로 결정하는 것을 특징으로 하는 표적 추출 장치.
  19. 제 11항에 있어서, 상기 표적 위치 결정부는,
    다 표적에 대해, 상기 우도비 값들 및 표적 결정을 위한 임계값을 수신하고, 상기 입력 영상과 동일한 크기의 표적 지도를 생성하며, 상기 우도비 값이 상기 임계값 보다 큰 경우 상기 표적 지도 상에 제1 값을 설정하고, 그렇지 않은 경우, 상기 표적 지도 상에 제2 값을 설정한 후, 상기 제1값으로 설정된 블랍 각각을 하나의 표적으로 판단하고 상기 표적별로 대표 위치를 설정하여 상기 표적의 위치로 결정하는 것을 특징으로 하는 표적 추출 장치.
  20. 입력 영상으로부터 배경 영상을 추출하는 단계;
    상기 입력 영상 및 상기 배경 영상 각각의 밝기값들을 가우시안 분포로 모델링하는 단계;
    상기 입력 영상 모델링 결과와 상기 배경 영상 모델링 결과간의 상관도 및 서로 다른 크기를 갖는 표적 탬플릿을 이용하여 상기 영상 내의 각 화소가 표적에 해당하는 화소인지 판단하기 위한 우도비 산출 단계;
    상기 산출된 우도비를 이용하여 표적의 위치를 결정하는 단계; 및
    상기 결정된 표적의 위치 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 표적 추출 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120057471A 2012-05-30 2012-05-30 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 KR101747216B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120057471A KR101747216B1 (ko) 2012-05-30 2012-05-30 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
US13/795,446 US9047673B2 (en) 2012-05-30 2013-03-12 Apparatus and method for extracting target, and recording medium storing program for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120057471A KR101747216B1 (ko) 2012-05-30 2012-05-30 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20130134163A true KR20130134163A (ko) 2013-12-10
KR101747216B1 KR101747216B1 (ko) 2017-06-15

Family

ID=49670326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120057471A KR101747216B1 (ko) 2012-05-30 2012-05-30 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체

Country Status (2)

Country Link
US (1) US9047673B2 (ko)
KR (1) KR101747216B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
KR20200079013A (ko) * 2018-12-24 2020-07-02 국방과학연구소 상관필터를 이용한 공중표적 추적방법 및 그 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US9256795B1 (en) 2013-03-15 2016-02-09 A9.Com, Inc. Text entity recognition
US9424598B1 (en) * 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US10127448B2 (en) * 2014-08-27 2018-11-13 Bae Systems Information And Electronic Systems Integration Inc. Method and system for dismount detection in low-resolution UAV imagery
JP6713185B2 (ja) * 2015-10-15 2020-06-24 株式会社日立ハイテク テンプレートマッチングを用いた検査装置および検査方法
US9755661B1 (en) * 2016-08-16 2017-09-05 Macau University Of Science And Technology Method for coding data
CN108694719B (zh) * 2017-04-05 2020-11-03 北京京东尚科信息技术有限公司 图像输出方法和装置
CN109949292B (zh) * 2019-03-20 2023-11-14 湖南镭目科技有限公司 一种带钢表面缺陷的检测方法及装置
KR102321845B1 (ko) 2021-01-06 2021-11-05 쿠팡 주식회사 정보를 제공하는 전자 장치 및 그 정보 제공 방법
CN113407189B (zh) * 2021-07-15 2023-11-17 广州博冠信息科技有限公司 图片物料的处理方法、装置、存储介质与电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288474B2 (ja) 1993-03-31 2002-06-04 富士通株式会社 画像処理装置
KR20030012193A (ko) 2001-07-31 2003-02-12 주식회사 드림미르 다양한 배경의 영상데이터에서의 눈 위치 검출방법
JP2008506201A (ja) * 2004-07-09 2008-02-28 本田技研工業株式会社 視覚追跡のための適応型判別生成モデル及び逐次的フィッシャー判別分析並びにアプリケーション
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
JP5241687B2 (ja) * 2009-10-30 2013-07-17 三菱電機株式会社 物体検出装置及び物体検出プログラム
WO2011061905A1 (ja) * 2009-11-20 2011-05-26 日本電気株式会社 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体
KR101040306B1 (ko) 2010-11-25 2011-06-10 삼성탈레스 주식회사 영상 추적 장치 및 이를 이용한 표적 탐지 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163000B2 (en) 2015-01-14 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for determining type of movement of object in video
KR20200079013A (ko) * 2018-12-24 2020-07-02 국방과학연구소 상관필터를 이용한 공중표적 추적방법 및 그 시스템

Also Published As

Publication number Publication date
US9047673B2 (en) 2015-06-02
US20130322754A1 (en) 2013-12-05
KR101747216B1 (ko) 2017-06-15

Similar Documents

Publication Publication Date Title
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN108537112B (zh) 图像处理装置、图像处理系统、图像处理方法及存储介质
CN103578116B (zh) 用于跟踪对象的设备和方法
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US9251588B2 (en) Methods, apparatuses and computer program products for performing accurate pose estimation of objects
JP4772839B2 (ja) 画像識別方法および撮像装置
US9600746B2 (en) Image processing apparatus and image processing method
JP6332937B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP5675233B2 (ja) 情報処理装置、その認識方法及びプログラム
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
KR102474837B1 (ko) 전경 추출 방법 및 장치
WO2014128688A1 (en) Method, system and software module for foreground extraction
US11049256B2 (en) Image processing apparatus, image processing method, and storage medium
WO2011161579A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
JP4518139B2 (ja) 画像処理装置
KR20150136225A (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
JP6630341B2 (ja) シンボルの光学的検出方法
CN111368698A (zh) 主体识别方法、装置、电子设备及介质
JP2012103859A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5173549B2 (ja) 画像処理装置及び撮像装置
CN107958202B (zh) 人体检测设备、人体检测设备的控制方法和存储介质
JP2011089784A (ja) 物体方向推定装置
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120530

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20151111

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120530

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161111

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170427

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170608

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170609

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200525

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210526

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230523

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240523

Start annual number: 8

End annual number: 8