KR101539637B1 - 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법 - Google Patents

색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법 Download PDF

Info

Publication number
KR101539637B1
KR101539637B1 KR1020140057050A KR20140057050A KR101539637B1 KR 101539637 B1 KR101539637 B1 KR 101539637B1 KR 1020140057050 A KR1020140057050 A KR 1020140057050A KR 20140057050 A KR20140057050 A KR 20140057050A KR 101539637 B1 KR101539637 B1 KR 101539637B1
Authority
KR
South Korea
Prior art keywords
target
histogram
color
background
image
Prior art date
Application number
KR1020140057050A
Other languages
English (en)
Inventor
강재웅
김수진
정영헌
성기열
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020140057050A priority Critical patent/KR101539637B1/ko
Application granted granted Critical
Publication of KR101539637B1 publication Critical patent/KR101539637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 추적 기술에 관한 것으로서, 더 상세하게는 3차원 색상 정보를 2차원 색상 정보들로 분할하여, 표적과 배경의 색상성분 대비를 세밀화하여 표적영역의 추출 성능을 높이고 시간에 따라 변화하는 표적의 색상을 적응적으로 반영하는 방법에 대한 것이다.

Description

색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법{Color tracking using histogram multi-thresholding and fusion}
본 발명은 영상 추적 기술에 관한 것으로서, 더 상세하게는 3차원 색상 정보를 2차원 색상 정보들로 분할하여, 표적과 배경의 색상성분 대비를 세밀화하여 표적과 배경의 분할 성능을 높이고 시간에 따라 변화하는 표적의 색상을 적응적으로 반영하는 방법에 대한 것이다.
색상추적(color tracking)의 기본은 추출한 표적의 색상정보를 기준으로 동질의 영역에 속한 픽셀들의 중심을 찾는 것이다. 단일 색상성분으로 구성된 IR(Infrared) 영상이나 흑백 영상의 경우는 1차원 히스토그램으로 표현되어 표적분할에 대한 정의가 명확하나 RGB(Red Green Blue), HSI(Hue Saturation Intensity), YUV와 같은 다대역 영상의 경우에는 각각의 대역에 대한 분할 결과를 일치하는 작업을 수반한다.
일반적인 색상추적 기법에서 표적을 배경으로부터 분할하기 위한 색상추출 알고리즘을 도시한 도면이 도 1 내지 도 3에 해당한다. 도 1은 색상 대역(color-band)의 3D(또는 3차원이라고도 함) 히스토그램이고, 도 2는 3D 히스토그램의 단면을 표현한 2D(또는 2차원이라고도 함) 히스토그램이며, 도 3은 상한값 및 하한값에 의해 분할되는 색상 공간(color space)을 보여준다.
도 1 내지 도 3과 같이 RGB, HSV, YUV와 같은 3대역 색상정보를 3차원 히스토그램에 반영하여 표적에 속한 픽셀들이 가지는 색상성분을 추출한다.
주로 표적에 속한 픽셀들을 군집하기 위해 해당 대역에 최소값
Figure 112014044730085-pat00001
최대값을 구하거나 분산을 이용하며 표적화소를 판단하는 임계구간을 정한다. 표적의 색상영역에 속하는 픽셀의 라벨링은 다음 표1과 같다.
if ((Y >= Ylowerthresh)
AND (Y <= Yupperthresh)
AND (U >= Ulowerthresh)
AND (U <= Uupperthresh)
AND (V >= Vlowerthresh)
AND (V <= Vupperthresh))
pixel_color = color_class;
색상추적의 기본을 동질 픽셀의 군집으로 볼 때, 색상추적의 성능은 추적의 실시간성이 보장되는 한도 내에서 공간적인 표적 배경 분할 성능과 시간적인 표적의 정보유지 성능이 필수적이다.
그런데, 이러한 일반적인 기술은 표적을 대표하는 색상을 결정하여 표적을 추적함으로써 배경의 변화에 적응적이지 못하거나 배경을 고려한 모델의 경우에서도 연산량이 많아 실시간 적용이 어려웠다.
1. 한국등록특허번호 제10-1087592호
1. 곽동민외, "클러터 환경에서 영상특징을 이용한 표적 추적"한국전자공학회 논문지 제49권 제10호, pp 209~216, 2012년 10월.
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 3차원 색상 정보를 2차원 색상 정보들로 분할하여, 표적과 배경의 색상성분 대비를 세밀화하여 표적영역의 추출 성능을 높이고 시간에 따라 변화하는 표적의 색상을 적응적으로 반영하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법을 제공하는데 그 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 3차원 색상 정보를 2차원 색상 정보들로 분할하여, 표적과 배경의 색상성분 대비를 세밀화하여 표적영역의 추출 성능을 높이고 시간에 따라 변화하는 표적의 색상을 적응적으로 반영하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법을 제공한다.
상기 영상 추적 방법은,
a) 입력 영상에서 색상성분으로 표적의 윤곽을 추출하고 표적영역을 지정하는 단계;
b) 지정된 표적 영역에서 표적창과 배경창의 색상성분을 2차원 히스토그램으로 추출하는 단계;
c) 상기 2차원 히스토그램으로부터 표적창과 배경창의 색상성분을 분리하는 단계;
d) 분리된 표적창의 색상 성분을 적응적으로 유지하는 단계;
e) 표적창으로 분류된 색상성분을 이용하여 상기 표적을 추출하는 단계;
f) 상기 표적영역을 산출하기 위해 상기 표적창 내의 표적을 추적하는 추적창을 조절하는 단계; 및
e) 상기 표적의 중심을 산출하는 단계;를 포함한다.
이때, 상기 a) 단계는, 색상 기울기를 이용하여 표적의 윤곽을 추출하는 단계; 연속적으로 입력된 입력 영상에서의 색상 윤곽을 누적하여 표적영역을 산출하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 b) 단계는 표적과 배경의 색상성분의 대비가 강한 2차원 히스토그램 조합을 이용하여 표적을 분할하는 것을 특징으로 할 수 있다.
또한, 입력영상에서 표적의 색상 성분이 시간의 경과에 따라 변화하는 것을 고려하여 적응적으로 색상 히스토그램 정보를 유지하는 것을 특징으로 할 수 있다.
또한, 추출된 표적의 색상 히스토그램 정보를 이용하여 표적의 형상을 이진화하고 다음 프레임에서 색상 히스토그램을 추출하기 위한 표적영역을 산출하는 것을 특징으로 할 수 있다.
또한, 상기 b) 단계에서, 상기 2차원 히스토그램은 RG, GB, 및 RB이고, 상기 2차원 히스토그램의 추출은 최근접 이웃 보간법의 역방향 사상을 적용하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 2차원 히스토그램(RG, GB, RB)에 대한 중력 법칙 인가를 위해 중력(Gravity force) 알고리즘이 이용되는 것을 특징으로 할 수 있다.
또한, 상기 최근접 이웃 보간법의 역방향 사상은 상기 색상 성분을 다수의 하향 샘플링을 통해 히스토그램 빈으로 축소하며, 상기 하향 샘플링 이전에 스무딩 필터링이 수행되는 것을 특징으로 할 수 있다.
또한, 상기 2D 히스토그램은 배경 히스토그램, 표적 히스토그램 및 예측 갱신 히스토그램으로 이루어지며, 상기 예측 갱신 히스토그램은 표적 히스토그램에서 배경성분을 제거한 것을 특징으로 할 수 있다.
또한, 상기 표적 히스토그램은 상기 배경 히스토그램의 색상성분을 제거하여 표적일 확률이 높은 색상성분만을 추출하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 표적의 분할은 시간에서의 표적분할 또는 공간에서의 표적 분할 방식을 사용하여 이루어지는 것을 특징으로 할 수 있다.
또한, 상기 시간에서의 표적분할 방식은 표적과 배경 성분의 변화를 고려한 히스토그램 적응(Histogram Adaptation) 알고리즘을 사용하는 것을 특징으로 할 수 있다.
이때, 상기 히스토그램 적응(Histogram Adaptation) 알고리즘은 다음식
Figure 112014044730085-pat00002
(여기서, 여기서,
Figure 112014044730085-pat00003
는 0과 1사이의 스칼라 값이고
Figure 112014044730085-pat00004
는 마코프 모델(Markov model)로 예측한 예측 히스토그램이다)으로 정의되는 것을 특징으로 할 수 있다.
색상추적의 기본을 동질 픽셀의 군집으로 볼 때, 색상추적의 성능은 추적의 실시간성이 보장되는 한도 내에서 공간적인 표적배경분할 성능과 시간적인 표적의 정보유지 성능에 준하므로, 본 발명에 따른 2차원 히스토그램 합성 기법은 색상추적의 공간적 및/또는 시간적 성능에 만족한 결과를 보였다.
또한, 본 발명의 다른 효과로서는 색상의 기복이 심한 원거리 표적에 대해 안정된 추적 결과를 보여준다는 점을 들 수 있다.
도 1은 일반적인 색상 추적 알고리즘의 표적분할 방식에 따른 색상 대역(color-band) 히스토그램의 3D 히스토그램이다.
도 2는 일반적인 색상 추적 알고리즘의 표적분할 방식에 따른 3D 히스토그램의 2D 히스토그램이다.
도 3은 일반적인 색상 추적 알고리즘의 표적분할 방식에 따른 상한값 및 하한값에 의해 분할되는 색상 공간을 보여주는 도면이다.
도 4 내지 도 7은 본 발명의 일실시예에 따른 색상의 기울기를 이용한 표적창 설정예이다.
도 8은 일반적인 최근접 이웃 보간법의 개념을 설명하는 도면이다.
도 9 내지 도 11은 본 발명의 일실시예에 따른 표적과 배경의 색상성분 비교를 보여주는 화면예이다.
도 12는 본 발명의 일실시예에 따른 2D 히스토그램 합성을 이용한 다중임계분할 알고리즘의 실행 과정을 보여주는 흐름도이다.
도 13은 일반적인 중력(Gravity Force) 알고리즘의 실행 과정을 보여주는 흐름도이다.
도 14는 본 발명의 일실시예에 따른 색상추적 알고리즘을 이용한 2km 표적의 추적 결과 화면예이다.
도 15는 본 발명의 일실시예에 따른 색상추적 알고리즘의 성능 비교예이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법을 상세하게 설명하기로 한다.
본 발명의 일실시예에 따른 색상 추적 알고리즘은 일반적인 색상추적 알고리즘의 기반이 되는 3차원 히스토그램 분할 방식이 아닌 2차원 히스토그램의 조합을 합성하여 표적 추출 성능을 높인다.
2차원 히스토그램을 기반으로 색상의 세분화된 임계 구간을 찾는 것은 검출된 표적 색상의 최소값
Figure 112014044730085-pat00005
최대값이나 분산을 이용하는 3차원 히스토그램을 이용한 알고리즘들에 비해 명확한 표적성분 추출의 기준을 제공하며 표적의 픽셀수나 표적으로 라벨링된 색상 집합의 개수에 의존적이지 않아 안정된 실시간성을 제공한다.
히스토그램의 라벨링 처리는 연산량이 적은 가감 연산을 주로 사용하며 피크 검출(peak-picking)에 필요한 자승과 나누기 연산은 선별적으로 적용하여 전체 시스템의 연산을 최소화한다.
표적 정보 수집을 설명하면 다음과 같다.
표적을 구성하는 색상 정보를 추출하기 위해 먼저 표적의 위치와 크기를 구한다. 표적의 위치와 크기를 구하는 방식은 차영상(Absolute Difference), 기울기(Gradient), BMA 등 다양한 방식이 있으나 본 발명의 일실시예에서는 연속 프레임에서의 색상 기울기(Absolute Difference of Color Gradient Images) 방식을 이용한다.
색상 기울기를 사용한 것은 표적과 배경의 색상차를 이용하는 색상추적 알고리즘의 원리를 반영한 것으로 색상 추적에 유효한 표적 영역의 크기와 위치를 선별한다.
본 발명의 일실시예에서는 명확한 설명을 위해 표적으로 검출된 영역을 표적창, 표적창과 동일한 면적으로 표적창을 둘러싼 영역을 배경창, 표적창과 배경창을 구성하는 픽셀들의 색상성분을 반영한 히스토그램을 각각 표적 히스토그램, 배경 히스토그램이라 명명하고 알고리즘의 결과로서 표적의 추출을 위해 사용하는 히스토그램을 예측 히스토그램이라 명명한다.
이러한 표적 정보 수집의 개념을 알기 쉽게 도면으로 표현하면 도 4 내지 도 7과 같다. 도 4 내지 도 7은 본 발명의 일실시예에 따른 색상의 기울기를 이용한 표적창 설정예이다. 도 4를 참조하면, 표적정보가 검출된 주변 영역에 초기 선택 표적창(410)이 설정되고 선택된 표적창의 크기와 위치를 조절하여 표적창(420)이 설정된다.
배경창 및 표적창을 생성하는 과정을 도면으로 표현하면 도 5, 도 6 및 도 7과 같고 도 5는 색상 기울기 영상들(color gradient images)의 예이다. 색상 기울기 영상을 생성하는 방법은 다양한 방법이 있으나, 본 발명에서 사용한 방법은 RGB 변환을 통해 기울기 영상을 생성한다.
색상영상을 R-영상, G-영상 및 B-영상으로 분할하고 각각을 그레이(0~255) 영상으로 취급하여 인접 픽셀 간에 명도가 변화하는 영역을 탐색하고 명도가 변화하는 세기를 그레이 영상으로 표현함으로써 표적의 윤곽 정보를 수집한다. R-영상, G-영상 및 B-영상을 윤곽 영상으로 변환하여 도 5와 같이 각 프레임의 색상 기울기 영상들을 생성하면 각 영상들 간의 차영상들(difference images)을 생성한다.
차영상을 생성하기 위한 프레임 간격은 표적이 크기와 거리, 속도 등의 영향을 받으나 10 프레임 이상의 간격을 사용하였을 때, 다양한 차종과 환경에 적용 가능하다. 매 프레임 마다 생성된 차영상을 누적하여 도 6과 같이 누적 차영상(cumulative difference image)을 생성하면 표적의 윤곽이 두드러지기 시작하여 초기 추적창의 대략적 위치를 파악할 수 있으며, 도 7의 표적창(510)을 설정 할 수 있다.
본 발명에서 사용된 표적창 알고리즘은 이미 잘 알려진 4-방향 표적창 알고리즘을 사용하였으며, 도 7의 배경창(520)은 표적창을 제외한 표적의 주변 영역을 지정하며 표적창의 면적과 동일하다.
원본 이미지를 구성하는 픽셀들의 색상성분을 효과적으로 2차원 히스토그램에 반영하기 위해 도 8에 도시된 최근접 이웃 보간법(nearest neighborhood interpolation)의 역방향 사상을 적용한다.
최초 256X256 크기로 샘플링한 원본 색상정보는 3회의 하향 샘플링을 거쳐 32X32 크기 히스토그램 빈으로 축소된다. 또한 히스토그램은 노이즈를 포함하므로 하향 샘플링의 전단에 스무딩 필터를 추가하여 피크 검출 알고리즘 수행 시, 스무딩 필터링을 통해 노이즈 피크의 검출을 막는다.
도 9 내지 도 11은 본 발명의 일실시예에 따른 표적과 배경의 색상성분 비교를 보여주는 화면예이다. 부연하면, 도 9 내지 도 11은 표적창과 배경창에 속한 픽셀들의 색상성분을 2차원(대역) 히스토그램인 RG, RB, GB에 각각 반영한 결과다.
즉, 도 9 및 도 10은 각각 배경창 정보 추출을 위한 배경 히스토그램과 표적창 정보 추출을 위한 표적 히스토그램이고, 도 11은 표적 히스토그램에서 배경성분을 제거한 것으로 표적 정보 추출을 위한 예측 히스토그램 갱신에 사용하는 예측 갱신 히스토그램에 해당한다.
2D 히스토그램 합성을 이용한 다중 임계 분할 알고리즘의 전체 흐름도는 도 12와 같다. 도 12는 본 발명의 일실시예에 따른 2D 히스토그램 합성을 이용한 다중임계분할 알고리즘의 실행 과정을 보여주는 흐름도이다.
도 12를 참조하면, 표적정보 수집 단계를 거쳐 표적창과 배경창이 정해지면 표적과 배경에 관한 색상정보를 각각 RG, RB, GB의 2D 히스토그램(1211,1212)에 반영한다(단계 S1210). 표적 히스토그램(1211)은 배경성분을 포함하므로 배경 히스토그램(1212)의 색상성분을 제거하여 표적일 확률이 높은 색상성분만을 추출한다.
표적 히스토그램은 표적에 인접한 배경의 성향에 따라 배경성분 제거에 차이가 있다. 즉, 표적과 배경의 색상차가 크거나 배경의 색상이 균일한 성향을 보이면 배경의 제거와 표적 분할에 유리하다. 이와 달리, 표적과 배경 성분의 색상차가 작거나 배경의 색상이 복잡한 성향을 보이면 분할 성능이 저하된다.
표 2는 도 12의 S1210단계에서 도 11을 생성하기 위한 알고리즘의 슈도(Psedo code)이다.
targetColors.srg = ...
twColors.srg - bwColors(5).srg * alpha;
targetColors.srb = ... (생략)
switch(ko_Gravity_Histogram)
case grg
targetColors.grg = ...
twColors.grg - bwColors(5).grg * beta
case grb
targetColors.grb = ... (생략)
end
Figure 112014044730085-pat00006
(alpha)와
Figure 112014044730085-pat00007
(beta)의 범위는
Figure 112014044730085-pat00008
이다.
Figure 112014044730085-pat00009
는 수학식 1에 의해
Figure 112014044730085-pat00010
보다 낮은 값을 설정한다(S1210). S1220 단계에서는 배경 히스토그램 성분을 제거한 표적 히스토그램이 가지는 피크 좌표가 이전 피크 좌표와 동일한 위치에 있는지 확인하여 배경 색상의 간섭이 있는 지의 여부를 판별한다. S1230 단계에서는 RG, RB, GB의 세 표적 히스토그램의 피크 좌표가 동일할 경우 해당 좌표점을 기준으로 S1240 단계에서 표적의 색상을 정의하고 정의된 색상으로 예측 히스토그램을 갱신하면서 추적을 수행한다. 만약 배경 색상의 간섭으로 인해 표적 히스토그램의 피크 좌표가 배경 색상을 제거하기 이전의 좌표와 다를 때에는 S1260 단계로 넘어가 표 1의 알고리즘 대신 Gravity force를 이용한 색상 분리 단계로 넘어간다.
Figure 112014044730085-pat00011
수학식 1은 히스토그램에서 빈도가 높은 색상을 선택하기 위해 히스토그램의 봉우리, 즉 히스토그램의 피크 좌표를 구했을 때, 피크좌표가 가지는 영향력을 Gravity force 알고리즘을 이용하여 표현한 것이다. 표 1의 알고리즘으로 표적 색상 분리에 실패할 시에 표적 히스토그램의 피크와 배경 히스토그램의 피크의 영향력을 비교하여 피크 사이에 존재하는 색상 성분들이 표적과 배경 색상 중에 어디에 속하는지 판별한다.
여기서,
Figure 112014044730085-pat00012
는
Figure 112014044730085-pat00013
번째 피크가 히스토그램 빈에 미치는 영향력(attraction force)이다.
Figure 112014044730085-pat00014
는 검출된 피크의 개수를,
Figure 112014044730085-pat00015
는 피크의 크기(magnitude),
Figure 112014044730085-pat00016
는
Figure 112014044730085-pat00017
번째 피크에서 해당 히스토그램 빈(히스토그램 영역을 여러 개로 나누어 정의한 것을 말한다)까지의 거리(euclidean distance)를 나타낸다.
Figure 112014044730085-pat00018
는 도 6의 순서로 표적 히스토그램과 배경 히스토그램 각각에서 검출하고 도 5와 같이 인접한 표적
Figure 112014044730085-pat00019
와 배경
Figure 112014044730085-pat00020
를 비교하여 표적에 속한 히스토그램 빈(1261)을 선정한다(단계 S1220 내지 단계 S1270).
공간에서의 표적분할 기법을 정의하고 및/또는 시간에서의 표적분할 기법을 정의한다. 시간에서의 표적분할은 표적과 배경 성분의 변화를 고려한 히스토그램 적응(Histogram Adaptation) 알고리즘을 사용하며 수학식 2를 적용한다.
Figure 112014044730085-pat00021
여기서,
Figure 112015063405941-pat00022
는 0과 1사이의 스칼라 값이고, Hi,j(t)는 표적의 현재 히스토그램이고, Hi,j(t-1)는 표적의 이전 히스토그램이고, i 및 j는 2차원 히스토그램에서 x축과 y축에 해당하고, t는 현재시간이며,
Figure 112015063405941-pat00051
는 과거의 히스토그램 정보로 예측한 히스토그램이며, p는 마코프 모델(Markov model) 알고리즘을 나타내는 프리픽스(prefix)이다.
Figure 112015063405941-pat00024
의 크기는 표적의 환경과 샘플링 시간에 가변적이며 실험에 의해 도출한 값은 약 0.14이다.
Figure 112014044730085-pat00025
의 크기는 샘플링 시간에 비례하며 산발적 노이즈 발생과 표적가림이 빈번할 경우,
Figure 112014044730085-pat00026
를 낮춰 클러터의 유입을 최소화한다. 또한, 조명변화가 클 경우,
Figure 112014044730085-pat00027
를 높여 현재의 표적정보에 빠르게 반영한다.
본 발명에서는 단일 프레임에서 표적과 배경의 영상 정보를 분석하고 표적을 배경으로부터 분리하는 것을 공간적 표적처리라고 명명하고, 연속 프레임에서 표적과 배경의 영상정보 변화를 분석하여 처리하는 것은 시간적 표적처리라고 명명한다. 엄밀히 정의하면 단일 프레임의 표적 정보를 추출하기 위해 수행되는 연산의 시간도 고려 대상이지만 샘플링 시점의 결과로서 표적정보를 얻기 위한 연산이고 그 연산의 결과는 해당 시점의 표적정보로 간주되기 때문에 영상처리의 성능을 고려한 공간적 표적처리로 간주할 수 있다.
표적과 배경의 정보 변화가 적으면 공간에서의 표적 분할 결과들의 차이도 작지만, 표적 및 조명과 제세 변화, 가림 등이 발생한 경우에는 공간에서의 표적 분할 결과의 차이가 크다. 특히 칼라 영상의 경우에는 조명의 영향에 따라 분할 결과가 크게 달라지므로 과거의 표적 정보를 충분히 활용하여 분할 결과가 달라지는 것을 최소화해야 한다.
환언하면, 수학식 2의
Figure 112014044730085-pat00028
를 결정할 때에는 배경 정보와 표적 정보의 변화를 동시에 고려해야 하며 배경 정보의 변화가 큰 환경에서는
Figure 112014044730085-pat00029
를 낮게, 표적 정보의 변화가 큰 환경에서는
Figure 112014044730085-pat00030
를 크게 설정하는 것이 공간에서의 표적 분할 결과의 차이를 최소화하는 방법이 된다.
본 발명의 일실시예에 따른 시험은 알고리즘의 목적에 부합하여 일반적으로 추적성능 비교에 사용하는 연속영상 대신 실제 야외에서 촬영한 연속영상을 사용하였다. 실험환경은 MATLAB을 이용한 시뮬레이션을 수행하였으며 입력 연속영상은 VGA (640X480) 규격의 30Hz 영상을 사용하였다.
일반적으로 색상추적에 사용되는 3D(3대역) 히스토그램 분할 기법은 표적과 배경의 지속적이고 뚜렷한 대조를 요구하므로 비교대상에서 제외하였고 도 15의 결과는 3차원 다중임계분할 기법과 제안한 2D(또는 차원) 다중임계분할합성 기법을 비교하였다.
도 15를 참조하면, (a)부터 (c)의 첫 번째 이미지는 3차원 다중임계분할 기법의 추적 결과를 보여주고 (a)의 두 번째 이미지는 단순 차영상을 이용하여 K-means에 적용될 표적 표본픽셀집단과 배경 표본픽셀집단을 추출하는 과정을 보인다. (b)와 (c)의 두 번째 이미지는 (a)의 결과로 추출한 표적의 색상정보를 3차원 히스토그램에 반영하여 표적을 추출한 결과다.
(d)부터 (f)는 본 발명의 일실시예에 따른 2차원 히스토그램 다중 분할 합성 방법의 추적 결과를 보여주고 (d)부터 (f)의 첫 째 이미지는 추적 결과, 두 번째 이미지는 예측 히스토그램에 의해 추출된 표적의 마스크, 세 번째 이미지는 중력(Gravity Force) 알고리즘으로 추출한 표적의 마스크다.
도 13은 일반적인 중력(Gravity Force) 알고리즘의 실행 과정을 보여주는 흐름도이다. S1310 단계에서 RG, RB, GB 쌍의 2D 히스토그램을 생성하고 S1320 단계에서 로컬 피크를 탐색하여 S1340 단계에서 피크-히스토그램을 생성하는 단계는 본 발명과 동일하나, 색상 추적에 적용하는 데에는 두 가지 제약조건이 발생한다.
첫 번째, 배경과 표적이 유사한 색상을 가지고 배경의 피크가 크면 표적의 피크는 스무딩되어 배경의 피크로 흡수된다. S1350 단계에서
Figure 112014044730085-pat00031
의 개수가 한정되기 때문에 표적을 구성하는 색상이 배경에 비해 상대적으로 복잡할 경우 배경과 색상이 유사한 색상의 피크들은 배경의 피크로 흡수된다.
두 번째, 표적의 피크가 흡수되지 않더라도 2D 히스토그램 상에서 인접한 배경의 피크가 클 경우 S1370 단계에서 중력 법칙으로 인해, 원래는 표적을 구성하는 색상 영역이 배경으로 분리된다. 표적으로 라벨링된 면적이 작아짐에 따라 추적창의 위치와 크기가 틀어지고, 반복되면 배경을 표적으로 인식하는 상황이 발생한다.
본 발명에서는 배경의 색상 변화에 강인하게
Figure 112014044730085-pat00032
개의 피크를 구하는 영역을 표적 내부로 한정하고 배경의 색상 성분을 우선 제거하여 라벨링되는 표적의 면적이 축소되는 것을 방지한다.
도 14는 본 발명의 일실시예에 따른 색상추적 알고리즘을 이용한 2km 표적의 추적 결과 화면예이다.
400: 배경창
410: 초기 선택 표적창
420: 조절된 표적창
1211: 표적 히스토그램
1212: 배경 히스토그램

Claims (12)

  1. 영상 추적 방법에 있어서,
    a) 입력 영상에서 색상성분으로 표적의 윤곽을 추출하고 표적영역을 지정하는 단계;
    b) 지정된 표적 영역에서 표적창과 배경창의 색상성분을 2차원 히스토그램으로 추출하는 단계;
    c) 상기 2차원 히스토그램으로부터 표적창과 배경창의 색상성분을 분리하는 단계;
    d) 분리된 표적창의 색상 성분을 상기 배경창의 성분에 대비하여 적응적으로 유지하는 단계;
    e) 표적창으로 분류된 색상성분을 이용하여 상기 표적을 추출하는 단계;
    f) 상기 표적영역을 산출하기 위해 상기 표적창 내의 표적을 추적하는 추적창을 조절하는 단계; 및
    e) 상기 표적의 중심을 산출하는 단계;를 포함하고,
    상기 2차원 히스토그램은 배경 히스토그램, 표적 히스토그램 및 예측 갱신 히스토그램으로 이루어지며, 상기 예측 갱신 히스토그램은 표적 히스토그램에서 배경성분을 제거한 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  2. 제 1 항에 있어서,
    상기 a) 단계는, 상기 입력 영상을 R-영상, G-영상 및 B-영상으로 분할하여 윤곽영상으로 변환하고 상기 윤곽영상으로부터 차영상을 생성하는 단계; 상기 차영상을 누적하여 표적영역을 산출하는 단계;를 포함하는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  3. 제 1항에 있어서,
    상기 b) 단계는 표적과 배경의 색상성분의 대비를 통해 서로 표적과 배경이 대조가 되는 2차원 히스토그램의 조합을 이용하여 표적을 분할하는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  4. 제 1항에 있어서,
    입력영상에서 표적의 색상 성분이 시간의 경과에 따라 변화하는 것을 고려하여 적응적으로 색상 히스토그램 정보를 유지하는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  5. 제 1 항에 있어서,
    추출된 표적의 색상 히스토그램 정보를 이용하여 표적의 형상을 이진화하고 다음 프레임에서 색상 히스토그램을 추출하기 위한 표적영역을 산출하는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  6. 제 1 항에 있어서,
    상기 b) 단계에서, 상기 2차원 히스토그램은 RG, GB, 및 RB이고, 상기 2차원 히스토그램의 추출은 최근접 이웃 보간법의 역방향 사상을 적용하여 이루어지는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  7. 제 6 항에 있어서,
    상기 2차원 히스토그램에 대한 중력 법칙 인가를 위해 중력(Gravity force) 알고리즘이 이용되는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  8. 제 6 항에 있어서,
    상기 최근접 이웃 보간법의 역방향 사상은 상기 색상 성분을 다수의 하향 샘플링을 통해 히스토그램 빈으로 축소하며, 상기 하향 샘플링 이전에 스무딩 필터링이 수행되는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  9. 삭제
  10. 제 1 항에 있어서,
    상기 표적 히스토그램은 상기 배경 히스토그램의 색상성분을 제거하여 배경과 구분되는 색상성분만을 추출하여 이루어지는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  11. 제 3 항에 있어서,
    상기 표적의 분할은 시간에서의 표적분할 또는 공간에서의 표적 분할 방식을 사용하여 이루어지는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
  12. 제 11 항에 있어서,
    상기 시간에서의 표적분할 방식은 표적과 배경 성분의 변화를 고려한 히스토그램 적응(Histogram Adaptation) 알고리즘을 사용하며,
    상기 히스토그램 적응(Histogram Adaptation) 알고리즘은 다음식
    Figure 112015063405941-pat00033
    (여기서, 여기서,
    Figure 112015063405941-pat00034
    는 0과 1사이의 스칼라 값이고, Hi,j(t)는 표적의 현재 히스토그램이고, Hi,j(t-1)는 표적의 이전 히스토그램이고, i 및 j는 2차원 히스토그램에서 x축과 y축에 해당하고, t는 현재시간이며,
    Figure 112015063405941-pat00052
    는 과거의 히스토그램 정보로 예측한 히스토그램이며, p는 마코프 모델(Markov model) 알고리즘을 나타내는 프리픽스(prefix)이다)으로 정의되는 것을 특징으로 하는 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법.
KR1020140057050A 2014-05-13 2014-05-13 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법 KR101539637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140057050A KR101539637B1 (ko) 2014-05-13 2014-05-13 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057050A KR101539637B1 (ko) 2014-05-13 2014-05-13 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법

Publications (1)

Publication Number Publication Date
KR101539637B1 true KR101539637B1 (ko) 2015-07-27

Family

ID=53875187

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057050A KR101539637B1 (ko) 2014-05-13 2014-05-13 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법

Country Status (1)

Country Link
KR (1) KR101539637B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101775153B1 (ko) * 2016-01-11 2017-10-20 대한민국(육군참모총장) 표적 훈련 시스템 및 이를 이용한 표적 훈련 분석 방법
CN116385435A (zh) * 2023-06-02 2023-07-04 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Kurugollu, Fatih, B?lent Sankur, and A. Emre Harmanci. "Color image segmentation using histogram multithresholding and fusion." Image and vision computing 19.13 (2001): 915-928.
Kurugollu, Fatih, Bulent Sankur, and A. Emre Harmanci. "Color image segmentation using histogram multithresholding and fusion." Image and vision computing 19.13 (2001): 915-928. *
M. Azarbad, et al. "Segmentation of infrared images and objectives detection using maximum entropy method based on the bee algorithm." Int. J. Computer Inform. Syst. & Indust. Manag. Applic. 3(2011) *
Reilly, Stephen, Fatih Kurugollu, and Paul Miller. "Robust motion detection by fusion of 6D feature space decompositions." ICIP 2008. 15th IEEE International Conference on. IEEE, 2008. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101775153B1 (ko) * 2016-01-11 2017-10-20 대한민국(육군참모총장) 표적 훈련 시스템 및 이를 이용한 표적 훈련 분석 방법
CN116385435A (zh) * 2023-06-02 2023-07-04 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法
CN116385435B (zh) * 2023-06-02 2023-09-26 济宁市健达医疗器械科技有限公司 基于图像分割的制药胶囊计数方法

Similar Documents

Publication Publication Date Title
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
US8045783B2 (en) Method for moving cell detection from temporal image sequence model estimation
CN109934224B (zh) 基于马尔科夫随机场和视觉对比机制的小目标检测方法
US6289110B1 (en) Object extracting method using motion picture
CN104835145B (zh) 基于自适应Codebook背景模型的前景检测方法
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
Kartika et al. Frame differencing with post-processing techniques for moving object detection in outdoor environment
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
JP6611255B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Sledeviè et al. FPGA-based selected object tracking using LBP, HOG and motion detection
CN111028263B (zh) 一种基于光流颜色聚类的运动物体分割方法及其系统
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
KR101539637B1 (ko) 색상 히스토그램의 다중 임계 분할과 합성을 이용한 영상 추적 방법
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
Waykole et al. Detecting and tracking of moving objects from video
KR101527962B1 (ko) 비디오 영상의 움직임 객체 추출 방법
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
Malavika et al. Moving object detection and velocity estimation using MATLAB
Turkane et al. Moving object detection in video surveillance system
KR101631023B1 (ko) 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법
Liu A moving object detection algorithm for removing ghost and shadow
Kalsotra et al. Threshold-based moving object extraction in video streams
CN104021575A (zh) 运动目标检测方法、装置和系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 5