KR101380329B1 - 영상의 변화를 검출하는 방법 - Google Patents

영상의 변화를 검출하는 방법 Download PDF

Info

Publication number
KR101380329B1
KR101380329B1 KR1020130014665A KR20130014665A KR101380329B1 KR 101380329 B1 KR101380329 B1 KR 101380329B1 KR 1020130014665 A KR1020130014665 A KR 1020130014665A KR 20130014665 A KR20130014665 A KR 20130014665A KR 101380329 B1 KR101380329 B1 KR 101380329B1
Authority
KR
South Korea
Prior art keywords
image
brightness
pixel
extracting
region
Prior art date
Application number
KR1020130014665A
Other languages
English (en)
Inventor
연승호
김재민
박규현
Original Assignee
(주)나노디지텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나노디지텍 filed Critical (주)나노디지텍
Priority to KR1020130014665A priority Critical patent/KR101380329B1/ko
Application granted granted Critical
Publication of KR101380329B1 publication Critical patent/KR101380329B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Abstract

본 발명은 영상의 변화를 검출하는 방법에 관한 것으로, 기준 영상과 현재 영상의 화소 밝기 차이에 기초하여 차분 영상을 생성하는 단계; 상기 차분 영상의 밝기에 기초한 히스토그램을 생성하는 단계; 상기 히스토그램으로부터 적어도 둘 이상의 임계값을 추출하는 단계; 상기 현재 영상으로 유입된 객체의 경계 화소를 추출하는 단계; 상기 임계값 및 경계 화소를 참작하여 상기 차분 영상을 분할하는 단계; 및 상기 분할된 차분 영상 중에서 상기 유입된 객체에 의한 영상을 식별하는 단계를 포함한다. 본 발명에 따르면, 다수의 임계값을 통해서 영상의 각 화소를 분할하므로 다양한 요인으로 발생한 영상의 변화를 검출할 수 있다.
또한 본 발명은 유입된 객체의 경계 화소를 추출함으로써, 각 임계값으로 분할된 영상에서 동일한 레벨을 갖는 유입된 객체와 배경을 하나의 영역으로 판단하는 오류를 방지할 수 있다.

Description

영상의 변화를 검출하는 방법{METHOD FOR DETECTING CHANGE OF IMAGE}
본 발명은 영상의 변화를 검출하는 방법에 관한 것으로서, 더욱 상세하게는 영상의 밝기를 변화시키는 요인을 유입된 객체, 반사광, 그림자 및 노이즈 등으로 세분화시킬 수 있도록 다수의 임계값을 설정하고, 각 임계값에 기초하여 유입된 객체로 인한 영상의 변화를 정확하게 검출할 수 있도록 하는 영상의 변화를 검출하는 방법에 관한 것이다.
두 영상 프레임을 비교하여 영상에 변화를 가져온 요인(새롭게 유입된 객체)을 검출하는 기술은 인공위성 등 비행 매체를 이용한 지상의 변화를 감시하거나 영상 감시에서 새롭게 유입된 외부 객체를 검출하는 등 다양한 분야에서 이용된다.
기존 배경에 새로 유입된 객체는 영상에 변화를 가져오는데, 객체 유입으로 인한 밝기 분포의 변화는 영상에 내재된 노이즈에 의한 밝기 분포와는 다른 특성을 가지고 있으며, 이러한 특성의 차이를 이용하여 변화를 검출하는 다양한 방법들이 개시되었다.
종래의 영상 변화를 검출하는 방법에서는 두 영상의 화소 밝기 차이에 기초한 차분 영상을 생성하고, 해당 차분 영상을 노이즈에 의한 밝기 변화가 있는 구간과 유입된 객체에 의한 밝기 변화가 있는 구간으로 나눔으로써 배경과 유입된 객체를 분리하였다.
그러나 두 영상의 화소 밝기 차이만을 이용하는 방법은 유입된 객체 영역과 배경 영역의 밝기 분포가 유사한 경우에 유입된 객체로 인한 밝기 변화를 정확하게 검출하지 못하는 한계가 있었다.
이러한 문제를 해결하기 위해서 영상의 화소 밝기와 텍스처 정보를 동시에 참고하여 영상의 변화를 검출하는 방법이 개시되었다.
이 방법은 임계값을 기준으로 영상의 화소 레벨을 부여하고 화소 레벨을 이용하여 영역을 분할하며, 분할된 각 영역 내부의 텍스처를 현재 영상과 기준 영상에서 각각 구한 후 그 유사도를 비교하여 유입된 객체 영역을 검출한다.
그러나 유입된 객체 영역과 배경 영역이 동일한 레벨을 갖게 되어 하나의 영역으로 분할된 경우에는 객체 영역을 효과적으로 검출할 수 없다는 문제가 있었다.
본 발명과 관련된 선행기술로는 대한민국 공개특허공보 10-2011-0109595호(2011.10.06.공개, 발명의 명칭 : 실시간 전경 영상 검출시스템 및 방법)가 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 영상의 밝기를 변화시키는 요인을 유입된 객체, 반사광, 그림자 및 노이즈 등으로 세분화시킬 수 있도록 다수의 임계값을 설정하고, 각 임계값에 기초하여 분할된 영상에서 유입된 객체와 배경을 정확하게 구분하기 위해 객체의 경계 화소를 추출함으로써, 유입된 객체로 인한 영상의 변화를 정확하게 검출할 수 있도록 하는, 영상의 변화를 검출하는 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 영상의 변화를 검출하는 방법은 기준 영상과 현재 영상의 화소 밝기 차이에 기초하여 차분 영상을 생성하는 단계; 상기 차분 영상의 밝기에 기초한 히스토그램을 생성하는 단계; 상기 히스토그램으로부터 적어도 둘 이상의 임계값을 추출하는 단계; 상기 현재 영상으로 유입된 객체의 경계 화소를 추출하는 단계; 상기 임계값 및 경계 화소를 참작하여 상기 차분 영상을 분할하는 단계; 및 상기 분할된 차분 영상 중에서 상기 유입된 객체에 의한 영상을 식별하는 단계를 포함한다.
본 발명에서 상기 임계값을 추출하는 단계는 국소 최대값(Local Maximum)을 분석하는 단계; 상기 국소 최대값이 두 구간 이상에서 발생하면 가우시안 혼합 모델(Gausian Mixture Model)로 상기 차분 영상의 밝기를 모델링하는 단계; 및 상기 모델링에 의한 각 모드를 구별하는 임계값을 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 상기 국소 최대값이 두 구간 미만에서 발생하면 노이즈에 의한 밝기 변화 영역과 유입된 객체에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출하는 단계; 및 상기 유입된 객체 자체에 의한 밝기 변화 영역과 상기 유입된 객체에 의한 반사광 및 그림자에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에서 상기 유입된 객체의 경계 화소를 추출하는 단계는, 상기 기준 영상의 각 화소 밝기 기울기를 연산하는 단계; 상기 현재 영상의 각 화소 밝기 기울기를 각각 연산하는 단계; 및 상기 기준 영상과 현재 영상의 각 화소 밝기 기울기에 기초하여 상기 유입된 객체의 경계 화소를 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 상기 기준 영상과 현재 영상의 화소 밝기 기울기에 기초하여 상기 유입된 객체의 경계 화소를 추출하는 단계에서, 상기 기준 영상과 현재 영상의 각 화소 밝기 기울기 크기의 차가 제1기준치 이상이거나, 또는 상기 기준 영상과 상기 현재 영상의 각 화소 밝기 기울기 방향의 차가 제2기준치 이상인 경우에 해당 화소를 상기 경계 화소로 추출하는 것을 특징으로 한다.
본 발명은 상기 유입된 객체에 의한 영상을 식별하는 단계에서 상기 분할된 차분 영상의 영역에 대응되는 상기 기준 영상의 영역과 상기 현재 영상의 영역의 유사도를 판단하여, 상기 기준 영상의 영역과 상기 현재 영상의 영역이 유사하지 않으면 해당 영역을 상기 유입된 객체에 의한 영상으로 식별하고, 상기 기준 영상의 영역과 상기 현재 영상의 영역이 유사하면 해당 영역을 배경에 의한 영상으로 식별하는 것을 특징으로 한다.
본 발명에서 상기 기준 영상 영역과 상기 현재 영상 영역의 유사도는 지역 이진 패턴(Local Binary Pattern) 또는 화소 밝기의 기울기 상관 관계에 기초하여 판단하는 것을 특징으로 한다.
본 발명에 따르면, 다수의 임계값을 통해서 영상의 각 화소를 분할하므로 다양한 요인으로 발생한 영상의 변화를 검출할 수 있다.
또한 본 발명은 유입된 객체의 경계 화소를 추출함으로써, 각 임계값으로 분할된 영상에서 동일한 레벨을 갖는 유입된 객체와 배경을 하나의 영역으로 판단하는 오류를 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법의 구현 과정을 설명하는 절차 흐름도이다.
도 2는 기준 영상과 현재 영상의 화소 밝기 차이에 기초한 차분 영상의 히스토그램을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 임계값을 추출하는 과정을 설명하는 절차 흐름도이다.
도 4는 Rosin이 제안한 방법에 의해서 추출된 차분 영상의 임계값을 나타내는 도면이다.
도 5는 Otsu가 제안한 방법에 의해서 추출된 차분 영상의 임계값을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 추출된 임계값을 기준으로 분할된 차분 영상의 일례를 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 유입된 객체의 경계 화소를 추출하는 과정을 설명하는 절차 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법과 기존 방법에 의해 검출된 객체를 비교한 도면이다.
이하에서는 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법의 구현 과정을 설명하는 절차 흐름도이다.
도 2는 기준 영상과 현재 영상의 화소 밝기 차이에 기초한 차분 영상의 히스토그램을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 임계값을 추출하는 과정을 설명하는 절차 흐름도이다.
도 4는 Rosin이 제안한 방법에 의해서 추출된 차분 영상의 임계값을 나타내는 도면이다.
도 5는 Otsu가 제안한 방법에 의해서 추출된 차분 영상의 임계값을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 추출된 임계값을 기준으로 분할된 차분 영상을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법에서 유입된 객체의 경계 화소를 추출하는 과정을 설명하는 절차 흐름도이다.
도 1 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법을 살펴보면, 먼저 기준 영상과 현재 영상의 화소 밝기 차이에 기초하여 차분 영상을 생성한다(S10).
즉, 본 실시예에서는 현재 영상에 유입된 객체로 인해서 변경되는 화소 밝기에 기초하여 영상의 변화를 검출하는데, 영상 기기를 통해서 1초당 일정한 프레임의 영상을 입력받는 과정에서 변화를 감지하고 싶은 기준 영상과 현재 입력된 영상의 밝기를 비교한다.
구체적으로는 기준 영상과 현재 영상에 대한 동일한 위치의 화소별로 밝기 차이를 비교하고, 밝기 차이에 따라 새로운 차분 영상을 생성한다.
그리고 생성된 차분 영상의 밝기에 기초한 히스토그램(Histogram)을 생성한다(S20). 이 때 차분 영상은 기준 영상과 현재 영상의 화소 밝기 차이에 기초하여 생성된 영상이므로, 차분 영상의 화소 밝기는 기준 영상과 현재 영상의 밝기 차이에 의해 결정된다.
구체적으로 화소를 표현하는 색상의 밝기는 0에서 255의 구간으로 나눌 수 있으므로 본 실시예에서 히스토그램은 -255에서 255의 밝기를 갖는 화소의 존재량을 표현한다.
즉, 현재 영상이 기준 영상에 비해서 상대적으로 더 밝은 위치의 화소는 히스토그램의 0에서 255의 구간에 존재하고, 현재 영상이 기준 영상에 비해서 상대적으로 더 어두운 위치의 화소는 히스토그램의 -255에서 0의 구간에 존재한다.
본 실시예에서는 이러한 구간의 크기 등에 한정되는 것이 아니므로 영상 구별 목적 등에 따라서 구간을 더욱 세분화하거나 간략화하는 것도 가능하다.
다음으로 전술한 단계(S20)에서 생성한 히스토그램으로부터 적어도 둘 이상의 임계값을 추출한다(S30). 특히 본 실시예에서 임계값을 추출할 때는 히스토그램의 국소 최대값(Local Maximum) 수에 기초하여 서로 다른 방법으로 임계값을 추출한다.
특히 영상의 밝기는 영상에 내재된 노이즈, 조명 변화, 유입된 객체의 그림자, 유입된 객체 표면의 반사광 등에 의해서 변화한다.
일례로 조명 변화에 따른 영상의 밝기 변화를 살펴보면, 도 3은 기준 영상과 현재 영상의 화소 밝기 차이에 기초한 차분 영상의 히스토그램을 나타낸 도면으로서, (A)는 조명의 변화가 없는 경우의 차분 영상의 히스토그램이고, (B)는 조명의 변화가 있는 경우의 차분 영상의 히스토그램이다.
도 2에 도시된 바와 같이 조명의 변화가 없는 경우에는 차분 영상의 히스토그램은 0에서 최대값이 발생하지만, 조명의 변화가 있는 경우에는 현재 영상의 밝기의 평균값이 변하기 때문에 히스토그램은 0이 아닌 30에서 최대값이 발생한다.
이와 같이 다양한 요인으로 인해 영상의 밝기가 변할 수 있기 때문에 본 실시예에서는 적어도 둘 이상의 임계값을 추출함으로써, 영상의 밝기를 변화시킬 수 있는 다양한 요인을 반영하여 변화를 검출한다.
이를 도 3을 참조하여 더욱 구체적으로 살펴보면 국소 최대값을 분석하여 국소 최대값이 두 구간 이상에서 발생하는지 판단하고(S32), 국소 최대값이 두 구간 이상에서 발생하면 가우시안 혼합 모델(Gausian Mixture Model, GMM)로 차분 영상의 밝기를 모델링한다(S34).
가우시안 혼합 모델은 혼합되어 있는 표본 데이터 집단에 대해 복수의 가우시안 확률 밀도 함수로 데이터의 분포를 모델링할 수 있기 때문에, 국소 최대값이 두 구간 이상에서 발생할 경우에 각 국소 최대값을 기준으로 데이터 분포를 모델링할 수 있다.
구체적으로 가우시안 혼합 모델을 적용하여 데이터 분포를 모델링하는 방법은 이미 공지된 기술이므로 자세한 설명은 생략한다.
그리고 모델링에 의한 각 국소 최대값의 모드를 구별하는 임계값을 추출한다(S36). 즉, 각 국소 최대값을 구별할 수 있는 차분 영상의 화소 밝기를 추출한다.
반면 전술한 판단(S32) 결과, 국소 최대값이 두 구간 미만에서 발생하면 가우시안 혼합 모델을 통한 데이터 모델링은 불가능하므로 노이즈에 의한 밝기 변화 영역과 유입된 객체에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출함으로써(S33), 배경 영역과 유입된 객체에 의한 영역을 구분할 수 있다.
이어서 유입된 객체 자체에 의한 밝기 변화 영역과 유입된 객체에 의한 반사광 및 그림자에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출함으로써(S35), 유입된 객체에 의한 밝기 변화 영역을 유입된 객체와 유입된 객체에 의한 반사광 및 그림자 영역으로 구분할 수 있다.
구체적으로 노이즈에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출하는 단계(S33)는 Rosin이 제안한 방법을 통해 수행할 수 있다. Rosin은 도 4에 도시된 바와 같이 차분 영상의 히스토그램에 대한 수평축의 정점(최대 밝기 값)과 수직축의 정점(최대 빈도 수)을 연결하는 직선과 히스토그램 간의 거리가 최대인 지점의 값을 임계값으로 정하였다.
이 값은 차분 영상에 내재하는 노이즈 표준기준치의 3배 정도에 해당하는 값으로, 차분 영상의 노이즈 특성을 추정하기 어려울 때 효과적이므로 본 실시예에서는 노이즈에 의한 밝기 변화 경계를 구분하기 위해 사용한다.
Rosin의 방법에 의한 임계값을 기준으로, 영상으로 유입된 객체에 의한 반사광 및 그림자를 포함하는 영역과 배경 영역을 구분할 수 있다.
Rosin이 제안한 임계값 추출 방법은 그의 논문("Unimodal Thresholding" Pattern Recognition, Vol. 34, No. 11, pp.2083-2096, 2001)을 통해 공지되었는 바 더욱 구체적인 구현 방법은 생략하기로 한다.
그리고 유입된 객체 자체에 의한 밝기 변화 영역의 임계값을 추출하는 단계(S35)는 Otsu가 제안한 방법을 통해 수행될 수 있다. Otsu는 도 5에 도시된 바와 같이 히스토그램을 두 구간으로 분할할 때 분할된 두 구간에서의 분산 값의 합이 최소가 되도록 임계값을 정하였다.
이 방법은 단일 객체가 배경과 다른 밝기 분포를 가질 경우에 매우 효과적이기 때문에, 본 실시예에서는 유입된 객체 자체와 그로 인한 반사광 및 그림자를 구별하기 위해서 사용한다.
Otsu의 방법에 의한 임계값을 기준으로, 영상으로 유입된 객체에 의한 반사광 및 그림자를 유입된 객체와 구분할 수 있다.
Otsu가 제안한 임계값 추출 방법은 그의 논문(A Threshold Selection Method from Gray-level Histogram", IEEE Transaction Systems Man Cybernet. Vol 9, pp. 62-66, 1979)을 통해 공지되었는 바 더욱 구체적인 구현 방법은 생략하기로 한다.
전술한 단계(S30)에서 추출한 임계값을 이용하여 분할한 차분 영상의 일례는 도 6과 같다. 도 6의 (A)는 조명의 변화가 없는 영상에서 임계값을 통해 분할된 차분 영상이고, (B)는 조명의 변화가 있는 영상에서 임계값을 통해 분할된 차분 영상이다.
전술한 바와 같이 조명의 변화가 없는 경우에는 유입된 객체에 의한 반사광 및 그림자로 인한 밝기 변화가 대부분이므로 유입된 객체 주변에서만 차분 영상의 화소가 값을 갖는다.
반면 조명의 변화가 있는 경우에는 조명에 의해서 배경의 밝기도 변하므로 차분 영상의 대부분의 화소가 값을 갖는다.
더불어 (A)의 경우는 차분 영상의 히스토그램에서 국소 최대값이 한 구간에서만 발생하여 Rosin과 Otsu의 방법으로 추출한 임계값을 기준으로 영상을 분할한 것으로, 차분 영상은 유입된 객체, 유입된 객체에 의한 반사광 및 그림자, 배경의 세 가지 영역으로 분할된 것을 확인할 수 있다.
반면 (B)의 경우는 차분 영상의 히스토그램에서 국소 최대값이 두 구간 이상에서 발생하여 가우시안 혼합 모델로 추출한 임계값을 기준으로 영상을 분할한 것으로, 차분 영상은 네 가지 영역으로 분할된 것을 확인할 수 있다.
도 6에 도시된 분할 영상을 참조하면, 유입된 객체의 영역 중 일부가 주변 영역과 동일한 레벨(동일한 색상)로 분할되어 있음을 확인할 수 있다. 즉, 배경의 일부 부분의 밝기 변화가 유입된 객체에 의한 밝기 변화와 비슷하여 동일한 영역으로 분할된 것으로, 이와 같은 경우에는 영상에서 정확하게 유입된 객체를 구별할 수 없다.
따라서 본 실시예에서는 추가적으로 현재 영상으로 유입된 객체의 경계 화소를 추출한다(S40). 전술한 단계(S30)에서 추출한 임계값은 화소의 밝기 차이에 기초한 것으로서, 노이즈 등으로 인해서 현재 영상으로 유입된 객체 부분과 배경이 동일한 영역으로 구분되는 경우에는 유입된 객체를 효과적으로 구별할 수 없기 때문에, 본 실시예에서는 별도의 과정을 통해서 유입된 객체의 경계 화소를 추출한다.
구체적으로 도 7에 도시된 바와 같이 기준 영상의 각 화소 밝기 기울기를 연산하고(S42), 현재 영상의 각 화소 밝기 기울기를 연산하며(S44), 기준 영상과 현재 영상의 각 화소 밝기 기울기에 기초하여 유입된 객체의 경계 화소를 추출한다.
보다 구체적으로는 기준 영상과 현재 영상의 각 화소 밝기 기울기 크기의 차가 제1기준치 이상이거나 또는 기준 영상과 현재 영상의 각 화소 밝기 기울기 방향의 차가 제2기준치 이상인지 판단하고(S46), 각 화소 밝기 기울기 크기의 차가 제1기준치 이상 또는 각 화소 밝기 기울기 방향의 차가 제2기준치 이상인 경우에 해당 화소를 경계 화소로 추출한다(S48).
그리고 최종적으로 모든 화소에 대해서 전술한 연산을 완료했는지 판단함으로써(S49), 모든 화소에 대해서 경계 화소에 해당하는지 여부를 판단한다.
즉, 유입된 객체는 배경과는 다른 밝기 분포를 갖기 때문에 유입된 객체와 배경의 경계 부근에서는 화소의 밝기 기울기의 크기 또는 방향이 크게 변하므로, 본 실시예에서는 이러한 화소의 밝기 기울기에 따라 유입된 객체의 경계 화소를 추출한다.
따라서 제1기준치 및 제2기준치는 새로운 객체의 유입으로 화소의 밝기가 변한 것으로 판단할 수 있을 정도의 기울기 차이를 의미하며 제1기준치는 화소가 얼마나 변했는지에 대한 크기 값이 되고, 제2기준치는 화소의 위상이 얼마나 변했는지에 대한 위상 값이 된다. 전술한 바에 따라 각 화소가 유입된 객체의 경계 화소에 해당하는 조건은 아래 수학식 1과 같다.
Figure 112013012171482-pat00001
Figure 112013012171482-pat00002
인 경우
(
Figure 112013012171482-pat00003
,
Figure 112013012171482-pat00004
,
Figure 112013012171482-pat00005
는 기준 영상의 화소 밝기 기울기 크기,
Figure 112013012171482-pat00006
는 현재 영상의 화소 밝기 기울기 크기,
Figure 112013012171482-pat00007
는 기준 영상의 화소 밝기 기울기 방향,
Figure 112013012171482-pat00008
는 현재 영상의 화소 밝기 기울기 방향)
이어서 추출한 임계값 및 경계 화소를 참작하여 차분 영상을 분할한다(S50). 즉, 각 임계값에 기초하여 각 화소마다 레벨값을 부여하고 동일한 레벨을 가진 연속된 화소들을 하나의 영역으로 분할한다.
구체적으로 임의의 화소로부터 동일한 레벨을 가진 화소측으로 점점 영역을 확장하는데, 확장된 영역이 전술한 단계(S40)에서 선택한 경계 화소에 도달하면 확장을 멈추고 하나의 영역으로 분할된다.
다음으로 분할된 차분 영상 중에서 유입된 객체에 의한 영상을 식별한다(S60). 구체적으로는, 분할된 차분 영상을 유입된 객체에 의한 영상과 배경에 의한 영상으로 구별한다.
이를 위해서 분할된 차분 영상의 각 영역에 대응되는 기준 영상의 영역과 현재 영상의 영역의 유사도를 판단하여, 유입된 객체에 의한 영상과 배경에 의한 영상을 구별한다.
즉, 기준 영상의 영역과 현재 영상의 영역이 유사하지 않으면 해당 영역은 유입된 객체에 의한 영상으로 식별하고, 기준 영상의 영역과 현재 영상의 영역이 유사하면 해당 영역을 배경에 의한 영상으로 식별한다.
특히 본 실시예에서는 분할된 각 영역에 해당하는 현재 영상의 영역 화소와 기준 영상의 영역 화소에서 텍스처를 추출하고 이들의 유사도를 판단하며, 특히 지역 이진 패턴(Local Binary Pattern, LBP) 또는 화소 밝기의 기울기 상관 관계에 기초하여 유입된 객체의 영상을 식별한다.
지역 이진 패턴(LBP)은 중심 화소의 밝기 값이 주변 화소의 밝기 값보다 일정 마진 이상 크면 1, 그렇지 않으면 0으로 이진화하고 N개의 주변 화소에서 생성된 이진화된 값을 통합하여 N비트의 패턴으로 만들어서 각 영상의 유사도를 판단한다.
분할된 각 영역에 해당하는 기준 영상과 현재 영상의 유사도를 지역 이진 패턴에 의해 판단하는 방법은 아래의 수학식 2와 같다.
Figure 112013012171482-pat00009
otherwise, 해당 영역은 배경으로 판단
(
Figure 112013012171482-pat00010
,
Figure 112013012171482-pat00011
,
Figure 112013012171482-pat00012
,
Figure 112013012171482-pat00013
는 기준 영상의 화소들의 지역 이진 패턴 히스토그램,
Figure 112013012171482-pat00014
는 현재 영상의 화소들의 지역 이진 패턴 히스토그램)
이 때 cost는 기준 영상과 현재 영상의 화소들의 지역 이진 패턴 히스토그램을 통해 유사도를 판단하는 지표로서, 각 지역 이진 패턴 히스토그램이 유사하지 않은 경우에는 cost가 작게 나타나므로 해당 영역은 유입된 객체에 의한 영상으로 판단할 수 있다.
반면, 각 지역 이진 패턴 히스토그램이 유사한 경우에는 cost가 크게 나타나므로 해당 영역은 배경에 의한 영상으로 판단할 수 있다.
화소 밝기의 기울기 상관 관계를 이용하여 영역을 판단할 때는 유입된 객체 영역의 화소 밝기의 기울기와 기준 영상의 화소 밝기의 기울기간의 상관관계를 통해서 유입된 객체의 영상을 식별한다.
화소 밝기의 기울기간의 상관관계를 통한 유사도 비교는 Li가 제안한 기술을 이용할 수 있으며, 그 방법은 아래의 수학식 3과 같다.
Figure 112013012171482-pat00015
- - - ①
Figure 112013012171482-pat00016
- - - ②
(
Figure 112013012171482-pat00017
는 기준 영상의 화소(i, j)에서 기울기 벡터의 편도 함수,
Figure 112013012171482-pat00018
는 현재 영상의 화소(i, j)에서 기울기 벡터의 편도 함수,
Figure 112013012171482-pat00019
는 기준 영상과 현재 영상의 화소(i, j)에서 기울기 벡터의 사잇각)
①식은 화소의 기울기의 교차-상관관계(Cross-Correlation)와 자기-상관관계(Auto-Correlation)를 이용한 유사도를 정하는 함수로서, 이 함수에 의해 두 기울기가 동일하면 1이고, 두 기울기가 다르면 0으로 나타나므로 이를 통해 유사도를 판단할 수 있다.
Li는 그의 논문("Integrating Intensity and Texture Differences for Robust Change Detection", IEEE Transaction on Image Processing, Vol. 11, No. 2, pp. 105-112, 2002)에서 이 식을 이용하여 화소의
Figure 112013012171482-pat00020
주변 영역을 비교하여 화소의 텍스처 유사도를 정의하였다.
본 실시예에서는 ②식과 같이 분할 영역 전체에서의 유사도를 판단한다.
즉, 유입된 객체 영역에 대해서는 기준 영상과 현재 영상의 기울기가 서로 다르게 되어 영역 전체에서의 유사도가 0에 가깝게 나타나며, 배경에 대해서는 기준 영상과 현재 영상의 기울기가 서로 유사하여 영역 전체에서의 유사도가 1에 가깝게 나타난다.
도 8은 본 발명의 일 실시예에 따른 영상의 변화를 검출하는 방법과 기존 방법에 의해 검출된 객체를 비교한 도면이다.
(A)는 기준 영상, (B)는 현재 영상, (C)는 이상적인 검출 영상, (D)는 Otsu 방법으로 검출한 영상, (E)는 Rosin 방법으로 검출한 영상, (F)는 Li 방법으로 검출한 영상, (G)는 지역 이진 패턴으로 검출한 영상, (H)는 화소 밝기의 기울기 상관 관계로 검출한 영상을 나타낸다.
본 실시예에 따른 (H)의 영상이 이상적인 검출 영상과 거의 유사하게 유입된 객체를 검출할 수 있음을 확인할 수 있다.
본 실시예에 따르면, 다수의 임계값을 통해서 영상의 각 화소를 분할하므로 다양한 요인으로 발생한 영상의 변화를 검출할 수 있다.
또한 본 실시예는 유입된 객체의 경계 화소를 추출함으로써, 각 임계값으로 분할된 영상에서 동일한 레벨을 갖는 유입된 객체와 배경을 하나의 영역으로 판단하는 오류를 방지할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

Claims (7)

  1. 기준 영상과 현재 영상의 화소 밝기 차이에 기초하여 차분 영상을 생성하는 단계;
    상기 차분 영상의 밝기에 기초한 히스토그램을 생성하는 단계;
    상기 히스토그램으로부터 적어도 둘 이상의 임계값을 추출하는 단계;
    상기 현재 영상으로 유입된 객체의 경계 화소를 추출하는 단계;
    상기 임계값 및 경계 화소를 참작하여 상기 차분 영상을 분할하는 단계; 및
    상기 분할된 차분 영상 중에서 상기 유입된 객체에 의한 영상을 식별하는 단계
    를 포함하는 영상의 변화를 검출하는 방법.
  2. 제 1항에 있어서,
    상기 임계값을 추출하는 단계는 국소 최대값(Local Maximum)을 분석하는 단계;
    상기 국소 최대값이 두 구간 이상에서 발생하면 가우시안 혼합 모델(Gausian Mixture Model)로 상기 차분 영상의 밝기를 모델링하는 단계; 및
    상기 모델링에 의한 각 모드를 구별하는 임계값을 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
  3. 제 2항에 있어서,
    상기 국소 최대값이 두 구간 미만에서 발생하면 노이즈에 의한 밝기 변화 영역과 유입된 객체에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출하는 단계; 및
    상기 유입된 객체 자체에 의한 밝기 변화 영역과 상기 유입된 객체에 의한 반사광 및 그림자에 의한 밝기 변화 영역을 구분하기 위한 임계값을 추출하는 단계
    를 더 포함하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
  4. 제 1항에 있어서,
    상기 유입된 객체의 경계 화소를 추출하는 단계는, 상기 기준 영상의 각 화소 밝기 기울기를 연산하는 단계;
    상기 현재 영상의 각 화소 밝기 기울기를 각각 연산하는 단계; 및
    상기 기준 영상과 현재 영상의 각 화소 밝기 기울기에 기초하여 상기 유입된 객체의 경계 화소를 추출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
  5. 제 4항에 있어서,
    상기 기준 영상과 현재 영상의 화소 밝기 기울기에 기초하여 상기 유입된 객체의 경계 화소를 추출하는 단계에서, 상기 기준 영상과 현재 영상의 각 화소 밝기 기울기 크기의 차가 제1기준치 이상이거나, 또는 상기 기준 영상과 상기 현재 영상의 각 화소 밝기 기울기 방향의 차가 제2기준치 이상인 경우에 해당 화소를 상기 경계 화소로 추출하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
  6. 제 1항에 있어서,
    상기 유입된 객체에 의한 영상을 식별하는 단계에서 상기 분할된 차분 영상의 영역에 대응되는 상기 기준 영상의 영역과 상기 현재 영상의 영역의 유사도를 판단하여, 상기 기준 영상의 영역과 상기 현재 영상의 영역이 유사하지 않으면 해당 영역을 상기 유입된 객체에 의한 영상으로 식별하고, 상기 기준 영상의 영역과 상기 현재 영상의 영역이 유사하면 해당 영역을 배경에 의한 영상으로 식별하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
  7. 제 6항에 있어서,
    상기 기준 영상의 영역과 상기 현재 영상의 영역의 유사도는 지역 이진 패턴(Local Binary Pattern) 또는 화소 밝기의 기울기 상관 관계에 기초하여 판단하는 것을 특징으로 하는 영상의 변화를 검출하는 방법.
KR1020130014665A 2013-02-08 2013-02-08 영상의 변화를 검출하는 방법 KR101380329B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130014665A KR101380329B1 (ko) 2013-02-08 2013-02-08 영상의 변화를 검출하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130014665A KR101380329B1 (ko) 2013-02-08 2013-02-08 영상의 변화를 검출하는 방법

Publications (1)

Publication Number Publication Date
KR101380329B1 true KR101380329B1 (ko) 2014-04-02

Family

ID=50656277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130014665A KR101380329B1 (ko) 2013-02-08 2013-02-08 영상의 변화를 검출하는 방법

Country Status (1)

Country Link
KR (1) KR101380329B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617182B1 (ko) * 2015-02-24 2016-05-02 (주)파크인서울 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치
CN113592877A (zh) * 2021-03-25 2021-11-02 国网新源控股有限公司 一种抽水蓄能电站红线超标识别方法及装置
CN114821334A (zh) * 2022-05-17 2022-07-29 重庆市地理信息和遥感应用中心 基于区域定位和局部特征匹配的楼顶加盖违建识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060118137A (ko) * 2005-05-16 2006-11-23 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060118137A (ko) * 2005-05-16 2006-11-23 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
KR20090024898A (ko) * 2007-09-05 2009-03-10 한국전자통신연구원 영상 객체 추출 장치 및 그 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
연승호, 김재민, "강인한 변화 검출", 한국지능시스템학회 2012년도 추계학술대회 학술발표논문집, vol.22, no.2, pp.97-98, 2012년. *
연승호, 김재민, "영상의 밝기와 텍스처를 이용한 조명 변화에 강인한 변화 검출", 한국멀티미디어학회논문지, vol.16, no.2, pp.169-179, 2013년 2월. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101617182B1 (ko) * 2015-02-24 2016-05-02 (주)파크인서울 차량의 헤드라이트에 강인한 실시간 객체 영역 검출 방법 및 장치
CN113592877A (zh) * 2021-03-25 2021-11-02 国网新源控股有限公司 一种抽水蓄能电站红线超标识别方法及装置
CN113592877B (zh) * 2021-03-25 2024-04-12 国网新源控股有限公司 一种抽水蓄能电站红线超标识别方法及装置
CN114821334A (zh) * 2022-05-17 2022-07-29 重庆市地理信息和遥感应用中心 基于区域定位和局部特征匹配的楼顶加盖违建识别方法
CN114821334B (zh) * 2022-05-17 2023-08-04 重庆市地理信息和遥感应用中心 基于区域定位和局部特征匹配的楼顶加盖违建识别方法

Similar Documents

Publication Publication Date Title
Luvizon et al. A video-based system for vehicle speed measurement in urban roadways
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
US8280106B2 (en) Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
KR100651753B1 (ko) 객체의 대칭 특성과 모멘트 특성을 이용한 눈 검출 방법 및그 장치
KR101279712B1 (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
EP2959454A1 (en) Method, system and software module for foreground extraction
CN105912977B (zh) 基于点聚类的车道线检测方法
CN107274452B (zh) 一种痘痘自动检测方法
US8396297B2 (en) Supervised edge detection using fractal signatures
JP2012123626A (ja) 対象物検出装置及びプログラム
KR101380329B1 (ko) 영상의 변화를 검출하는 방법
CN111539980A (zh) 一种基于可见光的多目标追踪方法
KR20190056457A (ko) 보행자 의상 특징 추출을 통한 보행자 추적 방법
Choi et al. Localizing slab identification numbers in factory scene images
KR101557271B1 (ko) 영상 내 원 형상 검출에 따른 검출 원 형상의 근사화 방법
KR101729536B1 (ko) 이동 물체 검출 장치 및 그 방법
US7440636B2 (en) Method and apparatus for image processing
Dai et al. Robust and accurate moving shadow detection based on multiple features fusion
KR102026410B1 (ko) 마커 인식 시스템 및 방법
Si-ming et al. Moving shadow detection based on Susan algorithm
Choudri et al. Robust background model for pixel based people counting using a single uncalibrated camera
Bergevin et al. Detection and characterization of junctions in a 2D image
Aqel et al. Traffic video surveillance: Background modeling and shadow elimination
KR101357581B1 (ko) 깊이 정보 기반 사람의 피부 영역 검출 방법
JP2014052977A (ja) 対応付け装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200304

Year of fee payment: 7