KR101737430B1 - 동적 배경을 가진 영상의 대상 객체 검출 방법 - Google Patents

동적 배경을 가진 영상의 대상 객체 검출 방법 Download PDF

Info

Publication number
KR101737430B1
KR101737430B1 KR1020150156027A KR20150156027A KR101737430B1 KR 101737430 B1 KR101737430 B1 KR 101737430B1 KR 1020150156027 A KR1020150156027 A KR 1020150156027A KR 20150156027 A KR20150156027 A KR 20150156027A KR 101737430 B1 KR101737430 B1 KR 101737430B1
Authority
KR
South Korea
Prior art keywords
image
background
target object
target
foreground
Prior art date
Application number
KR1020150156027A
Other languages
English (en)
Other versions
KR20170053807A (ko
Inventor
김윤
김도현
한종우
최유정
심재민
김재구
유재용
안상섭
전경미
이승수
Original Assignee
주식회사 지오멕스소프트
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지오멕스소프트, 강원대학교산학협력단 filed Critical 주식회사 지오멕스소프트
Priority to KR1020150156027A priority Critical patent/KR101737430B1/ko
Publication of KR20170053807A publication Critical patent/KR20170053807A/ko
Application granted granted Critical
Publication of KR101737430B1 publication Critical patent/KR101737430B1/ko

Links

Images

Classifications

    • G06K9/00778—
    • G06K9/00697—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

파도가 치는 해변과 같이 동적 배경을 가지는 영상을 촬영하고, 촬영 영상에서 해변에 입수한 사람 등의 대상 객체를 검출하여 추적하는, 동적 배경을 가진 영상의 대상 객체 검출 방법에 관한 것으로서, (a) 촬영영상에서 전경영상을 획득하는 단계; (b) 전경영상에 색상필터를 적용하여, 배경객체와 대상객체의 이진영상을 생성하는 단계; (c) 상기 이진영상에 대하여 라벨링을 하여, 객체를 식별하고 객체 블록을 설정하는 단계; (d) 식별된 객체에 대하여, 상기 촬영영상에서 템플릿 매칭을 통해 대상 객체를 추적하는 단계; 및, (e) 배경객체를 추적하여 대상객체의 움직임 범위 내이면 해당 배경객체를 대상객체로 보정하는 단계를 포함하는 구성을 마련한다.
상기와 같은 객체 검출 방법에 의하여, 촬영 영상에서 파도와 같이 동적인 배경 객체를 제외하여 입수자와 같은 대상 객체를 검출함으로써, 파도 등 동적인 배경을 같이 촬영하더라도 입수자 등 대상 객체를 정확하게 검출하고 추적할 수 있다.

Description

동적 배경을 가진 영상의 대상 객체 검출 방법 { A method of detecting objects in the image with moving background }
본 발명은 파도가 치는 해변과 같이 동적 배경을 가지는 영상을 촬영하고, 촬영 영상에서 해변에 입수한 사람 등의 대상 객체를 검출하여 추적하는, 동적 배경을 가진 영상의 대상 객체 검출 방법에 관한 것이다.
일반적으로, 영상 내에서 특정 물체를 지속적으로 추적하는 것은 컴퓨터 비전 분야에 있어서 매우 중요한 연구 주제이다. 영상 추적은 로봇 비전, 영상 감시, 동영상 분석, 홈 자동화 및 행동 인식 등 다양한 응용에 있어서 기초적인 처리 단계로 사용되며 이들 응용들은 정확한 추적 결과를 필요로 한다. 이를 위하여 다양한 추적 방법이 지속적으로 제안되어 왔다.
하지만 영상 내의 물체 추적 과정에서는 몇가지 장애 요인이 발생하는데, 예를 들어 추적 대상이 다른 물체에 의해 가려지는 경우나 배경에 비해 추적 대상이 별달리 두드러지지 않을 경우에 추적 성능이 떨어지게 된다.
이를 위하여, 촬영된 영상에서 전경(foreground) 영상을 배경(background) 영상으로부터 분리하는 것이 필요하다. 즉, 촬영 영상의 각각의 화소에 대하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하여, 촬영 영상에서 전경 영상과 배경 영상을 분리한다. 그리고 분리된 전경 영상에서 물체를 추적하는 기술들이 제시되고 있다.
일례로서, 촬영된 영상에서 배경 영상을 추출한 후 촬영 영상과 배경 영상간의 차신호 영상인 전경 영상을 분리하고, 전경 영상의 이동성 내지 움직임 여부를 판단하기 위하여 명도 및 채도 등의 특성 변화를 분석하여 소정의 후보 영역을 추출한 다음, 추출된 해당 후보에 대하여 연기 또는 화염의 특성을 갖는 영역을 분리 추출하는 기술이 제시되고 있다[특허문헌 1]. 다른 예로서, 입력 영상에 대하여 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 또는 배경 영상의 화소인지를 판단하고, 전경 영상의 화소 또는 움직임 영역에 포함되었다고 판단하는 화소에 대하여 전경 확률을 구하여 문턱값 이상이면 전경 영상의 화소로 판단하는 기술이 제시되고 있다[특허문헌 2]. 또 다른 예로서, 비디오 영상에서 사람과 배경 영역을 각각 가우시안 혼합 모델로 모델링 하고, 모델링을 기초로 에너지를 설계하여, 설계한 에너지의 최소화를 통해 사람 영역을 분리하는 기술이 제시되고 있다[특허문헌 3].
그러나 상기 선행기술들 중 촬영 영상과 배경 영상간의 차신호 영상인 전경 영상을 분리하는 기술이 배경 영상이 정지된 영상인 경우에 대한 기술로서, 배경에 움직임이 있을 경우 전경 영상에 잔상이 남게 되는 문제점이 있다.
[특허문헌 1] 한국공개특허 제10-2012-0035734호 (2012.04.16.공개) [특허문헌 2] 한국공개특허 제10-2013-0104286호 (2013.09.25.공개) [특허문헌 3] 한국공개특허 제10-2015-0047937호 (2015.05.06.공개)
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 파도가 치는 해변과 같이 동적 배경을 가지는 영상을 촬영하고, 촬영 영상에서 해변에 입수한 사람 등의 대상 객체를 검출하여 추적하는, 동적 배경을 가진 영상의 대상 객체 검출 방법을 제공하는 것이다.
특히, 본 발명은 움직임이 있는 배경 내의 객체를 촬영하여, 촬영 영상에서 정지된 배경과 움직이는 배경을 확률적 분포(가우시안 분포)를 이용하여 배경과 전경 영상으로 구분하고, 전경 영상에서 대상 객체를 검출 하는 동적 배경을 가진 영상의 대상 객체 검출 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 관한 것으로서, (a) 촬영영상에서 전경영상을 획득하는 단계; (b) 전경영상에 색상필터를 적용하여, 배경객체와 대상객체의 이진영상을 생성하는 단계; (c) 상기 이진영상에 대하여 라벨링을 하여, 객체를 식별하고 객체 블록을 설정하는 단계; (d) 식별된 객체에 대하여, 상기 촬영영상에서 템플릿 매칭을 통해 대상 객체를 추적하는 단계; 및, (e) 배경객체를 추적하여 대상객체의 움직임 범위 내이면 해당 배경객체를 대상객체로 보정하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (a)단계에서, 가우시안 혼합 모델을 이용하여 촬영 영상에서 전경 영상과 배경 영상을 구분하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (a)단계에서, 상기 촬영 영상 내의 일부분인 관심 영역을 설정하고, 상기 관심 영역에 대해서만 전경 영상을 추출하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (b)단계에서, 상기 전경 영상을 YCbCr 방식 영상으로 변환하여, 각 화소의 Cb와 Cr의 색상 값이 각각 사전에 정해진 범위 내이면, 해당 화소를 대상 객체 또는 배경 객체로 판단하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (b)단계에서, 상기 이진 영상에 대하여 모폴로지 연산의 닫힘(closing) 연산을 수행하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (b)단계에서, 모폴로지 연산의 수행을 위해, 색상 필터링을 수행하는 영상 파일은 별도로 생성되고, 모폴로지 연산을 수행 후 채워져야 하는 해당 위치의 화소값은 전경 영상으로부터 다시 가져오는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (c)단계에서, 상기 이진 영상에 대하여 라벨링을 수행하되, 인접한 화소 영역들을 하나의 동일한 번호로 라벨링을 하고, 독립된 하나의 번호로 라벨링된 영역을 하나의 객체로 설정하고, 라벨링 영역을 모두 포함하는 최소 사각형을 객체 블록으로 설정하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (d)단계에서, 각 객체의 객체 블록들 각각을 하나의 템플릿으로 설정하고, 템플릿 매칭을 통해 다음 프레임에서의 객체를 추적하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (d)단계에서, 샘플 영상에서 객체의 움직임의 범위를 사전에 구해두고, 객체의 움직임 범위에 따라 템플릿 매칭을 위한 탐색영역의 크기를 설정하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (d)단계에서, 현재 프레임의 탐색 영역 내에서 매칭되는 블록이 탐색되지 않으면, 사전에 정해진 개수의 프레임 동안 해당 대상 객체를 계속 탐색하고, 탐색되지 않으면 해당 대상 객체를 잘못 검출한 것으로 판단하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 상기 (e)단계에서, 상기 배경 객체가 현재 프레임에서 추적되면, 추적된 현재 프레임의 배경 객체의 위치와, 이전 프레임의 배경 객체의 차이로 움직임 벡터를 구하고, 움직임 벡터에 의해 해당 배경 객체의 움직임 범위를 구하는 것을 특징으로 한다.
또, 본 발명은 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서, 배경 객체 또는 대상 객체의 움직임 범위는 각 배경 객체 또는 각 대상 객체들의 움직임 속도를 모두 구하여, 움직임 속도의 분포를 통해 구하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 동적 배경을 가진 영상의 대상 객체 검출 방법에 의하면, 촬영 영상에서 파도와 같이 동적인 배경 객체를 제외하여 입수자와 같은 대상 객체를 검출함으로써, 파도 등 동적인 배경을 같이 촬영하더라도 입수자 등 대상 객체를 정확하게 검출하고 추적할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성에 대한 블록도.
도 2는 본 발명의 일실시예에 따른 동적 배경을 가진 영상의 대상 객체 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따라 전체 영상(촬영 영상)에서 관심지역을 설정하는 예시도.
도 4는 본 발명에 따라 촬영 영상에서 추출한 배경 영상의 예시도.
도 5는 본 발명에 따라 촬영 영상에서 추출한 전경 영상의 예시도.
도 6은 본 발명에 따른 대상 객체 및 배경 객체의 이진 영상의 예시도.
도 7은 본 발명에 따른 대상 객체 및 배경 객체의 이진 영상에서 닫힘 연산을 통해 보정된 영상의 예시도.
도 8은 본 발명에 따른 이진 영상에서 라벨링한 결과 영상의 예시도.
도 9는 본 발명에 따른 움직임 추정을 통한 탐색영역을 설정하는 예시도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 동적 배경을 가진 영상의 대상 객체 검출 방법은 촬영 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)으로부터 입수자 또는 대상 객체를 검출하여 추적하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 동적 배경을 가진 영상의 대상 객체 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 상기 동적 배경을 가진 영상의 대상 객체 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 스테레오 영상(또는 이미지)의 워터마킹 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 해변 입수자 검출 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
촬영 영상(10)은 파도가 치는 해변을 카메라(미도시)로 촬영한 영상이다. 특히, 해변에는 다수의 입수자들이 물 속에 있고, 이를 촬영한 영상이다.
촬영 영상(10)은 연속적인 시간상에서 다수의 프레임으로 구성된 영상이다. 예를 들어, 현재 프레임이 t시간에서의 프레임이면, 이전 프레임은 t-1, t-2, t-3 등의 시간에서의 프레임이고, 이후 프레임은 t+1, t+2, t+3, ... 등의 시간에서의 프레임이다. 이들 프레임을 전후 프레임이라고 부르기로 한다. 영상은 시간적으로 연속된 다수의 프레임으로 구성된다. 즉, 촬영 영상은 ..., t-3, t-2, t-1, t, t+1, t+2, t+3, ... 시간 대의 프레임으로 구성된다. 이때, 현재 프레임, 즉, 관심 대상인 프레임을 대상 프레임이라고도 부르기로 한다. 또한, 영상은 다수의 프레임으로 구성되나, 이하에서, 특별히 구별의 필요성이 없으면, 프레임과 영상을 혼용하기로 한다.
다음으로, 본 발명의 일실시예에 따른 동적 배경을 가진 영상의 대상 객체 검출 방법을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 동적 배경을 가진 영상의 대상 객체 검출 방법은 (a) 촬영영상에서 전경영상을 획득하는 단계(S10); (b) 전경영상에 색상필터를 적용하여 배경객체와 대상객체의 이진영상을 생성하는 단계(S20); (c) 라벨링을 이용하여 객체를 식별하고 객체 블록을 설정하는 단계(S30); (d) 템플릿 매칭을 통해 대상 객체를 추적하는 단계(S40); 및, (e) 배경객체를 추적하여 대상객체와 움직임이 유사한 배경객체를 대상객체로 보정하는 단계(S50)로 구성된다.
먼저, 가우시안 혼합 모델을 이용하여 촬영 영상에서 전경 영상을 추출한다(S10). 즉, 촬영 영상의 화소들 각각에 대하여, 가우시안(Gaussian) 혼합 모델에 의하여 전경 영상의 화소인지 배경 영상의 화소인지를 판단한다.
구체적으로, 주기 T 동안에 M 개의 영상 프레임들이 입력되는 경우, 어느 한 시점 t에서 어느 한 화소의 가우시안 혼합 분포는 아래의 수학식 1로 표현될 수 있다.
[수학식 1]
Figure 112015108425909-pat00001
여기서, p는 확률을 나타낸다. x는 어느 한 화소의 화소값을, XT는 입력 영상을, BG는 배경 영상 가능성의 화소를, FG는 전경 영상 가능성의 화소를 나타낸다. 또한, πm은 m번째 가우시안 분포의 가중값을, N은 정규 분포를, μm은 m번째 가우시안 분포의 평균값을, σm 2은 m번째 가우시안 분포의 분산값 x(t)-μ을 나타낸다. 그리고 그리고 I는 상수를 의미한다.
다음 t+1 시점에서 해당 화소의 화소값이 입력된 경우, 아래의 수학식들 2 내지 4에 의하여 분포가 재귀적으로 갱신된다.
[수학식 2]
Figure 112015108425909-pat00002
[수학식 3]
Figure 112015108425909-pat00003
[수학식 4]
Figure 112015108425909-pat00004
여기서, α는 설정 상수를 가리킨다. om은, 이전 t 시점에서 해당 화소의 화소값이 가우시안 분포와 매칭된 경우에 "1"의 값을, 그렇지 않은 경우에 "0"의 값을 가진다.
수학식 3의 δm은 입력 화소값 x(t)에서 현재의 평균 μm을 뺀 값이다. 여기서, 매칭된 경우 갱신되는 평균이 입력 화소값 x(t)에 근접하게 이동하게 된다. 수학식 4의 공분산 δm Tδm은 간단히 편차(x(t)-μm)의 제곱으로 표현하여 매칭된 경우 δm Tδm-δm 2이 음의 값을 갖게 되므로 갱신되는 분산은 현재 분산 보다 작아지게 된다.
또한, 배경에 해당하는 화소값의 가우시안 분포는, 전경에 해당하는 화소값의 가우시안 분포에 비하여, 가중값 πm이 크고 분산값 σm 2이 적은 특성을 가진다.
이를 이용하여, 가중값 πm이 큰 순서대로 B 개의 가중값들 πm을 더하면, 해당 화소의 배경 확률을 얻을 수 있다. 즉, 아래의 수학식 5에 의하여 얻어진 배경 확률 값이 설정 문턱값 이상이면 배경 화소로 판단하고, 그렇지 않으면 전경 화소로 판단한다.
[수학식 5]
Figure 112015108425909-pat00005
바람직하게는, 촬영 영상 내의 일부분인 관심 영역(ROI)을 설정하여, 관심 영역에 대해서만 대상 객체를 검출할 수 있다. 이 경우, 촬영 영상 내에서 관심 영역 외의 나머지 영역을 제외시킨다. 그리고 관심 영역에 대해서만, 앞서와 같이, 전경 영상을 추출한다. 즉, 촬영 영상의 관심 영역에 대해서만, 혼합 가우시안 모델을 적용하여, 전경 영상을 추출한다.
더욱 바람직하게는, 관심영역 마스크를 설정하고, 설정된 마스크를 촬영 영상에 적용하여, 관심영역에 대한 전경 영상만 추출한다. 도 5는 도 3에서 빨간색 선 안에 포함되는 관심영역에 대해서만 추출한 전경 영상이다.
해변에서 바다에 입수한 입수자를 감시하는 경우, 먼 바다 까지 나가는 입수자를 감시하고 안전선 밖으로 이탈하는 입수자에게 경고를 해주어야 한다. 그러나 해변가 가까이 얕은 곳에 있는 사람들은 별 위험이 없기 때문에 감시 대상에 포함시킬 필요가 없다. 또한, 아주 먼 바다는 주로 보트나 선박 등이 다니기 때문에, 먼 바다 까지 입수자를 감시할 필요가 없다. 따라서 해변가의 안전선을 기준으로 일정한 범위 내를 관심 영역으로 설정하여, 해당 관심 영역 내에서만 입수자를 감시하는 것이 바람직하다.
따라서 도 3에서 보는 바와 같이, 안전선 또는 안전 경계선을 기준으로 일정한 범위를 영역으로 하는 관심영역 마스크를 설정하고, 설정된 마스크를 촬영 영상 또는 전경 영상에 적용하여 관심영역만 추출한다.
이때, 일실시예는 촬영 영상에 관심영역 마스크를 적용한 후 전경 영상을 추추출한다. 다른 실시예는 촬영 영상에서 전경 영상을 추출한 후 관심영역 마스크를 추출한다. 전경 영상 추출 단계의 연산량을 줄이기 위하여, 전자의 실시예를 수행하는 것이 바람직하다.
다음으로, 전경 영상에서 색상 필터를 적용하여 배경 객체와 대상 객체를 구분하고, 각각 객체의 이진 영상을 생성한다(S20).
앞서 단계에서 추출한 전경 영상은 정적인 배경 영상을 제외시킨 영상으로서, 전경 객체와, 동적인 배경 객체만 포함된 영상이다. 전경 영상에서 동적인 배경 객체를 제외시켜야 대상 객체를 검출할 수 있다.
먼저, 전경 객체와, 동적인 배경 객체를 색상으로 구분한다. 이를 위해, 전경 객체의 색상 필터와 배경 객체의 색상 필터를 생성하고, 각 색상 필터를 전경 영상에 적용하여 전경 객체와 배경 객체를 검출한다.
전경 영상이 RGB 색상 모델의 영상이면, YCbCr 색상 모델을 가지는 영상으로 변환한다. 영상 처리 분야 등에서 사용하는 일반적인 RGB 색상 모델의 경우 조명의 변화에 민감하다. 따라서 외부 조명 변화 등의 영향으로 인하여 색의 분포가 변하게 된다. 다양한 조명의 변화에 대하여 비교적 강인한 특성을 가지는 YCbCr 모델을 이용하여 색상 필터링을 수행한다. 여기서 Y는 휘도 성분을, Cb와 Cr은 색차 성분을 나타낸다. YCbCr 색상 모델을 이용하는 경우의 장점은 색상 정보에서 휘도 값의 영향이 제거된 색상 특징 정보를 이용할 수 있게 되어, 비교적 조명 변화에 강인한 특징을 추출할 수 있다는 점이다.
다음의 수학식 6을 이용하여 입력 영상의 RGB 색상을 YCbCr의 색상 공간의 모델로 변환시킨다.
[수학식 6]
Figure 112015108425909-pat00006
YCbCr로 변환된 공간에서의 I(x,y)가 가지는 Cb와 Cr의 색차 정보를 이용하여 수학식 7에 의해 색상 필터링을 수행한다. 즉, 색상의 범위 안에 들어오는 영역은 '255'로 그렇지 않은 영역은 '0'으로 매핑함으로써, 전경 영상으로부터 대상객체 영역 IO 또는 배경객체 영역 IB 을 추출한다.
[수학식 7]
Figure 112015108425909-pat00007
Figure 112015108425909-pat00008
이때 TB 는 Cb와 Cr에 대한 배경객체 색상의 범위 영역에 해당하고, TB 는 다음 수학식 8과 같이 설정한다. 또한, TO 는 Cb와 Cr에 대한 대상객체 색상의 범위 영역에 해당하고, TO 는 다음 수학식 9와 같이 설정한다.
[수학식 8]
Figure 112015108425909-pat00009
[수학식 9]
Figure 112015108425909-pat00010
이때, a1, b1, c1, d1는 각각 배경객체 색상의 범위를 나타내는 임의의 상수 값으로 사전에 설정되는 값이고, a2, b2, c2, d2는 각각 대상객체 색상의 범위를 나타내는 임의의 상수 값으로 사전에 설정되는 값이다. 또한, 바람직하게는, 배경객체 색상의 범위와, 대상객체 색상의 범위는 서로 중복되지 않도록 설정한다.
그러나, 색상의 범위의 일부가 중복될 수 있다. 중복되는 경우, 각각 배경 객체와 대상 객체의 이진 영상들에서 동일한 위치에 각각 배경 객체와, 대상 객체의 영역으로 설정될 수 있다.
한편, 색상 범위를 나타내는 상수는 촬영된 영상 중 일부를 샘플링하여 구해질 수 있다. 즉, 샘플 영상에서 대상 객체 또는 배경 객체의 이미지의 색상값을 추출하여 그 범위를 정할 수 있다.
현재의 촬영 영상에서 객체를 샘플링하고, 히스토그램을 추출하여 객체의 색상 범위를 설정한다. 즉, 가우시안 혼합 모델(GMM, Gaussian Mixture Model)을 이용하여 YCbCr 도메인의 전경 영상을 추출하며 움직이는 객체는 0이 아닌 값으로 표현된다. 따라서 값이 0인 객체를 제외하고 히스토그램을 만들어 YCbCr의 대략적인 범위를 구한다.
앞서 구한 대상객체 영역 IO 및 배경객체 영역 IB 는 각각 대상객체와 배경객체에 대한 이진 영상이며, 대상객체 및 배경객체의 영역을 나타낸다.
다음으로, 색상 필터에 의해 생성된 이진 영상에 대하여, 모폴로지 연산의 닫힘(closing) 연산을 수행하여 잡음을 제거하는 보정을 수행한다. 이때, 대상객체의 이진영상 뿐만 아니라, 배경객체의 이진영상에도 보정을 수행한다.
색상 필터링을 거친 이진 영상에는 많은 잡음들이 포함되어 있고, 이러한 잡음을 제거하기 위해서는 모폴로지(Morphology) 연산이 필요하다. 색상 필터링을 통하여 필터링된 객체 영역에 대해 수축(Erosion)과 확장(Dilation) 연산을 수행함으로써 윤곽선을 부드럽게 하고, 색상 필터링 과정에서 생긴 홀(Hole)을 메우는 역할을 수행한다. 즉, 모폴로지 연산을 통하여 필터링된 영역에 대해 색상 영역 내에 포함된 픽셀(Pixel)에서 발생한 소실 정보는 채우고, 잡음 성분은 제거하는 효과를 기대할 수 있다.
모폴로지 연산의 닫힘(Closing) 연산은 확장 후에 수축 연산을 수행한다. 연산의 닫힘(Closing) 연산을 통해, 객체를 확대하는 효과가 있으면서, 동시에, 객체 안에 고립되어 있는 잡음을 제거할 수 있다.
한편, 상기와 같은 모폴로지 연산의 수행을 위해, 색상 필터링을 수행하는 영상 파일은 별도로 생성되고, 모폴로지 연산을 수행 후 채워져야 하는 해당 위치의 화소값은 전경 영상으로부터 다시 가져오게 된다.
생성된 이진영상의 객체가 작으면 객체의 분포가 여러 덩어리를 이룬다. 이를 레이블링을 수행할 경우 하나의 객체를 여러 객체로 인식하는 문제가 발생한다. 따라서 모폴로지 연산을 이용하여 여러 덩어리를 합쳐 하나의 객체로 인식하도록 하며 이때 레이블링의 크기가 일정 크기 이상일 경우 잡음이 아닌 객체로 인식하게 된다.
다음으로, 객체의 이진영상에 대하여 라벨링을 하여, 각각의 객체를 식별하고, 객체의 좌표를 획득한다(S30). 바람직하게는, 대상 객체의 이진 영상에서 대상 객체를 식별하고, 그외에도 배경 객체의 이진 영상에서 배경 객체를 식별한다.
앞서 생성한 객체의 이진영상 내에서 각 화소들에 고유번호를 붙이되(라벨링을 하되), 각 화소의 연결성을 분석하여 인접한 화소 영역들을 하나의 동일한 객체 또는 동일한 고유번호로 라벨링을 한다. 즉, 각각의 객체를 구성하는 개개의 화소들을 하나의 영역으로 묶어낸다. 특히, 서로 연결된 인접한 화소 영역들을 동일한 고유번호를 갖게하고, 다른 인접 영역 성분은 또 다른 고유번호를 갖도록 한다.
이진 영상에서 라벨링을 수행하여, 각각의 객체를 식별하고, 해당 객체의 좌표를 획득한다. 즉, 독립된 하나의 번호로 라벨링된 영역(그룹화되어 라벨링된 화소들)을 하나의 객체로 설정하고, 라벨링 영역을 모두 포함하는 최소 사각형을 객체 블록으로 설정한다.
라벨링을 통하여 영상내의 객체의 좌표를 얻을 수 있으며 이를 이용하여 객체가 경계선 내부에 있는지 외부에 있는지 판단할 수 있는 요소가 된다. 그리고 객체의 좌표를 알게 되면 객체의 색 정보나 사이즈를 쉽게 추출할 수 있다.
바람직하게는, 대상 객체과 배경 객체의 이진 영상 각각에 대하여 개별적으로 대상 객체 또는 배경 객체를 식별한다. 즉, 대상 객체의 이진 영상에서는 대상 객체를 라벨링하고 대상객체의 객체 블록을 설정한다. 또한, 배경 객체의 이진 영상에서는 배경 객체를 라벨링하고 배경객체의 객체 블록을 설정한다.
다음으로, 촬영 영상에서 각 대상 객체를 템플릿 매칭으로 추적한다(S40). 즉, 앞서 구한 각 대상 객체의 객체 블록을 하나의 템플릿으로 설정하고, 이전 프레임의 템플릿과 매칭되는 현재 프레임의 블록을 탐색한다. 즉, 앞서 단계에서 라벨링을 통해 각 객체를 식별하고 객체 블록을 구하면, 구한 각 객체 또는 각 객체 블록을 하나의 템플릿으로 설정하여 템플릿 매칭으로 추적한다.
바람직하게는, 대상 객체 또는 배경 객체의 움직임 속도를 이용하여 현재 프레임의 탐색 영역을 설정한다. 또한, 이때, 사용되는 영상은 촬영 영상 또는 관심 영역으로 마스킹한 촬영 영상에서 해당 대상 객체를 추적한다.
앞서 단계에서 구한 각 객체의 객체 블록들 각각을 하나의 템플릿으로 설정하고, 템플릿 매칭을 통해 다음 프레임에서의 객체를 추적한다. 이하에서, 템플릿을 구한 프레임이 시간 t-1의 프레임(또는 이전 프레임)이라 하고, 객체를 추적할 프레임을 시간 t의 프레임(또는 현재 프레임)이라고 부르기로 한다.
도 9에서 보는 바와 같이, 현재 프레임에서, 템플릿의 위치와 동일한 위치에서 소정의 크기의 영역을 탐색 영역으로 설정한다. 도 9에서 빨간색 블록은 템플릿과 동일한 크기 및 위치의 현재 프레임 블록이고, 검은색 블록은 탐색영역이다. 바람직하게는, 템플릿의 크기에서 상하좌우(또는 가로 세로) 3 화소 크기 만큼 넓은 영역을 탐색영역으로 설정한다.
한편, 샘플 영상에서 각 대상 객체의 움직임의 범위를 구하여, 탐색영역의 크기를 설정할 수 있다. 즉, 객체를 실제로 추적하기 전에, 촬영된 영상에서 대상객체들의 움직임을 파악하고 그 움직임의 범위를 구하여, 탐색영역의 크기를 사전에 구해둔다.
탐색 영역 내에서 템플릿 매칭으로 템플릿과 가장 유사한 블록을 탐색한다. 탐색은 템플릿의 각 화소의 화소값과, 탐색 영역 내의 탐색 블록의 각 화소값의 SAD(sum of absolute difference)를 구하고, 구한 SAD가 최소인 탐색 블록을 매칭되는 블록으로 검출한다.
탐색 블록 (x,y)에 대한 SADx,y는 다음 수학식에 의해 연산된다.
[수학식 10]
Figure 112015108425909-pat00011
여기서, M과 N은 템플릿의 x축과 y축의 크기이다. 즉, 템플릿의 크기는 M×N이다. 또한, (k,l)은 템플릿의 기준 위치 좌표(좌하단의 좌표)이고, It(x,y)는 시간 t 프레임에서의 화소값을 나타난다. 영상이 RGB 좌표인 경우에는 3개의 화소값 각각에 대하여 절대값 차이 연산을 수행하고 합산한다.
한편, 대상 객체에 대하여, 현재 프레임의 탐색 영역 내에서 매칭되는 블록이 탐색되지 않을 수 있다. 이 경우, 소정 시간 동안(예를 들어 연속되는 3개 내지 5개)의 프레임 동안 해당 대상 객체를 계속 탐색하고, 탐색되지 않으면 해당 대상 객체를 잘못 검출한 것으로 판단한다.
색상으로만 객체를 검출하면, 대상 객체로 검출된 객체 중에서 실제로 배경 객체인 경우 등 잘못 검출된 경우가 있다. 이 경우 파도 등 배경 객체는 입수자인 대상 객체 보다 속도가 빠르다. 따라서 배경객체는 탐색 영역 내에서 탐색되지 않을 수 있다. 이런 경우, 대상 객체로 판단하지 않는다. 따라서 본 발명은 색상 검출 외에도 객체의 움직임 속도를 통해 검증함으로써 보다 정확하게 대상 객체를 검출할 수 있다.
또한, 촬영 영상의 이전 프레임(시간 t-1의 프레임)과 현재 프레임(시간 t의 프레임) 간의 객체에 대한 움직임 벡터를 산출한다. 움직임 벡터를 통하여 객체의 이동 속도나 방향을 추출한다. 이를 이용하여 객체가 대상 객체인지 배경 객체인지를 판단한다. 이하 단계에서 구체적으로 설명한다.
다음으로, 배경 객체에 대하여 템플릿 매칭으로 추적하여, 대상 객체의 움직임 범위 내의 움직임을 가지는 배경 객체를 대상 객체로 검출하여 보정한다(S50). 즉, 앞서 대상 객체에 대하여 템플릿 매칭으로 추적한 것과 동일한 방법으로, 배경 객체 각각에 대하여 템플릿 매칭을 통해 추적한다. 즉, 이전 프레임의 배경 객체의 템플릿을 현재 프레임의 탐색 영역 내에서 추적한다.
바람직하게는, 탐색 영역은 배경 객체의 속도에 따라 설정한다. 즉, 탐색 영역은 대상 객체와 달리 보다 크게 설정한다. 즉, 파도와 같은 배경 객체는 입수자 보다 훨씬 빠른 속도로 움직인다. 따라서 대상 객체의 탐색 영역을 보다 넓게 설정해야 한다.
앞서 설명한 바와 같이, 배경 객체에 대해서도, 샘플 영상에서 각 배경 객체의 움직임의 범위를 구하여, 탐색영역의 크기를 설정할 수 있다. 즉, 객체를 실제로 추적하기 전에, 촬영된 영상에서 배경객체들의 움직임을 파악하고 그 움직임의 범위를 구하여, 탐색영역의 크기를 사전에 구해둔다.
더욱 바람직하게는, 배경 객체가 움직이는 방향이 한정된 경우, 템플릿의 위치에서 움직이는 방향으로만 확대하여 탐색영역을 설정한다. 예를 들어, 파도는 한쪽 방향으로만 이동하기 때문에, 템플릿 위치에서 이동하는 방향으로만 탐색 영역을 넓힌다.
배경 객체가 현재 프레임에서 추적되면, 추적된 현재 프레임의 배경 객체의 위치와, 이전 프레임의 배경 객체 또는 템플릿의 위치와의 차이로 움직임 벡터를 구한다.
그리고 움직임 벡터의 크기가 대상 객체의 움직임 범위 내이거나, 배경 객체의 움직임 범위를 벗어나면, 해당 배경 객체를 대상 객체로 판단한다.
실제로 대상 객체인데, 색상이 배경 객체와 유사하여, 배경 객체로 검출될 수 있다. 그러나 움직임 속도가 배경 객체가 항상 더 빠르다면, 잘못 검출된 배경 객체는 실제 움직임 속도가 느리게 나타날 것이다. 따라서 해당 배경 객체가 배경 객체의 움직임 속도 범위 보다 느리거나, 대상 객체의 움직임 속도의 범위 내이면, 잘못 검출된 것으로 판단한다.
한편, 배경 객체 또는 대상 객체의 움직임 속도의 범위는 각 배경 객체 또는 각 대상 객체들의 움직임 속도를 모두 구하여, 움직임 속도의 분포를 통해 구할 수 있다. 즉, 움직임 속도의 최대값과 최소값으로 하거나, 90% 등 소정의 범위 내에 속하는 속도의 가장자리 값으로 정할 수 있다. 또는 관리자에 의해 직접 입력될 수도 있다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 촬영 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims (12)

  1. 동적 배경을 가진 영상의 대상 객체 검출 방법에 있어서,
    (a) 촬영영상에서 전경영상을 획득하는 단계;
    (b) 전경영상에 색상필터를 적용하여, 배경객체와 대상객체의 이진영상을 생성하는 단계;
    (c) 상기 이진영상에 대하여 라벨링을 하여, 객체를 식별하고 객체 블록을 설정하는 단계;
    (d) 식별된 객체에 대하여, 상기 촬영영상에서 템플릿 매칭을 통해 대상 객체를 추적하는 단계; 및,
    (e) 각 배경객체를 추적하여 해당 배경객체의 움직임 벡터를 구하고, 해당 배경객체의 움직임 벡터의 크기가 대상객체의 움직임 범위 내이거나, 배경객체의 움직임 범위를 벗어나면, 해당 배경객체를 대상객체로 보정하는 단계를 포함하고,
    상기 배경객체 또는 상기 대상객체가 현재 프레임에서 추적되면, 추적된 현재 프레임의 배경객체 또는 대상객체의 위치와, 이전 프레임의 배경객체 또는 대상객체의 위치 차이로 움직임 벡터를 구하고,
    배경객체 또는 대상객체의 움직임 범위는 각 배경객체 또는 각 대상객체들의 움직임 벡터를 모두 구하여 움직임 벡터의 분포를 통해 구하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  2. 제1항에 있어서,
    상기 (a)단계에서, 가우시안 혼합 모델을 이용하여 촬영 영상에서 전경 영상과 배경 영상을 구분하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  3. 제1항에 있어서,
    상기 (a)단계에서, 상기 촬영 영상 내의 일부분인 관심 영역을 설정하고, 상기 관심 영역에 대해서만 전경 영상을 추출하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  4. 제1항에 있어서,
    상기 (b)단계에서, 상기 전경 영상을 YCbCr 방식 영상으로 변환하여, 각 화소의 Cb와 Cr의 색상 값이 각각 사전에 정해진 범위 내이면, 해당 화소를 대상 객체 또는 배경 객체로 판단하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  5. 제1항에 있어서,
    상기 (b)단계에서, 상기 이진 영상에 대하여 모폴로지 연산의 닫힘(closing) 연산을 수행하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  6. 제5항에 있어서,
    상기 (b)단계에서, 모폴로지 연산의 수행을 위해, 색상 필터링을 수행하는 영상 파일은 별도로 생성되고, 모폴로지 연산을 수행 후 채워져야 하는 해당 위치의 화소값은 전경 영상으로부터 다시 가져오는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  7. 제1항에 있어서,
    상기 (c)단계에서, 상기 이진 영상에 대하여 라벨링을 수행하되, 인접한 화소 영역들을 하나의 동일한 번호로 라벨링을 하고, 독립된 하나의 번호로 라벨링된 영역을 하나의 객체로 설정하고, 라벨링 영역을 모두 포함하는 최소 사각형을 객체 블록으로 설정하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  8. 제7항에 있어서,
    상기 (d)단계에서, 각 객체의 객체 블록들 각각을 하나의 템플릿으로 설정하고, 템플릿 매칭을 통해 다음 프레임에서의 객체를 추적하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  9. 제1항에 있어서,
    상기 (d)단계에서, 샘플 영상에서 객체의 움직임의 범위를 사전에 구해두고, 객체의 움직임 범위에 따라 템플릿 매칭을 위한 탐색영역의 크기를 설정하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  10. 제1항에 있어서,
    상기 (d)단계에서, 현재 프레임의 탐색 영역 내에서 매칭되는 블록이 탐색되지 않으면, 사전에 정해진 개수의 프레임 동안 해당 대상 객체를 계속 탐색하고, 탐색되지 않으면 해당 대상 객체를 잘못 검출한 것으로 판단하는 것을 특징으로 하는 동적 배경을 가진 영상의 대상 객체 검출 방법.
  11. 삭제
  12. 삭제
KR1020150156027A 2015-11-06 2015-11-06 동적 배경을 가진 영상의 대상 객체 검출 방법 KR101737430B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150156027A KR101737430B1 (ko) 2015-11-06 2015-11-06 동적 배경을 가진 영상의 대상 객체 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150156027A KR101737430B1 (ko) 2015-11-06 2015-11-06 동적 배경을 가진 영상의 대상 객체 검출 방법

Publications (2)

Publication Number Publication Date
KR20170053807A KR20170053807A (ko) 2017-05-17
KR101737430B1 true KR101737430B1 (ko) 2017-05-19

Family

ID=59048398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156027A KR101737430B1 (ko) 2015-11-06 2015-11-06 동적 배경을 가진 영상의 대상 객체 검출 방법

Country Status (1)

Country Link
KR (1) KR101737430B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358190A (zh) * 2017-07-07 2017-11-17 广东中星电子有限公司 一种图像关键区域管理方法和装置
CN108471497A (zh) * 2018-03-02 2018-08-31 天津市亚安科技有限公司 一种基于云台摄像机的船目标实时检测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024163B1 (ko) * 2017-09-20 2019-11-04 영남대학교 산학협력단 광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치
KR102169211B1 (ko) * 2018-11-15 2020-10-22 한국철도공사 전차 선로의 조류 둥지 자동 검출 장치 및 방법
CN110634152B (zh) * 2019-08-08 2023-07-04 西安电子科技大学 一种基于背景建模和多帧确认的目标检测方法
CN115457381B (zh) * 2022-08-18 2023-09-05 广州从埔高速有限公司 一种高速公路违法用地检测方法、系统、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101393391B1 (ko) * 2012-12-28 2014-05-12 한밭대학교 산학협력단 임베디드 시스템 기반의 차량 번호판 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101393391B1 (ko) * 2012-12-28 2014-05-12 한밭대학교 산학협력단 임베디드 시스템 기반의 차량 번호판 인식 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358190A (zh) * 2017-07-07 2017-11-17 广东中星电子有限公司 一种图像关键区域管理方法和装置
CN108471497A (zh) * 2018-03-02 2018-08-31 天津市亚安科技有限公司 一种基于云台摄像机的船目标实时检测方法

Also Published As

Publication number Publication date
KR20170053807A (ko) 2017-05-17

Similar Documents

Publication Publication Date Title
KR101737430B1 (ko) 동적 배경을 가진 영상의 대상 객체 검출 방법
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
KR101709751B1 (ko) 해변의 입수자에 대한 자동 위험 감시 시스템
US10691947B2 (en) Monitoring device
KR100651034B1 (ko) 대상 물체 검출 시스템 및 그 방법
Mohan et al. Video image processing for moving object detection and segmentation using background subtraction
CN105893957A (zh) 基于视觉湖面船只检测识别与跟踪方法
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
CN110580708B (zh) 一种快速移动检测方法、装置及电子设备
Miller et al. Person tracking in UAV video
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
KR20100121817A (ko) 눈의 영역을 추적하는 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
Pandey et al. Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
JP6429323B2 (ja) オブジェクト抽出方法および装置
Malavika et al. Moving object detection and velocity estimation using MATLAB
Jansari et al. Real-time object tracking using color-based probability matching
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
Wang et al. Accurate silhouette extraction of a person in video data by shadow evaluation
KR101567366B1 (ko) 얼굴을 검출하여 마스킹 하는 장치 및 방법
Gandhi et al. Image based sign language recognition on android
Sharma et al. Efficient object detection with its enhancement

Legal Events

Date Code Title Description
A201 Request for examination