KR101729536B1 - 이동 물체 검출 장치 및 그 방법 - Google Patents

이동 물체 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101729536B1
KR101729536B1 KR1020160006419A KR20160006419A KR101729536B1 KR 101729536 B1 KR101729536 B1 KR 101729536B1 KR 1020160006419 A KR1020160006419 A KR 1020160006419A KR 20160006419 A KR20160006419 A KR 20160006419A KR 101729536 B1 KR101729536 B1 KR 101729536B1
Authority
KR
South Korea
Prior art keywords
shadow
region
area
foreground
reflection
Prior art date
Application number
KR1020160006419A
Other languages
English (en)
Inventor
변혜란
황선희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160006419A priority Critical patent/KR101729536B1/ko
Application granted granted Critical
Publication of KR101729536B1 publication Critical patent/KR101729536B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명은 영상에서 배경과 구분되어 이동하는 물체를 검출하는 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 이동 물체 검출 방법은, 입력 영상에서 포함된 일 면에서의 반사 영역을 검출하는 반사 영역 검출 단계; 화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출하는 전경 추출 단계; 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단하는 그림자 영역 추출 단계; 및 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출하는 이동 물체 검출 단계;를 포함할 수 있다.

Description

이동 물체 검출 장치 및 그 방법{Apparatus and Method of Detecting Moving Object in Image}
본 발명은 영상에서 배경과 구분되어 이동하는 물체를 검출하는 방법 및 장치에 관한 것이다.
영상에서 이동하는 물체나 배경과 구별되는 전경을 추출하는 기술은, 영상 인식의 전처리 과정으로 활용될 수 있고, 또는 사용자의 관심 영역을 별도로 분할하여 제공하는 등의 다양한 용도로 활용될 수 있는 기술이다. 이에 기존에 영상에서 이동 물체 또는 전경을 검출하는 다양한 기술들이 개발되어 왔다.
이와 같은 이동 물체 또는 전경 추출 기술은 특히 감시 카메라 시스템에 활용되고 있다. 감시 카메라는 특정 위치에 고정되어 설치되어, 움직이는 감시 대상 물체를 촬영하는 것이 그 목적이므로, 배경에 출현하여 이동하는 물체/전경을 효과적으로 탐지하고 검출할 필요가 있다.
이와 같은 이동 물체 또는 전경을 추출함에 있어서는 특히 그림자 영역을 제외한 물체 영역을 검출하는 것이 필요하다. 그런데 만일 바닥면에 강한 반사가 있는 경우 그림자 영역의 영상 신호가 달라지기 때문에, 물체 영역을 오 검출하는 문제가 발생하게 된다. 그리고 기존의 물체/전경 추출 방법들은 이와 같이 바닥면에 강한 반사가 있는 경우 물체 영역을 신뢰도 있게 검출하지 못하는 한계점이 있었다.
(특허문헌 0001) 대한민국 공개특허공보 제2014-0143918호 (2014.12.18)
이에 본 발명에서는 이동 물체에 해당하는 전경을 추출 또는 검출함에 있어서, 반사 영역에서도 효율적으로 그림자 영역을 제외하고 물체 영역을 신뢰도 있게 검출할 수 있는 이동 물체 검출 방법 및 그에 관한 장치를 제공하고자 한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 이동 물체 검출 방법은 입력 영상에서 포함된 일 면에서의 반사 영역을 검출하는 반사 영역 검출 단계; 화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출하는 전경 추출 단계; 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단하는 그림자 영역 추출 단계; 및 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출하는 이동 물체 검출 단계;를 포함할 수 있다.
여기서 상기 이동 물체 검출 방법은 시간의 흐름에 따라 복수개의 상기 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신하는 배경 영상 모델 생성 단계를 더 포함할 수 있다.
여기서 상기 배경 영상 모델은 화소 별로 상기 배경 영상 신호의 분포 정보가 정의된 모델인 것을 특징으로 하는 할 수 있다.
여기서 상기 반사 영역 검출 단계는 상기 입력 영상을 세그멘테이션하여 상기 일 면을 분할하는 영상 분할 단계; 및 상기 분할한 일 면에서 상기 반사 영역을 추출하여 검출하는 반사 영역 추출 단계;를 포함할 수 있다.
여기서 상기 영상 분할 단계는 딥 러닝 영상 세그멘테이션 기법을 이용하여 상기 입력 영상을 세그멘테이션하고 상기 일 면을 분할할 수 있다.
여기서 상기 반사 영역 추출 단계는 상기 일 면에서 소정의 기준 이상으로 강한 반사 성분을 나타내는 화소들을 선별하여 상기 반사 영역으로 추출할 수 있다.
여기서 상기 일 면은 조명으로 인하여 상기 이동 물체의 그림자가 형성되거나 상기 반사 영역이 형성되는 면인 것을 특징으로 할 수 있다.
여기서 상기 전경 추출 단계는 화소 별로 상기 입력 영상의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 상기 전경을 추출할 수 있다.
여기서 상기 전경 추출 단계는 상기 입력 영상의 영상 신호와 상기 배경 영상 신호 간의 차이를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 전경에 해당하는지 여부를 판단할 수 있다.
여기서 상기 그림자 영역 추출 단계는, 상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정하는 반사 영역 주변 화소 선정 단계; 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출하는 제1 그림자 추출 단계; 및 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출하는 제2 그림자 추출 단계;를 포함할 수 있다.
여기서 상기 반사 영역 주변 화소 선정 단계는 상기 입력 영상에서 상기 반사 영역의 높이와 소정의 범위 이내의 높이를 가지면서 상기 반사 영역에 소정의 거리 이내로 인접한 영역에 포함되는 화소를 상기 주변 화소로 선정할 수 있다.
여기서 상기 제1 그림자 추출 단계는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출할 수 있다.
여기서 상기 제1 그림자 추출 단계는 상기 추출한 전경의 영상 신호와 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제1 그림자 영역을 추출할 수 있다.
여기서 상기 제2 그림자 추출 단계는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출할 수 있다.
여기서 상기 제2 그림자 추출 단계는 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제2 그림자 영역을 추출할 수 있다.
여기서 상기 이동 물체 검출 단계는 상기 전경에서 상기 제1 그림자 영역 및 상기 제2 그림자 영역을 제외한 영역을 상기 이동 물체 영역으로 검출할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 이동 물체 검출 장치는 입력 영상에서 포함된 일 면에서의 반사 영역을 검출하는 반사 영역 검출부; 화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출하는 전경 추출부; 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단하는 그림자 영역 추출부; 및 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출하는 이동 물체 검출부;를 포함할 수 있다.
여기서 상기 이동 물체 검출 장치는 시간의 흐름에 따라 복수개의 상기 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신하는 배경 영상 모델 관리부를 더 포함할 수 있다.
여기서 상기 그림자 영역 추출부는, 상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정하는 반사 영역 주변 화소 선정부; 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출하는 제1 그림자 추출부; 및 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출하는 제2 그림자 추출부;를 포함할 수 있다.
여기서 상기 제1 그림자 추출부는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출하고, 상기 제2 그림자 추출부는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출할 수 있다.
본 발명에 따른 이동 물체 검출 방법 및 그 장치에 의하면, 영사에서 이동 물체 또는 전경을 추출 또는 검출함에 있어서, 반사 영역에서도 효율적으로 그림자 영역을 제외하고 물체 영역을 신뢰도 있게 검출할 수 있는 효과가 있다.
도 1은 반사 영역이 포함되는 바닥 면에 이동 물체가 위치하는 경우 그림자가 생성되는 현상을 설명하기 위한 참고도이다.
도 2는 본 발명의 일 실시예에 따른 이동 물체 검출 방법의 흐름도이다.
도 3은 본 발명의 또 다른 실시예에 따른 이동 물체 검출 방법의 흐름도이다.
도 4는 반사 영역 검출 단계의 세부 흐름도이다.
도 5는 반사 영역 검출 단계의 동작을 설명하기 위한 참고도이다.
도 6은 그림자 영역 추출 단계의 세부 흐름도이다.
도 7은 반사 영역 주변 화소 선정 단계의 동작을 설명하기 위한 참고도이다.
도 8은 제1 그림자 추출 단계와 제2 그림자 추출 단계의 동작을 설명하기 위한 참고도이다.
도 9는 본 발명의 또 다른 실시예에 따른 이동 물체 검출 장치의 블록도이다.
도 10은 반사 영역 검출부의 세부 블록도이다.
도 11은 그림자 영역 추출부의 세부 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
영상에서 이동 물체에 해당하는 전경을 추출함에 있어서, 입력 영상에 대하여 미리 설정된 배경 영상과 입력 영상을 비교하여 차이가 나는 부분에 대하여 영상 신호 처리를 수행하여 이동 물체를 추출할 수 있다. 즉 배경 영상과 다른 부분을 이동 물체로 추출할 수 있다. 그런데 배경 영상 상에 이동 물체가 나타난 경우, 조명에 따라 이동 물체와 함께 그림자가 형성되게 된다. 따라서 입력 영상에서 이동 물체를 추출함에 있어서는 이와 같은 그림자를 적절히 구분하여 이동 물체만을 추출할 필요가 있다. 이를 위하여 기존에 그림자를 고려하여 전경을 추출하는 다양한 기법들이 제안되어 왔으며, 일 예로는 "Yin-Shi, Qin, et al. "A shadow removal algorithm for ViBe in HSV color space." Proc. of 3rd International Conference on Multimedia Technology, ICMT (2013)."이 있다.
그런데 입력 영상의 일 면 - 예를 들면 바닥 면 - 에 강한 반사가 있는 경우, 강한 반사가 있는 부분은 해당 부분의 원 색상과 다른 영상 신호를 가지게 되고, 그에 따라 이를 그림자로 올바르게 검출하지 못하여, 그림자 영역이 이동 물체 영역으로 오검출되는 문제가 발생한다.
도 1은 반사 영역이 포함되는 바닥 면에 이동 물체가 위치하는 경우 그림자가 생성되는 현상을 설명하기 위한 참고도이다. 도 1 a를 참조하면 조명(L)으로 인하여 바닥 면 상에서 강한 반사가 있는 반사 영역(SP)이 존재함을 확인할 수 있다. 그리고 도 1 b를 참조하면 위와 같은 강한 반사가 있는 반사 영역(SP) 인근에 이동 물체(OB)가 위치하게 되는 경우 반사 영역(SP)와 그림자 영역이 중첩되는 부분이 생성됨을 확인할 수 있다.
그런데 기존의 물체/전경 추출 방법들은 이와 같이 바닥면에 강한 반사가 있는 경우 반사 영역과 그림자 영역이 중첩되는 부분을 물체 영역으로 오검출하여, 물체 영역을 신뢰도 있게 검출하지 못하는 한계점이 있었다.
이에 본 발명에서는 이동 물체에 해당하는 전경을 추출 또는 검출함에 있어서, 반사 영역에서도 효율적으로 그림자 영역을 제외하고 물체 영역을 신뢰도 있게 검출할 수 있는 이동 물체 검출 방법 및 그에 관한 장치를 제공하고자 한다.
본 발명에서 영상 신호라 함은 영상의 각 화소가 가지고 있는 신호 값을 의미하는 것으로 다양한 색 공간(Color Space)에서 정의될 수 있다. 예를 들면 영상 신호는 RGB, CMYK, HSV, CIE, YCbCr 등 다양한 색 공간에서 정의될 수 있고, 각 색 공간의 정의에 따른 채널 신호를 가질 수 있다.
도 2는 본 발명의 일 실시예에 따른 이동 물체 검출 방법의 흐름도이다.
본 발명의 일 실시예에 따른 이동 물체 검출 방법은 반사 영역 검출 단계(S100), 전경 추출 단계(S200), 그림자 영역 추출 단계(S300), 이동 물체 검출 단계(S400)를 포함할 수 있다. 여기서 필요에 따라 본 발명에 따른 이동 물체 검출 방법은 배경 영상 모델 생성 단계(S50)를 더 포함할 수도 있다. 여기서 배경 영상 모델 생성 단계(S50)가 포함되지 않는 실시예에 따른 이동 물체 검출 방법은 미리 생성된 배경 영상 모델을 입력받아 이를 이용할 수 있다.
도 3은 이와 같이 배경 영상 모델 생성 단계(S50)를 더 포함하는 본 발명의 또 다른 실시예에 따른 이동 물체 검출 방법의 흐름도이다.
배경 영상 모델 생성 단계(S50)는 시간의 흐름에 따라 복수개의 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신한다.
반사 영역 검출 단계(S100)는 입력 영상에서 포함된 일 면에서의 반사 영역을 검출한다.
전경 추출 단계(S200)는 화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출한다.
그림자 영역 추출 단계(S300)는 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단한다.
이동 물체 검출 단계(S400)는 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출한다.
이하에서는 배경 영상 모델 생성 단계(S50)에 대하여 보다 상세히 설명한다.
배경 영상 모델 생성 단계(S50)는 시간의 흐름에 따라 복수개의 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신한다. 여기서 입력 영상은 카메라를 이용하여 촬영한 영상으로 소정의 시간 간격 별로 촬영된 영상 프레임이 될 수 있다. 카메라는 특정 위치를 촬영하도록 소정의 시간 동안 고정될 수 있고, 소정의 시간 동안 특정 위치를 촬영한 영상이 촬영되어 입력 영상으로 입력될 수 있다. 예를 들면 상기 카메라는 CCTV 카메라가 될 수 있다.
여기서 상기 배경 영상 모델은 특정 위치를 촬영한 입력 영상에 포함된 배경 영상에 관한 모델이 될 수 있다. 즉 특정 위치를 카메라가 촬영할 경우 영상에서 고정된 물체들과 이동하는 물체들이 존재하게 되는데, 이때 고정된 물체들에 대응하는 배경 영상에 관한 모델이 배경 영상 모델이 될 수 있다. 예를 들면 도 1 a에서 바닥이나 기둥과 같은 물체들은 배경 영상에 포함될 수 있다. 또한 소정의 시간 동안 움직이지 않고 고정되어 있는 물체들도 배경 영상에 포함될 수 있고, 도 1 a의 예를 들면 주차된 차량들이 될 수 있다.
이때 배경 영상 모델은 화소 별로 상기 배경 영상 신호의 분포 정보가 정의된 모델이 될 수 있다. 여기서 배경 영상 신호는 배경 영상 모델이 배경 영상으로 정의한 영상의 영상 신호를 의미할 수 있다. 이때 상기 분포 정보는 해당 화소에서의 입력 영상에서 배경 영상에 해당하는 화소의 영상 신호 값의 분포에 관한 정보로, 예를 들면 배경 영상의 평균 및 분산 또는 표준 편차에 관한 정보를 포함할 수 있다. 예를 들면 배경 영상 모델은 배경 영상의 각 화소에 대하여 평균(μ) 및 분산(σ)을 설정할 수 있다. 이때 배경 영상 신호는 상기 배경 영상의 평균(μ) 값으로 정의될 수 있다. 여기서 배경 영상의 평균 및 분산은 배경 영상에 포함된 화소들의 평균 및 분산을 의미하는 것이 아니라, 복수개의 영상 프레임들에서 배경 영상으로 분류된 영상 부분들을 이용하여, 각 화소의 위치 별로 복수개의 영상 프레임들에서의 영상 신호 값의 평균 및 분산을 의미한다.
그리고 배경 영상 모델 생성 단계(S50)는 복수개의 프레임을 분석하여 상기 배경 영상 모델을 생성하되, 배경 영상의 각 화소에 대한 평균 및 분산을 산출하여 저장할 수 있다. 이때 배경 영상의 평균 및 분산은 시간의 흐름에 따라 추가로 입력되는 프레임에서 배경 영상으로 추출된 부분들을 반영하여 갱신될 수 있다. 이를 위하여 배경 영상 모델 생성 단계(S50)는 전경 추출 단계(S200)에서 입력 영상에서 전경으로 추출된 나머지 부분을 배경 영상으로 추출하고, 상기 추출한 배경 영상을 이용하여 배경 영상 모델의 배경 영상의 평균 및 분산을 갱신할 수 있다. 그리고 이와 같이 갱신된 배경 영상의 평균 값을 배경 영상 신호 값으로 설정할 수 있다.
여기서 배경 영상 모델 생성 단계(S50)는 특정 번째의 프레임을 초기 프레임으로 설정하여, 상기 초기 프레임을 기준으로 배경 영상의 각 화소 별 평균 및 분산 값을 초기화하고, 이후 입력되는 프레임들을 반영하여 배경 영상의 각 화소 별 평균 및 분산 값을 갱신할 수 있다.
여기서 배경 영상 모델 생성 단계(S50)는 가우시안 모델을 이용하여 배경 영상을 모델링할 수 있고, 기타 다양한 공지된 전경 또는 객체 검출 알고리즘에서 배경을 모델링하는 기법을 이용할 수도 있다. 예를 들면 "Stauffer, Chris, and W. Eric L. Grimson. "Adaptive background mixture models for real-time tracking." Computer Vision and Pattern Recognition, 1999. IEEE Computer Society Conference on.. Vol. 2. IEEE, 1999."에서 개시하고 있는 배경 모델링 기법을 이용할 수 있고, 기타 다양한 공지된 배경 모델링 기법들을 이용할 수도 있다.
다음으로는 반사 영역 검출 단계(S100)에 대하여 보다 상세히 설명한다.
반사 영역 검출 단계(S100)는 입력 영상에서 포함된 일 면에서의 반사 영역을 검출한다. 여기서 상기 일 면은 조명으로 인하여 상기 이동 물체의 그림자가 형성되거나 상기 반사 영역이 형성되는 면이 될 수 있다. 예를 들면 상기 일 면은 바닥 면이 될 수 있다. 또는 경우에 따라 상기 일 면은 벽면으로 설정될 수도 있고, 기타 영상에 포함된 다양한 면이 될 수도 있다.
반사 영역 검출 단계(S100)는 영상 분할 단계(S110), 반사 영역 추출 단계(S120)를 포함할 수 있다.
도 4는 반사 영역 검출 단계(S100)의 세부 흐름도이다.
영상 분할 단계(S110)는 상기 입력 영상을 세그멘테이션하여 상기 일 면을 분할한다. 이때 영상을 세그멘테이션하여 상기 일 면을 분할하는 방법으로는 다양한 공지된 영상 세그멘테이션 기법들을 이용할 수 있다.
예를 들면 영상 분할 단계(S110)는 딥 러닝(Deep-Learning) 영상 세그멘테이션 기법을 이용하여 상기 입력 영상을 세그멘테이션하고 상기 일 면을 분할할 수 있다. 이때 영상 분할 단계(S110)는 예를 들면 "Byeon, Wonmin, et al. "Scene Labeling with LSTM Recurrent Neural Networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015."에서 개시되는 알고리즘을 이용하여 영상을 세그멘테이션하고 일 면을 분할할 수 있다. 여기서 영상 분할 단계(S110)는 입력 영상을 각 채널 별로 Hidden Layer를 이용하여 분석하고, Softmax 분류기를 이용하여 분류하여 영역이 분할되어 상기 일 면이 추출된 영상을 획득할 수 있다. 여기서 영상 분할 단계(S110)는 상술한 알고리즘 이외에 다양한 공지된 알고리즘을 이용하여 상기 일 면을 분할할 수 있음은 물론이다.
일 실시예에 있어서 영상 분할 단계(S110)는 입력 영상을 세그멘테이션하여 바닥 면을 상기 일 면으로 분할할 수 있다. 도 5 a는 이와 같이 바닥 면을 분할한 예를 나타내는 참고도이다.
일 실시예에서 영상 분할 단계(S110)는 기준이 되는 영상 프레임에 대하여만 수행할 수 있다. 이는 입력 영상이 촬영하는 위치가 변하지 아니하는 경우 상기 일 면을 계속 분할할 필요는 없기 때문이다. 이때 기준이 되는 영상 프레임은 처음 입력된 영상 프레임이 될 수도 있고, 또는 입력 영상에서의 영상 신호 값의 변화가 소정의 시간 간격 동안 소정의 범위 이내인 영상 프레임이 될 수도 있으며, 또는 이하에서 상세히 설명할 바 배경 영상이 될 수도 있다.
다음으로 반사 영역 추출 단계(S120)는 상기 분할한 일 면에서 상기 반사 영역을 추출하여 검출한다. 여기서 반사 영역 추출 단계(S120)는 상기 일 면에서 소정의 기준 이상으로 강한 반사 성분을 나타내는 화소들을 선별하여 상기 반사 영역으로 추출할 수 있다. 조명이 바닥 면이나 특정 면에 입사할 때 해당 면의 특정 부위에서 다른 부위 보다 강하게 입사된 조명의 광의 반사 성분이 나타나는 영역이 존재한다. 광은 면에 입사할 경우 입사된 각도에 따라 특정 방향으로 반사되고, 이와 같이 반사된 광의 성분을 카메라가 촬영하게 되는 경우 해당 영역이 주변의 다른 영역과 비교하여 밝게 나타나게 된다. 도 5 b를 참조하면 바닥 면에 이와 같이 강한 반사 성분이 나타나는 반사 영역(SP)들이 존재함을 확인할 수 있다.
반사 영역 추출 단계(S120)는 입력 영상 중 상기 분할한 일 면에서 이와 같은 반사 영역을 추출할 수 있고, 반사 영역을 추출하기 위하여 다양한 공지된 기법들을 이용할 수 있다. 예를 들면 "Kim, Hyeongwoo, et al. "Specular reflection separation using dark channel prior." Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. IEEE, 2013."에서 개시되는 알고리즘을 이용하여 반사 영역을 추출할 수 있다. 여기서 반사 영역 추출 단계(S120)는 입력 영상의 각 화소의 영상 신호를 빛이 면에 입사되어 분산된 성분인 분산(Diffusion) 성분과, 입사된 후 반사된 성분인 반사 성분(Specular Reflection)의 합으로 모델링하고, 반사 성분을 입력 영상의 각 채널의 영상 신호의 최소 값을 이용하여 산출하도록 하여, 비용 함수를 최적화함으로써 상기 반사 성분을 추정할 수 있다. 그리고 이와 같이 추정한 반사 성분의 값이 소정의 임계치 이상인 영역을 상기 반사 영역으로 추출할 수 있다. 여기서 반사 영역 추출 단계(S120)는 상술한 알고리즘 이외에 다양한 공지된 알고리즘을 이용하여 상기 반사 영역을 추출할 수 있음은 물론이다.
반사 영역 추출 단계(S120)도 영상 분할 단계(S110)와 마찬가지로 기준이 되는 영상 프레임에 대하여만 수행할 수 있다. 이는 입력 영상이 촬영하는 위치와 조명의 위치가 변하지 아니하는 경우 반사 영역의 위치를 계속 추출할 필요는 없기 때문이다. 이때 기준이 되는 영상 프레임은 처음 입력된 영상 프레임이 될 수도 있고, 또는 입력 영상에서의 영상 신호 값의 변화가 소정의 시간 간격 동안 소정의 범위 이내인 영상 프레임이 될 수도 있으며, 또는 이하에서 상세히 설명할 바 배경 영상이 될 수도 있다.
또한 반사 영역 추출 단계(S120)는 필요에 따라 사용자의 영역 설정 입력을 수신하고, 그에 따라 입력 영상에서 반사 영역을 추출할 수 있다.
다음으로는 전경 추출 단계(S200)에 대하여 보다 상세히 설명한다.
전경 추출 단계(S200)는 배경 영상 모델을 이용하여 상기 입력 영상에서 전경(Foreground)을 추출한다. 여기서 배경 영상 모델은 위에서 상세히 설명한 바와 같이 화소 별로 배경 영상 신호가 정의될 수 있다. 이때 배경 영상 모델은 배경 영상의 각 화소에 대하여 평균(μ) 및 분산(σ)을 설정할 수 있고, 배경 영상 신호는 상기 배경 영상의 평균(μ) 값으로 정의될 수 있다. 여기서 배경 영상의 평균 및 분산은 복수개의 영상 프레임들에서 배경 영상으로 분류된 영상 부분들을 이용하여, 화소의 위치 별로 산출한 평균 및 분산을 의미한다.
여기서 전경 추출 단계(S200)는 화소 별로 상기 입력 영상의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 상기 전경을 추출할 수 있다. 이때 전경 추출 단계(S200)는 상기 입력 영상의 영상 신호와 상기 배경 영상 신호 간의 차이를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 전경에 해당하는지 여부를 판단할 수 있다. 즉 전경 추출 단계(S200)는 입력 영상의 각 화소 별로 배경 영상 신호와 소정의 임계치 이상으로 차이가 나는 화소를 선별하여, 이와 같이 선별된 화소들을 기초로 전경으로 추출할 수 있다. 이때 전경의 영역을 연속성 있는 영역으로 구분하기 위하여 필터링 또는 후처리를 수행할 수도 있다. 그리고 이때 상기 임계치는 배경 영상 모델에서 해당 화소에 대하여 정의된 배경 영상의 분산 값에 따라 결정될 수 있다.
여기서 전경 추출 단계(S200)는 다양한 공지된 전경 추출 알고리즘을 이용하여 입력 영상에서 전경을 추출할 수 있다. 예를 들면 "KaewTraKulPong, Pakorn, and Richard Bowden. "An improved adaptive background mixture model for real-time tracking with shadow detection." Video-based surveillance systems. Springer US, 2002. 135-144."을 이용하여 전경을 추출할 수 있다. 여기서 전경 추출 단계(S200)는 상술한 알고리즘 이외에 다양한 공지된 알고리즘을 이용하여 상기 전경을 추출할 수 있음은 물론이다.
여기서 전경 추출 단계(S200)는 위와 같이 추출한 전경 이외의 나머지 영역을 배경 영상으로 추출할 수 있다. 이와 같이 추출된 배경 영상은 위에서 설명한 배경 영상 모델 생성 단계(S50)에서 배경 영상 모델을 갱신하기 위하여 이용될 수 있다.
또한 여기서 반사 영역 검출 단계(S100)와 전경 추출 단계(S200)는 필요에 따라 임의의 순서대로 진행하여도 상관이 없다.
다음으로 그림자 영역 추출 단계(S300)에 대하여 보다 상세히 설명한다.
그림자 영역 추출 단계(S300)는 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단한다.
이를 위하여 그림자 영역 추출 단계(S300)는 반사 영역 주변 화소 선정 단계(S310), 제1 그림자 추출 단계(S320), 제2 그림자 추출 단계(S330)를 포함할 수 있다.
도 6은 그림자 영역 추출 단계(S300)의 세부 흐름도이다.
먼저 반사 영역 주변 화소 선정 단계(S310)는 상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정할 수 있다. 이와 같이 반사 영역의 주변 화소를 선정하는 이유는 이하 설명할 제2 그림자 추출 단계(S330)에서 반사 영역의 주변 화소에서의 배경 영상 모델을 이용하여, 본래 반사 영역에 해당하는 부분에서 형성된 그림자 영역을 검출하기 위함이다. 이를 위하여 반사 영역 주변 화소 선정 단계(S310)는 반사 영역과 소정의 거리 이내에 인접한 영역에 포함된 화소들을 반사 영역의 주변 화소로 선정할 수 있다.
여기서 반사 영역 주변 화소 선정 단계(S310)는 상기 입력 영상에서 상기 반사 영역의 높이와 소정의 범위 이내의 높이를 가지면서 상기 반사 영역에 소정의 거리 이내로 인접한 영역에 포함되는 화소를 상기 주변 화소로 선정할 수 있다. 여기서 반사 영역의 높이라 함은 입력 영상의 수직 방향으로의 거리를 의미한다. 도 7은 이와 같은 반사 영역 주변 화소 선정 단계(S310)의 동작을 설명하기 위한 참고도이다. 도 7에서 선 H에 해당하는 화소들이 동일한 높이를 가지는 화소들이라고 할 수 있다. 이때 위와 같이 동일한 높이를 가지는 화소들은 입력 영상을 촬영한 화소들로부터 유사한 거리에 위치하는 지점에 해당하는 화소들이고, 따라서 유사한 색상을 가질 확률이 높다. 이에 본 발명에서는 입력 영상에서 반사 영역의 높이와 소정의 범위 이내의 높이를 가지는 영역 중에서 상기 반사 영역과 소정의 거리 이내로 인접한 영역을 선정하고, 상기 선정한 영역에 포함된 화소를 상기 반사 영역의 주변 화소로 선정할 수 있다. 여기서 반사 영역의 주변 화소는 각 반사 영역에 포함된 화소 별로 선정될 수 있고, 필요에 따라 반사 영역 전체 또는 반사 영역의 일부 영역 별로 선정될 수도 있다.
다음으로 제1 그림자 추출 단계(S320)는 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출할 수 있다. 여기서 제1 그림자 추출 단계(S320)는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출할 수 있다. 이때 제1 그림자 추출 단계(S320)는 상기 추출한 전경의 영상 신호와 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제1 그림자 영역을 추출할 수 있다. 그리고 여기서 상기 연산은 비율을 산출하는 연산 또는 차이의 크기를 산출하는 연산이 될 수 있다.
여기서 그림자 색상 모델은 일 지점의 화소에 그림자가 형성되었다고 가정할 경우, 해당 화소가 가질 수 있는 그림자 색상의 범위를 설정한 모델이 될 수 있다. 이때 특정 화소가 가질 수 있는 그림자 색상의 범위는 해당 화소가 그림자 영역에 포함되지 않았을 경우의 영상 신호 값을 기준으로 설정될 수 있다. 예를 들면 HSV 색 공간을 가정하는 경우, 그림자가 아닌 상태에서 특정 지점의 색조(Hue)가 H인 경우 해당 지점에 그림자가 형성될 경우의 색조는 H - T1_H에서 H + T2_H의 범위 내의 값이 되는 것으로 그림자 색상 모델이 정의될 수 있고, 나머지 채도(Saturation) 및 명도(Value) 채널에 대하여도 동일한 방식으로 그림자 색상의 범위가 설정될 수 있다. 이와 같이 그림자 색상 모델은 각 채널 별로 정의된 소정의 임계치들로 정의될 수 있다.
제1 그림자 추출 단계(S320)에서는 위와 같이 각 채널 별로 설정된 그림자 범위를 정의하는 임계치들에 기초하여, 추출한 전경의 영상 신호 값과 배경 영상 신호 값을 연산한 값에 따라 상기 추출한 전경의 해당 화소가 그림자에 해당하는지 여부를 판단하고, 그림자로 판단된 화소들을 상기 제1 그림자 영역으로 추출할 수 있다.
일 실시예에 있어서 제1 그림자 추출 단계(S320)는 전경의 각 화소 별로, 전경 화소의 영상 신호와 배경 영상 신호에 대하여, 하기 수학식 1과 같은 판별식에 따라 제1 그림자 영역을 추출할 수 있다.
Figure 112016005938578-pat00001
여기서 SD는 출력값이 1인 경우 그림자로 판별하는 함수이고, (x, y)는 위치를 나타내는 인덱스이고, VI, SI, HI는 전경 화소의 각각 HSV 색 공간에서의 신호 값 - 색조(H), 채도(S), 명도(V) - 을 의미하고, VB, SB, HB는 배경 영상 신호의 각 HSV 색 공간에서의 신호 값을 의미한다. 그리고 τv1 와 τv2 는 명도 채널에서의 임계치, τs 는 채도 채널에서의 임계치, τh 는 색조 채널에서의 임계치를 각 의미한다. 그리고 ∧는 AND 연산자를 의미한다.
도 8 a는 제1 그림자 추출 단계(S320)의 동작을 설명하기 위한 참고도이다. 도 8 a를 참조하면, 제1 그림자 추출 단계(S320)는 추출한 전경(OB + SDW)에서 제1 그림자 영역(SDW)을 추출할 수 있다.
여기서 제1 그림자 추출 단계(S320)는 필요에 따라 그림자 색상 모델을 이용하는 다른 공지 알고리즘을 이용하여 그림자를 추출하여 제1 그림자 영역으로 추출할 수도 있다.
다음으로 제2 그림자 추출 단계(S330)는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출할 수 있다. 여기서 제2 그림자 추출 단계(S330)는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출할 수 있다.
제2 그림자 추출 단계(S330)는 추출된 전경 중에서 반사 영역 검출 단계(S100)에서 반사 영역으로 검출된 영역에 포함된 영역에 대하여 그림자 영역을 추출하는 단계이다. 이와 같이 제1 그림자 추출 단계(S320)에 더하여 제2 그림자 추출 단계(S330)에서 추가적으로 제2 그림자 영역을 추출하는 이유는 전경 중 반사 영역에 포함되는 영역은 제1 그림자 추출 단계(S320)에서 신뢰도 있게 그림자 전체를 추출하지 못하기 때문이다.
도 8 b는 제2 그림자 추출 단계(S330)의 동작을 설명하기 위한 참고도이다. 도 8 b를 참조하면 이동 물체(OB)에 의하여 형성되는 그림자(SDW1, SDW2)로 인하여 전경은 OB + SDW1 +SDW2 영역에서 추출될 수 있고, 이때 본래 그림자 영역 전체(SDW1 + SDW2)가 그림자 영역으로 추출되어야 하나, 제1 그림자 추출 단계(S320)에 의하면 제1 그림자 영역(SDW1) 만이 추출되고, 전경에서 반사 영역(SP)에 포함되는 영역인 제2 그림자 영역(SDW2)은 추출되지 못할 수 있다. 여기서 반사 영역(SP)는 이동 물체(OB)가 입력 영상에서 존재하지 않거나 반사 영역(SP)에 영향을 주지 않을 때 반사 영역 검출 단계(S100)에 의하여 미리 검출된 영역이다.
제1 그림자 추출 단계(S320)에서 도 8 b의 제2 그림자 영역이 추출되지 못하는 이유는 반사 영역(SP)에 포함된 화소들의 경우 강한 반사 성분 때문에 본래의 색상과 다른 색상을 가지게 되고, 그로 인하여 반사 영역(SP)에 대한 그림자 색상 모델이 본래의 색상과 다른 범위에서 설정되기 때문이다. 예를 들어 도 8 b에서 바닥 면(G)의 원래 색상이 녹색이고, 반사 영역(SP)의 형광등의 조명으로 인하여 흰색으로 나타났다고 가정하면, 반사 영역(SP)에 포함된 화소들의 배경 영상 신호는 흰색이 되고, 그에 따라 흰색을 기준으로 그림자 색상 모델에서 그림자의 색상 범위를 설정하게 된다. 그러나 반사 영역(SP)에 그림자가 형성되는 경우 본래 반사 영역(SP)에서 나타났던 강한 반사 성분은 사라지게 되고, 그에 따라 제2 그림자 영역(SDW2)는 본래의 바닥 면(G)에 그림자가 형성되었을 때의 그림자 색상을 가지게 된다. 예를 들면 제2 그림자 영역의 색상은 진한 녹색의 색상을 가질 수 있다. 따라서 제1 그림자 추출 단계(S320)에서는 제2 그림자 영역(SDW2)의 영상 신호와 해당 영역에서 정의된 배경 영상 신호 - 위 예에서는 흰색 - 을 비교하여 그림자 여부를 판단하므로, 상술한 연산 값이 임계치를 벗어나게 되어 제2 그림자 영역(SDW2)를 그림자로 추출하지 못하게 된다.
이상과 같은 문제점을 해결하기 위하여 본 발명에 따른 제2 그림자 추출 단계(S330)는, 전경과 상기 반사 영역이 중첩되는 영역의 화소들에 대하여 그림자 영역인지 여부를 판단할 때, 판단 대상이 되는 화소에 대하여 배경 영상 모델이 정의한 배경 영상 신호를 이용하는 것이 아니라, 반사 영역 주변 화소 선정 단계(S310)에서 선정한 주변 화소에서의 배경 영상 신호를 이용한다. 즉 제2 그림자 추출 단계(S330)는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출할 수 있다.
수식을 이용하여 다시 설명하면, 제2 그림자 추출 단계(S330)에서는 추출된 전경 화소 FG(x, y)의 영상 신호와 함께 이용하는 배경 영상 신호 BG로써, 해당 화소의 위치에서의 배경 영상 모델의 배경 영상 신호 BG(x, y)가 아닌, 해당 화소의 위치에서 반사 영역 주변 화소 선정 단계(S310)에서 주변 화소로 선정된 화소의 위치에서의 배경 영상 모델의 배경 영상 신호 BG(x_n, y_n)를 이용할 수 있다. 여기서 (x_n, y_n)은 (x, y)에 대하여 반사 영역의 주변 화소로 선정된 주변 화소의 위치가 된다.
이때 상기 그림자 색상 모델은 위에서 설명한 것과 동일하게 정의되는 그림자 색상 모델이 될 수 있고, 제2 그림자 추출 단계(S330)는 전경의 영상 신호와 상술한 방식으로 선정한 주변 화소의 배경 영상 신호를 이용하여 제1 그림자 추출 단계(S320)에서 설명한 것과 동일한 방식으로 연산을 수행하고 그림자 색상 모델을 참조하여 제2 그림자 영역을 추출할 수 있다.
즉 제2 그림자 추출 단계(S330)는 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제2 그림자 영역을 추출할 수 있다. 그리고 여기서 상기 연산은 비율을 산출하는 연산 또는 차이의 크기를 산출하는 연산이 될 수 있고, 상기 수학식 1을 이용하여 제2 그림자 영역을 추출할 수 있다.
다음으로 이동 물체 검출 단계(S400)는 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출한다. 여기서 이동 물체 검출 단계(S400)는 상기 전경에서 상기 제1 그림자 영역 및 상기 제2 그림자 영역을 제외한 영역을 상기 이동 물체 영역으로 검출할 수 있다.
본 발명의 또 다른 실시예에 따른 이동 물체 검출 장치는 반사 영역 검출부(100), 전경 추출부(200), 그림자 영역 추출부(300), 이동 물체 검출부(400)를 포함할 수 있다. 여기서 필요에 따라 본 발명에 따른 이동 물체 검출 장치는 배경 영상 모델 관리부(50)를 더 포함할 수도 있다. 여기서 배경 영상 모델 관리부(50)가 포함되지 않는 실시예에 따른 이동 물체 검출 장치는 미리 생성된 배경 영상 모델을 입력받아 이를 이용할 수 있다. 여기서 본 발명에 따른 이동 물체 검출 장치는 위에서 도 1 내지 도 8을 참조하면서 상세히 설명한 본 발명에 다른 이동 물체 검출 방법과 동일한 방식으로 동작할 수 있다. 이에 중복되는 설명은 생략하고 간략히 설명한다.
도 9는 이와 같이 배경 영상 모델 관리부(50)를 더 포함하는 본 발명의 또 다른 실시예에 따른 이동 물체 검출 장치의 블록도이다.
배경 영상 모델 관리부(50)는 시간의 흐름에 따라 복수개의 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신한다.
반사 영역 검출부(100)는 입력 영상에서 포함된 일 면에서의 반사 영역을 검출한다.
전경 추출부(200)는 화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출한다.
그림자 영역 추출부(300)는 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단한다.
이동 물체 검출부(400)는 상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출한다.
상기 배경 영상 모델은 화소 별로 상기 배경 영상 신호의 평균과 분포 정보가 정의된 모델이 될 수 있다.
여기서 반사 영역 검출부(100)는 영상 분할부(110), 반사 영역 추출부(120)를 포함할 수 있다.
도 10은 반사 영역 검출부(100)의 세부 블록도이다.
영상 분할부(110)는 상기 입력 영상을 세그멘테이션하여 상기 일 면을 분할한다. 여기서 영상 분할부(110)는 딥 러닝 영상 세그멘테이션 기법을 이용하여 상기 입력 영상을 세그멘테이션하고 상기 일 면을 분할할 수 있다.
반사 영역 추출부(120)는 상기 분할한 일 면에서 상기 반사 영역을 추출하여 검출한다. 여기서 반사 영역 추출부(120)는 상기 일 면에서 소정의 기준 이상으로 강한 반사 성분을 나타내는 화소들을 선별하여 상기 반사 영역으로 추출할 수 있다.
여기서 전경 추출부(200)는 화소 별로 상기 입력 영상의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 상기 전경을 추출할 수 있다. 여기서 전경 추출부(200)는 상기 입력 영상의 영상 신호와 상기 배경 영상 신호 간의 차이를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 전경에 해당하는지 여부를 판단할 수 있다.
여기서 그림자 영역 추출부(300)는 반사 영역 주변 화소 선정부(310), 제1 그림자 추출부(320), 제2 그림자 추출부(330)를 포함할 수 있다.
도 11은 그림자 영역 추출부(300)의 세부 블록도이다.
반사 영역 주변 화소 선정부(310)는 상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정한다.
제1 그림자 추출부(320)는 상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출한다. 여기서 제1 그림자 추출부(320)는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출할 수 있다.
제2 그림자 추출부(330)는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출한다. 여기서 제2 그림자 추출부(330)는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출할 수 있다.
본 발명에 따른 이동 물체 검출 방법 및 그 장치에 의하면, 영사에서 이동 물체 또는 전경을 추출 또는 검출함에 있어서, 반사 영역에서도 효율적으로 그림자 영역을 제외하고 물체 영역을 신뢰도 있게 검출할 수 있는 효과가 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
S50 : 배경 영상 모델 생성 단계
S100 : 반사 영역 검출 단계
S110 : 영상 분할 단계
S120 : 반사 영역 추출 단계
S200 : 전경 추출 단계
S300 : 그림자 영역 추출 단계
S310 : 반사 영역 주변 화소 선정 단계
S320 : 제1 그림자 추출 단계
S330 : 제2 그림자 추출 단계
S400 : 이동 물체 검출 단계
50 : 배경 영상 모델 관리부
100 : 반사 영역 검출부
110 : 영상 분할부
120 : 반사 영역 추출부
200 : 전경 추출부
300 : 그림자 영역 추출부
310 : 반사 영역 주변 화소 선정부
320 : 제1 그림자 추출부
330 : 제2 그림자 추출부
400 : 이동 물체 검출부

Claims (20)

  1. 이동 물체 검출 방법에 있어서,
    입력 영상에서 포함된 일 면에서의 반사 영역을 검출하는 반사 영역 검출 단계;
    화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출하는 전경 추출 단계;
    상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단하는 그림자 영역 추출 단계; 및
    상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출하는 이동 물체 검출 단계;를 포함하며,
    상기 그림자 영역 추출 단계는,
    상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정하는 반사 영역 주변 화소 선정 단계;
    상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출하는 제1 그림자 추출 단계; 및
    상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출하는 제2 그림자 추출 단계를 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  2. 제1항에 있어서,
    시간의 흐름에 따라 복수개의 상기 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신하는 배경 영상 모델 생성 단계를 더 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  3. 제1항에 있어서,
    상기 배경 영상 모델은 화소 별로 상기 배경 영상 신호의 분포 정보가 정의된 모델인 것을 특징으로 하는 이동 물체 검출 방법.
  4. 제1항에 있어서, 상기 반사 영역 검출 단계는
    상기 입력 영상을 세그멘테이션하여 상기 일 면을 분할하는 영상 분할 단계; 및
    상기 분할한 일 면에서 상기 반사 영역을 추출하여 검출하는 반사 영역 추출 단계;를 포함하는 것을 특징으로 하는 이동 물체 검출 방법.
  5. 제4항에 있어서,
    상기 영상 분할 단계는 딥 러닝 영상 세그멘테이션 기법을 이용하여 상기 입력 영상을 세그멘테이션하고 상기 일 면을 분할하는 것을 특징으로 하는 이동 물체 검출 방법.
  6. 제4항에 있어서,
    상기 반사 영역 추출 단계는 상기 일 면에서 소정의 기준 이상으로 강한 반사 성분을 나타내는 화소들을 선별하여 상기 반사 영역으로 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  7. 제1항에 있어서,
    상기 일 면은 조명으로 인하여 상기 이동 물체의 그림자가 형성되거나 상기 반사 영역이 형성되는 면인 것을 특징으로 하는 이동 물체 검출 방법.
  8. 제1항에 있어서,
    상기 전경 추출 단계는 화소 별로 상기 입력 영상의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 상기 전경을 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  9. 제8항에 있어서,
    상기 전경 추출 단계는 상기 입력 영상의 영상 신호와 상기 배경 영상 신호 간의 차이를 소정의 임계치와 비교하여, 그 비교 결과에 따라 상기 전경에 해당하는지 여부를 판단하는 것을 특징으로 하는 이동 물체 검출 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 반사 영역 주변 화소 선정 단계는 상기 입력 영상에서 상기 반사 영역의 높이와 소정의 범위 이내의 높이를 가지면서 상기 반사 영역에 소정의 거리 이내로 인접한 영역에 포함되는 화소를 상기 주변 화소로 선정하는 것을 특징으로 하는 이동 물체 검출 방법.
  12. 제1항에 있어서,
    상기 제1 그림자 추출 단계는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  13. 제12항에 있어서,
    상기 제1 그림자 추출 단계는 상기 추출한 전경의 영상 신호와 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제1 그림자 영역을 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  14. 제1항에 있어서,
    상기 제2 그림자 추출 단계는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  15. 제14항에 있어서,
    상기 제2 그림자 추출 단계는 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호에 따른 연산 값과 상기 그림자 색상 모델에 의하여 결정되는 소정의 임계치를 비교하고, 그 비교 결과에 따라 상기 제2 그림자 영역을 추출하는 것을 특징으로 하는 이동 물체 검출 방법.
  16. 제1항에 있어서,
    상기 이동 물체 검출 단계는 상기 전경에서 상기 제1 그림자 영역 및 상기 제2 그림자 영역을 제외한 영역을 상기 이동 물체 영역으로 검출하는 것을 특징으로 하는 이동 물체 검출 방법.
  17. 이동 물체 검출 장치에 있어서,
    입력 영상에서 포함된 일 면에서의 반사 영역을 검출하는 반사 영역 검출부;
    화소 별로 배경 영상 신호가 정의된 배경 영상 모델을 이용하여 상기 입력 영상에서 전경을 추출하는 전경 추출부;
    상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 그림자 영역을 추출하되, 상기 반사 영역에 포함되는 영역에서는 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 상기 반사 영역에 포함되는 영역이 상기 그림자 영역에 해당하는지를 판단하는 그림자 영역 추출부; 및
    상기 전경에서 상기 그림자 영역을 제외한 영역을 이동 물체 영역으로 검출하는 이동 물체 검출부;를 포함하며,
    상기 그림자 영역 추출부는,
    상기 입력 영상에서 상기 반사 영역과 소정의 거리 이내에 있는 화소를 상기 반사 영역의 주변 화소로 선정하는 반사 영역 주변 화소 선정부;
    상기 추출한 전경에서 상기 배경 영상 모델을 이용하여 제1 그림자 영역을 추출하는 제1 그림자 추출부; 및
    상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여 제2 그림자 영역을 추출하는 제2 그림자 추출부를 포함하는 것을 특징으로 하는 이동 물체 검출 장치.
  18. 제17항에 있어서,
    시간의 흐름에 따라 복수개의 상기 입력 영상의 프레임을 입력받고, 상기 프레임들을 이용하여 상기 입력 영상에 대한 상기 배경 영상 모델을 생성하고 갱신하는 배경 영상 모델 관리부를 더 포함하는 것을 특징으로 하는 이동 물체 검출 장치.
  19. 삭제
  20. 제17항에 있어서,
    상기 제1 그림자 추출부는 상기 추출한 전경의 영상 신호와 상기 배경 영상 모델에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제1 그림자 영역을 추출하고,
    상기 제2 그림자 추출부는 상기 전경 중 상기 반사 영역에 포함되는 영역에서, 상기 전경의 영상 신호와 상기 반사 영역의 주변 화소에서 정의된 상기 배경 영상 신호를 이용하여, 미리 정의된 그림자 색상 모델에 기초하여 상기 제2 그림자 영역을 추출하는 것을 특징으로 하는 이동 물체 검출 장치.
KR1020160006419A 2016-01-19 2016-01-19 이동 물체 검출 장치 및 그 방법 KR101729536B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160006419A KR101729536B1 (ko) 2016-01-19 2016-01-19 이동 물체 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006419A KR101729536B1 (ko) 2016-01-19 2016-01-19 이동 물체 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101729536B1 true KR101729536B1 (ko) 2017-05-02

Family

ID=58742869

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006419A KR101729536B1 (ko) 2016-01-19 2016-01-19 이동 물체 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101729536B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544605A (zh) * 2018-05-23 2019-03-29 安徽大学 基于时空关系建模的移动阴影检测方法
KR20210042563A (ko) * 2019-10-10 2021-04-20 주식회사 신세계아이앤씨 전경 분리 장치 및 방법
GB2581000B (en) * 2019-01-29 2023-08-16 Adobe Inc Image shadow detection using multiple images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125513A (ja) 2013-12-25 2015-07-06 西谷 隆夫 画像処理方法、画像処理装置およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015125513A (ja) 2013-12-25 2015-07-06 西谷 隆夫 画像処理方法、画像処理装置およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FAST 코너점과 Earth Mover's Distance를 이용한 다수의 이동물체 식별 알고리즘, 대한전기학회
딥 러닝과 마르코프 랜덤필드를 이용한 동영상 내 그림자 검출, Journal of Korea Multimedia Society
추출된 운동 영역에서 그림자 제거를 위한 픽셀 누적 사영 기법, 제어로봇시스템학회
학률기반 배경제거 기법의 향상을 위한 밝기 사영 및 변환에너지 기반 그림자 영역 제거 방법, 제어로봇시스템학회

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544605A (zh) * 2018-05-23 2019-03-29 安徽大学 基于时空关系建模的移动阴影检测方法
CN109544605B (zh) * 2018-05-23 2022-01-21 安徽大学 基于时空关系建模的移动阴影检测方法
GB2581000B (en) * 2019-01-29 2023-08-16 Adobe Inc Image shadow detection using multiple images
KR20210042563A (ko) * 2019-10-10 2021-04-20 주식회사 신세계아이앤씨 전경 분리 장치 및 방법
KR102398874B1 (ko) * 2019-10-10 2022-05-16 주식회사 신세계아이앤씨 전경 분리 장치 및 방법

Similar Documents

Publication Publication Date Title
US8280106B2 (en) Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
Salvador et al. Cast shadow segmentation using invariant color features
US7639878B2 (en) Shadow detection in images
JP4668921B2 (ja) 画像中のオブジェクト検出
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
US7916944B2 (en) System and method for feature level foreground segmentation
Martel-Brisson et al. Kernel-based learning of cast shadows from a physical model of light sources and surfaces for low-level segmentation
Figueroa et al. Background recovering in outdoor image sequences: An example of soccer players segmentation
Cavallaro et al. Shadow-aware object-based video processing
US20200250840A1 (en) Shadow detection method and system for surveillance video image, and shadow removing method
Huerta et al. Detection and removal of chromatic moving shadows in surveillance scenarios
Huerta et al. Chromatic shadow detection and tracking for moving foreground segmentation
KR101729536B1 (ko) 이동 물체 검출 장치 및 그 방법
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
Huerta et al. Improving background subtraction based on a casuistry of colour-motion segmentation problems
JP4780564B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Monteiro et al. Robust segmentation for outdoor traffic surveillance
KR101380329B1 (ko) 영상의 변화를 검출하는 방법
JPH06169458A (ja) 移動体の自動追尾装置
JP6618438B2 (ja) 前景領域抽出装置、方法、及びプログラム
Martínez-Martín et al. Motion detection in static backgrounds
KR20170130706A (ko) 축사 근접 개체 탐지 장치 및 방법
Das et al. A survey on shadow detection and removal in images
KR20150055481A (ko) 영상 내 그림자 화소 제거를 위한 배경 기반 방법
Bhorge Shadow Detection and Tracking in Video

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant