KR101918159B1 - 영상에서 배경 움직임 영역을 분할하는 방법 및 장치 - Google Patents

영상에서 배경 움직임 영역을 분할하는 방법 및 장치 Download PDF

Info

Publication number
KR101918159B1
KR101918159B1 KR1020150069981A KR20150069981A KR101918159B1 KR 101918159 B1 KR101918159 B1 KR 101918159B1 KR 1020150069981 A KR1020150069981 A KR 1020150069981A KR 20150069981 A KR20150069981 A KR 20150069981A KR 101918159 B1 KR101918159 B1 KR 101918159B1
Authority
KR
South Korea
Prior art keywords
foreground
image
background
background motion
cumulative value
Prior art date
Application number
KR1020150069981A
Other languages
English (en)
Other versions
KR20160136157A (ko
Inventor
조영관
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020150069981A priority Critical patent/KR101918159B1/ko
Publication of KR20160136157A publication Critical patent/KR20160136157A/ko
Application granted granted Critical
Publication of KR101918159B1 publication Critical patent/KR101918159B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

영상에서 배경 움직임 영역을 분할하는 방법 및 장치를 개시한다.
영상에서 움직임을 검출하여 이동 객체를 탐지하고 추적할 때, 배경 움직임이 발생하는 영역(배경 움직임 영역)을 미리 설정하는 경우, 배경 움직임 영역에서 발생하는 움직임을 이동 객체에 의한 움직임이 아니라고 판단할 수 있으므로, 배경 움직임 영역에서 검출된 움직임을 무시하여 이동 객체로 검출하는 오류를 방지할 수 있는 영상에서 배경 움직임 영역을 분할하는 방법 및 장치를 제공한다.

Description

영상에서 배경 움직임 영역을 분할하는 방법 및 장치{Method and Apparatus for Segmenting Background Motion Region From Image}
본 실시예는 영상에서 배경 움직임 영역을 분할하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 영상 내에서 움직이는 객체를 검출하기 위해 연속된 프레임을 비교하여 배경 모델을 생성한 후 새롭게 입력된 프레임과 배경 모델을 비교하여 전경 영역을 결정한다. 하지만, 종래 기술을 이용하여 전경 영역을 검출하는 경우, 배경 움직임이 전경으로 검출될 수 있다. 예컨대, ‘흔들리는 나뭇가지’, ‘물결’, ‘커튼’ 등의 배경 움직임이 전경으로 검출될 수 있다.
종래에는 배경 움직임 영역을 자동으로 검출하는 기술이 전혀 존재하지 않으므로, 도 1에 도시된 바와 같이, 조작자가 직접 마우스 커서(110)를 조작하여 영상 상에 배경 움직임이 발생하는 영역으로 추정되는 영역 상에 다각형(예컨대, 삼각형, 원, 사각형 등의 도형)을 그리는 방식으로 배경 영역(120)을 설정하였다. 조작자가 직접 눈으로 영상을 확인한 후 수동으로 배경 영역(120)을 설정해야 하기 때문에 많은 시간이 소요되는 불편함이 존재한다. 조작자가 배경 움직임 영역을 수동으로 설정하는 과정에서 누락된 배경 영역(120)이 존재하는 경우, 이동 객체 오검출이 발생하는 문제가 있다. 또한, 배경 영역(120)은 시간이 지남에 따라 바뀔 수 있으므로, 조작자는 시간이 지남에 따라 수동으로 배경 영역(120)을 반복하여 설정해야 하는 문제가 있다.
본 실시예는 영상에서 움직임을 검출하여 이동 객체를 탐지하고 추적할 때, 배경 움직임이 발생하는 영역(배경 움직임 영역)을 미리 설정하는 경우, 배경 움직임 영역에서 발생하는 움직임을 이동 객체에 의한 움직임이 아니라고 판단할 수 있으므로, 배경 움직임 영역에서 검출된 움직임을 무시하여 이동 객체로 검출하는 오류를 방지할 수 있는 영상에서 배경 움직임 영역을 분할하는 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 배경 움직임 영역 분할 장치가 배경 움직임 영역을 분할하는 방법에 있어서, 영상(Image)을 입력받는 영상 입력 과정; 상기 영상에서 전경(Foreground)과 배경(Background)을 분리하여 이진수(Binary)로 구분한 전경 이진 영상(Foreground Binary Image)을 생성하는 전경-배경 분리 과정; 상기 전경 이진 영상에서 전경 발생(Foreground Occurrence) 누적값 및 전경 동시 발생(Foreground Co-occurrence) 누적값을 산출하는 전경 발생 누적값 산출 과정; 상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률(Foreground Transition Probability)을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일(Profile)을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및 상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정을 포함하는 것을 특징으로 하는 배경 움직임 영역 분할 방법을 제공한다.
본 실시에의 다른 측면에 의하면, 하드웨어와 결합되어 영상을 입력받는 영상 입력 과정; 상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리 과정; 상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출 과정; 상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및 상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램을 제공한다.
본 실시에의 다른 측면에 의하면, 컴퓨터에 영상을 입력받는 영상 입력 과정; 상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리 과정; 상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출 과정; 상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및 상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 실시에의 다른 측면에 의하면, 영상을 입력받는 영상 입력부; 상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리부; 상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출부; 상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출부; 및 상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정부를 포함하는 것을 특징으로 하는 배경 움직임 영역 분할 장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상에서 움직임을 검출하여 이동 객체를 탐지하고 추적할 때, 배경 움직임이 발생하는 영역(배경 움직임 영역)을 미리 설정하는 경우, 배경 움직임 영역에서 발생하는 움직임을 이동 객체에 의한 움직임이 아니라고 판단할 수 있으므로, 배경 움직임 영역에서 검출된 움직임을 무시하여 이동 객체로 검출하는 오류를 방지할 수 있는 효과가 있다.
본 실시예에 의하면, 배경 움직임 영역 분할 장치가 배경 움직임 영역을 자동으로 분할하고 설정함으로써, 종래와 같이 조작자가 수동으로 배경 움직임 영역을 일일이 설정할 필요가 없으므로, 사용자의 편의성이 증대하는 효과가 있다.
본 실시예에 의하면, 조작자가 배경 움직임 영역을 수동으로 설정하는 과정에서, 누락된 배경 움직임 영역이 존재하는 경우 발생하는 이동 객체 오검출을 감소시킬 수 있는 효과가 있다. 배경 움직임 영역이 시간이 지남에 따라 바뀔 수 있는데, 본 실시예에 의하면, 배경 영역의 변화에 따라 자동으로 배경 움직임 영역의 설정을 변화시킬 수 있는 효과가 있다.
도 1은 종래의 배경 움직임 분할 기술을 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 배경 움직임 영역 분할 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 배경 움직임 제거 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 배경 움직임 영역 분할 장치를 개략적으로 나타낸 블럭 구성도이다.
도 5a, 5b, 5c는 본 실시예에 따른 전경 이진 영상을 설명하기 위한 도면이다.
도 6a, 6b, 6c는 본 실시예에 따른 전경 전이 누적값을 설명하기 위한 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예에 기재된 용어에 대해 다음과 같이 정의한다. ‘전경 이진 영상’은 전경과 배경이 이진수로 구분된 영상을 의미한다. x는 임의의 영상에서 어떠한 화소를 의미한다. x'은 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소를 의미한다. (x,x')은 임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍 (x,x')을 의미한다. ‘전경 발생 확률’(Foreground Occurrence Probability)은 임의의 영상에서 어떠한 화소 x가 전경일 확률을 의미한다.‘전경 동시 발생 확률’(Foreground Co-occurrence Probability)은 임의의 영상에서 어떠한 화소 x와 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 동시에 전경일 확률을 의미한다. ‘전경 전이 확률’(Foreground Transition Probability)(T△T(x,x'))은 임의의 영상에서 어떠한 화소 x가 전경일 경우, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경일 확률을 의미한다. ‘전경 전이 맵’(Foreground Transition Map)(M△T)은 (x,x')(임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍)에 대해 산출된 전경 전이 확률(T△T(x,x'))을 모두 모아놓은 4차원 배열을 의미한다. ‘프로파일’(Profile)(R△T(x))은‘전경 전이 확률’(T△T(x,x'))의 4차원 배열인 전경 전이 맵인 M△T에서 화소 x(동일한 화소)에 대한 ‘전경 전이 확률’들의 2차원 배열을 의미한다. ‘유사도’(Similarity)(
Figure 112015048066431-pat00001
)는 서로 상이한 특정 시간(△T1, △T2) 별 ‘전경 전이 맵’(M△T)에서 화소 x에 대한 ‘프로파일’ 간의 ‘유사도’를 의미한다. 이하, 본 실시예에 기재된 x, x'은 좌표 벡터(Vector)를 의미하므로, 볼드체(Bold)로 표기한다.
도 2는 본 실시예에 따른 배경 움직임 영역 분할 장치의 동작을 설명하기 위한 도면이다.
배경 움직임 영역 분할 장치(200)의 전반적인 동작에 대해 설명한다. 배경 움직임 영역 분할 장치(200)는 영상(Image)을 입력받는다. 배경 움직임 영역 분할 장치(200)는 영상에서 전경(Foreground)과 배경(Background)을 분리하여 이진수(Binary)로 구분한 전경 이진 영상(Foreground Binary Image)을 생성한다. 배경 움직임 영역 분할 장치(200)는 전경 이진 영상에서 ‘전경 발생 누적값’ 및 ‘전경 동시 발생 누적값’을 산출한다. 배경 움직임 영역 분할 장치(200)는 ‘전경 발생 누적값’과 ‘전경 동시 발생 누적값’에 근거하여 ‘전경 전이 확률’을 산출한다. 움직임 영역 분할 장치(200)는 ‘전경 전이 확률’을 모두 모아놓은 ‘전경 전이 맵’(M△T)을 서로 상이한 특정 시간(△T1, △T2)별로 각각
Figure 112015048066431-pat00002
산출한다. 배경 움직임 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 ‘전경 전이 맵’(
Figure 112015048066431-pat00003
)에서 화소 x에 대한 ‘프로파일’을 각각 추출한 후 ‘프로파일’ 간의 ‘유사도’를 산출한다. 배경 움직임 영역 분할 장치(200)는 ‘유사도’에 근거하여 화소가 배경 움직임 영역에 포함되는지의 여부를 결정한다. 배경 움직임 영역 분할 장치(200)는 배경 움직임 영역 내에 포함되는 화소를 그룹핑(Grouping)한 영역을 마스크(Mask) 영상으로 결정한다. 배경 움직임 영역 분할 장치(200)는 주기적으로 ‘전경 전이 확률’를 산출하여, 시간에 따라 바뀌는 배경 움직임 영역을 자동으로 갱신한다.
이하, 배경 움직임 영역 분할 장치(200)의 각 동작에 대해 구체적으로 설명한다.
배경 움직임 영역 분할 장치(200)가 입력된 영상에서 전경과 배경을 분리하는 기술은 참고문헌 ‘[1], [2], [3], [4]’에 언급되어 있다.
[1] C. Stauffer and W.E.L Grimson. “Adaptive Background mixture models for real-time tracking,”In Proc. of International Conference on Computer Vision and Pattern Recognition, 1998.
[2] K. Kim, T.H. Chalidabhongse, and D. Harwood. “Real-time Foreground-Background Segmentation Using Codebook Model,”Real-Time Imaging, 2005.
[3] O. Barnich and M. Van Droogenbroeck. “Vibe: A Universal Background Subtraction Algorithm for Video Sequences,”IEEE Transactions on Image Processing, 2011.
[4] M. Hofmann, P. Tiefenbacher, and G. Rigoll. “Backround Segmentation with Feedback: The Pixel-Based Adaptive Segmenter,”IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2012.
배경 움직임 영역 분할 장치(200)는 입력된 영상 중 임의의 영상에서 어떠한 화소 x가 전경일 확률인 ‘전경 발생 확률’을 산출한다. 임의의 영상에서 어떠한 화소 x의 ‘전경 발생 확률’(F(x))은 [수학식 1]과 같이 정의된다.
Figure 112015048066431-pat00004
‘ F(x)’는 임의의 영상에서 어떠한 화소 x가 전경일 확률인 ‘전경 발생 확률’을 의미한다. ‘P’는 확률을 의미한다. ‘J’는 전경 이진 영상(전경과 배경을 분리하여 이진수로 구분한 영상)을 의미한다. ‘J(x)’는 전경 이진 영상에서 어떠한 화소 x에 대한 이진값을 의미한다. 임의의 영상 내의 어떠한 화소 x가 전경 화소인 경우 ‘J(x) = 1’이 된다. 영상 내의 어떠한 화소 x가 배경 화소인 경우 ‘J(x) = 0’이 된다. 배경 움직임 영역 분할 장치(200)는 [수학식 2]를 이용하여 ‘전경 발생 확률’(F(x))을 산출한다.
Figure 112015048066431-pat00005
‘ F(x)’는 임의의 영상에서 어떠한 화소 x가 전경일 확률인 ‘전경 발생 확률’을 의미한다. ‘t’는 영상을 획득한 시각을 의미한다. ‘T’는 ‘전경 발생 확률’을 산출하기 위해 이용한 마지막 영상을 획득한 시각을 의미한다. ‘Jt’는 시각 t에서 얻은 전경 이진 영상을 의미한다. 시각 t에서 얻은 전경 이진 영상인 ‘Jt’는 도 5a에 도시된 바와 같다. ‘Jt’에서 △T1 만큼 경과된 전경 이진 영싱인
Figure 112015048066431-pat00006
는 도 5b에 도시된 바와 같다. ‘Jt’에서 △T2 만큼 경과된 전경 이진 영싱인
Figure 112015048066431-pat00007
는 도 5c에 도시된 바와 같다. ‘Jt(x)’는 시각 t에서 얻은 전경 이진 영상에서 어떠한 화소 x에 대한 이진값을 의미한다. 다시 말해, 시각 t에서 얻은 전경 이진 영상에서 어떠한 화소 x가 전경 화소인 경우 ‘Jt(x) = 1’이 되며, 시각 t에서 얻은 전경 이진 영상에서 어떠한 화소 x가 배경 화소인 경우 ‘Jt(x) = 0’이 된다.
본 실시예에서, 임의의 영상 내의 어떠한 화소 x가 전경 화소인 경우(‘J(x) = 1’), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경 화소(J(x') = 1)일 확률은 [수학식 3]과 같이 정의된다.
Figure 112015048066431-pat00008
T△T(x,x')는 임의의 영상에서 어떠한 화소 x가 전경일 경우, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경일 확률인 ‘전경 전이 확률’을 의미한다. x는 임의의 영상에서 어떠한 화소를 의미한다. x'은 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소를 의미한다. (x,x')는 임의의 영상에서 어떠한 화소 x, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'의 화소쌍을 의미한다. ‘J(x)’는 전경 이진 영상에서 어떠한 화소 x에 대한 이진값을 의미한다. J(x')은 특정 시간(△T)만큼 경과된 전경 이진 영상에서 어떠한 화소 x'에 대한 이진값을 의미한다.
배경 움직임 영역 분할 장치(200)는 [수학식 4]를 이용하여 ‘전경 전이 확률’인 T△T(x,x')를 산출한다.
Figure 112015048066431-pat00009
T△T(x,x')는 임의의 영상에서 어떠한 화소 x가 전경일 경우, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경일 확률인 ‘전경 전이 확률’을 의미한다. x는 임의의 영상에서 어떠한 화소를 의미한다. x'는 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소를 의미한다. (x,x')는 임의의 영상에서 어떠한 화소 x, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'의 화소쌍을 의미한다. ‘Jt’는 시각 t에서 얻은 전경 이진 영상을 의미한다. ‘Jt(x)’는 시각 t에서 얻은 전경 이진 영상에서 어떠한 화소 x에 대한 이진값을 의미한다.
[수학식 4]에서 ‘분모’인
Figure 112015048066431-pat00010
는 도 6a에 도시된 바와 같이, 임의의 영상에서 어떠한 화소 x가 마지막 영상을 획득한 시각(T)까지 전경인 프레임 수를 산출한 ‘전경 발생 누적값’이다.
전경 발생 누적값인
Figure 112015048066431-pat00011
를 T로 나누는 경우 ‘전경 발생 확률’인
Figure 112015048066431-pat00012
이 된다.
[수학식 4]에서 ‘분자’인
Figure 112015048066431-pat00013
는 도 6b 및 6c에 도시된 바와 같이, 임의의 영상에서 어떠한 화소 x와 특정 시간(△T1, △T2)만큼 경과된 영상에서 어떠한 화소 x'가 동시에 전경인 프레임 수를 산출한 ‘전경 동시 발생 누적값’이다.
전경 동시 발생 누적값인
Figure 112015048066431-pat00014
를 T로 나누는 경우 ‘전경 발생 확률’인
Figure 112015048066431-pat00015
이 된다.
‘전경 전이 확률’인 T△T(x,x')는 전경 동시 발생 확률(
Figure 112015048066431-pat00016
)을 전경 발생 확률(
Figure 112015048066431-pat00017
)로 나눈값 또는 전경 동시 발생 누적값(
Figure 112015048066431-pat00018
)을 전경 발생 누적값(
Figure 112015048066431-pat00019
)으로 나눈값이 된다.
‘전경 전이 확률’인 T△T(x,x')는 임의의 영상에서 어떠한 화소 x가 전경일 경우, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경일 확률인 ‘전경 전이 확률’을 의미한다. 영상 내에서 한 사람이 걸어가는 것으로 가정하여 설명한다. 영상 내에서 걸어가는 사람이 특정 시간 △T1 동안 두 화소 x에서 x'(임의의 영상 내의 어떠한 화소 x로부터 특정 시간(△T1)만큼 경과된 영상에서 어떠한 화소 x')까지 이동하는 속도로 걷는다면, ‘전경 전이 확률’인
Figure 112015048066431-pat00020
는 1에 가까운 큰 값을 가진다. 만약, 특정 시간이 다른 값 △T2(≠△T1)을 갖는 경우,
Figure 112015048066431-pat00021
이 된다. 왜냐하면, 걸어가는 사람이 임의의 영상에서 어떠한 화소 중 어느 하나의 화소 x에 위치한 후 △T2만큼 경과된 영상에서 어떠한 화소 x'과는 다른 곳에 위치할 것이므로, [수학식 4]에서 Jt+△T(x')가 ‘0’이 될 가능성이 높다. 다시 말해, 특정 시간 △T가 바뀌는 경우 ‘전경 전이 확률’인 T△T(x,x')도 바뀌게 된다.
다른 예로서, 영상 내에서 나뭇가지가 바람에 흔들리는 것으로 가정한다. 바람이 부는 동안 나뭇가지가 흔들리는 영역은 일정하므로, 움직임이 검출되는 영역도 일정하다. 두 화소 x와 x'(임의의 영상 내의 어떠한 화소 x로부터 특정 시간(△T1)만큼 경과된 영상에서 어떠한 화소 x')이 움직임이 검출되는 영역(나뭇가지가 흔들리는 영역)에 포함된다고 가정한다. 바람이 부는 동안 두 화소 x와 x'이 모두 흔들리는 나뭇가지(전경)에 포함될 가능성이 높다. 화소 x(임의의 영상 내의 어떠한 화소 x)가 흔들리는 나뭇가지(전경)에 포함되는 경우, 특정 시간 △T1가 경과 후에 화소 x'(특정 시간(△T1)만큼 경과된 영상에서 어떠한 화소 x')도 흔들리는 나뭇가지(전경)에 포함될 가능성이 크다. 다시 말해, ‘전경 전이 확률’인
Figure 112015048066431-pat00022
가 0보다 충분히 큰 값을 가질 것이다.
특정 시간 △T3(> △T1)까지 계속 바람이 불고 있는 경우, 여전히 화소 x'(특정 시간(△T1)만큼 경과된 영상에서 어떠한 화소 x')도 흔들리는 나뭇가지(전경)에 포함될 가능성이 크므로,
Figure 112015048066431-pat00023
이 될 것이다. 만약, 화소 x(임의의 영상 내의 어떠한 화소 x)는 흔들리는 나뭇가지 영역(전경)에 포함되지만 x'(특정 시간(△T1)만큼 경과된 영상에서 어떠한 화소 x')은 미포함되는 경우,
Figure 112015048066431-pat00024
이 된다. 다른 말로 설명하자면, 시간 △T1이 바뀌더라도 ‘전경 전이 확률’인
Figure 112015048066431-pat00025
는 크게 바뀌지 않는다.
본 실시예에서, 임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍 (x,x')에 대해 ‘전경 전이 확률’인 T△T(x,x')를 산출한 4차원 배열을 ‘전경 전이 맵(M△T)’으로 정의한다. 다시 말해, ‘전경 전이 맵’(M△T)은 (x,x')(임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍) 대해 산출된 전경 전이 확률을 모두 모아놓은 4차원 배열을 의미한다. 예컨대, 배경 움직임 영역 분할 장치(200)로 입력되는 영상의 크기를 가로 × 세로 = 360 × 240로 가정하는 경우, x와 x'이 될 수 있는 화소는 각각 360 × 240이 된다. 따라서, 전경 전이 맵(M△T)은 4차원 배열을 가지며, 360 × 240 × 360 × 240의 크기를 갖는다.
배경 움직임 영역 분할 장치(200)는 ‘전경 전이 맵’(M△T)을 산출하기 위해 기 설정된 주기(예컨대, ‘1 시간’)가 도래하는지의 여부를 확인한다. 기 설정된 주기가 도래하는 경우, 배경 움직임 영역 분할 장치(200)는 ‘전경 발생 누적값’과 ‘전경 동시 발생 누적값’에 근거하여([수학식 4]를 이용하여) 각 화소쌍에 대해 ‘전경 전이 확률’을 산출하고 ‘전경 전이 확률’을 모두 모아서 4차원 배열인 ‘전경 전이 맵’(M△T)을 산출한다.
임의의 영상에서 어떠한 화소 x와 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'의 화소쌍 (x,x')에 대해 특정 시간(△T) 별로 ‘전경 전이 확률’인 T△T(x,x')를 산출한다. 특정 시간(△T) 별로 산출한 ‘전경 전이 확률’(T△T(x,x'))을 모두 모아놓은 ‘전경 전이 맵’(M△T)에서 2차원 배열인 화소 x에 대해 각각 추출한 ‘프로파일’은 [수학식 5]와 같이 정의된다.
Figure 112015048066431-pat00026
‘R△T(x)’는 전경 전이 맵인 M△T에서 화소 x에 대한 ‘전경 전이 확률’인 T△T(x,x')을 모아놓은 2차원 배열인 ‘프로파일’을 의미한다. T△T(x,x')는 임의의 영상에서 어떠한 화소 x가 전경일 경우, 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'이 전경일 확률인 ‘전경 전이 확률’을 의미한다. x'은 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소를 의미한다. ‘I’는 영상의 모든 좌표 집합을 의미한다.
서로 다른 시간인 △T1과 △T2에 대해서, 사람이 걸어가는 영상은
Figure 112015048066431-pat00027
이고, 바람에 흔들리는 나뭇가지 영상은
Figure 112015048066431-pat00028
이 된다. 다시 말해, 두 가지 2차원 배열인
Figure 112015048066431-pat00029
와
Figure 112015048066431-pat00030
를 비교하면, 화소 x가 바람에 흔들리는 나뭇가지 영역에 속하는지 여부를 판단할 수 있다.
배경 움직임 영역 분할 장치(200)는 화소 x에 대해 서로 다른 △T1과 △T2에 대해 각각 산출한 두 개의 ‘전경 전이 맵’(
Figure 112015048066431-pat00031
)의 각각의 ‘프로파일’인
Figure 112015048066431-pat00032
와
Figure 112015048066431-pat00033
을 비교하여 유사도(Similarity)인
Figure 112015048066431-pat00034
를 산출한다.
배경 움직임 영역 분할 장치(200)는 ‘유사도’를 [수학식 6]과 같이 정규화된 상호 상관도(NCC: Normalized Cross-Correlation)을 이용하여 산출한다.
Figure 112015048066431-pat00035
Figure 112015048066431-pat00036
는
Figure 112015048066431-pat00037
에서 화소 x에 대한 ‘프로파일’(
Figure 112015048066431-pat00038
)과
Figure 112015048066431-pat00039
에서 화소 x에 대한 ‘프로파일’(
Figure 112015048066431-pat00040
) 간의 ‘유사도’를 의미한다. ‘<·,·>’는 내적(Inner Product)을 의미한다. ‘∥·∥’는 L2 Norm을 의미한다. ‘△T1’는 제 1 특정 시간을 의미한다. ‘△T2’는 제 2 특정 시간을 의미한다. ‘r1’는
Figure 112015048066431-pat00041
로서,
Figure 112015048066431-pat00042
는
Figure 112015048066431-pat00043
의 평균값을 의미한다. ‘r2’는
Figure 112015048066431-pat00044
로서,
Figure 112015048066431-pat00045
는
Figure 112015048066431-pat00046
의 평균값을 의미한다.
배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00047
와
Figure 112015048066431-pat00048
의 유사도인
Figure 112015048066431-pat00049
가 기 설정된 임계치(Threshold)인 ‘θ’를 초과(
Figure 112015048066431-pat00050
> θ)하는 화소가 배경 움직임 영역에 포함하는 것으로 판단한다.
배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00051
와
Figure 112015048066431-pat00052
의 유사도인
Figure 112015048066431-pat00053
가 기 설정된 임계치인 ‘θ’ 이하(
Figure 112015048066431-pat00054
≤ θ)인 화소가 배경 움직임 영역에 미포함하는 것으로 판단한다.
최종적으로, 배경 움직임 영역 분할 장치(200)는 배경 움직임 영역에 포함되는 화소들을 그룹핑(Grouping)한 영역을 ‘배경 움직임 영역’으로 결정한다. 배경 움직임 영역 분할 장치(200)는 ‘배경 움직임 영역’을 마스크(Mask) 영상으로 결정한 후 ‘배경 움직임 영역’ 영역에서 검출되는 움직임을 모두 무시하여 이동 객체의 오검출을 방지한다.
도 3은 본 실시예에 따른 배경 움직임 제거 방법을 설명하기 위한 순서도이다.
배경 움직임 영역 분할 장치(200)는 영상을 입력받는다(S310). 배경 움직임 영역 분할 장치(200)는 입력된 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성한다(S320). 배경 움직임 영역 분할 장치(200)는 단계 S320 이후에 단계 S320에서 생성한 이진 영상을 이용하여 단계 S330 및 S380을 동시에 수행한다.
배경 움직임 영역 분할 장치(200)는 전경 이진 영상에서 ‘전경 발생 누적값’ 및 ‘전경 동시 발생 누적값’을 산출한다(S330). 단계 S330에서 배경 움직임 영역 분할 장치(200)는 매 프레임마다 도 6a에 도시된 바와 같이 [수학식 4]의 분모인 ‘전경 발생 누적값’과 도 6b, 6c에 도시된 바와 같이[수학식 4]의 분자인 ‘전경 동시 발생 누적값’을 산출해 둔다. 단계 S330에서, 배경 움직임 영역 분할 장치(200)는 임의의 영상에서 어떠한 화소 x가 마지막 영상을 획득한 시각(T)까지 전경인 프레임 수를 ‘전경 발생 누적값’으로 산출한다. 다시 말해, 배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00055
의 수학식([수학식 4]의 ‘분모’)을 이용하여 ‘전경 발생 누적값’을 산출한다.
단계 S330에서, 배경 움직임 영역 분할 장치(200)는 임의의 영상에서 어떠한 화소 x와 특정 시간 (△T)만큼 경과된 영상에서 어떠한 화소 x'가 동시에 전경인 프레임 수를 ‘전경 동시 발생 누적값’으로 산출한다. 다시 말해, 배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00056
의 수학식([수학식 4]의 ‘분자’)을 이용하여 ‘전경 동시 발생 누적값’을 산출한다.
배경 움직임 영역 분할 장치(200)는 기 설정된 주기가 도래하는지의 여부를 확인한다(S340). 단계 S340에서 배경 움직임 영역 분할 장치(200)는 프레임 사이에 배경 움직임 영역의 변화가 크지 않으므로, 매 프레임마다 배경 움직임 영역을 산출할 필요가 없이 기 설정된 일정 주기마다 ‘전경 전이 맵’(M△T)을 산출하기 위해 기 설정된 주기가 도래하는지의 여부를 확인한다.
단계 S340의 확인 결과, 기 설정된 주기가 도래한 경우, 배경 움직임 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2) 별로 (x,x')(임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍)에 대해 전경 전이 확률(TΔT(x,x'))을 산출하고, 산출된 전경 전이 확률(TΔT(x,x'))을 모아놓은 4차원 배열 전경 전이 맵(M△T)을 생성한다(S350).
단계 S350에서 배경 움직임 영역 분할 장치(200)는 기 설정된 주기가 도래한 경우, 배경 움직임 영역의 갱신이 필요한 것으로 판단하여 기 설정된 주기 동안 매 프레임마다 산출해 둔 [수학식 4]의 분모인 ‘전경 발생 누적값’과 [수학식 4]의 분자인 ‘전경 동시 발생 누적값’을 이용하여 임의의 영상에서 어떠한 화소(x), 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소(x')의 화소쌍(x,x')에 대해 전경 전이 확률(TΔT(x,x'))을 산출한다. 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2) 별로 ‘전경 전이 확률’(
Figure 112015048066431-pat00057
,
Figure 112015048066431-pat00058
)을 각각 산출한다. 다시 말해, 배경 움직임 영역 분할 장치(200)는 [수학식 4]를 이용하여 특정 시간(△T1, △T2) 별로 ‘전경 전이 확률’(
Figure 112015048066431-pat00059
,
Figure 112015048066431-pat00060
)을 각각 산출한다. 예컨대, 특정 시간을 △T1으로 가정하는 경우, 배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00061
의 수학식을 이용하여
Figure 112015048066431-pat00062
를 산출한다. 특정 시간을 △T2로 가정하는 경우, 배경 움직임 영역 분할 장치(200)는
Figure 112015048066431-pat00063
의 수학식을 이용하여
Figure 112015048066431-pat00064
를 산출한다.
단계 S350에서 배경 움직임 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2)별로 산출된 ‘전경 전이 확률’(
Figure 112015048066431-pat00065
,
Figure 112015048066431-pat00066
)을 모아놓은 ‘전경 전이 맵’(
Figure 112015048066431-pat00067
)을 산출한다.
배경 움직임 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 ‘전경 전이 맵’(
Figure 112015048066431-pat00068
)에서 화소 x에 대한 ‘프로파일’을 각각 추출한 후 ‘프로파일’ 간의 ‘유사도’를 산출한다(S360). 단계 S360에서, 배경 움직임 영역 분할 장치(200)는 서로 상이한 특정 시간(△T1, △T2) 별로 ‘전경 전이 맵’(
Figure 112015048066431-pat00069
)에서 화소 x에 대한 두 ‘프로파일’의 ‘유사도’(
Figure 112015048066431-pat00070
)를 산출한다.
배경 움직임 영역 분할 장치(200)는 ‘유사도’에 근거하여 영상 내의 배경 움직임 영역을 결정하고 배경 움직임 영역에서의 마스크 영상을 결정한다(S370). 단계 S370에서, 배경 움직임 영역 분할 장치(200)는 ‘유사도’를 기 설정된 임계치(θ)와 비교하여 임의의 영상에서 어떠한 화소가 배경 움직임 영역에 포함되는지의 여부를 확인한다. 단계 S370에서, 배경 움직임 영역 분할 장치(200)는 ‘유사도’가 기 설정된 임계치(θ)를 초과하는 화소를 배경 움직임 영역에 포함되는 것으로 결정한다. 배경 움직임 영역 분할 장치(200)는 배경 움직임 영역 내의 화소를 그룹핑한 영역을 마스크(Mask) 영상으로 결정한다. 배경 움직임 영역 분할 장치(200)는 ‘유사도’가 기 설정된 임계치(θ) 이하인 화소를 배경 움직임 영역에 미포함되는 것으로 결정한다. 배경 움직임 영역 분할 장치(200)는 단계 S370 이후에 단계 S310(반복수행) 및 S380를 동시에 수행한다.
배경 움직임 영역 분할 장치(200)는 마스크 영상을 이용하여 영상의 배경 움직임 영역 내에서 검출된 객체 움직임을 제거하여 이동 객체 오검출을 방지한다(S380).
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 배경 움직임 제거 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 배경 움직임 제거 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 4는 본 실시예에 따른 배경 움직임 영역 분할 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 배경 움직임 영역 분할 장치(200)는 영상 입력부(410), 전경-배경 분리부(420), 전경 발생 누적값 산출부(430), 유사도 산출부(440) 및 배경 움직임 영역 결정부(450)를 포함한다. 배경 움직임 영역 분할 장치(200)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
배경 움직임 영역 분할 장치(200)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 배경 움직임 영역 분할 장치(200)에 포함된 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다. 도 4에 도시된 배경 움직임 영역 분할 장치(200)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
영상 입력부(410)는 영상을 입력받는다. 전경-배경 분리부(420)는 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성한다.
전경 발생 누적값 산출부(430)는 전경 이진 영상에서 ‘전경 발생 누적값’ 및 ‘전경 동시 발생 누적값’을 산출한다. 전경 발생 누적값 산출부(430)는 임의의 영상에서 어떠한 화소 x가 마지막 영상을 획득한 시각(T)까지 전경인 프레임 수를 ‘전경 발생 누적값’으로 산출한다. 전경 발생 누적값 산출부(430)는 [수학식 4]의 분모를 이용하여 ‘전경 발생 누적값’을 산출한다. 전경 발생 누적값 산출부(430)는 임의의 영상에서 어떠한 화소 x와 특정 시간 (△T)만큼 경과된 영상에서 어떠한 화소 x'가 동시에 전경인 프레임 수를 ‘전경 동시 발생 누적값’으로 산출한다. 전경 발생 누적값 산출부(430)는 [수학식 4]의 분자를 이용하여 ‘전경 동시 발생 누적값’을 산출한다.
유사도 산출부(440)는 ‘전경 발생 누적값’과 ‘전경 동시 발생 누적값’에 근거하여 ‘전경 전이 확률’을 산출한다. 유사도 산출부(440)는 [수학식 4]를 이용하여 ‘전경 전이 확률’을 산출한다. 유사도 산출부(440)는 ‘전경 전이 확률’을 모두 모아놓은 ‘전경 전이 맵’(M△T)을 생성한다. 유사도 산출부(440)는 ‘전경 전이 맵’(M△T)을 서로 상이한 특정 시간(△T1, △T2)별로 각각
Figure 112015048066431-pat00071
산출한다.
유사도 산출부(440)는 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 ‘전경 전이 맵’(
Figure 112015048066431-pat00072
)에서 화소 x에 대한 ‘프로파일’을 각각 추출한 후 ‘프로파일’ 간의 ‘유사도’를 산출한다. 유사도 산출부(440)는 기 설정된 주기가 도래한 경우, 배경 움직임 영역의 갱신이 필요한 것으로 판단하여 ‘전경 발생 누적값’과 ‘전경 동시 발생 누적값’에 근거하여 ‘전경 전이 확률’을 산출한 후 ‘전경 전이 확률’을 모아 놓은 ‘전경 전이 맵’(M△T)을 생성한다.
유사도 산출부(440)는 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 ‘전경 전이 맵’(
Figure 112015048066431-pat00073
)에서 화소 x에 대한 ‘프로파일’을 각각 추출한다. 유사도 산출부(440)는 정규화된 상호 상관도(NCC)를 이용하여 ‘프로파일’ 간의 ‘유사도’를 산출한다. 유사도 산출부(440)는 [수학식 6]을 이용하여 ‘프로파일’ 간의 ‘유사도’를 산출한다. 유사도 산출부(440)는 ‘유사도’가 기 설정된 임계치(θ)를 초과하는 지의 여부를 확인한다. 확인 결과, ‘유사도’가 기 설정된 임계치(θ)를 초과하는 경우, 유사도 산출부(440)는 임계치(θ)를 초과하는 화소를 배경 움직임 영역에 포함되는 것으로 결정한다. 유사도 산출부(440)는 배경 움직임 영역 내의 화소를 그룹핑한 영역을 마스크 영상으로 결정한다. 확인 결과, ‘유사도’가 기 설정된 임계치(θ) 이하인 경우, 유사도 산출부(440)는 임계치(θ) 이하인 화소를 배경 움직임 영역에 미포함되는 것으로 결정한다.
배경 움직임 영역 결정부(450)는 ‘유사도’에 근거하여 전경 이진 영상 내의 배경 움직임 영역을 결정한다. 배경 움직임 영역 결정부(450)는 마스크 영상이 결정되면, 배경 움직임 영역 내에서 검출된 객체 움직임을 제거하여 이동 객체 오검출을 방지한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 지능형 영상 보안 분야에 적용되어, 발생하는 배경 움직임 영역을 자동으로 분할하고 설정하여 이동 객체의 검출 오류를 방지하는 효과를 발생하는 유용한 발명이다.
200: 배경 움직임 영역 분할 장치
410: 영상 입력부 420: 전경-배경 분리부
430: 전경 발생 누적값 산출부 440: 유사도 산출부
450: 배경 움직임 영역 결정부

Claims (8)

  1. 배경 움직임 영역 분할 장치가 배경 움직임 영역을 분할하는 방법에 있어서,
    영상(Image)을 입력받는 영상 입력 과정;
    상기 영상에서 전경(Foreground)과 배경(Background)을 분리하여 이진수(Binary)로 구분한 전경 이진 영상(Foreground Binary Image)을 생성하는 전경-배경 분리 과정;
    상기 전경 이진 영상에서 전경 발생(Foreground Occurrence) 누적값 및 전경 동시 발생(Foreground Co-occurrence) 누적값을 산출하는 전경 발생 누적값 산출 과정;
    상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률(Foreground Transition Probability)을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일(Profile)을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및
    상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정
    을 포함하는 것을 특징으로 하는 배경 움직임 영역 분할 방법.
  2. 제 1 항에 있어서,
    상기 전경 발생 누적값 산출 과정은,
    임의의 영상에서 어떠한 화소 x가 마지막 영상을 획득한 시각(T)까지 전경인 프레임 수를 상기 전경 발생 누적값으로 산출하고,
    상기 임의의 영상에서 어떠한 화소 x와 특정 시간(△T)만큼 경과된 영상에서 어떠한 화소 x'가 동시에 전경인 프레임 수를 상기 전경 동시 발생 누적값으로 산출하는 것을 특징으로 하는 배경 움직임 영역 분할 방법.
  3. 제 1 항에 있어서,
    상기 유사도 산출 과정은,
    기 설정된 주기가 도래한 경우 상기 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 상기 전경 전이 맵(M△T)을 서로 상이한 특정 시간(△T1, △T2)별로 각각
    Figure 112015048066431-pat00074
    산출하고,
    서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵(
    Figure 112015048066431-pat00075
    )에서 동일한 화소에 대한 프로파일을 각각 추출한 후 정규화된 상호 상관도(NCC: Normalized Cross-Correlation)를 이용하여 프로파일 간의 유사도 정보를 산출하는 것을 특징으로 하는 배경 움직임 영역 분할 방법.
  4. 제 1 항에 있어서,
    상기 유사도 정보가 기 설정된 임계치(θ)를 초과하는 화소를 배경 움직임 영역에 포함되는 것으로 결정하여, 상기 배경 움직임 영역 내의 화소를 그룹핑한 영역을 마스크(Mask) 영상으로 결정하며,
    상기 유사도 정보가 기 설정된 임계치(θ) 이하인 화소를 배경 움직임 영역에 미포함되는 것으로 결정하는 것을 특징으로 하는 배경 움직임 영역 분할 방법.
  5. 제 1 항에 있어서,
    상기 배경 움직임 영역 결정 과정 이후에,
    상기 배경 움직임 영역이 기 존재하는 경우, 상기 배경 움직임 영역 내에서 검출된 객체 움직임을 제거하여 이동 객체 오검출을 방지하는 배경 움직임 제거 과정
    을 추가로 포함하는 것을 특징으로 하는 배경 움직임 영역 분할 방법.
  6. 하드웨어와 결합되어
    영상을 입력받는 영상 입력 과정;
    상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리 과정;
    상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출 과정;
    상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및
    상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정
    을 실행시키기 위하여 기록매체에 저장된 컴퓨터프로그램.
  7. 컴퓨터에
    영상을 입력받는 영상 입력 과정;
    상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리 과정;
    상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출 과정;
    상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출 과정; 및
    상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정 과정
    을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 영상을 입력받는 영상 입력부;
    상기 영상에서 전경과 배경을 분리하여 이진수로 구분한 전경 이진 영상을 생성하는 전경-배경 분리부;
    상기 전경 이진 영상에서 전경 발생 누적값 및 전경 동시 발생 누적값을 산출하는 전경 발생 누적값 산출부;
    상기 전경 발생 누적값과 상기 전경 동시 발생 누적값에 근거하여 전경 전이 확률을 산출하고, 상기 전경 전이 확률을 모아놓은 전경 전이 맵을 서로 상이한 특정 시간(△T1, △T2)별로 각각 산출하며, 서로 상이한 특정 시간(△T1, △T2) 별로 산출된 전경 전이 맵에서 동일한 화소에 대한 프로파일을 각각 추출한 후 상기 프로파일 간의 유사도 정보를 산출하는 유사도 산출부; 및
    상기 유사도 정보에 근거하여 상기 영상 내의 배경 움직임 영역을 결정하는 배경 움직임 영역 결정부
    를 포함하는 것을 특징으로 하는 배경 움직임 영역 분할 장치.
KR1020150069981A 2015-05-19 2015-05-19 영상에서 배경 움직임 영역을 분할하는 방법 및 장치 KR101918159B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150069981A KR101918159B1 (ko) 2015-05-19 2015-05-19 영상에서 배경 움직임 영역을 분할하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150069981A KR101918159B1 (ko) 2015-05-19 2015-05-19 영상에서 배경 움직임 영역을 분할하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160136157A KR20160136157A (ko) 2016-11-29
KR101918159B1 true KR101918159B1 (ko) 2018-11-13

Family

ID=57706333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150069981A KR101918159B1 (ko) 2015-05-19 2015-05-19 영상에서 배경 움직임 영역을 분할하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101918159B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544855B2 (en) 2020-03-18 2023-01-03 Samsung Electronics Co., Ltd. Method and apparatus for tracking target

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102031941B1 (ko) * 2017-12-20 2019-10-14 경희대학교 산학협력단 하나 이상의 프레임을 포함하는 장면의 배경 추정 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319387A (ja) 2002-04-25 2003-11-07 Mitsubishi Electric Corp 監視装置及び方法並びにプログラム
JP2006185206A (ja) 2004-12-28 2006-07-13 Toshiba Corp オブジェクト検出方法、装置、及びプログラム
WO2009125569A1 (ja) 2008-04-09 2009-10-15 日本電気株式会社 物体検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486229B2 (ja) * 1994-07-27 2004-01-13 株式会社東芝 画像変化検出装置
KR101471199B1 (ko) * 2008-04-23 2014-12-09 주식회사 케이티 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319387A (ja) 2002-04-25 2003-11-07 Mitsubishi Electric Corp 監視装置及び方法並びにプログラム
JP2006185206A (ja) 2004-12-28 2006-07-13 Toshiba Corp オブジェクト検出方法、装置、及びプログラム
WO2009125569A1 (ja) 2008-04-09 2009-10-15 日本電気株式会社 物体検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544855B2 (en) 2020-03-18 2023-01-03 Samsung Electronics Co., Ltd. Method and apparatus for tracking target
US11967088B2 (en) 2020-03-18 2024-04-23 Samsung Electronics Co., Ltd. Method and apparatus for tracking target

Also Published As

Publication number Publication date
KR20160136157A (ko) 2016-11-29

Similar Documents

Publication Publication Date Title
US11195038B2 (en) Device and a method for extracting dynamic information on a scene using a convolutional neural network
Fujiyoshi et al. Real-time human motion analysis by image skeletonization
US10242294B2 (en) Target object classification using three-dimensional geometric filtering
JP6525545B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Jeeva et al. Survey on background modeling and foreground detection for real time video surveillance
KR101884611B1 (ko) 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
Conte et al. Performance evaluation of a people tracking system on pets2009 database
CN109791615A (zh) 用于检测并跟踪目标对象的方法、目标对象跟踪设备和计算机程序产品
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
Hu et al. A novel approach for crowd video monitoring of subway platforms
CN113168520A (zh) 跟踪场景中的对象的方法
Hsu et al. Industrial smoke detection and visualization
KR101918159B1 (ko) 영상에서 배경 움직임 영역을 분할하는 방법 및 장치
Kryjak et al. Real-time implementation of foreground object detection from a moving camera using the vibe algorithm
Gal Automatic obstacle detection for USV’s navigation using vision sensors
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
Vahora et al. A robust method for moving object detection using modified statistical mean method
KR20210008574A (ko) 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
Dave et al. Statistical survey on object detection and tracking methodologies
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
Kalsotra et al. Morphological based moving object detection with background subtraction method
Goswami et al. Unusual event detection in low resolution video for enhancing ATM security
US20060115159A1 (en) Boundary detection for images using coocurrence matrices
KR102085034B1 (ko) 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치
CN114612850A (zh) 高空抛物检测方法、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant