KR101970611B1 - 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 - Google Patents

프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 Download PDF

Info

Publication number
KR101970611B1
KR101970611B1 KR1020120089126A KR20120089126A KR101970611B1 KR 101970611 B1 KR101970611 B1 KR 101970611B1 KR 1020120089126 A KR1020120089126 A KR 1020120089126A KR 20120089126 A KR20120089126 A KR 20120089126A KR 101970611 B1 KR101970611 B1 KR 101970611B1
Authority
KR
South Korea
Prior art keywords
image
moving object
frame rate
background image
rate
Prior art date
Application number
KR1020120089126A
Other languages
English (en)
Other versions
KR20140022676A (ko
Inventor
이광국
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020120089126A priority Critical patent/KR101970611B1/ko
Publication of KR20140022676A publication Critical patent/KR20140022676A/ko
Application granted granted Critical
Publication of KR101970611B1 publication Critical patent/KR101970611B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법를 개시한다.
영상 촬영장치로부터 촬영된 영상 중 현재 프레임영상(t)을 수신하는 영상 수신부; 상기 현재 프레임영상(t)에 대한 프레임률을 확인하는 영상 확인부; 상기 프레임률이 기 설정된 프레임률과 상이한 경우, 상기 프레임률에 근거하여 영상 민감도를 조절하기 위한 학습률을 설정하는 학습률 설정부; 및 제1 이전 프레임영상(t-1)에 대한 배경영상, 상기 현재 프레임영상(t) 및 상기 학습률을 이용하여 배경영상을 생성하는 배경영상 생성부를 포함하는 것을 특징으로 하는 이동객체 검출장치를 제공한다.
본 실시예에 의하면, 영상 촬영장치를 통해 촬영된 영상에서 이동객체를 검출하는 데 있어서 영상의 프레임률이 변화하여 일정하지 않은 경우에도 학습률을 조정하여 시스템의 민감도를 일정하게 유지함으로써 이동객체 검출결과의 오류를 줄일 수 있는 효과가 있다. 또한, 시스템의 민감도를 일정하게 유지함으로써, 다수의 카메라를 운용하는 시스템의 관리를 위한 시간 및 인력을 절감할 수 있는 효과가 있다.

Description

프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법{Method and Apparatus for Detecting Moving Object Modifying Learning Rate According to Frame Rate}
본 실시예는 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법에 관한 것이다. 더욱 상세하게는, 영상 촬영장치를 이용하여 촬영된 영상의 프레임률을 확인하여, 기 설정된 프레임률과 상이한 경우 촬영된 영상의 프레임률에 근거하여 학습률을 조정하여 배경영상을 생성하고, 배경영상과 영상 촬영장치에서 촬영된 영상을 비교하여 이동객체를 검출하는 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
감시 카메라, DVR(Digital Video Recorder) 등과 같은 영상장비의 발달과 공공장소에서의 안전에 대한 관심의 증대로 인해 최근 영상 감시 시스템에 대한 수요가 증가하고 있으며, 이에 따라 지능형 영상감시 시스템의 개발에 대한 요구도 꾸준히 증가하고 있는 추세이다.
지능형 영상감시 시스템은 전적으로 인력에 의해서만 영상을 모니터링하던 기존의 감시 시스템과 비교하여 보다 효율적으로 주변을 모니터링할 수 있도록 한다. 지능형 영상감시 시스템은 영상 내에서 움직이는 객체를 추출하고, 이를 연속된 비디오 프레임에서 추적하며, 추적된 객체의 움직임으로부터 특정 이벤트의 발생을 감지함으로써 최종적으로 모니터링하는 감시 행위에 도움을 준다. 지능형 영상감시 시스템은 영상에서 객체를 배경과 분할하기 위해 배경에 대한 통계적 모델을 학습을 통해 생성하고 이를 지속적으로 갱신하는 배경 모델링 방법이 일반적으로 이용된다.
하지만, 실제 지능형 영상감시 시스템을 구현하는 데 있어서, 입력 영상이 기 설정된 프레임률(Frame Rate)로 일정하게 수신되도록 구현하기 어려운 문제점이 있다. 예컨대, 연결된 카메라의 성능, 전송망의 상태와 부하에 따라서 전송되는 영상의 프레임률이 변경될 수 있다. 또한, 지능형 영상 감시 기능을 실행하는 영상 감시 서버에서 동시에 복수 개의 기능을 수행할 경우, 연산에 소요되는 시간이 길어져 프레임률이 저하되는 경우가 발생할 수도 있다.
이와 같이, 지능형 영상감시 시스템에서 프레임률이 기 설정된 프레임률과 동일하지 않게 되면, 이동객체를 검출하기 위한 민감도가 변화하여 지능형 영상 감시 기능에 있어서 의도하지 않는 검출 결과를 가져올 수 있는 문제점이 있다.
본 실시예는, 영상 촬영장치를 이용하여 촬영된 영상의 프레임률을 확인하여, 기 설정된 프레임률과 상이한 경우 촬영된 영상의 프레임률에 근거하여 학습률을 조정하여 배경영상을 생성하고, 배경영상과 영상 촬영장치에서 촬영된 영상을 비교하여 이동객체를 검출하는 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 촬영장치로부터 촬영된 영상 중 현재 프레임영상(t)을 수신하는 영상 수신부; 상기 현재 프레임영상(t)에 대한 프레임률을 확인하는 영상 확인부; 상기 프레임률이 기 설정된 프레임률과 상이한 경우, 상기 프레임률에 근거하여 영상 민감도를 조절하기 위한 학습률을 설정하는 학습률 설정부; 및 제1 이전 프레임영상(t-1)에 대한 배경영상, 상기 현재 프레임영상(t) 및 상기 학습률을 이용하여 배경영상을 생성하는 배경영상 생성부를 포함하는 것을 특징으로 하는 이동객체 검출장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 영상 촬영장치가 촬영한 영상에 대하여 프레임률에 따라 가변되는 학습률을 이용하여 배경영상을 생성하는 이동객체 검출방법에 있어서, 상기 영상 촬영장치로부터 현재 프레임영상을 수신하는 영상 수신과정; 상기 현재 프레임영상에 대한 프레임률을 확인하는 프레임률 확인과정; 상기 프레임률이 기 설정된 프레임률과 상이한 경우, 상기 프레임률에 근거하여 학습률을 조정하여 설정하는 학습률 설정과정; 및 상기 설정된 학습률을 이용하여 소정의 함수를 통해 갱신된 배경영상을 생성하는 배경영상 생성과정을 포함하는 것을 특징으로 하는 이동객체 검출방법을 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 영상 촬영장치가 촬영한 영상에 대하여 프레임률에 따라 가변되는 학습률을 이용하여 이동객체 검출을 수행하는 이동객체 검출방법에 있어서, 상기 영상 촬영장치로부터 현재 프레임영상(t)을 수신하는 영상 수신과정; 상기 현재 프레임영상에 근거하여 조정된 학습률을 이용하여 갱신된 배경영상을 생성하는 배경영상 생성과정; 상기 현재 프레임영상과 상기 생성된 배경영상을 비교하여 검출된 이동객체에 대한 검출정보를 생성하는 이동객체 검출과정; 및 상기 이동객체를 검출한 상기 검출정보를 모니터링 장치로 전송하는 검출정보 제공과정을 포함하는 것을 특징으로 하는 이동객체 검출방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 영상 촬영장치를 통해 촬영된 영상에서 이동객체를 검출하는 데 있어서, 영상의 프레임률이 변화하여 일정하지 않은 경우에도 학습률을 조정하여 시스템의 민감도를 일정하게 유지함으로써 이동객체 검출결과의 오류를 줄일 수 있는 효과가 있다. 또한, 시스템의 민감도를 일정하게 유지함으로써, 다수의 카메라를 운용하는 시스템의 관리를 위한 시간 및 인력을 절감할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 프레임률에 따라 학습률을 가변하는 이동객체 검출 시스템을 개략적으로 나타낸 블록 구성도,
도 2는 본 실시예에 따른 이동객체 검출시스템에서 프레임률에 따라 학습률을 가변하여 이동객체 검출하는 이동객체 검출방법을 설명하기 위한 순서도,
도 3은 본 실시예에 따른 이동객체 검출장치에서 프레임률에 따라 학습률을 가변하여 이동객체를 검출하기 위한 배경영상을 생성하는 방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 프레임률에 따라 가변하는 학습률의 설정값을 설명하기 위한 예시도,
도 5는 본 실시예에 따른 영상 촬영장치를 이용하여 촬영된 촬영영상을 소정의 프레임을 기준으로 나타낸 예시도,
도 6은 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 7은 프레임률이 감소된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 8은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 9는 본 실시예에 따른 프레임률이 감소된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 10은 프레임률이 증가된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 11은 본 실시예에 따른 프레임률이 증가된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 12는 본 실시예에 따른 프레임률이 증가된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 13은 본 실시예에 따른 영상 촬영장치를 이용하여 촬영된 촬영영상을 소정의 프레임을 기준으로 나타낸 예시도,
도 14는 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 15는 프레임률이 감소된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 16은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 17은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 18은 프레임률이 증가된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 19는 본 실시예에 따른 프레임률이 증가된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도,
도 20은 본 실시예에 따른 프레임률이 증가된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 실시예에 따른 이동객체 검출시스템은 영상 촬영장치(110)에서 촬영된 영상을 이용하여 이동객체를 검출하되, 촬영된 영상 중 소정의 시점 t를 기준으로 t에서의 프레임영상을 현재 프레임영상, t-1에서의 프레임영상을 제1 이전 프레임 영상으로 기재한다. 예컨대, 이동객체 검출장치(120)에서 현재 프레임영상(t)이 2150 프레임이면 제1 이전 프레임영상은 2149 프레임이 된다.
도 1은 본 실시예에 따른 프레임률에 따라 학습률을 가변하는 이동객체 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 이동객체 검출 시스템은 영상 촬영장치(110), 이동객체 검출장치(120) 및 모니터링 장치(130)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 방범, 이상행동 감시 등을 위해 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 이동객체를 검출하기 위해 촬영된 촬영영상을 이동객체 검출장치(120)로 전송한다. 영상 촬영장치(110)로 촬영된 영상은 복수 개의 프레임으로 구분될 수 있다.
이동객체 검출장치(120)는 영상 수신부(140), 영상 확인부(150), 학습률 설정부(160), 배경영상 생성부(170) 및 객체 검출부(180)를 포함한다.
영상 수신부(140)는 이동객체 검출장치(120)와 연결된 영상 촬영장치(110)로부터 촬영영상을 수신하여 영상 확인부(150)로 전송한다.
영상 확인부(150)는 영상 촬영장치(110)로부터 수신된 촬영영상에 대한 프레임률을 확인하는 동작을 수행한다. 여기서, 영상 확인부(150)는 기 설정된 프레임률을 기준으로 촬영영상의 프레임률이 동일한지 여부를 확인한다. 예컨대, 영상 확인부(150)에 기 설정된 프레임률이 30 fps일 경우, 촬영영상에 대한 프레임률이 30 fps와 동일한지, 15 fps 또는 10 fps 와 같이 상이한지 여부를 확인한다. 여기서, 촬영영상의 프레임률은 기 설정된 프레임률과 동일한 것이 바람직하나, 이동객체 검출장치(120)가 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써 프레임률이 변경될 수 있다. 여기서, 프레임률은 현재 프레임영상과 제1 이전 프레임영상의 입력시간을 비교하여 산출될 수 있다.
학습률 설정부(160)는 촬영영상의 프레임률에 따라 학습률을 조정하여 설정한다.
학습률 설정부(160)는 영상 확인부(150)에서 확인한 결과, 촬영영상이 기 설정된 프레임률과 상이한 프레임률인 경우, 촬영영상의 프레임률에 따라 학습률을 설정하고, 설정된 학습률을 이용하여 배경영상 생성부(170)에서 갱신된 배경영상을 생성할 수 있도록 한다. 여기서 학습률이란, 배경영상의 민감도를 조절하는 값으로서, 0 에서 1 사이의 상수값(예컨대, 0.99, 0.998 등)으로 설정된다. 학습률에 따라 변경되는 배경영상의 민감도는 촬영영상의 움직이는 객체를 빠르게 배경영상으로 흡수할 수도 있고, 촬영영상의 움직이는 객체를 느리게 흡수할 수도 있는 기준을 의미하고, 배경영상의 민감도에 따라 배경영상에 포함되는 배경이 달라지므로 이동객체를 검출하는 기준이 달라지는 것과 동일하다.
배경영상 생성부(170)는 학습률 설정부(160)에서 설정된 학습률을 이용하여 배경영상을 생성한다. 여기서, 배경영상은 움직이는 객체가 아닌 배경을 나타내는 영상을 의미한다. 또한, 배경영상은 영상에 대한 화소값, 회색도(Gray-Level)값, 경계값 중 적어도 하나 이상의 값을 이용하여 생성된 영상으로 구현될 수 있다. 배경영상 생성부(170)는 배경영상을 객체 검출부(180)에 전송하고, 현재 프레임영상과 비교하여 상이한 부분을 이동객체로 검출할 수 있도록 한다.
배경영상 생성부(170)는 촬영영상의 프레임률이 변경되더라도 소정의 함수에 기초하여 기 설정된 결과값과 동일한 배경영상을 생성하기 위해 다음과 같은 과정을 수행한다.
이하, 가변적인 학습률 및 이에 따른 배경영상을 생성하기 위한 과정을 수학식으로 표현하면 다음과 같다.
먼저, 일반적으로 고정적인 학습률을 이용하여 생성된 시간 t에서의 배경영상 M(t)는 수학식 1과 같다.
Figure 112012065282099-pat00001
(M(t): 시간 t에서의 배경영상, α: 학습률, M(t-1): 시간 t-1에서의 배경영상, I(t): 시간 t에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값)
본 실시예에 따른 가변적인 학습률을 산출하기 위해 시간 t를 t+k로 변경하면 시간 t+k에서의 배경영상 M(t+k)는 수학식 2과 같다.
Figure 112012065282099-pat00002
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-1): 시간 t+k-1에서의 배경영상, I(t+k): 시간 t+k에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값)
한편, 수학식 2 내지 7에서는 학습률에 따라 생성되는 배경영상만을 산출하기 위해 촬영영상의 화소값은 시간과 관계없이 동일한 것으로 가정한다. 즉, I(t+k)= I(t+k-1)= I(t+k-2)= ... = I(t)인 것으로 가정한다.
또한, 수학식 2의 M(t+k-1)은 이전 프레임의 배경영상인 M(t+k-2)와 촬영영상 화소값인 I(t+k-2)에 의해 수학식 3과 같이 나타낼 수 있다.
Figure 112012065282099-pat00003
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-1): 시간 t+k-1에서의 배경영상, M(t+k-2): 시간 t+k-2에서의 배경영상, I(t+k-2): 시간 t+k-2에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값)
또한, 수학식 3의 M(t+k-2)은 이전 프레임의 배경영상인 M(t+k-3)과 촬영영상 화소값인 I(t+k-3)에 의해 수학식 4와 같이 나타낼 수 있다.
Figure 112012065282099-pat00004
(M(t+k): 시간 t+k에서의 배경영상, α: 학습률, M(t+k-2): 시간 t+k-2에서의 배경영상, M(t+k-3): 시간 t+k-3에서의 배경영상, I(t+k-3): 시간 t+k-3에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값)
한편, 수학식 2 내지 4를 반복하여 일반화하면, 가변적인 학습률을 이용하여 생성된 시간 t+k에서의 배경영상 M(t+k)는 수학식 5와 같다.
Figure 112012065282099-pat00005
(M(t+k): 시간 t+k에서의 배경영상, αk: 가변적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값)
즉, 이동객체 검출장치(120)는 프레임률이 변경된 입력영상이 k 프레임마다 수신되는 경우, 학습률 α를 αk로 변경함으로써, 고정된 학습률 α를 이용하여 기 설정된 프레임률을 수신할 때와 동일한 결과를 산출할 수 있다.
한편, 기 설정된 프레임률이 T이고, 변경된 프레임률이 S이면, k값은 T/S를 가 되고, 이를 이용하여 생성되는 배경영상 M(t+k)은 수학식 6과 같다.
Figure 112012065282099-pat00006
(M(t+k): 시간 t+k에서의 배경영상, αk: 가변적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값, k: 기 설정된 프레임률(T) / 변경된 프레임률(S))
한편, 수학식 6은 지수연산을 포함하고 있어, 많은 연산처리량을 갖는다. 그러므로, 수학식 6의 αk를 근사화하기 위하여 {1-k×(1-α)}로 변환하여 수학식 7과 같이 나타낼 수 있다. 여기서, αk와 {1-k×(1-α)}가 근사한 값을 갖는 것에 대해서는 도 4에서 더 자세히 설명하도록 한다.
Figure 112012065282099-pat00007
(M(t+k): 시간 t+k에서의 배경영상, {1-k×(1-α)}: 가변적인 학습률, α: 고정적인 학습률, M(t): 시간 t에서의 배경영상, I(t): 시간 t에서 영상 촬영장치(110)로부터 수신된 촬영영상의 화소값, k: 기 설정된 프레임률(T) / 변경된 프레임률(S))
객체 검출부(180)는 영상 수신부(140)에서 현재 프레임영상을 수신하면, 이를 배경영상 생성부(170)에서 생성된 배경영상과 비교하여 변화가 있는 부분을 이동객체로 판단하여 검출정보를 생성하고, 검출정보를 모니터링 장치(130)으로 전송하여 관리자가 모니터링하도록 한다.
모니터링 장치(130)는 관리자가 이동객체 검출장치(120)에서 검출된 검출정보를 모니터링하는 장치로서, 모니터링을 위한 디스플레이를 구비한다. 또한, 모니터링 장치(130)는 이동객체 검출장치(120)와 검출정보를 수신하기 위해 무선랜 신호 또는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 근거리 통신이 가능하도록 구현될 수도 있다. 한편, 도 1에서 모니터링 장치(130)는 이동객체 검출장치(120)와 별도로 구현된 장치인 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며 이동객체 검출장치(120)에 디스플레이부를 포함하여 하나의 장치로 구현될 수도 있다.
도 2는 본 실시예에 따른 이동객체 검출시스템에서 프레임률에 따라 학습률을 가변하여 이동객체 검출하는 이동객체 검출방법을 설명하기 위한 순서도이다.
이동객체 검출장치(120)는 영상 촬영장치(110)로부터 촬영된 현재 프레임영상을 수신한다(S210).
이동객체 검출장치(120)는 현재 프레임영상에 근거하여 가변된 학습률을 적용하여 갱신된 배경영상을 생성한다(S220). 여기서, 배경영상은 수학식 6 또는 수학식 7을 이용하여 생성된 배경영상을 의미한다.
이동객체 검출장치(120)는 단계 S210에서 생성된 배경영상과 영상 촬영장치(110)에서 촬영된 현재 프레임영상을 비교하여 이동객체를 검출한다(S230). 예컨대, 현재 프레임영상에는 가방이 존재하고, 단계 S210에서 생성된 배경영상은 가방이 존재하지 않을 경우, 현재 프레임영상과 배경영상을 비교하여 가방을 이동객체로 판단하여 검출한다.
이동객체 검출장치(120)는 단계 S230에서 검출된 이동객체에 대한 검출정보를 관리자가 모니터링할 수 있도록 모니터링 장치(130)에 전송한다(S240).
도 2에서는 단계 S210 내지 단계 S240를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S210 내지 단계 S240 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
도 3은 본 실시예에 따른 프레임률에 따라 학습률을 가변하는 이동객체 검출방법을 설명하기 위한 순서도이다.
이동객체 검출장치(120)는 영상 촬영장치(110)에서 촬영된 영상을 수신한다(S310). 여기서, 촬영된 영상은 현재 프레임영상(t)을 포함한다.
이동객체 검출장치(120)는 현재 프레임영상(t)에 대한 프레임률을 확인하고, 현재 프레임영상(t)에 대한 프레임률과 기 설정된 프레임률을 비교한다(S330). 여기서, 이동객체 검출장치(120)는 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써, 영상 촬영장치(110)에서 촬영된 촬영영상의 프레임률이 감소될 수도 있다. 이러한, 프레임률의 변화를 확인하기 위해 단계 S330을 수행한다.
단계 S330을 확인한 결과, 이동객체 검출장치(120)는 현재 프레임영상(t)에 대한 프레임률이 기 설정된 프레임률과 상이한 것으로 확인된 경우, 현재 프레임영상(t)에 대한 프레임률에 근거하여 학습률을 설정한다(S340). 여기서, 학습률은 수학식 6 또는 수학식 7에 근거하여 학습률을 설정한다.
한편, 단계 S330을 확인한 결과, 이동객체 검출장치(120)는 현재 프레임영상(t)에 대한 프레임률이 기 설정된 프레임률과 동일한 것으로 확인된 경우, 기 설정된 학습률을 이용하여 배경영상을 생성한다(S350).
이동객체 검출장치(120)는 기 저장된 제1 이전 프레임영상(t-1)에 대한 배경영상, 현재 프레임영상(t) 및 단계 S340에서 설정된 학습률을 이용하여 갱신된 배경영상을 생성한다(S360). 여기서, 배경영상은 수학식 6을 이용하여 생성된 배경영상인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 연산처리량을 감소시키기 위해 수학식 7을 이용하여 생성된 배경영상일 수도 있다. 또한, 이동객체 검출장치(120)는 배경영상을 소정의 주기로 재귀적으로 동작하는 것이 바람직하다.
도 3에서는 단계 S310 내지 단계 S360를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S360 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 프레임률에 따라 가변하는 학습률의 설정값을 설명하기 위한 예시도이다.
본 실시예에 따른 이동객체 검출장치(120)는 이동객체를 검출하기 위해 배경영상을 생성한다. 여기서, 이동객체 검출장치(120)는 수학식 6을 이용하여 배경영상을 생성하지만, 수학식 6에 포함된 αk은 지수연산으로서 많은 연산처리량을 필요로 한다. 그대로 지수연산을 할 수도 있으나 계산량 및 계산시간을 줄이기 위해 수학식 7과 같이 αk을 {1-k×(1-α)}로 근사화하여 배경영상을 생성할 수도 있다.
도 4는 0.99 내지 0.999 사이의 값을 갖는 학습률(a)에 대하여 수학식 6의 학습률과 수학식 7의 학습률을 비교한 값을 나타낸 표이다. 여기서, 두 값에 대한 유사도는 수학식 7의 학습률/수학식 6의 학습률×100으로 계산하도록 하고, 소수점 두번째 자리까지 표시하도록 한다.
도 4에 도시된 바와 같이, a가 0.998의 값을 가질 경우, k 값이 1 내지 5에서 {1-k×(1-α)}와 αk은 100% 일치하는 것을 확인할 수 있다. 또한, 0.99 이상의 값에서는 99% 이상으로 유사한 값을 가지므로, 수학식 6의 지수연산을 포함하는 학습률 조정은 수학식 7의 곱셈연산을 이용하는 학습률 조정으로 대체하여 계산가능하다.
도 5는 본 실시예에 따른 영상 촬영장치를 이용하여 촬영된 촬영영상을 소정의 프레임을 기준으로 나타낸 예시도이다.
도 5는 영상 촬영장치(110)에서 촬영된 촬영영상을 도시한 것으로서, (A)는 1850 프레임(510)에 해당하는 영상이고, (B)는 1950 프레임(520)에 해당하는 영상을 말한다. (A)에서 상단 부분에 사물을 들고 있는 사람(522) 및 두 명의 이동중인 사람(524)은 소정의 시간이 경과하여 (B)에서와 같이 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)으로 변경된다. 여기서, (A) 및 (B)는 시계열적인 순서인 것이 바람직하며, 촬영영상은 (A) 및 (B)는 이동객체 검출의 결과를 부각시키기 위해 100 프레임의 간격으로 두 개의 프레임만을 도시하고 있으나 반드시 이에 한정되는 것은 아니며 예컨대, 매 프레임 비교하는 프레임의 간격으로 조절될 수 있다.
한편, 도 5에 도시된 영상에 근거하여 도 6 내지 도 12의 이동객체 검출장치(120)의 동작을 설명하도록 한다.
도 6은 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 20 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 영상 촬영장치(110)로부터 현재 프레임영상을 수신하고, 기 설정된 프레임률 및 기 설정된 학습률을 이용하여 배경영상을 생성한다. 여기서, 일반적인 이동객체 검출장치는 현재 프레임영상과 배경영상을 비교하여 상이한 부분을 이동객체로 검출하여 검출정보를 생성한다. 예컨대, (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 (B)에 포함된 사람의 잔상(612)을 비교하여 이동객체로 검출된 20 fps의 일반적인 검출정보인 제1 검출정보(614) 및 제2 검출정보(616)를 생성한다.
도 7은 프레임률이 감소된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써, 영상 촬영장치(110)에서 촬영된 촬영영상의 프레임률이 감소될 수도 있다.
도 7에 도시되어 있는 바와 같이, 프레임률이 20 fps에서 10 fps로 변경되고, 학습률은 유지되는 경우, 도 7에서 배경영상이 도 6에서의 배경영상과 다르게 생성된다.
도 7에서 (A)와 (B)를 비교하여 생성된 검출정보 (C)를 검출하는 데 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 (B)에 포함된 사람의 작은잔상(622)을 비교하여 이동객체로 검출된 10 fps의 일반적인 검출정보인 제2 검출정보(616) 및 변경된 제3 검출정보(624)를 생성한다.
도 7의 (C)에서 도시한 바와 같이, 프레임률이 20 fps에서 10 fps로 변경되면 생성되는 배경화면이 변경되어 검출되는 결과값이 차이가 나게 된다. 이러한 차이를 보안하기 위해 도 8 내지 도 9에서는 본 실시예에 따른 프레임률이 감소되더라도 동일한 검출정보를 검출하는 이동객체 검출장치(120)의 동작에 대해 기재하도록 한다.
도 8은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 수학식 6의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 영상 촬영장치(110)으로부터 수신된 영상의 프레임률이 20 fps에서 10 fps로 변경되더라도 수학식 6을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 8은 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 수학식 6의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 사람의 잔상(632)을 비교하여 프레임률이 10 fps인 경우에도 프레임률이 20 fps인 도 6과 동일한 제1 검출정보(614) 및 제2 검출정보(616)를 검출한다.
도 9는 본 실시예에 따른 프레임률이 감소된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 수학식 7의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 프레임률이 20 fps에서 10 fps로 변경되더라도 수학식 6을 근사화한 수학식 7을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 9는 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 수학식 7의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 사람의 잔상(642)을 비교하여 프레임률이 10 fps인 경우에도 프레임률이 20 fps인 도 6과 동일한 제1 검출정보(614) 및 제2 검출정보(616)를 검출한다.
도 10은 프레임률이 증가된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 관리자의 조작을 통한 입력에 따라 영상 촬영장치(110)에서 촬영된 촬영영상의 프레임률이 증가될 수도 있다.
도 10에 도시되어 있는 바와 같이, 프레임률이 20 fps에서 30 fps로 변경되고, 학습률은 유지되는 경우, 도 10에서 배경영상이 도 6에서의 배경영상과 다르게 생성된다. 즉, 동일한 시간 내에 더 많은 프레임이 입력되는 것이므로 학습률이 유지되는 경우, 이동객체가 배경영상으로 빠르게 흡수된다.
도 10에서 (A)와 (B)를 비교하여 생성된 검출정보 (C)를 검출하는 데 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 (B)에 포함된 사람의 큰 잔상(652)을 비교하여 이동객체로 검출된 30 fps의 일반적인 검출정보인 제2 검출정보(616) 및 변경된 제4 검출정보(654)를 생성한다.
도 10의 (C)에서 도시한 바와 같이, 프레임률이 20 fps에서 30 fps로 변경되면 생성되는 배경화면이 변경되어 검출되는 결과값이 차이가 나게 된다. 이러한 차이를 보안하기 위해 도 11 내지 도 12에서는 본 실시예에 따른 프레임률이 감소되더라도 동일한 검출정보를 검출하는 이동객체 검출장치(120)의 동작에 대해 기재하도록 한다.
도 11은 본 실시예에 따른 프레임률이 증가된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 수학식 6의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 영상 촬영장치(110)으로부터 수신된 영상의 프레임률이 20 fps에서 30 fps로 변경되더라도 수학식 6을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 11은 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 수학식 6의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 사람의 잔상(662)을 비교하여 프레임률이 30 fps인 경우에도 프레임률이 20 fps인 도 6과 동일한 제1 검출정보(614) 및 제2 검출정보(616)를 검출한다.
도 12는 본 실시예에 따른 프레임률이 증가된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 수학식 7의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 프레임률이 20 fps에서 30 fps로 변경되더라도 수학식 6을 근사화한 수학식 7을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 12는 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 물건을 바닥에 내려놓은 사람(530) 및 이동중인 사람(540)과 수학식 7의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 사람의 잔상(672)을 비교하여 프레임률이 30 fps인 경우에도 프레임률이 20 fps인 도 6과 동일한 제1 검출정보(614) 및 제2 검출정보(616)를 검출한다.
도 13은 본 실시예에 따른 영상 촬영장치를 이용하여 촬영된 촬영영상을 소정의 프레임을 기준으로 나타낸 예시도이다.
도 13은 영상 촬영장치(110)에서 촬영된 촬영영상을 도시한 것으로서, (A)는 1630 프레임(1310)에 해당하는 영상이고, (B)는 1900 프레임(1320)에 해당하는 영상을 말한다. (A)에서 상단 중앙부분에 청소용 차량(1332)은 소정의 시간이 경과하여 (B)에서와 같이 상단 우측부분의 청소용 차량(1330)으로 이동하였고, (B)의 하단부분에는 이동 중인 사람(1340)이 새롭게 존재한다. 여기서, (A) 및 (B)는 시계열적인 순서인 것이 바람직하며, 촬영영상 (A) 및 (B)는 이동객체 검출의 결과를 부각시키기 위해 270 프레임의 간격으로 두 개의 프레임만을 도시하고 있으나 반드시 이에 한정되는 것은 아니며 예컨대, 매 프레임 비교하는 프레임의 간격으로 조절될 수 있다.
한편, 도 13에 도시된 영상에 근거하여 도 14 내지 도 20의 이동객체 검출장치(120)의 동작을 설명하도록 한다.
도 14는 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 20 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 영상 촬영장치(110)로부터 현재 프레임영상을 수신하고, 기 설정된 프레임률 및 기 설정된 학습률을 이용하여 배경영상을 생성한다. 여기서, 일반적인 이동객체 검출장치는 현재 프레임영상과 배경영상을 비교하여 상이한 부분을 이동객체로 검출하여 검출정보를 생성한다. 예컨대, (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 (B)에 포함된 청소용 차량의 잔상(1412)을 비교하여 이동객체로 검출된 20 fps의 일반적인 검출정보인 제1 검출정보(1414)를 검출한다.
도 15는 프레임률이 감소된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 복수 개의 영상을 동시에 처리하거나 부가 기능(예를 들어, 쓰레기 투기, 물건 보관에 특화된 서비스 등)을 사용하여 처리량이 증가함으로써, 영상 촬영장치(110)에서 촬영된 촬영영상의 프레임률이 감소될 수도 있다.
도 15에 도시되어 있는 바와 같이, 프레임률이 20 fps에서 10 fps로 변경되고, 학습률은 유지되는 경우, 도 15에서 배경영상이 도 14에서의 배경영상과 다르게 생성된다.
도 15에서 (A)와 (B)를 비교하여 생성된 검출정보 (C)를 검출하는 데 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 (B)에 포함된 청소용 차량의 중앙잔상(1422)을 비교하여 이동객체로 검출된 10 fps의 일반적인 검출정보인 제1 검출정보(1414) 및 변경된 제2 검출정보(1426)를 생성한다.
도 15의 (C)에서 도시한 바와 같이, 프레임률이 20 fps에서 10 fps로 변경되면 생성되는 배경화면이 변경되어 검출되는 결과값이 차이가 나게 된다. 이러한 차이를 보안하기 위해 도 16 내지 도 17에서는 본 실시예에 따른 프레임률이 감소되더라도 동일한 검출정보를 검출하는 이동객체 검출장치(120)의 동작에 대해 기재하도록 한다.
도 16은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 수학식 6의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 영상 촬영장치(110)으로부터 수신된 영상의 프레임률이 20 fps에서 10 fps로 변경되더라도 수학식 6을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 16은 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 수학식 6의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 청소용 차량의 잔상(1432)을 비교하여 프레임률이 10 fps인 경우에도 프레임률이 20 fps인 도 14와 동일한 제1 검출정보(1414)를 검출한다.
도 17은 본 실시예에 따른 프레임률이 감소된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 10 fps의 프레임률 및 수학식 7의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 프레임률이 20 fps에서 10 fps로 변경되더라도 수학식 6을 근사화한 수학식 7을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 17은 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 수학식 7의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 청소용 차량의 잔상(1442)을 비교하여 프레임률이 10 fps인 경우에도 프레임률이 20 fps인 도 14와 동일한 제1 검출정보(1414)를 검출한다.
도 18은 프레임률이 증가된 경우, 일반적인 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 0.995의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
일반적인 이동객체 검출장치는 관리자의 조작을 통한 입력에 따라 영상 촬영장치(110)에서 촬영된 촬영영상의 프레임률이 증가될 수도 있다.
도 18에 도시되어 있는 바와 같이, 프레임률이 20 fps에서 30 fps로 변경되고, 학습률은 유지되는 경우, 도 18에서 배경영상이 도 14에서의 배경영상과 다르게 생성된다. 즉, 동일한 시간 내에 더 많은 프레임이 입력되는 것이므로 학습률이 유지되는 경우, 이동객체가 배경영상으로 빠르게 흡수된다.
도 18에서 (A)와 (B)를 비교하여 생성된 검출정보 (C)를 검출하는 데 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 (B)에 포함된 청소용 차량의 잔상(1452)을 비교하여 이동객체로 검출된 30 fps의 일반적인 검출정보인 변경된 제3 검출정보(1454)를 생성한다.
도 18의 (C)에서 도시한 바와 같이, 프레임률이 20 fps에서 30 fps로 변경되면 생성되는 배경화면이 변경되어 검출되는 결과값이 차이가 나게 된다. 이러한 차이를 보안하기 위해 도 19 내지 도 20에서는 본 실시예에 따른 프레임률이 감소되더라도 동일한 검출정보를 검출하는 이동객체 검출장치(120)의 동작에 대해 기재한다.
도 19는 본 실시예에 따른 프레임률이 증가된 경우, 수학식 6을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 수학식 6의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 영상 촬영장치(110)으로부터 수신된 영상의 프레임률이 20 fps에서 30 fps로 변경되더라도 수학식 6을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 19은 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 수학식 6의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 청소용 차량의 잔상(1432)을 비교하여 프레임률이 30 fps인 경우에도 프레임률이 20 fps인 도 14와 동일한 제1 검출정보(1414)를 검출한다.
도 20은 본 실시예에 따른 프레임률이 증가된 경우, 수학식 7을 이용한 이동객체 검출장치의 검출정보를 나타내기 위한 예시도이다. 여기서, (A)는 영상 촬영장치(110)로부터 촬영된 촬영영상 중 소정의 시간 t에서 이동객체 검출장치(120)로 수신된 현재 프레임영상(t)이고, (B)는 30 fps의 프레임률 및 수학식 7의 학습률을 이용하여 생성된 배경영상을 의미한다. 또한, (C)는 (A)와 (B)를 비교하여 이동객체를 검출한 검출정보를 도시한 영상이다.
본 실시예에 따른 이동객체 검출장치(120)는 프레임률이 20 fps에서 30 fps로 변경되더라도 수학식 6을 근사화한 수학식 7을 이용하여 학습률을 조정함으로써, 프레임률이 20 fps와 동일한 검출정보를 검출한다.
도 20는 (A)와 (B)를 비교하여 생성된 검출정보 (C)에 있어서, (A)에 포함된 상단 우측부분의 청소용 차량(1330) 및 하단부분의 이동 중인 사람(1340)과 수학식 7의 학습률을 조정하여 민감도가 변경된 (B)에 포함된 청소용 차량의 잔상(1472)을 비교하여 프레임률이 30 fps인 경우에도 프레임률이 20 fps인 도 14와 동일한 제1 검출정보(1414)를 검출한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 영상의 프레임률이 변화하여 일정하지 않은 경우에도 학습률을 조정하여 시스템의 민감도를 일정하게 유지함으로써 이동객체 검출결과의 오류를 줄일 수 있는 효과가 있다. 또한, 시스템의 민감도를 일정하게 유지함으로써, 다수의 카메라를 운용하는 시스템의 관리를 위한 시간 및 인력을 절감할 수 있는 효과를 발생하는 유용한 발명이다.
110: 영상 촬영장치 120: 이동객체 검출장치
130: 모니터링 장치 140: 영상 수신부
150: 영상 확인부 160: 학습률 설정부
170: 배경영상 생성부 180: 객체 검출부

Claims (14)

  1. 영상 촬영장치로부터 수신된 촬영 영상에 대한 현재 프레임(t)을 수신하는 영상 수신부;
    상기 현재 프레임에 대한 프레임률을 확인하는 영상 확인부;
    상기 현재 프레임에 대한 프레임률이 기 설정된 프레임률과 상이한 경우, 변경된 프레임률 및 고정적인 학습률에 근거하여 영상 민감도를 조절하기 위한 가변적인 학습률을 설정하는 학습률 설정부;
    상기 가변적인 학습률, 시간 t에서의 배경영상, 시간 t에서 상기 촬영 영상의 화소값을 기반으로 시간 t+k에서의 배경영상을 생성하거나 상기 기 설정된 프레임률, 상기 변경된 프레임률, 상기 고정적인 학습률, 상기 시간 t에서의 배경영상, 상기 촬영 영상의 화소값을 기반으로 상기 시간 t+k에서의 배경영상을 생성하는 배경영상 생성부; 및
    상기 현재 프레임과 상기 시간 t+k에서의 배경영상을 비교하여 이동객체를 검출하는 객체 검출부
    를 포함하는 것을 특징으로 하는 이동객체 검출장치.
  2. 제 1 항에 있어서,
    상기 배경영상 생성부는,
    상기 배경영상을 생성하는 데,
    Figure 112019017794439-pat00030

    (M(t+k): 상기 시간 t+k에서의 배경영상, αk: 상기 가변적인 학습률, M(t): 상기 시간 t에서의 배경영상, I(t): 상기 시간 t에서 상기 촬영 영상의 화소값, k: 상기 기 설정된 프레임률(T) / 상기 변경된 프레임률(S))
    의 수학식을 적용하는 것을 특징으로 하는 이동객체 검출장치.
  3. 제 1 항에 있어서,
    상기 배경영상 생성부는,
    상기 배경영상을 생성하는 데,
    Figure 112019017794439-pat00031

    (M(t+k): 상기 시간 t+k에서의 배경영상, {1-k×(1-α)}: 상기 가변적인 학습률, α: 상기 고정적인 학습률, M(t): 상기 시간 t에서의 배경영상, I(t): 상기 시간 t에서 상기 촬영 영상의 화소값, k: 상기 기 설정된 프레임률(T) / 상기 변경된 프레임률(S))
    의 수학식을 적용하는 것을 특징으로 하는 이동객체 검출장치.
  4. 제 1 항에 있어서,
    상기 객체 검출부는,
    상기 현재 프레임영상과 상기 배경영상을 비교한 상기 이동객체를 검출한 검출정보를 모니터링 장치로 전송하는 것을 특징으로 하는 이동객체 검출장치.
  5. 제 4 항에 있어서,
    상기 학습률 설정부는,
    상기 변경된 프레임률에 따라 설정된 상기 가변적인 학습률을 이용하여 상기 영상 민감도를 조절하여, 상기 객체 검출부에서 상기 기 설정된 프레임률과 동일한 상기 검출정보가 검출되도록 하는 것을 특징으로 하는 이동객체 검출장치.
  6. 제 1 항에 있어서,
    상기 배경영상은,
    화소값, 회색도(Gray-Level) 값, 경계값 중 적어도 하나 이상의 값을 이용하여 생성된 영상인 것을 특징으로 하는 이동객체 검출장치.
  7. 제 1 항에 있어서,
    상기 학습률 설정부는,
    상기 현재 프레임에 대한 프레임률이 상기 기 설정된 프레임률과 동일한 경우, 기 저장된 학습률을 설정하는 것을 특징으로 하는 이동객체 검출장치.
  8. 이동객체 검출방법에 있어서,
    영상 촬영장치로부터 수신된 촬영 영상에 대한 현재 프레임(t)을 수신하는 과정;
    상기 현재 프레임에 대한 프레임률을 확인하는 과정;
    상기 현재 프레임에 대한 프레임률이 기 설정된 프레임률과 상이한 경우, 변경된 프레임률 및 고정적인 학습률에 근거하여 영상 민감도를 조절하기 위한 가변적인 학습률을 설정하는 과정;
    상기 가변적인 학습률, 시간 t에서의 배경영상, 시간 t에서 상기 촬영 영상의 화소값을 기반으로 시간 t+k에서의 배경영상을 생성하거나 상기 기 설정된 프레임률, 상기 변경된 프레임률, 상기 고정적인 학습률, 상기 시간 t에서의 배경영상, 상기 촬영 영상의 화소값을 기반으로 상기 시간 t+k에서의 배경영상을 생성하는 과정; 및
    상기 현재 프레임과 상기 시간 t+k에서의 배경영상을 비교하여 이동객체를 검출하는 과정
    을 포함하는 것을 특징으로 하는 이동객체 검출방법.
  9. 제 8 항에 있어서,
    상기 현재 프레임영상과 상기 배경영상을 비교한 상기 이동객체를 검출한 검출정보를 모니터링 장치로 전송하는 과정
    을 추가로 포함하는 것을 특징으로 하는 이동객체 검출방법.
  10. 제 8 항에 있어서,
    상기 배경영상을 생성하는 과정은,
    상기 이동객체 검출을 수행하기 위해 소정의 주기로 재귀적으로 동작하는 것을 특징으로 하는 이동객체 검출방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020120089126A 2012-08-14 2012-08-14 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법 KR101970611B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120089126A KR101970611B1 (ko) 2012-08-14 2012-08-14 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120089126A KR101970611B1 (ko) 2012-08-14 2012-08-14 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140022676A KR20140022676A (ko) 2014-02-25
KR101970611B1 true KR101970611B1 (ko) 2019-04-19

Family

ID=50268549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120089126A KR101970611B1 (ko) 2012-08-14 2012-08-14 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법

Country Status (1)

Country Link
KR (1) KR101970611B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101924336B1 (ko) * 2012-09-17 2018-12-03 에스케이 텔레콤주식회사 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치
KR102015939B1 (ko) 2018-09-27 2019-08-28 주식회사 크라우드웍스 인공지능 영상 학습을 위한 동영상의 학습 대상 프레임 이미지 샘플링 방법, 장치, 프로그램 및 그 영상 학습 방법
CN110021026B (zh) * 2019-04-12 2021-07-23 武汉高德智感科技有限公司 一种图像背景重构方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152672A (ja) 2008-12-25 2010-07-08 Mitsubishi Electric Corp 物体検知識別装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100822476B1 (ko) * 2006-08-25 2008-04-16 브이앤아이 주식회사 원격 응급상황 모니터링 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152672A (ja) 2008-12-25 2010-07-08 Mitsubishi Electric Corp 物体検知識別装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lee. Effective Gaussian mixture learning for video background subtraction. IEEE Trans. on PAMI, Vol. 5, 2005년, pp. 827-832.*
이규원 & 김진웅. 배경 학습과 Bayes 결정을 이용한 이동 물체의 추적. 한국통신학회논문지, Vol. 24, No. 11, 1999년, pp. 2138-2146.*

Also Published As

Publication number Publication date
KR20140022676A (ko) 2014-02-25

Similar Documents

Publication Publication Date Title
US10943357B2 (en) Video based indoor leak detection
JP4718253B2 (ja) 監視カメラの画像異常検出装置
KR101216271B1 (ko) 카메라 탬퍼링 검출
US20180285656A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects
EP2418849B1 (en) Monitoring system, and monitoring terminal
US20170236010A1 (en) Image pickup apparatus, information processing apparatus, and information processing method
CN109167997B (zh) 一种视频质量诊断系统及方法
CN105577983B (zh) 检测运动遮罩的设备和方法
US20060008118A1 (en) Image processing apparatus and image monitoring system
JP6595287B2 (ja) 監視システム、監視方法、解析装置及び解析プログラム
CN108391147B (zh) 显示控制装置和显示控制方法
CA2860014C (en) Video based indoor leak detection
KR20100093684A (ko) 연기 감지 방법 및 장치
KR101970611B1 (ko) 프레임률에 따라 학습률을 가변하는 이동객체 검출장치 및 방법
JP2018205900A (ja) 監視システム及び監視方法
JP2014236312A (ja) 設定装置および設定方法
CN110716803A (zh) 电脑系统、资源分配方法及其影像辨识方法
JP2010124028A (ja) 監視装置
US20120120309A1 (en) Transmission apparatus and transmission method
KR101640527B1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
KR101924336B1 (ko) 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치
KR100994418B1 (ko) 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법
KR101733305B1 (ko) 스마트 경보 방송 장치
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant