KR20100104536A - 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템 - Google Patents

높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템 Download PDF

Info

Publication number
KR20100104536A
KR20100104536A KR1020090023015A KR20090023015A KR20100104536A KR 20100104536 A KR20100104536 A KR 20100104536A KR 1020090023015 A KR1020090023015 A KR 1020090023015A KR 20090023015 A KR20090023015 A KR 20090023015A KR 20100104536 A KR20100104536 A KR 20100104536A
Authority
KR
South Korea
Prior art keywords
object pixel
brightness value
pixel
reference brightness
equation
Prior art date
Application number
KR1020090023015A
Other languages
English (en)
Other versions
KR101038726B1 (ko
Inventor
김재언
오룡
신승찬
김대영
김원준
김창익
Original Assignee
(주)에스엔알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스엔알 filed Critical (주)에스엔알
Priority to KR1020090023015A priority Critical patent/KR101038726B1/ko
Publication of KR20100104536A publication Critical patent/KR20100104536A/ko
Application granted granted Critical
Publication of KR101038726B1 publication Critical patent/KR101038726B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

무인 감시 방법은 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하는 단계, 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 단계, 통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 값을 계산하는 단계, 통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 단계, 학습 기간 이후에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 재측정하는 단계, 기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계 및 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계를 포함한다.

Description

높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템 {High reliance auto surveillance method, device and system}
본 발명은 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템에 관한 것으로, 보다 상세하게는 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템에 관한 것이다.
무인 감시 시스템은 관리자의 지속적인 감시가 어려운 환경에서 대상물을 감시하기 위하여 사용되는 장치로서 그 목적에 따라 요구되는 기능이 다양하다. 예를 들어, 화재를 감시하는 무인 감시 시스템에서는 화재의 발생 여부를 확인할 수 있도록 화재에서 발생되는 적외선 등을 감지할 수 있는 기능이 요구된다.
반면에, 특정 감시 목적물(예를 들어, 사람)의 침입을 감시하는 무인 감시 시스템에서는 특정 감시 목적물의 침입 여부를 확인하기 위하여 다양한 환경 조건 하에서 특정 감시 목적물을 검출할 수 있는 기능이 요구되는데, 특히, 군사용으로 사용되는 무인 감시 시스템의 경우에는 특정 감시 목적물의 침입 경보를 정확하게 발생시킬 수 있는 기능이 요구된다.
일반적으로, 특정 감시 목적물의 침입을 감시하는 무인 감시 시스템에서는 특정 감시 목적물을 검출하기 위하여 배경 제거를 이용하는 방법을 사용하고 있다. 이러한 배경 제거를 이용하는 방법은 색상 정보, 기준 이미지, 영상 내의 움직임 정보 등을 이용하는 것으로서 감시 카메라를 이용하여 일정한 배경(background)에서 움직이는 객체(object)를 추출한 후, 움직이는 객체를 다시 특정 감시 목적물과 그 밖의 물체(움직이는 동물, 흔들리는 나뭇가지 등)로 구분한다.
그러나, 배경 제거를 이용하는 종래의 방법은 바람에 의한 카메라 흔들림, 급격한 조도 변화 등과 같은 외부 노이즈에 취약하고, 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분하지 못하여 잘못된 경보를 발생시키는 문제점이 있다.
상술한 문제점을 해결하기 위하여, 본 발명의 일 목적은 바람에 의한 카메라 흔들림, 급격한 조도 변화 등과 같은 외부 노이즈에 강한 특성을 갖고, 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있는 무인 감시 방법을 제공하는 것이다.
본 발명의 다른 목적은 바람에 의한 카메라 흔들림, 급격한 조도 변화 등과 같은 외부 노이즈에 강한 특성을 갖고, 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있는 무인 감시 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 바람에 의한 카메라 흔들림, 급격한 조도 변화 등과 같은 외부 노이즈에 강한 특성을 갖고, 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있는 무인 감시 장치를 포함하는 무인 감시 시스템을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기에서 언급된 기술적 과제로 제한되는 것은 아니며, 상기에서 언급되지 않은 다른 기술적 과제들은 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 일 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 감시 방법은 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하는 단계, 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 단계, 상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값을 계산하는 단계, 상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 단계, 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 상기 픽셀들 각각의 밝기 값을 재측정하는 단계, 상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계 및 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 기준 밝기 값을 계산하는 단계는 상기 통계 모델 상에서 상기 측정되는 밝기 값이 분포되어 있는 상기 밝기 구간의 평균값을 계산하여 상기 계산된 평균값을 상기 기준 밝기 값으로 결정하는 단계를 포함할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 기준 밝기 값을 계산하는 단계는 상기 재측정되는 밝기 값에 기초하여 상기 기준 밝기 값을 갱신하는 단계를 더 포함할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 기준 밝기 값을 갱신하는 단계는 아래 [수식 1]을 이용하여 상기 기준 밝기 값을 갱신하는 단계를 포함할 수 있다.
[수식 1]
Figure 112009016327394-PAT00001
(단,
Figure 112009016327394-PAT00002
은 갱신 이전의 기준 밝기 값이고,
Figure 112009016327394-PAT00003
는 갱신 이후의 기준 밝기 값이며,
Figure 112009016327394-PAT00004
는 재측정되는 밝기 값이고,
Figure 112009016327394-PAT00005
는 0에서 1 사이의 값을 갖는 학습 변수이다.)
상기 무인 감시 방법의 실시예에 의하면, 상기 기준 밝기 표준 편차를 계산하는 단계는 아래 [수식 2]를 이용하여 상기 기준 밝기 표준 편차를 결정하는 단계를 포함할 수 있다.
[수식 2]
Figure 112009016327394-PAT00006
(단,
Figure 112009016327394-PAT00007
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 좌측의 밝기 구간의 값이고,
Figure 112009016327394-PAT00008
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 우측의 밝기 구간의 값이며,
Figure 112009016327394-PAT00009
는 기준 밝기 표준 편차이고,
Figure 112009016327394-PAT00010
는 기준 밝기 값이다.)
상기 무인 감시 방법의 실시예에 의하면, 상기 객체 픽셀 영역을 추출하는 단계는 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는 경우에는 제거하지 않고, 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되지 않는 경우에는 제거하여 객체 픽셀 지도를 생성할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 객체 픽셀 영역을 추출하는 단계는 아래 [수식 3]을 이용하여 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는지 여부를 결정하여 이진값 0 및 1로 표현되는 상기 객체 픽셀 지도를 생성하는 단계를 포함할 수 있다.
[수식 3]
Figure 112009016327394-PAT00011
(단,
Figure 112009016327394-PAT00012
는 객체 픽셀이고,
Figure 112009016327394-PAT00013
는 재측정되는 밝기 값이며,
Figure 112009016327394-PAT00014
는 기준 밝기 값이고,
Figure 112009016327394-PAT00015
는 기준 밝기 표준 편차이다.)
상기 무인 감시 방법의 실시예에 의하면, 상기 객체 픽셀 영역을 추출하는 단계는 아래 [수식 4]를 이용하여 상기 객체 픽셀 지도를 수정하는 단계를 더 포함할 수 있다.
[수식 4]
Figure 112009016327394-PAT00016
(단, 는 객체 픽셀이고,
Figure 112009016327394-PAT00018
는 비용 함수이며,
Figure 112009016327394-PAT00019
는 0에서 1 사이의 값을 갖는 가중치이고,
Figure 112009016327394-PAT00020
는 객체 픽셀 영역
Figure 112009016327394-PAT00021
에서의 이진값 1과 0의 변화 주기이며,
Figure 112009016327394-PAT00022
는 해당 픽셀이 속한 연결 성분의 크기이고,
Figure 112009016327394-PAT00023
는 해당 픽셀을 중심으로
Figure 112009016327394-PAT00024
주변의 서로 다른 연결 성분의 개수이다.)
상기 무인 감시 방법의 실시예에 의하면, 상기 객체 픽셀 영역을 추출하는 단계는 상기 객체 픽셀 영역에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 상기 제 1 픽셀과 상기 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경하여 상기 객체 픽셀 지도를 보정하는 단계를 더 포함할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계는 상기 객체 픽셀 영역에 대하여 성형 골격화 알고리즘(star skeletonization algorithm)을 적용하는 단계를 포함할 수 있다.
상기 무인 감시 방법의 실시예에 의하면, 상기 성형 골격화 알고리즘을 적용하는 단계는 아래 [수식 5]를 이용하여 상기 객체 픽셀 영역의 중심을 계산하는 단계, 아래 [수식 6]을 이용하여 상기 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 상기 중심 간의 거리를 계산하는 단계, 상기 경계 픽셀과 상기 중심 간의 거리가 상기 경계 픽셀의 개수만큼의 주기를 갖는다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환(Discrete Fourier Transform)을 수행하는 단계, 상기 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링(Low Pass Filtering)을 수행하는 단계, 상기 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변환(Inverse Discrete Fourier Transform)을 수행하여 제 2 거리 신호를 생 성하는 단계, 아래 [수식 7]을 이용하여 상기 객체 픽셀 영역에서 돌출 지점을 검출하는 단계 및 상기 돌출 지점 간의 위치 관계를 이용하여 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계를 포함할 수 있다.
[수식 5]
Figure 112009016327394-PAT00025
(단,
Figure 112009016327394-PAT00026
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 개수이고,
Figure 112009016327394-PAT00027
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
Figure 112009016327394-PAT00028
)는 객체 픽셀 영역의 중심의 좌표이다.)
[수식 6]
Figure 112009016327394-PAT00029
(단,
Figure 112009016327394-PAT00030
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리이고,
Figure 112009016327394-PAT00031
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
Figure 112009016327394-PAT00032
)는 객체 픽셀 영역의 중심의 좌표이다.)
[수식 7]
Figure 112009016327394-PAT00033
(단,
Figure 112009016327394-PAT00034
,
Figure 112009016327394-PAT00035
,
Figure 112009016327394-PAT00036
은 제 2 거리 신호이고,
Figure 112009016327394-PAT00037
는 1인 경우에 돌출 지점임을 나타낸다.)
상기 무인 감시 방법의 실시예에 의하면, 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 단계는 상기 특정 감시 목적물의 고유 자세에 기인한 상기 돌출 지점 간의 각도 차이에 기초하여 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단할 수 있다.
상술한 본 발명의 다른 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 감시 장치는 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부, 상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 정보 연산부, 상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부 및 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 객체 픽셀 영역 판단부를 포함할 수 있다.
상기 무인 감시 장치의 실시예에 의하면, 상기 기준 밝기 정보 연산부는 상기 통계 모델 상에서 상기 측정되는 밝기 값이 분포되어 있는 상기 밝기 구간의 평균값을 계산하여 상기 계산된 평균값을 상기 기준 밝기 값으로 결정하는 기준 밝기 값 결정부 및 아래 [수식 2]를 이용하여 상기 기준 밝기 표준 편차를 결정하는 기준 밝기 표준 편차 결정부를 포함할 수 있다.
[수식 2]
Figure 112009016327394-PAT00038
(단,
Figure 112009016327394-PAT00039
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 좌측의 밝기 구간의 값이고,
Figure 112009016327394-PAT00040
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 우측의 밝기 구간의 값이며,
Figure 112009016327394-PAT00041
는 기준 밝기 표준 편차이고,
Figure 112009016327394-PAT00042
는 기준 밝기 값이다.)
상기 무인 감시 장치의 실시예에 의하면, 상기 기준 밝기 정보 연산부는 상기 재측정되는 밝기 값에 기초하여 상기 기준 밝기 값을 갱신하는 기준 밝기 값 갱신부를 더 포함할 수 있다.
상기 무인 감시 장치의 실시예에 의하면, 상기 기준 밝기 값 갱신부는 아래 [수식 1]을 이용하여 상기 기준 밝기 값을 갱신할 수 있다.
[수식 1]
Figure 112009016327394-PAT00043
(단,
Figure 112009016327394-PAT00044
은 갱신 이전의 기준 밝기 값이고,
Figure 112009016327394-PAT00045
는 갱신 이후의 기준 밝기 값이며,
Figure 112009016327394-PAT00046
는 재측정되는 밝기 값이고,
Figure 112009016327394-PAT00047
는 0에서 1 사이의 값을 갖는 학습 변수이다.)
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 추출부는 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는 경우에는 제거하지 않 고, 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되지 않는 경우에는 제거하여 객체 픽셀 지도를 생성할 수 있다.
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 추출부는 아래 [수식 3]을 이용하여 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는지 여부를 결정하고 이진값 0 및 1로 표현되는 상기 객체 픽셀 지도를 생성하는 객체 픽셀 지도 생성부를 포함할 수 있다.
[수식 3]
Figure 112009016327394-PAT00048
(단,
Figure 112009016327394-PAT00049
는 객체 픽셀이고,
Figure 112009016327394-PAT00050
는 재측정되는 밝기 값이며,
Figure 112009016327394-PAT00051
는 기준 밝기 값이고,
Figure 112009016327394-PAT00052
는 기준 밝기 표준 편차이다.)
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 추출부는 아래 [수식 4]를 이용하여 상기 객체 픽셀 지도를 수정하는 객체 픽셀 지도 수정부를 더 포함할 수 있다.
[수식 4]
Figure 112009016327394-PAT00053
(단,
Figure 112009016327394-PAT00054
는 객체 픽셀이고,
Figure 112009016327394-PAT00055
는 비용 함수이며,
Figure 112009016327394-PAT00056
는 0에서 1 사이의 값을 갖는 가중치이고,
Figure 112009016327394-PAT00057
는 객체 픽셀 영역
Figure 112009016327394-PAT00058
에서의 이진값 1과 0의 변화 주기이며,
Figure 112009016327394-PAT00059
는 해당 픽셀이 속한 연결 성분의 크기이고,
Figure 112009016327394-PAT00060
는 해당 픽셀을 중심으로
Figure 112009016327394-PAT00061
주변의 서로 다른 연결 성분의 개수이다.)
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 추출부는 상기 객체 픽셀 영역에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 상기 제 1 픽셀과 상기 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경하여 상기 객체 픽셀 지도를 보정하는 객체 픽셀 지도 보정부를 더 포함할 수 있다.
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 판단부는 상기 객체 픽셀 영역에 대하여 성형 골격화 알고리즘을 적용할 수 있다.
상기 무인 감시 장치의 실시예에 의하면, 상기 객체 픽셀 영역 판단부는 아래 [수식 5]를 이용하여 상기 객체 픽셀 영역의 중심을 계산하는 객체 픽셀 영역 중심 연산부, 아래 [수식 6]을 이용하여 상기 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 상기 중심 간의 거리를 계산하는 중심 거리 연산부, 상기 경계 픽셀과 상기 중심 간의 거리가 상기 경계 픽셀의 개수만큼의 주기를 갖는다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환을 수행하는 이산 푸리에 변환부, 상기 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링을 수행하는 저역 통과 필터부, 상기 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변환을 수행하여 제 2 거리 신호를 생성하는 역 이산 푸리에 변환부, 아래 [수식 7]을 이용하여 상기 객체 픽셀 영역에서 돌출 지점을 검출하는 돌출 지점 검출부 및 상기 돌출 지점 간의 위치 관계를 이용하여 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 감시 목적물 판단부를 포함할 수 있다.
[수식 5]
Figure 112009016327394-PAT00062
(단,
Figure 112009016327394-PAT00063
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 개수이고,
Figure 112009016327394-PAT00064
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
Figure 112009016327394-PAT00065
)는 객체 픽셀 영역의 중심의 좌표이다.)
[수식 6]
Figure 112009016327394-PAT00066
(단,
Figure 112009016327394-PAT00067
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리이고,
Figure 112009016327394-PAT00068
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
Figure 112009016327394-PAT00069
는 객체 픽셀 영역의 중심의 좌표이다.)
[수식 7]
Figure 112009016327394-PAT00070
(단,
Figure 112009016327394-PAT00071
,
Figure 112009016327394-PAT00072
,
Figure 112009016327394-PAT00073
은 제 2 거리 신호이고,
Figure 112009016327394-PAT00074
는 1인 경우에 돌출 지점임을 나타낸다.)
상기 무인 감시 장치의 실시예에 의하면, 상기 감시 목적물 판단부는 상기 특정 감시 목적물의 고유 자세에 기인한 상기 돌출 지점 간의 각도 차이에 기초하여 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단할 수 있다.
상술한 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 감시 시스템은 일정 구역을 촬영하여 상기 구역에 대한 촬영 영상을 전송하는 감시 카메라, 상기 촬영 영상을 수신하여 특정 감시 목적물이 출현했는지를 감시하는 무인 감시 장치 및 상기 무인 감시 장치에 의하여 상기 특정 감시 목적물이 출현했다고 판단되는 경우 경보를 발생시키는 경보 장치를 포함하고, 상기 무인 감시 장치는 학습 기간 동안에 입력되는 상기 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부, 상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 연산부, 상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부 및 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 객체 픽셀 영역 판단부를 포함할 수 있다.
상술한 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 무인 감시 시스템은 일정 구역에 대한 촬영 영상을 기초로 특정 감시 목적 물이 출현했는지를 감시하는 무인 감시 장치를 구비한 일체형 감시 카메라 및 상기 일체형 감시 카메라에 의하여 상기 특정 감시 목적물이 출현했다고 판단되는 경우 경보를 발생시키는 경보 장치를 포함하고, 상기 무인 감시 장치는 학습 기간 동안에 입력되는 상기 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부, 상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 연산부, 상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부 및 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 객체 픽셀 영역 판단부를 포함할 수 있다.
본 발명의 실시예들에 따른 무인 감시 방법은 밝기 정보만을 이용하여 배경을 효과적으로 제거함으로써 외부 노이즈의 영향을 최소화하면서 주간 및 야간에 움직임을 갖는 복수의 객체를 효과적으로 추출할 수 있으며, 추출된 객체에 대하여 성형 골격화 알고리즘을 적용함으로써 특정 감시 목적물(예를 들어, 사람)을 효과적으로 구분할 수 있다.
또한, 본 발명의 실시예들에 따른 무인 감시 장치는 밝기 정보만을 이용하여 배경을 효과적으로 제거함으로써 외부 노이즈의 영향을 최소화하면서 주간 및 야간 에 움직임을 갖는 복수의 객체를 효과적으로 추출할 수 있고, 추출된 객체에 대하여 성형 골격화 알고리즘을 적용함으로써 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있다.
또한, 본 발명의 실시예들에 따른 무인 감시 시스템은 밝기 정보만을 이용하여 배경을 효과적으로 제거함으로써 외부 노이즈의 영향을 최소화하면서 주간 및 야간에 움직임을 갖는 복수의 객체를 효과적으로 추출할 수 있고, 추출된 객체에 대하여 성형 골격화 알고리즘을 적용함으로써 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있는 무인 감시 장치를 포함하므로 높은 신뢰성을 확보할 수 있다.
다만, 본 발명의 효과는 상기에서 언급된 효과로 제한되는 것은 아니며, 상기에서 언급되지 않은 다른 효과들은 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 당업자에게 명확하게 이해될 수 있을 것이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되지 않아야 한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들이 이러한 용어들에 의해 한정되는 것은 아니다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성 요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해될 수 있다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 것이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 무인 감시 방법을 나타내는 도면이다.
도 1을 참조하면, 무인 감시 방법은 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하는 단계(S110), 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 단계(S120), 통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 값을 계산하는 단계(S130), 통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 단계(S140), 학습 기간 이후에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 재측정하는 단계(S150), 기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단 계(S160) 및 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계(S170)를 포함할 수 있다.
객체(예를 들어, 사람 또는 동물)는 움직임이 많은 반면, 배경은 움직임이 적기 때문에 입력되는 영상에서 배경에 해당하는 픽셀들 각각은 비교적 일정한 밝기 값을 유지한다. 따라서 객체가 출현하지 않은 상태의 배경만을 촬영된 영상을 기준으로 갑자기 밝기 값이 크게 변동하는 픽셀들이 검출된다면, 객체가 출현한 것으로 볼 수 있다. 이러한 특징에 기초하여 본 발명의 일 실시예에 따른 무인 감시 방법은 픽셀들의 밝기 값만을 이용하여 객체의 출현을 정확하게 검출하고, 객체가 특정 감시 목적물(예를 들어, 사람)에 해당하는지 여부를 정확하게 판단할 수 있다. 이하, 본 발명의 일 실시예에 따른 무인 감시 방법에 대해서 구체적으로 설명한다.
학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하는 단계(S110)에서는 기 설정된 기간 즉, 학습 기간(예를 들어, 100 프레임) 동안 객체가 출현하지 않은 상태의 배경만을 촬영하고, 이렇게 촬영된 영상에 대하여 매 프레임마다 픽셀들 각각의 밝기 값을 측정한다. 이 때, 학습 기간은 프레임의 개수를 기준으로 설정될 수 있는데, 사용자에 의하여 감시 조건에 따라 다양하게 설정될 수 있다.
측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 단계(S120)에서는 각각의 픽셀 별로 측정되는 밝기 값이 기 설정된 밝기 구간(예를 들어, 256개의 인터벌(Interval) : [0, T], [T, 2T], ..., [nT, 255], n=255/T)에서 어떻게 분포되는지를 나타내는 통계 모델(예를 들어, 히스토그램)을 생성한다. 이 때, 밝기 구간은 요구되는 조건에 따라 사용자에 의하여 다양하게 설정될 수 있다.
통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 값을 계산하는 단계(S130)에서는 통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 값(
Figure 112009016327394-PAT00075
)을 계산(S130)하는데, 기준 밝기 값(
Figure 112009016327394-PAT00076
)은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 밝기 구간의 평균값이다. 실시예에 따라, 기준 밝기 값(
Figure 112009016327394-PAT00077
)은 재측정되는 밝기 값에 기초하여 갱신될 수 있는데, 특히 아래 [수식 1]을 이용하여 갱신될 수 있다.
[수식 1]
Figure 112009016327394-PAT00078
[수식 1]에서
Figure 112009016327394-PAT00079
은 갱신 이전의 기준 밝기 값이고,
Figure 112009016327394-PAT00080
는 갱신 이후의 기준 밝기 값이며,
Figure 112009016327394-PAT00081
는 재측정되는 밝기 값이고,
Figure 112009016327394-PAT00082
는 0에서 1 사이의 값을 갖는 학습 변수이다. 사용자는 학습 변수(
Figure 112009016327394-PAT00083
)를 조절함으로써 기준 밝기 값(
Figure 112009016327394-PAT00084
)의 갱신 속도를 조절할 수 있는데, 학습 변수(
Figure 112009016327394-PAT00085
)가 클수록 기준 밝기 값(
Figure 112009016327394-PAT00086
)을 빠르게 갱신할 수 있지만 객체의 움직임이 빠른 경우에는 갱신에 실패할 수 있다. 따라서 사용자는 요구되는 조건에 따라 적절한 학습 변수(
Figure 112009016327394-PAT00087
)를 설정 하여야 한다. 이와 같이, 재측정되는 밝기 값(
Figure 112009016327394-PAT00088
)에 기초하여 기준 밝기 값(
Figure 112009016327394-PAT00089
)을 갱신하는 이유는 시간에 따른 빛의 변화를 반영하기 위함이다. 다만, [수식 1]은 하나의 예시로서 다양한 환경 조건 등을 반영하기 위하여 본 발명의 기술적 사상 내에서 수정 및 변경될 수 있을 것이다.
통계 모델에 기초하여 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 단계(S140)에서는 학습 기간 동안 입력되는 영상의 움직이는 배경에 해당하는 배경 픽셀들의 변화하는 밝기 값을 적응적으로 통계 모델에 반영하기 위하여 픽셀들 각각에 대한 기준 밝기 표준 편차(
Figure 112009016327394-PAT00090
)를 계산한다. 특히, 아래 [수식 2]를 이용하여 기준 밝기 표준 편차(
Figure 112009016327394-PAT00091
)를 계산할 수 있다.
[수식 2]
Figure 112009016327394-PAT00092
[수식 2]에서
Figure 112009016327394-PAT00093
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 좌측의 밝기 구간의 값이고,
Figure 112009016327394-PAT00094
은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 우측의 밝기 구간의 값이며,
Figure 112009016327394-PAT00095
는 기준 밝기 표준 편차이고,
Figure 112009016327394-PAT00096
는 기준 밝기 값이다. 기준 밝기 표준 편차(
Figure 112009016327394-PAT00097
)를 계산함에 있어서 간단한 [수식 2]를 이용하기 때문에 그 계산이 간단하고 고속으로 수행할 수 있다. 다만, [수식 2]는 하나의 예시로서 본 발명의 기술적 사상 내에서 수정 및 변경될 수 있을 것이다.
학습 기간 이후에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 재측정하는 단계(S150)에서는 최종적인 기준 밝기 값(
Figure 112009016327394-PAT00098
Figure 112009016327394-PAT00099
)과 기준 밝기 표준 편차(
Figure 112009016327394-PAT00100
)를 결정한 이후, 학습 기간 이후에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 재측정한다. 즉, 학습 기간 이후에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 재측정함으로써 재측정된 밝기 값(
Figure 112009016327394-PAT00101
)을 얻는다.
기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계(S160)에서는 기준 밝기 값(
Figure 112009016327394-PAT00102
Figure 112009016327394-PAT00103
), 기준 밝기 표준 편차(
Figure 112009016327394-PAT00104
) 및 재측정되는 밝기 값(
Figure 112009016327394-PAT00105
)을 기초로 객체 픽셀들을 검출함으로써 객체 픽셀 영역을 추출한다. 이 때, 밝기 값이 재측정되는 픽셀이 객체 픽셀로 판단되는 경우에는 제거하지 않고, 밝기 값이 재측정되는 픽셀이 객체 픽셀로 판단되지 않는 경우 즉, 배경 픽셀인 경우에는 제거하는 방식으로 객체 픽셀 영역을 추출하여 객체 픽셀 지도를 생성한다. 특히, 객체 픽셀 지도는 아래 [수식 3]을 이용하여 생성될 수 있다.
[수식 3]
Figure 112009016327394-PAT00106
[수식 3]에서
Figure 112009016327394-PAT00107
는 객체 픽셀이고,
Figure 112009016327394-PAT00108
는 재측정되는 밝기 값이며,
Figure 112009016327394-PAT00109
는 기준 밝기 값이고,
Figure 112009016327394-PAT00110
는 기준 밝기 표준 편차이다. 이와 같이, 재측정 되는 밝기 값(
Figure 112009016327394-PAT00111
)과 기준 밝기 값(
Figure 112009016327394-PAT00112
Figure 112009016327394-PAT00113
)의 차이가 기준 밝기 표준 편차(
Figure 112009016327394-PAT00114
)의 2.5배 미만인 경우에는 배경 픽셀로 판단하여 이진값 0을 인가함으로써 제거하고, 기준 밝기 표준 편차(
Figure 112009016327394-PAT00115
)의 2.5배 이상인 경우에는 객체 픽셀로 판단하여 이진값 1을 인가함으로써 제거하지 않는다. 다만, [수식 3]은 하나의 예시로서 객체 픽셀과 배경 픽셀을 구분하기 위한 다양한 조건 등을 반영하기 위하여 본 발명의 기술적 사상 내에서 수정 및 변경될 수 있을 것이다. 예를 들어, 2.5와 같은 계수들은 변경될 수 있을 것이다.
일반적으로, 배경의 움직임은 바람 등에 의해 임의의 시간에서 언제든지 발생할 수 있는 것이므로 학습 기간 동안에만 발생한다는 보장이 없다. 그러므로, 학습 기간 이후에 발생하는 배경의 움직임에 대한 기준 밝기 표준 편차는 통계 모델에 반영되지 않아 배경이 객체로 판단되는 오류가 발생할 수 있다. 따라서 기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계(S160)에서는 이러한 오류를 줄이기 위하여 배경의 움직임에 대한 시간적 특징 및 공간적 특징 즉, 배경의 움직임은 반복적이라는 점 및 배경의 움직임은 군집적으로 나타난다는 점을 반영함으로써 객체 픽셀 지도를 수정할 수 있다. 특히, 이러한 객체 픽셀 지도의 수정은 아래 [수식 4]를 이용할 수 있다.
[수식 4]
Figure 112009016327394-PAT00116
[수식 4]에서
Figure 112009016327394-PAT00117
는 객체 픽셀이고,
Figure 112009016327394-PAT00118
는 비용 함수이며,
Figure 112009016327394-PAT00119
는 0에서 1 사이의 값을 갖는 가중치이고,
Figure 112009016327394-PAT00120
는 객체 픽셀 영역
Figure 112009016327394-PAT00121
에서의 이진값 1과 0의 변화 주기이며,
Figure 112009016327394-PAT00122
는 해당 픽셀이 속한 연결 성분의 크기이고,
Figure 112009016327394-PAT00123
는 해당 픽셀을 중심으로
Figure 112009016327394-PAT00124
주변의 서로 다른 연결 성분의 개수이다. [수식 4]에서 첫 번째 항은 움직이는 배경의 시간적 특징을 반영하고 있음을 나타내고, 두 번째 항은 공간적 특징을 반영하고 있음을 나타낸다. 사용자는 가중치(
Figure 112009016327394-PAT00125
)를 0에서 1 사이의 값 중에서 결정함으로써 시간적 특징과 공간적 특징의 반영 비율을 조절할 수 있다.
일반적으로, 객체 또는 배경의 움직임은 객체 픽셀 지도에서 해당하는 픽셀의 이진값 1과 0의 변화로 나타나게 된다. 따라서 이진값 1과 0의 변화 주기가 짧아 깜빡(flickering)거리는 픽셀은 배경의 움직임이 반복적이라는 점을 고려하여 배경 픽셀로 판단하고, 주변에 서로 다른 연결 성분이 많이 분포하는 픽셀도 배경의 움직임이 군집적으로 나타난다는 점을 고려하여 배경 픽셀로 판단한다. 즉, 흔들리는 나뭇잎, 가지, 수풀 등과 같은 배경은 짧은 주기를 가지고 반복적인 움직임 을 갖고, 군집적인 움직임을 갖는다는 점을 이용한 것이다. 이와 같이, 본 발명의 일 실시예에 따른 무인 감시 방법은 배경의 움직임에 대한 시간 및 공간적 특징 즉, 배경의 움직임은 반복적이라는 점 및 배경의 움직임이 군집적으로 나타난다는 점을 반영하여 객체 픽셀 지도를 수정함으로써 배경이 객체로 판단되는 오류를 방지할 수 있다. 다만, [수식 4]는 하나의 예시로서 본 발명의 기술적 사상 내에서 수정 및 변경될 수 있을 것이다.
또한, 기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계(S160)에서는 객체 픽셀 지도에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 제 1 픽셀과 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경함으로써 객체 픽셀 지도를 보정할 수 있다. 즉, 상술한 단계들을 통하여 생성된 객체 픽셀 영역이 분산된 픽셀들로 이루어져 있기 때문에 연결 성분 해석(connected component analysis)을 위하여 객체 픽셀 지도를 보정한다. 예를 들어, 기 설정된 거리가 15라고 가정하면, 객체 픽셀 지도에서 픽셀의 이진값이 1인 두 픽셀(즉, 제 1 픽셀 및 제 2 픽셀) 사이의 거리가 15보다 작은 경우 두 픽셀(즉, 제 1 픽셀 및 제 2 픽셀) 사이의 픽셀들의 이진값을 1로 변경한다.
실시예에 따라, 기준 밝기 값, 기준 밝기 표준 편차 및 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계(S160)에서는 움직이는 객체 영역의 최소 크기를 고려하여 객체 픽셀 지도를 보정한 이후 최소 크기보다 작은 영역은 연산의 효율성을 위해 제거할 수 있고, 영역 기반의 객체 추 출을 위해 (최소 x, 최소 y), (최대 x, 최소 y), (최소 x, 최대 y), (최대 x, 최대 y)를 이용하여 사각형 형태의 객체 픽셀 영역을 생성할 수도 있다.
객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계(S170)에서는 상술한 단계들을 통하여 추출한 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하기 위하여 성형 골격화 알고리즘(star skeletonization algorithm)을 이용한다. 예를 들어, 본 발명의 실시예에 따른 무인 감시 방법을 국방용으로 사용하는 경우에는 간첩이 감시 지역에서 직립 보행으로 침투하거나 위장을 위하여 동물과 같이 낮은 자세로 접근하여 침투하기 때문에 감시 지역에 나타난 객체가 사람인지 여부를 정확하게 판단하는 것이다.
일반적으로, 특정 감시 목적물(예를 들어, 사람과 동물) 각각은 그 골격 구조상 돌출되어 있는 부분이 서로 다르기 때문에, 성형 골격화 알고리즘을 이용하여 돌출 지점을 분석함으로써 특정 감시 목적물을 정확하게 구분할 수 있다. 예를 들어, 사람은 다리가 팔보다 길기 때문에 간첩이 위장을 위하여 동물과 같이 낮은 자세로 접근하다고 하더라도 머리와 다리의 돌출 지점 간의 사이 각이 동물들에 비하여 작게 형성될 수밖에 없다. 따라서 본 발명의 일 실시예에 따른 무인 감시 방법은 성형 골격화 알고리즘을 통해 돌출 지점을 구하여 특정 감시 목적물(예를 들어, 사람)에 따른 돌출 지점 간의 사이 각을 측정함으로써 특정 감시 목적물을 정확하게 구분할 수 있다. 이러한 성형 골격화 알고리즘에 대해서는 아래에서 상세히 설명하기로 한다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 무인 감시 방법은 픽셀들의 밝기 값만을 이용하여 객체의 출현을 정확하게 검출할 수 있고, 객체가 특정 감시 목적물에 해당하는지 여부를 정확하게 판단하여 감시 목적에 따른 정확한 경보를 알릴 수 있다.
도 2는 도 1의 무인 감시 방법에서 학습 기간 동안 배경에 해당하는 각 픽셀들의 움직임을 반영하여 생성한 통계 모델의 예를 나타내는 도면이다.
도 2를 참조하면, 학습 기간 동안에 입력되는 영상의 제 3 프레임, 제 30 프레임, 제 49 프레임 및 제 93 프레임에서 배경에 해당하는 제 1 픽셀(10), 제 2 픽셀(20) 및 제 3 픽셀(30)의 밝기 값이 기 설정된 밝기 구간(예를 들어, 256개의 인터벌(Interval) : [0, T], [T, 2T], ..., [nT, 255], n=255/T에서 어떻게 분포되는지를 나타내는 히스토그램이 나타나 있다.
도 2에 나타난 바와 같이, 제 1 픽셀(10)과 제 2 픽셀(20)은 바람에 흔들리는 나뭇가지에 해당하는 픽셀이기 때문에 학습 기간 동안 밝기 값이 어느 정도의 표준 편차를 가지고 분포하고 있는 반면, 제 3 픽셀(30)은 움직임이 없는 하늘 영역에 해당하는 픽셀이기 때문에 학습 기간 동안 밝기 값이 일정하게 나타나고 있음을 알 수 있다. 따라서, 도 1의 무인 감시 방법은 학습 기간 동안 제 3 픽셀(30)과 같이 움직임이 없는 픽셀뿐만 아니라, 제 1 픽셀(10) 및 제 2 픽셀(20)과 같이 움직임이 있는 픽셀에 대해서도 배경에 해당하는 픽셀로서 통계 모델에 반영하기 위하여 기준 밝기 값(
Figure 112009016327394-PAT00126
) 및 기준 밝기 표준 편차(
Figure 112009016327394-PAT00127
)를 계산한다.
도 3은 도 1의 무인 감시 방법에서 통계 모델을 이용하여 객체 픽셀 영역을 추출한 예를 나타내는 도면이다.
도 3을 참고하면, 도 1의 무인 감시 방법이 학습 기간 동안 배경에 해당하는 각 픽셀들의 움직임을 반영하여 생성한 통계 모델을 이용하기 때문에 바람에 흔들리는 나뭇가지에 해당하는 배경이 있는 영상에서도 객체(예를 들어, 사람)에 해당하는 픽셀만을 검출하여 객체 픽셀 영역을 추출하고 있음을 알 수 있다. 즉, 도 1의 무인 감시 방법은 흔들리는 나뭇가지 즉, 움직임이 있는 배경이 있다고 하더라도 배경에 해당하는 픽셀은 제거하고, 객체(예를 들어, 사람)에 해당하는 픽셀만을 검출하여 객체 픽셀 영역을 추출할 수 있다. 이 경우, 상술한 바와 같이 [수식 1], [수식 2] 및 [수식 3]을 이용할 수 있다.
도 4는 도 1의 무인 감시 방법에서 배경의 움직임에 대한 시간적 특징 및 공간적 특징을 반영하여 객체 픽셀 지도를 수정한 예를 나타내는 도면이다.
도 4를 참조하면, 객체 픽셀 지도에서 이진값 1과 0의 변화 주기가 짧아 깜빡거리는 픽셀 및 주변에 서로 다른 연결 성분이 많이 분포하는 픽셀을 배경 픽셀로 판단하여 제거함으로써 객체 픽셀 지도가 수정되고 있음을 알 수 있다. 즉, 제 167 프레임과 제 255 프레임을 비교해보면, 학습 기간(예를 들어, 100 프레임) 이후에 나뭇가지에 해당하는 배경 픽셀(110)은 제거하고, 사람에 해당하는 객체 픽셀(120)은 제거하지 않는 방식으로 객체 픽셀 지도를 수정하고 있음을 알 수 있다. 이와 같이, 도 1의 무인 감시 방법은 배경의 움직임은 반복적이라는 점 및 배경의 움직임이 군집적으로 나타난다는 점을 반영하여 학습 기간(예를 들어, 100 프레임) 이후에 발생하는 배경의 움직임을 제거할 수 있다. 이 경우, 상술한 바와 같이 [수 식 4]를 이용할 수 있다.
도 5는 도 1의 무인 감시 방법에서 객체 픽셀 지도를 수정하여 객체 픽셀 영역만을 추출한 결과를 나타내는 도면이다.
도 5를 참조하면, 도 1의 무인 감시 방법에서 배경의 움직임이 반복적이라는 점 및 배경의 움직임이 군집적으로 나타난다는 점을 반영하여 학습 기간(예를 들어, 100 프레임) 이후에 발생하는 배경의 움직임을 제거함으로써 객체 픽셀 영역만이 추출되고 있음을 알 수 있다. 이와 같이, 객체 픽셀 지도를 수정하지 않은 경우에는 나뭇가지에 해당하는 픽셀들이 움직임에 의하여 객체 픽셀로 판단되기 때문에 객체 픽셀 영역으로 추출되는 반면, 객체 픽셀 지도를 수정하는 경우에는 나뭇가지에 해당하는 픽셀들은 배경 픽셀로서 제거되기 때문에 객체 픽셀만이 선택되어 객체 픽셀 영역으로 추출된다. 따라서, 도 1의 무인 감시 방법은 [수식 4]를 이용하여 움직이는 배경 픽셀을 제거함으로써 객체 픽셀 영역의 오검출 확률을 낮출 수 있고, 객체 픽셀 영역의 오검출 확률이 낮기 때문에 연결 성분 분석 등의 후처리가 감소하여 전체적으로 빠른 동작 속도를 확보할 수 있다.
도 6은 도 1의 무인 감시 방법에서 연결 성분 해석을 위하여 객체 픽셀 지도를 보정한 예를 나타내는 도면이다.
도 6을 참조하면, 객체 픽셀 지도에서 이진값이 1인 두 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 두 픽셀 사이의 픽셀들의 이진값을 1로 변경함으로써 객체 픽셀 지도를 보정하고 있음을 알 수 있다. 이 때, 움직이는 객체 영역의 최소 크기를 고려하여 객체 픽셀 지도를 보정한 이후 최소 크기보다 작은 영역은 연산의 효율성을 위해 제거할 수 있다. 또한, 도 5에는 도시되지 않았으나, 영역 기반의 객체 추출을 위해 (최소 x, 최소 y), (최대 x, 최소 y), (최소 x, 최대 y), (최대 x, 최대 y)를 이용하여 사각형 형태의 객체 픽셀 영역을 생성할 수도 있다.
도 7은 도 1의 무인 감시 방법에서 성형 골격화 알고리즘을 적용하는 단계를 나타내는 도면이다.
도 7을 참조하면, 성형 골격화 알고리즘을 적용하는 단계는 [수식 5]를 이용하여 객체 픽셀 영역의 중심을 계산하는 단계(S210), [수식 6]을 이용하여 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 중심 간의 거리를 계산하는 단계(S220), 경계 픽셀과 중심 간의 거리가 경계 픽셀의 개수만큼의 주기를 갖는다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환(Discrete Fourier Transform)을 수행하는 단계(S230), 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링(Low Pass Filtering)을 수행하는 단계(S240), 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변환(Inverse Discrete Fourier Transform)을 수행하여 제 2 거리 신호를 생성하는 단계(S250), [수식 7]을 이용하여 객체 픽셀 영역에서 돌출 지점을 검출하는 단계(S260) 및 돌출 지점 간의 위치 관계를 이용하여 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계(S270)를 포함할 수 있다. 이하, 성형 골격화 알고리즘을 적용하는 단계에 대해서 구체적으로 설명한다.
먼저, 아래 [수식 5]를 이용하여 객체 픽셀 영역의 중심을 계산하고, 아래 [수식 6]을 이용하여 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영 역의 중심 간의 거리를 계산한다.
[수식 5]
Figure 112009016327394-PAT00128
[수식 6]
Figure 112009016327394-PAT00129
[수식 5] 및 [수식 6]에서
Figure 112009016327394-PAT00130
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 개수이고,
Figure 112009016327394-PAT00131
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
Figure 112009016327394-PAT00132
)는 객체 픽셀 영역의 중심의 좌표이다. 또한,
Figure 112009016327394-PAT00133
는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리이다.
객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리(
Figure 112009016327394-PAT00134
)를 구한 이후에, [수식 6]으로부터 구한 거리(
Figure 112009016327394-PAT00135
)가 경계 픽셀의 개수(
Figure 112009016327394-PAT00136
) 만큼의 주기를 가지고 있다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환을 수행하고, 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링을 수행하며, 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변환을 수행함으로써 제 2 거리 신호를 생성한다.
제 2 거리 신호가 생성되면, 아래 [수식 7]을 이용하여 객체 픽셀 영역에서 돌출 지점을 검출한다. 이 때, 돌출 지점은 제 2 거리 신호에서 영점 교차(zero-crossing)되는 경계 픽셀의 위치를 이용하여 구할 수 있다.
[수식 7]
Figure 112009016327394-PAT00137
[수식 7]에서
Figure 112009016327394-PAT00138
,
Figure 112009016327394-PAT00139
,
Figure 112009016327394-PAT00140
은 제 2 거리 신호이고,
Figure 112009016327394-PAT00141
는 1인 경우에 돌출 지점임을 나타낸다. 이와 같이, [수식 7]을 이용하여
Figure 112009016327394-PAT00142
가 1에 해당하는 좌표의 경계 픽셀을 경계 픽셀 영역의 돌출 지점으로 판단한다.
이후, 돌출 지점들이 결정되면 돌출 지점 간의 위치 관계를 이용하여 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단한다. 돌출 지점 간의 위치 관계를 이용하여 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단함에 있어서 도 1의 무인 감시 방법은 객체 픽셀 영역의 돌출 지점 간의 사이 각을 비교함으로써 특정 감시 목적물을 구분한다. 예를 들어, 직립 보행하는 사람과 직립 보행을 하지 않는 동물을 구분하기 위해서 돌출 부분의 대칭성을 이용하거나 객체 픽셀 영역의 수직 축과 머리에 해당하는 돌출 지점 간의 사이 각을 이용할 수 있다. 그러나, 간첩의 경우에는 위장을 위하여 동물과 같이 낮은 자세로 접근하는 경우가 많으므로 돌출 부분의 대칭성을 이용하거나 객체 픽셀 영역의 수직 축과 머리에 해당하는 돌출 지점 간의 사이 각을 이용하는 방법들은 정확하지 않다. 따라서, 도 1의 무인 감시 방법은 객체 픽셀 영역의 돌출 지점 간의 사이 각을 비교함으로써 특정 감시 목적물을 구분하는데, 예를 들어 사람과 동물을 구분하는 경우에는 사람의 머리와 다리의 돌출 지점 간의 사이 각이 동물들에 비하여 작게 형성될 수밖에 없다는 점을 이용할 수 있다.
도 8은 도 1의 무인 감시 방법에서 성형 골격화 알고리즘을 적용하는 과정을 나타내는 도면이다.
도 8을 참조하면, 객체 픽셀 영역의 중심과 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과의 거리를 예를 들어, 반시계 방향으로 계산(S220)한다. 객체 픽셀 영역의 중심과 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과의 거리에 대해서 경계 픽셀의 개수만큼의 주기를 가지고 있다고 가정하여 이산 푸리에 변환(S230), 저역 통과 필터링(S240) 및 역 이산 푸리에 변환(S250)을 수행한다. 이후, 영점 교차되는 경계 픽셀의 위치를 이용하여 돌출 지점을 검출(S260)한다. 상술한 바와 같이, 본 발명의 성형 골격화 알고리즘을 적용하는 단계는 [수식 5], [수식 6] 및 [수식 7]을 이용할 수 있을 뿐만 아니라, [수식 5], [수식 6] 및 [수식 7]은 본 발명의 기술적 사상의 범위 내에서 수정 및 변경될 수 있을 것이다.
도 9는 도 1의 무인 감시 방법에서 객체 픽셀 영역이 특정 감시 목적물인지 여부를 판단하는 과정을 나타내는 도면이다.
도 9를 참조하면, 도 1의 무인 감시 방법에서는 돌출 지점들이 결정되면 돌출 지점 간의 위치 관계를 이용하여 특정 감시 목적물을 구분한다. 예를 들어, 사람과 동물을 구분하는 경우에는 사람의 머리와 다리의 돌출 지점 간의 사이 각이 동물들에 비하여 작게 형성될 수밖에 없다는 점을 이용한다. 구체적으로, 사람의 머리와 다리의 돌출 지점 간의 사이 각(
Figure 112009016327394-PAT00143
,
Figure 112009016327394-PAT00144
)이 제 1 임계값(TH1)보다 작은 경우에는 서 있는 사람으로 판단하고, 제 1 임계값(TH1)보다는 크지만 제 2 임계값(TH2)보다는 작은 경우에는 기어다니는 사람으로 판단하며, 제 2 임계값(TH2)보 다 큰 경우에는 동물로 판단한다. 다만, 제 1 임계값(TH1) 및 제 2 임계값(TH2)은 요구되는 조건에 따라 다양하게 수정 및 변경될 수 있다. 예를 들어, 사람과 동물의 구분이 아닌 동물과 동물 간의 구분을 위해서도 각 동물의 돌출 지점 간의 특징을 이용하여 제 1 임계값(TH1) 및 제 2 임계값(TH2)을 재설정함으로써 특정 감시 목적물을 정확하게 감시할 수 있다.
도 10은 도 1의 무인 감시 방법에서 객체 픽셀 영역이 특정 감시 목적물인지 여부를 판단하는 예를 나타내는 도면이다.
도 10을 참조하면, 추출된 객체 픽셀 영역에 대하여 성형 골격화 알고리즘을 적용한 결과가 나타나 있다. 도 10의 (a)를 보면, 직립 보행의 경우 사람의 머리 돌출 부분과 수직 축의 사이 각의 크기가 매우 작다는 것을 확인할 수 있고, 도 10의 (b)를 보면, 사람이 위장을 위하여 낮은 자세를 취하는 경우에도 동물에 비해 머리와 다리 돌출 부분 사이 각이 작다는 것을 확인할 수 있다. 이와 같이, 도 1의 무인 감시 방법에서는 돌출 지점들이 결정되면 돌출 지점 간의 위치 관계 즉, 객체 픽셀 영역의 돌출 지점 간의 사이 각을 비교함으로써 특정 감시 목적물을 구분할 수 있다.
도 11a 내지 도 11c는 도 1의 무인 감시 방법의 감시 결과를 나타내는 도면이다.
도 11a 내지 11c를 참고하면, 다양한 실외 환경에서의 도 1의 무인 감시 방법의 감시 결과가 나타나 있다. 도 11a의 (a1) 내지 (a4)를 보면, 도 1의 무인 감시 방법은 우거진 수풀의 움직임 속에서 사람이 가려진 경우에 있어서도 사람만을 추출하여 감시할 수 있고, 도 11b의 (b1) 내지 (b4)를 보면, 도 1의 무인 감시 방법은 바람에 흔들리는 나뭇가지가 존재하는 경우에 있어서도 사람만을 추출하여 감시할 수 있으며, 도 11c의 (c1) 내지 (c4)를 보면, 도 1의 무인 감시 방법은 서로 다른 거리에 움직이는 사람이 다수 존재하는 경우에 있어서도 각각의 사람들을 모두 추출하여 감시할 수 있다. 이와 같이, 도 1의 무인 감시 방법은 객체 픽셀 영역을 정확하게 검출할 수 있고, 특정 감시 목적물 예를 들어, 사람과 동물을 정확하게 구분할 수 있기 때문에 국방용 무인 감시 시스템 등에도 적용이 가능하다.
도 12는 본 발명의 일 실시예에 따른 무인 감시 장치를 나타내는 도면이다.
도 12를 참조하면, 무인 감시 장치(100)는 통계 모델 생성부(120), 기준 밝기 정보 연산부(140), 객체 픽셀 영역 추출부(160) 및 객체 픽셀 영역 판단부(180)를 포함할 수 있다.
통계 모델 생성부(120)는 기 설정된 기간 즉, 학습 기간(예를 들어, 100 프레임) 동안 객체가 출현하지 않은 상태의 배경만을 촬영하여 입력되는 영상(INP)의 매 프레임마다 픽셀들 각각의 밝기 값을 측정함으로써 측정되는 밝기 값이 기 설정된 밝기 구간(예를 들어, 256개의 인터벌(Interval) : [0, T], [T, 2T], ..., [nT, 255], n=255/T)에서 어떻게 분포되는지를 나타내는 통계 모델(TM)을 생성한다. 이 때, 학습 기간은 감시 조건에 따라 사용자에 의하여 다양하게 설정될 수 있고, 밝기 구간도 요구되는 조건에 따라 사용자에 의하여 다양하게 설정될 수 있다.
기준 밝기 정보 연산부(140)는 생성된 통계 모델(TM)에 기초하여 픽셀들 각각에 대한 기준 밝기 값(
Figure 112009016327394-PAT00145
)및 기준 밝기 표준 편차(
Figure 112009016327394-PAT00146
)를 계산한다. 기준 밝기 값(
Figure 112009016327394-PAT00147
)은 통계 모델(TM) 상에서 측정되는 밝기 값이 분포되어 있는 밝기 구간의 평균값이고, 기준 밝기 표준 편차(
Figure 112009016327394-PAT00148
)는 학습 기간 동안 입력되는 영상(INP)의 움직이는 배경에 해당하는 배경 픽셀들의 변화하는 밝기 값을 적응적으로 통계 모델(TM)에 반영하기 위하여 계산된다. 기준 밝기 정보 연산부(140)는 실시예에 따라 시간에 따른 빛의 변화를 반영하기 위하여 재측정되는 밝기 값을 기초로 기준 밝기 값(
Figure 112009016327394-PAT00149
)을 갱신할 수 있다.
객체 픽셀 영역 추출부(160)는 최종적인 기준 밝기 값(
Figure 112009016327394-PAT00150
)과 기준 밝기 표준 편차(
Figure 112009016327394-PAT00151
)가 결정되면, 학습 기간 이후에 입력되는 영상(INPA)의 매 프레임마다 픽셀들 각각의 밝기 값(
Figure 112009016327394-PAT00152
)을 재측정하고, 재측정된 밝기 값(
Figure 112009016327394-PAT00153
), 기준 밝기 값(
Figure 112009016327394-PAT00154
) 및 기준 밝기 표준 편차(
Figure 112009016327394-PAT00155
)를 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역(OPR)을 추출한다. 객체 픽셀 영역 추출부(160)는 실시예에 따라 배경의 움직임에 대한 시간적 특징 및 공간적 특징 즉, 배경의 움직임은 반복적이라는 점 및 배경의 움직임은 군집적으로 나타난다는 점을 반영함으로써 객체 픽셀 지도를 수정하여 객체 픽셀 영역(OPR)을 추출할 수 있다. 또한, 객체 픽셀 영역 추출부(160)는 분산된 픽셀들로 이루어진 객체 픽셀 영역(OPR)에 대한 연결 성분 해석을 위하여 객체 픽셀 지도를 보정하여 객체 픽셀 영역(OPR)을 추출할 수 있다.
객체 픽셀 영역 판단부(180)는 추출한 객체 픽셀 영역(OPR)이 특정 감시 목적물에 해당하는지 여부를 성형 골격화 알고리즘을 이용하여 판단한다. 상술한 바와 같이, 성형 골격화 알고리즘은 객체 픽셀 영역(OPR)의 돌출 지점을 구하여 특정 감시 목적물에 따른 돌출 지점 간의 사이 각을 측정함으로써 특정 감시 목적물을 정확하게 구분할 수 있다. 이와 같이, 본 발명의 일 실시예에 따른 무인 감시 장치(100)는 픽셀들의 밝기 값만을 이용하여 객체의 출현을 정확하게 검출할 수 있고, 객체가 특정 감시 목적물에 해당하는지 여부, 예를 들어, 객체가 사람인지 동물인지 여부까지도 정확하게 판단함으로써 감시 목적에 따른 정확한 경보 신호(ALT)를 생성할 수 있다.
도 13은 도 12의 무인 감시 장치의 기준 밝기 정보 연산부를 나타내는 도면이다.
도 13을 참조하면, 기준 밝기 정보 연산부(140)는 기준 밝기 값 결정부(142), 기준 밝기 표준 편차 결정부(144) 및 기준 밝기 값 갱신부(146)를 포함할 수 있다.
기준 밝기 값 결정부(142)는 통계 모델(TM) 상에서 측정되는 밝기 값이 분포되어 있는 밝기 구간의 평균값을 기준 밝기 값(
Figure 112009016327394-PAT00156
)으로 결정한다. 기준 밝기 표준 편차 결정부(144)는 [수식 2]를 이용하여 기준 밝기 표준 편차(
Figure 112009016327394-PAT00157
)를 결정한다. 다만, [수식 2]를 이용하여 기준 밝기 표준 편차(
Figure 112009016327394-PAT00158
)를 결정하는 것에 대해서는 위에서 구체적으로 설명하였으므로 상세한 설명은 생략하기로 한다.
기준 밝기 값 갱신부(146)는 시간에 따른 빛의 변화를 반영하기 위하여 재측정되는 밝기 값(
Figure 112009016327394-PAT00159
)에 기초하여 기준 밝기 값(
Figure 112009016327394-PAT00160
)을 갱신한다. 특히, 기준 밝기 값(
Figure 112009016327394-PAT00161
)은 [수식 1]을 이용하여 갱신할 수 있는데, 이에 대해서는 위에서 구체적으로 설명하였으므로 상세한 설명은 생략하기로 한다.
도 14는 도 12의 무인 감시 장치의 객체 픽셀 영역 추출부를 나타내는 도면이다.
도 14를 참조하면, 객체 픽셀 영역 추출부(160)는 객체 픽셀 지도 생성부(162), 객체 픽셀 지도 수정부(164) 및 객체 픽셀 지도 보정부(166)를 포함할 수 있다.
객체 픽셀 지도 생성부(162)는 학습 기간 이후에 입력되는 영상(INPA)에서 픽셀들의 밝기 값(
Figure 112009016327394-PAT00162
)을 재측정하고, 재측정되는 밝기 값(
Figure 112009016327394-PAT00163
), 기준 밝기 값(
Figure 112009016327394-PAT00164
), 기준 밝기 표준 편차(
Figure 112009016327394-PAT00165
)를 기초로 객체 픽셀에 해당하는지 판단한다. 이 때, 재측정되는 픽셀이 객체 픽셀에 해당하는 경우에는 제거하지 않고, 배경 픽셀에 해당하는 경우에는 제거하여 이진값 0 및 1로 표현되는 객체 픽셀 지도(OPM)를 생성한다. 특히, 객체 픽셀 지도(OPM)는 [수식 3]을 이용하여 생성할 수 있는데, 이에 대해서는 위에서 구체적으로 설명하였으므로 상세한 설명은 생략하기로 한다.
객체 픽셀 지도 수정부(164)는 학습 기간 이후에 바람 등에 의하여 배경의 움직임이 발생할 수 있으므로 학습 기간 이후에 발생하는 배경의 움직임을 통계 모델에 반영한다. 즉, 배경의 움직임에 대한 시간적 특징 및 공간적 특징 즉, 배경의 움직임은 반복적이라는 점 및 배경의 움직임은 군집적으로 나타난다는 점을 반영함으로써 객체 픽셀 지도(OPM)를 수정한다. 특히, 객체 픽셀 지도(OPM)는 [수식 4]를 이용하여 수정할 수 있는데, 이에 대해서는 위에서 구체적으로 설명하였으므로 상 세한 설명은 생략하기로 한다.
객체 픽셀 지도 보정부(166)는 객체 픽셀 지도(OPM)에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 제 1 픽셀과 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경하여 객체 픽셀 지도(OPM)를 보정한다. 이는 분산된 픽셀들로 이루어진 객체 픽셀 영역(OPM)에 대하여 연결 성분 해석을 하기 위함이다.
또한, 객체 픽셀 영역 추출부(160)는 객체 영역의 최소 크기를 고려하여 객체 픽셀 지도(OPM)를 보정한 이후 최소 크기보다 작은 영역은 연산의 효율성을 위해 제거할 수 있고, 영역 기반의 객체 추출을 위해 (최소 x, 최소 y), (최대 x, 최소 y), (최소 x, 최대 y), (최대 x, 최대 y)를 이용하여 사각형 형태의 객체 픽셀 영역(OPR)을 포함하는 객체 픽셀 지도(OPM)를 생성할 수도 있다.
도 15는 도 12의 무인 감시 장치의 객체 픽셀 영역 판단부를 나타내는 도면이다.
도 15를 참조하면, 객체 픽셀 영역 판단부(180)는 객체 픽셀 영역 중심 연산부(182), 중심 거리 연산부(184), 이산 푸리에 변환부(186), 저역 통과 필터부(188), 역 이산 푸리에 변환부(190), 돌출 지점 검출부(192) 및 감시 목적물 판단부(194)를 포함할 수 있다.
객체 픽셀 영역 중심 연산부(182)는 객체 픽셀 영역(OPR)의 중심(CEN)을 계산하고, 중심 거리 연산부(184)는 객체 픽셀 영역(OPR)의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역(OPR)의 중심 간의 거리(
Figure 112009016327394-PAT00166
)를 계산한다. 특히, 상기 중심(CEN) 은 [수식 5]를 이용하여 계산할 수 있고, 상기 거리(
Figure 112009016327394-PAT00167
)는 [수식 6]을 이용하여 계산할 수 있는데, 이에 대해서는 위에서 구체적으로 설명하였으므로 상세한 설명은 생략하기로 한다.
이산 푸리에 변환부(186)는 상기 거리(
Figure 112009016327394-PAT00168
)가 경계 픽셀의 개수 만큼의 주기를 가지고 있다고 가정한 제 1 거리 신호(D)에 대하여 이산 푸리에 변환을 수행하고, 저역 통과 필터부(188)는 이산 푸리에 변환이 수행된 제 1 거리 신호(FD)에 대하여 저역 통과 필터링을 수행하며, 역 이산 푸리에 변환부(190)는 저역 통과 필터링된 제 1 거리 신호(LFD)에 대하여 역 이산 푸리에 변환을 수행함으로써 제 2 거리 신호(ID)를 생성한다.
돌출 지점 검출부(192)는 제 2 거리 신호(ID)를 기초로 객체 픽셀 영역(OPR)에서 돌출 지점(SP)을 검출한다. 이 때, 돌출 지점(SP)은 제 2 거리 신호(ID)에서 영점 교차되는 경계 픽셀의 위치를 이용하여 구할 수 있다. 특히, 돌출 지점(SP)은 [수식 7]을 이용하여 구할 수 있는데, 이에 대해서는 위에서 구체적으로 설명하였으므로 상세한 설명은 생략하기로 한다.
감시 목적물 판단부(194)는 돌출 지점(SP) 간의 위치 관계를 이용하여 객체 픽셀 영역(OPR)이 특정 감시 목적물에 해당하는지 여부를 판단한다. 예를 들어, 사람과 동물을 구분하는 경우에는 사람의 머리와 다리의 돌출 지점 간의 사이 각이 동물들에 비하여 작게 형성될 수밖에 없다는 점을 이용하여 객체 픽셀 영역의 돌출 지점 간의 사이 각을 비교함으로써 사람과 동물을 구분할 수 있다. 감시 목적물 판단부(194)는 객체 픽셀 영역(OPR)이 특정 감시 목적물에 해당하는 것으로 판단되면 경보 신호(ALT)를 발생시킨다.
도 16은 본 발명의 일 실시예에 따른 무인 감시 시스템을 나타내는 도면이다.
도 16을 참조하면, 무인 감시 시스템(200)은 감시 카메라(220), 무인 감시 장치(240) 및 경보 장치(260)를 포함할 수 있다.
감시 카메라(220)는 일정 구역을 촬영하여 감시 구역에 대한 촬영 영상(INP)을 무인 감시 장치(240)로 전송한다. 본 발명의 일 실시예에 따른 무인 감시 시스템(200)에 사용되는 감시 카메라(220)는 철책 감시, 중요 시설물 감시, 방재 시스템 등에 사용되는 고정 카메라 방식을 기반으로 하고 있으나, 본 발명의 기술적 사상의 범위 내에서 광역/원거리 감시 및 자동 추적(tracking)이 요구되는 회전 카메라 방식으로 확장 가능하다.
무인 감시 장치(240)는 감시 카메라(220)에서 전송된 촬영 영상(INP)을 수신하여 특정 감시 목적물이 출현했는지를 판단한다. 즉, 무인 감시 장치(240)는 특정 감시 목적물이 출현한 경우에 경보 장치(260)로 경보 신호(ALT)를 전송한다. 이를 위하여, 무인 감시 장치(240)는 상술한 통계 모델 생성부, 기준 밝기 연산부, 객체 픽셀 추출부 및 객체 픽셀 영역 판단부를 포함할 수 있다.
경보 장치(260)는 무인 감시 장치(240)에서 특정 감시 목적물이 출현했다고 판단하여 경보 신호(ALT)를 전송하면 경보를 발생(예를 들어, 통제 기관에 전송)시킨다. 다만, 경보 장치(260)는 도 16에 도시된 바와 같이 독자적으로 구현될 수도 있고, 무인 감시 장치(240)에 포함되어 구현될 수도 있다.
도 17은 본 발명의 다른 실시예에 따른 무인 감시 시스템을 나타내는 도면이다.
도 17을 참조하면, 무인 감시 시스템(300)은 일체형 감시 카메라(320) 및 경보 장치(360)를 포함할 수 있다. 또한, 일체형 감시 카메라(320)는 무인 감시 장치(340)를 포함할 수 있다.
일체형 감시 카메라(320)는 일정 구역을 촬영 영상을 기초로 특정 감시 목적물이 출현했는지를 감시하여 특정 감시 목적물이 출현한 경우 경보 장치에 경보 신호(ALT)를 전송한다. 본 발명의 다른 실시예에 따른 무인 감시 시스템(300)에 사용되는 감시 카메라(320)는 철책 감시, 중요 시설물 감시, 방재 시스템 등에 사용되는 고정 카메라 방식을 기반으로 하고 있으나, 본 발명의 기술적 사상의 범위 내에서 광역/원거리 감시 및 자동 추적이 요구되는 회전 카메라 방식으로 확장 가능하다.
이를 위하여, 일체형 감시 카메라(320)는 특정 감시 목적물이 출현했는지 감시하는 무인 감시 장치(340)를 구비하여 특정 감시 목적물이 출현한 경우에 경보 장치(360)로 경보 신호(ALT)를 전송한다. 따라서, 무인 감시 장치(340)는 상술한 통계 모델 생성부, 기준 밝기 연산부, 객체 픽셀 추출부 및 객체 픽셀 영역 판단부를 포함할 수 있다.
경보 장치(360)는 일체형 감시 카메라(320) 내의 무인 감시 장치(340)에서 특정 감시 목적물이 출현했다고 판단하여 경보 신호(ALT)를 전송하면 경보를 발생(예를 들어, 통제 기관에 전송)시킨다. 다만, 경보 장치(360)는 도 17에 도시된 바 와 같이 독자적으로 구현될 수도 있고, 일체형 감시 카메라(320)에 포함되어 구현될 수도 있다.
이상, 본 발명은 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템에 관한 실시예들을 참조하여 설명하였지만, 이러한 구조들은 예시적인 것으로서 본 발명의 기술적 사상을 벗어나지 않는 범위에서 해당 기술 분야에서 통상의 지식을 가진 자에 의하여 다양하게 수정 및 변경될 수 있음을 알아야 할 것이다. 또한, 본 발명의 기술적 사상은 무인 감시가 요구되는 철책 감시, 중요 시설물 감시, 산불 감시, 화재 감시 등의 다양한 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템으로 확장될 수 있음을 알아야 할 것이다.
본 발명에 따르면, 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템은 밝기 정보만을 이용하여 배경을 효과적으로 제거함으로써 외부 노이즈의 영향을 최소화하면서 주간 및 야간에 움직임을 갖는 복수의 객체를 효과적으로 추출할 수 있고, 추출된 객체에 대하여 성형 골격화 알고리즘을 적용함으로써 특정 감시 목적물(예를 들어, 사람)을 정확하게 구분할 수 있어 높은 신뢰성을 확보할 수 있다. 따라서 본 발명에 따른 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템은 감시 목적물을 정확하게 구분하여 특정 감시 목적물의 침입 경보만을 정확하게 발생시켜야 하는 군사용 무인 감시 시스템 등에 적용이 가능하다.
따라서 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 무인 감시 방법을 나타내는 도면이다.
도 2는 도 1의 무인 감시 방법에서 학습 기간 동안 배경에 해당하는 각 픽셀들의 움직임을 반영하여 생성한 통계 모델의 예를 나타내는 도면이다.
도 3은 도 1의 무인 감시 방법에서 통계 모델을 이용하여 객체 픽셀 영역을 추출한 예를 나타내는 도면이다.
도 4는 도 1의 무인 감시 방법에서 배경의 움직임에 대한 시간적 특징 및 공간적 특징을 반영하여 객체 픽셀 지도를 수정한 예를 나타내는 도면이다.
도 5는 도 1의 무인 감시 방법에서 객체 픽셀 지도를 수정하여 객체 픽셀 영역만을 추출한 결과를 나타내는 도면이다.
도 6은 도 1의 무인 감시 방법에서 연결 성분 해석을 위하여 객체 픽셀 지도를 보정한 예를 나타내는 도면이다.
도 7은 도 1의 무인 감시 방법에서 성형 골격화 알고리즘을 적용하는 단계를 나타내는 도면이다.
도 8은 도 1의 무인 감시 방법에서 성형 골격화 알고리즘을 적용하는 과정을 나타내는 도면이다.
도 9는 도 1의 무인 감시 방법에서 객체 픽셀 영역이 특정 감시 목적물인지 여부를 판단하는 과정을 나타내는 도면이다.
도 10은 도 1의 무인 감시 방법에서 객체 픽셀 영역이 특정 감시 목적물인지 여부를 판단하는 예를 나타내는 도면이다.
도 11a 내지 도 11c는 도 1의 무인 감시 방법의 감시 결과를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 무인 감시 장치를 나타내는 도면이다.
도 13은 도 12의 무인 감시 장치의 기준 밝기 정보 연산부를 나타내는 도면이다.
도 14는 도 12의 무인 감시 장치의 객체 픽셀 영역 추출부를 나타내는 도면이다.
도 15는 도 12의 무인 감시 장치의 객체 픽셀 영역 판단부를 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 무인 감시 시스템을 나타내는 도면이다.
도 17은 본 발명의 다른 실시예에 따른 무인 감시 시스템을 나타내는 도면이다.
<도면의 주요 부분에 대한 설명>
120: 통계 모델 생성부 140: 기준 밝기 정보 연산부
160: 객체 픽셀 영역 추출부 180: 객체 픽셀 영역 판단부

Claims (25)

  1. 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하는 단계;
    상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 단계;
    상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값을 계산하는 단계;
    상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 단계;
    상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 상기 픽셀들 각각의 밝기 값을 재측정하는 단계;
    상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 재측정되는 밝기 값을 기초로 객체 픽셀들을 검출하여 객체 픽셀 영역을 추출하는 단계; 및
    상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계를 포함하는 무인 감시 방법.
  2. 제 1 항에 있어서, 상기 기준 밝기 값을 계산하는 단계는
    상기 통계 모델 상에서 상기 측정되는 밝기 값이 분포되어 있는 상기 밝기 구간의 평균값을 계산하여 상기 계산된 평균값을 상기 기준 밝기 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
  3. 제 2 항에 있어서, 상기 기준 밝기 값을 계산하는 단계는
    상기 재측정되는 밝기 값에 기초하여 상기 기준 밝기 값을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 무인 감시 방법.
  4. 제 3 항에 있어서, 상기 기준 밝기 값을 갱신하는 단계는
    아래 [수식 1]을 이용하여 상기 기준 밝기 값을 갱신하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
    [수식 1]
    Figure 112009016327394-PAT00169
    (단,
    Figure 112009016327394-PAT00170
    은 갱신 이전의 기준 밝기 값이고,
    Figure 112009016327394-PAT00171
    는 갱신 이후의 기준 밝기 값이며,
    Figure 112009016327394-PAT00172
    는 재측정되는 밝기 값이고,
    Figure 112009016327394-PAT00173
    는 0에서 1 사이의 값을 갖는 학습 변수이다.)
  5. 제 1 항에 있어서, 상기 기준 밝기 표준 편차를 계산하는 단계는
    아래 [수식 2]를 이용하여 상기 기준 밝기 표준 편차를 결정하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
    [수식 2]
    Figure 112009016327394-PAT00174
    (단,
    Figure 112009016327394-PAT00175
    은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 좌측의 밝기 구간의 값이고,
    Figure 112009016327394-PAT00176
    은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 우측의 밝기 구간의 값이며,
    Figure 112009016327394-PAT00177
    는 기준 밝기 표준 편차이고,
    Figure 112009016327394-PAT00178
    는 기준 밝기 값이다.)
  6. 제 1 항에 있어서, 상기 객체 픽셀 영역을 추출하는 단계는
    상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는 경우에는 제거하지 않고, 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되지 않는 경우에는 제거하여 객체 픽셀 지도를 생성하는 것을 특징으로 하는 무인 감시 방법.
  7. 제 6 항에 있어서, 상기 객체 픽셀 영역을 추출하는 단계는 아래 [수식 3]을 이용하여 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는지 여부를 결정하여 이진값 0 및 1로 표현되는 상기 객체 픽셀 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
    [수식 3]
    Figure 112009016327394-PAT00179
    (단,
    Figure 112009016327394-PAT00180
    는 객체 픽셀이고,
    Figure 112009016327394-PAT00181
    는 재측정되는 밝기 값이며, 는 기준 밝기 값이고,
    Figure 112009016327394-PAT00183
    는 기준 밝기 표준 편차이다.)
  8. 제 7 항에 있어서, 상기 객체 픽셀 영역을 추출하는 단계는 아래 [수식 4]를 이용하여 상기 객체 픽셀 지도를 수정하는 단계를 더 포함하는 것을 특징으로 하는 무인 감시 방법.
    [수식 4]
    Figure 112009016327394-PAT00184
    (단,
    Figure 112009016327394-PAT00185
    는 객체 픽셀이고,
    Figure 112009016327394-PAT00186
    는 비용 함수이며,
    Figure 112009016327394-PAT00187
    는 0에서 1 사이의 값을 갖는 가중치이고,
    Figure 112009016327394-PAT00188
    는 객체 픽셀 영역
    Figure 112009016327394-PAT00189
    에서의 이진값 1과 0의 변화 주기이며,
    Figure 112009016327394-PAT00190
    는 해당 픽셀이 속한 연결 성분의 크기이고,
    Figure 112009016327394-PAT00191
    는 해당 픽셀을 중심으로
    Figure 112009016327394-PAT00192
    주변의 서로 다른 연결 성분의 개수이다.)
  9. 제 7 항에 있어서, 상기 객체 픽셀 영역을 추출하는 단계는
    상기 객체 픽셀 지도에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 상기 제 1 픽셀과 상기 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경하여 상기 객체 픽셀 지도를 보정하는 단계를 더 포함하는 것을 특징으로 하는 무인 감시 방법.
  10. 제 1 항에 있어서, 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계는
    상기 객체 픽셀 영역에 대하여 성형 골격화 알고리즘(star skeletonization algorithm)을 적용하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
  11. 제 10 항에 있어서, 상기 성형 골격화 알고리즘을 적용하는 단계는
    아래 [수식 5]를 이용하여 상기 객체 픽셀 영역의 중심을 계산하는 단계;
    아래 [수식 6]을 이용하여 상기 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 상기 중심 간의 거리를 계산하는 단계;
    상기 경계 픽셀과 상기 중심 간의 거리가 상기 경계 픽셀의 개수만큼의 주기를 갖는다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환(Discrete Fourier Transform)을 수행하는 단계;
    상기 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링(Low Pass Filtering)을 수행하는 단계;
    상기 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변 환(Inverse Discrete Fourier Transform)을 수행하여 제 2 거리 신호를 생성하는 단계;
    아래 [수식 7]을 이용하여 상기 객체 픽셀 영역에서 돌출 지점을 검출하는 단계; 및
    상기 돌출 지점 간의 위치 관계를 이용하여 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 무인 감시 방법.
    [수식 5]
    Figure 112009016327394-PAT00193
    (단,
    Figure 112009016327394-PAT00194
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 개수이고,
    Figure 112009016327394-PAT00195
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
    Figure 112009016327394-PAT00196
    )는 객체 픽셀 영역의 중심의 좌표이다.)
    [수식 6]
    Figure 112009016327394-PAT00197
    (단,
    Figure 112009016327394-PAT00198
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리이고,
    Figure 112009016327394-PAT00199
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
    Figure 112009016327394-PAT00200
    )는 객체 픽셀 영역의 중심의 좌표이다.)
    [수식 7]
    Figure 112009016327394-PAT00201
    (단,
    Figure 112009016327394-PAT00202
    ,
    Figure 112009016327394-PAT00203
    ,
    Figure 112009016327394-PAT00204
    은 제 2 거리 신호이고,
    Figure 112009016327394-PAT00205
    는 1인 경우에 돌출 지점임을 나타낸다.)
  12. 제 11 항에 있어서, 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 단계는
    상기 특정 감시 목적물의 고유 자세에 기인한 상기 돌출 지점 간의 각도 차이에 기초하여 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 것을 특징으로 하는 무인 감시 방법.
  13. 학습 기간 동안에 입력되는 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부;
    상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 정보 연산부;
    상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부; 및
    상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 객체 픽셀 영역 판단부를 포함하는 무인 감시 장치.
  14. 제 1 항에 있어서, 상기 기준 밝기 정보 연산부는
    상기 통계 모델 상에서 상기 측정되는 밝기 값이 분포되어 있는 상기 밝기 구간의 평균값을 계산하여 상기 계산된 평균값을 상기 기준 밝기 값으로 결정하는 기준 밝기 값 결정부; 및
    아래 [수식 2]를 이용하여 상기 기준 밝기 표준 편차를 결정하는 기준 밝기 표준 편차 결정부를 포함하는 것을 특징으로 하는 무인 감시 장치.
    [수식 2]
    Figure 112009016327394-PAT00206
    (단,
    Figure 112009016327394-PAT00207
    은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 좌측의 밝기 구간의 값이고,
    Figure 112009016327394-PAT00208
    은 통계 모델 상에서 측정되는 밝기 값이 분포되어 있는 가장 우측의 밝기 구간의 값이며,
    Figure 112009016327394-PAT00209
    는 기준 밝기 표준 편차이고,
    Figure 112009016327394-PAT00210
    는 기준 밝기 값이다.)
  15. 제 14 항에 있어서, 상기 기준 밝기 정보 연산부는
    상기 재측정되는 밝기 값에 기초하여 상기 기준 밝기 값을 갱신하는 기준 밝기 값 갱신부를 더 포함하는 것을 특징으로 하는 무인 감시 장치.
  16. 제 15 항에 있어서, 상기 기준 밝기 값 갱신부는 아래 [수식 1]을 이용하여 상기 기준 밝기 값을 갱신하는 것을 특징으로 하는 무인 감시 시스템.
    [수식 1]
    Figure 112009016327394-PAT00211
    (단,
    Figure 112009016327394-PAT00212
    은 갱신 이전의 기준 밝기 값이고,
    Figure 112009016327394-PAT00213
    는 갱신 이후의 기준 밝기 값이며,
    Figure 112009016327394-PAT00214
    는 재측정되는 밝기 값이고,
    Figure 112009016327394-PAT00215
    는 0에서 1 사이의 값을 갖는 학습 변수이다.)
  17. 제 13 항에 있어서, 상기 객체 픽셀 영역 추출부는 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는 경우에는 제거하지 않고, 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되지 않는 경우에는 제거하여 객체 픽셀 지도를 생성하는 것을 특징으로 하는 무인 감시 장치.
  18. 제 17 항에 있어서, 상기 객체 픽셀 영역 추출부는 아래 [수식 3]을 이용하여 상기 밝기 값이 재측정되는 픽셀이 상기 객체 픽셀로 판단되는지 여부를 결정하고 이진값 0 및 1로 표현되는 상기 객체 픽셀 지도를 생성하는 객체 픽셀 지도 생성부를 포함하는 것을 특징으로 하는 무인 감시 장치.
    [수식 3]
    Figure 112009016327394-PAT00216
    (단,
    Figure 112009016327394-PAT00217
    는 객체 픽셀이고,
    Figure 112009016327394-PAT00218
    는 재측정되는 밝기 값이며,
    Figure 112009016327394-PAT00219
    는 기준 밝기 값이고,
    Figure 112009016327394-PAT00220
    는 기준 밝기 표준 편차이다.)
  19. 제 18 항에 있어서, 상기 객체 픽셀 영역 추출부는 아래 [수식 4]를 이용하여 상기 객체 픽셀 지도를 수정하는 객체 픽셀 지도 수정부를 더 포함하는 것을 특징으로 하는 무인 감시 장치.
    [수식 4]
    Figure 112009016327394-PAT00221
    (단,
    Figure 112009016327394-PAT00222
    는 객체 픽셀이고,
    Figure 112009016327394-PAT00223
    는 비용 함수이며,
    Figure 112009016327394-PAT00224
    는 0에서 1 사이의 값을 갖는 가중치이고,
    Figure 112009016327394-PAT00225
    는 객체 픽셀 영역
    Figure 112009016327394-PAT00226
    에서의 이진값 1과 0의 변화 주기이며,
    Figure 112009016327394-PAT00227
    는 해당 픽셀이 속한 연결 성분의 크기이고,
    Figure 112009016327394-PAT00228
    는 해당 픽셀을 중심으로
    Figure 112009016327394-PAT00229
    주변의 서로 다른 연결 성분의 개수이다.)
  20. 제 18 항에 있어서, 상기 객체 픽셀 영역 추출부는 상기 객체 픽셀 지도에서 이진값이 1인 제 1 픽셀과 제 2 픽셀 사이의 거리가 기 설정된 거리보다 작은 경우에 상기 제 1 픽셀과 상기 제 2 픽셀 사이의 제 3 픽셀들의 이진값을 1로 변경하여 상기 객체 픽셀 지도를 보정하는 객체 픽셀 지도 보정부를 더 포함하는 것을 특징으로 하는 무인 감시 장치.
  21. 제 13 항에 있어서, 상기 객체 픽셀 영역 판단부는 상기 객체 픽셀 영역에 대하여 성형 골격화 알고리즘을 적용하는 것을 특징으로 하는 무인 감시 장치.
  22. 제 21 항에 있어서, 상기 객체 픽셀 영역 판단부는
    아래 [수식 5]를 이용하여 상기 객체 픽셀 영역의 중심을 계산하는 객체 픽셀 영역 중심 연산부;
    아래 [수식 6]을 이용하여 상기 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 상기 중심 간의 거리를 계산하는 중심 거리 연산부;
    상기 경계 픽셀과 상기 중심 간의 거리가 상기 경계 픽셀의 개수만큼의 주기를 갖는다고 가정한 제 1 거리 신호에 대하여 이산 푸리에 변환을 수행하는 이산 푸리에 변환부;
    상기 이산 푸리에 변환이 수행된 제 1 거리 신호에 대하여 저역 통과 필터링을 수행하는 저역 통과 필터부;
    상기 저역 통과 필터링된 제 1 거리 신호에 대하여 역 이산 푸리에 변환을 수행하여 제 2 거리 신호를 생성하는 역 이산 푸리에 변환부;
    아래 [수식 7]을 이용하여 상기 객체 픽셀 영역에서 돌출 지점을 검출하는 돌출 지점 검출부; 및
    상기 돌출 지점 간의 위치 관계를 이용하여 상기 객체 픽셀 영역이 특정 감시 목적물에 해당하는지 여부를 판단하는 감시 목적물 판단부를 포함하는 것을 특징으로 하는 무인 감시 장치.
    [수식 5]
    Figure 112009016327394-PAT00230
    (단,
    Figure 112009016327394-PAT00231
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 개수이고,
    Figure 112009016327394-PAT00232
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
    Figure 112009016327394-PAT00233
    )는 객체 픽셀 영역의 중심의 좌표이다.)
    [수식 6]
    Figure 112009016327394-PAT00234
    (단,
    Figure 112009016327394-PAT00235
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀과 객체 픽셀 영역의 중심 간의 거리이고,
    Figure 112009016327394-PAT00236
    는 객체 픽셀 영역의 경계에 위치하는 경계 픽셀의 좌표이며,
    Figure 112009016327394-PAT00237
    )는 객체 픽셀 영역의 중심의 좌표이다.)
    [수식 7]
    Figure 112009016327394-PAT00238
    (단,
    Figure 112009016327394-PAT00239
    ,
    Figure 112009016327394-PAT00240
    ,
    Figure 112009016327394-PAT00241
    은 제 2 거리 신호이고,
    Figure 112009016327394-PAT00242
    는 1인 경우에 돌출 지점임을 나타낸다.)
  23. 제 22 항에 있어서, 상기 감시 목적물 판단부는 상기 특정 감시 목적물의 고유 자세에 기인한 상기 돌출 지점 간의 각도 차이에 기초하여 상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 것을 특징으로 하는 무인 감시 장치.
  24. 일정 구역을 촬영하여 상기 구역에 대한 촬영 영상을 전송하는 감시 카메라;
    상기 촬영 영상을 수신하여 특정 감시 목적물이 출현했는지를 감시하는 무인 감시 장치; 및
    상기 무인 감시 장치에 의하여 상기 특정 감시 목적물이 출현했다고 판단되는 경우 경보를 발생시키는 경보 장치를 포함하고,
    상기 무인 감시 장치는
    학습 기간 동안에 입력되는 상기 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부;
    상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 연산부;
    상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부; 및
    상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하는 객체 픽셀 영역 판단부를 포함하는 것을 특징으로 하는 무인 감시 시스템.
  25. 일정 구역에 대한 촬영 영상을 기초로 특정 감시 목적물이 출현했는지를 감시하는 무인 감시 장치를 구비한 일체형 감시 카메라; 및
    상기 일체형 감시 카메라에 의하여 상기 특정 감시 목적물이 출현했다고 판단되는 경우 경보를 발생시키는 경보 장치를 포함하고,
    상기 무인 감시 장치는
    학습 기간 동안에 입력되는 상기 영상의 매 프레임마다 픽셀들 각각의 밝기 값을 측정하여 상기 측정되는 밝기 값이 기 설정된 밝기 구간에서 어떻게 분포되는지를 나타내는 통계 모델을 생성하는 통계 모델 생성부;
    상기 통계 모델에 기초하여 상기 픽셀들 각각에 대한 기준 밝기 값 및 상기 픽셀들 각각에 대한 기준 밝기 표준 편차를 계산하는 기준 밝기 연산부;
    상기 기준 밝기 값, 상기 기준 밝기 표준 편차 및 상기 학습 기간 이후에 입력되는 영상의 매 프레임마다 재측정된 상기 픽셀들 각각의 밝기 값에 기초하여 객체 픽셀 영역을 추출하는 객체 픽셀 영역 추출부; 및
    상기 객체 픽셀 영역이 상기 특정 감시 목적물에 해당하는지 여부를 판단하 는 객체 픽셀 영역 판단부를 포함하는 것을 특징으로 하는 무인 감시 시스템.
KR1020090023015A 2009-03-18 2009-03-18 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템 KR101038726B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090023015A KR101038726B1 (ko) 2009-03-18 2009-03-18 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090023015A KR101038726B1 (ko) 2009-03-18 2009-03-18 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템

Publications (2)

Publication Number Publication Date
KR20100104536A true KR20100104536A (ko) 2010-09-29
KR101038726B1 KR101038726B1 (ko) 2011-06-03

Family

ID=43008771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090023015A KR101038726B1 (ko) 2009-03-18 2009-03-18 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템

Country Status (1)

Country Link
KR (1) KR101038726B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274741B1 (ko) * 2011-10-04 2013-06-17 성균관대학교산학협력단 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법
KR101480750B1 (ko) * 2014-06-26 2015-01-12 (주)유디피 모션 검출 장치 및 방법
US9508136B2 (en) 2014-05-08 2016-11-29 Hanwha Techwin Co., Ltd. Image fusing method
KR102143029B1 (ko) * 2020-04-02 2020-08-10 아성글로벌(주) 인공지능형 cctv 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480636B1 (ko) 2013-09-23 2015-01-09 주식회사 에스원 영상 감시 장치의 감시 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513739B1 (ko) 2002-08-23 2005-09-09 삼성전자주식회사 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
KR100615672B1 (ko) 2006-05-10 2006-08-28 주식회사 센텍 Ｘｙ축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체
KR101180160B1 (ko) * 2006-05-22 2012-09-10 엑시스 에이비 비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치
KR100901125B1 (ko) * 2007-04-24 2009-06-08 삼성전자주식회사 얼굴인식 방법과 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101274741B1 (ko) * 2011-10-04 2013-06-17 성균관대학교산학협력단 객체 영역의 유효성 판단 방법 및 장치, 객체 추출 방법
US9508136B2 (en) 2014-05-08 2016-11-29 Hanwha Techwin Co., Ltd. Image fusing method
KR101480750B1 (ko) * 2014-06-26 2015-01-12 (주)유디피 모션 검출 장치 및 방법
US9189706B1 (en) 2014-06-26 2015-11-17 UDP Technology Ltd. Apparatus and method for detecting motion
KR102143029B1 (ko) * 2020-04-02 2020-08-10 아성글로벌(주) 인공지능형 cctv 시스템

Also Published As

Publication number Publication date
KR101038726B1 (ko) 2011-06-03

Similar Documents

Publication Publication Date Title
US8681223B2 (en) Video motion detection, analysis and threat detection device and method
US10007836B2 (en) Bird detection device, bird detection system, bird detection method, and program extracting a difference between the corrected images
KR101593187B1 (ko) 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US7969470B2 (en) Moving object detection apparatus, method and program
CN107437318B (zh) 一种可见光智能识别算法
KR101168760B1 (ko) 화염 검출 방법 및 장치
US10713798B2 (en) Low-complexity motion detection based on image edges
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和系统
KR101038726B1 (ko) 높은 신뢰도를 갖는 무인 감시 방법, 무인 감시 장치 및 무인 감시 시스템
CN111489342B (zh) 一种基于视频的火焰检测方法、系统及可读存储介质
US10719717B2 (en) Scan face of video feed
Toreyin et al. Wildfire detection using LMS based active learning
Kaabi et al. Video smoke detection review: State of the art of smoke detection in visible and IR range
CN114120171A (zh) 基于视频帧的火灾烟雾检测方法、装置、设备及存储介质
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR101270718B1 (ko) 영상에서 화재를 검출하기 위한 영상처리 장치 및 방법
Buemi et al. Efficient fire detection using fuzzy logic
JP6275022B2 (ja) 画像監視装置
Miura et al. The examination of the image correction of the moving-object detection for low illumination video image
Jakovčević et al. Notice of Violation of IEEE Publication Principles: Review of wildfire smoke detection techniques based on visible spectrum video analysis
KR102440169B1 (ko) 멀티센서 신호 융합과 ai 영상 분석을 통한 유효감지 정확도를 향상시킨 스마트 경계 시스템
CN106921846A (zh) 视频移动终端遗留物检测装置
Harasse et al. People Counting in Transport Vehicles.
JPH0337356B2 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150515

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170518

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190514

Year of fee payment: 9