KR101335428B1 - 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법 - Google Patents

음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법 Download PDF

Info

Publication number
KR101335428B1
KR101335428B1 KR1020120144183A KR20120144183A KR101335428B1 KR 101335428 B1 KR101335428 B1 KR 101335428B1 KR 1020120144183 A KR1020120144183 A KR 1020120144183A KR 20120144183 A KR20120144183 A KR 20120144183A KR 101335428 B1 KR101335428 B1 KR 101335428B1
Authority
KR
South Korea
Prior art keywords
space
event
sound
monitoring
sensing
Prior art date
Application number
KR1020120144183A
Other languages
English (en)
Inventor
우승한
Original Assignee
우승한
(주) 신도컴퓨터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 우승한, (주) 신도컴퓨터 filed Critical 우승한
Priority to KR1020120144183A priority Critical patent/KR101335428B1/ko
Application granted granted Critical
Publication of KR101335428B1 publication Critical patent/KR101335428B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

음향감지를 이용한 지능형 감시 시스템이 개시된다. 상기 음향감지를 이용한 지능형 감시 시스템은, 적어도 하나의 감시장치 각각에 의해 센싱되는 입력음향을 수신하기 위한 수신모듈, 대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향에 대한 정보를 미리 저장하며 상기 적어도 하나의 감시장치로부터 수신되는 입력음향들 중 상기 대상 음향이 존재하는지를 탐지하기 위한 탐지모듈, 상기 적어도 하나의 감시장치 중에서 상기 대상 음향을 센싱한 적어도 하나의 센싱 감시장치를 특정하고, 상기 적어도 하나의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 적어도 하나의 센싱 감시장치 각각에 대한 대상 이벤트 발생방향을 판단하고, 판단된 결과에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 판단하기 위한 공간 판단모듈, 및 상기 공간 판단모듈에 의해 판단된 상기 이벤트 발생공간에 상응하며 적어도 하나의 감시장치 중에서 선택되는 조명선택 감시장치의 출력조명을 타 감시장치와는 구분되게 제어하기 위한 제어모듈을 포함한다.

Description

음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법{Intelligent surveillance system, apparatus and providing method thereof}
본 발명은 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법에 관한 것으로, 보다 상세하게는 마이크 어레이와 같은 음향감지센서를 이용해 입력음향을 센싱하고, 입력음향 중 대상 이벤트(예컨대, 범죄 또는 사고 등)가 발생함으로써 생성될 수 있는 대상 음향(예컨대, 비명소리, 유리가 깨지는 소리, 폭발음, 충돌음 등)이 존재하는 경우 상기 대상 음향이 센싱된 방향을 판단하며, 적어도 하나의 감시장치를 제어하여 상기 대상 이벤트가 발생한 이벤트 발생공간의 조명을 제어하거나, 상기 적어도 하나의 감시장치가 상기 이벤트 발생공간을 촬영하도록 제어하여 대상 이벤트의 발생시 이벤트 발생공간을 용이하게 식별할 수 있게 함으로써 신속한 대처가 가능한 시스템 및 그 제공방법에 관한 것이다.
각종 사고나 범죄와 같은 대상 이벤트의 예방 또는 상기 대상 이벤트가 발생한 경우 대처를 위한 다양한 감시 시스템 및/또는 감시장치가 널리 공지되어 있다.
그러나, 종래의 감시 시스템은 소정의 공간에서 정해진 범위의 영상정보만을 촬영할 수 있어 현재 촬영 중인 방향이 아닌 다른 방향에서 대상 이벤트가 발생하는 경우 이에 대한 영상정보를 획득하기 어려운 문제점이 있다.
또한, 대상 이벤트가 발생하는 경우 이를 실시간으로 인지하기 위해, 종래에는 감시장치를 통해 촬영되는 영상정보를 분석하여 대상 이벤트의 발생 여부를 판단하였으나, 전술한 바와 같이 감시장치가 촬영하는 방향이 아닌 다른 방향에서 대상 이벤트가 발생하는 경우에는 이를 바로 인지할 수 없는 문제점이 있다.
또한, 종래에는 야간에 대상 이벤트가 발생하는 경우 적외선 카메라 등을 이용하여 어느 정도 식별이 가능한 영상정보를 획득할 수는 있으나 선명하고 명확한 영상정보를 획득하기에는 한계가 있어, 예컨대 범죄 발생 시 범인의 인상착의를 구분하기 힘들거나, 사고 발생 시 상황을 정확하게 알기 힘든 문제점이 존재하였다.
특히, 종래의 감시 시스템 및/또는 감시장치는 별도의 조명이 구비되지 않아 야간에는 주변의 가로등과 같은 조명에 의지하거나, 또는 적외선 카메라를 이용하고 있으나, 이는 충분한 조명이 확보되지 못하는 관계로 전술한 바와 같이 명확한 영상정보를 획득하기 어려운 문제점이 있다.
따라서, 대상 이벤트의 발생 시 생성되는 음향을 센싱하여 대상 이벤트 발생 여부를 신속하게 알 수 있게 하고, 상기 음향이 센싱되는 방향을 파악하여 대상 이벤트가 발생한 이벤트 발생공간을 특정할 수 있도록 하는 기술적 사상이 요구된다.
또한, 감시장치에 조명을 포함하도록 하여 대상 이벤트 발생 시 특정된 이벤트 발생공간으로 조명이 출력될 수 있도록 하고, 특히 이벤트 발생공간은 다른 공간에 비해 조도 및/또는 조명색을 다르게 함으로써 이벤트 발생공간을 용이하게 식별할 수 있도록 하는 기술적 사상이 요구된다.
또한, 이벤트 발생공간이 특정됨으로써 감시장치가 특정된 이벤트 발생공간을 촬영할 수 있도록 감시장치의 촬영방향을 제어할 수 있는 기술적 사상이 요구된다.
따라서, 본 발명이 이루고자 하는 기술적인 과제는 감시장치에 의해 촬영되는 영상정보가 아닌 음향을 이용해 대상 이벤트의 발생 여부를 판단할 수 있게 하여 상기 감시장치가 대상 이벤트가 발생한 이벤트 발생공간을 향해 있지 않은 경우라도 대상 이벤트의 발생을 알 수 있도록 하는 시스템 및 감시장치를 제공하는 것이다.
또한, 감시장치에 의해 센싱된 입력음향의 방향을 판단하고 판단된 입력음향의 방향에 기초하여 대상 이벤트가 발생된 이벤트 발생공간을 특정하고, 특정된 이벤트 발생공간을 주변공간과 구분될 수 있도록 조명을 제어함으로써, 외부에서 해당 이벤트 발생공간으로의 시선을 집중시킴과 동시에 해당 이벤트 발생공간에서 발생하는 이벤트 또는 해당 이벤트의 관련 사물(또는 사람)을 명확하게 실벽할 수 있도록 하는 시스템 및 감시장치를 제공하는 것이다.
또한, 상기 감시장치가 상기 이벤트 발생공간을 촬영하도록 함으로써 상기 대상 이벤트의 발생 상황에 대한 영상정보를 획득할 수 있는 시스템 및 감시장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 음향감지를 이용한 지능형 감시 시스템은, 적어도 하나의 감시장치 각각에 의해 센싱되는 입력음향을 수신하기 위한 수신모듈, 대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향에 대한 정보를 미리 저장하며 상기 적어도 하나의 감시장치로부터 수신되는 입력음향들 중 상기 대상 음향이 존재하는지를 탐지하기 위한 탐지모듈, 상기 적어도 하나의 감시장치 중에서 상기 대상 음향을 센싱한 적어도 하나의 센싱 감시장치를 특정하고, 상기 적어도 하나의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 적어도 하나의 센싱 감시장치 각각에 대한 대상 이벤트 발생방향을 판단하고, 판단된 결과에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 판단하기 위한 공간 판단모듈, 및 상기 공간 판단모듈에 의해 판단된 상기 이벤트 발생공간에 상응하며 적어도 하나의 감시장치 중에서 선택되는 조명선택 감시장치의 출력조명을 타 감시장치와는 구분되게 제어하기 위한 제어모듈을 포함할 수 있다.
또한, 상기 제어모듈은, 상기 이벤트 발생공간을 촬영할 수 있도록 상기 적어도 하나의 감시장치 중에서 선택되는 적어도 하나의 촬영선택 감시장치의 촬영방향을 더 제어하는 것을 특징으로 할 수 있다.
또한, 상기 제어모듈은, 상기 조명선택 감시장치의 조도 또는 조명색을 타 감시장치와 구분되도록 제어하거나, 상기 이벤트 발생공간의 조도가 주변공간에 비해 높도록 상기 조명선택 감시장치를 제어하거나, 또는 상기 이벤트 발생공간의 조명색이 상기 주변공간과는 다르도록 상기 조명선택 감시장치를 제어하는 것을 특징으로 할 수 있다.
또한, 상기 공간 판단모듈은, 상기 센싱 감시장치가 한 개인 경우는, 한 개의 제1센싱 감시장치를 기준으로 상기 제1센싱 감시장치에 상응하는 제1탐지대상 이벤트 발생방향을 상기 이벤트 발생공간으로 특정할 수 있다.
또한, 상기 공간 판단모듈은, 상기 센싱 감시장치가 복수 개인 경우는, 상기 복수 개의 센싱 감시장치 각각에 상응하는 복수의 탐지대상 이벤트 발생방향에 기초하여 판단되는 교차공간을 상기 이벤트 발생공간으로 특정할 수 있다.
또한, 상기 제어모듈은, 공간 판단모듈에 의해 판단된 상기 이벤트 발생공간을 기준으로 미리 결정된 소정의 인근공간의 조명조건을 더 제어하거나, 상기 인근공간을 촬영할 수 있도록 적어도 하나의 감시장치를 더 제어할 수 있다.
상기 기술적 과제를 해결하기 위한 감시장치는, 입력음향을 센싱하며 복수의 마이크를 포함하는 마이크 어레이, 상기 마이크 어레이에 의해 센싱되는 입력음향을 음향감지를 이용한 지능형 감시 시스템으로 전송하기 위한 네트워크 인터페이스, 전송된 입력음향에 응답하여 상기 음향감지를 이용한 지능형 감시 시스템으로부터 출력되는 제어신호에 기초하여 조도 또는 조명색을 변경할 수 있는 조명부를 포함할 수 있다.
또한, 상기 조명부는, 상기 제어신호에 기초하여 소정의 이벤트 발생공간의 조도 또는 조명색을 변경할 수 있도록 지향성있는 조명을 출력할 수 있다.
또한, 상기 감시장치는, 상기 제어신호에 기초하여 소정의 이벤트 발생공간을 촬영하도록 제어되는 카메라부를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 음향감지를 이용한 지능형 감시 시스템 제공방법은, 음향감지를 이용한 지능형 감시 시스템이 적어도 하나의 감시장치 각각에 의해 센싱되는 입력음향을 수신하는 단계, 상기 음향감지를 이용한 지능형 감시 시스템이 대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향에 대한 정보를 미리 저장하고, 상기 적어도 하나의 감시장치로부터 수신되는 입력음향들 중 상기 대상 음향이 존재하는지 탐지하는 단계, 상기 음향감지를 이용한 지능형 감시 시스템이 상기 적어도 하나의 감시장치 중에서 상기 대상 음향을 센싱한 적어도 하나의 센싱 감시장치를 특정하는 단계, 상기 음향감지를 이용한 지능형 감시 시스템이 상기 적어도 하나의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 적어도 하나의 센싱 감시장치 각각에 대한 대상 이벤트 발생방향을 판단하고, 판단된 결과에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 특정하는 단계, 상기 음향감지를 이용한 지능형 감시 시스템이 상기 이벤트 발생공간에 상응하는 적어도 하나의 감시장치 중에서 조명선택 감시장치 또는 촬영선택 감시장치 중 적어도 하나를 선택하는 단계, 및 상기 음향감지를 이용한 지능형 감시 시스템이 상기 조명선택 감시장치의 출력조명을 타 감시장치와는 구분되게 제어하거나, 상기 촬영선택 감시장치의 촬영방향을 제어하는 단계를 포함할 수 있다.
또한, 상기 적어도 하나의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 적어도 하나의 센싱 감시장치 각각에 대한 대상 이벤트 발생방향을 판단하고, 판단된 결과에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 특정하는 단계는, 상기 센싱 감시장치가 복수 개인 경우, 상기 복수 개의 센싱 감시장치 각각에 상응하는 복수의 탐지대상 이벤트 발생방향에 기초하여 판단되는 교차공간을 상기 이벤트 발생공간으로 특정하는 단계를 포함할 수 있다.
또한, 상기 음향감지를 이용한 지능형 감시 시스템 제공방법은, 상기 음향감지를 이용한 지능형 감시 시스템이 판단된 상기 이벤트 발생공간을 기준으로 미리 결정된 소정의 인근공간의 조명조건을 더 제어하는 단계, 또는 상기 인근공간을 촬영할 수 있도록 적어도 하나의 감시장치를 더 제어하는 단계 중 적어도 하나의 단계를 더 포함할 수 있다.
본 발명에 따른 음향감지를 이용한 지능형 감시 시스템 및 감시장치는 대상 이벤트의 발생에 의해 생성되는 음향을 통해 대상 이벤트의 발생 여부를 판단할 수 있어 감시장치가 대상 이벤트가 발생한 이벤트 발생공간을 항상 촬영하고 있지 않아도 대상 이벤트의 발생 여부를 신속하게 알 수 있는 효과가 있다.
또한, 감시장치가 센싱하는 음향의 방향을 파악하고, 이를 이용하여 이벤트 발생공간을 특정할 수 있음으로 인해 대상 이벤트가 발생한 이벤트 발생공간을 신속하고 용이하게 알 수 있는 효과가 있다.
또한, 특정된 이벤트 발생공간으로 출력되는 조명을 제어할 수 있어 이벤트 발생공간을 용이하게 식별할 수 있는 효과가 있다.
또한, 이벤트 발생공간을 특정할 수 있으므로 감시장치가 특정된 이벤트 발생공간을 촬영하도록 촬영방향을 제어할 수 있어 이벤트 발생공간에 대한 영상정보를 신속하고 정확하게 획득할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템의 개략적인 구성을 나타낸다.
도 2는 본 발명의 실시 예에 따른 감시장치의 개략적인 구성을 나타낸다.
도 3은 본 발명의 실시 예에 따라 마이크 어레이를 통해 센싱되는 입력음향의 방향을 판단하는 일 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)이 하나의 센싱 감시장치를 통해 이벤트 발생공간을 판단하는 일 예를 나타낸다.
도 5는 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)이 복수 개의 센싱 감시장치를 통해 이벤트 발생공간을 판단하는 일 예를 나타낸다.
도 6은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템이 이벤트 발생공간 및 인근공간을 감시하는 일 예를 나타낸다.
도 7은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템 제공방법의 개략적인 흐름을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템의 개략적인 구성을 나타낸다.
도 1을 참조하면, 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)은 제어모듈(110), 수신모듈(120), 탐지모듈(130), 및/또는 공간모듈(140)을 포함한다.
상기 음향감지를 이용한 지능형 감시 시스템(100)은 소정의 서버 및/또는 소정의 데이터 프로세싱 장치의 형태로 구현될 수 있다. 상기 음향감지를 이용한 지능형 감시 시스템(100)은 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)와 소정의 데이터를 송수신하여 본 발명의 기술적 사상을 수행할 수 있다. 예를 들면, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)의 기능 및/또는 동작을 제어하기 위한 소정의 제어신호를 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)로 전송할 수 있다. 또한, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 센싱하는 입력음향 및/또는 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)이 촬영하는 소정의 이벤트 발생공간에 대한 영상정보를 수신할 수도 있다. 이러한 상기 음향감지를 이용한 지능형 감시 시스템(100)은 소정의 공간들을 모니터링하고 특정 이벤트(예컨대, 범죄, 사고 등)의 발생시 이에 대처할 수 있는 소정의 기관 또는 상황실 등에 설치될 수 있다.
상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 특정 공간(예컨대, 건물, 도로 등)의 소정의 위치에 설치되어 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 포함된 마이크 어레이로 입력되는 음향 즉, 입력음향을 수신(센싱)할 수 있다. 또한, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 상기 특정 공간 중 적어도 일부를 촬영하여 영상정보를 획득할 수도 있다. 이를 위해 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 카메라부를 포함할 수 있다. 상기 카메라부는 영상을 센싱할 수 있는 다양한 형태의 이미지 센서(예컨대, CCD, CMOS 등) 또는 CCTV 등으로 구현될 수 있다. 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)는 센싱한 상기 입력음향 및/또는 상기 영상정보를 상기 음향감지를 이용한 지능형 감시 시스템(100)으로 전송할 수 있다. 또한, 상기 음향감지를 이용한 지능형 감시 시스템(100)의 제어신호에 기초하여 상기 특정 공간 중 상기 감시장치(200, 200-1, 200-2, 200-3 등)를 기준으로 특정 방향 또는 원하는 공간을 선택적으로 촬영할 수 있다.
또한, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 소정의 조명수단을 구비하여 상기 소정의 공간 및/또는 상기 이벤트 발생공간에 선택적으로 조명(빛)을 출력할 수 있으며, 이를 위한 상기 조명수단은 다양한 색깔 및/또는 조도의 조명을 출력할 수 있도록 구현되는 것이 바람직할 수 있다.
한편, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)는 상기 입력음향이 센싱되는 방향(또는 음원방향)을 판단할 수 있다. 이를 위해 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 마이크 어레이를 포함할 수 있다. 일 실시 예에 의하면, 상기 입력음향의 방향의 판단은 각각의 감시장치(200, 200-1, 200-2, 200-3 등)에 의해 수행될 수도 있다. 다른 실시 예에 의하면, 상기 음향감지센선는 입력음향을 상기 음향감지를 이용한 지능형 감시 시스템(100)으로 전송하고, 이에 따라 상기 입력읍향의 방향은 상기 음향감지를 이용한 지능형 감시 시스템(100)에 의해 판단될 수도 있다. 물론, 이때에는 마이크 어레이에 포함된 각각의 마이크로폰별로 센싱한 입력음향을 구분하여 상기 음향감지를 이용한 지능형 감시 시스템(100)로 전송할 수 있다.
이하, 본 명세서에서는 상기 음향감지센서가 마이크 어레이로 구현되는 경우를 일 예로 설명하지만 이에 한정되는 것은 아니며, 센싱되는 입력음향의 방향을 판단할 수 있는 어떠한 음향감지센서로도 구현될 수 있다. 이러한 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)의 구성 및 그 작용에 대해서는 후술할 도 2 내지 도 3을 통해 상세히 설명하도록 한다.
한편, 본 명세서에서 상기 입력음향은 소정의 공간에서 발생하며 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 소정의 음향감지센서(예컨대, 마이크 어레이 등)를 통해 센싱하는 다양한 음향을 의미할 수 있다.
또한, 본 명세서에서는 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)에 의해 감시의 대상이 될 수 있는 특정 이벤트(예컨대, 범죄 또는 사고 등)를 대상 이벤트로 정의하고, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 센싱하는 상기 입력음향들 중, 상기 대상 이벤트(예컨대, 범죄 또는 사고 등)에 의해 발생할 수 있는 특정 음향(예컨대, 예컨대 비명, 유리창 깨지는 소리, 폭발음, 충돌음 등)을 대상 음향이라 정의하도록 한다.
또한, 본 명세서에서 상기 이벤트 발생공간이라 함은, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 감시(예컨대, 상기 입력음향의 센싱, 상기 영상정보의 촬영, 및/또는 조명출력 등)하는 소정의 공간에서 특정한 대상 이벤트가 발생한 공간, 또는 상기 대상 이벤트가 발생한 공간을 감시하는 특정 감시장치의 감시범위를 의미할 수 있다. 예컨대, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 감시하는 공간 중 특정 공간에서 범죄나 사고 등의 이벤트가 발생하는 경우, 범죄나 사고 등이 발생한 상기 특정 공간이 상기 이벤트 발생공간일 수 있으며, 또는 범죄나 사고 등이 발생한 상기 특정 공간을 감시범위로 포함하는 감시장치의 감시범위가 상기 이벤트 발생공간일 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드위어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것이 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있을 것이다. 따라서, 도 1에 도시된 상기 음향감지를 이용한 지능형 감시 시스템(100)의 각각의 구성은기능 및 논리적으로 분리될 수 있음을 나타내는 것이며, 반드시 각각의 구성이 별도의 물리적 장치로 구분되거나 별도의 코드로 작성됨을 의미하는 것은 아니다.
상기 제어모듈(110)은 상기 수신모듈(120), 상기 탐지모듈(130), 및/또는 상기 공간 판단모듈(140)을 제어하여 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)의 기능 및 작용을 구현하도록 할 수도 있으며, 특히 본 발명의 기술적 사상을 구현하기 위해 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각의 기능 및/또는 동작을 제어할 수 있다.
예를 들어, 상기 제어모듈(110)은 후술할 바와 같이 상기 이벤트 발생공간이 특정되면, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 조명선택 감시장치 및/또는 촬영선택 감시장치를 선택하여 선택된 감시장치의 출력조명 및/또는 촬영방향을 제어할 수 있다.
여기서 상기 출력조명을 제어한다고 함은, 상기 제어모듈(110)이 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 선택된 조명선택 감시장치의 조명을 타 감시장치와 구분될 수 있도록 제어하는 것을 의미할 수 있다. 상기 조명선택 감시장치는 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 이벤트 발생공간과 가장 인접한 적어도 하나의 감시장치일 수 있다. 구현 예에 따라서는, 상기 이벤트 발생공간으로 지향성 조명을 출력할 수 있는 감시장치를 의미할 수도 있다. 일 실시 예에 의하면, 상기 조명선택 감시장치는 상기 대상음향을 센싱한 감시장치 즉, 센싱 감시장치일 수 있다. 즉, 상기 센싱 감시장치는 이벤트 발생공간과 인접한 감시장치일 수 있으므로, 상기 제어모듈(110)은 단순히 상기 센싱 감지장치를 조명선택 감시장치로 특정할 수 있다. 그러면, 상기 센싱 감지장치의 조명을 타 감시장치의 조명에 비해 밝게 제어하거나, 조명의 색을 달리 하거나, 또는 조명을 깜빡이는 등 사람들이 해당 감시장치로 이목을 집중할 수 있는 다양한 방식으로 상기 센싱 감시장치의 조명을 제어할 수 있다. 이러한 경우에는 이벤트가 발생한 공간만의 조명이 제어되되기보다는 이벤트가 발생한 공간의 주변까지 폭넓게 조명제어가 수행될 수 있다.
한편, 본 발명의 실시 예에 의하면, 상기 제어모듈(110)은 이벤트가 발생한 공간 즉 이벤트 발생공간에 대해서만 집중적으로 조명제어를 수행할 수도 있다. 이때에는 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각은 지향성 조명장치를 구비하는 것이 바람직할 수 있다.
예컨대, 상기 제어모듈(110)은 상기 조명선택 감시장치의 조도, 조명색, 및/또는 조명의 출력주기 등을 타 감시장치와 구분되도록 제어할 수 있다. 구현 예에 따라, 상기 제어모듈(110)은 상기 이벤트 발생공간의 조도가 주변공간에 비해 높도록 상기 조명선택 감시장치를 제어할 수도 있으며, 또는 상기 이벤트 발생공간의 조명색을 상기 주변공간과 다르도록 상기 조명선택 감시장치를 제어할 수도 있다. 이러한 상기 이벤트 발생공간을 판단하는 과정에 대해서는 후술하도록 한다.
또한, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 촬영선택 감시장치가 선택되는 경우에는 선택된 상기 촬영선택 감시장치의 촬영방향이 상기 이벤트 발생공간을 촬영할 수 있는 방향이 되도록 제어할 수 있다. 상기 촬영선택 감시장치는 상기 이벤트 발생공간을 촬영할 수 있는 감시장치를 의미할 수 있으며, 상기 촬영선택 감시장치는 상기 조명선택 감시장치와 동일한 감시장치일 수도 있지만 반드이 동일할 필요는 없다.
이를 위해 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 배치된 소정의 공간에 대한 정보, 상기 소정의 공간상에서 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각이 배치된 위치에 대한 정보, 및/또는 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 의해 조명될 수 있는 공갖 즉, 조명공간에 대한 정보를 미리 저장하고 있을 수도 있다. 물론, 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 의해 쵤영될 수 있는 공간 즉, 촬영공간에 대한 정보 등을 미리 저장할 수도 있다. 각각의 공간에 대한 정보는 예컨대, BIM(Building Information Modeling) 정보 및/또는 GIS(Geographic Information System) 정보 등으로 모델링될 수 있지만, 이에 한정되지는 않으며 공간을 표현할 수 있는 어떠한 방식 또는 코드에 의해서도 상기 소정의 공간, 적어도 하나의 감시장치의 위치, 감시장치별 조명공간, 및/또는 촬영공간이 미리 저장될 수 있다.
결국, 상기 제어모듈(110)은 후술할 바와 같이 상기 이벤트 발생공간이 특정되면, 상기 이벤트 발생공간이 용이하게 식별될 수 있도록 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 선택된 감시장치를 제어할 수 있다.
한편, 상기 수신모듈(120)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 의해 센싱되는 입력음향을 수신할 수 있다. 구현 예에 따라, 상기 수신모듈(120)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 촬영하는 영상정보를 수신할 수도 있다. 상기 영상정보는 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 상기 제어모듈(110)의 제어신호에 따라 특정 시간에 특정 공간(예컨대, 이벤트 발생공간 등)을 촬영한 영상정보일 수 있으며, 구현 예에 따라서는 소정의 공간을 계속해서 촬영하면서 획득되는 영상정보일 수도 있다.
상기 탐지모듈(130)은 상기 수신모듈(120)이 수신한 상기 입력음향들 중 상기 대상 음향이 존재하는지를 탐지할 수 있으며, 이를 위해 상기 대상 음향에 대한 정보를 미리 저장하고 있을 수 있다. 상기 대상 음향이 소정의 대상 이벤트(예컨대, 범죄 또는 사고 등)가 발생했을 때 생성될 수 있는 음향을 의미할 수 있다는 것은 전술한 바와 같다. 상기 대상 음향에 대한 정보는 입력음향이 대상음향인지 여부를 판단할수 있는 음향특성(예컨대, 주파수, 진폭, 파형 등)에 대한 정보를 포함할 수 있다. 예컨대, 대상음향이 사람의 비명소리인 경우에는, 성별, 연령대별 비명소리 등이 미리 상기 탐지모듈(130)에 저장되어 있을 수 있으며, 성별, 연령대별 비명소리의 특징적인 음향특성만이 샘플링되어 미리 저장되어 있을 수도 있다.
따라서, 상기 탐지모듈(130)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 감시하는 공간에서 비명, 유리 깨지는 소리 등 범죄와 관련되었을 가능성이 높은 음향이나, 폭발음, 자동차 충돌음 등 사고가 발생할 경우 발생할 수 있는 음향에 대한 정보를 대상 음향에 대한 정보로 미리 저장하고 있다가, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)에 의해 센싱되는 입력음향들 중 상기 대상 음향과 상응하는 음향이 존재하는지를 탐지할 수 있으며, 상기 탐지모듈(130)에 의해 대상 음향이 탐지되는 경우 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 대상 이벤트가 발생하였다고 판단할 수 있다.
이처럼 상기 탐지모듈(130)에 의해 상기 대상 음향의 존재가 탐지되면, 상기 공간 판단모듈(140)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 상기 대상 음향을 센싱한 감시장치 즉, 센싱 감시장치를 특정할 수 있다. 즉, 도 1에 도시된 바와 같이 복수의 감시장치(예컨대, 200, 200-1, 200-2, 200-3 등) 중 특정 감시장치(예컨대, 200)에 의해 센싱된 입력음향이 상기 대상 음향으로 탐지되는 경우, 상기 공간 판단모듈(140)은 상기 특정 감시장치(예컨대, 200)을 센싱 감시장치로 특정할 수 있다. 물론, 상기 센싱 감시장치는 상기 복수의 감시장치(예컨대, 200, 200-1, 200-2, 200-3 등) 중 하나의 감시장치로 특정될 수도 있지만, 상기 대상 음향을 센싱한 감시장치가 다수 개인 경우(예컨대, 200, 200-1) 상기 대상 음향을 센싱한 다수 개의 감시장치(예컨대, 200, 200-1) 각각을 센싱 감시장치로 특정할 수도 있다.
그러면, 상기 공간 판단모듈(140)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 상기 대상 음향을 센싱한 방향 즉, 대상 이벤트 발생방향을 후술할 바와 같이 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)에 포함되어 상기 입력음향을 센싱하는 마이크 어레이의 방향에 기초하여 판단할 수 있다. 상기 마이크 어레이의 방향은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 각각의 PTZ(pen, tilt, zoom) 정보에 의해 판단될 수 있다. 물론, 이때 상기 마이크 어레이의 방향은 각각의 감시장치(200, 200-1, 200-2, 200-3 등)의 PTZ 정보와 상기 마이크 어레이가 각각의 감시장치(200, 200-1, 200-2, 200-3 등)에 부착된 방향에 기초하여 판단될 수 있으며, 상기 PTZ 정보는 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각의 PTZ를 제어하는 상기 제어모듈(110)에 의해 판단될 수 있다. 상기 공간 판단모듈(140)은 상기 마이크 어레이의 방향을 알고, 마이크 어레이의 방향을 기준으로 대상 음향이 센싱되는 방향을 판단할 수 있다.
도 3은 본 발명의 실시 예에 따른 마이크 어레이를 통해 센싱되는 입력음향의 방향을 판단하는 일 예를 나타낸다.
도 3을 참조하면, 특정 감시장치(예컨대, 200)에 포함되는 마이크 어레이(220)는 적어도 하나의 마이크로폰을 포함할 수 있다. 설명의 편의를 위해 두 개의 마이크로폰이 상기 마이크 어레이(220)에 구비되는 경우를 일 예로 설명하면, 상기 마이크 어레이(220)는 제1마이크로폰(221) 및 제2마이크로폰(222)을 포함할 수 있다. 상기 제1마이크로폰(221)과 상기 제2마이크로폰(222)은 미리 결정된 간격을 두고 배치될 수 있으며, 상기 간격에 대한 정보는 상기 공간 판단모듈(140)이 미리 알고 있을 수 있다. 그러면, 소정의 방향에 위치한 음원으로부터 출력된 소정의 음향신호가 상기 제1마이크로폰(221) 및 상기 제2마이크로폰(222) 각각에 의해 센싱되는 경우, 센싱되는 시간차이에 의해 상기 음원의 방향(센싱방향)이 특정될 t수 있다.
도 3에 도시된 바와 같이, 어떠한 음향(S1 신호)을 발생시키는 제1음원(S1)이 상기 마이크 어레이(220)의 정면 방향에 위치하는 경우, 상기 음향이 상기 제1마이크로폰(221) 및 상기 제2마이크로폰(222)으로 도달하는 시간은 동일할 수 있다. 즉, 상기 제1마이크로폰(221) 및 상기 제2마이크로폰(222)이 각각 상기 제1음원(S1)의 음향을 동일한 시간에 센싱할 수 있다. 그러나, 제2음원(S2)과 같이 상기 제1마이크로폰(221)과 상기 제2마이크로폰(222)의 중심에서 어느 한 방향으로 치우친 공간에서 발생하는 음향(S2 신호)은 도면에 도시된 바와 같이 상기 제1마이크로폰(221) 및 상기 제2마이크로폰(222) 각각으로 도달하기 위한 거리가 다를 수 있으며, 이러한 경우 상기 제1마이크로폰(221) 및 상기 제2마이크로폰(222)은 소정의 시간차(△t)를 두고 상기 음향(S2 신호)을 센싱할 수 있다. 그러면, 상기 공간 판단모듈(140)은 상기 시간차(△t)에 기초하여 상기 음원(S2)의 방향을 판단할 수 있다. 도 3에서 예를 든 경우뿐 아니라, 이처럼 복수의 마이크로폰을 이용한 마이크 어레이를 통해 특정 음원의 방향을 판단할 수 있는 기술은 널리 공지되어 있으므로 본 명세서에서 상세한 설명은 생략하도록 한다.
한편, 이러한 입력음향의 센싱방향(음원의 방향)의 판단은 상기 음향감지를 이용한 지능형 감시 시스템(100)에 의패 판단되는 것이 아니라, 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 의해 판단될 수도 있다. 이러한 경우에는 마이크어레이(220)에 포함된 적어도 두 개의 마이크로폰 각각으로부터 입력되는 음향신호의 비교, 시간차이의 판단, 및 이에 따라 센싱방향을 판단하기 위한 소정의 소프트웨어 및 상기 소프트웨어를 구동하기 위한 소정의 연산장치가 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각에 더 구비될 수도 있다. 결국, 상기 음향감지를 이용한 지능형 감시 시스템(100)에 포함된 상기 공간 판단모듈(140)의 일부 구성은 상기 감시장치(200, 200-1, 200-2, 200-3 등)에 구비될 수도 있다. 이러한 경우에는 상기 감시장치(200, 200-1, 200-2, 200-3 등)에 구비된 상기 공간 판단모듈(140)의 일부 구성 및 상기 음향감지를 이용한 지능형 감시 시스템(100)에 포함된 나머지 일부의 구성이 결합된 구성이 상기 공간 판단모듈(140)로 정의될 수도 있다.
다시, 도 2를 참조하면, 상기 공간 판단모듈(140)은 이처럼 판단된 상기 대상 이벤트 발생방향에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 판단할 수 있다. 이처럼 상기 공간 판단모듈(140)이 상기 이벤트 발생공간을 판단하는 방법에 대하여 도 4 내지 도 5를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)이 하나의 센싱 감시장치를 통해 이벤트 발생공간을 판단하는 일 예를 나타낸다.
도 4를 참조하면, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 어느 하나의 제1센싱 감시장치(예컨대, 200)만이 대상 이벤트의 발생 즉, 대상음향을 센싱지한 경우가 도시된다. 도 4에 도시된 바와 같이, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)가 감시하는 소정의 공간 중 이벤트 발생위치(1)에서 소정의 대상 이벤트가 발생한 경우, 상기 대상 이벤트에 상응하는 대상음향이 상기 제1센싱 감시장치(예컨대, 200)에 의해 센싱될 수 있다.
그러면, 상기 공간 판단모듈(140)은 상기 제1센싱 감시장치를 기준으로 상기 이벤트 발생위치(1)의 방향 즉, 상기 제1센싱 감시장치(예컨대, 200)에 상응하는 제1이벤트 발생방향 자체를 상기 이벤트 발생공간(10)으로 특정할 수 있다. 즉, 이때에는 상기 이벤트 발생공간(10)은 도 5의 경우와는 달리 상기 제1센싱 감시장치(예커대, 200)를 기준으로 상기 제1센싱 감시장치(예컨대, 200)에 구비된 조명부가 상기 제1이벤트 발생방향으로 빛을 발하는 조명공간 자체가 상기 이벤트 발생공간(10)으로 특정될 수도 있다.
또한, 상기 이벤트 발생공간(10)으로 조명을 하기 위한 조명선택 감시장치역시 상기 제1센싱 감시장치(200)일 수 있다. 그러면, 상기 제어모듈(110)은 상기 제1센싱 감시장치(200)가 상기 이벤트 발생공간(10)으로 조명을 출력할 수 있도록 PTZ(조명의 경우에는 pen, tilt 제어만 수행해도 됨)를 제어한 후 조명을 출력하도록 제어할 수 있다. 이때에는 상기 이벤트 발생공간(10)의 조명조건을 타 공간과 구분될 수 있도록 제어할 수 있다. 물론, 도 4의 경우느 상기 제1센싱 감시장치(예컨대, 200)에 구비되는 조명부는 지향성 조명장치일 수 있다. 만약, 상기 제1센싱 감시장치(예컨대, 200)에 구비되는 조명부가 무지향성 조명장치로 구현되는 경우에는, 상기 제1센싱 감시장치(200)의 PTZ 제어가 필요하지 않을 수 있다.
한편, 도 5는 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)이 복수 개의 센싱 감시장치를 통해 이벤트 발생공간을 판단하는 일 예를 나타낸다.
도 5를 참조하면, 소정의 이벤트 발생위치(1)에서 발생한 대상 이벤트에 상응하는 대상음향을 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3)가 센싱할 수 있다. 그러면, 상기 공간 판단모듈(140)은 상기 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3) 각각별로 상응하는 이벤트 발생방향(즉, 상기 이벤트 발생위치(1) 방향)을 판단할 수 있다. 그리고 각각의 이벤트 발생방향으로 조명을 출력하도록 상기 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3)의 PTZ 제어를 수행한 후, 조명을 출력할 수 있도록 할 수 있다.
구현 예에 따라서는, 상기 공간 판단모듈(140)은 상기 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3) 각각에 상응하는 이벤트 발생방향에 기초하여 교차공간을 판단하고, 판단된 교차공간을 상기 이벤트 발생공간(10)으로 특정할 수도 있다. 이때에는 도 5에 도시된 바와 같이 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3) 각각을 기준으로 이벤트 발생방향으로 소정의 폭을 갖는 개별 이벤트 발생공간이 존재한다고 가정하고, 상기 개별 이벤트 발생공간이 적어도 두 개 교차하는 공간을 상기 교차공간으로 판단할 수 있다. 도 5에서는 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-2, 200-3) 각각에 상응하는 개별 이벤트 발생공간 4개가 모두 교차하는 공간을 이벤트 발생공간(10)으로 특정한 경우를 나타내는데, 이에 한정되는 것은 아니다. 이처럼 복수 개의 센싱장치에 의해 대상음향이 탐지되는 경우에는 상기 이벤트 발생공간(10)은 도 4에 도시된 바와 같이 보다 구체적으로 특정될 수도 있고, 이에 따라 보다 좁은 영역에 대해서 집중적으로 조명제어가 가능할 수 있는 효과가 있다.
다시 도 1을 참조하면, 전술한 바와 같이 다양한 방식으로 상기 공간 판단모듈(140)에 의해 상기 이벤트 발생공간(10)이 특정되면, 상기 제어모듈(110)은 상기 이벤트 발생공간(10)에 상응하며 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중에서 선택되는 조명선택 감시장치 및/또는 촬영선택 감시장치를 전술한 바와 같이 제어하여, 상기 이벤트 발생공간(10)이 용이하게 파악될 수 있도록 하거나 또는 상기 이벤트 발생공간(10)이 촬영되도록 할 수 있다. 또한, 상기 조명선택 감시장치는 도 4 및 도 5에서는 센싱 감시장치와 동일한 경우를 일 예로 설명하였지만, 반드시 이에 한정되지는 않으며 특정된 이벤트 발생공간(10)으로 조명을 출력할 수 있는 어떠한 감지장치라도 상기 조명선택 감시장치로 선택될 수 있다. 물론, 촬영선택 감시장치의 경우도 마찬가지일 수 있다. 만약, 각각의 감시장치별로 촬영방향과 조명방향이 다른 경우에는 조명선택 감시장치와 촬영선택 감시장치는 서로 다르게 선택될 수도 있다.
또한 구현 예에 따라, 상기 제어모듈(110)은 상기 공간 판단모듈(140)에 의해 판단된 상기 이벤트 발생공간(10)을 기준으로 미리 결정된 소정의 인근공간에 대하여 조명조건을 더 제어하거나, 상기 인근공간을 촬영할 수 있도록 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)를 더 제어할 수도 있다. 이에 대하여는 도 6을 참조하여 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템이 이벤트 발생공간 및 인근공간을 감시하는 일 예를 나타낸다.
도 6을 참조하면, 상기 공간 판단 모듈(140)에 의해 특정된 이벤트 발생공간(10) 및 상기 이벤트 발생공간(10)을 중심으로 소정의 범위만큼의 인근공간(20)이 존재할 수 있다. 상기 인근공간(20)은 이벤트 발생공간(10)이 특정되면 상기 이벤트 발생공간을 중심으로 일정 영역을 가지도록 미리 설정될 수 있다. 상기 이벤트 발생공간(10)은 전술한 바와 같이 상기 센싱 감시장치가 복수 개인 경우, 복수 개의 센싱 감시장치(예컨대, 200, 200-1, 200-4) 각각에 상응하는 복수의 이벤트 발생방향에 기초하여 판단되는 교차공간일 수 있으며, 상기 인근공간(20)은 상기 이벤트 발생공간(10)을 중심으로 소정의 범위를 갖는 공간일 수 있다. 상기 제어모듈(110)은 상기 인근공간(20)이 특정되면 상기 인근공간(20)을 조명할 수 있는 감시장치를 별도로 선택한후, 상기 인근공간(20)으로도 조명을 출력할 수도 있다. 이때 상기 인근공간(20)의 조명조건(예컨대, 조도, 조명색, 조명주기 등)은 상기 이벤트 발생공간(10)의 조명조건과 동일할 수도 있고, 그렇지 않을 수도 있다. 하지만, 상기 인근공간(20)의 외부공간과는 구별될 수 있는 것이 바람직할 수 있다.
이처럼 상기 이벤트 발생공간(10)뿐만 아니라 일정범위의 인근공간(20)까지 조명제어를 함으로써, 폭넓은 영역이 주변과 구분되게 조명됨으로써 대상 이벤트가 이동하면서 발생하거나 대상 이벤트의 발생후 관련 사물 또는 사람이 이동할 수 있는 경우에도 용이한 식별이 가능해지는 효과가 있다.
예를 들어, 상기 이벤트 발생공간(10)에서 발생한 상기 대상 이벤트가 강도 사건인 경우, 범인에 의해 피해를 당한 피해자의 비명소리가 복수의 감시장치(예컨대, 200, 200-1, 200-2, 200-4)에 의해 상기 대상 음향으로 센싱될 수 있고, 상기 복수의 감시장치(예컨대, 200, 200-1, 200-2, 200-4)는 각각 상기 비명소리가 센싱된 방향을 각각 이벤트 발생방향으로 하여 감시를 수행할 수 있다. 이때, 상기 복수의 감시장치(예컨대, 200, 200-1, 200-4) 각각에 상응하는 이벤트 발생방향에 의해 판단되는 교차공간이 상기 이벤트 발생공간(10) 즉, 범죄가 발생한 공간으로 특정되고, 특정된 상기 이벤트 발생공간(10)을 중심으로 소정의 영역이 상기 인근공간(20)으로 특정될 수 있다. 그러면, 범인이 상기 이벤트 발생공간(10)을 벗어나 이동하는 경우 상기 제어모듈(110)이 상기 인근공간(20)까지 출력조명의 제어 및/또는 촬영방향 제어를 수행함으로써, 범인의 인상착의가 보다 선명하게 촬영되거나 범인의 이동방향을 보다 용이하게 예측할 수 있도록 할 수 있는 효과를 가질 수 있다. 물론, 상기 인근공간(20)에 대한 조명의 출력이나, 촬영은 상기 이벤트 발생공간(10)을 위한 조명선택 감시장치 또는 촬영선택 감시장치에 의해 수행될 수도 있다.
한편, 도 2는 본 발명의 실시 예에 따른 감시장치의 개략적인 구성을 나타낸다.
도 2를 참조하면, 본 발명의 실시 예에 따른 감시장치(200)는 네트워크 인터페이스(210), 마이크 어레이(220), 및/또는 조명부(230)를 포함하며, 구현 예에 따라 카메라부(240)를 더 포함할 수 있다.
상기 네트워크 인터페이스(210)는 소정의 네트워크 통신을 통해 상기 음향 감지를 이용한 지능형 감시 시스템(100)과 소정의 데이터를 송수신할 수 있다. 예를 들어, 상기 마이크 어레이(220)에 의해 센싱되는 입력음향 및/또는 상기 카메라부(240)를 통해 획득되는 영상정보가 상기 네트워크 인터페이스(210)를 통해 상기 음향감지를 이용한 지능형 감시 시스템(100)으로 전송될 수 있으며, 상기 음향감지를 이용한 지능형 감시 시스템(100)으로부터 전송되는 소정의 제어신호가 상기 네트워크 인터페이스(210)를 통해 수신될 수도 있다. 상기 제어신호는 상기 감시장치(200, 200-1, 200-2, 200-3 등) 각각의 방향을 제어할 수 있는 신호(예컨대, PTZ 제어신호)일 수 있다.
상기 마이크 어레이(220)는 상기 감시장치(200)가 위치한 소정의 공간에서 발생하는 음향들을 입력음향으로 센싱할 수 있다. 또한, 센싱된 입력음향이 상기 마이크 어레이(220)에 포함된 복수의 마이크로폰들에 센싱되는 시간차이에 의해 입력음향의 센싱방향 즉, 입력음향에 상응하는 음원의 방향이 판단될 수 있으며, 이에 대해서는 도 3에서 전술한 바와 같다.
상기 조명부(230)는 상기 음향감지를 이용한 지능형 감시 시스템(100)으로부터 전송되는 제어신호에 기초하여 조명의 조도 및/또는 조명색을 변경할 수 있다. 구현 예에 따라, 상기 조명부(230)는 특정 방향으로 지향성을 가지는 조명을 출력하도록 구현될 수 있으며, 이러한 경우 상기 이벤트 발생공간이 주변공간에 비해 용이하게 식별될 수 있는 효과를 가질 수 있다.
상기 카메라부(240)는 상기 감시장치(200)가 위치한 공간을 촬영하여 영상정보를 획득할 수 있으며, 특히 상기 음향감지를 이용한 지능형 감시 시스템(100)의 제어에 따라 특정 공간 즉, 상기 이벤트 발생공간을 촬영할 수 있다. 구현 예에 따라, 상기 카메라부(240)는 촬영한 상기 영상정보를 상기 네트워크 인터페이스(210)를 통해 상기 음향감지를 이용한 지능형 감시 시스템(100)으로 전송할 수도 있다.
도 7은 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템 제공방법의 개략적인 흐름을 나타낸다.
도 7을 참조하면, 본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템(100)은 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등)에 의해 센싱되는 입력음향을 수신(s10)하고, 센싱된 상기 입력음향이 대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향인지 여부를 판단(s20)할 수 있다. 판단결과, 상기 입력음향이 상기 대상 음향인 경우, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중 상기 대상 음향을 센싱한 적어도 하나의 센싱 감시장치를 특정(s30)하고, 상기 적어도 하나의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 판단되는 상기 적어도 하나의 센싱 감시장치 각각에 대한 이벤트 발생방향에 기초하여 상기 대상 이벤트의 이벤트 발생공간을 특정(s40)할 수 있다.
이처럼 상기 이벤트 발생공간이 특정되면, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 이벤트 발생공간에 상응하며 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중에서 조명선택 감시장치를 선택(s50a)하여, 선택된 상기 조명선택 감시장치의 출력조명을 제어(s60a)할 수 있다. 이때, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 조명선택 감시장치의 출력조명을 타 감시장치와는 구분되게 제어할 수 있으며, 구체적으로 상기 조명선택 감시장치의 조도, 조명색, 및/또는 조명주기를 상기 타 감시장치와 구분되도록 다르게 제어할 수 있다. 또는, 구현 예에 따라 상기 이벤트 발생공간의 조도가 주변공간에 비해 높도록 상기 조명선택 감시장치를 제어하거나, 상기 이벤트 발생공간의 조명색이 상기 주변공간과는 다르도록 상기 조명선택 감시장치를 제어할 수 있음은 전술한 바와 같다.
한편, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 상기 단계(s40)에 의해 상기 이벤트 발생공간이 특정되면, 상기 적어도 하나의 감시장치(200, 200-1, 200-2, 200-3 등) 중에서 적어도 하나의 촬영선택 감시장치를 선택(s50b)할 수도 있다. 이처럼 상기 촬영선택 감시장치가 선택되면, 상기 음향감지를 이용한 지능형 감시 시스템(100)은 선택된 상기 촬영선택 감시장치의 촬영방향을 더 제어(s60b)할 수도 있다.
본 발명의 실시 예에 따른 음향감지를 이용한 지능형 감시 시스템 제공방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로써 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세크먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (12)

  1. 복수의 감시장치 각각에 의해 센싱되는 입력음향을 수신하기 위한 수신모듈;
    대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향에 대한 정보를 미리 저장하며 상기 복수의 감시장치로부터 수신되는 입력음향들 중 상기 대상 음향이 존재하는지를 탐지하기 위한 탐지모듈;
    상기 복수의 감시장치 중에서 상기 대상 음향을 센싱한 복수 개의 센싱 감시장치를 특정하고, 상기 복수 개의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 복수 개의 센싱 감시장치 각각에 대한 이벤트 발생방향을 판단하고, 상기 복수 개의 센싱 감시장치 각각에 상응하는 복수의 이벤트 발생방향에 기초하여 판단되는 교차공간을 상기 대상 이벤트의 이벤트 발생공간으로 특정하기 위한 공간 판단모듈; 및
    상기 공간 판단모듈에 의해 판단된 상기 이벤트 발생공간에 상응하며 상기 복수의 감시장치 중에서 선택되는 조명선택 감시장치가 상기 이벤트 발생공간으로 지향성 조명을 출력하여 상기 이벤트 발생공간과 상기 이벤트 발생공간의 주변 공간이 구분되도록 제어하기 위한 제어모듈을 포함하는 음향감지를 이용한 지능형 감시 시스템.
  2. 제1항에 있어서, 상기 제어모듈은,
    상기 이벤트 발생공간을 촬영할 수 있도록 상기 복수의 감시장치 중에서 선택되는 적어도 하나의 촬영선택 감시장치의 촬영방향을 더 제어하는 것을 특징으로 하는 음향감지를 이용한 지능형 감시 시스템.
  3. 제1항에 있어서, 상기 제어모듈은,
    상기 조명선택 감시장치의 조도 또는 조명색을 타 감시장치와 구분되도록 제어하거나,
    상기 이벤트 발생공간의 조도가 주변공간에 비해 높도록 상기 조명선택 감시장치를 제어하거나, 또는
    상기 이벤트 발생공간의 조명색이 상기 주변공간과는 다르도록 상기 조명선택 감시장치를 제어하는 것을 특징으로 하는 음향감지를 이용한 지능형 감시 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 제어모듈은,
    공간 판단모듈에 의해 판단된 상기 이벤트 발생공간을 기준으로 미리 결정된 소정의 인근공간의 조명조건을 더 제어하거나, 상기 인근공간을 촬영할 수 있도록 적어도 하나의 감시장치를 더 제어하는 음향감지를 이용한 지능형 감시 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 음향감지를 이용한 지능형 감시 시스템이 복수의 감시장치 각각에 의해 센싱되는 입력음향을 수신하는 단계;
    상기 음향감지를 이용한 지능형 감시 시스템이 대상 이벤트가 발생했을 때 생성될 수 있는 대상 음향에 대한 정보를 미리 저장하고, 미리 저장된 상기 대상 음향에 대한 정보에 기초하여 상기 복수의 감시장치로부터 수신되는 입력음향들 중 상기 대상 음향이 존재하는지 탐지하는 단계;
    상기 음향감지를 이용한 지능형 감시 시스템이 상기 복수의 감시장치 중에서 상기 대상 음향을 센싱한 복수 개의 센싱 감시장치를 특정하는 단계;
    상기 음향감지를 이용한 지능형 감시 시스템이 상기 복수 개의 센싱 감시장치 각각의 마이크 어레이의 방향에 기초하여 상기 복수 개의 센싱 감시장치 각각에 대한 이벤트 발생방향을 판단하고, 상기 복수 개의 센싱 감시장치 각각에 상응하는 복수의 이벤트 발생방향에 기초하여 판단되는 교차공간을 상기 대상 이벤트의 이벤트 발생공간으로 특정하는 단계;
    상기 음향감지를 이용한 지능형 감시 시스템이 상기 이벤트 발생공간에 상응하는 복수의 감시장치 중에서 조명선택 감시장치를 선택하는 단계; 및
    상기 음향감지를 이용한 지능형 감시 시스템이 상기 조명선택 감시장치가 상기 이벤트 발생공간으로 지향성 조명을 출력하도록 제어하여 상기 이벤트 발생공간과 상기 이벤트 발생공간의 주변공간이 구분되도록 하는 단계를 포함하는 음향감지를 이용한 지능형 감시 시스템 제공방법.
  11. 삭제
  12. 제10항에 있어서, 상기 음향감지를 이용한 지능형 감시 시스템 제공방법은,
    상기 이벤트 발생공간과 상기 이벤트 발생공간의 주변공간이 구분된 후, 상기 음향감지를 이용한 지능형 감시 시스템이 특정된 상기 이벤트 발생공간을 기준으로 미리 결정된 소정의 인근공간의 조명조건을 더 제어하는 단계를 더 포함하는 음향감지를 이용한 지능형 감시 시스템 제공방법.

KR1020120144183A 2012-12-12 2012-12-12 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법 KR101335428B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144183A KR101335428B1 (ko) 2012-12-12 2012-12-12 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144183A KR101335428B1 (ko) 2012-12-12 2012-12-12 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020130100842A Division KR20140076474A (ko) 2013-08-26 2013-08-26 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법

Publications (1)

Publication Number Publication Date
KR101335428B1 true KR101335428B1 (ko) 2013-11-29

Family

ID=49858891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144183A KR101335428B1 (ko) 2012-12-12 2012-12-12 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법

Country Status (1)

Country Link
KR (1) KR101335428B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056054A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 지능형 차량 방범 장치 및 방법
KR20160063083A (ko) * 2014-11-26 2016-06-03 한화테크윈 주식회사 카메라 시스템 및 카메라 시스템 동작 방법
KR101699445B1 (ko) * 2015-07-17 2017-01-24 아이브스테크놀러지(주) 복합 감지 cctv, 이상 감지 장치 및 이의 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167678A (ja) * 1997-12-03 1999-06-22 Optex Co Ltd 検知方向可変型の人体検知センサ
KR20100000580A (ko) * 2008-06-25 2010-01-06 계영정보통신(주) 공동주택 보안 시스템 및 그것의 서비스방법
KR20120063272A (ko) * 2010-12-07 2012-06-15 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
KR20120108784A (ko) * 2011-03-25 2012-10-05 노창수 소리발생 방향 감지에 따른 감시카메라 시스템 및 이를 이용한 위치추정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167678A (ja) * 1997-12-03 1999-06-22 Optex Co Ltd 検知方向可変型の人体検知センサ
KR20100000580A (ko) * 2008-06-25 2010-01-06 계영정보통신(주) 공동주택 보안 시스템 및 그것의 서비스방법
KR20120063272A (ko) * 2010-12-07 2012-06-15 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
KR20120108784A (ko) * 2011-03-25 2012-10-05 노창수 소리발생 방향 감지에 따른 감시카메라 시스템 및 이를 이용한 위치추정 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056054A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 지능형 차량 방범 장치 및 방법
KR102299820B1 (ko) * 2014-11-11 2021-09-08 현대모비스 주식회사 지능형 차량 방범 장치 및 방법
KR20160063083A (ko) * 2014-11-26 2016-06-03 한화테크윈 주식회사 카메라 시스템 및 카메라 시스템 동작 방법
KR101990370B1 (ko) * 2014-11-26 2019-06-18 한화테크윈 주식회사 카메라 시스템 및 카메라 시스템 동작 방법
KR101699445B1 (ko) * 2015-07-17 2017-01-24 아이브스테크놀러지(주) 복합 감지 cctv, 이상 감지 장치 및 이의 방법
US10271016B2 (en) 2015-07-19 2019-04-23 Ivs Technology Corporation Integrated monitoring CCTV, abnormality detection apparatus, and method for operating the apparatus

Similar Documents

Publication Publication Date Title
KR101445367B1 (ko) 이상 음원에 대한 인식율 향상을 통하여 긴급상황 판별 성능을 개선한 지능형 영상감시 시스템 및 이를 이용한 긴급상황 판별방법
KR101464344B1 (ko) 감시 영상의 정상 상태 학습을 통한 이상 상태 감지 방법과 이를 적용한 감시 카메라 및 영상 관리 시스템
EP3016382B1 (en) Monitoring methods and devices
EP2710801B1 (en) Surveillance system
KR101685900B1 (ko) 교차로 사고 감지를 위한 모니터링 시스템
KR101543542B1 (ko) 지능형 감시 시스템 및 이를 이용한 지능형 감시 방법
US20160225160A1 (en) Monitoring camera, monitoring system, and motion detection method
KR101352337B1 (ko) 지능형 다기능 현장 감시 장치 및 그 방법
KR20130101873A (ko) 열화상 카메라를 이용한 산불 감시 장치 및 그 방법
KR101335428B1 (ko) 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법
JP2013109440A (ja) 防犯カメラ装置
JP2010015258A (ja) 監視システム、情報処理装置及び情報処理方法、並びにプログラム
KR102183903B1 (ko) 감시 카메라 및 감시 카메라 제어 방법
KR100775867B1 (ko) 이동 물체 자동 추적 시스템
KR102513372B1 (ko) 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법
US20200309890A1 (en) System and method for providing a device access to sensor data
KR20140076474A (ko) 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법
KR101131469B1 (ko) 지역방범시스템 및 이의 운영방법
KR101653820B1 (ko) 열 감지 기반의 대상체 및 상황 감지 시스템
US10979675B2 (en) Video monitoring apparatus for displaying event information
KR20170127960A (ko) 불법주정차 단속시스템
KR101799334B1 (ko) 적외선 광원을 활용한 벽 소실 및 칩임 감지 센서부 및 이를 이용한 침입 감지 방법
KR101224534B1 (ko) 모션인식 기능을 가지는 이미지프로세싱에 의한 자동화재인식 시스템
GB2459374A (en) Fire monitor using camera with narrow field of view and using a remote marker
KR102170690B1 (ko) 감시카메라 장치

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181106

Year of fee payment: 6