KR101850486B1 - 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법 - Google Patents

지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법 Download PDF

Info

Publication number
KR101850486B1
KR101850486B1 KR1020160081579A KR20160081579A KR101850486B1 KR 101850486 B1 KR101850486 B1 KR 101850486B1 KR 1020160081579 A KR1020160081579 A KR 1020160081579A KR 20160081579 A KR20160081579 A KR 20160081579A KR 101850486 B1 KR101850486 B1 KR 101850486B1
Authority
KR
South Korea
Prior art keywords
acoustic
sound source
sound
sensors
time difference
Prior art date
Application number
KR1020160081579A
Other languages
English (en)
Other versions
KR20170015139A (ko
Inventor
길민식
Original Assignee
한국산업기술대학교산학협력단
길민식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단, 길민식 filed Critical 한국산업기술대학교산학협력단
Publication of KR20170015139A publication Critical patent/KR20170015139A/ko
Application granted granted Critical
Publication of KR101850486B1 publication Critical patent/KR101850486B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Abstract

본 발명에 의한 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법이 개시된다. 본 발명에 따른 음원 방향 탐지 시스템은 다수의 브라켓의 단부 각각에 장착되어, 음원으로부터 발생한 음향 신호를 수신하는 다수의 음향 센서; 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호의 도달 시간차를 산출하여 그 산출된 도달 시간차를 이용하여 상기 음원의 방향을 추정하는 제어 모듈; 및 상기 제어 모듈에 의해 추정된 상기 음원의 방향을 향하도록 회전 구동되는 카메라를 포함한다.

Description

지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법{SYSTEM FOR TRACKING SOUND DIRECTION USING INTENLLIGENT SOUNND COLLECTION/ANALYSIS AND METHOD THEREOF}
본 발명은 음원 방향 탐지 기술에 관한 것으로서, 특히, 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법에 관한 것이다.
소리에 의한 방향 감각은 양쪽 귀에 음파가 도달하는 차이에 의해 판별되는 것으로 사람의 경우에 16방향까지 인지가 가능하고, 개의 경우 32방향까지 인지가 가능하다. 오래전부터 이러한 음원의 방향감지에 대해서 연구가 진행되었고, 음원의 방향감지 기술은 음원국지화 기술의 바탕이 되었다.
이러한 음원국지화 기술은 레이더(radar), SONAR시스템, 인간과 로봇간의 상호작용, 스마트 감시카메라 등 다양한 분야에서 적용 및 연구되고 있다. 음원 국지화를 위한 음원 방향지각 방식에는 마이크로폰 어레이를 이용하는 방법이 있다.
기존에 개발된 2채널 마이크로폰 어레이를 이용하는 음원 방향감지 시스템은 2개의 마이크로폰을 통해 들어온 신호를 이용하여 음원의 방향을 검출하는 방식이다. 이러한 방식의 음원 방향감지 시스템은 특정 범위 이상에서는 비선형적인 결과를 보이기 때문에 음원의 방향을 검출하기 어려운 문제점을 가지고 있다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 고정된 다수의 브라켓의 단부에 음향 센서를 장착하고 그 장착한 음향 센서로부터 수신된 신호들 간의 도달 시간차를 산출하여 산출된 도달 시간차를 기반으로 음원의 방향을 추정하도록 하는 지능형 음원 수집/분석을 이용한 음원 방향 탐지 시스템 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 음원 방향 탐지 시스템은, 다수의 브라켓의 단부 각각에 장착되어, 음원으로부터 발생한 음향 신호를 수신하는 다수의 음향 센서; 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호들의 도달 시간차를 산출하고 이를 이용하여 상기 음원의 발생 방향을 추정하는 제어 모듈; 및 상기 제어 모듈에 의해 추정된 상기 음원의 발생 방향을 향하도록 회전 구동되는 카메라를 포함하는 것을 특징으로 한다.
여기서, 상기 제어 모듈은, 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호로부터 노이즈를 제거하는 노이즈 제거부; 상기 노이즈가 제거된 음향 신호들 간의 도달 시간차를 산출하는 도달시간차 산출부; 및 상기 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 방향을 추정하는 음원방향 추정부를 포함할 수 있다.
또한, 상기 제어 모듈은, 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호 중 샘플링 주기 동안 음향 신호의 절대값의 적분값의 크기가 기 설정된 임계치 이상인지를 확인하여, 그 확인한 결과로 상기 샘플링 주기 동안의 상기 음향 신호의 절대값의 적분값의 크기가 임계치 이상이면 상기 음원으로부터 음향 신호가 발생하였다고 판단하여 상기 다수의 음향 센서들 사이의 음향 신호들의 도달 시간차를 산출할 수 있다.
한편, 상기 다수의 음향 센서는, 하나의 브라켓을 기준으로 시계 방향 또는 반 시계 방향으로 90도만큼 회전시키되 서로 중첩되지 않는 위치에 배치된 고정된 4개의 브라켓의 단부 각각에 장착되는 4개의 음향 센서일 수 있다.
또한, 상기 다수의 브라켓들 사이에 장착되어 화재 발생을 감지하는 복수의 화재 센서들을 더 포함하고, 상기 제어 모듈은 상기 화재 센서들 중 하나에 의해 감지된 화재 발생 방향으로 상기 카메라를 회전 구동시킬 수 있다.
또한, 상술한 목적을 달성하기 위한 본 발명의 실시예에 따른 음원 방향 탐지 방법은, 다수의 브라켓의 단부 각각에 장착된 다수의 음향 센서를 통해 음원으로부터 발생한 음향 신호를 수신하는 단계; 상기 다수의 음향 센서 각각을 통해 수신된 음향 신호들 간의 도달 시간차를 산출하여 그 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 발생 방향을 추정하는 단계; 및 추정된 상기 음원의 발생 방향을 향하도록 카메라를 회전 구동시키는 단계를 포함할 수 있다.
여기서, 상기 추정하는 단계는, 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호로부터 노이즈를 제거하는 단계; 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호의 절대값의 적분값의 크기가 기 설정된 임계치 이상인지를 확인하여, 상기 임계치 이상이면 상기 음원으로부터 음향 신호가 발생하였다고 판단하고, 상기 다수의 음향 센서 사이의 음향 신호의 도달 시간차를 산출하는 단계; 및 상기 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 발생 방향을 추정하는 단계를 포함할 수 있다.
또한, 상기 다수의 브라켓들 사이에 장착되어 화재 발생을 감지하는 복수의 화재 센서들 중 하나에 의해 감지된 화재 발생 방향으로 상기 카메라를 회전 구동시키는 단계를 더 포함할 수 있다.
상술한 바와 같은 본 발명에 따르면, 고정된 다수의 브라켓의 단부에 음향 센서를 장착하고 그 장착한 음향 센서로부터 수신된 신호들 간의 도달 시간차를 산출하여 산출된 도달 시간차를 기반으로 음원의 방향을 추정하도록 함으로써, 음원이 발생한 방향을 정확하게 추정할 수 있는 효과가 있다.
또한 본 발명은 잡음이 있는 환경에서도 음원이 발생한 방향을 정확하게 추정하는 것이 가능하기 때문에 화재 등의 재난 상황에 즉각적인 대응이 가능할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 음원방향 탐지 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 제어 모듈의 상세한 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 음향 센서의 장착 위치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 음원 방향 탐지 원리를 설명하기 위한 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 음향 신호 도달 원리를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 구현된 음원방향 탐지 시스템을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 음원방향 탐지 방법을 나타내는 도면이다.
이하에서는, 본 발명의 실시예에 따른 지능형 음원 수집/분석을 이용한 음원 방향 탐지 시스템 및 그 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 고정된 다수의 브라켓의 단부에 음향 센서를 장착하고 그 장착한 음향 센서로부터 수신된 신호들 간의 도달 시간차를 산출하여 산출된 도달 시간차를 기반으로 음원의 방향을 추정하도록 하는 새로운 음원 방향 탐지 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 음원방향 탐지 시스템의 구성을 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 음원방향 탐지 시스템은 음향 센서(110), 화재 센서(120), 카메라(130), 구동부(140), 제어 모듈(150)을 포함할 수 있다.
음향 센서(110)는 후술하는 바와 같이 고정된 브라켓의 단부에 장착되어, 음원으로부터 발생된 음향 신호를 수신할 수 있다. 이러한 음향 센서(110)는 서로 다른 위치에 배치되는 다수 개의 브라켓의 단부 각각에 장착될 수 있도록 다수 개가 구비되는 것이 바람직하다.
예컨대, 4개의 음향 센서가 고정된 4개의 브라켓의 단부 각각에 장착될 수 있다. 이하, 본 명세서에서는 4개의 브라켓과 그 단부들에 4개의 음향 센서가 각각 장착되는 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 필요에 따라 브라켓 및 음향센서들은 각각 3개, 5개 등 다양한 개수로 사용될 수 있다.
화재 센서(120)는 예를 들어 4개의 고정된 브라켓과 브라켓 사이의 적절한 위치에 각각 복수개가 장착되어, 화재가 발생한 경우 화재가 발생한 방향에 설치된 화재 센서에 의해 화재 발생을 감지함으로써 화재의 발생 방향을 추정할 수 있다.
카메라(130)는 구동부(140)에 의해 상, 하, 좌, 우로 회전될 수 있는데, 예컨대, 음향 신호가 발생된 음원의 발생 방향 또는 화재가 발생한 것으로 감지된 방향으로 회전될 수 있다.
제어 모듈(150)는 음향 센서(110), 화재 센서(120), 카메라(130), 및 구동부(140) 등과 연동하여, 음원의 발생 방향을 추정하거나 화재의 발생 방향을 추정하고 추정된 음원의 발생 방향 또는 화재 발생 방향의 영상을 취득하도록 카메라(130)를 회전 구동시킬 수 있다.
그 일예로, 상기 제어 모듈(150)은 고정된 브라켓의 단부에 장착된 다수의 음향 센서(110)들을 통해 수신된 음향 신호를 수신하면, 음원의 발생 위치로부터 복수의 음향 센서(110)까지의 음향 신호의 도달 시간차를 산출하고, 그 산출된 도달 시간차를 기반으로 음원이 어느 방향에서 발생했는지를 추정할 수 있다.
다른 예로, 상기 제어 모듈(150)은 복수의 화재 센서(120) 중 화재가 발생한 방향에 설치된 화재 센서에 의해 화재 발생이 감지되면, 구동부(140)를 제어하여 화재가 발생한 것으로 감지된 방향으로 카메라(130)를 회전시킬 수도 있다.
도 2는 본 발명의 일 실시예에 따른 음원 발생 방향을 추정하기 위한 제어 모듈의 상세한 구성을 나타내는 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 음원 발생 방향을 추정하기 위한 제어 모듈(150)은 통신부(151), 노이즈 제거부(152), 도달시간차 계산부(153), 음원방향 추정부(154), 저장부(155)를 포함할 수 있다.
통신부(151)는 다수의 음향 센서(110), 화재 센서(120), 구동부(140) 등과 유선 또는 무선 연동하여 각종 데이터를 송수신할 수 있다. 예컨대, 통신부(151)는 다수의 음향 센서(110)를 통해 수신된 음향 신호에 대한 데이터를 유선 또는 무선으로 음향 센서(110)로부터 수신할 수 있다.
노이즈 제거부(152)는 다수의 음향 센서 각각을 통해 수신된 음향 신호를 입력 받고 입력 받은 음향 신호를 필터링하여 그 필터링한 결과로 음향 신호의 노이즈를 제거할 수 있다. 이때, 노이즈 제거부(152)는 LPF(Low Pass Filter)를 사용하는 것이 바람직하다.
도달시간차 계산부(153)는 노이즈 제거부(152)에 의해 노이즈가 제거된 음향 신호를 입력 받고 입력 받은 음향 신호들이 음원 발생위치로부터 각 음향 센서들에 도달하는 시간차인 도달시간차(TDOA: Time Delay of Arrival)를 산출할 수 있다.
본 발명에 따른 음향신호들 간의 도달 시간차 산출 과정은 우선적으로 음원의 발생 여부를 판단한다. 음원 발생 여부 판단은 예를 들어 다수의 음향 센서 각각으로부터 수신된 음향 신호 중 가장 먼저 수신된 음향 신호의 크기가 기 설정된 임계치 이상인지를 확인하고, 그 확인한 결과로 임계치 이상이면 음원으로부터 음향 신호가 발생하였다고 판단한다.
일예로, 음향 신호의 크기는 기 설정된 샘플링 주기 동안 수신된 음향 신호의 진폭값에 대한 절대치를 누적 합산한 값 즉, 적분값을 사용할 수 있는데, 음원 발생 여부 판단을 위한 음향 신호의 크기는 다음의 [수학식 1]과 같이 정의될 수 있다.
[수학식 1]
Figure 112016062931899-pat00001
여기서 s(t)는 음향 센서에 도달하는 음향 신호, T는 샘플링 주기, S는 샘플링 주기 동안 음향 신호 크기의 적분값을 나타낸다.
상기 [수학식 1]에 의해 산출되는 적분값은 동일한 샘플 주기 동안 음향 센서 각각에서 수신되는 음향 신호에 따라 다르게 나타내는데, 이러한 이유는 음원이 발생된 후 각각의 음향 센서에 도달하는 거리가 다르기 때문이다.
이하에서는, 음향 신호의 크기로 수학식 1과 같이 기 설정된 샘플링 주기 동안의 적분값을 사용하는 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 기타 공지된 다양한 방법이 사용될 수도 있다. 상술한 바와 같은 음향 신호의 적분값의 크기는 복수의 음향센서에 음향신호가 도달하는 도달 시간차를 산출하는데 이용될 수 있다. 예를 들어 음원으로부터 음향 신호가 음향 센서에 도달하는 경우 도달된 음향 신호의 적분값이 소정 크기 이상인 샘플링 주기의 시작점이 그 음향 센서에 음향 신호가 도달한 때라고 판단할 수 있다. 따라서, 복수의 음향 센서 각각에서 음향 신호의 적분값이 소정 크기 이상인 샘플링 주기의 시작점들에 대한 시간에 대한 정보를 얻는 경우, 복수의 음향 센서들 사이에서 음향 신호가 도달하는 도달 시간차를 산출할 수 있다.
음원방향 추정부(154)는 상술한 바와 같이 산출된 음향 신호들 간의 도달시간차를 이용하여 음원의 발생 방향을 추정하는데, 이러한 음원의 방향은 공지된 다양한 방법으로 추정할 수 있다, 대표적인 알고리즘으로는 Talor 식을 이용한 Least Square 알고리즘, Maximum Likelihood 알고리즘, Closed-Form 알고리즘, 칼만 필터 알고리즘 등이 있다.
특히 Maximum Likelihood 알고리즘은 Likelihood ratio를 최대로 하는, 즉 측정 잔차에 대한 공분산을 최소로 하는 비용 함수를 이용하여 추정하는 방법으로서, 이에는 1994년 Chan과 Ho가 제안한 CH(Chan-Ho) 알고리즘이 가장 대표적이다.
CH 알고리즘은 선형화하지 않고 음원의 위치를 계산하는 알고리즘으로 음향 센서의 개수가 4개인 경우에 가장 잘 적용되는 알고리즘이다. 이에 따르면 TDoA 방식 즉 도달 시간에 대한 측정치의 차분 값과 음향 센서의 위치 값을 이용하여 음원의 위치를 구할 수 있다.
TDoA 방식을 이용하는 경우, 상술한 바와 같은 도달시간차는 음원 발생 위치와 음향 센서들과의 거리의 차이에 비례하고, 음원 발생 위치와 음향 센서간의 거리 차(ri+1, ri)는 다음 수학식 2와 같이 표현할 수 있는 특성을 가진다.
[수학식 2]
cΔti +1, i = ri+1, i = ri+1 - ri
r3,2 + r2,1 - r3,1 = 0
r4,3 + r3,1 - r4,1 = 0
r4,2 + r2,1 - r4,1 = 0
r4,3 + r3,2 - r4,2 = 0
여기서 c는 음원의 전파 속도이고, Δti +1, i는 i번째 음향 센서와 i+1번째 음향 센서의 음원의 도달 시간차, ri+1, i 는 음원 발생 위치로부터 i번째 음향 센서와 i+1번째 음향 센서까지의 거리의 차, ri+1 는 음원 발생 위치로부터 i+1번째 음향 센서까지의 거리, ri는 음원 발생 위치로부터 i번째 음향 센서까지의 거리를 나타낸다.
Ki를 다음 수학식 3과 같이 놓고 r3, 2r2 , 1r3 ,1을 계산하면 아래의 수학식 4로 표현된다. 수학식 4를 다음 수학식 5의 형태로 변경하고 상술한 수학식 3을 이용하면 다음 수학식 6과 같이 (l1, m1, u1, v1)의 해를 구할 수 있다.
[수학식 3]
Ki = xi 2 + yi 2 + zi 2
[수학식 4]
r3, 2r2 , 1r3 ,1 = r3, 2r1 2 + r2, 1r3 2 - r3, 1r2 2
[수학식 5]
r3, 2r2 , 1r3 ,1 = l1 + m1x - u1y +v1z
[수학식 6]
l1 = r3,2K1 + r2,1K3 - r3,1K2
m1= -2(r3,2x1 + r2,1x3 - r3,1x2)
u1 = -2(r3, 2y1 + r2, 1y3 - r3, 1y2)
v1 = -2(r3, 2z1 + r2, 1z3 - r3, 1z2)
동일한 방법으로 아래 수학식 7, 8, 9와 같이 (l2, m2, u2, v2), (l3, m3, u3, v3), (l4, m4, u4, v4)를 구할 수가 있다.
[수학식 7]
r4, 3r3 , 1r4 ,1 = r4, 3r1 2 + r3, 1r4 2 - r4, 1r3 2
= l2 + m2x - u2y +v2z
[수학식 8]
r4, 2r2 , 1r4 ,1 = r4, 2r1 2 + r2, 1r4 2-r4, 1r2 2
= l3 + m3x - u3y +v3z
[수학식 9]
r4, 3r3 , 2r4 ,2 = r4, 3r2 2 + r3, 2r4 2-r4, 2r3 2
= l4 + m4x - u4y +v4z
따라서 상기 수학식 5, 7, 8, 9를 이용하면 다음 수학식 10과 같이 표현되는 선형방정식으로 만들 수 있고 이를 계산하여 음원 발생 위치인 (x,y,z) 좌표를 구할 수 있고, 이로부터 음원 발생 방향을 추정할 수 있게 된다.
[수학식 10]
Figure 112016062931899-pat00002
Figure 112016062931899-pat00003
저장부(155)는 음향 신호, 음향 신호들 간의 도달 시간차, 음원 발생 방향 등에 관한 정보를 저장할 수 있다. 이때, 저장부(155)는 다수의 음향 센서 각각으로부터 수신된 음향 신호를 저장할 수 있도록 물리적으로 분리된 다수의 저장부로 구현될 수도 있고, 음향 센서들로부터 수신된 음향 신호를 모두 저장할 수 있도록 물리적으로 결합된 하나의 저장부로 구현될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 음향 센서의 장착 위치를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 본 발명에 따른 복수의 음향 센서(110a, 110b, 110c, 110d)는 고정된 복수의 브라켓(200a, 200b, 200c, 200d)의 단부에 각각 장착될 수 있다. 예컨대, 4개의 음향 센서가 고정된 4개의 브라켓의 단부 각각에 장착될 수 있다. 이때, 4개의 브라켓은 하나의 브라켓을 기준으로 시계 방향 또는 반 시계 방향으로 90도만큼 회전시키되 서로 중첩되지 않는 위치에 배치되어 + 형상을 이룰 수 있다. 서로 90도만큼 회전된 4개의 브라켓에 장착된 4개의 음향 센서가 사용되고, 마주보는 음향 센서들의 간격을 적절히 조절(예를 들어 음원의 전파속도에 비례하는 길이를 갖도록 조절)하는 경우에는 음원 발생 위치 및 방향의 추정에 대한 계산의 복잡성을 감소시킬 수 있어 바람직하다.
도 4는 본 발명의 일 실시예에 따른 음원 방향 탐지 원리를 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 음원 발생 위치(S)로부터 음향 신호가 발생하는 경우 4개의 브라켓(200a, 200b, 200c, 200d)의 단부에 장착된 4개의 음향 센서들(110a, 110b, 110c, 110d) 각각은 발생된 음향 신호를 수신할 수 있다.
예를 들어 도시된 바와 같이 S의 위치에서 음원이 발생한 경우, 음향 센서 #1(110a)는 음원 발생 위치(S)와 가장 가까운 거리에 위치하기 때문에 가장 먼저 음향 신호를 수신하고, 음원 발생 위치(S)와의 거리가 점점 멀어짐에 따라 음향 센서 #2(110b), 음향 센서 #4(110d), 음향 센서 #3(110c) 순으로 음향 신호를 수신하게 된다.
이처럼 4개의 음향 센서들(110a, 110b, 110c, 110d) 각각은 음원 발생 위치로부터의 거리가 서로 다르기 때문에 수신하는 음향 신호들 간에 도달 시간차가 발생하게 된다.
따라서 4개의 음향 센서들(110a, 110b, 110c, 110d) 각각에서 수신된 음향 신호들 간의 도달 시간차를 알 수 있다면 상술한 바와 같이 도달 시간차를 바탕으로 다양한 방법으로 음원 발생 위치 및/또는 발생 방향을 추정할 수 있다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 음향 신호 도달 시간차를 산출하는 원리를 설명하기 위한 도면이다.
도 5a 내지 도 5d에 도시한 바와 같이, 음원으로부터 음향 신호가 발생하는 경우 4개의 브라켓의 단부 각각에 장착된 음향 센서들 각각에서 음향 신호를 수신할 수 있다.
먼저 음원이 발생하지 않을 때에는, 샘플링 주기(T) 동안 각 음향 센서에서 감지되는 음향 신호는 일종의 노이즈 신호에 해당하여 그 크기(예를 들어 수학식 1을 이용하는 경우에는 샘플링 주기 동안 수신된 음향 신호의 진폭값에 대한 절대치에 대한 적분값, 이하 동일)가 거의 일정한 값이 된다. 이후, 특정 음원이 발생되어 각 음향 센서에 도달한 이후의 샘플링 주기(T) 동안의 음향 신호의 크기는 이전 샘플링 주기의 음향 신호의 크기보다 커지게 된다.
따라서 복수의 음향 센서 중 어느 하나의 음향 센서에서 감지된 음향 신호의 크기가 특정 문턱값(예를 들어 음원이 발생하지 않는 경우 샘플링 주기 동안의 노이즈 신호에 대한 적분값)보다 큰 경우에는 음원이 발생하였다고 판단할 수 있 다.
이와 같이 음원이 발생되었다고 판단된 경우, 브라켓에 장착되는 음향 센서들은 음원 발생 위치로부터의 거리가 서로 다르기 때문에 도 5a 내지 도 5d에 도시된 바와 같이 음향 신호를 수신하는 시점이 모두 다르게 나타날 수 있다.
예컨대, 도 4에 도시된 예시와 같이 음향 신호들이 수신된 경우, 음향 센서 #1이 가장 가까운 거리에 위치하고, 음향 센서 #2가 두번째로 가까운 거리에 위치하며, 음향 센서 #4가 세번째로 가까운 거리에 위치하며, 음향 센서 #3이 가장 먼 거리에 위치하게 된다.
이렇게 음향 센서들에서 음향 신호를 수신하는 시점에 모두 달라 음향 센서들에서 수학식 1과 같이 계산된 동일한 샘플링 주기 동안 음향 신호의 적분값의 크기 또한 서로 다르게 나타날 수 있다.
이 경우 음원으로부터 음향 신호가 음향 센서에 도달하는 경우 도달된 음향 신호의 적분값이 소정 크기 이상인 샘플링 주기의 시작점이 그 음향 센서에 음향 신호가 도달한 때라고 판단할 수 있다. 따라서, 복수의 음향 센서 각각에서 음향 신호의 적분값이 소정 크기 이상인 샘플링 주기의 시작점들에 대한 시간에 대한 정보를 얻는 경우, 복수의 음향 센서들 사이에서 음향 신호가 도달하는 도달 시간차를 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따라 구현된 음원방향 탐지 시스템을 보여주는 도면이다.
도 6에 도시한 바와 같이, 4개의 브라켓의 단부에 장착된 4개의 음향 센서들(110)이 장착되고, 그 브라켓이 교차하는 부분에 4개의 화재 센서(120)가 장착되고, 그 아래에 카메라(130)가 장착될 수 있다.
이렇게 장착된 음향 센서(110), 화재 센서(120), 카메라(130) 각각은 독립적으로 구동될 수 있다.
화재 센서(120)는 도시된 바와 같이 복수의 화재 센서가, 서로 이웃하는 브라켓들의 교차점 부근에 각각 장착되어, 화재가 발생된 방향에 설치된 화재 센서가 화재 발생을 감지하는 경우 화재 발생을 감지한 화재 센서가 설치된 방향으로 카메라를 회전 구동시킴으로써 화재 발생 영역의 영상을 취득할 수 있다.
도 7은 본 발명의 일 실시예에 따른 음원방향 탐지 방법을 나타내는 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 음원방향 탐지 시스템은 고정된 브라켓의 단부에 장착된 다수의 음향 센서(110)들을 통해 수신된 음향 신호를 입력 받을 수 있다(S710).
다음으로, 음원방향 탐지 시스템은 다수의 음향 센서 각각으로부터 수신된 음향 신호의 크기, 예컨대, 수학식 1을 이용하여 기 설정된 샘플링 주기 동안의 적분값이 기 설정된 임계치 이상인지를 확인할 수 있다(S720).
다음으로, 음원방향 탐지 시스템은 음향 신호의 적분값이 기 설정된 임계치 이상이면 음원으로부터 음향 신호가 발생하였다고 판단할 수 있다(S730). 반면, 음원방향 탐지 시스템은 그렇지 않으면 음원으로부터 발생된 음향 신호가 아니라 주변의 노이즈라고 판단할 수 있다(S740). 다음으로, 음원방향 탐지 시스템은 입력 받은 음향 신호들을 이용하여 음향 신호가 복수의 음향 센서에 도달하는 시간의 차이인 도달시간차(TDOA: Time Delay of Arrival)를 산출할 수 있다(S760). 상술한 바와 같이 음향 신호의 적분값의 크기를 이용하는 경우, 순간적으로 큰 노이즈가 발생되는 경우 음원이 발생하지 않았음에도 음원이 발생한 것으로 판단될 가능성이 있다. 이를 방지하기 위하여, 기 설정된 임계치 이상의 음향 신호가 도달되었는지의 여부는 연속된 복수의 샘플링 주기 동안의 음향 신호의 절대값의 적분값의 평균값이 기 설정된 임계치 이상인 경우에 음향 신호가 도달되었다고 판단할 수도 있다.
다음으로, 음원방향 탐지 시스템은 음향 신호들 간의 도달 시간차가 산출되면, 예를 들어 상술한 바와 같은 CH 알고리즘을 이용하여 음원의 발생 위치 및 음원의 발생 방향을 추정할 수 있다(S770).
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 제어 모듈과 같이 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 음향 센서
120: 화재 센서
130: 카메라
140: 구동부
150: 제어 모듈

Claims (8)

  1. 다수의 브라켓의 단부 각각에 장착되어, 음원으로부터 발생한 음향 신호를 수신하는 다수의 음향 센서;
    상기 다수의 음향 센서 각각으로부터 수신된 음향 신호들의 도달 시간차를 산출하고 이를 이용하여 상기 음원의 발생 방향을 추정하는 제어 모듈; 및
    상기 제어 모듈에 의해 추정된 상기 음원의 발생 방향을 향하도록 회전 구동되는 카메라;를 포함하며,
    상기 제어 모듈은,
    아래 수학식 1을 사용하여 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호 중 샘플링 주기 동안 음향 신호의 절대값의 적분값의 크기가 기 설정된 임계치 이상인지를 확인하여,
    그 확인한 결과로 상기 샘플링 주기 동안의 상기 음향 신호의 절대값의 적분값의 크기가 임계치 이상이면 상기 음원으로부터 음향 신호가 발생하였다고 판단하여 상기 다수의 음향 센서들 사이의 음향 신호들의 도달 시간차를 산출하는 것을 특징으로 하며,
    상기 제어 모듈은 도달 시간에 대한 측정치의 차분 값과 음향 센서의 위치 값을 이용하여 음원의 위치를 구하는 CH 알고리즘을 이용하여 음원의 발생 방향을 추정하는 음원 방향 탐지 시스템.
    [수학식 1]
    Figure 112017081288492-pat00011

    여기서 s(t)는 음향 센서에 도달하는 음향 신호, T는 샘플링 주기, S는 샘플링 주기 동안 음향 신호 크기의 적분값을 나타낸다.
  2. 제1 항에 있어서,
    상기 제어 모듈은,
    상기 다수의 음향 센서 각각으로부터 수신된 음향 신호로부터 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된 음향 신호들 간의 도달 시간차를 산출하는 도달시간차 산출부; 및
    상기 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 방향을 추정하는 음원방향 추정부;
    를 포함하는 음원 방향 탐지 시스템.
  3. 삭제
  4. 제1 항에 있어서,
    상기 다수의 음향 센서는,
    하나의 브라켓을 기준으로 시계 방향 또는 반 시계 방향으로 90도만큼 회전시키되 서로 중첩되지 않는 위치에 배치된 고정된 4개의 브라켓의 단부 각각에 장착되는 4개의 음향 센서인 것을 특징으로 하는 음원 방향 탐지 시스템.
  5. 제1 항에 있어서,
    상기 다수의 브라켓들 사이에 장착되어 화재 발생을 감지하는 복수의 화재 센서들을 더 포함하고, 상기 제어 모듈은 상기 화재 센서들 중 하나에 의해 감지된 화재 발생 방향으로 상기 카메라를 회전 구동시키는 것을 특징으로 하는 음원 방향 탐지 시스템.
  6. 다수의 브라켓의 단부 각각에 장착된 다수의 음향 센서를 통해 음원으로부터 발생한 음향 신호를 수신하는 단계;
    상기 다수의 음향 센서 각각을 통해 수신된 음향 신호들 간의 도달 시간차를 산출하여 그 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 발생 방향을 추정하는 단계; 및
    추정된 상기 음원의 발생 방향을 향하도록 카메라를 회전 구동시키는 단계;
    를 포함하며,
    상기 추정하는 단계는,
    상기 다수의 음향 센서 각각으로부터 수신된 음향 신호로부터 노이즈를 제거하는 단계;
    아래 수학식 1을 이용하여 상기 다수의 음향 센서 각각으로부터 수신된 음향 신호의 절대값의 적분값의 크기가 기 설정된 임계치 이상인지를 확인하여, 상기 임계치 이상이면 상기 음원으로부터 음향 신호가 발생하였다고 판단하고, 상기 다수의 음향 센서 사이의 음향 신호의 도달 시간차를 산출하는 단계; 및
    상기 산출된 음향 신호들 간의 도달 시간차를 이용하여 상기 음원의 발생 방향을 추정하는 단계;
    를 포함하며,
    상기 음원의 발생 방향을 추정하는 단계는 도달 시간에 대한 측정치의 차분 값과 음향 센서의 위치 값을 이용하여 음원의 위치를 구하는 CH 알고리즘을 이용하여 음원의 발생 방향을 추정하는 음원 방향 탐지 방법.
    [수학식 1]
    Figure 112017081288492-pat00012

    여기서 s(t)는 음향 센서에 도달하는 음향 신호, T는 샘플링 주기, S는 샘플링 주기 동안 음향 신호 크기의 적분값을 나타낸다.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 다수의 브라켓들 사이에 장착되어 화재 발생을 감지하는 복수의 화재 센서들 중 하나에 의해 감지된 화재 발생 방향으로 상기 카메라를 회전 구동시키는 단계를 더 포함하는 것을 특징으로 하는 음원 방향 탐지 방법.
KR1020160081579A 2015-07-31 2016-06-29 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법 KR101850486B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150108618 2015-07-31
KR1020150108618 2015-07-31

Publications (2)

Publication Number Publication Date
KR20170015139A KR20170015139A (ko) 2017-02-08
KR101850486B1 true KR101850486B1 (ko) 2018-04-20

Family

ID=58155137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160081579A KR101850486B1 (ko) 2015-07-31 2016-06-29 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101850486B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138180A (ko) * 2021-04-05 2022-10-12 김성국 청음 가능한 관로 검사용 내시경 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285304A (zh) * 2018-10-19 2019-01-29 天津天地伟业信息系统集成有限公司 一种通过声音定位进行视频优化的视频系统
CN113763657B (zh) * 2020-06-04 2023-04-21 浙江宇视科技有限公司 监控警报装置、监控警报控制方法及监控系统
CN117011355B (zh) * 2023-07-27 2024-01-30 三峡大学 一种基于数字图像处理技术的换流站防灾系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128856A (ja) * 2002-10-02 2004-04-22 Matsushita Electric Ind Co Ltd 音声信号処理装置
JP2010213249A (ja) 2009-03-06 2010-09-24 Advas Co Ltd ビデオカメラ撮像装置
KR101447137B1 (ko) * 2014-04-28 2014-10-07 주식회사 시스피아 음향센서를 이용한 ｃｃｔｖ용 음원추적장치
KR200475612Y1 (ko) 2013-12-19 2014-12-16 주식회사 일리시스 음향센서 설치용 하우징

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128856A (ja) * 2002-10-02 2004-04-22 Matsushita Electric Ind Co Ltd 音声信号処理装置
JP2010213249A (ja) 2009-03-06 2010-09-24 Advas Co Ltd ビデオカメラ撮像装置
KR200475612Y1 (ko) 2013-12-19 2014-12-16 주식회사 일리시스 음향센서 설치용 하우징
KR101447137B1 (ko) * 2014-04-28 2014-10-07 주식회사 시스피아 음향센서를 이용한 ｃｃｔｖ용 음원추적장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138180A (ko) * 2021-04-05 2022-10-12 김성국 청음 가능한 관로 검사용 내시경 장치
KR102581774B1 (ko) * 2021-04-05 2023-09-21 김성국 청음 가능한 관로 검사용 내시경 장치

Also Published As

Publication number Publication date
KR20170015139A (ko) 2017-02-08

Similar Documents

Publication Publication Date Title
KR101850486B1 (ko) 지능형 음원 수집 및 분석을 이용한 음원 방향 탐지 시스템 및 그 방법
CN103443649B (zh) 用于使用可听声音和超声进行源定位的系统、方法、设备和计算机可读媒体
KR102270401B1 (ko) 스마트폰을 소지한 산만한 보행자를 위한 실시간 경고
KR101529516B1 (ko) 음원 위치 추정 장치 및 음원 위치 추정 방법
JP6225118B2 (ja) 音源位置推定
JP2014503818A (ja) 地震警報システム
Kim et al. Advanced indoor localization using ultrasonic sensor and digital compass
JP6788272B2 (ja) 音源の検出方法及びその検出装置
US20210289168A1 (en) Visual-acoustic monitoring system for event detection, localization and classification
JP2006524329A (ja) 物体の位置を推定するシステム、装置及び方法
US20160171965A1 (en) Vibration source estimation device, vibration source estimation method, and vibration source estimation program
US7397427B1 (en) Phase event detection and direction of arrival estimation
Martinson et al. Auditory evidence grids
KR20110060183A (ko) 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
Al-Sheikh et al. Sound source direction estimation in horizontal plane using microphone array
KR101726677B1 (ko) 무선 센서 네트워크 장치 및 그 제어방법
JP2007085866A (ja) 物体検出装置
JP2019522187A (ja) 装置および関連する方法
EP3920794A1 (en) Indoor occupancy estimation, trajectory tracking and event monitoring and tracking system
JP2007322224A (ja) 障害物検出装置および位置特定方法
JP2008008851A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP4757786B2 (ja) 音源方向推定装置、音源方向推定方法、及びロボット装置
JP5679909B2 (ja) 障害物検出装置
WO2016182561A1 (en) Wireless position sensing using magnetic field of two transmitters
KR20200070148A (ko) 음파 통신을 이용하는 차량 개폐 시스템 및 그의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
R401 Registration of restoration