KR101270074B1 - 소리 기반 공간지도를 이용한 상황인식 장치 및 방법 - Google Patents

소리 기반 공간지도를 이용한 상황인식 장치 및 방법 Download PDF

Info

Publication number
KR101270074B1
KR101270074B1 KR1020110051956A KR20110051956A KR101270074B1 KR 101270074 B1 KR101270074 B1 KR 101270074B1 KR 1020110051956 A KR1020110051956 A KR 1020110051956A KR 20110051956 A KR20110051956 A KR 20110051956A KR 101270074 B1 KR101270074 B1 KR 101270074B1
Authority
KR
South Korea
Prior art keywords
sound source
sound
characteristic information
spatial map
background
Prior art date
Application number
KR1020110051956A
Other languages
English (en)
Other versions
KR20120133330A (ko
Inventor
이정선
김보미
최정아
김형찬
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020110051956A priority Critical patent/KR101270074B1/ko
Publication of KR20120133330A publication Critical patent/KR20120133330A/ko
Application granted granted Critical
Publication of KR101270074B1 publication Critical patent/KR101270074B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Abstract

소리 기반 공간지도를 이용한 상황인식 장치 및 방법이 개시된다. 특성 추출부는 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 상기 배경 음원의 특성 정보를 생성하고, 공간 지도 저장부는 실내 공간에 대응하는 공간 지도에 배경 음원의 특성 정보를 저장한다. 본 발명에 따르면, 공간 지도에 공간 위치, 방향 벡터 및 대표 주파수 스펙트럼을 저장함으로써 소음에 강한 실내 공간지도를 생성하여, 이러한 실내 공간지도와 미리 저장한 이벤트 음원을 비교하여 특정한 주파수를 발생시키는 충돌사고, 유리 깨짐 등을 소리만으로 신속하게 감지한다. 또한 공간 지도 내의 보이지 않는 곳에서 발생한 이벤트도 실내 공간 지도를 사용하여 어떤 상황이 어디에서 발생했는지 감지할 수 있다.

Description

소리 기반 공간지도를 이용한 상황인식 장치 및 방법{Apparatus and method for recognizing situation by audio-visual space map}
본 발명은 소음에 강한 실내 공간지도를 생성하고, 검출된 음향의 특성만으로 특정한 이벤트 발생 상황을 인식할 수 있는 소리 기반 공간지도를 이용한 상황인식 장치 및 방법에 관한 것이다.
최근 각종 센서, 깊이 카메라, 비전 기술이 발달함에 따라 이용해 실내 환경에 대한 공간지도를 만드는 사례가 늘고 있다. 이러한 공간지도는 주로 로봇의 자동주행 시 장애물을 회피하기 위해 사용되거나, 지능형 감시 시스템에서 감시하고 있는 장소에서 발생하는 특정 상황을 빠르게 감지하기 위해 사용된다.
그러나 시각적인 정보만을 사용하여 실내 지도를 생성하거나, 음향정보를 활용하더라도 환경에서 소음을 발생하는 음원들에 대해 미리 인지하지 못하면 현재 상황을 인식하기 위한 전처리에 많은 시간이 소요되고 인식률이 저하된다.
따라서 기존의 공간지도의 단점을 극복하고 정확한 상황인식을 위해 감시 공간에서 영상 정보 외에 음향정보를 활용하여 음원의 위치와 방향을 미리 공간지도에 등록하고, 소음이 아닌 것으로 인지된 음원의 패턴을 분석하여 특정 이벤트 상황에 해당하는지 여부를 추론할 수 있는 상황인식 장치가 필요하다.
발명이 이루고자 하는 기술적 과제는, 실내 공간지도에 음원의 공간 위치, 방향 벡터 및 대표 주파수 스펙트럼을 저장함으로써 소음에 강한 실내 공간지도를 생성하고, 실내 공간지도와 미리 저장한 이벤트 음원을 비교하여 특정한 주파수를 발생시키는 충돌사고, 유리깨짐 등을 소리만으로도 신속하게 감지하며, 또한 공간 지도 내의 보이지 않는 곳에서 발생한 이벤트도 실내 공간지도를 사용하여 어떤 상황이 어디에서 발생했는지 감지할 수 있는 소리 기반 공간지도를 이용한 상황인식 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 실내 공간지도에 음원의 공간 위치, 방향 벡터 및 대표 주파수 스펙트럼을 저장함으로써 소음에 강한 실내 공간지도를 생성하고, 실내 공간지도와 미리 저장한 이벤트 음원을 비교하여 특정한 주파수를 발생시키는 충돌사고, 유리깨짐 등을 소리만으로도 신속하게 감지하며, 또한 공간 지도 내의 보이지 않는 곳에서 발생한 이벤트도 실내 공간지도를 사용하여 어떤 상황이 어디에서 발생했는지 감지할 수 있는 소리 기반 공간지도를 이용한 상황인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치는, 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 상기 배경 음원의 특성 정보를 생성하는 특성 추출부; 및 상기 실내 공간에 대응하는 공간 지도에 상기 배경 음원의 특성 정보를 저장하는 공간 지도 저장부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법은, 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 상기 배경 음원의 특성 정보를 생성하는 특성 추출 단계; 및 상기 실내 공간에 대응하는 공간 지도에 상기 배경 음원의 특성 정보를 저장하는 공간 지도 저장 단계;를 가진다.
본 발명에 따른 소리 기반 공간 지도를 이용한 상황인식 장치 및 방법에 의하면, 공간지도에 음원의 공간 위치, 방향 벡터 및 대표 주파수 스펙트럼을 포함하는 특성 정보를 저장함으로써 소음에 강한 실내 공간지도를 생성한다. 이러한 실내 공간 지도와 미리 저장한 이벤트 음원을 비교하여 특정한 주파수를 발생시키는 충돌사고, 유리 깨짐 등을 소리만으로 신속하게 감지한다. 또한 공간 지도 내의 보이지 않는 곳에서 발생한 이벤트도 실내 공간 지도를 사용하여 어떤 상황이 어디에서 발생했는지 감지할 수 있다.
도 1은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 주파수 분석부에서 스펙트럼을 분석하는 도면,
도 3은 음원 위치 산출부가 공간위치를 계산하기 위해 배경 음원이 위치하는 임의의 지점을 좌표공간에 나타낸 도면,
도 4는 음원 위치 산출부에서 공간 위치를 계산하는 경우 실내 공간의 임의의 위치에서 음향의 크기를 측정한 결과를 나타낸 도면,
도 5는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에서, 음원 비교 단계의 진입 여부의 기준이 되는 음향 세기의 임계점을 설정하기 위해 일상 생활에서의 다양한 이벤트의 음향의 세기를 비교하여 나타낸 도면,
도 6은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에서 실내 공간 지도를 생성하는 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 7은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에서 특정 상황을 검출하는 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 8은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 실내 공간지도를 구성하는 3차원 구성도, 및
도 9는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 응용에 대한 바람직한 실시예로 다가오는 사람을 인식하고 피하는 것, 유리창이 깨지는 이벤트 인식하는 것을 보여주는 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
먼저 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치 및 방법에 의한 실시간 상황인식은 두 가지 단계로 수행된다.
첫 번째 단계는, 실내 공간에서 소음을 발생하는 배경 음원들에 대해 각 배경 음원의 공간 위치와 방향 벡터 및 대표 주파수 스펙트럼을 포함하는 특성 정보를 미리 공간지도에 저장하는 것이다. 이러한 정보를 미리 공간지도에 저장하면 실시간으로 입력되는 음향을 분석함으로써 현재 감지된 대상 음원이 배경 음원에 해당하는지 새로운 것인지를 쉽게 구별할 수 있기 때문이다.
두 번째 단계는, 실내 공간에서 일어날 수 있는 다양한 이벤트 상황에 대한 음향에 대해 미리 대표 주파수 스펙트럼과 방향 벡터를 저장한 후, 실시간으로 입력되는 음향과 비교하여 이벤트 상황의 발생 여부를 판단하는 것이다. 예를 들면, 유리가 깨질 때 생기는 파열음을 분석하여 저장하였다가 새롭게 입력되는 음향과 비교하여 유리가 파손되는 이벤트가 발생하였는지를 영상이 보이지 않는 상황이라도 음향 정보만으로 신속하게 판단할 수 있다.
이하 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치 및 방법은 마이크로폰을 구비하여 음향을 측정하는 경우에 대하여만 설명하고 있지만, 당업자라면 카메라를 함께 사용하는 실내 상황인식 장치에서도 쉽게 응용이 가능하다. 즉 카메라를 통해 영상을 획득하여 상황을 인식하는 것과 더불어 본 발명에 따른 실내 공간지도를 생성하고 갱신하여 상황 인식 효율을 증가시킬 수 있다.
도 1은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 공간지도를 이용한 상황인식 장치는 특성 추출부, 공간지도 저장부(140), 이벤트 음향 저장부(150), 음원 비교부(160) 및 이벤트 대응부(170)를 구비한다. 이때 특성 추출부는 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 배경 음원의 특성 정보를 생성하며, 이를 위해 주파수 분석부(110), 음원 위치 산출부(120), 방향 벡터 측정부(130)를 구비할 수 있다.
주파수 분석부(110)는 3차원 실내 공간에 위치하는 배경 음원에서 발생한 음향을 입력받아 주파수 스펙트럼을 분석하고, 상기 배경 음원의 대표 주파수 스펙트럼을 추출한다.
도 2는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 주파수 분석부에서 스펙트럼을 분석하는 도면이다.
도 2를 참조하면, 주파수 분석부(110)는 스펙트럼 분석기를 이용하여 실내에 위치한 배경 음원의 스펙트럼을 분석한다. 주파수 분석부(110)는 스펙트럼 분석을 통해 대표 주파수 스펙트럼을 추출하여 공간 지도 저장부에 저장한다. 스펙트럼 분석기에 의한 대표 주파수 스펙트럼의 추출은 기존에 일반적으로 사용되는 알고리즘을 따르므로 상세한 설명은 생략한다.
음원 위치 산출부(120)는 실내 공간 내에 위치한 배경 음원의 음향의 크기를 기초로 상기 실내 공간 내에서의 상기 배경 음원의 위치 정보를 산출한다.
도 3은 음원 위치 산출부(120)에서 공간 위치를 계산하기 위하여 배경 음원이 존재하는 임의의 지점(P(x, y, z))을 좌표공간에 나타낸 도면이다.
배경 음원의 위치 정보는 다음의 두 가지 방법 중 어느 하나에 의해 산출될 수 있다.
첫 번째 방법으로, 배경 음원의 위치가 P(x, y, z)일 때 배경 음원으로부터의 음향을 측정하는 마이크로폰 어레이의 음원과의 거리는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112011040783930-pat00001
이때 A(0,0,0), B(b,0,0), C(0,c,0)은 마이크로폰 어레이를 구성하는 세 개의 마이크로폰 각각의 실내 공간에서의 위치를 의미한다.
음파의 세기는 공간 상에서 거리의 제곱에 반비례하도록 감소하므로 음압과 거리와의 관계는 수학식 2와 같다.
Figure 112011040783930-pat00002
이때 So는 원래 신호의 세기, SA, SB, SC는 마이크로폰 A, B, C에서 각각 측정했을 때의 신호의 세기를 말한다.
수학식 1과 수학식 2를 결합하면 다음의 수학식 3과 같다.
Figure 112011040783930-pat00003
x,y,z에 관하여 연립방정식을 계산하면 공간상의 배경 음원의 위치인 P(x, y, z)를 구할 수 있다.
두 번째 방법은, 실내 공간을 이동하면서 임의의 위치에서 배경 음원으로부터 발생한 음향을 측정하여 행렬 계수를 산출하고, 이를 계산하여 공간 위치를 측정하는 방법이다.
도 4는 음원 위치 산출부(120)에서 공간 위치를 계산하는 경우 실내 공간의 임의의 위치에서 음향의 크기를 측정한 결과를 나타낸 도면이다.
도 4를 참조하면, 음원 위치 산출부(120)는 실내 공간 내의 임의의 위치에서 음향의 크기를 측정하여 배경 음원의 위치를 산출하는 데 사용되는 행렬 계수 aij를 구하여 공간상의 배경 음원의 위치인 P(x, y, z)를 계산한다.
행렬 계수 aij를 정리하면 다음의 수학식 4와 같다.
Figure 112011040783930-pat00004
일반적으로 실내 공간 내에 소음 방출 음원인 배경 음원이 고정되어 있고, 공간의 특성상 흡음 재질 등의 변수가 있기 때문에 위치 산출의 정확도를 높일 수 있는 수학식 4를 사용하여 배경 음원의 공간 위치를 산출하는 것이 바람직하다.
다만, 수학식 4에 의해 배경 음원의 위치 정보를 산출할 때에는 실내 공간 내의 다양한 위치에서 배경 음원으로부터의 음향의 크기를 여러 번 측정하여 위치에 따른 음향 크기 데이터를 다양하게 확보할 필요성이 있다. 또한 최초에 일정 개수의 지점에서 음향의 크기를 측정하여 위치 정보를 산출 및 저장한 후, 추가적으로 다른 지점에서 측정된 음향의 크기를 기초로 위치 정보를 산출하여 이미 저장된 위치 정보를 반복적으로 갱신할 수 있다.
방향 벡터 측정부(130)는 실내 공간에서 배경 음원의 위치에 대응하는 지점과 인접한 지점들 사이에서 음향의 크기 변화를 나타내는 방향 벡터를 계산한다. 예를 들면 3차원 공간에서 배경 음원의 위치를 기준으로 인접한 8방향의 위치에서 방향벡터를 측정한다.
공간지도 저장부(140)는 실내 공간의 3차원 구조를 나타내는 실내 지도와 함께 배경 음원의 대표 주파수 스펙트럼, 실내 공간 내에서 음향을 발생시키는 배경 음원의 공간 위치 및 배경 음원의 방향 벡터를 포함하는 특성 정보를 저장한다. 하나의 실내 지도에 대응하여 실내 공간에 위치하는 복수의 배경 음원 각각에 대해 얻어진 특성 정보가 저장될 수 있다. 저장된 특성 정보는 이후 실시간으로 발생하는 음향을 검출하여 배경 음원으로부터 발생한 음향인지 여부를 판단하는 데 사용될 수 있다.
음원 비교부(160)는 실내 공간에서 실시간으로 발생한 음향이 검출되면 검출된 음향을 발생시킨 대상 음원의 위치를 계산하고, 공간 지도에 저장된 복수의 배경 음원의 위치 정보 중에서 대상 음원의 위치 정보와 일치하는 정보가 존재하는지 여부를 판단한다.
이때 대상 음원으로부터 발생하는 음향을 검출하기 위한 마이크로폰 어레이는 실내 공간 안에서 소정의 거리를 두고 균일하게 위치해 있으며, 이벤트 발생 음원의 정확한 위치를 측정하기 위해 3개 이상의 마이크로폰을 포함하는 것이 바람직하다.
또한 음원 비교부(160)는 마이크로폰 어레이를 통해 입력되는 모든 음원에 대해 비교를 수행하는 것이 아니라, 마이크로폰 어레이를 통해 입력되는 음원의 세기가 사전에 설정된 임계치 이상인 경우에만 비교를 수행할 수 있다. 임계치 미만의 음원이 입력되는 경우에는 잡음으로 취급하여 비교를 수행하지 않는 것이 잡음에 민감하게 반응하는 오작동을 방지할 수 있기 때문이다.
도 5는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에서, 음원 비교 단계의 진입 여부의 기준이 되는 음향 세기의 임계점을 설정하기 위해 일상 생활에서의 다양한 이벤트의 음향의 세기를 비교하여 나타낸 도면이다.
도 5를 참조하면, 일상생활에서 2미터 거리에 있는 사람과 조용히 이야기하는 정도의 소리 세기는 40dB 부근이 된다. 음원 비교 단계의 진입 여부의 기준이 되는 음향 세기의 임계치는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치가 설치된 장소의 성격에 따라 달리 설정될 것이다. 다만 본 실시예에서는 가정에서 사용된다는 가정 하에 소정의 임계치를 40dB로 설정한 것으로 한다.
구체적으로, 음원 비교부(160)는 대상 음원의 위치 정보와 일치하는 배경 음원이 존재하면, 대상 음원의 대표 주파수 스펙트럼과 방향 벡터를 공간 지도에 저장된 배경 음원의 특성 정보와 비교한다. 이는 대상 음원의 특성 정보가 배경 음원의 특성 정보와 모두 일치하는지 명확하게 파악하기 위함이다.
한편, 대상 음원의 특성 정보와 일치하는 배경 음원이 저장되어 있지 않은 경우에는 대상 음원은 새롭게 발생한 음원으로 판단된다. 이때 대상 음원의 종류를 명확하게 파악할 수 있도록 특정 이벤트 상황과 관련된 특성 정보를 사전에 저장하고 대상 음원의 특성 정보와 비교할 수 있다. 이를 위해 이벤트 음향 저장부(150)는 실내 공간에서 발생할 수 있는 이벤트의 음향을 분석하여 특성 정보를 저장한다. 여기에서의 특성 정보는 배경 음원의 특성 정보와 마찬가지로 이벤트가 발생한 위치 정보, 이벤트에 의해 발생한 음향의 대표 주파수 스펙트럼 및 방향 벡터를 포함한다. 예를 들면, 로봇과 사람의 충돌을 방지하기 위해 사람의 발소리를 분석하여 저장할 수도 있으며, 무단침입, 사고발생 등을 감지하기 위해 유리가 깨질 때 발생하는 순간적인 고음의 주파수를 분석하여 저장할 수도 있다.
이하 음원 비교부(160)에서 대상 음원이 배경 음원과 다르다고 판단된 경우에 이벤트 발생 여부를 판단하는 경우에 대하여 구체적으로 설명한다.
먼저 음원 비교부(160)는 대상 음원의 대표 주파수 스펙트럼 및 방향 벡터를 이벤트 음향 저장부(150)에 저장된 대표 주파수 스펙트럼 및 방향 벡터와 비교한다. 이때 일치하는 이벤트가 있으면 대상 음원을 해당 이벤트를 발생시키는 음원으로 결정한다.
이벤트 대응부(170)는 음원 비교부(160)가 특정 이벤트의 발생 사실을 통보하면 그에 대응하여 사전에 설정된 프로세스를 수행한다. 예를 들면, 음원 비교부(160)에서 대상 음원이 유리창 깨짐 이벤트인 것으로 결정하면, 이벤트 대응부(170)는 사전에 설정된 번호로 자동 연결되도록 하여 경찰에 신고할 수 있다.
도 6은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에 의해 실내 공간 지도를 생성 및 갱신하는 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
공간 지도 저장부(140)는 사전에 저장된 실내 지도가 있는지 검색(S1000)하여, 저장된 실내 지도가 존재하면 실내 지도를 로드한다(S1010). 움직이는 물체가 있으면 고정된 위치에 있는 음원을 구별하기 어려우므로 움직이는 물체가 없을 때 다음 단계로 진행한다(S1020). 실내에 음향 발생 가능한 배경 음원이 있으면(S1030) 실내 공간지도 갱신 단계로 진입한다.
다음으로 배경 음원의 특성 정보를 산출하기 위해 인위적으로 배경 음원 중 하나를 작동시켜 음향을 발생시킬 수 있다(S1100). 예를 들면, 실내에 텔레비전과 라디오가 존재한다면 우선 텔레비전만을 작동시켜 특성 정보를 산출하고 다음으로 라디오만을 작동시켜 특성 정보를 산출할 수 있다.
주파수 분석부(110)는 발생한 음향의 대표 주파수 스펙트럼을 분석하고(S1110), 음원 위치 산출부(120)는 음향의 발생지인 배경 음원의 공간 위치를 계산한다(S1120). 또한 방향 벡터 측정부(130)는 배경 음원의 방향 벡터를 계산한다(S1130). 음향을 발생시킨 배경 음원에 대하여 측정된 대표 주파수 스펙트럼, 공간 위치, 방향 벡터를 포함하는 특성 정보는 공간 지도에 업데이트된다(S1140).
실내 공간에 음향을 발생하는 다른 배경 음원이 존재하면 음향을 유발하는 단계(S1100)부터 다시 반복하여 공간 지도를 업데이트하고, 다른 배경 음원이 없으면 음향 간의 간섭현상을 파악하는 단계를 수행한다.
음향 간의 간섭현상을 종합적으로 고려하기 위해서는 모든 배경 음원을 작동시키고(S1200), 실내 공간의 임의의 위치에서 음향의 크기를 측정하여(S1210) 얻어진 특성 정보를 공간 지도에 업데이트한다(S1230).
도 7은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 방법에서 특정 상황을 검출하는 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
실내에 음향을 발생시키는 대상 음원이 있으면(S2000), 음원 위치 산출부(120)는 대상 음윈의 공간 위치를 측정하여(S2100) 공간 지도에 저장된 배경 음원의 공간 위치와 비교(S2200)한다. 공간 위치가 일치하면 추가로 대표 주파수 스펙트럼과 방향 벡터를 비교하여 기존에 있던 배경 음원인지 여부를 판단한다(S2300).
기존에 있던 배경 음원이 아니라면 주파수 분석부(110)는 마이크로폰 어레이를 통해 입력된 대상 음원의 주파수 스펙트럼을 분석하여(S2400) 음원 비교부(160)에 전달하고, 음원 비교부(160)는 이벤트 음향 저장부에 저장된 음향들의 대표 주파수 스펙트럼과 비교한다(S2410).
주파수 분석부(110)의 분석과 동시에 방향 벡터 측정부(130)는 마이크로폰 어레이를 통해 입력된 대상 음원의 방향 벡터를 계산하여(S2500) 음원 비교부(160)에 전달하고, 음원 비교부(160)는 이번트 음향 저장부에 저장된 음향들의 방향 벡터와 비교한다(S2510).
상황 판단부(170)는 음원 비교부(160)가 이벤트 발생하였음을 통지하면, 그에 따라 사전에 설정된 대응 프로세스를 시작한다(S2700). 대응 프로세스에는 특정 상황의 성격에 따라 장애물 회피, 경찰에 신고 등이 있을 수 있다.
도 8은 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 실내 공간지도를 구성하는 3차원 구성도이다.
도 8을 참조하면, 실내 공간 지도를 생성하는 1단계는 기존 청소로봇의 경로 맵과 같이 단순한 실내 지형 정보를 수집하는 것이다. 2단계는 배경과 대상 음원을 분리하고 음원마다 깊이 값을 부여한 3차원 맵을 형성하는 것이다. 3단계는 실내에 위치한 음원의 위치와 특성을 함께 저장하는 것이다.
도 9는 본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치의 응용에 대한 바람직한 실시예로 다가오는 사람을 인식하고 피하는 것, 유리창이 깨지는 특정 상황을 인식하는 것을 보여주는 도면이다.
본 발명에 따른 소리 기반 공간지도를 이용한 상황인식 장치가 청소로봇에 적용된다면, 사람의 발자국 특성을 이벤트 음향 저장부(150)에 저장하였다가 특정 위치에서 사람이 걸어오는 상황을 감지하여 이를 회피한다. 또한 실내 공간지도에 유리창이 존재하는 부분에서 유리창이 깨지는 특정 상황이 발생하면 이를 인지하여 대응 프로세서로 경찰에의 신고 등을 할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 이용한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 주파수 분석부
120 - 음원 위치 산출부
130 - 방향 벡터 측정부
140 - 공간 지도 저장부
150 - 이벤트 음향 저장부
160 - 음원 비교부
170 - 이벤트 대응부

Claims (15)

  1. 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 상기 배경 음원의 위치 정보와 특성 정보를 생성하는 특성 추출부;
    상기 배경 음원의 위치 정보를 기초로 상기 배경 음원의 특성 정보가 매핑된 상기 실내 공간에 대응하는 공간 지도가 저장되는 공간 지도 저장부;
    상기 실내 공간 내에서 발생할 수 있는 이벤트의 음향의 특성 정보가 저장되는 이벤트 음향 저장부; 및
    상기 실내 공간에서 실시간으로 발생한 음향이 검출되면 상기 검출된 음향을 발생시킨 대상 음원의 위치를 계산하고, 상기 공간 지도에 매핑되어 있는 복수의 배경 음원의 위치 정보 중에서 상기 대상 음원의 위치 정보와 일치하는 정보가 존재하는지 여부를 판단하는 음원 비교부;를 포함하며,
    상기 음원 비교부는 상기 대상 음원의 특성 정보와 일치하는 정보가 상기 공간 지도에 매핑되어 있지 않으면, 상기 대상 음원의 특성 정보와 상기 이벤트 음향 저장부에 저장되어 있는 이벤트 음향의 특성 정보와 비교하여 상기 대상 음원에 대응하는 이벤트를 특정하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 장치.
  2. 제 1항에 있어서,
    상기 특성 추출부는.
    상기 배경 음원에서 발생한 음향을 입력받아 주파수 스펙트럼을 분석하고, 상기 배경 음원의 대표 주파수 스펙트럼을 추출하는 주파수 분석부;
    상기 음향의 크기를 기초로 상기 실내 공간 내에서의 상기 배경 음원의 위치 정보를 산출하는 음원 위치 산출부; 및
    상기 실내 공간에서 상기 배경 음원의 위치 정보에 대응하는 지점과 인접한 지점들 사이에서 상기 음향의 크기 변화를 나타내는 방향 벡터를 측정하는 방향 벡터 측정부;를 포함하고,
    상기 공간 지도 저장부에는 상기 배경 음원의 대표 주파수 스펙트럼, 위치 정보 및 방향 벡터를 포함하는 특성 정보가 매핑된 상기 공간 지도가 저장되는 것을 특징으로 하는 소리 기반 공간 지도를 이용한 상황인식 장치.
  3. 제 1항에 있어서,
    상기 음원 비교부로부터 이벤트의 발생 사실이 통지되면, 통지된 이벤트에 대응하여 사전에 설정되어 있는 프로세스를 수행하는 이벤트 대응부를 더 포함하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 장치.
  4. 제 1항에 있어서,
    상기 음원 비교부는 상기 대상 음원의 위치 정보와 일치하는 배경 음원이 존재하면, 상기 대상 음원의 대표 주파수 스펙트럼과 방향 벡터를 상기 공간 지도에 저장된 상기 배경 음원의 특성 정보와 비교하여, 상기 대상 음원의 특성 정보가 상기 배경 음원의 특성 정보와 일치하는지 파악하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 장치.
  5. 삭제
  6. 제 1항에 있어서,
    상기 음원 비교부는 상기 대상 음원의 음향의 세기가 사전에 설정된 임계치 이상인 경우에 상기 대상 음원의 특성 정보를 산출하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 장치.
  7. 제 1항에 있어서,
    상기 특성 추출부는 상기 배경 음원에서 발생한 음향을 측정하기 위해 설정된 최초 측정 위치와 상이하게 설정되는 추가 지점에서 상기 배경 음원에서 발생한 음향을 측정하여 얻어진 특성 정보에 의해 상기 공간 지도를 갱신하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 장치.
  8. 소리 기반 공간지도를 이용한 상황인식 장치에서 수행되는 상황인식 방법에 있어서,
    (a) 실내 공간에 위치한 배경 음원에서 발생한 음향의 특성을 분석하여 상기 배경 음원의 위치 정보와 특성 정보를 생성하는 단계;
    (b) 상기 배경 음원의 위치 정보를 기초로 상기 배경 음원의 특성 정보를 상기 실내 공간에 대응하는 공간 지도에 매핑하여 공간 지도 저장 수단에 저장하는 단계;
    (c) 상기 실내 공간 내에서 발생할 수 있는 이벤트의 음향의 특성 정보를 이벤트 음향 저장 수단에 저장하는 단계;
    (d) 상기 실내 공간에서 실시간으로 발생한 음향이 검출되면 상기 검출된 음향을 발생시킨 대상 음원의 위치를 계산하고, 상기 공간 지도에 매핑되어 있는 복수의 배경 음원의 위치 정보 중에서 상기 대상 음원의 위치 정보와 일치하는 정보가 존재하는지 여부를 판단하는 단계; 및
    (e) 상기 대상 음원의 특성 정보와 일치하는 정보가 상기 공간 지도에 매핑되어 있지 않으면, 상기 대상 음원의 특성 정보와 상기 이벤트 음향 저장부에 저장되어 있는 이벤트 음향의 특성 정보와 비교하여 상기 대상 음원에 대응하는 이벤트를 특정하는 단계;를 포함하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 방법.
  9. 제 8항에 있어서,
    상기 (a)단계는.
    (a1) 상기 배경 음원에서 발생한 음향을 입력받아 주파수 스펙트럼을 분석하고, 상기 배경 음원의 대표 주파수 스펙트럼을 추출하는 단계;
    (a2) 상기 음향의 크기를 기초로 상기 실내 공간 내에서의 상기 배경 음원의 위치 정보를 산출하는 단계; 및
    (a3) 상기 실내 공간에서 상기 배경 음원의 위치 정보에 대응하는 지점과 인접한 지점들 사이에서 상기 음향의 크기 변화를 나타내는 방향 벡터를 측정하는 단계;를 포함하고,
    상기 (b)단계에서, 상기 공간 지도에 상기 배경 음원의 대표 주파수 스펙트럼, 위치 정보 및 방향 벡터를 포함하는 특성 정보가 매핑되는 것을 특징으로 하는 소리 기반 공간 지도를 이용한 상황인식 방법.
  10. 제 8항에 있어서,
    (f) 상기 (e)단계에서 상기 대상 음원에 대응하는 이벤트가 특정되면, 상기 특정된 이벤트에 대응하여 사전에 설정되어 있는 프로세스를 수행하는 단계를 더 포함하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 방법.
  11. 제 8항에 있어서,
    상기 (d)단계에서, 상기 대상 음원의 위치 정보와 일치하는 배경 음원이 존재하면, 상기 대상 음원의 대표 주파수 스펙트럼과 방향 벡터를 상기 공간 지도에 매핑된 상기 배경 음원의 특성 정보와 비교하여, 상기 대상 음원의 특성 정보가 상기 배경 음원의 특성 정보와 일치하는지 파악하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 방법.
  12. 삭제
  13. 제 8항에 있어서,
    상기 (d)단계에서, 상기 대상 음원의 음향의 세기가 사전에 설정된 임계치 이상인 경우에만 상기 대상 음원의 특성 정보를 산출하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 방법.
  14. 제 8항에 있어서,
    상기 (b)단계에서, 상기 배경 음원에서 발생한 음향을 측정하기 위해 설정된 최초 측정 위치와 상이하게 설정되는 추가 지점에서 상기 배경 음원에서 발생한 음향을 측정하여 얻어진 특성 정보에 의해 상기 공간 지도를 갱신하는 것을 특징으로 하는 소리 기반 공간지도를 이용한 상황인식 방법.
  15. 제 8항, 제 9항, 제10항, 제11항, 제13항 또는 제 14항 중 어느 한 항에 기재된 소리 기반 공간지도를 이용한 상황인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110051956A 2011-05-31 2011-05-31 소리 기반 공간지도를 이용한 상황인식 장치 및 방법 KR101270074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110051956A KR101270074B1 (ko) 2011-05-31 2011-05-31 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110051956A KR101270074B1 (ko) 2011-05-31 2011-05-31 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120133330A KR20120133330A (ko) 2012-12-10
KR101270074B1 true KR101270074B1 (ko) 2013-05-31

Family

ID=47516731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110051956A KR101270074B1 (ko) 2011-05-31 2011-05-31 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101270074B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080695A1 (ko) * 2014-11-18 2016-05-26 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
WO2020251088A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 사운드맵 생성방법 및 사운드맵을 이용한 사운드 인식방법
KR20220139040A (ko) 2021-04-07 2022-10-14 한국표준과학연구원 음원 분리 및 음향 시각화 방법 및 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589565B2 (en) * 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
KR102125563B1 (ko) * 2014-05-29 2020-06-22 삼성전자주식회사 실내의 구조를 나타내는 데이터를 생성하는 디바이스 및 방법
KR102584588B1 (ko) * 2019-01-21 2023-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102102775B1 (ko) * 2019-09-17 2020-04-21 나인테크코리아 주식회사 실내 공간 변형 감지 장치
KR102217219B1 (ko) * 2020-07-30 2021-02-18 주식회사 파란헤움 실내 공간에 대한 긴급 상황의 통보가 가능한 긴급 상황 통보 시스템 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583808B2 (en) 2005-03-28 2009-09-01 Mitsubishi Electric Research Laboratories, Inc. Locating and tracking acoustic sources with microphone arrays
KR101022516B1 (ko) 2009-04-10 2011-03-16 고려대학교 산학협력단 스펙트럼 피크를 이용한 음향 인식 시스템 및 방법과 이에 사용되는 음향 스펙트럼 유사도 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583808B2 (en) 2005-03-28 2009-09-01 Mitsubishi Electric Research Laboratories, Inc. Locating and tracking acoustic sources with microphone arrays
KR101022516B1 (ko) 2009-04-10 2011-03-16 고려대학교 산학협력단 스펙트럼 피크를 이용한 음향 인식 시스템 및 방법과 이에 사용되는 음향 스펙트럼 유사도 측정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
안철용 외 2명. 1점 4마이크 수신법에 의한 음장 측정. 대한전자공학회 학술대회 논문집. 제10권, 제1호, 1997. 1.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080695A1 (ko) * 2014-11-18 2016-05-26 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR101625304B1 (ko) 2014-11-18 2016-05-27 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
CN106852171A (zh) * 2014-11-18 2017-06-13 庆熙大学产学协力团 基于声音信息的用户多个行为识别方法
CN106852171B (zh) * 2014-11-18 2020-11-06 庆熙大学产学协力团 基于声音信息的用户多个行为识别方法
WO2020251088A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 사운드맵 생성방법 및 사운드맵을 이용한 사운드 인식방법
KR20220139040A (ko) 2021-04-07 2022-10-14 한국표준과학연구원 음원 분리 및 음향 시각화 방법 및 시스템

Also Published As

Publication number Publication date
KR20120133330A (ko) 2012-12-10

Similar Documents

Publication Publication Date Title
KR101270074B1 (ko) 소리 기반 공간지도를 이용한 상황인식 장치 및 방법
EP2801078B1 (en) Context aware moving object detection
US11620898B2 (en) Visual-acoustic monitoring system for event detection, localization and classification
CN105100689A (zh) 自动取款机视频监控方法及装置
US8704662B2 (en) Method and apparatus for monitoring a structure
KR101608889B1 (ko) 대기열 모니터링 장치 및 방법
Andersson et al. Fusion of acoustic and optical sensor data for automatic fight detection in urban environments
CN111223261B (zh) 一种复合智能生产安防系统及其安防方法
Clemente et al. Indoor person identification and fall detection through non-intrusive floor seismic sensing
JP7243814B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
CN112307868A (zh) 图像识别方法、电子设备和计算机可读介质
Xia et al. Csafe: An intelligent audio wearable platform for improving construction worker safety in urban environments
CN109805936B (zh) 基于地面振动信号的人体摔倒检测系统
US20180188104A1 (en) Signal detection device, signal detection method, and recording medium
KR101736466B1 (ko) 음향 정보 기반 상황 인식 장치 및 방법
Zieger et al. Acoustic based surveillance system for intrusion detection
KR101711156B1 (ko) 단말 식별자를 이용한 영상 보안 시스템 및 방법
Mahmoud et al. Performance investigation of real-time fiber optic perimeter intrusion detection systems using event classification
US20070038448A1 (en) Objection detection by robot using sound localization and sound based object classification bayesian network
US20130322690A1 (en) Situation recognition apparatus and method using object energy information
KR20200095768A (ko) 소리 기반 공간을 사용한 상황인식 장치와 방법
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
Łopatka et al. Evaluation of sound event detection, classification and localization in the presence of background noise for acoustic surveillance of hazardous situations
WO2020163611A1 (en) Indoor occupancy estimation, trajectory tracking and event monitoring and tracking system
JP5721470B2 (ja) 歩行者数推定装置および歩行者数推定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee