WO2018097620A1 - 이상 음원 감지 방법 및 이를 수행하기 위한 장치 - Google Patents

이상 음원 감지 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
WO2018097620A1
WO2018097620A1 PCT/KR2017/013422 KR2017013422W WO2018097620A1 WO 2018097620 A1 WO2018097620 A1 WO 2018097620A1 KR 2017013422 W KR2017013422 W KR 2017013422W WO 2018097620 A1 WO2018097620 A1 WO 2018097620A1
Authority
WO
WIPO (PCT)
Prior art keywords
short
frame
sound source
abnormal sound
term
Prior art date
Application number
PCT/KR2017/013422
Other languages
English (en)
French (fr)
Inventor
김영섭
김정호
Original Assignee
주식회사 시그널웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시그널웍스 filed Critical 주식회사 시그널웍스
Publication of WO2018097620A1 publication Critical patent/WO2018097620A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/045—Analysing solids by imparting shocks to the workpiece and detecting the vibrations or the acoustic waves caused by the shocks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01Q—SCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q10/00—Scanning or positioning arrangements, i.e. arrangements for actively controlling the movement or position of the probe
    • G01Q10/04—Fine scanning or positioning
    • G01Q10/06—Circuits or algorithms therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

음향 분석 방법 및 이를 이용한 이상 음원 감지 장치가 개시된다. 본 발명의 일 실시예에 따른 이상 음원 감지 장치는, 음향 신호를 획득하는 음향 신호 획득부, 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하는 전처리부, 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하는 단구간 프레임 에너지 산출부, 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하는 스펙트럼 밀도 산출부, 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하는 판별 추정값 산출부, 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정하는 임계값 설정부, 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 임계값을 기반으로 음향 신호에서 이상 음원 검출 구간을 결정하는 이상 음원 검출 구간 결정부를 포함한다.

Description

이상 음원 감지 방법 및 이를 수행하기 위한 장치
본 발명의 실시예는 이상 음원 감지 기술과 관련된다.
최근 음성, 음향, 음악 등의 오디오 데이터로부터 비정상 상황을 인식하는 연구들이 활발하게 진행되고 있다. 예를 들어, 기존에 건물 또는 가정집 등에 설치된 방범 시스템은 CCTV와 같은 감시 카메라를 통해 외부 침입자를 감시하고, 외부 침입이 발생하였을 경우 이를 감시자에게 알려주어 외부 침입에 따른 조치를 취할 수 있도록 한다.
그러나, 감시 카메라의 경우, 감시 영역에 대한 사각 지대 및 감시 카메라의 동작 반경이 제한되어 있고, 야간 영상에 대해서는 낮은 조도로 인한 인식 능력 저하로 인해, 비상 상황이 발생하는 경우 적절한 상황 조치를 취할 수 없는 한계가 있다.
이를 해결하기 위해, 감시 카메라의 영상 데이터를 통해 비정상 상황을 인식하는 방법의 한계를 벗어나서 오디오 데이터에서 이상 음원을 감지하여 감시자에게 알려줌으로써 보다 효과적으로 해당 상황에 따른 조치를 취하는 방안이 제안되었다.
종래의 이상 음원 감지 방법은 이진 분류기(Binary Classifier)(예를 들어, SVM(Support Vector Machine) 등)를 이용하여 오디오 데이터에서 이상 음원을 감지하였다. 하지만, 종래의 이상 음원 감지 방법을 이용하는 경우, 관측되지 않은 영역을 포함하여 결정 경계면을 생성하기 때문에 새로운 오디오 데이터에 대해서 오분류의 가능성이 높다는 문제점이 있다.
또한, 방파제 테트라포드에서 낚시꾼 및 취객이 테트라포드 안쪽으로 추락하는 경우, 사고발 생 인지가 늦어져 저체온증 혹은 과다출혈로 사망사고가 발생할 수 있는데, 이상음원 분석 및 구조요청 신호 탐지를 통해 사건사고 탐지율의 증가 및 사망사고 감소에 도움을 줄 수 있다.
본 발명의 실시예는 수신되는 오디오 데이터에서 이상 음원을 검출할 수 있는 이상 음원 감지 방법 및 이를 수행하기 위한 장치 를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 이상 음원 감지 장치는, 음향 신호를 획득하는 음향 신호 획득부; 상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하는 전처리부; 상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하는 단구간 프레임 에너지 산출부; 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하는 스펙트럼 밀도 산출부; 상기 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하는 판별 추정값 산출부; 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정하는 임계값 설정부; 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는 이상 음원 검출 구간 결정부를 포함한다.
상기 스펙트럼 밀도 산출부는, 하기의 수학식을 통해 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density : SD)를 산출할 수 있다.
Figure PCTKR2017013422-appb-I000001
M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
Ni : 기 설정된 잡음 신호의 i번째 MFCC 계수의 값
상기 판별 추정값 산출부는, 하기의 수학식을 통해 상기 판별 추정값을 산출할 수 있다.
Figure PCTKR2017013422-appb-I000002
Y : 해당 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값
M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
Wi : i번째 MFCC 계수에 대해 기 설정된 가중치
V : 바이어스(Bias)로서 기 설정된 상수값
상기 임계값 설정부는, 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하고, 상기 산출한 이동 평균값을 기반으로 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 임계값을 각각 설정할 수 있다.
상기 이상 음원 검출 구간 결정부는, 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값과 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값 및 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 잡음 성분이 포함되는 정도에 따라 각각 설정되는 파라미터 가중 팩터를 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정할 수 있다.
상기 임계값 설정부는, 하기의 수학식을 통해 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출할 수 있다.
Figure PCTKR2017013422-appb-I000003
p1(n)(즉, j=1인 경우) : n번째 단구간 프레임의 에너지
p2(n)(즉, j=2인 경우) : n번째 단구간 프레임의 스펙트럼 밀도
p3(n)(즉, j=3인 경우) : n번째 단구간 프레임의 판별 추정값
Figure PCTKR2017013422-appb-I000004
: n번째 단구간 프레임의 에너지에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000005
: n번째 단구간 프레임의 스펙트럼 밀도에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000006
: n번째 단구간 프레임의 판별 추정값에 대한 이동 평균값
α : 이동 평균값의 변동량을 결정하는 상수
상기 이상 음원 검출 구간 결정부는, 하기의 수학식을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정할 수 있다.
Figure PCTKR2017013422-appb-I000007
R(n) : n번째 단구간 프레임이 이상 음원을 포함하는지 여부를 판단하기 위한 함수
δj(n) : n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값
N : 이상 음원 검출 구간을 결정하기 위해 분석 대상으로 취하는 n번째 단구간 프레임과 인접한 단구간 프레임의 개수
m : n번째 단구간 프레임과 인접한 단구간 프레임의 번호
βj : 해당 단구간 프레임에 잡음 성분이 포함되는 정도에 따라 설정되는 파라미터 가중 팩터
상기 이상 음원 검출 구간 결정부는, 상기 파라미터 가중 팩터(βj)를 하기의 수학식에 의해 설정할 수 있다.
Figure PCTKR2017013422-appb-I000008
β1 : 단구간 프레임의 에너지에 대한 파라미터 가중 팩터
β2 : 단구간 프레임의 스펙트럼 밀도에 대한 파라미터 가중 팩터
β3 : 단구간 프레임의 판별 추정값에 대한 파라미터 가중 팩터
Figure PCTKR2017013422-appb-I000009
: 단구간 프레임의 에너지에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000010
: 단구간 프레임의 판별 추정값에 대한 이동 평균값
r1 : β1과 β3의 척도를 일치시키기 위한 비례 상수
상기 이상 음원 검출 구간 결정부는, 기 설정된 개수의 단구간 프레임에서 연속적으로 상기 함수(R(n))의 출력 값이 기 설정된 출력값 이상인 것으로 나오는 경우, 해당 단구간 프레임들의 구간을 상기 이상 음원 검출 구간의 시작인 것으로 판단하고, 상기 이상 음원 검출 구간의 시작 이후에 존재하는 단구간 프레임에서 상기 함수(R(n))의 출력 값이 기 설정된 출력값 미만인 것으로 나오는 경우, 해당 단구간 프레임을 상기 이상 음원 검출 구간의 종점인 것으로 판단할 수 있다.
본 발명의 일 실시예에 따른 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 음향 신호를 획득하는 단계; 상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하는 단계; 상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하는 단계; 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하는 단계; 상기 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하는 단계; 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정하는 단계; 및 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는 단계를 포함한다.
상기 스펙트럼 밀도를 산출하는 단계는, 하기의 수학식을 통해 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density : SD)를 산출할 수 있다.
Figure PCTKR2017013422-appb-I000011
M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
Ni : 기 설정된 잡음 신호의 i번째 MFCC 계수의 값
상기 판별 추정값을 산출하는 단계는, 하기의 수학식을 통해 상기 판별 추정값을 산출할 수 있다.
Figure PCTKR2017013422-appb-I000012
Y : 해당 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값
M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
Wi : i번째 MFCC 계수에 대해 기 설정된 가중치
상기 임계값을 설정하는 단계는, 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하는 단계; 및 상기 산출한 이동 평균값을 기반으로 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 임계값을 각각 설정하는 단계를 포함할 수 있다.
상기 이상 음원 검출 구간을 결정하는 단계는, 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값과 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값 및 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 잡음 성분이 포함되는 정도에 따라 각각 설정되는 파라미터 가중 팩터를 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정할 수 있다.
상기 이동 평균값을 산출하는 단계는, 하기의 수학식을 통해 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출할 수 있다.
Figure PCTKR2017013422-appb-I000013
p1(n)(즉, j=1인 경우) : n번째 단구간 프레임의 에너지
p2(n)(즉, j=2인 경우) : n번째 단구간 프레임의 스펙트럼 밀도
p3(n)(즉, j=3인 경우) : n번째 단구간 프레임의 판별 추정값
Figure PCTKR2017013422-appb-I000014
: n번째 단구간 프레임의 에너지에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000015
: n번째 단구간 프레임의 스펙트럼 밀도에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000016
: n번째 단구간 프레임의 판별 추정값에 대한 이동 평균값
α : 이동 평균값의 변동량을 결정하는 상수
상기 이상 음원 검출 구간을 결정하는 단계는, 하기의 수학식을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정할 수 있다.
Figure PCTKR2017013422-appb-I000017
R(n) : n번째 단구간 프레임이 이상 음원을 포함하는지 여부를 판단하기 위한 함수
δj(n) : n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값
N : 이상 음원 검출 구간을 결정하기 위해 분석 대상으로 취하는 n번째 단구간 프레임과 인접한 단구간 프레임의 개수
m : n번째 단구간 프레임과 인접한 단구간 프레임의 번호
βj : 해당 단구간 프레임에 잡음 성분이 포함되는 정도에 따라 설정되는 파라미터 가중 팩터
상기 이상 음원 검출 구간을 결정하는 단계는, 상기 파라미터 가중 팩터(βj)를 하기의 수학식에 의해 설정할 수 있다.
Figure PCTKR2017013422-appb-I000018
β1 : 단구간 프레임의 에너지에 대한 파라미터 가중 팩터
β2 : 단구간 프레임의 스펙트럼 밀도에 대한 파라미터 가중 팩터
β3 : 단구간 프레임의 판별 추정값에 대한 파라미터 가중 팩터
Figure PCTKR2017013422-appb-I000019
: 단구간 프레임의 에너지에 대한 이동 평균값
Figure PCTKR2017013422-appb-I000020
: 단구간 프레임의 판별 추정값에 대한 이동 평균값
r1 : β1과 β3의 척도를 일치시키기 위한 비례 상수
상기 이상 음원 검출 구간을 결정하는 단계는, 기 설정된 개수의 단구간 프레임에서 연속적으로 상기 함수(R(n))의 출력 값이 기 설정된 출력값 이상인 것으로 나오는 경우, 해당 단구간 프레임들의 구간을 상기 이상 음원 검출 구간의 시작인 것으로 판단하는 단계; 및 상기 이상 음원 검출 구간의 시작 이후에 존재하는 단구간 프레임에서 상기 함수(R(n))의 출력 값이 기 설정된 출력값 미만인 것으로 나오는 경우, 해당 단구간 프레임을 상기 이상 음원 검출 구간의 종점인 것으로 판단하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 음향 신호를 획득하기 위한 명령; 상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하기 위한 명령; 상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하기 위한 명령; 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하기 위한 명령; 상기 각 단구간 프레임이 유효음 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하기 위한 명령; 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 유효음 구간의 경계를 결정하기 위한 임계값을 각각 설정하기 위한 명령; 및 상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 유효음 구간을 결정하기 위한 명령을 포함한다.
본 발명의 실시예에 의하면, 수신된 음향 신호에서 특성 파라미터(단구간 프레임 에너지, 단구간 프레임의 스펙트럼 밀도, 단구간 프레임의 판별 추정값)을 산출하고, 이를 기반으로 이상 음원 검출 구간을 검출함으로써, 주위 배경 잡음이 포함된 음향 신호에서도 환경에서도 이상 음원 검출 구간을 정확히 검출 할 수 있게 된다. 그로 인해, 이상 음원 인식에서 오분류를 줄일 수 있으며, 비정상적 상황을 바로 인식할 수 있게 된다. 또한, 이상 음원이 검출되는 경우, 해당 음원의 위치를 추적한 후, 음원 인식 정보 및 위치 정보를 관할 지구대로 전송하여 신속한 조치가 이루어지도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이상 음원 감지 장치의 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 이상 음원 감지 방법을 나타낸 흐름도
도 3은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이상 음원 감지 장치를 나타낸 블록도이다.
도 1을 참조하면, 이상 음원 감지 장치(100)는 음향 신호 획득부(102), 전처리부(104), 단구간 프레임 에너지 산출부(106), 스펙트럼 밀도 산출부(108), 판별 추정값 산출부(110), 임계값 설정부(112), 및 이상 음원 검출 구간 결정부(114)를 포함할 수 있다.
음향 신호 획득부(102)는 이상 음원 여부를 감지하기 위한 음향 신호를 획득하는 역할을 한다. 음향 신호 획득부(102)는 마이크로폰(Microphone)을 포함하여 구현될 수 있다. 음향 신호 획득부(102)에서 획득한 음향 신호는 아날로그 신호일 수 있다.
전처리부(104)는 음향 신호 획득부(102)가 획득한 음향 신호를 샘플링하여 디지털 신호인 오디오 데이터로 변환하고, 변환된 오디오 데이터를 기 설정된 단구간 길이(예를 들어, 5 ~ 60ms)를 갖는 복수 개의 프레임(이하, 단구간 프레임으로 지칭할 수 있음)으로 구분할 수 있다. 여기서, 각 단구간 프레임은 이웃하는 단구간 프레임과 일정 범위가 겹쳐지게(즉, 오버랩(Overlap) 되게) 설정될 수 있다. 예를 들어, 단구간 프레임이 400개의 샘플을 포함하는 경우, 첫 번째 단구간 프레임은 0 ~ 400 번째 샘플까지로 하고, 두 번째 단구간 프레임은 160 ~ 560번째 샘플까지로 설정할 수 있다. 이와 같이, 음향 신호(즉, 오디오 신호)를 샘플링하여 기 설정된 단구간 길이의 복수 개의 프레임으로 구분하여 분석하는 방법을 단구간 분석 방법이라 한다.
단구간 프레임 에너지 산출부(106)는 음향 신호 획득부(102)가 획득한 음향 신호의 각 단구간 프레임 에너지를 산출할 수 있다. 즉, 단구간 프레임 에너지 산출부(106)는 전처리부(104)에서 구분된 각 단구간 프레임의 에너지를 산출할 수 있다. 단구간 프레임 에너지는 해당 단구간에 속하는 음향 신호가 내포하고 있는 에너지의 합을 의미할 수 있다. 단구간 프레임 에너지 산출부(106)는 하기 수학식 1을 통해 각 단구간 프레임 에너지를 산출할 수 있다.
Figure PCTKR2017013422-appb-M000001
여기서, En은 n번째 단구간 프레임의 에너지를 나타내고, Xn(k)는 n번째 단구간 프레임의 k번째 샘플링에 대응하는 음향 신호를 나타내며, N은 해당 단구간 프레임에 포함되는 샘플링의 총 개수를 나타낼 수 있다.
스펙트럼 밀도 산출부(108)는 전처리부(104)에서 구분된 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density : SD)를 산출할 수 있다. 여기서, 스펙트럼 밀도는 해당 단구간 프레임에 대응하는 음향 신호에서 잡음 성분의 추정치를 차감하여 산출할 수 있다. 보다 상세하게는, 소정 단구간 프레임의 스펙트럼 밀도는 해당 단구간 프레임의 MFCC(Mel Frequency Cepstral Coefficient)에서 잡음의 추정치의 MFCC를 차감하여 산출할 수 있다. 여기서, 잡음의 추정치는 일반적인 잡음 신호(예를 들어, 화이트 노이즈 등)에서 MFCC 값을 구하여 산출할 수 있다.
스펙트럼 밀도 산출부(108)는 각 단구간 프레임의 스펙트럼 밀도(SD)를 하기의 수학식 2를 통해 산출할 수 있다.
Figure PCTKR2017013422-appb-M000002
여기서, M은 MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수를 나타내고, Xi는 해당 단구간 프레임의 i번째 MFCC 계수의 값을 나타내며, Ni는 기 설정된 잡음 신호의 i번째 MFCC 계수의 값을 나타낼 수 있다. 수학식 2에 의하면, 해당 단구간 프레임의 음향 신호에서 잡음으로 추정되는 성분이 차감되는 효과를 얻을 수 있다.
단구간 프레임의 MFCC(Mel Frequency Cepstral Coefficient)를 구하는 방법을 간략히 살펴보면, 단구간 프레임을 FFT(Fast Fourier Transform)을 통해 주파수 영역으로 변환하고, 단구간 프레임의 주파수 영역을 복수 개의 필터 뱅크(Filter Bank)(예를 들어, Mel-spaced filter bank)에 적용하여 각 필터 뱅크에서의 에너지를 구한다. 여기서, 필터 뱅크의 개수는 20 ~ 40개가 적용될 수 있으나, 표준적으로는 26개가 사용될 수 있다. 그리고, 각 필터 뱅크에서의 에너지에 로그를 취한 후 DCT(Discrete Cosine Transform)을 적용하면 해당 단구간 프레임에 대한 MFCC(Mel Frequency Cepstral Coefficient)를 산출할 수 있다. MFCC를 산출하는 방법은 이미 공지된 기술이므로 이에 대한 보다 자세한 설명은 생략하기로 한다.
판별 추정값 산출부(110)는 전처리부(104)에서 구분된 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지와 관련한 판별 추정값을 산출할 수 있다. 즉, 판별 추정값 산출부(110)는 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 아니면 잡음 또는 무음 구간에 포함되는지 여부에 따라 서로 다른 판별 추정값을 출력할 수 있다. 판별 추정값 산출부(110)는 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지와 관련하여 하기의 수학식 3에 의한 선형 판별 함수를 통해 판별 추정값을 산출할 수 있다.
Figure PCTKR2017013422-appb-M000003
여기서, Y는 해당 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값(즉, 출력값)을 나타내고, Xi는 해당 단구간 프레임의 i번째 MFCC 계수의 값을 나타내며, Wi는 i번째 MFCC 계수에 대한 가중치(선형 판별 함수의 가중치)를 나타내며, V는 바이어스(Bias)로서 상수값을 나타낼 수 있다.
수학식 3에서 W는 가중치 벡터로서, 가중치 벡터(W)는 입력 벡터인 X가 이상 음원 검출 구간에 포함되면 출력 신호(Y)가 1이고, 입력 벡터인 X가 잡음 구간 또는 무음 구간에 포함되면 출력 신호(Y)가 0이 되도록 미리 학습된 값일 수 있다. 여기서, 가중치 벡터(W)는 하기의 수학식 4와 같은 선형 회귀법에 의해 구할 수 있다.
Figure PCTKR2017013422-appb-M000004
여기서, T는 전이 행렬(Transition Matrix)를 나타낼 수 있다.
임계값 설정부(112)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정할 수 있다. 즉, 음향 신호 획득부(102)에서 획득한 음향 신호에는 이상 음원 검출 구간뿐만 아니라 잡음 구간 또는 무음 구간이 포함되어 있으므로, 이상 음원 검출 구간과 그 이외의 구간(즉, 잡음 구간 또는 무음 구간)을 구분하기 위한 경계를 결정하기 위해 임계값을 설정할 수 있다.
구체적으로, 임계값 설정부(112)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값을 각각 산출할 수 있다. 임계값 설정부(112)는 하기의 수학식 5를 통해 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값을 각각 산출할 수 있다.
Figure PCTKR2017013422-appb-M000005
여기서, p1(n)(즉, j=1인 경우)은 n번째 단구간 프레임의 에너지를 나타내고, p2(n)(즉, j=2인 경우)은 n번째 단구간 프레임의 스펙트럼 밀도를 나타내며, p3(n)(즉, j=3인 경우)은 n번째 단구간 프레임의 판별 추정값을 나타내고, α는 이동 평균값의 변동량을 결정하는 상수를 나타낼 수 있다.
그러면,
Figure PCTKR2017013422-appb-I000021
은 n번째 단구간 프레임의 에너지에 대한 이동 평균값을 나타내고,
Figure PCTKR2017013422-appb-I000022
는 n번째 단구간 프레임의 스펙트럼 밀도에 대한 이동 평균값을 나타내며,
Figure PCTKR2017013422-appb-I000023
는 n번째 단구간 프레임의 판별 추정값에 대한 이동 평균값을 나타내게 된다.
그리고, 임계값 설정부(112)는 하기의 수학식 6을 통해 각 단구간 프레임의 에너지에 대한 임계값(T1(n)), 단구간 프레임의 스펙트럼 밀도에 대한 임계값(T2(n)), 및 단구간 프레임의 판별 추정값에 대해 임계값(T3(n))을 설정할 수 있다.
Figure PCTKR2017013422-appb-M000006
여기서, a는 임계값 설정을 위한 가중치를 나타내고, b는 바이어스(Bias)로서 상수값을 나타낼 수 있다. a 및 b는 수학식 4와 유사한 방식의 선형 회귀법을 통해 구할 수 있다.
이상 음원 검출 구간 결정부(114)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 값(이하, 비교 결과값이라 지칭할 수 있음)과 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 각각 설정된 파라미터 가중 팩터를 기반으로 이상 음원 검출 구간을 결정할 수 있다.
구체적으로, 이상 음원 검출 구간 결정부(114)는 하기의 수학식 7을 통해 음향 신호 획득부(102)가 획득한 음향 신호에서 이상 음원 검출 구간을 결정할 수 있다. 예시적인 실시예에서, 이상 음원 검출 구간 결정부(114)는 수학식 7에서 R(n)의 출력값이 0 이상의 값을 갖는 단구간 프레임이 연속적으로 기 설정된 개수 이상 나타나는지 여부에 따라 이상 음원 검출 구간을 결정할 수 있다.
Figure PCTKR2017013422-appb-M000007
여기서, R(n)은 n번째 단구간 프레임이 이상 음원을 포함하는지 여부를 판단하기 위한 함수(이하, 이상 음원 판단 함수라 지칭할 수 있음)이다. δj(n)은 상기 비교 결과값을 나타낸 것으로,
Figure PCTKR2017013422-appb-I000024
이면 n번째 단구간 프레임이 이상 음원을 포함하는 것으로 잠정적인 판단을 하여 δj(n) = 1로 하고,
Figure PCTKR2017013422-appb-I000025
이면 n번째 단구간 프레임이 이상 음원을 포함하지 않는 것으로 잠정적인 판단을 하여 δj(n) = -1로 할 수 있다. N은 이상 음원 검출 구간을 결정하기 위해 분석 대상으로 취하는 n번째 단구간 프레임과 인접한 단구간 프레임의 개수를 나타낼 수 있다. m은 상기 n번째 단구간 프레임과 인접한 단구간 프레임의 번호를 나타낼 수 있다.
βj(j = 1, 2, 3)는 해당 단구간 프레임에 잡음 성분이 포함되는 정도에 따라 설정되는 파라미터 가중 팩터로서, β1은 해당 단구간 프레임의 에너지에 대한 파라미터 가중 팩터이고, β2은 해당 단구간 프레임의 스펙트럼 밀도에 대한 파라미터 가중 팩터이며, β3은 해당 단구간 프레임의 판별 추정값에 대한 파라미터 가중 팩터일 수 있다. βj(j = 1, 2, 3)는 아래의 수학식 8과 같이 설정될 수 있다.
Figure PCTKR2017013422-appb-M000008
여기서, r1은 β1과 β3의 척도를 일치시키기 위한 비례 상수이다.
β1은 단구간 프레임의 에너지가 잡음 성분이 클수록 증가하기 때문에, 잡음 성분이 적은 경우에도 이상 음원 검출을 수행할 수 있도록
Figure PCTKR2017013422-appb-I000026
(즉, 단구간 프레임의 에너지에 대한 이동 평균값)에 역수를 취하여 구할 수 있다. β2은 주변 잡음 성분을 고려하여 미리 계산된 적절한 상수로 설정할 수 있다. 예를 들어, β2은 0.1이 사용될 수 있다. β3은 0과 1사이의 값으로, 단구간 프레임의 판별 추정값이 잡음 성분이 클수록 감소하기 때문에, 잡음 성분이 큰 경우에도 이상 음원 검출을 수행할 수 있도록
Figure PCTKR2017013422-appb-I000027
(즉, 단구간 프레임의 판별 추정값에 대한 이동 평균값) 및 최대값인 1과의 차이값을 사용할 수 있다.
한편, 이상 음원으로 의미 있는 구간은 최소 40ms 이상 지속되어야 한다. 예를 들어, 단구간 프레임의 시구간 길이가 8ms인 경우, 이상 음원 검출 구간으로 결정하기 위해서는 최소 5개의 단구간 프레임이 연속적으로 이상 음원을 포함하는 것으로 판단되어야 한다.
따라서, 이상 음원 검출 구간 결정부(114)는 기 설정된 개수의 단구간 프레임에서 연속적으로 R(n)의 출력값이 0 이상으로 판별되는 경우, 이상 음원 검출 구간의 시작인 것으로 판단할 수 있다. 반면, 기 설정된 개수의 단구간 프레임에서 연속적으로 R(n)의 출력값이 0 이상이 되지 않는 경우, 해당 단구간 프레임들에 대해 잡음 또는 무음인 것으로 판단할 수 있다. 또한, 이상 음원 검출 구간 결정부(114)는 이상 음원 검출 구간이 시작된 이후, R(n)의 출력값이 0 미만으로 나오는 경우, 해당 단구간 프레임을 이상 음원 검출 구간의 종점인 것으로 판단할 수 있다.
이상 음원 감지 장치(100)는 이상 음원 검출 구간의 음향 신호에서 이상 음원을 인식할 수 있다. 예시적인 실시예에서, 이상 음원 감지 장치(100)는 검출한 이상 음원 검출 구간에서 음원이 포함하고 있는 음향학적 정보 및 특징 등을 기반으로 가우시안혼합모델(GMM : Gaussian Mixture Mod), 은닉 마르코프 모델(HMM : Hidden Markov model) 등과 같은 다양한 음원 인식 방법을 통해 이상 음원을 인식할 수 있다.
이상 음원 감지 장치(100)는 이상 음원이 인식되는 경우, 해당 음원의 위치를 추적할 수 있다. 예를 들어, 이상 음원 감지 장치(100)는 도착 시간 차이(TDOA : Time Difference of Arrival), GCC-PHAT(Generalized Cross Correlation with Phase Transform), 빔포밍(Beam-Forming), HRTF(Head Related Transfer Function) 등의 방법을 이용하여 해당 이상 음원이 발생된 위치를 추적하여 해당 위치의 위치 정보를 확인할 수 있다. 이상 음원 감지 장치(100)는 음원 구간에서 검출된 이상 음원의 인식을 통해 해당 이상 음원이 기 저장된 위험 이상 음원(예를 들어, 비명 소리, 폭발음 등)으로 판단되는 경우, 해당 음원 인식 정보 및 위치 정보 중 적어도 하나를 관할 지구대 단말기(미도시)로 전송할 수 있다. 여기서, 음원 인식 정보란, 이상 음원 감지 장치(100)에서 추출한 음원 구간, 음원 구간에서 확인한 이상 음원 등을 포함하는 정보를 의미할 수 있다.
본 발명의 실시예에 의하면, 수신된 음향 신호에서 특성 파라미터(단구간 프레임 에너지, 단구간 프레임의 스펙트럼 밀도, 단구간 프레임의 판별 추정값)을 산출하고, 이를 기반으로 이상 음원 검출 구간을 검출함으로써, 주위 배경 잡음이 포함된 음향 신호에서도 환경에서도 이상 음원 검출 구간을 정확히 검출 할 수 있게 된다. 그로 인해, 이상 음원 인식에서 오분류를 줄일 수 있으며, 비정상적 상황을 바로 인식할 수 있게 된다. 또한, 이상 음원이 검출되는 경우, 해당 음원의 위치를 추적한 후, 음원 인식 정보 및 위치 정보를 관할 지구대로 전송하여 신속한 조치가 이루어지도록 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이상 음원 감지 방법을 설명하기 위한 흐름도이다. 도 2에 도시된 방법은 예를 들어, 전술한 이상 음원 감지 장치(100)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 2를 참조하면, 이상 음원 감지 장치(100)는 이상 음원 여부를 판단하기 위한 음향 신호를 획득한다(S 101).
다음으로, 이상 음원 감지 장치(100)는 획득한 음향 신호를 샘플링하여 디지털 신호인 오디오 데이터로 변환하고, 변환된 오디오 데이터를 복수 개의 단구간 프레임으로 구분한다(S 103).
다음으로, 이상 음원 감지 장치(100)는 각 단구간 프레임을 대상으로 단구간 프레임 에너지를 산출한다(S 105). 이상 음원 감지 장치(100)는 상기 수학식 1을 통해 각 단구간 프레임의 에너지를 산출할 수 있다.
다음으로, 이상 음원 감지 장치(100)는 각 단구간 프레임의 스펙트럼 밀도를 산출한다(S 107). 이상 음원 감지 장치(100)는 상기 수학식 2를 통해 각 단구간 프레임의 스펙트럼 밀도를 산출할 수 있다.
다음으로, 이상 음원 감지 장치(100)는 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부에 대한 판별 추정값을 산출한다(S 109). 이상 음원 감지 장치(100)는 상기 수학식 3 및 수학식 4를 통해 각 단구간 프레임의 판별 추정값을 산출할 수 있다.
다음으로, 이상 음원 감지 장치(100)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정한다(S 111). 구체적으로, 이상 음원 감지 장치(100)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값을 각각 산출한 후, 이를 이용하여 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 각각 설정할 수 있다. 이상 음원 감지 장치(100)는 상기 수학식 5 및 수학식 6을 통해 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 각각 설정할 수 있다.
다음으로, 이상 음원 감지 장치(100)는 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 각 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 값(즉, 비교 결과값)과 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 각각 설정된 파라미터 가중 팩터를 기반으로 이상 음원 검출 구간을 결정한다(S 113). 이상 음원 감지 장치(100)는 상기 수학식 7에서 R(n)의 출력값이 0 이상의 값을 갖는 단구간 프레임이 연속적으로 기 설정된 개수 이상 나타나는지 여부에 따라 이상 음원 검출 구간을 결정할 수 있다.
도 3은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 이상 음원을 감지하기 위한 장치(예를 들어, 이상 음원 감지 장치(100))일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (19)

  1. 음향 신호를 획득하는 음향 신호 획득부;
    상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하는 전처리부;
    상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하는 단구간 프레임 에너지 산출부;
    상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하는 스펙트럼 밀도 산출부;
    상기 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하는 판별 추정값 산출부;
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정하는 임계값 설정부;
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는 이상 음원 검출 구간 결정부를 포함하는, 이상 음원 감지 장치.
  2. 청구항 1에 있어서,
    상기 스펙트럼 밀도 산출부는,
    하기의 수학식을 통해 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density : SD를 산출하는, 이상 음원 감지 장치.
    Figure PCTKR2017013422-appb-I000028
    M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
    Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
    Ni : 기 설정된 잡음 신호의 i번째 MFCC 계수의 값
  3. 청구항 1에 있어서,
    상기 판별 추정값 산출부는,
    하기의 수학식을 통해 상기 판별 추정값을 산출하는, 이상 음원 감지 장치.
    Figure PCTKR2017013422-appb-I000029
    Y : 해당 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값
    M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
    Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
    Wi : i번째 MFCC 계수에 대해 기 설정된 가중치
    V : 바이어스(Bias)로서 기 설정된 상수값
  4. 청구항 1에 있어서,
    상기 임계값 설정부는,
    상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하고, 상기 산출한 이동 평균값을 기반으로 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 임계값을 각각 설정하는, 이상 음원 감지 장치.
  5. 청구항 4에 있어서,
    상기 이상 음원 검출 구간 결정부는,
    상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값과 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값 및 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 잡음 성분이 포함되는 정도에 따라 각각 설정되는 파라미터 가중 팩터를 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는, 이상 음원 감지 장치.
  6. 청구항 4에 있어서,
    상기 임계값 설정부는,
    하기의 수학식을 통해 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하는, 이상 음원 감지 장치.
    Figure PCTKR2017013422-appb-I000030
    p1(n)(즉, j=1인 경우) : n번째 단구간 프레임의 에너지
    p2(n)(즉, j=2인 경우) : n번째 단구간 프레임의 스펙트럼 밀도
    p3(n)(즉, j=3인 경우) : n번째 단구간 프레임의 판별 추정값
    Figure PCTKR2017013422-appb-I000031
    : n번째 단구간 프레임의 에너지에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000032
    : n번째 단구간 프레임의 스펙트럼 밀도에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000033
    : n번째 단구간 프레임의 판별 추정값에 대한 이동 평균값
    α : 이동 평균값의 변동량을 결정하는 상수
  7. 청구항 6에 있어서,
    상기 이상 음원 검출 구간 결정부는,
    하기의 수학식을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는, 이상 음원 감지 장치.
    Figure PCTKR2017013422-appb-I000034
    R(n) : n번째 단구간 프레임이 이상 음원을 포함하는지 여부를 판단하기 위한 함수
    δj(n) : n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값
    N : 이상 음원 검출 구간을 결정하기 위해 분석 대상으로 취하는 n번째 단구간 프레임과 인접한 단구간 프레임의 개수
    m : n번째 단구간 프레임과 인접한 단구간 프레임의 번호
    βj : 해당 단구간 프레임에 잡음 성분이 포함되는 정도에 따라 설정되는 파라미터 가중 팩터
  8. 청구항 7에 있어서,
    상기 이상 음원 검출 구간 결정부는,
    상기 파라미터 가중 팩터(βj)를 하기의 수학식에 의해 설정하는, 이상 음원 감지 장치.
    Figure PCTKR2017013422-appb-I000035
    β1 : 단구간 프레임의 에너지에 대한 파라미터 가중 팩터
    β2 : 단구간 프레임의 스펙트럼 밀도에 대한 파라미터 가중 팩터
    β3 : 단구간 프레임의 판별 추정값에 대한 파라미터 가중 팩터
    Figure PCTKR2017013422-appb-I000036
    : 단구간 프레임의 에너지에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000037
    : 단구간 프레임의 판별 추정값에 대한 이동 평균값
    r1 : β1과 β3의 척도를 일치시키기 위한 비례 상수
  9. 청구항 7에 있어서,
    상기 이상 음원 검출 구간 결정부는,
    기 설정된 개수의 단구간 프레임에서 연속적으로 상기 함수(R(n))의 출력 값이 기 설정된 출력값 이상인 것으로 나오는 경우, 해당 단구간 프레임들의 구간을 상기 이상 음원 검출 구간의 시작인 것으로 판단하고, 상기 이상 음원 검출 구간의 시작 이후에 존재하는 단구간 프레임에서 상기 함수(R(n))의 출력 값이 기 설정된 출력값 미만인 것으로 나오는 경우, 해당 단구간 프레임을 상기 이상 음원 검출 구간의 종점인 것으로 판단하는, 이상 음원 감지 장치.
  10. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    음향 신호를 획득하는 단계;
    상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하는 단계;
    상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하는 단계;
    상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하는 단계;
    상기 각 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하는 단계;
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 이상 음원 검출 구간의 경계를 결정하기 위한 임계값을 각각 설정하는 단계; 및
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는 단계를 포함하는, 방법.
  11. 청구항 10에 있어서,
    상기 스펙트럼 밀도를 산출하는 단계는,
    하기의 수학식을 통해 상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density : SD를 산출하는, 방법.
    Figure PCTKR2017013422-appb-I000038
    M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
    Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
    Ni : 기 설정된 잡음 신호의 i번째 MFCC 계수의 값
  12. 청구항 10에 있어서,
    상기 판별 추정값을 산출하는 단계는,
    하기의 수학식을 통해 상기 판별 추정값을 산출하는, 방법.
    Figure PCTKR2017013422-appb-I000039
    Y : 해당 단구간 프레임이 이상 음원 검출 구간에 포함되는지 여부와 관련한 판별 추정값
    M : MFCC(Mel Frequency Cepstral Coefficient)의 총 계수의 개수
    Xi : 해당 단구간 프레임의 i번째 MFCC 계수의 값
    Wi : i번째 MFCC 계수에 대해 기 설정된 가중치
  13. 청구항 10에 있어서,
    상기 임계값을 설정하는 단계는,
    상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하는 단계; 및
    상기 산출한 이동 평균값을 기반으로 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 임계값을 각각 설정하는 단계를 포함하는, 방법.
  14. 청구항 13에 있어서,
    상기 이상 음원 검출 구간을 결정하는 단계는,
    상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값과 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값 및 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대해 잡음 성분이 포함되는 정도에 따라 각각 설정되는 파라미터 가중 팩터를 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는, 방법.
  15. 청구항 13에 있어서,
    상기 이동 평균값을 산출하는 단계는,
    하기의 수학식을 통해 상기 단구간 프레임 에너지, 상기 스펙트럼 밀도, 및 상기 판별 추정값에 대한 이동 평균값을 각각 산출하는, 방법.
    Figure PCTKR2017013422-appb-I000040
    p1(n)(즉, j=1인 경우) : n번째 단구간 프레임의 에너지
    p2(n)(즉, j=2인 경우) : n번째 단구간 프레임의 스펙트럼 밀도
    p3(n)(즉, j=3인 경우) : n번째 단구간 프레임의 판별 추정값
    Figure PCTKR2017013422-appb-I000041
    : n번째 단구간 프레임의 에너지에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000042
    : n번째 단구간 프레임의 스펙트럼 밀도에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000043
    : n번째 단구간 프레임의 판별 추정값에 대한 이동 평균값
    α : 이동 평균값의 변동량을 결정하는 상수
  16. 청구항 15에 있어서,
    상기 이상 음원 검출 구간을 결정하는 단계는,
    하기의 수학식을 기반으로 상기 획득한 음향 신호에서 이상 음원 검출 구간을 결정하는, 방법.
    Figure PCTKR2017013422-appb-I000044
    R(n) : n번째 단구간 프레임이 이상 음원을 포함하는지 여부를 판단하기 위한 함수
    δj(n) : n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 이동 평균값과 n번째 단구간 프레임의 에너지, 스펙트럼 밀도, 및 판별 추정값에 대한 임계값을 비교하여 나온 비교 결과값
    N : 이상 음원 검출 구간을 결정하기 위해 분석 대상으로 취하는 n번째 단구간 프레임과 인접한 단구간 프레임의 개수
    m : n번째 단구간 프레임과 인접한 단구간 프레임의 번호
    βj : 해당 단구간 프레임에 잡음 성분이 포함되는 정도에 따라 설정되는 파라미터 가중 팩터
  17. 청구항 16에 있어서,
    상기 이상 음원 검출 구간을 결정하는 단계는,
    상기 파라미터 가중 팩터(βj)를 하기의 수학식에 의해 설정하는, 방법.
    Figure PCTKR2017013422-appb-I000045
    β1 : 단구간 프레임의 에너지에 대한 파라미터 가중 팩터
    β2 : 단구간 프레임의 스펙트럼 밀도에 대한 파라미터 가중 팩터
    β3 : 단구간 프레임의 판별 추정값에 대한 파라미터 가중 팩터
    Figure PCTKR2017013422-appb-I000046
    : 단구간 프레임의 에너지에 대한 이동 평균값
    Figure PCTKR2017013422-appb-I000047
    : 단구간 프레임의 판별 추정값에 대한 이동 평균값
    r1 : β1과 β3의 척도를 일치시키기 위한 비례 상수
  18. 청구항 16에 있어서,
    상기 이상 음원 검출 구간을 결정하는 단계는,
    기 설정된 개수의 단구간 프레임에서 연속적으로 상기 함수(R(n))의 출력 값이 기 설정된 출력값 이상인 것으로 나오는 경우, 해당 단구간 프레임들의 구간을 상기 이상 음원 검출 구간의 시작인 것으로 판단하는 단계; 및
    상기 이상 음원 검출 구간의 시작 이후에 존재하는 단구간 프레임에서 상기 함수(R(n))의 출력 값이 기 설정된 출력값 미만인 것으로 나오는 경우, 해당 단구간 프레임을 상기 이상 음원 검출 구간의 종점인 것으로 판단하는 단계를 포함하는, 방법.
  19. 하나 이상의 프로세서들;
    메모리; 및
    하나 이상의 프로그램들을 포함하고,
    상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
    상기 하나 이상의 프로그램들은,
    음향 신호를 획득하기 위한 명령;
    상기 획득한 음향 신호를 샘플링하여 복수 개의 단구간 프레임으로 구분하기 위한 명령;
    상기 각 단구간 프레임에 대한 단구간 프레임 에너지를 산출하기 위한 명령;
    상기 각 단구간 프레임의 스펙트럼 밀도(Spectrum Density)를 산출하기 위한 명령;
    상기 각 단구간 프레임이 유효음 구간에 포함되는지 여부와 관련한 판별 추정값을 산출하기 위한 명령;
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값에 대해 유효음 구간의 경계를 결정하기 위한 임계값을 각각 설정하기 위한 명령; 및
    상기 각 단구간 프레임에 대해 산출한 단구간 프레임 에너지, 스펙트럼 밀도, 및 판별 추정값과 상기 임계값을 기반으로 상기 획득한 음향 신호에서 유효음 구간을 결정하기 위한 명령을 포함하는, 컴퓨팅 장치.
PCT/KR2017/013422 2016-11-23 2017-11-23 이상 음원 감지 방법 및 이를 수행하기 위한 장치 WO2018097620A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160156741A KR101847638B1 (ko) 2016-11-23 2016-11-23 음향 분석 방법 및 이를 이용한 비파괴 검사 장치
KR10-2016-0156741 2016-11-23

Publications (1)

Publication Number Publication Date
WO2018097620A1 true WO2018097620A1 (ko) 2018-05-31

Family

ID=61974954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013422 WO2018097620A1 (ko) 2016-11-23 2017-11-23 이상 음원 감지 방법 및 이를 수행하기 위한 장치

Country Status (2)

Country Link
KR (1) KR101847638B1 (ko)
WO (1) WO2018097620A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111755025A (zh) * 2019-03-26 2020-10-09 北京君林科技股份有限公司 一种基于音频特征的状态检测方法、装置及设备
CN112151055A (zh) * 2020-09-25 2020-12-29 北京猿力未来科技有限公司 音频处理方法及装置
CN113205815A (zh) * 2021-04-28 2021-08-03 维沃移动通信有限公司 语音处理方法和电子设备
CN114812796A (zh) * 2022-04-22 2022-07-29 中国人民解放军63811部队 设备状况评估方法以及相关设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102260694B1 (ko) 2019-04-25 2021-06-07 울산대학교 산학협력단 음향신호를 이용한 비파괴 검사장치 및 검사방법
CN115964670B (zh) * 2022-12-17 2023-07-07 中国人民解放军32802部队 一种频谱异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315863A (ja) * 2006-05-24 2007-12-06 Jtekt Corp アコースティックエミッション検出装置および制御装置
JP2009008823A (ja) * 2007-06-27 2009-01-15 Fujitsu Ltd 音響認識装置、音響認識方法、及び、音響認識プログラム
KR20120051172A (ko) * 2010-11-12 2012-05-22 대진대학교 산학협력단 음향감지를 이용한 품질관리 시스템 및 그 제공방법
KR20160027351A (ko) * 2014-08-28 2016-03-10 주식회사 아이티매직 사운드 신호에서 진단 신호를 추출하는 방법 및 진단 장치
KR101657257B1 (ko) * 2015-06-25 2016-09-13 (주)세아스 절삭공구 용접 불량 검사 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315863A (ja) * 2006-05-24 2007-12-06 Jtekt Corp アコースティックエミッション検出装置および制御装置
JP2009008823A (ja) * 2007-06-27 2009-01-15 Fujitsu Ltd 音響認識装置、音響認識方法、及び、音響認識プログラム
KR20120051172A (ko) * 2010-11-12 2012-05-22 대진대학교 산학협력단 음향감지를 이용한 품질관리 시스템 및 그 제공방법
KR20160027351A (ko) * 2014-08-28 2016-03-10 주식회사 아이티매직 사운드 신호에서 진단 신호를 추출하는 방법 및 진단 장치
KR101657257B1 (ko) * 2015-06-25 2016-09-13 (주)세아스 절삭공구 용접 불량 검사 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111755025A (zh) * 2019-03-26 2020-10-09 北京君林科技股份有限公司 一种基于音频特征的状态检测方法、装置及设备
CN111755025B (zh) * 2019-03-26 2024-02-23 苏州君林智能科技有限公司 一种基于音频特征的状态检测方法、装置及设备
CN112151055A (zh) * 2020-09-25 2020-12-29 北京猿力未来科技有限公司 音频处理方法及装置
CN112151055B (zh) * 2020-09-25 2024-04-30 北京猿力未来科技有限公司 音频处理方法及装置
CN113205815A (zh) * 2021-04-28 2021-08-03 维沃移动通信有限公司 语音处理方法和电子设备
CN113205815B (zh) * 2021-04-28 2023-02-28 维沃移动通信有限公司 语音处理方法和电子设备
CN114812796A (zh) * 2022-04-22 2022-07-29 中国人民解放军63811部队 设备状况评估方法以及相关设备

Also Published As

Publication number Publication date
KR101847638B1 (ko) 2018-04-10

Similar Documents

Publication Publication Date Title
WO2018097620A1 (ko) 이상 음원 감지 방법 및 이를 수행하기 위한 장치
WO2020213996A1 (en) Method and apparatus for interrupt detection
WO2018070639A1 (ko) 전자 장치 및 전자 장치의 오디오 신호 처리 방법
WO2017078361A1 (en) Electronic device and method for recognizing speech
WO2019103484A1 (ko) 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2020231230A1 (en) Method and apparatus for performing speech recognition with wake on voice
WO2020138908A1 (ko) 전자 장치 및 그 제어 방법
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2021256652A1 (en) Electronic apparatus and controlling method thereof
WO2020059939A1 (ko) 인공지능 장치
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2018169381A1 (en) Method and system for automatically managing operations of electronic device
WO2020130260A1 (en) Mobile terminal and method of operating the same
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2020230926A1 (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
WO2019160396A2 (ko) 안내 로봇 및 안내 로봇의 동작 방법
WO2022119082A1 (ko) 인공지능 모델을 기반으로 재난을 감지하는 방법 및 이를 수행하는 전자 장치
WO2020226213A1 (ko) 음성 인식 기능을 제공하는 인공 지능 기기, 인공 지능 기기의 동작 방법
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
EP3915063A1 (en) Multi-model structures for classification and intent determination
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2020085769A1 (en) Speech recognition method and apparatus in environment including plurality of apparatuses

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17874855

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17874855

Country of ref document: EP

Kind code of ref document: A1