KR102421158B1 - 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템 - Google Patents

실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템 Download PDF

Info

Publication number
KR102421158B1
KR102421158B1 KR1020200031190A KR20200031190A KR102421158B1 KR 102421158 B1 KR102421158 B1 KR 102421158B1 KR 1020200031190 A KR1020200031190 A KR 1020200031190A KR 20200031190 A KR20200031190 A KR 20200031190A KR 102421158 B1 KR102421158 B1 KR 102421158B1
Authority
KR
South Korea
Prior art keywords
sound
unit
noise
learning
data
Prior art date
Application number
KR1020200031190A
Other languages
English (en)
Other versions
KR20210115425A (ko
Inventor
전주천
Original Assignee
넥스터 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스터 주식회사 filed Critical 넥스터 주식회사
Priority to KR1020200031190A priority Critical patent/KR102421158B1/ko
Publication of KR20210115425A publication Critical patent/KR20210115425A/ko
Application granted granted Critical
Publication of KR102421158B1 publication Critical patent/KR102421158B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 스마트 볼륨 조절 시스템(1)에 관한 것이다. 그러한 스마트 볼륨 조절 시스템(1)은, 주위의 음향을 수집하는 입력부(3)와; 입력부(3)를 통해 실시간 입력되는 음향을 분석하여, 음향 및 소음 데이터를 동시에 추출하는 추출부(5)와; 추출된 음향 데이터를 시간별로 구분하여 분석하는 음성 분석부(7)와; 추출부(5)를 통하여 추출된 음향 데이터를 딥러닝으로 학습하여 음향 패턴을 추출하고 벡터화하여 유사도를 분석하고, 분석된 음향 패턴이 일반 소음인지 사고 소음인지를 구분하는 학습부(9)와; 학습부(9)에 의하여 학습된 결과에 따라 IOT 장치와 연동하여 외부 기관에 알리는 IOT 연동부(11)와; 음성 분석부(7)에 의하여 분석된 음향을 세기에 따라 구분하는 소음 조절부(13)와; 그리고 음향 분석부(7) 및 소음 조절부(13)의 분석결과에 의하여 안내 방송을 실시하는 출력부(17)를 포함한다.

Description

실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템{Smart Volume Control System of Voice Information System According to Noise Levels by Real-Time Acoustic Analysis}
본 발명은 스마트 볼륨 조절 시스템에 관한 것으로서, 보다 상세하게는 실시간으로 수집되는 음원으로부터 사람, 차량 등이 내는 소리를 추출하고, 추출된 음향 데이터를 분석함으로써 소음도를 시간별, 일별, 주간 및 야간별로 구분하고, 딥러닝에 의하여 음향 패턴을 분류함으로써 음성 안내시스템의 출력 볼륨을 주위 소음도에 따라 적절하게 조정할 수 있는 기술에 관한 것이다.
최근 IoT 기술을 적용한 스마트 홈 및 스마트 시티 서비스의 발전에 따라 버스 정류장, 횡단보도나 도로에서 버스의 도착 시간 안내, 보행안전 시스템의 음성안내 및 미세먼지 저감을 위한 음성 안내 장치 같은 것이 많이 설치되고 있다.
그러나, 이러한 종래의 음성 안내장치는 다음과 같은 문제점이 있다.
첫째, 항상 일정한 소리로 출력되는 일률적인 장치로 인하여, 통행량이 많은 시간에는 음성안내가 들리지 않고, 조용한 시간대에는 너무 크게 들리는 음성안내로 인하여 불편함이 있다.
둘째, 소음이 일반 소음인지 사고로 인한 소음인지를 구분할 수 없어서 상황에 적절한 대응을 하기 어려운 문제점이 있다.
특허출원 제10-2019-0098376호(명칭:지능적 음성 출력방법, 음성출력장치 및 지능형 컴퓨팅 디바이스)
따라서, 본 발명은 이와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 안내 방송시 주위 소음에 따라 가변적으로 방송함으로써 전달하고자 하는 메시지를 정확하게 전달할 수 있는 시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은, 실시간으로 수집되는 음원으로부터 사람, 차량 등이 내는 소리를 추출하고, 추출된 음향 데이터를 분석함으로써 소음도를 시간별, 일별, 주간 및 야간별로 구분하고, 딥러닝에 의하여 음향 패턴을 분류함으로써 상황에 따라 적합한 안내를 할 수 있는 시스템을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은, 주위 소음이 단순소음인지 사고로 인한 소음인지를 구분함으로써 사고인 경우 신속하게 대응할 수 있는 시스템을 제공하는 것이다.
상기한 목적을 달성하기 위하여, 본 발명의 일 실시예는,
버스 정류장에 배치되어 주위의 음향을 수집하는 입력부(3)와;
입력부(3)를 통해 실시간 입력되는 음향을 분석하여, 음향 및 소음 데이터를 동시에 추출하는 추출부(5)와;
추출된 음향 데이터를 시간별로 구분하여 분석하는 음성 분석부(7)와;
추출부(5)를 통하여 추출된 음향 데이터를 딥러닝으로 학습하여 음향 패턴을 추출하고 벡터화하여 유사도를 분석하고, 분석된 음향 패턴이 일반 소음인지 사고 소음인지를 구분하는 학습부(9)와;
학습부(9)에 의하여 학습된 결과에 따라 IOT 장치와 연동하여 외부 기관에 알리는 IOT 연동부(11)와;
음성 분석부(7)에 의하여 분석된 음향을 세기에 따라 구분하는 소음 조절부(13)와; 그리고
음향 분석부(7) 및 소음 조절부(13)의 분석결과에 의하여 안내 방송을 실시하는 출력부(17)를 포함하며,
학습부(9)는 음향 데이터를 딥러닝 방식에 의하여 분류함으로써 유사도에 따라 음향을 분류하는 중앙처리부(10)와; 중앙처리부(10)에 의하여 분류된 음향 데이터를 일반 소음인지 사고 소음인지를 구분하는 음향구분모듈(30)을 포함하며,
IOT 연동부(11)는 음향 구분모듈(30)에 의하여 판단된 음향에 관련된 기관을 검색하는 검색모듈(32)과; 검색된 기관에 신호를 전송하여 사고 발생을 알리는 알림모듈(34)을 포함하고,
기침소리 인식부(40)를 추가로 포함하며, 기침소리 인식부(40)는 입력부(3)를 통하여 수집된 음향 데이터로부터 패턴을 분석하여 기침에 해당하는 음향 데이터를 추출하는 벡터 추출모듈(42)과; 기계학습 혹은 딥러닝에 의하여 학습된 기침 음향 데이터가 저장된 데이터 베이스(48)와; 벡터 추출모듈(42)에 의하여 추출된 음향 데이터와 데이터 베이스(48)에 저장된 기침 음향 데이터를 비교하여 기침여부를 판단하는 판단모듈(44)과; 기침으로 판단되면, IOT 연동부(11)에 신호를 전송함으로써 알림모듈(34)을 통하여 방역 기관 및 버스 정류장의 스피커(10)를 통하여 알리는 출력모듈(46)을 포함하며,
벡터 추출모듈(42)을 시간입력모듈(49)과 연동시킴으로써 특정 기간에만 음향 패턴의 분석 및 벡터추출을 진행하는 버스 정류장에 배치된 스마트 음성 안내 시스템을 제공한다.
삭제
삭제
삭제
삭제
삭제
삭제
상기한 바와 같이 본 발명의 일 실시예에 따른 스마트 음성 안내 시스템은 다음과 같은 효과가 있다.
첫째, 입력부의 마이크나 데시벨 측정 센서를 이용하여 실시간 수신되는 음향으로부터 주변의 소음도를 분석함으로써, 소음도의 레벨이 높을때에는 출력부의 볼륨을 높여서 음성안내 시스템의 기능을 충실히 할 수 있도록 하며, 주변의 상황이 고요한 소음도의 레벨이 낮은 경우 출력부의 볼륨을 낮게함으로써 주변의 사람들에게 음성안내로 인한 소음을 줄여서 그 본연의 기능을 함으로써 음성안내 시스템의 순기능을 높일 수 있다.
둘째, 일반 소음과 사고시 발생하는 소음을 구분함으로써, 폭력이나 자동차 충돌 사고와 같은 위급 상황에 대한 음향을 분석하여 시스템과 연동되는 IoT 장치를 통하여 주위의 가장 가까운 경찰서나 응급구조센터 등에 돌발상황에 대한 정보를 알림으로서 사람들을 위급상황으로부터 구할 수 있다.
셋째, 기침소리 인식부를 추가로 배치함으로써 수집된 음향 데이터중 기침소리를 분석하여 해당 정류장에 기침을 하는 보행자가 있을 경우 이를 실시간으로 파악하여 관련 기관에 알릴 수 있고, 또한 해당 보행자에게 방송으로 해당 기관을 방문할 것을 안내할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 볼륨 시스템의 구조를 개략적으로 보여주는 도면이다.
도 2는 도 1에 도시된 학습부(CPU)의 구조를 개략적으로 보여주는 블록도이다.
도 3은 도 1에 도시된 음향 추출부의 구조를 개략적으로 보여주는 블록도이다.
도 4는 도 1에 도시된 IOT(Internet of things) 연동부의 구조를 개략적으로 보여주는 블록도이다.
도 5는 도 1에 도시된 스마트 볼륨 시스템에 의하여 처리되는 음파를 보여주는 도면이다.
도 6은 본 발명의 다른 실시예로서, 기침소리 인식부의 구조를 개략적으로 보여주는 블록도이다.
이하, 본 발명에 따른 스마트 볼륨 조절 시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1 내지 도 5에 도시된 바와 같이, 본 발명이 제안하는 스마트 볼륨 조절 시스템(1)은 실시간 입력되는 음향에서 사람 소리, 차량이 내는 소리 등을 추출하고, 동시에 추출된 음향 데이터를 분석하고 소음을 분석하여 음성 안내 시스템(1)의 볼륨을 제어하여 출력하는 시스템(1)에 관한 것이다.
이러한 스마트 볼륨 조절 시스템(1)은,
주위의 음향을 수집하는 입력부(3)와; 입력부(3)를 통해 실시간 입력되는 음향을 분석하여, 음향 및 소음 데이터를 동시에 추출하는 추출부(5)와; 추출된 음향 데이터를 시간별로 구분하여 분석하는 음성 분석부(7)와; 추출부(5)를 통하여 추출된 음향 데이터를 딥러닝으로 학습하여 음향 패턴을 추출하고 벡터화하여 유사도를 분석하고, 분석된 음향 패턴이 일반 소음인지 사고 소음인지를 구분하는 학습부(9)와; 학습부(9)에 의하여 학습된 결과에 따라 IOT 장치와 연동하여 외부 기관에 알리는 IOT 연동부(11)와; 음성 분석부(7)에 의하여 분석된 음향을 세기에 따라 구분하는 소음 조절부(13)와; 그리고 음향 분석부(7) 및 소음 조절부(13)의 분석결과에 의하여 안내 방송을 실시하는 출력부(17)를 포함한다.
보다 상세하게 설명하면,
입력부(3)는 주위의 음향을 수집하는 전자기기로서, 예를 들면 임베디드 마이크(Embedded MIC) 혹은 데시벨 측정 센서 등을 포함한다. 따라서, 주위의 음향은 입력부(3)를 통하여 수집되며, 수집된 음향은 디지털 데이터로 변환되어 추출부(5)로 전송된다.
추출부(5)는 전송된 음향으로부터 음향 데이터 및 소음 데이터를 분리하게 된다.
이러한 추출부(5)는 음향신호를 대역필터링하여 특정의 주파수만을 통과시킴으로써 음향 데이터 및 소음 데이터를 분리한다.
상기 추출부(5)는 도 3에 도시된 바와 같이, 입력부(3)로부터 전송된 음파신호가 입력되는 입력단(20)과; 입력단(20)으로부터 출력된 디지털 신호를 증폭하는 증폭기(22)와; 증폭된 신호중 특정 대역의 주파수만을 통과시키는 대역필터(24)와; 걸러진 특정 주파수를 검파하는 디텍터(Detector;26)와; 디텍터(26)로부터 출력된 신호를 정형화시키는 정형기(28)를 포함한다.
이러한 구조를 갖는 추출부(5)에 있어서, 입력단(20)을 통과한 음향 신호는 증폭기(22)를 통과하는 과정에서 일정 주파수 이상으로 증폭될 수 있다.
그리고, 증폭된 신호는 상기 대역필터(24)에 의하여 특정 대역의 주파수만 출력될 수 있다. 즉, 대역필터(24)는 저항과, 복수개의 캐패시터(Capacitor)와, 다이오드에 의하여 적분회로와 미분회로를 조합한 배치구조를 갖는다.
그리고, 제 1캐패시터 및 제 2캐패시터의 경계 주파수는 아래의 수식에 의하여 결정될 수 있다. 즉,
제 1캐패시터의 경계 주파수: f1=1/2*π*R*C1 -------- 수식 1
제 2캐패시터의 경계 주파수: f2=1/2*π*R*C2 -------- 수식 2
(f1: 제 1경계 주파수, f2: 제 2경계 주파수, R: 저항, C1, C2: 제1 및 제 2캐패시터)
상기 수식 1 및 2에서 알 수 있는 바와 같이, 캐패시터 혹은 저항의 용량을 적절하게 가변시킴으로써 제 1경계 주파수와 제 2경계 주파수를 설정할 수 있다.
따라서, 상기 목표하는 주파수(f)가 f1〈f〈f2의 조건을 만족시킬 경우, 즉, 제 1 및 제 2경계 주파수 대역의 중간 대역에 해당하는 주파수만을 통과시킬 수 있다.
이와 같은 방식으로, 소음 데이터와 음향 데이터를 구분하는 기준 주파수를 설정함으로써 소음 데이터를 분리할 수 있다.
예를 들면, 20Hz 내지 100Hz 주파수 대역의 신호는 음향 데이터로 설정하고, 100Hz 내지 200Hz 주파수 대역의 신호는 소음 데이터로 설정하는 방식이다.
경우에 따라서는 대역필터(24)를 복수개 배치하고 각 대역필터(24)의 통과 주파수 대역을 다중 채널로 함으로써 보다 다양한 기준으로 소음 데이터를 분리할 수 있다.
그리고, 추출된 음향 데이터는 음성 분석부(7)에 의하여 시간별로 특징적인 패턴이 분석된다.
즉, 추출된 음향 데이터를 시간 별, 일별, 주간 및 야간으로 구분하여 저장한다. 예를 들면, 음향 데이터에 시간 데이터를 결합함으로써 각 음향 데이터의 수집시간을 파악할 수 있다.
이는 음성 분석부(7)와 디지털 타이머(Digital timer)와 연동함으로써 음향 데이터에 시간 데이터를 결합할 수 있다.
이와 같이 시간 데이터를 결합함으로써 음향 데이터를 시간 별로 구분하여 저장할 수 있다.
그리고, 이러한 음향 데이터는 학습부(7)에 의하여 패턴을 분석하여 특징적인 패턴을 추출하고, 벡터화한다. 즉, 학습부(9)에 의하여 벡터화되고 딥러닝 방식으로 분석될 수 있다.
보다 상세하게 설명하면, 학습부(9)는 음향 패턴을 딥러닝에 의하여 분석함으로써 분류하여 소음과 일반적인 음향을 구분하게 된다. 이러한 학습부(9)는 음향분석엔진이 탑재된 중앙처리장치(CPU)에 의하여 처리될 수 있다.
학습부(9)는 음향 데이터를 딥러닝 방식에 의하여 분류함으로써 유사도에 따라 음향을 분류하는 중앙처리부(10)와; 중앙처리부(10)에 의하여 분류된 음향 데이터를 일반 소음인지 사고 소음인지를 구분하는 음향구분모듈(30)을 포함한다.
중앙처리부(10)는, 도 2에 도시된 바와 같이, 음향분석엔진과, GPU와, ISP(Image Signal Processor), ALSA(Advanced Linux Sound Architecture), RTSP(Real Time Streaming Protocol)로 구성되고, 램(RAM), LAN 이나 Beacon관 연동한다.
이러한 중앙처리부(10)에 있어서, 음향의 패턴 분석은 다양한 알고리즘을 사용할 수 있는 바, 예를 들면 딥러닝(Deep learning)방식에 의하여 음향의 주파수 대역, 파형 등을 비교하여 그 유사도를 판단함으로써 패턴을 분석하는 방식이다.
즉, 딥러닝은 컴퓨터가 여러 데이터를 이용해 인간처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습방법이다.
인공 신경망을 이용하면 음향 데이터의 분류(classification) 및 군집화(clustering)가 가능한 바, 분류나 군집화를 원하는 데이터 위에 여러 가지 층(layer)을 얹어서 유사도 판단을 실시할 수 있다.
즉, 인공 신경망으로 음향 데이터를 벡터화하고, 파형의 특징을 추출하고 그 특징을 다시 다른 기계학습 알고리즘의 입력값으로 사용하여 파형 별로 분류나 군집화를 함으로써 유사도를 판단할 수 있다.
이러한 인공 신경망은 심층 신경망을 포함하는 바, 심층 신경망은 신경망 알고리즘 중에서 여러 개의 층으로 이루어진 신경망을 의미한다.
즉, 인공 신경망은 다층으로 구성되는 바, 각각의 층은 여러 개의 노드로 구성되고, 각 노드에서는 실제로 음향 데이터의 파형을 분류하는 연산이 일어나며, 이 연산 과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계된다.
노드는 일정 크기 이상의 자극을 받으면 반응을 하는데, 그 반응의 크기는 입력 값과 노드의 계수(또는 가중치, weights)를 곱한 값과 대략 비례한다. 일반적으로 노드는 여러 개의 음향 데이터를 입력받으며 입력 갯수만큼의 계수를 갖는다. 따라서, 이 계수를 조절함으로써 여러 입력값에 서로 다른 가중치를 부여할 수 있다.
최종적으로 곱한 값들은 전부 더해지고 그 합은 활성 함수(activation function)의 입력으로 들어가게 된다. 활성 함수의 결과가 노드의 출력에 해당하며 이 출력값이 궁극적으로 분류나 회귀 분석에 쓰인다.
각 층은 여러 개의 노드로 이루어지며 음향 데이터의 입력에 따라 각 노드의 활성화/비활성화 여부가 결정된다. 이때, 입력 데이터는 첫 번째 층의 입력이 되며, 그 이후엔 각 층의 출력이 다시 다음 층의 입력이 되는 방식이다.
모든 계수는 음향 데이터의 파형 학습 과정에서 계속 조금씩 변하는데, 결과적으로 각 노드가 어떤 입력을 중요하게 여기는지를 반영한다. 그리고 신경망의 학습(training)은 이 계수를 업데이트하는 과정이다.
음향 데이터의 파형 학습시 이러한 심층 신경망에서는 각 층마다 서로 다른 층위의 특징이 학습된다.
즉, 낮은 층위의 특징은 단순하고 구체적인 특징이 학습되며 {예: 음향 데이터의 파형을 구성하는 곡선 형상(C)}, 높은 층위의 특징은 더욱 복잡하고 추상적인 특징이 학습된다. {예: 파형의 높이(H), 간격(R), 곡률(P)}
이런 추상화 학습과정을 통해 심층 신경망이 고차원의 음향 데이터를 이해하며, 이 과정에는 수 억, 수 십억 개의 계수가 관여하게 된다. (이 과정에서 비선형함수가 사용된다.)
또한, 심층 신경망은 데이터를 이용해 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 음향 데이터의 파형의 높이(H), 간격(R), 피크부의 곡률(P) 등 잠재적인 구조를 파악할 수 있다. 이를 통해 데이터가 라벨링되어 있지 않아도 데이터간의 유사성을 효과적으로 파악할 수 있으며, 결과적으로 심층 신경망은 음향 데이터의 군집화에 효과적이다.
예를 들어, 신경망을 이용해 대량의 음향 데이터를 입력받아 비슷한 음향 데이터끼리 모아서 분류할 수 있다.
그리고, 라벨링이 되어있지 않은 데이터를 학습하는 경우에도 신경망은 음향 데이터의 특징을 자동적으로 추출할 수 있다. 이 자동 추출은 여러 가지 방법이 있는데, 보통 이 과정은 신경망을 통과시켰을 때의 출력이 입력과 같아지도록 학습하게 된다.
라벨이 어떤 종류이든지(입력을 그대로 사용/별도의 라벨을 사용) 신경망은 입력과 출력의 상관관계를 찾는다. 경우에 따라서는 라벨링된 데이터로 신경망을 어느 정도 학습시킨 뒤 라벨링이 되어있지 않은 데이터를 추가하여 계속 학습시킬 수도 있다. 이 방법을 이용하면 신경망의 성능을 극대화할 수 있다.
심층 신경망의 마지막 층은 출력층이다. 출력층의 활성 함수는 로지스틱(logistic) 혹은 소프트 맥스(softmax)인 경우가 대부분이며 출력층에서는 최종적으로 특정 라벨의 확률을 구할 수 있다. 예를 들어 음향 데이터를 입력하였을 때 파형의 형상이 짧고 조밀한지, 길고 완만한지 등을 각각의 확률로 구할 수 있다.
우선 학습이 시작되기 전에 뉴럴넷의 모든 계수를 초기화한다. 그리고 음향 데이터를 반복적으로 입력하여 학습을 진행한다. 만일 학습이 원활하게 진행되었다면 계수는 적절한 값으로 업데이트 되어 있을 것이고, 이 인공 신경망으로 각종 분류와 예측이 가능하다.
학습 과정 내부에선 이러한 계수의 업데이트 과정이 반복적으로 일어난다.
계수 업데이트의 원리는 우선 계수를 추정하고 그 계수를 사용했을 때 발생하는 에러를 측정한 뒤 그 에러에 기반해서 계수를 약간씩 업데이트 하는 방식이다.
이때, 신경망의 여러 계수를 합쳐서 모델이라고 부르며, 모델은 초기화 된 상태일 수도 있고, 학습이 완료된 상태일 수도 있다.
초기화 된 모델은 의미있는 작업을 못하지만 학습이 진행될수록 모델은 임의의 값이 아닌, 실제와 유사한 결과를 출력하게 된다.
이는 인공 신경망이 데이터가 입력되기 전에는 아무것도 모르는 상태이기 때문이며, 계수를 임의의 값으로 초기화하는 이유도 마찬가지이다. 그리고 데이터를 읽어가면서 계수를 조금씩 올바른 방향으로 업데이트하게 된다.
이러한 업데이트 과정을 통하여 인공 신경망은 입력된 음향 데이터들을 분류함으로써 유사한 음향 데이터들을 군집화할 수 있다. 그리고, 군집화된 음향 데이터는 데이터 베이스에 등록된다.
그리고, 음향구분모듈(30)은 중앙처리부(10)에 의하여 유사도에 따라 분류된 음향 데이터를 일반 소음 혹은 사고 소음으로 구분한다.
즉, 음향 구분모듈(30)은 분류된 음향 데이터와 데이터 베이스에 등록된 음향 데이터를 비교함으로써 어느 종류의 음향과 유사한지를 판단하게 된다. 물론 딥러닝 방식에 의하여 비교 분석하는 것도 가능하다.
그리고, 유사정도에 따라 일반 소음과 사고소음으로 구분하게 된다.
예를 들면, 차량이 충돌하는 음향 데이터과 유사하면, 음향 구분모듈(30)은 수집된 음향이 차량 충돌로 인한 음향으로 판단하게 된다.
이와 같이 음향이 사고유형별로 구분되고 폭력이나 자동차 충돌 사고와 같은 위급 상황으로 판단되면 IOT 장치와 연동하여 관련 기관에 알릴 수 있다.
이러한 IOT 연동부(11)는 음향 구분모듈(30)에 의하여 판단된 음향에 관련된 기관을 검색하는 검색모듈(32)과; 검색된 기관에 신호를 전송하여 사고 발생을 알리는 알림모듈(34)을 포함한다.
보다 상세하게 설명하면, 검색모듈(32)은 차량 사고 관련한 기관들을 데이터 베이스에서 인출하게 된다. 예를 들면, 병원, 경찰서, 보험사 등을 리스트에서 인출하게 된다.
그리고, 알림모듈(34)은 인출된 기관들에 메일, 메시지 등을 통하여 차량 사고가 발생하였음을 알리게 된다. 이때, IOT 장치가 배치된 위치에 대한 GPS 신호도 같이 전송됨으로써 해당 기관들은 사고 위치를 실시간으로 정확하게 파악할 수 있다.
한편, 음향 데이터는 소음 조절부(13)에 의하여 분석됨으로써 음향 세기에 따라 단계별로 구분하게 된다.
예를 들면, 소음 조절부(13)는 소음의 세기를 평가하는 대역필터와 연동함으로써 음향 데이터를 대역필터를 통과시킴으로써 복수 단계로 구분할 수 있다.
가령 1 내지 10단계로 구분하고, 가장 소음이 낮은 경우는 1단계로 설정하고, 점차 증가한 후 가장 소음이 높은 경우는 10단계로 설정하는 방식이다.
이와 같이 음향 데이터를 소음 세기에 따라 단계별로 구분하게 된다.
그리고, 이와 같이 구분된 소음 세기에 따라 출력부(15)는 안내방송을 실시하게 된다.
즉, 주위 음향에 대한 소음도가 낮은 경우 소음 조절부(13)는 출력부(15)의 출력을 연동하여 낮추어 안내 방송을 실시하게 되고, 반대로 소음도가 높은 경우 출력을 높혀서 안내방송을 실시하게 된다.
이와 같이 주위 소음도에 따라 안내 방송의 세기를 조절함으로써 효과적으로 방송을 실시할 수 있다. 이때 출력부(15)는 스피커(19) 등을 포함한다.
한편, 본 발명의 다른 실시예로서 기침소리 인식부(40)를 추가로 배치함으로써 기침 소리를 감지하여 감기, 바이러스 독감 여부 등을 실시간으로 판단할 수 있다.
도 6에 도시된 바와 같이, 이러한 기침소리 인식부(40)는 입력부를 통하여 수집된 음향중 기침소리를 인식하고 IOT 연동부(11)를 통하여 관련 기관에 안내하게 된다.
그리고 기침소리를 인식하는 방식은 다양하며, 예를 들면, STT(Spech To Text) 를 이용한 방식에 의하여 기침소리를 인식할 수 있다.
즉, 기침소리 인식부(40)는 입력부를 통하여 수집된 음향 데이터로부터 패턴을 분석하여 기침에 해당하는 음향 데이터를 추출하는 벡터 추출모듈(42)과; 기계학습, 혹은 딥러닝에 의하여 학습된 기침 음향 데이터가 저장된 데이터 베이스(48)와; 벡터 추출모듈(42)에 의하여 추출된 음향 데이터와 데이터 베이스(48)에 저장된 기침 음향 데이터를 비교하여 기침여부를 판단하는 판단모듈(44)과; 기침으로 판단되면, IOT 연동부(11)에 신호를 전송함으로써 알림모듈(34)을 통하여 관련 기관에 알리는 출력모듈(46)을 포함한다.
이러한 기침소리 인식부(40)에 있어서, 우선은 다양한 기침소리를 수집하여 기계학습 혹은 딥러닝에 의하여 학습을 시켜서 데이터 베이스(48)에 저장한다.
그리고, 벡터 추출모듈(42)은 외부에서 마이크를 통하여 수집된 음향 데이터를 분석하여 파형 주파수의 높이(H), 간격(R) 등을 수치화하고 벡터값으로 변환시킨다. 이러한 벡터 추출모듈(42)은 시간입력모듈(49)과 연결됨으로써 특정 기간내에만 기침 관련 음향 데이터를 벡터화할 수 있다.
예를 들면, 독감 유행기와 같이 질병이 전염되는 기간에만 벡터 추출모듈(42)이 음향 데이터를 벡터화할 수 있도록 함으로써 보다 효과적으로 기침소리를 인식할 수 있다.
그리고, 판단모듈(44)은 벡터값으로 변환된 음향 데이터와 데이터 베이스(48)에 저장된 기침 데이터를 상호 비교한다.
비교결과, 유사한 기침 데이터가 검출되면 이를 기침소리로 인식한다.
그리고, 기침소리인 경우에는 출력모듈(46)이 IOT 연동부(11)에 신호를 전송함으로써 알림모듈(34)을 통하여 병원, 보건소, 시청, 방역기관 등 관련 기관에 알리게 된다.
따라서, 해당 기관에서는 GPS 신호에 의하여 기침소리가 발생한 해당 정류장의 위치를 파악하고 독감 바이러스의 전염 등에 대한 대책을 세울수 있다.
그리고, 해당 정류장의 스피커(19)를 통하여 안내 방송을 실시함으로써 기침을 한 해당 보행자에게 병원 등 관련 기관을 방문할 것을 안내할 수도 있다.
상기한 스마트 음성 안내 시스템은 마이크로 프로세서 등 다양한 하드웨어 및 이를 실행할 수 있는 소프트웨어로 구성되며, 이러한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

Claims (7)

  1. 버스 정류장에 배치되어 주위의 음향을 수집하는 입력부(3)와;
    입력부(3)를 통해 실시간 입력되는 음향을 분석하여, 음향 및 소음 데이터를 동시에 추출하는 추출부(5)와;
    추출된 음향 데이터를 시간별로 구분하여 분석하는 음성 분석부(7)와;
    추출부(5)를 통하여 추출된 음향 데이터를 딥러닝으로 학습하여 음향 패턴을 추출하고 벡터화하여 유사도를 분석하고, 분석된 음향 패턴이 일반 소음인지 사고 소음인지를 구분하는 학습부(9)와;
    학습부(9)에 의하여 학습된 결과에 따라 IOT 장치와 연동하여 외부 기관에 알리는 IOT 연동부(11)와;
    음성 분석부(7)에 의하여 분석된 음향을 세기에 따라 구분하는 소음 조절부(13)와; 그리고
    음향 분석부(7) 및 소음 조절부(13)의 분석결과에 의하여 안내 방송을 실시하는 출력부(17)를 포함하며,
    학습부(9)는 음향 데이터를 딥러닝 방식에 의하여 분류함으로써 유사도에 따라 음향을 분류하는 중앙처리부(10)와; 중앙처리부(10)에 의하여 분류된 음향 데이터를 일반 소음인지 사고 소음인지를 구분하는 음향구분모듈(30)을 포함하며,
    IOT 연동부(11)는 음향 구분모듈(30)에 의하여 판단된 음향에 관련된 기관을 검색하는 검색모듈(32)과; 검색된 기관에 신호를 전송하여 사고 발생을 알리는 알림모듈(34)을 포함하고,
    기침소리 인식부(40)를 추가로 포함하며, 기침소리 인식부(40)는 입력부(3)를 통하여 수집된 음향 데이터로부터 패턴을 분석하여 기침에 해당하는 음향 데이터를 추출하는 벡터 추출모듈(42)과; 기계학습 혹은 딥러닝에 의하여 학습된 기침 음향 데이터가 저장된 데이터 베이스(48)와; 벡터 추출모듈(42)에 의하여 추출된 음향 데이터와 데이터 베이스(48)에 저장된 기침 음향 데이터를 비교하여 기침여부를 판단하는 판단모듈(44)과; 기침으로 판단되면, IOT 연동부(11)에 신호를 전송함으로써 알림모듈(34)을 통하여 방역 기관 및 버스 정류장의 스피커(10)를 통하여 알리는 출력모듈(46)을 포함하며,
    벡터 추출모듈(42)을 시간입력모듈(49)과 연동시킴으로써 특정 기간에만 음향 패턴의 분석 및 벡터추출을 진행하는 버스 정류장에 배치된 스마트 음성 안내 시스템.
  2. 제 1항에 있어서,
    상기 추출부(5)는 입력부(3)로부터 전송된 음파신호가 입력되는 입력단(20)과; 입력단(20)으로부터 출력된 디지털 신호를 증폭하는 증폭기(22)와; 증폭된 신호중 특정 대역의 주파수만을 통과시키는 대역필터(24)와; 걸러진 특정 주파수를 검파하는 디텍터(26)와; 디텍터(26)로부터 출력된 신호를 정형화시키는 정형기(28)를 포함하며, 아래 수식에 의하여 특정 대역 주파수를 추출하는 스마트 음성 안내 시스템.
    제 1캐패시터의 경계 주파수: f1=1/2*π*R*C1 -------- 수식 1
    제 2캐패시터의 경계 주파수: f2=1/2*π*R*C2 -------- 수식 2
    (f1: 제 1경계 주파수, f2: 제 2경계 주파수, R: 저항, C1, C2: 제1 및 제 2캐패시터)
  3. 삭제
  4. 제 1항에 있어서,
    소음 조절부(13)는 소음의 세기를 단계별로 평가하는 대역필터를 포함하며,
    소음이 낮은 단계에서 높은 단계의 순서로 일정 범위씩 소음의 세기를 구분하는 스마트 음성 안내 시스템.
  5. 삭제
  6. 제 1항에 있어서,
    검색모듈(32)은 데이터 베이스(48)에 저장된 외부 기관 리스트중 해당 음향과 관련된 기관을 검색하여 선택하는 스마트 음성 안내 시스템.
  7. 삭제
KR1020200031190A 2020-03-13 2020-03-13 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템 KR102421158B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200031190A KR102421158B1 (ko) 2020-03-13 2020-03-13 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031190A KR102421158B1 (ko) 2020-03-13 2020-03-13 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템

Publications (2)

Publication Number Publication Date
KR20210115425A KR20210115425A (ko) 2021-09-27
KR102421158B1 true KR102421158B1 (ko) 2022-07-14

Family

ID=77925412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031190A KR102421158B1 (ko) 2020-03-13 2020-03-13 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템

Country Status (1)

Country Link
KR (1) KR102421158B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369263B1 (ko) * 2021-12-08 2022-03-04 주식회사 세븐포인트원 인공지능 기반 대상자의 치매 검사를 위한 아웃바운드 콜의 음량 제어 방법, 장치 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118046A (ja) * 2017-12-27 2019-07-18 パナソニックＩｐマネジメント株式会社 音量制御装置、音量制御方法、及び音量制御システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101736466B1 (ko) * 2012-02-24 2017-05-16 한화테크윈 주식회사 음향 정보 기반 상황 인식 장치 및 방법
KR102195897B1 (ko) * 2013-06-05 2020-12-28 삼성전자주식회사 음향 사건 검출 장치, 그 동작 방법 및 그 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
KR20190098376A (ko) 2018-02-14 2019-08-22 정재민 대학입시 합격 예측 방법
KR20190113390A (ko) * 2018-03-28 2019-10-08 (주)오상헬스케어 호흡 질환 진단 장치 및 호흡 질환 모니터링 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019118046A (ja) * 2017-12-27 2019-07-18 パナソニックＩｐマネジメント株式会社 音量制御装置、音量制御方法、及び音量制御システム

Also Published As

Publication number Publication date
KR20210115425A (ko) 2021-09-27

Similar Documents

Publication Publication Date Title
Tran et al. Acoustic-based emergency vehicle detection using convolutional neural networks
US8164484B2 (en) Detection and classification of running vehicles based on acoustic signatures
Jaiswal et al. Sound classification using convolutional neural networks
Socoró et al. Development of an Anomalous Noise Event Detection Algorithm for dynamic road traffic noise mapping
EP2028651A1 (en) Method and apparatus for detection of specific input signal contributions
KR101736466B1 (ko) 음향 정보 기반 상황 인식 장치 및 방법
KR102421158B1 (ko) 실시간 음향분석에 의한 소음도에 따른 음성 안내시스템의 스마트 볼륨 조절 시스템
Thangavel et al. The IoT based embedded system for the detection and discrimination of animals to avoid human–wildlife conflict
Kandpal et al. Classification of ground vehicles using acoustic signal processing and neural network classifier
Cheng et al. Spectrogram-based classification on vehicles with modified loud exhausts via convolutional neural networks
Vemula Multiple drone detection and acoustic scene classification with deep learning
Smailov et al. A Novel Deep CNN-RNN Approach for Real-time Impulsive Sound Detection to Detect Dangerous Events
Zhao et al. Event classification for living environment surveillance using audio sensor networks
Hajihashemi et al. Novel time-frequency based scheme for detecting sound events from sound background in audio segments
Soni et al. Automatic audio event recognition schemes for context-aware audio computing devices
Maity et al. DeHonk: A deep learning based system to characterize vehicular honks in presence of ambient noise
Bansal et al. Environmental sound classification using hybrid ensemble model
Ntalampiras Audio surveillance
Usaid et al. Ambulance siren detection using artificial intelligence in urban scenarios
CN111445926B (zh) 一种基于声音的农村道路交通事故警情识别方法
CN114242112A (zh) 一种基于改进深度残差网络的城市声音分类方法
Diez Gaspon et al. Deep learning for natural sound classification
Park et al. Urban Noise Analysis and Emergency Detection System using Lightweight End-to-End Convolutional Neural Network
Li et al. A Heterogeneous Ensemble Learning-Based Acoustic Fall Detection Method for Elderly People in Indoor Environment
Suh et al. Deep Learning-Based Hazardous Sound Classification for the Hard of Hearing and Deaf

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant