KR102130505B1 - 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법 - Google Patents

심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법 Download PDF

Info

Publication number
KR102130505B1
KR102130505B1 KR1020190051220A KR20190051220A KR102130505B1 KR 102130505 B1 KR102130505 B1 KR 102130505B1 KR 1020190051220 A KR1020190051220 A KR 1020190051220A KR 20190051220 A KR20190051220 A KR 20190051220A KR 102130505 B1 KR102130505 B1 KR 102130505B1
Authority
KR
South Korea
Prior art keywords
feedback signal
signal
deep learning
learning
hearing aid
Prior art date
Application number
KR1020190051220A
Other languages
English (en)
Inventor
이행우
Original Assignee
남서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 남서울대학교 산학협력단 filed Critical 남서울대학교 산학협력단
Priority to KR1020190051220A priority Critical patent/KR102130505B1/ko
Application granted granted Critical
Publication of KR102130505B1 publication Critical patent/KR102130505B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법에 관한 것으로, 심층학습을 포함하는 기계학습 알고리즘과 일반 음향신호를 이용하여 궤환신호 제거를 위한 심층학습 네트워크의 가중치를 갱신할 수 있도록 하고, 상기 가중치를 갱신한 심층학습 네트워크를 토대로 실제 수신되는 음성신호에 포함된 궤환신호를 신속하게 제거하여 사용자에게 명료한 음성을 실시간으로 제공할 수 있도록 하는 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법에 관한 것이다.

Description

심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법{APPARATUS AND METHOD FOR REMOVING FEEDBACK SIGNAL OF HEARING AID THROUGH DEEP LEARNING}
본 발명은 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 심층학습을 포함하는 기계학습 알고리즘과 일반 음향신호를 이용하여 궤환신호 제거를 위한 심층학습 네트워크의 가중치를 갱신할 수 있도록 하고, 상기 가중치를 갱신한 심층학습 네트워크를 토대로 실제 수신되는 음성신호에 포함된 궤환신호를 신속하게 제거하여 사용자에게 명료한 음성을 실시간으로 제공할 수 있도록 하는 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법에 관한 것이다.
최근 산업기술과 의료기술의 발전으로 인해 사람들의 기대여명이 증가함에 따라 청각장애로 고통을 받고 있는 사람들이 증가하면서 보청기에 대한 대중의 관심이 급격하게 증가하고 있다.
청각장애는 정상적인 노화현상, 각종 소음에 대한 지속적인 노출 등을 포함한 다양한 요인으로 인해 청력을 담당하는 청각세포가 비가역으로 손상되는 경우에 발생된다.
상기 청각장애가 지속되면 일반적인 생활음향 등과 같은 다양한 주변 음향을 인식하는 것이 불가능하고, 타인과의 의사소통이 힘들어져 사회생활에 큰 지장을 초래하기 때문에 청각세포가 손상되지 않도록 지속적인 관리가 필요하다.
그러나 한번 손상된 청각세포는 치료를 통해 정상적으로 회복되는 것이 거의 불가능하기 때문에, 청각장애를 앓고 있는 대부분의 사람들은 디지털 보청기를 이용하여 청각장애를 극복하고자 한다.
일반적으로 디지털 보청기는 자체적으로 구비한 마이크로폰을 통해 아날로그 음성신호를 입력받아 상기 입력받은 음성신호를 디지털 신호로 바꾼 후, 증폭기로 증폭하여 다시 아날로그 신호로 변환하여 출력함으로써, 외이도와 중이를 거쳐 청각세포가 있는 내이로 전달하여 상기 음성신호를 사용자가 인식할 수 있도록 한다.
그러나 일반적인 디지털 보청기는, 상기 증폭하여 출력되는 음성신호 중 일부가 다시 상기 마이크로폰으로 궤환되어 입력되는 음향궤환(acoustic feedback) 신호가 발생될 수 있다.
이러한 궤환신호는, 실제 필요한 음성신호를 왜곡시켜 정확한 음성신호의 전달을 방해하고, 사용자들에게 불쾌감을 주는 것뿐만 아니라, 사용자가 타인의 음을 정확하게 인식하는 것을 어렵게 하는 하나의 요인이 된다.
상기 궤환신호는 보청기에서 출력되는 음성신호가 보청기 본체의 외벽과 귀 사이의 틈을 통해 마이크로폰으로 피드백되는 현상을 의미하며, 감쇠가 적은 공진 주파수이기 때문에 증폭기에 의해 공진됨으로써, 귀에 거슬리는 소리를 발생하여 문제를 일으킨다.
일반적으로 상기 보청기의 궤환신호는 궤환경로를 통과하면 40 ~ 50dB까지 감쇠되지만 약 7kHz 부근의 높은 주파수 영역에서는 20dB 정도로 감쇠가 적은 반면, 보청기에 필요한 증폭이득은 15 ~ 50dB가 요구된다. 따라서 이 주파수 영역에서 궤환되는 음성신호는 입력신호와 비슷한 크기가 되어 쉽게 공진이 발생하게 되어, 사용자의 귀에 거슬리는 소음이 발생하게 되는 것이다.
이러한 문제점을 해결하기 위해 종래의 보청기는, 음성신호의 궤환 경로를 추정하여 궤환신호(즉, 궤환성분)를 제거하는 적응필터가 사용되고 있다. 이때, 종래의 보청기는 적응필터의 계수를 연속적으로 갱신시켜 최적값으로 수렴하기 위해 백색잡음을 사용하게 되는데, 이때, 보청기 사용자는 매우 불쾌하고 귀에 거슬리는 잡음이 발생될 수 있고, 상기 계수를 갱신시킬 때 또 다른 잡음이 유입되는 경우, 상기 계수가 최적값에 수렴하지 못하는 문제점을 내포하고 있다.
따라서 본 발명에서는, 백색잡음이 아닌 일반적인 음향신호와 심층학습을 이용하여, 궤환신호를 예측하기 위한 심층학습 네트워크의 가중치를 주기적으로 갱신함으로써, 실제 상황에서 보청기의 이용에 따른 궤환신호를 정확하게 예측하고, 상기 예측한 궤환신호를 실제 음성신호로부터 효과적으로 제거할 수 있도록 하는 방안을 제안하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2018-0047191호(2018.05.10.)는 보청기를 위한 음향 피드백 제거 장치 및 방법에 관한 것으로, 마이크를 통해 신호가 입력되는 경우, 상기 신호에 대한 복수의 주파수 밴드로 분할하여 다중 대역의 디지털 데이터를 생성하고, 상기 다중 대역의 디지털 데이터 중 소정의 주파수 이하의 대역에 대한 데이터의 에너지 평균을 계산하고, 최대 에너지 대역을 가지는 디지털 데이터의 에너지와 상기 계산한 에너지 평균 간의 비율을 계산하여, 상기 계산한 비율을 통해 피드백 신호의 발생 여부와 해당 피드백 신호의 주파수 대역을 검출함으로서, 상기 피드백 신호에 대한 주파수 대역의 값을 감쇄함으로써, 상기 보청기로 피드백되는 음향을 제거하는 보청기를 위한 음향 피드백 제거 장치 및 방법에 관한 것이다.
즉, 상기 선행기술은 마이크를 통해 입력된 신호에 대하여 다중 대역의 디지털 데이터를 생성하고, 상기 생성한 다중 대역의 디지털 데이터로부터 음향 피드백을 발생시키는 주파수 대역을 검출하여, 음향 피드백을 발생시키는 주파수 대역의 값이 감쇄되도록 상기 다중 대역의 디지털 데이터에 대한 이득을 조절하여 상기 피드백 신호를 제어할 수 있도록 하는 것이다.
반면에 본 발명은, 일반적인 음향신호를 자체적으로 발생시켜, 상기 발생시킨 음향신호를 이용하여 궤환신호를 심층학습함으로써, 심층학습 네트워크의 가중치를 주기적으로 갱신시켜, 사용자가 보청기를 사용하는 환경에 따라 상기 보청기에서 출력되는 음성신호에 대한 궤환신호를 정확하게 예측하여 제거할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징을 기재하거나 시사하고 있지 않다.
또한 한국등록특허 제1138083호(2012.04.12.)는 궤환신호 제거 시스템, 궤환신호 제거 방법 및 이를 이용한 보청기에 관한 것으로, 보청기에 노치필터를 포함하여 구성하고, 상기 노치필터를 통해 어느 한쪽 귀에 장착된 제1 보청기의 마이크로폰에 입력된 제1 신호가 궤환신호를 포함하는 것으로 판단되는 경우, 다른 귀에 장착된 제2 보청기로부터 해당 보청기에 입력된 제2 신호를 수신하여 상기 수신한 제2 신호를 증폭한 후, 상기 제1 보청기의 출력 신호로 출력하는 궤환신호 제거 시스템, 궤환신호 제거 방법 및 이를 이용한 보청기에 관한 것이다.
즉, 상기 선행기술은, 특정 한쪽 귀에 장착된 보청기에 입력되는 음향신호가 궤환신호를 포함하는 경우, 다른 쪽 귀에 장착된 보청기에 입력되는 음향신호를 수신 받아 증폭하여 출력하는 것으로, 심층학습을 통해 궤환신호를 예측하는 것이 아니며, 상기 심층학습한 결과로 보청기를 사용하는 사용자의 환경에 따라 실제 입력되는 음성신호로부터 해당 음성신호에 포함된 궤환신호를 정확하게 예측하여 제어할 수 있도록 하는 기술적 구성을 전혀 기재하고 있지 않다. 따라서 상기 선행기술과 본 발명은 서로 상이한 기술적 특징을 가진 것이 분명하다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 심층학습 알고리즘을 이용하여 궤환신호 제거를 예측하기 위한 심층학습 네트워크의 가중치를 갱신하는 궤환신호 학습을 통해, 음성신호에 포함된 궤환신호를 정확하게 예측함으로서, 사용자가 보청기를 이용하는 실제 환경에 따라 입력되는 실제 음향신호에 포함된 궤환신호를 실시간으로 제거하여 명료한 음향신호를 사용자에게 제공할 수 있도록 하는 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법을 제공하는 것을 그 목적으로 한다.
또한 본 발명은, 백색잡음이 아닌 일반적인 음향신호를 토대로 상기 학습을 수행함으로써, 사용자가 인지하지 못하는 동안에 상기 학습을 수행하도록 하는 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
또한 본 발명은, 상기 궤환신호 학습을 통해 상기 심층학습 네트워크의 가중치를 주기적으로 갱신할 수 있도록 함으로서, 실제 보청기를 이용하는 동안 상기 보청기에 입력되는 음성신호에 포함된 궤환신호를 제거하여 상기 음성신호를 사용자에게 실시간으로 제공함으로써, 해당 사용자로 하여금 타인의 음성을 정확하게 인식할 수 있도록 하는 보청기의 궤환신호 제거 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.
즉, 본 발명은 적응필터를 사용하는 종래의 기술과 달리 궤환신호 제거를 위한 심층학습을 통해 가중치를 갱신한 심층학습 네트워크를 이용하여 궤환신호를 정확하게 예측하여 실시간으로 상기 궤환신호를 제거할 수 있도록 함으로서, 실시간으로 상기 음성신호를 사용자가 정확하게 인식할 수 있도록 하는 것이다.
본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치는, 궤환신호에 의한 잡음이 포함된 학습용 음향신호를 심층학습함으로써, 심층학습 네트워크의 가중치를 주기적으로 갱신하여 저장하는 심층학습부 및 상기 학습된 심층학습 네트워크를 통해 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하는 AI(Artificial Intelligence)기반 궤환신호 제거부를 포함하는 것을 특징으로 한다.
또한 상기 궤환신호 제거 장치는, 상기 궤환신호를 제거하는 궤환신호 제거과정 사이에, 상기 심층학습을 주기적으로 수행하도록 하는 것을 제어하는 동작 제어부를 더 포함하는 것을 특징으로 한다.
또한 상기 심층학습부는, 상기 학습용 음향신호로부터 궤환신호를 심층학습하도록 NLMS(normalized leat mean square) 알고리즘 및 오류 역전파 알고리즘을 통해 상기 심층학습 네트워크의 각 레이어에 대한 가중치와 상기 각 레이어를 구성하는 각 노드에 대한 출력값을 주기적으로 갱신함으로서, 상기 심층학습 네트워크를 통해 학습한 궤환신호가 상기 학습용 음향신호에 포함된 궤환신호에 수렴하도록 하는 것을 포함하는 것을 특징으로 한다.
또한 상기 AI기반 궤환신호 제거부는, 상기 학습한 심층학습 네트워크에 상기 스피커 입력신호를 미리 설정한 소정 개수의 지연요소에 순차적으로 입력하여, 상기 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하여 출력하도록 하는 것을 포함하는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 방법은, 궤환신호에 의한 잡음이 포함된 학습용 음향신호를 심층학습함으로써, 심층학습 네트워크의 가중치를 주기적으로 갱신하여 저장하는 심층학습 단계 및 상기 학습된 심층학습 네트워크를 통해 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하는 AI기반 궤환신호 제거 단계를 포함하는 것을 특징으로 한다.
또한 상기 심층학습 단계는, 상기 학습용 음향신호로부터 궤환신호를 심층학습하도록 NLMS(normalized leat mean square) 알고리즘 및 오류 역전파 알고리즘을 통해 상기 심층학습 네트워크의 각 레이어에 대한 가중치와 상기 각 레이어를 구성하는 각 노드에 대한 출력값을 주기적으로 갱신함으로서, 상기 심층학습 네트워크를 통해 학습한 궤환신호가 상기 학습용 음향신호에 포함된 궤환신호에 수렴하도록 하는 것을 포함하며, 상기 AI기반 궤환신호 제거 단계는, 상기 학습한 심층학습 네트워크에 상기 스피커 입력신호를 미리 설정한 소정 개수의 지연요소에 순차적으로 입력하여, 상기 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하여 출력하도록 하는 것을 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법은, 자연스러운 음향신호를 이용하여 궤환신호를 예측하기 위한 심층학습 네트워크의 가중치를 주기적으로 갱신함으로써, 상기 학습한 결과로 실제 사용자가 보청기를 이용하는 주변상황에 따라 상기 보청기에 입력되는 음성신호에 포함된 궤환신호를 실시간으로 정확하게 예측할 수 있는 효과가 있다.
또한 본 발명은, 상기 보청기에 입력되는 음성신호에서 상기 예측한 궤환신호를 실시간으로 제거하여 명료한 음성신호를 상기 사용자에게 제공함으로서, 타인의 음성을 정확하게 실시간으로 인식할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 학습모드 및 정상모드를 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 심층학습 네트워크와 학습과정을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치를 통해 궤환신호를 제거하는 절차를 나타낸 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법에 대한 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법을 설명하기 위해 나타낸 개념도이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치(이하 궤환신호 제거 장치라 칭함)(100)는, 주기적으로 심층학습 네트워크의 가중치를 갱신하는 심층학습(즉, 학습)을 수행하여, 디지털 보청기(10)에 입력되는 음성신호에 궤환신호에 의해 포함된 잡음을 제거하여 명료한 음향신호(즉, 음성신호)를 출력함으로써, 사용자로 하여금 상기 음성신호를 정확하게 인식할 수 있도록 하는 기능을 수행한다.
또한 본 발명의 디지털 보청기(10)는, 상기 궤환신호 제거 장치(100)를 포함하여, 상기 궤환신호 제거 장치(100)를 통해 궤환신호를 제거한 음성신호를 사용자의 청각장애 정도에 따라 증폭하여 출력함으로서, 사용자의 청각장애를 극복하고 보완하도록 하는 장치를 의미한다.
한편, 상기 디지털 보청기(10)는, 사용자의 귀 뒤에 귀걸이처럼 착용하는 BTE(behind the ear)타입, 귀 안에 착용하는 ITE(in the ear)타입, 외이도 입구를 일부 채우는 ITC(in the canal)타입, 고막 바로 앞에 위치시켜 착용하는 CIC(completely in the canal)타입 등과 같이 다양한 형태로 제공될 수 있으며, 전문가(예: 의사)가 진단한 청각장애 정도에 따라, 미리 설정한 크기로 상기 음성신호를 증폭하여 출력하는 기능을 수행한다.
또한 본 발명의 궤환신호 제거 장치(100)는, 디지털 보청기(10)에 탑재되어, 마이크로폰(110)으로 입력되는 음성신호로부터 궤환신호에 의한 잡음을 제거하고, 상기 잡음을 제거한 음성신호를 증폭하여 상기 사용자에게 제공한다.
또한 상기 궤환신호 제거 장치(100)의 동작은 두 가지 모드로 동작하도록 제어된다. 이때, 상기 두 가지 모드는, 상기 궤환신호를 제거하기 위해 심층학습을 수행하는 학습모드, 상기 학습한 결과에 따라 입력되는 음성신호로부터 궤환신호에 의한 잡음을 제거하여, 명료한 음성신호를 사용자에게 출력하는 정상모드를 포함한다.
또한 상기 학습모드는, 심층학습 알고리즘을 이용하여 입력되는 음향신호로부터 궤환신호를 예측하기 위한 심층학습 네트워크의 가중치를 갱신하기 위해 수행된다.
또한 상기 학습모드는, 상기 보청기(10)가 온(on)되면 미리 설정한 시간(예: 3초 내지 5초)동안 우선적으로 수행되며, 상기 학습모드가 종료되면 자동적으로 상기 정상모드로 전환되어 일반적인 보청기(10)로서의 기능을 수행할 수 있도록 한다.
또한 상기 궤환신호 제거 장치(100)는, 상기 정상모드가 수행되고 미리 설정한 시간(예: 30분 내지 1시간)이 경과하는 경우 상기 궤환신호 제거 장치(100)의 동작모드를 다시 학습모드로 전환하여 상기 학습을 수행할 수 있도록 한다.
즉, 상기 궤환신호 제거 장치(100)는, 사용자가 상기 보청기(10)를 착용하여 이용하고 있는 동안, 상기 학습을 주기적으로 수행하며, 상기 심층학습 네트워크의 가중치를 갱신함으로서, 사용자의 주변상황에 따라 상기 궤환신호를 정확하게 예측하여, 실제 음성신호에 포함된 궤환신호를 실시간으로 제거하여 상기 보청기(10)를 사용하는 사용자가 타인의 음성을 정확하게 인식할 수 있도록 한다.
한편 상기, 학습모드는 도 3 및 도 4를 참조하여 상세히 설명하도록 한다.
또한 상기 정상모드는, 상기 마이크로폰으로 입력되는 실제 음성신호로부터 궤환신호를 제거한 후, 상기 제거한 궤환신호를 미리 설정한 증폭값으로 증폭하여 상기 증폭한 음성신호를 출력하는 모드이다.
이때, 상기 궤환신호를 제거하는 것은 다음과 같은 과정을 통해 수행된다.
우선, 상기 궤환신호 제거 장치(100)는, 상기 수신한 실제 음성신호를 디지털 신호로 변환한다.
다음으로, 상기 궤환신호 제거 장치(100)는, 상기 가중치를 갱신한 심층학습 네트워크에 상기 수신한 음성신호를 적용한다.
이때, 상기 심층학습 네트워크의 출력은, 상기 입력한 음성신호에 포함된 궤환신호의 추정치이다. 즉, 상기 심층학습 네트워크는 상기 입력한 음성신호에 포함된 궤환신호를 예측하여 출력하는 것이다.
다음으로, 상기 궤환신호 제거 장치(100)는, 상기 수신된 음성신호에 상기 예측한 궤환신호를 제거하여, 상기 궤환신호가 제거된 음성신호를 미리 설정한 크기로 증폭하고, 상기 증폭한 음향신호를 아날로그 신호로 변환하여 출력한다.
이를 통해, 상기 궤환신호 제거 장치(100)는, 상기 수신된 음성신호에 포함된 잡음(noise)을 완전히 제거하여 명료한 음성을 출력함으로써, 사용자가 해당 음성을 실시간으로 정확하게 인식할 수 있도록 한다.
한편 상기에서 설명한 것과 같이, 학습모드와 상기 정상모드는 미리 설정한 학습시간과 정상모드 동작시간 및 실제 음성신호 입력여부에 따라 반복적으로 전환되어 수행된다. 즉, 상기 정상모드를 통한 궤환신호 제거 과정 사이에 상기 학습모드를 통한 심층학습을 주기적으로 수행되도록 하는 것이 바람직 하지만, 상기 궤환신호 제거를 위한 정상모드와 상기 가중치를 갱신하기 위한 학습모드는 동시에 수행될 수 있거나, 상기 학습모드를 통해 상기 심층학습을 모두 수행한 다음에 상기 궤환신호 제거를 위한 정상모드를 수행할 수 있도록 구현될 수도 있다.
한편, 상기 궤환신호 제거 장치(100)는, 유무선 통신 인터페이스(미도시)를 구비하여, 상기 사용자가 구비한 유무선 통신단말(예: 스마트 폰)과의 통신을 수행할 수 있도록 구현될 수 있다.
상기 유무선 통신단말은, 상기 심층학습을 통해 심층학습 네트워크의 가중치를 주기적으로 갱신하기 위한 애플리케이션이나 프로그램을 설치하여, 상기 학습을 수행함으로써, 상기 심층학습 네트워크의 가중치를 주기적으로 갱신하여, 상기 궤환신호 제거 장치(100)로 전송할 수 있도록 구현된다. 이때, 상기 궤환신호 제거 장치(100)는, 상기 수신한 가중치를 토대로 상기 심층학습 네트워크의 가중치를 갱신할 수 있도록 구현될 수 있다.
즉, 상기 심층학습은 사용자가 구비한 유무선 통신단말을 통해 주기적으로 수행되고, 상기 궤환신호 제거 장치(100)는, 상기 유무선 통신단말로부터 상기 학습된 결과인 가중치 정보만을 수신 받아, 상기 수신 받은 가중치를 토대로 상기 심층학습 네트워크의 가중치를 갱신하며, 상기 가중치를 갱신한 심층학습 네트워크를 이용하여 상기 궤환신호를 제거할 수 있도록 하는 것이 가능하다.
이를 통해, 상기 궤환신호 제거 장치(100)의 구성 복잡도를 낮추어 상기 궤환신호 제거 장치(100)를 포함하는 디지털 보정치(10)를 간단하게 제조하여 사용자에게 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치의 구성을 나타낸 블록도이다.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치(100)는, 외부로부터 음성신호를 포함하는 음향신호를 수신하는 마이크로폰(110), 상기 궤환신호 제거 장치(100)의 동작모드를 제어하는 동작 제어부(120), 상기 제어되는 동작모드에 따라 심층학습 네트워크에 대한 심층학습을 수행하거나, 또는 상기 심층학습 네트워크를 이용하여 실제 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하는 AI기반 적응 신경망필터(130), 상기 궤환신호를 제거한 음성신호를 증폭하는 증폭부(150), 상기 증폭한 음성신호를 아날로그 신호로 변환하는 D/A 변환부(150), 상기 아날로그 신호로 변환한 음성신호를 출력하는 음성신호 출력부(160), 메모리(170) 및 전원부(180)를 포함하여 구성된다.
또한 상기 마이크로폰(110)은, 외부로부터 음성신호를 수신하고, 상기 수신한 음성신호를 디지털 신호로 변환하여 상기 AI기반 적응 신경망필터(130)로 제공하는 기능을 수행한다.
즉, 상기 수신되는 음성신호는 아날로그 신호이기 때문에, 궤환신호에 의해 상기 음성신호에 포함되는 잡음을 효과적으로 제거할 수 있도록, 상기 궤환신호 제거 장치(100)는 상기 마이크로폰(110)을 통해 상기 수신한 음성신호를 디지털 신호로 변환할 수 있도록 한다.
또한 상기 학습용 음향신호는, 상기 심층학습 네트워크의 가중치를 갱신하기 위해 이용되는 것으로, 백색잡음이 아니라 일반적인 음성신호를 의미하며, 상기 메모리(170)에 미리 저장된다.
또한 상기 동작 제어부(120)는, 상기 궤환신호 제거 장치(100)의 동작모드를 제어하는 것으로, 상기 동작모드는, 상기 학습용 음향신호를 이용하여 상기 심층학습 네트워크의 가중치를 갱신하도록 심층학습을 수행하는 학습모드, 상기 학습모드를 토대로 학습한 결과에 따라 타인의 실제 음성신호에 포함된 궤환신호에 의한 잡음을 제거하여 상기 음성신호를 사용자가 정확하게 인식할 수 있도록 함으로서, 상기 타인과 정상적인 대화를 수행할 수 있도록 하는 정상모드를 포함한다.
한편, 상기 동작 제어부(120)는 상기 보청기(10)가 온(on)될 때마다 미리 설정한 시간동안 상기 궤환신호 제거 장치(100)가 학습모드로 동작되도록 제어하며, 상기 학습모드가 종료된 후, 상기 궤환신호 제거 장치(100)를 정상모드로 동작하도록 제어하여 상기 사용자가 타인과 대화를 수행할 수 있도록 한다.
또한 상기 동작 제어부(120)는, 미리 설정한 정상모드 동작시간동안 상기 궤환신호 제거 장치(100)를 정상모드로 유지시키며, 상기 정상모드 동작시간을 체크하여 상기 해당 정상모드 동작시간이 경과한 경우, 상기 정상모드를 학습모드로 전환시킴으로서, 상기 심층학습을 주기적으로 수행할 수 있도록 한다.
또한 상기 학습모드는, 상기 심층학습 네트워크의 가중치가 충분히 수렴(즉, 궤환신호를 정확하게 예측할 수 있도록 미리 설정한 학습시간(예: 3초 내지 5초)으로 설정되며, 상기 학습시간은 상기 보청기(10)가 제조될 때 최적의 학습시간으로 설정되어 제공되는 것이 바람직 하지만, 이후, 상기 보청기(10)의 제조사, 전문가 또는 사용자에 의해 새롭게 설정될 수 있다.
또한 상기 동작 제어부(120)는 상기 정상모드에서 학습모드로 전환(즉, 상기 궤환신호 제거 장치를 정상모드에서 학습모드로 동작하도록 제어)할 때, 상기 마이크로폰(110)으로 입력되는 음성신호의 유무를 검출하고, 검출한 결과 상기 음성신호가 검출되지 않는 경우에, 상기 학습모드로 전환하게 된다. 이때, 상기 음성신호가 검출된 경우에는 현재의 정상모드를 유지하고, 다시 음성신호가 검출되지 않는 경우, 상기 학습모드로 동작하도록 제어한다.
한편 상기 동작 제어부(120)는, 상기 디지털 보청기(10)의 전원이 온(on)되는 경우, 상기 학습모드를 통한 상기 심층학습을 우선적으로 수행할 수 있도록 하며, 이후, 상기 정상모드를 통한 궤환신호 제거 과정 사이에서 상기 학습모드를 통한 심층학습을 주기적으로 수행하도록 상기 궤환신호 제거 장치(100)의 동작을 제어할 수 있음은 상술한 바와 같다.
한편, 상기 학습모드와 상기 심층학습 네트워크는 도 4를 참조하여 상세히 설명하도록 한다.
또한 상기 정상모드는, 최근에 학습되어 가중치가 갱신된 상기 심층학습 네트워크를 이용하여 상기 마이크로폰(110)으로 입력되는 실제 음성신호로부터 궤환신호를 제거함으로서, 상기 실제 음성신호에 포함된 잡음을 제거하여, 명료한 음성신호를 출력하여 상기 사용자가 타인과 정상적인 대화를 수행할 수 있도록 하는 모드이다.
이때, 상기 심층학습 네트워크의 입력은 상기 마이크로폰(110)으로 입력되는 음성신호이며, 상기 심층학습 네트워크의 출력은 상기 음성신호에 포함된 궤환신호의 추정치(즉, 예측한 궤환신호)가 된다.
상기 심층학습 네트워크는, 상기 심층학습을 통해 실제 음성신호에 포함된 궤환신호를 예측하도록 학습(즉, 궤환신호를 학습)되며, 상기 예측한 궤환신호를 토대로 상기 실제 음성신호로부터 상기 궤환신호 정확하게 예측할 수 있도록 함으로서, 명료한 음성신호를 출력할 수 있도록 한다.
또한 상기 AI기반 적응 신경망필터(130)는, 상기 동작 제어부(120)에 의해 전환된 동작모드에 따라 상기 마이크로폰(110)으로부터 입력되는 학습용 음향신호를 학습하여, 상기 심층학습 네트워크의 가중치를 갱신하거나, 또는 상기 가중치를 갱신한 심층학습 네트워크를 이용하여 상기 마이크로폰(110)으로 실제 입력되는 음성신호에 포함된 궤환신호를 예측하여, 상기 예측한 궤환신호를 상기 음성신호로부터 제거하는 기능을 수행한다.
즉, 상기 동작모드가 학습모드인 경우, 상기 AI기반 적응 신경망필터(130)는, 상기 심층학습을 수행하여 상기 심층학습 네트워크의 가중치를 갱신한다.
또한 상기 동작모드가 정상모드인 경우, 상기 AI기반 적응 신경망필터(130)는, 최근에 학습을 수행한 심층학습 네트워크를 이용하여 실제 음성신호에 포함된 궤환신호를 예측하여 제거함으로써, 상기 실제 음성신호에 포함된 잡음을 제거하도록 한다.
한편, 상기 AI기반 적응 신경망필터(130)를 통한 심층학습 및 궤환신호 제거는 본 발명의 핵심적인 기술적 특징으로써, 도 3 및 도 4를 참조하여 상세하게 설명하도록 한다.
상기 증폭부(140)는, 상기 AI기반 궤환신호 제거부(132)를 통해 궤환신호를 제거한 실제 음성신호를 증폭하는 기능을 수행한다.
또한 상기 증폭부(140)는, 상기 궤환신호를 제거한 음성신호를 사용자의 청각장애 정도에 따라 미리 설정된 크기로 증폭한다. 상기 청각장애 정도는 해당 사용자를 진단한 의료기관이나, 사용자에 의해 제공될 수 있으며, 상기 보청기(10)를 제공하는 제공자가 상기 청각장애 정도에 따라 증폭 크기를 설정할 수 있다.
다만, 상기 궤환신호 제거 장치(100)는, 상기 음성신호에 대한 볼륨을 조절할 수 있도록 하는 볼륨 조절부(예: 버튼형식 또는 회전식 볼륨 제어수단)를 제공하여 사용자가 상기 증폭크기를 조절할 수 있도록 구현될 수 있다.
이때, 상기 증폭한 음성신호는 디지털 신호이므로, 상기 D/A 변환부(150)는 상기 증폭한 음성신호를 아날로그 신호로 변환하여, 상기 아날로그 신호로 변환한 음성신호를 사용자에게 출력할 수 있도록 한다.
또한 상기 메모리(170)는, 상기 학습을 통해 갱신한 심층학습 네트워크의 가중치와 상기 심층학습 네트워크를 구성하는 각 레이어의 노드값, 상기 학습용 음향신호, 증폭정보(크기), 학습시간, 정상모드 동작시간을 포함하여, 상기 궤환신호 제거 장치(100)의 동작에 필요한 정보를 저장하는 기능을 수행한다.
또한 상기 전원부(180)는, 외부로부터 전원을 인가받아 자체적으로 구비되는 충전용 배터리(미도시)에 전력을 충전하여, 상기 디지털 보청기(10)의 동작에 필요한 전력을 공급하는 기능을 수행한다.
즉, 상기 전원부(180)는, 상기 보청기(10)를 휴대하여 언제 어디서나 사용할 수 있도록 상기 전력을 충전용 배터리(미도시)에 미리 충전하여 저장할 수 있도록 하며, 디지털 보청기(10)를 이용하기 위해 상기 사용자가 전원을 온(on)하면, 상기 충전용 배터리에 충전된 전력을 상기 디지털 보청기(10)의 각 구성부분으로 공급하여 해당 디지털 보청기(10)의 기능을 수행할 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따른 학습모드 및 정상모드를 설명하기 위해 나타낸 도면이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 AI기반 적응 신경망필터(130)는, 마이크로폰(110)을 통해 입력되는 실제 음성신호에 포함된 궤환신호에 의한 잡음을 적응적으로 제거하여, 명료한 음성신호를 출력할 수 있도록 하는 기능을 수행하는 것으로, 지연부(delay)(131), AI기반 궤환신호 제거부(132) 및 스위치를 포함하여 구성된다.
상기 스위치는, 절환 스위치를 의미하는 것으로, 상기 동작 제어부(120)의 제어에 따라 상기 AI기반 적응 신경망필터(130)의 동작모드를 학습모드 및 정상모드로 동작하도록 하는 기능을 수행하게 된다.
또한 상기 AI기반 궤환신호 제거부(132)는, 상기 동작모드에 따라 상기 심층학습 네트워크의 가중치를 갱신하기 위한 심층학습을 수행하거나, 또는 상기 최근에 학습을 수행한 심층학습 네트워크를 이용하여 상기 마이크로폰(110)을 통해 입력되는 실제 음성신호에 포함된 궤환신호에 의한 잡음을 제거하여, 사용자가 상기 디지털 보청기(10)를 통해 타인과 정상적인 대화를 수행할 수 있도록 하는 정상모드를 수행한다.
한편, 상기 AI기반 궤환신호 제거부(132)는, 상기 동작 제어부(120)를 통해 제어되는 동작모드에 따라 상기 심층학습 네트워크의 가중치를 갱신하는 심층학습을 주기적으로 수행하고, 상기 학습한 결과에 따라 갱신되는 심층학습 네트워크의 가중치를 상기 메모리(170)에 저장한다.
또한 상기 동작모드가 학습모드인 경우, 상기 궤환신호 제거 장치(100)는, 상기 메모리(170)에 저장된 학습용 음향신호를 출력하여 상기 AI기반 궤환신호 제거부(132)로 입력함으로써, 상기 AI기반 궤환신호 제거부(132)가 상기 입력되는 학습용 음향신호를 심층학습하여 상기 심층학습 네트워크의 가중치를 갱신할 수 있도록 한다.
상기 학습용 음향신호는, 일반적인 음성신호로서 상기 메모리(170)에 저장되어 있으며, 상기 AI기반 궤환신호 제거부(132)는, 상기 학습용 음향신호를 이용하여 상기 심층학습 네트워크의 가중치를 갱신함으로써, 상기 마이크로폰(110)에 포함된 궤환신호를 예측하여 제거할 수 있도록 한다. 이때, 상기 AI기반 궤환신호 제거부(132)는, 상기 심층학습 네트워크를 토대로 학습용 음향신호에 의해 궤환경로응답에 따라 생성된 상기 궤환신호를 예측하게 된다.
또한 상기 학습용 음향신호는, 상기 AI기반 궤환신호 제거부(132)의 심층학습 네트워크의 입력레이어에 순차적으로 입력된다.
이후, 상기 AI기반 궤환신호 제거부(132)는, 상기 입력한 학습용 음향신호를 심층학습하여 궤환신호를 예측하기 위해, 상기 심층학습 네트워크를 구성하는 각 레이어의 가중치를 갱신한다.
이때, 상기 가중치를 갱신하는 것은 NLMS(normalized least mean square)알고리즘을 이용하여 상기 각 레이어의 가중치를 갱신한다.
또한 상기 AI기반 궤환신호 제거부(132)는, 상기 갱신한 가중치를 통해 상기 입력한 학습용 음향신호에 대한 궤환신호를 예측하고, 상기 마이크로폰(110)의 입력신호로부터 상기 예측한 궤환신호를 제거함으로서, 오차값을 계산한다.
또한 상기 AI기반 궤환신호 제거부(132)는, 상기 계산한 오차값을 상기 입력 레이어의 노드 및 각 레이어의 가중치에 적용한다.
즉, 상기 AI기반 궤환신호 제거부(132)는, 상기 학습을 통해 상기 심층학습 네트워크의 가중치를 주기적으로 갱신함으로서, 상기 사용자가 상기 디지털 보청기(10)를 이용하는 상황에 따라 상기 심층학습 네트워크를 통해 예측되는 궤환신호가 실제 음성신호에 포함된 궤환신호에 효과적으로 수렴할 수 있도록 함으로써, 사용자가 명료한 음성신호를 청취할 수 있도록 하는 것이다.
상기 심층학습 네트워크의 가중치와 상기 각 노드의 출력값은 NLMS(normalized least mean square)알고리즘 및 오류역전파 알고리즘(error back propagation)을 통해 갱신된다.
또한 상기 동작모드가 정상모드인 경우, 상기 AI기반 궤환신호 제거부(132)는, 상기 마이크로폰(110)을 통해 외부로부터 음성신호가 입력되는 경우, 제일 최근에 학습하여 상기 가중치를 갱신한 심층학습 네트워크에 상기 입력된 음성신호를 입력하여 해당 음성신호에 포함된 궤환신호를 예측한다.
이때, 상기 지연부(131)는, 상기 스피커(160)의 입력신호를 지연시켜, 상기 심층학습 네트워크의 입력레이어를 구성하는 지연요소(즉, 입력노드)에 순차적으로 입력시키는 기능을 수행한다.
이후, 상기 AI기반 궤환신호 제거부(132)는, 해당 음성신호로부터 상기 예측한 궤환신호를 제거함으로서, 상기 입력된 음성신호로부터 잡음을 제거한다.
또한 상기 궤환신호 제거 장치(100)는, 상기 잡음을 제거한 음성신호를 증폭부(140) 및 D/A 변환부(150)를 통해 증폭 및 아날로그 신호로 변환하여 상기 음성신호 출력부(160)를 통해 출력함으로서, 상기 사용자가 명료한 음성신호를 청취할 수 있도록 한다.
상기에서 설명한 바와 같이, 본 발명의 AI기반 적응 신경망필터(130)는, 상기 학습을 주기적으로 수행하여 실제 입력되는 음성신호에 포함된 궤환신호를 정확하게 예측하여, 실시간으로 상기 궤환신호를 상기 음성신호로부터 제거하여 사용자가 상기 음성신호를 정확하게 인식할 수 있도록 한다.
한편 도 3에 도시한 것과 같이, 상기 AI기반 궤환신호 제거부(132)는, 심층학습과 궤환신호 제거 기능을 동시에 가지는 것으로 기재되어 있으나, 상기 심층학습만을 수행하는 심층학습부(미도시)와 상기 궤환신호만을 제거하는 기능을 가지는 AI기반 궤환신호 제거부(132)로 분할되어 구성될 수 있다.
이때, 상기 동작 제어부(120)는, 상기 심층학습과 상기 궤환신호 제거를 동시에 수행할 수 있도록 하거나, 상기 심층학습 및 궤환신호 제거를 번갈아 가면서 수행하도록 하거나, 또는 상기 심층학습을 모두 수행한 다음에 상기 궤환신호를 제거하도록 상기 심층학습부 및 AI기반 궤환신호 제거부(132)의 동작을 동시에 제어할 수 있도록 구현될 수 있다.
도 4는 본 발명의 일 실시예에 따른 심층학습 네트워크와 학습과정을 설명하기 위해 나타낸 도면이다.
도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 심층학습 네트워크는, 복수의 입력노드 ai(즉, ai1 내지 ai8)로 구성되는 입력 레이어, 복수의 히든노드 aj(즉, aj1 내지 aj3)로 구성되는 히든 레이어 및 하나의 출력노드 ak(즉, ak1) 구성되는 출력 레이어를 포함하여 구성된다.
상기 복수의 입력노드는, 미리 설정한 개수의 지연요소로 구성되며, 학습모드시 미리 설정한 시간으로 지연시킨 학습용 음향신호를 FIFO 방식으로 순차적으로 입력받거나, 또는 정상모드시 상기 마이크로폰(110) 입력신호로부터 궤환신호가 제거된 후의 스피커(160) 입력신호를 FIFO 방식으로 순차적으로 입력받는 기능을 수행한다.
또한 상기 입력레이어의 입력노드와 상기 히든 레이어의 히든노드는 특정 가중치 wi(즉, wi1 내지 wi12)를 가지고 각각 연결되며, 상기 히든 레이어의 히든노드와 상기 출력 레이어의 출력노드 또한 특정 가중치 wj(즉, wj1 내지 wj3)를 가지고 각각 연결된다.
한편 도 4에 도시한 것과 같이, 입력노드, 히든노드, 출력노드는 영문자 a에 영문자(i, j, k) 및 숫자로 구성된 아래첨자로 구성되어 있는 것으로 표현되어 있으나, 상기 아래첨자가 상기 숫자를 의미하는 것이다.
예를 들어, 입력레이어의 입력 노드 ai1에서 아래첨자 i는 1을 의미하며, 실질적으로 입력 노드 ai1는 입력노드 a1을 의미하며, 상기 도 4에 도시한 가중치 또한 동일한 방식으로 표현된다.
또한 상기 가중치를 갱신하는 과정은 상기 학습용 음향신호를 학습하여 갱신되며, 상기 히든 레이어 및 출력레이어의 각 노드의 출력값(즉, 각 노드의 노드값)은 다음의 [수학식 1]에 따라 계산된다.
[수학식 1]
Figure 112019044965798-pat00001
여기서, aj는 상기 히든레이어를 구성하는 각각의 히든노드의 출력값을 의미하며, 상기 ak는 상기 출력레이어를 구성하는 출력노드의 출력값을 의미하고, 상기 W는 상기 입력노드와 히든노드 사이의 가중치 및 상기 히든노드와 출력노드 사이의 가중치를 각각 의미한다. 또한 상기 출력노드 ak의 출력은 예측한 궤환신호인
Figure 112019044965798-pat00002
가 된다.
이때, 상기 마이크로폰(110) 입력신호가 음향신호(sk)와 궤환신호(fk)를 포함하여 구성되어 있다고 한다면, 상기 예측한 궤환신호를 상기 마이크로폰(110) 입력신호로부터 제거하면 이에 대한 오차값(ek)은
Figure 112019044965798-pat00003
로 계산될 수 있다.
또한 상기 각 레이어의 가중치는, NLMS 알고리즘을 이용하여 다음의 [수학식 2]를 통해 갱신된다.
[수학식 2]
Figure 112019044965798-pat00004
여기서,
Figure 112019044965798-pat00005
는 학습속도를 결정하는 파라미터를 의미하며, 상기 가중치 wi는 오류 역전파 알고리즘을 이용하여 상기 계산한 오차값이 가중치 wj를 거쳐 전달되어 업데이트된다.
한편, 상기 학습속도는 상기 가중치가 무한대로 증가해버리는 오버 슈팅(over shooting)문제 또는 상기 가중치가 최적의 값으로 갱신되기 전에 상기 학습이 종료되는 문제가 발생되지 않도록 최적의 값으로 미리 설정될 수 있다.
이때, 상기 AI기반 적응 신경망 필터(130)는, 상기 오차값을 가지는 오차신호를 상기 심층학습 네트워크의 입력레이어에 순차적으로 입력하여 상기 심층학습 네트워크의 가중치와 상기 각 히든레이어 및 출력레이어의 각 노드값(즉 출력값)을 갱신하며, 상기 학습모드동안 상기 심층학습 네트워크의 가중치와 상기 각 히든레이어 및 출력레이어의 각 노드값(즉 출력값)을 갱신하는 과정을 반복적으로 수행하게 된다.
즉, 상기 AI기반 적응 신경망필터(130)는, 상기 심층학습 네트워크의 가중치와 상기 심층학습 네트워크의 각 레이어를 구성하는 노드값을 갱신하는 상기 심층학습을 주기적으로 수행하여, 상기 출력노드의 출력값이 실제 입력되는 음성신호에 포함된 궤환신호에 신속하고 안정적으로 수렴하도록 함으로써, 해당 음성신호에 포함된 궤환신호를 정확하게 예측하여 제거할 수 있도록 하는 것이다.
도 5는 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치를 통해 궤환신호를 제거하는 절차를 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치(100)를 통해 궤환신호를 제거하는 절차는 우선, 사용자가 디지털 보청기(10)를 귀에 착용하고, 상기 디지털 보청기(10)의 전원을 온(on)하는 경우, 상기 궤환신호 제거 장치(100)는, 학습용 음향신호를 심층학습하여, 심층학습 네트워크의 가중치를 갱신하는 학습모드를 수행한다(S110).
한편 상기 디지털 보청기(10)는, 전원을 온오프하기 위한 스위치나 버튼을 구비하여, 사용자가 상기 전원을 온오프할 수 있도록 함으로써, 필요에 따라 상기 디지털 보청기(10)를 이용할 수 있도록 한다.
또한 상기 심층학습 네트워크는, 특정 음향신호를 입력으로 하며 궤환신호에 의해 상기 음향신호에 포함된 잡음을 제거할 수 있도록 상기 입력되는 음향신호로부터 궤환신호를 예측하여 출력하는 기능을 수행한다.
이때, 상기 특정 음향신호는 상기 궤환신호 제거 장치(100)의 동작모드에 따라 학습용 음향신호이거나, 실제 마이크로폰(110)을 통해 입력되는 음성신호일 수 있다.
즉, 학습모드로 상기 궤환신호 제거 장치(100)가 동작하는 경우에는, 사전에 저장된 학습용 음향신호를 이용하여 상기 심층학습을 수행하며, 정상모드로 상기 궤환신호 제거 장치(100)가 동작하는 경우에는, 최근에 학습한 결과인 심층학습 네트워크의 가중치 및 각 레이어를 구성하는 노드값을 상기 심층학습 네트워크에 적용하고, 상기 심층학습 네트워크에 마이크로폰(110)으로 입력되는 음향신호로부터 예측 궤환신호가 제거된 오차신호를 지연시켜 순차적으로 입력하여, 해당 음성신호에 포함된 궤환신호를 예측하고, 상기 예측한 궤환신호를 상기 음성신호로부터 제거하여 명료한 음성신호를 출력하는 것이다.
다음으로, 상기 궤환신호 제거 장치(100)는, 미리 설정한 학습시간을 체크하고 있으면서, 상기 학습시간이 종료된 경우, 상기 궤환신호 제거 장치(100)의 동작모드를 정상모드로 전환함으로써, 상기 궤환신호 제거 장치(100)를 정상모드로 구동할 수 있도록 한다(S120).
상기 정상모드는, 상기 외부로부터 실제 음성신호가 입력되는 경우, 해당 음성신호로부터 궤환신호를 제거하여 출력함으로써, 상기 사용자가 해당 음성신호를 정확하게 인식할 수 있도록 하여 상기 사용자가 타인과의 대화를 원활하게 수행할 수 있도록 하는 것이다.
이때, 상기 궤환신호 제거 장치(100)는, 최근에 수행한 학습을 토대로 가중치를 갱신한 심층학습 네트워크에 궤환신호가 제거된 후의 오차신호를 입력하여 해당 음성신호에 포함된 궤환신호(즉, 잡음)를 예측한다.
이후, 상기 궤환신호 제거 장치(100)는 상기 입력되는 음성신호로부터 상기 예측한 궤환신호를 제거함으로써, 명료한 음성신호를 출력하여 사용자에게 제공하게 된다.
다음으로, 상기 궤환신호 제거 장치(100)는, 미리 설정한 정상모드 동작시간을 체크하여, 정상모드 동작시간이 종료된 경우(S140), 상기 마이크로폰(110)을 통해 외부로부터 음성신호가 수신되는 지에 대한 여부를 확인한다(S150).
상기 확인은, 일반적으로 사용되는 음성 검출기(voice activity detector, VAD)를 이용하여 상기 음성신호를 검출함으로써, 수행된다.
다만, 본 발명은, 음성신호를 인식하기 위한 알고리즘을 적용한 다양한 음성 검출기를 통해 상기 음성신호를 인식할 수 있도록 음성신호 수신 여부를 확인하는 방법에 대해서는 그 제한을 두지 않는다.
한편, 상기 정상모드에 설정된 정상모드 동작시간이 종료되었으나, 외부로부터 음성신호가 입력되는 경우에는, 현재 정상모드를 유지하면서 다시 외부로부터 음성신호가 입력되는지를 체크하여 상기 음성신호가 입력되지 않는 경우, 현재의 정상모드를 학습모드로 전환되도록 한다.
또한 상기 사용자가 상기 디지털 보청기(10)의 전원을 오프(off)하는 경우, 상기 궤환신호 제거 장치(100)의 동작도 오프되며, 상기 디지털 보청기(10)의 전원이 다시 온 되는 경우에, 상기 궤환신호 제거 장치(100)는 상기 학습모드로 동작되어 사용자에게 명료한 음성신호를 제공할 수 있도록 한다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법은, 학습용 음향신호를 주기적으로 학습하여 심층학습 네트워크의 가중치를 갱신함으로써, 실제 입력되는 음성신호에 포함된 궤환신호를 정확하게 예측하여, 제거할 수 있도록 함으로서, 사용자에게 명료한 음성신호를 제공할 수 있는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
10 : 디지털 보청기 100 : 궤환신호 제거 장치
110 : 마이크로폰 120 : 동작 제어부
130 : AI기반 적응 신경망필터 131 : 지연부
132 : AI기반 궤환신호 제거부 140 : 증폭부
150 : D/A 변환부 160 : 음성신호 출력부
170 : 메모리 180 :전원부

Claims (6)

  1. 심층학습을 통한 보청기의 궤환신호 제거 장치에 있어서,
    궤환신호가 포함된 학습용 음향신호를 심층학습함으로써, 심층학습 네트워크의 가중치를 주기적으로 갱신하여 저장하는 심층학습부;
    상기 학습된 심층학습 네트워크를 통해 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하는 AI기반 궤환신호 제거부; 및
    상기 궤환신호를 제거하는 궤환신호 제거과정 사이에, 상기 심층학습을 주기적으로 수행하도록 하는 것을 제어하는 동작 제어부;를 포함하며,
    상기 심층학습은, 상기 제어를 통해 사용자가 상기 보청기를 착용하여 이용하고 있는 동안, 사전에 설정한 주기에 따라 주기적으로 수행되어, 상기 사용자의 주변상황에 따라 실제 음성신호에 포함된 궤환신호를 예측하여 제거할 수 있도록 하는 것을 특징으로 하는 심층학습을 통한 보청기의 궤환신호 제거 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 심층학습부는,
    상기 학습용 음향신호로부터 궤환신호를 심층학습하도록 NLMS(normalized leat mean square) 알고리즘 및 오류 역전파 알고리즘을 통해 상기 심층학습 네트워크의 각 레이어에 대한 가중치 및 상기 각 레이어를 구성하는 각 노드에 대한 출력값을 주기적으로 갱신함으로서, 상기 심층학습 네트워크를 통해 학습한 궤환신호가 상기 학습용 음향신호에 포함된 궤환신호에 수렴하도록 하는 것을 포함하는 것을 특징으로 하는 심층학습을 통한 보청기의 궤환신호 제거 장치.
  4. 청구항 1에 있어서,
    상기 AI기반 궤환신호 제거부는,
    상기 학습한 심층학습 네트워크에 스피커 입력신호를 미리 설정한 소정 개수의 지연요소에 순차적으로 입력하여, 상기 외부로부터 입력되는 음향신호에 포함된 궤환신호를 제거하여 출력하는 것을 포함하는 것을 특징으로 하는 심층학습을 통한 보청기의 궤환신호 제거 장치.
  5. 심층학습을 통한 보청기의 궤환신호 제거 방법에 있어서,
    궤환신호가 포함된 학습용 음향신호를 심층학습함으로써, 심층학습 네트워크의 가중치를 주기적으로 갱신하여 저장하는 심층학습 단계;
    상기 학습된 심층학습 네트워크를 통해 외부로부터 입력되는 음성신호에 포함된 궤환신호를 제거하는 AI기반 궤환신호 제거 단계; 및
    상기 궤환신호를 제거하는 궤환신호 제거과정 사이에, 상기 심층학습을 주기적으로 수행하도록 하는 것을 제어하는 동작 제어 단계;를 포함하며,
    상기 심층학습은, 상기 제어를 통해 사용자가 상기 보청기를 착용하여 이용하고 있는 동안, 사전에 설정한 주기에 따라 주기적으로 수행되어, 상기 사용자의 주변상황에 따라 실제 음성신호에 포함된 궤환신호를 예측하여 제거할 수 있도록 하는 것을 특징으로 하는 심층학습을 통한 보청기의 궤환신호 제거 방법.
  6. 청구항 5에 있어서,
    상기 심층학습 단계는,
    상기 학습용 음향신호로부터 궤환신호를 심층학습하도록 NLMS(normalized leat mean square) 알고리즘 및 오류 역전파 알고리즘을 통해 상기 심층학습 네트워크의 각 레이어에 대한 가중치 및 상기 각 레이어를 구성하는 각 노드에 대한 출력값을 주기적으로 갱신함으로서, 상기 심층학습 네트워크를 통해 학습한 궤환신호가 상기 학습용 음향신호에 포함된 궤환신호에 수렴하도록 하는 것을 포함하며,
    상기 AI기반 궤환신호 제거 단계는,
    상기 학습한 심층학습 네트워크에 스피커 입력신호를 미리 설정한 소정 개수의 지연요소에 순차적으로 입력하여, 상기 외부로부터 입력되는 음향신호에 포함된 궤환신호를 제거하여 출력하는 것을 포함하는 것을 특징으로 하는 심층학습을 통한 보청기의 궤환신호 제거 방법.
KR1020190051220A 2019-05-02 2019-05-02 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법 KR102130505B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190051220A KR102130505B1 (ko) 2019-05-02 2019-05-02 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190051220A KR102130505B1 (ko) 2019-05-02 2019-05-02 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102130505B1 true KR102130505B1 (ko) 2020-07-06

Family

ID=71571171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190051220A KR102130505B1 (ko) 2019-05-02 2019-05-02 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102130505B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4132009A3 (en) * 2021-08-05 2023-02-22 Oticon A/s A hearing device comprising a feedback control system
CN116887160A (zh) * 2023-09-08 2023-10-13 玖益(深圳)医疗科技有限公司 基于神经网络的数字助听器啸叫抑制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170311095A1 (en) * 2016-04-20 2017-10-26 Starkey Laboratories, Inc. Neural network-driven feedback cancellation
KR20180125385A (ko) * 2017-05-15 2018-11-23 한국전기연구원 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법
KR20190026234A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170311095A1 (en) * 2016-04-20 2017-10-26 Starkey Laboratories, Inc. Neural network-driven feedback cancellation
KR20180125385A (ko) * 2017-05-15 2018-11-23 한국전기연구원 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법
KR20190026234A (ko) * 2017-09-04 2019-03-13 삼성전자주식회사 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이행우, 디지털 보청기를 위한 음향궤환 및 잡음제거 알고리즘, 한국통신학회논문지‘10-11 Vol.35 No.11, 2010.11., 911-916쪽 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4132009A3 (en) * 2021-08-05 2023-02-22 Oticon A/s A hearing device comprising a feedback control system
CN116887160A (zh) * 2023-09-08 2023-10-13 玖益(深圳)医疗科技有限公司 基于神经网络的数字助听器啸叫抑制方法及系统
CN116887160B (zh) * 2023-09-08 2024-01-12 玖益(深圳)医疗科技有限公司 基于神经网络的数字助听器啸叫抑制方法及系统

Similar Documents

Publication Publication Date Title
US11968501B2 (en) Hearing device comprising a transmitter
US9807522B2 (en) Hearing device adapted for estimating a current real ear to coupler difference
US11736870B2 (en) Neural network-driven frequency translation
EP3514792A1 (en) A method of operating a hearing device and a hearing device providing speech enhancement based on an algorithm optimized with a speech intelligibility prediction algorithm
US20170180878A1 (en) Hearing device comprising a microphone control system
JP5238713B2 (ja) ユーザーインターフェースを有する補聴装置
US10200796B2 (en) Hearing device comprising a feedback cancellation system based on signal energy relocation
US20090010444A1 (en) Method and device for personalized voice operated control
JP2017535204A (ja) 自身の声を迅速に検出する方法と装置
DK2373064T3 (en) Method and apparatus for voice control of binaural hearing aids
US11825269B2 (en) Feedback elimination in a hearing aid
KR102130505B1 (ko) 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법
CN110620979A (zh) 控制助听器与外围设备之间的数据传输的方法和助听器
US20230254649A1 (en) Method of detecting a sudden change in a feedback/echo path of a hearing aid
EP3806497B1 (en) Preprogrammed hearing assistance device with preselected algorithm
EP4287659A1 (en) Predicting gain margin in a hearing device using a neural network
US11245973B2 (en) Hearing device with active vent click compensation
US20230292063A1 (en) Apparatus and method for speech enhancement and feedback cancellation using a neural network
KR20240072490A (ko) 대화 상대방의 음성을 증폭하는 음향 변환 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant