KR102206546B1 - 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법 - Google Patents

잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법 Download PDF

Info

Publication number
KR102206546B1
KR102206546B1 KR1020190145000A KR20190145000A KR102206546B1 KR 102206546 B1 KR102206546 B1 KR 102206546B1 KR 1020190145000 A KR1020190145000 A KR 1020190145000A KR 20190145000 A KR20190145000 A KR 20190145000A KR 102206546 B1 KR102206546 B1 KR 102206546B1
Authority
KR
South Korea
Prior art keywords
noise
signal
section
characteristic value
noise environment
Prior art date
Application number
KR1020190145000A
Other languages
English (en)
Other versions
KR20190129805A (ko
Inventor
안홍섭
박영진
조경환
김선권
양기동
오준택
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20190129805A publication Critical patent/KR20190129805A/ko
Application granted granted Critical
Publication of KR102206546B1 publication Critical patent/KR102206546B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305—Self-monitoring or self-testing

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법에 관한 것으로서, 본 발명의 잡음 환경 분류 및 제거 기능을 갖는 보청기는, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부; 상기 입력 오디오 신호의 FFT 데이터를 생성하는 입력신호 처리부; 및 상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함한다.

Description

잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법{Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof}
본 발명은 보청기에 관한 것으로서, 특히, 다양한 잡음 환경별로 보청기용 잡음 제거 알고리즘의 성능을 최대화할 수 있도록 하는 보청기 및 그 방법에 관한 것이다.
보청기 기술은 신호처리부가 변화하는 환경에 대해서 잡음신호를 추정함으로써 잡음환경별로 잡음신호를 구분하여 제거함을 목적으로 한다. 구체적으로 디지털신호는 신호처리부에서 음성신호와 잡음으로 구별되어 잡음신호를 갱신하고 갱신된 잡음신호를 기반으로 식
Figure 112019116427296-pat00001
을 사용하여 잡음을 제거한다.
여기서 X(f,t)는 입력된 전체 신호, δ는 잡음환경별 가중치 값, α는 주파수별 신호대잡음비(SNR)에 따른 가중치 값,
Figure 112019116427296-pat00002
는 잡음신호,
Figure 112019116427296-pat00003
는 사용자에게 제공할 최종 디지털신호이며, δ는 입력된 디지털 신호의 주파수 대역과 유사도를 보이는 잡음환경을 매칭해주는 매칭부의 결과에 따라 결정되는 값이다.
그러나, 종래의 보청기 기술만으로 다양한 잡음환경에 적응하여 빠르고 효과적으로 잡음을 제거하지 못하므로 다양한 잡음 환경별로 잡음 제거 성능을 향상시킬 필요가 있다.
관련 선행 문헌으로서 국제특허공개 WO2010-015371, 국내등록특허 제10-11517460000호, 국내공개특허 제10-2013-0118513호 등이 참조될 수 있다.
다양한 잡음 환경별로 보청기용 잡음 제거 알고리즘의 성능을 최대화하기 위하여, 정확한 잡음 전력 추정이 매우 중요하다. 이러한 잡음 전력 추정 알고리즘의 정확도는 내부 파라미터에 의해 결정되며 이 파라미터는 잡음 환경의 종류에 따라 각기 다른 최적화 값을 가질 수 있다. 따라서 본 발명은 잡음 제거 알고리즘의 성능 향상을 위해 제거하고자 하는 잡음의 종류를 구분해 잡음 전력 추정기의 파라미터를 정확하게 결정함으로써, 실시간으로 다양한 잡음 환경에 적응하여 잡음 제거가 빠르고 효과적으로 이루어지는 보청기 및 그 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 보청기는, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부; 상기 입력 오디오 신호의 FFT 데이터를 생성하는 입력신호 처리부; 및 상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함한다.
상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출할 수 있다.
상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정할 수 있다.
상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력할 수 있다.
상기 잡음분류 추정부는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기; 상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및 상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기를 포함한다.
상기 입력신호 처리부는, 상기 입력 오디오 신호를 순차 저장하고 출력하는 입력버퍼; 상기 입력 버퍼의 출력에서 유효 데이터를 선택하는 윈도우 적용부; 및 상기 윈도우 적용부의 출력을 FFT 처리한 데이터를 생성하는 FFT부를 포함한다.
상기 보청기는, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부; 상기 FFT 처리한 데이터에 대하여 상기 이득을 곱하는 곱셈기; 상기 곱셈기의 출력을 IFFT 처리한 데이터를 생성하는 IFFT부; 및 상기 IFFT부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼를 더 포함한다.
그리고, 본 발명의 다른 일면에 따른 보청기 신호 처리 방법은, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계; 상기 입력 오디오 신호의 FFT 데이터를 생성하는 단계; 및 상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계를 포함한다.
상기 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출한다.
상기 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정한다.
상기 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력한다.
상기 업데이트하는 단계는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계; 상기 특성값을 버퍼에 순차 저장하고 출력하는 단계; 및 상기 버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 단계를 포함한다.
상기 보청기 신호 처리 방법은, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계; 상기 FFT 처리한 데이터에 대하여 상기 이득을 곱셈하는 단계; 상기 곱셈의 결과를 IFFT 처리한 데이터를 생성하는 단계; 및 상기 IFFT 처리에 의한 데이터를 버퍼에 순차 저장하고 출력하는 단계를 더 포함한다.
본 발명에 따른 보청기 및 그 방법은, 잡음 환경에 따라 최적화된 잡음 전력 추정기의 파라미터를 결정해 정확한 잡음 전력을 계산함으로써 해당 잡음 환경에 최적화된 이득을 도출하여 잡음 상황에서 보청기 사용자의 음성 인지 능력을 향상시킬 수 있다.
또한, 전체 신호의 특성을 추출하는 대신 음성검출기를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야 하는 구조보다 적은 연산을 필요로 한다.
또한, 다양한 음성과 잡음이 혼재하는 상황을 훈련하여 이를 바탕으로 이득(잡음 전력, SNR)을 도출하는 구조와 달리 환경 잡음만을 훈련하여 그에 맞는 잡음 전력 추정기의 파라미터만을 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 잡음환경 분류기에 사용되는 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 설명하기 위한 도면이다.
도 4는 본 발명의 잡음환경 분류기에 사용되는 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기의 신호 처리 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.
도 1을 참조하면, 일반적으로 보청기는 디지털 신호처리부, 피드백 제거용 하드웨어 가속기, 및 구성요소들의 전반적인 제어를 담당하는 중앙처리장치를 포함한다.
보청기는 칩 형태로 제작되어 소리를 잘 듣지 못하는 사용자라도 귀에 꽂아 사용하면 잘 들을 수 있도록 난청자를 보조한다. 이를 위하여 보청기는 다른 사람의 음성에 의한 오디오 입력신호에서 잡음을 제거하고 증폭(예, WDRC(Wide Dynamic Range Compression) 압축 증폭)해 오디오 출력신호를 초소형 스피커를 통해 출력한다.
보청기는 잡음 환경에서 신호대잡음비를 향상시키기 위한 보청기 알고리즘을 수행하기 위한 디지털 신호처리부를 포함한다. 그러나, 스피커 출력은 가까운 거리에서 되먹임되어 다시 입력 신호가 됨으로써 하울링, 메아리 등 울림음이 출력되는 현상이 발생한다. 따라서, 이와 같은 피드백의 영향을 제거하기 위하여 보청기는 적응필터 등을 이용하는 하드웨어 가속기를 포함하며, 피드백 제거용 하드웨어 가속기와 디지털 신호처리부는 오디오 인터페이스를 통해 연동하여, 피드백 제거와 보청기 알고리즘이 동시에 수행됨으로써, 깨끗한 향상된 오디오 신호가 출력되도록 동작한다.
이하 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기에 대하여 도 2 내지 도 5를 참조하여 설명한다. 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능은 도 1의 디지털 신호처리부에서 이루어질 수 있다.
도 2는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기(100) 구조를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 보청기(100)는, 잡음분류 추정부(110), 입력신호 처리부(120), 잡음전력 추정기(180), 이득계산부(190), 곱셈기(200), IFFT부(210) 및 출력버퍼(220)를 포함한다.
잡음분류 추정부(110)는 디지털 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고(도 5의 S510, S520 참조), 결정된 해당 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하여 잡음전력 추정기(180)로 제공한다(도 5의 S530 참조). 이를 위하여, 잡음분류 추정부(110)는 음성검출기(111), 특성추출기(112), 잡음신호 특성버퍼(113), 잡음환경 분류기(114)를 포함한다. 본 발명에서, 잡음분류 추정부(110)는, 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기(111)를 이용하여 추출한 잡음구간에 대한 신호만에 대하여 특성값을 추출하며, 이를 기초로 잡음 환경을 결정할 수 있도록 하였다.
보청기에서 마이크(미도시)를 통해 들어온 오디오 신호는 A/D(Analog to Digital) 변환기를 통해 디지털 신호로 변경된다. 변경된 디지털 신호는 음성 검출기의 종류에 따라 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행할 수도 있고(예, 시간 영역에서 표준 코덱 G.729의 VAD 등), 주파수 변환 후에 음성 검출(예, Local Speech Absent Probability, Global Speech Absent Probability 등)을 수행할 수도 있으며, 특성 추출 이후에 음성 검출이 수행될 수도 있다(예, 기계 학습 기반의 알고리즘). 여기서는 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행하는 경우를 중심으로 설명한다.
음성검출기(111)는 디지털 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성한다. 예를 들어, 음성검출기(111)는 프레임 단위 또는 복수의 프레임 단위 등 소정의 주기로 입력 오디오 신호를 분석함으로써 해당 단위 구간이 음성신호구간인지 잡음구간인지 여부를 판단하여, 각 단위 구간에 대한 해당 구분자를 결정하고 해당 구분자 정보/데이터(예, 0 또는 1)를 생성할 수 있다. 또한, 음성검출기(111)는 각 단위 구간에 대하여 주파수별 분석을 통하여 각 주파수에 대한 정보가 음성신호에 해당하는지 잡음에 해당하는 지 여부를 판단하여, 주파수별 구분자를 결정하고 해당 구분자 정보/데이터를 더 생성할 수도 있다.
특성추출기(112)는 음성검출기(111)가 생성하는 구분자를 기초로 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출한다(도 5의 S510 참조). 특성추출기(112)는 잡음환경에서 음성인식을 위한 알고리즘에 의한 입력 신호의 특성값으로서, 예를 들어, 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 하나 이상의 특성값을 추출할 수 있다. 즉, 음성 신호의 특성값은, GMM(Gausian Mixture Model) 학습의 경우, 성분(가우시안 확률밀도함수)별 평균, 공분산, 혼합계수(성분이 전체 혼합 확률밀도 함수에서 차지하는 비율) 등을 포함할 수 있고, 신경망(Neural Network) 학습의 경우, 각 계층 사이의 가중치와 바이어스 등을 포함할 수 있다.
이외에도 잡음구간에 대한 신호의 특성값은 주파수 영역의 특성값 또는 시간 영역의 특성값 등을 포함할 수 있다. 주파수 영역의 특성값은 Mel-frequency Cepstral Coefficients, Relative Spectra Perceptual Linear Prediction Coefficients, Discrete Fourier transform 결과 등을 포함할 수 있으며, 시간 영역의 특성값은 Pitch, Linear Prediction Coefficients 등을 포함할 수 있다.
잡음신호 특성버퍼(113)는 특성추출기(112)의 출력을 순차 저장하고 출력한다. 잡음환경 분류기(114)는 잡음신호 특성버퍼(113)에 저장된 소정의 시간 동안(예, 버퍼 전체 또는 일부)의 특성값에 대응된 현재의 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 잡음전력 추정기(180)로 제공한다.
잡음환경 분류기(114)는 잡음신호 특성버퍼(113)로부터 출력되는 특성값과 비교될 기준 특성값으로서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 메모리 등 저장 수단에 저장하고 있으며, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 메모리 등 저장 수단에 저장하고 있다.
도 3은 본 발명의 잡음환경 분류기(114)에 사용되는 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 설명하기 위한 도면이다.
예를 들어, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터(예, 실제 녹음, Noisex-92 등)를 수집하여 데이터베이스(S110)에 기록 관리하고, 특성추출기(S120)를 이용해 각 잡음환경의 데이터에 대하여 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 음성신호 특성값을 추출한다. 이와 같이 추출된 음성신호 특성값에 대하여는, 교사적 학습법을 적용할 수도 있고 클러스터링을 위해 비교사적 학습법을 이용할 수도 있다. 예를 들어, 기계학습기(S130)의 SVM(Support Vector Machine), GMM(Gausian Mixture Model), 신경망(Neural Network) 등 기계학습 알고리즘을 이용해 학습하여, 음성신호 특성값들의 학습 결과를 메모리(S140)에 업데이트함으로써, 각 잡음환경에 대하여 최적화된 음성신호 특성값을 잡음환경 분류기(114)로 제공할 수 있다. 더욱 더 정확한 각 잡음환경의 음성신호 특성값을 제공하기 위하여, 가능한한 많은 종류의 잡음환경에 대한 잡음 데이터가 수집되고 해당 음성신호 특성값들이 학습되어 업데이트되어 잡음환경 분류기(114)로 제공될 수 있다.
잡음분류 추정부(110)의 잡음환경 분류기(114)는, 위와 같이 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 잡음신호 특성버퍼(113)로부터 출력되는 잡음구간에 대한 신호의 특성값을 비교하여 해당 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정할 수 있게 된다(도 5의 S520 참조).
도 4는 본 발명의 잡음환경 분류기(114)에 사용되는 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 설명하기 위한 도면이다.
예를 들어, 먼저, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터를 수집하여 데이터베이스(S210)에 기록 관리하고, 잡음이 없는 소정의 음성 신호에 대한 데이터를 수집하여 데이터베이스(S220)에 기록 관리한다. 다음에 데이터베이스들(S210, S220)로부터의 각 잡음환경별 잡음을 음성 신호와 합성(S230)하여 다양한 신호대잡음비로 오염된 신호를 생성한 후, 각 잡음환경별로 추정기 파라미터를 변화시켜가면서 잡음의 전력을 추정하고(예, 잡음전력 추정기(180)의 잡음전력 추정 참조), 잡음의 전력에 대한 이득을 계산(예, 이득계산부(190)의 이득계산 참조)하여 잡음을 제거(S240)함으로써, 그 결과에 대하여 성능평가를 수행(S250)하고 메모리에 업데이트한다(S260). 각 잡음환경에 대한 잡음 제거의 결과가 최적화되도록 선택된 추정기 파라미터에 의한 잡음 제거 성능이 소정의 기준을 만족하면, 해당 잡음환경별 추정기 파라미터가 잡음환경 분류기(114)로 제공될 수 있다. 여기서 잡음 제거 알고리즘의 성능 평가는, 주관적 방법(MOS, mean opinion score) 또는 객관적 방법(Perceptual Evaluation Speech Quality, Log-Likelihood Ratio, Segmental Signal to Noise Ratio, Weighted-slop spectral 등, 또는 위의 측정결과들을 선형 결합한 composite measure 등)으로 측정하여 이루어질 수 있다.
잡음분류 추정부(110)의 잡음환경 분류기(114)는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 위와 같이 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 이용하여 결정한 해당 잡음환경에 대응되는 추정기 파라미터를 잡음전력 추정기(180)로 출력하게 된다(도 5의 S530 참조).
한편, 도 1에서, 입력신호 처리부(120)는 입력 오디오 신호의 FFT(Fast Fourier Transform) 데이터를 생성한다. 이를 위하여 입력신호 처리부(120)는 입력버퍼(121), 윈도우적용부(122) 및 FFT부(123)를 포함한다.
입력버퍼(121)는 입력 오디오 신호를 순차 저장하고 출력한다. 윈도우적용부(122)는 입력 버퍼의 출력에서 유효 데이터를 선택한다. 윈도우적용부(122)는 소정의 FFT 윈도우 함수를 이용하여 해당 형태의 유효 데이터를 선택하여 출력할 수 있다. FFT부(123)는 윈도우 적용부(122)의 출력을 FFT 처리한 데이터(주파수 영역의 데이터)를 생성한다.
이에 따라 잡음전력 추정기(180)는 FFT부(123)의 FFT 데이터로부터 잡음의 전력을 추정하되, 잡음환경 분류기(114)가 제공하는 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정할 수 있다.
이득계산부(190)는 잡음전력 추정기(180)에서 추정된 잡음의 전력에 대한 이득을 계산한다. 곱셈기(200)는 FFT 처리한 데이터에 대하여 이득계산부(190)로부터의 이득을 곱하여 잡음이 제거된 결과를 출력한다. IFFT부(210)는 곱셈기(200)의 출력을 IFFT(Inverse FFT) 처리한 데이터(시간 영역의 데이터)를 생성한다. 출력버퍼(220)는 IFFT부(210)의 출력 데이터를 순차 저장하고 스피커 등으로향상된 오디오 신호를 출력한다(도 5의 S540 참조).
위의 잡음전력 추정기(180)는, 최소 트래킹(minimum statistics), 시간 회귀적 평균(minima controlled recursive averaging, improved MCRA 등), 히스토그램 기반의 알고리즘 등의 알고리즘을 사용하여 잡음 N(k,l)의 전력을 추정할 수 있다. 추정기 파라미터는 하기하는 바와 같이 잡음의 전력 E{| N(k,l)|2}과 관련된 α등의 계수가 이에 해당할 수 있다.
잡음 전력 추정 후에 이득계산부(190)는 이를 기반으로 잡음 제거를 위한 잡음의 이득 G(k,l)을 계산한다. 이득계산 알고리즘은 Spectral Subtraction, Winner Filter, ML(maximum-likelihood), MMSE(minimum mean square error), log-MMSE 등이 사용될 수 있으며 계산된 이득은 다음 [수학식1]에 적용되어 잡음 제거를 수행한다.
[수학식1]
Figure 112019116427296-pat00004
시간 영역에서 깨끗한 음성을 s(t), 잡음을 n(t)라 하면 오염된 음성 신호
Figure 112019116427296-pat00005
로 나타낼 수 있고, 주파수 영역에서는
Figure 112019116427296-pat00006
로 나타낼 수 있다. 여기에서 k와 l은 각각 주파수 영역에서 인덱스와 시간 영역에서 프레임 인덱스를 나타내며
Figure 112019116427296-pat00007
는 출려되는 향상된 오디오 신호를 나타낸다. 여기서, 이득 계산부(190)의 잡음 제거 알고리즘과 관련된 처리는 다음과 같은 함수들 중 어느 하나 이상을 이용하여 수행될 수 있다. 하기에서
Figure 112019116427296-pat00008
는 기대값 연산자(expectation operator)를 나타낸다.
(1) a priori SNR :
Figure 112019116427296-pat00009
(2) a posteriori SNR :
Figure 112019116427296-pat00010
(3) Winer filter :
Figure 112019116427296-pat00011
(4) spectral subtraction :
Figure 112019116427296-pat00012
(5) Maximum-Likelihood :
Figure 112019116427296-pat00013
(6) MMSE:
Figure 112019116427296-pat00014
여기서,
Figure 112019116427296-pat00015
, I0와 I1은 각각 0차와 1차의 Modified Bessel 함수.
(7) log-MMSE :
Figure 112019116427296-pat00016
(8) decision-directed : a priori SNR 추정
Figure 112019116427296-pat00017
여기서,
Figure 112019116427296-pat00018
은 이전 프레임의 향상된 오디오 신호이고,
Figure 112019116427296-pat00019
은 추정된 잡음 전력이다.
한편, 종래의 문헌 국내공개특허 제10-2013-0118513호와 본 발명의 가장 큰 차이는, 본 발명의 경우 잡음 환경 분류를 통해 잡음 환경에 따라 최적화된 잡음 전력 추정기(180)의 파라미터를 업데이트 하여 잡음 전력을 구하고 이를 바탕으로 이득을 계산하여 잡음 제거를 수행하는데 반해, 국내공개특허 제10-2013-0118513호의 경우 수학식
Figure 112019116427296-pat00020
을 이용하여 잡음 제거를 수행한다는 차이가 있다.
또한, 국제특허공개 WO2010-015371는 잡음 전력, SNR 또는 이득으로 표현될 수 있는 음성 향상에 필요한 정보를 기계 학습법을 이용하여 획득하지만, 본 발명은 잡음의 특성을 학습하여 잡음 환경을 구별하여 그에 따른 최적 잡음 전력을 계산할 수 있는 파라미터를 제공한다는 차이가 있다. 또한, 본 발명은 음성검출기(111)를 이용하여 잡음 신호만의 특성을 추출한다는 점에서도 국제특허공개 WO2010-015371와는 차이가 있다.
상술한 바와 같이, 본 발명에 따른 보청기(100)는, 잡음 환경에 따라 최적화된 잡음 전력 추정기(180)의 파라미터를 결정해 정확한 잡음 전력을 계산함으로써 해당 잡음 환경에 최적화된 이득을 도출하여 잡음 상황에서 보청기 사용자의 음성 인지 능력을 향상시킬 수 있다. 또한, 전체 신호의 특성을 추출하는 대신 음성검출기(111)를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야 하는 구조보다 적은 연산을 필요로 한다. 또한, 다양한 음성과 잡음이 혼재하는 상황을 훈련하여 이를 바탕으로 이득(잡음 전력, SNR)을 도출하는 구조와 달리 환경 잡음만을 훈련하여 그에 맞는 잡음 전력 추정기(180)의 파라미터만을 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
잡음분류 추정부(110)
음성검출기(111)
특성추출기(112)
잡음신호 특성버퍼(113)
잡음환경 분류기(114)
입력신호 처리부(120)
입력버퍼(121)
윈도우적용부(122)
FFT부(123)
잡음전력 추정기(180)
이득계산부(190)
곱셈기(200)
IFFT부(210)
출력버퍼(220)

Claims (13)

  1. 음성신호구간과 잡음구간을 포함하는 복수 구간의 입력 오디오 신호에서 구분된 잡음구간에 대한 신호의 특성값을 버퍼에 순차 저장하고, 상기 버퍼에 저장된 소정 시간 동안의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부;
    상기 입력 오디오 신호의 FFT 데이터를 생성하는 입력신호 처리부; 및
    상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기
    를 포함하는 것을 특징으로 하는 보청기.
  2. 제1항에 있어서,
    상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기.
  3. 제1항에 있어서,
    상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기.
  4. 제3항에 있어서,
    상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력하는 것을 특징으로 하는 보청기.
  5. 제1항에 있어서,
    상기 잡음분류 추정부는,
    상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기;
    상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기;
    상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및
    상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기
    를 포함하는 것을 특징으로 하는 보청기.
  6. 제1항에 있어서,
    상기 입력신호 처리부는,
    상기 입력 오디오 신호를 순차 저장하고 출력하는 입력버퍼;
    상기 입력 버퍼의 출력에서 유효 데이터를 선택하는 윈도우 적용부; 및
    상기 윈도우 적용부의 출력을 FFT 처리한 데이터를 생성하는 FFT부
    를 포함하는 것을 특징으로 하는 보청기.
  7. 제6항에 있어서,
    추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부;
    상기 FFT 처리한 데이터에 대하여 상기 이득을 곱하는 곱셈기;
    상기 곱셈기의 출력을 IFFT 처리한 데이터를 생성하는 IFFT부; 및
    상기 IFFT부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼
    를 더 포함하는 것을 특징으로 하는 보청기.
  8. 음성신호구간과 잡음구간을 포함하는 복수 구간의 입력 오디오 신호에서 구분된 잡음구간에 대한 신호의 특성값을 버퍼에 순차 저장하고, 상기 버퍼에 저장된 소정 시간 동안의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계;
    상기 입력 오디오 신호의 FFT 데이터를 생성하는 단계; 및
    상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계
    를 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
  9. 제8항에 있어서,
    상기 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기 신호 처리 방법.
  10. 제8항에 있어서,
    상기 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기 신호 처리 방법.
  11. 제10항에 있어서,
    상기 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 출력하는 것을 특징으로 하는 보청기 신호 처리 방법.
  12. 제8항에 있어서,
    상기 업데이트하는 단계는,
    상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계;
    상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계;
    상기 특성값을 버퍼에 순차 저장하고 출력하는 단계; 및
    상기 버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 단계
    를 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
  13. 제8항에 있어서,
    추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계;
    상기 FFT 처리한 데이터에 대하여 상기 이득을 곱셈하는 단계;
    상기 곱셈의 결과를 IFFT 처리한 데이터를 생성하는 단계; 및
    상기 IFFT 처리에 의한 데이터를 버퍼에 순차 저장하고 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
KR1020190145000A 2017-05-15 2019-11-13 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법 KR102206546B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170059797 2017-05-15
KR1020170059797 2017-05-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048603A Division KR20180125385A (ko) 2017-05-15 2018-04-26 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190129805A KR20190129805A (ko) 2019-11-20
KR102206546B1 true KR102206546B1 (ko) 2021-01-22

Family

ID=64565427

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180048603A KR20180125385A (ko) 2017-05-15 2018-04-26 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법
KR1020190145000A KR102206546B1 (ko) 2017-05-15 2019-11-13 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180048603A KR20180125385A (ko) 2017-05-15 2018-04-26 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법

Country Status (1)

Country Link
KR (2) KR20180125385A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130505B1 (ko) * 2019-05-02 2020-07-06 남서울대학교 산학협력단 심층학습을 통한 보청기의 궤환신호 제거 장치 및 그 방법
US11076243B2 (en) 2019-06-20 2021-07-27 Samsung Electro-Mechanics Co., Ltd. Terminal with hearing aid setting, and setting method for hearing aid
CN110300367A (zh) * 2019-06-28 2019-10-01 深圳航天金悦通科技有限公司 一种基于无损降噪技术的智能助听器
KR102267734B1 (ko) 2019-11-27 2021-06-23 주식회사 리딤 다기능 보청기 시스템
KR102647545B1 (ko) * 2022-11-10 2024-03-14 주식회사 이엠텍 오픈형 스피커를 구비하는 전자 디바이스

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002537586A (ja) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション 雑音を消去するためのシステム、方法及び装置
JP2015130659A (ja) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 学習型補聴器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101837331B1 (ko) * 2013-11-28 2018-04-19 와이덱스 에이/에스 보청기 시스템을 동작시키는 방법 및 보청기 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002537586A (ja) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション 雑音を消去するためのシステム、方法及び装置
JP2015130659A (ja) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 学習型補聴器

Also Published As

Publication number Publication date
KR20190129805A (ko) 2019-11-20
KR20180125385A (ko) 2018-11-23

Similar Documents

Publication Publication Date Title
KR102206546B1 (ko) 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법
KR102152197B1 (ko) 음성 검출기를 구비한 보청기 및 그 방법
Zhao et al. Perceptually guided speech enhancement using deep neural networks
CN107910011B (zh) 一种语音降噪方法、装置、服务器及存储介质
CN112735456B (zh) 一种基于dnn-clstm网络的语音增强方法
Mousazadeh et al. Voice activity detection in presence of transient noise using spectral clustering
US8655656B2 (en) Method and system for assessing intelligibility of speech represented by a speech signal
KR101877127B1 (ko) 심화 신경망을 이용한 시간 및 주파수 간 상관도 기반의 음성 검출기 및 음성 검출 방법
KR20060082465A (ko) 음향 모델을 이용한 음성과 비음성의 구분 방법 및 장치
JP6439682B2 (ja) 信号処理装置、信号処理方法および信号処理プログラム
CN111696568A (zh) 一种半监督瞬态噪声抑制方法
Lee et al. Dynamic noise embedding: Noise aware training and adaptation for speech enhancement
Sun et al. Progressive multi-target network based speech enhancement with snr-preselection for robust speaker diarization
Fang et al. Integrating statistical uncertainty into neural network-based speech enhancement
JP6404780B2 (ja) ウィナーフィルタ設計装置、音強調装置、音響特徴量選択装置、これらの方法及びプログラム
Seong et al. WADA-W: A modified WADA SNR estimator for audio-visual speech recognition
Górriz et al. Jointly Gaussian PDF-based likelihood ratio test for voice activity detection
CN113689886B (zh) 语音数据情感检测方法、装置、电子设备和存储介质
Samui et al. Deep Recurrent Neural Network Based Monaural Speech Separation Using Recurrent Temporal Restricted Boltzmann Machines.
US9875755B2 (en) Voice enhancement device and voice enhancement method
Ng et al. Small footprint multi-channel convmixer for keyword spotting with centroid based awareness
JP2013235050A (ja) 情報処理装置及び方法、並びにプログラム
Liu et al. Investigation of Cost Function for Supervised Monaural Speech Separation.
Kumar et al. Comparative Studies of Single-Channel Speech Enhancement Techniques
Win et al. Speech enhancement techniques for noisy speech in real world environments

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant