KR20190130533A - 음성 검출기를 구비한 보청기 및 그 방법 - Google Patents

음성 검출기를 구비한 보청기 및 그 방법 Download PDF

Info

Publication number
KR20190130533A
KR20190130533A KR1020190144974A KR20190144974A KR20190130533A KR 20190130533 A KR20190130533 A KR 20190130533A KR 1020190144974 A KR1020190144974 A KR 1020190144974A KR 20190144974 A KR20190144974 A KR 20190144974A KR 20190130533 A KR20190130533 A KR 20190130533A
Authority
KR
South Korea
Prior art keywords
noise
signal
section
audio signal
input audio
Prior art date
Application number
KR1020190144974A
Other languages
English (en)
Inventor
안홍섭
박영진
조경환
김선권
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20190130533A publication Critical patent/KR20190130533A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Abstract

본 발명은 음성 검출기를 구비한 보청기 및 그 방법에 관한 것으로서, 본 발명의 보청기는, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부; 및 상기 입력 오디오 신호에 대하여, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함하고, 상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출한다.

Description

음성 검출기를 구비한 보청기 및 그 방법{Hearing Aid Having Voice Activity Detector and Method thereof}
본 발명은 보청기에 관한 것으로서, 특히, 음성 검출기를 구비한 보청기 및 그 방법에 관한 것이다.
보청기 기술은 하울링 등 피드백의 영향을 제거하고 다양한 잡음 환경에 대해서 잡음신호를 추정해 잡음신호를 제거함을 목적으로 한다. 그러나, 종래의 보청기 기술에서 피드백 신호나 잡음을 빠르고 효과적으로 제거하지 못하므로 이와 같은 성능을 개선하여 향상된 오디오 신호를 사용자에게 제공할 필요가 있다.
관련 선행 문헌으로서 국제특허공개 WO2010-015371, 국내등록특허 제10-11517460000호, 국내공개특허 제10-2013-0118513호 등이 참조될 수 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 음성 검출기를 구비해 입력 오디오 신호 전체가 아닌 잡음구간에 대한 신호만에 대한 효과적이고 빠른 처리를 피드백 제거 및 잡음 제거에 적용하기 위한 보청기 및 그 방법을 제공하는 데 있다. 즉, 본 발명의 보청기에서는, 음성검출기가 잡음 제거 알고리즘의 성능 향상을 위해 사용되는 잡음 환경 분류의 전처리를 위해 사용될 수 있고, 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용될 수 있으며, 적응필터 기반의 피드백 제거 알고리즘에서 스텝 사이즈 제어기로 사용될 수 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 보청기는, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부; 및 상기 입력 오디오 신호에 대하여, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함하고, 상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출할 수 있다.
또한, 본 발명의 다른 일면에 따른 보청기는, 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기; 및 상기 구분자를 기초로 상기 입력 오디오 신호에 대한 잡음의 전력을 추정하는 잡음전력 추정기를 포함하고, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 상기 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호에 기초한 잡음의 제거를 이용한다.
또한, 본 발명의 다른 일면에 따른 보청기는, 입력 오디오 신호와 피드백 신호의 합성 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기; 상기 구분자의 빈도에 기초하여 스텝사이즈값의 크기를 상향 조정 또는 하향 조정하는 스텝사이즈 제어기; 상기 합성 신호와 피드백 추정신호의 차이에 대하여 보청기 알고리즘의 디지털 신호 처리를 수행하여 향상된 오디오 신호를 출력하는 디지털 신호 처리부; 출력되는 상기 향상된 오디오 신호를 지연시키는 시간 지연부; 및 조정된 스텝사이즈값을 이용하여 상기 시간 지연부의 출력 신호에 대한 적응 필터링을 통해 상기 피드백 추정신호를 생성하는 적응 필터부를 포함하고, 상기 입력 오디오 신호 또는 상기 합성 신호에 대한 전체적인 신호의 이용이 아닌, 상기 음성검출기를 이용하여 상기 잡음구간의 빈도를 상기 적응 필터링을 위한 상기 스텝사이즈의 제어에 이용한다.
상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정한다.
상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력한다.
상기 잡음분류 추정부는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기; 상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및 상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기를 포함한다.
상기 보청기는, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부; 계산된 상기 이득을 이용하여 상기 입력 오디오 신호에서 잡음이 제거된 신호를 생성하는 잡음제거부; 및 상기 잡음제거부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼를 더 포함한다.
또한, 본 발명의 또 다른 일면에 따른 보청기 신호 처리 방법은, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계; 및 상기 입력 오디오 신호에 대하여, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계를 포함하고, 상기 추정기 파라미터를 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출한다.
또한, 본 발명의 또 다른 일면에 따른 보청기 신호 처리 방법은, 음성검출기를 이용하여 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 및 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 잡음의 전력을 추정하는 단계를 포함하고, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 상기 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호에 기초한 잡음의 제거를 이용한다.
그리고, 본 발명의 또 다른 일면에 따른 보청기 신호 처리 방법은, 음성검출기를 이용하여 입력 오디오 신호와 피드백 신호의 합성 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 상기 구분자의 빈도에 기초하여 스텝사이즈값의 크기를 상향 조정 또는 하향 조정하는 단계; 상기 합성 신호와 피드백 추정신호의 차이에 대하여 보청기 알고리즘의 디지털 신호 처리를 수행하여 향상된 오디오 신호를 출력하는 단계; 출력되는 상기 향상된 오디오 신호를 지연시키는 단계; 및 조정된 스텝사이즈값을 이용하여 상기 시간 지연부의 출력 신호에 대한 적응 필터링을 통해 상기 피드백 추정신호를 생성하는 단계를 포함하고, 상기 입력 오디오 신호 또는 상기 합성 신호에 대한 전체적인 신호의 이용이 아닌, 상기 음성검출기를 이용하여 상기 잡음구간의 빈도를 상기 적응 필터링을 위한 상기 스텝사이즈의 제어에 이용한다.
상기 추정기 파라미터를 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정한다.
상기 추정기 파라미터를 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력한다.
상기 추정기 파라미터를 업데이트하는 단계는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계; 추출된 상기 특성값을 잡음신호 특성버퍼에 순차 저장하고 출력하는 단계; 및 상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 단계를 포함한다.
상기 보청기 신호 처리 방법은, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계; 계산된 상기 이득을 이용하여 상기 입력 오디오 신호에서 잡음이 제거된 신호를 생성하는 단계; 및 상기 잡음이 제거된 신호의 데이터를 버퍼에 순차 저장하고 출력하는 단계를 더 포함한다.
본 발명에 따른 보청기 및 그 방법은, 음성 검출기를 구비해 입력 오디오 신호 전체가 아닌 잡음구간에 대한 신호만에 대한 처리를 피드백 제거 및 잡음 제거에 적용하여 사용자에게 효과적으로 향상된 오디오 신호의 제공이 가능하다.
즉, 본 발명의 보청기에서는, 잡음 환경에 따른 최적화된 잡음 제거기의 성능을 얻기 위한 잡음 분류를 수행함에 있어 전체 신호의 특성을 추출하는 대신 음성검출기를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야하는 구조보다 적은 연산을 필요로 하고 환경 잡음만을 훈련하여 그에 맞는 잡음 제거기의 파라미터를 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.
또한, 본 발명의 보청기에서는, 음성 검출기의 처리 결과에 따른 잡음 신호 구간만의 특성을 이용하여 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용함으로써, 기존 잡음 제거 알고리즘의 잡음 추정 부분을 대체할 수 있다.
그리고, 본 발명의 보청기에서는, 음성 검출기를 적응필터 기반의 피드백 제거 알고리즘에서 스텝 사이즈의 제어에 사용하여 음성 출력이 입력으로 되먹임되는 피드백 경로의 추정이 잘못되는 문제를 해결하여 피드백 제거기의 성능을 향상시킬 수 있다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 음성 검출기를 구비한 보청기 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용되는 경우의 보청기 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 적응필터 기반의 피드백 제거 방법에서 음성 검출기가 스텝 사이즈 제어를 위해 사용되는 경우의 보청기 구조를 설명하기 위한 도면이다.
도 5는 도 4의 보청기 구조에서의 신호 처리 동작을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.
도 1을 참조하면, 일반적으로 보청기는 디지털 신호처리부, 피드백 제거용 하드웨어 가속기, 및 구성요소들의 전반적인 제어를 담당하는 중앙처리장치를 포함한다.
보청기는 칩 형태로 제작되어 소리를 잘 듣지 못하는 사용자라도 귀에 꽂아 사용하면 잘 들을 수 있도록 난청자를 보조한다. 이를 위하여 보청기는 다른 사람의 음성에 의한 오디오 입력신호에서 잡음을 제거하고 증폭(예, WDRC(Wide Dynamic Range Compression) 압축 증폭)해 오디오 출력신호를 초소형 스피커를 통해 출력한다.
보청기는 잡음 환경에서 신호대잡음비를 향상시키기 위한 보청기 알고리즘을 수행하기 위한 디지털 신호처리부를 포함한다. 그러나, 스피커 출력은 가까운 거리에서 되먹임되어 다시 입력 신호가 됨으로써 하울링, 메아리 등 울림음이 출력되는 현상이 발생한다. 따라서, 이와 같은 피드백의 영향을 제거하기 위하여 보청기는 적응필터 등을 이용하는 하드웨어 가속기를 포함하며, 피드백 제거용 하드웨어 가속기와 디지털 신호처리부는 오디오 인터페이스를 통해 연동하여, 피드백 제거와 보청기 알고리즘이 동시에 수행됨으로써, 깨끗한 향상된 오디오 신호가 출력되도록 동작한다.
이하 본 발명의 일 실시예에 따른 음성 검출기를 갖는 보청기에 대하여 도 2 내지 도 5를 참조하여 설명한다. 본 발명의 일 실시예에 따른 잡음 환경 분류를 통한 잡음 제거와 직접적인 잡음 제거를 수행하는 보청기에 대하여는 도 2와 도 3에서 설명하며 이들은 도 1의 디지털 신호처리부에서 이루어질 수 있다. 또한, 본 발명의 일 실시예에 따른 피드백 신호 제거를 수행하는 보청기 구조에 대하여는 도 4와 도 5를 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 음성 검출기(121)를 구비한 보청기(100) 구조를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 보청기(100)는, 입력버퍼(110), 잡음분류 추정부(120), 잡음전력 추정기(160), 이득계산부(170), 잡음제거부(180) 및 출력버퍼(190)를 포함한다.
잡음분류 추정부(120)는 디지털 입력 오디오 신호가 입력버퍼(110)에서 버퍼링되어 순차 저장되고 출력되는 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 결정된 해당 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하여 잡음전력 추정기(160)로 제공한다. 이를 위하여, 잡음분류 추정부(120)는 음성검출기(121), 특성추출기(122), 잡음신호 특성버퍼(123), 잡음환경 분류기(124)를 포함한다. 본 발명에서, 잡음분류 추정부(120)는, 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기(121)를 이용하여 추출한 잡음구간에 대한 신호만에 대하여 특성값을 추출하며, 이를 기초로 잡음 환경을 결정할 수 있도록 하였다.
보청기에서 마이크(미도시)를 통해 들어온 오디오 신호는 A/D(Analog to Digital) 변환기를 통해 디지털 신호로 변경된다. 변경된 디지털 신호는 음성 검출기의 종류에 따라 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행할 수도 있고(예, 시간 영역에서 표준 코덱 G.729의 VAD 등), 주파수 변환 후에 음성 검출(예, Local Speech Absent Probability, Global Speech Absent Probability 등)을 수행할 수도 있으며, 특성 추출 이후에 음성 검출이 수행될 수도 있다(예, 기계 학습 기반의 알고리즘). 여기서는 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행하는 경우를 중심으로 설명한다.
음성검출기(121)는 디지털 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성한다. 예를 들어, 음성검출기(121)는 프레임 단위 또는 복수의 프레임 단위 등 소정의 주기로 입력 오디오 신호를 분석함으로써 해당 단위 구간이 음성신호구간인지 잡음구간인지 여부를 판단하여, 각 단위 구간에 대한 해당 구분자를 결정하고 해당 구분자 정보/데이터(예, 0 또는 1)를 생성할 수 있다. 또한, 음성검출기(121)는 각 단위 구간에 대하여 주파수별 분석을 통하여 각 주파수에 대한 정보가 음성신호에 해당하는지 잡음에 해당하는 지 여부를 판단하여, 주파수별 구분자를 결정하고 해당 구분자 정보/데이터를 더 생성할 수도 있다.
특성추출기(122)는 음성검출기(121)가 생성하는 구분자를 기초로 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출한다. 특성추출기(122)는 잡음환경에서 음성인식을 위한 알고리즘에 의한 입력 신호의 특성값으로서, 예를 들어, 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 하나 이상의 특성값을 추출할 수 있다. 즉, 음성 신호의 특성값은, GMM(Gausian Mixture Model) 학습의 경우, 성분(가우시안 확률밀도함수)별 평균, 공분산, 혼합계수(성분이 전체 혼합 확률밀도 함수에서 차지하는 비율) 등을 포함할 수 있고, 신경망(Neural Network) 학습의 경우, 각 계층 사이의 가중치와 바이어스 등을 포함할 수 있다.
이외에도 잡음구간에 대한 신호의 특성값은 주파수 영역의 특성값 또는 시간 영역의 특성값 등을 포함할 수 있다. 주파수 영역의 특성값은 Mel-frequency Cepstral Coefficients, Relative Spectra Perceptual Linear Prediction Coefficients, Discrete Fourier transform 결과 등을 포함할 수 있으며, 시간 영역의 특성값은 Pitch, Linear Prediction Coefficients 등을 포함할 수 있다.
잡음신호 특성버퍼(123)는 특성추출기(122)의 출력을 순차 저장하고 출력한다. 잡음환경 분류기(124)는 잡음신호 특성버퍼(123)에 저장된 소정의 시간 동안(예, 버퍼 전체 또는 일부)의 특성값에 대응된 현재의 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 잡음전력 추정기(160)로 제공한다.
잡음환경 분류기(124)는 잡음신호 특성버퍼(123)로부터 출력되는 특성값과 비교될 기준 특성값으로서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 메모리 등 저장 수단에 저장하고 있으며, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 메모리 등 저장 수단에 저장하고 있다.
예를 들어, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터(예, 실제 녹음, Noisex-92 등)를 수집하여 데이터베이스에 기록 관리하고, 특성추출기를 이용해 각 잡음환경의 데이터에 대하여 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 음성신호 특성값을 추출한다. 이와 같이 추출된 음성신호 특성값에 대하여는, 교사적 학습법을 적용할 수도 있고 클러스터링을 위해 비교사적 학습법을 이용할 수도 있다. 예를 들어, 기계학습기의 SVM(Support Vector Machine), GMM(Gausian Mixture Model), 신경망(Neural Network) 등 기계학습 알고리즘을 이용해 학습하여, 음성신호 특성값들의 학습 결과를 메모리에 업데이트함으로써, 각 잡음환경에 대하여 최적화된 음성신호 특성값을 잡음환경 분류기(124)로 제공할 수 있다. 더욱 더 정확한 각 잡음환경의 음성신호 특성값을 제공하기 위하여, 가능한한 많은 종류의 잡음환경에 대한 잡음 데이터가 수집되고 해당 음성신호 특성값들이 학습되어 업데이트되어 잡음환경 분류기(124)로 제공될 수 있다.
잡음분류 추정부(120)의 잡음환경 분류기(124)는, 위와 같이 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 잡음신호 특성버퍼(123)로부터 출력되는 잡음구간에 대한 신호의 특성값을 비교하여 해당 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정할 수 있게 된다.
또한, 예를 들어, 먼저, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터를 수집하여 데이터베이스에 기록 관리하고, 잡음이 없는 소정의 음성 신호에 대한 데이터를 수집하여 데이터베이스에 기록 관리한다. 다음에 데이터베이스들로부터의 각 잡음환경별 잡음을 음성 신호와 합성하여 다양한 신호대잡음비로 오염된 신호를 생성한 후, 각 잡음환경별로 추정기 파라미터를 변화시켜가면서 잡음의 전력을 추정하고(예, 잡음전력 추정기(160)의 잡음전력 추정 참조), 잡음의 전력에 대한 이득을 계산(예, 이득계산부(170)의 이득계산 참조)하여 잡음을 제거함으로써, 그 결과에 대하여 성능평가를 수행하고 메모리에 업데이트한다. 각 잡음환경에 대한 잡음 제거의 결과가 최적화되도록 선택된 추정기 파라미터에 의한 잡음 제거 성능이 소정의 기준을 만족하면, 해당 잡음환경별 추정기 파라미터가 잡음환경 분류기(124)로 제공될 수 있다. 여기서 잡음 제거 알고리즘의 성능 평가는, 주관적 방법(MOS, mean opinion score) 또는 객관적 방법(Perceptual Evaluation Speech Quality, Log-Likelihood Ratio, Segmental Signal to Noise Ratio, Weighted-slop spectral 등, 또는 위의 측정결과들을 선형 결합한 composite measure 등)으로 측정하여 이루어질 수 있다.
잡음분류 추정부(120)의 잡음환경 분류기(124)는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 위와 같이 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 이용하여 결정한 해당 잡음환경에 대응되는 추정기 파라미터를 잡음전력 추정기(160)로 출력하게 된다.
한편, 잡음전력 추정기(160)는 입력버퍼(110)로부터의 입력 오디오 신호에 대하여, 잡음환경 분류기(124)가 제공하는 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정할 수 있다. 잡음전력 추정기(160)는 입력 오디오 신호의 FFT(Fast Fourier Transform) 데이터를 생성하여 주파수 영역의 데이터에 대하여 잡음의 전력을 추정할 수도 있다.
이득계산부(170)는 잡음전력 추정기(160)에서 추정된 잡음의 전력에 대한 이득을 계산한다. 잡음제거부(180)는 이득계산부(170)가 계산한 이득을 이용하여 입력 오디오 신호에서 잡음이 제거된 신호를 생성할 수 있다. 예를 들어, 잡음제거부(180)는 위와 같은 FFT 처리한 데이터에 대하여 이득계산부(170)로부터의 이득을 곱하여 잡음이 제거된 결과를 출력할 수도 있다. 잡음제거부(180)는 처리 데이터가 FFT 데이터인 경우에 IFFT(Inverse FFT) 처리한 데이터(시간 영역의 데이터)를 생성할 수도 있다. 출력버퍼(190)는 잡음제거부(180)로부터의 출력 데이터를 순차 저장하고 스피커 등으로 향상된 오디오 신호를 출력한다.
위의 잡음전력 추정기(160)는, 최소 트래킹(minimum statistics), 시간 회귀적 평균(minima controlled recursive averaging, improved MCRA 등), 히스토그램 기반의 알고리즘 등의 알고리즘을 사용하여 잡음 N(k,l)의 전력을 추정할 수 있다. 추정기 파라미터는 하기하는 바와 같이 잡음의 전력 E{| N(k,l)|2}과 관련된 α등의 계수가 이에 해당할 수 있다.
잡음 전력 추정 후에 이득계산부(170)는 이를 기반으로 잡음 제거를 위한 잡음의 이득 G(k,l)을 계산한다. 이득계산 알고리즘은 Spectral Subtraction, Winner Filter, ML(maximum-likelihood), MMSE(minimum mean square error), log-MMSE 등이 사용될 수 있으며 계산된 이득은 다음 [수학식1]에 적용되어 잡음 제거를 수행한다.
[수학식1]
Figure pat00001
시간 영역에서 깨끗한 음성을 s(t), 잡음을 n(t)라 하면 오염된 음성 신호
Figure pat00002
로 나타낼 수 있고, 주파수 영역에서는
Figure pat00003
로 나타낼 수 있다. 여기에서 k와 l은 각각 주파수 영역에서 인덱스와 시간 영역에서 프레임 인덱스를 나타내며
Figure pat00004
는 출려되는 향상된 오디오 신호를 나타낸다. 여기서, 이득 계산부(190)의 잡음 제거 알고리즘과 관련된 처리는 다음과 같은 함수들 중 어느 하나 이상을 이용하여 수행될 수 있다. 하기에서
Figure pat00005
는 기대값 연산자(expectation operator)를 나타낸다.
(1) a priori SNR :
Figure pat00006
(2) a posteriori SNR :
Figure pat00007
(3) Winer filter :
Figure pat00008
(4) spectral subtraction :
Figure pat00009
(5) Maximum-Likelihood :
Figure pat00010
(6) MMSE:
Figure pat00011
여기서,
Figure pat00012
, I0와 I1은 각각 0차와 1차의 Modified Bessel 함수.
(7) log-MMSE :
Figure pat00013
(8) decision-directed : a priori SNR 추정
Figure pat00014
여기서,
Figure pat00015
은 이전 프레임의 향상된 오디오 신호이고,
Figure pat00016
은 추정된 잡음 전력이다.
도 3은 본 발명의 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용되는 경우의 보청기 구조를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 보청기(200)는, 입력버퍼(210), 음성검출기(220), 잡음전력 추정기(230), 이득계산부(240), 잡음제거부(250) 및 출력버퍼(260)를 포함한다. 여기서 입력버퍼(210), 음성검출기(220), 잡음전력 추정기(230), 이득계산부(240), 잡음제거부(250) 및 출력버퍼(260) 각각의 기능은, 도 1에서의 입력버퍼(110), 음성검출기(121), 잡음전력 추정기(160), 이득계산부(170), 잡음제거부(180) 및 출력버퍼(190) 각각의 기능과 유사하다.
음성검출기(220)는 디지털 입력 오디오 신호가 입력버퍼(210)에서 버퍼링되어 순차 저장되고 출력되는 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성한다. 예를 들어, 음성검출기(220)는 프레임 단위 또는 복수의 프레임 단위 등 소정의 주기로 입력 오디오 신호를 분석함으로써 해당 단위 구간이 음성신호구간인지 잡음구간인지 여부를 판단하여, 각 단위 구간에 대한 해당 구분자를 결정하고 해당 구분자 정보/데이터(예, 0 또는 1)를 생성할 수 있다. 또한, 음성검출기(220)는 각 단위 구간에 대하여 주파수별 분석을 통하여 각 주파수에 대한 정보가 음성신호에 해당하는지 잡음에 해당하는 지 여부를 판단하여, 주파수별 구분자를 결정하고 해당 구분자 정보/데이터를 더 생성할 수도 있다.
잡음전력 추정기(230)는 입력 오디오 신호에 대하여, 음성검출기(220)로부터의 구분자를 기초로 해당 입력 오디오 신호에 대한 잡음의 전력을 추정할 수 있다. 잡음전력 추정기(230)는 입력 오디오 신호의 FFT(Fast Fourier Transform) 데이터를 생성하여 주파수 영역의 데이터에 대하여 잡음의 전력을 추정할 수도 있다.
이득계산부(240)는 잡음전력 추정기(230)에서 추정된 잡음의 전력에 대한 이득을 계산한다. 잡음제거부(250)는 이득계산부(240)가 계산한 이득을 이용하여 입력 오디오 신호에서 잡음이 제거된 신호를 생성할 수 있다. 예를 들어, 잡음제거부(250)는 위와 같은 FFT 처리한 데이터에 대하여 이득계산부(240)로부터의 이득을 곱하여 잡음이 제거된 결과를 출력할 수도 있다. 잡음제거부(250)는 처리 데이터가 FFT 데이터인 경우에 IFFT(Inverse FFT) 처리한 데이터(시간 영역의 데이터)를 생성할 수도 있다. 출력버퍼(260)는 잡음제거부(250)로부터의 출력 데이터를 순차 저장하고 스피커 등으로 향상된 오디오 신호를 출력한다.
도 3은 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용되는 경우를 나타내었다. 즉, 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기(220)를 이용하여 추출한 잡음구간에 대한 신호에 기초한 잡음의 제거를 수행한다.
입력 버퍼(210)를 통해 들어온 신호는 음성검출기(220)를 통과하여 음성 구간과 잡음 구간을 분류하게 된다. 이후 잡음 구간이라고 판단된 경우는 잡음전력 추정기(230)는 잡음 구간을 잡음 전력 업데이트에 사용하고 이를 통해 위와 같은 a priori SNR과 a posteriori SNR을 계산할 수 있다. 계산된 두 SNR은 이득 계산부(240)에서 잡음 제거를 위한 이득 G(k,l) 계산에 사용되며 이를 통해 잡음을 제거할 수 있다. 구체적으로 통계 모델 기반의 음성 검출기(220)의 경우 음성 구간 검출을 위한 계산 과정에서 잡음 전력을 업데이트하고 MMSE 알고리즘으로 이득을 계산하고 잡음을 제거하여 향상된 음성 신호를 얻을 수 있으며 향상된 음성 신호는 다음 프레임의 음성 검출에 사용될 수 있다.
도 4는 본 발명의 적응필터 기반의 피드백 제거 방법에서 음성 검출기(310)가 스텝 사이즈 제어를 위해 사용되는 경우의 보청기 구조를 설명하기 위한 도면이다. 도 5는 도 4의 보청기 구조에서의 신호 처리 동작을 설명하기 위한 흐름도이다.
도 4를 참조하면, 본 발명의 또 다른 실시예에 따른 보청기(300)는, 음성검출기(310), 스텝사이즈 제어기(320), 적응필터부(330), 감산부(340), 디지털 신호 처리부(350), 시간 지연부(360)를 포함한다.
음성검출기(310)는 입력 오디오 신호 x(n) 및 피드백 경로로 들어오는 피드백 신호 y(n)의 합성 신호 d(n)에 대하여, 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성할 수 있다. 예를 들어, 음성검출기(310)는 프레임 단위 또는 복수의 프레임 단위 등 소정의 주기로 입력 오디오 신호를 분석함으로써 해당 단위 구간이 음성신호구간인지 잡음구간인지 여부를 판단하여, 각 단위 구간에 대한 해당 구분자를 결정하고 해당 구분자 정보/데이터(예, 0 또는 1)를 생성할 수 있다. 또한, 음성검출기(310)는 각 단위 구간에 대하여 주파수별 분석을 통하여 각 주파수에 대한 정보가 음성신호에 해당하는지 잡음에 해당하는지 여부를 판단하여, 주파수별 구분자를 결정하고 해당 구분자 정보/데이터를 더 생성할 수도 있다.
스텝사이즈 제어기(320)는 음성검출기(310)로부터의 구분자(예, 0 또는 1)의 빈도에 기초하여 적응필터부(330)에 제공할 스텝사이즈값(μ)의 크기를 상향 조정 또는 하향 조정한다(도 5의 S510 참조).
감산부(340)는 합성 신호 d(n)와 피드백 추정신호
Figure pat00017
의 차이를 출력한다(도 5의 S520 참조).
디지털 신호 처리부(350)는 합성 신호 d(n)와 피드백 추정신호
Figure pat00018
의 차이 e(n)에 대하여 보청기 알고리즘의 디지털 신호 처리를 수행하여 향상된 오디오 신호를 출력하며, 시간 지연부(360)는 출력되는 상기 향상된 오디오 신호를 후속 처리될 입력 신호와의 상관관계를 줄일 수 있도록 적절히 지연시켜 출력한다(도 5의 S530 참조). 시간 지연부(360)의 출력 신호는 초소형 스피커를 통해 출력하며, 적응필터부(330)로 피드백 입력된다.
적응필터부(330)는 스텝사이즈 제어기(320)에서 조정된 스텝사이즈값(μ)을 이용하여 시간 지연부(360)의 출력 신호에 대한 적응 필터링을 통해 피드백 추정신호
Figure pat00019
를 생성한다(도 5의 S540 참조).
적응필터부(330)에서 적응 필터링을 이용한 필터 계수 w(n) 추정의 수렴 속도와 성능은 서로 상충 관계에 있다. 따라서 적응필터부(330)의 스텝사이즈값(μ)은 수렴 속도와 성능 사이에서 적절하게 조절되어야 한다. 이에 따라 변화하는 환경에 능동적으로 대처하면서 상황에 맞는 다양한 알고리즘들, 예를 들어, LMS(Least Mean Square), NLMS(Normalized Least Mean Square), AP(Affine Projection) 등이 개발되었다. 예를 들어, 도 4의 예에서,
Figure pat00020
,
Figure pat00021
이고, 필터 계수 w(n)을 추정하기 위한 적응필터링 알고리즘에, [수학식2]는 LMS인 경우, [수학식3]은 NLMS인 경우, [수학식4]는 AP인 경우를 나타낸다. 여기서
Figure pat00022
는 참조되는 소정의 입력 신호이다.
[수학식2]
Figure pat00023
[수학식3]
Figure pat00024
[수학식4]
Figure pat00025
Figure pat00026
Figure pat00027
Figure pat00028
예를 들어, 오차가 큰 경우 스텝사이즈 제어기(320)는 스텝사이즈값(μ)를 크게하여 빠르게 적응 필터의 계수 w(n)를 업데이트하고 작으면 필터 계수 w(n)의 업데이트를 느리게 하여 빠른 수렴 속도와 좋은 수렴 성능을 보인다. 하지만 입력 신호에 피드백 음성이 합성되어 들어오는 경우 오차가 커지면서 스텝사이즈값(μ)이 커지게 되고 그 결과 잘못된 방향으로 필터 계수 w(n)가 빠르게 업데이트되는 문제가 있다. 이러한 문제를 해결하기 위해 본 발명에서는 음성 검출기(310)를 피드백 제거 알고리즘에서 스텝 사이즈의 제어에 사용함으로써 음성 출력이 입력으로 되먹임되는 피드백 경로의 추정이 잘못되는 문제를 해결하고 피드백 제거기의 성능을 향상시킬 수 있도록 하였다. 음성 검출기(310)의 결과를 기존 알고리즘의 스텝 사이즈 결정 식의 가중치로 사용하여 음성 성분이 많은 구간에서는 스텝사이즈값(μ)을 줄여 적응 필터의 업데이트 속도를 느리게 하고 반대의 경우에는 스텝사이즈값(μ)을 키워 적응 필터 계수의 업데이트를 빠르게 한다.
상술한 바와 같이, 본 발명에 따른 보청기는, 음성 검출기를 구비해 입력 오디오 신호 전체가 아닌 잡음구간에 대한 신호만에 대한 처리를 피드백 제거 및 잡음 제거에 적용하여 사용자에게 효과적으로 향상된 오디오 신호의 제공이 가능하다. 즉, 본 발명의 보청기에서는, 잡음 환경에 따른 최적화된 잡음 제거기의 성능을 얻기 위한 잡음 분류를 수행함에 있어 전체 신호의 특성을 추출하는 대신 음성검출기를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야하는 구조보다 적은 연산을 필요로 하고 환경 잡음만을 훈련하여 그에 맞는 잡음 제거기의 파라미터를 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.
또한, 본 발명의 보청기에서는, 음성 검출기의 처리 결과에 따른 잡음 신호 구간만의 특성을 이용하여 잡음 제거 알고리즘의 잡음 전력 계산에 직접적으로 관여하여 이득 계산에 활용함으로써, 기존 잡음 제거 알고리즘의 잡음 추정 부분을 대체할 수 있다. 그리고, 본 발명의 보청기에서는, 음성 검출기를 적응필터 기반의 피드백 제거 알고리즘에서 스텝 사이즈의 제어에 사용하여 음성 출력이 입력으로 되먹임되는 피드백 경로의 추정이 잘못되는 문제를 해결하여 피드백 제거기의 성능을 향상시킬 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
입력버퍼(110)
잡음분류 추정부(120)
음성검출기(121)
특성추출기(122)
잡음신호 특성버퍼(123)
잡음환경 분류기(124)
잡음전력 추정기(160)
이득계산부(170)
잡음제거부(180)
출력버퍼(190)
입력버퍼(210)
음성검출기(220)
잡음전력 추정기(230)
이득계산부(240)
잡음제거부(250)
출력버퍼(260)
음성검출기(310)
스텝사이즈 제어기(320)
적응필터부(330)
디지털 신호 처리부(350)
시간 지연부(360)

Claims (14)

  1. 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부;
    상기 입력 오디오 신호에 대하여, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함하고,
    상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기.
  2. 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기;
    상기 구분자를 기초로 상기 입력 오디오 신호에 대한 잡음의 전력을 추정하는 잡음전력 추정기를 포함하고,
    상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 상기 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호에 기초한 잡음의 제거를 위한 것을 특징으로 하는 보청기.
  3. 입력 오디오 신호와 피드백 신호의 합성 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기;
    상기 구분자의 빈도에 기초하여 스텝사이즈값의 크기를 상향 조정 또는 하향 조정하는 스텝사이즈 제어기;
    상기 합성 신호와 피드백 추정신호의 차이에 대하여 보청기 알고리즘의 디지털 신호 처리를 수행하여 향상된 오디오 신호를 출력하는 디지털 신호 처리부;
    출력되는 상기 향상된 오디오 신호를 지연시키는 시간 지연부; 및
    조정된 스텝사이즈값을 이용하여 상기 시간 지연부의 출력 신호에 대한 적응 필터링을 통해 상기 피드백 추정신호를 생성하는 적응 필터부를 포함하고,
    상기 입력 오디오 신호 또는 상기 합성 신호에 대한 전체적인 신호의 이용이 아닌, 상기 음성검출기를 이용하여 상기 잡음구간의 빈도를 상기 적응 필터링을 위한 상기 스텝사이즈의 제어에 이용하는 것을 특징으로 하는 보청기.
  4. 제1항에 있어서,
    상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기.
  5. 제4항에 있어서,
    상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력하는 것을 특징으로 하는 보청기.
  6. 제1항에 있어서,
    상기 잡음분류 추정부는,
    상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기;
    상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기;
    상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및
    상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기
    를 포함하는 것을 특징으로 하는 보청기.
  7. 제1항 또는 제2항에 있어서,
    추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부;
    계산된 상기 이득을 이용하여 상기 입력 오디오 신호에서 잡음이 제거된 신호를 생성하는 잡음제거부; 및
    상기 잡음제거부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼
    를 더 포함하는 것을 특징으로 하는 보청기.
  8. 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계; 및
    상기 입력 오디오 신호에 대하여, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계를 포함하고,
    상기 추정기 파라미터를 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기 신호 처리 방법.
  9. 음성검출기를 이용하여 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 및
    상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 잡음의 전력을 추정하는 단계를 포함하고,
    상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 상기 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호에 기초한 잡음의 제거를 위한 것을 특징으로 하는 보청기 신호 처리 방법.
  10. 음성검출기를 이용하여 입력 오디오 신호와 피드백 신호의 합성 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계;
    상기 구분자의 빈도에 기초하여 스텝사이즈값의 크기를 상향 조정 또는 하향 조정하는 단계;
    상기 합성 신호와 피드백 추정신호의 차이에 대하여 보청기 알고리즘의 디지털 신호 처리를 수행하여 향상된 오디오 신호를 출력하는 단계;
    출력되는 상기 향상된 오디오 신호를 지연시키는 단계; 및
    조정된 스텝사이즈값을 이용하여 상기 시간 지연부의 출력 신호에 대한 적응 필터링을 통해 상기 피드백 추정신호를 생성하는 단계를 포함하고,
    상기 입력 오디오 신호 또는 상기 합성 신호에 대한 전체적인 신호의 이용이 아닌, 상기 음성검출기를 이용하여 상기 잡음구간의 빈도를 상기 적응 필터링을 위한 상기 스텝사이즈의 제어에 이용하는 것을 특징으로 하는 보청기 신호 처리 방법.
  11. 제8항에 있어서,
    상기 추정기 파라미터를 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기 신호 처리 방법.
  12. 제11항에 있어서,
    상기 추정기 파라미터를 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력하는 것을 특징으로 하는 보청기 신호 처리 방법.
  13. 제8항에 있어서,
    상기 추정기 파라미터를 업데이트하는 단계는,
    상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계;
    상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계;
    추출된 상기 특성값을 잡음신호 특성버퍼에 순차 저장하고 출력하는 단계; 및
    상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당추정기 파라미터를 업데이트하여 출력하는 단계
    를 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
  14. 제8항 또는 제9항에 있어서,
    추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계;
    계산된 상기 이득을 이용하여 상기 입력 오디오 신호에서 잡음이 제거된 신호를 생성하는 단계; 및
    상기 잡음이 제거된 신호의 데이터를 버퍼에 순차 저장하고 출력하는 단계
    를 더 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
KR1020190144974A 2017-05-15 2019-11-13 음성 검출기를 구비한 보청기 및 그 방법 KR20190130533A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170059814 2017-05-15
KR1020170059814 2017-05-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048566A Division KR20180125384A (ko) 2017-05-15 2018-04-26 음성 검출기를 구비한 보청기 및 그 방법

Publications (1)

Publication Number Publication Date
KR20190130533A true KR20190130533A (ko) 2019-11-22

Family

ID=64565407

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180048566A KR20180125384A (ko) 2017-05-15 2018-04-26 음성 검출기를 구비한 보청기 및 그 방법
KR1020190124119A KR102152197B1 (ko) 2017-05-15 2019-10-07 음성 검출기를 구비한 보청기 및 그 방법
KR1020190144974A KR20190130533A (ko) 2017-05-15 2019-11-13 음성 검출기를 구비한 보청기 및 그 방법

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020180048566A KR20180125384A (ko) 2017-05-15 2018-04-26 음성 검출기를 구비한 보청기 및 그 방법
KR1020190124119A KR102152197B1 (ko) 2017-05-15 2019-10-07 음성 검출기를 구비한 보청기 및 그 방법

Country Status (1)

Country Link
KR (3) KR20180125384A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151433B1 (ko) * 2019-01-02 2020-09-03 올리브유니온(주) 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법
KR102069892B1 (ko) * 2019-05-29 2020-01-23 한림국제대학원대학교 산학협력단 보청기 적합관리 시스템의 제어 방법, 장치 및 프로그램
KR102069893B1 (ko) * 2019-05-29 2020-02-11 한림국제대학원대학교 산학협력단 최적증폭을 위한 보청기 시스템의 제어 방법, 장치 및 프로그램
KR102503895B1 (ko) * 2020-12-08 2023-02-27 주식회사 카카오엔터프라이즈 음향 신호 처리 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101260938B1 (ko) * 2008-03-31 2013-05-06 (주)트란소노 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터판독 가능한 기록매체
JP6312826B2 (ja) * 2013-11-28 2018-04-18 ヴェーデクス・アクティーセルスカプ 補聴器システムの動作方法および補聴器システム
JP6190351B2 (ja) 2013-12-13 2017-08-30 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 学習型補聴器

Also Published As

Publication number Publication date
KR102152197B1 (ko) 2020-09-07
KR20190117448A (ko) 2019-10-16
KR20180125384A (ko) 2018-11-23

Similar Documents

Publication Publication Date Title
US10622009B1 (en) Methods for detecting double-talk
KR102152197B1 (ko) 음성 검출기를 구비한 보청기 및 그 방법
JP5666444B2 (ja) 特徴抽出を使用してスピーチ強調のためにオーディオ信号を処理する装置及び方法
CN107910011B (zh) 一种语音降噪方法、装置、服务器及存储介质
KR102206546B1 (ko) 잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법
KR101726737B1 (ko) 다채널 음원 분리 장치 및 그 방법
US20110261983A1 (en) Systems and methods for own voice recognition with adaptations for noise robustness
JPH1115491A (ja) 環境的に補償されたスピーチ処理方法
JP2014137405A (ja) 音響処理装置及び音響処理方法
CN111696568B (zh) 一种半监督瞬态噪声抑制方法
CN112735456A (zh) 一种基于dnn-clstm网络的语音增强方法
Swami et al. Speech enhancement by noise driven adaptation of perceptual scales and thresholds of continuous wavelet transform coefficients
JP2013054258A (ja) 音源分離装置とその方法とプログラム
JP2010112995A (ja) 通話音声処理装置、通話音声処理方法およびプログラム
CN106796803A (zh) 用于在音频通信中将语音数据与背景数据分离的方法和装置
Martín-Doñas et al. Dual-channel DNN-based speech enhancement for smartphones
Lu Noise reduction using three-step gain factor and iterative-directional-median filter
Gaubitch et al. Single-microphone blind channel identification in speech using spectrum classification
KR100784456B1 (ko) Ｇｍｍ을 이용한 음질향상 시스템
Subramanya et al. Multisensory processing for speech enhancement and magnitude-normalized spectra for speech modeling
Han et al. Reverberation and noise robust feature compensation based on IMM
Thiagarajan et al. Pitch-based voice activity detection for feedback cancellation and noise reduction in hearing aids
JP6439174B2 (ja) 音声強調装置、および音声強調方法
Lu Reduction of musical residual noise using block-and-directional-median filter adapted by harmonic properties
Tashev et al. Unified framework for single channel speech enhancement

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment