KR102044970B1 - 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법 - Google Patents

환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법 Download PDF

Info

Publication number
KR102044970B1
KR102044970B1 KR1020180054185A KR20180054185A KR102044970B1 KR 102044970 B1 KR102044970 B1 KR 102044970B1 KR 1020180054185 A KR1020180054185 A KR 1020180054185A KR 20180054185 A KR20180054185 A KR 20180054185A KR 102044970 B1 KR102044970 B1 KR 102044970B1
Authority
KR
South Korea
Prior art keywords
sound
environmental
voice
feature
hearing aid
Prior art date
Application number
KR1020180054185A
Other languages
English (en)
Other versions
KR20180125393A (ko
Inventor
김선권
박영진
조경환
안홍섭
양기동
오준택
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20180125393A publication Critical patent/KR20180125393A/ko
Application granted granted Critical
Publication of KR102044970B1 publication Critical patent/KR102044970B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/39—Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 보다 구체적으로는 보청기의 환경 인식 기능을 향상시키기 위한 환경 특징을 추출하는 방법 및 이를 이용한 보청기 작동 방법에 관한 것으로서, 제1 환경 사운드와 제1 음성 사운드를 이용하여 혼합 사운드를 생성하고, 혼합 사운드로부터 환경 특징을 추출하는 것을 특징으로 한다.

Description

환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법 {ENVIRONMENT FEATURE EXTRACT METHOD AND HEARING AID OPERATION METHOD USING THEREOF}
본 발명은 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법에 관한 것으로서, 보다 구체적으로는 보청기의 환경 인식 기능을 향상시키기 위한 환경 특징을 추출하는 방법 및 이를 이용한 보청기 작동 방법에 관한 것이다.
일반적으로, 보청기는 난청으로 진단된 환자의 귀에 장착하여 소리를 증폭하여 주는 기구로서, 소리를 받는 마이크로폰과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 스피커로 구성되어 있으며, 난청인 사용자의 청력기관으로 입력되는 음향신호가 정상인과 동일한 정도로 뇌에 입력될 수 있도록 음향신호를 인위적으로 변형시킨다.
현재 시중에 판매되고 있는 보청기는 크게 아날로그형 및 디지털형 보청기로 분류할 수 있다. 이중 아날로그형 보청기는 보청기 내에 포함된 아날로그 회로가 디지털 회로에 비해 유연성이나 신뢰성이 떨어져 기능 조정이 어려우므로, 사용자의 가청영역을 2~3가지의 제한된 대역수로만 증폭 가능하다는 단점이 있었다.
따라서, 종래 아날로그형 보청기의 문제점을 해결하기 위해 아날로그 회로의 유연성과 신뢰성보다 향상된 성능을 가지며, 복잡한 신호처리 알고리즘의 실현이 가능한 디지털 보청기에 대한 개발이 활발히 이루어지고 있다.
종래에 개발된 디지털 보청기는 외부에서 발생하는 사운드를 처리하여 보청기의 사용자에게 출력하는 과정에서 잡음을 제거하기 위하여 외부 사운드가 발생하는 환경에 대한 분류를 수행하는 경우가 있다. 따라서 보청기 사용자에게 출력되는 사운드로부터 잡음을 보다 효율적으로 제거하기 위해선 외부의 환경으로부터 들리는 잡음인 환경 사운드를 효과적으로 분류하고, 환경 사운드의 종류에 따라 잡음을 제거하는 방법이 요구된다.
그러나, 보청기가 환경 사운드를 인식하고자 할 때, 보청기 사용자가 타인과 대화를 진행하는 경우가 많고 이러한 경우, 타인의 음성과 외부 사운드 환경에서 발생하는 잡음이 혼합될 수 있다. 타인의 음성 사운드와 환경 사운드가 혼합되면, 보청기가 인식할 수 있는 환경 사운드에 변형이나 왜곡이 발생하게 되므로, 보청기의 환경 사운드 인식 성능이 저하되는 문제점이 있다.
따라서, 음성 사운드와 환경 사운드가 혼합되는 경우, 음성 사운드에 의한 영향력을 약화시킴으로써 보청기의 환경 사운드 인식 성능을 향상시키는 방안이 요구된다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 창안된 것으로, 보청기에 음성 사운드와 환경 사운드가 혼합되어 입력되는 상황에서, 음성 사운드와 관계 없이 보청기가 환경을 보다 효율적으로 인식할 수 있도록 하는 것을 목적으로 한다.
본 발명은 보청기의 환경 인식 기능을 향상시키기 위한 환경 특징을 제공함으로써, 보청기의 잡음 제거를 돕는 것을 다른 목적으로 한다.
본 발명은 상기한 환경 특징을 이용하여 잡음 제거 기능을 강화함으로써 보청기 사용자가 외부 사운드를 보다 깨끗한 음질로 들을 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 환경 특징 추출 방법은 환경 데이터베이스로부터 제1 환경 사운드를 로드하고 음성 데이터베이스로부터 제1 음성 사운드를 로드하는 단계; 상기 제1 환경 사운드와 상기 제1 음성 사운드의 비율을 달리하며 복수의 혼합 사운드를 생성하는 단계; 및 상기 혼합 사운드로부터 추출된 제2 환경 사운드를 상기 제1 환경 사운드와 비교하고, 상기 혼합 사운드로부터 추출된 제2 음성 사운드를 상기 제1 음성 사운드와 비교함으로써 추출되는 환경 특징을 추출하는 단계; 를 포함할 수 있다
상기 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계; 를 더 포함할 수 있다.
상기 혼합 사운드를 생성하는 단계는 상기 환경 데이터베이스에 저장된 복수의 상기 제1 환경 사운드를 상기 음성 데이터베이스에 저장된 복수의 상기 제1 음성 사운드와 각각 혼합함으로써 생성하는 단계일 수 있다.
상기 환경 특징을 추출하는 단계는 상기 혼합 사운드로부터 환경 특징을 이용하여 상기 제2 환경 사운드를 추출 하는 단계; 상기 혼합 사운드로부터 추출된 상기 제2 환경 사운드를 제거하여 상기 제2 음성 사운드를 추출하는 단계;
상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 및 상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 를 포함할 수 있다.
상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는 상기 제2 환경 사운드와 상기 제1 환경 사운드의 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 상기 환경 특징을 업데이트 하는 단계일 수 있다.
상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는 상기 제2 음성 사운드와 상기 제1 음성 사운드의 음성 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 상기 환경 특징을 업데이트 하는 단계일 수 있다.
상기한 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 보청기 동작 방법은 보청기가 외부 사운드를 수신하여 상기 보청기의 사용자에게 출력하는 보청기 작동 방법에 있어서, 상기 외부 사운드를 디지털 사운드 신호로 변환하는 단계; 상기 디지털 사운드 신호에 환경 특징을 적용하여 상기 외부 사운드의 환경을 인식하는 단계; 인식된 상기 외부 사운드의 환경에 대응하여 상기 외부 사운드에 포함된 환경 사운드를 제거하는 단계; 및 상기 환경 사운드가 제거된 외부 사운드를 상기 보청기의 사용자에게 출력하는 단계; 를 포함하고, 상기 환경 특징은 컴퓨터 프로세서에 의하여 사전에 생성되어 상기 보청기에 저장되고, 환경 데이터베이스로부터 제1 환경 사운드를 로드하고 음성 데이터베이스로부터 제1 음성 사운드를 로드하는 단계; 상기 제1 환경 사운드와 상기 제1 음성 사운드의 비율을 달리하며 복수의 혼합 사운드를 생성하는 단계; 및 상기 혼합 사운드를 통해 환경 특징을 추출하는 단계; 를 통해 생성되며, 상기 환경 특징은 상기 혼합 사운드로부터 추출된 제2 환경 사운드를 상기 제1 환경 사운드와 비교하고, 상기 혼합 사운드로부터 추출된 제2 음성 사운드를 상기 제1 음성 사운드와 비교함으로써 추출될 수 있다.
상기 컴퓨터 프로세서에 의하여 상기 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계; 를 더 포함하고, 상기 외부 사운드의 환경을 인식하는 단계는 상기 보청기가 상기 디지털 사운드 신호에 상기 보청기 보상 계수와 상기 환경 특징을 적용하여 상기 외부 사운드의 환경을 인식하는 단계일 수 있다.
상기 혼합 사운드를 생성하는 단계는 상기 환경 데이터베이스에 저장된 복수의 상기 제1 환경 사운드를 상기 음성 데이터베이스에 저장된 복수의 상기 제1 음성 사운드와 각각 혼합함으로써 생성하는 단계일 수 있다.
상기 환경 특징을 추출하는 단계는 상기 혼합 사운드로부터 환경 특징을 이용하여 상기 제2 환경 사운드를 추출 하는 단계; 상기 혼합 사운드로부터 추출된 상기 제2 환경 사운드를 제거하여 상기 제2 음성 사운드를 추출하는 단계; 상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 및 상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 를 포함할 수 있다.
상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는 상기 제2 환경 사운드와 상기 제1 환경 사운드의 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 상기 환경 특징을 업데이트 하는 단계일 수 있다.
상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는 상기 제2 음성 사운드와 상기 제1 음성 사운드의 음성 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 상기 환경 특징을 업데이트 하는 단계일 수 있다.
본 발명의 실시예에 따른 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법은 보청기에 음성 사운드와 환경 사운드가 혼합되어 입력되는 상황에서, 음성 사운드와 관계 없이 보청기가 환경을 보다 효율적으로 인식하는 효과가 있다.
또한, 본 발명의 실시예에 따른 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법은 보청기의 환경 인식 기능을 향상시키기 위한 환경 특징을 제공함으로써, 보청기가 잡음 제거를 보다 쉽게 할 수 있도록 한다.
또한, 본 발명의 실시예에 따른 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법은 상기한 환경 특징을 이용하여 잡음 제거 기능을 강화함으로써 보청기 사용자가 외부 사운드를 보다 깨끗한 음질로 들을 수 있도록 한다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 환경 특징 추출 방법을 도시하는 순서도이다.
도 2는 도 1의 실시예에 따른 환경 특징 추출 방법 중 일부를 보다 상세히 설명하는 순서도이다.
도 3은 본 발명의 실시예에 따른 환경 특징 추출 방법에서 혼합 사운드를 생성하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 환경 특징 추출 방법에서 혼합 사운드로부터 환경 특징을 생성하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 환경 특징 추출 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 보청기 작동 방법을 설명하기 위한 순서도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하에서는, 본 발명을 예시한 실시 형태들이 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 환경 특징 추출 방법을 도시하는 순서도이다.
본 발명의 일 실시예에 따른 환경 특징 추출 방법은 메모리와 프로세서를 포함하는 컴퓨터의 하드웨어단에서 실행된다. 이하에서는 본 발명의 주요 논지를 흐릴 수 있으므로, 메모리, 프로세서와 같은 하드웨어단에 대한 설명은 생략하며, 하드웨어단의 상위에서 동작되는 환경 특징 추출 방법을 중점으로 설명하기로 한다.
따라서, 이하에서 별도의 설명이 없더라도 환경 특징 추출 방법은 컴퓨팅 장치의 컴퓨터 프로세서상에서 실행되고 처리되는 일 구성으로 이해되어야 할 것이다.
환경 특징 추출 방법을 통해 생성된 환경 특징은 보청기의 메모리 또는 데이터베이스에 저장되어 보청기의 환경 인식 기능에 사용될 수 있다.
보청기를 통한 환경 인식은 보청기가 작동하는 환경이 어떠한 환경인지 인식하고, 인식된 환경의 종류에 따라 보청기가 수신하는 외부 사운드로부터 환경 사운드를 제거하기 위한 동작을 의미한다.
일반적으로 보청기의 사용자는 대화 상대방의 음성을 보다 깨끗하고 뚜렷한 음질로 듣고 싶어하나, 주변의 환경에서 발생되는 잡음이 음성에 섞이게 되어 사용자가 원하는 수준의 음질로 음성을 듣기 어려운 문제점이 있다. 따라서, 음성에 섞이는 환경 사운드를 제거하기 위해선 해당 환경 사운드가 어떠한 환경에서 발생하는 것인지 정확하게 인식할 필요가 있다.
하지만 환경 사운드를 정확하게 인식하기 위해선 상기한 설명과 반대로 환경 사운드에 혼합되는 음성 사운드에 의하여 환경 사운드를 인식하기 어려운 문제점이 있다. 환경 사운드와 음성 사운드가 혼합된 혼합 사운드로부터 환경 사운드를 분리해 내기 위해서 환경 특징이 요구된다. 즉, 환경 특징을 이용하여 혼합된 사운드로부터 환경 사운드를 정확히 인식할 수 있게 된다.
이하의 설명에서 원본 사운드에 해당하는 제1 환경 사운드와 제1 음성 사운드는 환경 특징 추출 과정에서 생성되는 제2 환경 사운드와 제2 음성 사운드와 구분하여 설명하기로 한다.
도 1을 참조하면, 환경 특징 추출 방법은 제1 환경 사운드 및 제2 음성 사운드 로드 단계(S100), 혼합 사운드 생성 단계(S110) 및 환경 특징 추출 단계(S120)를 포함할 수 있다.
제1 환경 사운드 및 제1 음성 사운드 로드 단계(S100)는 컴퓨터 프로세서가 환경 데이터베이스로부터 적어도 하나 이상의 제1 환경 사운드와 제1 음성 사운드를 로드하는 단계일 수 있다.
여기서 환경 데이터베이스는 다양한 환경에 대한 제1 환경 사운드를 저장하는 저장 장치를 의미한다.
제1 환경 사운드는 사전에 녹음되어 환경 데이터베이스에 저장된 것으로서, 보청기가 작동하는 환경에 따른 잡음에 대한 정보를 포함할 수 있다. 예를 들어, 제1 환경 사운드는 카페, 세탁소, 길거리, 강의실 등 장소에 따른 다양한 대화 환경의 배경 소리를 녹음한 것일 수 있다. 장소마다 유발되는 잡음의 크기와 종류가 다르기에 제1 환경 사운드는 다양하게 생성될 수 있다.
또한, 제1 환경 사운드는 환경의 종류 이상으로 다양할 수 있다. 예를 들어, 하나의 환경에 대하여 복수의 제1 환경 사운드가 생성되어 저장될 수 있다. 즉, 제1 환경 사운드는 음성이 포함되지 않고, 다양한 환경에 대하여 사전에 녹음된 원본의 사운드 정보를 의미할 수 있다.
그리고 제1 환경 사운드 및 제1 음성 사운드 로드 단계(S100)는 컴퓨터 프로세서가 음성 데이터베이스로부터 적어도 하나 이상의 제1 음성 사운드를 로드하는 단계일 수 있다. 여기서 음성 데이터베이스는 다양한 사람이 발음하는 음성에 대한 제1 음성 사운드를 저장하는 저장 장치를 의미한다.
제1 음성 사운드는 사전에 녹음되어 음성 데이터베이스에 저장된 것으로서, 다양한 사람들의 목소리에 대한 음성 정보를 포함할 수 있다. 예를 들어, 제1 음성 사운드는 남성이나 여성과 같이 성별에 따른 음성이나 어린아이와 노인과 같이 나이에 따른 음성 등 다양한 음성을 녹음한 것일 수 있다. 같은 나이와 성별을 가진 사람이라도 음성의 크기와 종류, 파장 등이 다르기에 제1 음성 사운드는 다양하게 생성될 수 있다.
즉, 제1 음성 사운드는 환경에 따라 발생하는 잡음이 포함되지 않고, 다양한 음성에 대하여 사전에 녹음된 원본의 사운드 정보를 의미할 수 있다.
혼합 사운드 생성 단계(S110)는 로드된 제1 환경 사운드와 제1 음성 사운드의 비율을 달리하며 복수의 혼합 사운드를 생성하는 단계일 수 있다.
보다 상세하게, 혼합 사운드 생성 단계(S110)는 상기 환경 데이터베이스에 저장된 복수의 상기 제1 환경 사운드를 상기 음성 데이터베이스에 저장된 복수의 상기 제1 음성 사운드와 각각 혼합함으로써 생성하는 단계일 수 있다.
컴퓨터 프로세서는 로드된 제1 환경 사운드와 제1 음성 사운드를 다양한 방식으로 조합하여 혼합 사운드를 생성할 수 있다. 예를 들어, 제1 환경 사운드가 음식점에서 발생하는 잡음을 녹음한 것이고, 제1 음성 사운드가 성인 남성의 대화하는 목소리를 녹음한 것이라고 가정한다. 컴퓨터 프로세서는 예시된 제1 환경 사운드와 제1 음성 사운드를 혼합하여 음식점의 잡음과 성인 남성이 대화하는 목소리가 혼합된 혼합 사운드를 생성할 수 있다. 이 때, 컴퓨터 프로세서는 제1 환경 사운드와 제1 음성 사운드의 크기를 달리하여 혼합할 수 있다. 즉, 컴퓨터 프로세서는 제1 환경 사운드의 크기 대비 제1 음성 사운드의 크기를 달리하여 복수의 혼합 사운드를 생성함으로써, 동일한 환경과 동일한 대화 상대라도 목소리 크기변화 나 주변 잡음의 크기 변화 등 대화 상황에 따른 다양한 혼합 사운드를 생성할 수 있게 된다.
또한, 컴퓨터 프로세서는 제1 환경 사운드 및 제1 음성 사운드 로드 단계(S100)에서 로드된 다양한 제1 환경 사운드들과 제1 음성 사운드의 모든 경우에 대하여 상기한 방법으로 혼합 사운드를 생성할 수 있다.
따라서, 혼합 사운드 생성 단계(S110)를 통하여 컴퓨터 프로세서는 각각의 제1 환경 사운드에 대하여 각각의 제1 음성 사운드가 혼합된 혼합 사운드를 그 비율을 달리하여 생성할 수 있게 된다.
환경 특징 추출 단계(S120)는 혼합 사운드로부터 추출된 제2 환경 사운드를 제1 환경 사운드와 비교하고, 혼합 사운드로부터 추출된 제2 음성 사운드를 제1 음성 사운드와 비교함으로써 추출되는 환경 특징을 추출하는 단계일 수 있다.
여기서 제2 환경 사운드는 혼합 사운드로부터 추출된 환경 사운드를 의미하고, 제2 음성 사운드는 혼합 사운드로부터 추출된 음성 사운드를 의미할 수 있다.
도 2는 도 1의 실시예에 따른 환경 특징 추출 방법 중 일부를 보다 상세히 설명하는 순서도이다. 도 2를 참조하면, 도 1의 환경 특징 추출 단계(S120)는 혼합 사운드로부터 환경 특징을 이용하여 제2 환경 사운드를 추출 하는 단계(S121), 혼합 사운드로부터 추출된 제2 환경 사운드를 제거하여 제2 음성 사운드를 추출하는 단계(S122), 제2 환경 사운드를 제1 환경 사운드와 비교하여 환경 특징을 업데이트하는 단계(S123) 및 제2 음성 사운드를 제1 음성 사운드와 비교하여 환경 특징을 업데이트하는 단계(S124)를 포함할 수 있다.
여기서 제2 환경 사운드를 제1 환경 사운드와 비교하여 환경 특징을 업데이트하는 단계(S123)는 제2 환경 사운드와 제1 환경 사운드의 유사점을 계산하고, 환경 특징에서 계산된 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 환경 특징을 업데이트하는 단계일 수 있다.
또한 제2 음성 사운드를 제1 환경 사운드와 비교하여 환경 특징을 업데이트하는 단계(S124)는 제2 음성 사운드와 제1 음성 사운드의 유사점을 계산하고, 환경 특징에서 계산된 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 환경 특징을 업데이트하는 단계일 수 있다.
환경 특징 추출 단계(S120)에서 컴퓨터 프로세서는 환경 특징을 통해 제2 환경 사운드를 추출할 수 있다. 여기서 환경 특징은 이하 설명할 단계(S122, S123)을 통해 지속적으로 업데이트될 수 있다. 최초로 제2 환경 사운드를 추출할 때 사용되는 환경 특징은 컴퓨터 프로세서의 사용자 또는 설계자의 의도에 따라 소정의 값으로 설정될 수 있다.
제2 환경 사운드를 추출하는 단계(S121)에서 컴퓨터 프로세서는 초기 환경 특징을 통해 혼합 사운드로부터 제2 환경 사운드를 추출할 수 있다.
도 3은 본 발명의 실시예에 따른 환경 특징 추출 방법에서 혼합 사운드를 생성하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 환경 데이터베이스(100)로부터 로드되는 복수의 제1 환경 사운드(제1 환경 사운드 1, ... , 제1 환경 사운드 m, ... , 제1 환경 사운드 M) 와 음성 데이터베이스(200)로부터 로드되는 복수의 제1 음성 사운드(제1 음성 사운드 1, ... , 제1 음성 사운드 n, ... , 제1 음성 사운드 N)가 믹서(300)를 통해 혼합되어 혼합 사운드(혼합 사운드 1, ... , 혼합 사운드 k, ... , 혼합 사운드 K)로 생성되는 것을 알 수 있다. 복수의 혼합 사운드는 환경 특징 추출부(400)에 제공될 수 있다. 환경 특징 추출부(400)는 환경 특징을 업데이트하는 과정에서 제1 환경 사운드와 제1 음성 사운드가 혼합되는 비율을 다르게 설정하여 추가적인 혼합 사운드를 제공받을 수 있다.
도 4는 본 발명의 실시예에 따른 환경 특징 추출 방법에서 혼합 사운드로부터 환경 특징을 생성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면 환경 특징 추출부(400)가 혼합 사운드를 제공받고, 환경 특징 추출부(400)의 환경 사운드 추출부(410)가 혼합 사운드로부터 환경 특징을 이용하여 제2 환경 사운드를 추출하는 것을 알 수 있다.
그리고 환경 사운드 추출부(410)는 혼합 사운드에서 제2 환경 사운드를 제거함으로써 제2 음성 사운드를 추출할 수 있다.
비교기(420)는 환경 사운드 추출부(410)를 통해 추출된 제2 환경 사운드를 상기 제2 환경 사운드에 대응되는 제1 환경 사운드와 비교하여 유사점을 계산할 수 있다. 여기서 제2 환경 사운드에 대응되는 제1 환경 사운드는 환경 사운드 추출부(410)가 제공받은 혼합 사운드에 혼합된 제1 환경 사운드를 의미한다. 제2 환경 사운드와 비교 대상이 되는 제1 환경 사운드는 환경 데이터베이스로부터 제공받을 수 있다.
비교기(420)를 통해 제2 환경 사운드와 제1 환경 사운드의 유사점이 계산되면, 해당 유사점은 환경 사운드와 관련된 것이므로, 환경 특징의 업데이트에 긍정적으로 반영된다. 즉, 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 상기 환경 특징이 업데이트 될 수 있다.
비교기(430)는 환경 사운드 추출부(410)를 통해 추출된 제2 음성 사운드를 상기 제2 음성 사운드에 대응되는 제1 음성 사운드와 비교하여 유사점을 계산할 수 있다. 여기서 제2 음성 사운드에 대응되는 제1 음성 사운드는 환경 사운드 추출부(410)가 제공받은 혼합 사운드에 혼합된 제1 음성 사운드를 의미한다. 제2 음성 사운드와 비교 대상이 되는 제1 음성 사운드는 음성 데이터베이스로부터 제공받을 수 있다.
비교기(430)를 통해 제2 음성 사운드와 제1 음성 사운드의 유사점이 계산되면, 해당 유사점은 환경 사운드와 관련된 것이 아니므로, 환경 특징의 업데이트에 부정적으로 반영된다. 즉, 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 상기 환경 특징이 업데이트 될 수 있다.
상기한 바와 같이 하나의 제1 환경 사운드와 혼합된 다양한 제1 음성 사운드에 대하여 지속적으로 상기한 추출과 비교 과정을 거쳐 업데이트 됨으로써, 제1 음성 사운드의 종류에 상관없이 공통적인 유사점을 갖는 환경 특징이 생성될 수 있다. 하나의 제1 환경 사운드에 대한 환경 특징의 업데이트가 종료되면, 해당 환경 특징을 대응되는 제1 환경 사운드와 매칭시킨 후 저장할 수 있다.
각각의 환경에 대응되는 환경 특징이 모두 생성되면, 이후 환경 특징은 보청기에 제공되어 보청기의 환경 인식 기능에 사용될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 환경 특징 추출 방법을 설명하기 위한 순서도이다. 도 5를 참조하면, 도 1의 실시예와 달리 보청기 보상 계수 계산 단계(S130)가 추가된 것을 알 수 있다.
도 5를 설명함에 있어서, 도 1과 동일한 단계의 구성 또는 효과에 대한 설명은 생략하기로 한다.
도 5의 보청기 보상 계수 계산 단계(S130)는 앞선 단계에서 계산된 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계일 수 있다.
보청기 보상 계수는 보청기의 설치 방향이나 위치, 보청기에 포함되는 마이크로폰의 상대적 위치나 음원의 위치에 따라 발생할 수 있는 주파수의 위상 오차를 보상하기 위한 값이다. 이를 위해선 보청기의 마이크로폰 별로 주파수 민감도를 확인하고, 보청기가 실제 보청기 사용자에게 착용되는 위치와 보청기 사용자의 귀 또는 두상의 형태에 따라 외부 사운드가 입력되는 형태를 판단할 필요성이 있다. 또한, 환경 사운드나 음성 사운드의 음원 위치에 따른 영향이나 보청기를 착용한 사용자가 위치한 공간의 형태에 따른 소리의 잔향을 파악할 필요성이 있다.
보청기 보상 계수는 보청기 모델 별로 서로 다르게 설정될 수도 있고, 일부 또는 전부의 모델에 통용되는 보청기 보상 계수가 설정될 수 도 있다.
보청기 보상 계수의 계산에 있어서, 앞서 설명된 환경 특징이 사용됨으로써 환경에 따른 영향을 최소화할 수 있는 보청기 보상 계수를 계산할 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 보청기 작동 방법을 설명하기 위한 순서도이다. 도 6을 참조하면, 본 발명의 실시예에 따른 보청기 작동 방법은 외부 사운드 수신 단계(S200), 신호 변환 단계(S210), 환경 특징을 적용하여 외부 사운드의 환경을 인식하는 단계(S220), 외부 사운드에 포함된 환경 사운드를 제거하는 단계(S230), 환경 사운드가 제거된 외부 사운드를 사용자에게 출력하는 단계(S240)를 포함할 수 있다.
본 발명에서 예시되는 보청기는 외부에서 청취되는 외부 사운드를 디지털 신호로 변환하여 잡음을 제거하고, 다시 리시버를 통해 보청기의 사용자에게 출력할 수 있다.
이를 위하여, 보청기는 마이크로폰, 증폭기, A/D 컨버터, DSP(Digital Signal Processor), D/A 컨버터, 리시버 등을 포함할 수 있다.
하기되는 보청기의 동작 방법은 보청기의 DSP를 통해 수행될 수 있다. 보청기의 DSP는 외부에서 주어지는 명령어에 따라 입력되거나 저장된 데이터 간의 계산을 수행하고 그 결과를 출력하는 프로세서를 의미한다.
본 발명의 일 실시예에 따른 보청기 동작 방법은 메모리와 프로세서를 포함하는 DSP에서 실행된다. 이하에서는 본 발명의 주요 논지를 흐릴 수 있으므로, 메모리, 프로세서와 같은 DSP의 구성에 대한 설명은 생략하기로 한다.
따라서, 이하에서 별도의 설명이 없더라도 보청기 동작 방법은 보청기의 DSP상에서 실행되고 처리되는 일 구성으로 이해되어야 할 것이다.
보청기는 외부 사운드를 수신하고(S200), 외부 사운드를 디지털 사운드 신호로 변환 할 수 있다(S210). 이후 보청기는 변환된 디지털 사운드 신호에 환경 특징을 적용하여 외부 사운드에 포함된 환경 사운드를 인식할 수 있다(S220). 여기서 사용되는 환경 특징은 앞서 설명한 환경 특징 추출 방법을 통해 생성된 환경 특징을 의미할 수 있다. 환경 특징은 보청기의 설계 또는 생산 단계에서 보청기의 데이터베이스 또는 메모리에 저장되고, 보청기의 DSP에 의해 로드되어 환경 인식 단계(S220)에서 사용될 수 있다. 보청기는 환경 특징을 이용해 외부 사운드가 어떠한 환경에서 발생한 것인지 판단할 수 있다. 이후, 판단된 환경에 따라 보청기는 외부 사운드에 포함된 환경 사운드를 제거할 수 있다(S230). 이후의 단계에서 보청기는 환경 사운드가 제거된 외부 사운드를 보청기 사용자에게 출력할 수 있다(S240).
본 발명의 또 다른 실시예에 따르면, 상기한 보청기 작동 방법에서 상기 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계를 더 포함할 수 있다.
이 때, 외부 사운드의 환경을 인식하는 단계(S220)는 보청기가 상기 디지털 사운드 신호에 상기 보청기 보상 계수와 상기 환경 특징을 적용하여 상기 외부 사운드의 환경을 인식하는 단계일 수 있다.
즉, 환경에 따른 잡음을 제거하기 위하여 환경 특징을 이용하여 환경 인식을 수행하기에 앞서, 보청기 보상 계수를 이용하여 보청기의 설치 위치나 방향 등에 따른 오차를 미리 보상할 수 있다. 여기서 보청기 보상 계수는 앞서 도 5를 통해 설명된 보청기 보상 계수가 사용될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
S100: 제1 환경사운드 및 제1 음성 사운드 수신단계
S110: 혼합 사운드 생성 단계
S120: 환경 특징 추출 단계

Claims (12)

  1. 보청기의 환경 인식을 위한 환경 특징을 컴퓨터 프로세서에 의해 추출하는 방법에 있어서,
    환경 데이터베이스로부터 제1 환경 사운드를 로드하고 음성 데이터베이스로부터 제1 음성 사운드를 로드하는 단계;
    상기 제1 환경 사운드와 상기 제1 음성 사운드의 비율을 달리하며 복수의 혼합 사운드를 생성하는 단계; 및
    상기 혼합 사운드로부터 추출된 제2 환경 사운드를 상기 제1 환경 사운드와 비교하고, 상기 혼합 사운드로부터 추출된 제2 음성 사운드를 상기 제1 음성 사운드와 비교함으로써 환경 특징을 추출하는 단계; 를 포함하고,
    상기 환경 특징을 추출하는 단계는
    상기 혼합 사운드로부터 상기 환경 특징을 이용하여 상기 제2 환경 사운드를 추출 하는 단계;
    상기 혼합 사운드로부터 추출된 상기 제2 환경 사운드를 제거하여 상기 제2 음성 사운드를 추출하는 단계;
    상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 및
    상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 를 포함하는 것을 특징으로 하는 환경 특징 추출 방법.
  2. 제1 항에 있어서,
    상기 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계; 를 더 포함하는 것을 특징으로 하는 환경 특징 추출 방법.
  3. 제1 항에 있어서, 상기 혼합 사운드를 생성하는 단계는
    상기 환경 데이터베이스에 저장된 복수의 상기 제1 환경 사운드를 상기 음성 데이터베이스에 저장된 복수의 상기 제1 음성 사운드와 각각 혼합함으로써 생성하는 단계인 것을 특징으로 하는 환경 특징 추출 방법.
  4. 삭제
  5. 제1 항에 있어서, 상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는
    상기 제2 환경 사운드와 상기 제1 환경 사운드의 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 상기 환경 특징을 업데이트 하는 단계인 것을 특징으로 하는 환경 특징 추출 방법.
  6. 제1 항에 있어서, 상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는
    상기 제2 음성 사운드와 상기 제1 음성 사운드의 음성 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 상기 환경 특징을 업데이트 하는 단계인 것을 특징으로 하는 환경 특징 추출 방법.
  7. 보청기가 외부 사운드를 수신하여 상기 보청기의 사용자에게 출력하는 보청기 작동 방법에 있어서,
    상기 외부 사운드를 디지털 사운드 신호로 변환하는 단계;
    상기 디지털 사운드 신호에 환경 특징을 적용하여 상기 외부 사운드의 환경을 인식하는 단계;
    인식된 상기 외부 사운드의 환경에 대응하여 상기 외부 사운드에 포함된 환경 사운드를 제거하는 단계; 및
    상기 환경 사운드가 제거된 외부 사운드를 상기 보청기의 사용자에게 출력하는 단계; 를 포함하고,
    상기 환경 특징은 컴퓨터 프로세서에 의하여 사전에 생성되어 상기 보청기에 저장되고,
    환경 데이터베이스로부터 제1 환경 사운드를 로드하고 음성 데이터베이스로부터 제1 음성 사운드를 로드하는 단계;
    상기 제1 환경 사운드와 상기 제1 음성 사운드의 비율을 달리하며 복수의 혼합 사운드를 생성하는 단계; 및
    상기 혼합 사운드를 통해 환경 특징을 추출하는 단계; 를 통해 생성되며,
    상기 환경 특징은 상기 혼합 사운드로부터 추출된 제2 환경 사운드를 상기 제1 환경 사운드와 비교하고, 상기 혼합 사운드로부터 추출된 제2 음성 사운드를 상기 제1 음성 사운드와 비교함으로써 추출되고,
    상기 환경 특징을 추출하는 단계는
    상기 혼합 사운드로부터 상기 환경 특징을 이용하여 상기 제2 환경 사운드를 추출 하는 단계;
    상기 혼합 사운드로부터 추출된 상기 제2 환경 사운드를 제거하여 상기 제2 음성 사운드를 추출하는 단계;
    상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 및
    상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계; 를 포함하는 것을 특징으로 하는 보청기 작동 방법.
  8. 제7 항에 있어서,
    상기 컴퓨터 프로세서에 의하여
    상기 환경 특징을 이용하여 보청기의 위치와 설치 방법에 따른 보청기 보상 계수를 계산하는 단계; 를 더 포함하고,
    상기 외부 사운드의 환경을 인식하는 단계는
    상기 보청기가 상기 디지털 사운드 신호에 상기 보청기 보상 계수와 상기 환경 특징을 적용하여 상기 외부 사운드의 환경을 인식하는 단계인 것을 특징으로 하는 보청기 작동 방법.
  9. 제7 항에 있어서, 상기 혼합 사운드를 생성하는 단계는
    상기 환경 데이터베이스에 저장된 복수의 상기 제1 환경 사운드를 상기 음성 데이터베이스에 저장된 복수의 상기 제1 음성 사운드와 각각 혼합함으로써 생성하는 단계인 것을 특징으로 하는 보청기 작동 방법.
  10. 삭제
  11. 제7 항에 있어서, 상기 제2 환경 사운드를 상기 제1 환경 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는
    상기 제2 환경 사운드와 상기 제1 환경 사운드의 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 강화되도록 상기 환경 특징을 업데이트 하는 단계인 것을 특징으로 하는 보청기 작동 방법.
  12. 제7 항에 있어서, 상기 제2 음성 사운드를 상기 제1 음성 사운드와 비교하여 상기 환경 특징을 업데이트하는 단계는
    상기 제2 음성 사운드와 상기 제1 음성 사운드의 음성 유사점을 계산하고, 상기 환경 특징에서 상기 유사점에 대응되는 주파수 영역이 더 약화되도록 상기 환경 특징을 업데이트 하는 단계인 것을 특징으로 하는 보청기 작동 방법.
KR1020180054185A 2017-05-15 2018-05-11 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법 KR102044970B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170060070 2017-05-15
KR1020170060070 2017-05-15

Publications (2)

Publication Number Publication Date
KR20180125393A KR20180125393A (ko) 2018-11-23
KR102044970B1 true KR102044970B1 (ko) 2019-11-15

Family

ID=64565330

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180054185A KR102044970B1 (ko) 2017-05-15 2018-05-11 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법

Country Status (1)

Country Link
KR (1) KR102044970B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040308B (zh) * 2021-11-17 2023-06-30 郑州航空工业管理学院 一种基于情感增益的皮肤听声助听装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140070851A (ko) * 2012-11-28 2014-06-11 삼성전자주식회사 홈기기의 잡음 특성 정보를 이용하여 잡음을 처리하는 청각 장치 및 잡음 처리 방법
KR20150125546A (ko) * 2014-04-29 2015-11-09 주식회사 이머시스 분리된 객체 및 음원에서 목적음과 환경음을 인식하는 방법

Also Published As

Publication number Publication date
KR20180125393A (ko) 2018-11-23

Similar Documents

Publication Publication Date Title
US10535362B2 (en) Speech enhancement for an electronic device
JP6081676B2 (ja) アクティブノイズキャンセル出力の制限
WO2019128140A1 (zh) 一种语音降噪方法、装置、服务器及存储介质
US9654874B2 (en) Systems and methods for feedback detection
KR102191736B1 (ko) 인공신경망을 이용한 음성향상방법 및 장치
KR101961998B1 (ko) 즉각적인 바람 잡음을 감소시키는 것
US20220122605A1 (en) Method and device for voice operated control
US20240177726A1 (en) Speech enhancement
WO2022256577A1 (en) A method of speech enhancement and a mobile computing device implementing the method
US9185497B2 (en) Method and computer program product of processing sound segment and hearing aid
US11367457B2 (en) Method for detecting ambient noise to change the playing voice frequency and sound playing device thereof
US20160196828A1 (en) Acoustic Matching and Splicing of Sound Tracks
KR102044970B1 (ko) 환경 특징 추출 방법 및 이를 이용한 보청기 작동 방법
JP6977768B2 (ja) 情報処理装置、情報処理方法、音声出力装置、および音声出力方法
JP6276132B2 (ja) 発話区間検出装置、音声処理システム、発話区間検出方法およびプログラム
CN112055278B (zh) 融合入耳麦克风和耳外麦克风的深度学习降噪设备
US11317202B2 (en) Method and device for voice operated control
TW201709199A (zh) 聲音辨識裝置及聲音辨識處理方法
US20180160239A1 (en) Sound level control for hearing assistive devices
JP6638248B2 (ja) 音声判定装置、方法及びプログラム、並びに、音声信号処理装置
CN114302286A (zh) 一种通话语音降噪方法、装置、设备及存储介质
JP5113096B2 (ja) 音源分離方法、装置およびプログラム
JP6519801B2 (ja) 信号解析装置、方法、及びプログラム
WO2021028758A1 (ja) 音響装置、及びその動作方法
JP6361360B2 (ja) 残響判定装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right