KR101737270B1 - 능동 방향성 이득 조정 가능한 양이 보청기 시스템 - Google Patents

능동 방향성 이득 조정 가능한 양이 보청기 시스템 Download PDF

Info

Publication number
KR101737270B1
KR101737270B1 KR1020160050153A KR20160050153A KR101737270B1 KR 101737270 B1 KR101737270 B1 KR 101737270B1 KR 1020160050153 A KR1020160050153 A KR 1020160050153A KR 20160050153 A KR20160050153 A KR 20160050153A KR 101737270 B1 KR101737270 B1 KR 101737270B1
Authority
KR
South Korea
Prior art keywords
speaker
hearing aid
listener
information
voice
Prior art date
Application number
KR1020160050153A
Other languages
English (en)
Other versions
KR20160054438A (ko
Inventor
우지환
양혜진
주효성
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020160050153A priority Critical patent/KR101737270B1/ko
Publication of KR20160054438A publication Critical patent/KR20160054438A/ko
Application granted granted Critical
Publication of KR101737270B1 publication Critical patent/KR101737270B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Abstract

본 발명의 일 양상인 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 포함하는 시스템에 있어서, 상기 마이크로폰은, 상기 화자의 음성을 입력 받는 마이크; 상기 화자의 위치에 대한 제 1 정보를 센싱하는 제 1 센서; 및 상기 음성과 제 1 정보를 상기 보청기로 송신하는 제 1 무선통신부;를 포함하고, 상기 보청기는, 상기 음성과 제 1 정보를 수신하는 제 2 무선통신부; 상기 청자의 위치에 대한 제 2 정보를 센싱하는 제 2 센서; 상기 제 1 정보 및 제 2 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하고, 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률 및 시간차이를 결정하는 제어부; 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 증폭 및 시간 조절부; 및 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 출력부;를 포함할 수 있다.

Description

능동 방향성 이득 조정 가능한 양이 보청기 시스템 {Automatic directional-gain control Hearing Aids aid automatic control system for direction of sound}
본 발명은 능동 방향성 이득 조정 가능한 양이 보청기 시스템에 관한 것이다.
구체적으로 본 발명은 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률 및 시간을 다르게 적용함으로써, 두 귀간 소리의 크기 및 시간 차이를 보완할 수 있는 기술에 관한 것이다.
또한, 본 발명은 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법에 있어, 전달 시간과 증폭률을 다르게 적용한 것의 위상 차이 원리를 이용하여 보청기 사용자가 복수의 객체 중 화자의 위치를 예측 할 수 있도록 하는 기술에 대한 것이다.
보청기는 청력 검사상 난청으로 진단된 환자의 귀에 장착하여 소리를 증폭하여 주는 기구로, 소리를 받는 마이크로폰과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 스피커로 구성 되어 있다.
난청인들의 보청기 사용이 증가하고 있어, 보청기의 기능, 종류, 디자인 향상에 대한 많은 연구들이 진행 되고 있다.
현재, 대부분의 보청기 기능 연구는 보청기 주변 소음 제거를 통한 음질 향상에 집중되어 있으며, 주변 소음 제거는 소리 입력의 시간차를 이용한 방향성 마이크로폰과 보청기 사용자가 앞, 뒤, 좌, 우 중 집중하고자 하는 방향을 선택하여 해당 방향 외에는 주변소음으로 제거하는 Zoom Control 방법 등이 있다.
또한, Zoom Control을 기반으로, 보청기 사용자 주변에 가장 큰 말소리만 자동으로 증폭시켜주는 Auto Zoom Control 방법이 개발되었다.
하지만 다수의 사람과 소통이 필요한 conference, meeting에서는 위와 같은 방법들을 적용하여 주변소음을 제거하는데 한계가 있어, 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법이 개발되었다.
이러한 방법은 화자의 말소리를 보청기 사용자가 집중적으로 잘 들을 수 있지만, 다수의 화자와 소통할 때는 모든 화자의 소리가 양쪽 귀에 같은 크기로 들려 화자의 방향을 알 수 없다는 한계점이 있다.
따라서 이러한 한계점을 극복할 수 있는 보청기 시스템의 필요성이 대두되고 있는 실정이다.
(1) 국제공개번호 WO 2010/036321 (2) 국제공개번호 WO 2014/108080
본 발명은 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 사용자에게 제공하고자 한다.
구체적으로 본 발명은 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률과 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기 및 시간 차이를 보완할 수 있는 시스템을 사용자에게 제공하고자 한다.
또한, 본 발명은 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법에 있어, 증폭률 및 전달시간을 다르게 적용한 것의 위상 차이 원리를 이용하여 보청기 사용자가 복수의 객체 중 화자의 위치를 예측 할 수 있도록 하는 시스템을 사용자에게 제공하고자 한다.
즉, 본 발명에서는 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률 및 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기차이와 위상차이원리에 의해 보청기 사용자가 화자의 위치를 예측 할 수 있도록 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 포함하는 시스템에 있어서, 상기 마이크로폰은, 상기 화자의 음성을 입력 받는 마이크; 상기 화자의 위치에 대한 제 1 정보를 센싱하는 제 1 센서; 및 상기 음성과 제 1 정보를 상기 보청기로 송신하는 제 1 무선통신부;를 포함하고, 상기 보청기는, 상기 음성과 제 1 정보를 수신하는 제 2 무선통신부; 상기 청자의 위치에 대한 제 2 정보를 센싱하는 제 2 센서; 상기 제 1 정보 및 제 2 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하고, 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률 및 시간차이를 결정하는 제어부; 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 증폭 및 시간 조절부; 및 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 출력부;를 포함할 수 있다.
또한, 상기 제 1 센서 및 제 2 센서는 지자기 센서(terrestrial magnetism sensor)이고, 상기 제 1 정보 및 제 2 정보는 상기 화자 및 청자의 방향과 관련된 정보일 수 있다.
또한, 상기 제어부는, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하고, 상기 시간차이는 0일 수 있다.
또한, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태일 수 있다.
또한, 상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우, 상기 제어부는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시킬 수 있다.
또한, 상기 제 1 무선통신부와 제 2 무선통신부는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고, 상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 양상인 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 포함하는 시스템에 있어서, 상기 마이크로폰은, 상기 화자의 음성을 입력 받는 마이크; 및 상기 음성을 상기 보청기로 송신하는 제 1 무선통신부;를 포함하고, 상기 보청기는, 상기 음성을 수신하는 제 2 무선통신부; 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 음성의 신호세기 정보를 센싱하는 센서; 상기 음성의 신호세기 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하고, 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률 및 시간차이를 결정하는 제어부; 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 증폭 및 시간 조절부; 및 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 출력부;를 포함할 수 있다.
또한, 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 음성의 신호세기가 동일한 경우, 상기 제어부는, 상기 화자와 청자 간의 각도가 180도 인 것으로 계산하고, 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하며, 상기 시간차이는 0일 수 있다.
또한, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태일 수 있다.
또한, 상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우, 상기 제어부는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시킬 수 있다.
또한, 상기 제 1 무선통신부와 제 2 무선통신부는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고, 상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 또 다른 양상인 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 이용하여 의사소통(communication)하는 방법에 있어서, 상기 마이크로폰이 상기 화자의 음성을 입력 받는 단계; 상기 마이크로폰이 상기 화자의 위치에 대한 제 1 정보를 센싱하는 단계; 상기 마이크로폰이 상기 음성과 제 1 정보를 상기 보청기로 송신하는 단계; 상기 보청기가 상기 음성과 제 1 정보를 수신하는 단계; 상기 보청기가 상기 청자의 위치에 대한 제 2 정보를 센싱하는 단계; 상기 보청기가 상기 제 1 정보 및 제 2 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하는 단계; 상기 보청기가 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률과 시간차이를 결정하는 단계; 상기 보청기가 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 단계; 및 상기 보청기가 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 단계;를 포함할 수 있다.
또한, 상기 제 1 정보 및 제 2 정보는 상기 화자 및 청자의 방향과 관련된 정보일 수 있다.
또한, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 보청기는 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하고, 상기 시간차이는 0일 수 있다.
또한, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태일 수 있다.
또한, 상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우, 상기 보청기는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시킬 수 있다.
또한, 상기 마이크로폰과 보청기는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고, 상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 또 다른 양상인 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 이용하여 의사소통(communication)하는 방법에 있어서, 상기 마이크로폰이 상기 화자의 음성을 입력 받는 단계; 상기 마이크로폰이 상기 음성을 상기 보청기로 송신하는 단계; 상기 보청기가 상기 음성을 수신하는 단계; 상기 보청기가 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 음성의 신호세기 정보를 센싱하는 단계; 상기 보청기가 상기 음성의 신호세기 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하는 단계; 상기 보청기가 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률 및 시간차이를 결정하는 단계; 상기 보청기가 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 단계; 및 상기 보청기가 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 단계;를 포함할 수 있다.
또한, 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 음성의 신호세기가 동일한 경우, 상기 보청기는, 상기 화자와 청자 간의 각도가 180도 인 것으로 계산하고, 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하며. 상기 시간차이는 0일 수 있다.
또한, 상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태일 수 있다.
또한, 상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우, 상기 보청기는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시킬 수 있다.
또한, 상기 마이크로폰과 보청기는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고, 상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고, 상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
본 발명은 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 사용자에게 제공할 수 있다.
구체적으로 본 발명은 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률 및 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기 및 시간 차이를 보완할 수 있는 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명은 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법에 있어, 증폭률 및 전달 시간을 다르게 적용한 것의 위상 차이 원리를 이용하여 보청기 사용자가 복수의 객체 중 화자의 위치를 예측 할 수 있도록 하는 시스템을 사용자에게 제공할 수 있다.
결국, 본 발명은 센서를 이용하여 마이크로폰을 통해 말하는 화자와 보청기사용자 사이의 각도를 계산하여 화자의 위치를 예측함으로써, 다수의 화자와 원활한 소통이 가능해, 회의나 파티 등 많은 인원이 참석한 장소에서 다수의 화자와 소통하고자 할 때 양이 보청기 사용자에게 화자의 위치를 예측하여 대화시 불편함이 없어, 그 활용성이 크다고 판단된다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명이 제안하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템의 블록 구성도를 도시한 것이다.
도 2는 본 발명에 따른 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 화자 및 보청기 사용자가 이용하는 과정을 도시한 것이다.
도 3은 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률을 결정함으로써, 소리의 방향을 예측하는 방법을 설명하는 순서도이다.
도 4는 도 3에서 화자의 음성과 방위각 정보를 보청기에 전송하고, 보청기 사용자의 방위각을 측정하는 과정을 설명하는 도면이다.
도 5는 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하고 보청기 증폭률을 결정하는 과정을 설명하는 도면이다.
도 6은 측정된 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률을 결정함으로써, 소리의 방향을 예측하는 방법을 설명하는 순서도이다.
도 7은 도 6에서 측정된 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률을 결정하는 과정을 설명하는 도면이다.
도 8은 2명 이상의 화자와 대화하는 경우, 마이크로폰이 켜진 시간차이에 따라 각도를 계산하는 과정을 설명하는 도면이다.
일상 생활에서 회화음의 청취와 이해가 곤란한 사람에게는 보청 즉, 음의 증폭에 의한 도움을 필요로 하며 이러한 음의 증폭을 위한 전기 음향기를 보청기라 한다.
최근에는 뛰어난 의공학적 발전으로 인하여, 이전에 보청기를 착용하여 큰 도움을 받지 못하던 환자들도 적합한 보청기를 선정하여 착용할 경우 훌륭한 청력개선을 도모할 수 있게 되었다.
가장 적합한 보청기의 적용기준은 보청기를 사용하였을 때가 사용하지 않았을 때보다 청력이 더욱 향상되는 경우인데, 일반적으로 순음청력 검사상 일상생활에 불편함을 초래하는 30데시벨(dB) 이상의 청력손실이 있을 경우에 적용된다.
보청기 사용의 결정은 충분한 이비인후과 검사를 마친 후 청력손실이 약물이나 수술적 요법으로 개선되지 않는다는 판단 후에 하는 것이 중요하며 난청자의 연령, 직업, 성격 등의 요소를 고려하여야 한다.
보청기는 일반적으로 신체 장착형 보청기, 귀 뒤형 보청기, 안경형 보청기, 귀속형 보청기 등이 있고 그 외 특수형 보청기가 있다.
보청기는 음(소리)을 증폭시키므로 사람의 음성 이외의 주위에서도 생기는 모든 소리도 증폭시킨다.
이 때문에 말을 잘 알아들을 수 없는 경우가 생기고, 주로 감각 신경성 난청의 경우에 해당되는데, 최근에 나온 보청기들은 이런 단점을 없애기 위한 장치들이 마련되어 있어 이전보다 뛰어난 음의 이해도를 얻을 수 있다.
한쪽, 귀가 난청인 경우는 물론 한쪽에만 보청기를 사용하지만 양쪽 난청인 경우 또는 양쪽의 청력이 비슷한 경우(순음청력 검사상 양측의 청력 손실 차이가 15dB 이내인 경우)는 양측에 착용하는 것이 좋고, 청력 손실의 차이가 큰 경우는 상황에 따라 착용할 방향성을 결정해야 한다.
편측 착용에 비해 양측 착용은 좌우 어느 쪽의 소리도 들을 수 있고, 음의 방향감각이 좋으며 소음 중에서도 말의 청취가 향상되고 한쪽 보청기가 고장이 나도 다른 쪽으로 들을 수 있는 등의 장점이 있다.
보청기는 소리를 받는 마이크로폰과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 스피커로 구성 되어 있다.
현재, 대부분의 보청기 기능 연구는 보청기 주변 소음 제거를 통한 음질 향상에 집중되어 있으며, 주변 소음 제거는 소리 입력의 시간차를 이용한 방향성 마이크로폰과 보청기 사용자가 앞, 뒤, 좌, 우 중 집중하고자 하는 방향을 선택하여 해당 방향 외에는 주변소음으로 제거하는 Zoom Control 방법 등이 있다.
또한, Zoom Control을 기반으로, 보청기 사용자 주변에 가장 큰 말소리만 자동으로 증폭시켜주는 Auto Zoom Control 방법이 개발되었다.
하지만 다수의 사람과 소통이 필요한 conference, meeting에서는 위와 같은 방법들을 적용하여 주변소음을 제거하는데 한계가 있어, 화자에게 마이크로폰을 제공하여 블루투스 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법이 개발되었다.
이러한 방법은 화자의 말소리를 보청기 사용자가 집중적으로 잘 들을 수 있지만, 다수의 화자와 소통할 때는 모든 화자의 소리가 양쪽 귀에 같은 크기로 들려 화자의 방향을 알 수 없다는 한계점이 있다.
따라서 본 발명에서는 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 사용자에게 제공하고자 한다.
구체적으로 본 발명은 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률과 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기 및 시간 차이를 보완할 수 있는 시스템을 사용자에게 제공하고자 한다.
또한, 본 발명은 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법에 있어, 증폭률을 다르게 적용한 것의 위상 차이 원리를 이용하여 보청기 사용자가 복수의 객체 중 화자의 위치를 예측 할 수 있도록 하는 시스템을 사용자에게 제공하고자 한다.
즉, 본 발명에서는 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률 및 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기차이, 시간차이와 위상차이원리에 의해 보청기 사용자가 화자의 위치를 예측 할 수 있도록 한다.
본 발명의 구체적인 동작에 앞서, 본 발명에 적용될 수 있는 능동 방향성 이득 조정 가능한 양이 보청기 시스템에 대해 설명한다.
도 1은 본 발명이 제안하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템의 블록 구성도를 도시한 것이다.
도 1을 참조하면, 능동 방향성 이득 조정 가능한 양이 보청기 시스템(10)은 화자용 마이크로폰(100)과 보청기(200)를 포함할 수 있다.
단, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 능동 방향성 이득 조정 가능한 양이 보청기 시스템(10)이 구현될 수도 있다.
먼저, 화자용 마이크로폰(100)은 무선통신부(110), 마이크(120), 사용자 입력부(130), 센싱부(140), 제어부(150), 인터페이스부(160), 메모리(170) 및 출력부(180)을 포함할 수 있다.
무선 통신부(110)는 화자용 마이크로폰(100)과 보청기(200) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
무선 통신부(110)는 근거리 통신 또는 원거리 통신을 이용하여 보청기(200)와 통신할 수 있다.
여기서 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함할 수 있다.
또한, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
다음으로, 마이크(120)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다.
처리된 음성 데이터는 무선 통신부(110)를 통해, 송신 가능한 형태로 변환되어 출력될 수 있다.
마이크(120)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
또한, 사용자 입력부(130)는 사용자가 화자용 마이크로폰(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
또한, 센싱부(140)는 화자용 마이크로폰(100)의 개폐 상태 화자용 마이크로폰(100)의 위치, 사용자 접촉 유무, 화자용 마이크로폰(100)의 방위, 화자용 마이크로폰(100)의 가속/감속 등과 같이 화자용 마이크로폰(100)의 현 상태를 감지하여 화자용 마이크로폰(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
구체적으로 센싱부(140)는 방위각 측정 센서(141)를 포함할 수 있다.
여기서 방위각 측정 센서(141)는 지자기 센서(earth magnetic field)로 구성될 수 있고, 지자기 센서는 지자기를 검출하는 데 사용되는 센서로서, 가장 간단한 것은 지침을 예로 들 수 있다.
지자기 센서는 지자기의 방향을 직접 알 수 있을 뿐 아니라, 진동주기로부터 크기를 알 수 있다.
자침 이외에도 보다 감도 높게, 보다 간편하게 지자기를 검출하기 위해서 많은 센서가 개발되고 있는데, 회전 코일을 사용한 자기의, 강자성체의 자기포화 현상을 이용한 포화철심형(fluxgate) 자력계, 양성자(proton)의 핵자기 공명을 이용한 양자 자력계, 루비듐이나 세슘 원자의 제만효과를 이용한 광 펌핑 자력계, 초전도현상을 이용한 SQUID 등이 활용되고 있다.
제어부(150)는 통상적으로 화자용 마이크로폰(100)의 전반적인 동작을 제어한다.
제어부(150)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(150) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(150)에 의해 실행될 수 있다.
또한, 인터페이스부(160)는 화자용 마이크로폰(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말 또는 화자용 마이크로폰(100)의 각 구성 요소에 전달하거나, 화자용 마이크로폰(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다.
또한, 메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 출력부(180)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부, 음향 출력 모듈, 알람부, 햅틱 모듈 및 프로젝터 모듈 등이 포함될 수 있다.
한편, 보청기(200)는 무선통신부(210), 사용자 입력부(220), 센싱부(230), 제어부(240), 인터페이스부(250), 메모리(260), 증폭 및 시간 조절부(270) 및 출력부(280)을 포함할 수 있다.
무선통신부(210)는 화자용 마이크로폰(100)과 보청기(200) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
무선통신부(210)는 근거리 통신 또는 원거리 통신을 이용하여 화자용 마이크로폰(100)과 통신할 수 있다.
여기서 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함할 수 있다.
또한, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
다음으로, 사용자 입력부(220)는 사용자가 보청기(200)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(220)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
또한, 센싱부(230)는 보청기(200)의 개폐 상태, 보청기(200)위치, 사용자 접촉 유무, 보청기(200)의 방위, 보청기(200)의 가속/감속 등과 같이 보청기(200)의 현 상태를 감지하여 보청기(200)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
구체적으로 센싱부(230)는 방위각 측정 센서(231), 신호세기 측정 센서(232) 등을 포함할 수 있다.
여기서 방위각 측정 센서(231)는 지자기 센서(earth magnetic field)로 구성될 수 있고, 지자기 센서는 지자기를 검출하는 데 사용되는 센서로서, 가장 간단한 것은 지침을 예로 들 수 있다.
지자기 센서는 지자기의 방향을 직접 알 수 있을 뿐 아니라, 진동주기로부터 크기를 알 수 있다.
자침 이외에도 보다 감도 높게, 보다 간편하게 지자기를 검출하기 위해서 많은 센서가 개발되고 있는데, 회전 코일을 사용한 자기의, 강자성체의 자기포화 현상을 이용한 포화철심형(fluxgate) 자력계, 양성자(proton)의 핵자기 공명을 이용한 양자 자력계, 루비듐이나 세슘 원자의 제만효과를 이용한 광 펌핑 자력계, 초전도현상을 이용한 SQUID 등이 활용되고 있다.
또한, 신호세기 측정 센서(232)는 무선통신부(210)를 통해 수신되는 신호의 세기를 측정하는 기능을 제공한다.
측정된 신호를 기초로 후술하는 증폭 및 시간 조절부(270)에서의 증폭률을 다르게 적용할 수 있다.
제어부(240)는 통상적으로 보청기(200)의 전반적인 동작을 제어한다.
제어부(240)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(240) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(260)에 저장되고, 제어부(240)에 의해 실행될 수 있다.
또한, 인터페이스부(250)는 보청기(200)의 에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(250)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 보청기(200)의 각 구성 요소에 전달하거나, 보청기(200) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(250)에 포함될 수 있다.
또한, 메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 증폭 및 시간 조절부(270)는 입력신호의 에너지를 증가시켜 출력 측에 큰 에너지의 변화로 출력하는 장치로, 취급하는 신호의 주파수 범위에 따라 직류증폭기, 초저주파증폭기, 가청주파증폭기 등으로 나눌 수 있다.
제어부(240)는 증폭 및 시간 조절부(270)와 관련하여, 화자의 방위각 정보와 보청기 사용자의 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하고, 계산된 각도에 따라 증폭 및 시간 조절부(270)의 증폭률을 결정할 수 있다.
또한, 제어부(240)는 증폭 및 시간 조절부(270)와 관련하여, 측정된 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하고, 계산된 각도에 따라 증폭률을 결정하고, 양 귀에 대한 시간 차이를 결정할 수 있다.
또한, 출력부(280)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부, 음향 출력 모듈, 알람부, 햅틱 모듈 및 프로젝터 모듈 등이 포함될 수 있다.
특히, 보청기(200)의 기능을 고려하여 음향 출력 모듈이 대표적으로 포함될 수 있다.
음향 출력 모듈은 무선 통신부(210)로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력할 수 있다.
음향 출력 모듈은 보청기(200)에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
전술한 능동 방향성 이득 조정 가능한 양이 보청기 시스템(10)의 구성을 이용하여 보청기 사용자가 소리의 방향을 예측하는 방법에 대해 설명한다.
도 2는 본 발명에 따른 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 화자 및 보청기 사용자가 이용하는 과정을 도시한 것이다.
도 2를 참조하면, 화자(10)와 보청기 사용자(20)가 도시되어 있고, 화자(10)는 화자용 마이크로폰(100)을 소지하고 있고, 보청기 사용자(20)는 보청기(200)를 착용하고 있다.
이때, 화자(10) 측에서는 마이크(120)를 이용하여 음성을 입력하고, 방위각 측정 센서(141)가 화자(10)의 방위각을 측정하게 된다.
또한, 화자(10) 측에서 무선통신부(110)를 통해, 화자의 음성과 방위각 정보가 보청기 사용자(20) 측으로 전송되게 된다.
이후, 보청기 사용자(20) 측에서는 방위각 측정 센서(231)가 보청기 사용자(20)의 방위각을 측정하고, 제어부(240)가 화자의 방위각 정보와 보청기 사용자의 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하게 된다.
또한, 제어부(240)는 계산된 각도에 따라 보청기 증폭률을 결정하고, 결정된 증폭률에 따라 증폭 및 시간 조절부(270)는 화자(10)의 음성을 증폭하여 시간 차를 두고 양 귀로 출력하며, 보청기 사용자(20)는 화자(1)가 위치하는 소리의 방향을 예측할 수 있게 된다.
이를 도 3 내지 도 5를 이용하여 더욱 구체적으로 설명한다.
도 3은 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률을 결정함으로써, 소리의 방향을 예측하는 방법을 설명하는 순서도이다.
도 3을 참조하면, 화자(10)가 음성을 마이크(120)를 통해 입력하는 단계(S11)가 수행된다.
이후, 제어부(150)의 제어에 따라 화자(10)의 방위각을 방위각 측정센서(141)가 측정하는 단계(S12)가 수행된다.
S12 단계 이후, 화자(10)의 음성과 방위각 정보는 무선통신부(110)를 통해 보청기(200)로 전송된다(S13).
이후, 보청기 사용자(20)의 방위각을 방위각 측정 센서(231)가 제어부(240)의 제어에 따라 측정하는 단계(S14)가 수행된다.
S14 단계 이후에, 제어부(240)는 화자(10)의 방위각 정보와 보청기 사용자(20)의 방위각 정보를 이용하여 화자(10)와 보청기 사용자(20) 간의 각도를 계산한다(S15).
도 4는 화자의 음성과 방위각 정보를 보청기에 전송하고, 보청기 사용자의 방위각을 측정하는 과정을 설명하는 도면이다.
예를 들어, 화자(10)의 방위각 정보와 보청기 사용자(20)의 방위각 정보를 이용하여 계산된 화자(10)와 보청기 사용자(20) 간의 각도는 90도가 될 수 있다.
즉, 90도의 경우에는 화자(10)와 보청기 사용자(20)는 측면에 위치하는 것이므로, 보청기 사용자(20)는 고개를 90도 회전시켜 화자(10)와 마주볼 수 있다.
만약, 방위각 정보와 보청기 사용자(20)의 방위각 정보를 이용하여 계산된 화자(10)와 보청기 사용자(20) 간의 각도는 180도인 경우, 화자(10)와 보청기 사용자(20)는 서로 마주보는 형태가 될 수 있다.
또한, 제어부(240)는 계산된 각도에 따라 증폭 및 시간 조절부(270)의 보청기 증폭률과 양 귀에 대한 시간 차이를 결정(S16)하고, 결정된 증폭률 및 시간차이에 따라 화자의 음성을 양 귀에 증폭하여 출력(S17)하게 된다.
도 5는 방위각 정보를 이용하여 화자와 보청기 사용자 간의 각도를 계산하고 보청기 증폭률을 결정하는 S16 단계를 설명하는 도면이다.
화자(10)의 방위각 정보와 보청기 사용자(20)의 방위각 정보를 이용하여 계산된 화자(10)와 보청기 사용자(20) 간의 각도는 90도가 될 수 있다.
즉, 90도의 경우에는 화자(10)와 보청기 사용자(20)는 측면에 위치하는 것이므로, 제어부(240)는 한쪽 귀 측의 증폭률은 낮게 하고, 다른 귀 측의 증폭률은 높게 설정할 수 있다. 또한, 한쪽 귀에는 음성이 더 빨리 들리게 하고, 다른 귀 측에는 음성이 느리게 들리도록 할 수 있다.
이때, 보청기 사용자(20)는 고개를 회전시키는 정도에 따라 증폭률 및 시간차이는 또 다시 변화될 수 있고, 보청기 사용자(20)가 90도 회전시켜 화자(10)와 마주보게 되면 동일한 증폭률이 적용된다.
따라서 이러한 과정을 통해 보청기 사용자(20)는 화자(10)가 위치하는 소리의 방향을 예측할 수 있게 된다(S18).
한편, 본 발명의 다른 실시예에 따르면, 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하는 것도 가능하다.
도 6은 측정된 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률을 결정함으로써, 소리의 방향을 예측하는 방법을 설명하는 순서도이다.
도 6에서의 S21 단계 및 S22 단계는 도 5의 S11 단계 및 S13 단계(방위각 정보를 전송하는 것 제외)와 대응되고, S25 단계 내지 S27 단계는 도 5의 S16 단계 내지 S18 단계에 대응되므로, 명세서의 간명화를 위해 중복되는 설명은 생략한다.
도 6 과정에서의 특이점은 S23 단계 내지 S25 단계에 있다.
즉, S22 단계 이후에 양쪽 귀에 수신되는 화자의 음성 신호의 세기를 제어부(240)의 제어에 따라 신호세기 측정센서(232)가 측정하는 단계(S23)가 수행된다.
이후, 제어부(240)는 측정된 음성 신호의 세기를 이용하여 화자(10)와 보청기 사용자(20) 간의 각도를 계산(S24)할 수 있다.
도 7은 도 6에서 측정된 음성 신호의 세기를 이용하여 화자와 보청기 사용자 간의 각도를 계산하여 보청기 증폭률 및 시간차이를 결정하는 과정을 설명하는 도면이다.
예를 들어, 왼쪽 귀에 입력된 신호의 세기가 10dB이고, 오른 쪽 귀에 입력된 신호의 세기가 50dB인 경우, 당해 신호의 세기 차이를 이용하여 화자(10)와 보청기 사용자(20) 간의 각도를 제어부(240)가 산출할 수 있는 것이다.
이를 기초로, 제어부(240)는 계산된 각도에 따라 보청기 증폭률 및 시간차이를 결정하고(S25), 결정된 증폭률 및 시간차이에 따라 화자의 음성을 증폭하여 출력(S26)하게 된다.
따라서 보청기 사용자(20)가 화자(10)가 위치하는 소리의 방향을 예측(S27)할 수 있게 된다.
한편, 본 발명의 또 다른 실시예에 따르면, 복수의 화자(10)와 대화하는 경우, 마이크로폰(100)이 켜진 시간차이에 따라 각도를 계산하는 방법이 제안될 수 있다.
도 8은 2명 이상의 화자와 대화하는 경우, 마이크로폰이 켜진 시간차이에 따라 각도를 계산하는 과정을 설명하는 도면이다.
도 8을 참조하면, 복수의 마이크로폰(100) 각각에 대한 온(ON) 타이밍을 미리 설정하거나 각 마이크로폰(100)의 신호 전달에 따라 복수의 마이크로폰(100) 중 온(ON)된 마이크로폰(100)을 구분하거나 복수의 마이크로폰(100) 각각에 부여된 식별정보를 포함하는 정보가 수신된 것을 기초로 복수의 마이크로폰(100) 중 온(ON)된 마이크로폰(100)을 구분할 수 있다.
따라서 이러한 조건에 부합하는 마이크로폰(100)을 시간차이에 따라 판별하고, 각 마이크로폰(100)을 통해 출력되는 음성의 방향을 판별함으로써, 복수의 화자(10)와의 대화에 있어서도 증폭률을 통해 화자(10)의 위치를 보청기 사용자(20)에 안내하는 것이 가능하다.
전술한 본 발명의 구성이 적용되는 경우, 능동 방향성 이득 조정 가능한 양이 보청기 시스템을 사용자에게 제공할 수 있게 된다.
구체적으로 본 발명은 방위각을 측정할 수 있는 센서를 이용하여 양이 보청기 사용자와 마이크로폰을 가지고 있는 화자 사이의 각도를 계산하며, 계산한 각도를 기반으로 보청기 사용자의 두 귀에 들어가는 소리의 증폭률 및 전달시간을 다르게 적용함으로써, 두 귀간 소리의 크기차이를 보완할 수 있는 시스템을 사용자에게 제공할 수 있다.
또한, 본 발명은 화자에게 마이크로폰을 제공하여 근거리 통신을 통해 화자의 말소리만 보청기 사용자가 증폭된 소리로 들을 수 있도록 하는 방법에 있어, 증폭률 및 양 귀에 대한 전달시간을 다르게 적용한 것의 위상 차이 원리를 이용하여 보청기 사용자가 복수의 객체 중 화자의 위치를 예측 할 수 있도록 하는 시스템을 사용자에게 제공할 수 있다.
결국, 본 발명은 센서를 이용하여 마이크로폰을 통해 말하는 화자와 보청기사용자 사이의 각도를 계산하여 화자의 위치를 예측함으로써, 다수의 화자와 원활한 소통이 가능해, 회의나 파티 등 많은 인원이 참석한 장소에서 다수의 화자와 소통하고자 할 때 양이 보청기 사용자에게 화자의 위치를 예측하여 대화시 불편함이 없어, 그 활용성이 크다고 판단된다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (22)

  1. 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 포함하는 시스템에 있어서,
    상기 마이크로폰은,
    상기 화자의 음성을 입력 받는 마이크;
    상기 화자의 위치에 대한 제 1 정보를 센싱하는 제 1 센서; 및
    상기 음성과 제 1 정보를 상기 보청기로 송신하는 제 1 무선통신부;를 포함하고,
    상기 보청기는,
    상기 음성과 제 1 정보를 수신하는 제 2 무선통신부;
    상기 청자의 위치에 대한 제 2 정보를 센싱하는 제 2 센서;
    상기 제 1 정보 및 제 2 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하고, 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률 및 시간차이를 결정하는 제어부;
    상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 증폭 및 시간 조절부; 및
    상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 출력부;를 포함하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  2. 제 1항에 있어서,
    상기 제 1 센서 및 제 2 센서는 지자기 센서(terrestrial magnetism sensor)이고,
    상기 제 1 정보 및 제 2 정보는 상기 화자 및 청자의 방향과 관련된 정보인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 화자와 청자 간의 각도가 180도 인 경우, 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하고, 상기 시간차이는 0인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  4. 제 3항에 있어서,
    상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  5. 제 1항에 있어서,
    상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우,
    상기 제어부는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시키는 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  6. 제 1항에 있어서,
    상기 제 1 무선통신부와 제 2 무선통신부는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고,
    상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고,
    상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함하는 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 화자(speaker)가 이용하는 마이크로폰; 및 청자(listener)가 이용하는 보청기;를 이용하여 의사소통(communication)하는 방법에 있어서,
    상기 마이크로폰이 상기 화자의 음성을 입력 받는 단계;
    상기 마이크로폰이 상기 화자의 위치에 대한 제 1 정보를 센싱하는 단계;
    상기 마이크로폰이 상기 음성과 제 1 정보를 상기 보청기로 송신하는 단계;
    상기 보청기가 상기 음성과 제 1 정보를 수신하는 단계;
    상기 보청기가 상기 청자의 위치에 대한 제 2 정보를 센싱하는 단계;
    상기 보청기가 상기 제 1 정보 및 제 2 정보를 이용하여 상기 화자와 청자 간의 각도를 계산하는 단계;
    상기 보청기가 상기 각도에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률과 시간차이를 결정하는 단계;
    상기 보청기가 상기 증폭률에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성을 증폭하고, 상기 시간차이에 따른 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 대한 상기 증폭된 신호의 출력시간을 결정하는 단계; 및
    상기 보청기가 상기 증폭된 음성을 상기 출력시간에 따라 상기 청자의 오른쪽 귀와 왼쪽 귀 각각에 출력하는 단계;를 포함하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  13. 제 12항에 있어서,
    상기 제 1 정보 및 제 2 정보는 상기 화자 및 청자의 방향과 관련된 정보인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  14. 제 12항에 있어서,
    상기 화자와 청자 간의 각도가 180도 인 경우, 상기 보청기는 상기 청자의 오른쪽 귀와 왼쪽 귀에 대한 상기 음성의 증폭률을 동일하게 결정하고, 상기 시간차이는 0인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  15. 제 14항에 있어서,
    상기 화자와 청자 간의 각도가 180도 인 경우, 상기 화자와 청자가 마주보는 상태인 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  16. 제 12항에 있어서,
    상기 화자 또는 청자의 움직임 중 적어도 하나에 의해, 상기 화자와 청자 간의 각도가 변화되는 경우,
    상기 보청기는, 상기 변화된 화자와 청자 간의 각도를 계산하고, 상기 변화된 각도에 따라 상기 음성의 증폭률 및 시간차이를 변화시키는 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  17. 제 12항에 있어서,
    상기 마이크로폰과 보청기는 근거리 통신 및 원거리 통신 중 적어도 하나를 이용하여 통신하고,
    상기 근거리 통신은, ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 기술을 포함하고,
    상기 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함하는 것을 특징으로 하는 능동 방향성 이득 조정 가능한 양이 보청기를 통한 의사소통 방법.
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020160050153A 2016-04-25 2016-04-25 능동 방향성 이득 조정 가능한 양이 보청기 시스템 KR101737270B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160050153A KR101737270B1 (ko) 2016-04-25 2016-04-25 능동 방향성 이득 조정 가능한 양이 보청기 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160050153A KR101737270B1 (ko) 2016-04-25 2016-04-25 능동 방향성 이득 조정 가능한 양이 보청기 시스템

Publications (2)

Publication Number Publication Date
KR20160054438A KR20160054438A (ko) 2016-05-16
KR101737270B1 true KR101737270B1 (ko) 2017-05-19

Family

ID=56109156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160050153A KR101737270B1 (ko) 2016-04-25 2016-04-25 능동 방향성 이득 조정 가능한 양이 보청기 시스템

Country Status (1)

Country Link
KR (1) KR101737270B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113825079A (zh) * 2021-09-11 2021-12-21 武汉左点科技有限公司 一种助听器声波接受增强方法及装置
KR20240038294A (ko) * 2022-09-16 2024-03-25 올리브유니온(주) 보청기를 이용한 사용자 또는 객체의 위치 추정에 따라 마이크 지향성을 자동 설정하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009540378A (ja) 2006-06-14 2009-11-19 シーメンス アウディオローギッシェ テヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 信号分離器、マイクロフォン信号に基づいて出力信号を決定するための方法、及び、コンピュータプログラム
JP2009542057A (ja) 2006-06-23 2009-11-26 ジーエヌ リザウンド エー/エス 適応性のある方向性信号処理を備えた補聴装置
US20110150249A1 (en) 2009-12-17 2011-06-23 Bjarne Klemmensen Assistive listening system adapted for using dect

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009540378A (ja) 2006-06-14 2009-11-19 シーメンス アウディオローギッシェ テヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 信号分離器、マイクロフォン信号に基づいて出力信号を決定するための方法、及び、コンピュータプログラム
JP2009542057A (ja) 2006-06-23 2009-11-26 ジーエヌ リザウンド エー/エス 適応性のある方向性信号処理を備えた補聴装置
US20110150249A1 (en) 2009-12-17 2011-06-23 Bjarne Klemmensen Assistive listening system adapted for using dect

Also Published As

Publication number Publication date
KR20160054438A (ko) 2016-05-16

Similar Documents

Publication Publication Date Title
US10410634B2 (en) Ear-borne audio device conversation recording and compressed data transmission
US10841682B2 (en) Communication network of in-ear utility devices having sensors
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US9992587B2 (en) Binaural hearing system configured to localize a sound source
US11825272B2 (en) Assistive listening device systems, devices and methods for providing audio streams within sound fields
KR102192361B1 (ko) 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치
US20170347348A1 (en) In-Ear Utility Device Having Information Sharing
US9288590B2 (en) Hearing device and method of low power operation thereof
US20170347179A1 (en) In-Ear Utility Device Having Tap Detector
US10922044B2 (en) Wearable audio device capability demonstration
US20170347178A1 (en) In-Ear Utility Device Having a Humidity Sensor
US10636405B1 (en) Automatic active noise reduction (ANR) control
US20170346920A1 (en) In-Ear Utility Device Having Voice Recognition
US20220261468A1 (en) Ear-based biometric identification
KR102133004B1 (ko) 상황에 따라 볼륨을 자동으로 조절하는 장치 및 그 제어방법
EP4164243A1 (en) Active sound device utilizing audio recognition
US20170347183A1 (en) In-Ear Utility Device Having Dual Microphones
KR20140097699A (ko) 3차원 이퀄 라우드니스 컨투어를 이용한 난청 보상 장치 및 방법
KR101737270B1 (ko) 능동 방향성 이득 조정 가능한 양이 보청기 시스템
US20150117688A1 (en) Hybrid hearing device
US20200160858A1 (en) Wake-up word detection
US9635476B2 (en) Method of preventing feedback based on detection of posture and devices for performing the method
US11722813B2 (en) Situational awareness, communication, and safety for hearing protection devices
CN113196797B (zh) 用于可听设备的控制的声学手势检测
WO2023233816A1 (ja) 聴音装置及び聴音装置の制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right