KR20210055715A - 청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치 - Google Patents

청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치 Download PDF

Info

Publication number
KR20210055715A
KR20210055715A KR1020217008648A KR20217008648A KR20210055715A KR 20210055715 A KR20210055715 A KR 20210055715A KR 1020217008648 A KR1020217008648 A KR 1020217008648A KR 20217008648 A KR20217008648 A KR 20217008648A KR 20210055715 A KR20210055715 A KR 20210055715A
Authority
KR
South Korea
Prior art keywords
audio signal
hearing device
processing unit
communication network
user
Prior art date
Application number
KR1020217008648A
Other languages
English (en)
Inventor
마르시아노 베니토 페리어
엘머 디데릭 볼
수크진더 싱
Original Assignee
아우더스 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아우더스 비.브이. filed Critical 아우더스 비.브이.
Publication of KR20210055715A publication Critical patent/KR20210055715A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/04—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception comprising pocket amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/48—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using constructional means for obtaining a desired frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03—Aspects of the reduction of energy consumption in hearing devices

Abstract

본 발명은 청력 장치(hearing device)의 오디오 신호를 향상시키기 위한 방법에 관한 것으로서:
- 청력 장치의 마이크로폰을 이용하여 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 단계,
- 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 환경 오디오 신호를 향상시키기 위해 처리 유닛에 의해 환경 오디오 신호를 처리하는 단계,
- 스피커를 통해 청력 장치를 듣는 사용자에게 향상된 오디오 신호를 출력하는 단계를 포함하고,
처리 유닛은 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 처리 유닛은 통신 네트워크를 통해 청력 장치의 마이크로폰으로부터 환경 오디오 신호를 수신하고 향상된 오디오 신호를 청력 장치의 스피커로 재송신하도록 구성된다.

Description

청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치
본 발명은 청력 장치(hearing device)의 오디오 신호를 향상시키기 위한 방법에 관한 것으로서:
- 청력 장치의 마이크로폰을 이용하여 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 단계,
- 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 환경 오디오 신호를 향상시키기 위해 처리 유닛에 의해 환경 오디오 신호를 처리하는 단계,
- 스피커를 통해 청력 장치를 듣는 사용자에게 향상된 오디오 신호를 출력하는 단계를 포함한다.
WO 2018/083570 A1은 마이크로폰, 스마트 폰 및 서로 작동 가능하게 연결된 이어폰을 포함하는 지능형 보청기를 개시하며, 여기서 마이크로폰은 환경 오디오 데이터를 수신하고, 녹음하고, 그리고 스마트 폰으로 전송하도록 구성된다. 스마트 폰은 마이크로폰으로부터 수신된 오디오 데이터에 대해 소음 억제 및 데이터 증폭을 수행하여 향상된 오디오 데이터를 생성하여 이어폰으로 전송하도록 구성된다. 이어폰은 향상된 오디오 데이터를 수신하고 출력하도록 구성된다.
그러나, 위에서 설명한 종래 기술에 따른 장치의 문제점은 사용자의 사운드 지각(sound perception)을 향상시키기 위해 오디오 신호를 처리하는데 상당한 양의 처리 능력이 필요하다는 점이다. 이러한 처리는 일반적으로 사용자의 청력 장치에 포함된 프로세서(CPU) 또는 처리 유닛에 의해 수행된다. 실제로, 이로 인해 크게 감소된 배터리 수명, 지나치게 복잡한 청력 장치, 높은 비용, 및, 무엇보다도, 높은 CPU 부하가 발생한다.
또한, 사용자가 보청기 등을 휴대할 때, 환경 오디오 신호를 사용자의 최적의 사운드 지각과 매칭되는 신호로 처리하기 위해, 사용자의 귀 내에 또는 사용자의 귀 상에 추가되는 보청기의 무게 때문에 사용자의 편안함이 상대적으로 낮아진다. 추가적으로, 청력 장치/보청기를 휴대하는 경우 종종 사용자에게 낙인이 찍히게 된다.
US 2015/0199977 A1은 또한 보청기, 서버, 및 스마트 폰 또는 태블릿 컴퓨터와 같은 외부 장치를 포함하는, 오디오 신호의 음성 명료도를 개선하기 위한 시스템을 개시하고 있다. 보청기는 단거리 트랜시버(transceiver)를 갖는다. 서버는 인터넷을 통해 액세스할 수 있으며, 음성을 텍스트로 변환하는 음성 인식 엔진을 갖는다. 외부 장치는 상기 보청기와 통신하기 위한 단거리 트랜시버, 인터넷을 통해 상기 서버에 무선 데이터 연결을 제공하는 제 2 트랜시버, 보청기용으로 의도된 음성 스트림을 처리하기 위한 수단, 및 텍스트 문자열에 기초하여 음성을 합성하도록 구성된 텍스트-음성 엔진을 가지고 있다. 오디오 신호의 음성 명료도를 개선하는 방법도 또한 개시되어 있다. 그러나, 오디오 신호를 개선하는 것, 예를 들어 청력 손실을 보상하는 것은 보청기 자체의 디지털 프로세서(예를 들어, US 2015/0199977 A1의 도 1에서 참조 번호 35)에 의해 또는 단락 [0010], [0040], [0046]에 개시된 바와 같이 테이블 또는 스마트 폰과 같은 외부 장치에 의해 수행되고, 이는 상당한 양의 "로컬" 처리 능력, 배터리 사용량이 필요하고, 사용자가 많은 장치를 휴대하거나 또는 조작해야 할 필요가 있다.
US 2010/0040248 A1은 하나 이상의 보조 프로세서 장치를 사용하여 청력 보조 장치를 향상시키는 기술을 개시하고 있다. 그러나, 대부분의 신호 처리는 여전히 청력 보조 장치 자체에서 수행된다.
US 2013/0343584 A1은 청력 보조 장치를 개시하고 있고, 여기서 하나 이상의 기능은 외부 장치의 자원을 활용하여 지원되거나 또는 개선된다. 또한, US 2013/0343584 A1의 개시에 따르면, 상당한 양의 처리가 여전히 청력 보조 장치 자체에서 수행될 수 있다.
따라서 본 발명의 목적은 사용자 측의 청력 장치의 배터리 수명이 증가하고, 사용자 장치가 단순화될 수 있으며, 중요하게는, 높은 CPU 부하를 방지할 수 있는, 사용자의 사운드 지각을 개선시키도록 청력 장치의 오디오 신호를 향상시키기 위한 방법을 제공하는 것이다.
본 발명의 다른 목적은 비교적 편안한 청력 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 사용자가 청력 장치를 착용하고 있을 때 보여질 가능성이 적어 사용자가 낙인 찍힐 가능성이 적도록 설계될 수 있는 청력 장치를 제공하는 것이다.
여기에서, 본 발명에 따른 방법은 처리 유닛이 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 여기서 처리 유닛은 통신 네트워크를 통해 청력 장치의 마이크로폰으로부터 환경 오디오 신호를 수신하고 향상된 오디오 신호를 청력 장치의 스피커로 재송신하도록 구성된다.
환경 오디오 신호를 향상된 오디오 신호로 처리하는 것이 (대부분) 보청기 자체에서 수행되지 않기 때문에, 사용자 측에 요구되는 처리 능력의 양이 크게 감소된다. 처리는 더 이상 사용자의 위치에 배치되는 청력 장치 또는 스마트 폰과 같은 유사한 장치에 포함된 프로세서(CPU) 또는 처리 유닛에 의해 수행될 필요가 없다.
이는 크게 증가된 배터리 수명, 비교적 덜 복잡한 청력 장치, 낮은 비용, 및 낮은 CPU 부하로 이어진다.
환경 오디오 신호는 말하는 사람, 바람, 지나가는 차량 등과 같이 청력 장치를 듣는 사용자 주변에서 형성되는 임의의 유형의 오디오 신호일 수 있으며, 스마트 폰, 노트북, TV와 같은 사용자 근처의 사용자 장비로부터 발생하는 오디오일 수도 있다.
본 특허 출원의 맥락에서, "청력 장치"는 단순히 기존의 인-이어(in-ear) 타입의 보청기뿐만 아니라, 청력을 개선시킬 수 있는 장치로 광범위하게 해석되어야 한다는 점에 유의해야 한다.
또한, 사용되는 소음 억제 및 오디오 데이터 증폭 알고리즘은 예를 들어 위에서 설명한 종래 기술 문헌 WO 2018/083570 A1로부터 당업자에게 공지되어 있다. "청력 장치로부터 떨어져"라는 표현은 처리가 보청기 자체에서 수행되지 않으며, 사용자가 보유하거나 또는 휴대하는 다른 장치 상에서 - 또는 다른 장치에 의해 - 수행되지 않는다는 것을 의미한다. 그러나, 처리가 예를 들어 사용자가 위치되어 있는 방에 배치된 서버에서 수행되는 것이 고려될 수 있다. 그러나, 바람직하게는, 처리 유닛은 예를 들어 인터넷 서버 또는 클라우드 컴퓨팅 네트워크의 서버에 배치된다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 통신 네트워크는 50 ms 미만의 지연 속도(latency)를 갖도록 구성된다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 통신 네트워크는 30 ms 미만의 지연 속도를 갖도록 구성된다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 통신 네트워크는 10 ms 미만의 지연 속도를 갖도록 구성된다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 통신 네트워크는 1 내지 5 ms의 지연 속도를 갖도록 구성된다.
위에서 설명한 지연 속도의 장점은 청력 장치와 처리 유닛 사이의 "실시간" 통신이 이루어질 수 있다는 것이고, 여기서 사용자는 50 ms 이하의 지연 속도를 갖는 "실시간"을 경험하게 된다. 지연 속도라 함은 패키지가 통신 네트워크를 통해 청력 장치로부터 처리 유닛으로, 그리고 처리 유닛으로부터 청력 장치로 이동하는데 걸리는 시간인 "응답 시간"을 의미한다. 특히, 본 발명자는 50 ms 미만의 지연 속도가 예를 들어 5G 네트워크를 통해 달성될 수 있다는 것을 발견했다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 청력 장치는 청력 장치의 마이크로폰으로부터 통신 네트워크의 처리 유닛으로 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 향상된 오디오 신호를 통신 네트워크의 처리 유닛으로부터 무선으로 수신하기 위한 수신기를 갖는 통신 유닛에 연결된다. 이는 예를 들어 Wi-Fi 또는 Bluetooth 송신기 또는 수신기가 사용자 가까이에 있을 수 있는 Wi-Fi 또는 Bluetooth 연결을 통해 달성될 수 있다.
일 실시예는 위에서 설명한 방법에 관한 것으로서, 통신 네트워크는 본 출원인에 의해 네덜란드 특허 출원 NL 2020909에 개시된 것과 같이 사용자의 최적의 청력 프로파일에 매칭되도록 향상된 오디오 신호를 추가로 처리하는 추가 처리 유닛을 포함한다(상기 출원의 내용은 이로써 본 출원에 참조로 포함됨).
이러한 방식으로, 환경 오디오 신호가 추가 처리 유닛으로 직접 보내질 수 있고, 여기서 저장된 최적의 청력 프로파일과 환경 오디오 신호를 매칭시키도록 처리될 것이다. 대안적으로, 환경 오디오 신호는 먼저 처리 유닛에 의해 처리되어 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 오디오 신호를 향상시키고, 그 후 사용자의 최적의 청력 프로파일과 매칭되도록 추가로 처리된다.
본 발명의 또 다른 양태는 청력 장치의 오디오 신호를 향상시키기 위한 시스템에 관한 것으로서:
- 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하기 위해 청력 장치에 포함된 마이크로폰,
- 소음을 억제하고 및/또는 오디오 데이터를 증폭함에 의해 환경 오디오 신호를 향상시킴으로써 환경 오디오 신호를 처리하는 처리 유닛,
- 청력 장치를 듣는 사용자에게 향상된 오디오 신호를 출력하도록 구성된 이어폰과 같은 스피커를 포함하고,
처리 유닛은 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 상기 처리 유닛은 통신 네트워크를 통해 청력 장치의 마이크로폰으로부터 환경 오디오 신호를 수신하고 향상된 오디오 신호를 청력 장치의 스피커로 재송신하도록 구성되는 것을 특징으로 한다.
일 실시예는 시스템에 관한 것으로서, 청력 장치는 청력 장치의 마이크로폰으로부터 통신 네트워크의 처리 유닛으로 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 향상된 오디오 신호를 통신 네트워크의 처리 유닛으로부터 무선으로 수신하기 위한 수신기를 갖는 통신 유닛에 연결된다.
일 실시예는 시스템에 관한 것으로서, 통신 유닛의 수신기 및 송신기는 별도의 송신기 및 수신기를 갖는 통신 유닛보다 더 컴팩트한(compact) 트랜시버로서 구성된다.
일 실시예는 시스템에 관한 것으로서, 청력 장치는 통신 유닛을 포함하여, 청력 장치는 완전히 자립적으로 구성된다(self-contained).
일 실시예는 시스템에 관한 것으로서, 통신 네트워크는 50 ms 미만, 보다 바람직하게는 30 ms 미만, 더욱더 바람직하게는 10 ms 미만, 가장 바람직하게는 1 내지 5 ms의 지연 속도를 갖도록 구성된다.
본 발명의 또 다른 양태는 위에서 설명한 방법 또는 시스템에서 사용하기 위한 청력 장치에 관한 것으로서:
- 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 마이크로폰,
- 청력 장치를 듣는 사용자에게 향상된 오디오 신호를 출력하도록 구성된 스피커,
- 청력 장치의 마이크로폰으로부터 통신 네트워크의 처리 유닛으로 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 향상된 오디오 신호를 통신 네트워크의 처리 유닛으로부터 무선으로 수신하기 위한 수신기를 갖는 통신 유닛 - 처리 유닛은 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 처리 유닛은 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 환경 오디오 신호를 향상시키기 위해 환경 오디오 신호를 처리하도록 구성됨 - 을 포함한다.
이하에서는, 본 발명에 따른 방법의 예시적인 실시예를 참조하고 또한 도면을 참조하여 본 발명을 설명하도록 한다.
도 1은 본 발명에 따른 시스템의 예시적인 실시예를 도시한다.
도 2는 본 발명에 따른 시스템의 예시적인 실시예를 도시한다.
도 1은 본 발명에 따른 시스템의 예시적인 실시예를 개시한다. 시스템은 처리 유닛(3)과 통신하는 청력 장치(2)를 포함하고, 여기서 처리 유닛(3)은 서버(4)에 위치된다. 서버(4)는 청력 장치(2)로부터 거리를 두고 위치되며, 여기서 서버(4)는 통신망과 같은 통신 네트워크(14) 또는 인터넷과 같은 공중 통신 네트워크를 통해 청력 장치(2)와 통신한다.
청력 장치(2)는 제 1 및 제 2 마이크로폰(11, 11'), 제 1 및 제 2 스피커(9, 9'), 디지털 아날로그 변환기(10), 및 통신 유닛(1)을 포함한다. 통신 유닛(1)은 송신기(8) 및 수신기(5)를 포함한다.
예를 들어, 청력 장치(2)는 유사한 기능을 갖는 심 카드 또는 전용 칩(도시되지 않음)을 포함하는, 사용자가 착용할 스마트 폰 또는 히어링(hearing)과 같은 사용자 장비이고, 여기서 청력 장치는 5G 통신망과 같은 통신망을 통해 서버(4)에 연결된다.
통신 유닛(1)의 송신기(8)는 청력 장치(2)의 2 개의 마이크로폰(11, 11')과 통신 가능하게 연결된다. 2 개의 마이크로폰(11, 11')을 사용하면, 환경 오디오 신호가 오는 방향을 식별할 수 있다. 통신 유닛(1)의 수신기(5)는 청력 장치(2)의 스피커(9, 9')와 통신 가능하게 연결된다. 청력 장치(2)가 단일 마이크로폰(11) 및/또는 단일 스피커(9)를 포함하는 것도 가능하다.
송신기(8) 및 수신기(5)는 처리 유닛(3)에 통신 가능하게 연결된다. 처리 유닛(3)은 송신기(8)를 통해 마이크로폰(11, 11')으로부터 수신된 오디오 신호를 처리하도록 구성되고, 청력 장치(2)에 배치된 통신 유닛(1)의 수신기(5)를 통해, 처리된 오디오 신호를 스피커(9, 9')로 송신하도록 구성된다.
디지털-아날로그 변환기는 디지털 신호를 아날로그 신호로 또는 그 반대로 변환하도록 구성된다. 이 경우에, 디지털-아날로그 변환기는, 환경 오디오 신호를 송신기(8)를 통해 처리 유닛(3)에 무선으로 보내기 전에, 마이크로폰(11, 11')에 의해 수신된 아날로그 환경 오디오 신호를 디지털 신호로 변환하도록 구성된다. 환경 오디오 신호가 처리 유닛(3)에 의해 향상된 오디오 신호로 처리된 후, 향상된 오디오 신호는 수신기(5)로 전달된다. 디지털-아날로그 변환기는 이 경우 디지털 향상된 오디오 신호를 아날로그 오디오 신호로 변환하고, 그 후 향상된 오디오 신호는 스피커(9)를 통해 사용자(12)에게 전달된다.
도 1에서는 스피커(9, 9')가 청력 장치(2)에 배치되어 있다는 것을 보여준다. 그러나, 청력 장치(2)의 스피커(9, 9')가 도 2에 도시된 바와 같이 청력 장치(2)로부터 (짧은) 거리에 배치되는 것도 가능하다. 수신기(5)는 스피커(9) 및 디지털-아날로그 변환기(도시되지 않음)를 포함하는 스피커 유닛(16)의 추가 수신기(15)에 무선으로 연결된다. 수신기(5)와 추가 수신기(15) 사이의 연결은 예를 들어 블루투스 또는 NFC(Near Field Communication)를 통해 배치될 수 있다. 예를 들어, 마이크로폰(11)을 갖는 청력 장치(2)가 사용자(12) 근처의 방에 있는 테이블에 배치되는 것으로 예상되고, 여기서 사용자(12)는 스피커 유닛(16)을 착용하고 있다.
스피커 유닛(16)은 헤드셋, 또는 예를 들어 Apple 에어팟과 같은 헤드폰일 수 있다. 또한, 스피커 유닛(16)은 적어도 부분적으로 사용자의 하나 또는 2 개의 귀에 각각 삽입될 수 있는 단일 또는 2 개의 이어폰(9, 9')을 포함할 수 있다.
일 실시예에서, 스피커(9)는 유선을 통해 통신 유닛(1)과 간단하게 연결된다. 이 실시예에서, 디지털-아날로그-변환기 및 추가 수신기(15)를 포함하는 스피커 유닛(16)은 필요하지 않으며, 스피커(9)는 청력 장치(2)로부터 (비교적 짧은) 거리에 제공될 수 있다.
도 2는 청력 장치(2)의 오디오 신호를 향상시키기 위한 시스템(13)의 예시적인 실시예를 개시한다. 청력 장치(2)의 마이크로폰(11)은 청력 장치(2)를 듣는, 즉, 청력 장치(2)를 휴대하는 사용자(12)의 환경으로부터 발생하는 환경 오디오 신호를 수신하도록 구성된다. 환경 오디오 신호는 처리 유닛(3)에 의해 처리되어 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 환경 오디오 신호를 향상시킨다. 향상된 오디오 신호는 스피커(9)를 통해 청력 장치(2)를 듣는 사용자(12)에게 출력된다. 처리 유닛(3)은 청력 장치(2)로부터 (물리적으로) 떨어져 통신 네트워크(14)에 배치된다. 처리 유닛(3)은 통신 네트워크(14)를 통해 청력 장치(2)의 마이크로폰(11)으로부터 환경 오디오 신호를 수신하고 향상된 오디오 신호를 청력 장치(2)의 스피커(9)로 재송신하도록 구성된다. 통신 네트워크(14)는 바람직하게는 50 ms 미만, 보다 바람직하게는 30 ms 미만, 더욱더 바람직하게는 10 ms 미만, 가장 바람직하게는 1 내지 5 ms의 지연 속도를 갖도록 구성된다. 통신 네트워크(14)의 대역폭, 통신 네트워크(14)의 부하, 접속 경쟁률(contention ratio)(실제 대역폭에 대한 잠재적인 최대 수요의 비율), 로컬 교환과의 거리, 트래픽 스로틀링(traffic throttling), 서버의 부하, 네트워크 경로 및 발생한 라우팅 지연의 수 및 크기와 같이 통신 네트워크(14)의 지연 속도를 감소시키는 역할을 하는 여러 개의 요인이 있다. 또한, 네트워크의 노드의 수가 통신 네트워크의 지연 속도에 영향을 미칠 것으로 예상되며, 여기서 노드(예를 들어, 라우터)가 많을수록, 당업자에게 알려진 바와 같이 라우팅 지연으로 인해 지연 속도가 더 증가한다.
예를 들어 보청기(2) 자체에서 소량의 최종 처리가 수행될 수 있다는 점에 유의해야 한다. 그러나, 향상된 오디오 신호는 본질적으로 통신 네트워크(14)에 배치된 처리 유닛(3)에 의해 90 내지 100 % 또는 완전히, 즉, 100 %와 같이 거의 완전히 생성/처리되므로, 로컬에서, 예를 들어 청력 장치(2) 자체에서 오디오 향상 처리가 수행될 필요가 없거나 또는 최소한의 오디오 향상 처리 및/또는 최종 처리만이 수행되기만 하면 된다.
본 발명의 범위에 속하는, 소음을 억제하고 및/또는 오디오 데이터를 증폭하기 위한 많은 오디오 향상 기술이 사용될 수 있는데, 예를 들어, 능동 소음 감소/차단, 바람 소음 감소, 임펄스 소음 감소, 폐색 감소, 피드백 제어, 사운드 스무딩(sound smoothing), 음성 향상 및/또는 포커스, 장치의 양귀 연결(binaural connection), T-설정, FM 호환성, 디지털 신호 처리, 다중 채널 처리, 방향 조작, 사운드 선택, 위치 또는 환경에 따른 자동 설정 제어, 사용자 정의 다중 메모리, 동작 감지, 주파수 압축, 방향성 음성 향상, 및 오디오/비디오(a/v) 동기화가 사용될 수 있지만, 이에 국한되지 않는다. 또한, 리듬, 다이내믹스, 멜로디, 하모니, 형태, 음색 및 질감과 같은 음악 요소들을 향상시키는 기술 및 알고리즘이 고려될 수 있다.
a/v 동기화에 있어서, 특히 영화 중에 립 동기화(lip synchronization)와 관련하여, 오디오 피드(audio feed)가 비디오 피드를 100 ms 이하만큼 앞서고 오디오가 비디오보다 25 ms 이하만큼 지연되는 경우, 따라서 비디오 피드와 관련하여 오디오 지연 시간이 -100 ms 내지 +25 ms일 때, 오디오와 비디오 간의 편차는 일반적으로 감지될 수 없다는 것이 발견되었다. 일반적으로 편차는 오디오 지연 시간이 -125 ms 내지 +45 ms일 때 감지될 수 있다. 또한, -185 ms 내지 +90 ms의 오디오 지연 시간은 허용되지 않는 것으로 간주된다. 이상에서, 본 발명자들은 본 발명을 사용하여 일반적으로 감지될 수 없는 a/v 동기화를 위해, 적어도 50 ms의 지연 속도를 갖는 연결이 제공되어야 한다는 것을 발견했고, 이는 5G 네트워크를 사용하여 가능하다는 것을 발견했다. 다른 오디오 향상 기술에 대해서도 유사한 추정을 할 수 있다.
청력 장치(2)는 청력 장치(2)의 마이크로폰(11)으로부터 통신 네트워크(14)의 처리 유닛(3)으로 환경 오디오 신호를 (무선으로) 송신하기 위한 송신기(8) 및 통신 네트워크(14)의 처리 유닛(3)으로부터의 향상된 오디오 신호를 (무선으로) 수신하기 위한 수신기(5)를 갖는 통신 유닛(1)을 포함한다. 바람직하게는 통신 유닛(1)은 청력 장치(2)에 또는 청력 장치에 의해 물리적으로 포함된다.
처리 유닛(3)은 데이터베이스(7)를 포함하는 저장 유닛(6)과 통신한다. 저장 유닛(6)은 또한 서버(4)에 배치될 수도 있다. 바람직하게는, 데이터베이스는 각각의 다수의 사용자(12)와 관련된 다수의 최적의 청력 프로파일을 포함한다. 각각의 최적의 청력 프로파일은 사용자(12)의 청력 범위에 대한 정보를 포함한다. 데이터베이스(7)에 액세스함으로써, 환경 오디오 신호를 향상된 오디오 신호로 처리할 때 사용자(12)의 최적의 청력 프로파일을 고려할 수 있다. 이러한 방식으로, 소음 억제 및/또는 증폭은, 비록 부분적이지만, 사용자(12)의 최적의 청력 프로파일에 기초할 수 있다. 이는 예를 들어 복수의 사용자(12)가 Skype, Goto 또는 Zoom 회의와 같은 온라인 회의에 (동시에) 참여할 때 매우 유용할 수 있고, 각 사용자(12)는, 향상된 오디오 신호를 생성하기 위해 오디오 신호를 로컬에서 처리할 필요 없이, 최적의 사운드를 들을 수 있다.
본 발명에 따른 청력 장치(2)의 오디오 신호를 향상시키기 위한 방법은 다음 단계들을 포함한다:
- 청력 장치(2)의 마이크로폰(11)을 통해, 청력 장치(2)를 듣는 사용자(12)의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 단계;
- 통신 유닛(1)의 송신기(8)를 통해 환경 오디오 신호를 서버(4)에 배치된 처리 유닛(3)으로 보내는 단계 - 상기 처리 유닛(3)은 통신 유닛(1)으로부터 거리를 두고 배치되어 통신 네트워크(14)를 통해 여기에 연결됨 - ;
- 처리 유닛(3)에 의해, 환경 오디오 신호를 처리함으로써, 이에 의해 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 향상된 환경 오디오 신호를 형성하는 단계;
- 처리 유닛(3)에 의해, 향상된 오디오 신호를 통신 유닛(1)의 수신기(5)를 통해 스피커(9)로 통신하는 단계; 및
- 스피커(9)를 통해 청력 장치(2)를 듣고 있는 사용자(12)에게 향상된 오디오 신호를 출력하는 단계.
상기 설명은 본 발명의 바람직한 실시예의 동작을 설명하기 위한 것이며, 본 발명의 보호 범위를 감소시키기 위한 것이 아님이 명백해야 한다. 이상의 설명으로부터 시작하여, 본 발명의 발명 개념 및 보호 범위 내에서 많은 실시예가 당업자에게 고려될 수 있을 것이다.
1. 통신 유닛
2. 청력 장치
3. 처리 유닛
4. 서버
5. 수신기
6. 저장 유닛
7. 데이터베이스
8. 송신기
9. 스피커/이어폰
10. (디지털-아날로그) 변환기
11. 마이크로폰
12. 사용자
13. 시스템
14. 통신 네트워크
15. 추가 수신기
16. 스피커 유닛

Claims (15)

  1. 청력 장치(hearing device)의 오디오 신호를 향상시키기 위한 방법으로서,
    - 상기 청력 장치의 마이크로폰을 이용하여 상기 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 단계,
    - 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 상기 환경 오디오 신호를 향상시키기 위해 처리 유닛에 의해 상기 환경 오디오 신호를 처리하는 단계,
    - 스피커를 통해 상기 청력 장치를 듣는 상기 사용자에게 상기 향상된 오디오 신호를 출력하는 단계를 포함하는, 상기 방법에 있어서,
    상기 처리 유닛은 상기 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 상기 처리 유닛은 상기 통신 네트워크를 통해 상기 청력 장치의 상기 마이크로폰으로부터 상기 환경 오디오 신호를 수신하고 상기 향상된 오디오 신호를 상기 청력 장치의 상기 스피커로 재송신하도록 구성되는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 통신 네트워크는 50 ms 미만의 지연 속도(latency)를 갖도록 구성되는 것인, 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 통신 네트워크는 30 ms 미만의 지연 속도를 갖도록 구성되는 것인, 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 통신 네트워크는 10 ms 미만의 지연 속도를 갖도록 구성되는 것인, 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 통신 네트워크는 1 내지 5 ms의 지연 속도를 갖도록 구성되는 것인, 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 청력 장치는 상기 청력 장치의 상기 마이크로폰으로부터 상기 통신 네트워크의 상기 처리 유닛으로 상기 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 상기 통신 네트워크의 상기 처리 유닛으로부터 상기 향상된 오디오 신호를 무선으로 수신하기 위한 수신기를 갖는 통신 유닛에 연결되는 것인, 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 통신 네트워크는 상기 사용자의 최적의 청력 프로파일과 매칭되도록 상기 향상된 오디오 신호를 추가로 처리하기 위한 추가 처리 유닛을 포함하는 것인, 방법.
  8. 청력 장치의 오디오 신호를 향상시키기 위한 시스템으로서,
    - 상기 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하기 위해 상기 청력 장치에 포함되는 마이크로폰,
    - 소음을 억제하고 및/또는 오디오 데이터를 증폭함에 의해 상기 환경 오디오 신호를 향상시킴으로써 상기 환경 오디오 신호를 처리하는 처리 유닛,
    - 상기 청력 장치를 듣는 상기 사용자에게 상기 향상된 오디오 신호를 출력하도록 구성된 스피커를 포함하는, 상기 시스템에 있어서,
    상기 처리 유닛은 상기 청력 장치로부터 떨어져 통신 네트워크에 배치되고, 상기 처리 유닛은 상기 통신 네트워크를 통해 상기 청력 장치의 상기 마이크로폰으로부터 상기 환경 오디오 신호를 수신하고 상기 향상된 오디오 신호를 상기 청력 장치의 상기 스피커로 재송신하도록 구성되는 것을 특징으로 하는 시스템.
  9. 제 8 항에 있어서,
    상기 청력 장치는 상기 청력 장치의 상기 마이크로폰으로부터 상기 통신 네트워크의 상기 처리 유닛으로 상기 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 상기 통신 네트워크의 상기 처리 유닛으로부터 상기 향상된 오디오 신호를 무선으로 수신하기 위한 수신기를 갖는 통신 유닛에 연결되는 것인, 시스템.
  10. 제 9 항에 있어서,
    상기 통신 유닛의 상기 수신기 및 상기 송신기는 트랜시버(transceiver)로서 구성되는 것인, 시스템.
  11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 청력 장치는 상기 통신 유닛을 포함하는 것인, 시스템.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 통신 네트워크는 50 ms 미만, 보다 바람직하게는 30 ms 미만, 더욱더 바람직하게는 10 ms 미만, 가장 바람직하게는 1 내지 5 ms의 지연 속도를 갖도록 구성되는 것인, 시스템.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 처리 유닛은 상기 사용자와 관련된 최적의 청력 프로파일을 포함하는 데이터베이스를 포함하는 저장 유닛과 통신하는 것인, 시스템.
  14. 제 13 항에 있어서,
    상기 처리 유닛은 각각의 다수의 사용자와 관련된 다수의 최적의 청력 프로파일을 포함하는 데이터베이스를 포함하는 저장 유닛과 통신하고, 상기 환경 오디오 신호를 상기 향상된 오디오 신호로 처리할 때 각 사용자의 최적의 청력 프로파일이 고려되는 것인, 시스템.
  15. 제 1 항 내지 제 7 항 중 어느 한 항의 방법 또는 제 8 항 내지 제 14 항 중 어느 한 항의 시스템에 사용하기 위한 청력 장치로서,
    - 상기 청력 장치를 듣는 사용자의 환경으로부터 발생하는 환경 오디오 신호를 수신하는 마이크로폰,
    - 상기 청력 장치를 듣는 상기 사용자에게 향상된 오디오 신호를 출력하도록 구성된 스피커,
    - 상기 청력 장치의 상기 마이크로폰으로부터 통신 네트워크의 처리 유닛으로 상기 환경 오디오 신호를 무선으로 송신하기 위한 송신기 및 상기 통신 네트워크의 상기 처리 유닛으로부터 상기 향상된 오디오 신호를 무선으로 수신하기 위한 수신기를 갖는 통신 유닛 - 상기 처리 유닛은 상기 청력 장치로부터 떨어져 상기 통신 네트워크에 배치되고, 상기 처리 유닛은 소음을 억제하고 및/또는 오디오 데이터를 증폭함으로써 상기 환경 오디오 신호를 향상시키기 위해 상기 환경 오디오 신호를 처리하도록 구성됨 - 을 포함하는, 청력 장치.
KR1020217008648A 2018-08-23 2019-08-22 청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치 KR20210055715A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2021491 2018-08-23
NL2021491A NL2021491B1 (en) 2018-08-23 2018-08-23 Method, system, and hearing device for enhancing an environmental audio signal of such a hearing device
PCT/NL2019/050541 WO2020040638A1 (en) 2018-08-23 2019-08-22 Method, system, and hearing device for enhancing an environmental audio signal of such a hearing device

Publications (1)

Publication Number Publication Date
KR20210055715A true KR20210055715A (ko) 2021-05-17

Family

ID=68240787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217008648A KR20210055715A (ko) 2018-08-23 2019-08-22 청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치

Country Status (9)

Country Link
US (1) US20210195346A1 (ko)
EP (1) EP3841762A1 (ko)
JP (1) JP2021536207A (ko)
KR (1) KR20210055715A (ko)
CN (1) CN112956214A (ko)
AU (1) AU2019324315A1 (ko)
CA (1) CA3113989A1 (ko)
NL (1) NL2021491B1 (ko)
WO (1) WO2020040638A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930348A3 (en) 2020-06-25 2022-03-23 Oticon A/s A hearing system comprising a hearing aid and a processing device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721783A (en) * 1995-06-07 1998-02-24 Anderson; James C. Hearing aid with wireless remote processor
DE602005022562D1 (de) * 2005-05-03 2010-09-09 Oticon As System und Verfahren zum Teilen von Netzwerkresourcen zwischen Hörgeräten
US7929722B2 (en) 2008-08-13 2011-04-19 Intelligent Systems Incorporated Hearing assistance using an external coprocessor
US8611570B2 (en) * 2010-05-25 2013-12-17 Audiotoniq, Inc. Data storage system, hearing aid, and method of selectively applying sound filters
US20150281853A1 (en) * 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
US9185501B2 (en) * 2012-06-20 2015-11-10 Broadcom Corporation Container-located information transfer module
EP2936834A1 (en) * 2012-12-20 2015-10-28 Widex A/S Hearing aid and a method for improving speech intelligibility of an audio signal
US20140254842A1 (en) * 2013-03-07 2014-09-11 Surefire, Llc Situational Hearing Enhancement and Protection
EP2874410A1 (en) * 2013-11-19 2015-05-20 Oticon A/s Communication system
CN104023302A (zh) * 2014-05-19 2014-09-03 周电 可编程数字助听系统及其方法
WO2016022905A1 (en) * 2014-08-08 2016-02-11 The Regents Of The University Of California External device leveraged hearing assistance and noise suppression device, method and systems
EP3159017B1 (de) * 2015-10-19 2018-05-02 Bioenergy Capital AG Resorbierbare matrix zur wundabdeckung
WO2017101978A1 (en) * 2015-12-15 2017-06-22 Sonova Ag Method of operating a hearing device
EP3285500B1 (en) * 2016-08-05 2021-03-10 Oticon A/s A binaural hearing system configured to localize a sound source
AU2017355584B2 (en) 2016-11-02 2020-02-20 Chears Technology Company Limited Intelligent hearing aid

Also Published As

Publication number Publication date
WO2020040638A1 (en) 2020-02-27
NL2021491B1 (en) 2020-02-27
US20210195346A1 (en) 2021-06-24
CA3113989A1 (en) 2020-02-27
EP3841762A1 (en) 2021-06-30
AU2019324315A1 (en) 2021-04-22
JP2021536207A (ja) 2021-12-23
CN112956214A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
EP3258707B1 (en) Nfmi based synchronization
EP4203515A1 (en) Communication device and hearing aid system
CN108886647B (zh) 耳机降噪方法及装置、主耳机、从耳机及耳机降噪系统
US11664042B2 (en) Voice signal enhancement for head-worn audio devices
US20160088403A1 (en) Hearing assistive device and system
US20230319497A1 (en) Sensor management for wireless devices
KR20210055715A (ko) 청력 장치의 환경 오디오 신호를 향상시키기 위한 방법, 시스템 및 이러한 청력 장치
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
US9913029B2 (en) Sound filtering system
EP4207194A1 (en) Audio device with audio quality detection and related methods
US20230209282A1 (en) Communication device, terminal hearing device and method to operate a hearing aid system
US20230209281A1 (en) Communication device, hearing aid system and computer readable medium
JP6409378B2 (ja) 音声通信装置およびプログラム