KR102139599B1 - 음향 전달 장치 - Google Patents

음향 전달 장치 Download PDF

Info

Publication number
KR102139599B1
KR102139599B1 KR1020180150491A KR20180150491A KR102139599B1 KR 102139599 B1 KR102139599 B1 KR 102139599B1 KR 1020180150491 A KR1020180150491 A KR 1020180150491A KR 20180150491 A KR20180150491 A KR 20180150491A KR 102139599 B1 KR102139599 B1 KR 102139599B1
Authority
KR
South Korea
Prior art keywords
gain
sound
energy
noise
frequency band
Prior art date
Application number
KR1020180150491A
Other languages
English (en)
Other versions
KR20200064397A (ko
Inventor
이승우
Original Assignee
주식회사 비에스엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비에스엘 filed Critical 주식회사 비에스엘
Priority to KR1020180150491A priority Critical patent/KR102139599B1/ko
Publication of KR20200064397A publication Critical patent/KR20200064397A/ko
Application granted granted Critical
Publication of KR102139599B1 publication Critical patent/KR102139599B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurosurgery (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 이동이 용이하며 복수의 마이크들을 구비하여 음원이나 듣고자 하는 방향에 대한 지향성을 향상시키고 잡음 제거 성능을 향상시킨 음향 전달 장치에 관한 것이다.
본 발명인 음향 전달 장치는 적어도 하나 이상의 전기 기기와 통신을 수행하는 통신부와, 서브 마이크들로부터의 음향들 각각에 대하여 선호 방향으로의 지연 및 이득 처리를 수행한 후 가산하여 음향을 생성하고, 생성된 음향에 대하여 통신부와 통신 연결된 전기 기기의 특성에 따라 잡음 제거 처리만을 수행하거나, 마이크로부터의 음향에 대하여 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리를 수행하여, 처리된 음향을 통신부를 통하여 전기 기기에 전송하는 데이터 프로세서를 구비한다.

Description

음향 전달 장치{SOUND TRANSFERRING APPARATUS}
본 발명은 음향 전달 장치에 관한 것으로서, 특히 이동이 용이하며 복수의 마이크들을 구비하여 음원이나 듣고자 하는 방향에 대한 지향성을 향상시키고 잡음 제거 성능을 향상시킨 음향 전달 장치에 관한 것이다.
일반적으로 난청인은 일상생활에서 대화를 듣고 나누는데 이해가 곤란할 정도로 소리를 잘 듣지 못하는 사람 즉, 청각에 장애를 갖고 있는 사람을 말하며, 난청 정도에 따라 경도 난청, 중도 난청, 중고도 난청 및 고도 난청 등으로 분류된다.
난청의 종류로는 전음성 난청, 감응성 난청 및 혼합성 난청이 있으며, 외이도가 상했다거나, 고막이 천공되었거나, 이소골이 이탈되었거나, 외이염 또는 중이염으로 인하여 실청되었거나, 노인성 난청, 선천적 난청, 유전적 난청, 고음에 의한 실청, 고열 및 약물 부작용에 의한 실청 등의 이유로 골도와 기도의 손상 정도를 기준으로 구분하고 있다.
따라서 이러한 청각에 장애를 가진 난청인은 일상생활을 자연스럽게 할 수 없는바, 난청 정도를 충분히 보상해 줄 수 있는 장치인 보청기가 필요하며, 보청기는 난청 정도에 따라 화자음 또는 주변음을 증폭시켜서 난청인이 말소리를 보다 똑똑히 들을 수 있게 해주며, 보다 자연음에 가깝게 들리도록 보조해주는 장치이다.
일반적으로 보청기는 화자음 및 주변음을 수집하여 전기적인 신호로 출력하는 송화기, 송화기로부터 출력된 신호를 입력 받아 정류 및 증폭하는 증폭기, 증폭기에서 증폭된 신호를 음파로 변환하여 난청인의 귀로 전달하는 수화기 및 송화기, 수화기 및 증폭기로 전력을 공급하는 배터리를 포함하여 이루어진다. 이러한 보청기의 종류로는 상자형, 귀걸이형, 안경형 및 귓속형이 있으며, 최근에는 귓속형을 더욱 발전시킨 것으로 귀 속 깊숙이 넣을 수 있는 고막형이 추가 되었다.
이러한 일반적인 보청기나 청음 보조 장치는 주변 상황(소음 환경)과 상관없이 동일한 상이한 신호 처리 성능과 신호 처리 경로를 통하여 신호 처리를 수행하므로, 특히 음원과 거리가 멀리 떨어져 있는 경우, 주변의 소음이나 반향음 등의 영향으로 사용자는 음원으로부터의 음향을 청취하기 어렵다. 또한, 듣고자 하는 음향의 음원과의 방향이 맞지 않을 경우, 듣고자 하는 음향 이외의 다른 잡음이 듣고자 하는 음향보다 사용자에게 크기 들리는 문제가 있다.
대한민국 특허등록 제10-1760753호 "착용자의 상태를 알려 주는 청음 보조 장치"
본 발명은 이동이 용이하며 복수의 마이크들을 구비하여 음원이나 듣고자 하는 방향에 대한 지향성을 향상시키고 잡음 제거 성능을 향상시킨 음향 전달 장치를 제공하는 것을 목적으로 한다.
본 발명인 음향 전달 장치는 복수의 서브 마이크들로 구성되어 음향을 획득하는 마이크와, 적어도 하나 이상의 전기 기기와 통신을 수행하는 통신부와, 서브 마이크들로부터의 음향들 각각에 대하여 선호 방향으로의 지연 및 이득 처리를 수행한 후 가산하여 음향을 생성하고, 생성된 음향에 대하여 통신부와 통신 연결된 전기 기기의 특성에 따라 잡음 제거 처리만을 수행하거나, 마이크로부터의 음향에 대하여 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리를 수행하여, 처리된 음향을 통신부를 통하여 전기 기기에 전송하는 데이터 프로세서를 구비하고, 데이터 프로세서는 기설정된 크기의 생성된 음향을 푸리에 변환시키는 푸리에 변환부와, 푸리에 변환부로부터의 푸리에 변환된 주파수 영역의 신호의 주파수별 또는 주파수 대역별 에너지를 산정하는 에너지 산정부와, 에너지 산정부로부터의 에너지를 기준으로 하여 생성된 음향에 음성 및 잡음이 포함되어 있는지를 판단하는 음성 및 잡음 판단부와, 에너지 산정부로부터의 에너지를 기준으로 하여 생성된 음향에 돌발성 소음이 포함되어 있는지를 판단하는 돌발성 소음 판단부와, 음성 및 잡음 판단부로부터의 판단 결과와 돌발성 소음 판단부로부터의 판단 결과를 기준으로 하여 주파수별 또는 주파수 대역별 이득을 결정하는 이득 결정부와, 주파수별 또는 주파수 대역별 신호와 이득 결정부로부터의 주파수별 또는 주파수 대역별 이득을 곱하여 이득 처리된 신호를 생성하는 곱셈부와, 이득 처리된 신호를 역푸리에 변환시켜 처리된 음향을 생성하는 역푸리에 변환부를 구비하고, 음성 및 잡음 판단부는 음성 주파수 대역의 에너지의 크기가 제 1 기준 에너지의 크기 이상이고, 서브 마이크들로부터의 음향의 시간 영역(축)에서 일정한 zero crossing이 있는 경우, 서브 마이크들로부터의 음향에 음성이 존재하는 것으로 판단하고, 돌발성 소음 판단부는 전체 주파수 대역의 에너지의 크기와 제 1 기준 에너지보다 큰 제 2 기준 에너지의 크기를 비교하여, 만약 전체 주파수 대역의 에너지의 크기가 제 2 기준 에너지의 크기보다 기준 시간 이상 큰 경우, 서브 마이크들로부터의 음향에 돌발성 소음이 존재하는 것으로 판단한다.
또한, 데이터 프로세서는 서브 마이크들과 선호 방향 간의 배치 구조를 기준으로 하여 서브 마이크들로부터의 음향들에 대한 지연 및 이득 처리를 수행하는 것이 바람직하다.
또한, 데이터 프로세서는 이득 결정부는 서브 마이크들로부터의 음향에 돌발성 소음이 존재하는 경우, 전체 주파수 대역에 대하여 최소 이득을 이득으로 결정하고, 서브 마이크들로부터의 음향에 돌발성 소음이 존재하지 않는 경우, 음성의 존재 여부에 따라 주파수별 또는 주파수 대역별 이득을 결정하는 것 것이 바람직하다.
또한, 이득 결정부는 서브 마이크들로부터의 음향에 돌발성 소음이 존재하지 않고 잡음만 있는 경우 잡음 주파수 대역에는 최소 이득을 이득으로 결정하고, 음성 주파수 대역에는 최소 이득보다 큰 제 1 이득을 이득으로 결정하고, 서브 마이크들로부터의 음향에 음성이 존재하면서, 음성 주파수 대역에서의 에너지가 제 1 기준 에너지 이하인 경우에는 고정 이득(제 1 이득보다 큰 제 2 이득)을 이득으로 결정하고, 서브 마이크들로부터의 음향에 음성이 존재하면서, 음성 주파수 대역에서의 에너지가 제 1 기준 에너지를 초과하는 경우에는 가변 이득(제 2 이득부터 제3 이득(제 1 이득보다는 크고 제 2 이득보다는 작은 이득)까지 선형적으로 감소되는 이득)을 이득으로 결정하는 것이 바람직하다.
또한, 이득 결정부는 음성 및 잡음 판단부로부터의 판단 결과보다 돌발성 소음 판단부로부터의 판단 결과를 우선시 하여 이득을 결정하는 것이 바람직하다.
본 발명은 종래 기술에서 개별 청력에 맞는 주파수별 이득 조절을 위하여 전문가의 도움을 받아 청력을 측정하고, 측정된 청력을 바탕으로 이득보정 연산을 통하고 개인별 취향에 맞추어 약간의 주파수별 이득을 조절하는 과정을 밟는 것 대신에 사용자가 음향 전달 장치를 음원에 근접하게 설치할 수도 있고, 사용자가 직접 이득 보정(증가, 감소)의 크기를 조절할 수 있도록 하며, 전기 기기의 특성에 따라 음향의 처리 과정을 상이하게 함으로써, 다양한 환경에서 사용자에게 향상된 음향 제공을 수행하는 효과가 있다.
또한, 본 발명은 사용자가 듣고자 하는 방향의 음원에 대한 지향성을 향상시키고, 잡음 제거 성능을 향상시키는 효과가 있다.
도 1은 본 발명에 따른 음향 전달 장치를 포함하는 음향 시스템의 구성도이다.
도 2는 데이터 프로세서(9)에서 수행되는 잡음 제거 알고리즘의 블록도이다
이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명에 따른 음향 보정 기능을 지닌 음향 전달 장치를 포함하는 음향 시스템의 구성도이다.
음향 시스템은 이동성을 지님으로써 원하는 장소나 기기에 설치 또는 배치될 수 있으며, 음향을 획득하여 무선 통신 연결되는 전기 기기의 특성을 기준으로 하여 음향에 대한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리 중의 적어도 하나 이상을 수행하여 처리된 음향을 포함하는 음향 신호를 전기 기기(제 1 또는 제 2 전기 기기(20), (30))로 전달하는 음향 전달 장치(10)와, 음향 전달 장치(10) 및/또는 다른 전기 기기와 무선 통신을 수행하며 음향 신호를 수신하여 음 방출시키는 제 1 전기 기기(20)와, 사용자의 인체나 의복에 부착 가능하며 음향을 획득하여 획득된 음향을 이득 보정 처리하여 처리된 음향을 음 방출시키거나 음향 전달 장치(10)와 무선 통신 연결되어 음향 신호를 수신하여 음향 신호에 포함된 음향을 이득 보정 처리하여, 처리된 음향을 음 방출시키는 청음 보조 기능을 수행하는 제 2 전기 기기(30)를 포함한다.
또한, 음향 시스템은 음향 전달 장치(10)와 무선 통신으로 페이링되어 통신 가능 상태에서 음향 전달 장치(10)의 이득 보정 처리 과정에서의 이득의 증가 및 감소(감쇄) 조절을 수행하기 위한 제 3 전기 기기(40)를 포함할 수 있으며, 제 3 전기 기기(40)는 예를 들면 스마트폰, 태블릿 등을 포함한다.
음향 전달 장치(10)는 제 1 전기 기기(20) 및/또는 제 2 전기 기기(30)와 무선 통신으로 페어링되어 통신 가능 상태에서 오디오 스트리밍 방식으로 음향 신호를 전송한다. 즉, 음향 전달 장치(10)는 기설정된 코딩 방식에 따라 음향 신호를 코딩하여 제 1 및 제 2 전기 기기(20), (30)로 전송 또는 전달하고 제 1 및 제 2 전기 기기(20), (30)는 음향 신호를 수신하여 디코딩한다. 제 1 전기 기기(20)는 이득 보정 처리 기능을 수행하지 않고, 수신되는 음향 신호를 내장된 스피커를 통하여 음 방출하는 음향 변환 장치로서, 예를 들면 무선 헤드셋, 무선 이어폰 등을 포함한다. 제 2 전기 기기(30)는 내장된 마이크에 의해 획득된 음향이나 수신된 음향 신호에 포함된 음향에 대한 이득 보정 처리를 적어도 수행하는 청음 보조 장치로서, 예를 들면, 무선 보청기 등을 포함한다.
자세하게, 제 1 전기 기기(20)는 음향을 획득하는 마이크(11)와, 음향 신호를 인가 받아 음 방출하는 스피커(12)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(13)와, 무선 통신을 수행하는 통신부(15)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(17) 및 상술된 구성요소(마이크(11), 스피커(12), 입력부(13), 통신부(15) 및 표시부(17))를 제어하여, 음향 전달 장치(10) 및/또는 다른 전기 기기와의 무선 통신을 통하여 음향 신호를 수신하여 음 방출시키는 데이터 프로세서(19)를 구비한다. 다만, 제 1 전기 기기(20)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 마이크(11), 스피커(12), 입력부(13), 표시부(17)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
통신부(15)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 수신하여 디코딩을 수행하여 디코딩된 음향 신호를 데이터 프로세서(19)에 인가한다.
데이터 프로세서(19)는 제 1 전기 기기(20)의 고유 기능인 무선 음향 변환 장치로서 다른 전기 기기로부터 통신부(15)를 통하여 음향 신호를 수신하여 스피커(12)에 인가하여 음 방출이 수행되도록 하는 오디오 스트리밍 동작과, 전화 통화 동작과 같이 마이크(11)로부터 획득된 음향을 통신부(15)를 통하여 다른 전기 기기로 전송하고, 다른 전기 기기로부터 수신되는 음향 신호를 스피커(12)로 인가하여 음 방출이 수행되도록 하는 전화 통화 모드 동작을 수행하는 프로세서(예를 들면, CPU 등)와, 제 1 전기 기기(20)의 고유 식별 번호(전기 기기의 특성-무선 헤드셋, 무선 이어폰 등과 같은 무선 음향 변환 장치-을 반영함)를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 1 전기 기기(20) 간의 음향 전달 과정은 하기에서 기재된다.
다음으로, 제 2 전기 기기(30)는 음향을 획득하는 마이크(21)와, 음향 신호를 인가 받아 음 방출하는 스피커(22)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(23)와, 무선 통신을 수행하는 통신부(25)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(27) 및 상술된 구성요소(마이크(21), 스피커(22), 입력부(23), 통신부(25) 및 표시부(27))를 제어하여, 마이크(21)에 의해 획득된 음향에 대한 이득 보정 처리를 적어도 수행하여 스피커(22)에 음 방출시키거나, 음향 전달 장치(10)와의 무선 통신을 통하여 음향 신호에 포함된 음향에 대한 이득 보정 처리를 적어도 수행하여 스피커(22)에 음 방출시키는 데이터 프로세서(29)를 구비한다. 다만, 제 2 전기 기기(30)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 마이크(21), 스피커(22), 입력부(23), 표시부(27)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
통신부(25)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 수신하여 디코딩을 수행하여 디코딩된 음향 신호를 데이터 프로세서(29)에 인가한다.
데이터 프로세서(29)는 청음 보조 장치로서, 마이크(21)로부터 획득된 음향에 대하여 이득 보정 처리를 적어도 수행하는 제 1 음향 처리 동작과, 음향 전달 장치(10)와 통신부(15)를 통하여 무선 통신으로 페이링된 상태에서 오디오 스트리밍 방식으로 음향 신호를 수신하여 음향 신호에 포함된 음향에 대하여 이득 보정 처리를 적어도 수행하는 제 2 음향 처리 동작을 수행하는 프로세서(예를 들면, CPU 등)와, 제 2 전기 기기(20)의 고유 식별 번호(전기 기기의 특성-보청기 등과 같은 청음 보조 장치-을 반영함)를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 2 전기 기기(30) 간의 음향 전달 과정은 하기에서 기재된다.
다음으로, 음향 전달 장치(10)는 복수의 서브 마이크들로 구성된 음향을 획득하는 마이크(1)와, 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(3)와, 무선 통신을 수행하는 통신부(5)와, 다양한 정보(예를 들면, 전원 상태, 오디오 스트리밍 모드의 동작 상태 등)를 표시하는 표시부(7) 및 상술된 구성요소(마이크(1), 입력부(3), 통신부(5) 및 표시부(7))를 제어하여, 제 1 또는 제 2 전기 기기(20), (30)과 통신을 수행하면서, 제 1 또는 제 2 전기 기기(20), (30)의 특성에 따라 마이크(1)로부터 획득된 음향에 대한 처리를 상이하게 하여, 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 제 1 또는 제 2 전기 기기(20), (30)로 전송하거나 전달하는 데이터 프로세서(9)를 구비한다. 다만, 음향 전달 장치(10)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 입력부(3), 표시부(7)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
마이크(1)는 복수의 서브 마이크들을 구비하여, 사용자가 듣고자 하는 방향(이하에서, '선호 방향'이라 함)에 대한 지향성을 향상시킨다. 복수의 서브 마이크들은 일직선 형태로 배치되는 구조를 지니되, 배치되는 서브 마이크들의 개수에 따라 서브 마이크들의 배치 및 선호 방향 간의 바람직한 위치 관계가 결정된다. 예를 들면, 서브 마이크들이 2개 및 3개인 경우, 서브 마이크들의 일직선 배치 방향이 선호 방향을 향하도록 즉, 선호 방향이 서브 마이크들의 배치 방향의 일직선 상에 위치되도록 하는 일직선 배치 구조가 빔 포밍에 보다 바람직하다. 또한, 서브 마이크들이 4개 이상인 경우, 서브 마이크들의 일직선 배치 방향이 선호 방향을 향하도록 즉, 선호 방향이 서브 마이크들의 배치 방향의 일직선 상에 위치되도록 하는 일직선 배치 구조와, 서브 마이크들의 일직선 배치 방향과 선호 방향이 수직이 되도록 하는 수직 배치 구조 및 혼합 배치 구조(일직선 배치 구조와 수직 배치 구조 및 일정 각도(예를 들면 0~90°사이의 각도)의 배치 구조 중의 적어도 2개 이상의 조합)가 모두 빔 포밍에 적용될 수 있다. 다만, 일직선 배치 구조, 수직 배치 구조 및 혼합 배치 구조 각각의 경우에, 데이터 프로세서(9)가 각 서브 마이크로부터 획득되는 음향에 대한 이득 및 지연 처리를 수행하여 빔 포밍의 효과를 구현할 수 있다. 본 실시예에서는 복수의 서브 마이크들의 음향적 특성이 동일한 것으로 설명되나, 그에 국한되지 않는다.
통신부(5)는 제 1 또는 제 2 전기 기기(20), (30)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 통신을 수행하며, 코딩된 음향 신호를 제 1 또는 제 2 전기 기기(20), (30)로 전송한다. 또한, 통신부(5)는 제 3 전기 기기(40)와 무선 통신으로 페이링되어 통신 가능 상태에서 음향 전달 장치(10)의 이득 보정 처리 과정에서의 이득의 증가 및 감소 조절을 수행하기 위한 이득 조절값을 포함하는 이득 조절 데이터를 수신하여 데이터 프로세서(9)에 인가한다.
데이터 프로세서(9)는 제 1 및 제 2 전기 기기(20), (30)와의 통신 연결을 수행하고 제 1 및 제 2 전기 기기(20), (30)의 특성을 확인하는 과정과, 마이크(1)의 복수의 서브 마이크들로부터 획득되는 음향들에 대한 이득 및 지연 처리를 수행하는 과정과, 마이크(1)로부터 인가된 음향을 확인된 특성에 따라 처리하는 과정과, 처리된 음향을 포함하는 음향 신호를 통신 연결된 제 1 또는 제 2 전기 기기(20), (30)로 전송하는 과정 및 제 3 전기 기기(40)와의 통신 연결을 수행하고 제 3 전기 기기(40)로부터 이득 조절 데이터를 수신하여 저장하는 이득 조절 과정을 수행하는 프로세서(예를 들면, CPU 등)와, 제 1 및 제 2 전기 기기(20), (30)의 특성을 확인하기 위한 특성 데이터와, 빔 포밍을 위한 이득 및 지연 처리 알고리즘과, 이득 조절 데이터와, 음향에 대한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리 각각을 위한 알고리즘 등을 저장하는 저장 공간을 포함한다.
전기 기기의 특성 데이터는 제 1 및 제 2 전기 기기의 특성을 식별하기 위한 것으로 이득 보정 처리(이득 보정 알고리즘)을 수행하는지에 대한 식별을 위한 것이다. 특성 데이터는 전기 기기의 고유 식별 번호와, 고유 식별 번호에 대응하는 음향 처리 방법을 포함한다. 특성 데이터는 예를 들면, 이득 보정 기능을 수행하지 않는 무선 헤드셋의 고유 식별 번호와, 무선 헤드셋의 고유 식별 번호에 대응하는 음향 처리 방법(이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리)을 포함하여, 이득 보정 기능을 수행하는 보청기의 고유 식별 번호와, 보청기의 고유 식별 번호에 대응하는 음향 처리 방법(잡음 제거 처리)을 포함한다. 즉, 특성 데이터는 전기 기기의 이득 보정 기능 특성(이득 보정 기능의 보유 여부)에 따라 전기 기기로 전달되는 음향에 대한 처리 과정을 상이하게 하기 위한 것이다.
빔 포밍을 위한 이득 및 지연 처리 알고리즘은 서브 마이크들의 배치 구조와 서브 마이크들의 개수를 기준으로 상이한 이득 및 지연 처리를 수행한다. 예를 들면, 일직선 배치 구조이면서 서브 마이크들이 2개 또는 3개인 경우, 데이터 프로세서(9)는 서브 마이크들 간의 간격을 고려하여 전방에 배치된 서브 마이크로부터의 음향에 지연 및/또는 이득 처리를 수행하고, 처리된 음향과, 후방의 서브 마이크로부터의 음향을 가산함으로써 빔 포밍을 구현한다. 특히, 서브 마이크들이 2개인 경우보다 3개인 경우에 보다 빔 포밍이 더 효과적으로 구현된다. 또한, 4개 또는 그 이상의 서브 마이크들이 구비된 경우에는, 데이터 프로세서(9)는 각 서브 마이크로부터의 음향에 처리하는 지연 시간 및/또는 이득을 상이하게 하여 빔 집속 또는 빔 방향 전환 등의 빔 포밍을 수행한다. 이러한 빔 포밍에 의해, 데이터 프로세서(9)는 선호 방향에서의 음향 이외의 다른 음향을 제거한다.
또한, 이득 보정 알고리즘은 주파수별 또는 주파수 대역별로 이득 보정(증폭/감쇄)을 수행하되, 이득 조절 데이터에 포함된 주파수별 또는 주파수 대역별 이득 보정 비율 또는 이득 보정 크기를 포함하는 이득 조절값을 기준으로 보정을 수행하는 알고리즘으로서, 예를 들면, WDRC(Wide Dynamic Range Compression)이다.
또한, 잡음 제거 알고리즘은 음향 전달 장치(10) 자체에서 발생하는 잡음, 음향에 포함되는 잡음을 제거하여 음향 중에서 사람의 음성이 보다 명확하게 들릴 수 있도록 하는 알고리즘으로 하기에서 상세하게 설명된다.
또한, 하울링 억제 알고리즘은 주파수 성분 분석을 통하여 일정한 주파수 성분의 에너지가 일정하게 증가하는 경우 음향 전달 장치(10)와 제 1 전기 기기(20)의 스피커(12)가 가까이 위치하여 스피커(12)의 소리가 마이크(1)로 전달되었거나, 마이크(1)로부터 스피커(12)까지의 이득이 커서 발생하는 하울링으로 인지하며, 하울링이 인지된 경우 전 주파수 영역의 이득을 낮추거나 하울링이 자주 일어나는 주파수 영역의 이득을 낮추어 하울링의 원인을 차단하거나, 적응형 필터의 필터계수를 바꾸어 하울링을 억제하는 알고리즘이다.
다음으로, 제 3 전기 기기(40)는 사용자로부터의 입력(예를 들면, 전원 온/오프, 볼륨 증가/감소, 통신 연결(페어링)/통신 종료 등)을 획득하는 입력부(33)와, 무선 통신을 수행하는 통신부(35)와, 다양한 정보(예를 들면, 전원 상태, 볼륨 증가 및/또는 감소 상태 등)를 표시하는 표시부(37) 및 상술된 구성요소(입력부(33), 통신부(35) 및 표시부(37))를 제어하여, 음향 전달 장치(10)와의 무선 통신을 통하여 이득 조절 데이터를 송수신하며 이득 조절 데이터를 가변하는 데이터 프로세서(39)를 구비한다. 다만, 제 3 전기 기기(40)에서 전원이 필요한 구성 요소들에 전원을 공급하는 전원부(미도시), 입력부(33), 표시부(37)는 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 정도의 기술에 해당되어, 그 상세한 설명이 생략된다.
자세하게, 통신부(35)는 음향 전달 장치(10)와 무선 통신(예를 들면, 블루투스, 와이파이 등) 방식으로 페어링됨으로써 무선 통신을 수행하며, 코딩된 이득 조절 데이터를 수신하여 디코딩을 수행하여 디코딩된 이득 조절 데이터를 데이터 프로세서(19)에 인가하고, 데이터 프로세서(19)로부터 이득 조절 데이터를 인가 받아 코딩하여 음향 전달 장치(10)로 전송한다.
데이터 프로세서(19)는 음향 전달 장치(10)와 무선 통신으로 이득 조절 데이터를 통신부(35)를 통하여 수신하거나, 음향 전달 장치(10)의 기설정된 이득 조절 데이터를 저장 공간으로부터 판독하여, 이득 조절 데이터의 이득 조절값인 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기를 표시부(37)에 시각적으로 표시하며, 입력부(33)로부터의 이득 증가 또는 감소 입력에 따라 이득 보정 비율이나 이득 보정 크기를 가변하고, 가변된 이득 보정 비율이나 이득 보정 크기를 포함하는 이득 조절값을 포함하는 이득 조절 데이터를 음향 전달 장치(10)로 전송하며 저장 공간에 저장하는 프로세서(예를 들면, CPU 등)와, 음향 변환 장치(10)의 기설정된 또는 가변된 이득 조절 데이터를 적어도 저장하는 저장 공간을 포함한다. 음향 전달 장치(10)와 제 3 전기 기기(40) 간의 음향 전달 과정은 하기에서 기재된다.
도 2는 데이터 프로세서(9)에서 수행되는 잡음 제거 알고리즘의 블록도이다. 데이터 프로세서(9)는 서브 마이크들 각각의 음향들에 대하여 선호 방향으로의 지연 및 이득 처리를 수행하고 가산하여, 음향(S1)을 생성한다.
데이터 프로세서(9)는 기설정된 크기의 생성된 음향(S1)을 푸리에 변환시키는 푸리에 변환부(100)와, 푸리에 변환부(100)로부터의 푸리에 변환된 주파수 영역의 신호(F1)의 주파수별 또는 주파수 대역별 에너지(E)를 산정하는 에너지 산정부(102)와, 에너지 산정부(102)로부터의 에너지(E)를 기준으로 하여 음향(S1)에 음성 및 잡음이 포함되어 있는지(존재 여부)를 판단하는 음성 및 잡음 판단부(104)와, 에너지 산정부(102)로부터의 에너지(E)를 기준으로 하여 음향(S)에 돌발성 소음이 포함되어 있는지를 판단하는 돌발성 소음 판단부(106)와, 음성 및 잡음 판단부(104)로부터의 판단 결과(D1)와 돌발성 소음 판단부(106)로부터의 판단 결과(D2)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정하는 이득 결정부(108)와, 주파수별 또는 주파수 대역별 신호(F1)와 이득 결정부(108)로부터의 주파수별 또는 주파수 대역별 이득(D)을 곱하여 이득 처리된 신호(F2)를 생성하는 곱셈부(110)와, 이득 처리된 신호(F2)를 역푸리에 변환시켜 신호(S2)를 생성하는 역푸리에 변환부(112)로 구성된 잡음 제거 알고리즘을 저장하여 수행한다. 다만, 푸리에 변환부(100)와, 곱셈부(110) 및 역푸리에 변환부(112)는 본 발명이 속하는 기술 분야에 통상의 기술자에게 당연히 인식되는 기술에 해당되어, 상세한 설명이 생략된다.
에너지 산정부(102)는 주파수 영역의 신호(F1)의 실수 제곱과 허수 제곱한 값을 합산한 후 그 합산값의 루트값을 산정하되, 이 루트값이 시간대별로 급변하는 것을 방지하기 위해, 저역 통과 필터를 이용하여 루트값을 처리하여 주파수별 또는 주파수 대역별 에너지(E)를 산정하여 음성 및 잡음 판단부(104)와 돌발성 소음 판단부(106)로 각각 인가한다.
음성 및 잡음 판단부(104)는 주파수별 또는 주파수 대역별 에너지(E)를 기준으로 하여, 음성 및 잡음 각각이 현재 처리 중인 기설정된 크기의 음향(S)에 포함되어 있는지, 즉 존재하는지를 판단한다. 음성 및 잡음 판단부(104)는 음성 주파수 대역(예를 들면, 500Hz~4kHz)(복수의 주파수와, 복수의 주파수 밴드들로 구성됨)과 음성 주파수 대역 이외의 잡음 주파수 대역(예를 들면, 0~500Hz)(복수의 주파수와, 복수의 주파수 밴드들로 구성됨) 각각의 에너지(E)의 크기를 산정한다. 음성 및 잡음 판단부(104)는 잡음 주파수 대역의 에너지(E)의 크기와 음성 주파수 대역의 에너지(E)의 크기를 비교하여, 잡음 주파수 대역의 에너지(E)의 크기가 음성 주파수 대역의 에너지(E)의 크기보다 현저하게 큰 경우에 잡음만이 존재하는 것으로 판단할 수 있다. 또한, 음성 및 잡음 판단부(104)는 음성 주파수 대역의 에너지(E)의 크기를 제 1 기준 에너지(음성이 존재할 경우의 음성 주파수 대역의 기준 에너지)의 크기와 비교하여, 음성 주파수 대역의 에너지(E)의 크기가 제 1 기준 에너지의 크기 이상인 경우에는 음성 또는 잡음(음성과 비슷한 성분을 지닌 잡음)이 음향(S1)에 존재하는 것으로 판단하고, 그렇지 않으면 음향(S1)에 음성이 존재하는 것으로 판단한다. 또한, 음성 및 잡음 판단부(104)는 음성 주파수 대역의 에너지(E)의 크기가 제 1 기준 에너지의 크기 이상인 경우, 추가적으로 시간 영역에서의 시간 축에서 zero crossing을 확인한다. 일반적으로 음성인 경우 일정 성분의 tone을 지니고 있기에, 이러한 tone은 시간 영역(축)에서 zero crossing으로 확인된다. 이러한 점을 이용하여, 음성 및 잡음 판단부(104)는 시간 영역에서 일정한 zero crossing이 있는 경우 음성으로 판단하고, 그렇지 않은 경우 잡음으로 판단한다. 음성 및 잡음 판단부(104)는 주파수별 또는 주파수 대역별 음성 및 잡음 존재 여부에 대한 판단 결과(D1)를 이득 결정부(108)로 인가한다.
돌발성 소음 판단부(106)는 전체 주파수 대역의 에너지(E)의 크기와 제 2 기준 에너지(돌발성 소음이 존재 여부를 판단하기 위한 기준 에너지로, 상술된 제 1 기준 에너지보다 큰 에너지)의 크기를 비교하여, 만약 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기보다 큰 시간(유지 시간)이 기준 시간 이상이면, 음향(S1)에 돌발성 소음이 존재하는 것으로 판단한다. 만약 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기 이하이거나, 전체 주파수 대역의 에너지(E)의 크기가 제 2 기준 에너지의 크기보다 크더라고 그 유지 시간이 기준 시간 미만이면, 돌발성 소음 판단부(106)는 음향(S1)에 돌발성 소음이 존재하지 않는 것으로 판단한다. 돌발성 소음 판단부(106)는 돌발성 소음의 존재 여부에 대한 판단 결과(D2)를 이득 결정부(108)로 인가한다.
이득 결정부(108)는 음성 및 잡음 판단부(104)로부터의 판단 결과(D1)와, 돌발성 소음 판단부(106)로부터의 판단 결과(D2)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정하되, 판단 결과(D2)를 판단 결과(D1)보다 우선시 하여 이득(D)(예를 들면, 이득 범위가 0~1의 범위)을 결정한다. 즉, 판단 결과(D2)가 음향(S1)에 돌발성 소음이 존재한다는 것을 나타날 때, 이득 결정부(108)는 돌발성 소음을 제거하기 위해, 전체 주파수 대역에 대하여 최소 이득(예를 들면, 0.1)을 이득(D)으로 결정함으로써, 전제 주파수 대역의 에너지를 감쇄시킨다. 또한, 이득 결정부(108)는 돌발성 소음이 없다는 판단 결과(D2)에 따라, 판단 결과(D1)를 기준으로 하여 주파수별 또는 주파수 대역별 이득(D)을 결정한다. 이득 결정부(108)는 판단 결과(D1)에서 음향(S1)에 잡음만 있다는 것을 확인하여, 잡음 주파수 대역에는 최소 이득을 이득(D)으로 결정하고, 음성 주파수 대역에는 최소 이득보다 큰 제 1 이득(예를 들면, 0.4)을 이득(D)으로 결정한다. 또한, 이득 결정부(108)는 음성 주파수 대역에 음성이 존재하는 것을 확인하여, 음서 주파수 대역에서 에너지가 제 1 기준 에너지 이하인 경우에는 고정 이득(제 1 이득보다 큰 제 2 이득)을 이득(D)으로 결정하고, 에너지가 제 1 기준 에너지를 초과하는 경우에는 가변 이득(제 2 이득부터 제3 이득(제 1 이득보다는 크고 제 2 이득보다는 작은 이득)까지 선형적으로 감소되는 이득)을 이득(D)으로 결정한다.
상술된 방식으로, 데이터 프로세서(9)는 음향에 포함된 잡음을 제거하고, 음성에 대한 이득을 증폭시키는 기능을 수행하여, 상술된 이득 처리 과정과 잡음 제거 처리 과정은 동시에 또는 혼합하여 수행될 수 있다.
먼저, 음향 전달 장치(10)와 제 1 전기 기기(20) 간의 음향 전달 과정은 기재된다. 음향 전달 장치(10)는 제 1 전기 기기(20)와 무선 통신이 가능한 거리 이내에서 음원에 근접하여 설치되거나 배치되는 것이 바람직하다.
음향 전달 장치(10)와 제 1 전기 기기(20)가 전원이 공급되며 통신부(5)와 통신부(15) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(19)는 기저장된 고유 식별 번호를 통신부(15)를 통하여 통신부(5)에 전송하고, 통신부(5)는 전송된 고유 식별 번호를 데이터 프로세서(9)에 인가한다. 데이터 프로세서(9)는 기저장된 특성 데이터로부터 통신부(5)로부터의 고유 식별 번호에 대응하는 제 1 전기 기기(20)의 전기적 특징을 확인하고, 확인된 제 1 전기 기기(20)의 전기적 특징에 따라 기저장된 이득 조절 데이터를 기준으로 한 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리를 위한 이득 보정 알고리즘, 잡음 제거 알고리즘 및 하울링 억제 알고리즘을 수행하여 마이크(1)로부터 획득된 음향에 대한 처리를 수행한다. 여기서, 이득 보정 알고리즘, 잡음 제거 알고리즘 및 하울링 억제 알고리즘은 동시에 또는 순차적으로 또는 다양한 순서에 의해 수행될 수 있다. 데이터 프로세서(9)는 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 통신부(15)로 전송하고, 통신부(15)는 전송된 음향 신호를 데이터 프로세서(19)로 인가한다. 데이터 프로세서(19)는 인가된 음향 신호를 스피커(12)에 인가하여 음 방출시킨다. 데이터 프로세서(19)는 음향 전달 장치(10)로부터 오디오 스트리밍 방식으로 인가되는 음향 신호를 수신하여 음 방출하는 동안, 마이크(11)의 동작을 비활성화시킴으로써 수신된 음향 신호만이 스피커(12)를 통하여 음 방출되도록 한다. 이러한 과정에 의해서, 제 1 전기 기기(20)를 착용하고 있는 사용자는 음원에 가까운 음향 전달 장치(10)로부터 보다 사용자에게 듣기 좋도록 처리된 음향을 들을 수 있다. 음향 전달 장치(10)는 제 1 전기 기기(20)와 통신 가능 상태가 유지되고 전원이 공급되는 중에 지속적으로 마이크(1)로부터 획득된 음향을 처리하여 제 1 전기 기기(20)로 전송한다.
다음으로, 음향 전달 장치(10)와 제 2 전기 기기(30) 간의 음향 전달 과정은 기재된다. 음향 전달 장치(10)는 제 2 전기 기기(30)와 무선 통신이 가능한 거리 이내에서 음원에 근접하여 설치되거나 배치되는 것이 바람직하다.
음향 전달 장치(10)와 제 2 전기 기기(30)가 전원이 공급되며 통신부(5)와 통신부(25) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(29)는 기저장된 고유 식별 번호를 통신부(25)를 통하여 통신부(5)에 전송하고, 통신부(5)는 전송된 고유 식별 번호를 데이터 프로세서(9)에 인가한다. 데이터 프로세서(9)는 기저장된 특성 데이터로부터 통신부(5)로부터의 고유 식별 번호에 대응하는 제 2 전기 기기(30)의 전기적 특징을 확인하고, 확인된 제 2 전기 기기(30)의 전기적 특징에 따라 잡음 제거 처리를 위한 잡음 제거 알고리즘을 수행하여 마이크(1)로부터 획득된 음향에 대한 처리를 수행한다. 데이터 프로세서(9)는 처리된 음향을 포함하는 음향 신호를 통신부(5)를 통하여 통신부(25)로 전송하고, 통신부(25)는 전송된 음향 신호를 데이터 프로세서(29)로 인가한다. 데이터 프로세서(29)는 통신부(25)로부터 음향 신호를 수신하는 경우, 즉 음향 전달 장치(10)로부터 음향 신호를 수신하는 경우, 데이터 프로세서(29)는 마이크(21)로부터 획득된 음향에 대한 이득 보정 처리를 수행할 때의 마이크(21)와 음원 간의 거리보다 음향 변환 장치(10)의 마이크(1)와 음원 간의 거리가 상대적으로 짧기 때문에 음향 변환 장치(10)로부터 인가되는 음향의 다이나믹 레인지가 상대적으로 좁게 된다. 이러한 점을 보완 하기 위해, 데이터 프로세서(29)는 적어도 제 1 기준 에너지 범위, 제 1 기준 에너지 범위보다 큰 제 2 기준 에너지 범위 및 제 2 기준 에너지 범위 보다 큰 제 3 기준 에너지 범위를 포함하는 기준 에너지 정보를 저장한다. 제 1 기준 에너지 범위는 음향에 포함된 회로적인 잡음 또는 작은 소음의 판단하기 위한 에너지 범위이며, 제 2 기준 에너지 범위는 일반적인 사람의 대화 영역의 에너지 범위 또는 생활음의 에너지 범위를 판단하기 위한 에너지 범위이며, 제 3 기준 에너지 범위는 너무 소리가 큰 대화음 또는 생활음을 판단하기 위한 범위에 해당된다. 데이터 프로세서(29)는 음향 전달 장치(10)로부터 수신된 음향의 주파수별 또는 주파수 대역별 에너지를 산정하고 산정된 에너지와 기준 에너지 정보에 포함된 기준 에너지 범위들을 비교한다. 만약 산정된 에너지가 제 1 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 산정된 에너지를 감소시키기 위한 이득 감쇄 보정을 수행하고, 만약 산정된 에너지가 제 2 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 사용자의 청력에 대응하는 이득 증폭 보정을 수행하고, 만약 산정된 에너지가 제 3 기준 에너지 범위에 포함되면, 데이터 프로세서(29)는 산정된 에너지를 감소시키기 위한 이득 감쇄 보정을 수행한다. 이러한 방식으로, 데이터 프로세서(29)는 수신된 음향에 대한 이득 보정 처리를 수행한 후 스피커(22)에 인가하여 음 방출되도록 한다. 데이터 프로세서(19)는 음향 전달 장치(10)로부터 오디오 스트리밍 방식으로 인가되는 음향 신호를 수신하여 음 방출하는 동안, 마이크(11)의 동작을 비활성화시킴으로써 수신된 음향 신호만이 스피커(12)를 통하여 음 방출되도록 한다. 이러한 과정에 의해서, 제 2 전기 기기(30)를 착용하고 있는 사용자는 음원에 가까운 음향 전달 장치(10)로부터 보다 사용자에게 듣기 좋도록 처리된 음향을 들을 수 있다. 음향 전달 장치(10)는 제 2 전기 기기(30)와 통신 가능 상태가 유지되고 전원이 공급되는 중에 지속적으로 마이크(1)로부터 획득된 음향을 처리하여 제 2 전기 기기(30)로 전송한다.
다음으로, 음향 전달 장치(10)와 제 3 전기 기기(40) 간의 이득 조절값의 가변 과정이 기재된다. 이득 조절값의 가변 과정은 음향 전달 장치(10)가 제 1 또는 제 2 전기 기기(20), (30)와 무선 통신 연결되어, 음향 신호를 전달하는 중에도 수행될 수 있다. 음향 전달 장치(10)와 제 3 전기 기기(40)가 전원이 공급되며 통신부(5)와 통신부(35) 간에 무선 통신이 가능한 상태이다. 데이터 프로세서(39)는 저장부(38)에 저장된 이득 조절 데이터를 판독하거나, 통신부(35)를 통하여 음향 전달 장치(10)에 저장된 이득 조절 데이터를 요청할 수 있다. 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 요청 받으면, 기저장된 이득 조절 데이터를 판독하여 통신부(5)를 통하여 통신부(35)에 전송한다. 데이터 프로세서(39)는 통신부(35)를 통하여 이득 조절 데이터를 수신한다. 데이터 프로세서(39)는 판독된 이득 조절 데이터이나 수신된 이득 조절 데이터에 포함된 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기인 이득 조절값을 표시부(37)를 통하여 표시하는 과정과, 입력부(23)로부터 사용자에 의해 입력된 주파수별 또는 주파수 대역별 이득 조절 입력(예를 들면, 증폭 또는 감쇄 입력)에 따른 이득 조절값을 생성하는 과정과, 생성된 이득 조절값을 포함하는 이득 조절 데이터를 음향 전달 장치(10)로 통신부(35)를 통하여 전송하는 과정을 반복적으로 수행하여 사용자의 청력에 대응하는 주파수별 또는 주파수 대역별 이득 보정 비율이나 이득 보정 크기가 설정될 수 있도록 한다. 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 수신하여 저장함으로써 이득 조절 데이터를 갱신하고, 갱신된 이득 조절 데이터에 따라 음향을 처리하여 제 1 전기 기기(20)로 전송하여, 사용자가 음향을 듣고 입력부(33)에 추가적인 이득 조절 입력을 입력하거나 현재 진행 중인 이득 조절 과정을 종료시킬 수도 있다. 상술된 이득 조절 과정을 통하여, 데이터 프로세서(39)는 사용자가 선택한 이득 조절 데이터를 통신부(35)를 통하여 통신부(5)로 전송하고, 데이터 프로세서(9)는 통신부(5)를 통하여 이득 조절 데이터를 수신하여 저장함으로써, 사용자가 제 1 전기 기기(20)에서 음 방출되는 음향의 특성을 조절할 수 있다.
다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 음향 전달 장치 20: 제 1 전기 기기
30: 제 2 전기 기기 40: 제 3 전기 기기

Claims (5)

  1. 복수의 서브 마이크들로 구성되어 음향을 획득하는 마이크와;
    적어도 하나 이상의 전기 기기와 통신을 수행하는 통신부와;
    서브 마이크들로부터의 음향들 각각에 대하여 선호 방향으로의 지연 및 이득 처리를 수행한 후 가산하여 음향을 생성하고, 생성된 음향에 대하여 통신부와 통신 연결된 전기 기기의 특성에 따라 잡음 제거 처리만을 수행하거나, 마이크로부터의 음향에 대하여 이득 보정 처리, 잡음 제거 처리 및 하울링 억제 처리를 수행하여, 처리된 음향을 통신부를 통하여 전기 기기에 전송하는 데이터 프로세서를 구비하고,
    데이터 프로세서는 기설정된 크기의 생성된 음향을 푸리에 변환시키는 푸리에 변환부와, 푸리에 변환부로부터의 푸리에 변환된 주파수 영역의 신호의 주파수별 또는 주파수 대역별 에너지를 산정하는 에너지 산정부와, 에너지 산정부로부터의 에너지를 기준으로 하여 생성된 음향에 음성 및 잡음이 포함되어 있는지를 판단하는 음성 및 잡음 판단부와, 에너지 산정부로부터의 에너지를 기준으로 하여 생성된 음향에 돌발성 소음이 포함되어 있는지를 판단하는 돌발성 소음 판단부와, 음성 및 잡음 판단부로부터의 판단 결과와 돌발성 소음 판단부로부터의 판단 결과를 기준으로 하여 주파수별 또는 주파수 대역별 이득을 결정하는 이득 결정부와, 주파수별 또는 주파수 대역별 신호와 이득 결정부로부터의 주파수별 또는 주파수 대역별 이득을 곱하여 이득 처리된 신호를 생성하는 곱셈부와, 이득 처리된 신호를 역푸리에 변환시켜 처리된 음향을 생성하는 역푸리에 변환부를 구비하고,
    음성 및 잡음 판단부는 음성 주파수 대역의 에너지의 크기가 제 1 기준 에너지의 크기 이상이고, 서브 마이크들로부터의 음향의 시간 영역(축)에서 일정한 zero crossing이 있는 경우, 서브 마이크들로부터의 음향에 음성이 존재하는 것으로 판단하고,
    돌발성 소음 판단부는 전체 주파수 대역의 에너지의 크기와 제 1 기준 에너지보다 큰 제 2 기준 에너지의 크기를 비교하여, 만약 전체 주파수 대역의 에너지의 크기가 제 2 기준 에너지의 크기보다 기준 시간 이상 큰 경우, 서브 마이크들로부터의 음향에 돌발성 소음이 존재하는 것으로 판단하는 것을 특징으로 하는 음향 전달 장치.
  2. 제 1 항에 있어서,
    데이터 프로세서는 서브 마이크들과 선호 방향 간의 배치 구조를 기준으로 하여 서브 마이크들로부터의 음향들에 대한 지연 및 이득 처리를 수행하는 것을 특징으로 하는 음향 전달 장치.
  3. 제 1 항에 있어서,
    이득 결정부는 서브 마이크들로부터의 음향에 돌발성 소음이 존재하는 경우, 전체 주파수 대역에 대하여 최소 이득을 이득으로 결정하고,
    서브 마이크들로부터의 음향에 돌발성 소음이 존재하지 않는 경우, 음성의 존재 여부에 따라 주파수별 또는 주파수 대역별 이득을 결정하는 것을 특징으로 하는 음향 전달 장치.
  4. 제 3 항에 있어서,
    이득 결정부는 서브 마이크들로부터의 음향에 돌발성 소음이 존재하지 않고 잡음만 있는 경우 잡음 주파수 대역에는 최소 이득을 이득으로 결정하고, 음성 주파수 대역에는 최소 이득보다 큰 제 1 이득을 이득으로 결정하고,
    서브 마이크들로부터의 음향에 음성이 존재하면서, 음성 주파수 대역에서의 에너지가 제 1 기준 에너지 이하인 경우에는 고정 이득(제 1 이득보다 큰 제 2 이득)을 이득으로 결정하고,
    서브 마이크들로부터의 음향에 음성이 존재하면서, 음성 주파수 대역에서의 에너지가 제 1 기준 에너지를 초과하는 경우에는 가변 이득(제 2 이득부터 제3 이득(제 1 이득보다는 크고 제 2 이득보다는 작은 이득)까지 선형적으로 감소되는 이득)을 이득으로 결정하는 것을 특징으로 하는 음향 전달 장치.
  5. 제 1 항에 있어서,
    이득 결정부는 음성 및 잡음 판단부로부터의 판단 결과보다 돌발성 소음 판단부로부터의 판단 결과를 우선시 하여 이득을 결정하는 것을 특징으로 하는 음향 전달 장치.
KR1020180150491A 2018-11-29 2018-11-29 음향 전달 장치 KR102139599B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180150491A KR102139599B1 (ko) 2018-11-29 2018-11-29 음향 전달 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180150491A KR102139599B1 (ko) 2018-11-29 2018-11-29 음향 전달 장치

Publications (2)

Publication Number Publication Date
KR20200064397A KR20200064397A (ko) 2020-06-08
KR102139599B1 true KR102139599B1 (ko) 2020-07-29

Family

ID=71089493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180150491A KR102139599B1 (ko) 2018-11-29 2018-11-29 음향 전달 장치

Country Status (1)

Country Link
KR (1) KR102139599B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102178414B1 (ko) * 2019-08-14 2020-11-13 주식회사 이엠텍 복수의 마이크부를 구비하는 무선 음향 변환 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100009936A (ko) * 2008-07-21 2010-01-29 삼성전자주식회사 음원 검출 시스템에서 돌발잡음 추정/제거 장치 및 방법
KR101760753B1 (ko) 2016-07-04 2017-07-24 주식회사 이엠텍 착용자의 상태를 알려 주는 청음 보조 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648840B1 (ko) * 2015-02-16 2016-08-30 포항공과대학교 산학협력단 휴대용 전자장치에 결합된 보청기

Also Published As

Publication number Publication date
KR20200064397A (ko) 2020-06-08

Similar Documents

Publication Publication Date Title
US11671773B2 (en) Hearing aid device for hands free communication
US8526649B2 (en) Providing notification sounds in a customizable manner
US8855343B2 (en) Method and device to maintain audio content level reproduction
CN106507258B (zh) 一种听力装置及其运行方法
US10951995B2 (en) Binaural level and/or gain estimator and a hearing system comprising a binaural level and/or gain estimator
US10362412B2 (en) Hearing device comprising a dynamic compressive amplification system and a method of operating a hearing device
JP6495448B2 (ja) ヘッドセット内の自己音声閉塞軽減
US11184714B2 (en) Hearing device comprising a loop gain limiter
CN107426663B (zh) 包括波束形成器滤波单元和增益单元的可配置的助听器
DK2928213T3 (en) A hearing aid with improved localization of monaural signal sources
KR102139599B1 (ko) 음향 전달 장치
US20230328461A1 (en) Hearing aid comprising an adaptive notification unit
KR20200064396A (ko) 음향 보정 기능을 지닌 음향 전달 장치
US11743661B2 (en) Hearing aid configured to select a reference microphone
US20240064478A1 (en) Mehod of reducing wind noise in a hearing device
US8811641B2 (en) Hearing aid device and method for operating a hearing aid device
CN115668370A (zh) 听力设备自带的语音检测器
JP2016019263A (ja) 音声通信装置およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right