KR101773353B1 - 이어셋의 음색 보상 장치 및 방법 - Google Patents

이어셋의 음색 보상 장치 및 방법 Download PDF

Info

Publication number
KR101773353B1
KR101773353B1 KR1020160056130A KR20160056130A KR101773353B1 KR 101773353 B1 KR101773353 B1 KR 101773353B1 KR 1020160056130 A KR1020160056130 A KR 1020160056130A KR 20160056130 A KR20160056130 A KR 20160056130A KR 101773353 B1 KR101773353 B1 KR 101773353B1
Authority
KR
South Korea
Prior art keywords
voice
ear microphone
parameter
ear
frequency
Prior art date
Application number
KR1020160056130A
Other languages
English (en)
Inventor
김은동
Original Assignee
주식회사 오르페오사운드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오르페오사운드웍스 filed Critical 주식회사 오르페오사운드웍스
Priority to US16/093,031 priority Critical patent/US10638225B2/en
Priority to JP2018553918A priority patent/JP2019516304A/ja
Priority to DE112016006762.3T priority patent/DE112016006762T5/de
Priority to PCT/KR2016/013992 priority patent/WO2017183789A1/ko
Priority to CN201680084780.XA priority patent/CN109076283B/zh
Application granted granted Critical
Publication of KR101773353B1 publication Critical patent/KR101773353B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/15—Determination of the acoustic seal of ear moulds or ear tips of hearing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

이어셋의 음색 보상 장치 및 방법이 개시된다. 본 발명에 의한 이어셋의 음색 보상 장치(방법)는, 파라미터 추출부에서, 인-이어 마이크로폰과 아웃-이어 마이크로폰으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출하고, 파라미터 비교부에서, 추출된 인-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터와 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터를 각각 비교하며, 파라미터 보상부에서, 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터값으로 보상한다. 본 발명에 따르면, 인-이어 마이크로폰과 아웃-이어 마이크로폰으로부터 입력된 음성을 비교를 통해 사용자 음색으로 복원함으로써 사용자 본인 및 상대방과의 대화에 편안함을 제공할 수 있다.

Description

이어셋의 음색 보상 장치 및 방법{Apparatus and method for compensating timbre}
본 발명은 이어셋에 관한 것이다. 더 구체적으로는 사용자의 음색을 보상하는 이어셋의 음색 보상 장치 및 방법에 관한 것이다.
최근, 스피커와 마이크로폰을 일체화시킨 이어셋이 많이 제안되고 있다.
이러한 이어셋은 외이도로 음향을 전달하는 기능과 사용자 음성을 집음하는 기능을 하나의 바디(Body)에서 수행할 수 있다. 이에 통상, 스피커는 음향 전달을 위해 외이도 방향을 향하게 되며, 마이크로폰은 사용자 음성을 집음하기 위해 외부로 노출되게 된다.
그런데, 외부로 노출된 마이크로폰에는 사용자 음성뿐 아니라, 외부 소음도 함께 집음되게 된다.
이에 외부 소음 문제를 해결하기 위해, 마이크로폰(인-이어 마이크로폰)을 외이도 방향으로 설치한 이어셋이 제안된 바 있으나, 목소리가 성대로부터 유스타키오관을 통하여 고막쪽으로 전달되는 주파수는 0 ~ 2KHz 정도의 저음역이고, 이에 따라 인-이어 마이크로폰에 입력되는 저음역만으로 원음을 복원하는데 어려움이 있다.
이러한 고음역 상실 문제를 해결하기 위해, 마이크로폰을 다수개 구성하여 마이크로폰에 입력된 서로 다른 대역의 주파수 음성을 합성하여 원음으로 복원시키는 기술이 제안된 바 있다. 즉, 외이도 측에 설치되는 인-이어(In-Ear) 마이크로폰과, 귓바퀴 바깥쪽에 설치되는 아웃-이어(Out-Ear) 마이크로폰을 함께 구성하고, 인-이어(In-Ear) 마이크로폰과 아웃-이어(Out-Ear) 마이크로폰으로 입력되는 서로 다른 대역의 주파수 음성을 합성하여 원음을 복원하는 것이다.
그런데, 성대로부터 귀의 고막까지 전달되는 내이 음성(Inner sound)의 특성은 사용자마다 다르다. 이에 동일한 고음 복원 알고리즘을 적용할 경우, 실제 사용자의 음성과 다르게 복원되는 문제가 발생할 수 있다.
이에 사용자마다 다른 내이 음성의 특성을 고려하여 복원 알고리즘을 개량할 필요성이 있다.
문헌 1. US 8,306,249 (Siemens Medical Instruments Pte. Ltd. Rosenkranz Tobias) 2012.11.6 문헌 2. 대한민국특허청 특허등록번호 제10-0517229호, "적응형 필터링에 의해 고주파 복원 코딩 방법의 인식성능을 향상시키기 위한 방법 및 장치"
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 인-이어 마이크로폰과 아웃-이어 마이크로폰으로부터 입력된 음성을 비교하여 사용자의 음색을 보상하는 이어셋의 음색 보상 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 이어셋의 음색 보상 장치는, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰; 성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰; 및 상기 인-이어 마이크로폰과 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부를 포함한다.
이 때, 상기 인-이어 마이크로폰으로부터 출력된 음성 신호와 상기 음성 복원부로부터 출력된 음성 신호로부터 대역폭을 확장시키는 대역 확장부를 더 포함할 수 있다.
한편, 본 발명의 이어셋의 음색 보상 장치는, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰; 저음역의 내이 음성으로부터 고음역의 내이 음성으로 대역폭을 확장시키는 대역 확장부; 성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰; 및 상기 대역 확장부로부터 출력된 음성 신호와 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부를 포함한다.
여기서, 상기 음성 복원부는, 전달된 음성 신호로부터 다수의 파라미터를 추출하는 파라미터 추출부; 각 파라미터의 측정값을 비교하는 파라미터 비교부; 및 측정값 간의 차이가 있는 파라미터에 대해 상기 아웃-이어 마이크로폰의 파라미터값으로 보상하는 파라미터 보상부를 포함하며, 상기 파라미터는 음성에 대한 주파수별 위상 및 진폭을 포함할 수 있다.
한편, 본 발명의 이어셋의 음색 보상 방법은, 인-이어 마이크로폰에서, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하고, 아웃-이어 마이크로폰에서, 성대에서 구강밖으로 전달된 외부 음성을 집음하는 단계; 파라미터 추출부에서, 상기 인-이어 마이크로폰과 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출하는 단계; 파라미터 비교부에서, 추출된 상기 인-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터와 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터를 각각 비교하는 단계; 및 파라미터 보상부에서, 측정값 간의 차이가 있는 파라미터에 대해 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터값으로 보상하는 단계를 포함한다.
이 때, 대역 확장부에서, 상기 인-이어 마이크로폰으로부터 출력된 음성 신호와 상기 파라미터 보상부로부터 출력된 음성 신호로부터 대역폭을 확장시키는 단계를 더 포함할 수 있다.
한편, 본 발명의 이어셋의 음색 보상 방법은, 인-이어 마이크로폰에서, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하고, 아웃-이어 마이크로폰에서, 성대에서 구강밖으로 전달된 외부 음성을 집음하는 단계; 대역 확장부에서, 상기 인-이어 마이크로폰의 음성 신호를 고음역의 음성 신호로 대역폭을 확장시키는 단계; 파라미터 추출부에서, 상기 대역 확장부와 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출하는 단계; 파라미터 비교부에서, 추출된 상기 대역 확장부의 주파수별 위상 및 진폭 파라미터와 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터를 각각 비교하는 단계; 및 파라미터 보상부에서, 측정값 간의 차이가 있는 파라미터에 대해 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터값으로 보상하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 이어셋의 음색 보상 장치 및 방법에 따르면, 인-이어 마이크로폰과 아웃-이어 마이크로폰으로부터 입력된 음성을 비교를 통해 사용자 음색으로 복원함으로써 사용자 본인 및 상대방과의 대화에 편안함을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 의한 이어셋의 음색 보상 장치의 구성도이다.
도 2는 본 발명의 다른 실시예에 의한 이어셋의 음색 보상 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 의한 음성 복원부의 구성도이다.
도 4는 본 발명의 일 실시예에 의한 대역 확장부의 구성도이다.
도 5는 본 발명의 일 실시예에 의한 이어셋의 음색 보상 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 의한 이어셋의 음색 보상 방법의 흐름도이다.
도 7은 본 발명의 음색 보상의 개념도이다.
도 8은 앱(App)을 통해 음색 보상이 이루어지는 과정을 나타낸 도면이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
또한, 발명의 상세한 설명 또는 특허청구범위에서 "~수단", "~부", "~모듈", "~블록"으로 명명된 구성요소들은 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이들 각각은 소프트웨어 또는 하드웨어, 또는 이들의 결합에 의하여 구현될 수 있다.
이하에서는 본 발명의 이어셋의 음색 보상 장치 및 방법이 구현된 일 예를 특정한 실시예를 통해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 의한 이어셋의 음색 보상 장치의 구성도이다.
도 1을 참조하면, 본 발명의 이어셋의 음색 보상 장치는, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰(1)과, 성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰(2)과, 인-이어 마이크로폰(1)과 아웃-이어 마이크로폰(2)으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부(3)를 포함한다.
여기에, 본 발명의 이어셋의 음색 보상 장치는, 인-이어 마이크로폰(1)으로부터 출력된 음성 신호와 음성 복원부(3)로부터 출력된 음성 신호로부터 대역폭을 확장시키는 대역 확장부(4)를 더 포함할 수 있다.
도 2는 본 발명의 다른 실시예에 의한 이어셋의 음색 보상 장치의 구성도이다.
도 2를 참조하면, 본 발명의 이어셋의 음색 보상 장치는, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰(1)과, 저음역의 내이 음성으로부터 고음역의 내이 음성으로 대역폭을 확장시키는 대역 확장부(4)와, 성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰(2)과, 대역 확장부(4)로부터 출력된 음성 신호와 아웃-이어 마이크로폰(2)으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부(3)를 포함한다.
도 3은 본 발명의 음성 복원부의 구성도이다.
도 3을 참조하면, 본 발명의 음성 복원부(3)는, 인-이어 마이크로폰(1) 및 아웃-이어 마이크로폰(2)으로부터 전달된 음성 신호로부터 다수의 파라미터를 추출하는 파라미터 추출부(31)와, 인-이어 마이크로폰(1)과 아웃-이어 마이크로폰(2)의 각 파라미터의 측정값을 비교하는 파라미터 비교부(32)와, 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰(2)의 파라미터값으로 보상하는 파라미터 보상부(33)를 포함한다.
여기서, 파라미터는 음성에 대한 주파수별 위상 및 진폭을 포함한다. 즉, 주파수별 위상 및 진폭을 포함하는 정현파 신호의 요소로부터 파라미터를 추출한다.
상기한 파라미터 추출부(31)는 인-이어 마이크로폰(1)과 아웃-이어 마이크로폰(2) 각각에 구성될 수 있다.
한편, 본 실시예에서는 실시간으로 음성과 관련된 파라미터 간 비교가 이루어지는 경우에 대해 설명하고 있으나, 각 파라미터 기준값을 저장한 메모리와의 비교를 통해 파라미터 간 비교가 이루어질 수도 있다. 이에, 각 파라미터 기준값을 설정하기 위한 과정이 진행될 수 있다.
이와 같이 구성된 본 발명의 음성 복원부(3)는, 인-이어 마이크로폰(1) 및 아웃-이어 마이크로폰(2) 각각으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출한다. 추출된 인-이어 마이크로폰(1)의 주파수별 위상 및 진폭 파라미터와 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터를 각각 비교하여 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터값으로 보상한다.
도 4는 본 발명의 일 실시예에 의한 대역 확장부의 구성도이다.
도 4를 참조하면, 본 발명의 대역 확장부(4)는, 입력된 초협대역 신호(Super-Narrowband signal)로부터 여기신호(excitation signal)를 결정하는 제1 선형 예측 분석부(61)와, 결정된 여기신호를 스펙트럼 폴딩 기법 또는 가우시안 노이즈 통과대역 변환 기법 등을 통해 광대역 여기신호를 출력하여 소리를 생성하는 여기신호 확장부(62)와, 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 고주파 스펙트럼 확장부(63)와, 확장된 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 제2 선형 예측 분석부(64)와, 제2 선형 예측 분석부(64)로부터 출력된 고주파 대역 신호를 필터링하는 필터링부(65)와, 필터링부(65)로부터 출력된 고주파 대역 신호와 여기신호 확장부(62)로부터 출력된 광대역 여기신호를 합성하는 합성부(66)와, 합성부(66)로부터 출력된 고주파 신호와 초협대역 신호를 믹싱하는 믹싱부(67)를 포함한다. 이와 같이, 본 발명의 대역 확장부(4)는, 고주파 크게 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 고주파 신호 생성부와, 고주파 신호와 초협대역 신호를 믹싱하는 믹싱부(67)로 구성되어 있다.
고주파 스펙트럼 확장부(63)는 일례로서, 초협대역 신호(0 ~ 2KHz)를 2배로 업샘플링하면, 업샘플링된 신호는 4KHz에서 샘플링된다. 이에 고주파 스펙트럼 확장부(63)에서 출력되는 신호는 0 ~ 4KHz 대역과 동일하고, 고주파 대역인 4 ~ 8KHz에서는 입력 신호의 폴딩된 버전과 동일한 스펙트럼을 갖게 된다. 이 스펙트럼을 이용하여 고주파 대역 신호를 추정하게 된다. 이에, 필터링부(65)에서는 4 ~ 8KHz 대역의 음성 신호를 추출하게 된다. 이후, 합성부(66)에서는 0 ~ 4KHz 대역의 음성 신호와 4 ~ 8KHz 대역의 음성 신호의 합성이 이루어지고, 이어서 합성부(66)에서 출력된 고주파 음성과 확장 이전의 초협대역 신호(0 ~ 2KHz)를 믹싱하여 최종적으로 고음역을 복원한다.
이와 같이, 본 발명의 본 발명의 대역 확장부(4)는, 초협대역 신호(Super-Narrowband signal)가 인-이어 마이크로폰(1)으로 입력되더라도 고음역 복원이 가능하도록 하고 있다. 즉, 일반적으로 고음 복원 알고리즘은 0 ~ 4KHz를 8KHz 까지 확장하는데 반해, 본 발명에서는 인-이어 마이크로폰(1)으로 입력되는 2KHz 미만의 초협대역 신호에 대해 복원이 이루어지게 된다. 게다가, 본 발명에서는 연산량이 현저하게 감소되었음에도 불구하고 고음역을 복원할 수 있다.
본 발명에서는 선형 예측 부호화 기반 알고리즘을 통해 주파수를 예측하여 확장시키는 연산은 수행하지 않으며, 고주파 스펙트럼 확장(High Frequency Spectrum Extension)을 통해 단순 주파수 확장이 이루어지도록 한다. 즉, 주파수를 예측해서 실시간으로 만들어서 확장시키는 연산은 생략하고, 정류기(rectifier), 스펙트럼 폴딩(spectral folding), 변환(modulation) 기법을 사용해서 주파수만 확장시킨다. 이에 연산량이 크게 감소시킬 수 있다.
이와 같이 고주파 스펙트럼 확장부(63)에서 단순히 주파수만 확장시킴으로써 광대역 신호가 출력되면, 이에 대해 선형 예측 분석을 수행한 후, 선형 예측 모델링을 통한 주파수 확장을 수행하지 않고 필터를 사용하여 단순 필터링만을 수행한다. 즉, 대역폭 확장 없이 원음(고음역)에 근접한 필터링이 이루어지는 것이다. 이후, 필터링된 결과와 여기신호가 확장된 결과를 합성하면 고주파 신호가 생성된다. 이어서, 마지막으로 고주파 신호와 인-이어 마이크로폰(1)을 통해 입력받은 초협대역 신호를 믹싱하면 고음역이 복원된다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 이어셋의 음색 보상 방법에 대해 설명하기로 한다.
도 5는 본 발명의 일 실시예에 의한 이어셋의 음색 보상 방법의 흐름도이다.
도 5를 참조하면, 사용자의 발성이 이루어지면, 인-이어 마이크로폰(1)에서는 성대에서 귀의 고막으로 전달된 내이 음성을 집음하고, 아웃-이어 마이크로폰(2)에서는 성대에서 구강밖으로 전달된 외부 음성을 집음한다(S1).
이에, 파라미터 추출부(31)에서는 인-이어 마이크로폰(1)과 아웃-이어 마이크로폰(2)으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출한다(S2).
이어서, 파라미터 비교부(32)에서는 추출된 인-이어 마이크로폰(1)의 주파수별 위상 및 진폭 파라미터와 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터를 각각 비교한다(S3).
그리고, 파라미터 보상부(33)에서는 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터값으로 보상한다(S4).
한편, 대역 확장부(4)는 인-이어 마이크로폰(1)으로부터 출력된 음성 신호와 파라미터 보상부(33)로부터 출력된 음성 신호로부터 대역폭을 확장시키는 과정을 더 진행할 수 있다(S5).
도 6은 본 발명의 다른 실시예에 의한 이어셋의 음색 보상 방법의 흐름도이다.
도 6을 참조하면, 사용자의 발성이 이루어지면, 인-이어 마이크로폰(1)에서는 성대에서 귀의 고막으로 전달된 내이 음성을 집음하고(S11), 이에 대역 확장부(4)에서는 저음역의 내이 음성으로부터 고음역의 내이 음성으로 대역폭을 확장시킨다(S12). 한편, 아웃-이어 마이크로폰(2)에서도 성대에서 구강밖으로 전달된 외부 음성의 집음이 이루어진다(S11).
이어서, 파라미터 추출부(31)에서는 대역 확장부(4)와 아웃-이어 마이크로폰(2)으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출한다(S13).
이에, 파라미터 비교부(32)에서는 추출된 대역 확장부(4)(1)의 주파수별 위상 및 진폭 파라미터와 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터를 각각 비교한다(S14).
그리고, 파라미터 보상부(33)에서는 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터값으로 보상한다(S15).
도 7은 본 발명의 음색 보상의 개념도이다.
도 7을 참조하면, 본 발명에서는 파란색 그래프를 초록색 그래프로 맞추는 프로세스를 진행하게 된다.
도 8은 앱(App)을 통해 음색 보상이 이루어지는 과정을 나타낸 도면이다.
일례로서, 스마트폰 등에서 앱(App)을 실행시켜 파라미터 기준값을 설정하는 과정 및 음색 보상이 이루어지는 과정을 나타낸 흐름도이다.
도 8을 참조하면, 스마트폰과 이어셋의 유ㆍ무선 연결 상태를 확인한다(S21).
파라미터 기준값이 설정되어 있지 않은 경우에는 파라미터 기준값을 설정하는 과정을 진행한다.
스마트폰과 이어셋이 연결된 상태에서 사용자 음성을 입력한다(S22). 이 때, 사용자 음성 입력 이전에, 아웃-이어 마이크로폰(2)으로부터 입력되는 소음을 체크하여 소음값이 설정값 이하일 경우에 사용자 음성 입력이 이루어지도록 하는 것이 바람직하다.
앱(App)에서 안내하는 문장을 읽으면, 인-이어 마이크로폰(1)과 아웃-이어 마이크로폰(2)으로부터 출력된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출한다(S23).
이어서, 추출된 인-이어 마이크로폰(1)의 주파수별 위상 및 진폭 파라미터와 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터를 각각 비교한다(S24).
이에, 측정값 간의 차이가 있는 파라미터에 대해 아웃-이어 마이크로폰(2)의 주파수별 위상 및 진폭 파라미터값을 기준으로 하여 보상값을 결정한다(S25).
그리고, 보상값을 메모리에 저장한다(S26).
이후, 메모리에 저장된 보상값은 음성 복원에 이용될 수 있다. 즉, 인-이어 마이크로폰(1)으로부터 전달된 음성 신호에 대해 메모리에 저장된 보상값을 적용하여 음성 복원이 이루어질 수 있다.
이상 몇 가지의 실시예를 통해 본 발명의 기술적 사상을 살펴보았다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 상기 살펴본 실시예를 다양하게 변형하거나 변경할 수 있음은 자명하다. 또한, 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
1 : 인-이어 마이크로폰
2 : 아웃-이어 마이크로폰
3 : 음성 복원부
31 : 파라미터 추출부
32 : 파라미터 비교부
33 : 파라미터 보상부
4 : 대역 확장부

Claims (7)

  1. 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰;
    성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰; 및
    상기 인-이어 마이크로폰과 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부를 포함하며,
    상기 인-이어 마이크로폰으로부터 출력된 음성 신호와 상기 음성 복원부로부터 출력된 음성 신호로부터 대역폭을 확장시키는 대역 확장부를 더 포함하는 이어셋의 음색 보상 장치.
  2. 삭제
  3. 성대에서 귀의 고막으로 전달된 내이 음성을 집음하는 인-이어 마이크로폰;
    저음역의 내이 음성으로부터 고음역의 내이 음성으로 대역폭을 확장시키는 대역 확장부;
    성대에서 구강밖으로 전달된 외부 음성을 집음하는 아웃-이어 마이크로폰; 및
    상기 대역 확장부로부터 출력된 음성 신호와 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호의 각 파라미터를 비교하여 음성을 복원하는 음성 복원부를 포함하는 이어셋의 음색 보상 장치.
  4. 제1항 또는 제3항에 있어서,
    상기 음성 복원부는,
    전달된 음성 신호로부터 다수의 파라미터를 추출하는 파라미터 추출부;
    각 파라미터의 측정값을 비교하는 파라미터 비교부; 및
    상기 측정값 간의 차이가 있는 파라미터에 대해 상기 아웃-이어 마이크로폰의 파라미터값으로 보상하는 파라미터 보상부를 포함하며,
    상기 파라미터는 음성에 대한 주파수별 위상 및 진폭을 포함하는 이어셋의 음색 보상 장치.
  5. 삭제
  6. 삭제
  7. 인-이어 마이크로폰에서, 성대에서 귀의 고막으로 전달된 내이 음성을 집음하고, 아웃-이어 마이크로폰에서, 성대에서 구강밖으로 전달된 외부 음성을 집음하는 단계;
    대역 확장부에서, 상기 인-이어 마이크로폰의 음성 신호를 고음역의 음성 신호로 대역폭을 확장시키는 단계;
    파라미터 추출부에서, 상기 대역 확장부와 상기 아웃-이어 마이크로폰으로부터 전달된 음성 신호로부터 주파수별 위상 및 진폭 파라미터를 추출하는 단계;
    파라미터 비교부에서, 추출된 상기 대역 확장부의 주파수별 위상 및 진폭 파라미터와 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터를 각각 비교하는 단계; 및
    파라미터 보상부에서, 측정값 간의 차이가 있는 파라미터에 대해 상기 아웃-이어 마이크로폰의 주파수별 위상 및 진폭 파라미터값으로 보상하는 단계를 포함하는 이어셋의 음색 보상 방법.
KR1020160056130A 2016-04-19 2016-05-09 이어셋의 음색 보상 장치 및 방법 KR101773353B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/093,031 US10638225B2 (en) 2016-04-19 2016-11-30 Tone compensation device and method for earset
JP2018553918A JP2019516304A (ja) 2016-04-19 2016-11-30 イヤーセットの音色補償装置および方法
DE112016006762.3T DE112016006762T5 (de) 2016-04-19 2016-11-30 Vorrichtung und Verfahren zur Ausgleichung einer Klangfarbe eines Ohrhörersets
PCT/KR2016/013992 WO2017183789A1 (ko) 2016-04-19 2016-11-30 이어셋의 음색 보상 장치 및 방법
CN201680084780.XA CN109076283B (zh) 2016-04-19 2016-11-30 耳机的音色补偿装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160047634 2016-04-19
KR20160047634 2016-04-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103940A Division KR101907389B1 (ko) 2016-04-19 2017-08-17 이어셋의 음색 보상 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101773353B1 true KR101773353B1 (ko) 2017-08-31

Family

ID=59761258

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160056130A KR101773353B1 (ko) 2016-04-19 2016-05-09 이어셋의 음색 보상 장치 및 방법
KR1020170103940A KR101907389B1 (ko) 2016-04-19 2017-08-17 이어셋의 음색 보상 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020170103940A KR101907389B1 (ko) 2016-04-19 2017-08-17 이어셋의 음색 보상 장치 및 방법

Country Status (6)

Country Link
US (1) US10638225B2 (ko)
JP (1) JP2019516304A (ko)
KR (2) KR101773353B1 (ko)
CN (1) CN109076283B (ko)
DE (1) DE112016006762T5 (ko)
WO (1) WO2017183789A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162403A1 (en) * 2020-02-10 2021-08-19 Samsung Electronics Co., Ltd. Method for improving sound quality and electronic device using same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2886606B1 (de) * 2013-12-20 2017-11-15 Ems-Patent Ag Kunststoffformmasse und deren Verwendung
KR101982812B1 (ko) * 2017-11-20 2019-05-27 김정근 헤드셋 및 그의 음질 향상 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092957B1 (ko) * 2010-11-05 2011-12-12 신두식 마이크로폰

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1050962C (zh) * 1993-09-29 2000-03-29 黄大伟 抗噪耳机
JP2002125298A (ja) * 2000-10-13 2002-04-26 Yamaha Corp マイク装置およびイヤホンマイク装置
US7242778B2 (en) * 2003-04-08 2007-07-10 Gennum Corporation Hearing instrument with self-diagnostics
CN2829265Y (zh) * 2005-08-22 2006-10-18 蔡锦绸 可降低干扰的耳机
US20070160243A1 (en) * 2005-12-23 2007-07-12 Phonak Ag System and method for separation of a user's voice from ambient sound
US7876906B2 (en) * 2006-05-30 2011-01-25 Sonitus Medical, Inc. Methods and apparatus for processing audio signals
KR100892095B1 (ko) * 2007-01-23 2009-04-06 삼성전자주식회사 헤드셋에서 송수신 음성신호 처리 장치 및 방법
JP2010145426A (ja) * 2007-04-03 2010-07-01 Panasonic Corp オーディオ帯域拡張装置
KR100935769B1 (ko) * 2008-05-02 2010-01-06 소리젠 주식회사 피드백 제어를 갖는 주파수 특성 보상형 능동형 소음 제어장치 및 방법
JP2010085877A (ja) * 2008-10-02 2010-04-15 Clarion Co Ltd 音響補完装置
CN102118667B (zh) * 2009-12-31 2016-05-25 歌尔声学股份有限公司 非封闭式耳塞型耳机及其受话端语音增强装置
JP5691618B2 (ja) * 2010-02-24 2015-04-01 ヤマハ株式会社 イヤホンマイク
JP2011209548A (ja) * 2010-03-30 2011-10-20 Nippon Logics Kk 帯域拡張装置
US20110293109A1 (en) * 2010-05-27 2011-12-01 Sony Ericsson Mobile Communications Ab Hands-Free Unit with Noise Tolerant Audio Sensor
KR101792183B1 (ko) * 2011-03-15 2017-10-31 삼성전자 주식회사 휴대 단말기의 이어폰 시스템
JP2012208177A (ja) * 2011-03-29 2012-10-25 Nippon Logics Kk 帯域拡張装置及び音声補正装置
JP2014096732A (ja) * 2012-11-09 2014-05-22 Oki Electric Ind Co Ltd 収音装置及び電話機
US9271091B2 (en) * 2012-11-15 2016-02-23 Sonova Ag Own voice shaping in a hearing instrument
CN103269465B (zh) * 2013-05-22 2016-09-07 歌尔股份有限公司 一种强噪声环境下的耳机通讯方法和一种耳机
JP2015188177A (ja) * 2014-03-27 2015-10-29 パナソニックＩｐマネジメント株式会社 聴力補助装置、およびそのマイクロフォン付きイヤフォン
KR101598400B1 (ko) * 2014-09-17 2016-02-29 해보라 주식회사 이어셋 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101092957B1 (ko) * 2010-11-05 2011-12-12 신두식 마이크로폰

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162403A1 (en) * 2020-02-10 2021-08-19 Samsung Electronics Co., Ltd. Method for improving sound quality and electronic device using same
US11562763B2 (en) 2020-02-10 2023-01-24 Samsung Electronics Co., Ltd. Method for improving sound quality and electronic device using same

Also Published As

Publication number Publication date
US20190075396A1 (en) 2019-03-07
US10638225B2 (en) 2020-04-28
KR101907389B1 (ko) 2018-10-12
CN109076283B (zh) 2021-06-15
WO2017183789A1 (ko) 2017-10-26
DE112016006762T5 (de) 2019-01-03
JP2019516304A (ja) 2019-06-13
KR20170119655A (ko) 2017-10-27
CN109076283A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
US10057692B2 (en) Hearing device comprising an improved feedback cancellation system
JP4759052B2 (ja) 高周波数再生が強化された補聴器および音声信号処理方法
US7792680B2 (en) Method for extending the spectral bandwidth of a speech signal
JP5984943B2 (ja) 聴覚装置における安定性と音声の聴き取り易さの改善
KR101803306B1 (ko) 이어폰 착용상태 모니터링 장치 및 방법
JP2007011330A (ja) スピーチ信号の適合する強化のためのシステム
US8948424B2 (en) Hearing device and method for operating a hearing device with two-stage transformation
KR101898911B1 (ko) 인이어 마이크와 아웃이어 마이크 수음특성을 이용한 소음 제거 이어셋 및 소음 제거 방법
KR101907389B1 (ko) 이어셋의 음색 보상 장치 및 방법
JP2011223581A (ja) 補聴器における安定性の改善
US9390718B2 (en) Audio signal restoration device and audio signal restoration method
US20170208397A1 (en) Method for reducing the latency period of a filter bank for filtering an audio signal, and method for low-latency operation of a hearing system
KR101850693B1 (ko) 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
CN106941006B (zh) 用于音频信号的分离和低音增强的方法、装置和系统
JPWO2018167960A1 (ja) 会話装置、音声処理システム、音声処理方法、および音声処理プログラム
JP2018501728A (ja) 補聴器システムの動作方法および補聴器システム
KR20110035344A (ko) Ｓｔｆｄ용 헤드셋에서의 음질 개선 시스템
US11310607B2 (en) Method of operating a hearing aid system and a hearing aid system
AU2011226820B2 (en) Method for frequency compression with harmonic correction and device
EP4133482A1 (en) Reduced-bandwidth speech enhancement with bandwidth extension
WO2017116022A1 (ko) 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
JP6159570B2 (ja) 音声強調装置、及びプログラム
JP5277355B1 (ja) 信号処理装置及び補聴器並びに信号処理方法
JP2003070097A (ja) デジタル補聴装置
KR101077437B1 (ko) Ｓｔｆｄ용 헤드셋에서의 음질 개선 시스템 및 그 방법

Legal Events

Date Code Title Description
AMND Amendment
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant