KR20170080387A - 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법 - Google Patents

인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법 Download PDF

Info

Publication number
KR20170080387A
KR20170080387A KR1020160009803A KR20160009803A KR20170080387A KR 20170080387 A KR20170080387 A KR 20170080387A KR 1020160009803 A KR1020160009803 A KR 1020160009803A KR 20160009803 A KR20160009803 A KR 20160009803A KR 20170080387 A KR20170080387 A KR 20170080387A
Authority
KR
South Korea
Prior art keywords
signal
frequency
frequency band
high frequency
band signal
Prior art date
Application number
KR1020160009803A
Other languages
English (en)
Inventor
김은동
Original Assignee
주식회사 오르페오사운드웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오르페오사운드웍스 filed Critical 주식회사 오르페오사운드웍스
Priority to PCT/KR2016/013989 priority Critical patent/WO2017116022A1/ko
Publication of KR20170080387A publication Critical patent/KR20170080387A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise

Abstract

인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법이 개시된다. 본 발명에 의한 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법은 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 고주파 신호 생성부와, 고주파 신호와 초협대역 신호를 믹싱하는 믹싱부를 포함한다. 본 발명에 따르면, 인-이어 마이크로폰에 입력되는 협대역 신호를 단순하게 배가시켜 고주파 대역으로 확장시키고, 확장된 고주파 대역에서 단순 필터링만을 수행하여 고주파 대역을 추출하므로 연산량을 현저하게 감소시킬 수 있다. 이에, 연산량 감소에 따라 실시간 처리가 가능하므로, 신호 전달 지연 현상 등을 방지할 수 있다.

Description

인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법{Apparatus and method for extending bandwidth of earset with in-ear microphone}
본 발명은 음성 복원 기법에 관한 것이다. 더 구체적으로는 인-이어 마이크로폰에 입력되는 저음역으로부터 고음역을 복원하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법에 관한 것이다.
최근, 스피커와 마이크로폰을 일체화시킨 이어셋이 많이 제안되고 있다.
이러한 이어셋은 외이도로 음향을 전달하는 기능과 사용자 음성을 집음하는 기능을 하나의 바디(Body)에서 수행할 수 있다. 이에 통상, 스피커는 음향 전달을 위해 외이도 방향을 향하게 되며, 마이크로폰은 사용자 음성을 집음하기 위해 외부로 노출되게 된다.
그런데, 외부로 노출된 마이크로폰에는 사용자 음성뿐 아니라, 외부 소음도 함께 집음되게 된다.
이에 외부 소음 문제를 해결하기 위해, 마이크로폰(인-이어 마이크로폰)을 외이도 방향으로 설치한 이어셋이 제안된 바 있으나, 목소리가 성대로부터 유스타키오관을 통하여 고막쪽으로 전달되는 주파수는 0 ~ 2KHz 정도의 저음역이고, 이에 따라 인-이어 마이크로폰에 입력되는 저음역만으로 원음을 복원하는데 어려움이 있다.
이러한 고음역 상실 문제를 해결하기 위해, 마이크로폰을 다수개 구성하여 마이크로폰에 입력된 서로 다른 대역의 주파수 음성을 합성하여 원음으로 복원시키는 기술이 제안된 바 있다. 즉, 외이도 측에 설치되는 인-이어(In-Ear) 마이크로폰과, 귓바퀴 바깥쪽에 설치되는 아웃-이어(Out-Ear) 마이크로폰을 함께 구성하고, 인-이어(In-Ear) 마이크로폰과 아웃-이어(Out-Ear) 마이크로폰으로 입력되는 서로 다른 대역의 주파수 음성을 합성하여 원음을 복원하는 것이다.
그럼, 여기서 음성을 합성하여 원음을 복원하는 기존 기술에 대해 설명한다.
도 1은 기존 음성 합성 장치의 제어회로블록도이다.
도 1을 참조하면, 기존 음성 합성 장치는, 본 출원인에 의해 출원된 것으로서, 인-이어 마이크로폰(1)과, 인-이어 마이크로폰(1)으로부터 전달된 신호를 저주파 대역 및 고주파 대역으로 확장시키는 주파수 대역 확장부(2)와, 확장된 신호로부터 저주파 대역 신호를 추출하는 저주파 대역 신호 추출부(3)와, 적어도 하나 이상의 아웃-이어 마이크로폰(4)과, 아웃-이어 마이크로폰(4)으로부터 전달된 신호를 빔포밍 처리하는 빔포밍부(5)와, 빔포밍 처리된 신호로부터 고주파 대역 신호를 추출하는 고주파 대역 신호 추출부(6)와, 적어도 하나 이상의 채널에 대한 음성의 진폭값을 감지하여 패킷 생성여부를 결정하는 음성 활동 감지부(7)와, 음성 활동 감지에 대응하여 구동되어 저주파 대역 신호 추출부(3) 및 고주파 대역 신호 추출부(6)에서 전달된 저주파 대역 신호 및 고주파 대역 신호를 합성하는 합성부(8)로 구성된다.
이와 같이 구성된 기존 음성 합성 장치에서는, 아웃-이어 마이크로폰(4) 측의 빔포밍 처리된 고주파 대역 신호와 인-이어 마이크로폰(1)으로부터 전달된 저주파 대역 신호를 합성하여 원음을 복원하고 있다.
그러나, 기존 음성 합성 장치에서는 다수의 마이크로폰을 구성하여야 하므로 제조 비용이 증가하는 문제가 있다. 또한, 아웃-이어 마이크로폰(4)으로는 여전히 외부 소음이 입력되므로, 외부 소음을 완벽하게 제거하는 것은 실질적으로 불가능하며, 또한 외부 소음을 제거하기 위한 필터링이 반드시 수반되어야 하는 문제가 있다.
한편, 고음 복원에 이용되는 기술들로는, 스펙트럼 폴딩, 스펙트럼 쉬프팅, 정류기를 이용한 비선형 처리, 선형 예측 부호화(LPC; Linear Predicative coding) 등이 있다.
여기서, 선형 예측 부호화 기술은 음성 부호화나 복호화시에 널리 이용되고 있는 기술로서, 미국등록특허(US 8,306,249) 등에서 알 수 있는 것처럼 보청기 등에 사용 가능한 음성 복호화 장치에서 선형 예측 부호화 알고리즘을 사용하기도 한다.
선형 예측 부호화의 source-filter 모델링 기술에 의하면, 소리는 성대의 떨림을 통해서 발생(source)되고, 소리는 구강, 비강, 입 구조에 따라서 다른 소리로 배출(filter)된다. 이를 수학적으로 모델링한 것이 source-filter 모델링이다. 즉, 소스를 모델링하고, 여기에 필터를 추가하면, 떨림이 목소리(원음)로 재생되는 과정을 모델링할 수 있다.
도 2는 기존 선형 예측 부호화 기법을 이용한 음성 합성 장치의 제어회로블록도이다.
도 2를 참조하면, 기존 음성 합성 장치는, 입력된 협대역 신호로부터 여기신호(excitation signal)를 결정하는 선형 예측 분석부(11)와, 결정된 여기신호를 스펙트럼 폴딩 기법 또는 가우시안 노이즈 통과대역 변환 기법 등을 통해 광대역 여기신호를 출력하여 소리를 생성하는 여기신호 확장부(12)와, 입력된 협대역 신호, 저주파 포락선 정보 및 여기신호로부터 목소리 특징 정보를 추출하는 특징 추출부(13)와, 특징 정보에 대응하여 선 스펙트럼 주파수(linear spectrum frequency)로 표현되는 포락선 성분에 대해 코드북 매핑(Codebook Mapping), 인공신경망, 가우시안 믹싱 모델(Gaussian Mixture Model) 중 어느 하나의 기법을 이용하여 광대역 고주파 신호를 출력하여 목소리를 생성하는 스펙트럼 포락선 확장부(14)와, 광대역 여기신호와 광대역 고주파 신호를 합성하여 원음을 복원하는 합성부(15)로 구성된다.
그런데, 이와 같이 구성된 기존 음성 합성 장치는 스펙트럼 포락선 확장부(14)에서 이용하는 코드북 매핑(Codebook Mapping), 인공신경망, 가우시안 믹싱 모델(Gaussian Mixture Model) 기법들은 연산량이 너무 방대하여 실시간 처리가 어려운 문제가 있다. 이에, 예를 들면 블루투스 이어셋/헤드셋에 포함되는 칩셋(DSP)으로 처리할 경우에 연산량이 너무 많아 지연 현상이 발생할 수 있다. 한편, 인-이어 마이크로폰에 입력되는 저음역에 대해 기존 선형 예측 부호화 기법을 적용하는 것은 적합하지 않다는 문제가 있다.
문헌 1. US 8,306,249 (Siemens Medical Instruments Pte. Ltd. Rosenkranz Tobias) 2012.11.6 문헌 2. 대한민국특허청 특허등록번호 제10-0517229호, "적응형 필터링에 의해 고주파 복원 코딩 방법의 인식성능을 향상시키기 위한 방법 및 장치"
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 인-이어 마이크로폰에 입력되는 협대역 신호를 고주파 대역으로 단순 확장시키고, 확장된 고주파 대역에서 단순 필터링을 통해 고주파 대역을 추출하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치는, 바람직하게는 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 상기 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 고주파 신호 생성부; 및 상기 고주파 신호와 상기 초협대역 신호를 믹싱하는 믹싱부를 포함할 수 있다.
이 때, 상기 고주파 신호 생성부는, 상기 초협대역 신호로부터 상기 여기신호를 결정하는 제1 선형 예측 분석부; 결정된 상기 여기신호를 광대역 여기신호로 확장하는 여기신호 확장부; 상기 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 고주파 스펙트럼 확장부; 확장된 상기 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 제2 선형 예측 분석부; 상기 제2 선형 예측 분석부로부터 출력된 고주파 대역 신호를 필터링하는 필터링부; 및 상기 필터링부로부터 출력된 고주파 대역 신호와 상기 여기신호 확장부로부터 출력된 광대역 여기신호를 합성하는 합성부를 포함할 수 있다. 여기서, 상기 여기신호의 확장은 스펙트럼 폴딩 기법 또는 가우시안 노이즈 통과대역 변환 기법 중 어느 하나를 이용할 수 있다. 또한, 상기 광대역 신호의 확장은 정류기(rectifier), 스펙트럼 폴딩(spectral folding), 변환(modulation) 기법 중 어느 하나를 이용할 수 있다.
한편, 상기 고주파 신호 생성부 및 믹싱부는 이어셋의 회로에 구성될 수 있으며, 이 때, 상기 이어셋은 블루투스 칩셋을 포함할 수 있다. 한편, 상기 고주파 신호 생성부 및 믹싱부는 스마트폰의 회로에 구성될 수도 있다.
한편, 본 발명의 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법은, 바람직하게는 (a) 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 상기 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 단계; 및 (b) 상기 고주파 신호와 상기 초협대역 신호를 믹싱하는 단계를 포함할 수 있다.
이 때, 상기 단계 (a)는, 상기 초협대역 신호로부터 상기 여기신호를 결정하는 단계; 결정된 상기 여기신호를 광대역 여기신호로 확장하는 단계; 상기 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 단계; 확장된 상기 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 단계; 결정된 상기 고주파 대역 신호를 필터링하는 필터링부; 및 필터링된 상기 고주파 대역 신호와 확장된 상기 광대역 여기신호를 합성하는 단계를 포함할 수 있다.
상술한 바와 같이, 본 발명에 의한 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법에 따르면, 인-이어 마이크로폰에 입력되는 협대역 신호를 단순하게 배가시켜 고주파 대역으로 확장시키고, 확장된 고주파 대역에서 단순 필터링만을 수행하여 고주파 대역을 추출하므로 연산량을 현저하게 감소시킬 수 있다.
이에, 연산량 감소에 따라 실시간 처리가 가능하므로, 신호 전달 지연 현상 등을 방지할 수 있다.
도 1은 기존 음성 합성 장치의 제어회로블록도이다.
도 2는 기존 선형 예측 부호화 기법을 이용한 음성 합성 장치의 제어회로블록도이다.
도 3은 본 발명의 일 실시예로서, 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치의 제어회로블록도이다.
도 4는 본 발명의 적용례로서, 무선 이어셋/헤드셋에 적용되는 경우의 개념도이다.
도 5는 본 발명이 다른 적용례로서, 유선 이어셋/헤드셋에 적용되는 경우의 개념도이다.
도 6은 본 발명의 일 실시예로서, 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법의 흐름도이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
또한, 발명의 상세한 설명 또는 특허청구범위에서 "~수단", "~부", "~모듈", "~블록"으로 명명된 구성요소들은 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이들 각각은 소프트웨어 또는 하드웨어, 또는 이들의 결합에 의하여 구현될 수 있다.
본 발명은 인-이어 마이크로폰을 통해 전달된 사용자 목소리의 저주파 대역 신호로부터 고주파 대역 신호를 복원하는 방법에 관한 것이다. 특히, 블루투스의 DSP를 이용하여 실시간으로 고음의 복원이 가능하도록 한 기법을 제시한다.
상기한 바와 같이, 소리는 성대의 떨림을 통해서 발생(source)되고, 소리는 구강, 비강, 입 구조에 따라서 다른 소리로 배출(filter)된다. 즉, 떨림(source) 혹은 좁은틈 사이를 공기가 통과하면서 생성되는 교란을 나타내는 여기신호 성분과, 목소리(filter)를 생성하는 포락선 성분으로 구분된다. 통상, 여기신호 성분과 포락선 성분은 각각 광대역 확장 과정을 거치게 되는데, 여기신호 성분은 원음을 생성하는데 미치는 영향이 포락선 성분에 대비하여 상대적으로 작으므로 계산량이 적은 스펙트럼 폴딩 기법 또는 스펙트럼 평행이동 기법을 사용한다. 그런데, 포락선 성분에 대해서는, 선 스펙트럼 주파수(linear spectrum frequency)로 표현되는 포락선 성분에 대해 코드북 매핑(Codebook Mapping), 인공신경망, 가우시안 믹싱 모델(Gaussian Mixture Model), 은닉 마르코프 모델(hidden Markov model, HMM) 기법을 이용하여 광대역 고주파 신호를 출력하여 목소리를 생성하므로, 연산량이 많다는 단점이 있다. 결국, 예를 들어 블루투스 DSP에서 실시간으로 고음을 복원하는 것이 실질적으로 불가능한 상황이다. 이에 본 발명에서는 연산량을 현저히 감소시킴으로써 실시간 고음 복원 및 원음 복원이 가능하도록 한 방안을 제안한다.
이하에서는 본 발명의 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법이 구현된 일 예를 특정한 실시예를 통해 설명하기로 한다.
도 3은 본 발명의 일 실시예로서, 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치의 제어회로블록도이다.
도 3을 참조하면, 본 발명의 대역폭 확장 장치는, 입력된 초협대역 신호(Super-Narrowband signal)로부터 여기신호(excitation signal)를 결정하는 제1 선형 예측 분석부(21)와, 결정된 여기신호를 스펙트럼 폴딩 기법 또는 가우시안 노이즈 통과대역 변환 기법 등을 통해 광대역 여기신호를 출력하여 소리를 생성하는 여기신호 확장부(22)와, 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 고주파 스펙트럼 확장부(23)와, 확장된 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 제2 선형 예측 분석부(24)와, 제2 선형 예측 분석부(24)로부터 출력된 고주파 대역 신호를 필터링하는 필터링부(25)와, 필터링부(25)로부터 출력된 고주파 대역 신호와 여기신호 확장부(22)로부터 출력된 광대역 여기신호를 합성하는 합성부(26)와, 합성부(26)로부터 출력된 고주파 신호와 초협대역 신호를 믹싱하는 믹싱부(27)를 포함한다. 이와 같이, 본 발명의 대역폭 확장 장치는, 고주파 크게 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 고주파 신호 생성부와, 고주파 신호와 초협대역 신호를 믹싱하는 믹싱부(27)로 구성되어 있다.
고주파 스펙트럼 확장부(23)는 일례로서, 초협대역 신호(0 ~ 2KHz)를 2배로 업샘플링하면, 업샘플링된 신호는 4KHz에서 샘플링된다. 이에 고주파 스펙트럼 확장부(23)에서 출력되는 신호는 0 ~ 4KHz 대역과 동일하고, 고주파 대역인 4 ~ 8KHz에서는 입력 신호의 폴딩된 버전과 동일한 스펙트럼을 갖게 된다. 이 스펙트럼을 이용하여 고주파 대역 신호를 추정하게 된다. 이에, 필터링부(25)에서는 4 ~ 8KHz 대역의 음성 신호를 추출하게 된다. 이후, 합성부(26)에서는 0 ~ 4KHz 대역의 음성 신호와 4 ~ 8KHz 대역의 음성 신호의 합성이 이루어지고, 이어서 합성부(26)에서 출력된 고주파 음성과 확장 이전의 초협대역 신호(0 ~ 2KHz)를 믹싱하여 최종적으로 원음을 복원한다.
이와 같이, 본 발명의 본 발명의 대역폭 확장 장치는, 초협대역 신호(Super-Narrowband signal)가 인-이어 마이크로폰으로 입력되더라도 원음 복원이 가능하도록 하고 있다. 즉, 일반적으로 고음 복원 알고리즘은 0 ~ 4KHz를 8KHz 까지 확장하는데 반해, 본 발명에서는 인-이어 마이크로폰으로 입력되는 2KHz 미만의 초협대역 신호에 대해 복원이 이루어지게 된다. 게다가, 본 발명에서는 연산량이 현저하게 감소되었음에도 불구하고 원음을 복원할 수 있다.
도 2에서 제시한 기존 음성 합성 장치에 대비하여, 선형 예측 부호화 이후에 여기신호를 확장하는 기능은 그대로 수행하고 있으나, 스펙트럼 포락선 확장부의 기능은 제거되어 있다. 기존 음성 합성 장치는 선형 예측 부호화 기반 알고리즘을 통해 주파수를 예측하여 확장시키고 있는데 반해, 본 발명에서는 선형 예측 부호화 기반 알고리즘을 통해 주파수를 예측하여 확장시키는 연산은 수행하지 않으며, 고주파 스펙트럼 확장(High Frequency Spectrum Extension)을 통해 단순 주파수 확장이 이루어지도록 한다. 즉, 주파수를 예측해서 실시간으로 만들어서 확장시키는 연산은 생략하고, 정류기(rectifier), 스펙트럼 폴딩(spectral folding), 변환(modulation) 기법을 사용해서 주파수만 확장시킨다. 이에 연산량이 크게 감소시킬 수 있다.
이와 같이 고주파 스펙트럼 확장부(23)에서 단순히 주파수만 확장시킴으로써 광대역 신호가 출력되면, 이에 대해 선형 예측 분석을 수행한 후, 선형 예측 모델링을 통한 주파수 확장을 수행하지 않고 필터를 사용하여 단순 필터링만을 수행한다. 즉, 대역폭 확장 없이 원음에 근접한 필터링이 이루어지는 것이다. 이후, 필터링된 결과와 여기신호가 확장된 결과를 합성하면 고주파 신호가 생성된다. 이어서, 마지막으로 고주파 신호와 인-이어 마이크로폰을 통해 입력받은 초협대역 신호를 믹싱하면 원음이 복원된다.
도 4는 본 발명의 적용례로서, 무선 이어셋/헤드셋에 적용되는 경우의 개념도이다.
도 4를 참조하면, 본 발명의 대역폭 확장이 이어셋의 DSP, 즉 예를 들어 블루투스 칩셋(DSP)에서 이루어지는 경우에 대해 설명하고 있다. 이 경우 연산량이 현저하게 감소하여 블루투스 칩셋에서의 실시간 처리가 가능할 뿐 아니라, 무선 전송 지연을 최소화할 수 있다. 물론, 이어셋과 스마트폰은 유선접속될 수 있다.
도 5는 본 발명이 다른 적용례로서, 유선 이어셋/헤드셋에 적용되는 경우의 개념도이다.
도 5를 참조하면, 본 발명의 대역폭 확장이 스마트폰 등에서 이루어지는 경우에 대해 설명하고 있다. 이 경우, 이어셋과 스마트폰이 유선접속될 수 있으며, 스마트폰 칩셋에서 실시간 처리가 가능하다. 물론, 이어셋과 스마트폰은 무선접속될 수 있다.
그러면, 여기서 상기와 같이 구성된 대역폭 확장 장치를 이용한 본 발명의 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법에 대해 설명하기로 한다.
도 6은 본 발명의 일 실시예로서, 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법의 흐름도이다.
도 6을 참조하면, 인-이어 마이크로폰으로 초협대역 신호가 입력되면(S1), 여기신호의 확장이 이루어지는 과정으로서, 입력된 초협대역 신호(Super-Narrowband signal)로부터 여기신호(excitation signal)를 결정하고(S2), 결정된 여기신호를 광대역 여기신호로 확장시킨다(S3).
한편, 입력된 초협대역 신호의 주파수를 배가시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시킨다(S4).
이에, 확장된 광대역 신호로부터 고주파 대역 신호를 추정 및 결정한다(S5).
이어서, 추정 및 결정된 고주파 대역 신호를 필터링한다(S6).
한편, 필터링된 고주파 대역 신호와 광대역 여기신호를 합성하여 고주파 신호를 생성하게 된다(S7).
이어서, 고주파 신호와 초협대역 신호를 믹싱하여 원음을 복원한다(S8).
이와 같이 본 발명에서는, 초협대역 신호(0 ~ 2KHz)로부터 선형 예측을 통해 여기신호를 확장하는 영역과, 초협대역 신호로부터 단순 주파수 확장을 수행하고, 단순 확장된 고주파수 신호로부터 선형 예측을 통해 고주파 신호를 예측하고, 예측된 고주파 신호를 단순 필터링하는 영역으로 구성하고 있다. 이후, 확장된 여기신호와 필터링된 고주파 신호를 합성하여 고주파 신호를 생성하고, 이어서 고주파 신호와 초협대역 신호로부터 광대역신호(0 ~ 8KHz)를 생성한다. 이 때, 고주파 스펙트럼 확장부(23)에서의 단순 확장 기법으로는, 정류기(rectifier), 스펙트럼 폴딩(spectral folding), 변환(modulation) 기법을 이용할 수 있다.
이상 몇 가지의 실시예를 통해 본 발명의 기술적 사상을 살펴보았다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 상기 살펴본 실시예를 다양하게 변형하거나 변경할 수 있음은 자명하다. 또한, 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.
21 : 제1 선형 예측 분석부
22 : 여기신호 확장부
23 : 고주파 스펙트럼 확장부
24 : 제2 선형 예측 분석부
25 : 필터링부
26 : 합성부
27 : 믹싱부

Claims (9)

  1. 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 상기 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 고주파 신호 생성부; 및
    상기 고주파 신호와 상기 초협대역 신호를 믹싱하는 믹싱부를 포함하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  2. 제1항에 있어서,
    상기 고주파 신호 생성부는,
    상기 초협대역 신호로부터 상기 여기신호를 결정하는 제1 선형 예측 분석부;
    결정된 상기 여기신호를 광대역 여기신호로 확장하는 여기신호 확장부;
    상기 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 고주파 스펙트럼 확장부;
    확장된 상기 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 제2 선형 예측 분석부;
    상기 제2 선형 예측 분석부로부터 출력된 고주파 대역 신호를 필터링하는 필터링부; 및
    상기 필터링부로부터 출력된 고주파 대역 신호와 상기 여기신호 확장부로부터 출력된 광대역 여기신호를 합성하는 합성부를 포함하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  3. 제2항에 있어서,
    상기 여기신호의 확장은 스펙트럼 폴딩 기법 또는 가우시안 노이즈 통과대역 변환 기법 중 어느 하나를 이용하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  4. 제2항에 있어서,
    상기 광대역 신호의 확장은 정류기(rectifier), 스펙트럼 폴딩(spectral folding), 변환(modulation) 기법 중 어느 하나를 이용하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  5. 제1항에 있어서,
    상기 고주파 신호 생성부 및 믹싱부는 이어셋의 회로에 구성되는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  6. 제5항에 있어서,
    상기 이어셋은 블루투스 칩셋을 포함하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  7. 제1항에 있어서,
    상기 고주파 신호 생성부 및 믹싱부는 스마트폰의 회로에 구성되는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치.
  8. (a) 입력된 초협대역 신호(Super-Narrowband signal)로부터 확장된 여기신호(excitation signal)와 상기 초협대역 신호의 주파수를 배가시켜 확장시키고 필터링한 고주파 대역 신호를 합성하여 고주파 신호를 생성하는 단계;
    (b) 상기 고주파 신호와 상기 초협대역 신호를 믹싱하는 단계를 포함하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법.
  9. 제8항에 있어서,
    상기 단계 (a)는,
    상기 초협대역 신호로부터 상기 여기신호를 결정하는 단계;
    결정된 상기 여기신호를 광대역 여기신호로 확장하는 단계;
    상기 초협대역 신호의 주파수를 배가(N배)시켜 고주파 대역 신호를 포함하는 광대역 신호로 확장시키는 단계;
    확장된 상기 광대역 신호로부터 고주파 대역 신호를 추정 및 결정하는 단계;
    결정된 상기 고주파 대역 신호를 필터링하는 필터링부; 및
    필터링된 상기 고주파 대역 신호와 확장된 상기 광대역 여기신호를 합성하는 단계를 포함하는 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 방법.
KR1020160009803A 2015-12-30 2016-01-27 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법 KR20170080387A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/013989 WO2017116022A1 (ko) 2015-12-30 2016-11-30 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150189230 2015-12-30
KR20150189230 2015-12-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103939A Division KR101850693B1 (ko) 2015-12-30 2017-08-17 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170080387A true KR20170080387A (ko) 2017-07-10

Family

ID=59355615

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160009803A KR20170080387A (ko) 2015-12-30 2016-01-27 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
KR1020170103939A KR101850693B1 (ko) 2015-12-30 2017-08-17 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020170103939A KR101850693B1 (ko) 2015-12-30 2017-08-17 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법

Country Status (1)

Country Link
KR (2) KR20170080387A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078149B1 (ko) * 2017-12-28 2020-02-17 주식회사 오르페오사운드웍스 인-이어 마이크로폰을 갖는 이어셋을 이용한 실시간 통역서비스 시스템 및 방법
KR102570480B1 (ko) 2019-01-04 2023-08-25 삼성전자주식회사 오디오 신호 처리 방법 및 이를 지원하는 전자 장치
KR102182720B1 (ko) * 2019-05-16 2020-11-24 주식회사 포콘스 역할 전환 기능을 갖는 이어셋을 이용한 통역방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988066B2 (en) 2001-10-04 2006-01-17 At&T Corp. Method of bandwidth extension for narrow-band speech

Also Published As

Publication number Publication date
KR101850693B1 (ko) 2018-04-20
KR20170098761A (ko) 2017-08-30

Similar Documents

Publication Publication Date Title
JP4740260B2 (ja) 音声信号の帯域幅を疑似的に拡張するための方法および装置
CN109065067A (zh) 一种基于神经网络模型的会议终端语音降噪方法
KR100643310B1 (ko) 음성 데이터의 포먼트와 유사한 교란 신호를 출력하여송화자 음성을 차폐하는 방법 및 장치
CN108604452B (zh) 声音信号增强装置
KR101803306B1 (ko) 이어폰 착용상태 모니터링 장치 및 방법
US9390718B2 (en) Audio signal restoration device and audio signal restoration method
JPWO2011080855A1 (ja) 音声信号復元装置および音声信号復元方法
JP2015172706A (ja) 音声復号化装置及びプログラム
US8948424B2 (en) Hearing device and method for operating a hearing device with two-stage transformation
KR101850693B1 (ko) 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
US20130332171A1 (en) Bandwidth Extension via Constrained Synthesis
US9245538B1 (en) Bandwidth enhancement of speech signals assisted by noise reduction
KR101907389B1 (ko) 이어셋의 음색 보상 장치 및 방법
JP6162254B2 (ja) 背景ノイズにおけるスピーチ了解度を増幅及び圧縮により向上させる装置と方法
WO2014192675A1 (ja) 信号処理装置及び信号処理方法
WO2018167960A1 (ja) 音声処理装置、音声処理システム、音声処理方法、および音声処理プログラム
JP5219499B2 (ja) 風雑音低減装置
JP5840087B2 (ja) 音声信号復元装置および音声信号復元方法
KR101077328B1 (ko) Ｓｔｆｄ용 헤드셋에서의 음질 개선 시스템
WO2017116022A1 (ko) 인-이어 마이크로폰을 갖는 이어셋의 대역폭 확장 장치 및 방법
JP6333043B2 (ja) 音声信号処理装置
Pulakka et al. Quality improvement of telephone speech by artificial bandwidth expansion-listening tests in three languages.
JP2024043720A (ja) 調波音・背景音を用いた音声補償プログラム、装置及び方法
Furuta et al. Intelligibility improvement of bandlimited synthesized speech by superposing high frequency component of input signal on baseband signal
JP2001175299A (ja) 雑音除去装置

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent