KR20150017703A - 휴대 전화에 적용되는 음성 향상 방법 및 장치 - Google Patents
휴대 전화에 적용되는 음성 향상 방법 및 장치 Download PDFInfo
- Publication number
- KR20150017703A KR20150017703A KR1020147031212A KR20147031212A KR20150017703A KR 20150017703 A KR20150017703 A KR 20150017703A KR 1020147031212 A KR1020147031212 A KR 1020147031212A KR 20147031212 A KR20147031212 A KR 20147031212A KR 20150017703 A KR20150017703 A KR 20150017703A
- Authority
- KR
- South Korea
- Prior art keywords
- microphone
- signal
- user
- holding
- auxiliary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002708 enhancing effect Effects 0.000 title claims 2
- 230000001413 cellular effect Effects 0.000 claims abstract description 42
- 230000003370 grooming effect Effects 0.000 claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 51
- 230000001629 suppression Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 101000995890 Drosophila melanogaster Nitric oxide synthase Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6008—Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 발명에 의해 제공되는 방법 및 장치에 의해, 사용자가 전화로 사용자가 이야기하고 있을 때 사용자의 휴대 전화 홀딩 상태가 검출됨으로써, 서로 다른 디노이징 솔루션이 휴대 전화를 홀딩하고 있는 사용자의 상태에 따라 적용될 것이다. 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때에는, 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션이 정상 잡음과 비정상 잡음의 양쪽을 효과적으로 억제하기 위해 적용될 것이고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때에는, 단일 마이크로폰 디노이징만이 장상 잡음을 억제하기 위해 적용될 것이다. 다중 마이크로폰 디노이징에 의한 음성의 왜곡이 회피되고, 음성 품질이 보장된다.
Description
본 발명은 음성 신호 처리의 기술분야에 관한 것으로, 특히 휴대 전화를 위한 음성 향상 방법 및 장치에 관한 것이다.
사람의 일상 생활과 일(work, 작업)의 양쪽에 광범위하게 적용되어 온 휴대 전화(mobile phone, 휴대폰)는 통신에 대한 공간적이고 시간적인 제약을 완화하고, 사람의 생활과 일에 커다란 편리함을 제공한다. 그러나, 통신 환경은 그 사이에 환경 잡음이 포함되어 있어 복잡하고 변화무쌍하다. 환경 잡음은 휴대 전화에서의 전화의 음성 품질(음질)을 심각하게 열화시킨다. 따라서, 음성 향상 기술은 휴대 전화에서의 잡음 억제를 위해 상당한 시사점(implication)을 가지고 있다.
현재, 일반적으로 사용되는 음성 향상 기술은, 단일 채널(single-channel) 스펙트럼 차감 음성 향상 기술이라고도 불리거나, 또는 단일 마이크로폰 디노이징 기술(single-microphone denoising technique)이라고 불릴 수 있는 단일 마이크로폰(single-microphone) 스펙트럼 차감 음성 향상 기술을 포함하고 있다. 이러한 기술은, 비정상 잡음(non-steady noise), 예를 들어 쇼핑 몰, 수퍼마켓 또는 레스토랑에 있어서 자신 주위의 사람들의 음성에 대한 충분한 억제 효과 없이 정상 잡음(steady noise)만을 억제할 수 있다.
또 다른 바람직한 디노이징 기술은, 다중 마이크로폰(multi-microphone) 디노이징 기술이라고도 불리는 다중 마이크로폰 어레이 음성 향상 기술이다. 이러한 기술은 다음과 같은 2가지 유형(type)을 더 포함하고 있다.
첫 번째 유형은, 다중 마이크로폰 신호 처리에 의해 고정된 방향성이 형성된다는 점이다. 즉 하나의 지정된 방향으로부터의 소리(sound)는 유지되고, 다른 방향으로부터의 소리는 억제된다. 방향성이 사용자의 입(mouth)으로의 그러한 처리점에 의해 형성되는 경우, 음성을 보호하고 주위의 잡음을 억제하는 목적이 실현된다.
두 번째 유형은, 음성이 디노이징을 목적으로 다수의 마이크로폰에 의해 수신된 신호의 에너지 차이(difference)에 의한 잡음과 구별된다는 점이다. 도 1은, 음성을, 디노이징을 목적으로 다수의 마이크로폰에 의해 수신된 신호의 에너지 차이에 의한 잡음과 구별하는 솔루션에 있어서, 다수의 마이크로폰이 실장된 위치를 나타내는 다이어그램(도면)이다. 도 1에 나타낸 바와 같이, 2개의 마이크로폰, 즉 메인 마이크로폰(1)과 보조 마이크로폰(2)이 있다. 메인 마이크로폰(1)은 사람의 입 근방의 휴대 전화의 밑바닥에 실장되어 있는바, 사용자로부터 메인 마이크로폰(1)에 의해 수신된 음성 신호의 에너지가 아주 높다. 보조 마이크로폰(2)은 사람의 입으로부터 멀리 떨어진 휴대 전화의 꼭대기에 실장되어 있는바, 사용자로부터 메인 마이크로폰(1)에 의해 수신된 음성 신호의 에너지가 낮다. 도 1에 나타낸 바와 같이, 2개의 마이크로폰에 의해 수신된 외부 환경 잡음의 에너지는 서로 매우 가깝다. 따라서, 이들 2개의 마이크로폰에 의해 수신된 신호의 에너지의 차이를 비교함으로써, 어떤 신호가 음성 신호인지 잡음 신호인지를 판단할 수 있다. 결과로서, 음성 성분은 유지되고, 반면에 잡음 성분은 억제되는 바, 따라서 신호대 잡음비(signal to noise ratio)가 증가된다.
단일 마이크로폰 디노이징 기술과 비교하여, 다중 마이크로폰 디노이징 기술은 비정상 잡음을 효과적으로 억제할 수 있다는 이점을 가진다. 그러나, 다중 마이크로폰 디노이징 기술은 사용자에 의해 휴대 전화를 사용하는 방법에 엄격한 제약을 가진다. 즉, 사용자에 의해 휴대 전화를 홀딩(holding, 보호·유지)하는 방법이 제약을 받게 될 것이다. 방향성을 이용하는 기술의 첫 번째 유형에 대해서는, 사용자는 사람의 입을 지시하는 방법으로 휴대 전화를 계속 홀딩해야 하고, 그렇지 않으면 사람의 입은 사용자가 다른 방법으로 휴대 전화를 홀딩하면 보호해야 할 지정된 방향에서 벗어날 것이다. 이 경우, 음성은 다른 방향으로부터의 잡음으로서 억제될 것이다. 에너지의 차이를 이용하는 기술의 두 번째 유형에 대해서도 마찬가지인바, 사용자가 일반적으로 휴대 전화를 홀딩할 때의 상태를 나타내는 다이어그램인 도 2에 나타낸 바와 같이, 사용자는 또한 메인 마이크로폰이 사람의 입 근방에 유지되는 반면에 보조 마이크로폰이 입으로부터 멀리 떨어져 유지되도록 휴대 전화를 홀딩하는 것을 필요로 한다. 사용자가 휴대 전화를 비정상적으로 유지하는 경우, 예를 들어 사용자가 휴대 전화를 비정상적으로 홀딩할 때의 상태를 나타내는 다이어그램인 도 3에 나타낸 바와 같이 휴대 전화가 수평으로 유지되는 경우에는, 메인 마이크로폰으로부터 입까지의 거리가 보조 마이크로폰으로부터 입까지의 거리에 가까워지기 때문에, 2개의 마이크로폰에 의해 수신된 음성의 에너지가 서로 가까워진다. 이 경우에는, 음성도 또한 잡음으로서 억제될 것이다.
이와 관련하여, 본 발명은 단일 마이크로폰 디노이징이 정상 잡음만을 억제할 수 있고 다중 마이크로폰 디노이징이 비정상 잡음을 억제할 수 있더라도, 사용자가 비정상적으로 휴대 전화를 홀딩할 때 음성 신호를 왜곡(distort)할 수 있다는 문제를 해결하기 위해, 휴대 전화를 위한 음성 향상 방법 및 장치를 제공한다.
상기의 목적을 달성하기 위해, 본 발명의 기술적인 솔루션은 다음과 같은 방식으로 구현된다.
본 발명은, 메인 마이크로폰이 휴대 전화의 밑바닥에 설치되고 하나 이상의 보조 마이크로폰이 메인 마이크로폰으로부터 멀리 떨어진 위치에서 휴대 전화 내에 설치되는 휴대 전화를 위한 음성 향상 방법으로서, 상기 방법은
메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기(talking)하고 있는지 응답(answering)하고 있는지를 판단하는 단계;
사용자가 이야기하고 있다고 판단한 때에는 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 더 검출하고, 사용자가 응답하고 있다고 판단한 때에는 이전의 음성 향상 솔루션을 그대로 유지하는 단계;
사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 판단한 때에는, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하는 단계; 및
사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 판단한 때에는, 음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하는 단계를 포함하는 음성 향상 방법을 개시하고 있다.
본 발명은, 메인 마이크로폰이 휴대 전화의 밑바닥에 설치되고 하나 이상의 보조 마이크로폰이 메인 마이크로폰으로부터 멀리 떨어진 위치에서 휴대 전화 내에 설치되는 휴대 전화를 위한 음성 향상 장치로서, 상기 장치는 검출 유닛 및 디노이징 유닛을 포함하되,
검출 유닛은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하고; 사용자가 이야기하고 있다고 판단한 때에는, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 더 검출하고, 검출의 결과를 디노이징 유닛에 통지하며; 사용자가 응답하고 있다고 판단한 때에는, 더 이상의 연산(operation)을 하지 않고 디노이징 유닛이 이전의 음성 향상 솔루션을 그대로 유지하는 것을 허용하도록 구성되어 있고;
디노이징 유닛은, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하도록 구성되어 있다.
장치에 있어서, 검출 유닛은 근거리장(near-field) 음성 검출 모듈 및 홀딩 상태 검출 모듈을 포함하고; 디노이징 유닛은 다중 마이크로폰 디노이징 모듈 및 단일 마이크로폰 디노이징 모듈을 포함하되;
근거리장 음성 검출 모듈은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하며, 사용자가 이야기하고 있다고 판단한 때에는 홀딩 상태 검출 모듈로 통지를 보내며, 사용자가 응답하고 있다고 판단한 때에는 홀딩 상태 검출 모듈로 통지를 보내지 않도록 구성되어 있고;
홀딩 상태 검출 모듈은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 근거리장 음성 검출 모듈로부터 통지를 수신한 때에, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 검출하며, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 검출한 때에는 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호를 다중 마이크로폰 디노이징 모듈로 보내고, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 검출한 때에는 메인 마이크로폰으로부터의 신호를 단일 마이크로폰 디노이징 모듈로 보내도록 구성되어 있으며;
다중 마이크로폰 디노이징 모듈은, 수신된 신호에 대해 다중 마이크로폰 디노이징을 수행하고, 그 다음에 디노이징된 신호를 단일 마이크로폰 디노이징 모듈로 보내도록 구성되어 있고;
단일 마이크로폰 디노이징 모듈은, 수신된 신호에 대해 단일 마이크로폰 디노이징을 수행하고 디노이징된 신호를 출력하도록 구성되어 있다.
결론적으로, 본 발명에 의해 제공되는 방법 및 장치에 의해, 사용자가 전화로 이야기하고 있을 때 사용자의 휴대 전화 홀딩 상태가 검출됨으로써, 서로 다른 디노이징 솔루션이 휴대 전화를 홀딩하고 있는 사용자의 상태에 따라 적용될 것이다. 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때에는, 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션이 정상 잡음과 비정상 잡음의 양쪽을 효과적으로 억제하기 위해 적용될 것이고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때에는, 단일 마이크로폰 디노이징만이 장상 잡음을 억제하기 위해 적용될 것이다. 다중 마이크로폰 디노이징에 의한 음성의 왜곡이 회피되고, 음성 품질이 보장된다.
도 1은 2중 마이크로폰 휴대 전화의 마이크로폰의 설치 위치의 개략적인 다이어그램이다.
도 2는 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때의 상태를 나타내는 개략적인 다이어그램이다.
도 3은 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때의 상태를 나타내는 개략적인 다이어그램이다.
도 4는 본 발명의 실시예에 따른 휴대 전화를 위한 음성 향상 장치의 구조적인 다이어그램이다.
도 2는 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때의 상태를 나타내는 개략적인 다이어그램이다.
도 3은 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때의 상태를 나타내는 개략적인 다이어그램이다.
도 4는 본 발명의 실시예에 따른 휴대 전화를 위한 음성 향상 장치의 구조적인 다이어그램이다.
본 발명은 휴대 전화를 위한 음성 향상 기술에 관한 것이다. 본 발명은, 사용자가 휴대 전화를 정확히 홀딩하고 있을 때 최적의 디노이징 효과가 보장될 수 있도록 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때 다중 마이크로폰 디노이징을 단일 마이크로폰 디노이징과 통합한 솔루션이 적용되고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때 정상 잡음만이 억제되고 다중 마이크로폰 디노이징에 의해 야기되는 음성의 왜곡이 회피되도록 단일 마이크로폰 디노이징이 적용되는 휴대 전화 홀딩 상태 검출 기술을 적용한다. 즉, 본 발명에서는, 서로 다른 디노이징 기술이 서로 다른 휴대 전화 홀딩 상태에 대해 적용될 수 있도록, 사용자의 휴대 전화 홀딩 상태에 대한 검출이 다중 마이크로폰 디노이징에 기초해서 추가되고, 이로써 음성 왜곡을 회피하면서 최적의 디노이징이 보장된다.
본 발명의 기술적인 솔루션은, 이하와 같이 상세히 분석되고 설명될 것이다.
소음으로 찬 환경(noisy environment)에서 휴대 전화에 의해 호출이 이루어진 때에는, 사용자는 종종 다음과 같은 상황, 즉 그/그녀의 자신의 음성이 주위의 잡음에 의해 다운(down)됨으로써 그/그녀와 이야기하고 있는 사람에 의해 분명히 들릴 수 없는 상황을 가진다. 본 발명에 의해 개시된 것은, 호출이 소음으로 찬 환경에서 조차 완만하게 그리고 분명하게 이루어질 수 있도록 잡음을 제거하고 분명한 음성을 남기기 위한 다중 마이크로폰 디노이징 기술이다. 여기에서 다수의 마이크로폰은 2개 이상의 마이크로폰을 포함한다. 그러므로, 이 기술은 2개 이상의 마이크로폰이 있는 휴대 전화에 적합하다. 도 1은, 메인 마이크로폰(1)이 휴대 전화의 밑바닥에 실장(mount)되는 반면에 보조 마이크로폰(2)이 휴대 전화의 이면 측의 상부(upper part)에 실장되는 2중 마이크로폰 휴대 전화의 마이크로폰의 설치 위치의 개략적인 다이어그램이다. 다른 상황에서는, 하나의 메인 마이크로폰만이 휴대 전화의 밑바닥에 실장되는 반면에 나머지 다수의 보조 마이크로폰이 메인 마이크로폰으로부터 멀리 떨어진 위치, 예를 들어 휴대 전화의 이면 측의 꼭대기 또는 상부에서 휴대 전화에 실장되는 3개 이상의 마이크로폰이 있을 수 있다.
사용자가 휴대 전화로 이야기할 때에는 일반적으로 2가지의 홀딩 방법이 있다:
1. 정상적으로 홀딩: 휴대 전화의 밑바닥의 메인 마이크로폰(1)이 도 2에 나타낸 바와 같이 사용자의 입 근방에 유지된다. 이 경우, 본 발명에 있어서는 다중 마이크로폰 디노이징을 단일 마이크로폰 디노이징과 통합한 솔루션에 의해, 음성 품질을 왜곡시키는 일없이 잡음을 비교적 좋게 제거할 수 있다.
2. 비정상적으로 홀딩: 휴대 전화의 밑바닥의 메인 마이크로폰(1)이 도 3에 나타낸 바와 같이 사용자의 입으로부터 멀리 떨어져서 유지된다. 이 경우, 다중 마이크로폰 디노이징 기술이 적용되면, 음성은 잡음을 제거하는 동안에 잡음으로서 제거될 것이다. 그러므로, 본 발명에 있어서는 단일 마이크로폰 디노이징만을 적용한다.
본 발명의 기술적인 솔루션은, 주로 2개의 유닛: 검출 유닛 및 디노이징 유닛을 포함하고 있다. 검출 유닛은 현재의 호출 상태를 검출하기 위해 사용된다. 이들 상태는, 사용자가 이야기하고 있거나 응답하고 있는 상태, 및 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는 상태를 포함하되, 사용자가 이야기하고 있거나 응답하고 있는 상태가 근거리장 음성 검출 모듈에 의해 검출되고; 사용자의 휴대 전화 홀딩 상태가 홀딩 상태 검출 모듈에 의해 더 검출된다.
근거리장 음성 검출 모듈의 원리는 다음과 같다. 즉, 사용자가 정상적으로 또는 비정상적으로 홀딩하는 것에 관계없이 휴대 전화를 사용할 때, 사용자의 입으로부터 휴대 전화의 마이크로폰까지의 거리는 20㎝ 이하로 될 것이고, 입은 근거리장 음원(near-field sound source)으로 간주될 수 있다. 주위의 잡음원(noise source)은 일반적으로 휴대 전화로부터 50㎝ 이상 떨어져 있고, 모두 원거리장 음원(far-field sound source)으로 간주될 수 있다. 그러므로, 음원의 거리를 검출함으로써, 사용자가 이야기하고 있는지 사용자가 주위의 잡음과만 이야기하고 있지 않은지를 판단할 수 있다. 근거리장 음원의 경우는, 2개의 마이크로폰에 의해 수신된 신호 사이의 상관관계(correlation)가 높다. 원거리장 음원의 경우는, 2개의 마이크로폰에 의해 수신된 신호 사이의 상관관계가 낮다. 그러므로, 메인 마이크로폰과 보조 마이크로폰으로부터의 신호 사이의 상관값(correlation value)을 계산함으로써, 신호가 사용자의 음성인지 주위의 잡음인지를 판단할 수 있다. 다음에는 특정의 검출 단계에 대해 설명한다:
1. 메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값이 계산된다. 즉, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값이 계산되고 평균 상관값을 얻기 위해 상관값이 평균화되거나, 또는 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 하나로부터의 신호 사이의 상관값이 계산된다.
2. 상관값이 설정된 임계값보다 작거나 같으면 신호가 원거리장 잡음 신호이고 사용자가 응답하고 있다고 판단하며, 상관값이 설정된 임계값보다 크면 신호가 근거리장 음성 신호이고 사용자가 이야기하고 있다고 판단한다.
사용자가 이야기하고 있으면, 사용자의 홀딩 상태가 더 검출된다. 본 발명에서는, 사용자의 홀딩 상태를 검출하기 위한 다음과 같은 2가지 방법이 있다:
첫 번째 방법: 다수의 마이크로폰에 의해 음성의 방향을 검출하고, 음성의 방향을 통해 사용자의 홀딩 상태를 판단하며, 음성이 휴대 전화의 밑바닥으로부터 나오면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하고, 음성이 휴대 전화의 측면 또는 꼭대기로부터 나오면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하는 방법; 및
두 번째 방법: 다중 마이크로폰으로부터의 신호의 에너지 사이의 차이(difference)에 의해 사용자의 홀딩 상태를 판단하되, 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율이 설정 임계값보다 크면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하고, 에너지 비율이 설정 임계값보다 작거나 같으면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하는 방법.
검출 유닛에 의한 판단 후에, 디노이징 유닛이 서로 다른 상태에 따라 대응하는 디노이징 솔루션을 적용한다:
1. 사용자가 정상적으로 홀딩하고 있으면 다중 마이크로폰 디노이징 모드가 적용된다. 즉, 다수의 잡음이 다중 마이크로폰 디노이징에 의해 먼저 억제되고, 그 다음에 나머지 정상 잡음이 단일 마이크로폰 디노이징에 의해 억제됨으로써, 최적의 디노이징이 얻어진다.
2. 사용자가 비정상적으로 홀딩하고 있으면 단일 마이크로폰 디노이징 모드가 적용된다. 즉, 다중 마이크로폰 디노이징 대신에, 정상 잡음이 단일 마이크로폰 디노이징에 의해서만 억제됨으로써, 최적의 음성 품질이 보장된다.
3. 사용자가 응답하고 있을 때에는, 디노이징 모드가 그대로 유지된다. 즉, 이전의 음성 향상 처리 모드가 그대로 유지된다. 사용자가 이야기하고 있지 않기 때문에, 사용자의 홀딩 상태를 결정할 수 없다. 이전에 검출된 홀딩 상태는 변경되지 않는 것으로 간주될 것이고, 이로써 디노이징 모드가 그대로 유지된다.
본 발명에 의해, 음성 신호를 왜곡하는 일없이 잡음이 효과적으로 제거되도록, 사용자가 휴대 전화를 사용하고 있는 홀딩 상태에 따라 서로 다른 디노이징 모드가 적용될 수 있다.
그 목적을 달성하기 위해, 본 발명의 기술적인 솔루션 및 이점이 더 명확해져, 본 발명에 의해 제공되는 휴대 전화를 위한 음성 향상 장치가 첨부도면을 참조하여 이하에 상세히 설명되는 바와 같이 설명될 것이다.
예로서 도 1에 나타낸 바와 같이 메인 마이크로폰(1)이 휴대 전화의 밑바닥에 배치되고 보조 마이크로폰(2)이 휴대 전화의 이면 측의 상부에 메인 마이크로폰(1)으로부터 멀리 떨어져서 배치되는 2개의 마이크로폰을 가진 휴대 전화를 취하는 것으로 한다. 도 2에 나타낸 바와 같이, 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때, 메인 마이크로폰(1)으로부터 입까지의 거리는 5㎝ 이하이고, 보조 마이크로폰(2)으로부터 입까지의 거리는 15㎝∼20㎝이다. 도 3에 나타낸 바와 같이, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때, 메인 마이크로폰(1)으로부터 입까지의 거리는 10㎝ 이상이고, 보조 마이크로폰(2)으로부터 입까지의 거리는 15㎝∼20㎝이다. 그러므로, 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때는, 메인 마이크로폰(1)에 의해 수신된 음성 에너지와 보조 마이크로폰(2)에 의해 수신된 음성 에너지 사이의 차이는 9dB 이상이고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때는, 메인 마이크로폰(1)에 의해 수신된 음성 에너지와 보조 마이크로폰(2)에 의해 수신된 음성 에너지 사이의 차이는 3dB 이내이다. 어느 홀딩 방식이든지 메인 마이크로폰(1)에 의해 수신된 음성 에너지와 보조 마이크로폰(2)에 의해 수신된 음성 에너지 사이의 차이는 3dB 이내이다. 그러므로, 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때는, 음성은 2개의 마이크로폰 사이의 에너지의 차이에 의해 잡음과 구별될 수 있고, 잡음은 음성을 왜곡하는 일없이 다중 마이크로폰 디노이징에 의해 효과적으로 억제될 수 있다. 그렇지만, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때는, 음성은 2개의 마이크로폰 사이의 에너지의 차이에 의해 잡음과 구별될 수 없고, 음성은 다중 마이크로폰 디노이징이 적용되면 왜곡될 것이다. 이 경우에는, 음성을 보호하기 위하여, 단일 마이크로폰 디노이징만이 정상 잡음을 억제하는데 적용될 수 있다.
본 발명의 실시예에서는, 택일적으로, 하나의 메인 마이크로폰(1)이 휴대 전화의 밑바닥에 배치될 수 있고, 2개 이상의 보조 마이크로폰(2)이 예를 들어 휴대 전화의 이면 측의 꼭대기 또는 상부에 메인 마이크로폰의 설치 위치로부터 멀리 떨어져서 배치될 수 있다. 다수의 보조 마이크로폰은 휴대 전화의 이면 측의 꼭대기 또는 상부에 서로 아주 근접하여 배치될 수 있다.
이 실시예에서는, P개(P는 1 이상의 자연수)의 마이크로폰이 있는바, 메인 마이크로폰에 의해 수신된 시간 도메인(time domain) 신호(s1) 및 다수의 보조 마이크로폰에 의해 수신된 시간 도메인 신호(s2, …, sp)가 먼저 고속 푸리에 변환(Fast Fourier Transform, FFT)에 의해 주파수 도메인(frequency domain) 신호(S1, …, SP)로 변환된다. 주파수 도메인 신호는 근거리장 음성 검출 모듈로 입력된다. 근거리장 음성 검출 모듈은, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관관계에 의해 입력 신호가 근거리장 신호인지 원거리장 신호인지를 판단한다. 근거리장 음성 검출 모듈이 입력 신호가 근거리장 신호라고 검출한 경우에는, 주파수 도메인 신호는 홀딩 상태 검출 모듈로 입력된다. 홀딩 상태 검출 모듈은 메인 마이크로폰으로부터의 신호의 총 에너지와 보조 마이크로폰으로부터의 신호의 총 에너지 사이의 차이에 의해 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 판단하는바, 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 판단한 경우는, P개의 마이크로폰으로부터의 주파수 도메인 신호의 P개의 경로(path)는 디노이징을 위해 그리고 그 다음에 단일 마이크로폰 디노이징을 위해 다중 마이크로폰 디노이징 모듈로 입력되고, 디노이징된 주파수 도메인 신호의 경로가 최종적으로 출력된다. 사용자가 휴대 전화를 비정상적으로 홀딩하고 있는 경우는, 메인 마이크로폰으로부터의 주파수 도메인 신호(S1)의 하나의 경로만이 디노이징을 위해 단일 마이크로폰 디노이징 모듈로 입력되고, 디노이징된 주파수 도메인 신호의 하나의 경로가 출력된다. 근거리장 음성 검출 모듈이 입력 신호가 원거리장 잡음 신호라고 검출한 경우에는, 홀딩 상태는 이 때에 결정될 수 없고, 그에 따라서 현재의 디노이징 모드가 그대로 유지된다. 디노이징된 주파수 도메인 신호는 역고속 푸리에 변환(Inverse Fast Fourier Transform, IFFT)에 의해 시간 도메인 신호로 변환되고, 그 다음에 출력된다. 상세한 처리 구조가 도 4에 나타내어진다.
도 4는 본 발명의 실시예에 따른 휴대 전화를 위한 음성 향상 장치의 구조 다이어그램이다. 도 4를 참조하면, 음성 향상 장치는 고속 푸리에 변환 모듈(41), 검출 유닛(42), 디노이징 유닛(43) 및 역고속 푸리에 변환 모듈(44)을 포함하되,
고속 푸리에 변환 모듈(41)은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 대해 각각 고속 푸리에 변환을 수행하고 그 다음에 변환된 신호를 검출 모듈로 보내도록 구성되어 있고;
검출 유닛(42)은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하되; 사용자가 이야기하고 있다고 판단한 때에는, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 더 검출하고, 검출의 결과를 디노이징 유닛(43)에 통지하며; 사용자가 응답하고 있다고 판단한 때에는, 더 이상의 연산을 하지 않고 디노이징 유닛(43)이 이전의 음성 향상 솔루션을 그대로 유지하는 것을 허용하도록 구성되어 있으며;
디노이징 유닛(43)은, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하도록 구성되어 있고;
역고속 푸리에 변환 모듈(44)은, 디노이징된 신호에 대해 역고속 푸리에 변환을 수행하고, 그 다음에 변환된 신호를 출력하도록 구성되어 있다.
도 4에 나타낸 바와 같이, 검출 유닛(42)은 근거리장 음성 검출 모듈(421) 및 홀딩 상태 검출 모듈(422)을 포함하고; 디노이징 유닛(43)은 다중 마이크로폰 디노이징 모듈(431) 및 단일 마이크로폰 디노이징 모듈(432)을 포함하되;
근거리장 음성 검출 모듈(421)은, 홀딩 상태 검출 모듈(422)이 아직 홀딩 상태 판단의 이전의 결과에 따라 대응하는 신호를 디노이징 유닛(43)으로 입력하고, 디노이징 유닛(43)이 아직 이전의 디노이징 모드를 그대로 유지하도록, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하며, 사용자가 이야기하고 있다고 판단한 때에 홀딩 상태 검출 모듈(422)로 통지를 보내며, 사용자가 응답하고 있다고 판단한 때에 홀딩 상태 검출 모듈(422)로 통지를 보내지 않도록 구성되어 있고;
홀딩 상태 검출 모듈(422)은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 근거리장 음성 검출 모듈(421)로부터 통지를 수신한 때에, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 검출하며, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 검출한 때에 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호를 다중 마이크로폰 디노이징 모듈(431)로 보내고, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 검출한 때에 메인 마이크로폰으로부터의 신호를 단일 마이크로폰 디노이징 모듈(432)로 보내도록 구성되어 있으며;
다중 마이크로폰 디노이징 모듈(431)은, 수신된 신호에 대해 다중 마이크로폰 디노이징을 수행하고, 그 다음에 디노이징된 신호를 단일 마이크로폰 디노이징 모듈(432)로 보내도록 구성되어 있고;
단일 마이크로폰 디노이징 모듈(432)은, 수신된 신호에 대해 단일 마이크로폰 디노이징을 수행하고 디노이징된 신호를 출력하도록 구성되어 있다.
각 모듈의 특정의 처리 프로세스는 이하에 상세히 설명되는 바와 같이 설명될 것이다.
고속 푸리에 변환 모듈(41): 먼저 프레이밍(framing, 프레임화)이 Si(i=1, …, P)에 대해 수행되고, 각 프레임에는 N개의 샘플링점(sampling point)이 있으며, m번째 프레임의 신호는 di(m,n)(여기서 0≤n≤N, 및 m≥0)이다. M개의 샘플링점의 에일리어싱(aliasing)은 2개의 인접한 프레임에서 나타나는바, 즉 현재의 프레임의 처음의 M개의 샘플링점은 이전 프레임의 최종의 M개의 샘플링점이고, 각 프레임에는 L=N-M개의 샘플링점만의 데이터가 있다. 그러므로, m번째 프레임 데이터는 di(m,n)=Si(m*L+n)이다. 예를 들어, 이 실시예에서는, 프레임 길이 N=256인바, M=128의 에일리어싱, 즉 50%의 에일리어싱이라고 가정한다. 프레이밍 후에 윈도우 함수 win(n)에 의해 각 프레임의 신호에 대해 윈도잉(windowing)이 수행되고, 윈도잉된 데이터는 wi(m,n)=win(n)*di(m,n)이다. 윈도우 함수는 해밍 윈도우(Hamming window), 해닝 윈도우(Hanning window) 또는 다른 윈도우 함수일 수 있다. 이 실시예에서는, 윈도우 함수는 해닝 윈도우이다:
윈도잉된 데이터는 최종적으로 FFT에 의해 주파수 도메인으로 변환된다:
여기서, 0≤k≤N/2는 주파수 서브밴드(subband)이고, Ai(m,k)는 진폭이며, φi(m,k)는 위상이다.
근거리장 음성 검출 모듈(421): 근거리장 음성 검출 모듈(421)은 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값을 계산하고, 상관값이 제1 임계값보다 크면 사용자가 이야기하고 있다고 판단하며, 상관값이 제1 임계값보다 작거나 같으면 사용자가 응답하고 있다고 판단하도록 구성되어 있다.
하나의 보조 마이크로폰만이 있는 경우에는, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값이 직접 계산될 수 있다. 2개 이상의 보조 마이크로폰이 있는 경우에는, 근거리장 음성 검출 모듈(421)은 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값을 계산하고 그 다음에 평균 상관값을 얻기 위해 상관값을 평균하거나, 또는 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 하나로부터의 신호 사이의 상관값을 계산할 수 있다.
구체적으로는, 이 실시예에서는, 근거리장 음성 검출 모듈(421)은 각각의 주파수 서브밴드에 있어서, 메인 마이크로폰으로부터의 신호(S1)와 하나의 보조 마이크로폰으로부터의 S2와 같은 신호의 상관 함수 Coh12(m,k)를 계산한다:
여기서, conj(·)은 공액 연산(conjugate operation)이고, abs(·)는 모듈로 연산(modulus operation)을 표시한다. 그 다음에, 모든 주파수 밴드의 상관 함수의 평균 Mcoh12(m)이 계산된다:
마찬가지로, 메인 마이크로폰으로부터의 신호(S1)와 다른 보조 마이크로폰으로부터의 S3와 같은 신호 사이의 상관값 Mcoh13(m) 등등이 계산될 수 있다. 최종적으로, 최종 상관값 MCoh(m)를 얻기 위해 메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값이 평균화된다.
MCoh(m)이 커질수록, 음원으로부터 2개의 마이크로폰까지의 거리가 작아진다. 소리가 사용자의 음성 또는 주위 잡음(ambient noise)인지 여부를 더 결정하도록, MCoh(m)을 설정 임계값 Coh_th와 비교함으로써 소리가 근거리장 음원으로부터 나오는지 또는 원거리장 음원으로부터 나오는지를 결정한다. 예를 들어, Coh_th는 이 실시예에서는 0.5로 설정된다. MCoh(m)>Coh_th이면, 상관관계가 충분히 크고, 신호는 근거리장으로부터 나오며, 소리는 사용자의 음성이고, 사용자가 이야기하고 있음을 가리킨다. MCoh(m)≤Coh_th이면, 상관관계가 비교적 작고, 신호는 원거리장으로부터 나오며, 소리는 주위 잡음이고, 사용자가 응답하고 있음을 가리킨다.
홀딩 상태 검출 모듈(422): 홀딩 상태 검출 모듈(422)은 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하고, 이 비율이 제2 임계값보다 크면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하며, 이 비율이 제2 임계값보다 작거나 같으면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하도록 구성되어 있다.
구체적으로는, 홀딩 상태 검출 모듈(422)은 메인 마이크로폰으로부터의 신호(S1)의 총 에너지(P1(m))와 하나의 보조 마이크로폰으로부터의 S2와 같은 신호의 총 에너지(P2(m))를 계산한다:
그 다음에, 2개의 총 에너지의 비율
이 계산된다. 마찬가지 방법으로, 메인 마이크로폰으로부터의 신호(S1)의 총 에너지와 또 다른 보조 마이크로폰으로부터의 S3와 같은 신호의 총 에너지의 비율
등등이 계산될 수 있다. 최종적으로, 이들 총 에너지 비율이 최종 비율 Pr(m)을 얻기 위해 평균화된다. 본 발명의 다른 실시예에서는, 보조 마이크로폰으로부터의 신호의 에너지가 먼저 평균화될 수 있고, 그 다음에 메인 마이크로폰으로부터의 신호의 에너지를 평균에 의해 나눔으로써 비율 Pr(m)이 얻어진다.
Pr(m)이 커질수록 메인 마이크로폰이 사람의 입에 더 가까워지고 있음을 가리킨다. 반면에, Pr(m)이 작아질수록 메인 마이크로폰이 사람의 입으로부터 멀리 떨어지고 있음을 가리킨다. 휴대 전화 홀딩 상태는 Pr(m)을 임계값 Pr_th와 비교함으로써 결정된다. 예를 들어, Pr_th는 이 실시예에서는 2로 설정되는바, Pr(m)≥Pr_th이면, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 가리킨다. Pr(m)≤Pr_th이면, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 가리킨다.
본 발명의 다른 실시예에서는, 홀딩 상태 검출 모듈(422)은 또한 다수의 마이크로폰에 의해 음성의 방향을 검출하고, 음성이 휴대 전화의 밑바닥으로부터 나오면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하며, 음성이 휴대 전화의 측면 또는 꼭대기로부터 나오면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정할 수 있다.
다중 마이크로폰 디노이징 모듈(431): 다중 마이크로폰 디노이징 모듈(431)은, 주파수 서브밴드의 각각에 있어서, 주파수 서브밴드에서 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하고, 이 에너지의 비율에 따라 주파수 서브밴드에서 잡음 억제 함수의 값을 결정하며; 억제된 비정상 잡음이 있는 신호를 얻기 위해 메인 마이크로폰으로부터의 신호에 잡음 억제 함수를 곱하고, 억제된 비정상 잡음이 있는 신호를 단일 마이크로폰 디노이징 모듈(432)로 출력하도록 구성되어 있다.
구체적으로는, 다중 마이크로폰 디노이징 모듈(431)은, 주파수 서브밴드의 각각에서 메인 마이크로폰으로부터의 신호(S1)의 에너지와 하나의 보조 마이크로폰으로부터의 S2와 같은 신호의 에너지의 비율
을 계산한다. 마찬가지 방법로, 메인 마이크로폰으로부터의 신호(S1)의 총 에너지와 다른 보조 마이크로폰으로부터의 S3와 같은 신호의 총 에너지의 비율
이 계산될 수 있다. 이러한 유추에 의해, 메인 마이크로폰으로부터의 신호(S1)의 총 에너지와 최종의 보조 마이크로폰으로부터의 SP와 같은 신호의 총 에너지의 비율
이 계산될 수 있다. 최종적으로, 이들 총 에너지 비율이 최종 비율 Pr(m)을 얻기 위해 평균화된다. 다른 실시예에서는, 보조 마이크로폰으로부터의 신호의 에너지가 가산되어 먼저 평균화될 수 있고, 그 다음에 메인 마이크로폰으로부터의 신호의 에너지가 비율 Pb(m,k)를 얻기 위해 평균에 의해 나누어진다.
Pb(m,k)가 커질수록 k번째 주파수 서브밴드의 신호 성분이 음성일 확률이 더 커지고 있음을 가리킨다. 반면에, Pb(m,k)이 작아질수록 k번째 주파수 서브밴드의 신호 성분이 잡음일 확률이 더 작아지고 있음을 가리킨다. 이 실시예의 솔루션에 있어서는, Pb(m,k)를 에너지 비율 상한 Pb_U(k) 및 에너지 비율 하한 Pb_L(k)과 비교함으로써, k번째 주파수 서브밴드의 신호 성분이 음성일 확률이 판단된다. 예를 들어, 이 실시예의 솔루션에서는, Pb_U(k)는 4로 설정되고, Pb_L(k)는 2로 설정된다. Pb(m,k)≥Pb_U(k)이면, 주파수 서브밴드 내의 신호 성분이 음성일 확률이 1이고, 잡음 억제 함수 Gd(m,k)=1이며; Pb(m,k)≤Pb_L(k)이면, 주파수 서브밴드 내의 신호 성분이 음성일 확률이 0이고, 전부 잡음이며, Gd(m,k)=RL이다. RL<1은 가장 낮은 디노이징량을 결정한다. Pb_U(k)≥Pb(m,k)≥Pb_L(k)이면, 주파수 서브밴드 내의 신호 성분에는 음성 및 잡음이 있고, 연산(operation)이 수행되지 않으며, RL<Gd(m,k)<1이다. 최종적으로, Gd(m,k)*S1(m,k) 연산에 의해, 각 주파수 서브밴드 내의 잡음 성분이 디노이징된 신호 Sd(m,k)를 얻기 위해 억제된다.
단일 마이크로폰 디노이징 모듈(432): 단일 마이크로폰 디노이징 모듈(432)은, 주파수 서브밴드의 각각에 있어서, 이동 평균 알고리즘에 의해 주파수 서브밴드에서 억제된 비정상 잡음이 있는 신호의 정상 잡음 에너지를 계산하고, 주파수 서브밴드에서 음성 성분 비례 함수의 값을 더 계산하며; 억제된 정상 잡음이 있는 신호를 얻기 위해 수신된 신호에 음성 성분 비례 함수를 곱하고, 그 다음에 억제된 정상 잡음이 있는 신호를 역고속 푸리에 변환 모듈(44)로 출력하도록 구성되어 있다.
이 실시예에서는, 다중 마이크로폰 디노이징 모듈(432)의 입력은 Ssi(m,k)로 설정된다. 이 입력은 디노이징 모드에 따라 달라진다. 다중 마이크로폰 디노이징 모드의 경우에는, Ssi(m,k)는 디노이징 후의 다중 마이크로폰 디노이징 모듈(431)의 출력 Sd(m,k)이고; 단일 마이크로폰 디노이징 모드의 경우에는, Ssi(m,k)는 메인 마이크로폰으로부터의 신호 S1(m,k)이다. 이 모듈은 이동 평균 알고리즘에 의해 각 주파수 밴드에서 Ssi(m,k)의 정상 잡음의 에너지 Pn(m,k)를 계산한다:
여기서 α는 평활 파라미터(smoothing parameter)이다. 예를 들어, 이 실시예에서는 α=0.98이다. Ps(m,k)는 이 모듈의 입력 신호의 에너지 스펙트럼이다:
정상 잡음의 에너지는 과도하게 변화하지 않을 것이기 때문에, 정상 잡음의 에너지는 느리고 평활한 평균화(slow smooth averaging)에 의해 예측될 수 있다. 그러므로, 각 주파수 서브밴드 내의 음성 성분의 비율은:
이다.
최종적으로, Gs(m,k)*Ssi(m,k)에 의해, 각 음성 성분은 잡음이 억제된 주파수 도메인 신호 Sso(m,k)를 얻기 위해 유지된다.
역고속 푸리에 변환 모듈(44): 단일 마이크로폰 디노이징 모듈(432)의 출력 주파수 도메인 신호 Sso(m,k)는 최종의 디노이징된 출력 신호 So(m,n)을 얻기 위해 역고속 푸리에 변환(IFFT)에 의해 시간 도메인 신호로 변환된다:
이 실시예에서는, 근거리장 음성 검출 모듈(421)이 현재의 신호에만 잡음이 있음을 검출한 경우에는, 사용자는 이야기하는 대신에 응답하고 있고, 그래서 사용자의 홀딩 방식을 판단할 수 없으며, 현재 사용되는 디노이징 모드를 정확히 판단할 수 없다. 그러므로, 본 발명에서는, 이전에 검출된 홀딩 방식은 현재까지 바뀌지 않고, 원래의 디노이징 모드는 사용자가 다음번에 이야기할 때를 사용자의 홀딩 방식이 정확히 판단할 수 있을 때까지 유지된다.
결론적으로, 본 발명에 의해 제공되는 방법 및 장치에 의해, 서로 다른 디노이징 솔루션이 휴대 전화를 홀딩하고 있는 사용자의 상태에 따라 적용될 수 있도록, 사용자가 전화로 이야기하고 있을 때 사용자의 휴대 전화 홀딩 상태가 검출된다. 사용자가 휴대 전화를 정상적으로 홀딩하고 있을 때에는, 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션이 정상 잡음과 비정상 잡음의 양쪽을 효과적으로 억제하기 위해 적용될 것이고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있을 때에는, 단일 마이크로폰 디노이징만이 장상 잡음을 억제하기 위해 적용될 것이다. 다중 마이크로폰 디노이징에 의한 음성의 왜곡이 회피되고, 음성 품질이 보장된다.
상기한 바와 같은 설명은 단지 본 발명의 바람직한 실시예를 설명하는 것일뿐이고, 본 발명의 보호 범위를 한정하려고 하는 것은 아니다. 본 발명의 정신 및 원리 내에서 이루어지는 모든 변형, 등가 치환 및 개선은 본 발명의 보호 범위에 해당되는 것이다.
Claims (10)
- 메인 마이크로폰이 휴대 전화의 밑바닥에 설치되고 하나 이상의 보조 마이크로폰이 메인 마이크로폰으로부터 멀리 떨어진 위치에서 휴대 전화 내에 설치되는 휴대 전화를 위한 음성 향상 방법으로서, 상기 방법은
메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하는 단계;
사용자가 이야기하고 있다고 판단한 때에는 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 더 검출하고, 사용자가 응답하고 있다고 판단한 때에는 이전의 음성 향상 솔루션을 그대로 유지하는 단계;
사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 판단한 때에는, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하는 단계; 및
사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 판단한 때에는, 음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하는 단계를 포함하는 것을 특징으로 하는 음성 향상 방법.
- 제1항에 있어서, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하는 단계가,
메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값을 계산하는 단계, 상관값이 제1 임계값보다 크면 사용자가 이야기하고 있다고 판단하는 단계, 및 상관값이 제1 임계값보다 작거나 같으면 사용자가 응답하고 있다고 판단하는 단계를 구비하되;
메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값을 계산하는 단계가, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값을 계산하고 평균 상관값을 얻기 위해 상관값을 평균하거나, 또는 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 하나로부터의 신호 사이의 상관값을 계산하는 것을 특징으로 하는 음성 향상 방법.
- 제1항에 있어서, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 검출하는 단계가,
다수의 마이크로폰에 의해 음성의 방향을 검출하는 단계, 음성이 휴대 전화의 밑바닥으로부터 나오면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하는 단계, 및 음성이 휴대 전화의 측면 또는 꼭대기로부터 나오면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하는 단계를 구비하거나;
또는 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하는 단계, 이 비율이 제2 임계값보다 크면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하는 단계, 및 이 비율이 제2 임계값보다 작거나 같으면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하는 단계를 구비하고 있는 것을 특징으로 하는 음성 향상 방법.
- 제1항에 있어서, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하는 단계 이전에, 상기 방법은 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 대해 고속 푸리에 변환을 수행하는 단계를 더 구비하고,
음성 향상 후에, 상기 방법은 디노이징된 신호에 대해 역고속 푸리에 변환을 수행하는 단계를 더 구비하는 것을 특징으로 하는 음성 향상 방법.
- 제4항에 있어서, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하는 단계가, 먼저 다중 마이크로폰 디노이징을 수행하는 단계와, 다음에 단일 마이크로폰 디노이징을 수행하는 단계를 구비하되;
먼저 다중 마이크로폰 디노이징을 수행하는 단계가, 주파수 서브밴드의 각각에 있어서, 주파수 서브밴드에서 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하고, 이 에너지의 비율에 따라 주파수 서브밴드에서 잡음 억제 함수의 값을 결정하며; 억제된 비정상 잡음이 있는 신호를 얻기 위해 메인 마이크로폰으로부터의 신호에 잡음 억제 함수를 곱하도록 되어 있고;
다음에 단일 마이크로폰 디노이징을 수행하는 단계가, 주파수 서브밴드의 각각에 있어서, 이동 평균 알고리즘에 의해 주파수 서브밴드에서 억제된 비정상 잡음이 있는 신호의 정상 잡음 에너지를 계산하고, 주파수 서브밴드에서 음성 성분 비례 함수의 값을 더 계산하며; 억제된 비정상 잡음 및 억제된 정상 잡음의 양쪽이 있는 신호를 얻기 위해 억제된 비정상 잡음이 있는 신호에 음성 성분 비례 함수를 곱하도록 되어 있으며;
음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하는 단계가, 주파수 서브밴드의 각각에 있어서, 이동 평균 알고리즘에 의해 주파수 서브밴드에서 메인 마이크로폰으로부터의 신호의 정상 잡음 에너지를 계산하고, 주파수 서브밴드에서 음성 성분 비례 함수의 값을 더 계산하며; 억제된 정상 잡음이 있는 신호를 얻기 위해 메인 마이크로폰으로부터의 신호에 음성 성분 비례 함수를 곱하도록 되어 있는 것을 특징으로 하는 음성 향상 방법.
- 메인 마이크로폰이 휴대 전화의 밑바닥에 설치되고 하나 이상의 보조 마이크로폰이 메인 마이크로폰으로부터 멀리 떨어진 위치에서 휴대 전화 내에 설치되는 휴대 전화를 위한 음성 향상 장치로서, 상기 장치는 검출 유닛 및 디노이징 유닛을 포함하되,
검출 유닛은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 사용자가 이야기하고 있는지 응답하고 있는지를 판단하되; 사용자가 이야기하고 있다고 판단한 때에는, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 더 검출하고, 검출의 결과를 디노이징 유닛에 통지하며; 사용자가 응답하고 있다고 판단한 때에는, 더 이상의 연산을 하지 않고 디노이징 유닛이 이전의 음성 향상 솔루션을 그대로 유지하는 것을 허용하도록 구성되어 있고;
디노이징 유닛은, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 다중 마이크로폰 디노이징 및 단일 마이크로폰 디노이징을 통합한 솔루션을 적용하고; 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 지시하는 통지를 수신한 때에는, 음성 향상을 수행하기 위해 단일 마이크로폰 디노이징만의 솔루션을 적용하도록 구성되어 있는 것을 특징으로 하는 음성 향상 장치.
- 제6항에 있어서, 검출 유닛은 근거리장 음성 검출 모듈 및 홀딩 상태 검출 모듈을 포함하고; 디노이징 유닛은 다중 마이크로폰 디노이징 모듈 및 단일 마이크로폰 디노이징 모듈을 포함하되;
근거리장 음성 검출 모듈은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 따라 이야기하고 있는지 응답하고 있는지를 판단하며, 사용자가 이야기하고 있다고 판단한 때에는 홀딩 상태 검출 모듈로 통지를 보내며, 사용자가 응답하고 있다고 판단한 때에는 홀딩 상태 검출 모듈로 통지를 보내지 않도록 구성되어 있고;
홀딩 상태 검출 모듈은, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터 신호를 수신하고, 근거리장 음성 검출 모듈로부터 통지를 수신한 때에, 사용자의 휴대 전화 홀딩 상태, 즉 사용자가 휴대 전화를 정상적으로 또는 비정상적으로 홀딩하고 있는지를 검출하며, 사용자가 휴대 전화를 정상적으로 홀딩하고 있음을 검출한 때에는 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호를 다중 마이크로폰 디노이징 모듈로 보내고, 사용자가 휴대 전화를 비정상적으로 홀딩하고 있음을 검출한 때에는 메인 마이크로폰으로부터의 신호를 단일 마이크로폰 디노이징 모듈로 보내도록 구성되어 있으며;
다중 마이크로폰 디노이징 모듈은, 수신된 신호에 대해 다중 마이크로폰 디노이징을 수행하고, 그 다음에 디노이징된 신호를 단일 마이크로폰 디노이징 모듈로 보내도록 구성되어 있고;
단일 마이크로폰 디노이징 모듈은, 수신된 신호에 대해 단일 마이크로폰 디노이징을 수행하고 디노이징된 신호를 출력하도록 구성되어 있는 것을 특징으로 하는 음성 향상 장치.
- 제7항에 있어서, 근거리장 음성 검출 모듈은, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값을 계산하고, 상관값이 제1 임계값보다 크면 사용자가 이야기하고 있다고 판단하며, 상관값이 제1 임계값보다 작거나 같으면 사용자가 응답하고 있다고 판단하도록 구성되어 있고;
메인 마이크로폰으로부터의 신호와 보조 마이크로폰으로부터의 신호 사이의 상관값을 계산하는 것이, 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 각각으로부터의 신호 사이의 상관값을 계산하고 평균 상관값을 얻기 위해 상관값을 평균하거나, 또는 메인 마이크로폰으로부터의 신호와 보조 마이크로폰의 하나로부터의 신호 사이의 상관값을 계산하는 것을 특징으로 하는 음성 향상 장치.
- 제7항에 있어서, 홀딩 상태 검출 모듈은, 다수의 마이크로폰에 의해 음성의 방향을 검출하고, 음성이 휴대 전화의 밑바닥으로부터 나오면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하며, 음성이 휴대 전화의 측면 또는 꼭대기로부터 나오면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하도록 구성되어 있거나;
또는
홀딩 상태 검출 모듈은, 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하고, 이 비율이 제2 임계값보다 크면 사용자가 휴대 전화를 정상적으로 홀딩하고 있다고 결정하며, 이 비율이 제2 임계값보다 작거나 같으면 사용자가 휴대 전화를 비정상적으로 홀딩하고 있다고 결정하도록 구성되어 있는 것을 특징으로 하는 음성 향상 장치.
- 제7항에 있어서, 상기 장치가 고속 푸리에 변환 모듈 및 역고속 푸리에 변환 모듈을 더 구비하되,
고속 푸리에 변환 모듈은, 그 입력이 메인 마이크로폰 및 보조 마이크로폰에 접속되어 있고, 그 출력이 검출 유닛에 접속되어 있으며, 메인 마이크로폰 및 보조 마이크로폰의 양쪽으로부터의 신호에 대해 각각 고속 푸리에 변환을 수행하고, 그 다음에 변환된 신호를 근거리장 음성 검출 모듈 및 홀딩 상태 검출 모듈로 보내도록 구성되어 있고;
다중 마이크로폰 디노이징 모듈은, 주파수 서브밴드의 각각에 있어서, 주파수 서브밴드에서 메인 마이크로폰으로부터의 신호의 에너지와 보조 마이크로폰으로부터의 신호의 에너지의 비율을 계산하고, 이 에너지의 비율에 따라 주파수 서브밴드에서 잡음 억제 함수의 값을 결정하며; 억제된 비정상 잡음이 있는 신호를 얻기 위해 메인 마이크로폰으로부터의 신호에 잡음 억제 함수를 곱하고, 억제된 비정상 잡음이 있는 신호를 단일 마이크로폰 디노이징 모듈로 출력하도록 구성되어 있으며;
단일 마이크로폰 디노이징 모듈은, 주파수 서브밴드의 각각에 있어서, 이동 평균 알고리즘에 의해 주파수 서브밴드에서 억제된 비정상 잡음이 있는 신호의 정상 잡음 에너지를 계산하고, 주파수 서브밴드에서 음성 성분 비례 함수의 값을 더 계산하며; 억제된 정상 잡음이 있는 신호를 얻기 위해 수신된 신호에 음성 성분 비례 함수를 곱하고, 그 다음에 억제된 정상 잡음이 있는 신호를 역고속 푸리에 변환 모듈로 출력하도록 구성되어 있고;
역고속 푸리에 변환 모듈은, 그 출력이 디노이징 모듈에 접속되어 있으며, 디노이징된 신호에 대해 역고속 푸리에 변환을 수행하고, 그 다음에 변환된 신호를 출력하도록 구성되어 있는 것을 특징으로 하는 음성 향상 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210278704.6A CN102801861B (zh) | 2012-08-07 | 2012-08-07 | 一种应用于手机的语音增强方法和装置 |
| CN201210278704.6 | 2012-08-07 | ||
| PCT/CN2013/080634 WO2014023183A1 (zh) | 2012-08-07 | 2013-08-01 | 一种应用于手机的语音增强方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150017703A true KR20150017703A (ko) | 2015-02-17 |
| KR101639933B1 KR101639933B1 (ko) | 2016-07-14 |
Family
ID=47200818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147031212A KR101639933B1 (ko) | 2012-08-07 | 2013-08-01 | 휴대 전화에 적용되는 음성 향상 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9437209B2 (ko) |
| EP (1) | EP2835958B1 (ko) |
| JP (1) | JP5952434B2 (ko) |
| KR (1) | KR101639933B1 (ko) |
| CN (1) | CN102801861B (ko) |
| DK (1) | DK2835958T3 (ko) |
| WO (1) | WO2014023183A1 (ko) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2118885B1 (en) * | 2007-02-26 | 2012-07-11 | Dolby Laboratories Licensing Corporation | Speech enhancement in entertainment audio |
| CN102801861B (zh) * | 2012-08-07 | 2015-08-19 | 歌尔声学股份有限公司 | 一种应用于手机的语音增强方法和装置 |
| CN103873980B (zh) * | 2012-12-10 | 2017-11-28 | 联想(北京)有限公司 | 音频处理方法、装置及电子设备 |
| CN203243376U (zh) * | 2012-12-17 | 2013-10-16 | 杭州惠道科技有限公司 | 手机声波传输的接受装置 |
| CN103079148B (zh) * | 2012-12-28 | 2018-05-04 | 中兴通讯股份有限公司 | 一种终端双麦克风降噪的方法及装置 |
| CN104335600B (zh) * | 2013-02-25 | 2017-08-08 | 展讯通信（上海）有限公司 | 多麦克风移动装置中检测及切换降噪模式的方法 |
| US9100466B2 (en) * | 2013-05-13 | 2015-08-04 | Intel IP Corporation | Method for processing an audio signal and audio receiving circuit |
| CN104427050B (zh) * | 2013-09-10 | 2018-04-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN104424953B (zh) * | 2013-09-11 | 2019-11-01 | 华为技术有限公司 | 语音信号处理方法与装置 |
| CN104468908A (zh) * | 2013-09-22 | 2015-03-25 | 联想(北京)有限公司 | 一种消除噪声的方法及电子设备 |
| CN104754430A (zh) * | 2013-12-30 | 2015-07-01 | 重庆重邮信科通信技术有限公司 | 终端麦克风降噪装置和方法 |
| CN108337353B (zh) | 2014-07-28 | 2021-08-03 | 荣耀终端有限公司 | 通信设备的声音信号处理方法和设备 |
| CN105374364B (zh) * | 2014-08-25 | 2019-08-27 | 联想(北京)有限公司 | 信号处理方法及电子设备 |
| JP6446913B2 (ja) * | 2014-08-27 | 2019-01-09 | 富士通株式会社 | 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム |
| CN104270489A (zh) * | 2014-09-10 | 2015-01-07 | 中兴通讯股份有限公司 | 一种从多个麦克风中确定主副麦克风的方法和系统 |
| CN104301537A (zh) * | 2014-10-15 | 2015-01-21 | 龙旗电子(惠州)有限公司 | 一种降噪手机及降噪方法 |
| JP6524463B2 (ja) * | 2014-12-26 | 2019-06-05 | Kddi株式会社 | 自動ミキシング装置およびプログラム |
| CN104575509A (zh) * | 2014-12-29 | 2015-04-29 | 乐视致新电子科技（天津）有限公司 | 语音增强处理方法及装置 |
| US9736578B2 (en) | 2015-06-07 | 2017-08-15 | Apple Inc. | Microphone-based orientation sensors and related techniques |
| CN106604183B (zh) * | 2015-10-20 | 2020-06-26 | 华为终端有限公司 | 控制终端的多麦克风降噪的拾音范围的方法和装置 |
| KR101715198B1 (ko) * | 2015-11-18 | 2017-03-10 | 광주과학기술원 | 가변 전력 예산을 이용한 음성 강화 방법 |
| CN105391829B (zh) * | 2015-11-26 | 2019-11-12 | Tcl移动通信科技（宁波）有限公司 | 一种移动终端的通话音质改善方法及系统 |
| CN105872898A (zh) * | 2016-04-12 | 2016-08-17 | 北京奇虎科技有限公司 | 基于双话筒的降噪处理方法及装置 |
| CN106303804B (zh) * | 2016-07-28 | 2019-11-19 | 维沃移动通信有限公司 | 一种麦克风的控制方法及移动终端 |
| CN106302905A (zh) * | 2016-07-29 | 2017-01-04 | 努比亚技术有限公司 | 麦克风模式切换方法及移动终端 |
| CN107785025B (zh) * | 2016-08-25 | 2021-06-22 | 上海英波声学工程技术股份有限公司 | 基于房间脉冲响应重复测量的噪声去除方法及装置 |
| KR20180023617A (ko) * | 2016-08-26 | 2018-03-07 | 삼성전자주식회사 | 외부 기기를 제어하는 휴대 기기 및 이의 오디오 신호 처리 방법 |
| CN106683684A (zh) * | 2016-12-05 | 2017-05-17 | 上海木爷机器人技术有限公司 | 音频信号处理系统和音频信号处理方法 |
| EP3570543A4 (en) | 2017-01-12 | 2019-12-25 | Sony Corporation | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
| CN106686249B (zh) * | 2017-01-17 | 2020-04-24 | 维沃移动通信有限公司 | 一种语音通话方法及移动终端 |
| CN106816156B (zh) * | 2017-02-04 | 2020-06-30 | 北京时代拓灵科技有限公司 | 一种音频质量增强的方法及装置 |
| CN109413253A (zh) * | 2017-08-17 | 2019-03-01 | 西安中兴新软件有限责任公司 | 一种实现移动终端的消噪方法及装置 |
| CN107369441A (zh) * | 2017-09-08 | 2017-11-21 | 奇酷互联网络科技（深圳）有限公司 | 语音信号的消噪方法、装置及终端 |
| CN108564961A (zh) * | 2017-11-29 | 2018-09-21 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种移动通信设备的语音降噪方法 |
| CN107910015A (zh) * | 2017-12-12 | 2018-04-13 | 上海与德科技有限公司 | 一种终端设备降噪方法及终端设备 |
| CN107993666B (zh) * | 2017-12-19 | 2021-01-29 | 北京华夏电通科技股份有限公司 | 语音识别方法、装置、计算机设备及可读存储介质 |
| CN108712551A (zh) * | 2018-06-04 | 2018-10-26 | 联想(北京)有限公司 | 一种通话控制方法及电子设备 |
| CN108922555A (zh) * | 2018-06-29 | 2018-11-30 | 北京小米移动软件有限公司 | 语音信号的处理方法及装置、终端 |
| US20200168317A1 (en) | 2018-08-22 | 2020-05-28 | Centre For Addiction And Mental Health | Tool for assisting individuals experiencing auditory hallucinations to differentiate between hallucinations and ambient sounds |
| CN109327757B (zh) * | 2018-09-30 | 2020-10-02 | 歌尔科技有限公司 | 一种双麦克风降噪耳机及其声音处理方法、装置 |
| CN110428806B (zh) * | 2019-06-03 | 2023-02-24 | 交互未来(北京)科技有限公司 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| CN110536193B (zh) * | 2019-07-24 | 2020-12-22 | 华为技术有限公司 | 一种音频信号的处理方法及装置 |
| CN111131646A (zh) * | 2019-12-30 | 2020-05-08 | Oppo广东移动通信有限公司 | 通话降噪方法、装置、存储介质及电子装置 |
| CN113571053A (zh) * | 2020-04-28 | 2021-10-29 | 华为技术有限公司 | 语音唤醒方法和设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011103488A1 (en) * | 2010-02-18 | 2011-08-25 | Qualcomm Incorporated | Microphone array subset selection for robust noise reduction |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050136848A1 (en) * | 2003-12-22 | 2005-06-23 | Matt Murray | Multi-mode audio processors and methods of operating the same |
| JP2005227511A (ja) * | 2004-02-12 | 2005-08-25 | Yamaha Motor Co Ltd | 対象音検出方法、音信号処理装置、音声認識装置及びプログラム |
| WO2006027707A1 (en) * | 2004-09-07 | 2006-03-16 | Koninklijke Philips Electronics N.V. | Telephony device with improved noise suppression |
| US20060133621A1 (en) * | 2004-12-22 | 2006-06-22 | Broadcom Corporation | Wireless telephone having multiple microphones |
| WO2007023954A1 (ja) * | 2005-08-26 | 2007-03-01 | Sharp Kabushiki Kaisha | 音声処理装置及びそれを備えた表示装置 |
| US8345890B2 (en) * | 2006-01-05 | 2013-01-01 | Audience, Inc. | System and method for utilizing inter-microphone level differences for speech enhancement |
| JP2008065904A (ja) * | 2006-09-07 | 2008-03-21 | Sony Corp | 再生装置、再生方法及び再生プログラム |
| JP5197458B2 (ja) * | 2009-03-25 | 2013-05-15 | 株式会社東芝 | 受音信号処理装置、方法およびプログラム |
| US8538035B2 (en) * | 2010-04-29 | 2013-09-17 | Audience, Inc. | Multi-microphone robust noise suppression |
| US8611552B1 (en) * | 2010-08-25 | 2013-12-17 | Audience, Inc. | Direction-aware active noise cancellation system |
| US9031256B2 (en) * | 2010-10-25 | 2015-05-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control |
| US9330675B2 (en) * | 2010-11-12 | 2016-05-03 | Broadcom Corporation | Method and apparatus for wind noise detection and suppression using multiple microphones |
| US9066169B2 (en) * | 2011-05-06 | 2015-06-23 | Etymotic Research, Inc. | System and method for enhancing speech intelligibility using companion microphones with position sensors |
| CN102300140B (zh) * | 2011-08-10 | 2013-12-18 | 歌尔声学股份有限公司 | 一种通信耳机的语音增强方法及降噪通信耳机 |
| US20130121498A1 (en) * | 2011-11-11 | 2013-05-16 | Qsound Labs, Inc. | Noise reduction using microphone array orientation information |
| US8831686B2 (en) * | 2012-01-30 | 2014-09-09 | Blackberry Limited | Adjusted noise suppression and voice activity detection |
| CN102611965A (zh) * | 2012-03-01 | 2012-07-25 | 广东步步高电子工业有限公司 | 解决双麦克风消噪手机发送响度受手机与嘴距离影响的方法 |
| CN102801861B (zh) * | 2012-08-07 | 2015-08-19 | 歌尔声学股份有限公司 | 一种应用于手机的语音增强方法和装置 |
| CN202957890U (zh) * | 2012-08-07 | 2013-05-29 | 歌尔声学股份有限公司 | 一种应用于手机的语音增强装置 |
-
2012
- 2012-08-07 CN CN201210278704.6A patent/CN102801861B/zh active Active
-
2013
- 2013-08-01 KR KR1020147031212A patent/KR101639933B1/ko active IP Right Grant
- 2013-08-01 WO PCT/CN2013/080634 patent/WO2014023183A1/zh active Application Filing
- 2013-08-01 DK DK13827147.3T patent/DK2835958T3/en active
- 2013-08-01 JP JP2014561283A patent/JP5952434B2/ja active Active
- 2013-08-01 US US14/401,198 patent/US9437209B2/en active Active
- 2013-08-01 EP EP13827147.3A patent/EP2835958B1/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011103488A1 (en) * | 2010-02-18 | 2011-08-25 | Qualcomm Incorporated | Microphone array subset selection for robust noise reduction |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101639933B1 (ko) | 2016-07-14 |
| US9437209B2 (en) | 2016-09-06 |
| JP5952434B2 (ja) | 2016-07-13 |
| JP2015517116A (ja) | 2015-06-18 |
| DK2835958T3 (en) | 2018-12-03 |
| EP2835958A4 (en) | 2015-05-06 |
| EP2835958B1 (en) | 2018-10-03 |
| CN102801861B (zh) | 2015-08-19 |
| WO2014023183A1 (zh) | 2014-02-13 |
| US20150142426A1 (en) | 2015-05-21 |
| CN102801861A (zh) | 2012-11-28 |
| EP2835958A1 (en) | 2015-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101639933B1 (ko) | 휴대 전화에 적용되는 음성 향상 방법 및 장치 | |
| US10269369B2 (en) | System and method of noise reduction for a mobile device | |
| US10535362B2 (en) | Speech enhancement for an electronic device | |
| US8620672B2 (en) | Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal | |
| US8194882B2 (en) | System and method for providing single microphone noise suppression fallback | |
| US8345890B2 (en) | System and method for utilizing inter-microphone level differences for speech enhancement | |
| US7983907B2 (en) | Headset for separation of speech signals in a noisy environment | |
| US9767826B2 (en) | Methods and apparatus for robust speaker activity detection | |
| US20230352038A1 (en) | Voice activation detecting method of earphones, earphones and storage medium | |
| US8422696B2 (en) | Apparatus and method for removing noise | |
| US20120209601A1 (en) | Dynamic enhancement of audio (DAE) in headset systems | |
| CA2638469A1 (en) | Noise reduction by combined beamforming and post-filtering | |
| JP2007003702A (ja) | 雑音除去装置、通信端末、及び、雑音除去方法 | |
| US20150063592A1 (en) | Voice signals improvements in compressed wireless communications systems | |
| CN110830870B (zh) | 一种基于传声器技术的耳机佩戴者语音活动检测系统 | |
| Potamitis | Estimation of speech presence probability in the field of microphone array | |
| KR20100009936A (ko) | 음원 검출 시스템에서 돌발잡음 추정/제거 장치 및 방법 | |
| JP2017040752A (ja) | 音声判定装置、方法及びプログラム、並びに、音声信号処理装置 | |
| Freudenberger et al. | Spectral combining for microphone diversity systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 4 |