KR20110040855A - 오디오 처리 - Google Patents

오디오 처리 Download PDF

Info

Publication number
KR20110040855A
KR20110040855A KR1020117001574A KR20117001574A KR20110040855A KR 20110040855 A KR20110040855 A KR 20110040855A KR 1020117001574 A KR1020117001574 A KR 1020117001574A KR 20117001574 A KR20117001574 A KR 20117001574A KR 20110040855 A KR20110040855 A KR 20110040855A
Authority
KR
South Korea
Prior art keywords
audio signals
audio
processed
input audio
input
Prior art date
Application number
KR1020117001574A
Other languages
English (en)
Other versions
KR101572793B1 (ko
Inventor
스리람 스리니바산
다비드 아. 세. 엠. 로페르스
코르넬리스 피. 얀세
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110040855A publication Critical patent/KR20110040855A/ko
Application granted granted Critical
Publication of KR101572793B1 publication Critical patent/KR101572793B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers

Abstract

오디오 처리 장치(200)는 입력 오디오 신호들을 생성하는 복수의 오디오 소스들(101, 102), 입력 오디오 신호들로부터 처리된 오디오 신호들을 얻기 위한 처리 회로(110), 처리된 오디오 신호들로부터 결합된 오디오 신호들을 얻기 위한 결합 회로(120), 및 결합된 오디오 신호의 파워 측정을 최대화하기 위해 처리 회로를 제어하고, 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위한 제어 회로(130)를 포함한다. 본 발명에 따라서, 오디오 처리 장치(200)는 입력 오디오 신호들에 포함된 간섭들의 교차-상관을 최소화하기 위해 입력 오디오 신호들로부터 사전-처리된 오디오 신호들을 얻기 위한 사전-처리 회로(140)를 포함한다. 사전-처리된 신호들은 입력 오디오 신호들 대신에 처리 회로(110)에 제공된다.

Description

오디오 처리{AUDIO PROCESSING}
본 발명은 입력 오디오 신호들을 생성하기 위한 복수의 오디오 소스들을 포함하는 오디오 처리 장치, 입력 오디오 신호들로부터 처리된 오디오 신호들을 얻기 위한 처리 회로, 처리된 오디오 신호들로부터 결합된 오디오 신호를 얻기 위한 결합 회로, 및 결합된 오디오 신호의 파워 측정을 최대화하기 위해 처리 회로를 제어하고, 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위한 제어 회로에 관한 것이다. 또한, 본 발명은 또한 오디오 처리 방법에 관한 것이다.
오디오 신호들의 진보된 처리는 예를 들면, 원격통신, 콘텐트 분배 등을 포함한 많은 영역들에서 점점 더 중요해졌다. 예를 들면, 화상회의와 같은, 어떤 애플리케이션들(applications)에서, 마이크로폰들을 포함하는 마이크로폰 어레이에 대한 구성가능한 방향성 감도를 제공하기 위해 복수의 마이크로폰들로부터 입력들의 복잡한 처리가 이용되었다. 구체적으로, 마이크로폰 어레이로부터 신호들의 처리는 간단히 개개의 마이크로폰 신호들의 결합의 특성들을 변경시킴으로써 변경될 수 있는 방향을 갖는 오디오 빔을 생성할 수 있다.
전형적으로, 빔 형성 시스템들은 간섭기들의 감쇄가 최대화되도록 제어된다. 예를 들면, 빔 형성 시스템은 주 간섭기로부터 수신된 신호의 방향에서 최대 감쇄 (바람직하게 널(null))을 제공하도록 제어될 수 있다.
많은 실시예들에서 특히 잇점이 있는 성능을 제공하는 빔 형성 시스템은 WO 99/27522에 개시된 필터링된-합 빔포머(Filtered-Sum Beamformer; FSB)이다.
많은 다른 빔 형성 시스템들과는 반대로, FSB 시스템은 간섭기 쪽으로 감쇄를 최대화하기보다는 요망된 신호 쪽으로 마이크로폰 어레이의 감도를 최대화하려는 것이다. FSB 시스템의 예가 도 1에 도시되었다.
FSB 시스템은 다이렉트 필드 및 제 1 반향들을 포함해는, 요망된 소스로부터 한 어레이의 마이크로폰들으로 음향 임펄스 응답들의 특성들을 식별하려 한다. FSB는 수신된 신호들을 포워드 매칭 필터들(forward matching filters)에서 필터링하고 필터링된 출력들을 더함으로써 마이크로폰 신호들의 요망되는 부분을 코히런트하게 더함으로써 향상된 출력 신호(z)를 생성한다. 또한, 출력 신호는 포워드 필터들에 대해 공액 필터 응답들을 가지는 백워드 적응형 필터들에서 필터링된다(시간 도메인(time domain)에서 시간 반전된 임펄스 응답들에 대응하는 주파수 도메인에서). 입력 신호들과 백워드 적응형 필터들의 출력들 사이의 차이로서 오차 신호들이 생성되고, 필터들의 계수들은 오차 신호들을 최소화하도록 적응되고 그럼으로써 오디오 빔은 우세 신호를 향하여 조향되는 결과가 된다. 생성된 오차 신호들은 향상된 출력 신호(z)에 관해 가산적 잡음 감소를 실행하기 위해 특히 적합한 잡음 참조 신호들로서 간주될 수 있다.
오디오 신호 처리를 위한 특히 중요한 영역은 보청기들의 분야이다. 최근에 보청기들은 이용자에게 개선된 이용자 경험 및 원조를 제공하기 위해 점점 더 복잡한 오디오 처리 알고리즘들을 적용하게 되었다. 예를 들면, 오디오 처리 알고리즘들은 요망된 사운드 소스와 간섭 사운드 소스 사이의 개선된 신호 대 잡음 비를 제공함으로써 더 명료하고 및 인지가능한 신호가 이용자에게 제공되게 하는 것을 야기한다. 특히, 마이크로폰들의 오디오 신호들이 동적으로 결합되어 마이크로폰 장치에 대한 방향성을 제공하는 하나 이상의 마이크로폰을 포함하는 보청기들이 개발되었다. 또 다른 예로서, 요망되지 않는 사운드 소스들 및 배경 잡음에 의해 야기된 간섭을 감소시키기 위해 잡음 소거 시스템이 적용될 수 있다.
FSB 시스템은 요망된 신호쪽으로 효율적인 빔 형성을 가능하게 하므로(간섭 신호들을 감쇄하기보다는) 보청기들과 같은 애플리케이션들에 잇점이 있을 것으로 보인다. 이것은 요망된 신호의 인지를 용이하게 하며 이러한 인지를 돕는 신호를 이용자에게 제공하는 것이 발견된 보청기 애플리케이션들에서 특히 잇점이 있는 것으로 나타났다. 또한, FSB 시스템은 생성된 신호에 대해 잡음 감소/보상을 위해 특히 적합한 잡음 참조 신호를 제공한다.
그러나, FSB 시스템은 보청기를 위한 것과 같은 애플리케이션들에서 이용될 때 몇 가지 연관된 문제들이 있음이 발견되었다. 특히, 마이크로폰 어레이의 마이크로폰들 사이의 작은 거리들에 대해서 FSB 시스템의 성능이 저하되는 것이 발견되었다. 예를 들면, 15 mm의 간격을 가진 2개의 전-방향 마이크로폰들을 구비한 엔드-파이어 어레이(end-fire array)의 전형적인 보청기 구성에 대해서, FSB는 차선의 성능을 갖는 것으로 발견되었다. 사실, 많은 시나리오들에서, FSB 시스템은 요망된 신호 쪽으로 수렴할 수 없었음이 발견되었다.
따라서, 개선된 오디오 빔 형성, 특히 마이크로폰들 사이의 거리가 상당히 작은 보청기들에 대해 개선된 적합성을 가능하게 하는 빔 형성은 잇점이 있을 것이다.
본 발명의 목적은 마이크로폰 어레이의 마이크로폰들 사이의 작은 거리들을 위해 적합한 향상된 오디오 처리 장치를 제공하는 것이다. 본 발명은 독립 청구항들에 의해 규정된다. 종속 청구항들은 잇점이 있는 실시예들을 규정한다.
이 목적은 위에 언급되고, 오디오 처리 장치가 입력 오디오 신호들로부터 사전-처리된 오디오 신호들을 얻기 위한 사전-처리 회로를 포함하는 것이 특징인 오디오 처리 장치에서 본 발명에 따라 달성된다. 사전-처리된 신호들은 입력 오디오 신호들 대신 처리 회로에 제공된다. 사전-처리 회로는 입력 오디오 신호들에 포함된 간섭들의 교차-상관을 최소화하기 위해 배열된다.
일 실시예에서, 사전-처리 회로는 한 입력 오디오 신호에 포함된 간섭이 다른 입력 오디오 신호들에 포함된 간섭과 상관되는 경우에 출력 신호에서의 요망된 신호의 파워만이 최대화되는 것을 보증한다. 사전-처리 회로 없이 및 예를 들면, 결합된 오디오 신호에서의 요망된 출력 파워를 최대화하도록 구성되는 적응형 필터계수들을 이용하는 처리 회로 및 제어 회로를 구비하여, 처리 회로 및 제어 회로에 포함된 적응형 필터들의 오차 신호들은 오디오 신호들의 간섭들이 상관되는 경우에 적응형 필터들의 입력과 상관되는 간섭들을 포함한다. 이것은 최적 솔루션으로부터 적응형 필터 계수들의 발산을 초래할 것이다. 여기서, 발산은 결합된 신호의 출력 파워가 요망된 신호의 출력 파워를 최대화하도록 되지는 않음을 의미한다.
일 실시예에서, 사전-처리 회로에서 실행된 사전-처리는 결합된 오디오 신호에서의 요망된 출력 파워를 최대화하도록 구성되는 처리 회로 및 제어 회로에 의해 이용된 바와 같은 예를 들면, 적응형 필터 계수들에 의해서, 오차 신호에서의 간섭 성분과 적응형 필터의 입력 사이의 상관이 최소화되는 것을 보증한다.
이 방식으로, 오디오 처리 장치는 상관된 간섭들을 갖는 마이크로폰 어레이들에 적용될 때 확고한 성능을 제공한다. 이러한 상황의 일예는 반향 조건들에서 엔드-파이어 구성의 소형 마이크로폰 어레이이다.
일 실시예에서, 사전-처리 회로는 레귤레이션 행렬(regulation matrix)의 역에 의해 입력 오디오 신호들의 곱셈 회로에 의해 간섭들의 교차-상관을 최소화한다. 레귤레이션 행렬은 상관 행렬의 함수이고, 상관 행렬의 엔트리들(entries)은 오디오 소스들에 포함된, 복수의 간섭들의 각각의 쌍들 사이의 상관 측정들이다.
예를 들면, 적응형 필터들이 요망된 스피치 신호에 수렴되는 상황으로부터, 각각, 처리 회로 및 제어 회로에 포함된 적응형 필터들의 발산은 오디오 신호들 내 간섭들의 상관에 의해서, 특히 적응형 필터들 및 적응형 필터들의 입력의 오차 신호에서의 간섭들의 상관에 의해서 야기된다. 여기서, 결합된 오디오 신호에서의 요망된 출력 파워를 최대화하도록 적응형 필터 계수들이 구성되는 요망된 신호 회로로의 수렴. 레귤레이션 행렬의 역으로 입력 오디오 신호들에 곱함으로써 오차 신호에서의 간섭들과 적응형 필터의 입력 사이의 상관이 확실하게 최소화된다.
또 다른 실시예에서, 레귤레이션 행렬은 상관 행렬이다. 상관 행렬의 엔트리들은 스칼라들(scalars) 또는 필터들일 수 있다. 엔트리들이 스칼라들일 때, 문제를 시간 도메인에서 취급하는 것이 잇점이 있다. 엔트리들이 필터들이라면, 문제를 주파수 도메인에서 취급하는 것이 잇점이 있다. 주파수 도메인에서, 각각의 주파수 성분 ω에 대해, 상관 행렬 Γ(ω)은 스칼라 엔트리들을 가지며, 이에 따라 스칼라 경우는 각각의 개개의 주파수 성분에 대해 적용될 수 있다.
또 다른 실시예에서, 레귤레이션 행렬은 다음에 의해 주어진다.
Figure pct00001
여기서,
Figure pct00002
은 레귤레이션 행렬이고, Γ(ω)은 상관 행렬이고, η은 미리 결정된 파라미터이고, I는 단위 행렬이고, ω은 방사 주파수이다.
레귤레이션 행렬의 위에서 선택의 잇점은 오디오 처리 장치의 동작이 예를 들면, 마이크로폰 자체 잡음과 같은 비-상관된 잡음에 덜 민감해지게 된다는 것이다.
또 다른 실시예에서, 파라미터 η는 다음에 의해 주어진다.
Figure pct00003
여기서,
Figure pct00004
은 입력 오디오 신호들에서 상관된 간섭의 편차이며(음향 잡음 및/또는 요망된 스피치 신호의 반향),
Figure pct00005
은 오디오 신호들에 포함된 비상관된 전자 잡음(백색 잡음 예를 들면, 마이크로폰 자체-잡음)의 편차이다.
Figure pct00006
는 상관된 간섭들 및 비-상관된 전자 간섭들을 포함하는 결합된 간섭 신호의 데이터 상관 행렬과 등가이다. 파라미터 η의 이러한 규정으로, 레귤레이션 행렬의 엔트리들은 간섭들 사이의 실제 상관을 더 정밀하게 반영한다.
또 다른 실시예에서, 파라미터 η는 미리 결정된 고정된 값을 취한다. η의 미리 결정된 고정값으로
Figure pct00007
및
Figure pct00008
의 값들을 측정하는 것은 필요하지 않으나, η에 대한 평균값은 취해질 수 있어 상관을 감소시킬 수 있게 된다. 이 실시예의 잇점은 레귤레이션 행렬의 엔트리들을 결정하는 것이 매우 간단하다는 것이다. 파라미터 η는 확산 잡음에 대한 강건성과 마이크로폰 자체-잡음의 증폭 사이의 절충을 제어하는 설계 파라미터로서 취급된다. 파라미터 η의 전형적인 값은 0.99이다.
또 다른 실시예에서, 레귤레이션 행렬의 (p, q) 엔트리는 다음에 의해 주어진다.
Figure pct00009
여기서, Vp(ω)는 입력 오디오 신호(p)에서의 간섭이고, Vq(ω)는 입력 오디오 신호(q)에서의 간섭이고, ω는 방사 주파수, E는 기대값 연산자이다. 위에 실시예의 잇점은 레귤레이션 행렬의 엔트리들이 매우 정확하다는 것이다.
또 다른 실시예에서, 상관 행렬의 (p, q) 엔트리는 다음에 의해 주어진다.
Figure pct00010
여기서, dpq는 마이크로폰들(p, q) 사이의 거리이고, c는 공기에서 사운드의 속도이고, ω는 방사 주파수이다. Γ 행렬은 (완전한) 확산 사운드 필드에 속하는 데이터 상관 행렬이다. 확산 사운드 필드는 확산 잡음 필드이거나, 요망된 스피치의 반향에 기인한 필드일 수 있다. 특히 후자에 있어서는 반향이 요망된 (직접) 스피치에 연결되기 때문에, 즉, 비-스피치 활동 동안엔 가용하지 않기 때문에, 데이터 상관 행렬을 측정하기가 어렵다. 위의 식은 확산 잡음 필드들에서 코히런스 함수의 양호한 추정을 제공한다.
또 다른 실시예에서, 처리 회로는 사전-처리된 오디오 신호들로부터 처리된 오디오 신호들을 얻기 위한 복수의 조절가능한 필터들을 포함하고, 제어 회로는 조절가능한 필터들의 전송 함수의 공액인 전송 함수를 가지는 복수의 또 다른 조절가능한 필터들을 포함한다. 또 다른 조절가능한 필터들은 결합된 오디오 신호들로부터 필터링된 결합된 오디오 신호들을 얻는다. 제어 회로는 입력 오디오 신호들과 입력 오디오 신호들에 대응하는 필터링된 결합된 오디오 신호 사이의 차이 측정을 최소화하기 위해, 조절가능한 필터들 및 또 다른 조절가능한 필터들의 전송 함수들을 제어함으로써 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한한다.
조절가능한 필터들을 처리 회로로서 이용함으로써, 스피치 신호의 품질이 더 향상될 수 있다. 입력 오디오 신호와 대응하는 필터링된 결합된 오디오 신호 사이의 차이를 최소화함으로써, 주파수 성분마다 조절가능한 필터들의 이득들의 함수가 미리 결정된 상수와 같아야 한다는 제약 하에서, 결합된 오디오 신호의 파워 측정이 최대화되는 것이 얻어진다. 또는 즉, 제어 회로는 출력에서 간섭의 파워가 일정한 채로 있도록, 이득들의 함수를 명료하게 제한시킨다. 출력의 파워를 최대화함으로써 출력 신호에서의 요망된 신호의 파워가 최대가 되어 출력 신호에서 신호 대 잡음 비가 향상된다.
조절가능한 필터들의 이용에 기인하여 지연-합 빔 형성기에서 이용되는 것과 같은 조절가능한 지연 소자들이 요구되지 않는다.
또 다른 실시예에서, 오디오 처리 장치는 입력 오디오 신호들에 있는 한 공통의 오디오 신호의 지연 차이를 보상하기 위한 고정된 지연 소자들을 포함한다. 사운드 소스로부터 오디오 신호는 오디오 소스들에 상이한 시간들에 도착할 수도 있으며, 따라서 이들 오디오 소스들에 의해 생성된 입력 오디오 신호들 사이의 지연을 야기한다. 이들 차이들은 지연 소자들에 의해 보상된다.
본 발명의 또 다른 양태에 따라, 오디오 처리 방법이 제공된다. 위에 기술된 특징들, 잇점들, 코멘트들은 본 발명의 이 양태에 똑같이 적용가능함이 인식되어야 한다.
본 발명은 본 발명에 따라 오디오 신호 처리 장치, 및 오디오 신호 처리 장치를 포함하는 보청기를 또한 제공한다.
본 발명의 이들 및 다른 양태들, 특징들 및 잇점들은 이하 기술되는 실시예(들)로부터 명백해지고 이들 실시예들을 참조하여 기술될 것이다.
도 1은 빔 형성을 가능하게 하는 종래 기술의 오디오 처리 장치를 도시한 도면.
도 2는 본 발명의 일부 실시예들에 따른 오디오 처리 장치의 예를 도시한 도면.
도 3은 복수의 조절가능한 필터들을 포함하는 처리 회로 및 제어 회로를 구비한 본 발명의 일부 실시예들에 따른 오디오 처리 장치의 일례를 도시한 도면.
도 4는 지연 소자들을 구비한 본 발명의 일부 실시예들에 따른 오디오 처리 장치의 일례를 도시한 도면.
도면들에서, 유사 또는 대응 특징들에 동일한 참조 부호들을 이용한다. 도면들에 나타낸 일부 특징들은 전형적으로 소프트웨어로 구현되며, 따라서 소프트웨어 모듈들 또는 오브젝트들과 같은 소프트웨어 엔티티들을 나타낸다.
다음 설명은 보청기 및 특히 2개의 오디오 소스들을 포함하는 보청기에 적용할 수 있는 본 발명의 실시예들에 초점을 맞춘다. 오디오 소스들은 마이크로폰들일 수 있다. 마이크로폰들은 바람직하게는 전-방향성이다. 그러나, 본 발명은 이 애플리케이션으로 한정되지 않지만 많은 다른 오디오 애플리케이션들에 적용될 수 있음을 알 것이다. 특히, 기술된 원리들은 2 이상의 오디오 소스들에 기초하여 실시예들로 쉽게 확장될 수 있음을 알 것이다.
도 1은 WO 99/27522에 개시된 바와 같은, 빔 형성을 할 수 있는 종래 기술의 오디오 처리 장치를 도시한 것이다. 오디오 처리 장치는 보청기의 이용자와 현재 대화하고 있는 화자일 수 있는 요망된 사운드 소스를 향해 오디오 빔을 맞춘다. 특정의 예에서, 보청기는 도 1에 도시된 바와 같은 오디오 처리 장치(100)을 포함한다. 오디오 처리 장치(100)에 의해 이용된 바와 같은 FSB는 비-상관된 잡음이 있을지라도, 요망된 사운드 소스 예를 들면, 스피치의 파워를 최대화한다.
여기서, 마이크로폰(101)인 제 1 오디오 소스(101)의 출력부는 오디오 처리 장치(100)의 제 1 입력부에 연결되고, 여기서, 마이크로폰(102)인 제 2 오디오 소스의 출력부는 오디오 처리 장치(100)의 제 2 입력부에 연결된다.
오디오 소스들(101, 102) 각각에 의해 생성된 제 1 입력 오디오 신호(x1) 및 제 2 입력 오디오 신호(x2):
Figure pct00011
는 오디오 처리 장치에 의해 처리되어 오디오 빔 폼(103)을 생성한다. 여기서, s는 요망된 사운드 소스(예를 들면, 스피치)이고, 전송 팩터라 언급하는
Figure pct00012
는 상수이고, n1 및 n2은 비상관된 잡음 간섭들이다. 또한,
Figure pct00013
, 및
Figure pct00014
이라 가정한다.
이것은 n1 및 n2가 서로 비상관되며, 단위 편차를 가지며 요망된 사운드 소스(s)와 비상관됨을 의미한다.
처리 회로(110)는 제 1 스케일링 회로(111) 및 제 2 스케일링 회로(112)를 포함하며, 각각의 스케일링 회로는 이의 입력 오디오 신호를 미리 결정된 스케일링 팩터로 스케일링한다. 제 1 스케일링 회로는 스케일링 팩터 f1를 이용한다. 제 2 스케일링 회로는 스케일링 팩터 f2를 이용한다. 제 1 스케일링 회로는 제 1 처리된 오디오 신호를 생성한다. 제 2 스케일링 회로는 제 2 처리된 오디오 신호를 생성한다.
이어서 제 1 및 제 2 처리된 신호들은 결합 회로(120)에서 합해져 결합된 (방향성) 오디오 신호(103)를 생성한다.
Figure pct00015
Figure pct00016
구체적으로, 제 1 및 제 2 스케일링 회로들(111, 112)의 스케일링 팩터들을 수정함으로써, 오디오 빔의 방향은 요망된 방향으로 지향될 수 있다.
스케일링 팩터들은 전체 결합된 오디오 신호에 대한 파워 추정이 최대화되도록 업데이트된다. 스케일링 팩터들의 적응은 스케일링 회로들(111, 112)의 합산된 에너지가 일정하게 유지되야 하는 제약을 갖고 행해진다.
위의 결과는 결합된 신호가 비상관된 잡음을 포함하고 있을지라도, 결합된 오디오 신호에서의 요망된 소스 성분에 대한 파워 측정이 최대가 되도록 스케일링 팩터들이 업데이트된다는 것이다.
특정의 예에서, 회로들(111, 112)의 스케일링 팩터들은 직접 업데이트되지 않는다. 대신에, 오디오 처리 장치(100)은 처리 회로(110)에 의해 이용될 스케일링 팩터들의 값들을 결정하는 제어 회로(130)를 포함한다. 제어 회로는 제 3 처리된 오디오 신호 및 제 4 처리된 오디오 신호 각각을 생성하기 위해 결합된 오디오 신호를 스케일링하기 위한 추가의 스케일링 회로들(131, 132)을 포함한다.
제 3 처리된 오디오 신호는 제 3 처리된 오디오 신호와 제 1 입력 오디오 신호(x1) 사이의 제 1 잔차 신호를 생성하는 제 1 감산 회로(133)에 공급된다. 제 4 처리된 오디오 신호는 제 4 처리된 오디오 신호와 제 2 입력 오디오 신호(x2) 사이의 제 2 잔차 신호를 생성하는 제 2 감산 회로(134)에 공급된다.
장치에서, 추가의 스케일링 회로(131, 132)의 스케일링 팩터들은 잔차 신호들의 파워들이 감소되고 특히 최소화되도록, 요망된 사운드 소스로부터 우세 신호가 있는 중에, 제어 소자들(135, 136) 각각에 의해 적응된다. 이하 제어 회로의 동작이 더 상세히 설명된다.
결합된 오디오 신호(103)의 파워는 다음과 같다:
Figure pct00017
Py가 제약
Figure pct00018
하에서 최대화될 때, Py에 잡음의 파워는 일정한 채로 있게 되고 Py에서 신호 대 잡음 비는 최대가 된다. 스케일링 팩터들은 라그랑제 제곱수(Lagrange multiplier) 방법을 이용하여 이론적으로 계산될 수 있고, 이는 다음을 산출한다:
Figure pct00019
및
Figure pct00020
그러나 실제로는, 스케일링 팩터들은 바람직하게는 제어 소자들(135, 136)에서 행해지는 바와 같이, 최소-평균-제곱(LMS) 적응 방법을 이용하여 얻어진다. 이와 같은 라그랑제 제곱수 방법은 이론적 계산을 위해 이용된다.
Figure pct00021
및
Figure pct00022
로서 선택된 f1 및 f2에 대해서, 스케일링 팩터들은 각각 회로(111, 131, 112, 132)의 오디오 처리 장치(100)에서 적용된다. 즉, 스케일링 회로(111)에 의해 이용된 스케일링 팩터는 또 다른 스케일링 회로(131)에 의해 이용된 것과 동일하다. 제 1 스케일링 회로(111)에 있어서 이의 잔차 신호에는 남아 있는 요망된 사운드 신호(s)는 없다는 것과, 잔차 신호와 제 1 스케일링 회로(111)의 입력 사이의 교차-상관은
Figure pct00023
및
Figure pct00024
의 경우에 제로임을 알 수 있다. 제어 회로(130)에 공급된 결합된 오디오 신호는 다음과 같이 표현된다:
Figure pct00025
제 1 잔차 신호(r1)는 다음과 같이 표현된다.
Figure pct00026
Figure pct00027
및
Figure pct00028
및
Figure pct00029
에 대해서 위의 제 1 잔차 신호는 다음으로 정리된다:
Figure pct00030
Figure pct00031
y와 r1 사이의 교차-상관은 다음이 된다.
Figure pct00032
평형상태에서 참조 신호에는 요망된 사운드 신호가 없으며 잡음에 기인한 E{y r1}는 제로이다. 제어 소자들(135, 136)은 바람직하게는 각각 다음 식들에 따라 업데이트된다.
Figure pct00033
및
Figure pct00034
여기서, k는 시간 인덱스이고, r2는 제 2 잔차 신호이며 μ는 적응 상수이다. 잡음에 기인한 E{y r1}은
Figure pct00035
및
Figure pct00036
Figure pct00037
의 경우에 제로이기 때문에, f1는 평형상태에 머물러 있게 될 것이다. f2에 대해서 동일하게 성립한다.
전술한 바는 각각이 1 ≤ i ≤ N인 전송 팩터(
Figure pct00038
)를 가지는 것인 N 입력 오디오 신호들에 대해 쉽게 일반화될 수 있다. 각각이 입력 오디오 신호(i)에 대응하는, 처리 회로(110)에 포함된 N 스케일링 회로들에 대해서, 스케일링 회로들 각각에 대한 스케일 팩터들은 다음과 같이 표현될 수 있다:
Figure pct00039
발명자들은 기술된 오디오 처리 장치(100)의 성능은 상관된 잡음이 있을 때는 현저히 저하되고 따라서, 밀접하게 이격된 마이크로폰들이 이용되어 반향 잡음과 같은 증가된 상관 잡음을 유발하는 많은 애플리케이션들에는 부적합함을 알았다. 구체적으로, 발명자들은 상관 잡음이 있을 때는 알고리즘이 차선의 빔 형성들/방향들에 대응하는 차선의 스케일링 팩터들 쪽으로 수렴하게 되거나 알고리즘이 수렴하지 않게 될 수 있음을 알았다. 이에 따라, 발명자들이 인식한 바와 같이, 요망된 신호 성분, 비상관된 잡음 성분 및 상관된 잡음 성분을 포함하는 입력 신호에 대해서, 비상관된 잡음 성분은 단지 생성된 필터 계수 추정들의 편차를 증가시킬 것이지만 추정들에 바이어스를 야기하진 않을 것이며 상관된 잡음은 필터 계수들의 정확한 값들로부터 멀어지게 적응을 바이어스하는 경향이 있게 될 것이다. 구체적으로, 반향하는 실내에서 소형 마이크로폰 어레이에 대해서, 반향은 완전히 빔 형성 유닛(100)이 정확한 솔루션을 향하여 수렴하지 못하게 할 수 있음이 발견되었다. 이것은 특히 반향 레벨이 초기 반향들을 포함하는 다이렉트 사운드와 같거나 더 큰 경우, 즉 소스와 마이크로폰들 사이의 거리가 반향 반경을 초과하는 경우에 그렇다. 물론, 이러한 상황은 전형적으로 마이크로폰들 사이의 거리가 작으나 요망된 사운드 소스(예를 들면, 화자)까지의 거리가 너무 큰 보청기 애플리케이션들의 경우에 그러하다.
도 2는 본 발명의 일 실시예에 따른 오디오 처리 장치(200)을 도시한 것이다. 오디오 처리 장치(200)는 사전-처리 회로(140)에 의해 확장된 오디오 처리 장치(100)이다. 사전-처리 회로(140)는 입력 오디오 신호들로부터 사전-처리된 오디오 신호들을 얻는다. 사전-처리된 신호들은 입력 오디오 신호들 대신에 처리 회로에 제공된다. 사전-처리 회로(140)는 입력 오디오 신호들에 포함된 간섭들의 교차-상관을 최소화하도록 배열된다.
사전-처리 회로(140)의 동작을 예에서 설명한다. n1과 n2 사이의 비-제로 교차-상관이 있다.
Figure pct00040
결합된 오디오 신호 (103)의 파워는 이제 다음과 같다:
Figure pct00041
Figure pct00042
에 의해서, Py를 최대화하는 것이 반드시 신호 대 잡음 비가 최대가 됨을 의미하는 것은 아님이 명백하다.
Figure pct00043
에 대해서, Py를 최대화하는 것은
Figure pct00044
Figure pct00045
에 의해
Figure pct00046
를 최대화하며, 이것은
Figure pct00047
= 1일 때를 제외하고 맞는 해결책이 아니다.
제어 회로(130)에서 식
Figure pct00048
은 최적화되고 문제는
Figure pct00049
및
Figure pct00050
경우에 잔차 r1 에 대해 일어나며, 이때 기대값 E{y r1}은 다음과 같다.
Figure pct00051
따라서 E{y r1}은 ≠ 1일 때 비-제로 값을 갖는다. 결국, 제어 소자(135)에서 이용된 스케일링 팩터들의 업데이트 규칙에 기인하여
Figure pct00052
은 평형상태가 아니며 f1은 상이한(바람직하지 못한) 해로 수렴할 것이다. 따라서, 사전-처리 회로(140)에서 행해지는 바와 같이, 간섭들의 교차-상관의 영향을 제거하는 것이 요망된다. 위의 예에 있어서 데이터 상관 행렬은 다음과 같이 규정된다.
Figure pct00053
이의 역은 다음과 같다:
Figure pct00054
사전-처리 회로(140)의 출력에서 사전-처리된 신호들은 다음에 의해 주어진다:
Figure pct00055
결합 회로(120)의 출력에서 결합된 신호(y)는 다음과 같다:
Figure pct00056
y의 파워는 다음과 같다:
Figure pct00057
신호 대 잡음 비를 최적화하기 위해 Py의 잡음 기여를 f1 및 f2에 무관하게 유지해야 하는 제약이 적용되어야 한다, 즉:
Figure pct00058
이것은 다음과 같이 행렬 표기로 등가적으로 표현될 수 있다.
Figure pct00059
라그랑제 제곱수 방법을 적용함으로써 f1 및 f2에 대해 다음의 값들이 된다.
Figure pct00060
및
Figure pct00061
위에서 제약은 도 2에 도시된 구조에서 이행된다. 최적의 스케일링 회로(111, 112) 및 또 다른 스케일링 회로(131, 132)에 의해서 참조 신호에는 요망된 사운드 소스는 없으며, 잔차 신호의 잡음 성분들과 또 다른 스케일링 회로의 입력 사이의 교차-상관은 제로와 같다.
y의 요망된 사운드 소스 성분은 다음과 같다:
Figure pct00062
이고 r1에서:
Figure pct00063
y의 잡음 성분에 대해서 유사하게:
Figure pct00064
이고 r1에서:
Figure pct00065
yn과 rn을 상관시키고 얻어진 f1 및 f2을 삽입함으로써 다음이 된다:
Figure pct00066
평형상태에서 교차-간섭들의 영향은 사전-처리 회로(140)에서 실행된 사전-처리에 기인하여 제거된다.
일 실시예에서, 사전-처리 회로(140)는 레귤레이션 행렬의 역에 의해 입력 오디오 신호들의 곱셈 회로에 의해 간섭들의 교차-상관을 최소화한다. 레귤레이션 행렬은 상관 행렬의 함수이다. 상관 행렬의 엔트리들은 복수의 오디오 소스들의 각각의 쌍들 사이의 상관 측정들이다.
레귤레이션 행렬의 다양한 선택들은 입력 오디오 신호들에 포함된 간섭들의 교차-상관이 최소화됨을 레귤레이션 행렬이 보증하는 한 행해질 수 있다.
바람직하게, 레귤레이션 행렬은 다음에 의해 주어진다.
Figure pct00067
여기서, Vp(ω)는 입력 오디오 신호(p)에서의 간섭이고, Vq(ω)는 입력 오디오 신호(q)에서의 간섭이고, ω는 방사 주파수이고, E는 기대값 연산자이다. 레귤레이션 행렬이 위에서와 같이 계산될 수 있는 예는 간섭이 잡음 소스로부터 올 때이고, 상기 행렬은 요망된 사운드 소스가 활성이 아닐 때 추정될 수 있다. 기대값들은 데이터 샘플들에 대해 평균함으로써 계산된다.
그러나, 레귤레이션 행렬을 계산하기 위한 위에 수법은 반향이 요망된 소스가 활성일 때만 존재하고 이에 따라 측정될 수 없기 때문에, 간섭이 반향일 때는 가능하지 않다. 이 경우엔 상관 행렬에 대한 모델을 이용하는 것이 가능하다.
또 다른 실시예에서, 레귤레이션 행렬은 상관 행렬이다.
또 다른 실시예에서 상관 행렬의 (p, q) 엔트리는 확산 잡음에 대한 모델에 기초하며 다음에 의해 주어진다:
Figure pct00068
여기서, dpq 는 마이크로폰들(p, q) 사이의 거리이고, c는 공기에서 사운드의 속도이고, ω는 방사 주파수이다.
레귤레이션 행렬이 상관 행렬이면, 상관된 간섭들을 비-상관되게 하지만 이전에 비상관된 잡음(예를 들면, 백색 잡음, 센서 잡음)은 이제 상관하게 된다. 이에 따라 절충이 있는데: 상관된 간섭들은 이전에 비상관된 잡음 사이의 상관을 야기하는 대가로 비-상관되게 할 수 있다. 또 다른 실시예에서, 위에 언급된 절충은 다음과 같이 되게 레귤레이션 행렬을 선택함으로써 제어될 수 있다:
Figure pct00069
여기서,
Figure pct00070
은 레귤레이션 행렬이고, Γ(ω)은 상관 행렬이고, η은 미리 결정된 파라미터이고, I는 단위 행렬이다.
위에 언급된 절충을 제어하는 더 정밀한 방식은 상관된 및 비상관된 잡음들의 상대적 파워들에 기초하여 η를 조절하는 것이다.
또 다른 실시예에서, 파라미터 η은 다음에 의해 주어진다.
Figure pct00071
여기서,
Figure pct00072
은 입력 오디오 신호들에서 간섭의 편차이고,
Figure pct00073
은 입력 오디오 신호들에 포함된 전자 잡음의 편차이다.
또 다른 실시예에서, 파라미터 η는 미리 결정된 고정된 값을 취한다. η에 대한 바람직한 값은 0.98 또는 0.99이다.
흔히 전자 잡음
Figure pct00074
의 파워는 고정되고 측정될 수 있다. 양
Figure pct00075
은 요망된 소스가 활성이 아닐 때 측정될 수 있다. 일단 이들 두 양들을 알게 되면, 파라미터(η)가 계산될 수 있다.
도 3은 본 발명의 일 실시예에 따른 오디오 처리 장치(200)을 도시한 것이다. 처리 회로(140)는 사전-처리된 오디오 신호들로부터 처리된 오디오 신호들을 얻기 위한 복수의 조절가능한 필터들(113, 114)을 포함한다. 제어 회로(130)는 조절가능한 필터들의 전송 함수의 공액인 전송 함수를 가지는 복수의 조절가능한 필터들(137, 138)을 포함한다. 조절가능한 필터들(137, 138)은 결합된 오디오 신호들로부터 필터링된 결합된 오디오 신호들을 얻기 위해 배열된다. 제어 회로(130)는 입력 오디오 신호들과 입력 오디오 신호들에 대응하는 필터링된 결합된 오디오 신호 사이의 차이 측정을 최소화하기 위해, 조절가능한 필터들 및 또 다른 조절가능한 필터들의 전송 함수들을 제어함으로써 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위해 배열된다.
또한 오디오 처리 장치(200)는 고정된 지연 소자들(151, 152)을 포함한다. 제 1 오디오 소스(101)의 출력부는 제 1 지연 소자(151)의 입력부에 연결된다. 제 1 지연 소자(151)의 출력부는 감산 회로(133)의 제 1 입력부에 연결된다. 제 2 오디오 소스(102)의 출력부는 제 2 지연 소자(152)의 입력부에 연결된다. 제 2 지연 소자(152)의 출력부는 제 2 감산 회로(134)에 연결된다. 지연 소자들(151, 152)은 조절가능한 필터들의 임펄스 응답을 또 다른 조절가능한 필터들의 임펄스 응답에 관하여, 비교적 안티-코절(anti-causal)(시간적으로 좀 더 이른)하게 만든다.
이전에 고찰된 예에서와 같이 스칼라 (이득) 팩터들 대신에 조절가능한 필터들이 있을 때의 경우에, 주파수 도메인에서 문제를 고찰하는 것이 잇점이 있다. 앞서 고찰된 예와 유사하게, 주파수 도메인에서 다음과 같이 표현되는 제 1 입력 오디오 신호 x1(ω) 및 제 2 입력 오디오 신호 x2(ω)을 갖는다.
Figure pct00076
위에 시스템은 각각의 주파수 성분(ω)에 대해서 스칼라 경우로서 취급될 수 있고, 대응하는 이득 팩터들 f1(ω) 및 f2(ω)은 앞의 예에서와 같이 얻어질 수 있다. 양들 f1(ω) 및 f2(ω)은 조절가능한 필터들의 전송 함수들에 대응한다.
도 4는 지연 소자들(141, 142)을 구비한 본 발명의 일 실시예에 따른 오디오 처리 장치(200)를 도시한 것이다. 지연 소자들은 입력 오디오 신호들에 있는 한 공통의 오디오 신호의 지연 차이를 보상한다. 요망된 (물리적) 사운드 소스로부터 오디오 신호는 상이한 시간들에서 오디오 소스들(101, 102)에 도달할 수도 있을 것이고, 따라서 이들 오디오 소스들에 의해 생성된 입력 오디오 신호들 사이의 지연을 야기한다. 이들 차이들은 지연 소자들(141, 142)에 의해 보상된다. 그러므로 도 4에 도시된 바와 같은 오디오 처리 장치(200)는 경로 지연들을 보상하기 위해 지연 소자들의 지연 값이 아직 이들의 최적 값으로 조절되지 않은 천이 기간들 동안에도 개선된 성능을 제공한다.
본 발명이 일부 실시예들에 관련하여 기술되었을지라도, 여기에 개시된 특정 형태로 제한되도록 의도되지 않는다. 그보다는, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정 실시예들에 관련하여 기술된 것으로 보일지라도, 당업자는 기술된 실시예들의 다양한 특징들이 본 발명에 따라 결합될 수 있음을 알 것이다. 청구항들에서, 용어 "포함하는(comprising)"는 다른 소자들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 나열되었을지라도, 복수의 회로들, 소자들 또는 방법의 단계들은 예를 들면, 단일 유닛 또는 적합하게 프로그래밍된 프로세서에 의해 구현될 수 있다. 또한, 개개의 특징들이 상이한 청구항들에 포함될 수 있을지라도, 이들은 잇점이 있게 결합될 수 있고, 상이한 청구항들 내 포함은 특징들의 조합이 실현가능하지 않고/않거나 잇점이 없다는 것을 의미하지 않는다. 또한, 한 범주의 청구항들 내 특징의 포함은 이 범주로의 제한을 의미하지 않고 특징이 적합할 때 다른 청구항 범주들에 똑같이 적용가능함을 나타낸다. 또한, 청구항들에서 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정한 순서를 의미하지 않고 특히 방법 청구항에서 개개의 단계들의 순서는 단계들이 이 순서로 실행되어야 함을 의미하지 않는다. 그보다는, 단계들은 임의의 적합한 순서로 실행될 수도 있다. 또한, 단수 언급들은 복수를 배제하지 않는다. 이에 따라 부정관사("a", "an), "제 1(first)", "제 2(second)" 등의 언급들은 복수를 배제하지 않는다. 청구항들에서 참조 부호들은 단지 명확한 예로서 제공되고 어떠한 식으로든 청구항들의 범위를 제한하는 것으로 해석되지 않을 것이다.
111, 112, 131, 132: 스케일링 회로
113, 114, 137, 138: 조절가능한 필터 120: 결합 회로
130: 제어 회로 135: 제어 소자
140: 사전-처리 회로
151, 152: 고정된 지연 소자
200: 오디오 처리 장치

Claims (13)

  1. 오디오 처리 장치(200)에 있어서:
    입력 오디오 신호들에 포함된 간섭들의 교차-상관을 최소화하기 위해 상기 입력 오디오 신호들로부터 사전-처리된 오디오 신호들을 얻기 위한 사전-처리 회로;
    상기 사전-처리된 입력 오디오 신호들로부터 처리된 오디오 신호들을 얻기 위한 처리 회로(110);
    상기 처리된 오디오 신호들로부터 결합된 오디오 신호를 얻기 위한 결합 회로(120); 및
    상기 결합된 오디오 신호의 파워 측정을 최대화하기 위해 상기 처리 회로를 제어하고, 상기 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위한 제어 회로(130)를 포함하는, 오디오 처리 장치(200).
  2. 제 1 항에 있어서,
    상기 사전-처리 회로(140)는 레귤레이션 행렬(regulation matrix)의 역에 의해 입력 오디오 신호들의 곱셈 회로에 의해 상기 간섭들의 교차-상관을 최소화하도록 배열되고, 상기 레귤레이션 행렬은 상관 행렬의 함수이고, 상기 상관 행렬의 엔트리들(entries)은 복수의 오디오 소스들의 각각의 쌍들 사이의 상관 측정들인, 오디오 처리 장치(200).
  3. 제 2 항에 있어서,
    상기 레귤레이션 행렬은 상기 상관 행렬인, 오디오 처리 장치(200).
  4. 제 2 항에 있어서,
    상기 레귤레이션 행렬은:
    Figure pct00077
    에 의해 주어지고,
    여기서,
    Figure pct00078
    은 상기 레귤레이션 행렬이고, Γ(ω)은 상기 상관 행렬이고, η은 미리 결정된 파라미터이고, I는 단위 행렬이고, ω은 방사 주파수인, 오디오 처리 장치(200).
  5. 제 4 항에 있어서,
    상기 파라미터 η는:
    Figure pct00079
    에 의해 주어지고,
    여기서,
    Figure pct00080
    은 상기 입력 오디오 신호들에서의 상기 상관된 간섭의 편차이고,
    Figure pct00081
    은 상기 입력 오디오 신호들에 포함된 비상관된 전자 잡음의 편차인, 오디오 처리 장치(200).
  6. 제 4 항에 있어서,
    상기 파라미터 η는 미리 결정된 고정된 값인, 오디오 처리 장치(200).
  7. 제 2 항에 있어서,
    상기 레귤레이션 행렬의 (p, q) 엔트리는:
    Figure pct00082
    에 의해 주어지고,
    여기서, Vp(ω)는 상기 입력 오디오 신호(p)에서의 간섭이고, Vq(ω)는 상기 입력 오디오 신호(q)에서의 간섭이고, ω는 방사 주파수이고, E는 기대값 연산자인, 오디오 처리 장치(200).
  8. 제 2 항에 있어서,
    상기 상관 행렬의 (p, q) 엔트리는:
    Figure pct00083
    에 의해 주어지고,
    여기서, dpq는 마이크로폰들(p, q) 사이의 거리이고, c는 공기에서 사운드의 속도이고, ω는 방사 주파수인, 오디오 처리 장치(200).
  9. 제 1 항에 있어서,
    상기 처리 회로(110)는 상기 사전-처리된 오디오 신호들로부터 상기 처리된 오디오 신호들을 얻기 위한 복수의 조절가능한 필터들(113, (114)을 포함하고, 상기 제어 회로(130)는 상기 결합된 오디오 신호들로부터 상기 필터링된 결합된 오디오 신호들을 얻기 위한 복수의 또 다른 조절가능한 필터들(137, 138)을 포함하고, 상기 또 다른 조절가능한 필터들은 상기 조절가능한 필터들의 전송 함수의 공액이고, 상기 입력 오디오 신호들과 상기 입력 오디오 신호들에 대응하는 상기 필터링된 결합된 오디오 신호 사이의 차이 측정을 최소화하기 위해, 상기 조절가능한 필터들 및 상기 또 다른 조절가능한 필터들의 전송 함수들을 제어함으로써 상기 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위해 배열되는, 오디오 처리 장치(200).
  10. 제 1 항에 있어서,
    상기 오디오 처리 장치(200)는 상기 입력 오디오 신호들에 있는 한 공통 오디오 신호의 지연 차이를 보상하기 위한 지연 소자들(141, 142)을 포함하는, 오디오 처리 장치(200).
  11. 오디오 신호 처리 장치에 있어서:
    입력 오디오 신호들을 생성하는 복수의 오디오 소스들(101, 102); 및
    제 1 항에 청구된 바와 같은 오디오 처리 장치(200)을 포함하는, 오디오 신호 처리 장치.
  12. 오디오 처리 방법에 있어서:
    복수의 오디오 소스들(101, 102)로부터 복수의 입력 오디오 신호들을 수신하는 단계;
    상기 입력 오디오 신호들에 포함된 간섭들의 교차-상관을 최소화하기 위해 상기 입력 오디오 신호들로부터 사전-처리된 오디오 신호들을 얻는 단계;
    상기 사전-처리된 입력 오디오 신호들로부터 처리된 오디오 신호들을 얻고, 상기 처리된 오디오 신호들로부터 결합된 오디오 신호를 얻는 단계;
    상기 결합된 오디오 신호의 파워 측정을 최대화하기 위해 상기 처리된 오디오 신호들의 도출을 제어하는 단계; 및
    상기 처리된 오디오 신호들의 이득들의 함수를 미리 결정된 값으로 제한하기 위한 처리를 제어하는 단계를 포함하는, 오디오 처리 방법.
  13. 제 11 항에 따른 상기 오디오 처리 장치를 포함하는, 보청기.
KR1020117001574A 2008-06-25 2009-06-17 오디오 처리 KR101572793B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08158970 2008-06-25
EP08158970.7 2008-06-25

Publications (2)

Publication Number Publication Date
KR20110040855A true KR20110040855A (ko) 2011-04-20
KR101572793B1 KR101572793B1 (ko) 2015-12-01

Family

ID=40940139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117001574A KR101572793B1 (ko) 2008-06-25 2009-06-17 오디오 처리

Country Status (7)

Country Link
US (1) US8472655B2 (ko)
EP (1) EP2308044B1 (ko)
JP (1) JP5331201B2 (ko)
KR (1) KR101572793B1 (ko)
CN (1) CN102077277B (ko)
AT (1) ATE528752T1 (ko)
WO (1) WO2009156906A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011104146A1 (en) 2010-02-24 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for generating an enhanced downmix signal, method for generating an enhanced downmix signal and computer program
CN102859591B (zh) * 2010-04-12 2015-02-18 瑞典爱立信有限公司 用于语音编码器中的噪声消除的方法和装置
WO2012107561A1 (en) * 2011-02-10 2012-08-16 Dolby International Ab Spatial adaptation in multi-microphone sound capture
CN102986252A (zh) * 2011-04-11 2013-03-20 松下电器产业株式会社 助听器及振动检测方法
DE102011116282B4 (de) * 2011-10-19 2013-07-04 Krohne Messtechnik Gmbh Verfahren zum Betrieb eines Vortexdurchflussmessgeräts
AU2013260672B2 (en) * 2011-11-14 2014-01-16 Google Inc. Automatic gain control
US8185387B1 (en) * 2011-11-14 2012-05-22 Google Inc. Automatic gain control
CN103841521A (zh) * 2012-11-22 2014-06-04 苏州朗捷通智能科技有限公司 一种基于2.4g的无线数字会议系统
US9774960B2 (en) * 2014-12-22 2017-09-26 Gn Hearing A/S Diffuse noise listening
US10708690B2 (en) * 2015-09-10 2020-07-07 Yayuma Audio Sp. Z.O.O. Method of an audio signal correction
US10244317B2 (en) 2015-09-22 2019-03-26 Samsung Electronics Co., Ltd. Beamforming array utilizing ring radiator loudspeakers and digital signal processing (DSP) optimization of a beamforming array
US9807501B1 (en) * 2016-09-16 2017-10-31 Gopro, Inc. Generating an audio signal from multiple microphones based on a wet microphone condition
EP3566463B1 (en) * 2017-01-03 2020-12-02 Koninklijke Philips N.V. Audio capture using beamforming
BR112019013555A2 (pt) * 2017-01-03 2020-01-07 Koninklijke Philips N.V. Aparelho para captura de áudio, método de captura de áudio e produto de programa de computador
CN110267160B (zh) * 2019-05-31 2020-09-22 潍坊歌尔电子有限公司 声音信号处理方法、装置及设备
GB202008547D0 (en) * 2020-06-05 2020-07-22 Audioscenic Ltd Loudspeaker control
KR20220041432A (ko) * 2020-09-25 2022-04-01 삼성전자주식회사 음향 신호를 이용한 거리 측정 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146012B1 (en) 1997-11-22 2006-12-05 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources
JP3986785B2 (ja) * 2001-09-20 2007-10-03 日本放送協会 音源分離収音マイクロホン装置および方法
JP4247037B2 (ja) * 2003-01-29 2009-04-02 株式会社東芝 音声信号処理方法と装置及びプログラム
US7039200B2 (en) * 2003-03-31 2006-05-02 Microsoft Corporation System and process for time delay estimation in the presence of correlated noise and reverberation
US7330556B2 (en) * 2003-04-03 2008-02-12 Gn Resound A/S Binaural signal enhancement system
US8150683B2 (en) * 2003-11-04 2012-04-03 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus, method, and computer program for comparing audio signals
EP1640971B1 (en) * 2004-09-23 2008-08-20 Harman Becker Automotive Systems GmbH Multi-channel adaptive speech signal processing with noise reduction
US7869606B2 (en) * 2006-03-29 2011-01-11 Phonak Ag Automatically modifiable hearing aid
US8078456B2 (en) * 2007-06-06 2011-12-13 Broadcom Corporation Audio time scale modification algorithm for dynamic playback speed control

Also Published As

Publication number Publication date
US20110103625A1 (en) 2011-05-05
CN102077277A (zh) 2011-05-25
JP5331201B2 (ja) 2013-10-30
US8472655B2 (en) 2013-06-25
KR101572793B1 (ko) 2015-12-01
EP2308044B1 (en) 2011-10-12
WO2009156906A1 (en) 2009-12-30
JP2011526114A (ja) 2011-09-29
CN102077277B (zh) 2013-06-12
EP2308044A1 (en) 2011-04-13
ATE528752T1 (de) 2011-10-15

Similar Documents

Publication Publication Date Title
KR101572793B1 (ko) 오디오 처리
US9723422B2 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
KR102352928B1 (ko) 가변 마이크로폰 어레이 방향을 갖는 헤드셋들을 위한 듀얼 마이크로폰 음성 프로세싱
US8009840B2 (en) Microphone calibration with an RGSC beamformer
US9008327B2 (en) Acoustic multi-channel cancellation
US6836243B2 (en) System and method for processing a signal being emitted from a target signal source into a noisy environment
US8014230B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
KR101601197B1 (ko) 마이크로폰 어레이의 이득 조정 장치 및 방법
WO2013049737A1 (en) Processing signals
Berkun et al. Combined beamformers for robust broadband regularized superdirective beamforming
KR20200049521A (ko) 음향 에코 제거를 사용한 오디오 신호 처리
CN102143426A (zh) 用于抑制听力设备中的声学反馈的方法及对应的听力设备
US8174935B2 (en) Adaptive array control device, method and program, and adaptive array processing device, method and program using the same
EP3671740B1 (en) Method of compensating a processed audio signal
EP3225037B1 (en) Method and apparatus for generating a directional sound signal from first and second sound signals
Chatlani et al. Spatial noise reduction in binaural hearing aids
US10692514B2 (en) Single channel noise reduction
Geiser et al. A differential microphone array with input level alignment, directional equalization and fast notch adaptation for handsfree communication
Adler et al. A weighted multichannel wiener filter and its decomposition to LCMV beam former and post-filter for source separation and noise reduction
EP4278617A1 (en) Low frequency automatically calibrating sound system
CN113438590A (zh) 用于助听器的方法
Mahale Robust adaptive CRLS-GSC algorithm for DOA mismatch in microphone array
Mahale CRLS-GSC Noise Reduction Algorithm Robust to DOA Mismatch Problem in Microphone Arrays
AU2004310722A1 (en) Method and apparatus for producing adaptive directional signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191112

Year of fee payment: 5