KR102410447B1 - 적응성 빔포밍 - Google Patents
적응성 빔포밍 Download PDFInfo
- Publication number
- KR102410447B1 KR102410447B1 KR1020197013750A KR20197013750A KR102410447B1 KR 102410447 B1 KR102410447 B1 KR 102410447B1 KR 1020197013750 A KR1020197013750 A KR 1020197013750A KR 20197013750 A KR20197013750 A KR 20197013750A KR 102410447 B1 KR102410447 B1 KR 102410447B1
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- block
- input
- signals
- adaptive
- Prior art date
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012546 transfer Methods 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 18
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000003595 spectral effect Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000005562 fading Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
- H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/403—Linear arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
Abstract
출력 신호를 제공하기 위해 적어도 2개의 입력 신호를 처리하도록 적응성 빔포밍 시스템 및 방법이 구성되며, 상기 적어도 2개의 입력 신호 중 제 1 입력 신호는 주 성분으로 요망 신호를 포함하고, 상기 적어도 2개의 입력 신호 중 제 2 입력 신호는 주 성분으로 불요 신호를 포함하며, 상기 방법은, 상기 제 1 입력 신호에 포함된 불요 신호 성분들의 추정치를 나타내는 추정 불요 신호를 제공하기 위해 출력 신호와 제 1 입력 신호 중 적어도 하나와 제 2 입력 신호를 적응성 오차 처리하는 단계와, 출력 신호를 제공하도록 추정 불요 신호 및 제 1 입력 신호 간의 차이를 취하는 단계를 포함한다.
Description
본 개시는 적응성 빔포밍 시스템 및 방법(일반적으로 "시스템"으로 지칭됨)에 관한 것이다.
파 필드 사운드 캡처(far field sound capturing)를 이용하면 파 필드 마이크로폰으로부터 보다 먼 거리(가령, 수 미터)에 위치한 요망 음원으로부터 소리를 레코딩할 수 있다. 그러나 음원과 파 필드 마이크로폰 간의 거리가 클수록, 요망 신호-잡음비가 낮을 것이다. 본 경우에 "노이즈"라는 용어는 어떤 정보, 아이디어 또는 감정(가령, 스피치, 음악)을 운반하지 않는 소리를 포함한다. 노이즈는 통상적으로 바람직하지 않으며, 간섭 노이즈로 지칭될 수도 있다. 스피치 또는 음악이 가정이나 사무 공간과 같은 노이즈-충만 환경에 유입될 때, 실내에 존재하는 노이즈는 요망 스피치 통신 또는 음악 프레젠테이션에 바람직하지 않은 간섭 효과를 나타낼 수 있다. 노이즈 감소는 흔히 불요 신호의 감쇠에 해당하지만 요망 신호의 증폭을 또한 포함할 수 있다. 요망 신호들은 스피치 또는 음악 신호일 수 있고, 반면 불요 신호는 요망 신호와 간섭을 일으키는 환경 내 임의의 소리일 수 있다. 노이즈 감소와 연계하여 사용되는 기법에 3개의 주 기법, 즉, 지향성 빔포밍, 스펙트럼 감산, 및 피치-기반 스피치 향상이 있다. 공간적으로 전파하는 신호들을 수신하도록 설계된 시스템은 종종 간섭 신호의 존재와 맞닥뜨리게 된다. 요망 신호와 간섭자가 동일한 시간 주파수 대역(temporal frequency band)을 점유할 경우, 간섭으로부터 요망 신호를 분리하기 위해 시간 필터링(temporal filtering)을 이용할 수 없다. 노이즈 감소를 향상시키기 위한 바램이 존재한다.
출력 신호를 제공하기 위해 적어도 2개의 입력 신호를 처리하도록 적응성 빔포밍 시스템이 구성되며, 적어도 2개의 입력 신호 중 제 1 입력 신호는 주 성분으로 요망 신호를 포함하고, 적어도 2개의 입력 신호 중 제 2 입력 신호는 주 성분으로 불요 신호를 포함한다. 상기 시스템은, 상기 제 1 입력 신호에 포함된 불요 신호 성분들의 추정치를 나타내는 추정 불요 신호를 제공하기 위해 출력 신호와 제 1 입력 신호 중 적어도 하나와 제 2 입력 신호를 적응성으로 처리하도록 구성된 오차 추출 블록을 포함한다. 상기 시스템은, 출력 신호를 제공하도록 추정 불요 신호 및 제 1 입력 신호 간의 차이를 취하도록 구성된 감산기(subtracter)를 더 포함한다.
출력 신호를 제공하기 위해 적어도 2개의 입력 신호를 처리하도록 적응성 빔포밍 방법이 구성되며, 상기 적어도 2개의 입력 신호 중 제 1 입력 신호는 주 성분으로 요망 신호를 포함하고, 상기 적어도 2개의 입력 신호 중 제 2 입력 신호는 주 성분으로 불요 신호를 포함한다. 상기 방법은, 상기 제 1 입력 신호에 포함된 불요 신호 성분들의 추정치를 나타내는 추정 불요 신호를 제공하기 위해 출력 신호와 제 1 입력 신호 중 적어도 하나와 제 2 입력 신호를 적응성 오차 처리하는 단계를 포함한다. 상기 방법은, 출력 신호를 제공하도록 추정 불요 신호 및 제 1 입력 신호 간의 차이를 취하는 단계를 더 포함한다.
다른 시스템, 방법, 특징, 및 장점들은 다음의 상세한 설명 및 첨부 도면을 살펴본 후 당 업자에게 명백하거나 명백해질 것이다. 이러한 모든 추가적인 시스템, 방법, 특징, 및 장점들은 본 설명 내에 포함되고, 발명의 범위 내에 있으며, 다음의 청구범위에 의해 보호된다.
시스템은 다음의 도면 및 설명을 참조할 때 더 잘 이해될 것이다. 도면에서, 유사한 도면 부호는 상이한 도면들 전체에 걸쳐 대응하는 부분을 지시한다.
도 1은 일례의 파 필드 마이크로폰 시스템을 예시하는 개략도이고,
도 2는 도 1에 도시되는 파 필드 마이크로폰 시스템에 적용가능한 일례의 음향 에코 소거기를 예시하는 개략도이며,
도 3은 일례의 필터-앤드-합계 빔포머를 예시하는 개략도이고,
도 4는 시간 도메인에서 동작하는 일례의 빔조향 유닛을 예시하는 개략도이며,
도 5는 적응성 블로킹 필터 및 포스트 필터와 함께 시간 도메인에서 동작하는 적응성 빔포머의 단순화된 구조를 예시하는 개략도이고,
도 6은 주파수 도메인에서 동작하는 다른 일례의 빔 조향 유닛을 에시하는 개략도다.
도면들은 하나 이상의 구조적 구성요소의 범주에서 개념을 기술한다. 도면에 도시되는 다양한 구성요소들은 예를 들어, 적절한 하드웨어 상에서 실행되는 소프트웨어 또는 펌웨어 프로그램 코드, 소프트웨어, 또는 이들의 조합을 포함한, 임의의 방식으로 구현될 수 있다. 일부 예에서, 다양한 구성요소들은 실제 구현예에서 대응하는 구성요소들의 이용을 반영할 수 있다. 소정의 구성요소들은 다수의 서브구성요소들로 나누어질 수 있고, 소정의 구성요소들은 병렬 방식을 포함한, 여기서 예시되는 것과는 다른 순서로 구현될 수 있다.
도 1은 일례의 파 필드 마이크로폰 시스템을 예시하는 개략도이고,
도 2는 도 1에 도시되는 파 필드 마이크로폰 시스템에 적용가능한 일례의 음향 에코 소거기를 예시하는 개략도이며,
도 3은 일례의 필터-앤드-합계 빔포머를 예시하는 개략도이고,
도 4는 시간 도메인에서 동작하는 일례의 빔조향 유닛을 예시하는 개략도이며,
도 5는 적응성 블로킹 필터 및 포스트 필터와 함께 시간 도메인에서 동작하는 적응성 빔포머의 단순화된 구조를 예시하는 개략도이고,
도 6은 주파수 도메인에서 동작하는 다른 일례의 빔 조향 유닛을 에시하는 개략도다.
도면들은 하나 이상의 구조적 구성요소의 범주에서 개념을 기술한다. 도면에 도시되는 다양한 구성요소들은 예를 들어, 적절한 하드웨어 상에서 실행되는 소프트웨어 또는 펌웨어 프로그램 코드, 소프트웨어, 또는 이들의 조합을 포함한, 임의의 방식으로 구현될 수 있다. 일부 예에서, 다양한 구성요소들은 실제 구현예에서 대응하는 구성요소들의 이용을 반영할 수 있다. 소정의 구성요소들은 다수의 서브구성요소들로 나누어질 수 있고, 소정의 구성요소들은 병렬 방식을 포함한, 여기서 예시되는 것과는 다른 순서로 구현될 수 있다.
요망 신호 및 간섭 신호들은 상이한 공간 위치로부터 나타나는 경우가 잦다. 따라서, 빔포밍 기술을 이용하여 오디오 응용예에서 신호-잡음비를 개선시킬 수 있다. 흔한 빔포밍 기술은 지연-합계 기술, Griffiths-Jim 알고리즘과 같은 알고리즘을 이용한 적응성 유한 임펄스 응답(FIR) 필터링 기술, 및 인간 양이 청취(binaural hearing) 모델에 기초한 기술을 포함한다.
빔포머는 가중치를 어떻게 선택하느냐에 따라 데이터 독립적 또는 통계적 최적으로 분류될 수 있다. 데이터 독립적 빔포머의 가중치는 어레이 데이터에 좌우되지 않으며, 모든 신호/간섭 시나리오에 대해 지정된 응답을 제시하도록 선택된다. 통계적 최적 빔포머는 데이터 통계치에 기초하여 빔포머 응답을 최적화시키도록 가중치를 선택한다. 데이터 통계치는 종종 알려져 있지 않고, 시간에 따라 변화하여, 적응성 알고리즘을 이용하여 통계적 최적 해로 수렴하는 가중치를 얻을 수 있다. 연산 측면의 고려사항으로 인해, 다수의 센서들로 구성된 어레이를 가진 부분 적응성 빔포머가 사용될 수 있다. 많은 상이한 기법들이 최적 빔포머 구현을 위해 제안된바 있다. 예를 들어, 통계적 최적 빔포머들은 빔포머 출력에서 신호-잡음비를 최대화시키려는 시도로 간섭원의 방향으로 널(nulls)을 배치한다.
많은 응용예에서, 요망 신호는 미지의 강도를 가질 수 있고, 항상 존재할 수 있다. 이러한 응용예에서, 최대 신호-잡음비(SNR)의 신호 및 잡음 공분산 행렬의 정확한 추정이 가능하지 않다. 요망 신호에 관해 모르기 때문에 기준 신호 기법을 이용할 수 없다. 이러한 제한사항은 가중치 벡터에 대한 선형 제약(linear constraint)의 적용을 통해 극복될 수 있다. 선형 제약 이용은 빔포머의 적응된 응답에 대한 폭넓은 제어를 가능하게 하는 기법이다. 범용 선형 제약 설계 기법은 존재하지 않고, 많은 응용예에서, 상이한 유형의 제약 기술들의 조합이 효과적일 수 있다. 그러나, 선형 제약 설계를 위한 단일한 최적의 방식 또는 상이한 방식들의 조합을 찾아내려는 시도가, 빔포밍 응용예를 위한 선형 제약 설계에 의존하는 기술의 이용을 제한하게 된다.
GSC(Generalized sidelobe canceller) 기술은 빔포밍 응용예를 위한 선형 제약 설계 기술의 대안을 제시한다. 본질적으로 GSC는 제약된 최소화 문제를 제약없는 형태로 변화시키기 위한 메커니즘이다. GSC는 소정 방향으로부터의 요망 신호를 왜곡없이 남기고, 이와 동시에, 다른 방향으로부터 들어오는 불요 신호는 억제한다. 그러나, GSC는 2개의 경로 구조를 이용하는데, 상측 경로는 요망 신호의 방향을 지시하는 고정 빔포머를 실현할 수 있고, 하측부는 이상적으로 순수한 노이즈 추정치를 적응성으로 생성하여, 이를 고정 빔포머의 출력 신호로부터 빼서, 노이즈 억제에 의해 SNR을 증가시킬 수 있다.
노이즈 추정은 2-단계 기법으로 흔히 실현된다. 하측 경로의 제 1 스테이지는 이 스테이지의 입력 신호로부터 요망 신호의 나머지 신호 부분을 제거하도록 구성된다. 하측 경로의 제 2 스테이지는 단일-채널 추정 노이즈 신호를 생성하기 위해 M개의 적응성 간섭 소거기(AIC)를 더 포함하며, 이러한 단일 채널 추정 노이즈 신호는 그 후 고정 빔포머의 시간 지연 출력 신호인 상측 경로의 출력 신호로부터 빼질 수 있다. 따라서, 시간 지연 고정 빔포머의 출력 신호에 포함된 노이즈가 억제될 수 있고, 요망 신호 성분이 이러한 처리과정에 의해 영향받지 않을 것이므로, 더 우수한 SNR을 야기할 수 있다. 이는 노이즈 추정 내의 모든 요망 신호 부분들이 성공적으로 통합될 수 있을 경우에만 사실이며, 이는 실제로 대단히 드문 경우로서, 따라서, 현재의 적응성 빔포밍 알고리즘에 관한 주된 결점들 중 하나를 나타낸다.
가령, 전체 소리 신호로부터 추정 에코 신호를 뺌으로써, 음향 에코 소거를 얻을 수 있다. 실제 에코 신호의 추정치를 제공하기 위해, 시간-이산 신호를 처리하는 적응성 디지털 필터를 이용할 수 있는 알고리즘이 시간 도메인에서 동작할 수 있다. 이러한 적응성 필터들은 필터의 투과 특성을 형성하는 네트워크 파라미터들이 기설정 품질 함수와 관련하여 최적화되는 방식으로 동작한다. 이러한 품질 함수는 예를 들어, 기준 신호 대비 적응성 네트워크의 출력 신호의 평균 제곱 오차를 최소화시킴으로써, 구현될 수 있다.
도 1을 참조하면, 예시적인 파 필드 마이크로폰 시스템에서, 요망 음원(101)으로부터의 소리가 하나 또는 복수의 라우드스피커를 통해 복사되어, 룸을 통해 전파되며, 대응하는 룸 임펄스 응답(RIR)(102)을 이용하여 필터링되고, 대응 신호들이 하나 이상의(M) 마이크로폰에 의해 수득되기 전에 노이즈에 의해 붕괴될 가능성이 있다. 도 1에 도시되는 파 필드 마이크로폰 시스템은 음향 에코 소거(AEC) 블록(103), 후속 고정 빔포머(FB) 블록(104), 후속 빔 조향 블록(105), 후속 적응성 차단 필터(ABF) 블록(106), 후속 적응성 간섭 소거기(AIC) 블록(107), 및 후속 선택적 적응성 포스트 필터 블록(110)을 포함한다. ABF 블록(106), AIC 블록(107), 선택적인 지연 블록(108), 및 제약부(constraint)(109)는 적응성 빔포머 블록을 형성한다.
도 1로부터 알 수 있듯이, 전달 함수 h{n,1}.. h{n,M}를 가진 RIR(102)에 의해 필터링되는, 그리고 노이즈로 덮일 가능성이 있는, N개의 소스 신호들은 AEC 블록(103)으로의 입력으로 작용한다. 도 2는 단일 마이크로폰, 단일 라우드스피커의 AEC 블록(103)의 예시적 실현을 도시한다. 당 업자가 알다시피, 이러한 구조는 하나보다 많은 마이크로폰(206) 및/또는 하나보다 많은 기준 신호(라우드스피커)를 포함하도록 확장될 수 있다. (복수의) 라우드스피커(205)에 의해 복사되는 소스 신호 s(n) 또는 원단 신호(far end signal)는 전달 함수 벡터 h(n)을 가진 (적어도 하나의) 에코 경로(201)를 통과하여 에코 신호 y(n)을 형성하게 되며, 이 경우 n은 (이산) 시간 인덱스이다. 이 신호는 합산 노드(204)에서 음향 도메인에서 근단 신호 v(n)에 더하여지고, 이는 백그라운드 노이즈 및 근단 스피치를 지닐 수 있으며, 결과적으로 전기 도메인의 마이크로폰 신호 d(n)이 나타난다. 벡터를 형성하는 적응성 필터(202)로부터의 추정 에코 신호는 감산 노드(203)에서 마이크로폰 신호 d(n)으로부터 빼진다. 적응성 필터(202)의 목적은 감산 노드(203)에서 마이크로폰 신호 d(n)으로부터 에코 신호 y(n)의 추정치 
을 뺌으로써, 에러 신호 x(n)를 최소화시키는 것이다.
차수 L-1의 전달 함수 
을 가진 FIR 필터(202)는 에코 경로 전달 함수 벡터 h(n)을 모델링하는데 사용될 수 있고, L은 FIR 필터의 길이이다. 전달 함수 벡터 
는 다음과 같이 기술될 수 있다.
적응성 필터에 대한 블록(203)의 요망 마이크로폰 신호 d(n)은 다음과 같이 주어진다:
여기서 
는 근단 신호, 즉, v(n), 및 s(n) 입력 신호의 L개의 가장 최근 시간 샘플을 지닌 실수값 벡터이다(L은 정수이다).
이전 표기법을 이용하여, 피드백/에코 오차 신호 x(n)은 다음과 같이 주어진다:
여기서 벡터 
은 시간 n에서 적응성 필터 계수를 가진다. 벡터 
은 당 분야의 임의의 회귀 알고리즘 또는 최소 평균 제곱(LMS) 알고리즘, 등을 이용하여 추정된다. LMS-유형 알고리즘의 스텝 크기 
을 이용한 LMS 업데이트 프로세스는 다음과 같이 표현될 수 있다:
도 1을 다시 참조하면, AEC 블록(103)의 출력은 고정 빔포머 블록(104)에 대한 입력 xi(n)으로 작용하고, i는 1,...,M이다. 간단하지만 효과적인 빔포밍 기술은 예를 들어, 필터-앤드-합계(FS) 기술 및 지연-및-합계(DS) 기술이다. 고정 FS 빔포머 블록(104)에서와 같은 간단한 FS 빔포머 구조가 도 3에 도시되며, 그 출력은 다음과 같이 주어진다:
여기서 M은 다시 마이크로폰의 개수이다. FS 빔포머 블록(104)은 FS 빔포머 블록(104)의 출력 신호를 생성하기 위해 합산기(302)의 출력 신호를 M으로 나누는 계수 요소(303) 및 전달 함수 wi(n)를 가진, 필터 경로(302)를 통해 AEC 블록(103)으로부터 신호 xi(n)를 수신하는 합산기(301)를 포함할 수 있다. FS 빔포머 블록(104)의 추가의 출력 신호들이 이에 따라 상이한 전달 함수 w(n)과 함께 도출된다. DS 빔포머는 
에 따라 wi(n)을 선택함으로써 구현되며, 여기서 f는 주파수이고, τi는 지연 시간이다.
도 1에서, 고정 FS 빔포머 블록(104)의 출력 신호는 빔 신호 bi(n)으로 작용하고(i = 1,2,...B), 빔 조향(BS) 블록(105)에 입력된다. 고정 FS 빔포머 블록(104)에 의해 출력되는 각각의 신호는 상이한 룸 방향으로부터 수득되는 음향 신호(소리)를 나타내고, 상이한 SNR 레벨을 가질 수 있다. 고정 FS 빔포머 블록(104)은 선택적 사항으로서, 음향 신호(소리)를 수득하는 마이크로폰이 충분한 지향성을 제공할 경우 생략될 수 있다. 빔 조향 블록(105)에 입력되는 빔 신호 bi(n)은 스피치 신호의 경우에 저주파수 성분, 가령, 저주파수 럼블(웅웅거리는 소리), 직류 전류(DC) 오프셋, 및 불요한 파열음을 지닐 수 있다. 따라서, BS 블록(105)의 빔 신호 bi(n)에 영향을 미칠 수 있는 이러한 부작용들은 제거될 필요가 있다.
도 4를 참조하면, 도 1에 도시되는 시스템 또는 그외 다른 적절한 시스템의 빔조향 블록(105)으로 적용가능한 시간 도메인에서 동작하는 예시 빔조향 블록에서, 빔 신호 bi(n)는 필터 블록(401)을 통해 고역 통과 및 선택적으로 저역 통과 필터링되어, 유용한 신호(가령, 스피치 신호)의 부분을 함유하지 않거나 노이즈에 의해 영향받는 신호 부분을 차단할 수 있다. 필터 블록(401)에 의해 출력되는 신호들은 빔 신호 bi(n)의 시점마다 급격하고 무작위적인 진폭 변화와 같이, 노이즈로 인한 진폭 변화를 가질 수 있다. 이 상황에서, 가령, (시간) 평활화 블록(402)를 통해, 이러한 신호들에 포함된 노이즈를 감소시키는 것이 유용할 수 있다. 평활화는 가령, 평활화 블록(402)에서 (도시되지 않는) 저역 통과 IIR 필터에 의해 수행될 수 있고, 이는 고주파수 성분을 감소시키고 저주파수 성분을 거의 또는 전혀 변화없이 통과시킨다. 평활화 블록(402)의 출력 신호의 획득 지점들은 (노이즈로 인해) 바로 인접한 지점들보다 높은 진폭을 가진 개별 지점들이 감소하고, 바로 인접한 지점들보다 낮은 진폭을 가진 지점들이 증가한다. 이로써 더 매끄러운 신호가 나타난다(그리고 신호 변화에 대한 더 느린 스텝 응답이 나타난다).
평활화 블록(402)은 여전히 상당한 노이즈 레벨을 지닐 수 있는, 그리고, 따라서, 앞서 기술한 바와 같이 주목할만한 날카로운 불연속성을 야기할 수 있는, 평활화된 신호를 출력한다. 음성 신호 레벨은 백그라운드 노이즈 레벨의 변화로부터 구분될 만큼 다른 것이 통상적인데, 특히, 음성 신호의 레벨 변화의 동적 범위가 백그라운드 노이즈의 레벨 변화보다 훨씬 크고, 훨씬 짧은 간격으로 레벨 변화가 발생하기 때문이다. 따라서, 평활화 블록(402)에 이은 노이즈 추정 블록(403)에서의 선형 평활화는 요망 음악 또는 음성 신호의 날카로운 변화를 스미어링(smear out)하고, 노이즈를 제거한다. 이러한 음악 또는 음성 신호의 스미어링(smearing)은 많은 응용예에서 바람직하지 않으며, 따라서, 대안으로서 또는 추가적으로, 노이즈 추정 블록(403)에서 비선형 평활화(도시되지 않음)가 평활화된 신호에 적용되어, 앞서 언급한 부작용을 극복할 수 있다. 노이즈 추정 블록(403)은 평활화 블록(402)의 대응 출력 신호에 포함된 노이즈의 추정치를 나타내는 신호를 출력한다.
SNR 연산 블록(404)에서, 평활화 블록(402)로부터의 평활화된 신호와, 노이즈 추정 블록(403)으로부터의 추정된 백그라운드 노이즈 신호에 기초하여, 각자의 SNR의 변화가 평가되고, 예를 들어, 대응 빔 1... B에 대해 시간 n에 걸쳐 각각의 SNR 값 SNR1(n)... SNRB(n)의 분포와 같이, 출력된다. 평가, 따라서 분포는 n에서 n-100까지, 등과 같이, 소정의 시간 주기, 즉, 프레임 또는 시간 구간에 걸쳐 연장될 수 있다. SNR의 변화를 평가함으로써, 노이즈 소스가 요망 스피치 또는 음악 신호로부터 구분될 수 있다. 예를 들어, 낮은 SNR 값은, 에어콘, 선풍기, 열린 창, 또는 전기 장치, 가령, 컴퓨터, 등과 같은 다양한 노이즈 소스를 나타낼 수 있다. SNR 값 SNR1(n) ... SNRB(n)은 (도 4에 도시된 바와 같이) 시간 도메인으로 또는 (도 6에 도시된 바와 같이) 주파수 도메인으로 또는SNR 연산 블록(404)에 의해 서브대역 주파수 도메인(도시되지 않음)으로 결정될 수 있다.
후속 비교기 블록(405)에서, 블록(404)에 의해 출력된 SNR 값 SNR1(n) ... SNRB(n)은 기결정된 임계치에 비교된다. 임계치들은 고정값 또는 제어가능할 수 있고, 주파수 의존적이거나 독립적일 수도 있고, 등등이다. 현 SNR 값이 대응하는 기결정된 임계치를 넘을 경우, 스피치와 같은 요망 신호를 표시하는 플래그가 제 1 로직 값, 가령, '1'로 설정될 것이다. 대안으로서, 현 SNR 값이 기결정된 대응 임계치보다 작을 경우, 에어콘, 선풍기, 열린 창, 또는 전기 장치, 가령, 컴퓨터로부터의 노이즈와 같은 불요 신호를 표시하는 플래그가 제 2 로직 값, 가령, '0'으로 설정될 것이다. 본 예에서, 모든 임계치가 동일한 값 SNRTH를 가진다.
블록(404)로부터의 SNR 값 SNR1(n) ... SNRB(n)과, 비교기 블록(405)로부터의 플래그들은 경로 #1 ... #B를 통해 제어기 블록(406)에 전달된다. 제어기 블록(406)은, 모든 B 빔에 대한 파라미터 "TimeFrame"에 의해 조정가능한 소정의 시간 주기(프레임, 구간)에 걸쳐 SNR 신호가 임계치 SNRTH를 넘을 때, 로직 값의 수 "1"을 카운팅한다. 따라서, 튜닝가능 파라미터 "TimeFreme"에 의해 규정되는 소정의 시간 주기에 걸쳐 빔 당 SNR 값에 대해 히스토그램이 생성된다. 각각의 프레임에 대하여, 소리의 개별(수평) 방향을 나타내는 B 빔 각각에 대한 모든 로직 값 "1"의 합계 또는 카운트가 결정된다. 이 프레임에서 로직 값 "1"의 최고(최대 또는 "Max") 카운트를 가진 B 빔들의 방향은 양의 빔으로 간주되어, 요망 신호원, 가령, 스피커를 가리킨다. 요망 음원을 향한 양의 빔의 시간 변형 방향(조향 벡터 또는 주시 방향)을 식별하는 대응 인덱스가 출력될 것이며, 신호 S(n)으로 지칭될 것이다. 신호 S(n)은 빔들간 페이딩(fading)(소프트 스위칭)에 의해, 빔들 간 스위칭할 때 나타나는 클릭과 같은 음향 부작용을 방지하는 페이딩 블록(407)에 공급된다.
여기서 기술되는 개념("0" 값들의 카운팅)은 모든 B 빔 신호들의 낮은 SNR 값의 경우에, 이상적인 경우에 잠재적 노이즈 소스의 방향을 향해야만 하는 음의 빔의 인덱스의 결정에 적용될 때 소정의 결함을 가질 수 있다. 이러한 경우에, 최저 SNR을 가진 B 빔 신호들 각각은 (지금껏 사용된 로직 값 "0"을 반전시킴으로써) 로직 값 "1"로 또한 표시될 수 있고, 동일한 조정가능 "TimeFrame" 파라미터에 의해 규정된 히스토그램이 다시 시간에 걸쳐 컴파일될 수 있다. 이는 제어기 블록(406)이 로직 값 "1"의 수를 카운트함을 의미한다. 즉, 모든 B 빔에 대해, 파라미터 "TimeFrame"에 의해 조정가능할 수 있는 최저 SNR 값을, 소정의 시간 주기(프레임, 구간)에 걸쳐 갖는 인덱스의 수(주시 방향)을 의미한다. 그 후 다시, 이 히스토그램의 최대값은 노이즈 소스를 가리키는 음의 빔의 인덱스(조향 벡터, 주시 방향)을 또한 표시할 것이다.
어떤 개별 해법도 발견되지 않거나 어떤 B 빔도 주어진 요건을 충족시키지 못할 경우, 양의 및/또는 음의 빔에 대한 이전 인덱스(주시 방향)이 적용된다. 신호 S(n)과 유사하게, 음의 빔의 인덱스가 또한 시간 가변 신호 I(n)으로 페이딩 블록(407)에 공급된다. 다시, 페이딩 블록(407)은 식별된 음의 빔의 최종 출력 신호가 양의 빔 신호와 유사하게 음향 부작용으로 시달리지 않음을 보장한다. 예를 들어, 최대 및 최소값의 히스토그램이 기결정 지속시간 동안 컴파일될 수 있다. 히스토그램의 최소 및 최대값은 적어도 2개의 상이한 출력 신호를 나타낸다. 즉, 적어도 하나의 신호는 신호 S(n)에 의해 표시되는 요망 음원을 향해 지향되고, 적어도 하나의 신호는 신호 I(n)에 의해 표시되는 간섭 소스를 향해 지향된다.
제어기 블록(406)의 낮은 및 높은 SNR 값들의 인덱스가 시간에 따라 변화할 경우, 페이딩 블록(407)에서 페이딩 프로세스가 개시되어, 음향 부작용 생성없이 일 출력 신호로부터 다른 출력 신호로 매끄러운 전이가 가능해진다. BS 블록(105)의 출력은 시간에 따라 선택된 양의 및 음의 빔을 나타내며, 이 경우 양의 빔은 최고 SNR을 가진 빔을 표시하고, 음의 빔은 최저 SNR을 가진 빔을 표시한다.
BS 블록(105)의 출력은 적응성 차단 필터(ABF) 블록(106)에 의해 기준 신호로 사용되는 양의 빔 신호 b(n)인 높은 SNR을 가진 신호와, ABF 블록(106)에 의해 요망 노이즈 신호(추가 입력 신호)로 사용되는 음의 빔 bn(n)인 낮은 SNR을 가진 신호를 제공한다. ABF 필터 블록(106)은 오차 신호 e(n)를 제공하도록 (음의 빔에 대응하는) 요망 노이즈 신호 bn(n)으로부터 (양의 빔에 대응하는) 기준 신호 b(n)에 의해 표시되는 관심 신호를 적응성으로 빼도록 LMS 알고리즘에 따라 제어되는 필터를 이용할 수 있다. 양의 빔 신호 b(n)에 또한 포함된 순수 노이즈 신호인 경우가 이상적인, ABF 블록(106)으로부터 얻은 오차 신호 e(n)은 적응성 간섭 소거기(AIC) 블록(107)에 전달되어, 오차 신호에, 즉, 양의 빔 신호 b(n)에, 상관된 양의 빔 신호 b(n)에 포함된 신호 성분을 적응성으로 제거하게 된다.
AIC 블록(107)은 적응성 필터링을 이용하는 간섭 신호를 컴퓨팅한다. 이 적응성 필터의 출력은 (가령, 지연 요소(108)를 통해) 선택적으로 지연된 기준 신호 b(n)으로부터 (감산기(109)를 통해) 빼져서, 기준 신호 b(n) 내 나머지 간섭 및 노이즈 성분을 제거할 수 있다. 마지막으로, 적응성 포스트 필터(110)는 (개별 자동상관을 가지지 않은) 통계적 노이즈 성분의 감소를 위해 감산기(109)의 출력에 연결될 수 있다. 블록(106)에서처럼, AIC 블록(107)의 필터 계수는 적응성 LMS 알고리즘을 이용하여 업데이트될 수 있다. ABF 블록(106) 및/또는 AIC 블록(107) 내 필터 계수들의 놈(norm)은 이들이 과도하게 커지는 것을 막도록 제약될 수 있다.
도 5는 기준 신호, 즉, 양의 빔 신호 b(n)으로부터 노이즈를 제거하기 위한 예시적 적응성 빔포머를 도시한다. 따라서, 도 5에 z(n)으로 도시되는, 기준 신호 b(n)에 포함된 노이즈 성분들이 적응성 제어기(501)에 의해 추정되어, (지연 요소(108)를 통해) 선택적으로 지연된 요망 노이즈 신호 b(n-γ)로부터 감산기(109)에 의해 빼져서, 기준 신호 b(n)에 포함된 불요 노이즈를 전달 함수 a(n)를 가진 제어가능 필터(502)를 통해, 소정 수준까지 감소시킬 수 있다. 적응성 필터 제어기(501)에 대한 기준 신호로서, 스피치와 같은 노이즈 및 유용하지 않은 신호만을 이상적인 경우 포함하는 음의 빔 신호 bn(n)이 사용된다. 정규화된 최소 평균 제곱(NLMS) 알고리즘 또는 다른 적절한 적응성 알고리즘을 이용하여, 기준 신호 b(n)에 여전히 포함된 노이즈를 감소시키기 위해, 선택적으로 지연된 기준 신호 b(n-γ)로부터 빼지는 음의 빔 신호 bn(n)에 해당하는 요망 신호 내 노이즈를 추정할 수 있다. 요망 노이즈 신호 bn(n)은 적응성 필터 제어기(501)에 대한 노이즈 기준 신호로 사용되어, 기준 신호 b(n) 내 잔류 노이즈를 제거할 수 있다. 이는 기준 신호 b(n)의 SNR을 또한 증가시킬 것이다.
적응성 필터 제어기(501) 및 제어가능 필터(502)는 임의의 주파수 및 임의의 시점에서 적응성 차단 필터의 전달 함수 a(n)의 크기와 같은 크기 주파수 응답이 기결정된 값을 넘지 않도록, 본 예에서와 같이, 제약 상수 C를 이용할 수 있는 예시 적응성 차단 필터를 구성한다. 예를 들어, 제약 상수 C는 적응성 차단 필터의 필터 계수를 시간 도메인에서 +/-1과 같은 기결정된 값으로 제한할 수 있다. 대안으로서, 제약은 다음의 수식에 따라 주파수 도메인에서 구현될 수 있다.
여기서 U는 제약을 적용할 주파수를 나타내는 파라미터이고, V는 주파수 U에서 진폭을 나타내는 파라미터이며, A는 주파수 도메인에서 적응성 차단 필터의 전달 함수이고, MaxALim은 전달 함수의 기결정된 최대값이다.
도 6을 참조하면, 도 1에 도시되는 시스템에서 또는 다른 적절한 시스템에서 빔조향 블록(105)에 적용가능한 다른 예시적 빔조향 블록에서, 빔 신호 b1(n) ... bB(n)은 시간-주파수 변환 블록(601)을 통해 시간 도메인으로부터 주파수(즉, 공간) 도메인으로 변환될 수 있다. 따라서, 도 6에 도시된 빔조향 블록은 주파수 (공간) 도메인에서 동작한다. 빔 신호 b1(n) ... bB(n)의 스펙트럼 성분은 대역 통과 필터링 및 퓨리에 변환을 포함한, 다양한 방식으로 획득될 수 있다. 예를 들어, 이산 퓨리에 변환(DFT) 또는 고속 퓨리에 변환(FFT)을 이용하여 입력 신호의 NRECORD 획득점의 순차적 블록을 변환할 수 있다. Hanning 윈도와 같은 구간 함수 및 가령, NRECORD/2 지점들의 오버랩이 적용될 수 있다. DET는 입력 신호 내 각각의 주파수 빈에서 사용될 수 있다. 대안으로서, FFT는 입력 신호에 의해 점유되는 전체 주파수 대역에 걸쳐 사용될 수 있다. 스펙트럼은 입력 신호 대역 내 각각의 주파수 빈에 대해 레코딩된다.
스펙트럼 그래프의 주파수 축 상의 주파수 범위 및 해상도는 (획득점의 NRECORD) 수인) 데이터 레코드의 크기 및 샘플링 레이트 fSAMPLE에 좌우된다. (파워) 스펙트럼 내 주파수 지점 또는 라인 또는 대역의 수는 NRECORD/2이며, NRECORD는 시간 도메인에서 캡처된 신호점들의 수다. 파워 스펙트럼 내 제 1 주파수 라인은 제로 주파수(DC)를 나타낸다. 최종 주파수 라인은 fSAMPLE/2에서 찾을 수 있다. 주파수 선들은 fSAMPLE/NRECORD의 균일한 간격으로 이격된다. 이들은 흔히 주파수 빈 또는 FFT 빈으로 지칭된다.
도 6에 도시된 예에서, 시간-주파수 변환 블록(601)는 주파수 도메인에서 빔 신호 B1(ω) ... BB(ω)를 생성하기 위해 시간 윈도 빔 신호 b1(n) ... bB(n)에 선택적 윈도우잉(도시되지 않음)을 이용하여 FFT를 적용한다. 각각의 빔 신호 B1(ω) ... BB(ω)는 적절한 길이의 이동 평균 필터를 이용하여 그리고 윈도 함수를 적용하여, 스펙트럼 평활화 블록(602)에 의해 선택적으로 평활화된다. 예를 들어, 윈도 함수, Hanning 윈도, 또는 다른 적절한 윈도 함수가 사용될 수 있다.
각각의 빔 신호 B1(ω) ... BB(ω)의 (선택적인) 스펙트럼 평활화는 전체 스펙트럼 해상도를 저하시킬 수 있는 주파수 빈들의 수로 나타날 수 있다. 이러한 효과를 감소시키기 위해, 스펙트럼 평활화된 각각의 신호, 즉, 스펙트럼 평활화 블록(602)의 각각의 출력 신호는, 각각의 빔 신호 B1(ω) ... BB(ω)의 모든 빈에 대해 시간 평활화 블록(603)을 통해 더 매끄러워질 수 있다. 시간 평활화 블록(603)을 이용하여, 스펙트럼 평활화 신호에서 스피치와 같은 임펄스 왜곡을 스미어링할 수 있고, 스펙트럼 평활화 블록(602)의 각각의 출력 신호에 대해 시간에 걸쳐 주파수 빈들을 조항하여, 이 신호들의 시간 동역학을 감소시킬 수 있다.
시간 평활화 블록(603)은 여전히 임펄스 왜곡 및 백그라운드 노이즈를 지닐 수 있는 (여기서 평활화된 신호로 지칭되는) 하나 이상의 추가적으로 시간 평활화된 신호들을, 스펙트럼 평활화 블록(602)의 출력 신호 각각에 대해 출력한다. 시간 평활화 블록(603)의 출력에 연결되는 노이즈 추정 블록(604)을 이용하여, 나머지 임펄스 왜곡을 스미어링할 수 있고, 스펙트럼 평활화 블록(602)의 각각의 출력 신호(스펙트럼 평활화된 신호)로부터 도출된 시간 평활화 블록(603)의 각각의 출력 신호(평활화된 신호)에서 현재의 백그라운드 노이즈를 추정할 수 있다. 음악 또는 음성 신호와 같은 요망 신호의 스미어링을 감소 또는 배제하기 위해, 비선형 평활화(도시되지 않음)가 노이즈 추정 블록(604)에서 이용될 수 있다.
시간 평활화 블록(603)으로부터 평활화된 신호와, 노이즈 추정 블록(604)으로부터 추정된 준-고정 백그라운드 노이즈 신호에 기초하여, SNR의 변화가 연산될 수 있다(가령, 주파수에 대한 SNR 값의 분포 형태). SNR 연산 블록(605)에서, 시간 평활화 블록(603)으로부터 대응하는 출력 신호와 연계하여 노이즈 추정 블록(604)의 각각의 출력 신호에 대해, SNR 값이 컴퓨팅된다. SNR의 변화로 인해, 노이즈 소스가 요망 스피치 또는 음악 신호로부터 구분될 수 있다. 낮은 SNR 값은, 예를 들어, 에어콘, 선풍기, 열린 창, 또는 전기 장치, 가령, 컴퓨터, 등과 같은 다양한 노이즈 소스를 나타낼 수 있다. SNR은 시간 도메인에서 또는 주파수 도메인에서 또는 서브대역 도메인에서 평가될 수 있다.
비교기 블록(606)에서, SNR 연산 블록(605)에 의해 제공되는 각각의 SNR 값 SNR1(n) ... SNRB(n)의 각각의 스펙트럼 선은 기결정된 상호(또는 개별) 임계치 SNRTH에 비교된다. 각자의 현재 SNR 값 SNR1(n) ... SNRB(n)이 기결정된 임계치 SNRTH 보다 크면, 요망 스피치 신호를 표시할 수 있는 플래그 SnrFlag가 가령, "1"의, 제 1 로직 값으로 설정될 것이다. 각자의 현재 SNR 값 SNR1(n) ... SNRB(n)이 기결정된(대안으로서, 제어가능한 및/또는 스펙트럼 의존적인) 임계값 SNRTH보다 작을 경우, 플래그 SnrFlag는 에어콘, 선풍기, 열린 창, 또는 전기 장치, 가령, 컴퓨터로부터의 노이즈와 같은, 불요 신호를 표시하기 위해, 가령, '0'의, 제 2 로직 값으로 스펙트럼 선마다 설정될 것이다.
블록(606)으로부터 플래그 SnrFlag는 최소 최대 블록(607)에 전달된다. 최소 최대 블록(607)은 각각의 빔 신호 B1(ω) ... BB(ω)에 대해, 각자의 빔 신호 B1(ω) ... BB(ω)에 관련된 모든 플래그 SnrFlag 및 대응하는 SNR 값으로부터, 대응하는 최소 SNR 값 Min1(k) ... MinB(k) 및 최대 SNR 값 Max1(k) ... MaxB(k)를 결정하며, 이 경우 k는 이산 시간을 나타낸다. 최소 최대 블록(607)은 최소 SNR 값 Min1(k) ... MinB(k)에 대응하는 빔 인덱스 1 ... B와, 최대 SNR 값 Max1(k) ... MaxB(k)에 대응하는 빔 인덱스 1 ... B를 더 카운팅하며, 카운팅이 가능하지 않을 경우, 이전 분포의 빔 인덱스를 이용한다. 이를 위해, 최대 및 최소 SNR 값의 히스토그램이 기결정된 시간 주기에 대해 컴파일될 수 있다. 히스토그램 내 최소 및 최대 SNR 값들은 적어도 2개의 상이한 출력 신호를 나타낸다. 적어도 하나의 신호가 시간 변형 조향 벡터 S(n)에 의해 표시되는 요망 소스를 향해 지향되고, 적어도 하나의 신호가 시간 변형 조향 벡터 I(n)에 의해 표시되는 간섭 소스를 향해 지향된다.
페이더(fader) 블록(608)은 조향 벡터 S(n) 및 I(n) 및 신호 b1(n) ... bn(n)을 수신하고, 기준 신호, 즉, 양의 빔 신호 b(n) 및 요망 신호, 즉, 음의 빔 신호 bn(n)을 제공한다. 최소 최대 블록(607)의 낮은 및 높은 SNR 값들의 인덱스가 시간에 따라 변화할 경우, 페이더 블록(608)에서 페이딩 프로세스가 개시되어, 음향적 부작용 생성없이, 출력 신호들 간에 매끄러운 변화를 가능하게 한다. 최소 최대 블록(607)의 출력 신호, 기준 신호 b(n) 및 요망 신호 bn(n)은 이산 시간 n에 대한 양의 빔 신호 b(n) 및 음의 빔 신호 bn(n)이다.
도 4 및 도 6을 다시 살펴보면, 음의 빔은 대안으로서, 양의 빔에 대해 소정의 각도로 놓이도록 방향을 설정함으로써 구축될 수 있다. 예를 들어, 양의 빔의 주시 방향이 결정되었을 때, 음의 빔의 주시 방향이 180도(즉, 양의 빔의 주시 방향의 반대) 또는 임의의 다른 각도로 설정될 수 있다.
실시예들의 설명은 예시 및 설명 용도로 제시되었다. 실시예에 대한 적절한 변형 및 변화가 위 설명에 비추어 수행될 수 있고, 또는, 이러한 방법들의 실현으로부터 획득될 수 있다. 예를 들어, 달리 명시하지 않을 경우, 기술된 방법들 중 하나 이상을 적절한 장치 및/또는 장치들의 조합에 의해 수행할 수 있다. 기술된 방법 및 관련 작용들은 본 명세서에서 기술된 순서에 추가하여, 병렬로, 및/또는 동시에, 다양한 순서로 수행될 수도 있다. 기술된 시스템은 예시적인 속성을 가지며, 추가 요소들을 포함할 수 있고, 및/또는 요소들을 생략할 수도 있다.
본 명세서에 사용되듯이, 단수로 언급되고 "일" 또는 "하나의"로 시작되는 요소 또는 단계는 달리 명시하지 않을 경우 복수의 요소 또는 단계들을 배제하는 것으로 해석되어서는 안된다. 더욱이, 본 개시 중 "일 실시예" 또는 "하나의 예"에 대한 참조는 언급된 특징들을 또한 포함하는 추가 실시예들의 존재를 배제하는 것으로 해석되어서도 안된다. "제 1", "제 2", 및 "제 3", 등의 용어는 단지 라벨로 사용되며, 대상에 대한 수치적 요건이나 특정 위치 순서를 부여하는 것이 아니다.
본 개시의 실시예는 통상적으로 복수의 회로, 전기 장치, 및/또는 적어도 하나의 제어기를 제공한다. 이러한 회로, 적어도 하나의 제어기, 및 기타 전기 장치들 및 각각에 의해 제공되는 기능에 대한 모든 참조는, 여기서 예시 및 기술되는 것들만을 포함하는 것으로 제한되어서는 안된다. 특정 라벨이 개시되는 다양한 회로, 제어기, 및 기타 전기 장치들에 할당될 수 있으나, 이러한 라벨은 다양한 회로, 제어기, 및 기타 전기 장치들에 대한 동작 범위를 제한하고자 하는 것이 아니다. 이러한 회로, 제어기, 및 기타 전기 장치들은 요망되는 전기적 구현예의 특정 유형에 기초하여 임의의 방식으로 서로 조합되거나 및/또는 분리될 수 있다.
여기서 개시된 임의의 컴퓨터, 프로세서, 및 제어기는 여기서 개시되는 동작들의 수행을 위해 서로 상호작용하는 임의의 개수의 마이크로프로세서, 집적 회로, 메모리 장치(가령, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적 프로그램가능 판독 전용 메모리(EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(EEPROM), 또는 다른 적절한 변형들) 및 소프트웨어를 포함할 수 있다. 추가적으로, 개시되는 임의의 제어기는 개시되는 임의의 개수의 기능들을 수행하도록 프로그래밍된 비일시적 컴퓨터 판독가능 매체에 포함된 컴퓨터 프로그램을 실행하기 위해 임의의 하나 이상의 마이크로프로세서를 이용한다. 더욱이, 여기서 제공되는 임의의 제어기는 하우징과, 하우징 내에 위치하는 다양한 개수의 마이크로프로세서, 집적 회로, 및 메모리 장치(가령, 플래시, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적 프로그램가능 판독 전용 메모리(EPROM), 전기적 소거가능 프로그램가능 판독 전용 메모리(EEPROM))를 포함한다. 개시되는 컴퓨터, 프로세서, 및 제어기는 여기서 논의되는 다른 하드웨어 기반 장치 내외로 데이터를 각각 수신 및 송신하기 위한 하드웨어 기반 입력 및 출력을 또한 포함한다.
발명의 다양한 실시예들이 기술되었으나, 더 많은 실시예 및 구현예들이 발명의 범위 내에서 가능함을 당 업자들이 알 것이다. 특히, 당 업자는 상이한 실시예들로부터 다양한 특징들의 상호호환성을 인식할 것이다. 이 기술 및 시스템들이 소정의 실시예 및 사례의 범주에서 개시되었으나, 이러한 기술 및 시스템들은 명시적으로 개시된 실시예를 넘어 다른 실시예 및/또는 용도 및 그의 명백한 변형들까지로 확장될 수 있다.
Claims (15)
- 출력 신호를 제공하기 위해 적어도 2개의 입력 신호를 처리하도록 구성된 적응성 빔포밍 시스템으로서,
상기 적어도 2개의 입력 신호 중 제 1 입력 신호는 주 성분으로 요망 신호(desired signal)를 포함하고, 상기 적어도 2개의 입력 신호 중 제 2 입력 신호는 주 성분으로 불요 신호(undesired signal)를 포함하며, 상기 시스템은,
상기 제 1 입력 신호에 포함된 불요 신호 성분들의 추정치를 나타내는 추정 불요 신호를 제공하기 위해 출력 신호와 제 1 입력 신호 중 적어도 하나와 제 2 입력 신호를 적응성으로 처리하도록 구성된 오차 추출 블록과,
출력 신호를 제공하도록 추정 불요 신호 및 제 1 입력 신호 간의 차이를 취하도록 구성된 감산기와,
하나 이상의 빔 신호를 제공하기 위해 2개 이상의 마이크로폰 신호를 처리하도록 구성된 빔포밍 블록과,
하나 이상의 빔 신호를 처리하도록 구성된 빔 조향 블록을 포함하되,
상기 하나 이상의 빔 신호 처리는 하나 이상의 빔 신호로부터 불요 신호 및 요망 신호를 검출하는 과정을 포함하고, 상기 요망 신호는 요망 음원을 향하는 음파들의 빔을 나타내고, 상기 불요 신호는 노이즈 소스를 향하는 음파들의 빔을 나타내는, 시스템. - 제 1 항에 있어서,
상기 오차 추출 블록은 크기 전달 함수를 이용하고, 상기 크기 전달 함수를 기결정된 최대 크기로 제한하도록 구성되는 제약부(constraint)를 포함하는, 시스템. - 제 1 항에 있어서,
추정 불요 신호와의 차이를 결정하기 전에 제 1 입력 신호를 시간 지연시키도록 구성되는 지연 블록을 더 포함하는, 시스템. - 제 1 항에 있어서,
상기 오차 추출 블록은 적응성 차단 필터 및 적응성 간섭 소거기 블록 중 적어도 하나를 포함하고, 상기 적응성 차단 필터는 제 2 입력 신호에 포함된 요망 신호 성분을 차단하도록 구성되고, 상기 적응성 간섭 소거기 블록은 제 2 입력 신호로부터 요망 신호 성분을 제거하도록 구성되는, 시스템. - 삭제
- 제 1 항에 있어서,
상기 하나 이상의 빔 신호 처리는 하나 이상의 제 2 입력 신호들의 신호-잡음비를 평가하는 과정과, 하나 이상의 제 2 입력 신호로부터 최고 신호-잡음비를 가진 것을 요망 신호로 그리고 최저 신호-잡음비를 가진 것을 불요 신호로 검출하는 과정을 포함하는, 시스템. - 제 1 항에 있어서,
상기 빔포밍 블록은 고정 빔포머이거나 또는 고정 빔포머를 포함하는, 시스템. - 출력 신호를 제공하기 위해 적어도 2개의 입력 신호를 처리하도록 구성된 적응성 빔포밍 방법으로서,
상기 적어도 2개의 입력 신호 중 제 1 입력 신호는 주 성분으로 요망 신호를 포함하고, 상기 적어도 2개의 입력 신호 중 제 2 입력 신호는 주 성분으로 불요 신호를 포함하며, 상기 방법은,
상기 제 1 입력 신호에 포함된 불요 신호 성분들의 추정치를 나타내는 추정 불요 신호를 제공하기 위해 출력 신호와 제 1 입력 신호 중 적어도 하나와 제 2 입력 신호를 적응성 오차 처리하는 단계와,
출력 신호를 제공하도록 추정 불요 신호 및 제 1 입력 신호 간의 차이를 취하는 단계와,
하나 이상의 빔 신호를 제공하도록 2개 이상의 마이크로폰 신호를 빔포밍 처리하는 단계와,
하나 이상의 빔 신호를 빔 조향 처리하는 단계를 포함하며,
하나 이상의 빔 신호의 빔 조향 처리는 하나 이상의 빔 신호로부터 요망 신호 및 불요 신호를 검출하는 과정을 포함하고, 상기 요망 신호는 요망 음원을 향하는 음파의 빔을 나타내고, 상기 불요 신호는 노이즈 소스를 향하는 음파의 빔을 나타내는, 방법. - 제 8 항에 있어서,
적응성 오차 처리는 크기 전달 함수를 이용하며, 크기 전달 함수를 기결정된 최대 크기로 제한하도록 구성된 제약부를 포함하는, 방법. - 제 8 항에 있어서,
추정 불요 신호와의 차이를 결정하기 전에 제 1 입력 신호를 시간 지연시키는 단계를 더 포함하는, 방법. - 제 8 항에 있어서,
적응성 오차 처리는 적응성 차단 필터링 및 적응성 간섭 소거 중 적어도 하나를 포함하고, 상기 적응성 차단 필터링은 제 2 입력 신호에 포함된 요망 신호 성분을 차단하도록 구성되고, 상기 적응성 간섭 소거는 상기 제 2 입력 신호로부터 요망 신호 성분을 제거하도록 구성되는, 방법. - 삭제
- 제 8 항에 있어서,
상기 하나 이상의 빔 신호의 빔 조향 처리는 하나 이상의 빔 신호의 신호-잡음비를 평가하는 단계와, 하나 이상의 제 2 입력 신호로부터 최고 신호-잡음비를 가진 것을 요망 신호로, 그리고 최저 신호-잡음비를 가진 것을 불요 신호로 검출하는 단계를 포함하는, 방법. - 제 8 항에 있어서,
하나 이상의 빔 신호를 제공하는 상기 빔포밍 처리 단계는 고정 빔포밍을 포함하는, 방법. - 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 제 8 항 내지 제 11 항 중 어느 한 항에 따른 방법을 실행하게 하는 명령어를 포함하는 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16199773 | 2016-11-21 | ||
| EP16199773.9 | 2016-11-21 | ||
| PCT/EP2017/079576 WO2018091648A1 (en) | 2016-11-21 | 2017-11-17 | Adaptive beamforming |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190085927A KR20190085927A (ko) | 2019-07-19 |
| KR102410447B1 true KR102410447B1 (ko) | 2022-06-17 |
Family
ID=57396276
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197013707A KR20190085924A (ko) | 2016-11-21 | 2017-11-17 | 빔 조향 |
| KR1020197013750A KR102410447B1 (ko) | 2016-11-21 | 2017-11-17 | 적응성 빔포밍 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197013707A KR20190085924A (ko) | 2016-11-21 | 2017-11-17 | 빔 조향 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20190273988A1 (ko) |
| EP (2) | EP3542548A1 (ko) |
| KR (2) | KR20190085924A (ko) |
| WO (2) | WO2018091648A1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
| US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
| US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
| WO2019231632A1 (en) | 2018-06-01 | 2019-12-05 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
| US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
| CN112292870A (zh) * | 2018-08-14 | 2021-01-29 | 阿里巴巴集团控股有限公司 | 音频信号处理装置及方法 |
| EP3854108A1 (en) | 2018-09-20 | 2021-07-28 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
| US10811032B2 (en) * | 2018-12-19 | 2020-10-20 | Cirrus Logic, Inc. | Data aided method for robust direction of arrival (DOA) estimation in the presence of spatially-coherent noise interferers |
| CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
| JP2022526761A (ja) | 2019-03-21 | 2022-05-26 | シュアー アクイジッション ホールディングス インコーポレイテッド | 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置 |
| US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
| CN114051738A (zh) | 2019-05-23 | 2022-02-15 | 舒尔获得控股公司 | 可操纵扬声器阵列、系统及其方法 |
| EP3977449A1 (en) | 2019-05-31 | 2022-04-06 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
| JP2022545113A (ja) | 2019-08-23 | 2022-10-25 | シュアー アクイジッション ホールディングス インコーポレイテッド | 指向性が改善された一次元アレイマイクロホン |
| US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
| WO2021243368A2 (en) | 2020-05-29 | 2021-12-02 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
| WO2022165007A1 (en) | 2021-01-28 | 2022-08-04 | Shure Acquisition Holdings, Inc. | Hybrid audio beamforming system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050141731A1 (en) * | 2003-12-24 | 2005-06-30 | Nokia Corporation | Method for efficient beamforming using a complementary noise separation filter |
| US20110274291A1 (en) * | 2007-03-22 | 2011-11-10 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
| US20120027218A1 (en) * | 2010-04-29 | 2012-02-02 | Mark Every | Multi-Microphone Robust Noise Suppression |
| US20140037100A1 (en) * | 2012-08-03 | 2014-02-06 | Qsound Labs, Inc. | Multi-microphone noise reduction using enhanced reference noise signal |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8929564B2 (en) * | 2011-03-03 | 2015-01-06 | Microsoft Corporation | Noise adaptive beamforming for microphone arrays |
| US9589580B2 (en) | 2011-03-14 | 2017-03-07 | Cochlear Limited | Sound processing based on a confidence measure |
| US8798184B2 (en) | 2012-04-26 | 2014-08-05 | Qualcomm Incorporated | Transmit beamforming with singular value decomposition and pre-minimum mean square error |
| WO2014154325A1 (en) | 2013-03-28 | 2014-10-02 | Sony Corporation | Communication device and method providing beamforming for two or more transmission channels |
| US9646629B2 (en) * | 2014-05-04 | 2017-05-09 | Yang Gao | Simplified beamformer and noise canceller for speech enhancement |
| US10026399B2 (en) * | 2015-09-11 | 2018-07-17 | Amazon Technologies, Inc. | Arbitration between voice-enabled devices |
| EP3440848B1 (en) | 2016-04-07 | 2020-10-14 | Sonova AG | Hearing assistance system |
| US10482899B2 (en) * | 2016-08-01 | 2019-11-19 | Apple Inc. | Coordination of beamformers for noise estimation and noise suppression |
-
2017
- 2017-11-17 US US16/462,362 patent/US20190273988A1/en not_active Abandoned
- 2017-11-17 KR KR1020197013707A patent/KR20190085924A/ko not_active Application Discontinuation
- 2017-11-17 WO PCT/EP2017/079576 patent/WO2018091648A1/en active Application Filing
- 2017-11-17 EP EP17804144.8A patent/EP3542548A1/en not_active Withdrawn
- 2017-11-17 WO PCT/EP2017/079578 patent/WO2018091650A1/en active Application Filing
- 2017-11-17 US US16/462,348 patent/US10827263B2/en active Active
- 2017-11-17 KR KR1020197013750A patent/KR102410447B1/ko active IP Right Grant
- 2017-11-17 EP EP17800532.8A patent/EP3542547B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050141731A1 (en) * | 2003-12-24 | 2005-06-30 | Nokia Corporation | Method for efficient beamforming using a complementary noise separation filter |
| US20110274291A1 (en) * | 2007-03-22 | 2011-11-10 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
| US20120027218A1 (en) * | 2010-04-29 | 2012-02-02 | Mark Every | Multi-Microphone Robust Noise Suppression |
| US20140037100A1 (en) * | 2012-08-03 | 2014-02-06 | Qsound Labs, Inc. | Multi-microphone noise reduction using enhanced reference noise signal |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190273988A1 (en) | 2019-09-05 |
| KR20190085924A (ko) | 2019-07-19 |
| EP3542547A1 (en) | 2019-09-25 |
| EP3542547B1 (en) | 2020-07-15 |
| US20190320261A1 (en) | 2019-10-17 |
| KR20190085927A (ko) | 2019-07-19 |
| EP3542548A1 (en) | 2019-09-25 |
| WO2018091650A1 (en) | 2018-05-24 |
| WO2018091648A1 (en) | 2018-05-24 |
| US10827263B2 (en) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102410447B1 (ko) | 적응성 빔포밍 | |
| CN110169041B (zh) | 一种声回波消除的方法和系统 | |
| JP6534180B2 (ja) | 適応ビーム形成のための事前白色化を用いる適応ブロック行列 | |
| US8705759B2 (en) | Method for determining a signal component for reducing noise in an input signal | |
| EP2238592B1 (en) | Method for reducing noise in an input signal of a hearing device as well as a hearing device | |
| JP4689269B2 (ja) | 静的スペクトルパワー依存型音響強調システム | |
| JP2003534570A (ja) | 適応ビームフォーマーにおいてノイズを抑制する方法 | |
| KR20090056598A (ko) | 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치 | |
| US20130322655A1 (en) | Method and device for microphone selection | |
| US20120148056A1 (en) | Method to reduce artifacts in algorithms with fast-varying gain | |
| US20180308503A1 (en) | Real-time single-channel speech enhancement in noisy and time-varying environments | |
| KR102517939B1 (ko) | 원거리 장 사운드 캡처링 | |
| US20190035414A1 (en) | Adaptive post filtering | |
| CN109326297B (zh) | 自适应后滤波 | |
| JP2005514668A (ja) | スペクトル出力比依存のプロセッサを有する音声向上システム | |
| US10692514B2 (en) | Single channel noise reduction | |
| Yee et al. | A speech enhancement system using binaural hearing aids and an external microphone | |
| CN112669869A (zh) | 噪声抑制方法、设备、装置及存储介质 | |
| KR20230150182A (ko) | 에코 제거 방법、 장치 및 전자 장비 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |