본 발명의 목적은, 적응적 간섭 제거기의 적응 성능을 위해 노이즈 기준을 생성하도록 상보적 노이즈 분리 필터링을 이용하는 일반화된 사이드로브 제거의효율적 빔포밍 방법을 제공하는 것이다.
본 발명의 제1양태에 따르면, 노이즈 기준을 만들기 위해 상보적 노이즈 분리 필터링을 이용하는 일반화된 사이드로브(sidelobe) 제거의 효율적 빔포밍 방법은: M 이 최소한 2의 값을 가진 유한 정수일 때, M 개의 마이크들로 된 마이크 어레이에 의해 음향 신호를 수신하여 M 개의 대응되는 마이크 신호들을 생성하는 단계; T가 최소한 1의 값을 가진 유한 정수이고 T 개의 전치 필터들과 타겟 포스트-필터가 빔포머의 구성요소일 때, 상기 M 개의 마이크 신호들이나 M 개의 디지털 마이크 신호들에 반응하여 T+1 개의 전치 필터들에 의해 T+1 개의 중간 신호들 및 기준 입력 신호 또는 예비 기준 입력 신호를 생성하여, 그 T+1 개의 중간 신호들을 타겟 포스트-필터로, 그리고 기준 입력 신호를 상보적 노이즈 분리 필터의 상보적 결합기로 보내는 단계; 타겟 포스트-필터에 의해 타겟 신호를 생성하여 상기 타겟 신호를 상기 상보적 결합기와 적응적 간섭 제거기의 결합기로 제공하는 단계; 및 상보적 결합기를 이용하여 상기 기준 입력 신호에서 타겟 신호를 감산하여 노이즈 기준 신호를 생성하고, 상기 노이즈 기준 신호 또는 등화된(equalized) 노이즈 기준 신호를 적응적 간섭 제거기의 적응 필터 블록으로 제공하여 타겟 신호에서의 적 응적 노이즈 제거를 수행하도록 하는 단계를 포함한다.
본 발명의 제1양태에 따르면, 상기 노이즈 기준 신호를 생성하는 단계는, 등화 필터 블록에 의해 상기 노이즈 기준 신호를 등화하여 등화된 노이즈 기준 신호를 생성하고, 그에 따라 상기 등화된 노이즈 기준 신호를 적응 필터 블록으로 제공하는 단계를 포함할 수 있다.
본 발명의 제1양태에 따르면, T+1 개의 중간 신호들을 생성하는 단계에 앞서, 상기 방법은, 마이크 어레이의 M 개의 마이크 신호들을 A/D 컨버터를 이용하여 M 개의 디지털 마이크 신호들로 변환하고 상기 M 개의 디지털 마이크 신호를 빔포머들로 제공하는 단계를 더 포함할 수 있다. 또, 상기 T+1 개의 중간 신호들을 생성하는 단계는 상기 T+1 개의 중간 신호들을 화자 추적 블록으로 제공하는 단계 역시 포함할 수 있다. 또, 상기 T+1 개의 중간 신호들을 생성하는 단계 다음에, 상기 방법은 화자 추적 블록에 의해 도달 방향 신호를 생성하고, 상기 도달 방향 신호를 빔포머의 빔 모양 제어 블록으로 제공하는 단계; 및 빔 모양 제어 블록에 의해 제어 신호를 생성하여 타겟 포스트-필터로 상기 제어 신호를 제공하는 단계를 더 포함할 수 있다.
본 발명의 제1양태에 따르면, 상기 타겟 신호를 생성하는 단계에 앞서, 상기 방법은, 외부 제어 신호 생성기에 의해 외부의 도달 방향 신호을 생성하는 단계 및 상기 도달 방향 신호을 빔 모양 제어 블록으로 제공하는 단계를 더 포함할 수 있다.
본 발명의 제1양태에 따르면, 상기 방법은, 상기 노이즈 제거 적응 신호를 결합기로 제공하는 단계; 및 결합기를 이용하여 타겟 신호로부터 노이즈 제거 적응 신호를 감산하여 출력 타겟 신호를 생성하는 단계를 더 포함할 수 있다. 또, 출력 타겟 신호는 적응 필터 블록으로 제공되어, 적응 프로세스가 계속되게 하여 출력 타겟 신호의 추가 값을 생성하도록 할 수 있다.
본 발명의 제1양태에 따르면, 상기 빔포머는 다항(polynomial) 빔포머일 수 있다.
본 발명의 제1양태에 따르면, 상기 T+1 개의 중간 신호들을 생성하는 단계 후에, 상기 방법은 빔포머의 빔 모양 제어 블록에 의해 제어 신호를 생성하는 단계 및 상기 제어 신호를 타겟 포스트-필터로 제공하는 단계를 더 포함할 수 있다.
본 발명의 제1양태에 따르면, 상기 기준 입력 신호는 기준 입력 생성 필터에 의해 상기 예비 기준 입력 신호에 반응하여 생성될 수 있다.
본 발명의 제1양태에 따르면, 상기 일반화된 사이드로브 제거는 주파수 도메인이나 시간 도메인, 또는 주파수 및 시간 도메인 둘 모두에서 수행될 수 있다.
본 발명의 제2양태에 따르면, 일반화된 사이드로브 제거 시스템은: M 이 최소한 2의 값을 가진 유한 정수일 때, M 개의 마이크들을 포함하여, 음향 신호에 응답해 M 개의 마이크 신호들을 제공하는 마이크 어레이; T가 최소한 1의 값을 가진 유한 정수일 때, 상기 M 개의 마이크 신호들이나 M 개의 디지털 마이크 신호들에 반응하여 T+1 개의 중간 신호들을 제공하고, 기준 입력 신호를 제공하고, 타겟 신호를 제공하고, 선택사항으로서 상보적 기준 입력 신호를 제공하는 빔포머; 상기 타겟 신호 및 기준 입력 신호에 반응하여, 노이즈 기준 신호를 제공하는 상보적 노 이즈 분리 필터의 상보적 결합기; 및 타겟 신호, 노이즈 기준 신호 또는 등화된 노이즈 기준 신호 및 출력 타겟 신호에 응답하여 출력 타겟 신호를 제공하는 적응적 간섭 제거기를 포함한다.
본 발명의 제2양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은, M 개의 마이크 신호들에 응하여 M 개의 디지털 마이크 신호들을 제공하는 A/D 컨버터를 더 포함한다.
본 발명의 제2양태에 따르면, 상기 빔포머는 다항 빔포머일 수 있다.
본 발명의 제2양태에 따르면, 상기 빔포머는: 각각이 각각의 M 개의 마이크 신호들이나 각각의 M 개 디지털 마이크 신호들에 반응하여 T+1 개의 중간 신호들을 제공하는 T+1 개의 전치 필터들; T+1 개의 중간 신호들과 타겟 제어 신호에 응하여 타겟 신호를 제공하는 타겟 포스트-필터; 및 선택사항으로서 도달 방향 신호나 외부의 도달 방향 신호에 응하여 타겟 제어 신호를 제공하는 빔 모양 제어 블록을 포함한다. 또, 상기 일반화된 사이드로브 제거 시스템은 T+1 개의 중간 신호들에 대한 응답으로 도달 방향 신호를 제공하는 화자 추적 블록을 더 포함할 수 있다.
본 발명의 제2양태에 따르면, 상기 적응적 간섭 제거기는, 노이즈 기준 신호 또는 등화된 노이즈 기준 신호 및 출력 타겟 신호에 응하여 노이즈 제거 적응 신호를 제공하는 적응 필터 블록; 및 타겟 신호와 노이즈 제거 적응 신호들에 응하여 출력 타겟 신호를 제공하는 결합기를 포함한다. 또, 일반화된 사이드로브 제거 시스템은, 노이즈 기준 신호들에 응하여 등화된 노이즈 기준 신호들을 제공하는 등화 필터 블록을 더 포함할 수 있다.
본 발명의 제2양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은 상기 예비 기준 입력 신호에 응하여 기준 입력 신호를 제공하는 기준 입력 생성 필터를 더 포함할 수 있다.
본 발명의 제2양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은 주파수 도메인이나 시간 도메인, 또는 주파수 및 시간 도메인 둘 모두에서 구현될 수 있다.
본 발명의 제3양태에 따르면, 노이즈 기준을 생성하도록 상보적 노이즈 분리 필터링을 이용하는 일반화된 사이드로브 제거의 효율적 빔포밍 방법은: M 이 최소한 2의 값을 가진 유한 정수일 때, M 개의 마이크들로 된 마이크 어레이에 의해 음향 신호를 수신하여 M 개의 대응되는 마이크 신호들을 생성하는 단계; K가 최소한 1인 값을 가진 유한 정수이고 T가 최소한 1인 값을 가진 유한 정수이고, T개의 전치-필터들과 K 개의 타겟 포스트-필터가 빔포머의 구성요소들일 때, 상기 M 개의 마이크 신호들이나 M 개의 디지털 마이크 신호들에 반응하여 T+1 개의 전치 필터들에 의해 T+1 개의 중간 신호들 및 기준 입력 신호 또는 예비 기준 입력 신호를 생성하여, 그 T+1 개의 중간 신호들을 K 개의 타겟 포스트-필터들 각각으로, 그리고 기준 입력 신호나 대응되는 K 개의 개별 기준 입력 신호들 중 하나를 대응하는 K 개의 상보적 노이즈 분리 필터들 중 하나의 대응되는 K 개의 상보적 결합기들 중 하나로 제공하는 단계; K 개의 타겟 포스트-필터들에 의해 K 개의 타겟 신호들을 생성하고 상기 K 개의 타겟 신호들 각각을 대응하는 K 개의 상보적 결합기들 중 하나와, 대응되는 K 개의 적응적 간섭 제거기들 중 하나로 각자 제공하는 단계; 및 대응되는 K 개의 상보적 결합기들 중 하나를 이용하여 기준 입력 신호나 대응되는 K 개의 개별 기준 입력 신호들 중 하나로부터 타겟 신호들 각각을 각자 감산함으로써 K 개의 노이즈 기준 신호들을 생성하고, 상기 K 개의 노이즈 기준 신호들 각각이나 K 개의 등화된 노이즈 기준 신호들 각각을 대응되는 K 개의 적응적 간섭 제거기들 중 하나의 대응되는 K 개의 적응 필터 블록들 중 하나로 각자 제공하여 대응되는 K 개의 타겟 신호들 중 하나에서 적응적 노이즈 제거를 수행하도록 하는 단계를 포함한다.
본 발명의 제3양태에 따르면, 상기 K 개의 노이즈 기준 신호들을 생성하는 단계는, 대응되는 K 개의 등화 필터 블록들에 의해 상기 K 개의 노이즈 기준 신호들 각각을 등화하여 대응되는 등화된 노이즈 기준 신호들 중 하나를 생성하여, 상기 대응되는 K 개의 등화된 노이즈 기준 신호 중 하나를 대응되는 K 개의 적응 필터 블록들 중 하나로 제공하는 단계를 포함할 수 있다.
본 발명의 제3양태에 따르면, T+1 개의 중간 신호들을 생성하는 단계에 앞서, 상기 방법은, 마이크 어레이의 M 개의 마이크 신호들을 A/D 컨버터를 이용하여 M 개의 디지털 마이크 신호들로 변환하고 상기 M 개의 디지털 마이크 신호를 빔포머들로 제공하는 단계를 더 포함할 수 있다.
본 발명의 제3양태에 따르면, 상기 T+1 개의 중간 신호들을 생성하는 단계는 상기 T+1 개의 중간 신호들을 화자 추적 블록으로 제공하는 단계 역시 포함할 수 있다. 또, 상기 T+1 개의 중간 신호들을 생성하는 단계 다음에, 상기 방법은 화자 추적 블록에 의해 K 개의 도달 방향 신호들을 생성하고, 상기 K 개의 도달 방향 신 호들 각각을 빔포머의 대응되는 K 개의 빔 모양 제어 블록들 중 하나로 제공하는 단계; 및 대응되는 K 개의 빔 모양 제어 블록들 중 하나에 의해 K 개의 제어 신호들 중 하나를 생성하여 상기 K 개의 제어 신호들 각각을 대응하는 K 개의 타겟 포스트-필터들 중 하나로 제공하는 단계를 더 포함할 수 있다.
본 발명의 제3양태에 따르면, 상기 방법은: 대응되는 K 개의 적응 필터 블록들 중 하나에 의해 K 개의 노이즈 제거 적응 신호들 중 하나를 생성하여, 상기 K 개의 노이즈 제거 적응 신호들 각각을 대응되는 K 개의 결합기들 중 하나로 제공하는 단계; 및 대응되는 K 개의 결합기들 중 하나를 이용해 대응되는 타겟 신호들 중 하나에서 상기 대응되는 K 개의 노이즈 제거 적응 신호들 중 하나를 감산함으로써 K 개의 출력 타겟 신호들 각각을 생성하는 단계를 더 포함한다. 또, 출력 타겟 신호들 각각이 대응되는 K 개의 적응 필터 블록들 중 하나로 제공되어 적응 프로세스를 계속하게 하여 대응되는 K 개의 출력 타겟 신호들의 추가 값들을 산출하게 한다.
본 발명의 제3양태에 따르면, 상기 기준 입력 신호나 K 개의 개별 기준 입력 신호들은, 기준 입력 생성 필터에 의해, 상기 예비 기준 입력 신호에 응하고 및 선택사항으로서 대응되는 도달 방향 신호들에 응하여 생성될 수 있다.
본 발명의 제3양태에 따르면, 상기 K 개의 노이즈 기준 신호들 각각을 대응되는 K 개의 적응 필터 블록들 중 하나로 제공하기 전에, 상기 K 개의 노이즈 기준 신호들을 생성하는 단계는, 대응되는 K 개의 등화 필터 블록들 중 하나에 의해 대응되는 K 개의 등화된 노이즈 기준 신호들 중 하나를 생성하도록 상기 K 개의 기준 신호들 각각을 등화하여, 상기 대응되는 K 개의 등화된 노이즈 기준 신호들 중 하나를 대응되는 K 개의 적응 필터 블록들 중 하나로 제공하는 단계 역시 포함한다.
본 발명의 제3양태에 따르면, 상기 방법은, 포스트-처리 블록에 의해 K 개의 출력 타겟 신호들을 포스트-처리하여 P 개의 출력 시스템 신호들을 생성하는 단계를 더 포함할 수 있고, 이때 상기 P 개의 출력 시스템 신호들은 K 개의 출력 타겟 신호들의 다양한 조합에 해당하고, 상기 P는 최소한 1인 값을 가진 유한 정수이다.
본 발명의 제3양태에 따르면, 상기 빔포머는 다항(polynomial) 빔포머일 수 있다. 또, 상기 일반화된 사이드로브 제거가 주파수 도메인이나 시간 도메인, 또는 주파수 및 시간 도메인 둘 모두에서 수행될 수 있다.
본 발명의 제4양태에 따르면, 일반화된 사이드로브 제거 시스템은: M 이 최소한 2의 값을 가진 유한 정수일 때, M 개의 마이크들을 포함하여, 음향 신호에 응답해 M 개의 마이크 신호들을 제공하는 마이크 어레이; T가 최소한 1인 값을 가진 유한 정수일 때, 상기 M 개의 마이크 신호들이나 M 개의 디지털 마이크 신호들에 반응하여 T+1 개의 중간 신호들을 제공하고, 기준 입력 신호를 제공하고, K 개의 타겟 신호들을 제공하고, 선택사항으로서 상보적 기준 입력 신호를 제공하고, 선택사항으로서 K 개의 개별적 기준 입력 신호를 제공하는 빔포머; 각각 대응되는 각자의 K 개의 타겟 신호들 중 하나와, 기준 입력 신호 또는 선택사항으로서 대응되는 K 개의 개별 기준 입력 신호 중 하나에 반응하여, 대응되는 K 개의 노이즈 기준 신호들 중 하나를 제공하는, 대응하는 K 개의 상보적 노이즈 분리 필터들의 K 개의 상보적 결합기들; 및 대응하는 각자의 K 개의 타겟 신호들 중 하나, 대응되는 K 개 의 노이즈 기준 신호들 중 하나 또는 대응되는 K 개의 등화된 노이즈 기준 신호들 중 하나, 그리고 대응되는 K 개의 출력 타겟 신호들 중 하나에 응답하여, 각각 대응되는 K 개의 출력 타겟 신호들 중 하나를 제공하는 K 개의 적응적 간섭 제거기들을 포함한다.
본 발명의 제4양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은, 각각이 대응되는 K 개의 노이즈 기준 신호들 중 하나에 응하여 대응되는 K 개의 등화된 노이즈 기준 신호 중 하나를 제공하는 K 개의 등화 필터 블록들을 더 포함할 수 있다.
본 발명의 제4양태에 다르면, 상기 일반화된 사이드로브 제거 시스템은, K 개의 출력 타겟 신호들에 응하여 P 개의 출력 시스템 신호들을 제공하는 포스트-처리 블록을 더 포함할 수 있고, 상기 P는 최소한 1의 값을 가진 유한 정수이다. 또, 상기 포스트-처리 블록은 믹서이거나 컨퍼런스(conference)/스위치 브리지일 수 있다. 또, 상기 포스트-처리 블록은 프로세싱 블록 및 제어 블록을 포함할 수 있다.
본 발명의 제4양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은 주파수 도메인이나 시간 도메인, 또는 주파수 및 시간 도메인 둘 모두에서 구현될 수 있다.
*본 발명의 제4양태에 따르면, 상기 일반화된 사이드로브 제거 시스템은, 예비 기준 입력 신호나 선택사항으로서 대응하는 K 개의 도달 방향 신호들에 응하여 기준 입력 신호 또는 선택사항으로서 K 개의 개별 기준 입력 신호들을 제공하는 기준 입력 생성 필터를 더 포함할 수 있다.
본 발명에서는, M.Kajala, M.
에 의한 PCT 특허 출원 "타겟 신호 소스로부터 잡음 있는 환경 안으로 발산되는 신호를 처리하는 시스템 및 방법"에 기술된 다항 빔포밍 필터 구조를 이용하여, 알고리즘의 계산상의 복잡도를 증가시키지 않고도 상보적 빔 출력 신호를 제공한다는 이점이 있다. 이는 일반적 다항 빔포머에서 상보적 필터가 기본적 빔포머 H(z)의 CPU 로드의 약 1/4 %를 요한다는 것을 의미한다. 본 발명은 빔포머 H(z) (요망되는 것) 및 상보적 빔포머 1-H(z) (배경)의 빔포머 계수들을 각자 설계하거나 저장하지 않고 상보적 빔포머 필터들을 제공한다. 효율적인 상보적 필터 디자인은 빔 조향 및 타겟 추적 어플리케이션들에 대한 본질적인 지원을 하게 되는데 이는 상보적 빔이 필터 및 결합(beam) 빔포머와 동기되어 원하는 지향 방향을 추적하기 때문이다. 상보적 빔의 별도의 조향시 어떤 부가적 메모리나 CPU 오버헤드도 필요로 되지 않는다. 본 발명에 따르면, 제안된 방법이 필터 및 결합 빔포머 전단에 대한 매우 효율적인 구현을 가능하게 한다. 또한, 본 발명은 상응하는 조향 변수들을 가진 여러 포스트-필터들과 함께 다항 빔포머 필터를 구동함으로써 여러 타겟들과 소스들을 추적하는 데 있어 보편화 될 수 있다.
본 발명은 적응적 간섭 제거기(AIC)의 적응 성능을 위해 노이즈 기준을 생성하도록 상보적 노이즈 분리 필터링을 이용하는 일반화된 사이드로브 제거의 효율적 빔포밍을 위한 새로운 방법을 제공한다. 본 발명은 빔포머 성능이 상보적 필터의 효율적 병합과 결합 빔포밍 및 적응 처리를 통해 어떻게 효율적으로 향상될 수 있는지에 대한 방식을 예시한다. 모든 빔포머 시스템들과 마찬가지로, 본 발명은 지향(타겟) 방향으로부터 요망되는 신호를 추출하여 방해 노이즈 성분들을 감쇠시키도록 하는 것을 목적으로 한다.
본 발명에 따르면, 적응 필터가, 요망되는 신호 경로로부터 감산될 노이즈 추정치들을 제공하여 시스템 출력시 노이즈를 한층 더 감산시키게 된다. 더 자세히 말하면, 본 발명은 일반화된 사이드로브 제거기(GSC) 구조와 유사한 멀티 마이크 빔포밍 시스템에 관한 것이나, 종래의 GSC 방법과의 차이는 다항(polynomial) 빔포밍 필터 전단의 빔 조향(steering) 융통성을 해침이 없이 간단한 감산을 통해 요망되는 신호 블로킹에 사용되는 상보적 필터가 구현될 수 있다는 데 있다. 이러한 방식은, 한 개의 상보적 필터 및 한 결합 빔포머의 복잡도만으로, 상보적 필터의 산출 및 요망되는 타겟 신호와 상보적 배경 노이즈 추정 신호를 각각 이용하는 결합(sum) 빔포머를 제공한다. 적응적 포스트(사후) 처리에 있어서, 이것은, 원하는 지향(타겟) 방향에서 나오는 신호가 그 배경과 분리되는 소스 분리를 위한 매우 효율적 방법을 제공한다.
본 발명에 따르면, 적응적 간섭 제거기(AIC)를 위한 노이즈 기준 신호를 생성하는 방법에는 본질적 차이가 존재한다. 또한, 요망되는 신호 소스가 이동할 때, 빔 방향이 바뀔 필요가 있다. 가능한 여러 시나리오들 가운데 하나로서, M. Kajala 및 M.
의 유럽 특허 번호 1184676 (대응하는 PCT 특허 출원 공개 WO 02/18969), "마이크 어레이 빔포머의 매개적 조향을 위한 방법 및 장치"에 기재된 것과 같은 다항 빔포밍 구조와 함께, P.Valve의 미국 특허 6,449,593 "화자 추적을 위한 방법 및 시스템"에 기재된 화자 추적을 이용하면, 시스템은 요망되는 신호 방향을 파악하여 두 개의 신호 출력들을 제공한다: 한 신호 출력은 요망되는 음성 방향 (타겟 또는 지향 방향)으로부터의 소리를 추출하기 위한 메인 빔을 위한 것이고, 다른 하나는, 본 발명에 기반하는 것으로, 메인 빔의 상보관계의 것으로서 적응적 간섭 제거기(AIC)를 위한 노이즈 기준으로서 더 사용된다. 상보(complement) 신호는 지향 방향에 있어 공간적 제로(zero)를 가지며, 그에 따라, 요망되는 신호가 AIC 필터 입력으로부터 거부된다. 두 빔들, 즉, 메인 빔과 그에 상보되는 "안티 빔(antibeam)"은 둘 다 시스템의 한 파라미터 값만을 바꿈으로써 얻어지게 된다 (가령, Kajala 등에서
D). 또, 본 발명은 대응하는 조향 변수들을 가진 여러 포스트-필터들이 있는 다항 빔포머 필터를 구동함으로써 여러 타겟들과 소스들에 대한 추적에 대해 보편화될 수 있다.
도 1은 본 발명에 따라, 일반화된 사이드로브 제거 시스템(10)에서 상보적 노이즈 분리 필터를 이용하여 노이즈 기준 신호(37)를 생성하기 위한 효율적 빔포밍을 통한 일반화된 사이드로브 제거의 여러 시나리오들 중 하나를 보인 블록도이다.
음향 신호(11)가 M 개의 마이크들을 가진 마이크 어레이(12)에 의해 수신되 어, M 개의 상응하는 마이크 (전기-음향) 신호들(30)로 생성되고, 이때 M은 최소한 값 2를 가진 유한 정수이다. 통상적으로, 마이크 어레이(12)의 마이크들은 실질적으로 수평 라인을 따라 놓이는 단일 어레이 안에 구성된다. 그러나, 마이크들이 서로 다른 방향이나 2D 또는 3D 어레이 안에 구성될 수도 있다. M 개의 대응되는 마이크 신호들(30)은 A/D 컨버터(14)를 이용해 디지털 신호들(32)로 변환될 수 있고, 상기 M 개의 디지털 마이크 신호들(32) 각각은 다항 빔포머(18)의 T+1 개 전치 필터들(20) 각각으로 보내지고, 여기서 T는 최소한 값 1을 가진 유한 정수이다. 다항 빔포머(18)와, T+1 개 전치 필터들(20), 타겟 포스트-필터(24) 및 빔 모양 제어 블록(22)을 포함한 그 구성요소들의 동작에 대한 설명은 M. Kajala 및 M. v
의 유럽 특허 번호 1184676 (대응하는 PCT 특허 출원 공개 WO 02/18969), "마이크 어레이 빔포머의 매개적 조향을 위한 방법 및 장치"에 자세히 기재되어 있다. 따라서, 다항 빔포머(18)와 그 구성 요소들의 기능은 여기서 참증을 통해 통합되어 진다(상기 참증의 도 4 및 빔포머(30-II)의 동작 참조).
T+1 개의 전치 필터들(20)은 상기 M 개의 디지털 마이크 신호들(32)에 응하여 T+1 개의 중간 신호들(34)과 기준 입력 신호(34a)를 생성하고, T+1 개의 중간 신호들은 타겟 포스트-필터(24)로 보내고 기준 입력 신호(34a)는 이하에서 상세히 설명될 상보적 노이즈 분리 필터들(31)의 상보적 결합기(33)로 보낸다. 상기 T+1 개의 전치 필터들(20)과 상기 타겟 포스트-필터(24)는 빔포머(18)의 구성요소들이다. 상기 T+1 개의 중간 신호들(34)은 T+1 개의 전치 필터들(30)에 의해 화자 추적 블록(16)으로도 보내진다.
T 개의 중간 신호들(34)은 여전히 M 개의 마이크 신호들(30)의 공간 정보를 보유하나, 형식은 상이하게 된다. 이들 T+1 개의 중간 신호들(34)은, 아래에서 논의될 빔 모양 제어 블록(22)에 의해 생성되는 방향 제어 신호(35)에 의해 특정되는 지향(타겟) 방향들을 적절히 나타내는 신호들을 만들기 위해 타겟 포스트-필터(24)에 의해 더 처리될 필요가 있다.
화자 및 노이즈 추적 블록(16)의 기능에 대해 P.Valve의 미국 특허 6,449,593, "화자 추적을 위한 방법 및 시스템" (상기 참증의 도3 참조)에 논의되어 있다. 화자 및 노이즈 추적 블록(16)은 도달 방향(DOA) 신호(17)를 생성하고 상기 DOA 신호(17)를 다항 빔포머(18)의 빔 모양 제어 블록(22) (그 성능은 상술한 바와 같이 참증을 통해 여기 도입됨)으로 제공함으로써 화자를 추적하기 위한 선호하는 빔 방향을 선택하는데 사용된다. 화자 및 노이즈 추적 블록(16)은 kdfo에서설명되는 것처럼 요망되는 타겟 신호 소스 방향을 추적할 수 있다. 빔 모양 제어 블록(22)은 타겟 제어 신호(35)를 생성하고, 그 제어 신호(35)를 타겟 필터(24)로 제공하다.
도달 방향 신호(17)를 생성하는데 사용될 수 있는 다른 방법들이 존재한다. 본 발명에 따르면, 타겟 신호 소스의 위치, 즉, 제어 신호(35) 생성은 카메라 (시스템(10)에 부착된 것이 있는 경우)로부터 얻어진 시각 정보를 확인하거나, 화자 및 노이즈 추적 블록(16)을 이용하는 대신 요구되는 정보를 제공할 수 있는 어떤 다른 수단에 의해 정해질 수 있다. 이와 달리, 블록(16) 대신 외부 제어 신호 생성기(16-I)가 사용되어 신호(17)가 아닌 외부의 도달 방향 신호(17-I)를생성할 수 있다. 차이점은, 블록(16-I)은 독자적으로 동작하며 그 동작을 위해 상기 T+1 개의 중간 신호들(34)을 필요로 하지 않는다는 것이다.
기준 입력 신호(34a) 다른 방식들을 통해 상수 (비조향, non-steered) 필터의 출력 신호로서, 그리고 어떤 유용한 특별 상황에서 단지 지연된 마이크 신호로서) 생성될 수 있다. 기준 입력 신호(34a)는 대칭적 조향을 위해 모든 방향에 있어 평탄한 주파수 응답을 가짐이 바람직하며, 신호 도달 지연은 요망되는 모든 방향들에 있어 일정하다(대칭적 어레이). 신호들(34a 및 38)의 지연이 모든 방향들에서 동일하면, 노이즈 기준 신호(37) 역시 타겟 신호(38)와 동상(in phase)이 된다. 그러한 상황에서, 적응적 필터 블록은 빔 조향에 의해 도입되는 바람직하지 않은 지연 변동(fluctuations)에 의해 방해되지 않는다. 한 실시예는 조향가능한 빔포머의 음향 센터를 이용할 수 있다. 다항 빔포머의 부분(fractional) 지연 처리는, 빔포머의 음향 센터에 대해 지연 조정을 수행함이 바람직할 것이다.
음향 센터는 서로 다른 방향들로부터 도달하는 신호들에 대해 동일 그룹 지연을 가지는 마이크 어레이(12)의 시공간적 샘플링 그리드 안의 포인트이다. 실제 어레이 구성들에서, 이상적 음향 센터는 경계짓기가 어려울 수 있으나, 운좋게도 본 발명에서 기술하는 방법은 음향 센터의 정확한 위치에 민감하지 않다.
음향 센터는 마이크 어레이내 한 포인트 (시공간적)이거나, 필터 근사화를 이용해 생성되는 "가상의" 센터일 수 있다. 예를 들어, 대칭적 4-마이크 Y 모양 필터가 센터 마이크의 지연된 출력을 음향 센터로서 사용할 수 있으나, 이등변 삼각형 모양을 가진 3-마이크 어레이는 음향 센터로서 모든 입력 마이크 신호들의 평 균치를 사용할 수 있다. 4-마이크 디자인이 보다 바람직한데, 그 이유는 평균하는 것이 저역 통과 필터링 효과를 내게 되어 상보적 빔이 고역 통과 특성을 가지게 됨을 의미하기 때문이다. 마이크의 기하학적 배열이 어레이(12)의 음향 센터에 위치하는 마이크를 가지지 않을 때, 기준 입력 신호는 이하에서 설명할 고정된 임펄스 응답 필터를 이용하여 근사화되거나, 센터에서 벗어난 마이크 출력을 기준 입력 신호로서 선택할 수 있다. 비대칭적 마이크 선택은 비대칭적 빔들을 야기할 수 있고, 비대칭적 기하학적 배열에 대한 보상이 가능한 빔포밍 필터 최적화시 비대칭적 빔포밍 필터들을 가져올 수 있다.
예를 들어, 어레이의 기하학적 배열이 음향 센터에 놓이는 마이크(L)를 가지고 전치 필터 길이(S)가 홀수(S=2J+1)인 특별한 상황에서, 기준 입력 신호(34a)는 센터 마이크(L)의 지연 (인덱스 J+1) 신호로서 바로 간주될 수 있다. 그러나, 일반적으로 마이크 수가 음향 센터로서의 마이크 구성의 가능성을 제한하지 않는다. 이를테면, Y 모양 마이크 어레이는 4 개의 마이크들을 포함하고 센터 마이크가 음향 센터에 있을 수 있다. 또, X 모양의 5 마이크 어레이도 음향 센터에 위치한 마이크를 가질 수 있다.
추가적인 처리는 다음과 같이 진행된다. 타겟 포스트-필터(24)가 타겟 제어 신호(35)를 이용해 타겟 신호(38)를 생성하고 그 타겟 신호(38)를 적응적 간섭 제거기(21)의 결합기(26) 및 상보적 노이즈 분리 필터(31)의 상보적 결합기(33)로 제공한다. 상보적 결합기(33)는 타겟 신호(38)의 상보 관계에 있고 AIC(21)에 대한 노이즈 기준으로서 더 사용되는 노이즈 기준 신호(37)를 생성한다. 타겟 신호가 타겟 신호 방향에 대해 단위 응답을 가질 때, 노이즈 기준 신호(37)는 지향(타겟) 방향으로 공간적 제로를 가지므로, 요망되는 신호가 AIC(21)의 적응 필터 블록(28)의 입력 신호로부터 거부된다.
통상적으로, 상기 노이즈 기준 신호(37)는 평탄한 스펙트럼을 갖지 않으며, 이것이 유색 기준 신호를 가져올 수 있다. 이러한 문제는 이 기술 분야에 알려진 여러 방법들을 이용해 보상될 수 있다. 더 적절한 적응 필터 기술이 사용될 수 있다. 스펙트럼상의 백색화 기술들이 성공적으로 사용되어 적응 성능을 향상시킨다. 도 1의 예에 도시된 것처럼 다른 간단한 방법은 노이즈 기준 신호(37)에 대한 간단한 등화 필터링을 이용한다. 등화 필터 블록(41)이 도 1에 도시된 것처럼 선택사항으로서 사용되어, 노이즈 기준 신호(37)를 AIC(21)의 적응 필터 블록(28)으로 제공하기 전에, 블록(41)이 노이즈 기준 신호(37)의 스펙트럼 형태를 정정하거나 적응 필터 블록(28)을 위한 스펙트럼 가중 특성을 만드는데 사용될 수 있다. 이러한 스펙트럼 정형화 방법은 이 기술 분야에 알려져 있으나, 본 발명에 따라 노이즈 기준 신호 스펙트럼 (음향 센터 신호의 이상적이지 않은 샘플링에서 비롯되는)을 보상하기 위해 그 기술을 이용하는 것은 새로운 것이다. 따라서, 노이즈 기준 신호(37)나 등화된 노이즈 기준 신호(37a)가 적응 필터 블록(28)으로 주어진다.
적응 필터 블록(28)은 노이즈 제거 적응 신호(40)를 생성하여 그것을 결합기(26)로 제공한다. 결합기(26)는 타겟 신호(38)로부터 그 신호(40)를 감산함으로써 일반화된 사이드로브 제거 시스템(10)의 출력 타겟 신호(42)를 생성하고, 그 출력 타겟 신호(42)는 피드백으로서 각자의 적응 필터 블록(28)의 계수 적응 블록(도 1에 미도시)으로 보내져, 타겟 신호(38)의 공간적 적응을 수행하게 된다.
도 2는 본 발명에 따라, 도 1의 예에 있어서 상보적 노이즈 분리 필터(31)를 이용하는 효율적 빔포밍을 통해 일반화된 사이드로브 제거를 수행하는 흐름도를 보인다. 도 2의 흐름도는 있을 수 있는 여러 상황들 중 한 상황만을 보인 것이다. 본 발명에 따른 방법에서, 음향 신호(11)가 M 개의 마이크 어레이(12)에 의해 수신되고, 상기 어레이(12)에 의해 M 개의 마이크 신호들(30)이 생성된다(50 단계). 멀티 채널 A/D 컨버터(14)가 M 개의 마이크 신호들(30)을 M 개의 디지털 마이크 신호들(32)로 변환하고, 이들을 다항 빔포머(18)의 T+1 개 전치 필터들(20) 각각으로 보낸다(52 단계).
T 개의 중간 신호들(34)이 빔포머(18)의 T+1 개의 전치 필터들(20)에 의해 생성되어져, 화자 추적 블록(16) 및 타겟 포스트-필터(24)로 보내지고, 기준 입력 신호(34a)가 T+1 개 전치 필터들(20)에 의해 생성되어 상보적 결합기(33)로 보내진다(54 단계).
화자 추적 블록(16)은 도달 방향(DOA) 신호(17)를 생성하고 그 신호(17)를 빔 모양 제어 블록(22)으로 보낸다(56 단계). 빔 모양 제어 블록(22)에 의해 타겟 제어 신호(35)가 생성되어 빔포머(18)의 타겟 포스트-필터(24)로 보내진다(58 단계). 타겟 포스트-필터(24)에 의해 타겟 신호(38)가 생성되어 AIC(21)의 결합기(26) 및 상보적 결합기(33)로 보내진다(60 단계). 상보적 결합기(33)를 이용해 기준 입력 신호(34a)로부터 타겟 신호(38)를 감산함으로써 노이즈 기준 신호(37)가 생성되고, 그런 다음 선택사항으로서 노이즈 기준 신호(37)가 등화 필터 블록(41) 에 의해 등화됨으로써, 노이즈 기준 신호(37) 또는 등화된 노이즈 기준 신호(37a)가 AIC(21)의 적응 필터 블록(28)으로 보내진다(62 단계).
AIC(21)의 적응 필터 블록(28)에 의해 제거 적응 신호(40)가 생성되어 결합기(26)로 보내진다(64 단계). 결합기(26)에 의해 타겟 신호(38)로부터 노이즈 제거 적응 신호(40)를 감산함으로써 출력 타겟 신호(42)가 생성된다(66 단계). 통신이 여전히 계속중인지가 체크된다(68 단계). 통신이 계속 진행 중이지 않으면, 프로세스는 종료된다. 그러나, 통신이 계속 진행 중이면, 출력 타겟 신호가 피드백으로서 적응 필터 블록(28)의 계수 적응 블록(도 1에 미도시)으로 보내지고(70 단계), 프로세스는 50 단계로 돌아간다.
도 3은 본 발명에 따라, 멀티 타겟 방향 신호들을 처리하기 위해 여러 상보적 노이즈 분리 필터들을 이용하는 효율적 빔포밍을 통한 일반화된 사이드로브 제거의 한 예를 도시한 블록도이다. 도 3의 시스템 기능은 도 1의 시스템 기능과 유사하나, 여기서는 도 1의 예에서와 같은 한 방향이 아닌 K 개의 지향(타겟) 방향들이 있다는 것이 다른 점이다(K는 1의 최소값을 가진 정수이다).
도 3의 다항 빔포머(18-K)는, K 개의 타겟 포스트-필터들(24-1, 24-2,...,24-K), K 개의 각자 상보적 노이즈 분리 필터들(31-1, 31-2,...,32-K)의 K 개의 상보적 결합기들(33-1, 33-2,..,33-K), 및 선택사항으로서 K 개의 등화 필터 블록들(41-1, 41-2,...,41-K)을 각각 포함한다. 또, 도 1에서 처럼 하나가 아닌, K 개의 적응 필터 블록들(28-1, 28-2, ...,28-K)과 K 개의 결합기들(26-1, 26-2, ...,26-K)을 각자 가지는 K 개의 AIC들(21-1, 21-2,...,21-K)이 있게 된다. 따라 서, 하나의 DOA 신호 대신, 화자 추적 블록(16)은 K 개의 DOA 신호들(17-1, 17-2,...,17-K)를 각자 생성하고, 이 신호들 각각은 대응되는 K 개의 빔 모양 제어 블록들(22-1-1, 22-1-2,...,22-1-K) 중 하나로 보내진다. K 개의 빔 모양 제어 블록들(22-1, 22-2,...,22-K) 각각은 대응하는 K 개의 타겟 제어 신호들(35-1, 35-2,...,35-K) 중 하나를 생성해 대응하는 K 개의 타겟 포스트-필터들(24-1, 24-2,...,24-K) 중 하나로 각자 보낸다. K 개의 타겟 포스트-필터들(24-1, 24-2,...,24-K) 각각은 대응하는 K 개의 타겟 신호들(38-1, 38-2,...,38-K) 중 하나를 생성하여 대응하는 K 개의 결합기들(26-1, 26-2,...,26-K) 중 하나 및 대응하는 K 개의 상보적 결합기들(33-1, 33-2,...,33-K)로 각자 보낸다.
각자 (2-입력) K 개의 상보적 결합기들(33-1, 33-2, ...,33-K) 각각은 대응하는 K 개의 타겟 신호들(38-1, 38-2,...,38-K) 중 하나와 상보 관계에 있고 대응하는 AIC들(21-1, 21-2,...,21-K) 중 하나에 대한 노이즈 기준으로서 더 사용되는 대응하는 K 개의 노이즈 기준 신호들(37-1, 37-2,...,37-K) 중 하나를 생성한다. 상술한 바와 같이, K 개의 노이즈 기준 신호들(37-1, 37-2,...,37-K) 각각은, 선택사항으로서, 대응하는 K 개의 각 등화 필터 블록들(41-1, 41-2,...,41-K) 중 하나에 의해 등화되어, 대응하는 K 개의 등화된 노이즈 기준 신호들(37a-1, 37a-2,...,37a-K) 중 하나로서 생성될 수 있다.
따라서, K 개의 노이즈 기준 신호들(37-1, 37-2, ...,37-K) 각각 또는 K 개의 등화된 노이즈 기준 신호들(37a-1, 37a-2,...,37a-K) 각각이 각자, 대응되는 적응 필터 블록들(28-1-1, 28-1-2,...,28-1-K) 중 하나로 제공된다. 적응 필터 블록 들(28-1-1, 28-1-2,...,28-1-K) 각각은 대응되는 K 개의 노이즈 제거 적응 신호들(40-1, 40-2,...,40-K) 중 하나를 생성하여, 그 대응되는 K 개의 노이즈 제거 적응 신호들(40-1, 40-2,...,40-K) 중 하나를 대응되는 K 개의 결합기들(26-1, 26-1,...,26-K) 중 하나로 보낸다. K 개의 결합기들(26-1, 26-1,...,26-K) 각각은, 대응되는 K 개의 타겟 신호들(38-1, 38-2,...,38-K) 중 하나로부터 각자 대응하는 K 개의 노이즈 제거 적응 신호들(40-1, 40-2,...,40-K)을 감산하여, 일반화된 사이드로브 제거 시스템(10)의 대응되는 K 개의 출력 타겟 신호들(42-1, 42-2,...,42-K) 중 하나를 각자 생성하고, 대응되는 K 개의 출력 타겟 신호들(42-1, 42-2,...,42-K) 각각을 피드백으로서, 대응하는 각자의 K 개 적응 필터 블록들(28-1, 28-2,...,28-K) 중 하나의 대응되는 K 개의 계수 적응 블록들(도 1에 미도시) 중 하나로 보냄으로써, K 개의 타겟 신호들(38-1, 38-2,...,38-K) 각각에 대한 공간적 적응이 수행된다.
K 채널의 일반화된 사이드로브 제거 시스템(10-K)의 경우, 각각의 AIC 블록(28-1, 28-2,...,28-K)은 상보적 신호 쌍(38-1, 38-2,...,38-K 및 37-1, 37-2,...,37-K)을 이용하여 대응하는 출력 타겟 신호(42-1, 42-2,...,42-K)로부터 37-1, 37-2, 37-K의 모든 신호 성분들을 제거하고자 한다. 이것은, 일반화된 사이드로브 제거 시스템(10-K)이단지 한 방향만 지향하고 다른 방향들로부터 들어오는 신호들은 노이즈로서 감쇠된다는 것을 의미한다. 어플리케이션이 여러 신호 소스들의 병렬 리코딩을 요구하는 경우, 다른 출력 신호들이 합성될 필요가 있을 수 있다. 따라서, K 개의 출력 타겟 신호들(42-1, 42-2,...,42-K) 의 추가 처리에, 믹 서 및/또는 컨퍼런스 스위치/브리지(43) 같은 부가적 구성요소들을 이용해 이들(어플리케이션이 요구하는 무엇)을 결합 및/또는 서로 믹싱하여, 도 4에 도시된 것과 같은 P 개의 출력 시스템 신호들(45-1, 45-2,...,45-P)을 생성하는 단계를 포함할 수 있고, 이때 P는 최소한 1인 정수를 말한다. 이러한 기술들은 이 기술분야에 잘 알려져 있다. 통상적으로, 블록(43)에는 프로세싱 블록(43a)과 제어 블록(43b)이포함된다.
도 1은 다만 본 발명을 구현하기 위한 한 예만을 나타낸 것이다. 다른 변형된 구성들과 가능한 시나리오들이 있을 수 있다. 예를 들어, 기준 입력 신호(34a)는 해당하는 K 타겟 방향들마다 대응하는 개별적 기준 입력 신호들(34a-1, 34a-2,...,34a-K)로서 개별적으로 생성되어 도 3에 도시된 것 같은 대응하는 상보적 결합기들(33-1, 33-2,...,33-K)로 보내질 수 있다.
관련된 다른 시나리오에서, 부가적 기준 입력 생성 필터(15)가, 상기 기준 입력 신호(34a)를 생성하는데 사용되거나, 선택사항으로서 도 3에 도시된 것 같은 신호(34a) 대신 예비 기준 신호(34aa)를 이용하여 K 개의 개별 기준 입력 신호들(34a-1, 34a-2,...,34a-K)을 생성하는데 사용될 수 있다. 개별 기준 입력 신호들(34a-1, 34a-2,...,34a-K)을 생성하는 경우, 기준 입력 생성 필터(15)는 선택사항으로서 대응되는 도달 방향 신호들(17-1, 17-2,...,17-K)을 부가 입력들로서 이용할 수 있다. 이러한 시나리오는 지연된 임펄스를 선택하는 (지연 입력 선택) 특별한 경우의 일반화이다. 계산상의 복잡도 감소 이유로, 입력 신호 선택이 당연히 바람직하다. 그러나, 어떤 어플리케이션들에 있어서, 상기 기준 입력 신호(34a) 또는 선택사항으로서 기준 입력 신호들(34a-1, 34a-2,...,34a-K)을 생성하기 위해 기준 입력 생성 필터(14)를 2D 필터의 특별한 경우로서 사용하는 방식이, 특히 여러 지향(타겟) 방향들의 경우와 상기 모든 타겟 방향들에 꼭 한번 공통 기준 입력 신호(34a)를 생성한다는 바람직함으로 인해 정당화될 수 있다.
기준 입력 생성 필터(15)는 마이크 어레이(12)의 음향 센터에서 이 차원 크로네커(Kronecker) 델타 함수를 근사화함으로써 바람직하게 구현될 수 있다. 기준 입력 생성 필터(15)의 임펄스 응답은 다음과 같이 정의될 수 있다. 입력이 위치 (m', n')에서의 이차원 크로네커 델타 함수일 때, 임펄스 응답은
로 규정된다. 세미콜론(;)은 좌표의 입력과 출력 쌍들을 구분하기 위해 사용되고, 위치 (m', n')를 가진 입력 샘플링 그리드가 음향 센터와 나란히 정렬될 때, 그 임펄스 응답은
, 크로네커 델타 함수로 근사화될 수 있다. H(.)가 이상적이지 않은 필터링 특성을 가질 때, 상보적 필터 1-H(.)는 H(.)에 의해 자동으로 영향을 받는다.
도 1부터 도 4까지의 예들에 의해 보여진 본 발명이 주파수 도메인이나 시간 도메인, 또는 그 두 도메인들 모두에서 구현될 수 있다는 것 역시 알아야 한다.
상술한 구성들은 단지 본 발명의 원리들의 적용을 위한 예일 뿐임을 알아야 한다. 본 발명의 범위에서 벗어나지 않는 범위에서 이 분야의 당업자에 의해 수많은 변형과 대안적 구성들이 고안될 수 있으며, 첨부된 청구항들은 그러한 변형과 구성들을 커버하도록 작성되었다.