KR20130055649A

KR20130055649A - 공간에서의 음향 이미지의 향상된 생성을 위한 시스템, 방법 및 장치

Info

Publication number: KR20130055649A
Application number: KR1020137004669A
Authority: KR
Inventors: 에릭 비세르; 페이 시앙
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-07-26
Filing date: 2011-07-26
Publication date: 2013-05-28
Also published as: CN103026735B; WO2012015843A1; US20120020480A1; JP5705980B2; KR101468343B1; US8965546B2; CN103026735A; JP2013536630A

Abstract

음향 심리적 저음 향상 신호를 이용하여 라우드스피커들의 어레이를 구동하기 위한 방법들, 시스템들 및 장치들이 개시된다.

Description

공간에서의 음향 이미지의 향상된 생성을 위한 시스템, 방법 및 장치{SYSTEMS, METHODS, AND APPARATUS FOR ENHANCED CREATION OF AN ACOUSTIC IMAGE SPACE}

<35 U.S.C.§119에 따른 우선권 주장>

본 특허 출원은 2010년 7월 26일자로 "SYSTEMS, METHODS, AND APPARATUS FOR BASS ENHANCED SPEAKER ARRAY SYSTEMS"라는 제목으로 출원되어 본원의 양수인에게 양도된 미국 가출원 제61/367,840호에 대해 우선권을 주장한다. 본 특허 출원은 2011년 5월 6일자로 "DISTRIBUTED AND/OR PSYCHOACOUSTICALLY ENHANCED LOUDSPEAKER ARRAY SYSTEMS"라는 제목으로 출원되어 본원의 양수인에게 양도된 미국 가출원 제61/483,209호에 대해서도 우선권을 주장한다.

<분야>

본 발명은 오디오 신호 처리에 관한 것이다.

빔 형성(Beamforming)은 지향성 신호 송신 또는 수신을 위해 센서 어레이들(예를 들어, 마이크 어레이들)에서 최초로 사용된 신호 처리 기술이다. 이러한 공간 선택성은 고정된 또는 적응적인 수신/송신 빔 패턴들을 사용함으로써 달성된다. 고정 빔 형성기들의 예들은 지연 및 합산 빔 형성기(DSB) 및 초지향성 빔 형성기(superdirective beamformer)를 포함하며, 이들 각각은 최소 분산 무왜곡 응답(MVDR) 빔 형성기의 특수한 사례이다.

음향학의 상호성 원리로 인해, 사운드 픽업 패턴들을 생성하는 데 사용되는 마이크 빔 형성기 이론들이 사운드 투영 패턴들을 획득하기 위해 스피커 어레이들에 대신 적용될 수 있다. 예를 들어, 빔 형성 이론들은 공간에서 사운드 투영을 원하는 방향으로 조종하기 위해 스피커들의 어레이에 적용될 수 있다.

일반 구성에 따른 오디오 신호 처리 방법은 제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하는 단계를 포함한다. 이 방법은 상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하는 단계를 포함하고, 상기 구동 신호는 상기 이미징 신호에 기초한다. 이 방법은 제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성하는 단계; 및 상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하는 단계를 포함한다. 이 방법은 상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하는 단계를 포함하고, 상기 구동 신호는 상기 이미징 신호에 기초한다. 유형의(tangible) 특징들을 갖는 컴퓨터 판독 가능 저장 매체들(예로서, 비일시적인 매체들)도 개시되며, 상기 유형의 특징들은 상기 특징들을 판독하는 기계로 하여금 상기 방법을 수행하게 한다.

일반 구성에 따른 오디오 신호 처리 장치는 제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하기 위한 수단; 및 상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단을 포함하고, 상기 구동 신호는 상기 이미징 신호에 기초한다. 이 장치는 제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성하기 위한 수단; 및 상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하기 위한 수단을 포함한다. 이 장치는 상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단을 포함하고, 상기 구동 신호는 상기 이미징 신호에 기초한다.

일반 구성에 따른 오디오 신호 처리 장치는 제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하도록 구성된 제1 공간 처리 모듈; 및 상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하도록 구성된 오디오 출력 스테이지를 포함하고, 상기 구동 신호는 상기 이미징 신호에 기초한다. 이 장치는 제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성하도록 구성된 고조파 확장 모듈; 및 상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하도록 구성된 제2 공간 처리 모듈을 포함한다. 이 장치에서, 상기 오디오 출력 스테이지는 상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하도록 구성되고, 상기 구동 신호는 상기 이미징 신호에 기초한다.

도 1은 라우드스피커 어레이에 대한 빔 형성의 적용의 일례를 나타낸다.
도 2는 MVDR 빔 형성기에 대한 빔 형성 이론의 일례를 나타낸다.
도 3은 위상 어레이(phased array) 이론의 일례를 나타낸다.
도 4는 BSS 알고리즘의 초기 조건들의 세트에 대한 빔 패턴들의 예들을 나타내고, 도 5는 강제적 BSS 접근법을 이용하여 그러한 초기 조건들로부터 생성된 빔 패턴들의 예들을 나타낸다.
도 6은 12개 라우드스피커의 균일 선형 어레이 상에서 22 kHz 샘플링 레이트 및 0도의 조종 방향을 갖도록 설계된 DSB(좌측) 및 MVDR(우측) 빔 형성기들에 대한 예시적인 빔 패턴들을 나타낸다.
도 7a는 원뿔형 라우드스피커의 일례를 나타낸다.
도 7b는 직사각형 라우드스피커의 일례를 나타낸다.
도 7c는 12개 라우드스피커의 어레이의 일례를 나타낸다.
도 7d는 12개 라우드스피커의 어레이의 일례를 나타낸다.
도 8은 지연 및 합산 빔 형성기 설계(좌측 열) 및 MVDR 빔 형성기 설계(우측 열)에 대한 크기 응답(상부), 백색 잡음 이득(중간) 및 지향성 지수(하부)의 그래프들을 나타낸다.
도 9a는 향상 모듈(EM10)의 블록도를 나타낸다.
도 9b는 향상 모듈(EM10)의 일 구현(EM20)의 블록도를 나타낸다.
도 10a는 향상 모듈(EM10)의 일 구현(EM30)의 블록도를 나타낸다.
도 10b는 향상 모듈(EM10)의 일 구현(EM40)의 블록도를 나타낸다.
도 11은 PBE 처리 전후의 음악 신호의 주파수 스펙트럼의 일례를 나타낸다.
도 12a는 일반 구성에 따른 시스템(S100)의 블록도를 나타낸다.
도 12b는 일반 구성에 따른 방법(M100)의 흐름도를 나타낸다.
도 13a는 공간 처리 모듈(PM10)의 일 구현(PM20)의 블록도를 나타낸다.
도 13b는 장치(A100)의 일 구현(A110)의 블록도를 나타낸다.
도 13c는 고역 통과 필터(HP20)의 크기 응답의 일례를 나타낸다.
도 14는 장치(A110)와 유사한 구성의 블록도를 나타낸다.
도 15는 마스킹 잡음의 일례를 나타낸다.
도 16은 장치(A100)의 일 구현(A200)의 블록도를 나타낸다.
도 17은 시스템(S100)의 일 구현(S200)의 블록도를 나타낸다.
도 18은 시스템(S200)의 응용의 일례의 평면도를 나타낸다.
도 19는 어레이 내의 비선형 이격된 라우드스피커들의 구성의 도면을 나타낸다.
도 20은 오디오 출력 스테이지(AO20)의 일 구현(AO30)의 혼합 기능의 도면을 나타낸다.
도 21은 오디오 출력 스테이지(AO20)의 일 구현(AO40)의 혼합 기능의 도면을 나타낸다.
도 22는 장치(A100)의 일 구현(A300)의 블록도를 나타낸다.
도 23a는 3-서브어레이 스킴의 처리 경로들에 대한 3개의 상이한 대역 통과 설계의 일례를 나타낸다.
도 23b는 3-서브어레이 스킴에 대한 3개의 상이한 저역 통과 설계의 일례를 나타낸다.
도 23c는 더 높은 주파수의 서브어레이들 각각에 대한 저역 통과 필터의 저주파수 컷오프가 다음 최저 주파수 대역에 대한 서브어레이의 고역 통과 컷오프에 따라 선택되는 일례를 나타낸다.
도 24a-24d는 라우드스피커 어레이들의 예들을 나타낸다.
도 25는 3개의 소스 신호가 상이한 대응 방향들로 지향되는 일례를 나타낸다.
도 26은 하나의 빔이 사용자의 좌측 귀로 지향되고 대응하는 널 빔(null beam)이 사용자의 우측 귀로 지향되는 일례를 나타낸다.
도 27은 하나의 빔이 사용자의 우측 귀로 지향되고 대응하는 널 빔이 사용자의 좌측 귀로 지향되는 일례를 나타낸다.
도 28은 테이퍼링 윈도들(tapering windows)의 예들을 나타낸다.
도 29-31은 좌측, 우측 및 중앙 트랜스듀서들을 이용하여 대응하는 방향들로 각각 투영하는 예들을 나타낸다.
도 32a-32c는 위상 어레이 라우드스피커 빔 형성기의 방사 패턴들에 대한 테이퍼링의 영향을 나타낸다.
도 33은 위상 어레이에 대한 이론적인 빔 패턴들의 예들을 나타낸다.
도 34는 3개의 소스 신호가 상이한 대응 방향들로 지향되는 일례를 나타낸다.
도 35는 일반 구성에 따른 방법(M200)의 흐름도를 나타낸다.
도 36은 일반 구성에 따른 장치(MF100)의 블록도를 나타낸다.
도 37은 장치(A100)의 일 구현(A350)의 블록도를 나타낸다.
도 38은 장치(A100)의 일 구현(A500)의 블록도를 나타낸다.

본 명세서에서 "신호"라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 와이어, 버스 또는 기타 송신 매체 상에 표현되는 바와 같은 메모리 위치(또는 메모리 위치들의 세트)의 상태를 포함하는 그의 통상의 의미들 중 어느 하나를 지시하기 위해 사용된다. 본 명세서에서 "생성"이라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 컴퓨팅 또는 그외의 생산과 같은 그의 통상의 의미들 중 어느 하나를 지시하기 위해 사용된다. 본 명세서에서 "계산"이라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 컴퓨팅, 평가, 추정 및/또는 복수의 값으로부터의 선택과 같은 그의 통상의 의미들 중 어느 하나를 지시하기 위해 사용된다. 본 명세서에서 "획득"이라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 계산, 도출, (예를 들어, 외부 디바이스로부터의) 수신 및/또는 (예를 들어, 저장 요소들의 어레이로부터의) 검색과 같은 그의 통상의 의미들 중 어느 하나를 지시하기 위해 사용된다. 본 명세서에서 "선택"이라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 둘 이상의 세트 중 적어도 하나 및 전부보다 적은 것의 식별, 지시, 적용 및/또는 사용과 같은 그의 통상의 의미들 중 어느 하나를 지시하기 위해 사용된다. "포함하는(comprising)"이라는 용어가 본 설명 및 청구항들에서 사용되는 경우, 이것은 다른 요소들 또는 동작들을 배제하지 않는다. ("A가 B에 기초한다"와 같이) "~에 기초한다"라는 용어는 사례들 (i) "로부터 도출된다"(예를 들어, "B는 A의 전구체이다"), (ii) "적어도 ~에 기초한다"(예를 들어, "A는 적어도 B에 기초한다") 및 특정 문맥에서 적절한 경우에 (iii) "~와 동일하다"(예를 들어, "A는 B와 동일하다")를 포함하는 그의 통상의 의미들 중 어느 하나를 지시하는 데 사용된다. 유사하게, "~에 응답하여"라는 용어는 "적어도 ~에 응답하여"를 포함하는 그의 통상의 의미들 중 어느 하나를 지시하는 데 사용된다.

다중 마이크 오디오 감지 디바이스의 마이크의 "위치"에 대한 참조는 문맥에 의해 달리 지시되지 않는 한은 마이크의 음향학적으로 민감한 면의 중앙의 위치를 지시한다. "채널"이라는 용어는 특정 문맥에 따라 어떤 때는 신호 경로를 지시하는 데 사용되고, 다른 때는 그러한 경로에 의해 운반되는 신호를 지시하는 데 사용된다. 달리 지시되지 않는 한, "시리즈"라는 용어는 둘 이상의 아이템의 시퀀스를 지시하는 데 사용된다. "로그"라는 용어는 밑수 10의 로그를 지시하는 데 사용되지만, 그러한 연산의 다른 밑수들로의 확장들도 본 발명의 범위 내에 있다. "주파수 성분"이라는 용어는 (예를 들어, 고속 푸리에 변환에 의해 생성되는 바와 같은) 신호의 주파수 도메인 표현의 샘플 또는 신호의 부대역(예를 들어, 바크(Bark) 스케일 또는 멜(mel) 스케일 부대역)과 같은 신호의 주파수들 또는 주파수 대역들의 세트 중 하나를 지시하는 데 사용된다.

달리 지시되지 않는 한, 특정한 특징을 갖는 장치의 동작에 대한 임의의 개시는 유사한 특징을 갖는 방법을 개시하는 것도 명확히 의도하며(그 반대도 마찬가지임), 특정 구성에 따른 장치의 동작의 임의의 개시는 유사한 구성에 따른 방법을 개시하는 것도 명확히 의도한다(그 반대도 마찬가지임). "구성"이라는 용어는 그의 특정한 문맥에 의해 지시되는 바와 같은 방법, 장치 및/또는 시스템과 관련하여 사용될 수 있다. "방법", "프로세스", "절차" 및 "기술"이라는 용어들은 특정 문맥에 의해 달리 지시되는 않는 한은 일반적으로 그리고 교환 가능하게 사용된다. "장치" 및 "디바이스"라는 용어들도 특정 문맥에 의해 달리 지시되지 않는 한은 일반적으로 그리고 교환 가능하게 사용된다. "요소" 및 "모듈"이라는 용어들은 통상적으로 더 큰 구성의 일부를 지시하는 데 사용된다. 본 명세서에서 "시스템"이라는 용어는 그의 문맥에 의해 명시적으로 제한되지 않는 한은 "공통 목적을 이루기 위해 상호작용하는 요소들의 그룹"을 포함하는 그의 통상의 의미들 중 어느 하나를 지시하는 데 사용된다. 문헌의 일부의 참조에 의한 임의의 포함은 그 부분 내에서 참조되는 용어들 또는 변수들의 정의들을 포함하는 것으로도 이해되어야 하며, 그러한 정의들은 포함된 부분에서 참조되는 임의의 도면들은 물론, 문헌의 다른 곳에도 나온다.

근거리장(near-field)은 사운드 수신기(예로서, 마이크 어레이)로부터 1 파장 미만만큼 떨어진 공간 영역으로서 정의될 수 있다. 이러한 정의에 따르면, 영역의 경계까지의 거리는 주파수와 반비례하여 변한다. 예를 들어, 200, 700 및 2000 Hz의 주파수들에서, 1 파장 경계까지의 거리는 각각 약 170, 49 및 17 cm이다. 대신에, 근거리장/원거리장 경계가 마이크 어레이로부터 특정 거리(예를 들어, 어레이의 하나의 마이크로부터 또는 어레이의 중심으로부터 50 cm 또는 어레이의 하나의 마이크로부터 또는 어레이의 중심으로부터 1 m 또는 1.5 m)에 있는 것으로 간주하는 것이 유용할 수도 있다.

빔 형성은 시간에 따라 변할 수 있는 공간 내의 청각 이미지를 생성함으로써 사용자 경험을 향상시키는 데 사용될 수 있거나, 타겟 사용자를 향해 오디오를 조종함으로써 사용자에게 프라이버시 모드를 제공할 수 있다. 도 1은 라우드스피커 어레이(R100)에 대한 빔 형성의 적용의 일례를 나타낸다. 이 예에서, 어레이는 사용자의 방향으로 집중되는 음향 에너지의 빔을 생성하고 다른 위치들에서 빔 응답의 골(valley)을 생성하도록 구동된다. 이러한 접근법은 원하는 방향에서 보강 간섭을 생성하면서(예를 들어, 특정 방향으로 빔을 조종하면서) 다른 방향들에서 상쇄 간섭을 생성할 수 있는(예를 들어, 다른 방향에서 널 빔을 명확히 생성할 수 있는) 임의의 방법을 이용할 수 있다.

도 2는 초지향성 빔 형성기의 일례인 MVDR 빔 형성기에 대한 빔 형성기 이론의 일례를 나타낸다. MVDR 빔 형성기의 설계 목표는 Ｗ ^Ｈｄ=1을 조건으로 하는 제약 min _ＷＷ ^ＨΦ_XX Ｗ와 더불어 출력 신호 전력을 최소화하는 것이며, 여기서 Ｗ는 필터 계수 행렬을 나타내고, Φ_XX는 라우드스피커 신호들의 정규화된 크로스-파워(cross-power) 스펙트럼 밀도 행렬을 나타내고, ｄ는 조종 벡터를 나타낸다. 이러한 빔 설계는 도 2의 식 (1)에 나타나 있으며, 여기서 (식 (2)에 표현된 바와 같은) ｄ ^Ｔ는 선형 어레이들에 대한 원거리장 모델이고, (식 (3)에 표현된 바와 같은) Γ_VnVm은 대각선 요소들이 1인 코히어런스 행렬(coherence matrix)이다. 이러한 식들에서, μ는 조정 파라미터(예를 들어, 안정성 인자)를 나타내고, θ₀은 빔 방향을 나타내고, f_s는 샘플링 레이트를 나타내고, Ω는 신호의 각 주파수를 나타내고, c는 음속을 나타내고, ℓ은 인접하는 라우드스피커들의 방사 표면들의 중심들 사이의 거리를 나타내고, ℓ_nm은 라우드스피커들(n, m)의 방사 표면들의 중심들 사이의 거리를 나타내고, Φ_VV는 잡음의 정규화된 크로스-파워 스펙트럼 밀도 행렬을 나타내고, σ²은 트랜스듀서 잡음 전력을 나타낸다.

다른 빔 형성기 설계들은 지연 및 합산 빔 형성기(DSB)와 같은 위상 어레이들을 포함한다. 도 3의 도면은 위상 어레이 이론의 적용을 나타내며, 여기서 d는 인접하는 라우드스피커들 간의(즉, 각각의 라우드스피커의 방사 표면들의 중심들 간의) 거리를 나타내고, θ는 청취 각도를 나타낸다. 도 3의 식 (4)는 (원거리장에서) N개 라우드스피커의 어레이에 의해 생성되는 압력장(pressure field)(p)을 기술하며, 여기서 r은 청취자와 어레이 사이의 거리이고, k는 파수(wavenumber)이며; 식 (5)는 라우드스피커들 사이의 시간차와 관련된 위상 항(α)을 갖는 음장(sound field)을 기술하고; 식 (6)은 설계 각도(θ)와 위상 항(α)의 관계를 기술한다.

빔 형성 설계들은 통상적으로 데이터와 무관하다. 빔 생성은 적응적인(예를 들어, 데이터에 의존하는) 블라인드 소스 분리(BSS) 알고리즘을 이용하여 수행될 수도 있다. 도 4는 BSS 알고리즘의 초기 조건들의 세트에 대한 빔 패턴들의 예들을 나타내고, 도 5는 강제 BSS 접근법을 이용하여 그러한 초기 조건들로부터 생성된 빔 패턴들의 예들을 나타낸다. 본 명세서에서 설명되는 바와 같은 향상 및/또는 분산 어레이 접근법들과 연계하여 이용될 수 있는 다른 음향 이미징(사운드 지향) 기술들은 스테레오 다이폴 이론들에 기초할 수 있는 역 머리-관련 전달 함수(HRTF)와 같은 역 필터 설계들을 갖는 입체 음향 향상들(binaural enhancements)을 포함한다.

라우드스피커로부터 고품질의 저음 사운드(quality bass sound)를 생성하는 능력은 물리적인 스피커 크기(예를 들어, 원뿔 직경)의 함수이다. 일반적으로, 더 큰 라우드스피커는 작은 라우드스피커보다 양호한 낮은 오디오 주파수들을 재생한다. 작은 라우드스피커는 그의 물리 치수들의 한계로 인해 저주파 사운드를 생성하도록 많은 공기를 이동시키지 못한다. 저주파 공간 처리의 문제를 해결하는 한 가지 접근법은 작은 라우드스피커들의 어레이에 더 큰 라우드스피커 원뿔들을 갖는 라우드스피커들의 다른 어레이를 보완하여 더 큰 라우드스피커들을 갖는 어레이가 저주파 성분을 처리하게 하는 것이다. 그러나, 이러한 해법은 라우드스피커 어레이가 랩탑과 같은 휴대용 디바이스 상에 설치되어야 하는 경우에 또는 더 큰 라우드스피커들의 다른 어레이를 수용하지 못할 수 있는 다른 공간 제한 응용들에서는 실용적이지 못하다.

어레이의 라우드스피커들이 낮은 주파수들을 수용할 만큼 충분히 크더라도, 이들은 (예를 들어, 형태 인자 제약으로 인해) 서로 가까이 배치될 수 있으며, 따라서 저주파 에너지를 상이한 방향들로 상이하게 지향시키는 어레이의 능력이 저하된다. 저주파수들에서 선명한 빔을 형성하는 것은 특히 라우드스피커들이 물리적으로 서로 근접 배치될 때 빔 형성기들에 대한 과제이다. DSB 및 MVDR 라우드스피커 빔 형성기들은 모두 저주파수들을 조종하기 어렵다. 도 6은 12개 라우드스피커 시스템 상에서 22 kHz 샘플링 레이트 및 0도의 조종 방향을 갖도록 설계된 DSB 및 MVDR 빔 형성기의 빔 패턴들을 나타낸다. 이러한 그래프들에 나타난 바와 같이, 소정의 고주파 앨리어싱 외에, 약 1000 Hz까지의 저주파 성분들에 대한 응답은 모든 방향들에 걸쳐 거의 균일하다. 결과적으로, 저주파 사운드들은 그러한 어레이들로부터 열악한 지향성을 갖는다.

빔 형성 기술들을 이용하여 광대역 신호들에 대한 공간 패턴들을 생성할 때, 트랜스듀서 어레이 기하 구조의 선택은 저주파와 고주파 간의 균형을 필요로 한다. 빔 형성기에 의한 저주파들의 직접 처리를 향상시키기 위해서는 더 큰 라우드스피커 간격이 바람직하다. 이와 동시에, 라우드스피커들 간의 간격이 너무 크면, 고주파수들에서 원하는 효과를 재생하는 어레이의 능력은 더 낮은 앨리어싱 임계치에 의해 제한될 것이다. 공간 앨리어싱을 피하기 위해, 어레이에 의해 재생될 최고 주파수 성분의 파장은 인접 라우드스피커들 간의 거리의 2배보다 커야 한다.

소비자 디바이스들이 점점 더 작아짐에 따라, 형태 인자는 라우드스피커 어레이들의 배치를 제한할 수 있다. 예컨대, 랩탑, 넷북, 또는 태블릿 컴퓨터 또는 고화질 비디오 디스플레이는 내장 라우드스피커 어레이를 구비하는 것이 바람직할 수 있다. 크기 제약들로 인해, 라우드스피커들은 작을 수 있으며, 원하는 저음 영역을 재생하지 못할 수 있다. 대신에, 라우드스피커들은 저음 영역을 재생할 만큼 충분히 클 수 있지만, 너무 가까이 이격되어 빔 형성 또는 다른 음향 이미징을 지원하지 못할 수 있다. 따라서, 빔 형성을 이용하는 가까이 이격된 라우드스피커 어레이에서 저음 신호를 생성하기 위한 처리를 제공하는 것이 바람직할 수 있다.

도 7a는 원뿔형 라우드스피커의 일례를 나타내고, 도 7b는 직사각형 라우드스피커의 일례(예를 들어, RA11x15x3.5, NXP Semiconductors, Eindhoven, NL)를 나타낸다. 도 7c는 도 6a에 도시된 바와 같은 12개 라우드스피커의 어레이의 일례를 나타내고, 도 7d는 도 6b에 도시된 바와 같은 12개 라우드스피커의 어레이의 일례를 나타낸다. 도 7c 및 7d의 예들에서, 라우드스피커간 거리는 2.6 cm이고, 어레이의 길이(31.2 cm)는 통상적인 랩탑 컴퓨터의 폭과 대략 동일하다.

도 7c 및 7d와 관련하여 전술한 바와 같은 치수들을 갖는 어레이에 대해, 도 8은 지연 및 합산 빔 형성기 설계(좌측 열) 및 MVDR 빔 형성기 설계(우측 열)에 대한 크기 응답(상부), 백색 잡음 이득(중간) 및 지향성 지수(하부)의 그래프들을 나타낸다. 이들 도면으로부터, 약 1 kHz 이하의 주파수들에 대해 열악한 지향성이 예상될 수 있다는 것을 알 수 있다.

신호의 더 높은 고조파의 청취가 누락된 기본파들을 듣는 지각적 환각을 유발할 수 있는 음향 심리 현상이 존재한다. 따라서, 작은 라우드스피커들로부터 저음 성분들의 느낌을 달성하는 한 가지 방법은 저음 성분들로부터 더 높은 고조파를 생성하고 실제의 저음 성분들 대신에 고조파를 재생하는 것이다. 실제의 저주파 신호 존재 없이 저음의 음향 심리적 느낌을 달성하기 위해 더 높은 고조파로 대체하기 위한 알고리즘들("음향 심리적 저음 향상" 또는 PBE라고도 함)에 대한 설명들은 예를 들어 미국 특허 제5,930,373호(Shashoua 등, 1999년 7월 27일자 허여), 및 미국 특허 출원 공개 번호 2006/0159283 A1(Mathew 등, 2006년 7월 20일자 공개), 2009/0147963 A1(Smith, 2009년 6월 11일자 공개) 및 2010/0158272 A1(Vickers, 2010년 6월 24일자 공개)에서 발견될 수 있다. 그러한 향상은 통합 라우드스피커 또는 라우드스피커들을 물리적으로 작도록 제한하는 형태 인자들을 갖는 디바이스들로 저주파 사운드를 재생하는 데에 특히 유용할 수 있다.

도 9a는 오디오 신호(AS10)에 대해 PBE 동작을 수행하여 향상된 신호(SE10)를 생성하도록 구성된 향상 모듈의 일례(EM10)의 블록도를 나타낸다. 오디오 신호(AS10)는 모노포닉 신호(monophonic signal)이며, 다중 채널 신호(예를 들어, 스테레오 신호)의 한 채널일 수 있다. 이 경우, 다중 채널 신호의 다른 채널들로부터 대응하는 향상된 신호들을 생성하기 위해 향상 모듈(EM10)의 하나 이상의 다른 인스턴스(instance)가 적용될 수 있다. 대안으로서 또는 추가로, 오디오 신호(AS10)는 다중 채널 신호의 둘 이상의 채널을 모노포닉 형태로 혼합함으로써 획득될 수 있다.

모듈(EM10)은 오디오 신호(AS10)의 오리지널 저음 성분들을 포함하는 저역 통과 신호(SL10)를 획득하기 위해 오디오 신호(AS10)를 저역 통과 필터링하도록 구성된 저역 통과 필터(LP10)를 포함한다. 저역 통과 필터(LP10)를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다. 모듈(EM10)은 저음 성분들의 더 높은 주파수의 고조파들도 포함하는 확장된 신호(SX10)를 생성하기 위해 저역 통과 신호(SL10)를 고조파로 확장하도록 구성된 고조파 확장 모듈(HX10)도 포함한다. 고조파 확장 모듈(HX10)은 정류기(예를 들어, 전파 정류기 또는 절대값 함수), 적분기(예를 들어, 전파 적분기) 및 피드백 승산기와 같은 비선형 디바이스로서 구현될 수 있다. 고조파 확장 모듈(HX10)의 대안 구현들에 의해 수행될 수 있는 다른 고조파 생성 방법들은 저주파수에서의 주파수 추적을 포함한다. 고조파 확장 모듈(HX10)은 그의 입력 및 출력 신호들의 진폭들 간의 비율이 적어도 저역 통과 신호(SL10)의 진폭들의 예상 범위에 걸쳐 (예를 들어, 25% 내에서) 실질적으로 일정하도록 진폭 선형성을 갖는 것이 바람직할 수 있다.

모듈(EM10)은 대역 통과 신호(SB10)를 생성하기 위해 확장 신호(SX10)를 대역 통과 필터링하도록 구성된 대역 통과 필터(BP10)도 포함한다. 로우 엔드(low end)에서, 대역 통과 필터(BP10)는 오리지널 저음 성분들을 감쇠시키도록 구성된다. 하이 엔드(high end)에서, 대역 통과 필터(BP10)는 선택된 컷오프 주파수 위에 있는 생성된 고조파들을 감쇠시키도록 구성되는데, 그 이유는 이러한 고조파들이 결과적인 신호의 왜곡을 유발할 수 있기 때문이다. 대역 통과 필터(BP10)를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다.

모듈(EM10)은 고역 통과 신호(SH10)를 생성하기 위해 오디오 신호(AS10)의 오리지널 저음 성분들을 감쇠시키도록 구성된 고역 통과 필터(HP10)도 포함한다. 필터(HP10)는 대역 통과 필터(BP10)와 동일한 저주파 컷오프를 사용하거나 다른(예를 들어, 더 낮은) 컷오프 주파수를 사용하도록 구성될 수 있다. 고역 통과 필터(HP10)를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다. 믹서(MX10)는 대역 통과 신호(SB10)를 고역 통과 신호(SH10)와 혼합하도록 구성된다. 믹서(MX10)는 대역 통과 신호(SB10)를 고역 통과 신호(SH10)와 혼합하기 전에 이를 증폭하도록 구성될 수 있다.

향상 모듈(EM10)의 고조파 확장 경로에서의 처리 지연들은 통과 경로와의 동기화의 손실을 유발할 수 있다. 도 9b는 그러한 지연을 보상하기 위해 고역 통과 신호(SH10)를 지연시키도록 구성되는 통과 경로 내의 지연 요소(DE10)를 포함하는 향상 모듈(EM10)의 일 구현(EM20)의 블록도를 나타낸다. 이 예에서, 믹서(MX10)는 결과적인 지연된 신호(SD10)를 대역 통과 신호(SB10)와 혼합하도록 배열된다. 도 10a 및 10b는 모듈들(EM10, EM20)의 대안 구현들(EM30, EM40)을 각각 나타내며, 이러한 구현들에서는 향상된 신호(SE10)를 생성하기 위해 믹서(MX10) 하류에 고역 통과 필터(HP10)가 적용된다.

도 11은 (예를 들어, 향상 모듈(EM10)의 일 구현에 의한) PBE 처리 전후의 음악 신호의 주파수 스펙트럼의 일례를 나타낸다. 이 도면에서, 배경(흑색) 영역 및 약 200 내지 500 Hz에서 보이는 라인은 오리지널 신호(예를 들어, SA10)를 나타내고, 전경(백색) 영역은 향상된 신호(예를 들어, SE10)를 나타낸다. 저주파 대역(예를 들어, 200 Hz 아래)에서, PBE 동작은 실제 저음의 약 10 dB을 감쇠시킨다. 그러나, 약 200 Hz 내지 600 Hz의 향상된 더 높은 고주파들로 인해, 향상된 음악 신호가 작은 스피커를 사용하여 재생될 때, 이것은 오리지널 신호보다 많은 저음을 갖는 것으로 지각된다.

저주파 재생성 한계의 영향을 줄이기 위해서만이 아니라 저주파들에서의 지향성 손실의 영향도 줄이도록 PBE를 적용하는 것이 바람직할 수 있다. 예를 들어, PBE를 빔 형성과 결합하여, 빔 형성기에 의해 조종될 수 있는 범위에서의 저주파 콘텐츠의 지각을 생성하는 것이 바람직할 수 있다. 향상된 신호로부터 지향성 빔들을 생성하기 위한 라우드스피커 어레이의 사용은 그러한 향상이 없는 오디오 신호로부터의 출력보다 훨씬 더 낮은 지각 주파수 범위를 갖는 출력을 제공한다. 게다가, 더 완화된 빔 형성기 설계를 이용하여 향상된 신호를 조종하는 것이 가능해지며, 이는 아티팩트들 및/또는 계산의 복잡성의 감소를 지원할 수 있고, 작은 라우드스피커들의 어레이를 이용한 저음 성분들의 더 효율적인 조종을 가능하게 할 수 있다. 이와 동시에, 그러한 시스템은 저주파 신호들(예를 들어, 럼블(rumble))에 의한 손상으로부터 작은 라우드스피커들을 보호할 수 있다.

도 12a는 일반 구성에 따른 시스템(S100)의 블록도를 나타낸다. 시스템(S100)은 장치(A100) 및 라우드스피커들의 어레이(R100)를 포함한다. 장치(A100)는 본 명세서에서 설명되는 바와 같이 향상된 신호(SE10)를 생성하기 위해 오디오 신호(SA10)를 처리하도록 구성된 향상 모듈(EM10)의 인스턴스를 포함한다. 장치(A100)는 복수 P개의 이미징 신호(SI10-1 내지 SI10-p)를 생성하기 위해 향상된 신호(SE10)에 대해 공간 처리 동작(예를 들어, 빔 형성, 빔 생성 또는 다른 음향 이미징 동작)을 수행하도록 구성된 공간 처리 모듈(PM10)도 포함한다. 장치(A100)는 P개의 이미징 신호 각각을 처리하여 복수 P개의 구동 신호(SO10-1 내지 SO10-p) 중 대응하는 하나를 생성하고 각각의 구동 신호를 어레이(R100)의 대응하는 라우드스피커에 인가하도록 구성된 오디오 출력 스테이지(AO10)도 포함한다. 어레이(R100)를 예를 들어 작은 라우드스피커들의 어레이로서 또는 개별 라우드스피커들이 서로 가까이 이격된 큰 라우드스피커들의 어레이로서 구현하는 것이 바람직할 수 있다.

저주파 신호 처리는 다른 공간 처리 기술들과 유사한 과제를 제공할 수 있으며, 그러한 경우에 시스템(S100)의 구현들은 지각적인 저주파 응답을 개선하고 오리지널 시스템 상의 저주파 설계의 부담을 줄이는 데 사용될 수 있다. 예를 들어, 공간 처리 모듈(PM10)은 빔 형성이 아닌 다른 공간 처리 기술을 수행하도록 구현될 수 있다. 그러한 기술들의 예들은 음장의 실제적인 파면을 재합성하기 위해 통상적으로 사용되는 파동장 합성(WFS; wavefield synthesis)을 포함한다. 그러한 접근법은 많은 수의 스피커(예를 들어, 12개, 15개, 20개 또는 그 이상)를 사용할 수 있으며, 일반적으로 개인 공간 사용의 경우가 아니라 사람들의 그룹에 대해 균일한 청취 경험을 달성하도록 구현된다.

도 12b는 작업들(T300, T400, T500)을 포함하는 일반 구성에 따른 방법(M100)의 흐름도를 나타낸다. 작업(T300)은 (예를 들어, 향상 모듈(EM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 주파수 범위 내의 에너지를 포함하는 오디오 신호를 고조파로 확장하여, 제1 주파수 범위 내의 오디오 신호의 상기 에너지의, 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성한다. 작업(T400)은 (예를 들어, 공간 처리 모듈(PM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 복수 P개의 이미징 신호를 생성한다. 예를 들어, 작업(T400)은 향상된 오디오 신호에 대해 빔 형성, 파동장 합성 또는 기타 음향 이미징 동작을 수행하도록 구성될 수 있다.

작업(T500)은 복수 P개의 이미징 신호 각각에 대해, 복수 P개의 구동 신호 중 대응하는 하나를 어레이의 복수 P개의 라우드스피커 중 대응하는 하나에 인가하며, 구동 신호는 이미징 신호에 기초한다. 일례에서, 어레이는 휴대용 컴퓨팅 디바이스(예를 들어, 랩탑, 넷북 또는 태블릿 컴퓨터)에 설치된다.

도 13a는 향상된 신호(SE10)를 처리하여 복수 P개의 이미징 신호(SI10-1 내지 SI10-p) 중 대응하는 하나를 생성하도록 각각 배열된 복수의 공간 처리 필터(PF10-1 내지 PF10-p)를 포함하는 공간 처리 모듈(PM10)의 일 구현(PM20)의 블록도를 나타낸다. 일례에서, 각각의 필터(PF10-1 내지 PF10-p)는 빔 형성 필터(예를 들어, FIR 또는 IIR 필터)이며, 그의 계수들은 본 명세서에서 설명되는 바와 같이 LCMV, MVDR, BSS 또는 기타 지향성 처리 접근법을 이용하여 계산될 수 있다. 어레이(R100)의 대응하는 응답은 다음과 같이 표현될 수 있다.

여기서, ω는 주파수를 나타내고, θ는 원하는 빔 각도를 나타내고, 라우드스피커들의 수 P = 2M + 1이고,

는 공간 처리 필터 PF10-(i-M-1)(1 <= i <= P에 대해)의 주파수 응답이고, w_n(k)는 공간 처리 필터 PF10-(i-M-1)의 임펄스 응답하고,

이고, c는 음속이고, d는 라우드스피커간 간격이고, f_s는 샘플링 주파수이고, k는 시간-도메인 샘플 지수이고, L은 FIR 필터 길이이다.

그러한 시스템에 대한 예측되는 용도들은 핸드헬드 디바이스(예를 들어, 스마트폰) 상의 어레이로부터 대형 스크린 텔레비전의 위 또는 아래에 설치될 수 있는 큰 어레이(예를 들어, 최대 1 미터 또는 그 이상의 전체 길이)에 이르는 광범위한 응용들을 포함하지만, 더 큰 설비들도 본 발명의 범위 내에 있다. 실제로는, 어레이(R100)가 적어도 4개의 라우드스피커를 갖는 것이 바람직할 수 있으며, 일부 응용들에서는 6개 라우드스피커의 어레이로 충분할 수 있다. 본 명세서에서 설명되는 지향성 처리, PBE 및/또는 테이퍼링 접근법들과 더불어 사용될 수 있는 어레이들의 다른 예들은 스피커 바들(bars)의 YSP 라인(Yamaha Corp., JP), ES7001 스피커 바(Marantz America, Inc., Mahwah, NJ), CSMP88 스피커 바(Coby Electronics Corp., Lake Success, NY) 및 Panaray MA12 스피커 바(Bose Corp., Framingham, MA)를 포함한다. 그러한 어레이들은 예를 들어 비디오 스크린 위 또는 아래에 설치될 수 있다.

향상된 신호(SE10)(또는 이 신호의 전구체)를 고역 통과 필터링하여 입력 오디오 신호(SA10)의 저주파 에너지를 제거하는 것이 바람직할 수 있다. 예를 들어, (예를 들어, 라우드스피커간 간격에 의해 결정되는 바와 같은) 어레이가 그 아래에서 효과적으로 지향시킬 수 있는 주파수들의 에너지를 제거하는 것이 바람직할 수 있는데, 그 이유는 그러한 에너지가 열악한 빔 형성 성능을 유발할 수 있기 때문이다.

저주파 빔 패턴 재생은 어레이 치수에 의존하므로, 빔들은 저주파 범위에서 넓어지는 경향이 있으며, 이는 비지향성 저주파 사운드 이미지를 유발한다. 저주파 지향성 사운드 이미지를 교정하는 한 가지 접근법은 향상 동작의 다양한 적극 설정들(aggressiveness settings)을 사용하여, 이 동작에서의 저주파 및 고주파 컷오프들이 어레이가 지향성 사운드 이미지를 생성할 수 있는 주파수 범위의 함수로서 선택되게 하는 것이다. 예를 들어, 저주파 컷오프를 트랜스듀서간 간격의 함수로서 선택하여 비지향성 에너지를 제거하고 그리고/또는 고주파 컷오프를 트랜스듀서간 간격의 함수로서 선택하여 고주파 앨리어싱을 감쇠시키는 것이 바람직할 수 있다.

다른 접근법은 어레이가 지향성 사운드 이미지를 생성할 수 있는 주파수 범위의 함수로서 설정된 컷오프를 갖는 추가적인 고역 통과 필터를 PBE 출력에서 사용하는 것이다. 도 13b는 공간 처리 모듈(PM10)의 상류에서 향상된 신호(SE10)를 고역 통과 필터링하도록 구성된 고역 통과 필터(HP20)를 포함하는 장치(A100)의 그러한 구현(A110)의 블록도를 나타낸다. 도 13c는 컷오프 주파수(fc)가 라우드스피커간 간격에 따라 선택되는 고역 통과 필터(HP20)의 크기 응답의 일례를 나타낸다. 고역 통과 필터(HP20)를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다. 유사하게, 고주파 범위는 공간 앨리어싱에 취약하며, 고주파 앨리어싱을 줄이기 위해 트랜스듀서간 간격의 함수로서 정의되는 컷오프를 갖는 저역 통과 필터를 PBE 출력에서 사용하는 것이 바람직할 수 있다. 그러한 저역 통과 필터를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다.

도 14는 유사한 구성의 블록도를 나타낸다. 이 예에서는, 방향 θ로 조종될 모노포닉 소스 신호(예를 들어, 오디오 신호(SA10))가 본 명세서에서 설명되는 바와 같은 PBE 동작을 이용하여 향상되며, 따라서 PBE 모듈에서의 저주파 및 고주파 컷오프들은 트랜스듀서 배치(예를 들어, 어레이가 효과적으로 조종하지 못할 수 있는 낮은 주파수들 및 공간 앨리어싱을 유발할 수 있는 높은 주파수들을 피하기 위해, 라우드스피커간 간격)의 함수로서 설정된다. 복수의 처리 경로에 의해 향상된 신호(SE10)를 처리하여 대응하는 복수의 구동 신호를 생성하며, 따라서 각각의 경로는 대응하는 빔 형성기 필터, 고역 통과 필터 및 저역 통과 필터를 포함하고, 이들의 설계들은 트랜스듀서 배치(예를 들어, 라우드스피커간 간격)의 함수들이다. 각각의 그러한 필터를 그의 통과 대역에 비해 그의 저지 대역을 적어도 6(또는 10 또는 12) 데시벨만큼 감쇠시키도록 구성하는 것이 바람직할 수 있다. 도 9 및 10과 관련하여 전술한 바와 같은 치수들을 갖는 어레이의 경우, 빔 폭은 1 kHz 이하의 주파수들에 대해 너무 넓고, 6 kHz 이상의 주파수들에서 공간 앨리어싱이 발생할 수 있을 것으로 예측될 수 있다. 도 14의 예에서, 고역 통과 필터 설계는 또한 빔 방향에 따라 선택되고, 따라서 원하는 방향에서 거의 또는 전혀 고역 통과 필터링이 수행되지 않으며, 고역 통과 필터링 동작은 다른 방향들에서 더 적극적이다(예를 들어, 더 낮은 컷오프 및/또는 더 많은 저지 대역 감쇠를 갖는다). 도 14에 도시된 고역 통과 및 저역 통과 필터들은 예를 들어 오디오 출력 스테이지(AO10) 내에 구현될 수 있다.

라우드스피커 어레이가 특정 방향으로 빔을 조종하는 데 사용될 때, 사운드 신호는 여전히 다른 방향들에서도(예컨대, 주요 빔의 사이드로브들의 방향들에서) 들리는 것이 가능하다. 도 15에 도시된 바와 같이, 마스킹 잡음을 이용하여 다른 방향들에서(예컨대, 남은 사이드로브 에너지를 마스킹하기 위하여) 사운드를 마스킹하는 것이 바람직할 수 있다.

도 16은 잡음 생성기(NG10) 및 공간 처리 모듈(PM10)의 제2 인스턴스(PM20)를 포함하는 장치(A100)의 그러한 구현(A200)의 블록도를 나타낸다. 잡음 생성기(NG10)는 잡음 신호(SN10)를 생성한다. 잡음 신호(SN10)의 스펙트럼 분포는 마스킹될 사운드 신호(즉, 오디오 신호(SA10))의 스펙트럼 분포와 유사한 것이 바람직할 수 있다. 일례에서, 사람의 음성을 마스킹하기 위해 배블 잡음(babble noise)(예를 들어, 여러 사람 음성들의 조합)이 사용된다. 잡음 생성기(NG10)에 의해 생성될 수 있는 잡음 신호들의 다른 예들은 백색 잡음, 핑크 잡음 및 거리 잡음을 포함한다.

공간 처리 모듈(PM20)은 잡음 신호(SN10)에 대해 공간 처리 동작(예로서, 빔 형성, 빔 생성 또는 다른 음향 이미징 동작)을 수행하여 복수 Q개의 이미징 신호(SI20-1 내지 SI20-q)를 생성한다. Q의 값은 P와 동일할 수 있다. 대안으로서, Q는 P보다 작아서 더 적은 라우드스피커들을 사용하여 마스킹 잡음 이미지를 생성할 수 있거나, P보다 커서 더 적은 라우드스피커들을 사용하여 마스킹되는 사운드 이미지를 생성할 수 있다.

공간 처리 모듈(PM20)은 장치(A200)가 어레이(R100)를 구동하여 마스킹 잡음을 특정 방향들로 지향시키도록 구성될 수 있거나, 잡음은 단순히 공간적으로 분포될 수 있다. 각각의 원하는 소스의 빔의 주요 로브 밖의 각각의 원하는 사운드 소스보다 강한 마스킹 잡음 이미지를 생성하도록 장치(A200)를 구성하는 것이 바람직할 수 있다.

특정 응용에서, 본 명세서에서 설명되는 바와 같은 장치(A200)의 다중 소스 구현은 어레이(R100)를 구동하여 2개의 사람 음성을 상이한(예를 들어, 반대) 방향으로 투영시키도록 구성되며, 배블 잡음은 잔여 음성들을 그러한 방향들 밖의 배경 배블 잡음으로 약해지게 하는 데 사용된다. 그러한 경우, 마스킹 잡음으로 인해, 원하는 방향들과 다른 방향들에서는 음성들이 무엇을 얘기하고 있는지를 지각하기가 매우 어렵다.

(예를 들어, 빔 및 널 빔의 생성에 의해 또는 역 필터링에 의해) 사용자의 위치에서 라우드스피커 어레이에 의해 생성되는 공간 이미지는 통상적으로 어레이의 축이 사용자의 귀들의 축에 대해 옆에 있을 때(즉, 평행할 때) 가장 효과적이다. 청취자에 의한 머리 움직임은 주어진 어레이에 대한 차선의 사운드 이미지 생성을 유발할 수 있다. 예를 들어, 사용자가 그의 머리를 옆으로 돌릴 때, 원하는 공간 이미징 효과는 더 이상 유효하지 않을 수 있다. 일관된 사운드 이미지를 유지하기 위하여, 통상적으로는 사용자의 머리의 위치 및 배향을 알아서, 빔들이 사용자의 귀들에 대해 적절한 방향들로 조종될 수 있게 하는 것이 중요하다. 그러한 머리 움직임에 대해 강건한 공간 이미지를 생성하도록 시스템(S100)을 구현하는 것이 바람직할 수 있다.

도 17은 장치(A100)의 일 구현(A250) 및 복수 Q개의 라우드스피커를 갖는 제2 라우드스피커 어레이(R200)를 포함하는 시스템(S100)의 일 구현(S200)의 블록도를 나타내며, 여기서 Q는 P와 동일하거나 상이할 수 있다. 장치(A250)는 향상된 신호(SE10)에 대해 공간 처리 동작을 수행하여 이미징 신호들(SI10-1 내지 SI10-p)을 생성하도록 구성된 공간 처리 모듈(PM10)의 인스턴스(PM10a) 및 향상된 신호(SE10)에 대해 공간 처리 동작을 수행하여 이미징 신호들(SI20-1 내지 SI20-q)을 생성하도록 구성된 공간 처리 모듈(PM10)의 인스턴스(PM10b)를 포함한다. 장치(A250)는 또한 본 명세서에서 설명되는 바와 같은 오디오 출력 스테이지(AO10)의 대응하는 인스턴스들(AO10a, AO10b)을 포함한다.

장치(A250)는 또한 사용자의 머리의 위치 및/또는 배향을 추적하고, 오디오 출력 스테이지(AO10)의 대응하는 인스턴스(AO10a 또는 AO10b)가 (예를 들어, 구동 신호들(SO10-1 내지 SO10-p 또는 SO20-1 내지 SO20-q)의 대응하는 세트를 통해) 어레이들(R100 및 R200) 중 대응하는 하나를 구동할 수 있게 하도록 구성된 추적 모듈(TM10)을 포함한다. 도 18은 시스템(S200)의 한 응용례의 평면도를 나타낸다.

추적 모듈(TM10)은 임의의 적절한 추적 기술에 따라 구현될 수 있다. 일례에서, 추적 모듈(TM10)은 (예를 들어, 도 18에 도시된 바와 같은) 카메라(CM10)로부터의 비디오 이미지들을 분석하여 사용자의 얼굴 특징들을 추적하고, 아마도 둘 이상의 사용자를 구별하고 개별적으로 추적하도록 구성된다. 대안으로서 또는 추가로, 추적 모듈(TM10)은 둘 이상의 마이크를 이용하여 사용자의 머리의 위치 및/또는 배향을 추적하여 사용자의 음성의 도달 방향(DOA)을 추정하도록 구성될 수 있다. 도 18은, 어레이(R100)의 라우드스피커들 사이에 인터레이싱된 한 쌍의 마이크(MA10, MA20)가 어레이(R100)에 면하는 사용자의 음성의 존재를 검출하고 그리고/또는 그의 DOA를 추정하는 데 사용되고, 어레이(R200)의 라우드스피커들 사이에 인터레이싱된 다른 한 쌍의 마이크(MB10, MB20)가 어레이(R200)에 면하는 사용자의 음성의 존재를 검출하고 그리고/또는 그의 DOA를 추정하는 데 사용되는 특정 예를 나타낸다. 추적 모듈(TM10)의 구현들의 추가적인 예들은 미국 특허 제7,272,073 B2호(Pellegrini, 2007년 9월 18일자로 허여됨)에 설명된 바와 같은 초음파 배향 추적 및/또는 미국 특허 가출원 제61/448,950호(2011년 3월 3일자로 출원됨)에 설명된 바와 같은 초음파 위치 추적을 이용하도록 구성될 수 있다. 시스템(S200)의 응용들의 예들은 오디오 및/또는 비디오 회의와 오디오 및/또는 비디오 전화 통화를 포함한다.

어레이들(R100, R200)이 직교하거나 실질적으로 직교(예를 들어, 적어도 60 또는 70도이고 110 또는 120도보다는 크지 않은 각도를 형성하는 축들을 가짐)하도록 시스템(S200)을 구현하는 것이 바람직할 수 있다. 추적 모듈(TM10)이 사용자의 머리가 특정 어레이에 면하도록 돌아간 것을 검출할 때, 모듈(TM10)은 오디오 출력 스테이지(AO10a 또는 AO10b)가 대응하는 이미징 신호들에 따라 그 어레이를 구동하게 할 수 있다. 도 18에 도시된 바와 같이, 2개, 3개 또는 4개 이상의 상이한 어레이 중에서의 선택을 지원하도록 시스템(S200)을 구현하는 것이 바람직할 수 있다. 예를 들어, 추적 모듈(TM10)에 의해 지시되는 바와 같은 위치 및/또는 배향에 따라, 동일 축을 따라 상이한 위치들에 있는 상이한 어레이들(예를 들어, 어레이들(R100, R300)) 중의 선택 및/또는 반대 방향을 향하는 어레이들(예를 들어, 어레이들(R200, R400)) 중의 선택을 지원하도록 시스템(S200)을 구현하는 것이 바람직할 수 있다.

라우드스피커 어레이들에 대한 이전의 접근법들은 균일한 선형 어레이들(예를 들어, 인접 라우드스피커들 사이에 균일한 간격을 갖는 직선 축을 따라 배열된 라우드스피커들의 어레이)을 사용한다. 균일한 선형 어레이 내의 라우드스피커간 거리가 작은 경우, 더 적은 주파수들이 공간 앨리어싱에 의해 영향을 받지만, 낮은 주파수들에서의 공간 빔 패턴 생성은 열악할 것이다. 큰 라우드스피커간 간격은 더 양호한 저주파 빔들을 생성하지만, 이 경우에 고주파 빔들은 공간 앨리어싱으로 인해 산란될 것이다. 빔 폭들은 또한 트랜스듀서 어레이 치수 및 배치에 의존한다.

저주파 성능과 고주파 성능 간의 균형의 엄격함을 줄이는 한 가지 접근법은 라우드스피커 어레이로부터 라우드스피커들을 샘플링하는 것이다. 일례에서, 샘플링은 인접 라우드스피커들 간에 더 큰 간격을 갖는 서브어레이를 생성하는 데 사용되며, 이러한 서브어레이는 낮은 주파수들을 더 효과적으로 조종하는 데 사용될 수 있다.

이 경우, 일부 주파수 대역들에서의 서브어레이의 사용은 다른 주파수 대역들에서의 상이한 서브어레이의 사용에 의해 보완될 수 있다. 신호 콘텐츠의 주파수가 증가할 때 인에이블되는 라우드스피커들의 수를 증가시키는 것이 (대안으로서, 신호 콘텐츠의 주파수가 감소할 때 인에이블되는 라우드스피커들의 수를 줄이는 것이) 바람직할 수 있다.

도 19는 어레이 내의 비선형적으로 이격된 라우드스피커들의 구성의 도면을 나타낸다. 이 예에서, 서로 더 가까이 이격된 라우드스피커들의 서브어레이(R100a)가 신호 내의 더 높은 주파수 콘텐츠를 재생하는 데 사용되고, 더 멀리 이격된 라우드스피커들의 서브어레이(R100b)가 저주파 빔들의 출력을 위해 사용된다.

최고 신호 주파수들을 위해 라우드스피커들 모두를 인에이블하는 것이 바람직할 수 있다. 도 20은 어레이(R100)가 2개의 효과적인 서브어레이, 즉 높은 주파수들의 재생을 위한 제1 어레이(모든 라우드스피커들) 및 낮은 주파수들의 재생을 위해 더 큰 라우드스피커간 간격을 갖는 제2 어레이(하나 거른 라우드스피커들)를 생성하도록 샘플링되는 그러한 일례에 대한 오디오 출력 스테이지(AO20)의 일 구현(AO30)의 혼합 기능의 도면을 나타낸다. (명료화를 위해, 이 예에서는, 오디오 출력 스테이지의 증폭, 필터링 및/또는 임피던스 매칭과 같은 다른 기능들이 도시되지 않는다.)

도 21은 어레이(R100)가 3개의 효과적인 서브어레이, 즉 높은 주파수들의 재생을 위한 제1 어레이(모든 라우드스피커들), 중간 주파수들의 재생을 위해 더 큰 라우드스피커간 간격을 갖는 제2 어레이(하나 거른 라우드스피커들) 및 낮은 주파수들의 재생을 위해 훨씬 더 큰 라우드스피커간 간격을 갖는 제3 어레이(둘 거른 라우드스피커들)를 생성하도록 샘플링되는 일례에 대한 오디오 출력 스테이지(AO20)의 일 구현(AO40)의 혼합 기능의 도면을 나타낸다. 서로 불균일한 간격을 갖는 그러한 서브어레이들의 생성은 균일한 어레이에 대해서도 상이한 주파수 범위들에 대해 유사한 빔 폭들을 획득하는 데 사용될 수 있다.

다른 예에서, 샘플링은 불균일한 간격을 갖는 라우드스피커 어레이를 획득하는 데 사용되며, 이러한 라우드스피커 어레이는 저주파 및 고주파 대역들에서의 사이드로브들과 메인로브들 사이의 더 양호한 절충을 획득하는 데 사용될 수 있다. 본 명세서에서 설명되는 바와 같은 어레이들은 본 명세서에서 설명되는 임의의 다양한 이미징 효과(예를 들어, 마스킹 잡음, 상이한 각각의 방향의 다수의 소스, 빔의 방향 및 사용자의 귀들 각각에서의 대응하는 널 빔 등)를 생성하기 위해 개별적으로 또는 결합하여 구동될 수 있다.

상이한 서브어레이들의 라우드스피커들 및/또는 상이한 어레이들의 라우드스피커들(예를 들어, 도 18에 도시된 바와 같은 R100, R200, R300 및/또는 R400)은 도전성 와이어들, 광섬유 케이블(예를 들어, S/PDIF 접속 등을 통한 aTOSLINK 케이블)을 통해 또는 무선으로(예를 들어, Wi-Fi(예를 들어, IEEE 802.11) 접속을 통해) 통신하도록 구성될 수 있다. 그러한 통신 링크를 지원하는 데 사용될 수 있는 무선 방법들의 다른 예들은 블루투스(Bluetooth)(예를 들어, WA, 커클랜드의 블루투스 SIG 사의 [클래식 블루투스, 블루투스 고속 및 블루투스 저에너지 프로토콜들을 포함하는] 블루투스 코어 사양 버전 4.0에 설명된 바와 같은 헤드셋 또는 기타 프로파일), 피넛(Peanut)(CA, 샌디에고의 QUALCOMM 사) 및 (예를 들어, CA 샌라몬의 지그비 동맹의 지그비 2007 사양 및/또는 지그비 RF4CE 사양에 기술된 바와 같은) 지그비(ZigBee)와 같은 (예를 들어, 수 인치에서 수 피트까지의) 단거리 통신을 위한 저전력 라디오 사양들을 포함한다. 사용될 수 있는 다른 무선 송신 채널들은 적외선 및 초음파와 같은 비 라디오 채널들을 포함한다. 상이한 어레이들 및/또는 서브어레이들 사이의 그러한 통신을 이용하여 음장들을 생성하는 것이 바람직할 수 있다. 그러한 통신은 빔 설계들의 중계, 어레이들 사이에서 시간적으로 변하는 빔 패턴들의 조정, 오디오 신호들의 재생 등을 포함할 수 있다. 일례에서, 도 18에 도시된 바와 같은 상이한 어레이들은 원하는 각각의 방향으로 하나 이상의 공통 오디오 소스를 적응적으로 지향시키기 위해 유선 및/또는 무선 접속을 통해 통신하는 각각의 랩탑 컴퓨터에 의해 구동된다.

부대역 샘플링과 본 명세서에서 설명되는 바와 같은 PBE 기술을 결합하는 것이 바람직할 수 있다. 그러한 샘플링된 어레이를 사용하여 PBE 확장 신호로부터 매우 지향적인 빔들을 생성하는 것은 PBE 없는 신호로부터의 출력보다 훨씬 낮은 지각 주파수 범위를 갖는 출력을 발생시킨다.

도 22는 장치(A100)의 일 구현(A300)의 블록도를 나타낸다. 장치(A300)는 오디오 신호(SA10a)에 대해 공간 처리 동작을 수행하여 이미징 신호들(SI10-1 내지 SI10-m)을 생성하도록 구성된 신호 처리 모듈(PM10)의 인스턴스(PM10a) 및 향상 신호(SE10)에 대해 공간 처리 동작을 수행하여 이미징 신호들(SI20-1 내지 SI20-n)을 생성하도록 구성된 공간 처리 모듈(PM10)의 인스턴스(PM10b)를 포함한다.

장치(A300)는 또한 복수 P개의 구동 신호(SO10-1 내지 SO10-p)를 어레이(R100)의 대응하는 복수 P개의 라우드스피커에 인가하도록 구성된 오디오 출력 스테이지(AO20)의 인스턴스를 포함한다. 구동 신호들(SO10-1 내지 SO10-p)의 세트는 어레이(R100)의 M개의 라우드스피커의 대응하는 서브어레이에 인가되는 M개의 구동 신호를 포함하며, 이들 각각은 이미징 신호들(SI10-1 내지 SI10-m) 중 대응하는 하나에 기초한다. 구동 신호들(SO10-1 내지 SO10-p)의 세트는 어레이(R100)의 N개의 라우드스피커의 대응하는 서브어레이에 인가되는 N개의 구동 신호도 포함하며, 이들 각각은 이미징 신호들(SI20-1 내지 SI20-n) 중 대응하는 하나에 기초한다.

M개 및 N개의 라우드스피커의 서브어레이들은 (예를 들어, 어레이들(R100a, R100b)과 관련하여 도 19에 도시된 바와 같이) 서로 분리될 수 있다. 그러한 경우에, P는 M 및 N 양자보다 크다. 대안으로서, M개 및 N개의 라우드스피커의 서브어레이들은 상이하지만 중복될 수 있다. 그러한 하나의 예에서, M은 P와 동일하고, M개 라우드스피커의 서브어레이는 N개 라우드스피커의 서브어레이(및 아마도 어레이 내의 모든 라우드스피커들)를 포함한다. 이러한 특정 경우에서, 복수의 M개 구동 신호는 복수의 N개 구동 신호도 포함한다. 도 20에 도시된 구성은 그러한 경우의 일례이다.

도 22에 도시된 바와 같이, 오디오 신호들(SA10a, SA10b)은 상이한 소스들로부터 유래될 수 있다. 이 경우, 공간 처리 모듈들(PM10a, PM10b)은 2개의 신호를 유사한 방향들로 또는 서로 독립적으로 지향시키도록 구성될 수 있다. 도 37은 양 이미징 경로가 동일 오디오 신호(SA10)에 기초하는 장치(A300)의 일 구현(A350)의 블록도를 나타낸다. 이 경우, 모듈들(PM10a, PM10b)은 오디오 신호(SA10)의 전체 이미지가 향상되도록 각각의 이미지를 동일 방향으로 지향시키는 것이 바람직할 수 있다.

이미징 신호들(SI20-1 내지 SI20-n)에(즉, 향상 경로에) 대응하는 구동 신호들을 더 큰 라우드스피커간 간격을 갖는 서브어레이에 인가하고, 이미징 신호들(SI10-1 내지 SI10-m)에 대응하는 구동 신호들을 더 작은 라우드스피커간 간격을 갖는 서브어레이에 인가하도록 오디오 출력 스테이지(AO20)를 구성하는 것이 바람직할 수 있다. 그러한 구성은 향상 신호(SE10)가 공간적으로 이미징된 저주파 콘텐츠의 향상된 지각을 지원할 수 있게 한다. 지향성 손실 및 공간 앨리어싱의 상이한 개시를 제공하기 위해 하나 이상의(아마도 모든) 저역 통과 및/또는 고역 통과 필터 컷오프가 장치(A300, A350)의 다른 경로에서보다 향상 경로에서 더 낮도록 구성하는 것도 바람직할 수 있다.

향상 신호(예를 들어, 신호(SE10))가 샘플링된 어레이를 구동하는 데 사용되는 경우, 다양한 서브어레이들의 처리 경로들에 대해 상이한 설계들을 사용하는 것이 바람직할 수 있다. 도 23a는 도 21과 관련하여 전술한 바와 같은 3-서브어레이 스킴의 처리 경로들에 대한 3개의 상이한 대역 통과 설계의 일례를 나타낸다. 각각의 경우에, 대역은 특정 서브어레이에 대한 라우드스피커간 간격에 따라 선택된다. 예를 들어, 저주파 컷오프는 서브어레이가 효과적으로 조종할 수 있는 최저 주파수에 따라 선택될 수 있으며, 고주파 컷오프는 (예를 들어, 통과되는 최고 주파수의 파장이 라우드스피커간 간격보다 2배 이상 크도록) 공간 앨리어싱이 시작될 것으로 예상되는 주파수에 따라 선택될 수 있다. 각각의 라우드스피커가 효과적으로 재생할 수 있는 최저 주파수는 최대 라우드스피커간 간격을 갖는 서브어레이(즉, 서브어레이 c)가 효과적으로 조종할 수 있는 최저 주파수보다 훨씬 낮을 것으로 예상되지만, 그렇지 않은 경우에 저주파 컷오프는 최저 재생 가능 주파수에 따라 선택될 수 있다.

향상 신호가 샘플링된 어레이를 구동하는 데 사용되는 경우, 각각의 PBE 동작의 고조파 확장 동작에 대한 입력에서의 저역 통과 필터에 대한 상이한 설계와 더불어, 서브어레이들 중 하나 이상의 서브어레이 각각에 대해 PBE 동작의 상이한 인스턴스를 사용하는 것이 바람직할 수 있다. 도 23b는 도 21과 관련하여 전술한 바와 같은 3-서브어레이 스킴에 대한 3개의 상이한 저역 통과 설계들의 일례를 나타낸다. 각각의 경우에, 컷오프는 특정 서브어레이에 대한 라우드스피커간 간격에 따라 선택된다. 예를 들어, 저주파 컷오프는 서브어레이가 효과적으로 조종할 수 있는 최저 주파수(대안으로서, 최저 재생 가능 주파수)에 따라 선택될 수 있다.

지나치게 적극적인 PBE 동작은 출력 신호 내에 바람직하지 않은 아티팩트들을 발생시킬 수 있으며, 따라서 PBE의 불필요한 사용을 피하는 것이 바람직할 수 있다. PBE 동작의 상이한 인스턴스가 서브어레이들 중 하나 이상의 서브어레이 각각에 대해 사용되는 경우, 고주파 서브어레이들의 고조파 확장 동작들에 대한 입력들에서 저역 통과 필터 대신에 대역 통과 필터를 사용하는 것이 바람직할 수 있다. 도 23c는 고주파 서브어레이들 각각에 대한 이러한 저역 통과 필터의 저주파 컷오프가 다음의 최저 주파수 대역에 대한 서브어레이의 고역 통과 컷오프에 따라 선택되는 일례를 나타낸다. 추가적인 대안에서는, 최저 주파수 서브어레이만이 (예를 들어, 장치(A300, A350)와 관련하여 본 명세서에서 설명되는 바와 같이) PBE-향상 신호를 수신한다. 양(예를 들어, 모든) 경로들이 향상되는 장치들(A300, A350)의 구현들과 같이, 둘 이상의 향상 경로 및/또는 둘 이상의 비향상 경로를 갖는 장치들(A300, A350)의 구현들이 명확히 고려되고, 본 명세서에 개시된다.

본 명세서에서 설명되는 원리들은 (예를 들어, 도 24a에 도시된 바와 같은) 균일한 선형 어레이와 함께 사용하는 것으로 한정되지 않는다는 점에 분명히 유의해야 한다. 예컨대, 음향 이미징과 PBE(및/또는 후술하는 바와 같은 서브어레이들 및 테이퍼링)의 조합이 인접 라우드스피커들 사이에 불균일한 간격을 갖는 선형 어레이와 더불어 사용될 수도 있다. 도 24b는 라우드스피커들 사이에 대칭 옥타브 간격을 갖는 그러한 어레이의 일례를 나타내고, 도 24c는 비대칭 옥타브 간격을 갖는 그러한 어레이의 다른 예를 나타낸다. 게다가, 그러한 원리들은 선형 어레이들과 함께 사용하는 것으로 한정되지 않으며, (예를 들어, 도 24d에 도시된 바와 같이) 균일한 간격을 갖는지에 또는 불균일한(예를 들어, 옥타브) 간격을 갖는지에 관계없이 단순 곡선을 따라 배열된 요소들을 갖는 어레이들과도 함께 사용될 수 있다. 본 명세서에서 설명되는 동일 원리들은 또한 도 18의 예에 대해 설명된 바와 같이 동일한 또는 상이한(예를 들어, 직교하는) 직선 또는 곡선 축들을 따라 다수의 어레이를 갖는 응용들에서 각각의 어레이에 개별적으로 적용된다.

본 명세서에서 설명되는 원리들은 각각의 라우드스피커를 구동하도록 합산되는 구동 신호들의 다수 세트를 생성하기 위해 빔 형성, 향상 및/또는 테이퍼링 동작들의 각각의 인스턴스를 통해 동일 어레이 또는 어레이들을 구동하는 다수의 모노포닉 소스들로 확장될 수 있다는 점에 분명히 유의해야 한다. 일례에서는, PBE 동작, 빔 형성기 및 (예를 들어, 도 13b에 도시된 바와 같은) 고역 통과 필터를 포함하는 경로의 개별 인스턴스가 각각의 소스 신호에 대해 특정 소스에 대한 지향성 및/또는 향상 기준들에 따라 구현되어, 각각의 라우드스피커에 대한 각각의 구동 신호를 생성하며, 이어서 이 구동 신호는 해당 라우드스피커에 대한 다른 소스들에 대응하는 구동 신호들과 합산된다. 유사한 예에서, 도 12a에 도시된 바와 같은 향상 모듈(EM10) 및 공간 처리 모듈(PM10)을 포함하는 경로의 개별 인스턴스가 각각의 소스 신호에 대해 구현된다. 유사한 예에서, 도 14에 도시된 PBE, 빔 형성 및 필터링 동작들의 개별 인스턴스가 각각의 소스 신호에 대해 구현된다. 도 38은 상이한 오디오 신호들(SA10a, SA10b)의 개별 향상 및 이미징을 지원하는 장치(A100)의 일 구현(A500)의 블록도를 나타낸다.

도 25는 3개의 소스 신호가 그러한 방식으로 상이한 대응하는 방향들로 지향되는 일례를 나타낸다. 응용들은 (아마도, 동일한 대응 신호를 각각의 사용자에게 계속 제공하기 위해 사용자 위치의 변경들을 추적하고 빔들을 적응시키는 것과 연계하여) 상이한 위치들에 있는 사용자들에게 상이한 소스 신호들을 지향시키는 것과 (예를 들어, 각각의 채널에 대해 빔을 사용자의 귀 중 대응하는 것으로 지향시키고 널 빔을 다른 귀로 지향시킴에 의한) 스테레오 이미징을 포함한다.

도 19는 빔이 사용자의 좌측 귀로 지향되고, 대응하는 널 빔이 사용자의 우측 귀로 지향되는 일례를 나타낸다. 도 26은 유사한 예를 나타내고, 도 27은 다른 소스(예를 들어, 다른 스테레오 채널)가 사용자의 우측 귀로 지향되는(그리고 대응하는 널 빔이 사용자의 좌측 귀로 지향되는) 일례를 나타낸다.

스테레오 이미지를 전달하는 데 사용될 수 있는 다른 혼선 제거(crosstalk cancellation) 기술은 어레이의 각각의 라우드스피커에 대해 라우드스피커로부터 사용자의 귀들 각각으로의 대응하는 머리 관련 전달 함수(HRTF)를 측정하고; 역전달 함수 행렬을 계산함으로써 그러한 혼합 시나리오를 반전시키고; 반전된 행렬을 통해 대응하는 이미징 신호들을 생성하도록 공간 처리 모듈(PM10)을 구성하는 것이다.

본 명세서에서 설명되는 저역 통과 컷오프, 고역 통과 컷오프 및/또는 테이퍼링 동작들 중 하나 이상이 최종 사용자에 의해 조정될 수 있도록 사용자 인터페이스를 제공하는 것이 바람직할 수 있다. 추가로 또는 대안으로서, 사용자가 본 명세서에서 설명되는 바와 같은 PBE 동작을 인에이블 또는 디스에이블시킬 수 있는 스위치 또는 다른 인터페이스를 제공하는 것이 바람직할 수 있다.

전술한 다양한 지향성 처리 기술들은 원거리장 모델을 사용하지만, 더 큰 어레이에 대해, (예를 들어, 사운드 이미지가 근거리장에서만 들리도록) 근거리장 모델을 대신 사용하는 것이 바람직할 수 있다. 하나의 그러한 예에서, 어레이 좌측의 트랜스듀서들은 빔을 어레이를 가로질러 우측으로 지향시키는 데 사용되고, 어레이 우측의 트랜스듀서들은 빔을 어레이를 가로질러 좌측으로 지향시키는 데 사용되며, 따라서 빔들은 근거리장 사용자의 위치를 포함하는 초점에서 교차한다. 이러한 접근법은 소스가 원거리장 위치들에서(예를 들어, 사용자의 뒤에서 어레이로부터 1 또는 2 미터 이상 떨어진 곳에서) 들리지 않도록 하기 위해 마스킹 잡음과 연계하여 사용될 수 있다.

진폭 및/또는 트랜스듀서간 지연을 조종함으로써, 빔 패턴들이 특정 방향들로 생성될 수 있다. 어레이는 공간적으로 분포된 트랜스듀서 배열을 가지므로, 지향성 사운드 이미지는 원하는 방향으로부터 떨어져 위치하는 트랜스듀서들의 진폭들을 줄임으로써 더 향상될 수 있다. 이러한 진폭 제어는 진폭 테이퍼링 라우드스피커 어레이를 생성하기 위해 (예를 들어, 도 28의 예들에 도시된 바와 같은) 상이한 라우드스피커들에 대한 상이한 이득 인자들을 정의하는 테이퍼링 윈도와 같은 공간 정형(shaping) 함수를 이용함으로써 구현될 수 있다. 진폭 테이퍼링에 사용될 수 있는 윈도들의 상이한 타입들은 해밍(Hamming), 해닝(Hanning), 삼각, 체비셰프(Chebyshev) 및 테일러(Taylor)를 포함한다. 테이퍼링 윈도들의 다른 예들은 원하는 사용자의 좌측, 중앙 또는 중간에 대해서만 트랜스듀서들을 사용하는 것을 포함한다. 진폭 테이퍼링은 빔의 편재화(lateralization)를 향상시키고(예를 들어, 빔을 원하는 방향으로 이동시킴) 상이한 빔들 간의 간격을 증가시키는 효과도 가질 수 있다. 이러한 테이퍼링은 빔 형성기 설계의 일부로서 그리고/또는 빔 형성기 설계와 무관하게 수행될 수 있다.

유한 수의 라우드스피커들은 절단 효과를 유발하며, 이 효과는 통상적으로 사이드로브들을 생성한다. 사이드로브들을 줄이기 위해 공간 도메인에서 정형(예를 들어, 윈도잉(windowing))을 수행하는 것이 바람직할 수 있다. 예를 들어, 진폭 테이퍼링을 이용하여 사이드로브들을 제어함으로써, 주요 빔을 더 지향적이게 할 수 있다.

도 29는 좌측 트랜스듀서들을 이용하여 어레이 중앙의 좌측 방향들로 투영하는 예를 나타낸다. 나머지 트랜스듀서들에 대한 구동 신호들의 진폭들을 0으로 테이퍼링하거나, 그러한 모든 구동 신호들의 진폭들을 0으로 설정하는 것이 바람직할 수 있다. 도 29-31의 예들은 본 명세서에서 설명되는 바와 같은 부대역 샘플링도 도시한다.

도 30은 우측 트랜스듀서들을 이용하여 어레이 중앙의 우측 방향들로 투영하는 예를 나타낸다. 나머지 트랜스듀서들에 대한 구동 신호들의 진폭들을 0으로 테이퍼링하거나, 그러한 모든 구동 신호들의 진폭들을 0으로 설정하는 것이 바람직할 수 있다.

도 31은 중앙 트랜스듀서들을 이용하여 어레이의 중앙 방향들로 투영하는 예를 나타낸다. 좌측 및 우측 트랜스듀서들에 대한 구동 신호들의 진폭들을 0으로 테이퍼링하거나, 그러한 모든 구동 신호들의 진폭들을 0으로 설정하는 것이 바람직할 수 있다.

도 32a-32c는 5 kHz의 주파수, 48 kHz의 샘플링 레이트 및 45도의 빔 각도에 대한 위상 어레이 라우드스피커 빔 형성기의 방사 패턴들에 대한 테이퍼링의 영향을 나타낸다. 이 도면들 각각에서 어레이 위의 백색 라인은 테이퍼링으로 인한 공간에 걸친 라우드스피커들의 상대적 이득들을 나타낸다. 도 32a는 비 테이퍼링을 위한 패턴을 나타낸다. 도 32b는 체비셰프 윈도를 이용하는 테이퍼링을 위한 패턴을 나타내며, 좌측에서 패턴의 상당한 감소를 볼 수 있다. 도 32c는 우측으로 지향시키기 위한 다른 특수 윈도를 이용하는 테이퍼링을 위한 패턴을 나타내며, 빔을 우측으로 이동시키는 효과를 볼 수 있다.

도 33은 400 Hz(상부 행) 내지 12 kHz(하부 행) 범위 내의 6개 주파수에서의 0도(좌측 열), 45도(중앙 열) 및 90도(우측 열)의 빔 방향들에서의 위상 어레이에 대한 이론적 빔 패턴들의 예들을 나타낸다. 실선들은 해밍 윈도를 이용하여 테이퍼링된 12개 라우드스피커의 선형 어레이를 나타내고, 점선들은 테이퍼링되지 않은 동일 어레이를 나타낸다.

도 34는 3개의 상이한 오디오 소스 각각에 대한 원하는 빔들을 갖는 시범 설계의 예를 나타낸다. 측면으로의 빔들에 대해, 도시된 바와 같이 특수 테이퍼링 곡선들이 사용될 수 있다. 진폭 테이퍼링의 설계 및 테스트를 위해 그래픽 사용자 인터페이스가 사용될 수 있다. 최종 사용자에 의한 진폭 테이퍼링의 선택 및/또는 조정을 지원하기 위해서도 그래픽 사용자 인터페이스(예컨대, 도시된 바와 같은 슬라이더 타입의 인터페이스)가 사용될 수 있다. 유사한 방식으로, 주파수 의존 테이퍼링을 구현하여, 저역 통과 및/또는 고역 통과 필터링 동작의 적극성이 원하는 방향으로부터 떨어져 위치하는 하나 이상의 트랜스듀서에 대한 대응하는 필터링 동작의 적극성에 비해 원하는 방향의 트랜스듀서들에 대해 동일한 방식으로 감소할 수 있게 하는 것이 바람직할 수 있다.

도 35는 작업들(T100, T200, T300, T400, T500)을 포함하는 일반 구성에 따른 방법(M200)의 흐름도를 나타낸다. 작업 T100은 (예를 들어, 공간 처리 모듈(PM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성한다. 제1 복수 M개의 이미징 신호 각각에 대해, 작업 T200은 (예를 들어, 오디오 출력 스테이지(AO20)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하며, 구동 신호는 이미징 신호에 기초한다. 작업 T300은 (예를 들어, 향상 모듈(EM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 제1 주파수 범위 내의 제2 오디오 신호의 상기 에너지의, 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성한다. 작업 T400은 (예를 들어, 공간 처리 모듈(PM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성한다. 제2 복수 N개의 이미징 신호 각각에 대해, 작업 T500은 (예를 들어, 오디오 출력 스테이지(AO20)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제2 복수 N개의 구동 신호 중 대응하는 하나를 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하고, 구동 신호는 이미징 신호에 기초한다.

도 36은 일반 구성에 따른 장치(MF200)의 블록도를 나타낸다. 장치(MF200)는 (예를 들어, 공간 처리 모듈(PM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하기 위한 수단(F100)을 포함한다. 장치(MF200)는 또한 (예를 들어, 오디오 출력 스테이지(AO20)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단(F200)을 포함하고, 구동 신호는 이미징 신호에 기초한다. 장치(MF200)는 또한 (예를 들어, 향상 모듈(EM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 제1 주파수 범위 내의 제2 오디오 신호의 상기 에너지의, 제1 주파수 범위보다 높은 제2 주파수 범위 내의 고조파를 포함하는 확장 신호를 생성하기 위한 수단(F300)을 포함한다. 장치(MF200)는 또한 (예를 들어, 공간 처리 모듈(PM10)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하기 위한 수단(F400)을 포함한다. 장치(MF200)는 또한 (예를 들어, 오디오 출력 스테이지(AO20)의 구현들과 관련하여 본 명세서에서 설명된 바와 같이) 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단(F500)을 포함하고, 구동 신호는 이미징 신호에 기초한다.

본 명세서에서 개시되는 방법들 및 장치들은 일반적으로 임의의 송수신 및/또는 오디오 감지 응용, 특히 그러한 응용들의 이동 또는 휴대용 인스턴스들에 적용될 수 있다. 예를 들어, 본 명세서에서 개시되는 구성들의 범위는 코드 분할 다중 액세스(CDMA) 무선 인터페이스를 이용하도록 구성된 무선 전화 통신 시스템 내에 존재하는 통신 디바이스들을 포함한다. 그러나, 이 분야의 기술자들은 본 명세서에서 설명되는 바와 같은 특징들을 갖는 방법 및 장치가 유선 및/또는 무선(예를 들어, CDMA, TDMA, FDMA 및/또는 TD-SCDMA) 송신 채널들을 통해 VoIP(Voice over IP)를 이용하는 시스템들과 같이 이 분야의 기술자들에게 알려진 광범위한 기술들을 이용하는 임의의 다양한 통신 시스템들 내에 존재할 수 있다는 것을 이해할 것이다.

본 명세서에서 개시되는 통신 디바이스들은 패킷을 교환하는(예를 들어, VoIP와 같은 프로토콜들에 따라 오디오 송신들을 운반하도록 배열된 유선 및/또는 무선 네트워크들) 그리고/또는 회선을 교환하는 네트워크들에서 사용되도록 적응될 수 있다는 점이 분명히 고려되고 본 명세서에서 개시된다. 또한 본 명세서에서 개시되는 통신 디바이스들은 협대역 코딩 시스템들(예를 들어, 약 4 또는 5 kHz의 오디오 주파수 범위를 인코딩하는 시스템들)에서 사용되도록 그리고/또는 전체 대역 광대역 코딩 시스템들 및 분할 대역 광대역 코딩 시스템들을 포함하는 광대역 코딩 시스템들(예를 들어, 5 kHz보다 높은 오디오 주파수들을 인코딩하는 시스템들)에서 사용되도록 적응될 수 있다는 점이 분명히 고려되고 본 명세서에서 개시된다.

설명된 구성들의 프레젠테이션은 이 분야의 임의의 기술자가 본 명세서에서 개시되는 방법들 및 다른 구조들을 실시하거나 이용할 수 있게 하기 위해 제공된다. 본 명세서에 도시되고 설명되는 흐름도들, 블록도들 및 다른 구조들은 예들일 뿐이며, 이러한 구조들의 다른 변형들도 본 발명의 범위 내에 있다. 이러한 구성들에 대한 다양한 변경들이 가능하며, 본 명세서에서 설명되는 일반 원리들은 다른 구성들에도 적용될 수 있다. 따라서, 본 발명은 전술한 구성들로 한정되는 것을 의도하는 것이 아니라, 최초 명세서의 일부를 형성하는 출원시의 첨부된 청구항들에서 개시되는 것을 포함하여, 본 명세서에서 임의의 방식으로 개시되는 원리들 및 새로운 특징들과 일치하는 가장 넓은 범위를 부여받아야 한다.

이 분야의 기술자들은 정보 또는 신호들이 임의의 다양한 상이한 기술 및 기법을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 본 설명 전반에서 참조될 수 있는 데이터, 명령어, 명령, 정보, 신호, 비트 및 심벌은 전압, 전류, 전자기파, 자기장 또는 미립자, 광학 장 또는 미립자 또는 이들의 임의의 조합에 의해 표현될 수 있다.

본 명세서에서 개시되는 바와 같은 구성의 구현을 위한 중요한 설계 요건은 특히, 압축된 오디오 또는 시청각 정보(예를 들어, 본 명세서에서 식별되는 예들 중 하나와 같은 압축 포맷에 따라 인코딩된 파일 또는 스트림)의 재생과 같은 계산 집약적인 응용들 또는 광대역 통신들(예를 들어, 12, 16, 44.1, 48 또는 192 kHz와 같은 8 kHz보다 높은 샘플링 레이트들에서의 음성 통신들)을 위한 응용들을 위해 처리 지연 및/또는 계산 복잡성(통상적으로 초당 수백 만개의 명령어, 즉 MIPS 단위로 측정됨)을 최소화하는 것을 포함할 수 있다.

본 명세서에서 설명되는 바와 같은 다중 마이크 처리 시스템의 목표는 10 내지 12 dB의 전체 잡음 감소를 달성하는 것, 원하는 스피커의 움직임 동안 음성 레벨 및 컬러를 유지하는 것, 적극적인 잡음 제거 대신에 잡음이 배경 내로 이동하였다는 지각을 획득하는 것, 음성의 잔향 제거(dereverberation) 및/또는 더 적극적인 잡음 감소를 위해 후처리(예를 들어, 마스킹 및/또는 잡음 감소)의 옵션을 가능하게 하는 것을 포함할 수 있다.

본 명세서에서 개시되는 바와 같은 장치(예를 들어, 장치(A100))의 일 구현의 다양한 요소들은 의도된 응용에 적합한 것으로 간주되는 임의의 하드웨어 구조 또는 하드웨어와 소프트웨어 및/또는 펌웨어의 임의 조합에서 구현될 수 있다. 예를 들어, 그러한 요소들은 예를 들어 동일 칩 상에 또는 칩셋 내의 둘 이상의 칩 사이에 존재하는 전자 및/또는 광학 디바이스들로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 논리 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이며, 이들 요소 중 임의의 요소는 하나 이상의 그러한 어레이로서 구현될 수 있다. 이들 요소 중 임의의 둘 이상 또는 심지어 전부가 동일 어레이 또는 어레이들 내에 구현될 수 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩 내에(예를 들어, 둘 이상의 칩을 포함하는 칩셋 내에) 구현될 수 있다.

본 명세서에서 개시되는 장치(예를 들어, 장치(A100))의 다양한 구현들의 하나 이상의 요소는 또한 마이크로프로세서, 내장 프로세서, IP 코어, 디지털 신호 프로세서, 필드 프로그래머블 게이트 어레이(FPGA), 주문형 표준 제품(ASSP) 및 주문형 집적 회로(ASIC)와 같은 논리 요소들의 하나 이상의 고정 또는 프로그래밍 가능 어레이 상에서 실행되도록 배열된 하나 이상의 명령어 세트로서 부분적으로 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 장치의 일 구현의 임의의 다양한 요소는 또한 하나 이상의 컴퓨터(예를 들어, 하나 이상의 명령어 세트 또는 시퀀스를 실행하도록 프로그래밍되는 하나 이상의 어레이를 포함하는 기계들, "프로세서들"이라고도 함)로서 구현될 수 있으며, 이들 요소 중 임의의 둘 이상 또는 심지어 전부가 동일한 그러한 컴퓨터 또는 컴퓨터들 내에 구현될 수 있다.

본 명세서에서 개시되는 바와 같은 처리를 위한 프로세서 또는 다른 수단은 예를 들어 동일 칩 상에 또는 칩셋 내의 둘 이상의 칩 사이에 존재하는 하나 이상의 전자 및/또는 광학 디바이스로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 논리 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이며, 이들 요소 중 임의의 요소는 하나 이상의 그러한 어레이로서 구현될 수 있다. 그러한 어레이 또는 어레이들은 하나 이상의 칩 내에(예를 들어, 둘 이상의 칩을 포함하는 칩셋 내에) 구현될 수 있다. 그러한 어레이들의 예들은 마이크로프로세서, 내장 프로세서, IP 코어, DSP, FPGA, ASSP 및 ASIC과 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이들을 포함한다. 본 명세서에서 개시되는 바와 같은 처리를 위한 프로세서 또는 다른 수단은 또한 하나 이상의 컴퓨터(예를 들어, 하나 이상의 명령어 세트 또는 시퀀스를 실행하도록 프로그래밍되는 하나 이상의 어레이를 포함하는 기계들) 또는 다른 프로세서들로서 구현될 수 있다. 본 명세서에서 설명되는 바와 같은 프로세서는 프로세서가 내장된 디바이스 또는 시스템(예를 들어, 오디오 감지 디바이스)의 다른 동작과 관련된 작업과 같이 방법(M100)의 일 구현의 절차와 직접 관련되지 않은 다른 명령어 세트들을 실행하거나 작업들을 수행하는 데 사용되는 것이 가능하다. 본 명세서에서 설명되는 바와 같은 방법의 일부는 오디오 감지 디바이스의 프로세서에 의해 수행되고, 방법의 다른 부분은 하나 이상의 다른 프로세서의 제어하에 수행되는 것도 가능하다.

이 분야의 기술자들은 본 명세서에서 개시되는 구성들과 관련하여 설명되는 다양한 예시적인 모듈, 논리 블록, 회로 및 테스트 및 다른 동작들이 전자 하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로서 구현될 수 있다는 것을 알 것이다. 그러한 모듈들, 논리 블록들, 회로들 및 동작들은 범용 프로세서, 디지털 신호 프로세서(DSP), ASIC 또는 ASSP, FPGA 또는 다른 프로그래밍 가능 논리 디바이스, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 컴포넌트들, 또는 본 명세서에 개시되는 바와 같은 구성을 생성하도록 설계된 이들의 임의 조합을 이용하여 구현 또는 수행될 수 있다. 예를 들어, 그러한 구성은 하드-와이어드 회로로서, 주문형 집적 회로 내에 제조된 회로 구성으로서, 또는 비휘발성 저장 장치 내에 로딩된 펌웨어 프로그램 또는 데이터 저장 매체로부터 또는 그 안에 기계 판독 가능 코드로서 로딩된 소프트웨어 프로그램으로서 적어도 부분적으로 구현될 수 있으며, 그러한 코드는 범용 프로세서 또는 다른 디지털 신호 처리 유닛과 같은 논리 요소들의 어레이에 의해 실행될 수 있는 명령어들이다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로서 프로세서는 임의의 전통적인 프로세서, 제어기, 마이크로컨트롤러 또는 상태 기계일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 연계된 하나 이상의 마이크로프로세서 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 RAM과 같은 비휘발성 RAM(NVRAM), 소거 및 프로그래밍 가능한 ROM(EPROM), 전기적으로 소거 및 프로그래밍 가능한 ROM(EEPROM), 레지스터, 하드 디스크, 이동식 디스크 또는 CD-ROM과 같은 비일시적 저장 매체 내에 또는 이 분야에 공지된 임의의 다른 형태의 저장 매체 내에 존재할 수 있다. 예시적인 저장 매체가 프로세서에 결합되며, 따라서 프로세서는 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안으로서, 저장 매체는 프로세서와 일체일 수 있다. 프로세서와 저장 매체는 ASIC 내에 위치할 수 있다. ASIC은 사용자 단말기 내에 위치할 수 있다. 대안으로서, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트들로서 존재할 수 있다.

본 명세서에서 개시되는 다양한 방법들(예를 들어, 방법(M100), 및 다양한 설명된 장치의 동작과 관련하여 개시된 다양한 방법들)은 프로세서와 같은 논리 요소들의 어레이에 의해 수행될 수 있으며, 본 명세서에서 설명되는 바와 같은 장치의 다양한 요소들은 그러한 어레이 상에서 실행되도록 설계되는 모듈들로서 부분적으로 구현될 수 있다는 점에 유의한다. 본 명세서에서 사용될 때, "모듈" 또는 "서브모듈"이라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 형태의 컴퓨터 명령어들(예를 들어, 논리 표현들)을 포함하는 임의의 방법, 장치, 디바이스, 유닛 또는 컴퓨터 판독 가능 데이터 저장 매체를 지칭할 수 있다. 동일 기능들을 수행하기 위해 다수의 모듈 또는 시스템이 하나의 모듈 또는 시스템으로 결합될 수 있고, 하나의 모듈 또는 시스템이 다수의 모듈 또는 시스템으로 분할될 수 있다는 것을 이해해야 한다. 소프트웨어 또는 다른 컴퓨터 실행 가능 명령어들에서 구현될 때, 본질적으로 프로세스의 요소들은 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등과 더불어 관련 작업들을 수행하기 위한 코드 세그먼트들이다. "소프트웨어"라는 용어는 소스 코드, 어셈블리 언어 코드, 기계 코드, 이진 코드, 펌웨어, 매크로코드, 마이크로코드, 논리 요소들의 어레이에 의해 실행 가능한 임의의 하나 이상의 명령어 세트 또는 시퀀스 및 이러한 예들의 임의 조합을 포함하는 것으로 이해되어야 한다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 저장 매체에 저장되거나, 송신 매체 또는 통신 링크를 통해 반송파 내에 구현된 컴퓨터 데이터 신호에 의해 전송될 수 있다.

본 명세서에서 개시되는 방법들, 스킴들 및 기술들의 구현들은 논리 요소들의 어레이(예를 들어, 프로세서, 마이크로프로세서, 마이크로컨트롤러, 또는 다른 유한 상태 기계)를 포함하는 기계에 의해 실행 가능한 하나 이상의 명령어 세트로서 유형적으로 (예를 들어, 본 명세서에 열거된 바와 같은 하나 이상의 컴퓨터 판독 가능 저장 매체의 유형의 컴퓨터 판독 가능 특징들 내에) 구현될 수 있다. "컴퓨터 판독 가능 매체"라는 용어는 정보를 저장하거나 전송할 수 있는, 휘발성, 비휘발성, 이동식 및 비이동식 저장 매체를 포함하는 임의의 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체의 예들은 전자 회로, 반도체 메모리 디바이스, ROM, 플래시 메모리, 소거 가능 ROM(EROM), 플로피 디스켓 또는 다른 자기 저장 장치, CD-ROM/DVD 또는 다른 광학 저장 장치, 하드 디스크 또는 원하는 정보를 저장하는 데 사용될 수 있는 임의의 다른 매체, 광섬유 매체, 라디오 주파수(RF) 링크, 또는 원하는 정보를 운반하는 데 사용될 수 있고 액세스될 수 있는 임의의 다른 매체를 포함한다. 컴퓨터 데이터 신호는 전자 네트워크 채널, 광섬유, 공기, 전자기파, RF 링크 등과 같은 송신 매체를 통해 전송될 수 있는 임의의 신호를 포함할 수 있다. 코드 세그먼트들은 인터넷 또는 인트라넷과 같은 컴퓨터 네트워크들을 통해 다운로드될 수 있다. 어느 경우에나, 본 발명의 범위는 그러한 실시예들에 의해 한정되는 것으로 해석되지 않아야 한다.

본 명세서에서 설명되는 방법들의 작업들 각각은 하드웨어에서 직접, 프로세서에 의해 실행되는 소프트웨어 모듈에서 또는 이 둘의 조합에서 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 방법의 일 구현의 통상적인 응용에서는, 논리 요소들(예를 들어, 논리 게이트들)의 어레이가 방법의 다양한 작업들 중 하나, 둘 이상 또는 심지어 전부를 수행하도록 구성된다. 작업들 중 하나 이상(아마도 전부)은 또한 논리 요소들의 어레이(예를 들어, 프로세서, 마이크로프로세서, 마이크로컨트롤러 또는 다른 유한 상태 기계)를 포함하는 기계(예를 들어, 컴퓨터)에 의해 판독 및/또는 실행될 수 있는 컴퓨터 프로그램 제품(예를 들어, 디스크, 플래시 또는 다른 비휘발성 메모리 카드, 반도체 메모리 칩 등과 같은 하나 이상의 데이터 저장 매체) 내에 구현되는 코드(예를 들어, 하나 이상의 명령어 세트)로서 구현될 수 있다. 본 명세서에서 개시되는 바와 같은 방법의 일 구현의 작업들은 또한 둘 이상의 그러한 어레이 또는 기계에 의해 수행될 수 있다. 이들 또는 다른 구현들에서, 작업들은 무선 통신 능력을 갖는 셀룰러 전화 또는 다른 디바이스와 같은 무선 통신을 위한 디바이스 내에서 수행될 수 있다. 그러한 디바이스는 (예를 들어, VoIP와 같은 하나 이상의 프로토콜을 이용하여) 회선 교환 및/또는 패킷 교환 네트워크들과 통신하도록 구성될 수 있다. 예를 들어, 그러한 디바이스는 인코딩된 프레임들을 수신 및/또는 송신하도록 구성된 RF 회로를 포함할 수 있다.

본 명세서에서 개시되는 다양한 방법들은 휴대용 통신 디바이스(예를 들어, 핸드셋, 헤드셋, 스마트폰 또는 PDA(portable digital assistant))에 의해 수행될 수 있으며, 본 명세서에서 설명되는 다양한 장치들은 그러한 디바이스 내에 포함될 수 있다는 것이 명백히 개시된다. 통상적인 실시간(예를 들어, 온라인) 응용은 그러한 이동 디바이스를 이용하여 수행되는 전화 통화이다.

하나 이상의 예시적인 실시예에서, 본 명세서에서 설명되는 동작들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의 조합에서 구현될 수 있다. 소프트웨어에서 구현되는 경우, 그러한 동작들은 컴퓨터 판독 가능 매체 상에 하나 이상의 명령어 또는 코드로서 저장되거나 그를 통해 전송될 수 있다. "컴퓨터 판독 가능 매체"라는 용어는 컴퓨터 판독 가능 저장 매체 및 통신(예를 들어, 송신) 매체 모두를 포함한다. 제한이 아니라 예로서, 컴퓨터 판독 가능 저장 매체는 (동적 또는 정적 RAM, ROM, EEPROM 및/또는 플래시 RAM을 포함할 수 있지만 이에 한정되지 않는) 반도체 메모리, 또는 강유전성, 자기 저항, 오보닉, 폴리머 또는 상변화 메모리; CD-ROM 또는 다른 광 디스크 저장 장치; 및/또는 자기 디스크 저장 장치 또는 다른 자기 저장 디바이스들과 같은 저장 요소들의 어레이를 포함할 수 있다. 그러한 저장 매체는 컴퓨터에 의해 액세스될 수 있는 명령어들 또는 데이터 구조들의 형태로 정보를 저장할 수 있다. 통신 매체는 원하는 프로그램 코드를 명령어 또는 데이터 구조의 형태로 운반하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 매체를 포함할 수 있으며, 이러한 매체는 하나의 장소로부터 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함할 수 있다. 또한, 임의의 접속도 적절히 컴퓨터 판독 가능 매체로서 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 트위스트 쌍, 디지털 가입자 회선(DSL), 또는 적외선, 라디오 및/또는 마이크로파와 같은 무선 기술을 이용하여 웹사이트, 서버 또는 다른 원격 소스로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 트위스트 쌍, DSL, 또는 적외선, 라디오 및/또는 마이크로파와 같은 무선 기술은 매체의 정의 내에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크(disk, disc)는 컴팩트 디스크(compact disc; CD), 레이저 디스크(disc), 광 디스크(disc), 디지털 다기능 디스크(digital versatile disc; DVD), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray Disc)(상표)(Blu-Ray Disc Association, Universal City, CA)를 포함하며, 여기서 디스크(disk)는 일반적으로 데이터를 자기적으로 재생하고, 디스크(disc)는 데이터를 레이저를 이용하여 광학적으로 재생한다. 위의 것들의 조합들도 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.

본 명세서에서 설명되는 바와 같은 음향 신호 처리 장치는 소정의 동작들을 제어하기 위하여 음성 입력을 수신하는 전자 디바이스 내에 통합될 수 있거나, 통신 디바이스들과 같은 배경 잡음들로부터의 원하는 잡음들의 분리로부터 이익을 얻을 수 있다. 많은 응용은 다수의 방향으로부터 발생하는 배경 사운드들로부터 선명한 원하는 사운드를 분리하거나 향상시키는 것으로부터 이익을 얻을 수 있다. 그러한 응용들은 음성 인식 및 검출, 음성 향상 및 분리, 음성 활성화 제어 등과 같은 능력들을 포함하는 전자 또는 컴퓨팅 디바이스들 내의 사람-기계 인터페이스들을 포함할 수 있다. 제한된 처리 능력들만을 제공하는 디바이스들에 적합하도록 그러한 음향 신호 처리 장치를 구현하는 것이 바람직할 수 있다.

본 명세서에서 설명되는 모듈들, 요소들 및 디바이스들의 다양한 구현들의 요소들은 예를 들어 동일 칩 상에 또는 칩셋 내의 둘 이상의 칩 사이에 존재하는 전자 및/또는 광학 디바이스들로서 제조될 수 있다. 그러한 디바이스의 일례는 트랜지스터 또는 게이트와 같은 논리 요소들의 고정 또는 프로그래밍 가능 어레이이다. 본 명세서에서 설명되는 장치의 다양한 구현들의 하나 이상의 요소는 또한 마이크로프로세서, 내장 프로세서, IP 코어, 디지털 신호 프로세서, FPGA, ASSP 및 ASIC과 같은 논리 요소들의 하나 이상의 고정 또는 프로그래밍 가능 어레이 상에서 실행되도록 배열되는 하나 이상의 명령어 세트로서 완전히 또는 부분적으로 구현될 수 있다.

본 명세서에서 설명되는 바와 같은 장치의 일 구현의 하나 이상의 요소는 장치가 내장된 디바이스 또는 시스템의 다른 동작과 관련된 작업과 같이 장치의 동작과 직접 관련되지 않은 다른 명령어 세트들을 실행하거나 작업들을 수행하는 데 사용될 수 있다. 그러한 장치의 일 구현의 하나 이상의 요소는 공통 구조를 갖는 것도 가능하다(예를 들어, 상이한 시간들에 상이한 요소들에 대응하는 코드의 부분들을 실행하는 데 사용되는 프로세서, 상이한 시간들에 상이한 요소들에 대응하는 작업들을 수행하도록 실행되는 명령어들의 세트, 또는 상이한 시간들에 상이한 요소들에 대한 동작들을 수행하는 전자 및/또는 광학 디바이스들의 배열).

Claims

오디오 신호 처리 방법으로서,
제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하는 단계;
상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하는 단계 - 상기 구동 신호는 상기 이미징 신호에 기초함 -;
제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로(harmonically) 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의, 고조파들을 포함하는 확장 신호를 생성하는 단계;
상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하는 단계; 및
상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하는 단계 - 상기 구동 신호는 상기 이미징 신호에 기초함 -
를 포함하는 오디오 신호 처리 방법.
제1항에 있어서,
상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 상기 단계는 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 빔을 생성하는 단계를 포함하고,
상기 방법은 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 상기 단계 동안에, 상기 제2 복수 N개의 라우드스피커를 구동하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 잡음 에너지의 빔을 생성하는 단계를 포함하고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들인, 오디오 신호 처리 방법.
제1항에 있어서,
상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 상기 단계는 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 제1 빔을 생성하는 단계를 포함하고,
상기 방법은 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 상기 단계 동안에, 제3 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 에너지의 제2 빔을 생성하는 단계를 포함하고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들이고,
상기 제3 복수 N개의 구동 신호 각각은 상기 제2 오디오 신호와 다른 추가적인 오디오 신호에 기초하는, 오디오 신호 처리 방법.
제3항에 있어서,
상기 제2 오디오 신호 및 상기 추가적인 오디오 신호는 스테레오 오디오 신호의 상이한 채널들인, 오디오 신호 처리 방법.
제1항에 있어서,
상기 방법은 제1 시간에 사용자의 머리의 배향이 제1 범위 내에 있는 것으로 결정하는 단계를 포함하고,
상기 제1 복수 M개의 구동 신호를 상기 제1 복수 M개의 라우드스피커에 인가하는 상기 단계 및 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 상기 단계는 상기 제1 시간에 결정하는 상기 단계에 기초하고,
상기 방법은,
상기 제1 시간 이후의 제2 시간에 상기 사용자의 상기 머리의 배향이 상기 제1 범위와 다른 제2 범위 내에 있는 것으로 결정하는 단계;
상기 제2 시간에 결정하는 상기 단계에 응답하여, 상기 제1 복수 M개의 구동 신호를 제2 어레이의 제1 복수 M개의 라우드스피커에 인가하고, 상기 제2 복수 N개의 구동 신호를 상기 제2 어레이의 제2 복수 N개의 라우드스피커에 인가하는 단계
를 포함하고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커 중에 있지 않으며,
상기 제2 어레이의 상기 제2 복수 N개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제2 복수 N개의 라우드스피커 중에 있지 않은, 오디오 신호 처리 방법.
제5항에 있어서,
상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커는 제1 축을 따라 배열되고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커는 제2 축을 따라 배열되며,
상기 제1 및 제2 축들 사이의 각도는 적어도 60도이고, 120도보다 크지 않은, 오디오 신호 처리 방법.
제1항에 있어서,
상기 방법은 상기 제1 복수 M개의 이미징 신호에 공간 정형 함수(spatial shaping function)를 적용하는 단계를 포함하고,
상기 공간 정형 함수는 상기 어레이 내의 상기 제1 복수 M개의 라우드스피커의 적어도 서브세트 중 각각의 위치를 대응하는 이득 인자에 매핑하며,
상기 공간 정형 함수를 적용하는 상기 단계는 상기 대응하는 이득 인자에 따라 상기 제1 복수 M개의 이미징 신호의 상기 서브세트 중 각각의 진폭을 변화시키는 단계를 포함하는, 오디오 신호 처리 방법.
제1항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 방법.
제1항에 있어서,
상기 제2 오디오 신호는 상기 제2 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 방법.
제1항에 있어서,
상기 방법은 상기 제2 주파수 범위 내의 에너지를 포함하는 제3 오디오 신호를 고조파로 확장하여, 상기 제2 주파수 범위 내의 상기 제3 오디오 신호의 상기 에너지의, 상기 제2 주파수 범위보다 높은 제3 주파수 범위 내의, 고조파들을 포함하는 제2 확장 신호를 생성하는 단계를 포함하고,
상기 제1 오디오 신호는 상기 제2 확장 신호에 기초하는, 오디오 신호 처리 방법.
제10항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮고,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제2 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 방법.
제11항에 있어서,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 방법.
제10항에 있어서,
상기 제2 오디오 신호는 상기 제3 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높고,
상기 제3 오디오 신호는 상기 제2 고주파 범위 내의 에너지 및 상기 제2 고주파 범위보다 높은 제3 고주파 범위 내의 에너지를 포함하고,
상기 제3 고주파 범위 내의 에너지에 대한 상기 제2 고주파 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 방법.
제10항에 있어서,
상기 제2 오디오 신호 및 상기 제3 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 구동 신호는 상기 제2 복수 N개의 구동 신호를 포함하는, 오디오 신호 처리 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리는 상기 제2 복수 N개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리보다 작은, 오디오 신호 처리 방법.
제1항 내지 제14항 중 어느 한 항에 있어서,
상기 제1 오디오 신호 및 상기 제2 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 방법.
오디오 신호 처리 장치로서,
제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하기 위한 수단;
상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단 - 상기 구동 신호는 상기 이미징 신호에 기초함 -;
제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의, 고조파들을 포함하는 확장 신호를 생성하기 위한 수단;
상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하기 위한 수단; 및
상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하기 위한 수단 - 상기 구동 신호는 상기 이미징 신호에 기초함 -
을 포함하는 오디오 신호 처리 장치.
제18항에 있어서,
상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하기 위한 상기 수단은 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 빔을 생성하도록 구성되고,
상기 장치는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 동안에, 상기 제2 복수 N개의 라우드스피커를 구동하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 잡음 에너지의 빔을 생성하기 위한 수단을 포함하고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들인, 오디오 신호 처리 장치.
제18항에 있어서,
상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하기 위한 상기 수단은 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 제1 빔을 생성하도록 구성되고,
상기 장치는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 동안에, 제3 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 에너지의 제2 빔을 생성하기 위한 수단을 포함하고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들이고,
상기 제3 복수 N개의 구동 신호 각각은 상기 제2 오디오 신호와 다른 추가적인 오디오 신호에 기초하는, 오디오 신호 처리 장치.
제20항에 있어서,
상기 제2 오디오 신호 및 상기 추가적인 오디오 신호는 스테레오 오디오 신호의 상이한 채널들인, 오디오 신호 처리 장치.
제18항에 있어서,
상기 장치는 제1 시간에 사용자의 머리의 배향이 제1 범위 내에 있는 것으로 결정하기 위한 수단을 포함하고,
상기 제1 시간에 결정하기 위한 상기 수단은 상기 제1 복수 M개의 구동 신호를 상기 제1 복수 M개의 라우드스피커에 인가하기 위한 상기 수단 및 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하기 위한 상기 수단을 인에이블(enable)하도록 배열되고,
상기 장치는,
상기 제1 시간 이후의 제2 시간에 상기 사용자의 상기 머리의 배향이 상기 제1 범위와 다른 제2 범위 내에 있는 것으로 결정하기 위한 수단;
상기 제1 복수 M개의 구동 신호를 제2 어레이의 제1 복수 M개의 라우드스피커에 인가하기 위한 수단; 및
상기 제2 복수 N개의 구동 신호를 상기 제2 어레이의 제2 복수 N개의 라우드스피커에 인가하기 위한 수단
을 포함하고,
상기 제2 시간에 결정하기 위한 상기 수단은 상기 제1 복수 M개의 구동 신호를 상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커에 인가하기 위한 상기 수단 및 상기 제2 복수 N개의 구동 신호를 상기 제2 어레이의 상기 제2 복수 N개의 라우드스피커에 인가하기 위한 상기 수단을 인에이블하도록 배열되고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커 중에 있지 않으며,
상기 제2 어레이의 상기 제2 복수 N개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제2 복수 N개의 라우드스피커 중에 있지 않은, 오디오 신호 처리 장치.
제22항에 있어서,
상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커는 제1 축을 따라 배열되고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커는 제2 축을 따라 배열되며,
상기 제1 및 제2 축들 사이의 각도는 적어도 60도이고, 120도보다 크지 않은, 오디오 신호 처리 장치.
제18항에 있어서,
상기 장치는 상기 제1 복수 M개의 이미징 신호에 공간 정형 함수를 적용하기 위한 수단을 포함하고,
상기 공간 정형 함수는 상기 어레이 내의 상기 제1 복수 M개의 라우드스피커의 적어도 서브세트 중 각각의 위치를 대응하는 이득 인자에 매핑하며,
상기 공간 정형 함수를 적용하기 위한 상기 수단은 상기 대응하는 이득 인자에 따라 상기 제1 복수 M개의 이미징 신호의 상기 서브세트 중 각각의 진폭을 변화시키기 위한 수단을 포함하는, 오디오 신호 처리 장치.
제18항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제18항에 있어서,
상기 제2 오디오 신호는 상기 제2 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 장치.
제18항에 있어서,
상기 장치는 상기 제2 주파수 범위 내의 에너지를 포함하는 제3 오디오 신호를 고조파로 확장하여, 상기 제2 주파수 범위 내의 상기 제3 오디오 신호의 상기 에너지의, 상기 제2 주파수 범위보다 높은 제3 주파수 범위 내의, 고조파들을 포함하는 제2 확장 신호를 생성하기 위한 수단을 포함하고,
상기 제1 오디오 신호는 상기 제2 확장 신호에 기초하는, 오디오 신호 처리 장치.
제27항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮고,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제2 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제28항에 있어서,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제27항에 있어서,
상기 제2 오디오 신호는 상기 제3 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높고,
상기 제3 오디오 신호는 상기 제2 고주파 범위 내의 에너지 및 상기 제2 고주파 범위보다 높은 제3 고주파 범위 내의 에너지를 포함하고,
상기 제3 고주파 범위 내의 에너지에 대한 상기 제2 고주파 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 장치.
제27항에 있어서,
상기 제2 오디오 신호 및 상기 제3 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 장치.
제18항 내지 제31항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 구동 신호는 상기 제2 복수 N개의 구동 신호를 포함하는, 오디오 신호 처리 장치.
제18항 내지 제31항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리는 상기 제2 복수 N개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리보다 작은, 오디오 신호 처리 장치.
제18항 내지 제31항 중 어느 한 항에 있어서,
상기 제1 오디오 신호 및 상기 제2 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 장치.
오디오 신호 처리 장치로서,
제1 오디오 신호를 공간적으로 처리하여 제1 복수 M개의 이미징 신호를 생성하도록 구성된 제1 공간 처리 모듈;
상기 제1 복수 M개의 이미징 신호 각각에 대해, 제1 복수 M개의 구동 신호 중 대응하는 하나를 어레이의 제1 복수 M개의 라우드스피커 중 대응하는 하나에 인가하도록 구성된 오디오 출력 스테이지 - 상기 구동 신호는 상기 이미징 신호에 기초함 -;
제1 주파수 범위 내의 에너지를 포함하는 제2 오디오 신호를 고조파로 확장하여, 상기 제1 주파수 범위 내의 상기 제2 오디오 신호의 상기 에너지의, 상기 제1 주파수 범위보다 높은 제2 주파수 범위 내의, 고조파들을 포함하는 확장 신호를 생성하도록 구성된 고조파 확장 모듈; 및
상기 확장 신호에 기초하는 향상된 신호를 공간적으로 처리하여 제2 복수 N개의 이미징 신호를 생성하도록 구성된 제2 공간 처리 모듈
을 포함하고,
상기 오디오 출력 스테이지는 상기 제2 복수 N개의 이미징 신호 각각에 대해, 제2 복수 N개의 구동 신호 중 대응하는 하나를 상기 어레이의 제2 복수 N개의 라우드스피커 중 대응하는 하나에 인가하도록 구성되고, 상기 구동 신호는 상기 이미징 신호에 기초하는, 오디오 신호 처리 장치.
제35항에 있어서,
상기 오디오 출력 스테이지는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하여, 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 빔을 생성하도록 구성되고,
상기 오디오 출력 스테이지는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 동안에, 상기 제2 복수 N개의 라우드스피커를 구동하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 잡음 에너지의 빔을 생성하도록 구성되고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들인, 오디오 신호 처리 장치.
제35항에 있어서,
상기 오디오 출력 스테이지는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하여, 제1 방향과 다른 제2 방향을 따르는 것보다 상기 제1 방향을 따라 더 집중되는 음향 에너지의 제1 빔을 생성하도록 구성되고,
상기 오디오 출력 스테이지는 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하는 동안에, 제3 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하여, 상기 제1 방향을 따르는 것보다 상기 제2 방향을 따라 더 집중되는 음향 에너지의 제2 빔을 생성하도록 구성되고,
상기 제1 및 제2 방향들은 상기 제2 복수 N개의 라우드스피커에 대한 방향들이고,
상기 제3 복수 N개의 구동 신호 각각은 상기 제2 오디오 신호와 다른 추가적인 오디오 신호에 기초하는, 오디오 신호 처리 장치.
제37항에 있어서,
상기 제2 오디오 신호 및 상기 추가적인 오디오 신호는 스테레오 오디오 신호의 상이한 채널들인, 오디오 신호 처리 장치.
제35항에 있어서,
상기 장치는 제1 시간에 사용자의 머리의 배향이 제1 범위 내에 있는 것으로 결정하도록 구성된 추적 모듈을 포함하고,
상기 추적 모듈은 상기 제1 시간에서의 상기 결정에 응답하여, 상기 제1 복수 M개의 구동 신호를 상기 제1 복수 M개의 라우드스피커에 인가하고, 상기 제2 복수 N개의 구동 신호를 상기 제2 복수 N개의 라우드스피커에 인가하도록 상기 오디오 출력 스테이지를 제어하도록 배열되고,
상기 추적 모듈은 상기 제1 시간 이후의 제2 시간에 상기 사용자의 상기 머리의 배향이 상기 제1 범위와 다른 제2 범위 내에 있는 것으로 결정하도록 구성되고,
상기 추적 모듈은 상기 제2 시간에서의 상기 결정에 응답하여, 상기 제1 복수 M개의 구동 신호를 제2 어레이의 제1 복수 M개의 라우드스피커에 인가하고, 상기 제2 복수 N개의 구동 신호를 상기 제2 어레이의 제2 복수 N개의 라우드스피커에 인가하도록 상기 오디오 출력 스테이지를 제어하도록 배열되고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커 중에 있지 않으며,
상기 제2 어레이의 상기 제2 복수 N개의 라우드스피커 중 적어도 하나는 상기 제1 어레이의 상기 제2 복수 N개의 라우드스피커 중에 있지 않은, 오디오 신호 처리 장치.
제39항에 있어서,
상기 제1 어레이의 상기 제1 복수 M개의 라우드스피커는 제1 축을 따라 배열되고,
상기 제2 어레이의 상기 제1 복수 M개의 라우드스피커는 제2 축을 따라 배열되며,
상기 제1 및 제2 축들 사이의 각도는 적어도 60도이고, 120도보다 크지 않은, 오디오 신호 처리 장치.
제35항에 있어서,
상기 장치는 상기 제1 복수 M개의 이미징 신호에 공간 정형 함수를 적용하도록 구성된 공간 정형기를 포함하고,
상기 공간 정형 함수는 상기 어레이 내의 상기 제1 복수 M개의 라우드스피커의 적어도 서브세트 중 각각의 위치를 대응하는 이득 인자에 매핑하며,
상기 공간 정형기는 상기 대응하는 이득 인자에 따라 상기 제1 복수 M개의 이미징 신호의 상기 서브세트 중 각각의 진폭을 변화시키도록 구성되는, 오디오 신호 처리 장치.
제35항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제35항에 있어서,
상기 제2 오디오 신호는 상기 제2 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 장치.
제35항에 있어서,
상기 장치는 상기 제2 주파수 범위 내의 에너지를 포함하는 제3 오디오 신호를 고조파로 확장하여, 상기 제2 주파수 범위 내의 상기 제3 오디오 신호의 상기 에너지의, 상기 제2 주파수 범위보다 높은 제3 주파수 범위 내의, 고조파들을 포함하는 제2 확장 신호를 생성하도록 구성된 제2 고조파 확장 모듈을 포함하고,
상기 제1 오디오 신호는 상기 제2 확장 신호에 기초하는, 오디오 신호 처리 장치.
제44항에 있어서,
상기 제2 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮고,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제2 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제45항에 있어서,
상기 제3 주파수 범위 내의 에너지에 대한 상기 제1 주파수 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 낮은, 오디오 신호 처리 장치.
제44항에 있어서,
상기 제2 오디오 신호는 상기 제3 주파수 범위보다 높은 제1 고주파 범위 내의 에너지 및 상기 제1 고주파 범위보다 높은 제2 고주파 범위 내의 에너지를 포함하고,
상기 제2 고주파 범위 내의 에너지에 대한 상기 제1 고주파 범위 내의 에너지의 비율은 상기 확장 신호에 대해서보다 상기 제2 복수 N개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높고,
상기 제3 오디오 신호는 상기 제2 고주파 범위 내의 에너지 및 상기 제2 고주파 범위보다 높은 제3 고주파 범위 내의 에너지를 포함하고,
상기 제3 고주파 범위 내의 에너지에 대한 상기 제2 고주파 범위 내의 에너지의 비율은 상기 제2 확장 신호에 대해서보다 상기 제1 복수 M개의 구동 신호 각각에 대해 적어도 6 데시벨 더 높은, 오디오 신호 처리 장치.
제44항에 있어서,
상기 제2 오디오 신호 및 상기 제3 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 장치.
제35항 내지 제48항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 구동 신호는 상기 제2 복수 N개의 구동 신호를 포함하는, 오디오 신호 처리 장치.
제35항 내지 제48항 중 어느 한 항에 있어서,
상기 제1 복수 M개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리는 상기 제2 복수 N개의 라우드스피커 중 인접하는 라우드스피커들 간의 거리보다 작은, 오디오 신호 처리 장치.
제35항 내지 제48항 중 어느 한 항에 있어서,
상기 제1 오디오 신호 및 상기 제2 오디오 신호 둘 다는 공통 오디오 신호에 기초하는, 오디오 신호 처리 장치.
기계(machine)에 의해 판독될 때, 상기 기계로 하여금 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 하는 유형의 특징들(tangible features)을 구비하는 컴퓨터 판독 가능 저장 매체.