KR20130127987A

KR20130127987A - 지향성 정보를 도출하는 장치 및 방법과 컴퓨터 프로그램 제품

Info

Publication number: KR20130127987A
Application number: KR1020137013550A
Authority: KR
Inventors: 파비안 쾨흐; 갈도 지오바니 델; 올리버 티에르가르트; 빌레 풀키; 유카 아호넨
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2010-10-28
Filing date: 2011-10-26
Publication date: 2013-11-25
Also published as: CN103329567A; HK1188063A1; EP2628316B1; CA2815738C; JP2013545382A; EP2628316A1; PL2628316T3; AR085199A1; EP2448289A1; RU2013124400A; MX2013004686A; TW201230822A; BR112013010258B1; BR112013010258A2; WO2012055940A1; AU2011322560A1; TWI556654B; ES2526785T3; KR101510576B1; US9462378B2

Abstract

복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보를 도출하는 장치로서, 서로 다른 효과적인 마이크 시야 방향은 상기 마이크 신호 또는 상기 성분과 관련되는 상기 장치는 상기 마이크 신호 또는 상기 마이크 신호의 성분으로부터 크기 값을 획득하도록 구성된 조합기를 포함한다. 조합기는 추가로 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목이 상기 지향성 정보를 도출하기 위해 상기 주어진 효과적인 마이크 시야 방향과 관련된 상기 마이크 신호 또는 상기 마이크 신호의 성분의 크기 값에 따라 가중되도록 상기 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 조합하도록 구성된다.

Description

지향성 정보를 도출하는 장치 및 방법과 컴퓨터 프로그램 제품{APPARATUS AND METHOD FOR DERIVING A DIRECTIONAL INFORMATION AND COMPUTER PROGRAM PRODUCT}

본 발명의 실시예는 복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보를 도출하는 장치에 관한 것이다. 추가의 실시예는 이와 같은 장치를 포함하는 시스템에 관한 것이다. 추가의 실시예는 복수의 마이크 신호로부터 지향성 정보를 도출하는 방법에 관한 것이다.

공간 녹음(spatial sound recording)은 재생측에서 청취자가 녹음 위치에 존재한 음상(sound image)을 지각하도록 다수의 마이크로 음장(sound field)을 캡처하는 것을 목표로 한다. 공간 녹음을 위한 표준 접근 방식은 기존의 스테레오 마이크, 또는 예를 들어 앰비소닉(Ambisonics)(M.A. Gerzon. Periphony, Width-height sound reproduction, J. Audio Eng. Soc, 21(1):2-10, 1973)에 이용된 B 형식의 마이크와 같은 지향성 마이크의 보다 정교한 조합을 이용한다. 일반적으로, 이러한 방법의 대부분은 동축형 마이크 기술(coincident-microphone technique)이라고 한다.

대안적으로, 음장의 파라메트릭 표현(parametric representation)에 기초한 방법이 적용될 수 있으며, 이는 파라메트릭 공간 오디오 코더라고 한다. 이러한 방법은 상응하는 공간 보조 정보(side information)와 함께 하나 이상의 다운믹스 오디오 신호를 결정하며, 이러한 신호는 공간 음의 지각과 관련된다. 예로서, 2007년 6월 J. Audio Eng. Soc, 55(6):503-516, 브이. 펄키에 의해 지향성 오디오 코딩에 의한 공간음 재생(V. Pulkki, Spatial sound reproduction with directional audio coding, J. Audio Eng. Soc, 55(6):503? 516, June 2007)에서 논의된 DirAC(Directional Audio Coding), 또는 2008년 10월 샌프란시스코 페이퍼 7508 125차 AES 컨벤션에서 씨. 폴러에 의해 공간 오디오 코더에 대한 마이크로폰 프론트엔드(C. Faller, Microphone front-ends for spatial audio coders, in 125th AES Convention, Paper 7508, San Francisco, Oct. 2008)에서 제안된 소위 SAM(spatial audio microphones) 접근 방식이 있다. 공간 큐(cue) 정보는 주파수 부대역에서 결정되고, 기본적으로 음의 도래 방향(DOA) 및 때때로 음장의 확산 또는 다른 통계적 조치(statistical measures)로 구성된다. 합성 단계에서, 재생을 위한 원하는 스피커 신호가 다운믹스 신호 및 파라메트릭 보조 정보에 기초하여 결정된다.

공간 음향 녹음(audio recording) 외에, 음장 표현에 대한 파라메트릭 접근 방식은 지향성 필터링(M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. Kuech, D. Mahne, R. Schultz-Amling, and O. Thiergart, A spatial filtering approach for directional audio coding, in 126th AES Convention, Paper 7653, Munich, Germany, May 2009) 또는 음원 위치 추정(source localization)(O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, Localization of sound sources in reverberant environments based on directional audio coding parameters, in 128th AES Convention, Paper 7853, New York City, NY, USA, Oct. 2009)과 같은 응용에 이용되어 왔다. 이러한 기술은 또한 음의 DOA 또는 음장의 확산과 같은 지향성 매개 변수에 기초한다.

음장으로부터 지향성 정보를 추정하는 방법 중 하나는, 즉 음의 도래 방향은 마이크의 배열로 서로 다른 지점의 음장을 측정하는 것이다. 몇 가지 접근 방식은 문헌(J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006 using relative time delay estimates between the microphone signals)에 제안되어 있다. 그러나, 이러한 접근 방식은 마이크 신호의 위상 정보를 이용하여, 필연적으로 공간 앨리어싱(spatial aliasing)으로 이어진다. 사실상, 보다 높은 주파수가 분석됨에 따라, 파장은 짧아진다. 앨리어싱 주파수라고 하는 어떤 주파수에서, 동일한 위상 수치(phase readings)가 둘 이상의 방향에 상응하여, 명확한 추정이(적어도 추가적인 선험적 정보(priori information)없이) 가능하지 않도록 하는 파장이 있다.

마이크의 배열을 이용하여 음의 DOA를 추정하는 다양한 방법이 존재한다. 일반적인 접근 방식의 개요는 J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006에 요약되어 있다. 이러한 접근 방식은 음의 DOA를 추정하기 위해 마이크 신호의 위상 관계를 이용한다는 공통점을 가지고 있다. 종종, 서로 다른 센서 사이의 시간차가 먼저 결정되고 나서, 배열 구조에 대한 지식은 상응하는 DOA를 계산하는데 이용된다. 다른 접근 방식은 음의 DOA를 추정하기 위해 주파수 부대역의 서로 다른 마이크 신호 사이의 관계를 평가하는 것이다(C. Faller, Microphone front-ends for spatial audio coders, in 125th AES Convention, Paper 7508, San Francisco, Oct. 2008 and J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006).

DirAC에서, 각 주파수 대역에 대한 DOA 추정은 관측된 음장에서 측정된 능동 음의 세기 벡터에 기초하여 결정된다. 다음에는, DirAC의 지향성 매개 변수의 추정이 간단히 요약된다. P(k, n)는 음압(sound pressure)을 나타내며, U(k, n)는 주파수 지수 k 및 시간 지수 n에서 입자의 속도 벡터를 나타낸다. 그런 다음, 능동 음의 세기 벡터는 다음과 같이 획득된다:

첨자 ＊는 공액 복소수를 나타내고, Re{}는 복소수의 실수부이다. ρ₀은 공기의 평균 밀도를 나타낸다. 마지막으로,

의 반대 방향은 음의 DOA를 나타낸다:

(2)

추가적으로, 음장의 확산은 예를 들어 다음의 식에 따라 결정될 수 있다:

(3)

실제로, 입자의 속도 벡터는 종종 차동형 마이크 배열이라고 하는 근접 간격의 무지향성 마이크 캡슐의 압력 기울기(pressure gradient)에서 계산된다. 도 2를 고려하면, 입자의 속도 벡터의 x 성분은 예를 들어 다음의 식에 따라 한 쌍의 마이크를 이용하여 계산될 수 있다:

(4)

여기서 K(k)는 주파수 의존 정규화 계수를 나타낸다. 이의 값은 마이크 구성, 예를 들어, 마이크의 거리 및/또는 지향성 패턴에 의존한다. U(kn)의 나머지 성분 U_y(k, n)(및 U_z(k, n))은 마이크의 적절한 쌍을 조합하여 유사하게 결정될 수 있다.

2008년 5월 네덜란드 암스테르담 페이퍼 7374 124차 AES 컨벤션에서 M. Kallinger, F. Kuech, R. Schultz-Amling, G. Del Galdo, J. Ahonen, 및 V. Pulkki에 의한, 지향성 오디오 코딩에서 응용을 위한 평면 마이크 어레이의 분석 및 조정(M. Kallinger, F. Kuech, R. Schultz-Amling, G. Del Galdo, J. Ahonen, and V. Pulkki, Analysis and Adjustment of Planar Microphone Arrays for Application in Directional Audio Coding, in 124th AES Convention, Paper 7374, Amsterdam, the Netherlands, May 2008)에 나타나 있는 바와 같이, 공간 앨리어싱은 입자의 속도 벡터의 위상 정보에 영향을 미치며, 고주파에서 능동 음의 크기 추정을 위한 압력 기울기의 이용을 금지한다. 이러한 공간 앨리어싱은 DOA 추정의 모호함을 초래한다. 보여질 수 있는 바와 같이, 명확한 DOA 추정이 능동 음의 크기에 기초하여 획득될 수 있는 최대 주파수 f_max는 마이크 쌍의 거리에 의해 결정된다. 추가적으로, 음장의 확산과 같은 지향성 매개 변수의 추정이 또한 영향을 받는다. 거리 d에 따른 무지향성 마이크의 경우에, 이러한 최대 주파수는 다음에 의해 제공된다.

(5)

여기서 c는 음의 전파 속도를 나타낸다.

일반적으로, 음장의 지향성 정보를 이용하는 응용의 필요한 주파수 범위는 실제 마이크 구성에 예상되는 공간 앨리어싱 제한치 f_max보다 크다. 너무 작은 d가 실제는 저주파에서 추정 신뢰성을 상당히 감소시키기 때문에, 마이크 간격 d를 감소시켜, 공간 앨리어싱 제한치 f_max를 증가시킨다는 주의 사항(notice)은 대부분의 응용에 실행 가능한 해결책이 아니다. 따라서, 고주파에서 현재 지향성 매개 변수 추정 기법의 한계를 극복하기 위해 새로운 방법이 필요하다.

본 발명의 실시예의 목적은 공간 앨리어싱 제한 주파수보다 더 나은 지향성 정보의 결정을 허용하는 개념을 제공하기 위한 것이다.

이러한 목적은 청구항 1에 따른 장치, 청구항 15 및 16에 따른 시스템, 청구항 18에 따른 방법 및 청구항 19에 따른 컴퓨터 프로그램에 의해 해결된다.

실시예는 복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보를 도출하는 장치를 제공하며, 서로 다른 효과적인 마이크 시야 방향(look direction)은 마이크 신호 또는 성분과 관련이 있다. 장치는 마이크 신호 또는 마이크 신호의 성분으로부터 크기를 획득하도록 구성되는 조합기를 포함한다. 더욱이, 조합기는 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 조합하도록(예를 들어 선형적으로 조합하도록) 구성되어, 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목이 지향성 정보를 도출하기 위해 주어진 효과적인 마이크 시야 방향과 관련된 마이크 신호 또는 마이크 신호의 성분의 크기 값에 따라 가중되도록 한다.

지향성 매개 변수 추정 시의 공간 앨리어싱의 문제는 마이크 신호 내에서 위상 정보의 모호성으로부터 생성한다는 것이 발견되었다. 본 발명의 실시예의 사상은 마이크 신호의 진폭 값에 따라 지향성 정보를 도출하여 이러한 문제를 극복하기 위한 것이다. 마이크 신호 또는 마이크 신호의 성분의 크기 값에 따라 지향성 정보를 도출함으로써, 지향성 정보를 결정하기 위해 위상 정보를 이용하는 기존의 시스템에서 발생할 수 있는 모호성은 발생하지 않는다는 것이 발견되었다. 따라서, 실시예는 심지어 공간 앨리어싱 제한치 이상에서도 지향성 정보의 측정을 가능하게 하며, 그 이상에서 위상 정보를 이용하면은 지향성 정보의 결정이 가능하지 않다(또는 단지 오차를 갖는다).

환언하면, 마이크 신호 또는 마이크 신호의 성분의 크기 값의 이용은 공간 앨리어싱 또는 다른 위상 왜곡이 예상되는 주파수 영역 내에서 특히 유용한데, 그 이유는 이러한 위상 왜곡이 이러한 크기 값에 영향을 미치지 않으며, 따라서, 지향성 정보 결정의 모호성으로 이어지지 않기 때문이다.

일부 실시예에 따르면, 마이크 신호에 관련된 효과적인 마이크 시야 방향은 마이크 신호가 도출되는 마이크가 최대 응답(또는 최고 감도)을 갖는 방향을 나타낸다. 예로서, 마이크는 비등방성 수음 패턴(non isotropic pick up pattern)을 가진 지향성 마이크일 수 있으며, 효과적인 마이크 시야 방향은 마이크의 수음 패턴이 최대로 되는 방향으로 정의될 수 있다. 따라서, 지향성 마이크의 경우, 예를 들어 지향성 마이크의 수음 패턴을 수정하는 객체가 마이크 근처에 배치되지 않을 때, 효과적인 마이크 시야 방향은 (지향성 마이크가 최대 감도를 갖는 방향을 나타내는) 마이크 시야 방향과 동일할 수 있다. 효과적인 마이크 시야 방향은 지향성 마이크가 수음 패턴을 수정하는 효과를 갖는 객체 근처에 배치되는 경우에는 지향성 마이크의 마이크 시야 방향과 다를 수 있다. 이 경우에, 효과적인 마이크 시야 방향은 지향성 마이크가 최대 응답을 갖는 방향을 나타낼 수 있다.

무지향성 마이크의 경우에, 무지향성 마이크의 효과적인 응답 패턴은 예를 들어 (마이크의 수음 패턴을 수정하는 효과를 갖는) 음영 객체를 이용하여 형상화되어, 형상화된 효과적인 응답 패턴이 형상화된 효과적인 응답 패턴을 가진 무지향성 마이크의 최대 응답의 방향인 효과적인 마이크 시야 방향을 갖도록 한다.

추가의 실시예에 따르면, 지향성 정보는 음장이 (예를 들어, 어떤 주파수 및 시간 지수에서) 전파하는 방향을 가리키는 음장의 지향성 정보일 수 있다. 복수의 마이크 신호는 음장을 나타낼 수 있다. 일부 실시예에 따르면, 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목은 주어진 효과적인 마이크 시야 방향을 나타내는 벡터일 수 있다. 추가의 실시예에 따르면, 지향성 정보 항목은 서로 다른 효과적인 마이크 시야 방향과 관련된 지향성 정보 항목이 동일한 놈(norm)(하지만 방향은 상이함)을 갖도록 하는 단위 벡터일 수 있다. 따라서, 조합기에 의해 선형적으로 조합되는 가중 벡터의 놈은 가중 벡터의 지향성 정보 항목에 관련된 마이크 신호 또는 마이크 신호의 성분의 크기 값에 의해 결정된다.

추가의 실시예에 따르면, 조합기는 크기 값이 마이크 신호 또는 마이크 신호의 성분의 스펙트럼 부영역을 나타내는 (마이크 신호의 성분으로서) 스펙트럼 계수의 크기를 나타내도록 하는 크기 값을 획득하기 위해 구성될 수 있다. 환언하면, 실시예는 마이크 신호를 도출하는데 이용되는 마이크의 스펙트럼의 크기로부터 (예를 들어, 시간 주파수 도메인에서 분석되는) 음장의 실제 정보를 추출할 수 있다.

추가의 실시예에 따르면, 위상 용어가 공간 앨리어싱 효과에 의해 손상될 때에는 마이크 신호(또는 마이크 스펙트럼)의 크기 값(또는 크기 정보)만이 지향성 정보를 도출하기 위한 추정 프로세스에서 이용된다.

환언하면, 실시예는 제각기 마이크 신호 또는 마이크 신호의 성분 및 스펙트럼의 크기 정보만을 이용하여 지향성 매개 변수 추정을 위한 장치 및 방법을 제공한다.

추가의 실시예에 따르면, 크기 기반의 지향성 매개 변수 추정(지향성 정보)의 출력은 또한 위상 정보를 고려하는 다른 기술과 조합될 수 있다.

추가의 실시예에 따르면, 크기 값은 마이크 신호 또는 성분의 크기를 나타낼 수 있다.

본 발명의 실시예는 첨부된 도면을 이용하여 상세히 설명될 것이다:
도 1은 본 발명의 실시예에 따른 장치의 개략적인 블록도를 도시한다.
도 2는 i = 1, ..., 4인 음압 신호 P_i(k, n)를 제공하는 4개의 무지향성 캡슐을 이용하는 마이크 구성의 예시도를 도시한다.
도 3은 카디오이드(cardioid) 수음 패턴을 가진 4개의 지향성 마이크를 이용하는 마이크 구성의 예시도를 도시한다.
도 4는 산란 및 음영 효과를 발생시키도록 강체 원통(rigid cylinder)을 채용한 마이크 구성의 예시도를 도시한다.
도 5는 도 4와 유사하지만, 다른 마이크 배치를 채용한 마이크 구성의 예시도를 도시한다.
도 6은 산란 및 음영 효과를 발생시키도록 강체 반구(hemisphere)를 채용한 마이크 구성의 예시도를 도시한다.
도 7은 음영 효과를 발생시키도록 강체 구(sphere)를 채용한 3D 마이크 구성의 예시도를 도시한다.
도 8은 실시예에 따른 방법의 흐름도를 도시한다.
도 9는 실시예에 따른 시스템의 개략적인 블록도를 도시한다.
도 10은 본 발명의 추가의 실시예에 따른 시스템의 개략적인 블록도를 도시한다.
도 11은 대향하는 마이크 사이의 d의 간격을 가진 4개의 무지향성 마이크의 배열의 예시도를 도시한다.
도 12는 원통의 단부에 설치되는 4개의 무지향성 마이크의 배열의 예시도를 도시한다.
도 13은 파장으로 나눈 무지향성 마이크의 다이어프램 둘레(diaphragm circumference)를 나타내는 ka의 함수로서 데시벨의 지향성 지수 DI의 다이어그램을 도시한다.
도 14는 G.R.A.S 마이크를 가진 로그 지향성 패턴을 도시한다.
도 15는 AKG 마이크를 가진 로그 지향성 패턴을 도시한다.
도 16은 제곱 평균 제곱근 오차(RMSE)로 표현된 지향성 분석을 위한 다이어그램 결과를 도시한다.
본 발명의 실시예가 첨부된 도면을 이용하여 보다 상세히 설명되기 전에, 동일하거나 기능적으로 동일한 요소에는 동일한 참조 번호가 제공되고, 동일한 참조 번호가 제공된 요소의 반복 설명은 생략된다는 것이 지적되어야 한다. 따라서, 동일한 참조 번호를 가진 요소에 대해 제공된 설명은 상호 교환할 수 있다.

5.1 도 1에 따른 장치

도 1은 본 발명의 실시예에 따른 장치(100)를 도시한다. 복수의 마이크 신호(103₁ 내지 103_N)(또한 P₁ 내지 P_N으로 표시됨) 또는 마이크 신호의 복수의 성분으로부터 지향성 정보(101)(또한 d(k, n)로 표시됨)를 도출하는 장치(100)는 조합기(105)를 포함한다. 조합기(105)는 마이크 신호 또는 마이크 신호의 성분으로부터 크기 값을 획득하고, 마이크 신호(103₁ 내지 103_N) 또는 성분과 관련되는 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 선형적으로 조합하도록 구성되어, 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목이 지향성 정보(101)를 도출하기 위해 주어진 효과적인 마이크 시야 방향과 관련된 마이크 신호 또는 마이크 신호의 성분의 크기 값에 따라 가중되도록 한다.

제 i 마이크 신호(P_i)의 성분은 P_i(k, n)로 표시될 수 있다. 마이크 신호(P_i)의 성분(P_i(k, n))은 주파수 지수 k 및 시간 지수 n에서의 마이크 신호(P_i)의 값일 수 있다. 마이크 신호(P_i)는 제 i 마이크로부터 도출될 수 있고, 서로 다른 주파수 지수 k 및 시간 지수 n에 대한 복수의 성분(P_i(k, n))을 포함하는 시간 주파수 표현에서 조합기(105)에 이용할 수 있다. 예로서, 마이크 신호(P₁ 내지 P_N)는 B-형식의 마이크로부터 도출될 수 있는 음압 신호일 수 있다.

따라서, 각 성분 P_i(k, n)은 시간 주파수 타일(k, n)에 상응할 수 있다. 조합기(105)는 크기 값이 마이크 신호 P_i의 스펙트럼 부영역을 나타내는 스펙트럼 계수의 크기를 나타내는 크기 값을 획득하도록 구성될 수 있다. 이러한 스펙트럼 계수는 마이크 신호 P_i의 성분 P_i(k, n)일 수 있다. 스펙트럼 부영역은 성분 P_i(k, n)의 주파수 지수 k에 의해 정의될 수 있다. 더욱이, 조합기(105)는 예를 들어 마이크 신호 P_i가 복수의 성분 P_i(k, n)으로 나타내는 마이크 신호의 시간 주파수 표현에 기초하여 지향성 정보(101)를 도출하도록 구성될 수 있으며, 각 성분는 시간 주파수 타일(k, n)에 관련된다.

본 출원의 도입부에서 설명된 바와 같이, 마이크 신호 P₁ 내지 P_N 또는 마이크 신호의 성분의 크기 값에 기초하여 지향성 정보 d(k, n)를 획득함으로써, 마이크 신호 P₁ 내지 P_N, 예를 들어 스펙트럼 앨리어싱 주파수 f_max의 주파수 지수 보다 높은 주파수 지수를 갖는 성분 P_i(k, n) 내지 P_N(k, n)에 대한 보다 높은 주파수에도 불구하고 지향성 정보 d(k, n)가 달성될 수 있는데, 그 이유는 공간 앨리어싱 또는 다른 위상 왜곡이 발생하지 않을 수 있기 때문이다.

다음에는 본 발명의 실시예에 대한 상세한 예가 주어지며, 이는 마이크 신호의 크기의 조합(지향성 크기 조합), 및 도 1에 따른 장치(100)에 의해 수행될 수 있는 방법에 기초한다. 또한 DOA 추정으로 나타내는 지향성 정보 d(k, n)는 각 마이크 신호(또는 마이크 신호의 각 성분)의 크기를 2차원(2D) 또는 3차원(3D) 공간에서 상응하는 벡터로서 해석하여 획득된다.

d_t(k, n)는 음장이 제각기 주파수 및 시간 지수 k 및 n에 전파하는 방향을 가리키는 참(true) 또는 원하는 벡터라고 한다. 환언하면, 음의 DOA는 d_t(k, n)의 방향에 상응한다. 음장으로부터의 지향성 정보가 추출될 수 있도록 d_t(k, n)를 추정하는 것이 본 발명의 실시예의 목표이다. 또한 b₁, b₂, . . . , b_N는 N 지향성 마이크의 시야 방향을 가리키는 벡터(예를 들어 단위 놈 벡터)라고 한다. 지향성 마이크의 시야 방향은 수음 패턴이 최대가 되는 방향으로 정의된다. 유사하게, 산란/음영 객체가 마이크 구성에 포함되는 경우에, 벡터 b₁, b₂, . . . , b_N는 상응하는 마이크의 최대 응답의 방향을 가리킨다.

벡터 b₁, b₂, . . . , b_N는 제 1 내지 N 마이크의 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목으로 명시될 수 있다. 이러한 예에서, 지향성 정보 항목은 상응하는 효과적인 마이크 시야 방향을 가리키는 벡터이다. 추가의 실시예에 따르면, 지향성 정보 항목은 또한 스칼라, 예를 들어 상응하는 마이크의 시야 방향을 나타내는 각도일 수 있다.

더욱이, 이러한 예에서, 지향성 정보 항목은 서로 다른 효과적인 마이크 시야 방향과 관련된 벡터가 동일한 놈을 갖도록 단위 놈 벡터일 수 있다.

또한, 제안된 방법은 마이크의 효과적인 마이크 시야 방향에 상응하는 벡터 b_i의 합이 (예를 들어 공차 범위 내에서) 0과 같을 경우에, 즉 다음과 같을 경우에 최상일 수 있다는 것이 주목되어야 한다.

(6)

일부 실시예에서, 공차 범위는 합을 도출하는데 이용되는 지향성 정보 항목 (예를 들어, 최대 놈을 가진 지향성 정보 항목, 최소 놈을 가진 지향성 정보 항목, 또는 합을 도출하는데 이용되는 지향성 항목의 모든 놈의 평균에 가장 가까운 놈을 가진 지향성 정보 항목) 중 하나의 ±30%, ±20%, ±10%, ±5%일 수 있다.

일부 실시예에서, 효과적인 마이크 시야 방향은 좌표계에 대해 동일하게 분포될 수 없다. 예를 들면, 제 1 마이크의 제 1 효과적인 마이크 시야 방향은 EAST(예를 들어 2차원 좌표계에서 0 도)이고, 제 2 마이크의 제 2 효과적인 마이크 시야 방향은 NORTH-EAST(예를 들어 2차원 좌표계에서 45 도)이고, 제 3 마이크의 제 3 효과적인 마이크 시야 방향은 NORTH(예를 들어 2차원 좌표계에서 90 도)이며, 제 4 마이크의 제 4 효과적인 마이크 시야 방향은 SOUTH-WEST(예를 들어 2차원 좌표계에서 -135 도)인 시스템이라고 하며, 단위 놈 벡터인 지향성 정보 항목을 가져 다음의 것이 생성된다:

제 1 효과적인 마이크 시야 방향의 경우,

제 2 효과적인 마이크 시야 방향의 경우,

제 3 효과적인 마이크 시야 방향의 경우,

제 4 효과적인 마이크 시야 방향의 경우,

이것은 다음의 벡터의 비제로 합에 이른다:

일부 실시예에서와 같이, 0인 벡터의 합을 갖는 것이 바람직하며, 효과적인 마이크 시야 방향을 가리키는 벡터인 지향성 정보 항목은 스케일링될 수 있다. 이러한 예에서, 지향성 정보 항목 b₄은 다음과 같이 스케일링될 수 있다:

이는 0과 같은 벡터의 합 b_sum을 생성한다 :

환언하면, 일부 실시예에 따르면, 서로 다른 효과적인 마이크 시야 방향을 가리키는 벡터인 서로 다른 지향성 정보 항목은 서로 다른 놈을 가져, 지향성 정보 항목의 합이 0과 같도록 선택될 수 있다.

참 벡터 d_t(k, n)의 추정 d 및 이에 따라 결정될 지향성 정보는 다음과 같이 정의될 수 있다:

(7)

여기서 P_i(k, n)는 주파수 타일(k, n)에 관련된 제 i 마이크의 신호(또는 제 i 마이크의 마이크 신호 P_i의 성분)를 나타낸다.

식 (7)은 제 1 내지 N 마이크로부터 도출되는 마이크 신호 P₁ 내지 P_N의 성분 P_i(k, n) 내지 P_N(k, n)의 크기 값만큼 가중되는 제 1 마이크 내지 제 N 마이크의 지향성 정보 항목 b₁ 내지 b_N의 선형 조합을 형성한다. 따라서, 조합기(105)는 지향성 정보(101)(d(k, n))를 도출하기 위해 식 (7)을 계산할 수 있다.

식 (7)에서 알 수 있듯이, 조합기(105)는 주어진 시간 주파수 타일 (k, n)에 대한 지향성 정보 d(k, n)를 도출하기 위해 주어진 시간 주파수 타일 (k, n)에 관련되는 크기 값에 따라 가중되는 지향성 정보 항목 b₁ 내지 b_N을 선형 조합하도록 구성될 수 있다.

추가의 실시예에 따르면, 조합기(105)는 주어진 시간 주파수 타일 (k, n)에 관련되는 크기 값에만 따라 가중되는 지향성 정보 항목 b₁ 내지 b_N을 선형 조합하도록 구성될 수 있다.

더욱이, 식 (7)으로부터, 조합기(105)는 복수의 서로 다른 시간 주파수 타일에 대해 서로 다른 효과적인 마이크 시야 방향을 나타내는 (시간 주파수 타일과 무관한) 동일한 지향성 정보 항목 b₁ 내지 b_N을 선형 조합하도록 구성될 수 있지만, 지향성 정보 항목은 서로 다른 시간 주파수 타일에 관련되는 크기 값에 따라 서로 다르게 가중될 수 있다.

지향성 정보 항목 b₁ 내지 b_N이 단위 벡터일 수 있음에 따라, 지향성 정보 항목 b_i 및 크기 값의 곱에 의해 형성되는 가중 벡터의 놈은 크기 값에 의해 정의될 수 있다. 서로 다른 시간 주파수 타일 외에 동일한 효과적인 마이크 시야 방향에 대한 가중 벡터는 동일한 방향을 가질 수 있지만, 서로 다른 시간 주파수 타일에 대한 서로 다른 크기 값으로 인해 놈에 대해 다를 수 있다.

일부 실시예에 따르면, 가중 값은 스칼라 값일 수 있다.

식 (7)에 표시된 인수 κ는 자유롭게 선택될 수 있다. κ = 2, (마이크 신호 P₁ 내지 P_N가 도출되는) 대향 마이크가 등거리에 있는 경우에, 지향성 정보 d(k, n)는 (예를 들어 두 마이크의 세트에서) 어레이의 중심에 있는 에너지 기울기에 비례한다.

환언하면, 조합기(105)는 크기 값에 따라 제곱된 크기 값을 획득하도록 구성될 수 있으며, 제곱된 크기 값은 마이크 신호 P_i의 성분 P_i(k, n)의 거듭 제곱(power)을 나타낸다. 더욱이, 조합기(105)는 지향성 정보 항목 b_i이 (제 i 마이크의) 상응하는 시야 방향과 관련된 마이크 신호 P_i의 성분 P_i(k, n)의 제곱된 크기 값에 따라 가중되도록 지향성 정보 항목 b₁ 내지 b_N을 선형 조합하도록 구성될 수 있다.

d(k, n)로부터, 방위각

및 앙각

으로 표현된 지향성 정보는 다음을 고려하여 쉽게 획득된다:

(8)

일부 응용에서, 2D 분석만이 필요한 경우, 예를 들어 도 3에서와 같이 배치된 4개의 지향성 마이크가 채용될 수 있다. 이 경우에, 지향성 정보 항목은 다음과 같이 선택될 수 있다:

결과적으로 식 (7)은 다음과 같이 된다:

이러한 접근 방식은 마이크 구성에 위치된 강체(rigid object)의 경우에 유사하게 적용될 수 있다. 일례로서, 도 4 및 5는 4개의 마이크 배열의 중간에 위치된 원통형 객체의 케이스를 도시한다. 다른 예는 도 6에 도시되며, 여기서 산란 객체는 반구의 형상을 갖는다.

3D 구성의 예는 도 7에 도시되며, 여기서 6개의 마이크는 강체 구에 걸쳐 분포된다. 이 경우에, 벡터 d(k, n)의 z 성분은 식 (9)-(14)와 비슷하게 획득될 수 있다:

(15)

(16)

이는 다음을 산출한다:

(17)

1977년 US4042779 (A) P.G. Craven 및 M.A. Gerzon에 기재되어 있는 바와 같이, 본 발명의 실시예에서 응용에 적절한 지향성 마이크의 잘 알려진 3D 구성은 소위 A-형식 마이크이다.

제안된 지향성 크기 조합의 접근 방식을 따르기 위해서는 어떤 가정이 충족될 필요가 있다. 지향성 마이크가 채용되면, 각 마이크에 대해 수음 패턴이 마이크의 지향 또는 시야 방향에 대하여 거의 대칭이어야 한다. 산란/음영 접근 방식이 이용되면, 산란/음영 효과는 최대 응답의 방향에 대하여 거의 대칭이어야 한다. 이러한 가정은 도 3 내지 7에 도시된 예에서와 같은 배열이 구성될 때에 쉽게 충족된다.

DirAC의 응용

상기 논의는 지향성 정보(DOA)의 추정만을 고려한다. 지향성 코딩의 맥락에서, 음장의 확산에 관한 정보가 추가로 필요할 수 있다. 간단한 접근 방식은 단순히 추정된 벡터 d(k, n) 또는 결정된 지향성 정보와 능동 음의 세기 벡터

의 대향 방향을 동등시하여 획득될 수 있다:

(18)

이것은 d(k, n)가 에너지 기울기에 관한 정보를 포함할 때에 가능하다. 그런 다음,확산은 식 (3)에 따라 계산될 수 있다.

5.2. 도 8에 따른 방법

본 발명의 추가의 실시예는 복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보를 도출하는 방법을 제공하며, 서로 다른 효과적인 마이크 시야 방향은 마이크 신호와 관련되어 있다.

이와 같은 방법(800)은 도 8의 흐름도에 도시된다. 방법(800)은 마이크 신호 또는 마이크 신호의 성분으로부터 크기를 획득하는 단계(801)를 포함한다.

방법(800)은 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 조합하는(예를 들어 선형적으로 조합하는) 단계(803)를 포함하여, 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목이 지향성 정보를 도출하기 위해 상응하는 효과적인 마이크 시야 방향과 관련된 마이크 신호 또는 마이크 신호의 성분의 크기 값에 따라 가중되도록 한다.

방법(800)은 장치(100)에 의해(예를 들어 장치(100)의 조합기(105)에 의해) 수행될 수 있다.

다음에는, 마이크 신호를 획득하고, 도 9 및 10을 이용하여 이러한 마이크 신호로부터 지향성 정보를 도출하기 위해 실시예에 따른 두 시스템이 설명될 수 있다.

5.3 도 9 및 도 10에 따른 시스템

일반적으로 알려진 바와 같이, 지향성 정보를 추출하기 위해 압력 크기를 이용하는 것은 무지향성 마이크를 이용할 때에는 비실용적이다. 사실상, 마이크에 도래하는 음이 여행하는 서로 다른 거리로 인한 크기의 차는 일반적으로 너무 작아 측정되지 않기 때문에 대부분의 알려진 알고리즘은 주로 위상 정보에 의존하도록 한다. 실시예는 지향성 매개 변수 추정 시에 공간 앨리어싱의 문제를 극복한다. 다음에 설명되는 시스템은 도래 방향에 의존하는 마이크 신호의 측정 가능한 크기 차가 존재하도록 적절히 설계된 마이크 배열을 이용한다. 그리고 나서, (다만) 위상 항(phase term)이 공간 앨리어싱 효과에 의해 손상될 때에 마이크 스펙트럼의 이러한 크기 정보는 추정 프로세스에 이용된다.

실시예는, 둘 이상의 마이크, 또는 그 후 예를 들어 하나의 마이크를 축에 대해 회전시켜 둘 이상의 위치에 배치된 하나의 마이크의 스펙트럼의 크기만으로부터 시간-주파수 도메인에서 분석된 음장의 (DOA 또는 확산과 같은) 지향성 정보를 추출하는 단계를 포함한다. 이것은 크기가 도래 방향에 따라 예측 가능한 방식으로 상당히 변화할 때에 가능하다. 이것은 두 가지 방식으로, 즉

1. 각 마이크가 서로 다른 방향을 가리키는 지향성 마이크를 채용(즉, 카디오이드 마이크와 같은 비등방성 수음 패턴을 처리)하거나,

2. 각 마이크 또는 마이크 위치에 대해 고유 산란 및/또는 음영 효과를 실현하여 달성될 수 있다. 이것은 예를 들어 마이크 구성의 중심에 물리적 객체를 채용하여 달성될 수 있다. 적절한 객체는 산란 및/또는 음영 효과에 의해 알려진 방식으로 마이크 신호의 크기를 수정한다.

제 1 방법을 이용하는 시스템에 대한 예는 도 9에 도시되어 있다.

5.3.1 도 9에 따라 지향성 마이크를 이용하는 시스템

도 9는 시스템(900)의 개략적인 블록도를 도시하며, 시스템은 장치, 예를 들어 도 1에 따른 장치를 포함한다. 더욱이, 시스템(900)은 장치(100)의 복수의 마이크 신호의 제 1 마이크 신호(103₁)를 도출하기 위해 제 1 효과적인 마이크 시야 방향(903₁)을 갖는 제 1 지향성 마이크(901₁)를 포함한다. 제 1 마이크 신호(103₁)는 제 1 시야 방향(903₁)과 관련되어 있다. 더욱이, 시스템(900)은 장치(100)의 복수의 마이크 신호의 제 2 마이크 신호(103₂)를 도출하기 위해 제 2 효과적인 마이크 시야 방향(903₂)을 갖는 제 2 지향성 마이크(901₂)를 포함한다. 제 2 마이크 신호(103₂)는 제 2 시야 방향(903₂)과 관련되어 있다. 더욱이, 제 1 시야 방향(903₁)은 제 2 시야 방향(903₂)과 상이하다. 예를 들면, 시야 방향(903₁, 903₂)은 대향할 수 있다. 이러한 개념에 대한 추가의 확장은 4개의 카디오이드 마이크(지향성 마이크)가 직교 좌표계(Cartesian coordinate system)의 대향 방향을 향하는 도 3에 도시되어 있다. 마이크 위치는 블랙 회로로 표시된다.

지향성 마이크를 적용함으로써, 지향성 마이크(901₁, 901₂) 사이의 크기 차는 지향성 정보(101)를 결정하기에 충분히 크다라는 것이 달성될 수 있다.

무지향성 마이크에 대해 서로 다른 마이크 신호의 크기의 상당한 변화를 달성하기 위해 제 2 방법을 이용하는 시스템의 예는 도 10에 도시된다.

5.3.2 도 10에 따라 무지향성 마이크를 이용하는 시스템

도 10은 복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보(101)를 도출하는 장치, 예를 들어, 도 1에 따른 장치(100)를 포함하는 시스템(1000)을 도시한다. 더욱이, 시스템(1000)은 장치(100)의 복수의 마이크 신호의 제 1 마이크 신호(103₁)를 도출하는 제 1 무지향성 마이크(1001₁)를 포함한다. 더욱이, 시스템(1000)은 장치(100)의 복수의 마이크 신호의 제 2 마이크 신호(103₂)를 도출하는 제 2 무지향성 마이크(1001₂)를 포함한다. 더욱이, 시스템(1000)은 제 1 무지향성 마이크(1001₁) 및 제 2 무지향성 마이크(1001₂)의 효과적인 응답 패턴을 형상화하기 위해 제 1 무지향성 마이크(1001₁)와 제 2 무지향성 마이크(1001₂) 사이에 배치되어, 제 1 무지향성 마이크(1001₁)의 형상화된 효과적인 응답 패턴이 제 1 효과적인 마이크 시야 방향(1003₁)을 포함하고, 제 2 무지향성 마이크(1001₂)의 형상화된 효과적인 패턴이 제 2 효과적인 마이크 시야 방향(1003₂)을 포함하도록 하는 음영 객체(1005)(또한 산란 객체(1005)로 나타냄)를 포함한다. 환언하면, 무지향성 마이크(1001₁, 1001₂) 사이의 음영 객체(1005)를 이용함으로써, 무지향성 마이크(1001₁, 1001₂)의 지향성 동작은 달성되어 2개의 무지향성 마이크(1001₁, 1001₂) 사이의 작은 거리에도 불구하고 무지향성 마이크(1001₁, 1001₂) 사이의 측정 가능한 크기 차가 달성될 수 있다.

시스템(1000)에 대한 추가의 선택적 확장은 도 4 내지 도 6에 주어지며, 여기서 서로 다른 기하학적 객체는 4개의 (무지향성) 마이크의 기존 배열의 중간에 배치된다.

도 4는 산란 및 음영 효과를 발생시키도록 객체(1005)를 채용한 마이크 구성의 예시도를 도시한다. 도 4의 이러한 예에서, 객체는 강체 원통이다. 4개의 (무지향성) 마이크(1001₁ 내지 1001₄)의 마이크 위치는 블랙 회로에 의해 표시된다.

도 5는 도 4와 유사하지만, (강체 원통의 강체 표면 상에서) 다른 마이크 배치를 채용한 마이크 구성의 예시도를 도시한다. 4개의 (무지향성) 마이크(1001₁ 내지 1001₄)의 마이크 위치는 블랙 회로에 의해 표시된다. 도 5에 도시된 예에서, 음영 객체(1005)는 강체 원통 및 강체 표면을 포함한다.

도 6은 산란 및 음영 효과를 발생시키도록 추가의 객체(1005)를 채용한 마이크 구성의 예시도를 도시한다. 이러한 예에서, 객체(1005)는 (강체 표면을 가진) 강체 반구이다. 4개의 (무지향성) 마이크(1001₁ 내지 1001₄)의 마이크 위치는 블랙 회로에 의해 표시된다.

더욱이, 도 7은 강체 구에 걸쳐 분포된 6개의 (무지향성) 마이크(1001₁ 내지 1001₆)를 이용하는 3차원 DOA 추정(3차원 지향성 정보 도출)에 대한 일례를 도시한다. 환언하면, 도 7은 음영 효과를 발생시키도록 객체(1005)를 채용한 3D 마이크 구성의 예시도를 도시한다. 이러한 예에서, 객체는 강체 구이다. (무지향성) 마이크(1001₁ 내지 1001₆)의 마이크 위치는 블랙 회로에 의해 표시된다.

도 2 내지 7 및 9 내지 10에 도시된 서로 다른 마이크에 의해 생성되는 서로 다른 마이크 신호 사이의 크기 차로부터, 실시예는 도 1에 따른 장치(100)와 함께 설명된 접근 방식에 따라 지향성 정보를 계산한다.

추가의 실시예에 따르면, 제 1 지향성 마이크(901₁) 또는 제 1 무지향성 마이크(1001₁) 및 제 2 지향성 마이크(901₂) 또는 제 2 무지향성 마이크(1001₂)는 제 1 효과적인 마이크 시야 방향(903₁, 1003₁)을 가리키는 벡터인 제 1 지향성 정보 항목과 제 2 효과적인 마이크 시야 방향(903₂, 1003₂)을 가리키는 벡터인 제 2 지향성 정보 항목의 합이 제 1 지향성 정보 항목 또는 제 2 지향성 정보 항목의 +/- 5 %, +/- 10 %, +/- 20 % 또는 +/- 30 %의 공차 범위 내에서 0과 동일하도록 배치될 수 있다.

환언하면, 식 (6)은 시스템(900, 1000)의 마이크에 적용할 수 있으며, 여기서 b_i는 제 i 마이크의 효과적인 마이크 시야 방향을 가리키는 단위 벡터인 제 i 마이크의 지향성 정보 항목이다.

다음에는, 지향성 매개 변수 추정을 위한 마이크 신호의 크기 정보를 이용하기 위한 대안적 솔루션이 설명될 것이다.

5.4 대안적 솔루션

5.4.1 상관 관계 기반 접근 방식

지향성 매개 변수 추정을 위한 마이크 신호의 크기 정보만을 이용하기 위한 대안적 접근 방식은 이 섹션에서 제안된다. 그것은 마이크 신호의 크기 스펙트럼과 모델 또는 측정에서 획득되는 상응하는 선험적 결정된 크기 스펙트럼 사이의 상관 관계에 기초한다.

는 제 i 마이크 신호의 크기 또는 파워 스펙트럼을 나타낸다. 그런 다음, N 마이크의 측정된 크기 배열 응답 S(k, n)을 다음과 같이 정의한다:

(19)

마이크 배열의 상응하는 크기 배열 매니폴드는

로 표시된다. 크기 배열 매니폴드는 이러한 배열 내에서 서로 다른 시야 방향 또는 산란/음영 객체를 가진 지향성 마이크가 이용되는 경우에는 분명히 음 φ의 DOA에 좌우된다. 배열 매니폴드에서 음의 DOA에 미치는 영향은 실제 배열 구성에 좌우되고, 그것은 마이크의 지향성 패턴 및/또는 마이크 구성에 포함된 산란 객체에 의해 영향을 받는다. 배열 매니폴드는 배열의 측정으로부터 결정될 수 있으며, 여기서 음은 서로 다른 방향에서 재생된다. 대안적으로, 물리적 모델이 적용될 수 있다. 표면에서 음압 분포에 대한 원통형 산란체의 효과는 예를 들어 H. Teutsch and W. Kellermann, Acoustic source detection and localization based on wavefield decomposition using circular microphone arrays, J. Acoust. Soc. Am., 5(120), 2006에 설명되어 있다.

음의 DOA의 원하는 추정을 결정하기 위해, 크기 배열 응답 및 크기 배열 매니폴드는 상관 관계가 있다. 추정된 DOA는 다음 식에 따라 정규화된 상관 관계의 최대에 상응한다:

(20)

여기서 DOA 추정에 대한 2D 경우만을 제시했지만, 방위각 및 앙각을 포함하는 3D DOA 추정은 비슷하게 수행될 수 있다라는 것이 자명하다.

5.4.2 잡음 부공간 기반 접근 방식

지향성 매개 변수 추정을 위한 마이크 신호의 크기 정보만을 이용하는 대안적 접근 방식은 이 섹션에서 제안된다. 그것은 표시된 예에서 크기 정보만이 처리된다는 것을 제외하고 잘 알려진 루트 MUSIC 알고리즘(R. Schmidt, Multiple emitter location and signal parameter estimation, IEEE Transactions on Antennas and Propagation, 34(3):276-280, 1986)에 기초한다.

S(k, n)를 식 (19)에서 정의된 바와 같이 측정된 크기 배열 응답이라고 한다. 다음에는 모든 단계가 각 시간 주파수 빈(bin)에 대해 별도로 실행될 때에 k 및 n에 대한 종속성(dependency)은 생략된다. 상관 행렬 R은 아래와 같이 계산될 수 있다:

(21)

여기서 (·)Η는 공액 전치(conjugate transpose)를 나타내고, Ε{·}는 예상 연산자(expectation operator)를 나타낸다. 예상은 보통 실제 응용에서 시간적 및/또는 스펙트럼 평균 프로세스에 의해 근사화된다. R의 고유값 분해(eigenvalue decomposition)는 다음과 같이 쓸 수 있다:

(22)

여기서

은 고유값이며, N은 마이크 또는 측정 위치의 수이다. 이제, 강한 평면파가 마이크 배열에 도달하면, 하나의 비교적 큰 고유값 λ이 획득되지만, 다른 모든 고유값은 0에 가깝다. 후자의 고유값에 상응하는 고유 벡터는 소위 잡음 부공간 Q_n을 형성한다. 이러한 행렬은 최대 고유값에 상응하는 고유 벡터를 포함하는 소위 신호 부공간 Q_s에 직교한다. 소위 MUSIC 스펙트럼은 다음과 같이 계산될 수 있다:

(23)

여기서 조사된 조향 방향 φ에 대한 조향 벡터 s(φ)는 이전의 섹션에서 소개된 배열 매니폴드 S_M에서 취해진다. 조향 방향 φ이 음의 진정한 DOA와 일치할 때 MUSIC 스펙트럼 Ρ(φ)은 최대가 된다. 따라서, 음 φ_DOA의 DOA는 Ρ(φ)가 최대가 되는 φ를 취하여 결정될 수 있다. 즉

(24)

다음에는, 최적화된 마이크 배열에서 조합된 압력 및 에너지 기울기를 활용하는 광대역 방향 추정 방법/장치에 대한 본 발명의 상세한 실시예의 일례가 설명될 것이다.

5.5 조합된 압력 및 에너지 기울기를 활용하는 방향 추정의 예

5.5.1 서론

음의 도래 방향의 분석은 여러 오디오 재생 기술에서 멀티채널 오디오 파일 또는 다수의 마이크 신호로부터 공간 음의 파라메트릭 표현(parametric representation)을 제공하는 데 이용된다(F. Baumgarte and C. Faller, "Binaural Cue Coding - part I: Psychoacoustic fundamentals and design principles," IEEE Trans. Speech Audio Process., vol. 11, pp. 509-519, November 2003; M. Goodwin and J-M. Jot, "Analysis and synthesis for Universal Spatial Audio Coding," in Proc. AES 121st Convention, San Francisco, CA, USA, 2006; V. Pulkki, "Spatial sound reproduction with Directional Audio Coding," J. Audio Eng. Soc, vol. 55, pp. 503-516, June 2007; and C. Faller, "Microphone front-ends for spatial audio coders," in Proc. AES 125th Convention, San Francisco, CA, USA, 2008). 공간 음 재생 외에, 분석된 방향은 또한 음원 위치 추정 및 빔 형성(source localization and beamforming)과 같은 응용에 활용될 수 있다(M. Kallinger, G. Del Galdo, F. Kuech, D. Mahne, and R. Schultz-Amling, "Spatial filtering using Directional Audio Coding parameters," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE Computer Society, pp. 217-220, 2009 and O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, "Localization of sound sources in reverberant environments based on Directional Audio Coding parameters," inn Proc. AES 127th Convention, New York, NY, USA, 2009). 이러한 예에서, 방향의 분석은 다양한 응용에서 공간 음의 녹음 및 재생을 위한 처리 기술, DirAC(Directional Audio Coding)의 관점에서 논의된다(V. Pulkki, "Spatial sound reproduction with Directional Audio Coding," J. Audio Eng. Soc, vol. 55, pp. 503-516, June 2007).

일반적으로, DirAC의 방향의 분석은 3D 음의 세기 벡터의 측정에 기초하고, 음장의 단일 지점에서 음압 및 입자 속도에 대한 정보를 필요로 한다. 따라서, DirAC은 직교 좌표에 따라 지향되는 3개의 다이폴(dipole) 신호 및 무지향성 신호의 형태의 B 형식의 신호와 함께 사용된다. B 형식의 신호는 밀접 배치된(closely-spaced) 또는 일치하는 마이크의 배열로부터 도출될 수 있다(J. Merimaa, "Applications of a 3-D microphone array," in Proc. AES 112th Convention, Munich, Germany, 2002 and M.A. Gerzon, "The design of precisely coincident microphone arrays for stereo and surround sound," in Proc. AES 50th Convention, 1975). 사각형 배열로 배치된 4개의 무지향성 마이크에 따른 소비자 레벨의 솔루션이 여기에 이용된다. 불행하게도, 이와 같은 배열로부터 압력 기울기로 도출되는 다이폴 신호는 고주파에서 공간 앨리어싱이 생긴다. 결과적으로, 방향은 공간 앨리어싱 주파수 위에서 잘못 추정되며, 이는 배열의 간격에서 도출될 수 있다.

이러한 예에서, 공간 앨리어스 주파수 위까지 안정적인 방향 추정을 확장하는 방법에는 실제 무지향성 마이크가 제공된다. 이러한 방법은 마이크 자체가 고주파에서 비교적 짧은 파장을 가진 도래 음(arriving sound)에 음영이 생긴다는 사실을 활용한다. 이와 같은 음영은 도래 방향에 따라 배열에 배치된 마이크에 대해 측정 가능한 마이크간 레벨차를 생성한다. 이것은 마이크 신호 사이의 에너지 기울기를 계산하여 음의 세기 벡터의 근사치를 구하며, 더욱이 이것에 기초하여 도래 방향을 추정할 수 있도록 한다. 추가적으로, 마이크의 크기는 주파수 한계치를 결정하며, 이러한 한계치 위에서 레벨 차는 에너지 기울기를 실행할 수 있게 이용하는데 충분하다. 음영은 크기가 더욱 큰 저주파에서 시행된다. 예는 또한 마이크의 다이어프램의 크기에 따라 압력 및 에너지 기울기의 양방을 이용하는 추정 방법과 일치하도록 배열의 간격을 최적화하는 방법을 논의한다.

예는 다음과 같이 구성되어 있다. 섹션 5.5.2는 무지향성 마이크의 사각형 배열을 가진 생성(creation)이 섹션 5.5.3에서 설명되는 B 형식 신호로 에너지 분석을 이용하는 방향 추정을 검토한다. 섹션 5.5.4에서, 에너지 기울기를 이용하여 방향을 추정하는 방법에는 사각형 배열의 비교적 큰 크기의 마이크가 제공된다. 섹션 5.5.5는 배열의 마이크 간격을 최적화하는 방법을 제안한다. 방법의 평가는 ㅅ섹션 5.5.6에 제공된다. 마지막으로, 결론은 섹션 5.5.7에 주어진다.

5.5.2 에너지 분석의 방향 추정

에너지 분석에 따른 방향의 추정은 음 에너지의 순 흐름의 방향 및 크기를 나타내는 음 세기 벡터에 기초한다. 분석을 위해, 음압 p 및 입자 속도 U는 제각기 무지향성 신호 W 및 B 형식의 다이폴 신호(직교 방향에 대한 X, Y 및 Z)를 이용하여 음장의 한 지점에서 추정될 수 있다. 음장을 맞추기 위해, 20 ms 시간 창(time-window)을 가진 단시간 푸리에 변환(STFT)으로서 시간-주파수 분석은 여기에 제시된 Dirac의 구현에서 B 형식의 신호에 적용된다. 그 후, 다음의 순간 능동 음 세기는,

(25)

다이폴이

로 표현되는 STFT 변환된 B 형식의 신호로부터 각 시간-주파수 타일에서 계산된다. 여기서, t 및 f는 제각기 시간 및 주파수이며, Z₀는 공기의 음향 임피던스이다. 게다가,

, 여기서

는 공기의 평균 밀도이며, c는 음의 속도이다. 음의 도래 방향은 방위각 θ 및 앙각 φ으로서 음의 세기 벡터의 방향과 반대로 정의된다.

5.5.3 수평면에서 B 형식의 신호를 도출하기 위한 마이크 배열

도 11은 대향하는 마이크 사이의 d의 간격을 가진 4개의 무지향성 마이크의 배열을 도시한다. 4개의 밀접 배치된 무지향성 마이크로 구성되고, 도 11에 도시된 배열은 DirAC의 방향의 방위각 θ을 추정하기 위해 수평 B 형식의 신호(W, X 및 Y)를 도출하는 데 이용되었다(M. Kallinger, G. Del Galdo, F. Kuech, D. Mahne, and R. Schultz-Amling, "Spatial filtering using Directional Audio Coding parameters," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE Computer Society, pp. 217-220, 2009 and O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, "Localization of sound sources in reverberant environments based on Directional Audio Coding parameters," inn Proc. AES 127th Convention, New York, NY, USA, 2009). 비교적 작은 크기의 마이크는 일반적으로 서로 몇 센티미터(예를 들어, 2cm) 떨어져 배치된다. 이와 같은 배열로, 무지향성 신호 W는 마이크 신호에 평균적으로 생성될 수 있으며, 다이폴 신호 X 및 Y는 다음과 같이 서로 대향하는 마이크의 신호를 빼서 압력 기울기로 도출된다

(26)

여기서, P₁, P₂, P₃ 및 P₄는 STFT 변환된 마이크 신호이며, A(f)는 주파수 의존 등화 상수(frequency-dependent equalization constant)이다. 더욱이,

, 여기서 j는 허수 단위이고, N은 STFT의 주파수 빈 또는 타일의 수이고, d는 대향하는 마이크 사이의 거리이며, f_s는 샘플링 속도이다.

이미 언급한 바와 같이, 도래 음의 반 파장이 대향하는 마이크 사이의 거리보다 작을 때, 공간 앨리어싱은 압력 기울기에서 시행되고, 다이폴 신호를 왜곡하기 시작한다. 따라서, 유효한 다이폴 신호에 대한 상한 주파수 한계치를 정의하는 이론적 공간 앨리어싱 주파수 f_sa는 다음과 같이 계산된다:

(27)

이 위에서는 방향이 잘못 추정된다.

5.5.4 에너지 기울기를 이용한 방향 추정

공간 앨리어싱 및 음영에 의한 마이크의 지향성은 고주파에서 압력 기울기의 이용을 억제하므로, 안정적인 방향 추정을 위한 주파수 범위를 확장하는 방법은 바람직하다. 여기서, 온-축(on-axis) 방향이 외부 및 대향 방향을 가리키도록 배치되는 4개의 무지향성 마이크의 배열은 광대역 방향 추정을 위한 제안된 방법에 채용된다. 도 12는 평면파로부터의 서로 다른 양의 음 에너지가 서로 다른 마이크로 캡처되는 배열을 도시한다.

도 12에 도시된 배열의 4개의 무지향성 마이크(1001₁ 내지 1001₄)는 원통의 단부에 장착된다. 마이크의 온-축 방향(1003₁ 내지 1003₄)은 배열의 중심에서 외부를 가리킨다. 이와 같은 배열은 에너지 기울기를 이용하여 음파의 도래 방향을 추정하는 데 사용된다.

에너지 차는 여기서 2D 음의 세기 벡터를 추정할 수 있도록 하는 것으로 추측되며, 이때 그것의 x 축 및 y 축 성분은 다음과 같이 대향하는 마이크의 파워 스펙트럼을 빼서 근사치를 구한다:

(28)

도래 평면파에 대한 방위각 θ은 추가로 세기 근사치

및

로부터 획득될 수 있다. 상술한 계산을 실행할 수 있도록 하기 위해서는, 허용 가능한 신호 대 잡음비로 측정하기에 충분히 큰 마이크간 레벨 차가 바람직하다. 따라서, 비교적 큰 다이어프램을 갖는 마이크가 이러한 배열에 채용된다.

어떤 경우에, 에너지 기울기는 마이크가 비교적 긴 파장을 가진 도래 음파에 음영이 생기지 않는 저주파에서 방향을 추정하는 데 이용될 수 없다. 따라서, 고주파에서 음의 방향의 정보는 압력 기울기로 획득된 저주파에서 방향의 정보와 조합될 수 있다. 이러한 기술 사이의 크로스오버 주파수는 명확히 식 (27)에 따른 공간 앨리어싱 주파수 f_sa이다.

5.5.5 마이크 배열의 간격 최적화

상술한 바와 같이, 다이어프램의 크기는 마이크에 의한 음영이 에너지 기울기를 계산하는데 효과적인 주파수를 결정한다. 에너지 기울기를 이용하기 위해 주파수 한계치 f_lim와 공간 앨리어싱 주파수 f_sa를 일치시키기 위해, 마이크는 배열에서 서로 적절한 거리에 배치되어야 한다. 따라서, 다이어프램의 어떤 크기로 마이크 사이의 간격을 정의하는 것은 이 섹션에서 논의된다.

무지향성 마이크에 대한 주파수 의존 지향성 지수는 다음과 같이 데시벨로 측정될 수 있다:

(29)

여기서 △L은 모든 방향에 걸쳐 통합된 전체 수음 에너지에 관련된 온-축 수음 에너지의 비율이다(J. Eargle, "The microphone book," Focal Press, Boston, USA, 2001). 더욱이, 각 주파수에서의 지향성 지수는 다이어프램 둘레과 파장 사이의 비율 값에 좌우된다.

(30)

여기서, r은 다이어프램의 반경이며, λ는 파장이다. 더욱이, λ = c / f_lim. 비율 값 ka의 함수로서 지향성 지수 DI의 의존성은 도 13에 도시된 바와 같이 단조증가하는(monotonically increasing) 함수이도록 J. Eargle, "The microphone book," Focal Press, Boston, USA, 2001에서 시뮬레이션에 의해 나타내었다.

도 13에 도시된 데시벨의 지향성 지수 DI는 J. Eargle, "The microphone book," Focal Press, Boston, USA, 2001에서 적응된다. 이론적 지수는 ka의 함수로 그려지며, 이는 파장으로 나눈 무지향성 마이크의 다이어프램 둘레을 나타낸다.

이와 같은 의존성은 여기서 원하는 지향성 지수 DI에 대한 비율 값 ka을 정의하는 데 이용된다. 이 예에서 DI는 1의 ka 값을 산출하는 2.8 dB인 것으로 정의된다. 주어진 지향성 지수를 가진 최적화된 마이크 간격은 이제 공간 앨리어싱 주파수 f_sa가 주파수 한계치 f_lim와 동일할 때에 식 (27) 및 식 (30)을 이용하여 정의될 수 있다. 따라서, 최적화된 간격은 다음과 같이 계산된다:

(31)

5.5.6 방향 추정의 평가

이 예에서 논의되는 방향 추정 방법은 이제 DirAC 분석에서 무향(anechoic) 측정 및 시뮬레이션으로 평가된다. 사각형의 4개의 마이크를 동시에 측정하는 대신에, 임펄스 응답은 비교적 큰 다이어프램을 가진 단일의 무지향성 마이크로 다수의 방향에서 측정되었다. 그 후, 측정된 응답은 도 12에 도시된 바와 같이, 사각형으로 배치되는 4개의 무지향성 마이크의 임펄스 응답을 추정하는 데 이용되었다. 결과적으로, 에너지 기울기는 주로 마이크의 다이어프램의 크기에 좌우되며, 따라서 간격 최적화는 섹션 5.5.5에서 설명된 바와 같이 검토될 수 있다. 분명히, 배열에서의 4개의 마이크는 도래 음파를 위해 더욱 효과적으로 음영을 제공하며, 방향 추정은 단일의 마이크의 경우에서 약간 향상될 것이다. 상술한 평가는 여기서 서로 다른 다이어프램 크기를 갖는 2개의 서로 다른 마이크로 적용된다.

임펄스 응답은 무향실(anechoic chamber)에서 1.6 m의 거리에 있는 이동식 스피커(Genelec 8030A)를 이용하여 5⁰의 간격에서 측정되었다. 서로 다른 각도에서의 측정은 20-20000 Hz에서의 스웹 사인(swept sine) 및 길이 1 s를 이용하여 수행되었다. A 가중된 음압 레벨은 75 dB이었다. 측정은 제각기 직경 1.27 cm(0.5 인치) 및 2.1 cm(0.8 인치)의 다이어프램을 가진 G.R.A.S Type 40AI 및 AKG CK 62-ULS 무지향성 마이크를 이용하여 수행되었다.

시뮬레이션에서, 지향성 지수 DI는 도 13에서 1의 값을 가진 비율 ka에 상응하는 2.8 dB인 것으로 정의되었다. 식 (31)에서 최적화된 마이크 간격에 따르면, 대향하는 마이크는 제각기 서로 2 cm 및 3.3 cm 떨어진 거리에서 G.R.A.S 및 AKG 마이크로 시뮬레이션되었다. 이와 같은 간격은 결과적으로 8575 Hz 및 5197 Hz의 공간 앨리어싱 주파수를 생성시킨다.

도 14 및 도 15는 G.R.A.S 및 AKG 마이크: 도 14a) 단일 마이크의 에너지, 도 14b) 두 마이크 사이의 압력 기울기 및 도 14c) 두 마이크 사이의 에너지 기울기를 가진 지향성 패턴을 도시한다.

도 14는 G.R.A.S 마이크에 기초한 로그 지향성 패턴을 도시한다. 패턴은 8 kHz(참조 번호(1401)에 따른 곡선), 10 kHz(참조 번호(1403)에 따른 곡선), 12.5 kHz(참조 번호(1405)에 따른 곡선) 및 16 kHz(참조 번호(1407)에 따른 곡선)의 중심 주파수를 가진 1/3 옥타브 밴드(third-octave band)에 정규화되어 그려진다. ± 1dB 편차를 가진 이상적인 다이폴에 대한 패턴은 도 14b 및 도 14c에서 영역(1409)으로 표시된다.

도 15는 AKG 마이크를 가진 로그 지향성 패턴을 도시한다. 패턴은 5 kHz(참조 번호(1501)에 따른 곡선), 8 kHz(참조 번호(1503)에 따른 곡선), 12.5 kHz(참조 번호(1505)에 따른 곡선) 및 16 kHz(참조 번호(1507)에 따른 곡선)의 중심 주파수를 가진 1/3 옥타브 밴드에 정규화되어 그려진다. ± 1dB 편차를 가진 이상적인 다이폴에 대한 패턴은 도 15b 및 도 15c에서 영역(1509)으로 표시된다.

정규화된 패턴은 8575 Hz(G.R.A.S) 및 5197 Hz(AKG)의 이론적 공간 앨리어싱 주파수에서 폐쇄하기 시작하는 중심 주파수를 가진 일부 1/3 옥타브 밴드에 그려진다. 여러 중심 주파수는 G.R.A.S 및 AKG 마이크와 함께 사용된다는 것을 주목해야 한다. 게다가, ± 1 dB 편차를 가진 이상적인 다이폴에 대한 지향성 패턴은 압력 및 에너지 기울기의 플롯에서 영역(1409, 1509)으로 표시된다. 도 14a 및 도 15a의 패턴은 개개의 무지향성 마이크가 음영 때문에 고주파에서 상당한 지향성을 가지고 있다고 한다. 배열에서의 G.R.A.S 마이크 및 2 cm 간격으로, 압력 기울기로 도출되는 다이폴은 도 14b에서 주파수의 함수로 확산한다. 에너지 기울기는 다이폴 패턴을 생성하지만, 도 14c에서 12.5 kHz 및 16 kHz에서 이상적인 것보다 약간 좁다. 배열에서의 AKG 마이크 및 3.3 cm 간격으로, 압력 기울기의 지향성 패턴은 8 kHz, 12.5 kHz 및 16 kHz에서 확산하고 왜곡하는 반면에, 에너지 기울기로는 다이폴 패턴이 주파수의 함수로 감소하지만, 이상적인 다이폴을 닮는다.

도 16은 G.R.A.S 및 AKG 마이크의 측정된 응답이 제각기 도 16a 및 도 16b에서 마이크 배열을 시뮬레이션하는 데 이용되었을 때에 주파수에 따라 제곱 평균 제곱근 오차(RMSE)로서 지향성 분석 결과를 도시한다.

도 16에서, 방향은 실제 마이크의 측정된 임펄스 응답을 이용하여 모델링된 4개의 무지향성 마이크의 배열을 이용하여 추정되었다.

방향 분석은 0°, 5°, 10°, 15°, 20°, 25°, 30°, 35°, 40°및 45°에서 대안적으로 마이크의 임펄스 응답을 화이트 노이즈 샘플와 콘볼루션(convolution)하여 DirAC 분석 시에 20 ms STFT 창 내에서 방향을 추정하여 수행되었다. 이러한 결과의 외관 검사는 방향이 에너지 기울기를 이용하여 도 16a에서는 10 kHz의 주파수 및 도 16b에서는 6.5 kHz의 주파수까지 정확히 추정되고, 이와 같은 주파수 위에서는 에너지 기울기를 이용한다고 한다. 그러나, 상술한 주파수는 제각기 2 cm 및 3.3 cm의 마이크 간격을 최적화한 8575 Hz 및 5197 Hz의 이론적 공간 앨리어싱 주파수보다 약간 높다. 게다가, 압력 및 에너지 기울기의 양방을 가진 유효한 방향 추정을 위한 주파수 범위는 도 16a에서 G.R.A.S 마이크와 함께 8 kHz 내지 10 kHz에 존재하고, 도 16b에서 AKG 마이크와 함께 3 kHz 내지 6.5 kHz에 존재한다. 주어진 값에 의한 마이크 간격 최적화는 이러한 경우에 양호한 예측을 제공할 것으로 보인다.

5.5.7 결론

이러한 예는 무지향성 마이크 사이의 압력 및 에너지 기울기가 제각기 저주파 및 고주파에서 계산되고, 음의 세기 벡터를 추정하는 데 사용될 때에 광범한 오디오 주파수 범위에서 음의 도래 방향을 분석하는 방법/장치를 제시한다. 방법/장치는 고주파에서 에너지 기울기를 계산하기 위해 측정 가능한 마이크 간 레벨 차를 제공한 비교적 큰 다이어프램의 크기와 대향하는 방향에 직면한 4개의 무지향성 마이크의 배열과 함께 채용되었다.

제시된 방법/장치는 광범한 오디오 주파수 범위에서 안정적인 방향 추정을 제공하는 반면에, 음장의 에너지 분석에서 압력 기울기만을 채용하는 기존의 방법/장치는 공간 앨리어싱이 생기며, 따라서 고주파에서 매우 잘못된 방향 추정을 생성한다는 것이 나타내었다.

요약하면, 예는 밀접 배치된 무지향성 마이크의 압력 및 에너지 기울기로부터 음의 세기를 주파수 의존적으로 계산하여 음의 방향을 추정하는 방법/장치를 나타내었다. 환언하면, 실시예는 밀접 배치된 무지향성 마이크의 압력 및 에너지 기울기로부터 지향성 정보를 주파수 의존적으로 추정하도록 구성되는 장치 및/또는 방법을 제공한다. 비교적 큰 다이어프램을 가지고 음파에 대한 음영을 생성시키는 마이크는 여기서 고주파에서 실행 가능한 에너지 기울기를 계산하는데 충분히 큰 마이크 간 레벨 차를 제공하는 데 사용된다. 예는 공간 음 처리 기술, 즉 지향성 오디오 코딩(DirAC)의 방향 분석에서 평가되었다. 방법/장치는 전체 오디오 주파수 범위에서 안정적인 방향 추정 정보를 제공하는 반면에, 압력 기울기만을 채용한 통상의 방법은 고주파에서 매우 잘못된 추정을 생성한다는 것을 나타내었다.

이러한 예로부터, 추가의 실시예에서, 본 실시예에 따른 장치의 조합기는 제 1 주파수 범위에서(예를 들어 공간 앨리어싱 한계치 위에서) 마이크 신호 또는 마이크 신호의 성분의 위상과 무관하게 크기 값에 기초하여 지향성 정보를 도출하도록 구성되어 있음을 알 수 있다. 더욱이, 조합기는 제 2 주파수 범위에서(예를 들어 공간 앨리어싱 한계치 아래에서) 마이크 신호 또는 마이크 신호의 성분의 위상에 따라 지향성 정보를 도출하도록 구성될 수 있다. 환언하면, 본 발명의 실시예는 제 1 주파수 범위에서 지향성 정보가 마이크 신호 또는 마이크 신호의 성분의 크기에만 기초하고, 제 2 주파수 범위에서 지향성 정보가 추가로 마이크 신호 또는 마이크 신호의 성분의 위상에 기초하도록 주파수 선택적 지향성 정보를 도출하기 위해 구성될 수 있다.

6. 요약

요약하면, 본 발명의 실시예는 (단지) 마이크 스펙트럼의 크기를 고려하여 음장의 지향성 매개 변수를 추정한다. 이것은 사실상 마이크 신호의 마이크의 위상 정보가 모호한 경우에, 즉 공간 앨리어싱 효과가 발생할 때에 특히 유용하다. 원하는 지향성 정보를 추출할 수 있도록 하기 위해, 본 발명의 실시예(예를 들어 시스템(900))는 서로 다른 시야 방향을 가진 지향성 마이크의 적절한 구성을 이용한다. 대안적으로(예를 들어 시스템(1000)에서), 객체는 방향 의존 산란 및 음영 효과를 유발시키는 마이크 구성에 포함될 수 있다. 어떤 상업적 마이크(예를 들어 대형 다이어프램 마이크)에서, 마이크 캡슐은 비교적 큰 하우징에 장착된다. 생성된 음영/산란 효과는 이미 본 발명의 개념을 채택하기에 충분할 수 있다. 추가의 실시예에 따르면, 본 발명의 실시예에 의해 수행되는 크기 기반의 매개 변수 추정은 또한 마이크 신호의 위상 정보를 고려하는 통상의 추정 방법과 함께 적용될 수 있다.

요약하면, 실시예는 지향성 크기 변화를 통해 공간 매개 변수 추정을 제공한다.

일부 양태가 장치와 관련하여 설명되었지만, 이러한 양태는 또한 상응하는 방법에 대한 설명을 나타낸다는 것이 자명하며, 여기서, 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 마찬가지로, 방법 단계와 관련하여 설명된 양태는 또한 상응하는 장치의 상응하는 블록 또는 항목 또는 특징에 대한 설명을 나타낸다. 방법 단계 중 일부 또는 모두는 예를 들어 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해 (또는 이용하여) 실행될 수 있다. 일부 실시예에서, 가장 중요한 방법 단계 중 일부의 하나 이상은 이와 같은 장치에 의해 실행될 수 있다.

어떤 구현 요구 사항에 따라, 본 발명의 실시예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 이러한 구현은 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리를 이용하여 수행될 수 있으며, 이러한 디지털 저장 매체는 각각의 방법이 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는 (또는 협력할 수 있는) 전자식 판독 가능한 제어 신호를 저장한다. 그래서, 디지털 저장 매체는 컴퓨터 판독 가능할 수 있다.

본 발명에 따른 일부 실시예는 여기에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자식 판독 가능한 제어 신호를 가진 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 이러한 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행할 때에 방법 중 하나를 수행하기 위해 동작 가능하다. 프로그램 코드는 예를 들어 머신 판독 가능한 캐리어 상에 저장될 수 있다.

다른 실시예는 머신 판독 가능한 캐리어 상에 저장되는 여기에 설명된 방법 중 하나를 수행하는 컴퓨터 프로그램을 포함한다.

그래서, 환언하면, 본 발명의 방법의 실시예는 컴퓨터 프로그램이 컴퓨터 상에서 실행할 때에 여기에 설명된 방법 중 하나를 실행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램이다.

그래서, 본 발명의 방법의 추가의 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 기록한 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능한 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 일반적으로 실체적(tangible) 및/또는 비과도적(non-transitionary)이다.

그래서, 본 발명의 방법의 추가의 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 데이터 통신 접속, 예를 들어 인터넷을 통해 전송되도록 구성될 수 있다.

추가의 실시예는 여기에 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되는 처리 수단, 예를 들어 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다.

추가의 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.

본 발명에 따른 추가의 실시예는 여기에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 (예를 들어, 전자식 또는 광학식으로) 수신기로 전송하도록 구성된 장치 또는 시스템을 포함한다. 수신기는 예를 들어 컴퓨터, 모바일 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들어 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함할 수 있다.

일부 실시예에서, 프로그램 가능한 논리 장치(예를 들어, 필드 프로그램 가능한 게이트 어레이)는 여기에 설명된 방법의 기능 중 일부 또는 모두를 수행하는 데 이용될 수 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이는 여기에 설명된 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 이러한 방법은 바람직하게는 어떤 하드웨어 장치에 의해 수행된다.

상술한 실시예는 단지 본 발명의 원리를 위해 예시한 것이다. 여기에 설명된 배치 및 상세 사항의 수정 및 변형은 당업자에게는 자명한 것으로 이해된다. 그래서, 여기에서 실시예의 설명을 통해 제시된 특정 상세 사항에 의해 제한되지 않고, 첨부한 특허청구범위에 의해서만 제한되는 것으로 의도된다.

Claims

복수의 마이크 신호(103₁ 내지 103_N, P₁ 내지 P_N) 또는 마이크 신호(103_i,Ρ_i)의 복수의 성분(P_i(k, n))으로부터 지향성 정보(101, d(k, n))를 도출하는 장치(100)로서, 서로 다른 효과적인 마이크 시야 방향은 상기 마이크 신호(103₁ 내지 103_N, P₁ 내지 P_N) 또는 성분(P_i(k, n))과 관련이 있는 지향성 정보 도출 장치에 있어서,
마이크 신호(Ρ_i) 또는 상기 마이크 신호(Ρ_i)의 성분(P_i(k, n))으로부터 크기 값을 획득하고, 상기 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목(b₁ 내지 b_N)을 조합하도록 구성되어, 주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목(b_i)이 상기 지향성 정보(101, d(k, n))를 도출하기 위해 상기 주어진 효과적인 마이크 시야 방향과 관련된 상기 마이크 신호(Ρ_i) 또는 상기 마이크 신호(Ρ_i)의 상기 성분(P_i(k, n))의 크기 값에 따라 가중되도록 하는 조합기(105)를 포함하는
지향성 정보 도출 장치.
청구항 1에 있어서,
마이크 신호(Ρ_i)에 관련된 효과적인 마이크 시야 방향은 상기 마이크 신호(Ρ_i)가 도출되는 마이크가 최대 응답을 갖는 방향을 나타내는
지향성 정보 도출 장치.
청구항 1 또는 청구항 2에 있어서,
상기 주어진 효과적인 마이크 시야 방향을 나타내는 상기 지향성 정보 항목(b_i)은 상기 주어진 효과적인 마이크 시야 방향을 나타내는 벡터인
지향성 정보 도출 장치.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 조합기(105)는 상기 크기 값이 상기 마이크 신호(Ρ_i)의 스펙트럼 부영역(k)을 나타내는 스펙트럼 계수(P_i(k, n))의 크기를 나타내도록 하는 상기 크기 값을 획득하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
상기 조합기(105)는 상기 마이크 신호(P₁ 내지 P_N) 또는 상기 성분의 시간 주파수 표현에 기초하여 상기 지향성 정보(101, d(k, n))를 도출하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 조합기(105)는 주어진 시간 주파수 타일(k, n)에 대한 상기 지향성 정보(d(k, n))를 도출하기 위해 상기 주어진 시간 주파수 타일(k, n)에 관련되는 크기 값에 따라 가중되는 상기 지향성 정보 항목(b₁ 내지 b_N)을 조합하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
상기 조합기(105)는 복수의 서로 다른 시간 주파수 타일에 대해 상기 서로 다른 시간 주파수 타일에 관련되는 크기 값에 따라 서로 다르게 가중되는 동일한 지향성 정보 항목(b₁ 내지 b_N)을 조합하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
제 1 효과적인 마이크 시야 방향은 상기 복수의 마이크 신호 중 제 1 마이크 신호와 관련되고,
제 2 효과적인 마이크 시야 방향은 상기 복수의 마이크 신호 중 제 2 마이크 신호와 관련되고,
상기 제 1 효과적인 마이크 시야 방향은 상기 제 2 효과적인 마이크 시야 방향과 상이하며,
상기 조합기는 상기 제 1 마이크 신호 또는 상기 제 1 마이크 신호의 성분으로부터 제 1 크기 값을 획득하고, 상기 제 2 마이크 신호 또는 상기 제 2 마이크 신호의 성분으로부터 제 2 크기 값을 획득하며, 상기 제 1 효과적인 마이크 시야 방향을 나타내는 제 1 지향성 정보 항목 및 상기 제 2 효과적인 마이크 시야 방향을 나타내는 제 2 지향성 정보 항목을 조합하도록 구성되어, 상기 지향성 정보를 도출하기 위해 상기 제 1 지향성 정보 항목이 상기 제 1 크기 값에 의해 가중되고, 상기 제 2 지향성 정보 항목이 상기 제 2 크기 값에 의해 가중되도록 하는
지향성 정보 도출 장치.
청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
상기 조합기는 상기 크기 값에 기초하여 제곱된 크기 값을 획득하도록 구성되고, 상기 제곱된 크기 값은 상기 마이크 신호(P_i) 또는 상기 마이크 신호의 상기 성분(P_i(k, n))의 거듭 제곱(power)을 나타내며, 상기 조합기는 지향성 정보 항목(b_i)이 상기 주어진 효과적인 마이크 시야 방향과 관련된 상기 마이크 신호(P_i) 또는 상기 마이크 신호(P_i)의 상기 성분(P_i(k, n))의 상기 제곱된 크기 값에 따라 가중되도록 상기 지향성 정보 항목(b₁ 내지 b_N)을 조합하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
상기 조합기(105)는 다음의 식에 따라 상기 지향성 정보를 도출하도록 구성되는데,

d(k, n)은 주어진 시간 주파수 타일(k, n)에 대한 상기 지향성 정보를 나타내고, P_i(k, n)는 상기 주어진 시간 주파수 타일(k, n)에 대한 제 i 마이크의 상기 마이크 신호(P_i)의 성분을 나타내고, k는 지수 값을 나타내며, b_i는 상기 제 i 마이크의 상기 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 나타내는
지향성 정보 도출 장치.
청구항 10에 있어서,
κ > 0인
지향성 정보 도출 장치.
청구항 1 내지 청구항 11 중 어느 한 항에 있어서,
상기 조합기는 제 1 주파수 범위에서 상기 마이크 신호(P₁ 내지 P_N) 또는 상기 마이크 신호(Ρ_i)의 성분(P_i(k, n))의 위상과 무관하게 상기 크기 값에 기초하여 상기 지향성 정보(d(k, n))를 도출하도록 구성되며,
상기 조합기는 추가로 제 2 주파수 범위에서 상기 마이크 신호(P₁ 내지 P_N) 또는 상기 마이크 신호(Ρ_i)의 성분(P_i(k, n))의 위상에 따라 상기 지향성 정보를 도출하도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 12 중 어느 한 항에 있어서,
상기 조합기는 상기 지향성 정보 항목(b_i)이 상기 크기 값에만 따라 가중되도록 구성되는
지향성 정보 도출 장치.
청구항 1 내지 청구항 13 중 어느 한 항에 있어서,
상기 조합기(105)는 상기 지향성 정보 항목(b₁ 내지 b_N)을 선형적으로 조합하도록 구성되는
지향성 정보 도출 장치.
시스템(900)에 있어서,
청구항 1 내지 청구항 14 중 어느 한 항에 따른 장치(100),
복수의 마이크 신호의 제 1 마이크 신호(103₁)를 도출하기 위해 제 1 효과적인 마이크 시야 방향(903₁)을 갖는 제 1 지향성 마이크(901₁)로서, 상기 제 1 마이크 신호(103₁)는 제 1 효과적인 마이크 시야 방향(903₁)과 관련되는 상기 제 1 지향성 마이크(901₁), 및
상기 복수의 마이크 신호의 제 2 마이크 신호(103₂)를 도출하기 위해 제 2 효과적인 마이크 시야 방향(903₂)을 갖는 제 2 지향성 마이크(901₂)로서, 상기 제 2 마이크 신호(103₂)는 상기 제 2 효과적인 마이크 시야 방향(903₂)과 관련되는 상기 제 2 지향성 마이크(901₂)를 포함하는데,
상기 제 1 시야 방향(903₁)은 상기 제 2 시야 방향(903₂)과 상이한
시스템.
시스템(1000)에 있어서,
청구항 1 내지 청구항 14 중 어느 한 항에 따른 장치,
복수의 마이크 신호의 제 1 마이크 신호(103₁)를 도출하는 제 1 무지향성 마이크(1001₁),
제 2 마이크 신호(103₂)를 도출하는 제 2 무지향성 마이크(1001₂), 및
상기 제 1 무지향성 마이크(1001₁) 및 상기 제 2 무지향성 마이크(1001₂)의 효과적인 응답 패턴을 형상화하기 위해 상기 제 1 무지향성 마이크(1001₁)와 상기 제 2 무지향성 마이크(1001₂) 사이에 배치되어, 상기 제 1 무지향성 마이크(1001₁)의 형상화된 효과적인 응답 패턴이 제 1 효과적인 마이크 시야 방향(1003₁)을 포함하고, 상기 제 2 무지향성 마이크(1001₂)의 형상화된 효과적인 패턴이 상기 제 1 효과적인 마이크 시야 방향(1003₁)과 상이한 제 2 효과적인 마이크 시야 방향(1003₂)을 포함하도록 하는 음영 객체(1005)를 포함하는
시스템.
청구항 15 또는 청구항 16에 있어서,
상기 지향성 마이크(901₁, 901₂) 또는 무지향성 마이크(1001₁, 1001₂)는 상기 효과적인 마이크 시야 방향(903₁, 903₂, 1003₁, 1003₂)을 가리키는 벡터인 지향성 정보 항목의 합이 상기 지향성 정보 항목 중 하나의 놈의 ± 30 %의 공차 범위 내에서 0과 동일하도록 배치되는
시스템.
복수의 마이크 신호 또는 마이크 신호의 복수의 성분으로부터 지향성 정보를 도출하는 방법(800)으로서, 서로 다른 효과적인 마이크 시야 방향은 상기 마이크 신호 또는 상기 성분과 관련되는 지향성 정보 도출 방법에 있어서,
상기 마이크 신호 또는 상기 마이크 신호의 성분으로부터 크기 값을 획득하는 단계(801), 및
주어진 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목이 상기 지향성 정보를 도출하기 위해 상기 주어진 효과적인 마이크 시야 방향과 관련된 상기 마이크 신호 또는 상기 마이크 신호의 성분의 크기 값에 따라 가중되도록 상기 효과적인 마이크 시야 방향을 나타내는 지향성 정보 항목을 조합하는 단계(803)를 포함하는
지향성 정보 도출 방법.
컴퓨터 상에서 실행할 때 청구항 18에 따른 방법을 수행하기 위해 프로그램 코드를 가진
컴퓨터 프로그램.