KR100964353B1 - 오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치 - Google Patents

오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치 Download PDF

Info

Publication number
KR100964353B1
KR100964353B1 KR1020057009105A KR20057009105A KR100964353B1 KR 100964353 B1 KR100964353 B1 KR 100964353B1 KR 1020057009105 A KR1020057009105 A KR 1020057009105A KR 20057009105 A KR20057009105 A KR 20057009105A KR 100964353 B1 KR100964353 B1 KR 100964353B1
Authority
KR
South Korea
Prior art keywords
distance
sound
components
playback device
near field
Prior art date
Application number
KR1020057009105A
Other languages
English (en)
Other versions
KR20050083928A (ko
Inventor
제로메 다니엘
Original Assignee
프랑스 텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32187712&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100964353(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 프랑스 텔레콤 filed Critical 프랑스 텔레콤
Publication of KR20050083928A publication Critical patent/KR20050083928A/ko
Application granted granted Critical
Publication of KR100964353B1 publication Critical patent/KR100964353B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 오디오 데이터의 프로세싱에 관한 것이다. 본 발명은 (a) 구면 조화함수의 기수로 표현된 성분들을 통하여 기준점에 대응되는 원점의 사운드의 표현을 얻기 위해서, 3차원 공간으로 전파되고, 그리고 기준점과 제 2 거리(P)만큼 떨어진 지점에 위치한 소스로부터 파생된 사운드를 나타내는 신호를 인코딩하는 단계와, 그리고 (b) 사운드 재생을 위해 재생 지점(HPi)과 청취자가 보통 위치하는 청각 인식 지점(P)과의 거리를 정의하는 제 2 거리(R)에 기초하는 필터링을 통하여 근접 필드 효과의 성분 보상을 상기 성분에 적용하는 단계로 구성되는 것을 특징으로 한다.

Description

오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드 수집 장치{METHOD FOR PROCESSING AUDIO DATA AND SOUND ACQUISITION DEVICE THEREFOR}
본 발명은 오디오 데이터의 처리에 관한 것이다.
특수 사운드 시뮬레이션 및/또는 재생 장치를 비롯한 3차원 공간으로의 음파의 전파에 관한 기술들이, 어코스틱 및 사이코-어코스틱 현상의 시뮬레이션에 적용되는 오디오 신호 처리 방법을 구현한다. 그러한 처리 방법들은 어코스틱 필드(acoustic field)의 공간적 인코딩(spatial encoding), 이것의 전송 및 스피커 세트 또는 스테레오 헤드셋의 헤드폰을 통한 공간 재생을 제공한다.
이러한 공간 사운드의 기술들 중에서, 서로 보완적이면서도 일반적으로 하나의 동일 시스템 내에서 양자 모두 구현될 수 있는 2개의 처리 카테고리가 구별된다.
제 1 처리 카테고리는 룸 효과(room effect), 또는 보다 일반적으로는 서라운딩 효과(surrounding effect)를 합성하기 위한 방법에 관한 것이다. 하나 이상의 음원의 기술로부터(신호 방출, 위치, 방향, 지향성, 또는 등등), 그리고 (룸 형상 또는 그밖에 바람직한 어코스틱 인식을 포함하는) 룸 효과 모델에 기초하여, 상기 방법은 기본적인 어코스틱 현상(직접, 반사 또는 회절된 파), 또는 그밖에 거시적인 어코스틱 현상(반향 및 확산 필드(diffuse field))의 세트를 계산할 수 있고, 기술할 수도 있으며, 청각 인식의 선택된 점에 위치한 3차원 공간 내의 청중의 레벨에 공간 효과를 전달할 수 있게 한다. 다음으로, 상기 방법은 반사(수신된 메인 파(main wave)의 재방출을 통해 활성화하여 공간 위치 속성을 갖는 "2차" 소스) 및/또는 (확산 필드에 대한 신호와 상관없는) 지연 반향과 일반적으로 관련된 신호들의 세트를 계산한다.
방법들의 제 2의 처리 카테고리는 음원의 위치성 또는 지향성 연출(rendition)과 관련된 것이다. 이러한 방법들은 그것들과 관련된 공간 기술(description)의 함수(소스 위치)와 같이 전술된 제 1 카테고리(1차 및 2 차 소스를 포함하는)의 방법에 의해서 결정된 신호에 적용된다. 특히, 제 2 카테고리를 따르는 그러한 방법은 청취자 주위의 미리 결정된 개별 지점에 위치한 음원에 대한 청각적 효과를 궁극적으로 청취자에게 제공하기 위해, 스피커 또는 헤드폰 상에 전해질 신호를 수집할 수 있게 한다. 소스들의 위치를 청취자에게 3차원 공간으로 분산시켜 인식할 수 있게 하기 때문에, 제 2 카테고리를 따르는 방법은 "3차원 사운드 이미지의 생성법"으로 칭해진다. 제 2 카테고리를 따르는 방법들은 일반적으로 3차원 공간 내의 사운드 필드 표현을 생성하는 초보적인 사운드 이벤트의 공간적 인코딩의 제 1 단계를 포함한다. 제 2 단계에서, 이 표현이 후속 사용을 위해 전송되거나 혹은 저장된다. 3번째 단계-디코딩-에서, 디코드된 신호들이 재생 디바이스의 스피커 또는 헤드폰상에 전달된다.
본 발명은 상기 제 2 카테고리를 포함하는 것이다. 본 발명은 특히 음원(sonund sources)의 공간적 인코딩(spatial encoding) 및 이러한 음원들의 3차원 사운드 표현의 사양(specification)에 관한 것이다. 그것은 마이크로폰의 하나 이상의 3차원 배열에 의해 사운드 캡쳐링(capturing)이 되는 동안, 자연적인 사운드 필드의 "어코스틱" 인코딩에 적용될 수 있는 것과 같이, "가상" 음원들(음원이 게임, 공간적 컨퍼런스, 또는 등등과 같이 시뮬레이션되는 애플리케이션)의 인코딩에도 잘 적용된다.
생각할 수 있는 사운드 공간화 기술들 중에서, "앰비소닉(ambisonic)" 방법이 바람직하다. 아래에서 더욱 상세히 기술될 앰비소닉 인코딩은 하나 또는 그 이상의 음파(sound waves)에 속하는 신호를 (특히 고도각(angle of elevation) 및 방위각(azimuthal angle)으로 사운드 혹은 사운드들의 방향을 특징짓는 구면 좌표계에서) 구면 조화함수(spherical harmonics)의 기수(base)로 표현한다. 또한 이러한 신호들을 나타내며 아울러 구면 조화함수의 기수로 표현된 성분들은, 또한 근접 필드(near field)로 방출되는 파(waves)에 대해, 이러한 필드를 방출하는 음원과 구면 조화함수의 기수의 원점에 대응하는 지점 간의 거리에 따라 달라진다. 더 구체적으로 말하면, 이러한 거리에 대한 의존성은 아래에서 기술되는 바와 같이 사운드 주파수의 함수로서 표현된다.
이 앰비소닉 접근법은 특히 가상 소스들의 시뮬레이션 관점에서 가능한 많은 기능들을 제공하며, 그리고 일반적 방식으로 하기의 이점들을 제공한다.
- 그것은 합리적 방식으로 어코스틱 현상의 현실감을 제공하고, 그리고 현실적인 확신감과, 열중감 있는 공간 청각 연출을 제공한다;
- 어코스틱 현상의 표현은 확장가능(scalable)하다: 즉, 다양한 상황에 적용될 수 있는 공간 분해능을 제공한다. 특히, 이 표현은 인코딩된 신호의 전송 동안 처리량 제약 조건 및/또는 재생 디바이스의 제한 조건의 함수로서 송신 및 이용될 수 있다;
- 상기 앰비소닉 표현은 유연한데, 그것은 사운드 필드의 회전을 시뮬레이션할 수 있거나, 혹은 그 밖에, 재생기 상에서 다양한 기하학적인 임의 재생 디바이스를 위해 앰비소닉 신호를 디코딩할 수 있다.
공지된 앰비소닉 접근법에서, 가상 소스들의 인코딩은 본질적으로 방향성을 띄게 된다. 상기 인코딩 기능은 구면 좌표계 내의 고도각 및 방위각에 의존하는 구면 조화함수들에 의해 표현되는 음파들의 입사각에 따른 이득을 계산하게 된다. 특히, 디코딩시에는 그것은 재생기 상의 스피커가 멀리 배치된다고 가정된다. 이는 재구성된 파면의 형상을 왜곡(또는 만곡(curve))시킨다. 특히 전술된 바와 같이, 구면 조화함수의 기수에서 사운드 신호의 성분들은 사실 근접 필드에 대해 소스의 거리 및 사운드 주파수에도 의존한다. 더욱 정확히 기술하면, 이러한 성분들은 상기 거리 및 사운드 주파수에 반비례하는 변수를 갖는 다항식의 형태로 수학적으로 표현될 수 있다. 따라서, 이론적으로 표현하면, 앰비소닉 성분들은 저주파수에서 발산하고, 특히, 이들이 유한 거리에 위치한 소스에 의해 방출되는 근접 필드 사운드를 나타내는 경우, 사운드 주파수가 0으로 감소할 때, 무한대(infinity)가 된다. 이 수학적 현상은 앰비소닉 표현 영역에서는 공지된 것이며, 그리고 특히 다음과 같은 "베이스 부스트(bass boost)" 용어에 의해 1차에 대해 이미 공지된 것이다:
- M.A. GERZON, "General Metathery of Auditory Locallisation", preprint 3306 of the 92nd AES Convertion, 1992, 52 페이지.
이 현상은 고차 제곱 다항식을 포함하는 높은 구면 조화 차수에 대해 특히 중요한 것이 되었다.
다음 문서들:
SONTACCHI 및 HOLDRICH, "거리 코딩을 사용하는 3D사운드 필드에 대한 상세 조사"(디지털 오디오 효과에 대한 비용 G-6 컨퍼런스의 진행(DAFX-01), 리메릭, 아일랜드, 2001년 12월 6-8일),
이는 앰비소닉 표현의 근접 표현 내의 파면의 만곡을 고려한 기술을 개시하며, 이는 다음으로 구성된다:
- ("파동장 합성(Wave Field Synthesis)"에 동조하는) WFS 타입의 (시뮬레이션된)가상 사운드 캡쳐로부터 발생한 신호에 대해 (높은 차수의) 앰비소닉 인코딩을 적용하는 단계; 그리고
- HUYGENS-FRESNEL 원리에 기초하여 구역 경계에 대한 그것의 값에 따라서 구역 대 사운드 필드를 재구성하는 단계로 구성된다.
그러나, 본원에 제시된 종래 기술을 그것이 높은 치수로 앰비소닉을 사용한다는 점이 유망할 수도 있겠지만, 다음과 같은 일정한 수의 문제들을 야기시킨다:
- HUYGENS-FREESNEL 원리를 적용가능하게 하는 모든 표면을 연산하기 위해서는 컴퓨터 자원 및 연산 시간이 요구되며, 이는 매우 지나친 것이다;
삭제
- 만약 빈틈없이 채워진 가상 마이크로폰 격자가 선택되지 않는다면 "공간 알리어싱(spatial aliasing)"으로 언급되는 처리 인공물들이 상기 마이크로폰들 간의 거리로 인해 나타나고, 그로 인해 더욱 성가신 것들을 처리해야만 하게 한다.
- 이 기법은 음을 수집하려 할 때, 실제 소스의 존재 내의 배열 내에 배치될 센서들의 실제의 경우로 바꾸기가 어렵다.
- 앰비소닉 디코딩은 여기서는 반드시 마이크로폰의 초기 배열과 같은 차원의 스피커 배열로 행해져야 하는 것이기 때문에, 재생기 상에서 3차원 사운드 표현은 재생 디바이스의 고정 반경에 은연중에 구속되며, 이 문헌은 크기가 다른 재생 디바이스들에 대해 인코딩 또는 디코딩하는 어떤 수단도 제시하지 않는다.
무엇보다도, 이 문헌은 센서들을 수평형태로 제시하는데, 이로 인해 여기서는 해당 어코스틱 현상이 단지 수평 방향으로만 전파된다고 가정하고, 그로 인해 전파의 다른 방향을 배제함으로써, 정상적인 사운드 필드의 물리적 실재성을 표현하지는 않는다.
더욱 일반적으로, 현재의 기술은, 멀리 배치된 음원들(평면파)의 경우보다 오히려, 특히 근접 필드 소스에서 임의 유형의 음원을 만족스럽게 처리할 수는 없는데, 이는 많은 애플리케이션에서 제한적이고 인위적인 상황에 대응된다.
본 발명의 목적은 인코딩, 송신, 재생에 의해 임의의 유형의 사운드 필드에서의, 특히는 근접 필드에서의 음원의 효과를 처리하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 방향 방식뿐만 아니라 거리 방식으로 가상 소스를 인코딩할 수 있는 방법을 제공하고, 임의의 재생 디바이스에 적용가능한 디코딩 방법을 정의하는 것이다.
본 발명의 다른 목적은 임의의 사운드 주파수(저 주파수를 포함)의 사운드를 처리하기 위한 방법을 제공하기 위한 것으로, 특히는 마이크로폰의 3차원 배열을 통하여 자연스러운 사운드 필드의 사운드 캡쳐를 제공하는 것에 관한 것이다.
이를 위하여 본 발명은 사운드 데이터를 처리하는 방법을 다음과 같이 제시한다:
a) 3차원 공간으로 전파되고 기준점으로부터 제 1 거리만큼 떨어진 곳에 위치한 소스로부터 발생하는 적어도 하나의 사운드를 나타내는 신호들을, 상기 사운드가 상기 기준점에 대응하는 원점의 구면 조화함수의 기수(base)로 표현된 성분들에 의해 표현되도록 인코딩(encoding)하는 단계와; 그리고
b) 재생 디바이스에 의한 상기 사운드의 재생을 위해, 재생 지점과 청각 인식 지점간의 거리를 실질적으로 정의하는 제 2 거리에 의존하는 필터링에 의하여 근접 필드 효과의 보상을 상기 성분들에 적용하는 단계를 포함하는 사운드 데이터 처리 방법이 제시된다.
제 1 실시예에서는, 상기 소스를 상기 기준점으로부터 더 멀리 위치시키고,
- 상기 구면 조화함수의 기수로 상기 사운드를 표현하기 위해 연속적인 m차의 성분들을 획득하고, 그리고
- 상기 재생 디바이스의 레벨에서 근접 필드 효과를 보상하기 위해 필터를 적용하며, 상기 필터의 계수들은 각각 m차 성분에 대해 각각 적용되고, m 제곱 다항식의 역 형태로 분석적으로 표현되며, 여기서 상기 다항식의 변수는 사운드 주파수 및 상기 제 2 거리에 반비례하는 것을 특징으로 한다.
제 2 실시예에서는, 상기 소스는 상기 제 1 거리에서 파악되는 가상 소스이며,
- 상기 구면 조화함수의 기수로 사운드를 표현하기 위해 연속적인 m차의 성분들을 획득하고, 그리고
- 글로벌 필터를 적용하며, 여기서 m차의 성분에 각각 적용되는 상기 글로벌 필터의 계수들은 분수 형태로 분석적으로 표현되는데, 상기 분수에서:
- 분자는 m 제곱 다항식이며, 그 다항식의 변수는 상기 가상 소스의 근접 필드 효과를 시뮬레이션하기 위해 상기 사운드 주파수 및 제 1 거리에 반비례하고, 그리고
- 분모는 m 제곱 다항식이고, 그 다항식의 변수는 낮은 사운드 주파수들에서 상기 가상 소스의 상기 근접 필드의 효과를 보상하기 위해 상기 사운드 주파수 및 상기 제 2 거리에 반비례한다.
바람직하게는, 상기 방법은 상기 단계 a) 및 상기 단계 b)에서 인코딩되고, 필터링된 데이터를 상기 제 2 거리를 나타내는 파라미터와 함께 상기 재생 디바이스에 전송한다.
보완 또는 변형으로서, 상기 재생 디바이스는 메모리 매체를 판독하는 수단을 포함하며, 여기서 상기 단계 a) 및 상기 단계 b)에서 인코딩되고, 필터링된 데이터를 상기 제 2 거리를 나타내는 파라미터와 함께 상기 재생 디바이스에 의해 판독될 대상인 메모리 매체에 저장한다.
바람직하게는, 청각 인식의 상기 지점으로부터 제 3 거리에 배치된 다수의 스피커를 포함하는 재생 디바이스에 의한 사운드 재생 전에, 상기 제 2 거리 및 제 3 거리에 의존하는 계수를 갖는 적응 필터를 상기 인코딩되고, 필터링된 데이터에 적용한다.
특정 실시예에서는, m차 성분에 각각 적용되는 상기 적응 필터의 계수들은 분수의 형태로 분석적으로 표현된다:
- 분자는 m 제곱 다항식이고, 그 다항식의 변수는 상기 사운드 주파수 및 상기 제 2 거리에 반비례하며, 그리고
- 분모는 m 제곱 다항식이고, 그 다항식의 변수는 상기 사운드 주파수 및 상기 제 3거리에 반비례한다.
단계 b)를 구현하기 위해서는 다음과 같은 것이 유용하게 제공된다:
- 짝수 m 차의 성분들에 대하여, 2차의 셀들의 캐스케이드 형태의 오디오디지털 필터와; 그리고
- 홀수 m 차의 성분들에 대하여, 2차의 셀들과 추가적 1차 셀의 캐스케이드 형태인 오디오 디지털 필터가 제공된다.
이 실시예에서, m차 성분에 대한 오디오 디지털 필터의 계수는 상기 m 제곱 다항식의 근의 수적인 값으로부터 정의된다.
특정 실시예에서, 상기 다항식은 베셀(Bessel) 다항식이다.
사운드 신호를 획득하는데 있어서, 3차원 공간으로 전파되는 적어도 하나의 사운드를 나타내는 상기 신호를 획득하기 위해서, 구의 중심이 상기 기준점에 실질적으로 대응되는 구의 표면상에 실질적으로 배열된 사운드 변환기의 어레이(array)를 포함하는 마이크포폰이 유용하게 제시된다.
이 실시예에서, 한편으로는 상기 제 2 거리(R)의 함수인 근접 필드 효과를 보상하기 위해서, 다른 한편으로는 상기 변환기로부터 발생하는 신호들을 등화(equalize)하여 상기 변환기의 방향성 가중을 보상하기 위해 글로벌 필터를 상기 단계 b)에서 적용한다.
바람직하게는, 상기 구면 조화함수의 기수로 상기 사운드를 표현하도록 선택된 성분들의 총 개수에 따라 다수의 변환기가 제공된다.
유용한 특성에 따라, 상기 단계 a)에서 성분들의 총 개수는, 재생시에, 사운드 재생이 충실히 이루어지며 상기 성분들의 총 개수와 함께 증가하는 치수들을 갖는 상기 인식 지점(P) 주위의 공간 영역을 얻기 위해, 상기 구면 조화함수의 기수로부터 선택된다.
또한 바람직하게는, 적어도 상기 성분들의 총 개수와 동일한 개수의 스피커를 포함하는 재생 디바이스가 제공된다.
변형으로서, 바이노럴(binaural) 혹은 트랜스오럴(transaural) 합성을 갖는 재생의 프레임워크에서:
- 청취자로부터 선택된 거리만큼 떨어진 곳에 배치된 적어도 제 1 및 제 2 스피커를 포함하는 재생 디바이스가 제공되고,
- 청취자로부터 미리결정된 기준 거리만큼 떨어진 곳에 위치한 음원의 공간 위치를 예상 인식하는 큐(cue)가 소위 "트랜스오럴(transaural)" 또는 "바이노럴(binaural)" 기술을 적용하기 위해서 청취자에 대해 수집되고, 그리고
- 단계 b)의 보상은, 상기 기준 거리를 실질적으로 상기 제 2 거리로 하여 적용된다.
2개의 헤드폰을 구비한 재생 디바이스에 도입된 변형에서:
- 청취자로부터 선택된 거리만큼 떨어진 곳에 배치된 적어도 제 1 및 제 2 스피커를 포함하는 재생 디바이스가 제공되고,
- 상기 청취자로부터 미리결정된 기준 거리만큼 떨어진 곳에 위치한 음원의 공간 위치를 인식하는 큐(que)가 청취자에 대해 수집되고, 그리고
- 상기 재생 디바이스에 의해 사운드가 재생되기 전에, 제 2 거리에 의존하고 실질적으로 기준 거리에 의존하는 계수를 갖는 적응 필터를 단계 a) 및 b)에서 인코딩되고, 필터링된 데이터에 적용한다.
특히, 바이노럴 합성을 구비한 재생의 프레임워크 내에서:
- 상기 재생 디바이스는 청취자의 각 귀를 위해 2개의 헤드폰을 구비한 헤드셋을 포함하고, 그리고
- 바람직하게는, 각 헤드폰에 대해 개별적으로, 단계 a) 및 b)의 코딩 및 필터링은, 재생 공간에서 재생될 소스의 위치와 각 귀와의 거리를 제 1 거리로 하여, 상기 각 헤드폰에 제공될 대상인 개별 신호들에 대해 적용된다.
바람직하게는, 행렬 시스템이 단계 a) 및 b)에서 형성되고, 상기 시스템은 적어도:
- 구면 조화함수의 기수로 표현된 상기 성분들을 포함하는 행렬과, 그리고
- 단계 b)의 필터링 계수에 대응되는 계수를 갖는 대각 행렬을 포함하고, 상기 행렬들은 보상된 성분들의 결과 행렬이 구해지도록 곱해진다.
예를 들면, 재생에서:
- 상기 재생 디바이스는 청각 인식의 지점으로부터 동일한 거리에 실질적으로 배치된 다수의 스피커를 포함하고, 그리고
- 상기 단계 a) 및 상기 단계 b)에서 상기 인코딩되고, 필터링된 데이터를 디코딩하기 위해, 그리고 상기 스피커에 제공하기에 적합한 신호를 형성하기 위해서:
- 특정 재생 디바이스에 대한 소정의 디코딩 행렬 및 상기 결과 행렬을 포함하는 행렬 시스템을 형성하고, 그리고
- 상기 디코딩 행렬에 결과 행렬을 곱함으로써 스피커 제공 신호를 나타내는 계수들을 포함하는 행렬이 구해진다.
또한 본 발명은 구 표면에 실질적으로 배치된 사운드 변환기의 어레이가 제공되는 마이크로폰을 포함하는 사운드 수집 장치를 제공하는 것을 목적으로 한다. 본 발명에 따르면, 상기 디바이스는 다음과 같은 목적을 위해 구성된 프로세싱 유닛을 포함한다:
- 변환기로부터 발산되는 각 신호들을 수신하고,
- 상기 구의 중심에 대응하는 원점의 구면 조화함수의 기수로 표현된 성분들에 의해 사운드 표현을 획득하도록 상기 신호에 코딩을 인가하고, 그리고
- 한편으로는 상기 구의 반경에 대응하는 거리에, 그리고 다른 한편으로는 기준 거리에 의존하는 필터링을 상기 성분에 인가하도록 구성된다.
바람직하게는, 상기 필터링은, 한편으로는 상기 변환기의 방향성 가중을 보상하기 위해서 상기 변환기로부터 발생하는 신호들을 상기 구의 반경에 따라서 등화하는 것과, 그리고 다른 한편으로는 사운드의 재생을 위해서 재생 지점과 청각 인식의 지점간의 거리를 실질적으로 정의하는 선택된 기준거리의 함수인 근접 필드 효과를 보상하는 것으로 구성된다.
본 발명의 다른 이점 및 특징들이 하기의 상세한 설명 및 첨부된 도를 참조함으로써 더욱 분명하게 이해될 수 있을 것이다.
도 1은 가상 소스를 시뮬레이션함으로써 공간 재생 디바이스에 의해 인코딩 전송, 디코딩, 재생되는 사운드 신호를 수집 및 생성하기 위한 시스템을 도식적으로 나타낸다.
도 2는 강도 방향성과 사운드가 발생하는 소스 위치 모두를 정의하는 신호들의 인코딩을 더욱 정확히 나타낸다.
도 3은 구좌표 내의 앰비소닉 표현 내에 포함된 파라미터들을 도시한다.
도 4는 다양한 차수의 구면 조화함수
Figure 112010010118938-pct00001
의 구좌표의 기준 프레임 내에서의 3차원적 계측을 나타낸 도면이다.
도 5는 m차 연속 값에 대한 구면 베셀 함수(Bessel functions)인 방사 함수(radial function) jm(kr)-이는 압력 필드의 앰비소닉 표현에 이용됨-의 모듈의 변화 차트이다.
도 6은 저 주파수에서 특히 다양한 연속 m차에 대한 근접 필드 효과(near field effect)로 인한 증폭을 나타낸다.
도 7은 상기 청각 인식의 지점(기준 P), 상기 제 1 거리(ρ로 언급됨), 그리고 상기 제 2 거리(R로 언급됨)을 갖는 다수의 스피커(HPi)를 포함하는 재생 디바이스를 도식으로 나타낸다.
도 8은 본 발명에 따른 방향성 인코딩 및 거리 인코딩을 갖는 앰비소닉 인코딩(ambisonic encoding)에 포함된 파리미터들을 도식으로 나타낸다.
도 9는 가상 소스 ρ=1m의 제 1 거리, 그리고 제 2 거리 R=1.5m에 위치된 스피커의 사전 보상(pre-compensation)에 대해 시뮬레이션된 보상 및 근접 필드 필터의 에너지 스펙트럼을 나타낸다.
도 10은 가상 소스 ρ=3m의 제 1 거리, 그리고 제 2 거리 R=1.5m에 위치된 스피커의 사전 보상에 대해 시뮬레이션된 보상 및 근접 필드 필터의 에너지 스펙트럼을 나타낸다.
도 11A는 본 발명에 따라 수평면에서 구면파에 대한 보상을 갖는 근접 필드의 재구성을 나타낸다.
도 11B는 도 11A에 대비되며, 소스 S로부터 발생한 초기 파면을 나타낸다.
도 12는 제 2 거리인 기준 거리 R에 대한 인코딩에 대해 수신되고, 사전 보상된 앰비소닉 성분을 청각 인식의 지점으로부터 제 3거리 R2만큼 떨어진 곳에 배치된 다수의 스피커를 포함하는 재생 디바이스에 대해 적용하기 위한 필터링 모듈을 도식으로 나타낸다.
- 도 13A는 재생 시 근접 필드에서 방출하는 소스을 사용하여 바이노럴 합성을 적용한 재생 디바이스를 사용하는 청취자를 위한 음원 M의 배치를 개략적으로 표현한다.
- 도 13B는 앰비소닉 인코딩/디코딩이 결합된 경우를 사용하여 디코딩 및 인코딩의 단계들을 도 13A의 바이노럴 합성의 프래임워크에서 근접 필드 효과로 개략적으로 표현한다.
- 도 14는 본 발명의 범위 내의 앰비소닉 인코딩, 등화 및 근접 필드 보상에 의해 예시적인 방식으로 구 위에 배열된 다수의 압력 센서를 포함하는 마이크로폰으로부터 발생되는 신호의 처리를 개략적으로 표현한다.
먼저 예시적인 방식으로 사운드 공간화를 위한 글로벌 시스템을 표현한 도 1이 참조된다. 가상 현장을 시뮬레이션하기 위한 모듈(1a)은 모노의 경우, 3차원 공간으로 선택된 위치를 사용하여 사운드 객체를 신호의 가상 소스로 정의하며, 사운드의 방향을 정의한다. 더욱이 가상 공간의 기하학적 표현들은, 사운드의 반향을 시뮬레이션하도록 제공될 수 있다. 프로세싱 모듈(11)은 청취자(상기 청취자에 관한 소스의 가상 위치의 정의)에 관한 이러한 하나 이상의 소스의 관리를 사용한다. 지연 및/또는 표준 필터링을 사용하여 반향 또는 이와 같은 것을 시뮬레이션하기 위해 룸 효과 프로세서(room effect processor)를 구현한다. 따라서, 상기 구성된 신호들은 소스의 기본적 기여분의 공간적인 인코딩을 위해 모듈(2a)로 전송된다.
이와 병행하여, 사운드의 자연적인 캡쳐는 실제 소스들(모듈 1b)에 관해 선택된 방식으로 배치된 하나 이상의 마이크로폰으로 녹음하는 사운드의 프레임워크 내에서 수행될 수 있다. 상기 마이크로폰들에 의해 픽업(pick up)되는 신호들은 모듈(2b)에 의해 인코딩된다. 획득되고 인코딩된 신호들은, 모듈(1a)에 의해 발생되고 모듈(2a)에 의해 인코딩되는 (가상 소스들로부터 발생되는) 신호들과 모듈(3b)에 의해 혼합되기 이전에, 중재 표현 포맷(모듈 3b)에 따라 변환될 수 있다. 따라서, 혼합된 신호들은 재생을 위해 매체에 전송(화살표 TR)되거나 저장된다. 그 이후에, 상기 혼합된 신호들은 스피커를 포함하는 재생 디바이스(6)에서의 재생을 위해 디코딩 모듈(5)에 공급된다. 상기 경우에는, 디코딩 모듈(5)의 업스트림으로 제공되는 프로세싱 모듈(4)로 인하여, 예컨대 회전에 의해 디코딩 단계(5)가 사운드 필드를 조작하는 단계로 진행될 수 있다.
재생 디바이스는, 재생시 특히 3차원 공간으로 사운드의 방향을 인지하도록 예를 들어 3차원 (다중 채널의) 구성에서 구의 표면에 정렬되는 다수의 스피커들의 형태를 취할 수 있다. 상기 목적을 위하여, 청취자는 일반적으로 스피커들의 배열에 의해 형성되는 구의 중앙에 그들 자신을 위치시키며, 이러한 중심은 상기 언급된 청각적인 인식 지점에 대응한다. 다른 예로서, 재생 디바이스의 스피커들은 평면(2차원 파노라마 구성)에 정렬될 수 있고, 스피커들은 특히 상기 원의 중앙에 배치되고, 상기 청취자는 일반적으로 상기 원의 중앙에 위치된다. 또 다른 예로서, 재생 디바이스는 "써라운드(surround)" 타입(5.1)의 디바이스 형태를 취할 수 있다. 마지막으로, 바람직한 다른 예로서, 이하에서 더 상세히 설명된 바와 같이, 재생 디바이스는 재생된 사운드의 바이노럴 합성을 위한 두 개의 헤드폰을 가지는 헤드셋의 형태를 취할 수 있고, 청취자가 3차원 공간으로 소스의 방향을 인식하게 한다. 두 개의 스피커를 가지는 그러한 재생 디바이스는, 청취자로부터 선택된 거리에 배치된 두 개의 스피커를 가지는, 트랜스오럴(transaural) 재생 디바이스의 형태를 취할 수도 있다.
이제 기본적인 음원들의 3차원 사운드 재생을 위한 공간적인 인코딩 및 디코딩을 설명하기 위해 도 2를 참조한다. 소스 1 내지 N으로부터 발생한 신호들뿐만 아니라 그것의 (실제 또는 가상) 위치는 공간적인 인코딩 모듈(2)에 전송된다. 그것의 위치는 입사각(상기 청취자 관점에서의 소스 방향) 또는 이러한 소스와 청취자 사이의 거리라는 용어로 정의될 수 있다. 따라서, 다수의 인코딩된 신호들은 글로벌 사운드 필드의 다중 채널 표현을 수집할 수 있다. 도 1을 참조하여 여기서 표현된 바와 같이, 3차원 공간으로 사운드를 재생하기 위하여 인코딩된 신호들이 사운드 재생 디바이스(6)에 전송된다(화살표 TR).
이제 이하에서 어코스틱 필드의 3차원 공간으로 구면 조화함수들로 앰비소닉 표현을 설명하기 위해 도 3을 참조한다. 우리는 어떠한 어코스틱 소스도 없는 원점 0(반지름 R의 구)에 대한 영역을 생각한다. 우리는 원점 O에서 상기 구의 어느 지점으로의 각각의 벡터
Figure 112010010118938-pct00002
이 방위각 θr, 고도 δr및 (원점으로부터의 거리에 대응하는) 반지름 r에 의해 설명되는 구 좌표계를 도입한다.
상기 구 내부의 압력 필드
Figure 112010010118938-pct00003
(R이 상기 구의 반지름인 경우 r<R)은 주파수 영역에서, 항들이 각도 함수 ymn σ(θ,δ) 및 방사 함수 jm(kr)의 가중치 곱인 급수로 쓰여질 수 있고, 그에 따라 k=2πf/c인 전파 항에 의존하며, 여기서 f는 사운드 주파수이고, c는 전파 매체에서의 사운드 속도이다.
이어서 압력 필드는 다음과 같이 표현된다:
Figure 112005026326312-pct00004
따라서, 주파수에 암시적으로 의존하는 가중치 팩터(weighting factor)들의 Bmn σ 집합이, 고려되는 영역 내의 압력 필드를 설명한다. 이러한 이유로, 이러한 팩터들은 "구면 조화함수 성분"으로 칭해지고, 구면 조화함수 Ymn σ의 기수에서 사운드(또는 압력 필드)에 대한 주파수 표현을 나타낸다.
각도 함수들은 "구면 조화함수"로 칭해지고, 다음의 수식에 의해 정의된다:
Figure 112005026326312-pct00005
여기서,
Pmn(sinδ)는 도수 m 및 차수 n의 르장드르(Legendre) 함수이다;
δp,q는 크로네커(Kronecker) 심볼이다(p=q이면 1이고, 그렇지 않으면 0이다).
구면 조화함수들은 조화함수 성분 간의 스칼라 곱과, 일반적으로 두 함수 F 및 G 간의 스칼라 곱이 각각 다음과 같이 정의되는 정규직교 기수를 형성한다:
Figure 112005026326312-pct00006
Figure 112005026326312-pct00007
구면 조화함수들은 도 4에 표현된 바와 같이, 차수 m과 인덱스 n 및 σ의 함수로서 결합되는 실함수(real function)이다. 밝은 부분 및 어두운 부분은 각각 구면 조화 함수의 양의 값 및 음의 값에 대응한다. 차수 m이 더 커질수록, 각주파수(angular frequency)가 더 높아진다(따라서 함수들 간의 차이가 커진다). 방사 함수 jm(kr)은 구면 베셀 함수이며, 그것의 차수는 도 5에서 차수 m의 몇몇 값으로 도시된다.
구면 조화함수의 기수에 의한 앰비소닉 표현의 해석은 다음과 같이 주어질 수 있다. 차수 m과 유사한 앰비소닉 성분들은 궁극적으로 원점 0(도 3에 표현된 구의 중심)의 주변에서 압력 필드의 차수 m의 "도함수" 또는 "모멘트"이다.
특히, B00 +1=W는 압력의 스칼라 크기를 설명하며, 아울러 B11 +1=X, B11 1=Y, B10 +1=Z는 원점 0에서의 압력 기울기(또는 특정 속도)에 관한 것이다. 이러한 첫 번째 4개의 성분들 W, X, Y 및 Z는 (차수 0의 성분 W에 대한) 전방향 마이크로폰 및 (뒤이은 다른 세 개의 성분들에 대한) 양방향 마이크로폰을 사용하여 자연적인 사운드의 캡쳐 동안에 수집된다. 많은 어코스틱 변환기를 사용함으로써, 특히 등화에 의한 적절한 프로세싱은 (1보다 큰 더 높은 차수 m) 추가적인 앰비소닉 성분들을 수집할 수 있다.
(1보다 큰) 더 큰 차수의 추가적인 성분들을 고려하여, 앰비소닉 표현의 각도 해상도를 증가시킴으로써, 원점(O)을 중심으로 하여, 음파의 파장에 관해 더 넓은 주변 지역에 걸쳐 압력 필드 근처에 접근하게 된다. 따라서, 표현될 수 있는 각도 해상도(구면 조화함수의 차수)와 방사 범위(반지름 r) 사이에 엄격한 관계가 존재한다고 인정될 것이다. 즉, 도 3의 원점 0로부터 공간적으로 멀리 이동할 때, 앰비소닉 성분들(높은 차수 M)의 개수가 더 많아지고, 이러한 앰비소닉 성분들의 집합에 의한 사운드의 표현이 더 좋아진다. 그러나, 사운드의 앰비소닉 표현은 원점 0로부터 멀리 이동한 것보다 덜 만족스럽게 여겨질 것이다. 이러한 영향은 특히 (짧은 파장의) 높은 사운드 주파수에서 중요하다. 따라서, 가능한 많은 수의 앰비소닉 성분들을 얻는데 관심이 있으므로, 사운드의 재생이 정확하고 수치가 성분들의 총 개수와 함께 증가하는 인지 지점 주변 공간의 영역을 생성할 수 있게 한다.
이하에서 설명되는 애플리케이션은 공간화된 사운드 인코딩/송신/재생 시스템에 대한 애플리케이션이다.
실제로, 앰비소닉 시스템은 상기에서 설명된 바와 같이 구면 조화함수 성분의 서브셋을 고려한다. 후자가 인덱스 m<M의 앰비소닉 성분을 고려할 때, 차수 M의 시스템을 말한다. 스피커를 사용하여 재생 디바이스에 의한 재생을 처리할 때, 이러한 스피커들이 수평면에 배치된다면 인덱스 m=n의 조화함수들만이 이용된다고 여겨질 것이다. 반면, 재생 디바이스가 구("다중 채널")의 표면 위에 배치되는 스피커들을 포함할 때, 원칙적으로 거기에 존재하는 스피커만큼의 조화함수를 이용할 수 있다.
기준 S는 평면파에 의해 반송되고 아울러 도 3의 구의 중심(구 좌표계에서의 원점)에 대응하는 점 0에서 픽업되는 압력 신호를 나타낸다. 상기 평면파의 입사각은 방위각 θ와 고도 δ에 의해 설명된다. 이러한 평면파와 연관된 필드의 성분들에 대한 표현은 다음과 같은 관계식으로 주어진다:
Figure 112005026326312-pct00008
원점 0로부터의 거리 ρ에서 근접 필드 소스를 인코딩(시뮬레이션)하기 위하여, 근접 필드가 제 1 근사값에 구면파를 방출하는 것을 고려함으로써 필터 Fm (ρ/c)는 파면의 형태를 "만곡"시키기 위하여 적용된다. 상기 필드의 인코딩된 성분들은 다음과 같다:
Figure 112005026326312-pct00009
그리고, 상기 필터 Fm (ρ/c)에 대한 표현은 다음과 같은 관계식으로 주어진다:
Figure 112005026326312-pct00010
여기서, ω=2πf는 상기 파의 각도 주파수이며, f는 사운드 주파수이다.
상기 후술한 두 관계식 [A4] 및 [A5]는 궁극적으로, 근접 필드에서 실제 소스 및 (시뮬레이션된)가상 소스에 대하여, 앰비소닉 표현에서의 사운드 성분이 수학적으로 멱수 m의 다항식, 여기서는 베셀 다항식의 형태로 표현되며(특히, 분석적으로), 이것의 변수 (c/2jωρ)는 사운드 주파수에 반비례한다는 것을 보여준다.
따라서, 다음과 같이 이해될 것이다:
- 평면파의 경우, 인코딩은 오직 실수의 유한 이득에 의해 원래 신호와 구별되는 신호를 생성하며, 이는 순수한 방향성 인코딩에 대응한다(관계식 [A3]);
- (필드 소스에 근접한) 구면파의 경우, 관계식 [A5]로 표현되는 바와 같이, 부가적인 필터 Fm (ρ/c)(ω)는 앰비소닉 성분에 대한 표현에 주파수 의존적인 복소 진폭 비율을 도입함으로써 거리 큐(distance cue)를 인코딩한다.
상기 부가적인 필터는, 사운드 주파수들이 0으로 감소할 때 증가되고 발산되는(제한되지 않는) 증폭 효과를 가지는 "적분" 타입임에 주목해야 한다. 도 6은 상기 각 차수 m에 대하여, 이득이 저주파수에서 증가함을 보여준다(여기서 제1 거리 ρ=1m). 따라서, 이들을 임의의 오디오 신호에 적용하고자 할 때, 불안정하고 발산하는 필터들을 처리한다. 이러한 발산은 큰 값의 차수 m에 대해 더욱 중요하다.
특히 관계식들 [A3], [A4] 및 [A5]로부터 알 수 있는 것으로, 근접 필드 내에서의 가상 소스의 모델링은, 도 6에 표현된 바와 같이, 차수 m이 큰 경우에 특히 중요한 방식으로, 저주파수에서 발산하는 앰비소닉 성분들을 나타낸다. 저주파수에서의 이러한 발산은, 앞서 언급된 "베이스 부스트(bass boost)" 현상에 대응한다. 이것은 또한, 실제 소스에 대한 사운드 수집에서도 나타난다.
특히 이러한 이유로, 앰비소닉 방법은 특히 큰 차수의 m에 대해 사운드 프로세싱 면에서 (이론적인 것 외에) 최신 기술에서는 그 구체적 애플리케이션이 없다.
특히, 근접 필드의 보상은, 재생 시 앰비소닉 표현에서 인코딩된 파면의 형태와 일치시키는데 필수적이라고 인정된다. 도 7을 참조하면, 재생 디바이스는 예시적으로 청각 인식 지점 P로부터 하나의 동일한 거리 R에 배치되는 다수의 스피커들 HPi를 포함한다. 상기 도 7에서:
- 스피커 HPi가 위치된 각 지점은 앞서 언급된 재생 지점에 대응한다.
- 점 P는 상기 언급된 청각 인식 지점이다.
- 이러한 지점들은 상기에서 언급된 제2 거리 R로 분리된다.
아울러 상기에서 설명된 도 3에서:
- 점 O는 상기에 언급된 기준점에 대응하며, 구면 조화함수의 기수의 원점을 형성한다.
- 점 M은 기준점 O로부터 제1 거리 ρ에 (실제 또는 가상으로) 위치된 소스의 위치에 대응한다.
본 발명에 따르면, 근접 필드의 사전 보상이 실제 인코딩 단계에 도입되며, 이러한 보상은 분석적 형태의 필터
Figure 112010010118938-pct00011
를 포함하고, 앰비소닉 성분
Figure 112010010118938-pct00012
에 적용된다.
본 발명에 의한 이점들 중 하나에 따르면, 그 효과가 도 6에 표현되는 증폭 Fm (ρ/c)(ω)는 후속적인 인코딩
Figure 112010010118938-pct00013
에 적용되는 필터의 감쇄를 통해 보상된다. 특히, 상기 보상 필터
Figure 112010010118938-pct00014
의 계수는 사운드 주파수와 함께 증가하고, 특히, 저주파수에서 0으로 향하는 경향이 있다. 유리한 점으로, 인코딩으로부터 바로 수행되는 이러한 사전 보상은, 전송되는 데이터가 저주파수에서 발산되지 않음을 보증한다.
보상 필터에 이르는 거리 R의 물리적인 중요성을 나타내기 위하여, 우리는 예시적인 방식으로, 사운드 신호 획득시 초기의 실제 평면파를 고려한다. 이러한 먼 소스의 근접 필드 효과를 시뮬레이션하기 위하여, 관계식 [4]에 나타낸 바와 같이, 관계식 [A5]의 제1 필터를 적용한다. 이어서, 거리 ρ는 근접 가상 소스 M과 도 3의 구면 기수의 원점을 나타내는 점 O 사이의 거리를 표현한다. 따라서, 근접 필드 시뮬레이션을 위한 제1 필터는 상기 설명된 거리 ρ에서 가상 소스의 존재를 시뮬레이션하는데 적용된다. 그럼에도 불구하고, 한편으로, 앞서 나타낸 바와 같이, 상기 필터의 계수의 항들이 저주파수에서 발산하고(도 6), 다른 한편으로, 상기 거리 ρ는 재생 디바이스의 스피커들과 인지 지점 P 사이의 거리를 반드시 표현하지는 않을 것이다(도 7). 본 발명에 따르면, 앞서 표시된 바와 같이
Figure 112010010118938-pct00089
타입의 필터를 포함하는 사전 보상이 인코딩 시 적용되어, 한편으로는 제한된 신호를 전송할 수 있게 되고, 다른 한편으로는 도 7에 도시된 바와 같이, 스피커 HPi를 사용하는 사운드의 재생을 위해 인코딩으로부터 바로 거리 R을 선택할 수 있게 된다. 특히, 만약 재생시 원점 O로부터 거리 ρ만큼 떨어져 위치하는 가상 소스를 사운드 수집시 시뮬레이션한다면(도 7), 청각 인식 지점 P(스피커 HPi로부터의 거리 R만큼 떨어져 있음)에 위치한 청취자는 청취시 인식 지점 P로부터 거리 ρ만큼 떨어져서 위치하는 음원 S의 존재를 인식할 것이고, 이것은 사운드 수집 동안 시뮬레이션된 가상 소스에 대응함을 이해해야 한다.
따라서, 인코딩 단계에서 (거리 R에 위치된) 스피커의 근접 필드의 사전 보상은, 거리 ρ에 위치된 시뮬레이션된 가상 소스의 근접 필드 효과와 결합될 수 있다. 인코딩 시, 한편으로는 근접 필드의 시뮬레이션으로부터 초래되고, 다른 한편으로는 근접 필드의 보상으로부터 초래되는 전체 필터는 궁극적으로, 다음과 같은 관계식에 의해 분석적으로 표현될 수 있는 필터의 계수를 재생시키는 것으로 야기된다.
Figure 112005026326312-pct00016
도 8에 표현된 바와 같이, 관계식 [A11]에 의해 주어지는 전체 필터는 안정적이며, 본 발명에 따르는 공간적인 앰비소닉 인코딩에서 "거리 인코딩" 부분을 구성한다. 이러한 필터들의 차수들은 상기 주파수에 대한 단조 전송 함수에 대응하며, 고주파수에서는 값 1로, 저주파수에서는 값 (R/ρ)m이 되려고 한다. 도 9를 참조하면, (거리 R=1.5m에 위치된) 스피커 필드의 사전 보상을 사용하여, 필터들의 에너지 스펙트라 Hm NFC(ρ/c,R/c)(ω)는 (여기서, 거리 ρ=1m에 위치된) 가상 소스의 필드 효과로 인한 증폭된 인코딩된 성분을 전달한다. 따라서, 데시벨로 표현된 증폭은 ρ<R(도 9의 경우)일 때 양수이고, ρ>R(ρ=3m이고 R=1.5m인 도 10의 경우)일 때 음수이다. 공간화된 재생 디바이스에서, 청각적인 인지 지점과 스피커들 HPi 간의 거리 R은 실제로 1 또는 몇 미터의 차수이다.
다시 도 8을 참조하면, 전송될 인코딩과 연관된 거리에 관한 큐(cue)가 의례적인 방향 파라미터 θ 및 δ와 떨어져 있다는 것을 알게 될 것이다. 따라서, 구면 조화함수 Ymn σ(θ,δ)에 대응하는 각도 함수들은 방향성 인코딩을 위해 보유된다.
그러나, 본 발명의 관점에서, 도 8에 표현된 바와 같이, 거리 인코딩을 수행하기 위한 차수 m의 함수로서, 앰비소닉 성분들에 적용되는 전체 필터들(근접 필드 보상 및 근접 필드의 시뮬레이션) Hm NFC(ρ/c,R/c)(ω)이 제공된다. 오디오디지털 영역 내의 이러한 필터들의 실시예는 이하에서 상세히 설명될 것이다.
특히 이러한 필터들은 방향 인코딩(θ,δ) 이전에라도 거리 인코딩(r)로부터 바로 적용될 수 있다는 것이 주목될 것이다. 따라서, 앞서의 단계 a) 및 b)는 하나의 동일한 글로벌 단계로 통합될 수 있거나, (방향 인코딩에 따른, 거리 인코딩 및 보상 필터링을 사용하여) 서로 교환될 수 있다. 따라서, 본 발명에 따르는 방법은 단계들 a) 및 b)의 연속적인 일시적 구현으로 제한되지 않는다.
도 11A는 전체 차수 M=15의 시스템과 32개의 스피커들의 재생을 위하여 (도 9에서와 동일한 거리 파라미터를 가지는) 수평면에서 구면파의 보상을 사용하여 근접 필드 재구성의 (상방으로부터 보여지는) 시각화를 표현한다. 재생 공간에서, 도 7의 청각 인지 지점 P에 대응하는 수집 공간의 지점으로부터의 거리 ρ에 위치된 근접 필드 소스로부터 초기 음파의 전파가 도 11B에 표현된다. 도 11A에서 유의할 것은, 도 11B에서 (도식화된 헤드들에 의해 상징화된) 청취자들은 인식 지점 P로부터의 거리 ρ에 위치된 하나의 동일한 기하학적인 위치에서 가상 소스를 정확히 지적할 수 있다.
따라서, 디코딩 및 재생 후 인코딩된 파면의 형태가 일치하는지가 실제로 검증된다. 그러나, 도 11A에서 표현된 바와 같은 점 P 오른쪽의 간섭이 두드러지며, 이러한 간섭은 스피커들(따라서, 고려되는 앰비소닉 성분)의 개수가 상기 스피커들에 의해 범위가 결정되는 전체 표면과 연관된 파면을 완벽하게 재구성하기에 충분하기 않기 때문이다.
이하에서, 예시적인 방식으로 본 발명의 관점에서 방법을 구현하기 위한 오디오디지털 필터를 수집하는 것을 설명한다.
앞서 나타낸 바와 같이, 만약 근접 필드 효과를 시뮬레이션하고자 한다면, 다음과 같은 형태의 필터가 인코딩으로부터 바로 보상된다.
Figure 112005026326312-pct00017
상기 관계식[A11]은 사운드의 앰비소닉 성분에 적용된다.
관계식 [A5]에 의해 주어진 근접 필드의 시뮬레이션을 위한 표현으로부터, 먼 거리(ρ=∞)에 대한, 관계식[A11]은 단순히 다음과 같이 될 수 있음이 명백하다:
Figure 112005026326312-pct00018
따라서, 관계식[A11]에서 공식화된 바와 같이, 시뮬레이션되어야 하는 소스들이 먼 필드(먼 소스)에 방출되는 경우, 이는 단지 상기 필터에 대한 일반적인 표현의 특정한 경우라는 것이 후술한 관계식[A12]으로부터 명백하다.
오디오 디지털 프로세싱의 영역 내에서, 연속적인-시간 아날로그 영역 내의 상기 필터의 분석적인 표현으로부터 디지털 필터를 정의하는 바람직한 방법은 "쌍일차 변환"으로 구성된다.
먼저, 관계식 [A5]는 라플라스 변환의 형태로 표현되며, 이는 하기의 관계식에 대응한다:
Figure 112005026326312-pct00019
여기서, τ=ρ/c(c는 매체에서의 어코스틱 속도이며, 일반적으로 공기 중에서 340m/s이다)
쌍일차 변형은 샘플링 주파수 fs를 위해 존재하는 것들로 구성되며, 관계식 [A11]은 다음과 같은 형태를 가진다:
만약 m이 홀수이면,
Figure 112010010118938-pct00020
삭제
만약 m이 짝수이면,
Figure 112010010118938-pct00021
삭제
여기서, z는 상기 관계식 [A13]에 관해
Figure 112008078590719-pct00022
로 정의되며,
Figure 112005026326312-pct00023
그리고
Figure 112005026326312-pct00024
Figure 112005026326312-pct00025
여기서 x=a에 대하여α= 4fsR/c
그리고 x=b에 대하여α=4fsρ/c
Xm,q는 베셀 다항식의 연속적인 근 q이며:
Figure 112005026326312-pct00026
하기의 테이블 1에서 다양한 차수 m에 대하여, 그들의 실수 부분, (콤마에 의해 구분된) 그들의 차수들, 및 m이 홀수일 때 그들의 (실수) 값의 각 형태로 표현된다.
테이블 1: MATLABⓒ 계산 소프트웨어를 사용하여 계산된 베셀 다항식의 값 Re[Xm,q], ｜Xm,q｜(및 m이 홀수일 때의 Re[Xm,m])
Figure 112005026326312-pct00027
Figure 112005026326312-pct00028
상기 테이블(1)의 값들을 사용하여 2 차수 셀들(짝수 m) 및 추가의 셀(홀수 m)의 직렬들을 상기 관계들[A14]을 이용하여 제공함으로써 디지털 필터들이 전개된다.
따라서 아래서 보이는 바와 같이 용이하게 파라미터들로 표현될 수 있는 무한 임펄스 응답 형태로 구체화된다. 무한 임펄스 응답 형태가 파악되고, 그 다음, 분석적인 공식으로부터 전달 함수의 복소 스펙트럼을 계산하고, 그 다음 역 푸리에 변환에 의해 상기로부터 유한 임펄스 응답이 유도된다. 그 후, 컨볼루션 연산이 상기 필터링에 적용된다.
그러므로, 인코딩에서 근접 필드의 이러한 사전 보상의 도입에 의해 수정된 앰비소닉 표현(전달 가능한 표현으로 채택된)(도 8)이 다음의 형태로 규정되고, 신호들은 주파수 도메인에서 표현된다.
Figure 112005026326312-pct00029
상기 설명된 바와 같이, R은 보상된 근접 필드 효과와 관련된 기준거리이며, C는 음속(일반적으로 대기에서 340m/s)이다. 이러한 수정된 앰비소닉 표현은 종래의 앰비소닉 표현과 같이 동일한 확장 특성(scalability properties)을 가지며(도 1의 화살표 TR의 인접한 곳에서 "에워싸인" 전송된 데이터로 도식적으로 표현됨) 그리고 동일 필드 회전 변환(도 1의 모듈(4))에 따른다.
수신된 앰비소닉 신호들의 디코딩을 위해 실시되는 연산들이 아래서 설명된다.
상술된 기준 거리 R과는 상이한 반경 R2의 임의의 재생 디바이스에 적응 가능한 디코딩 연산이 가장 먼저 설명된다. 이러한 목적으로, 상술된 바와 같은
Figure 112010010118938-pct00030
형태의 필터들이 적용되지만 ρ와 R 대신에 거리 파라미터 R과 R2를 갖는다. 특히, 파라미터 R/C만 인코딩과 디코딩 사이에 저장(및/또는 전송)될 필요가 있다.
도 12에서, 내부에 표시된 필터링 모듈은 예를 들면 재생 디바이스의 프로세싱 유닛 내에 제공된다. 수신된 앰비소닉 성분들은 제 2 거리로서의 기준 거리 R1으로 인코딩에서 사전 보상된다. 그러나, 재생 디바이스는 청각 인식 포인트 P로부터 제 3 거리 R2에 위치한 복수의 스피커들을 포함하며, 이러한 제 3 거리 R2는 상기 제 2 거리 R1과는 상이하다. 그 다음,
Figure 112010010118938-pct00031
형태의 도 12의 필터링 모듈은 상기 데이터를 수신할 때 거리 R2에서의 재생을 위해 거리 R1에 대한 사전 보상을 한다. 물론, 상술한 바와 같이, 상기 재생 디바이스는 또한 파라미터 R1/C를 수신한다.
본 발명은 사운드 필드(실제 및/또는 가상 소스들)의 몇 개의 앰비소닉 표현들을 혼합하는 것을 또한 가능하게 하며, 상기 사운드 필드들의 기준 거리 R은 서로 다르다(무한 기준 거리는 극히 먼 소스에 대응함). 바람직하게, 상기 앰비소닉 신호들을 혼합하기 전에 최소 기준 거리에서 이런 모든 소스들의 사전 보상은 필터링될 것이고, 따라서 재생시 사운드 릴리프(sound relief)의 올바른 정의를 얻을 수 있도록 한다.
재생시, 소위 공간에서 선택된 방향을 위한 사운드 강화 효과(광학계에서 선택된 방향을 비추는 광 프로젝터 방식으로)를 갖는 "사운드 포커싱" 프로세싱의 구조 내에서(사운드 포커싱의 행렬 프로세싱(앰비소닉 성분들에 가중치를 줌)을 포함함), 유리하게 포커싱 프로세싱에 결합된 방식으로 근접 필드 사전 보상을 구비한 상기 거리 인코딩을 적용할 수 있다.
아래서, 재생시의 앰비소닉 디코딩 방법이 스피커의 근접 필드의 보상과 함께 설명된다.
상기 성분
Figure 112010010118938-pct00032
으로부터 도 7의 재생 포인트(P)에 대응하는 청취자의 "이상적인" 위치를 제공하는 재생 디바이스의 스피커들을 사용함으로써 앰비소닉 공식에 따라 인코딩된 어코스틱 필드를 복원하기 위하여, 각 스피커에서 방출된 파장은 재생 디바이스의 중앙에서 앰비소닉 필드의 사전 "리-인코딩"에 의해 다음과 같이 정의된다.
이러한 "리-인코딩(re-encoding)' 상황에서, 간단한 설명을 위해 상기 소스들은 먼 필드에서 방출하는 것으로 우선 가정한다.
다시 도 7에서, 입사각(θi 및 δi) 및 인덱스(i)의 스피커에 의해 방출된 파장에는 신호 Si로 표시된다. 이러한 스피커는 그 기여분
Figure 112008078590719-pct00033
을 통해 성분 B`mn`의 복원에 참여한다.
인덱스(i)의 스피커들에 관련된 인코딩 계수들의 벡터 Ci는 다음과 같이 표현된다.
Figure 112005026326312-pct00034
N 개의 스피커로부터 발생된 신호들 벡터 S는 다음과 같이 표현된다.
Figure 112005026326312-pct00035
상기 N 개의 스피커들(궁극적으로 "리-인코딩" 행렬에 대응)을 위한 인코딩 행렬은 다음과 같이 표현된다.
Figure 112005026326312-pct00036
여기서 각 항 Ci는 상기 관계식[B1]에 관련된 벡터를 나타낸다.
그러므로, 앰비소닉 필드 B`의 복원은 다음과 같이 정의된다.
Figure 112005026326312-pct00037
그러므로 관계식 [B4]는 재생 전에 리-인코딩 연산을 정의한다. 결국, 상기 디코딩은 재생 디바이스에 의해 수신된 다음 형태의 본래의 앰비소닉 신호들을 비교하는 것을 포함한다.
Figure 112005026326312-pct00038
일반적인 관계를 정의하기 위해 리-인코딩된 신호들
Figure 112008078590719-pct00085
를 함께 쓰면 다음과 같다.
B = B` [B6]
특히, 이는 다음 관계식을 만족하는 디코딩 행렬 D의 계수를 결정하는 것을 포함한다.
S = D.B [B7]
바람직하게, 스피커들 숫자는 디코딩될 앰비소닉 성분들의 숫자 이상이며 상기 디코딩 행렬 D는 다음과 같이 리-인코딩 행렬 C의 함수로 표현된다.
Figure 112005026326312-pct00040
여기서 기호
Figure 112005026326312-pct00041
는 행렬 C의 전치 행렬에 대응한다.
각 주파수 대역에 대한 다른 기준을 만족하는 디코딩의 정의가 가능하고, 따라서 재생 동안에 청취 조건(특히, 도 3의 구면의 중앙(O) 위치의 제약에 관한) 의 함수로써 최적화된 재생을 가능하게 한다. 이러한 목적으로, 각 앰비소닉 성분에서 단계적인 주파수 등화에 의해 단순한 필터링을 위한 설비가 유리하게 만들어진다.
그러나, 본래 인코딩된 파장의 복원을 위해, 스피커들을 위한 극히 먼 필드 가정을 수정할 필요가 있다(즉, 상기 리-인코딩 행렬 C에서의 근접 필드의 효과를 표현하고 이러한 새로운 시스템을 디코더로 전환하기 위해). 이러한 목적으로, 스피커들(도 7의 상기 P 포인트로부터 동일한 거리 R에 위치함)의 중심을 가정하여, 모든 스피커들은
Figure 112008078590719-pct00042
형태의 각 앰비소닉 성분들 상에서 동일한 근접 필드 효과
Figure 112008078590719-pct00043
를 갖는다. 대각선 행렬의 형태에서 근접 필드 항들을 도입함으로써 상기 관계식 [B4]는 다음과 같이 된다.
Figure 112005026326312-pct00044
상기 관계식 [B7]은 다음과 같이 된다.
Figure 112005026326312-pct00045
따라서, 각
Figure 112005026326312-pct00046
상의 근접 필드를 보상하는 필터링 연산은 각 행렬 연산에 앞서고, 그리고 상기 행렬 연산은 관계식 [A14]에 관련하여 상술된 디지털 형태로 실시된다.
실제로, "리-인코딩" 행렬 C는 재생 디바이스에만 특수하다. 이것의 계수들은 소정의 여기(excitation)에 반응하는 재생 디바이스의 파라미터화 및 사운드 특성에 의해 최초로 결정된다. 디코딩 행렬 D도 유사하게 재생 디바이스에만 특수하다. 이것의 계수들은 관계식 [B8]에 의해 결정된다. 전술한 기호에 이어서
Figure 112010010118938-pct00086
는 사전 보상된 앰비소닉 성분들의 행렬이고, 이들은 그 후에 행렬 형태
Figure 112010010118938-pct00087
로 재생 디바이스에 전송된다.
Figure 112005026326312-pct00049
그 후에, 재생 디바이스는 행렬
Figure 112010010118938-pct00088
형태로 수신된 데이터를 디코딩 행렬 D를 적용함으로써 사전 보상된 앰비소닉 성분들로 디코딩하여, 스피커들 HPi에 주입하기 위한 다음과 같은 신호들 Si를 형성한다.
Figure 112005026326312-pct00051
도 12에서, 만약 디코딩 연산이 기준 거리 R1과 다른 반경 R2의 재생 디바이스에 적응되면, 상기에 기술된 적당한 디코딩에 앞서 적응 모듈이 각 앰비소닉 성분
Figure 112008078590719-pct00052
을 필터링 할 수 있도록 하여, 이것을 반경 R2의 재생 디바이스에 적응하도록 한다. 그 다음, 관계식 [B11]과 관련하여 상술된 바와 같이 적당한 디코딩 연산은 수행된다.
바이노럴 합성에 대한 본 발명의 애플리케이션이 아래서 설명된다.
도 13A에서, 바이노럴 합성 디바이스의 두 개의 헤드폰을 갖는 헤드 셋을 구비한 청취자를 나타낸다. 청취자의 두 귀들은 공간에서 각각 포인트 OL(왼쪽 귀)과 OR(오른쪽 귀)에 위치한다. 청취자의 머리의 중심은 포인트 O에 위치하고 청취자의 머리의 반경은 a 값이다. 공간에서 음원은 청취자의 머리의 중심으로부터 거리 r에 위치한(오른쪽 귀로부터는 rR 그리고 왼쪽 귀로부터는 rL 각각 위치함)포인트 M에서 청각적 방식으로 인식되어야 한다. 추가적으로, 포인트 M에 위치한 소스의 방향은 벡터
Figure 112010010118938-pct00053
,
Figure 112010010118938-pct00054
및
Figure 112010010118938-pct00055
에 의해 규정된다.
일반적인 방식으로, 바이노럴 합성은 다음과 같이 정의된다.
각 청취자는 자기만의 특정 모양의 귀를 갖는다. 이러한 청취자에 의해 공간에서 사운드의 인식은 이러한 청취자의 특수한 귀 모양(특히 외이들 모양 및 머리의 치수들)의 함수로써 출생에서부터의 학습에 따른다. 특히, 사운드가 다른 귀에 도착하기 전에 또 다른 귀에 도착한다는 사실은 공간에서 사운드의 인식에 있어 명백하며, 이는 바이노럴 합성을 이용하는 재생 디바이스의 각 헤드폰에 의해 방출되는 신호들 사이의 지연 τ를 증가시킨다.
최초로, 재생 디바이스는 동일한 청취자를 위해 그 머리 주변의 음원을 그 머리의 중앙으로부터 동일한 거리 R에서 혼합함으로써 파라미터화된다. 그러므로, 이 거리 R은 상술한 바와 같은 "재생 포인트"와 청각 인식 포인트(청취자의 머리의 중심 O) 사이의 거리를 나타낸다.
다음에서, 인덱스 L은 왼쪽 귀에 인접한 헤드폰에 의해 재생되는 신호에 관련되고 그리고 인덱스 R은 오른쪽 귀에 인접한 헤드폰에 의해 재생되는 신호에 관련된다. 도 13B에서, 개별 헤드폰을 위한 신호를 생성하는 각 경로에 대한 초기 신호(S)에 지연이 인가된다. 이러한 지연들 τL 및 τR 은 상술한 바와 같이 청취자 머리의 반경을 나타내는 a와 음속에 대응하는 c의 비율 a/c에 대응하는 최대 지연 τmax에 의존한다. 특히, 이러한 지연들은 포인트 O(머리 중심)로부터 포인트 M(도 13A에서, 재생된 음원의 위치)까지의 거리 및 각 귀로부터 상기 포인트 M까지의 거리 차이의 함수로 정의된다. 유리하게, 각 경로에 각각의 이득들 gL 및 gR들이 또한 인가되며, 상기 이득들은 포인트 O로부터 포인트 M까지의 거리와 각 귀로부터 포인트 M까지의 거리의 비율에 의존한다. 각 경로 2L 및 2R에 인가된 각각의 모듈들은 각 경로의 신호들을 본 발명의 범위 내의 근접 필드 사전 보상 NFC("근접 필드 보상"을 상징함)를 갖는 앰비소닉 표현으로 인코딩한다. 소스 M으로부터의 신호들은 그들의 방향(방위각 θL 및 θR 그리고 고도각 δL 및δR)뿐 아니라 상기 소스 M으로부터 분리된 각 귀 rR 및 rL 로의 거리의 함수로서 정의될 수 있다. 그러므로, 인코딩된 신호들은 각 경로 5L 및 5R에 대해 앰비소닉 디코딩 모듈들을 포함하는 재생 디바이스에 전송된다. 그러므로, 근접 필드 보상을 갖춘 앰비소닉 인코딩/디코딩이 각 경로(왼쪽 헤드폰, 오른쪽 헤드폰)에 대해 바이노럴 합성("B-FORMAT" 형태)을 갖는 재생에 복제 형태로 인가된다. 재생될 음원의 위치 M과 각각의 귀 간의 거리 rR 및 rL를 제 1 거리 ρ로 하여 각 경로에 대해서 근접 필드 보상이 수행된다.
본 발명의 범위 내에 있는 보상 애플리케이션이 앰비소닉 표현의 사운드 수집 상황내에서 아래서 설명된다.
도 14에서, 마이크로폰(141)은 어코스틱 압력을 입수하고 전기적 신호들 S1,..,SN을 복원할 수 있는 복수의 변환기 캡슐을 포함한다. 상기 캡슐 CAPi는 소정의 반경 r(여기서, 예컨대 핑퐁 공과 같은 강체 구)의 구면 위에 배열된다. 상기 캡슐들은 구 위에서 균등한 간격으로 분리되어 있다. 실제로, 캡슐 숫자 N은 앰비소닉 표현의 필요한 차수 M의 함수로써 선택된다.
아래서는 강체 구 위에 배열된 캡슐들을 포함하는 마이크로폰 경우에서, 앰비소닉에서 인코딩 경우로부터 근접 필드 효과를 위한 보상 방법이 설명된다. 그러므로, 앰비소닉 표현을 포함하는 모든 타입의 프로세싱을 구비한 근접 필드 사전 보상을 결합함으로써 근접 필드의 사전 보상이 상술된 바와 같은 가상 소스 시뮬레이션뿐 아니라, 일반적인 방법으로 수집에도 적용될 수 있다.
(수신된 음파의 회절을 발생시키기 쉬운) 강체 구의 존재에서, 상기에 주어진 관계식[A1]은 다음과 같다.
Figure 112005026326312-pct00056
구면 한켈 함수(spherical Hankel functions)
Figure 112010010118938-pct00057
의 도함수는 반사법칙을 따른다:
Figure 112005026326312-pct00058
다음의 관계식으로 주어지는 프로젝션(projection) 및 등화(equalization) 동작을 구현함으로써 구 표면의 압력 필드로부터 초기 필드의 앰비소닉 성분(Bmn σ)을 유추한다:
Figure 112005026326312-pct00059
이 예에서, EQm은 캡슐(capusle)들의 방향성과 관계된 가중 Wm을 보상하고, 그리고 상기 강체 구에 의한 회절을 포함하는 등화기 필터(equalizer filter)이다.
이 필터 EQm에 대한 표현은 다음 관계식으로 주어진다.
Figure 112005026326312-pct00060
등화 필터(equalization filter)의 계수는 안정하지 않으며, 그리고 무한 이득이 매우 저 주파수에서 수집될 수 있다. 더욱이, 사운드 필드가 평면 파의 전파 즉, 이전에 나타난 바와 같이 멀리 떨어진 소스들로부터 발생한 것들을 제한하지 않을 때, 구면 조화함수 성분들 자체의 크기는 유한이 아니라는 점을 주목해야 한다.
추가적으로, 강체 구(solid sphere)내에 내장된 캡슐들을 제공하는 대신에, 만약 다음 표현식에 의해 주어진 멀리 떨어진 방향성으로 심장형 캡슐(cardioid type capsule)들이 제공된다면:
Figure 112005026326312-pct00061
"어코스틱 투과" 지지체 상에 장착된 이러한 캡슐들을 고려함으로써, 보상될 가중 항은 다음과 같이 된다:
Figure 112005026326312-pct00062
[C6] 관계식에 의해 주어진 가중의 역 분석에 대응하는 등화 필터의 계수는 매우 낮은 주파수에 대해 발산한다.
일반적으로, 임의 타입의 센서 방향성에 대해, 상기 센서 방향성과 관련된 가중 Wm을 보상하는 필터 EQm의 이득은 저 사운드 주파수에서는 무한대이다. 도 14에서, 근접 필드 사전 보상이 다음 관계식에 의해 주어진 등화 필터 EQm에 대한 실 표현으로 적용되는 것은 유용한 것이다:
Figure 112005026326312-pct00063
따라서, S1 내지 SN의 신호는 마이크로폰(141)으로부터 회수된다. 적절하게 이러한 신호들의 사전 등화가 처리 모듈(142)에 의해 적용된다. 상기 모듈(143)은 이러한 신호들을 행렬 형태인 앰비소닉 환경으로 표현할 수 있게 한다. 상기 모듈(144)은 상기 마이크로폰(141)의 구의 반경 R의 함수로서 표현된 앰비소닉 성분들에 관계식 [C7]의 필터를 적용한다. 상기 근접 필드 보상은 제 2 거리로서 기준 거리 R을 위해 수행된다. 모듈(144)에 의해 필터링된 인코딩된 신호들은 상기 기준 거리 R/c로 표현되는 파라미터와 함께 전송될 수 있다.
따라서, 근접 필드 가상 소스의 생성, 실제 소스들로부터 발생하는 사운드 신호의 수집, 또는 (스피커의 근접 필드 효과를 보상하는) 재생에 개별적으로 관련된 다양한 실시예들에서는, 본 발명의 범위 내에서 근접 필드 보상이 앰비소닉 표현을 포함하는 처리의 모든 타입에 적용될 수 있다. 이 근접 필드 보상은 소스의 방향성 및 유용한 그것의 거리감이 고려될 수 있는 사운드 환경의 다양성에 상기 앰비소닉 표현을 적용할 수 있게 한다. 더욱이, 상기 앰비소닉 환경 내에서 (근접 또는 멀리 떨어진 필드)모든 타입의 사운드 현상의 표현 가능성은, 앰비소닉 성분들의 실제 값을 유한으로 하는 제한으로 인해 사전 보상에 의해 보증된다.
물론, 본 발명은 이러한 실시예들에만 국한되는 것은 아니며, 그것은 다른 변형들로도 확장된다.
따라서, 근접 필드 사전 보상은 근접 소스에 대해서도 멀리 떨어진 소스에 대해서와 같이 인코딩 시에 통합될 수 있다. 후자의 경우(멀리 떨어진 소스 및 평면파의 수신), 상기에 표현된 상기 거리 ρ는 상기에 제시된 필터 Hm 에 대한 표현을 실질적으로 수정하지 않고서도 무한대로 고려될 수 있을 것이다. 따라서, 지연 확산 필드(지연 반향)를 설계하는데 사용될 수 있는 보정되지 않은 신호를 일반적으로 제공하는 룸 효과 프로세서를 사용하는 프로세싱은 근접 필드 사전 보상과 함께 조합될 수 있다. 이러한 신호들은 비슷한 에너지로 고려될 수 있고, 그리고 전방향성 성분 W=B00 +1 (도 4)에 대응하는 확산 필드의 공유에 대응된다고 고려될 수 있다. 따라서, 다양한 (M차로 선택된) 구면 조화함수 성분들을 각각의 앰비소닉 성분에 대해 이득 보정을 적용함으로써 구성될 수 있고, 그리고 스피커의 근접 필드 보상이 (도 7에서 나타난 바와 같은 청각 인식의 저점으로부터 스피커를 분리하는 기준 거리 R로) 적용될 수 있다.
물론, 본 발명의 관점에서 인코딩의 원리는 단극(monopolar) 소스들(실 또는 가상) 및/또는 스피커 이외의 다른 방사 모델로 일반화될 수 있는 것이다. 특히, 발산의 임의 형상(특히 공간으로 발산되는 소스)은 기본적인 지점 소스의 연속 분산의 적분으로 표현될 수 있다.
더욱이, 재생 환경에서, 근접 필드 보상을 임의 재생 환경에 적용하는 것이 가능하다. 이러한 목적을 위해서는, (사운드가 재생되는 룸에서 실제 같은 전파를 고려하는 각각의 스피커에 대해 근접 필드 구면 조화 성분들의 재인코딩하는)전달 함수 및 디코딩을 재정의하는 재인코딩의 역위를 계산하는 것이 준비된다.
앰비소닉 성분들을 포함하는 행렬 시스템이 적용되는 디코딩 방법이 상술되었다. 변형예에서, 디코딩 처리를 위해 필요한 (메모리 관점에서) 컴퓨팅 리소스들 및 컴퓨팅 시간을 제한하는 고속 푸리에 변환(원형 또는 구형)에 의한 일반화된 처리가 준비된다.
도 9 및 도 10을 참조로 하여 전술된 바와 같이, 근접 필드 소스의 거리 ρ에 관한 기준 거리 R의 선택은 사운드 주파수의 다양한 값에 대한 이득에서의 차이를 제시한다는 것을 주목하자. 사전 보상으로 인코딩하는 방법은 각 주파수 서브 대역에 대한 이득을 양자화하고 조정하는 것을 가능하게 하는 오디오디지털 압축과 결부된다.
유용하게, 본 발명은 사운드 공간 시스템의 모든 타입에 적용되며, 특히 "가상 현실성" 타입(3차원 공간 내의 가상 현장을 통한 내비게이션, 그리고 3차원 사운드 공간을 갖는 게임들, 인터넷 네트워크상의 음성 "채팅" 타입 대화)에 적용되고, 음악을 레코딩, 믹싱(mixing), 그리고 재생하기 위한 오디오 편집 소프트웨어에 대한 인터페이스가 갖춰진 사운드장비에 적용되고, 또한 뮤지컬 또는 영화의 사운드 캡쳐를 위해서, 또는 그밖에 예컨대, 인터넷상에 사운드가 포함된 "웹캠"처럼 사운드 분위기를 전송하기 위한 3차원 마이크로폰을 기초로 한 수집에 적용된다.

Claims (22)

  1. 앰비소닉 재생 디바이스(ambisonic playback device)에 의한 재생을 위해 사운드 데이터를 처리하는 방법으로서,
    (a) 기준점으로부터 제 1 거리만큼 떨어진 곳에 위치한 소스로부터 발생하여 3차원 공간으로 전파되는 적어도 하나의 사운드를 나타내는 신호들을, 상기 기준점에 대응하는 원점의 구면 조화함수의 기수(base)로 표현된 성분들로 상기 사운드의 표현이 얻어지도록, 인코딩하는 단계와; 그리고
    (b) 상기 재생 디바이스에 의한 상기 사운드의 재생을 위해, 재생 지점과 청각 인식 지점 간의 거리를 실질적으로 정의하는 제 2 거리에 의존하는 필터링에 의해 근접 필드 효과의 보상을 상기 성분들에 적용하는 단계를 포함하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 소스를 상기 기준점으로부터 더 멀리 위치시키고,
    - 상기 구면 조화함수의 기수로 상기 사운드를 표현하기 위해 연속적인 m차의 성분들을 얻고, 그리고
    - 필터가 적용되며, 상기 필터의 계수(coefficient)들은 각각 m차의 성분에 적용되고 아울러 m 제곱 다항식의 역수 형태로 분석적으로 표현되며, 여기서 상기 다항식의 변수는 상기 재생 디바이스의 레벨에서 근접 필드 효과가 보상되도록 사운드 주파수 및 상기 제 2 거리에 반비례하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 소스는 상기 제 1 거리에서 파악되는 가상 소스이며,
    - 상기 구면 조화함수의 기수로 상기 사운드를 표현하기 위해 연속적인 m차의 성분들을 얻고, 그리고
    - 글로벌 필터가 적용되며, 상기 글로벌 필터의 계수들은 각각 m차의 성분에 적용되고 아울러 분수 형태로 분석적으로 표현되며, 상기 분수에서,
    - 분자는 m 제곱 다항식이며, 상기 다항식의 변수는 상기 가상 소스의 근접 필드 효과가 시뮬레이션되도록 사운드 주파수 및 상기 제 1 거리에 반비례하고, 그리고
    - 분모는 m 제곱 다항식이며, 상기 다항식의 변수는 낮은 사운드 주파수들에서 상기 가상 소스의 상기 근접 필드 효과가 보상되도록 상기 사운드 주파수 및 상기 제 2 거리에 반비례하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  4. 제1항에 있어서,
    상기 (a) 및 (b) 단계에서 인코딩 및 필터링된 데이터를 상기 제 2 거리를 나타내는 파라미터와 함께 상기 재생 디바이스에 전송하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  5. 제1항에 있어서,
    상기 (a) 및 (b) 단계에서 인코딩 및 필터링된 데이터를 상기 제 2 거리를 나타내는 파라미터와 함께 상기 재생 디바이스에 의해 판독될 대상인 메모리 매체에 저장하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  6. 제4항에 있어서,
    상기 청각 인식 지점으로부터 제 3 거리만큼 떨어진 곳에 배치된 복수의 스피커들을 포함하는 재생 디바이스에 의한 사운드 재생 전에, 적응 필터를 상기 인코딩 및 필터링된 데이터에 적용하고, 상기 적응 필터의 계수들은 상기 제 2 거리 및 상기 제 3 거리에 의존하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  7. 제6항에 있어서,
    상기 적응 필터의 계수들은 각각 m차의 성분에 적용되고 아울러 분수 형태로 분석적으로 표현되며, 상기 분수에서,
    - 분자는 m 제곱 다항식이며, 상기 다항식의 변수는 사운드 주파수 및 상기 제 2 거리에 반비례하고, 그리고
    - 분모는 m 제곱 다항식이며, 상기 다항식의 변수는 상기 사운드 주파수 및 상기 제 3 거리에 반비례하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  8. 제2항에 있어서,
    상기 (b) 단계를 구현하기 위해,
    - 짝수 m차의 성분들에 대하여, 2차 셀들의 캐스케이드 형태로 오디오디지털 필터들이 제공되고; 그리고,
    - 홀수 m차의 성분들에 대하여, 2차 셀들 및 추가적 1차 셀의 캐스케이드 형태로 오디오디지털 필터들이 제공되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  9. 제8항에 있어서,
    m차의 성분에 대한 오디오디지털 필터의 계수들은 상기 m 제곱 다항식의 근(roots)에 대한 수치 값으로부터 정의되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  10. 제2항에 있어서,
    상기 다항식은 베셀 다항식(Bessel ploynomials)인 것을 특징으로 하는 사운드 데이터 처리 방법.
  11. 제1항에 있어서,
    상기 3차원 공간으로 전파되는 적어도 하나의 사운드를 나타내는 신호들을 얻기 위해, 상기 기준점에 실질적으로 대응되는 중심을 갖는 구의 표면 상에 실질적으로 배열되는 어코스틱 변환기(acoustic transducer)들의 어레이(array)를 포함하는 마이크로폰이 제공되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  12. 제11항에 있어서,
    한편으로는 상기 제 2 거리의 함수로 근접 필드 효과가 보상되도록, 다른 한편으로는 상기 변환기들로부터 발생하는 신호들을 등화(equalize)하여 상기 변환기들의 방향성 가중(weighting of directivity)이 보상되도록, 상기 (b) 단계에서 글로벌 필터가 적용되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  13. 제11항에 있어서,
    상기 구면 조화함수의 기수로 상기 사운드를 표현하기 위해 선택된 성분들의 총 개수에 따라 복수의 변환기들이 제공되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  14. 제1항에 있어서,
    상기 (a) 단계에서, 성분들의 총 개수가, 재생시 사운드 재생이 정확히 이루어지며 상기 성분들의 총 개수와 함께 증가하는 치수(dimension)들을 갖는 상기 인식 지점 주위의 공간 영역이 얻어지도록, 상기 구면 조화함수의 기수로부터 선택되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  15. 제14항에 있어서,
    상기 성분들의 총 개수와 적어도 동일한 개수의 스피커를 포함하는 재생 디바이스가 제공되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  16. 제1항에 있어서,
    - 청취자로부터 선택된 거리만큼 떨어진 곳에 배치된 적어도 제 1 스피커 및 제 2 스피커를 포함하는 재생 디바이스가 제공되고,
    - 상기 청취자로부터 미리 결정된 기준 거리만큼 떨어진 곳에 위치한 음원들의 공간 위치를 인식하는 큐(que)를 상기 청취자에 대해 얻고, 그리고
    - 상기 기준 거리를 실질적으로 상기 제 2 거리로 하여 상기 (b) 단계의 보상을 적용하는 것을 특징으로 하는 사운드 데이터 처리 방법.
  17. 제4항에 있어서,
    - 청취자로부터 선택된 거리만큼 떨어진 곳에 배치된 적어도 제 1 스피커 및 제 2 스피커를 포함하는 재생 디바이스가 제공되고,
    - 상기 청취자로부터 미리 결정된 기준 거리만큼 떨어진 곳에 위치한 음원들의 공간 위치를 인식하는 큐를 상기 청취자에 대해 얻고, 그리고
    - 상기 재생 디바이스에 의한 사운드 재생 전에, 상기 제 2 거리에 의존하며 실질적으로 상기 기준 거리에 의존하는 계수들을 갖는 적응 필터가 상기 (a) 및 (b) 단계에서 인코딩 및 필터링된 데이터에 적용되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  18. 제16항에 있어서,
    - 상기 재생 디바이스는 상기 청취자의 각각의 귀를 위한 2개의 헤드폰을 구비한 헤드셋을 포함하고, 그리고
    - 각각의 헤드폰에 대해 개별적으로, 재생될 소스의 위치와 각각의 귀와의 거리를 각각 제 1 거리로 하여, 각각의 헤드폰에 제공될 각각의 신호들에 대해, 상기 (a) 및 (b) 단계의 인코딩 및 필터링이 적용되는 것을 특징으로 하는 사운드 데이터 처리 방법.
  19. 제1항에 있어서,
    상기 (a) 및 (b) 단계에서 행렬 시스템이 형성되고, 상기 행렬 시스템은 적어도,
    - 상기 구면 조화함수의 기수로 표현된 상기 성분들을 포함하는 행렬과, 그리고
    - 상기 (b) 단계의 필터링 계수들에 대응하는 계수들을 갖는 대각 행렬을 포함하며,
    상기 행렬들은 보상된 성분들의 결과 행렬이 얻어지도록 곱해지는 것을 특징으로 하는 사운드 데이터 처리 방법.
  20. 제19항에 있어서,
    - 상기 재생 디바이스는 상기 청각 인식 지점으로부터 동일한 거리만큼 실질적으로 떨어진 곳에 배치된 복수의 스피커들을 포함하고, 그리고
    - 상기 (a) 및 (b) 단계에서 상기 인코딩 및 필터링된 데이터를 디코딩하여 상기 스피커들에 제공하기에 적합한 신호들을 형성하기 위해,
    - 상기 재생 디바이스에 특정된 소정의 디코딩 행렬 및 상기 결과 행렬을 포함하는 행렬 시스템이 형성되고,
    - 상기 보상된 성분들의 행렬에 상기 디코딩 행렬을 곱함으로써, 스피커 제공 신호들을 나타내는 계수들을 포함하는 행렬이 얻어지는 것을 특징으로 하는 사운드 데이터 처리 방법.
  21. 사운드 수집 장치로서,
    구의 표면 상에 실질적으로 배치되는 어코스틱 변환기들의 어레이를 구비한 마이크로폰과; 그리고
    프로세싱 유닛을 포함하여 구성되고,
    상기 프로세싱 유닛은,
    - 변환기로부터 발산되는 각각의 신호들을 수신하고,
    - 상기 구의 중심에 대응하는 원점의 구면 조화함수의 기수로 표현된 성분들로 사운드의 앰비소닉 표현이 얻어지도록 상기 신호들을 인코딩하고, 그리고
    - 한편으로는 상기 구의 반경에 대응하는 거리에 의존하고, 다른 한편으로는 기준 거리에 의존하는 필터링을 상기 성분들에 적용하도록 된 것을 특징으로 하는 사운드 수집 장치.
  22. 제21항에 있어서,
    상기 필터링은, 한편으로는 상기 변환기들의 방향성 가중이 보상되도록 상기 구의 반경에 따라 상기 변환기들로부터 발생하는 신호들을 등화시키는 것과, 그리고 다른 한편으로는 사운드의 재생을 위해서 재생 지점과 청각 인식 지점 간의 거리를 실질적으로 정의하는 선택된 기준 거리의 함수로서 근접 필드 효과를 보상하는 것을 포함하는 것을 특징으로 하는 사운드 수집 장치.
KR1020057009105A 2002-11-19 2003-11-13 오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치 KR100964353B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0214444A FR2847376B1 (fr) 2002-11-19 2002-11-19 Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
FR02/14444 2002-11-19

Publications (2)

Publication Number Publication Date
KR20050083928A KR20050083928A (ko) 2005-08-26
KR100964353B1 true KR100964353B1 (ko) 2010-06-17

Family

ID=32187712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057009105A KR100964353B1 (ko) 2002-11-19 2003-11-13 오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치

Country Status (13)

Country Link
US (1) US7706543B2 (ko)
EP (1) EP1563485B1 (ko)
JP (1) JP4343845B2 (ko)
KR (1) KR100964353B1 (ko)
CN (1) CN1735922B (ko)
AT (1) ATE322065T1 (ko)
AU (1) AU2003290190A1 (ko)
BR (1) BRPI0316718B1 (ko)
DE (1) DE60304358T2 (ko)
ES (1) ES2261994T3 (ko)
FR (1) FR2847376B1 (ko)
WO (1) WO2004049299A1 (ko)
ZA (1) ZA200503969B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319785B2 (en) 2011-12-09 2016-04-19 Hyundai Motor Company Technique for localizing sound source
KR20160074501A (ko) * 2013-10-23 2016-06-28 톰슨 라이센싱 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR20190140022A (ko) * 2017-07-12 2019-12-18 구글 엘엘씨 방향성 분해 및 경로 거리 추정을 사용한 앰비소닉스 음장 네비게이션
KR102059486B1 (ko) 2012-03-28 2019-12-26 돌비 인터네셔널 에이비 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10328335B4 (de) * 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
US20050271216A1 (en) * 2004-06-04 2005-12-08 Khosrow Lashkari Method and apparatus for loudspeaker equalization
EP1938661B1 (en) * 2005-09-13 2014-04-02 Dts Llc System and method for audio processing
WO2007104877A1 (fr) * 2006-03-13 2007-09-20 France Telecom Synthese et spatialisation sonores conjointes
FR2899424A1 (fr) * 2006-03-28 2007-10-05 France Telecom Procede de synthese binaurale prenant en compte un effet de salle
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
ES2359752T3 (es) * 2006-09-25 2011-05-26 Dolby Laboratories Licensing Corporation Resolución espacial mejorada del campo sonoro para sistemas de reproducción de audio multicanal mediante derivación de señales con términos angulares de orden superior.
DE102006053919A1 (de) * 2006-10-11 2008-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
JP2008118559A (ja) * 2006-11-07 2008-05-22 Advanced Telecommunication Research Institute International ３次元音場再生装置
JP4873316B2 (ja) * 2007-03-09 2012-02-08 株式会社国際電気通信基礎技術研究所 音響空間共有装置
EP2094032A1 (en) * 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
US20110002469A1 (en) * 2008-03-03 2011-01-06 Nokia Corporation Apparatus for Capturing and Rendering a Plurality of Audio Channels
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams
ES2425814T3 (es) 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
GB0815362D0 (en) 2008-08-22 2008-10-01 Queen Mary & Westfield College Music collection navigation
US8819554B2 (en) * 2008-12-23 2014-08-26 At&T Intellectual Property I, L.P. System and method for playing media
EP2205007B1 (en) 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
GB2478834B (en) 2009-02-04 2012-03-07 Richard Furse Sound system
CN102318373B (zh) * 2009-03-26 2014-09-10 松下电器产业株式会社 解码装置、编解码装置及解码方法
CN102687536B (zh) * 2009-10-05 2017-03-08 哈曼国际工业有限公司 用于音频信号的空间提取的系统
KR20240009530A (ko) * 2010-03-26 2024-01-22 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
JP5672741B2 (ja) * 2010-03-31 2015-02-18 ソニー株式会社 信号処理装置および方法、並びにプログラム
US20110317522A1 (en) * 2010-06-28 2011-12-29 Microsoft Corporation Sound source localization based on reflections and room estimation
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
US9055371B2 (en) 2010-11-19 2015-06-09 Nokia Technologies Oy Controllable playback system offering hierarchical playback options
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
WO2013068402A1 (en) * 2011-11-10 2013-05-16 Sonicemotion Ag Method for practical implementations of sound field reproduction based on surface integrals in three dimensions
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
KR102068186B1 (ko) 2012-02-29 2020-02-11 어플라이드 머티어리얼스, 인코포레이티드 로드 록 구성의 저감 및 스트립 프로세스 챔버
WO2013150341A1 (en) 2012-04-05 2013-10-10 Nokia Corporation Flexible spatial audio capture apparatus
US9288603B2 (en) 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
US9473870B2 (en) 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) * 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
CN107454511B (zh) 2012-08-31 2024-04-05 杜比实验室特许公司 用于使声音从观看屏幕或显示表面反射的扬声器
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US10203839B2 (en) * 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9736609B2 (en) 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
US9959875B2 (en) * 2013-03-01 2018-05-01 Qualcomm Incorporated Specifying spherical harmonic and/or higher order ambisonics coefficients in bitstreams
US10635383B2 (en) 2013-04-04 2020-04-28 Nokia Technologies Oy Visual audio processing apparatus
EP2997573A4 (en) 2013-05-17 2017-01-18 Nokia Technologies OY Spatial object oriented audio apparatus
US9420393B2 (en) * 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
US20140358565A1 (en) 2013-05-29 2014-12-04 Qualcomm Incorporated Compression of decomposed representations of a sound field
EP2824661A1 (en) * 2013-07-11 2015-01-14 Thomson Licensing Method and Apparatus for generating from a coefficient domain representation of HOA signals a mixed spatial/coefficient domain representation of said HOA signals
DE102013013378A1 (de) * 2013-08-10 2015-02-12 Advanced Acoustic Sf Gmbh Aufteilung virtueller Schallquellen
US9807538B2 (en) 2013-10-07 2017-10-31 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
EP2930958A1 (en) * 2014-04-07 2015-10-14 Harman Becker Automotive Systems GmbH Sound wave field generation
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
JP6388551B2 (ja) * 2015-02-27 2018-09-12 アルパイン株式会社 複数領域音場再現システムおよび方法
DE102015008000A1 (de) * 2015-06-24 2016-12-29 Saalakustik.De Gmbh Verfahren zur Schallwiedergabe in Reflexionsumgebungen, insbesondere in Hörräumen
EP3402221B1 (en) * 2016-01-08 2020-04-08 Sony Corporation Audio processing device and method, and program
CN108476365B (zh) * 2016-01-08 2021-02-05 索尼公司 音频处理装置和方法以及存储介质
EP3402223B1 (en) 2016-01-08 2020-10-07 Sony Corporation Audio processing device and method, and program
EP4376444A2 (en) 2016-08-01 2024-05-29 Magic Leap, Inc. Mixed reality system with spatialized audio
US11032663B2 (en) * 2016-09-29 2021-06-08 The Trustees Of Princeton University System and method for virtual navigation of sound fields through interpolation of signals from an array of microphone assemblies
US20180124540A1 (en) * 2016-10-31 2018-05-03 Google Llc Projection-based audio coding
FR3060830A1 (fr) * 2016-12-21 2018-06-22 Orange Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne
US10764684B1 (en) * 2017-09-29 2020-09-01 Katherine A. Franco Binaural audio using an arbitrarily shaped microphone array
US10721559B2 (en) 2018-02-09 2020-07-21 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for audio sound field capture
US11875089B2 (en) * 2018-03-02 2024-01-16 Sonitor Technologies As Acoustic positioning transmitter and receiver system and method
US10771913B2 (en) 2018-05-11 2020-09-08 Dts, Inc. Determining sound locations in multi-channel audio
CN110740404B (zh) * 2019-09-27 2020-12-25 广州励丰文化科技股份有限公司 一种音频相关性的处理方法及音频处理装置
CN110740416B (zh) * 2019-09-27 2021-04-06 广州励丰文化科技股份有限公司 一种音频信号处理方法及装置
EP4085660A4 (en) 2019-12-30 2024-05-22 Comhear Inc. METHOD FOR PROVIDING A SPATIAL SOUND FIELD
CN111537058B (zh) * 2020-04-16 2022-04-29 哈尔滨工程大学 一种基于Helmholtz方程最小二乘法的声场分离方法
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
CN113791385A (zh) * 2021-09-15 2021-12-14 张维翔 一种三维定位方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53114201U (ko) * 1977-02-18 1978-09-11
US4731848A (en) * 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
JP2569872B2 (ja) * 1990-03-02 1997-01-08 ヤマハ株式会社 音場制御装置
JP3578783B2 (ja) * 1993-09-24 2004-10-20 ヤマハ株式会社 電子楽器の音像定位装置
US5745584A (en) * 1993-12-14 1998-04-28 Taylor Group Of Companies, Inc. Sound bubble structures for sound reproducing arrays
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
US7340062B2 (en) * 2000-03-14 2008-03-04 Revit Lawrence J Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids
CA2406926A1 (en) * 2000-04-19 2001-11-01 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Synthesis of 3D Virtual Auditory Space Via a Spatial Feature Extraction and Regularization Model, Jiashu Chen, Proceedings of the Virtual Reality Annual International Symposium (1993.09.18.)*

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319785B2 (en) 2011-12-09 2016-04-19 Hyundai Motor Company Technique for localizing sound source
KR102059486B1 (ko) 2012-03-28 2019-12-26 돌비 인터네셔널 에이비 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR20210009448A (ko) * 2012-03-28 2021-01-26 돌비 인터네셔널 에이비 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR102481338B1 (ko) 2012-03-28 2022-12-27 돌비 인터네셔널 에이비 고차 앰비소닉 오디오 신호로부터 스테레오 라우드스피커 신호를 디코딩하기 위한 방법 및 장치
KR20160074501A (ko) * 2013-10-23 2016-06-28 톰슨 라이센싱 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR102235398B1 (ko) 2013-10-23 2021-04-02 돌비 인터네셔널 에이비 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR20210037747A (ko) * 2013-10-23 2021-04-06 돌비 인터네셔널 에이비 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR102491042B1 (ko) 2013-10-23 2023-01-26 돌비 인터네셔널 에이비 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR20230018528A (ko) * 2013-10-23 2023-02-07 돌비 인터네셔널 에이비 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR102629324B1 (ko) 2013-10-23 2024-01-29 돌비 인터네셔널 에이비 2d 셋업들을 이용하는 오디오 재생을 위해 앰비소닉스 오디오 음장 표현을 디코딩하기 위한 방법 및 장치
KR20190140022A (ko) * 2017-07-12 2019-12-18 구글 엘엘씨 방향성 분해 및 경로 거리 추정을 사용한 앰비소닉스 음장 네비게이션
KR102311004B1 (ko) * 2017-07-12 2021-10-07 구글 엘엘씨 방향성 분해 및 경로 거리 추정을 사용한 앰비소닉스 음장 네비게이션

Also Published As

Publication number Publication date
BR0316718A (pt) 2005-10-18
US7706543B2 (en) 2010-04-27
US20060045275A1 (en) 2006-03-02
FR2847376B1 (fr) 2005-02-04
JP2006506918A (ja) 2006-02-23
BRPI0316718B1 (pt) 2021-11-23
FR2847376A1 (fr) 2004-05-21
ATE322065T1 (de) 2006-04-15
EP1563485B1 (fr) 2006-03-29
EP1563485A1 (fr) 2005-08-17
AU2003290190A1 (en) 2004-06-18
DE60304358D1 (de) 2006-05-18
CN1735922B (zh) 2010-05-12
ES2261994T3 (es) 2006-11-16
KR20050083928A (ko) 2005-08-26
CN1735922A (zh) 2006-02-15
DE60304358T2 (de) 2006-12-07
JP4343845B2 (ja) 2009-10-14
WO2004049299A1 (fr) 2004-06-10
ZA200503969B (en) 2006-09-27

Similar Documents

Publication Publication Date Title
KR100964353B1 (ko) 오디오 데이터를 처리하기 위한 방법 및 이에 따른 사운드수집 장치
US11184727B2 (en) Audio signal processing method and device
US7489788B2 (en) Recording a three dimensional auditory scene and reproducing it for the individual listener
KR101547035B1 (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
US9215544B2 (en) Optimization of binaural sound spatialization based on multichannel encoding
CN109906616A (zh) 用于确定一或多个音频源的一或多个音频表示的方法、系统和设备
RU2740703C1 (ru) Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием многослойного описания
Farina et al. Ambiophonic principles for the recording and reproduction of surround sound for music
Noisternig et al. Reconstructing sound source directivity in virtual acoustic environments
Sakamoto et al. Sound-space recording and binaural presentation system based on a 252-channel microphone array
Tylka et al. Performance of linear extrapolation methods for virtual sound field navigation
JP5611970B2 (ja) オーディオ信号を変換するためのコンバータ及び方法
Rafaely et al. Spatial audio signal processing for binaural reproduction of recorded acoustic scenes–review and challenges
GB2605970A (en) Content based spatial remixing
Otani et al. Binaural Ambisonics: Its optimization and applications for auralization
Ifergan et al. On the selection of the number of beamformers in beamforming-based binaural reproduction
Guthrie Stage acoustics for musicians: A multidimensional approach using 3D ambisonic technology
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
San Martín et al. Influence of recording technology on the determination of binaural psychoacoustic indicators in soundscape investigations
Zea Binaural In-Ear Monitoring of acoustic instruments in live music performance
Hamdan et al. Weighted orthogonal vector rejection method for loudspeaker-based binaural audio reproduction
WO2018066376A1 (ja) 信号処理装置および方法、並びにプログラム
JP7493411B2 (ja) バイノーラル再生装置およびプログラム
Paulo et al. Perceptual Comparative Tests Between the Multichannel 3D Capturing Systems Artificial Ears and the Ambisonic Concept
Schulze-Forster The B-Format–Recording, Auralization, and Absorption Measurements

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140602

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150608

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180601

Year of fee payment: 9