KR20090121348A - 오디오 재생 개선을 위한 방법 및 장치 - Google Patents

오디오 재생 개선을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20090121348A
KR20090121348A KR1020097019538A KR20097019538A KR20090121348A KR 20090121348 A KR20090121348 A KR 20090121348A KR 1020097019538 A KR1020097019538 A KR 1020097019538A KR 20097019538 A KR20097019538 A KR 20097019538A KR 20090121348 A KR20090121348 A KR 20090121348A
Authority
KR
South Korea
Prior art keywords
audio channel
audio
source
origin
signal
Prior art date
Application number
KR1020097019538A
Other languages
English (en)
Other versions
KR101096072B1 (ko
Inventor
빌레 퓰키
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20090121348A publication Critical patent/KR20090121348A/ko
Application granted granted Critical
Publication of KR101096072B1 publication Critical patent/KR101096072B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Abstract

적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호는 재생되는 오디오 신호를 끌어내기 위하여 재생된다. 레코딩 위치에 대한 근원의 원하는 방향이 선택된다. 오디오 채널 부분은 재생되는 오디오 신호의 재생되는 부분을 끌어내기 위하여 변경되는데, 상기 변경은 근원의 원하는 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가시키는 것을 포함한다.
오디오 재생, 오디오 채널, 레코딩 위치, 방향성 파라미터, 변경

Description

오디오 재생 개선을 위한 방법 및 장치{METHOD AND APPARATUS FOR ENHANCEMENT OF AUDIO RECONSTRUCTION}
본 발명은 재생되는 오디오 신호의 발생 방향의 감지를 개선하는 기술에 관한 것이다. 특히, 본 발명은 다른 방향으로부터 오는 오디오 신호에 대하여 오디오 소스(source)의 선택가능한 방향이 강조되거나 혹은 중시될 수 있도록 기록된 오디오 신호의 재생을 위한 장치 및 방법을 제안한다.
일반적으로, 다중 채널 재생 및 청취에 있어서, 청취자는 다수의 확성기(loudspeaker)에 둘러싸인다. 특정 셋업(set-up)을 위한 오디오 신호를 획득하기 위하여 여러 방법이 존재한다. 재생에 있어서의 하나의 일반적인 목표는 최초로 기록되는 신호의 공간 구성, 즉 오케스트라 내의 트럼펫의 위치와 같이 각각의 오디오 소스의 근원(origin)을 재생하는 것이다. 몇몇의 확성기 셋업은 상당히 흔하며 서로 다른 공간의 효과를 일으킬 수 있다. 특별한 후반 작업(post-production) 기술의 사용 없이, 일반적으로 알려진 두 채널 스테레오 셋업만이 두 개의 확성기 사이의 선 상에서 청각 이벤트(auditory event)를 재생할 수 있다. 이것은 주로 이른 바 "진폭-패닝(amplitude-panning)"에 이해 달성되는데, 하나의 오디오 소스에 관한 신호의 진폭은 확성기에 대한 오디오 소스의 위치에 따라 두 개의 확성기 사이에 분포한다. 이것은 보통 레코딩 혹은 그 다음의 믹싱(mixing) 동안에 일어난다. 즉, 청취 위치에 대하여 맨 왼쪽으로부터 오는 오디오 소스는 주로 왼쪽 확성기에 의해 재생될 것이며, 반면에 청취 위치의 정면에서의 오디오 소스는 양쪽의 확성기에 의해 동일한 진폭(레벨)으로 재생될 것이다. 그러나, 다른 방향으로부터 나오는 사운드는 재생될 수 없다.
그 결과, 청취자 주위에 위치한 더 많은 확성기를 사용함으로써, 더 많은 방향들을 포함할 수 있으며 더 자연적인 공간의 효과를 생산할 수 있다. 아마도 가장 잘 알려진 다중 채널 확성기 레이아웃(layout)는 5.1 스탠다드(ITU-R775-1)인데, 이는 5개의 확성기를 포함하며, 이들의 청취 위치에 대한 방위각은 0°, ±30°, ±110°로 미리 계산된다. 이는 신호를 레코딩하거나 혹은 믹싱하는 동안에 스탠다드로부터의 재생 셋업의 특정 확성기의 배치(configuration) 및 편향(deviation)이 재생 품질(quality)의 감소를 가져올 것이라는 것을 의미한다.
서로 다른 방향에 위치한 많은 수의 확성기를 갖는 다른 많은 시스템들이 제안되었다. 특히 극장 혹은 음향 설비장(sound installation)과 같은 전문적이고 특별한 시스템 또한 서로 다른 높이의 확성기를 포함한다.
서로 다른 재생 셋업에 따라, 이전에 언급된 확성기 시스템에 대한 몇몇의 레코딩 방법들이 이전에 언급된 확성기 시스템에 대하여 디자인되고 제안되었는데, 이는 청취 상황에서의 공간 효과를 레코딩 환경에서 감지하도록 기록하고 재생하기 위함이다. 선택된 다중채널 확성기에 대한 공간적 사운드를 레코딩하는 이론적으로 가장 이상적인 방법은 확성기 수와 똑같은 수의 마이크로폰(microphone)이 사용되는 것이다. 그러한 경우에 있어서, 마이크로폰의 방향성 패턴은 또한 확성기 레이아웃과 일치하여야 하며, 따라서 어떠한 단일 방향으로부터의 사운드만이 적은 수의 마이크로폰(1, 2, 혹은 그 이상)을 갖고 레코드된다. 각각의 마이크로폰은 특정 확성기와 관련된다. 많은 확성기가 사용되어 질수록, 마이크로폰의 방향성 패턴은 좁아져야만 한다. 그러나, 좁은(narrow) 방향성의 마이크로폰은 덜 비싸며 전형적으로 논플랫(non-flat) 주파수 반응을 가지며, 바람직스럽지 않은 방법으로 기록되는 사운드의 질을 떨어뜨린다. 더욱이, 다중 채널 재생에 대한 입력으로서 너무 넓은 방향성 패턴을 갖는 수 개의 마이크로폰을 사용하는 것은, 단일 방향으로부터 오는 사운드가 항상 필요한 것보다 더 많은 확성기로 재생될 수 있는데, 왜냐하면 그것은 다른 확성기와 관련된 마이크로폰으로 재생될 수 있기 때문이라는 사실 때문에 편향되고 흐릿한 청각의 지각을 야기하기 때문이다. 일반적으로, 널리 이용할 수 있는 마이크로폰은 두 채널 레코딩 및 재생에 가장 적합한데, 즉, 이것들은 주위의 공간 효과의 재생 목적 없이 디자인된다.
마이크로폰 디자인의 관점에서, 공간적인 오디오 재생에서의 요구에 대한 마 이크로폰의 방향성 패턴을 개조하기 위하여 몇몇의 접근법이 논의되었다. 일반적으로, 모든 마이크로폰은 사운드가 마이크로폰에 도달하는 방향에 따라 다르게 사운드를 획득한다. 즉, 마이크로폰은 기록되는 사운드의 도달 방향에 따라 서로 다른 민감도를 갖는다. 몇몇 마이크로폰에서는 사운드의 방향을 거의 독립적으로 획득하기 때문에 이러한 효과는 중요하지 않다. 이러한 마이크로폰은 일반적으로 전방향성의(omnidirectional) 마이크로폰으로 불린다. 전형적인 마이크로폰 디자인에 있어서, 원형의 진동판이 작은 밀폐된 인클로져(enclosure)에 부착된다. 만약에 진동판이 인클로져에 부착되지 않고 사운드가 각각의 위치로부터 균등하게 도달하면, 그것의 방향성 패턴은 두 개의 로브(lobe)를 갖는다. 즉, 그러한 마이크로폰은 진동판의 정면과 후면으로부터 동등한 민감도를 갖는, 그러나 반대의 극성을 갖는 사운드를 획득한다. 그러한 마이크로폰은 진동판의 면과 일치하는 방향, 즉 최대 민감도의 방향에 수직으로부터 오는 사운드를 획득할 수 없다. 그러한 방향성 패턴을 이중극(dipole) 혹은 팔자형(figure-of-eight)라고 부른다.
전방향성의 마이크로폰은 또한 방향성 마이크로폰으로 변경될 수 있는데, 마이크로폰에 대하여 밀폐되지 않은 인클로져를 사용한다. 인클로져는 특히 사운드 웨이브가 인클로져를 통하여 진동판에 도달하도록 하는데, 상기 전달하는 몇몇의 방향성은 그러한 마이크로폰의 방향성 패턴이 전방향성 및 이중극 사이에서의 패턴이 되도록 우선된다. 그러한 패턴은, 예를 들면 두 개의 로브를 갖는다. 일반적으로 알려진 몇몇의 마이크로폰은 단지 하나의 로브를 갖는 패턴을 갖는다. 가장 중 요한 예는 심장형(cardioid) 패턴으로서, 방향성 함수 D는 D = 1 + cos(θ)로 표현될 수 있는데, θ는 사운드가 도달하는 방향을 나타낸다. 따라서 방향성 함수는 방향에 따라 들어오는 사운드 진폭의 분획(fraction)을 정량화한다.
이전에 논의되었던 전방향의 패턴은 또한 0 차(zeroth-order) 패턴이라고도 불리며 이전에 언급된 다른 패턴들(이중극 혹은 심장형)은 1차(first-order) 패턴이라고 불린다. 이전에 언급된 모든 마이크로폰 디자인은 임의의 형상을 허용하지 않는데, 왜냐하면 그들의 방향성 패턴은 전적으로 그들의 기계적 구성에 의해 결정되기 때문이다.
부분적으로 이러한 문제를 극복하기 위하여, 몇 가지 특별한 음향 구조가 디자인되었는데, 1차 마이크로폰의 그것들보다는 좁은 방향성 패턴을 생성하기 위하여 사용될 수 있도록 디자인되었다. 예를 들면, 내부에 홀(hole)을 갖는 튜브(tube)가 전방향성의 마이크로폰에 부착되면, 좁은 방향성을 갖는 마이크로폰이 생성된다. 이러한 마이크로폰은 샷건(shotgun) 혹은 라이플(rifle) 마이크로폰으로 불린다. 그러나, 그것들은 대체로 플랫(flat) 주파수 반응을 갖지 않는데, 즉 방향성 패턴은 기록되는 사운드의 질을 희생하여 좁아진다. 더욱이, 방향성 패턴은 기하학적 구성에 의해 미리 결정되며, 따라서 그러한 마이크로폰과 함께 수행된 레코딩의 방향성 패턴은 레코딩 후에 제어될 수 없다.
그러므로, 실질적인 레코딩 후에 방향성 패턴을 변경하기 위하여 다른 방법들이 제안되었다. 일반적으로, 이는 전방향성 혹은 방향성 마이크로폰의 어레이(array)를 갖는 레코딩 사운드의 기초적인 생각과 나중에 신호 진행을 적응시키는 것에 의존한다. 그와 같은 여러 가지 기술들이 최근에 제안되었다. 상당히 간단한 예로는 두 개의 전방향성 마이크로폰을 갖는 사운드를 기록하는 것인데, 이는 서로 가깝게 위치하여 두 신호를 각각으로부터 감산하는 것이다. 이는 이중극과 같은 방향성 패턴을 갖는 실질적인 마이크로폰 신호를 생성한다.
기타, 마이크로폰이 신호하는 더욱 정교한 구성들이 그들이 합쳐지기 전에 늦춰지고 여과하여 제거될 수 있다. 빔(beam) 형성, 또한 무선 랜(LAN)으로부터 알려진 기술을 사용하여, 좁은 빔에 해당하는 신호는 특별히 디자인된 필터를 갖는 각각의 마이크로폰 신호를 여과하고 여과 후에 신호를 합침으로써 형성된다. 그러나, 이러한 기술은 신호 자체는 알아볼 수 없는데, 즉 사운드가 도달하는 방향을 알아내지 못한다. 따라서, 미리 결정된 방향성 패턴이 한정되어야만 하는데, 이는 미리 결정된 방향에 있어서 사운드 소스의 실질적 존재와는 독립적이다. 일반적으로 사운드의 "도달하는 방향성"의 계산이 자체의 과제이다.
일반적으로 서로 다른 많은 공간적 방향성의 특징들이 위의 기술들로 형성될 수 있다. 그러나, 임의의 공간적으로 선택된 민감도 패턴을 형성하는 것(즉, 좁은 방향성 패턴을 형성하는 것)은 많은 수의 마이크로폰을 요구한다.
다중 채널 레코딩을 생성하는 다른 방법은 마이크로폰을 각각의 사운드 소스에 근접하게 위치시키고 최종 믹스에서 클로즈업(close-up)된 마이크로폰 신호의 레벨을 제어함으로써 공간적인 효과를 기록하고 재생하는 것이다. 그러나, 그러한 시스템은 최종 다운믹스(down-mix)를 생성하는데 있어서 많은 수의 마이크로폰 및 많은 유저(user)의 상호작용을 필요로 한다.
위의 문제점을 극복하기 위한 방법이 최근에 제안되어 방향성 오디오 코딩(DirAC)이라 불리는데, 이는 서로 다른 마이크로폰 시스템과 함께 사용되며 임의의 확성기 셋업을 갖는 재생을 위한 사운드를 기록할 수 있다. DirAC의 목적은 임의의 기하학적 셋업을 갖는 다중 채널 확성기 시스템을 사용하여 가능한 한 정밀하게 현존하는 음향 환경의 공간적 효과를 재생하는 것이다. 레코딩 환경 내에서, 환경의 반응(지속적으로 기록되는 사운드 혹은 임펄스 응답일 수 있는)은 전방향성의 마이크로폰(W) 및 사운드가 도달하는 방향 및 사운드의 확산(diffuseness)을 측정하도록 하는 마이크로폰 셋으로 측정된다. 이하의 단락 및 애플리케이션 내에서, "확산"이라는 용어는 사운드의 비방향성(non-directivity)을 위한 척도로 사용된다. 즉, 모든 방향으로부터 동등한 강도를 갖는 청취 혹은 레코딩 위치에 도달하는 사운드가 최대의 확산이다. 확산을 정량화하는 일반적인 방법은 간격[0, …, 1]으로부터 확산 값을 사용하는 것인데, 상기 값 1은 최대 확산 사운드를 표시하고 값 0은 완전한 방향성의 사운드, 즉 명확하게 구분되는 오직 하나의 방향으로부터 도달 하는 사운드를 표시한다. 일반적으로 알려진 사운드가 도달하는 방향을 측정하는 방법중의 하나는 축 직교 좌표(Cartesian coordinate axes)와 일치하는 3개의 팔자형 마이크로폰(XYZ)을 적용하는 것이다. 이른바 "음장(Sound Field) 마이크로폰"이라 불리는 특정 마이크로폰이 디자인되었는데, 이는 모든 희망하는 반응을 직접 산출한다. 그러나 위에서 언급하였듯이, ㅉ, X, Y 및 Z 신호는 또한 개별의 전방향성 마이크로폰 셋으로부터 컴퓨터로 계산될 수 있다.
DirAC 분석에 있어서, 기록된 사운드 신호는 주파수 채널로 분할되는데, 이는 인간 청각의 지각의 주파수 선택과 일치한다. 즉, 예를 들면, 신호는 신호를 다수의 주파수 채널로 분할하기 위하여 필터 뱅크(filter bank) 혹은 푸리에 변환(Fourier-transform)에 의해 처리되는데, 이는 인간 청력의 주파수 선택에 적응하는 대역폭(bandwidth)을 갖는다. 그리고 나서, 주파수 대역 신호는 사운드 근원(origin)의 방향 및 미리 결정된 시간 해상도(time resolution)를 갖는 각각의 주파수 채널에 대한 확산 값을 결정하기 위하여 분석된다. 이러한 시간 해상도는 고정될 필요가 없으며, 물론 레코딩 환경에 적용될 수 있다. DirAC에 있어서, 하나 혹은 그 이상의 오디오 채널은 분석된 방향 및 확산 데이터로 기록되고 전송된다.
합성 혹은 디코딩(decoding)에 있어서, 최종적으로 확성기에 적용된 오디오 채널은 전방향성의 채널 W(사용되는 마이크로폰의 전방향성 패턴에 기인한 고 음질로 기록된)를 기반으로 할 수 있거나, 혹은 각각의 확성기에 대한 사운드는 W, X, Y 및 Z의 가중치 합으로 계산될 수 있는데, 이로써 각각의 확성기에 대한 특정 방향성의 특징을 갖는 신호를 형성한다. 인코딩(encoding)에 상응하여, 각각의 오디오 채널은 주파수 채널로 분할되는데, 이들은 나아가 분석된 확산도에 따라 선택적으로 확산 및 비확산(non-diffuse) 스트림(stream)으로 분할된다. 만약 확산도가 높게 측정되면, 확산 스트림은 바이노럴 큐 코딩(Binaural Cue Coding)에서도 사용되는 데코릴레이션(decorrelation) 기술과 같은 사운드의 확산 감지를 생산하는 기술을 사용함으로써 재생될 수 있다. 비확산 사운드는 포인트 같은(point-like) 실제의 오디오 소스를 생산하는 것을 목적으로 하는 기술을 사용하여 재생되는데, 오디오 소스는 DirAC 신호의 발생과 같은 분석에서 확인된 방향성 데이터에 의해 나타나는 방향에 위치한다. 즉, 공간적 재생은 종래의 기술에서와 같이 하나의 특정한 "이상적인(ideal)" 확성기 셋업에 의해 만들어지는 것이 아니다. 이것은 사운드의 근원이 레코딩에 사용되는 마이크로폰 상의 방향성 패턴에 대한 정보를 사용하여 방향성 파라미터로 결정되는 특별한 경우이다. 이전에 언급하였듯이, 3차원 공간의 사운드의 근원은 주파수 선택 방법으로 파라미터화된다. 그와 같이, 방향성 효과는 확성기 셋업의 기하학을 알고 있는 한 임의의 확성기 셋업을 위한 고 품질로 재생될 수 있다. 그러므로 DirAC는 특별한 확성기 기하학에 한정되는 것이 아니라 더욱 탄력적인 공간적 재생을 허용한다.
다중 채널 오디오 레코딩을 재생하고 뒤의 다중 채널 재생을 위한 적절한 신호를 기록하기 위하여 많은 기술들이 개발되었지만, 선행 기술들은 예를 들면 하나 의 원하는 뚜렷한 방향으로부터의 신호의 이해도가 개선될 수 있는 것과 같은, 오디오 신호의 근원의 방향이 재생 동안에 강조될 수 있도록 미리 기록된 신호에 영향을 끼치지 못한다.
본 발명의 한 실시 예에 따르면, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분(portion)의 근원의 방향을 나타내는 관련 방향성 파라미터는 하나 혹은 많은 수의 뚜렷한 방향으로부터 오는 신호의 감지를 개선하는 것을 허용하도록 재생될 수 있다.
즉, 재생에 있어서, 레코딩 위치에 대한 근원의 원하는 방향이 선택될 수 있다. 재생된 오디오 신호의 재생되는 부분을 끌어내는 동안에, 오디오 채널 부분은, 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도는 근원의 원하는 방향으로부터 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 다른 오디오 채널 부분에 대하여 증가되는 것과 같이 변형된다. 오디오 채널 부분의 근원의 방향성 혹은 다중 채널 신호는 레코딩 동안에 선택된 방향에 위치한 오디오 객체(object)의 더 나은 감지를 허용하기 위하여 강조될 수 있다.
본 발명의 그 다음의 실시 예에 따르면, 유저는 선택된 방향과 관련된, 오디오 채널 혹은 다중 오디오 채널 부분과 같이 어떠한 방향 혹은 방향성이 강조되어야 하는가를 선택할 수 있는데, 즉, 그것들의 강도 혹은 진폭은 나머지 부분과 관련하여 증가된다. 실시 예에 따르면, 특정 방향으로부터 오는 사운드의 강조나 감쇄(attenuation)는 방향성 파라미터를 실행하지 않는 시스템보다는 더 예리한 공간 해상도로 실행할 수 있다. 본 발명의 그 다음의 실시 예에 따르면, 보통의 마이크로폰으로는 실행되지 않는 임의의 공간적 가중치 함수(weighting function)가 명시된다. 더욱이, 가중치 함수는 시계열적(time variant) 혹은 주파수 변종(frequency variant)일 수 있기 때문에, 본 발명의 그 다음의 실시 예는 높은 유연성(flexibility)으로 사용된다. 더욱이, 가중치 함수는 하드웨어 교환(예를 들면 마이크로폰) 대신에 시스템 내로 로드(load)되기 때문에 실행하고 업데이트 하기가 매우 쉽다.
본 발명의 그 다음의 실시 예에 따르면, 오디오 채널 부분의 확산도를 나타내는 관련 확산 파라미터를 갖는 오디오 신호는 높은 확산도를 갖는 오디오 채널 부분의 강도가 관련된 낮은 확산도를 갖는 다른 오디오 채널 부분과 관련하여 감소되도록 재생된다.
따라서, 오디오 신호를 재생하는데 있어서, 각각의 오디오 신호 부분의 확산도는 재생된 신호의 방향성 감지를 더 증가하도록 계정될 수 있다. 이는 부가적으로, 오디오 소스의 더 나은 재분포를 위하여 확산도 정보를 사용하기보다는 신호의 전체적인 확산도를 증가시키기 위하여 확산 사운드 부분만을 사용하는 기술에 대한 오디오 소스의 재분포를 증가시킬 수 있다. 본 발명은 또한 반대로 주위(ambient) 신호와 같은 확산 근원이 되는 기록된 사운드 부분을 강조하도록 허용한다는 것을 유념하여야 한다.
그 다음의 실시 예에 따르면, 적어도 하나의 오디오 채널이 다수의 오디오 채널에 최대 혼합(up-mixed)된다. 다수의 오디오 채널은 재생(playback)을 위한 이요할 수 있는 확성기의 수와 일치할 수 있다. 임의의 확성기 셋업은 오디오 소스의 재분포를 개선하기 위하여 사용되며 오디오 소스의 방향성은 이용할 수 있는 확성기의 수와 상관없이 항상 가능한 한 가장 좋은 현재의 장비와 함께 재생된다는 것을 보증한다.
본 발명의 또 다른 실시 예에 따르면, 재생은 모노포닉(monophonic) 확성기를 거쳐서도 형성될 수 있다. 물론, 이 경우에 있어서 신호의 근원의 방향은 확성기의 물리적 위치일 것이다. 그러나, 레코딩 위치에 대한 신호의 근원의 원하는 방향을 선택함으로써, 선택된 방향으로부터의 신호 스트림의 가청성(audibility)은 단순한 다운 믹스(downmix)의 재생과 비교하여 현저히 증가할 수 있다.
본 발명의 그 다음의 실시 예에 따르면, 신호의 근원의 방향은 하나 혹은 그 이상의 오디오 채널이 확성기와 일치하는 채널 수에 최대 혼합될 때, 정확하게 재생될 수 있다. 근원의 방향은 예를 들면, 진폭 패닝 기술을 사용하여 가능한 한 좋게 재생될 수 있다. 감지 품질을 더 증가시키기 위하여, 추가적인 위상 변화(phase shift)가 도입될 수 있는 데, 이 또한 선택된 방향에 의존한다.
본 발명의 몇몇 실시 예는 추가적으로 오디오 품질에 심각한 영향을 미치지 않는 오디오 신호를 레코딩하기 위한 마이크로폰 캡슐(capsule)의 비용을 감소시킬 수 있는데, 그 이유는 방향/확산을 결정하는데 사용되는 마이크로폰은 플랫 주파수 반응만을 가질 필요가 없기 때문이다.
다음에 첨부한 도면을 참조하여 본 발명의 몇몇 실시 예들을 설명할 것이다.
도 1은 오디오 신호를 재생하기 위한 방법의 실시 예를 나타낸다;
도 2는 오디오 신호를 재생하기 위한 장치의 블록도를 나타낸다; 및
도 3은 뒤따르는 실시 예의 블록도를 나타낸다;
도 4는 원격지간 회의(teleconferencing) 시나리오에서 본 발명의 방법 혹은 장치의 적용의 예를 나타낸다;
도 5는 오디오 신호의 방향성 인지를 개선시키기 위한 방법의 실시 예를 나타낸다;
도 6은 오디오 신호를 재생하기 위한 디코더(decoder)의 실시 예를 나타낸다; 및
도 7은 오디오 신호의 방향성 인지를 개선시키기 위한 시스템의 실시 예를 나타낸다.
도 1은 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법의 실시 예를 나타낸다. 선택 단계(10)에서, 레코딩 위치에 대한 근원의 원하는 방향은 재생되는 오디오 신호의 재생되는 부분을 위하여 선택되는데, 상기 재생되는 부분은 오디오 채널의 부분과 상응한다. 즉, 진행되는 신호 부분을 위하여, 재생 후에 신호 부분이 명확하게 들리는 근원의 원하는 방향이 선택된다. 선택은 아래에 상세히 설명하는 바와 같이 즉시 유저의 입력으로 혹은 자동적으로 행해질 수 있다.
부분은 시간 부분이거나 주파수 부분 혹은 오디오 채널의 특정 주파수 간격의 시간 부분일 수도 있다. 변경 단계(12)에서, 오디오 채널의 부분은 재생되는 오디오 신호의 재생되는 부분을 끌어내기 위하여 변경되는데, 상기 변경은 근원의 원하는 방향으로부터 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널이 다른 부분에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도 증가를 포함한다. 즉, 오디오 채널의 그러한 부분은 그들의 강도 혹은 레벨을 증가시킴으로써 강조되는데, 예를 들면, 오디오 채널 부분의 스케일링 팩터(scaling factor)의 증가에 의해 구현된다. 실시 예에 따르면, 선택된(원하는) 방향에 가까운 방향으로부터 기원하는 부분은 재생에 있어서 이러한 신호 부분을 강조하고 청취자가 흥미로워 하는 그러한 오디오 기록 객체의 가청성을 개선시키기 위하여 큰 스케일 팩터에 의해 증가된다. 일반적으로, 이러한 적용 관계에 있어서, 신호 혹은 채널의 강도를 증가시키는 것은 신호를 더 잘 들릴 수 있게 하는 척도로 이해하여야 한다. 이는 예를 들면 신호의 진폭, 신호에 의해 수행되는 에너지를 증가시킬 수 있거나 혹은 개체(unity)보다 큰 스케일 팩터를 갖는 신호를 증가시킬 수 있다. 대신에 경쟁하는 신호의 소란(loudness)은 효과를 획득하기 위해 감소될 수 있다.
원하는 방향의 선택은 유저 인터페이스를 거쳐 청취 위치에 있는 유저에 의해 직접 실행된다. 그러나, 다른 실시 예에 따르면, 선택은 예를 들면, 방향성 파라미터의 분석과 같은 것에 의해 자동적으로 실행될 있는데, 따라서 대충 같은 기원을 갖는 주파수 부분이 강조되며, 반면에 오디오 채널의 나머지 부분은 억제된다. 따라서, 신호는 최종 청취에서 유저의 입력을 추가적인 요구 없이 두드러진 오디오 소스에 자동적으로 집중할 수 있다.
뒤이은 실시 예에 따르면, 선택 단계는 생략되는데, 그 이유는 근원의 방향이 설정되었기 때문이다. 즉 설정 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도는 증가한다. 설정 방향은, 예를 들면 배 선에 의해 접속된(hardwired) 것일 수 있는데, 즉 방향은 미리 결정된다. 만약, 예를 들어 중앙의 토커(talker)만이 원격지간 회의 시나리오에서 중요하다면, 이는 미리 결정된 설정 방향을 사용하여 실행될 수 있다. 다른 실시 예들은 설정 방향으로 사용되는 많은 수의 다른 방향을 또한 저장할 수 있는 메모리로부터 설정 방향을 읽을 수 있다. 이러한 것들 중의 하나는, 예를 들면 발명 장치상에 작동시킬 때 판독될 수 있다.
다른 실시 예에 따르면, 원하는 방향의 선택은 또한 추가적인 파라미터가 재생을 위한 원하는 방향을 나타내는 오디오 신호로 전송되는 것과 같이 인코더(encoder) 위치, 즉 신호의 레코딩에서 실행될 수 있다. 따라서, 재생된 신호의 공간적 인지는 재생에 사용되는 특정 확성기의 셋업 없이 인코더에서 미리 선택될 수 있다.
오디오 신호를 재생하기 위한 방법은 재생되는 오디오 신호를 의도적으로 재생하는 특정 확성기 셋업과는 독립적이기 때문에, 그 방법은 스테레오 혹은 다중 채널 확성기 구성뿐만 아니라 모노포닉 확성기에도 적용될 수도 있다. 즉, 그 다음의 실시 예에 따르면, 재생된 환경의 공간적 효과는 신호의 개선된 지각에 대한 사후 처리(post-processed)이다.
모노포닉 재생을 위하여 사용될 때, 효과는 임의의 방향성 패턴을 형성할 수 있는 새로운 타입의 마이크로폰을 갖는 신호를 레코딩하는 것으로 해석할 수 있다. 그러나, 이러한 효과는 즉, 레코딩 셋업에 있어서 어떠한 변화 없이 신호의 재생 동안에 리시빙 엔드(receiving end)에서 달성된다.
도 2는 오디오 신호의 재생을 위한 장치(디코더)의 실시 예를 나타내는데, 즉 오디오 신호를 재생하기 위한 디코더(20)의 실시 예를 나타낸다. 디코더(20)는 방향 선택기(22) 및 오디오 부분 변경자(modifier, 24)를 포함한다. 도 2의 실시 예에 따르면 몇몇의 마이크로폰에 의해 기록되는 다중 채널 오디오 입력(26)은 오디오 채널 부분의 근원의 방향을 나타내는 방향성 파라미터를 끌어내는 방향 분석기(28)에 의해 분석되는데, 즉, 신호 부분의 근원의 방향을 분석한다. 본 발명의 한 실시 예에 따르면, 에너지의 대부분이 마이크로폰에 일어나기 쉬운 방향이 선택된다. 레코딩 위치는 각각의 특정 신호 부분에서 결정된다. 이는 또한 예를 들면, DirAC 마이크로폰 기술을 사용하여 수행될 수 있다. 물론, 기록된 오디오 정보를 기초로 하는 다른 방향성 분석 방법이 분석을 구현하기 위하여 사용될 수 있다. 그 결과, 방향 분석기(28)는 오디오 채널 혹은 자중 채널 신호 부분의 근원의 방향을 나타내는 방향성 파라미터(30)를 끌어낸다. 더욱이, 방향 분석기(28)는 각각의 신호 부분(예를 들면, 각각의 주파수 간격 혹은 각각의 신호의 시간 프레임)을 위한 확산도 파라미터(32)를 끌어내기 위하여 작동할 수도 있다.
방향성 파라미터(30) 및 선택적으로 확산도 파라미터(32)는 재생되는 오디오 신호의 재생되는 부분을 위한 레코딩 위치에 대한 근원의 원하는 방향을 선택하기 위하여 구현되는 방향 선택기(32)로 전송된다. 원하는 방향에 대한 정보가 오디오 부분 변경자(24)로 전송된다. 오디오 부분 변경자(24)는 부분을 갖는, 방향성 파라미터를 끌어내기 위한, 적어도 하나의 오디오 채널(34)를 받는다. 예를 들면, 오디오 부분 변경자에 의한 적어도 하나의 채널은 전형적인 다중 채널 다운 믹스 알고리즘에 의해 발생되는 다중 채널 신호의 다운 믹스일 수 있다. 한 가지의 매우 간단한 경우는 다중 채널 오디오 입력(26) 신호의 직접적인 합계일 수 있다. 그러나, 다른 실시 예에 있어서는, 발명의 실시 예가 입력 채널의 수에 한정되지 않기 때문에 모든 오디오 입력 채널(26)은 오디오 디코더(20)에 의해 동시에 진행될 수 있다.
오디오 부분 변경자(24)는 재생되는 오디오 신호의 재생되는 부분을 끌어내기 위한 오디오 부분을 변경하는데, 상기 변경은 근원의 원하는 방향으로부터 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도의 증가를 포함한다. 도 2의 예에서, 변경은 변경되는 오디오 채널 부분을 갖는 스케일링 팩터(36q)를 증가시킴으로써 실행된다. 즉, 만약 오디오 채널 부분이 선택된 원하는 방향에 가까운 방향으로부터 기원하는 것으로 분석되면, 큰 스케일링 팩터가 오디오 부분을 증가시킨다. 따라서, 그것의 출력(38)에서, 오디오 부분 변경자는 입력에서 제공되는 오디오 채널 부분과 일치 하는 재생되는 오디오 신호의 재생되는 부분을 출력한다. 오디오 부분 변경자(24)의 출력에서의 점선 부분에 더 나타낸 것과 같이, 이는 모노 출력 신호를 위하여 형성되는 것뿐만 아니라 다중 채널 신호를 위해서도 형성되는데, 이때 출력 채널의 수는 고정되거나 미리 결정되지 않는다.
바꾸어 말하면, 오디오 디코더(20)의 실시 예는 예를 들면, 그러한 방향성 분석으로부터의 출력을 DirAC에서 사용되는 것으로 간주한다. 마이크로폰 어레이로부터의 오디오 신호는 인간 청각 시스템의 주파수 선명도에 따라 주파수 대역으로 분할될 수 있다. 사운드의 방향 및 선택적으로 사운드의 확산도는 각각의 주파수 채널에 있어서 시간에 의존하여 분석된다. 이러한 특성은 예를 들면, 방위각(azi), 고도(ele)각 및 0에서 1 사이의 범위를 갖는 확산도 지수(psi)로 전달된다.
그리고 나서, 의도되거나 혹은 선택된 방향성 특징은 방향 각(azi 및/혹은 ele) 및 선택적으로 확산도에 의존하는 가중치 작업을 사용하여 획득된 신호에 가한다. 명백하게, 이러한 가중치는 서로 다른 주파수 대역에 대하여 다르게 특정화되며, 일반적으로 시간에 따라 다양할 것이다.
도 3은 DirAc 합성을 기초로 한 본 발명의 그 다음의 실시 예를 나타낸다. 그러한 관점에서, 도 3의 실시 예는 DieAc 재생의 개선으로 해석될 수 있는데, 이는 분석된 방향에 따라 사운드의 레벨을 제어하도록 허용한다. 이것은 하나 혹은 복수의 방향으로부터 오는 사운드를 강조하거나 혹은 하나 혹은 복수의 방향으로부터 오는 사운드를 억제하는 것을 가능하게 한다. 다중 채널 재생에 적용될 때, 재생되는 사운드 이미지의 후 처리(post-processing)가 달성된다. 만약 출력으로 하나의 채널이 사용되면, 효과는 신호의 레코딩 동안에 임의의 방향성 패턴을 갖는 방향성 마이크로폰의 사용과 동등하다. 도 3에서 나타나는 실시 예에서, 전송되는 하나의 오디오 채널뿐만 아니라 방향성 파라미터의 유래도 나타난다. 분석은 예를 들면, 음장 마이크로폰에 의해 기록되는 B 포맷 마이크로폰 채널 W, X, Y 및 Z를 기초로 하여 실행된다.
진행은 프레임 와이즈(frame-wise)로 수행된다. 그러므로, 연속적인 오디오 신호가 프레임으로 분할되는데, 프레임 경계에서 불연속을 피하기 위하여 윈도우 기능에 의해 스케일된다. 윈도우 신호 프레임은 마이크로폰 시그날을 N 주파수 대역으로 분할하는 푸리에 변환 블록(Fourier transform block, 40) 내에서 푸리에 변환을 받는다. 단순화하기 위하여, 나머지 주파수 대역의 진행도 동일하기 때문에 하나의 임의의 주파수 대역의 진행을 다음의 단락에서 설명한다. 푸리에 변환 블록(40)은 분석되는 윈도우 프레임 내에서 각각의 B 포맷 마이크로 채널 W, X, Y 및 Z에 존재하는 주파수 구성의 강도를 나타내는 계수를 끌어낸다. 이러한 주파수 파라미터(42)는 오디오 채널 및 관련 방향성 파라미터를 끌어내기 위한 오디오 인코더(44) 내로 입력된다. 도 3에 나타나는 실시 예에서, 전송되는 오디오 채널은 모든 방향으로부터 오는 신호 상의 정보를 갖는 전방향성 채널로 선택될 수 있다. 전 방향성에 대한 계수 및 B 포맷 마이크로폰 채널의 방향 부분을 기초로 하여, 방향성 및 확산도 분석이 방향성 분석 블록(48)에 의해 실행된다.
오디오 채널(46)의 분석된 부분의 사운드의 근원의 방향은 전방향성 채널(46)과 함께 오디오 신호를 재생하기 위한 오디오 디코더(50)로 전송된다. 확산도 파라미터(52)가 존재하면, 신호 경로는 비확산 경로(54a) 및 확산 경로(54b) 내로 유출된다. 비확산 경로(54b)는 확산도 ψ가 높을 때, 에너지 혹은 진폭의 대부분이 비확산 경로 내에 머무르는 것과 같은 방법으로 확산도 파라미터에 따라 스케일된다. 반대로, 확산도가 높으면, 에너지의 대부분은 확산 경로(54b)로 전환된다. 확산 경로(54b) 내에서, 신호는 역상관기(decorrelator, 56a 혹은 56b)를 사용하여 역상관되거나 혹은 확산된다. 역상관은 백색 잡음 신호(white noise signa)를 컨볼브(convolve)하는 것과 같은 종래의 알려진 기술을 사용하여 실행되는데, 상기 백색 잡음 신호는 주파수 채널에 따라 달라질 수 있다. 역상관성이 에너지를 보존하는 한, 최종 출력은, 확산도 파라미터 ψ에 의해 나타나듯이, 신호 경로에서의 신호는 미리 스케일되었기 때문에, 출력에서의 비확산 신호 경로(54a) 및 확산 신호 경로(54b)의 신호를 단순히 더함으로써 재생된다. 확산 신호 경로(54b)가 적절한 스케일링 법칙을 사용하여 확성기의 수에 의존하여 스케일될 수 있다. 예를 들면, 확산 경로에서의 신호는 1/
Figure 112009057488218-PCT00001
으로 스케일될 수 있는데, 이때 N은 확성기의 수이다.
다중 채널 셋업을 위하여 재생이 실행될 때, 확산 신호 경로(54b)뿐만 아니라 직접 신호 경로(54a)도 각각의 확성기 신호에 상응하는 서브(sub) 경로의 수로 분할된다(분할 위치(58a 및 58b)에서). 이를 위해, 분할 위치(58a 및 58b)에서의 분할은 복수의 확성기를 갖는 확성기 시스템을 경유하여 재생을 위한 복수의 채널에 대한 적어도 하나의 오디오 채널의 업 믹싱(up-mixing)과 동등한 것으로 해석될 수 있다. 그러므로, 각각의 다중 채널은 오디오 채널(46)의 채널 부분을 갖는다. 각각의 오디오 부분의 근원의 방향은 재생을 위해 사용되는 확성기에 상응하는 채널 부분의 강도 혹은 진폭을 추가적으로 증가하거나 감소시키는 리디렉션 블록(redirection block, 60)에 의해 재생된다. 이를 위해, 리디렉션 블록(60)은 일반적으로 재생을 위해 사용되는 확성기 셋업에 관한 정보를 필요로 한다. 실질적인 재분배(리디렉션) 및 관련 가중치 팩터는 예를 들면 진폭 패닝 기반의 벡터와 같은 기술을 사용하여 실행된다. 재분배 블록(60)에 서로 다른 기하학적 확성기 셋업을 공급함으로써, 재생 확성기의 임의의 구성이 재생 품질의 손실 없이 발명의 개념을 실행할 수 있다. 진행 후에, 복수의 반(inverse) 푸리에 변환은 각각의 확성기에 의해 재생될 수 있는 시간 도메인(domain) 신호를 끌어내기 위한 반 푸리에 변화 블록(62)에 의해 주파수 도메인 신호 상에서 실행된다. 재생에 앞서, 중복되고 부가되는 기술이 확성기에 의해 재생되도록 준비된 연속적인 시간 도메인 신호를 끌어내기 위하여 각각의 오디오 프레임을 연관시키는 합산 유닛(summation unit, 64)에 의해 실행되어야 한다.
도 3에 나타나는 본 발명이 실시 예에 따르면, Dir-AC의 신호 프로세싱은 오디오 부분 변경자(66)가 실제로 진행되는 오디오 채널의 부분을 변경하고 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가를 허용하기 위하여 도입되는 것으로 개선되었다. 이는 직접 신호 경로에 대한 부가적인 가중치 팩터를 적용함으로써 달성되었다. 즉, 진행되는 주파수 부분이 원하는 방향으로부터 기원하면, 신호는 그러한 특정 신호 부분에 대한 추가적인 획득의 적용에 의해 강조된다. 획득의 적용은 효과가 모든 채널 부분에 동등하게 기여되면, 분할 포인트(split point, 58a)보다 앞서 실행될 수 있다.
다른 실시 예에 있어서, 추가적인 가중치 팩터의 적용은 재분배 블록(60) 내에서 구현될 수 있는데, 이 경우에 재분배 블록은 추가적인 가중치 팩터에 의해 증가되고 감소되는 재분배 획득 팩터로 적용된다.
다중 채널 신호의 재생에 있어서 방향성 개선을 사용할 때, 재생은 예를 들면, 도 3에 나타나는 것과 같이 DirAC 렌더링(rendering) 스타일로 실행된다. 재생되는 오디오 신호는 방향성 분석을 위해 사용되는 것과 동등한 주파수 대역으로 분할된다. 이러한 주파수 대역은 그 후 확산 및 비확산 스트림으로 분할된다. 확산 스트림은 예를 들면, 30ms의 광범위한 잡음 버스트(burst)의 컨볼루션(convolution) 후에 각각의 확성기에 대한 사운드를 적용함으로써 재생된다. 잡 음 버스트는 각각의 확성기에 따라 다르다. 비확산 스트림은 물론 시간에 의존하는 방향성 분석으로부터 배달되는 방향에 적용된다. 다중 채널 확성기 시스템에 있어서 방향성 감지를 달성하기 위하여, 간단한 페어와이즈(pair-wise) 혹은 트리플와이즈(triple-wise) 진폭 패닝이 사용된다. 더욱이, 각각의 주파수 채널은 분석되는 방향에 의존하는 획득 팩터 혹은 스케일링 팩터에 의해 증가된다. 일반적인 용어로, 함수는 재생을 위한 원하는 방향성 패턴으로 정의되도록 지정될 수 있다. 이는 예를 들면, 강조되는 단 하나의 단일 방향일 수 있다. 그러나, 임의의 방향성 패턴은 도 3의 실시 예에 따라 쉽게 구현될 수 있다.
다음의 시도에서, 본 발명의 그 다음의 실시 예는 진행 단계의 리스트로 설명한다. 리스트는 사운드가 B 포맷 마이크로폰으로 기록된다는 가정을 기초로 하며, 그 후에 DirAC 스타일 렌더링 혹은 오디오 채널 부분의 근원의 방향을 나타내는 방향성 파라미터 공급의 렌더링을 사용하여 다중 채널 혹은 모노포닉 확성기로의 청취를 위해 진행된다. 진행 과정은 다음과 같다.
1. 마이크로폰 신호를 주파수 대역으로 분할하고 주파수에 의존하는 각각의 대역에서 방향성 및 선택적으로 확산도를 분석한다. 한 예로, 방향은 방위각 및 양각(elevation angle)에 의해 파라미터화된다.
2. 방향성 패턴을 나타내는 함수 F를 지정한다. 함수는 임의의 형태를 가질 수 있다. 그것은 전형적으로 방향에 의존한다. 더욱이, 그것은 만약 확산도 정보를 이용할 수 있으면, 또한 확산도에 의존할 수 있다. 함수는 서로 다른 주파수에 따라 다르며 시간에 의존하여 변경될 수 있다. 각각의 주파수 대역에서 오디오 신호의 뒤따른 가중(스케일링)을 위해 사용되는 각각의 시간 인스턴스(instance)에 대한 함수 F로부터 방향성 계수(q)를 끌어낸다.
3. 출력 신호를 형성하기 위하여 각각의 시간 및 주파수에 상응하는 방향성 팩터의 q 값을 갖는 오디오 샘플 값을 증가시킨다. 이것은 시간 및/혹은 주파수 도메인 표현(representation)에서 행해진다. 더욱이, 이 진행과정은 예를 들면, 원하는 출력 채널의 어떠한 수에 대한 DirAc 렌더링의 부분으로서 실행될 수 있다.
앞서 설명하였듯이, 결과는 다중 채널 혹은 모노포닉 확성기 시스템을 사용하여 청취될 수 있다.
도 4는 본 발명의 방법 및 장치가 원격지간 회의 시나리오 내에서 참가자의 지각성을 어떻게 강하게 증가시키는가에 대하 실례를 나타낸다. 레코딩 사이드(recording side, 100) 상에서, 레코딩 위치(104)에 대하여 별개의 방위(orientation)를 갖는 4명의 토커(talker, 102a-102d)가 설명된다. 즉, 토커(102c)로부터 기원하는 오디오 신호는 레코딩 위치(104)에 대하여 근원의 고정된 방향을 갖는다. 레코딩 위치(104)에서 기록되는 오디오 신호는 토커(102c) 및 예를 들면, 토커(102a 및 102b)의 논의로부터 기원하는 약간의 "배경(background)" 잡음으로부터 지원된다고 가정할 때, 청취 위치(110)에 기록되고 전송되는 광대역 신호 는 양쪽의 신호 구성을 포함할 것이다.
한 예로써, 청취 위치(114)에 위치한 청취자 주위를 둘러싼 6개의 확성기를 갖는 청취 셋업이 묘사된다. 따라서, 원칙적으로, 청취자(114) 주위의 대부분 임의의 위치로부터 나오는 사운드는 도 4에 묘사된 셋업에 의해 재생될 수 있다. 종래의 다중 채널 시스템은 가능한 한 가까이 레코딩되는 동안에 레코딩 위치(104)에서 경험한 공간적 인지를 재생하기 위하여 이러한 6개의 확성기(112a-112f)를 사용하여 사운드를 재생할 수 있다. 그러므로, 종래의 기술을 사용하여 사운드가 재생될 때, 토의하는 토커(102a 및 102b)의 "배경"으로서 토커(102c)의 지원 또한 토커(102c)의 신호의 이해도를 감소하여 명확하게 들릴 것이다.
본 발명의 실시 예에 따르면, 방향 선택기는 확성기(112a-112f)에 의해 재생되는 재생된 오디오 신호의 재생된 버젼(version)을 위해 사용되는 레코딩 위치에 대하여 근원의 원하는 방향을 선택하기 위하여 사용될 수 있다. 그러므로, 청취자(114)는 토커(102c)의 위치에 상응하는 원하는 방향(116)을 선택할 수 있다. 따라서, 오디오 부분 변경자는 선택되는 방향에 가까운 방향으로부터 기원하는 오디오 채널 부분의 강도를 강조하는 것과 같이 재생되는 오디오 신호의 재생되는 부분을 끌어내기 위하여 오디오 채널 부분을 변경할 수 있다. 청취자는 리시빙 엔드(receiving end)에서 근원의 어떠한 방향을 재생해야 하는지를 결정할 수 있다. 이러한 선택을 함으로써, 토커(102c)의 방향으로부터 기원하는 그러한 신호만이 강 조되며 따라서, 토의하는 토커(102a 및 102c)는 덜 방해받게 된다. 선택된 방향으로부터의 신호에 대한 강조와는 별도로, 웨이브 형태(120a 및 102b)에 의해 심볼로 나타낸 것과 같이, 방향은 진폭 패닝에 의해서 실행될 수 있다. 토커(102c)가 확성기 112c보다 확성기 112d에 더 가까이 위치하게 되면, 진폭 패닝은 확성기(112c 및 112d)를 경유하여 강조돤 신호의 재생을 이르게 하며, 반면에 나머지 확성기는 거의 조용해진다(결국 재생이 신호 부분을 확산한다). 진폭 패닝은 토커(102c)가 확성기(112d)에 가까이 위함에 따라, 확성기(112c)에 대하여 확성기(112d)의 레벨을 증가시킬 것이다.
도 5는 오디오 신호의 방향성 감지를 개선하기 위한 방법의 실시 예의 블록도를 나타낸다. 제 1 분석 단계(150)에서, 적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터가 파생된다.
변경 단계(154)에서, 오디오 채널의 부분은 재생된 오디오 신호의 재생된 부분을 끌어내기 위하여 변경되는데, 상기 변경은 근원의 원하는 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 다른 오디오 채널의 부분에 대하여, 근원의 방향으로부터 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도 증가를 포함한다.
도 6은 적어도 하나의 오디오 채널(160) 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호의 재생을 위한 오디오 디코더의 실시 예를 나타낸다.
오디오 디코더(158)는 오디오 채널 부분에 상응하는 재생되는 오디오 신호의 재생되는 부분에 대한 레코딩 위치에 대하여 근원의 원하는 방향을 선택하기 위한 방향 선택기(164)를 포함한다. 디코더(158)는 재생되는 오디오 신호의 재생되는 부분을 끌어내기 위한 오디오 채널 부분을 변경하기 위한 오디오 부분 변경자(166)를 더 포함하는데, 상기 변경은 근원의 원하는 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 다른 오디오 채널의 부분에 대하여, 근원의 방향으로부터 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도 증가를 포함한다.
도 6에서 나타낸 바와 같이, 단일의 재생되는 부분(168)이 파생되거나 혹은 디코더가 다중 채널 재생 셋업에서 사용될 때 복수의 재생되는 부분이 동시에 파생될 수도 있다. 도 7에서와 같이, 오디오 신호(180)의 방향성 감지의 개선을 위한 시스템의 실시 예는 도 6의 디코더(158)를 기초로 한다. 그러므로 다음에서는 추가적으로 소개되는 요소에 대해서만 설명할 것이다. 오디오 신호(180)의 방향성 감지의 개선을 위한 시스템은 입력으로서, 모노포닉 신호이거나 혹은 복수의 마이크로폰에 의해 기록되는 다중 채널 신호일 수 있는 오디오 신호(182)를 수신한다. 오디 오 인코더(184)는 적어도 하나의 오디오 채널(160) 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터(162)를 갖는 오디오 신호를 끌어낸다. 적어도 하나의 오디오 채널(160) 및 관련 방향성 파라미터는, 도 6의 오디오 디코더에 대해 이미 설명한 바와 같이, 지각적으로 개선된 출력 신호(170)를 끌어내기 위하여 더 진행된다.
비록 본 발명을 주로 다중 채널 오디오 재생 분야에 대하여 설명하였지만, 본 발명의 방법 및 장치로부터 다른 분야의 적용에도 이익을 줄 수 있다. 한 예로서, 본 발명의 개념은 원격지간 회의 시나리오에서의 특정한 개인의 연설에 대하여 초점(증가 및 감소에 의해)을 맞출 수 있다. 그것은 더욱이 탈 잔향(de-reverberation) 혹은 잔향 개선과 마찬가지로 주위의 구성을 거부(혹은 진폭)하는데 사용된다. 더 가능한 적용 시나리오는 주위의 잡음 신호의 잡음 취소를 포함한다. 더 가능한 사용은 청취 목적의 신호를 위한 방향성 개선일 수도 있다.
본 발명의 방법의 특정 구현의 요구사항에 따라, 본 발명의 방법은 하드웨어 혹은 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 특히, 내부에 저장되는 전자적으로 판독가능한 제어 신호를 갖는 디스크, DVD, CD일 수 있는데, 이들은 본 발명의 방법이 실행되는 프로그래머블(programmable) 컴퓨터 시스템과 협력한다. 일반적으로, 본 발명은 따라서, 기계가 판독할 수 있는 캐리어 상에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품인데, 여기서 프로그램 코드는 컴퓨 터 프로그램 제품이 컴퓨터 상에 실행될 때, 본 발명의 방법을 실행하기 위하여 작동된다. 그러므로, 다시 말하면, 본 발명의 발명은 컴퓨터 프로그램이 컴퓨터 상에 실행될 때 적어도 하나의 본 발명의 방법을 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
이상 본 발명에 대하여 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해될 것이다. 다양한 변화들은 여기에 개시된 광범위 개념들로부터 벗어남이 없이 다른 실시 예들에 적용하도록 만들어질 수 있고 뒤따르는 청구항들에 의해 이해되어야 한다.

Claims (23)

  1. 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법에 있어서:
    재생되는 오디오 신호의 재생되는 부분을 끌어내기 위하여 오디오 채널의 부분의 변경을 포함하며, 상기 변경은 근원의 원하는 방향으로부터 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널이 다른 부분에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도 증가를 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  2. 제 1항의 방법에 있어서,
    레코딩 위치에 대하여 근원의 설정 방향을 선택하는 것을 더 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  3. 제 1항의 방법에 있어서,
    메모리로부터 설정 방향을 판독하는 것을 더 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  4. 제 1항의 방법에 있어서,
    상기 변경은 오디오 채널 부분의 주파수 도메인 표현을 변경하는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  5. 제 1항의 방법에 있어서,
    상기 변경은 오디오 채널 부분의 시간 도메인 변경을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  6. 제 1항의 방법에 있어서,
    상기 변경은 스케일링 팩터를 갖는 오디오 채널 부분을 진폭함으로써 끌어내는 오디오 채널의 스케일된 부분과 같이, 근원의 원하는 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 채널의 다른 스케일된 부분에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 각각의 오디오 채널 부분에 대한 스케일링 팩터를 끌어내는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  7. 제 1항의 방법에 있어서,
    적어도 하나의 오디오 채널의 주파수 표현을 파생하는 것을 더 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  8. 제 7항의 방법에 있어서,
    상기 파생은 적어도 하나의 오디오 채널의 제 1 및 제 2 유한 폭 주파수(finite width frequency) 간격의 표현의 파생을 더 포함하며, 상기 제 1 주파수 간격의 폭은 제 2 주파수 간격의 폭과 다른 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  9. 제 2항의 방법에 있어서,
    상기 근원의 원하는 방향의 선택은 유저의 입력으로서 원하는 방향을 나타내는 입력 파라미터를 수신하는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  10. 제 2항의 방법에 있어서,
    상기 근원의 원하는 방향의 선택은 오디오 신호와 관련된, 원하는 방향을 나타내는 방향성 파라미터를 수신하는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  11. 제 2항의 방법에 있어서,
    상기 원하는 방향의 선택은 적어도 하나의 오디오 채널의 유한 폭 주파수 간격의 근원의 방향을 결정하는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  12. 제 1항의 방법에 있어서,
    오디오 채널과 관련된, 오디오 채널 부분의 확산도를 나타내는 확산도 파라미터를 수신하는 것을 더 포함하며; 및
    상기 오디오 채널 부분의 변경은 낮은 확산도를 나타내는 확산도 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 높은 확산도를 나타내는 확산도 파라미터를 갖는 오디오 채널 부분의 강도를 감소하는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  13. 제 1항에 따른 방법에 있어서,
    복수의 확성기를 갖는 확성기 시스템을 경유하여 재생을 위한 복수의 채널에 대하여 적어도 하나의 오디오 채널을 업믹스하는 것을 더 포함하며, 상기 각각의 복수의 채널은 적어도 하나의 오디오 채널 부분에 상응하는 오디오 채널을 갖는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  14. 제 13항의 방법에 있어서,
    상기 변경은 근원의 원하는 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분으로부터 업믹스된 복수의 채널의 다른 복수의 채널에 대하여 근원의 원하는 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분으로부터 업믹스된 각각의 채널 부분의 강도를 증가시키는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  15. 제 13 내지 14항의 방법에 있어서,
    미리 결정된 확성기 셋업을 사용하여 재생될 때 재생되는 채널 부분의 근원의 인지 방향은 근원의 방향에 상응하는 것과 같은 오디오 채널의 진폭을 패닝하는 것을 더 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대한 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 방법.
  16. 오디오 신호의 방향성 인지를 개선하기 위한 방법에 있어서,
    적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 끌어내며;
    개선된 오디오 신호 부분을 끌어내기 위하여 오디오 채널 부분을 변경하는 것을 포함하며, 상기 변경은 근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가시키는 것을 포함하는 것을 특징으로 하는, 오디오 신호의 방향성 인지를 개선하기 위한 방법.
  17. 적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 오디오 디코더에 있어서,
    재생된 오디오 신호의 재생된 부분을 끌어내기 위하여 오디오 채널 부분을 변경하기 위한 오디오 부분 변경자를 포함하며, 상기 변경은 근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가시키는 것을 포함하는 것을 특징으로 하는, 적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 갖는 오디오 신호를 재생하기 위한 오디오 디코더.
  18. 오디오 신호의 방향 인지를 개선하기 위한 오디오 인코더에 있어서,
    적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 끌어내기 위한 신호 발생기;
    개선된 오디오 신호 부분을 끌어내기 위한 오디오 채널 부분의 변경을 위한 신호 변경자를 포함하며, 상기 변경은 근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가시키는 것을 포함하는 것을 특징으로 하는, 오디오 신호의 방향 인지를 개선하기 위한 오디오 인코더.
  19. 재생되는 오디오 신호의 개선을 위한 시스템에 있어서,
    적어도 하나의 오디오 채널 및 레코딩 위치에 대하여 오디오 채널 부분의 근원의 방향을 나타내는 관련 방향성 파라미터를 끌어내기 위한 오디오 인코더; 및
    재생되는 오디오 신호의 재생되는 부분을 끌어내기 위한 오디오 채널 부분의 변경을 위한 오디오 부분 변경자를 갖는 오디오 디코더를 포함하며, 상기 변경은 근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 나타내는 방향성 파라미터를 갖는 오디오 채널 부분의 강도를 증가시키는 것을 포함하는 것을 특징으로 하는, 재생되는 오디오 신호의 개선을 위한 시스템.
  20. 오디오 신호를 발생시키는 방법에 있어서,
    근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 갖는 오디오 채널의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 갖는 오디오 채널 부분이 강조되는 것과 같은 오디오 채널을 끌어내는 것을 포함하는 것을 특징으로 하는, 오디오 신호를 발생시키는 방법.
  21. 오디오 신호를 기록하기 위한 오디오 레코더에 있어서,
    근원의 설정 방향으로부터 더 멀리 떨어진 근원의 방향을 갖는 오디오 채널 의 다른 부분에 대하여 근원의 설정 방향에 가까운 근원의 방향을 갖는 오디오 채널 부분이 강조되는 것과 같은 오디오 채널을 끌어내기 위한 채널 레코더를 포함하는 것을 특징으로 하는, 오디오 신호를 기록하기 위한 오디오 레코더.
  22. 컴퓨터 상에 실행될 때, 제 1항의 방법으로 구현하기 위한 컴퓨터 프로그램.
  23. 컴퓨터 상에 실행될 때, 제 20항의 방법으로 구현하기 위한 컴퓨터 프로그램.
KR1020097019538A 2007-03-21 2008-02-01 오디오 재생 개선을 위한 방법 및 장치 KR101096072B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US89618407P 2007-03-21 2007-03-21
US60/896,184 2007-03-21
US11/742,488 US20080232601A1 (en) 2007-03-21 2007-04-30 Method and apparatus for enhancement of audio reconstruction
US11/742,488 2007-04-30
PCT/EP2008/000829 WO2008113427A1 (en) 2007-03-21 2008-02-01 Method and apparatus for enhancement of audio reconstruction

Publications (2)

Publication Number Publication Date
KR20090121348A true KR20090121348A (ko) 2009-11-25
KR101096072B1 KR101096072B1 (ko) 2011-12-20

Family

ID=39322757

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097019538A KR101096072B1 (ko) 2007-03-21 2008-02-01 오디오 재생 개선을 위한 방법 및 장치

Country Status (12)

Country Link
US (1) US20080232601A1 (ko)
EP (1) EP2130403B1 (ko)
JP (1) JP5455657B2 (ko)
KR (1) KR101096072B1 (ko)
CN (1) CN101658052B (ko)
AT (1) ATE476835T1 (ko)
BR (1) BRPI0808225B1 (ko)
DE (1) DE602008002066D1 (ko)
HK (1) HK1138977A1 (ko)
RU (1) RU2416172C1 (ko)
TW (1) TWI456569B (ko)
WO (1) WO2008113427A1 (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908873B2 (en) * 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US8180062B2 (en) * 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
PL2154677T3 (pl) * 2008-08-13 2013-12-31 Fraunhofer Ges Forschung Urządzenie do wyznaczania konwertowanego przestrzennego sygnału audio
CN102804806A (zh) * 2009-06-23 2012-11-28 诺基亚公司 用于处理音频信号的方法及装置
US9332346B2 (en) * 2010-02-17 2016-05-03 Nokia Technologies Oy Processing of multi-device audio capture
AU2011231565B2 (en) 2010-03-26 2014-08-28 Dolby International Ab Method and device for decoding an audio soundfield representation for audio playback
ES2656815T3 (es) * 2010-03-29 2018-02-28 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung Procesador de audio espacial y procedimiento para proporcionar parámetros espaciales en base a una señal de entrada acústica
CN101867853B (zh) * 2010-06-08 2014-11-05 中兴通讯股份有限公司 基于传声器阵列的语音信号处理方法及装置
WO2012004057A1 (en) * 2010-07-06 2012-01-12 Bang & Olufsen A/S A method and an apparatus for a user to select one of a multiple of audio tracks
WO2012025580A1 (en) * 2010-08-27 2012-03-01 Sonicemotion Ag Method and device for enhanced sound field reproduction of spatially encoded audio input signals
US9313599B2 (en) 2010-11-19 2016-04-12 Nokia Technologies Oy Apparatus and method for multi-channel signal playback
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9055371B2 (en) * 2010-11-19 2015-06-09 Nokia Technologies Oy Controllable playback system offering hierarchical playback options
EP2600343A1 (en) * 2011-12-02 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for merging geometry - based spatial audio coding streams
BR112014017457A8 (pt) * 2012-01-19 2017-07-04 Koninklijke Philips Nv aparelho de transmissão de áudio espacial; aparelho de codificação de áudio espacial; método de geração de sinais de saída de áudio espacial; e método de codificação de áudio espacial
CN104756524B (zh) * 2012-03-30 2018-04-17 巴科股份有限公司 用于创造音频系统中的邻近音响效果的设备和方法
EP2645749B1 (en) 2012-03-30 2020-02-19 Samsung Electronics Co., Ltd. Audio apparatus and method of converting audio signal thereof
EP2834995B1 (en) 2012-04-05 2019-08-28 Nokia Technologies Oy Flexible spatial audio capture apparatus
US20130315402A1 (en) 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
WO2013186593A1 (en) * 2012-06-14 2013-12-19 Nokia Corporation Audio capture apparatus
US9268522B2 (en) 2012-06-27 2016-02-23 Volkswagen Ag Devices and methods for conveying audio information in vehicles
EP2688066A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
AU2013314299B2 (en) * 2012-09-12 2016-05-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for providing enhanced guided downmix capabilities for 3D audio
WO2014053875A1 (en) * 2012-10-01 2014-04-10 Nokia Corporation An apparatus and method for reproducing recorded audio with correct spatial directionality
US9396732B2 (en) * 2012-10-18 2016-07-19 Google Inc. Hierarchical deccorelation of multichannel audio
EP2733965A1 (en) * 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of parametric audio streams and apparatus and method for generating a plurality of loudspeaker signals
CN103124386A (zh) * 2012-12-26 2013-05-29 山东共达电声股份有限公司 一种远讲用降噪、消回波、锐指向传声器
US9357306B2 (en) 2013-03-12 2016-05-31 Nokia Technologies Oy Multichannel audio calibration method and apparatus
CN105210389B (zh) * 2013-03-19 2017-07-25 皇家飞利浦有限公司 用于确定麦克风的位置的方法和装置
WO2014162171A1 (en) 2013-04-04 2014-10-09 Nokia Corporation Visual audio processing apparatus
RU2665214C1 (ru) 2013-04-05 2018-08-28 Долби Интернэшнл Аб Стереофонический кодер и декодер аудиосигналов
KR102547902B1 (ko) * 2013-04-26 2023-06-28 소니그룹주식회사 음성 처리 장치, 정보 처리 방법, 및 기록 매체
US9706324B2 (en) 2013-05-17 2017-07-11 Nokia Technologies Oy Spatial object oriented audio apparatus
TWI634798B (zh) * 2013-05-31 2018-09-01 新力股份有限公司 Audio signal output device and method, encoding device and method, decoding device and method, and program
CN104575515A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 一种提高语音质量的方法及装置
RU2558642C2 (ru) * 2013-12-18 2015-08-10 Владимир Георгиевич Потёмкин Способ формирования сигнала для управления электроакустическим излучателем
EP2942982A1 (en) * 2014-05-05 2015-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering
US9959876B2 (en) * 2014-05-16 2018-05-01 Qualcomm Incorporated Closed loop quantization of higher order ambisonic coefficients
JP6641304B2 (ja) * 2014-06-27 2020-02-05 ドルビー・インターナショナル・アーベー 非差分的な利得値を表現するのに必要とされる最低整数ビット数をｈｏａデータ・フレーム表現の圧縮のために決定する装置
CN105992120B (zh) * 2015-02-09 2019-12-31 杜比实验室特许公司 音频信号的上混音
US10176813B2 (en) 2015-04-17 2019-01-08 Dolby Laboratories Licensing Corporation Audio encoding and rendering with discontinuity compensation
US11128978B2 (en) 2015-11-20 2021-09-21 Dolby Laboratories Licensing Corporation Rendering of immersive audio content
US20170264942A1 (en) * 2016-03-11 2017-09-14 Mediatek Inc. Method and Apparatus for Aligning Multiple Audio and Video Tracks for 360-Degree Reconstruction
JP6634976B2 (ja) * 2016-06-30 2020-01-22 株式会社リコー 情報処理装置、及びプログラム
WO2018064296A1 (en) 2016-09-29 2018-04-05 Dolby Laboratories Licensing Corporation Method, systems and apparatus for determining audio representation(s) of one or more audio sources
US10257633B1 (en) 2017-09-15 2019-04-09 Htc Corporation Sound-reproducing method and sound-reproducing apparatus
US10382878B2 (en) * 2017-10-18 2019-08-13 Htc Corporation Sound reproducing method, apparatus and non-transitory computer readable storage medium thereof
CN109688497B (zh) * 2017-10-18 2021-10-01 宏达国际电子股份有限公司 声音播放装置、方法及非暂态存储介质
AU2018368588B2 (en) 2017-11-17 2021-12-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions
GB2572419A (en) * 2018-03-29 2019-10-02 Nokia Technologies Oy Spatial sound rendering
GB2572420A (en) * 2018-03-29 2019-10-02 Nokia Technologies Oy Spatial sound rendering
GB2573537A (en) * 2018-05-09 2019-11-13 Nokia Technologies Oy An apparatus, method and computer program for audio signal processing
US11432069B2 (en) 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing
US11962989B2 (en) 2020-07-20 2024-04-16 Orbital Audio Laboratories, Inc. Multi-stage processing of audio signals to facilitate rendering of 3D audio via a plurality of playback devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208860A (en) * 1988-09-02 1993-05-04 Qsound Ltd. Sound imaging method and apparatus
ATE138238T1 (de) * 1991-01-08 1996-06-15 Dolby Lab Licensing Corp Kodierer/dekodierer für mehrdimensionale schallfelder
JPH07222299A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 音像移動処理編集装置
US5850453A (en) * 1995-07-28 1998-12-15 Srs Labs, Inc. Acoustic correction apparatus
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US5870484A (en) * 1995-09-05 1999-02-09 Greenberger; Hal Loudspeaker array with signal dependent radiation pattern
US6697491B1 (en) * 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
JP3594281B2 (ja) * 1997-04-30 2004-11-24 株式会社河合楽器製作所 ステレオ拡大装置及び音場拡大装置
AU735333B2 (en) * 1997-06-17 2001-07-05 British Telecommunications Public Limited Company Reproduction of spatialised audio
FI116990B (fi) * 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
EP1184676B1 (en) * 2000-09-02 2004-05-06 Nokia Corporation System and method for processing a signal being emitted from a target signal source into a noisy environment
KR100922910B1 (ko) * 2001-03-27 2009-10-22 캠브리지 메카트로닉스 리미티드 사운드 필드를 생성하는 방법 및 장치
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP3810004B2 (ja) * 2002-03-15 2006-08-16 日本電信電話株式会社 ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
WO2006003813A1 (ja) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
US7720232B2 (en) * 2004-10-15 2010-05-18 Lifesize Communications, Inc. Speakerphone
US8873768B2 (en) * 2004-12-23 2014-10-28 Motorola Mobility Llc Method and apparatus for audio signal enhancement
JP4804014B2 (ja) * 2005-02-23 2011-10-26 沖電気工業株式会社 音声会議装置
JP4295798B2 (ja) * 2005-06-21 2009-07-15 独立行政法人科学技術振興機構 ミキシング装置及び方法並びにプログラム

Also Published As

Publication number Publication date
WO2008113427A1 (en) 2008-09-25
JP5455657B2 (ja) 2014-03-26
BRPI0808225A2 (pt) 2014-07-08
TW200841326A (en) 2008-10-16
EP2130403A1 (en) 2009-12-09
KR101096072B1 (ko) 2011-12-20
US20080232601A1 (en) 2008-09-25
HK1138977A1 (en) 2010-09-03
ATE476835T1 (de) 2010-08-15
BRPI0808225B1 (pt) 2019-12-24
CN101658052B (zh) 2013-01-30
RU2416172C1 (ru) 2011-04-10
CN101658052A (zh) 2010-02-24
DE602008002066D1 (de) 2010-09-16
JP2010521909A (ja) 2010-06-24
TWI456569B (zh) 2014-10-11
EP2130403B1 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
KR101096072B1 (ko) 오디오 재생 개선을 위한 방법 및 장치
US9015051B2 (en) Reconstruction of audio channels with direction parameters indicating direction of origin
Zotter et al. Ambisonics: A practical 3D audio theory for recording, studio production, sound reinforcement, and virtual reality
US10536793B2 (en) Method for reproducing spatially distributed sounds
US8180062B2 (en) Spatial sound zooming
KR101705960B1 (ko) 3 차원 사운드 압축 및 호출 동안의 오버-디-에어 송신
US9552840B2 (en) Three-dimensional sound capturing and reproducing with multi-microphones
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
US8509454B2 (en) Focusing on a portion of an audio scene for an audio signal
US8290167B2 (en) Method and apparatus for conversion between multi-channel audio formats
Alexandridis et al. Capturing and reproducing spatial audio based on a circular microphone array
CN113170271A (zh) 用于处理立体声信号的方法和装置
Pulkki et al. Directional audio coding-perception-based reproduction of spatial sound
Ahrens Auralization of omnidirectional room impulse responses based on the spatial decomposition method and synthetic spatial data
JP2022553913A (ja) 空間オーディオ表現およびレンダリング
Deppisch et al. Browser Application for Virtual Audio Walkthrough.
US10848869B2 (en) Reproduction of parametric spatial audio using a soundbar
Pulkki et al. Spatial impulse response rendering: A tool for reproducing room acoustics for multi-channel listening
Rosen et al. Automatic speaker directivity control for soundfield reconstruction
Alexandridis et al. Research Article Capturing and Reproducing Spatial Audio Based on a Circular Microphone Array
Pulkki et al. Perception-based Reproduction of Spatial Sound with Directional Audio Coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181210

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191209

Year of fee payment: 9