KR20120064104A - 오디오 신호의 공간 추출 시스템 - Google Patents

오디오 신호의 공간 추출 시스템 Download PDF

Info

Publication number
KR20120064104A
KR20120064104A KR1020127008795A KR20127008795A KR20120064104A KR 20120064104 A KR20120064104 A KR 20120064104A KR 1020127008795 A KR1020127008795 A KR 1020127008795A KR 20127008795 A KR20127008795 A KR 20127008795A KR 20120064104 A KR20120064104 A KR 20120064104A
Authority
KR
South Korea
Prior art keywords
audio
sound source
vector
input signal
audio input
Prior art date
Application number
KR1020127008795A
Other languages
English (en)
Other versions
KR101387195B1 (ko
Inventor
길버트 아서 조셉 솔로드르
Original Assignee
하르만 인터내셔날 인더스트리즈, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하르만 인터내셔날 인더스트리즈, 인코포레이티드 filed Critical 하르만 인터내셔날 인더스트리즈, 인코포레이티드
Publication of KR20120064104A publication Critical patent/KR20120064104A/ko
Application granted granted Critical
Publication of KR101387195B1 publication Critical patent/KR101387195B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/8006—Multi-channel systems specially adapted for direction-finding, i.e. having a single aerial system capable of giving simultaneous indications of the directions of different signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)

Abstract

음향 처리 시스템은 오디오 콘텐츠의 적어도 2개의 상이한 입력 채널을 포함하는 오디오 입력 신호를 수신한다. 음향 처리 시스템은 오디오 입력 신호를 분석하여 오디오 입력 신호에 포함된 가청 음향 소스를 음향 소스 벡터로 분리시킨다. 가청 음향 소스의 음향 소스 벡터로의 분리는 청취자 인지 음향 스테이지 내에 각각의 가청 음향 소스의 지각 위치를 기초로 할 수 있다. 음향 소스 벡터는 음향 처리 시스템에 의해 개별적으로 그리고 독립적으로 처리될 수 있는 청취자 인지 음향 스테이지에 걸쳐 있는 공간 슬라이스를 나타낼 수 있다. 처리 후에, 음향 소스 벡터는 각각의 라우드스피커를 구동시키도록 사용된 출력 채널을 갖는 오디오 출력 신호를 형성하도록 선택적으로 결합될 수 있다. 가청 음향 소스가 분리되고 독립적이기 때문에, 가청 음향 소스는 어떠한 하나 이상의 출력 채널에 포함될 수 있다.

Description

오디오 신호의 공간 추출 시스템{SYSTEM FOR SPATIAL EXTRACTION OF AUDIO SIGNALS}
우선권 주장
본 출원은 2009년 10월 5일자로 출원되고 본 명세서에 참조로 합체되는 미국 가출원 제61/248,770호로부터 우선권의 이익을 청구한다.
기술 분야
본 발명은 전반적으로 오디오 시스템, 보다 구체적으로는 오디오 신호의 콘텐츠를 공간적으로 추출하는 시스템에 관한 것이다.
음향 시스템을 이용하여 오디오 신호로부터 가청 음향을 발생시키는 것은 널리 알려져 있다. 오디오 신호는 미리 녹음된 오디오 신호 또는 라이브 오디오 신호일 수 있다. 오디오 신호를 수신하면, 음향 시스템은 오디오 신호를 처리하고 통상적으로 증폭된 형태의 오디오 신호를 라우드스피커에 제공하여 가청 음향을 발생시킬 수 있다. 라이브 오디오 신호의 예로는 가수와 오케스트라 등의 밴드에 의한 라이브 스테이지 공연이 있다. 미리 녹음된 오디오 신호의 예로는 가수와 밴드의 노래가 녹음된 콤팩트 디스크 또는 전자 데이터파일이 있다. 기타 오디오 소스가 또한 유사하게 제공될 수 있다.
통상적으로, 콤팩트 디스크, 전자 데이터파일 및 기타 형태의 오디오 신호 저장은 스튜디오 또는 라이브 콘서트 현장에서 연주하는 가수와 밴드 등의 오디오 소스의 마스터 녹음으로 이루어진다. 가수와 밴드는 가수와 밴드에 의해 생성되는 라이브 음악을 수신하고 포착하도록 마이크로폰, 증폭기 및 녹음 장비를 이용하여 연주할 수 있다. 녹음 중에, 음향 혼합 엔지니어는 녹음을 위한 원하는 라이브 음향을 수신하기 위해 밴드의 멤버들 사이에 임의의 갯수의 마이크로폰을 전략적으로 위치 결정할 수 있다. 녹음 장비는 마이크로폰 및 밴드에 의해 연주되는 기타 악기로부터 라이브 오디오 입력값을 수신하도록 구성된 임의의 갯수의 입력 채널을 포함한다.
이어서, 음향 혼합 엔지니어는 오디오 신호가 수신된 채널을 혼합 또는 조정하여 가수 및 밴드에 의한 원하는 전체적인 음향을 얻는다. 또한, 음향 혼합 엔지니어는 녹음이 나중에 어떻게 재생하는지를 명시하도록 녹음된 오디오를 재혼합하거나 달리 조정할 수 있다. 예컨대, 음향 혼합 엔지니어는 녹음이 오디오 시스템의 라우드스피커를 통해 재생될 때에 청취자에 의해 인지되는 가수의 위치가 중앙 지점에 있게 되도록, 바이올린이 가수의 좌측에 대하여 인지되도록, 그리고 기타가 가수의 우측에 대하여 인지되도록 개별적인 오디오 신호를 조정할 수 있다.
오디오 시스템은 또한 스테레오 신호 등의 2개 이상의 채널 오디오 입력 신호를 수신하고, 수신된 입력 채널보다 많은 출력 채널을 형성할 수 있다. 그러한 오디오 시스템은 "Logic 7TM"으로서 공지되고 캘리포니아주 노스리지의 법인체인 Harman International Industries에 의해 제조되는 시스템을 포함한다. 그러한 시스템은 서로에 대하여 오디오 입력 신호의 페이징을 기초로 하여 오디오 입력 신호를 출력 채널에 분배한다.
음향 처리 시스템은 적어도 2개의 별개의 오디오 채널을 포함하는 오디오 입력 신호를 수신할 수 있다. 오디오 입력 신호는 오디오 입력 신호에 포함된 가청 음향 소스 또는 오디오 소스의 지각 위치를 결정하도록 분석될 수 있다. 지각 위치는 청취자 인지 음향 스테이지를 기초로 하여 확인될 수 있다. 청취자 인지 음향 스테이지는 개념적으로 스테레오 오디오 시스템, 또는 서라운드 음성 오디오 시스템, 또는 오디오 입력 신호를 기초로 하여 청취자 인지 음향 스테이지를 생성하도록 가청 음향을 출력할 수 있는 임의의 다른 형태의 오디오 재생 시스템을 통해 오디오 입력 신호의 재생을 기초로 할 수 있다.
음향 처리 시스템은 청취자 인지 음향 스테이지를 청취자 인지 음향 스테이지의 임의의 예정된 갯수의 지각 위치(또한 공간 슬라이스라고 명명할 수 있음)로 분할할 수 있다. 예컨대, 오디오 입력 신호가 스테레오 입력 신호인 경우에, 지각 위치의 갯수는 출력 오디오 채널의 원하는 갯수, 예컨대 좌측 전방 출력 채널, 우측 전방 출력 채널, 중앙 출력 채널, 우측면 출력 채널, 좌측면 출력 채널, 우측 후방 출력 채널 및 좌측 후방 출력 채널을 나타내는 7개의 오디오 출력 채널일 수 있다. 또한, 오디오 입력 신호는 복수 개의 예정된 주파수 대역으로 분할될 수 있고 가청 음향 소스의 지각 위치는 예정된 주파수 대역 내에서 확인될 수 있다.
오디오 입력 신호를 공간 슬라이스로 분리하기 위하여, 음향 처리 시스템은 각각의 공간 슬라이스에 대해 이득 벡터를 결정 및 발생시킬 수 있다. 각 이득 벡터는 오디오 입력 신호의 전체 주파수 범위 내에 예정된 주파수 대역을 커버하는 이득 값을 포함한다. 이득 값은 오디오 입력 신호에 포함된 가청 음향 소스가 청취자 인지 음향 스테이지에서 가청 음향 소스의 위치에 따라 공간 슬라이스로 분리되도록 오디오 입력 신호의 콘텐츠를 기초로 하여 발생될 수 있다. 이득 벡터는 위치 필터 뱅크를 형성하는 복수 개의 위치 필터에 의해 형성될 수 있다. 일례에서, 위치 필터 뱅크에서 위치 필터의 갯수는 공간 슬라이스의 갯수 및 원하는 오디오 출력 채널의 갯수에 대응할 수 있다.
위치 필터 뱅크는 각각의 공간 슬라이스가 대응하는 음향 소스 벡터를 포함할 수 있도록 오디오 입력 신호를 별개의 그리고 독립적인 음향 소스 벡터로 분할하도록 오디오 입력 신호에 적용될 수 있다. 각각의 음향 소스 벡터는 청취자 인지 음향 스테이지의 공간 슬라이스에 포함되는 하나 이상의 가청 음향 소스를 나타내는 오디오 입력 신호 부분을 포함할 수 있다.
음향 소스 벡터는 오디오 처리 시스템에 의해 독립적으로 처리될 수 있다. 처리는 각각의 음향 소스 벡터에 포함되는 가청 음향 소스의 분류를 포함할 수 있다. 예컨대, 분류는 제1 공간 슬라이스에서 제1 음향 소스 벡터에 트럼펫 등의 악기로서 나타나는 가청 음향 소스의 확인 및 사람 음성으로서 제2 공간 슬라이스에서 제2 음향 소스 벡터에 포함되는 가청 음향 소스의 확인을 포함할 수 있다. 처리는 또한 등화(equalization), 딜레이 또는 임의의 다른 음향 처리 기법을 포함할 수 있다.
처리 후에, 음향 소스 벡터는 라우드스피커가 구동될 수 있는 다수의 오디오 출력 채널을 수용하는 오디오 출력 신호를 형성하도록 결합될 수 있다. 결합은 음향 소스 벡터를 결합하는 것, 음향 소스 벡터를 분할하는 것, 오디오 출력 채널로서 음향 소스 벡터를 간단히 통과시키는 것, 또는 다수의 오디오 출력 채널을 수용하는 오디오 출력 신호를 발생시키도록 음향 소스 벡터의 임의의 다른형태의 협력적 사용을 포함할 수 있다.
본 발명의 다른 시스템, 방법, 특징 및 이점은 이하의 특징 및 상세한 설명을 검토하면 당업계의 숙련자들에게 명백하거나 명백해질 것이다. 그러한 모든 추가 시스템, 방법, 특징 및 이점은 이 설명 내에 포함되고, 본 발명의 범위 내에 있으며, 이하의 청구범위에 의해 보호된다.
본 발명은 이하의 도면 및 설명을 참조하면 더 잘 이해될 수 있다. 도면들의 구성요소들은 반드시 실척은 아니고, 대신에 본 발명의 원리를 설명할 때에 강조가 있다. 더욱이, 도면들에서, 동일한 참조 번호는 상이한 도면들에 걸쳐 대응하는 부품을 지시한다.
도 1은 오디오 처리 시스템을 포함하는 예시적인 오디오 시스템의 블록도이다.
도 2는 청취자 인지 음향 스테이지의 예이다.
도 3은 청취자 인지 음향 스테이지의 다른 예이다.
도 4는 추정된 지각 위치와 청취자 인지 음향 스테이지 간의 예시적인 관계를 나타내는 그래프이다.
도 5는 위치 필터 뱅크의 예이다.
도 6은 청취자 인지 음향 스테이지와 복수 개의 공간 슬라이스에서 복수 개의 이득 벡터의 예이다.
도 7은 도 1의 오디오 처리 시스템의 블록도의 예이다.
도 8은 도 1의 오디오 처리 시스템의 다른 블록도의 예이다.
도 9는 도 1의 오디오 처리 시스템의 다른 블록도의 예이다.
도 10은 청취자 인지 음향 스테이지의 다른 예이다.
도 11은 도 1의 오디오 처리 시스템의 예시적인 작동 흐름도이다.
도 12는 도 11의 작동 흐름도의 제2 부분이다.
도 1은 오디오 처리 시스템(102)을 포함하는 예시적인 오디오 시스템(100)이다. 오디오 시스템(100)은 또한 적어도 하나의 오디오 콘텐츠 소스(104)와, 적어도 하나의 증폭기(106)와, 복수 개의 라우드스피커(108)를 포함할 수 있다. 오디오 시스템(100)은 가청 오디오 콘텐츠를 생성할 수 있는 임의의 시스템일 수 있다. 예시적인 오디오 시스템(100)은 차량 오디오 시스템, 홈 씨어터 시스템 등의 고정식 소비자 오디오 시스템, 극장 또는 텔레비젼 등의 멀티미디어 시스템을 위한 오디오 시스템, 멀티룸 오디오 시스템, 스타디움 또는 콘벤션 센터에서와 같은 공공 어드레스 시스템, 야외 오디오 시스템, 또는 가청 오디오 음향을 재생하기를 원하는 임의의 다른 현장을 포함한다.
오디오 콘텐츠 소스(104)는 적어도 2개의 채널에서 상이한 오디오 신호를 발생 및 출력할 수 있는 하나 이상의 디바이스의 임의의 형태일 수 있다. 오디오 콘텐츠 소스(104)의 예로는 콤팩트 디스크 또는 비디오 디스크 플레이어 등의 미디어 플레이어, 비디오 시스템, 라디오, 카세트 테이프 플레이어, 무선 또는 유선 통신 디바이스, 네비게이션 시스템, 개인용 컴퓨터, MP3 플레이어 또는 IPODTM 등의 코덱 또는 적어도 2개의 채널에서 상이한 오디오 신호를 출력할 수 있는 오디오 관련 디바이스의 임의의 다른 형태를 포함한다.
도 1에서, 오디오 콘텐츠 소스(104)는 미리 녹음된 가청 음향 등의 소스 재료로부터 각각의 오디오 입력 채널(110)에서 2개 이상의 오디오 신호를 생성한다. 오디오 신호는 오디오 콘텐츠 소스(104)에 의해 생성되는 오디오 입력 신호일 수 있고 아날로그 소스 재료를 기초로 한 아날로그 신호일 수 있거나, 디지털 소스 재료를 기초로 한 디지털 신호일 수 있다. 따라서, 오디오 콘텐츠 소스(104)는 아날로그 대 디지털 또는 디지털 대 아나롤그 컨버터 등의 신호 전환 능력을 포함할 수 있다. 일례에서, 오디오 콘텐츠 소스(104)는 2개의 오디오 입력 채널(110)에 마련되는 우측 및 좌측 채널을 나타내는 2개의 실질적으로 상이한 오디오 신호로 이루어지는 스테레오 오디오 신호를 생성할 수 있다. 다른 예에서, 오디오 콘텐츠 소스(104)는 5.1 채널, 6.1 채널, 7.1 채널 등의 2개보다 많은 오디오 입력 채널(110)에서 2개보다 많은 오디오 신호를 생성하거나, 각각 동일한 갯수의 오디오 입력 채널(110)에서 생성되는 임의의 다른 갯수의 상이한 오디오 신호를 생성할 수 있다.
증폭기(106)는 비교적 작은 진폭의 오디오 입력 신호를 수신하고 비교적 큰 진폭의 유사한 오디오 신호를 출력하는 임의의 회로 또는 독립형 디바이스일 수 있다. 2개 이상의 입력 신호가 2개 이상의 증폭기 입력 채널(112)에서 수신되고 2개 이상의 오디오 출력 채널(114)에서 출력될 수 있다. 오디오 신호의 진폭의 증폭 외에, 증폭기(106)는 또한 페이즈를 변경하거나, 주파수 등화(equalization)를 조정하거나, 딜레이를 조정하거나, 임의의 다른 형태의 조작이나 오디오 신호의 조정을 수행하는 신호 처리 능력을 포함할 수 있다. 또한, 증폭기(106)는 오디오 출력 채널(114)에 마련된 오디오 신호의 볼륨, 밸런스 및/또는 페이드(fade)를 조정하는 능력을 포함할 수 있다. 변경예에서, 증폭기는, 예컨대 라우드스피커(108)가 헤드폰 세트의 형태로 있거나 오디오 출력 채널이 다른 오디오 디바이스에 대한 입력부로서 기능할 때에, 생략될 수 있다. 또 다른 예에서, 라우드스피커(108)는, 예컨대 라우드스피커(108)가 독립형 라우드스피커일 때에 증폭기를 포함할 수 있다.
라우드스피커(108)는 룸, 차량 또는 라우드스피커(108)가 작동될 수 있는 임의의 다른 공간과 같은 청취 공간에 위치될 수 있다. 라우드스피커(108)는 임의의 크기이고 임의의 범위의 주파수에 걸쳐 작동될 수 있다. 각 오디오 출력 채널(114)은 하나 이상의 라우드스피커(108)를 구동하도록 신호를 공급할 수 있다. 각 라우드스피커(108)는 단일 트랜스듀서 또는 다중 트랜스듀서를 포함할 수 있다. 라우드스피커(108)는 또한 서브우퍼, 우퍼, 중음 및 트위터(tweeter) 등의 상이한 주파수 범위에서 작동될 수 있다. 2개 이상의 라우드스피커(108)가 오디오 시스템(100)에 포함될 수 있다.
오디오 처리 시스템(102)은 오디오 입력 채널(110)에서 오디오 콘텐츠 소스(104)로부터의 오디오 입력 신호를 수신할 수 있다. 처리 후에, 오디오 처리 시스템(102)은 증폭기 입력 채널(112) 상에 처리된 오디오 신호를 제공한다. 오디오 처리 시스템(120)은 별개의 유닛이거나 오디오 콘텐츠 소스(104), 증폭기(106) 및/또는 라우드스피커(108)와 조합될 수 있다. 또한, 다른 예에서, 오디오 처리 시스템(102)은 오디오 콘텐츠 소스(104), 오디오 증폭기(106), 라우드스피커(108) 및/또는 임의의 다른 디바이스 또는 메카니즘[기타 오디오 처리 시스템(102)을 포함]과 연결하도록 네트워크 또는 통신 버스를 거쳐 통신할 수 있다.
하나 이상의 오디오 프로세서(118)가 오디오 처리 시스템에 포함될 수 있다. 오디오 프로세서(118)는 컴퓨터 프로세서, 마이크로프로세서, 디지털 신호 프로세서, 또는 임의의 다른 디바이스, 논리 작업을 수행할 수 있는 일련의 디바이스들 또는 기타 메카니즘들과 같이 오디오 및/또는 비디오 신호를 처리할 수 있는 하나 이상의 연산 디바이스일 수 있다. 오디오 프로세서(118)는 메모리에 저장된 지시를 수행하도록 메모리(120)와 관련하여 작동될 수 있다. 이 지시는 소프트웨어, 펌웨어, 컴퓨터 코드 또는 그 몇몇의 조합의 형태일 수 있고, 오디오 프로세서(118)에 의해 수행될 때에 오디오 처리 시스템(102)의 기능성을 제공할 수 있다. 메모리(120)는 휘발성 메모리, 비휘발성 메모리, 전자 메모리, 자기 메모리, 광 메모리 또는 임의의 다른 형태의 데이터 저장 디바이스와 같은 하나 이상의 데이터 저장 디바이스의 임의의 형태일 수 있다. 지시 외에, 작동 파라미터 및 데이터가 또한 메모리(120)에 저장될 수 있다. 오디오 처리 시스템(120)은 또한 전자 디바이스, 전자 기계적 디바이스, 또는 아닐로그 신호와 디지털 신호 간의 변환을 위한 디바이스, 필터, 사용자 인터페이스, 통신 포트 등의 기계적 디바이스, 및/또는 임의의 다른 작동 기능성을 포함할 수 있고 오디오 시스템(100) 내에서 유저 및/또는 프로그래머에 엑세스될 수 있다.
작동 중에, 오디오 처리 시스템(102)은 오디오 입력 신호를 수신하고 처리한다. 일반적으로, 오디오 입력 신호의 처리 중에, 오디오 프로세서(118)는 오디오 입력 신호 내에 나타나는 복수 개의 가청 음향 소스의 각각의 복수 개의 지각 위치를 확인한다. 지각 위치는 청취자 인지 음향 스테이지 내에서 각각의 가청 음향 소스의 물리적 위치를 나타낸다. 따라서, 청취자가 실제 스테이지 상에서 발생하는 라이브 연주에 존재하면, 지각 위치는 기타리스트, 드러머, 가수 및 임의의 다른 연주자 또는 오디오 신호 내에 음향을 생성하는 물체 등의 연주자의 스테이지 상의 위치와 정렬된다.
오디오 프로세서(118)는 오디오 입력 신호를 각 (적어도) 하나의 지각 위치로부터의 오디오 콘텐츠를 각각 포함하는 공간 오디오 스트림 또는 공간 슬라이스의 세트로 분해한다. 소정의 지각 위치 내에 공동 배치된 임의의 음향 소스는 동일한 공간 오디오 스트림에 포함될 수 있다. 임의의 갯수의 상이한 공간 오디오 스트림이 청취자 인지 음향 스테이지를 가로질러 생성될 수 있다. 공간 오디오 스트림은 오디오 프로세서(118)에 의해 독립적으로 처리될 수 있다.
작동 중에, 오디오 프로세서(118)는 각각의 가청 음향 소스의 확인된 지각 위치를 기초로 하여 복수 개의 출력 채널 각각을 위한 복수 개의 필터를 발생시킬 수 있다. 오디오 프로세서(118)는 공간 오디오 스트림을 발생시키도록 오디오 입력 신호에 필터를 적용시킬 수 있다. 공간 오디오 스트림은 독립적으로 처리될 수 있다. 처리 후에, 공간 오디오 스트림은 조립되거나 달리 재결합되어 복수 개의 각 오디오 출력 채널을 갖는 오디오 출력 신호를 발생시킬 수 있다. 오디오 출력 채널은 증폭기 입력 라인(112) 상에 마련된다. 오디오 처리 시스템(102)은 오디오 입력 신호에 포함된 입력 채널의 갯수보다 많거나 적은 오디오 입력 채널을 제공할 수 있다. 이와 달리, 오디오 처리 시스템(102)은 입력 채널로서 제공된 것과 동일한 갯수의 오디오 출력 채널을 제공할 수 있다.
도 2는 스테레오 오디오 입력 신호 등의 오디오 입력 신호를 수신하는 스테레오 시스템 구성을 이용하여 형성된 청취자 인지 음향 스테이지(200)에 걸쳐서 인지를 예시하는 예이다. 도 2에서, 좌측 라우드스피커(202)와 우측 라우드스피커(204)는 청취 위치(206)에서 청취자에 의해 수신되는 음향을 생성하도록 오디오 콘텐츠 소스의 각각의 좌측 채널 및 우측 채널에 의해 구동된다. 다른 예에서, 추가의 채널 및 각각의 라우드스피커, 라우드스피커 위치 및 추가의/상이한 크기의 청취 위치가 예시될 수 있다.
도 2에서, 청취 위치(206)는 각 라우드스피커(202, 204)에 대한 거리가 실질적으로 동일하도록 실질적으로 라우드스피커(202, 204) 사이에 있는 중앙 지점(208)에 배치된다. 이 예에서, 라우드스피커(202, 204)로부터 방출되는 가청 음향을 기초로 하여 청취자 인지 음향 스테이지(200) 내에서 임의의 갯수의 음향 소스의 지각 위치를 청취자가 결정하게 하도록 3개의 인자들이 조합될 수 있다. 인자들은 좌측 및 우측 채널에 있는 음향 소스의 상대적 진폭 레벨, 좌측 및 우측 채널에 있는 음향 소스의 상대적 딜레이(도착 시간), 그리고 좌측 및 우측 채널에 있는 음향 소스의 상대적 위상을 포함한다.
음향 소스의 레벨이 좌측 채널[좌측 라우드스피커(202)]에서 더 큰 것으로 청취 위치(206)에서 인지되면, 음향 소스는 좌측 라우드스피커(202)에 더 가까운 청취자 인지 음향스테이지(200)에서 제1 지각 위치(S1; 210)에 배치될 청취자에 의해 인지되게 된다. 유사하게, 음향 소스가 우측 라우드스피커(204)로부터 청취 위치(206)에 먼저 도착하면, 음향 소스는 우측 라우드스피커(204)에 더 가까운 제2 지각 위치(S2; 212)에서 청취자 인지 음향스테이지(200)에 배치되는 것으로 인지되게 된다. 따라서, 소리의 세기 및 도착 시간에 따라, 상이한 음향 소스가 청취자 인지 음향스테이지(200)에서 상이한 지각 위치에 있는 것으로 청취자에 의해 인지될 수 있다. 또한, 라우드스피커(202, 204)가 이들 간에 상당한 위상 변경을 갖는 오디오 신호에 의해 구동되면, 음향 소스가 우측 라우드스피커(204)를 지나 있는 제3 지각 위치(S3; 214)에 배치되는 것으로 인지될 수 있다. 도 2는 청취자 인지 음향스테이지(200) 내에서 음향 소스의 몇몇의 예시적인 지점의 간단한 예시이고, 다른 예에서, 임의의 갯수의 지각 위치에 배치되는 임의의 갯수의 음향 소스가 제공될 수 있다.
도 2에서, 청취자 인지 음향스테이지(200)는 공간 슬라이스 또는 지각 위치(218, 220, 222, 224, 226, 228, 230)로서 또한 명명되는 7개의 구역으로 분할되어 있다. 다른 예에서, 청취자 인지 음향스테이지(200)는 임의의 다른 갯수의 지각 위치로서 분할될 수 있다. 도 2에서, 제1 지각 위치(S1; 210)는 제3 공간 슬라이스(222)에 위치되는 것으로 오디오 프로세서(118)에 의해 추정되고, 제2 지각 위치(S2; 212)는 제5 인지 슬라이스(226)에 위치되는 것으로 추정되며, 중앙 지점(208)은 제4 공간 슬라이스(224)에 위치되는 것으로 추정된다.
도 3은 공간 슬라이스로 분해된 청취자 인지 음향 스테이지(300)의 다른 예이다. 음향 스테이지(300)는 5.1, 6.1, 7.1 또는 몇몇의 다른 서라운드 음향 오디오 신호 등의 멀티 채널 오디오 신호를 수신하도록 서라운드 음향 시스템 구성을 이용하여 형성되었다. 도 3에서, 좌측 스피커(302), 우측 스피커(304), 중앙 스피커(316), 좌측면 스피커(308), 우측면 스피커(310), 좌측 후방 스피커(312), 우측 후방 스피커(314)는 청취자 위치(316)로부터 멀리 위치된다. 청취 위치(316)는 라우드스피커(302, 304, 306, 308, 310, 312, 314)의 원형 위치로 인해 실질적으로 동심 지점에 배치된다. 다른 예에서, 임의의 다른 갯수의 라우드스피커 및/또는 라우드스피커 위치 뿐만 아니라 청취자 위치가 예시될 수 있다.
도 3에서, 각각의 라우드스피커(302, 304, 306, 308, 310, 312, 314)에 각각 대응하는 7개의 공간 슬라이스 또는 지각 위치(320, 322, 324, 326, 328, 330, 332)가 청취자 위치(316)를 둘러싼다. 다른 예에서, 임의의 갯수의 공간 슬라이스가 사용될 수 있다. 또한, 각 공간 슬라이스의 폭은 여러 예에서 상이할 수 있다. 예컨대, 공간 슬라이스는 청취자 인지 음향 스테이지(300) 내에서 오버랩되거나 떨어져 있을 수 있다.
오디오 프로세서(118)는 제3 공간 슬라이스(324) 내에 배치되도록 청취자 인지 음향 스테이지(300) 내에 제1 인지 음향 소스(S1; 336)를 추정할 수 있고, 제2 인지 음향 소스(S2; 338)는 제6 공간 슬라이스(330) 내에 배치되는 것으로 추정될 수 있다. 다른 예에서, 임의의 갯수의 인지 음향 소스는 공간 슬라이스(320, 322, 324, 326, 328, 330, 332) 내에 배치될 수 있다.
청취자 인지 음향 스테이지 내에 음향 소스의 배치 추정은 오디오 입력 신호의 채널들의 상대 진폭, 위상 및 도착 시간의 비교를 기초로 할 수 있다. 우측 채널(R) 및 좌측 채널(L)로 이루어지는 스테레오 오디오 입력 신호의 예에서, 오디오 프로세서에 의해 추정된 지점의 계산은 수학식 1을 기초로 한다.
Figure pct00001
여기서, S(ω)는 각각의 청취자 인지 음향 스테이지(300)에서 추정된 지점이고, L(ω)는 주파수 도메인에서 좌측 오디오 입력 신호의 (실제 성분와 가상 성분로 이루어지는) 복소수 표시이며, R(ω)은 주파수 도메인에서 우측 오디오 입력 신호의 (실제 성분와 가상 성분로 이루어지는) 복소수 표시이고, B는 밸런스 함수이다. VL(ω)와 VR(ω)은 1과 동일한 크기를 각각 갖는 (실제 성분와 가상 성분로 이루어지는) 별개의 복소수 벡터이다. VL(ω)와 VR(ω)은 L(ω) 및 R(ω)에 주파수 종속 딜레이를 적용하도록 사용될 수 있다. 딜레이의 값, 및 이에 따라 VL(ω) 및 VR(ω)의 값은 좌측(L) 및 우측(R) 입력 채널에서 소정의 음향 소스의 도착 시간에 존재할 수 있는 임의의 차이를 오프셋하도록 선택될 수 있다. 그러므로, VL(ω)과 VR(ω)은 2개의 입력 채널에서 소정의 음향 소스를 시간 정렬시키도록 사용될 수 있다. VL(ω)과 VR(ω)에 의해 제공되는 딜레이는 별법으로서 좌측 및 우측 오디오 입력 신호를 주파수 도메인으로 변환시키기 전에 시간 도메인에서 달성될 수 있다는 것을 알 것이다. 변수 ω는 주파수 또는 주파수 범위를 나타낸다. 밸런스 함수는 청취자 인지 음향 스테이지에 있는 음향 소스가 청취자 인지 음향 스테이지의 중앙의 좌측에 있는지 또는 청취자 인지 음향 스테이지의 중앙의 우측에 있는지를 식별하도록 사용될 수 있다. 밸런스 함수(B)는 수학식 2로 나타낼 수 있다.
Figure pct00002
여기서, A는 우측 오디오 입력 신호(R)의 크기에 대한 좌측 오디오 입력 신호(L)의 크기의 오디오 프로세서(118)에 의한 진폭 비교의 표시이다. 일례에서, A는 좌측 오디오 입력 신호의 진폭이 우측 오디오 입력 신호의 진폭보다 클 때에 오디오 프로세서(118)에 의해 1로 설정될 수 있고, A는 좌측 오디오 입력 신호의 진폭이 우측 오디오 입력 신호의 진폭과 동일할 때에 0으로 설정될 수 있으며, 좌측 오디오 입력 신호의 진폭이 우측 오디오 입력 신호의 진폭보다 작을 때에 -1로 설정될 수 있다.
5개 또는 6개의 입력 채널 서라운드 오디오 소스와 같이 다수의 입력 채널이 존재하는 경우에, 다수의 입력 채널을 고려하도록 수학식 1과 2 대신에 다른 수학식이 사용될 수 있다.
Figure pct00003
여기서, S(ω)는 각각의 청취자 인지 음향 스테이지(300)에서 추정된 지점이고, Mk(ω)는 주파수 도메인에서 k번째 오디오 입력 신호의 (실제 성분 및 가상 성분로 이루어지는) 복소수 표시이고, Vk(ω)는 (실제 성분 및 가상 성분로 이루어지는) 복소수 방향 벡터이다. C는 1보다 큰 정수이고 입력 채널의 갯수를 나타내며, 이에 따라 5개의 입력 채널 서라운드 오디오 소스의 경우에, C=5이다. 방향 벡터 Vk(ω)의 값은 다채널 입력 신호를 위해 의도된 바와 같이 스피커 위치의 각도를 나타내도록 선택될 수 있다. 예컨대, 5개의 입력 채널을 갖는 다채널 입력 신호의 경우에, 0도로 전방에 배치된 중앙 스피커, ±30도의 좌측 및 우측 스피커, 및 ±110도의 좌측 및 우측 후방 서라운드 스피커로 이루어지는 통상적인 재생 구성을 위해 입력 신호가 생성되었다고 가정하는 것이 타당하다. 이 예의 구성의 경우에, 방향 벡터들의 적당한 선택은 VCenter(ω) = 1 + 0i, VLeft(ω) = 0.866 + 0.5i, VRight(ω) = 0.866 - 0.5i, VLeftSurround(ω) = -0.342 + 0.940i, 및 VRightSurround(ω) = -0.342 - 0.940i이고, 여기서 i는 -1의 제곱근인 복소수 연산자이다. 수학식 3은 합성 단일 벡터를 유도하기 위하여 입력 신호 채널 각각으로부터 합성 음향 필드에 대한 기여를 합산하도록 사용될 수 있다. 이 합성 신호 벡터는 (실제 성분과 가상 성분으로 이루어지는) 복소수 값이다. 수학식 3에서의 각도 함수는 합산 프로세스로부터 유발되는 합성 신호 벡터의 각도를 계산하도록 사용될 수 있다. 이 예에서 각도를 연산할 때에, 중앙 채널 스피커는 0도에 대응한다. 다른 예에서, 0도는 다른 곳에 배치될 수 있다. 인자 2/π는 +2 내지 -2 사이의 범위에 있도록 S(ω)의 값을 개산(槪算)한다. 수학식 3은 2개 이상의 채널을 갖는 입력 신호를 위해 사용될 수 있다.
이와 달리, 다른 예에서, 다수의 입력 채널은 다수의 별개의 인지 음향 스테이지가 생성되도록 수학식 1 및 2에 적용하기 위한 쌍으로 쪼개질 수 있다. 예컨대, 인지 음향 스테이지는 좌측 전방과 우측 전방 사이에, 좌측 전방과 좌측면 사이에, 좌측면과 좌측 후방 사이 등에 생성될 수 있다. 다른 예에서, 3개 이상의 입력 채널의 오디오 소스가 5개 또는 6개의 입력 채널 서라운드 오디오 소스를 2개의 입력 채널 스테레오 오디오 소스로 다운믹싱하는 것과 같이 2개의 입력 채널 오디오 소스로 다운믹싱될 수 있다. 추출 및 처리 후에, 오디오 소스는 2개 이상의 오디오 출력 채널로 다시 업믹싱될 수 있다.
도 4는 청취자 인지 음향 스테이지(404), 예컨대 도 2의 청취자 인지 음향 스테이지(200)에 대해 계산된 추정 위치[S(ω); 402] 사이의 관계를 도시하는 예시적인 그래프이다. 청취자 인지 음향 스테이지는 복수 개의 예정된 구역으로 분할될 수 있고, 각각은 예정된 범위의 위치값들 사이로부터의 위치값을 갖는다. 도 4에서, 음향 스테이지(404)의 위치값은 -2 내지 +2의 예정된 범위의 위치값에 있고, 위치 제로 구역으로서 확인된 청취자 인지 음향 스테이지(404)의 중앙 위치에서의 중앙 위치(406), -1 위치 구역으로서 확인된 좌측면 위치(408), -2 위치 구역으로서 확인된 가장 좌측면 위치(410), +1 위치 구역으로서 확인된 우측면 위치(412), 및 +2 위치 구역으로서 확인된 가장 우측면 위치(414)을 포함한다. 다른 예에서, 도 3에 도시된 청취자 인지 음향 스테이지 등의 다른 청취자 인지 음향 스테이지가 예시될 수 있다. 또한, 다른 범위의 위치값들이 청취자 인지 음향 스테이지를 가로질러 상이한 구역들을 확인하도록 사용될 수 있고, 추가의 또는 더 적은 구역이 존재할 수 있다.
도 4에서, 추정된 지각 위치[S(ω); 402]는 청취자 인지 음향 스테이지(404)의 지점들과 대응하도록 -2 내지 +2 사이에 있도록 계산된다. 다른 예에서, 추정된 지각 위치[S(ω); 402]를 나타내도록 다른 값이 사용될 수 있다. 추정된 지각 위치[S(ω); 402]의 값은 진폭 비교 A를 기초로 하여 +, - 또는 0이 되도록 수학식 1에 따라 계산된다(수학식 2).
오디오 시스템 내의 작동 및 신호 처리는 오디오 입력 신호의 분석을 기초로 하여 주파수 도메인에서 또는 시간 도메인에서 발생될 수 있다. 간결성을 위해, 본 논의는 주파수 도메인 기반 실시에 주로 집중하지만, 시간 기반 실시, 또는 조합 시간 기반 실시 및 주파수 기반 실시가 가능하고 시스템의 범위 내에 있다.
오디오 입력 신호는 오버래핑 윈도우 분석을 시간 샘플 블록에 적용하고 그 샘플을 이산 푸리에 변환(DFT; Discrete Fourier Transform), 파형 변환 또는 다른 변환 프로세스를 이용하여 변환시킴으로써 주파수 도메인 표시로 전환될 수 있다. 시간 샘플의 각 블록은 오디오 입력 신호의 적시의 순간 또는 스냅샷으로 명명될 수 있다. 적시의 순간 또는 스냅샷은 임의의 예정된 시간 주기 또는 시간 윈도우일 수 있다. 따라서, 오디오 입력 신호는 스냅샷들 또는 연속적인 또는 불연속적인 세그먼트의 시퀀스로 분할될 수 있고, 각 세그먼트는 시작 시간과, 이 시작 시간과 종료 시간 사이에 예정된 양의 시간을 구성하는 종료 시간을 갖는다. 오디오 입력 신호의 한 세그먼트의 종료 시간은 세그먼트들이 단부 대 단부 구성으로 형성되도록 오디오 입력 신호의 후속 세그먼트의 시작 시간에 인접할 수 있다. 일례에서, 각 세그먼트는 약 10 밀리초의 기간을 갖는 시간 윈도우 또는 스냅샷을 나타낼 수 있다. 통상적으로, 스냅샷은 약 5 내지 50 밀리초의 기간을 갖는다. 주파수 도메인에서, 오디오 입력 신호의 각 스냅샷은 예정된 주파수 스펙트럼을 가로질러 복수 개의 주파수 통으로 분리될 수 있다. 주파수 통은 예정된 주파수 범위, 예컨대 0 Hz 내지 24 kHz의 가청 주파수 범위를 둘러싸도록 각각 약 50 Hz 등의 예정된 크기일 수 있다. 예컨대, 48 kHz 등의 예정된 샘플 속도와, 1024개의 통과 같은 예정된 갯수의 통을 기초로 하여, 각 통은 46.875 Hz의 대역폭을 가질 수 있다. 다른 예에서, 통의 크기는 오디오 입력 신호의 샘플 속도를 기초로 하여 오디오 처리 시스템에 의해 동적으로 그리고 자동적으로 변경될 수 있다. 예컨대, 오디오 입력 신호가 44.1 kHz, 48 kHz, 88.2 kHz 또는 96 kHz의 샘플 속도로 샘플링될 수 있는 디지털 신호이면, 오디오 입력 신호의 샘플 속도는 오디오 처리 시스템에 의해 감지될 수 있고, 이에 따라 주파수 통의 크기는 오디오 처리 시스템이 오디오 입력 신호의 샘플 속도로 작동되도록 조절될 수 있다.
일 실시예에서, 0 Hz 내지 24 kHz의 가청 주파수 범위에 걸쳐 1024개의 주파수 통이 존재할 수 있다. 이와 달리, 오디오 입력 신호의 스냅샷은 병렬형 대역 통과 필터의 뱅크를 이용하여 시간 도메인에서 주파수 뱅크로 분할될 수 있다. 오디오 입력 신호는 또한 수학식 1 및 2를 기초로 하여 청취자 인지 음향 스테이지를 가로질러 예정된 갯수의 지각 위치 또는 공간 슬라이스로 분할될 수 있다. 각각의 지각 위치들 내에서, 오디오 입력 신호의 분할된 부분이 표시될 수 있다.
도 5는 청취자 인지 음향 스테이지와 수학식 1 및 2를 기초로 하여 오디오 처리 시스템(102)에 의해 발생된 예시적인 위치 필터 뱅크(500)를 나타낸다. 도 5에서, 6개의 위치 필터의 표시가 예시되어 있다. 위치 필터는 라우드스피커를 구동하도록 오디오 출력 신호에 포함된 오디오 출력 채널로서 제공되는 다수의 출력 채널과 일치할 수 있다. 이와 달리, 오디오 출력 채널을 형성하여 라우드스피커를 구동시키기 전에 추가의 처리 또는 사용을 위해 대응하는 갯수의 출력 채널을 발생시키도록 임의의 갯수의 필터가 사용될 수 있다. 따라서, 임의의 갯수의 위치 필터가 사용될 수 있고, 위치 필터의 출력 채널이 더 처리된 다음 결합 또는 분할되어 라우드스피커를 구동시키도록 사용된 오디오 출력 채널의 갯수와 일치될 수 있다. 예컨대, 오디오 출력 신호에 존재하는 가청 음향 소스가 오디오 출력 채널에 대응하는 청취자 인지 음향 스테이지의 위치에 있지 않으면, 그 위치의 양쪽면에서 오디오 출력 채널을 위해 2개의 신호가 생성될 수 있다. 다른 예에서, 오디오 입력 신호에 존재하는 가청 음향 소스가 2개 이상의 오디오 출력 채널에 대응하는 청취자 인지 음향 스테이지의 위치에 있다면, 신호는 2개 이상의 오디오 출력 채널에서 2배로 될 수 있다.
도 5에서, 위치 필터는 오디오 출력 신호에 대응하는 출력 채널을 포함할 수 있다. 따라서, 위치 필터는 중앙 채널 출력 필터(502), 우측 전방 출력 필터(504), 좌측 전방 출력 필터(506), 우측면 출력 필터(508), 좌측면 출력 필터(510), 우측 후방 출력 필터(512) 및 좌측 후방 출력 필터(514)를 포함한다. 이 예에서, 출력 필터(502, 504, 506, 508, 510, 512, 514)는 서라운드 음향 오디오 시스템에서 중앙, 우측 전방, 좌측 전방, 우측면, 좌측면, 우측 후방 및 좌측 후방 지정된 라우드스피커 등의 각각의 라우드스피커를 구동시키는 출력 채널에 대응할 수 있고, 하나 이상의 스피커는 원하는 효과를 제공하기 위해 청취자의 귀 또는 임의의 다른 스피커 위쪽 또는 아래쪽 높이의 인지를 제공한다. 다른 예에서, 출력 필터(502, 504, 506, 508, 510, 512 및 514)는 궁극적으로 2개 이상의 오디오 출력 채널의 일부가 되도록 더 처리되는 중간 출력 채널에 대응할 수 있다. 다른 예에서는 요구에 따라 더 적거나 많은 갯수의 위치 필터가 제공 및 사용될 수 있다. 위치 필터 뱅크(500)는 이득 축(518)으로서 확인된 제1 축과, 추정된 지각 위치[S(ω); 도 4]에 대응하는 추정된 지각 위치 축(520)으로서 확인된 제2 축을 포함한다. 도 5에서, 이득 축(518)은 수직축이고, 추정된 지각 위치 축(520)은 수평축이다.
각 필터는 청취자 인지 음향 스테이지를 가로질러 음향 소스의 추정된 지각 위치를 기초로 하여 구성되어 오디오 프로세서(118)에 의해 실시될 수 있다. 필터는 오디오 입력 신호의 분석을 기초로 하여 주파수 도메인에서 또는 시간 도메인에서 오디오 프로세서(118)에 의해 계산될 수 있다. 주파수 도메인에서, 수학식 1과 2를 이용하면, 추정된 지각 위치가 계산될 수 있다. 전술한 바와 같이, 일례에서, 계산된 추정된 지각 위치 값은 -2 내지 +2의 값일 수 있다. 다른 예에서, 임의의 다른 범위의 값들이 계산된 추정된 지각 위치 값들을 위해 사용될 수 있다. 특정한 계산된 추정된 지각 위치를 기초로 하여, 대응하는 이득 값이 결정될 수 있다.
도 5에서, 교차점(524)은 이득 축(518)에서 약 0.5의 이득 값에서 존재한다. 교차점(524)은 제1 위치로부터 멀어지고 제2 위치를 향하는 음향 에너지의 천이의 시작을 마킹할 수 있다. 출력 채널을 나타내는 위치 필터의 경우에, 교차점(524)은 제1 출력 채널과 제2 출력 채널 사이의 음향 에너지의 천이를 지시할 수 있다. 바꿔 말하면, 이 예에서, 한 채널에서의 이득 값이 감소함에 따라, 다른 채널에서의 이득 값이 이에 따라 증가할 수 있다. 따라서, 적시에 임의의 소정 지점에서 인접하게 배치된 출력 채널에 출력된 음향는 계산된 추정된 지각 위치 값들을 기초로 하여 인접하게 배치된 출력 채널들 사이에 할당될 수 있다. 예컨대, 중앙 채널 출력 필터(502)는 계산된 추정된 지각 위치 값이 0에 있을 때에 1의 이득에 있는 반면, 계산된 추정된 지각 위치 값이 -0.5에 있을 때에, 중앙 채널 출력 필터(502)의 이득 값은 약 0.15에 있고, 좌측 전방 채널 출력 필터(506)의 이득 값은 약 0.85에 있다. 교차점(524)은 각각의 위치 필터를 나타내는 라인들의 기울기를 특징으로 한 필터 구조를 기초로 하여 조정될 수 있다.
따라서, 적시의 순간에 추정된 지각 위치(520)를 계산함으로써, 오디오 처리 시스템은 적시의 동일한 순간 동안에 출력 필터를 위한 대응하는 이득 값을 생기게 할 수 있다. 전술한 바와 같이, 오디오 입력 신호는 주파수 대역으로 분할된다. 따라서, 계산된 이득 값은 추정된 지각 위치(520)를 계산하도록 각각의 주파수 대역에서 오디오 입력 신호의 일부에 대한 수학식 1 및 2의 적용을 기초로 하여 각각의 주파수 대역 내에서 계산된다. 도 5에 도시된 교차점(524)은 0.5 외의 이득 값에서 발생할 수 있다. 도 5에 도시된 예의 위치 필터(502, 504, 506, 508, 510, 512, 514)는 인접한 필터하고만 오버랩한다. 인접한 필터들 사이에 더 많거나 적은 오버랩을 갖는 다른 위치 필터 구조가 사용될 수 있다. 3개 이상의 위치 필터가 청취자 인지 음향 스테이지를 가로질러 음향 소스의 소정의 추정된 지각 위치[S(ω)]를 위한 0이 아닌 이득 값을 갖는 위치 필터 구조가 고안될 수 있다. 추가적으로 또는 대안으로, 위치 필터의 이득 값은 양수 및 음수일 수 있다.
도 6은 적시의 순간에 청취자 인지 음향 스테이지(600)를 가로질러 지각 위치 또는 공간 슬라이스(602)의 예정된 갯수(x)를 묘사하는 청취자 인지 음향 스테이지(600)의 예시적인 도면이다. 전술한 바와 같이, 7개의 공간 슬라이스가 도시되어 있지만, 임의의 갯수(x)의 공간 슬라이스(602)가 가능하다. 도 6에서, 청취자 인지 음향 스테이지(600)는 중앙(608)을 중심으로 대체로 대칭인 좌측 라우드스피커(604)와 우측 라우드스피커(606)를 포함한다. 다른 예에서, 도 3에 도시된 서라운드 음향 청취자 인지 스테이지와 같이 청취자 인지 음향 스테이지의 다른 구성이 실시될 수 있다.
전술한 바와 같이, 수학식 1 및 2는 예정된 주파수 대역 또는 주파수 통으로 분할된 오디오 입력 신호에 적용된다. 계산된 추정된 지각 위치 값을 기초로 하여 이득 값이 또한 전술한 바와 같이 유도될 수 있다. 이득 값은 공간 슬라이스(602)의 각각의 공간 슬라이스에 대한 이득 위치 벡터(610)에 의해 나타내는 위치 필터에 포함될 수 있다. 각 이득 위치 벡터(610)는 0 내지 1에 달하는 이득 값 등의 이득 값(612)을 포함할 수 있다.
도 6에서, 이득 값(612)은 Gsn으로 나타내는데, 여기서 "s"는 공간 슬라이스 번호이고 "n"은 주파수 통 번호에 대응하는 각각의 이득 위치 벡터(610)에서 주파수 대역 위치이다. 각 이득 위치 벡터(610)는 공간 슬라이스(602) 중 특정한 공간 슬라이스 내에서 제1 예정된 주파수(f1)로부터 제2 예정된 주파수(f2)까지의 오디오 입력 신호의 주파수 범위를 수직 방향으로 나타낼 수 있다. 각 이득 위치 벡터(610)에서 이득 값(612)의 번호는 오디오 입력 신호가 분할된 주파수 통(Bn)의 번호에 대응할 수 있다. 전술한 바와 같이, 오디오 입력 신호는 0 Hz 내지 20 kHz와 같이 예정된 범위의 주파수(f1 내지 f2)를 가로질러 1024개의 통과 같은 예정된 갯수의 주파수 통으로 분할될 수 있다. 따라서, 일례에서, 각 이득 위치 벡터(610)는 0 Hz 내지 24 kHz의 주파수 범위에 걸쳐서 1024개의 이득 값(612; n = 0 내지 1023)을 포함할 수 있고, 이는 오디오 입력 신호가 48 kHz일 때에 전체 주파수 범위의 약 46.875 Hz 폭 증분와 같이 대역폭(또는 주파수 통)의 각각의 예정된 부분에 대해 이득 값을 초래할 수 있다.
작동 중에, 오디오 입력 신호가 이득 위치 필터에 적용될 수 있다. 적시의 각 순간에, 각 이득 위치 벡터(610) 내에 각 이득 값(612)은 다음과 같이 대응하는 주파수 통(Bn)에서 오디오 입력 신호(In)의 일부와 곱셈될 수 있다.
Figure pct00004
여기서, Ssn은 주파수 통 번호 "n"에 대응하는 공간 슬라이스 번호 "s"의 음향 소스 값이다.
각각의 공간 슬라이스에서 음향 소스 값(Ssn)의 어레이로부터 형성된 결과적인 음향 소스 벡터(Ss)는 적시의 순간 동안에 각각의 음향 소스를 공간 슬라이스(602)에 거주시킬 수 있다. 음향 소스 벡터(Ss)의 각각의 음향 소스 값("n" 음향 소스 값)은 이득 값과 유사하게 주파수 통(Bn)에 따라 예정된 주파수 범위(f1 내지 f2)에 걸쳐 분배될 수 있다. 따라서, 특정한 공간 슬라이스(602)에서 음향 소스의 주파수 범위는 f1 내지 f2의 예정된 주파수 범위에 걸쳐 완전히 나타낼 수 있다. 또한, 주파수 통(Bn)에 대응하는 주파수의 임의의 소정 대역에서 "s" 공간 슬라이스(602)를 수평방향으로 가로질러, 오디오 입력 신호에서 청취자 인지 음향 스테이지(600)에 걸쳐 존재하는 모든 음향 소스가 나타낼 수 있다. 이득 값(612)이 동일한 주파수 통(Bn)에 대해 청취자 인지 음향 스테이지를 수평방향으로 가로질러 적용되기 때문에, 이득 값(612)이 소정의 주파수 대역(n)에서 공간 슬라이스(들)(602)에 걸쳐 추가되면, 그 결과는 최대 이득 값일 수 있다. 예컨대, 이득 값의 범위가 0 내지 1이면, 제1 주파수 통(B1)에 대한 모든 공간 슬라이스(602)에 걸쳐 이득 값(612)의 수평방향 합계는 1일 수 있다.
각각의 공간 슬라이스(602)에서의 음향 소스 벡터(Ss)는 청취자 인지 음향 스테이지에 걸쳐 하나 이상의 음향 소스 또는 오디오 음향 소스를 나타낼 수 있다. 오디오 입력 신호(오디오 소스 재료)는 각 음향 소스를 지각에 의해 배치하도록 혼합 엔지니어에 의해 생성 또는 혼합될 수 있었다. 예컨대, 음향 엔지니어는 오디오 녹음이 오디오 시스템을 통해 재생될 때에 청취자가 콘서트홀 전방 근처, 연주가들의 그룹이 악기를 연주하고 노래하는 스테이지의 중앙 근처의 좌석에 위치되는 것으로 인지하도록 스테레오 오디오 녹음을 생성(또는 혼합)하도록 노력할 수 있다. 이 예에서, 음향 엔지니어는 예컨대 가수가 음향 스테이지의 중앙 근처에 위치되고, 베이스 기타가 청취자 인지 음향 스테이지의 좌측에 위치되며, 피아노가 음향 스테이지의 우측에 위치되도록 밴드의 멤버들을 청취자 인지 음향 스테이지를 가로질러 분배하도록 오디오 녹음을 혼합할 수 있다. 다른 예에서, 오디오 녹음이 서라운드 음향 오디오 녹음으로서 생성될 때에, 음향 엔지니어는 청중에 존재하고 녹음에 포함된 다른 청취자가 청취자의 후방 및/또는 옆에 있는 것으로 인지되는 콘서트홀에서 청취자가 청중의 일부로서 인지하기를 바랄 수 있다.
각 음향 소스는 이제 각각의 공간 슬라이스에서 별개의 음향 소스 벡터(Ss)에 포함될 수 있다. 따라서, 개별적인 음향 소스의 조정 및 추가 처리는 개별적인 음향 소스 벡터(Ss)를 더 처리함으로써 수행될 수 있다. 위치 필터 뱅크에서 위치 필터의 갯수가 오디오 출력 채널의 갯수와 동일하면, 각 음향 소스 벡터(Ss)는 라우드스피커를 구동하도록 소스 재료로서 사용될 수 있다. 이와 달리, 오디오 출력 채널의 갯수가 음향 소스 벡터(Ss)의 갯수보다 많거나 적은 경우에, 음향 소스 벡터(Ss)는 집합, 결합, 분할, 중복, 통과되고 및/또는 음향 소스 벡터를 포함하는 오디오 출력 채널의 각각의 갯수를 포함하기 위해 오디오 출력 신호를 발생시키도록 달리 처리될 수 있다. 오디오 출력 신호에 포함된 오디오 출력 채널은 또한 하나 이상의 각각의 라우드스피커를 구동시키도록 출력되기 전에 추가 처리될 수 있다.
도 7은 주파수 도메인에서 작동하는 오디오 처리 시스템(102)의 기능적 처리 블록의 블록도 예이다. 오디오 처리 시스템(102)은 오디오 입력 신호 분석 모듈(700)과 후처리 모듈(702)을 포함한다. 오디오 입력 신호 분석 모듈(700)은 오디오 입력 전처리 모듈(704), 음향 소스 벡터 생성 모듈(706) 및 파라미터 입력 제어기 모듈(708)을 포함한다. 다른 예에서, 오디오 처리 시스템(102)의 기능을 설명하도록 추가의 모듈 또는 보다 적은 모듈이 사용될 수 있다. 여기에 사용된 바와 같이, "모듈" 또는 "모듈들"이라는 용어는 소프트웨어(컴퓨터 코드, 지시) 또는 하드웨어(예컨대, 회로, 전기 구성요소 및/또는 로직) 또는 소프트웨어와 하드웨어의 조합으로서 정의된다.
도 7에서, 오디오 입력 전처리 모듈(704)은 오디오 입력 신호를 수신할 수 있다. 오디오 입력 신호(712)는 입력 신호들의 스테레오 쌍, 멀티 채널 오디오 입력 신호, 예컨대 5 채널, 6 채널 또는 7 채널 입력 신호, 또는 2개의 오디오 입력 신호 이상의 임의의 다른 갯수의 오디오 입력 신호일 수 있다. 오디오 입력 전처리 모듈(704)은 주파수 도메인 전환 프로세스에 대한 타임 도메인의 임의의 형태를 포함할 수 있다. 도 7에서, 오디오 입력 전처리 모듈(706)은 각각의 오디오 입력 신호(712)를 위한 윈도잉 모듈(714)과 컨버터(716)를 포함한다. 윈도잉 모듈(714)과 컨버터(716)는 윈도우 분석을 시간 샘플의 블록에 대해 오버랩하고 샘플을 이산 푸리에 변환(DFT) 또는 기타 변환 프로세스를 이용하여 전환시키는 것을 수행할 수 있다. 다른 예에서, 오디오 입력 신호의 처리는 시간 도메인에서 수행될 수 있고, 오디오 입력 전처리 모듈(704)은 오디오 입력 신호 처리 모듈(700)로부터 생략될 수 있으며, 시간 도메인 필터 뱅크에 의해 대체될 수 있다.
전처리된(또는 전처리되지 않은) 오디오 입력 신호는 음향 소스 벡터 생성 모듈(706)로 제공될 수 있다. 음향 소스 벡터 생성 모듈(706)은 음향 소스 발생 벡터(Ss)를 발생시킬 수 있다. 음향 소스 벡터 생성 모듈(706)은 이득 벡터 생성 모듈(720), 신호 분류자 모듈(722) 및 벡터 처리 모듈(724)을 포함할 수 있다. 이득 벡터 생성 모듈(720)은 도 6을 참조하여 논의한 바와 같이 공간 슬라이스(602) 각각을 위한 이득 위치 벡터(610)를 발생시킬 수 있다.
이득 벡터 생성 모듈(720)에 의한 이득 위치 벡터의 발생은 추정된 위치 생성 모듈(728), 위치 필터 뱅크 생성 모듈(730), 밸런스 모듈(732), 인지 모델(734), 소스 모델(736) 및 유형 검출 모듈(738)에 의한 처리를 포함할 수 있다. 추정된 위치 생성 모듈(728)은 전술한 바와 같이 수학식 1을 이용하여 추정된 지각 위치 값을 계산할 수 있다. 위치 필터 뱅크 생성 모듈(730)은 도 5를 참조하여 전술한 바와 같이 위치 필터 뱅크(500)를 계산할 수 있고, 밸런스 모듈은 음향 소스 발생 벡터(Ss)를 계산하도록 수학식 2를 이용할 수 있다.
인지 모델(734)과 소스 모델(736)은 추정된 위치 생성 모듈(728), 위치 필터 뱅크 생성 모듈(730) 및 밸런스 모듈(732)에 의해 이득 위치 벡터를 형성하기 위해 처리를 개선시키도록 사용될 수 있다. 일반적으로, 인지 모델(734)과 소스 모델(736)은 청취자 인지 음향 스테이지 내에 가청 음향 소스의 계산된 위치에서 급변을 보상하도록 스냅샷 바이 스냅샷(snapshot-by-snapshot) 기초로 이득 위치 벡터의 계산에서의 조정을 가능하게 하도록 협동 작동할 수 있다. 예컨대, 인지 모델(734)과 소스 모델(736)은 달리 지각 위치에서 급변을 유발할 수 있는 청취자 인지 음향 스테이지에서 특정한 음향 소스의 존재 및 진폭의 급변을 보상할 수 있다. 인지 모델은 시간에 걸쳐(예컨대, 다수의 스냅샷에 걸쳐) 이득 위치 벡터의 발생 중에 시간 기반 청각 차폐 추정치와 주파수 기반 청각 차폐 추정치 중 적어도 하나를 기초로 하여 이득 위치 벡터의 평활화를 수행할 수 있다. 소스 모델(736)은 오디오 입력 신호를 모니터하고 예정된 갯수의 스냅샷에 걸쳐 오디오 입력 신호의 진폭 및 주파수의 변화의 예정된 속도를 초과하는 것을 피하도록 평활화를 제공할 수 있다.
모니터링은 각각의 스냅샷을 위해 또는 이전의 스냅샷들 중 적어도 하나를 고려하는 주파수 통 마다 기초하여 오디오 입력 신호의 적시의 순간을 위해 수행될 수 있다. 일례에서, 2개의 이전의 스냅샷은 예정된 가중 인자에 의해 개별적으로 가중되고, 평균되며 현재의 스냅샷에 대한 비교를 위해 사용된다. 가장 최근의 이전의 스냅샷은 오래된 스냅샷보다 높은 예정된 중량을 가질 수 있다. 예정된 변화 속도를 초과하는 진폭 또는 주파수의 변화의 소스 모델(736)에 의한 확인 시에, 인지 모델(734)은 오디오 입력 신호의 인지 음향 스테이지에 포함되는 소스나 가청 음향, 또는 오디오 소스의 지각 위치의 변화 속도를 감소시키도록 이득 위치 벡터의 이득 값을 자동적으로 그리고 동적으로 평활화시킬 수 있다. 예컨대, 다수의 오디오 소스가 때때로 동일한 지각 위치 또는 공간 슬라이스에 함께 있고 때때로 적시의 상이한 순간에 상이한 지각 위치를 차지할 때에, 평활화는 오디오 소스가 지각 위치들 사이에서 "점프"하는 것으로 보이는 것을 피하도록 사용될 수 있다. 그렇지 않으면, 지각 위치들 사이에 그러한 신속한 이동은 제1 출력 채널에 의해 구동되는 라우드스피커들 중 하나로부터 제2 출력 채널에 의해 구동되는 라우드스피커들 중 다른 하나로의 오디오 소스 점핑으로서 청취자에 의해 인지될 수 있다.
이와 달리, 또는 추가적으로, 소스 모델(736)은 지각 위치들이 소스 모델(736)에 포함되는 소스를 기초로 하여 오디오 입력 신호에서 확인된 오디오 소스에 따라 자동적으로 조절될 수 있는 지각 위치들 또는 공간 슬라이스들의 경계를 정의하도록 사용될 수 있다. 따라서, 오디오 소스가 2개 이상의 지각 위치에 있는 것으로 확인되면, 지각 위치를 나타내는 영역은 지각 위치의 경계를 조절함으로써 증가 또는 감소될 수 있다. 예컨대, 지각 위치의 영역은 전체 오디오 소스가 단일 지각 위치에 있도록 위치 필터 뱅크(500; 도 5)에서 필터들의 교차점의 조절에 의해 넓혀질 수 있다. 다른 예에서, 2개 이상의 오디오 소스가 동일한 지각 위치에 있는 것으로 결정되면, 지각 위치 또는 공간 슬라이스의 경계는 오디오 소스가 별개의 공간 슬라이스에 나타날 때까지 점차 감소될 수 있다. 단일 지각 위치의 다수의 오디오 소스는 예컨대 확인된 소스의 상이한 작동 주파수 범위에 대응하는 소스 모델의 소스를 확인함으로써 확인될 수 있다. 다른 공간 슬라이스의 경계는 또한 자동적으로 조절될 수 있다. 전술한 바와 같이, 지각 위치들의 경계는 서로 오버랩하거나, 멀리 떨어져 있거나, 연속적으로 정렬될 수 있다.
인지 모델(734)은 또한 적시의 한 순간으로부터 다음 순간으로의 평활한 천이를 유지하도록 이득 위치 벡터에 포함된 이득 값을 시간 경과에 따라 평활화시킬 수 있다. 소스 모델(736)은 오디오 입력 신호에 포함된 상이한 오디오 소스의 모델을 포함할 수 있다. 작동 중에, 소스 모델(736)은 오디오 입력 신호를 모니터하고 인지 모델(734)에 의해 평활화 처리를 조절할 수 있다. 일례로서, 소스 모델(736)은 드럼 등의 음향 소스의 갑작스런 온셋(onset)을 검출할 수 있고, 공간 슬라이스에 걸쳐 더럽히기보다는 공간의 특유한 위치에서 드럼의 온셋을 포착하기 위해 인지 모델(734)이 평활화의 양을 감소하게 할 수 있다. 소스 모델(736)에 포함된 모델을 이용하면, 인지 모델(734)은 얼마나 많은 소정의 주파수 대역이 약화되어야 하는지를 결정할 때에 오디오 입력 신호에 포함된 음향 소스의 물리적 특징을 설명할 수 있다. 별개의 모델로서 도 7에 도시되었지만, 인지 모델(734)과 소스 모델(736)은 다른 예들에서 결합될 수 있다.
유형 검출 모델(738)은 클래식 음악, 재즈 음악, 록 음악, 이야기와 같이 오디오 입력 신호의 유형을 검출할 수 있다. 유형 검출 모듈(738)은 오디오 입력 신호를 분류하도록 오디오 입력 신호를 분석할 수 있다. 대안적으로 또는 추가적으로, 유형 검출 모듈(738)은 오디오 입력 신호에 포함된 데이터, 무선 데이터 시스템(RDS; radio data system) 데이터, 또는 오디오 입력 신호를 특정한 유형으로서 결정하고 분류하도록 외부에서 제공된 정보의 임의의 다른 형태를 수신 및 디코딩할 수 있다. 유형 검출 모듈(738)에 의해 결정된 유형 정보는 또한 이득 벡터 결정 모듈(720)의 다른 모듈에 제공될 수 있다. 예컨대, 서라운드 음향 용례에서, 위치 필터 뱅크 생성 모듈(730)은 유형이 클래식 음악이라는 지시를 유형 검출 모듈(738)로부터 수신하고 위치 필터 뱅크(500; 도 5)에서 필터들의 교차점의 조정에 의해 자동적으로 조절하여 오디오 입력 신호의 어떠한 부분이 우측 후방 및 좌측 후방 오디오 출력 채널로 출력되는 것을 방지할 수 있다.
신호 분류 모듈(722)은 지각 위치들 중 각각의 지각 위치에 포함된 하나 이상의 오디오 소스를 확인하도록 청취자 인지 음향 스테이지를 가로질러 지각 위치(공간 슬라이스) 각각에서 작동될 수 있다. 신호 분류자 모듈(722)은 음향 소스 벡터(Ss)로부터 음향 소스를 확인할 수 있다. 예컨대, 지각 위치들 중 제1 지각 위치에서, 신호 분류자 모듈(722)은 각각의 오디오 소스를 가수의 음성으로서 확인할 수 있고, 제2 지각 위치에서, 각각의 오디오 소스는 특정한 악기, 예컨대 트럼펫으로서 확인될 수 있으며, 제3 지각 위치에서, 음성 및 특정한 악기와 같이 다수의 각각의 오디오 소스가 확인될 수 있고, 청취자 인지 음향 스테이지의 제4 지각 위치에서, 각각의 오디오 소스가 박수와 같은 청중 소음으로서 확인될 수 있다. 오디오 소스의 확인은 특정한 지각 위치에 포함된 가청 음향의 신호 분석을 기초로 할 수 있다.
신호 분류자 모듈(722)은 음향 소스의 확인을 파라미커 입력 제어기(708)로부터 수신된 입력 정보, 벡터 생성 모듈(720)의 출력 신호, 및/또는 벡터 처리 모듈(724)의 출력 신호를 기초로 할 수 있다. 예컨대, 확인은 파라미터 입력 제어기(708)로부터 제공된 RDS 데이터 신호와 같이 위치 이득 위치 벡터와 파라미터의 관점에서 음향 소스 벡터(Ss)의 주파수, 진폭 및 스펙트럼 특징을 기초로 할 수 있다. 따라서, 신호 분류자 모듈(722)은 청취자 인지 음향 스테이지에서 각각의 지각 위치 각각에 포함된 하나 이상의 오디오 소스의 분류를 수행할 수 있다. 분류는 예컨대 미리 정해진 음향 소스, 주파수 또는 음색 특징의 라이브러리와의 비교를 기초로 할 수 있다. 대안적으로 또는 추가적으로, 분류는 주파수 분석, 음색 특징, 또는 소스 분류를 수행하는 임의의 다른 메카니즘이나 기술을 기초로 할 수 있다. 예컨대, 음향 소스의 분류는 비교적 갑작스런 드럼의 온셋 특징과 같은 오디오 소스의 공지된 구별 특징을 기초로 하여 입력 신호에 포함된 반향 콘텐츠의 추출 및/또는 분석, 입력 신호에 포함된 소음 추정치의 사용, 입력 신호에 포함된 스피치의 검출, 입력 신호에 포함된 특정한 오디오 소스의 검출을 기초로 할 수 있다.
신호 분류 모듈(722)은 벡터 처리 모듈(724)이 소정의 출력 채널에 대해 소정의 공간 슬라이스 내의 소정의 음향 소스를 할당하게 할 수 있다. 예컨대, 음성 신호는 음성 신호가 청취자 인지 음향 스테이지에 배치된 것과 상관없이 소정의 출력 채널(예컨대, 중앙 출력 채널)에 할당될 수 있다. 다른 예에서, 예컨대 보다 즐겁게 되도록, 명료도를 증가시키도록, 또는 임의의 다른 이유로 원하는 음향 필드를 얻기 위하여 대화 시피치(예컨대, 이야기)로서 확인된 신호가 2개 이상의 출력 채널에 할당될 수 있다.
도 7에서, 공간 슬라이스의 분류는 1)위치 필터 뱅크 생성 모듈(730), 2)인지 모듈(734), 3)소스 모델(736) 및 4)유형 검출 모듈(738) 각각에 대해 피드백 오디오 분류 신호로서 제공될 수 있다. 피드백 오디오 소스 분류 신호는 청취자 인지 음향 스테이지에 걸쳐 각각의 지각 위치의 확인과, 각 지각 위치에 포함된 하나 이상의 오디오 소스의 확인을 포함할 수 있다. 각 모듈은 오디오 입력 신호의 후속 스냅샷의 각각의 처리를 수행할 때에 피드백 오디오 소스 분류 신호를 사용할 수 있다.
예컨대, 위치 필터 뱅크 생성 모듈(730)은 단일 공간 슬라이스와 같이 예정된 갯수의 공간 슬라이스 내에서 소정의 음향 소스의 주파수 성분들 전부 또는 거의 전부를 포착하도록 위치 필터 뱅크에서 출력 필터의 위치 및/또는 폭의 조정에 의해 지각 위치의 영역을 조정할 수 있다. 예컨대, 공간 슬라이스의 위치 및/또는 폭은 음성 신호인 것으로 확인된 오디오 소스와 같이 오디오 입력 신호 내의 확인된 오디오 소스를 추적 및 포착하도록 위치 필터 뱅크(500; 도 5)에서 필터들의 교차점의 조정에 의해 조정될 수 있다. 인지 모델(734)은 예정된 파라미터들을 기초로 하여 차폐 추정치를 조정하도록 오디오 소스 분류 신호를 사용할 수 있다. 예시적인 예정된 파라미터는 음향 소스가 강한 조화 구조를 갖고 있는지의 여부, 및/또는 음향 소스가 급격한 온셋을 갖고 있는지의 여부를 포함한다. 소스 모델(736)은 청취자 인지 음향 스테이지의 공간 슬라이스에서 오디오 소스를 확인하도록 피드백 오디오 소스 분류 신호를 사용할 수 있다. 예컨대, 피드백 오디오 소스 분류 신호가 몇몇의 지각 위치에서 음성 오디오 소스를 지시하고 다른 지각 위치들에서 음악 오디오 소스를 지시하는 경우에, 소스 모델(736)은 음성 및 음악 기반 모델을 오디오 입력 신호의 상이한 지각 위치에 적용할 수 있다.
신호 분류자 모듈(722)은 또한 분류자 출력 라인(726)에서 공간 슬라이스의 분류의 지시를 제공할 수 있다. 분류자 출력 라인(726) 상의 분류 데이터 출력은 분류 데이터의 수신기와 호환하는 임의의 포맷일 수 있다. 분류 데이터는 공간 슬라이스의 확인과 각 공간 슬라이스 내에 포함되는 음향 소스(들)의 지시를 포함할 수 있다. 분류 데이터의 수신기는 데이터베이스 또는 기타 데이터 보유 및 조직화 메카니즘을 갖는 저장 디바이스, 연산 디바이스, 또는 기타 내부 모듈이나 외부 디바이스 또는 모듈일 수 있다. 분류 데이터는 분류 데이터가 발생된 오디오 데이터 등의 다른 데이터와 관련하여 저장될 수 있다. 예컨대, 분류 데이터는 오디오 데이터의 헤더 또는 사이드 체인에 저장될 수 있다. 하나 이상의 스냅샷에서 개별 공간 슬라이스 또는 공간 슬라이스의 전체성의 오프라인 또는 실시간 처리는 또한 분류 데이터를 이용하여 수행될 수 있다. 오프라인 처리는 연산 능력을 갖는 디바이스 및 시스템에 의해 수행될 수 있다. 헤더 또는 사이드 체인에서와 같이 오디오 데이터와 관련하여 일단 저장되면, 분류 데이터는 다른 디바이스 및 시스템에 의한 오디오 데이터의 처리의 일부로서 사용될 수 있다. 다른 연산 디바이스, 오디오 관련 디바이스 또는 오디오 관련 시스템에 의한 실시간 처리는 또한 대응하는 오디오 데이터를 처리하도록 출력 라인(726) 상에 제공된 분류 데이터를 사용할 수 있다.
유형 검출 모듈(738)은 오디오 입력 신호의 유형을 확인하도록 오디오 소스 분류 신호를 사용할 수 있다. 예컨대, 오디오 소스 분류 신호가 상이한 지각 위치드에서 음성만을 지시하는 경우, 유형은 이야기로서 유형 검출 모듈(738)에 의해 확인될 수 있다.
이득 벡터 생성 모듈(720)은 벡터 처리 모듈(724)에 의해 수신하도록 이득 벡터 출력 라인(744) 상의 이득 위치 벡터를 발생시킬 수 있다. 벡터 처리 모듈(724)은 또한 오디오 입력 신호 전방향 이송 라인(746) 상의 전방향 이송 오디오 신호로서 오디오 입력 신호(712)를 수신할 수 있다. 도 7에서, 전방향 이송 오디오 신호는 주파수 도메인에 있고, 다른 예에서 벡터 처리 모듈(724)은 시간 도메인에 있거나 주파수 도메인 및 시간 도메인의 조합으로 작동할 수 있으며, 오디오 입력 신호는 시간 도메인에서 벡터 처리 모듈(724)로 제공될 수 있다.
벡터 처리 모듈(724)은 청취자 인지 음향 스테이지를 가로질러 각 공간 슬라이스를 위한 음향 소스 벡터(Ss)를 발생시키기 위해 각 주파수 통에서 오디오 입력 신호(전방향 이송 신호)에 이득 위치 벡터를 적용하도록 수학식 4를 이용할 수 있다. 음향 소스 벡터(Ss)의 개별적 및 독립적 처리는 또한 벡터 처리 모듈(724) 내에서 수행될 수 있다. 예컨대, 개별적 음향 소스 벡터(Ss)는 필터링되거나, 벡터 처리 모듈(724)에 의해 출력되기 전에 진폭 조절될 수 있다. 또한, 음향 소스 벡터(Ss) 중의 몇 개에 효과가 추가될 수 있고, 예컨대 추가 반향이 가수의 음성에 추가될 수 있다. 개별적 음향 소스 벡터(Ss)는 또한 독립적으로 벡터 처리 모듈(724)에 의해 처리의 일부로서 딜레이 또는 변경, 재구성, 강화 또는 정정될 수 있다. 음향 소스 벡터(Ss)는 또한 벡터 처리 모듈(724)에 의해 출력되기 전에 평활화되거나 달리 개별적으로 처리될 수 있다. 또한, 음향 소스 벡터(Ss)는 출력되기 전에 벡터 처리 모듈(724)에 의해 집합, 예컨대 결합 또는 분할될 수 있다. 따라서, 원래의 녹음은 개별적 공간 슬라이스 조정의 레벨을 기초로 하여 재생의 품질을 향상시키도록 "조정"될 수 있다.
벡터 처리 모듈(724)에 의한 처리 후에, 처리된 음향 소스 벡터(Ss)는 벡터 출력 라인(748) 상의 음향 소스 벡터 신호로서 출력될 수 있다. 각 음향 소스 벡터 신호는 오디오 비력 신호 내로부터 하나 이상의 별개의 오디오 소스를 나타낼 수 있다. 음향 소스 벡터 신호는 신호 분류자 모듈(722) 및 후처리 모듈(702)에 대한 입력 신호로서 제공될 수 있다.
파라미터 입력 제어기(708)는 이득 벡터 생성 모듈(720), 신호 분류자 모듈(722) 및 벡터 처리 모듈(724)에 파라미터 입력값을 선택적으로 제공할 수 있다. 파라미터 입력값은 이득 위치 벡터 및/또는 처리된 음향 소스 벡터(Ss)를 발생시키기 위해 처리에 영향을 주고, 변경시키며 및/또는 개선시키도록 모듈에 의해 이용할 수 있는 임의의 신호 또는 지시일 수 있다. 예컨대, 차량의 경우에, 파라미터 입력값은 외부 신호, 예컨대 엔진 소음, 거리 소음, 차량의 내외측에 배치된 마이크로폰 및 가속도계, 차량 속도, 기후 제어 세팅, 컨버터블 개방 또는 폐쇄, 음향 시스템의 볼륨, RDS 데이터, 오디오 입력 신호의 소스, 예컨대 콤팩트 디스크(CD; compact disc), 디지털 비디오 디코더(DVD; digital video decoder), AM/FM/위성 라디오, 셀룰러 전화기, 블루투스 연결, MP3 플레이어, Ipod®, 또는 오디오 입력 신호의 임의의 다른 소스를 포함할 수 있다. 다른 파라미터 입력값은 오디오 신호가 손실이 많은 인지 오디오 코덱, 사용된 코덱 타입(MP3 등), 및/또는 입력 신호가 인코딩된 비트 전송률에 의해 압축되었다는 지시를 포함할 수 있다. 유사하게, 스피치 신호의 경우에, 파라미터 입력값은 채용된 스피치 코덱 타입의 지시, 인코딩된 비트 전송률, 및/또는 입력 신호 내의 음성 활동도의 지시를 포함할 수 있다. 다른 예에서, 오디오 처리에 유용한 임의의 다른 파라미터가 제공될 수 있다.
이득 벡터 생성 모듈(720) 내에서, 파라미터 입력값은 오디오 입력 신호를 검출하도록 유형 검출 모듈(738)에 정보를 제공할 수 있다. 예컨대, 파라미터 입력값이 오디오 입력 신호가 휴대폰으로부터 입력된 것으로 지시하면, 유형 검출 모듈(738)은 오디오 입력 신호가 음성 신호라고 지시할 수 있다. 신호 분류기(722)에 제공된 파라미터 입력값이 공간 슬라이스에서 개별적인 오디오 소스를 분류하도록 사용될 수 있다. 예컨대, 파라미터 입력값이 오디오 소스가 네비게이션 시스템이라고 지시하면, 신호 분류기(722)는 오디오 소스로서 음성을 포함하는 공간 슬라이스를 주목하고 다른 공간 슬라이스는 무시한다. 또한, 파라미터는 신호 분류자(722)가 오디오 소스에 의해 특정한 공간 슬라이스에 포함된 소음 또는 다른 오디오 콘텐츠를 인식하게 할 수 있다. 벡터 처리 모듈(724)은 파라미터를 기초로 하여 공간 슬라이스의 처리를 조정할 수 있다. 예컨대, 차량의 경우에, 속도 파라미터가 보다 높은 속도에서 저주파수 오디오 소스, 또는 특정한 공간 슬라이스, 또는 특정한 음향 소스 벡터의 진폭을 증가시키도록 사용될 수 있다.
도 7에서, 음향 소스 벡터 신호는 전처리 모듈(704)과 유사한 프로세스를 이용하여 주파수 도메인으로부터 시간 도메인으로 전환시키도록 후처리 모듈(702)을 통해 처리될 수 있다. 따라서, 후처리 모듈(702)은 음향 소스 벡터 신호를 위해 컨버터(752)와 윈도잉 모듈(754)을 포함할 수 있다. 컨버터(752)와 윈도잉 모듈(754)은 시간 샘플의 블록을 전환시키도록 이산 푸리에 변환(DFT) 또는 다른 변환 프로세스를 사용할 수 있다. 다른 예에서, 시간 도메인 번환 프로세스에 대해 상이한 주파수 도메인이 사용될 수 있다. 또 다른 예에서, 벡터 출력 라인(748)에 제공된 음향 소스 벡터 신호는 시간 도메인에서 적어도 부분적으로 수행되는 음향 소스 벡터 처리 모듈(706)에 의한 처리로 인해 시간 도메인에 있을 수 있다. 음향 소스 벡터 신호 또는 후처리된 음향 소스 벡터 신호는 공간 슬라이스로 분할된 오디오 소스를 나타내고 추가 처리를 받을 수 있거나, 청취 공간에서 라우드스피커를 구동시키도록 사용될 수 있거나, 임의의 다른 오디오 처리 관련 활동을 위해 사용될 수 있다.
도 8은 오디오 입력 신호 분석 모듈(700), 음향 소스 벡터 처리 모듈(802) 및 후처리 모듈(804)을 포함할 수 있는 오디오 처리 시스템(102)의 다른 예의 블록도이다. 오디오 입력 분석 모듈(700)은 전처리 모듈(704), 음향 소스 벡터 생성 모듈(706) 및 파라미터 입력 제어기(708)를 포함할 수 있다. 또한, 음향 소스 벡터 생성 모듈(706)은 전술한 바와 같이 이득 벡터 생성 모듈(720), 신호 분류자 모듈(722) 및 벡터 처리 모듈(724)을 포함할 수 있다.
도 8에서, 전처리 모듈(704)은 좌측 스테레오 신호(L) 및 우측 스테레오 신호(R)의 형태로 오디오 입력 신호(806)를 수신한다. 다른 예에서, 임의의 갯수의 오디오 입력 신호가 제공될 수 있다. 오디오 입력 신호(806)는 전술한 바와 같이 전처리 모듈(706)에 의해 주파수 도메인으로 전환될 수 있거나, 시간 도메인에서 음향 소스 벡터 생성 모듈(706)에 의해 직접 수신될 수 있다.
음향 소스 벡터 생성 모듈(706)은 또한 전술한 바와 같이 이득 벡터 생성 모듈(720), 신호 분류자 모듈(722) 및 벡터 처리 모듈(724)을 이용하여 벡터 출력 라인(748) 상에 음향 소스 벡터(Ss)를 발생시킬 수 있다. 벡터 출력 라인(748) 상의 음향 소스 벡터(Ss)는 음향 소스 베터 처리 모듈(802)에 의해 수신될 수 있다. 음향 소스 벡터 처리 모듈(802)은 또한 각각의 공간 슬라이스[음향 소스 벡터(Ss)]에서 오디오 소스의 확인을 지시하는 신호 분류자 모듈(722)로부터 오디오 분류 신호를 수신할 수 있다.
음향 소스 벡터 처리 모듈(802)은 처리된 음향 소스 벡터(Ss)를 기초로 하여 출력 채널 라인(810) 상에 오디오 출력 채널을 발생시킬 수 있다. 음향 소스 벡터 처리 모듈(802)은 음향 소스 벡터 수정 모듈(812) 및 조립 모듈(814)을 포함할 수 있다.
음향 소스 벡터 수정 모듈(812)은 벡터 처리 모듈(724)에 관해 전술한 것과 유사한 기능성을 포함할 수 있다. 음향 소스 벡터 수정 모듈(812)은 처리된 음향 소스 벡터(Ss) 각각에서 개별적으로 작동할 수 있는 복수 개의 수정 블록(813)을 포함한다. 따라서, 음향 소스 벡터 수정 모듈(812)은 반향을 추가하고, 등화를 수행하며, 딜레이를 추가하고, 효과를 추가하고, 동적 범위 압축 또는 팽창을 수행하며, 과도 현상을 향상시키고, 신호 대역폭을 연장시키며, 분실 신호 성분을 재구성하도록 삽입 및/또는 보외(補外)하고, 및/또는 음향 소스 벡터(Ss) 마다 기초하여 임의의 다른 오디오 처리 관련 활동을 수행하도록 사용될 수 있다. 음향 소스 벡터 수정 모듈(812) 내의 처리는 강등된 오디오 신호를 정정, 복구 및 강화시키도록 사용될 수 있다. 따라서, 청취자 인지 음향 스테이지에 걸쳐 개별적 공간 슬라이스는 다른 음향 소스 벡터(Ss)에서 임의의 다른 오디오 소스에 영향을 미치는 일 없이 독립적으로 수정, 조정 및/또는 보상될 수 있다. 예컨대, 특정한 공간 슬라이스의 딜레이는 특정한 공간 슬라이스의 인지를 강조하거나, 인지된 음향 스테이지의 인지된 폭을 변경시키도록 수행될 수 있다.
음향 소스 벡터 수정 모듈(812)은 또한 개별적 벡터에서 오디오 소스의 확인을 기초로 하여 개별적 음향 소스 벡터(Ss)의 수정을 수행할 수 있다. 전술한 바와 같이, 신호 분류 모듈(722)은 지각 위치들 중 각각의 지각 위치에 포함된 하나 이상의 오디오 소스를 확인하도록 청취자 인지 음향 스테이지에 걸쳐 각 지각 위치에서 작동할 수 있다. 오디오 소스의 확인 후에, 대응하는 음향 소스 벡터(Ss)는 확인된 오디오 소스를 기초로 하여 수정될 수 있다. 스냅샷 후에 처리를 위한 피드백으로서 오디오 소스의 확인을 이용하는 벡터 처리 모듈(724)과 달리, 음향 소스 벡터 수정 모듈(812)은 전방향 이송으로서 오디오 소스의 확인을 제공한다. 따라서, 음향 소스 벡터 수정 모듈(812)은 신호 분류 모듈(722)에 의해 제공되는 바와 같이 각 오디오 소스의 확인을 기초로 하여 개별적인 음향 소스 벡터(Ss)를 처리할 수 있다.
오디오 소스의 확인을 기초로 한 수정은, 개별적 오디오 소스의 정정, 입력 신호에 포함된 인지된 음향 스테이지 및/또는 개별적 오디오 소스의 폭의 조정, 반향의 레벨의 조정, 스피치 소스의 레벨의 조정, 음성 소스의 감소 또는 제거, 충돌 소스의 강화, 동적 범위 압축 또는 팽창, 대역폭 연장, 개별적 오디오 소스의 분실 성분을 재구성하는 번외 및/또는 삽입, 오디오 소스 특정 효과 또는 강화, 및 청취자 인지 음향 스테이지에 걸쳐 지각 위치 조정을 포함할 수 있다. 개별적 확인된 오디오 소스의 정정은 라이브러리 또는 다른 오디오 소스 재생성 디바이스, 예컨대 MIDI 플레이어로부터 특정한 오디오 소스의 오디오 출력 부분의 대체를 포함할 수 있다. 예컨대, 특정한 주파수에서 출력된 소음을 갖는 노트를 포함하는 색소폰으로서 확인된 오디오 소스는 라이브러리로부터 또는 색소폰의 오디오를 재생성할 수 있는 소스로부터의 색소폰 오디오 출력의 동일한 주파수에서 동일한 노트와 대체될 수 있다. 입력 오디오 신호는 인지 오디오 코덱, 예컨대 MP3 코덱, 또는 임의의 다른 형태의 분실 압축에 의한 처리의 결과로서 손상 또는 강등될 수 있다. 다른 열화/손상 소스는 불충분한 오디오 녹음 및/또는 저장 습관, AM/FM 및 위성 라디오 방송, 텔레비젼 방송, 비디오 코덱, 블루투스 등의 무선 연결, 음성 코덱 뿐만 아니라 휴대폰 네트워크를 비롯한 전화기 네트워크를 포함한다.
오디오 소스 특정 효과 또는 강화는 확인된 오디오 소스에 특정한 특별 음향 소스 벡터(Ss)에 포함된 음향 소스 값에 대한 변화를 포함할 수 있다. 예컨대, 음성으로서 확인된 오디오 소스는 진폭이 증가되거나 특정 주파수 대역으로 조정되어 음성이 청취자에게 보다 쉽게 인식되게 할 수 있다. 특정한 음향 소스 벡터(Ss)는 2개 이상의 음향 소스 벡터(Ss)에 나타나는 오디오 소스의 명료도를 증가시키도록 동적 범위 압축기의 적용에 의해 압축될 수 있다. 예컨대, 스피커 음성이 중앙 음향 소스 벡터(Ss) 뿐만 아니라 각각의 악기 또는 배경 소음을 또한 포함하는 인접한 좌측 및 우측 음향 소스 벡터에 존재하는 경우에, 중앙 음향 소스 벡터는 동적으로 압축되거나 그 레벨이 변경될 수 있다. 다른 예에서, 특정한 음향 소스 벡터(Ss)에서 트럼펫 등의 악기는 선명도를 개선하도록 등화될 수 있다.
지각 위치 조정은 청취자가 인지하는 음향 필드에서 일 위치로부터 다른 위치로 확인된 오디오 소스를 이동시키는 것을 포함할 수 있다. 예를 들면, 가수의 음성과 같은 음향 소스는 청취자가 인지하는 음성 스테이지에서 기타와 같은 제2 음향 소스가 인접 배치된 음향 소스 벡터(Ss)로 존재하는 상태에서 중앙 채널에 위치될 수 있다. 일단 신호 분류 모듈(722)에 의해 가수의 음성과 기타로 확인되면, 기타 음향 소스는 청취자가 인지하는 음향 스테이지에서 음향 소스 벡터 변경 모듈(812)에 의해 가수의 음성으로부터 더 멀리 이격되도록 이동될 수 있다. 예를 들면, 기타는 음향 소스 벡터 변경 모듈(812)에 의해 해당 오디오 소스를 오디오 소스를 포함하지 않는 것으로 확인된 다른 음향 소스 벡터(Ss)로 이동시키는 것에 의해 우측 라우드스피커 측으로 이동될 수 있다. 벡터 처리 모듈(724)은 음향 소스와 공간적 슬라이스를 가능한 최상으로 확인 및/또는 격리하도록 작동되는 반면, 음향 소스 벡터 변경 모듈(812)은 상기 확인되거나 및/또는 격리된 음향 소스 및 공간적 슬라이스를 변경하는데 사용된다.
출력 채널의 생성은 음향 소스 벡터(Ss)가 기원되는 지각 위치 또는 공간 슬라이스의 사용자 인지 음향 스테이지에서의 위치에 의존하여 다수의 음향 소스 벡터(Ss)를 조립 모듈(814)을 결합하거나 분리하는 것을 포함할 수 있다. 예를 들면, 5 출력 채널을 갖는 시스템에서, 청취자 인지 음향 스테이지의 중앙에 인접한 여러 지각적 위치로부터의 음향 소스 벡터(Ss)는 결합되어 중앙 라우드스피커를 구동하는 중앙 출력 채널을 형성할 수 있다. 오직 4개의 공간 슬라이스가 존재하는 다른 예에 따른 5채널의 서라운드 음향 출력 시스템에서, 공간 슬라이스 중 2개는 결합되어 측방 또는 후방 출력 채널을 형성할 수 있다. 다른 예에서, 지각 위치 또는 공간 슬라이스의 수는 출력 채널의 수와 일치할 수 있다. 전술한 바와 같이, 이것은 2채널 스테레오 레코딩이 5, 6, 7, 또는 임의의 수의 출력 채널로 전환될 수 있도록 한다.
음향 소스 벡터(Ss)는 원시 오디오 입력 신호에서 오디오 소스를 청취자 인지 음향 스테이지의 다른 위치로 이동시키도록 음향 소스 벡터 변경 모듈(812)과 관련하여 작동하는 조립 모듈(814)에 의해 재배열되거나 재매핑될 수 있다. 청취자 인지 음향 스테이지에서 오디오 소스 각각은 음향 소스 벡터(Ss) 중 별개의 하나에 포함될 수 있으므로, 음향 소스는 청취자 인지 음향 스테이지의 다른 위치로 이동되거나 매핑될 수 있다. 다시 말해, 오디오 입력 신호에서 각각의 오디오 소스의 청취자 인지 음향 스테이지에서의 위치가 결정 및 획득되고, 그리고 오디오 소스가 음향 소스 벡터(Ss)에 의해 개별 지각 위치 또는 공간 슬라이스로 분리되기 때문에, 음향 소스가 출력 오디오 채널에서 대체로 동일한 위치에 위치되어야 하는지 여부 또는 출력 오디오 채널에서 새로운 지각 위치로 이동되어야 하는지 여부가 결정될 수 있다.
예를 들면, 제1 지각 위치 또는 공간 슬라이스가 가수의 음성을 포함하고, 제1 지각 위치에 인접하게 위치된 제2 지각 위치가 기타를 포함하고 있으면, 가수의 음성은 중심 출력 채널에 할당되거나 매핑될 수 있고, 또한 기타는 가수의 음성에서 분리된 청취자 인지 음향 스테이지의 좌측 및 우측 모두에 할당되거나 매핑될 수 있다. 가수의 음성과 기타는 가수의 음성을 포함하는 음향 소스 벡터(Ss)를 중앙 출력 채널로 적절히 매핑하고 기타를 포함하는 음향 소스 벡터(Ss)를 조립 모듈(814)을 통해 좌우측 전방, 측방 및/또는 후방 출력 채널로 매핑하는 것에 의해 분리될 수 있다. 따라서, 오디오 처리 시스템(102)은 2채널 오디오 입력 신호를 서라운드 음향 출력 신호와 같은 임의의 수의 다채널 출력 신호로 전환할 수 있음은 물론, 오디오 입력 신호 중의 개별 오디오 소스가 원하는 출력 채널 중 임의의 하나 이상의 채널에 할당될 수 있게 할 수 있다.
또한, 음향 소스 벡터(Ss)는 출력 채널이 인접 배치된 라우드스피커를 구동시, 음향 소스 벡터(Ss)에 포함된 오디오 소스가 2개의 라우드스피커 사이에 위치된 것으로 지각적으로 인지되도록 2개의 상이한 출력 채널에 할당될 수 있다. 또한, 라우드스피커가 차량의 도어 패널, 대시보드 또는 후미 데크와 같이 차량 내에서 다른 높이와 배향으로 위치되는 경우와 같은 특별한 용례에서, 음향 소스 벡터(Ss)는 차량의 운전석 및 조수석에서 청취자의 경험을 최적화하도록 라우드스피커의 위치와 관련하여 비례적으로 선택적으로 할당될 수 있다. 또한, 음향 소스 벡터(Ss)의 그룹은 하나 이상의 출력 채널에 고정적으로 매핑될 수 있다. 대안적으로, 음향 소스 벡터(Ss)는 다른 음향 소스 벡터(Ss)가 소정의 시간 동안 하나 이상의 출력 채널에 나타난 후, 파라미터 입력 제어기(708)로부터의 외부 파라미터, 오디오 입력 신호의 내용 또는 음향 소스 벡터(Ss)의 출력 채널에 대한 매핑에 변화를 야기하는데 유용한 임의의 다른 기준에 따라 자동으로 이동될 수 있도록 조립 모듈(814)에 의해 동작으로 그룹화될 수 있다. 따라서, 출력 채널에 대한 음향 소스 벡터(Ss)의 매핑은 일-대-일, 일-대-다, 또는 다-대-일 매핑일 수 있다. 음향 소스 벡터(Ss)의 일부 또는 전부의 매핑은 좌측 입력 신호가 플레이백 스피커 어레이의 좌측의 출력 채널에(및 연속하여 스피커에도) 매핑되고, 우측 입력 신호가 플레이백 스피커 어레이의 우측의 출력 채널에(및 연속하여 스피커에도) 매핑되도록 할 수 있다. 추가로 또는 대안적으로, 음향 소스 벡터(Ss)의 일부 또는 전부의 매핑은 좌측 입력 신호가 스피커 어레이의 우측의 출력 채널에 매핑되고, 및/또는 우측 입력 신호가 스피커 어레이의 좌측의 출력 채널에 매핑되도록 할 수 있다. 추가로 또는 대안적으로, 음향 소스 벡터(Ss)의 일부 또는 전부의 매핑은 좌측 입력 신호가 스피커 어레이의 양측의 출력 채널에 매핑되고, 및/또는 우측 입력 신호가 스피커 어레이의 양측의 출력 채널에 매핑되도록 할 수 있다. 매핑의 선택은 출력 신호에 대한 바람직한 청취자 인지 음향 스테이지를 얻기 위해 필요시 사용자에 의해 미리 결정되고 설정될 수 있다. 출력 채널에 대한 음향 소스 벡터(Ss)의 매핑은 해당 매핑이 주파수에 따라 변할 수 있도록 주파수 의존적일 수 있다. 일례에서, 주파수 의존적 매핑은 재생되는 음향 스테이지에서 보다 양호하고 안정적인 공간 이미지를 얻는데 사용될 수 있다.
출력 채널 라인(810) 상의 오디오 출력 채널은 후처리 모듈(804)에 의해 수용될 수 있다. 후처리 모듈(804)은 임의의 형태의 주파수 도메인-시간 도메인 전환 프로세스를 사용하여 주파수 기반의 오디오 출력 채널을 시간 시간의 오디오 출력 채널로 전환할 수 있다. 도 8에서, 후처리 모듈(804)은 오디오 출력 신호에 포함된 오디오 출력 채널 각각에 대해 컨버터(816)와 윈도윙 모듈(windowing module)(818)을 포함한다. 컨버터(816)와 윈도윙 모듈(818)은 이산 푸리에 변환(DFT) 또는 다른 변환 처리를 사용하여 시간 샘플의 블록을 전환할 수 있다. 다른 예에서, 출력 채널 라인에 제공되는 오디오 출력 채널은 시간 도메인으로 적어도 부분적으로 수행되는 음향 소스 벡터 처리 모듈(706)에 의한 처리에 기인하여 시간 도메인으로 존재할 수 있으며, 후처리 모듈(804)은 생략될 수 있다.
도 9는 오디오 입력 신호 분석 모듈(700)과 시스템 관리 모듈(902)을 포함할 수 있는 다른 예의 오디오 처리 시스템(102)의 블록도이다. 전술한 바와 같이, 오디오 입력 신호 분석 모듈(700)은 전처리 블록(704), 음향 소스 벡터 생성 모듈(706), 파라미터 입력 제어기(708)를 포함할 수 있다. 또한, 음향 소스 벡트 생성 모듈(706)은 이득 벡터 생성 모듈(720), 신호 분류기(722) 및 벡터 처리 모듈(724)을 포함할 수 있다. 오디오 입력 신호(904)를 기초로, 오디오 입력 신호 분석 모듈(700)은 벡터 출력 라인(748)에 음향 소스 벡터(Ss)를 생성할 수 있다. 도 9에서, 오디오 입력 신호(904)는 시간 도메인에 제공된 좌/우측 스테레오 쌍으로서 예시된다. 다른 예에서, 주파수 도메인 또는 시간 도메인에 임의의 수의 오디오 입력 신호가 존재할 수 있다.
벡터 출력 라인(748)에 존재하는 음향 소스 벡터(Ss)는 시스템 관리 모듈(902)에 의해 수신될 수 있다. 시스템 관리 모듈(902)은 에너지 측정 모듈(906)과 시스템 제어 모듈(908)을 포함할 수 있다. 에너지 측정 모듈(906)은 벡터 출력 라인(748)에 각각의 음향 소스 벡터(Ss)를 수신하는 벡터 측정 모듈(910)을 포함할 수 있다. 벡터 측정 모듈(910)은 각각 음향 소스 벡터(Ss) 각각의 에너지 레벨을 측정할 수 있다. 벡터 측정 모듈(910)은 RMS(root-means-square: 제곱평균제곱근) 기반의 수단 또는 피크 기반의 수단과 같은 방법을 사용하여 신호 레벨을 측정할 수 있다. 추가로 또는 대안적으로, 벡터 측정 모듈(910)은 인지된 신호의 소리 크기를 측정할 수 있다.
시스템 제어 모듈(908)은 제어기(912), 사용자 인터페이스(914), 및 데이터 저장 모듈(916)을 포함할 수 있다. 제어기(912)는 도 1과 관련하여 설명된 프로세서(120)와 유사한 표준 프로세서이거나 프로세서(120)(도 1)로 수행된 기능성을 나타낼 수 있다. 사용자 인터페이스(914)는 사용자가 오디오 신호 처리 시스템(102)으로부터 정보를 제공 및 수신할 수 있도록 하는 임의의 시각적, 청각적 및/또는 촉각적 메커니즘 프로세스 또는 기구를 포함할 수 있다. 예를 들면, 사용자 인터페이스(914)는 전기적 신호를 소정의 시각적으로 인지 가능한 형태로 사용자에게 제공되는 정보로 변환하는 디스플레이를 포함할 수 있다. 소정의 예의 디스플레이는 액정 디스플레이(LCD), 음극선 관(CRT) 디스플레이, 전계발광 디스플레이(ELD), 헤드-업 디스플레이(HUD), 플라즈마 디스플레이 패널(PDP), 발광 다이오드 디스플레이(LED), 또는 진공 형광 디스플레이(VFD)를 포함한다. 사용자 인터페이스(914)는 오디오 신호 처리 시스템(102)와 사용자의 상호 작용을 나타내는 전기적 신호를 제어기(912)에 대해 수신 및 송신할 수 있다. 일례에서, 사용자 인터페이스(914)는 제어기(912)에 전기적으로 연결되는 사용자 입력 장치를 포함할 수 있다. 입력 장치는 휠 버튼, 조이스틱, 키패드, 터치 스크린 구성, 또는 사용자로부터 입력을 수신하고 그러한 입력을 입력 신호로서 제어기(912)에 제공할 수 있는 임의의 다른 장치 또는 메커니즘일 수 있다. 다른 예에서, 디스플레이는 신호를 제어기(912)로 전달하는 터치 스크린 디스플레이 또는 오디오 신호 처리 시스템(102)에 포함되는 임의의 다른 모듈 또는 장치일 수 있다. 사용자가 터치한 디스플레이 상의 영역, 사용자가 디스플레이를 터치한 시간 길이, 사용자가 자신의 손가락을 디스플레이에 대해 이동시키는 방향 등과 같은 정보는 다른 신호 입력으로서 오디오 신호 처리 시스템(102)으로 전달될 수 있다.
사용자 인터페이스(914)는 사용자가 오디오 신호 처리 시스템(102)과 청각적으로 상호 작용하도록 하는 음성-기반의 인터페이스를 포함할 수도 있다. 음성-기반의 인터페이스는 사용자가 마이크로폰과 음성 인식 소프트웨어를 사용하여 입력을 오디오 신호 처리 시스템(102)에 제공하도록 할 수 있다. 사용자의 음성은 마이크로폰을 사용하여 전자적 신호로 변환되고 음성 인식 소프트웨어를 사용하여 처리됨으로써 제어기(912)를 위한 텍스트 데이터를 생성할 수 있다.
데이터 저장 모듈(916)은 데이터의 입출력 기록(logging)과 저장을 가능케 하는 컴퓨터 코드를 포함할 수 있다. 컴퓨터 코드는 제어기(912)에 의해 실행 가능한 로직 및/또는 명령의 형태일 수 있다. 제어기(912)에 의한 명령의 실행은 각각의 음향 소스 벡터(Ss) 각각으로부터 에너지 레벨을 입출력하는 기능성을 제공할 수 있다. 또한, 오디오 신호 처리 시스템(102)에 제공되거나 오디오 신호 처리 시스템(102)에 의해 생성되는 임의의 다른 데이터 또는 파라미터의 입출력(logging)은 데이터 저장 모듈(916)에 의해 입출력될 수 있다. 데이터 저장 모듈(916)은 데이터베이스 유지 및 제어 툴 또는 임의의 다른 형태의 데이터 조직 및 저장 장치를 포함할 수도 있다. 데이터 저장 모듈(916)은 도 1과 관련하여 설명된 메모리(118)의 일부로서 포함될 수도 있다.
도 9의 오디오 처리 시스템(102)은 전술한 바와 같은 오디오 처리 시스템(102)의 임의의 기타의 능력과 연계하여 사용될 수 있다. 따라서, 사용자 인터페이스(914)는 오디오 처리 시스템(102)의 사용자가 전술된 오디오 처리 시스템(102)의 임의의 기능성에 영향을 미치거나 제어를 행할 수 있는 기능성을 포함할 수 있다. 예를 들면, 사용자 인터페이스(914)는 사용자가 도 5와 관련하여 설명된 개별 위치 필터의 폭과 기울기를 수동으로 조정할 수 있게 한다. 따라서, 사용자는 어떤 음향 소스 벡터(Ss)에 대해 오디오 입력 신호에 포함되는 특별한 음향 소스가 예컨대 간단한 제어 노브에 의해 위치될 수 있는지 수동으로 조정할 수 있다. 다른 예에서, 사용자는 음향 소스 벡터(Ss)가 도 8과 관련하여 설명된 조립 모듈(814)에 의해 어떻게 그룹화, 분할 또는 조작되는지를 수동으로 조정하는 능력을 가질 수 있다. 따라서, 오디오 출력 채널보다 많은 음향 소스 벡터(Ss)가 존재하는 경우, 사용자는 음향 소스가 나타나는 라우드스피커를 조정함으로써 청취자 인지 음향 스테이지 내에서 오디오 소스의 지각 위치를 조정할 수 있다. 또한, 도 7을 참조로 설명된 파라미터 입력 제어기 모듈(708)에 대한 사용자로부터의 수동 입력은 사용자 인터페이스(914)를 통해 들어갈 수 있다. 도 8을 참조로 설명된 바와 같은 음향 소스 벡터 변경 모듈(812)을 사용한 음향 소스 벡터(Ss) 또는 음향 소스 벡터(Ss)에 포함되는 오디오 소스의 수동 조정도 사용자 인터페이스(914)를 통해 수행될 수 있다. 도 9의 벡터 측정 모듈(910)의 출력은 도 8의 변경 블록(813)에 의해 사용되어, 처리된 음향 소스 벡터(Ss) 또는 해당 처리된 음향 소스 벡터(Ss)에 포함되는 오디오 소스의 레벨을 조정할 수 있다. 예를 들면, 변경 블록(813)은 벡터 측정 모듈(910)에 의해 측정된 상대 에너지 레벨을 기초로 서라운드 오디오 신호의 생성에 사용되는 음향 소스 벡터(Ss)의 에너지 레벨을 증폭시킬 수 있다.
도 10은 특별한 효과를 얻기 위해 음향 소스 벡터(Ss)에 대해 행해질 수 있는 오디오 처리 시스템(102) 내에서의 소정의 조정의 예를 나타낸다. 조정 능력은 사용자에 의해 수동으로 행해지거나, 프로세서에 의해 자동으로 행해지거나, 수동 및 자동 제어의 소정의 조합에 의해 수행될 수 있다. 도 10은 우측 라우드스피커(1004)와 좌측 라우드스피커(1006)를 구동시키는 출력 오디오 채널로 형성되는 청취자 인지 오디오 출력 음향 스테이지(1002)를 포함한다. 청취자 인지 오디오 출력 음향 스테이지(1002)는 중앙 위치(1008)를 포함한다. 다른 예에서, 청취자 인지 음향 스테이지(1002)는 도 3과 유사한 서라운드 음향 스테이지일 수 있다.
도 10에 중앙 공간 슬라이스(1010)가 예시된다. 다른 예에서, 임의의 다른 출력 채널이 유사하게 조정될 수 있다. 중앙 공간 슬라이스는 음향 소스 벡터 변경 모듈(812) 또는 조립 모듈(814)에 의해 화살표(1012)로 나타낸 바와 같이 청취자 인지 오디오 출력 음향 스테이지(1002) 내에서 적소에 조정될 수 있다. 또한, 중앙 공간 슬라이스(1010)로 연결되는 청취자 인지 음향 스테이지(1002)의 폭 또는 길이도 역시 위치 필터 뱅크(500)(도 5) 내의 중앙 공간 필터(502)의 기울기를 변경하는 것에 의해 화살표(1014)로 나타낸 바와 같이 조정될 수 있다. 임의의 공간 필터의 기울기의 조정은 인접 배치된 공간 필터와의 교차점을 변경시킬 것이다. 따라서, 도 10의 예에서 중앙 공간 슬라이스(1010)를 좁게 만드는 중앙 공간 필터(502)의 기울기의 조정은 오디오 소스를 중앙(1008)으로부터 멀리 그리고 청취자 인지 음향 스테이지(1002) 내의 좌우측 스피커(1004, 1006) 모두 또는 하나를 향해 이동시킬 수 있다. 반대로, 중앙 공간 슬라이스(1010)를 넓게 만드는 중앙 공간 필터(502)의 기울기의 조정은 청취자 인지 음향 스테이지(1002) 내에서 중앙(1008)에 가깝게 이동시킬 수 있다.
추가로 또는 대안적으로, 오디오 출력 채널의 진폭 또는 크기가 임의의 다른 오디오 출력 채널의 경우와 무관하게 조정될 수 있다. 도 10에서, 중앙 출력 채널의 진폭의 조정이 화살표(1016)로 예시된다. 진폭의 조정은 중앙 출력 채널(1010) 내에 있는 것으로 확인되는 음향 소스 벡터(Ss)에 포함되는 음향 벡터의 진폭을 조정하는 것에 의해 음향 소스 벡터 처리 모듈(802)(도 8)에서 수행될 수 있다.
이러한 진폭 조정의 특정 예의 용례는 오디오를 포함하는 비디오 방송의 영역에 있다. 텔레비젼 프로그래밍과 같은 다수의 비디오 방송은 오디오 입력 신호의 청취자 인지 음향 스테이지 내의 중앙 위치에 오디오 대화(dialogue)를 포함하기 때문에, 사용자는 오디오 입력 신호에 포함된 다른 오디오 소스를 변화되지 않게 하면서 수신된 텔레비젼 프로그래밍의 대화를 증폭하는 능력을 가질 수 있다. 따라서, 오디오 입력 신호에 포함된 배경 노이즈 때문에 대화의 청취가 어려운 보청기를 갖는 사용자와 같은 사용자는 중앙 공간 슬라이스와 관련된 음향 소스 벡터(Ss)에 관한 음향 소스 벡터(Ss)를 예컨대 6dB 정도의 미리 정해진 양으로 증폭함으로써 대화를 효과적으로 증폭하는 한편 나머지 음향 소스 벡터(Ss)의 진폭을 거의 변하지 않게 유지할 수 있다. 중앙 공간 슬라이스에 관련된 음향 소스 벡터(Ss)가 일단 증폭되면, 음향 소스 벡터(Ss)는 재결합되어 한 쌍의 스테레오 출력 채널과 같은 하나 이상의 출력 채널을 형성할 수 있다. 대안적으로 또는 추가적으로, 음성을 포함하는 것으로 확인되는 중앙 공간 슬라이스가 아닌 공간 슬라이스가 증폭될 수 있다. 또한, 음성이 이미 존재하고 있는 공간 슬라이스에서 음성의 부재의 확인을 기초로, 증폭이 선택적으로 적용될 수 있다. 다른 예에서, 아나운서 음성을 크게 하는 압축을 포함하는 텔레비젼 프로그래밍에 수신된 광고는 진폭이 감쇠될 수 있다.
일례에서, 공간 슬라이스(1010)의 위치 및/또는 폭의 조정과 오디오 출력 채널의 진폭 또는 크기의 조정에 의한 공간 슬라이스(1010)의 영역의 조정은 전술한 바와 같이 청취자 인지 음향 스테이지 내의 오디오 소스의 확인을 기초로 오디오 처리 시스템에 의해 자동으로 수행될 수 있다. 추가로 또는 대안적으로, 이러한 조정은 수동으로 행해질 수 있다. 예를 들면, 사용자는 공간 슬라이스(1010)의 위치를 청취자 인지 음향 스테이지(1002)를 가로질러 전후로 이동 또는 움직이도록 할 수 있는 회전 노브 또는 다른 형태의 사용자 인터페이스와 같은 제1 조정기를 가질 수 있다. 사용자는 공간 슬라이스(1010)의 폭을 조정하는 제2 조정기와 공간 슬라이스(1010) 내의 오디오 콘텐츠의 소리 크기를 조정하는 제3 조정기를 포함할 수 있다. 따라서, 사용자는 제1 조정기를 조정하여 공간 슬라이스(1010)를 청취자 인지 음향 스테이지(1002) 내의 주변으로 이동시켜, 기타와 같은 가청 음향의 하나 이상의 소스를 청취자 인지 음향 스테이지(1002) 내에 어느 정도 위치되도록 할 수 있다. 일단 위치되면, 사용자는 제2 조정기를 조정하여 공간 슬라이스(1010)의 폭을 조정하여 공간 슬라이스(1010) 내의 가청 음향의 하나 이상의 소스를 완전히 포위하도록 할 수 있다. 또한, 사용자가 제1 및 제2 조정기를 사용하여 공간 슬라이스의 영역을 원하는 대로 조정 완료하면, 사용자는 제3 조정기를 조정하여 이제 공간 슬라이스(1010) 내에 포위된 가청 음향의 하나 이상의 소스의 소리 크기를 증감시킬 수 있다.
도 11은 도 1-10을 참조로 설명되는 오디오 처리 시스템(102)에 의한 오디오 처리의 예를 나타낸 흐름도이다. 본 예에서, 오디오 신호는 시간 도메인으로 제공되어 주파수 도메인으로 변환된다. 다른 예에서, 오디오 신호는 주파수 도메인으로 수신될 수 있으며, 및/또는 처리는 시간 도메인과 주파수 도메인, 오직 시간 도메인, 또는 오직 주파수 도메인으로 행해질 수 있다. 블록(1102)에서, 오디오 처리 시스템(102)은 오디오 소스로부터 오디오 입력 신호를 수신한다. 오디오 입력 신호의 시간의 순간은 시간 도메인으로부터 주파수 도메인으로 전환되어 블록(1104)에서 주파수 통(bin)으로 분할된다. 블록(1106)에서, 청취자 인지 음향 스테이지를 통한 음향 소스 각각의 추정된 지각 위치(S(ω))가 추정된 위치 생성 모듈(728)에 의해 결정될 수 있다. 추정된 위치 지각 위치(S(ω))는 전술한 수학식 1 및 2를 기초로 결정될 수 있다. 추정된 지각 위치(S(ω))는 블록(1108)에서 위치 필터 뱅크(500)에 적용된다.
블록(1110)에서, 주파수 통 각각에 대해 이득 값이 얻어져서, 미리 정해지거나 사용자 선택된 다수의 공간 슬라이스 중 하나에 대해 각각의 위치 이득 벡터를 형성한다. 블록(1112)에서 인지 모델(734)과 소스 모델(736)이 이득 위치 벡터에 적용된다. 블록(1114)에서, 이득 위치 벡터가 모든 공간 슬라이스에 대해 형성되었는지 여부가 결정된다. 이득 위치 벡터가 모든 공간 슬라이스에 대해 결정된 것이 아니라면, 블록(1116)에서 다음의 공간 슬라이스가 선택되고 블록(1110, 1112, 1114)이 반복된다. 블록(1114)에서 이득 위치 벡터가 모든 공간 슬라이스에 대해 결정되었으면, 연산은 블록(1118)으로 진행되어 각각의 공간 슬라이스에 대해 음향 소스 벡터(Ss)를 형성한다. 각각의 주파수 빈에 있는 오디오 입력 신호의 부분은 이득 위치 벡터 중 각각 하나의 벡터에서의 대응하는 이득 값으로 곱해져서 음향 소스 값(Ssn)을 생성하여 각각의 공간 슬라이스에 대해 음향 소스 벡터(Ss)를 형성할 수 있다.
블록(1120)에서, 음향 소스 벡터(Ss)가 각각의 공간 슬라이스에 대해 결정되었는지 여부가 결정된다. 그렇지 않은 경우, 블록(1122)에서, 연산은 음향 소스 벡터(Ss)가 아직 결정되지 않은 다음의 공간 슬라이스로 이동하여 음향 소스 벡터(Ss)가 각각의 공간 슬라이스에 대해 유도될 때까지 블록(1118, 1120))을 반복한다. 블록(1120)에서 음향 소스 벡터(Ss)가 모든 공간 슬라이스에 대해 유도되었으면, 연산은 도 12의 블록(1124)으로 진행된다. 블록(1124)에서, 각각의 음향 소스 벡터(Ss)가 신호 분류기(722)에 의해 각각 하나 이상의 음향 소스 벡터(Ss)로 표현되는 음향 소스를 확인하도록 분석된다.
블록(1126)에서, 각각의 공간 슬라이스에 대한 음향 소스가 결정되었는지 여부가 결정된다. 모든 공간 슬라이스가 음향 소스에 대해 분석되지 않았으면, 연산은 공간 슬라이스에 있는 추가의 음향 소스를 확인하는 신호 분류 모듈(722)을 위한 블록(1124)으로 돌아간다. 다른 한편, 공간 슬라이스가 모든 고려되었으면, 공각 슬라이스 각각에 대해 피드백 오디오 소스 분류 신호가 생성되어, 블록(1128)에서 오디오 입력 신호의 연속 스냅샷 처리에 사용되도록 위치 필터 뱅크 생성 모듈(730), 인지 모델(734) 및 소스 모델(736)에 제공될 수 있다.
블록(1130)에서, 피드포워드 오디오 소스 분류 신호가 현재 처리되고 있는 오디오 입력 신호의 스냅샷의 음향 소스 벡터(Ss)를 추가로 처리하도록 음향 소스 벡터 변경 모듈(812)에 제공된다. 음향 소스 벡터 변경 모듈(812)은 블록(1132)에서 전방 이송 오디오 소스 분류 신호를 기초로 음향 소스 벡터(Ss)를 변경할 수 있다. 음향 소스 벡터(Ss)는 블록(1134)에서 조립 모듈(814)과 재결합 등의 조립을 행하여 오디오 출력 채널을 포함하는 오디오 출력 신호를 형성할 수 있다. 블록 (1136)에서, 오디오 출력 채널은 주파수 도메인으로부터 시간 도메인으로 전환될 수 있다. 이후 연산은 블록(1104)으로 돌아가서 오디오 입력 신호의 다른 스냅샷을 변환하고 상기 연산들을 다시 수행할 수 있다.
전술한 오디오 처리 시스템을 사용하여, 오디오 입력 신호를 청취자 인지 음향 스테이지를 통한 여러 공간 슬라이스로 분할하는 것에 의해 2 이상의 채널의 임의의 오디오 입력 신호가 분석되어 오디오 입력 신호에 포함되는 오디오 소스의 지각 위치를 확인할 수 있다. 오디오 입력 신호의 현재 스냅샷은 각기 음향 소스 벡터(Ss)를 포함하는 여러 공간 슬라이스로 절개되어 오디오 소스를 확인할 수 있다. 오디오 소스가 일단 음향 소스 벡터(Ss)로 분할되면, 오디오 소스 각각은 분류된 후 해당 분류를 기초로 추가로 처리될 수 있다. 대안적으로, 공간 슬라이스로 분할된 오디오 입력 신호와, 음향 소스 벡터(Ss)를 포함하는 공간 슬라이스 각각은 독립적으로 처리될 수 있다. 다른 시스템의 경우, 개별 음향 소스를 나타내는 오디오 입력 신호의 부분을 처리하는 이러한 분할이 불가능하다. 개별 공간 슬라이스의 독립적 처리가 일단 수행되면, 공간 슬라이스는 출력 오디오 채널을 형성하기 위해 추가로 조작될 수 있다. 조작은 오디오 출력 채널을 형성하기 위한 공간 슬라이스의 이동, 결합 또는 분할을 포함할 수 있다.
본 발명의 다양한 실시예가 설명되었지만, 당업자에게는 보다 많은 실시예와 실시가 발명의 범위 내에서 가능함이 분명할 것이다. 따라서, 본 발명은 첨부된 특허청구범위와 그 등가물의 측면을 제외하고 제한되지 않는다.

Claims (37)

  1. 오디오 처리 시스템으로서:
    프로세서와;
    오디오 입력 신호를 분석하고 상기 오디오 입력 신호에 포함된 복수의 오디오 소스 각각의 청취자 인지 음향 스테이지 내의 복수의 각각의 지각 위치를 추정하도록 상기 프로세서에 의해 실행 가능하고,
    상기 각각의 지각 위치 각각에 대해 위치 이득 벡터를 생성하도록 상기 프로세서에 의해 더 실행 가능한 이득 벡터 생성 모듈과;
    상기 위치 이득 벡터를 상기 오디오 입력 신호에 적용하여, 각각의 지각 위치 중 하나를 각각 나타내는 복수의 음향 소스 벡터를 생성하도록 상기 프로세서에 의해 실행 가능한 벡터 처리 모듈
    을 포함하는 것을 특징으로 하는 오디오 처리 시스템.
  2. 제1항에 있어서, 상기 음향 소스 벡터를 수정하고, 상기 음향 소스 벡터를 결합하여 복수의 라우드스피커를 구동하도록 된 오디오 출력 신호를 생성하도록, 상기 프로세서에 의해 실행 가능한 음향 소스 벡터 처리 모듈을 더 포함하고, 상기 음향 소스 벡터 처리 모듈은 오디오 입력 신호 중 오디오 채널의 수가 오디오 출력 신호 중 채널의 수보다 적거나, 많거나 또는 오디오 출력 신호 중의 채널의 수와 동일하도록 상기 음향 소스 벡터와 결합되도록 선택적으로 구성 가능한 오디오 처리 시스템.
  3. 제1항에 있어서, 상기 이득 위치 벡터 각각은 복수의 이득 값을 가지며, 이득 값 각각은 오디오 입력 신호의 총 주파수 범위의 일부에 대응하며, 상기 이득 값은 오디오 입력 신호의 총 주파수 범위의 상기 일부에 적용되는 오디오 처리 시스템.
  4. 제1항에 있어서, 상기 이득 벡터 생성 모듈에 의한 상기 오디오 입력 신호의 분석은 상기 오디오 입력 신호를, 상기 오디오 입력 신호 내에 포함되는 주파수의 대역을 각각 포함하는 복수의 주파수 통으로 분할하는 것을 포함하는 오디오 처리 시스템.
  5. 제1항에 있어서, 상기 이득 벡터 생성 모듈은 위치 필터를 포함하고, 상기 위치 필터에는 상기 지각 위치가 적용되어 상기 위치 이득 벡터를 생성하는 오디오 처리 시스템.
  6. 제1항에 있어서, 상기 각각의 지각 위치 내의 상기 오디오 소스 각각을 식별하도록 상기 프로세서에 의해 실행가능한 신호 분류 모듈을 더 포함하는 오디오 처리 시스템.
  7. 제1항에 있어서, 상기 위치 이득 벡터와 상기 음향 소스 벡터는 복수의 시간 포인트 각각에서 반복적으로 생성되며, 상기 오디오 처리 시스템은 상기 오디오 소스의 각각의 지각 위치의 급변을 방지하도록 다수의 시간 포인트에 걸쳐 시간 기반 청각 차폐 추정치와 주파수 기반 청각 차폐 추정치 중 적어도 하나를 기초로 이득 위치 벡터를 평활화하도록 상기 프로세서에 의해 실행 가능한 지각 모델을 더 포함하는 오디오 처리 시스템.
  8. 제1항에 있어서, 미리 정해진 수의 스냅샷에 걸쳐 상기 오디오 입력 신호의 진폭과 주파수의 변화가 미리 정해진 비율을 초과하는 것을 방지하도록 상기 오디오 입력 신호를 평활화하도록 상기 프로세서에 의해 실행 가능한 소스 모델을 더 포함하는 오디오 처리 시스템.
  9. 제1항에 있어서, 상기 위치 이득 벡터와 상기 음향 소스 벡터는 복수의 시간 포인트 각각에서 반복적으로 생성되며, 상기 오디오 처리 시스템은 상기 프로세서에 의해 실행 가능한 지각 모델과 소스 모델을 더 포함하며, 상기 소스 모델은 미리 정해진 비율의 변화를 초과하는 상기 오디오 입력 신호의 진폭 또는 주파수의 변화를 식별하도록 실행 가능하며, 상기 지각 모델은 상기 미리 정해진 비율의 변화를 초과하는 진폭 또는 주파수의 상기 식별된 변화를 기초로 상기 이득 위치 벡터를 동적으로 평활화하도록 실행 가능한 오디오 처리 시스템.
  10. 제1항에 있어서, 지각 위치 중 미리 정해진 하나의 위치를 나타내는 음향 소스 벡터를 식별하고, 상기 식별된 음향 소스 벡터에 나타난 음향 소스의 진폭을 조정하도록 상기 음향 소스 벡터의 이득을 조정하도록 상기 프로세서에 의해 실행 가능한 음향 소스 벡터 처리 모듈을 더 포함하고, 상기 음향 소스 벡터 처리 모듈은 추가로, 복수의 라우드스피커에 제공되도록 오디오 출력 신호를 생성하도록 상기 이득 조정된 음향 소스 벡터와 나머지 음향 소스 벡터를 결합시키도록 실행 가능한 오디오 처리 시스템.
  11. 오디오 신호 처리 방법으로서:
    오디오 프로세서를 사용하여 오디오 입력 신호를 수신하는 단계와;
    상기 오디오 프로세서를 사용하여, 상기 오디오 입력 신호 내에 제공되는 가청 음향의 복수의 소스 각각의 복수의 지각 위치를 식별하는 단계로, 상기 지각 위치는 청취자 인지 음향 스테이지 내의 가청 음향의 각각의 소스의 물리적 위치를 나타내는 것인, 그러한 단계와;
    상기 오디오 프로세서를 사용하여, 가청 음향의 상기 각각의 소스에 대해 상기 식별된 지각 위치를 기초로 복수의 개별 출력 채널 각각에 대해 복수의 필터를 생성하는 단계와;
    상기 오디오 프로세서를 사용하여, 상기 필터를 상기 오디오 입력 신호에 적용하여, 각각 상기 오디오 입력 신호의 일부를 나타내는 복수의 음향 소스 벡터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  12. 제11항에 있어서, 상기 오디오 입력 신호의 상기 일부를 별도로 독립적으로 수정하도록 상기 음행 소스 벡터 각각을 별도로 독립적으로 수정하는 단계를 더 포함하는 오디오 신호 처리 방법.
  13. 제12항에 있어서, 복수의 개별 오디오 출력 채널 각각에 있는 개별 라우드스피커를 구동하도록 된 오디오 출력 신호를 생성하도록 상기 오디오 프로세서를 사용하여 수정된 상기 음향 소스 벡터를 처리하는 단계를 더 포함하는 오디오 신호 처리 방법.
  14. 제13항에 있어서, 상기 수정된 음향 소스 벡터를 처리하는 단계는 상기 수정된 음향 소스 벡터의 서브 조합을 함께 결합하여 각각 하나의 상기 개별 오디오 출력 채널을 형성하는 단계를 포함하는 오디오 신호 처리 방법.
  15. 제13항에 있어서, 상기 오디오 입력 신호는 복수의 오디오 입력 채널을 포함하고, 상기 개별 오디오 출력 채널의 수는 상기 오디오 입력 채널의 수보다 크거나 작은 오디오 신호 처리 방법.
  16. 제11항에 있어서, 복수의 지각 위치를 식별하는 상기 단계는 상기 오디오 입력 신호를 복수의 미리 정해진 대역의 주파수로 분할하고, 상기 미리 정해진 대역의 주파수 중 적어도 하나의 대역의 주파수에 있는 가청 음향의 복수의 소스 중 하나 이상의 소스의 지각 위치를 식별하는 단계를 포함하는 오디오 신호 처리 방법.
  17. 제16항에 있어서, 가청 음향의 상기 복수의 소스 중 하나 이상의 소스의 지각 위치를 식별하는 상기 단계는 미리 정해진 범위의 위치 값 중의 소정 위치 값을 청취자 인지 음향 스테이지를 형성하는 복수의 미리 정해진 영역 각각에 할당하는 단계를 포함하는 오디오 신호 처리 방법.
  18. 제11항에 있어서, 상기 필터를 상기 오디오 입력 신호에 적용하는 상기 단계는 상기 오디오 입력 신호에 결합된 가청 음향의 소스들의 그룹을 복수의 상이한 음향 소스 벡터로 분리하는 단계를 포함하고, 상기 가청 음향의 소스들의 그룹은 상기 그룹 내의 가청 음향의 소스들 각각에 대해 상기 식별된 개별 지각 위치를 기초로 분리되는 오디오 신호 처리 방법.
  19. 제11항에 있어서, 복수의 필터를 생성하는 상기 단계는 각각의 필터로 나타내는 개별 지각 위치의 영역이 상기 오디오 입력 신호 내에 포함된 가청 음향의 소스들의 음향 에너지를 한 곳 이상의 지각 위치 내에 할당하도록 조정 가능하도록 조정 가능한 교차점을 갖는 필터를 구성하는 단계를 포함하는 오디오 신호 처리 방법.
  20. 제19항에 있어서, 상기 청취자 인지 음향 스테이지 내의 상기 개별 지각 위치 중 하나 이상의 위치의 위치와 폭 중 적어도 하나를 조정하는 것에 의해 상기 개별 지각 위치 중 하나 이상의 상기 영역을 조정하는 단계를 더 포함하는 오디오 신호 처리 방법.
  21. 제19항에 있어서, 상기 지각 위치 중 하나 이상의 위치의 위치와 폭 중 적어도 하나를 조정하는 상기 단계는 입력 오디오 신호의 장르를 결정하고 그 결정된 장르를 기초로 조정 가능한 교차점을 조정하는 단계를 포함하는 오디오 신호 처리 방법.
  22. 프로세서에 의해 실행 가능한 명령을 포함하는 컴퓨터 판독 가능한 매체로서:
    오디오 입력 신호를 수신하는 명령과;
    복수의 이득 위치 벡터를 생성하는 명령으로서, 각각의 이득 위치 벡터는 상기 오디오 입력 신호가 청취 공간에서 가청 음향으로서 출력될 때 생성되는 지각 음향 스테이지 내의 위치에 대응하고, 각각의 이득 위치 벡터는 상기 대응하는 위치에 있는 오디오 입력 신호의 복수의 미리 정해진 대역의 주파수 중 각각의 대역의 주파수 각각에서의 이득 값을 포함하고 있는, 그러한 명령과;
    복수의 개별 출력 채널 각각에 대해 복수의 위치 필터를 생성하는 명령으로서, 상기 위치 필터는 상기 이득 위치 벡터로부터 생성되는 것인, 그러한 명령과;
    복수의 음향 소스 벡터 중 각각 하나의 음향 소스 벡터를 형성하도록 상기 오디오 입력 신호에 각각의 상기 위치 필터를 적용하는 명령
    을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 매체.
  23. 제22항에 있어서, 각각의 상기 음향 소스 벡터에 있는 개별 오디오 소스를 식별하는 명령과, 상기 식별된 개별 오디오 소스에 따라 각각의 상기 음향 소스를 별도로 독립적으로 처리하는 명령을 더 포함하는 컴퓨터 판독 가능한 매체.
  24. 제23항에 있어서, 각각의 상기 음향 소스 벡터를 독립적으로 처리하는 명령과, 개별 라우드스피커를 독립적으로 구동하도록 된 복수의 오디오 출력 채널을 포함하는 오디오 출력 신호를 형성하도록 상기 음향 소스 벡터를 결합하는 명령을 더 포함하는 컴퓨터 판독 가능한 매체.
  25. 제22항에 있어서, 복수의 이득 위치 벡터를 생성하는 상기 명령은 상기 오디오 입력 신호를 주파수 도메인으로 전환하고 상기 오디오 입력 신호를 미리 정해진 대역의 주파수로 분할하는 명령을 포함하는 컴퓨터 판독 가능한 매체.
  26. 제22항에 있어서, 각각의 상기 위치 필터를 상기 오디오 입력 신호에 적용하는 상기 명령은 상기 미리 정해진 대역의 주파수 중 하나의 개별 대역의 주파수에서의 각각의 상기 이득 값을 오디오 입력 신호의 상기 미리 정해진 대역의 주파수 중 대응하는 하나의 대역의 주파수에 적용하는 명령을 포함하는 컴퓨터 판독 가능한 매체.
  27. 제22항에 있어서, 복수의 이득 위치 벡터를 생성하는 상기 명령은 각각의 상기 위치에 있는 오디오 입력 신호의 상기 미리 정해진 대역의 주파수 각각에 대한 이득 값을 생성하는 명령을 포함하는 컴퓨터 판독 가능한 매체.
  28. 오디오 신호 처리 방법으로서:
    오디오 입력 신호를 수신하는 단계와;
    상기 오디오 입력 신호를 복수의 음향 소스 위치 벡터로 분할하는 단계로서, 상기 음향 소스 위치 벡터 각각은 청취자 인지 음향 스테이지에 걸친 지각 위치를 나타내고, 상기 음향 소스 위치 벡터 중 적어도 일부는 상기 오디오 입력 신호에 포함된 가청 음향의 소스를 포함하고 있는, 그러한 단계와;
    상기 음향 소스 위치 벡터를 독립적으로 수정하는 단계와;
    각각 개별 라우드스피커를 구동하도록 된 복수의 오디오 출력 채널을 포함하는 오디오 출력 신호를 생성하도록 상기 음향 소스 위치 벡터를 결합하는 단계
    를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  29. 제28항에 있어서, 상기 오디오 입력 신호를 복수의 음향 소스 위치 벡터로 분할하는 상기 단계는 상기 오디오 입력 신호를 복수의 미리 정해진 대역의 주파수로 분할하고, 상기 미리 정해진 대역의 주파수 각각에 대한 복수의 음향 소스 값을 생성하는 단계를 포함하고, 상기 음향 소스 벡터 각각은 상기 지각 위치 중 특별한 하나의 위치에 대한 상기 복수의 음향 소스 값으로부터 형성되는 오디오 신호 처리 방법.
  30. 제28항에 있어서, 상기 오디오 입력 신호를 복수의 음향 소스 위치 벡터로 분할하는 상기 단계는 복수의 위치 필터를 생성하고, 상기 음향 소스 위치 벡터를 생성하도록 상기 오디오 입력 신호를 상기 위치 필터에 적용하는 단계를 포함하는 오디오 신호 처리 방법.
  31. 제28항에 있어서, 오디오 출력 신호를 생성하도록 상기 음향 소스 위치 벡터를 결합하는 상기 단계는 상기 음향 소스 위치 벡터를 결합하여 각각의 상기 오디오 출력 채널을 형성하는 단계를 포함하는 오디오 신호 처리 방법.
  32. 제28항에 있어서, 오디오 출력 신호를 생성하도록 상기 음향 소스 위치 벡터를 결합하는 상기 단계는 상기 음향 소스 위치 벡터 중 하나의 벡터로부터 상기 오디오 출력 채널 중 하나를 형성하는 단계를 포함하는 오디오 신호 처리 방법.
  33. 제28항에 있어서, 오디오 출력 신호를 생성하도록 상기 음향 소스 위치 벡터를 결합하는 상기 단계는 상기 오디오 출력 채널 중 적어도 2개의 채널에 상기 음향 소스 위치 벡터 중 하나를 포함하는 단계를 포함하는 오디오 신호 처리 방법.
  34. 제28항에 있어서, 상기 음향 소스 위치 벡터를 독립적으로 수정하는 상기 단계는 상기 음향 소스 위치 벡터 중 특별한 하나의 벡터에 포함된 오디오 음향 소스만을 독립적으로 조정하는 단계를 포함하는 오디오 신호 처리 방법.
  35. 제28항에 있어서, 상기 음향 소스 위치 벡터를 독립적으로 수정하는 상기 단계는 각각 하나 이상의 음향 소스 위치 벡터로 분할된 오디오 입력 신호의 한 곳 이상의 부분에 대하여, 노이즈 감소, 소리 크기 조정, 반향 조정, 일시적 증대, 압축 및 주파수 등화 중 적어도 하나를 독립적으로 수행하는 단계를 포함하는 오디오 신호 처리 방법.
  36. 제28항에 있어서, 상기 음향 소스 위치 벡터를 독립적으로 수정하는 상기 단계는 상기 음향 소스 위치 벡터 중 제1 벡터에 포함된 가청 음향의 소스를 상기 음향 소스 위치 벡터 중 제2 벡터로 이동시키는 단계를 포함하는 오디오 신호 처리 방법.
  37. 오디오 처리 시스템으로서:
    오디오 입력 신호를 수신하도록 구성되고;
    추가로, 상기 오디오 입력 신호를 주파수 도메인으로 전환하도록 구성되고;
    추가로, 상기 오디오 입력 신호를 복수의 미리 정해진 대역의 주파수로 분할하도록 구성되고;
    추가로, 청취자 인지 음향 스테이지를 통한 복수의 지각 위치 중 하나에 각각 대응하는 복수의 이득 위치 벡터를 생성하도록 구성되고;
    추가로, 상기 오디오 입력 신호에 포함된 가청 음향의 소스를 복수의 지각 위치로 분할하도록 상기 이득 위치 벡터를 상기 오디오 입력 신호에 적용하도록 구성되고;
    추가로, 상기 분할된 가청 음향의 소스를 별도로 독립적으로 처리하도록 구성되고;
    추가로, 복수의 오디오 출력 채널을 포함하는 오디오 출력 신호를 형성하도록 상기 분할된 가청 음향의 소스를 결합하도록 구성된
    프로세서를 포함하는 것을 특징으로 하는 오디오 처리 시스템.
KR1020127008795A 2009-10-05 2010-10-04 오디오 신호의 공간 추출 시스템 KR101387195B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US24877009P 2009-10-05 2009-10-05
US61/248,770 2009-10-05
PCT/US2010/051372 WO2011044064A1 (en) 2009-10-05 2010-10-04 System for spatial extraction of audio signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147000011A Division KR20140010468A (ko) 2009-10-05 2010-10-04 오디오 신호의 공간 추출 시스템

Publications (2)

Publication Number Publication Date
KR20120064104A true KR20120064104A (ko) 2012-06-18
KR101387195B1 KR101387195B1 (ko) 2014-04-21

Family

ID=43365282

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127008795A KR101387195B1 (ko) 2009-10-05 2010-10-04 오디오 신호의 공간 추출 시스템
KR1020147000011A KR20140010468A (ko) 2009-10-05 2010-10-04 오디오 신호의 공간 추출 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020147000011A KR20140010468A (ko) 2009-10-05 2010-10-04 오디오 신호의 공간 추출 시스템

Country Status (7)

Country Link
US (1) US9372251B2 (ko)
EP (1) EP2486737B1 (ko)
JP (1) JP5400225B2 (ko)
KR (2) KR101387195B1 (ko)
CN (1) CN102687536B (ko)
CA (1) CA2774415C (ko)
WO (1) WO2011044064A1 (ko)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180067B2 (en) 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US20090123523A1 (en) * 2007-11-13 2009-05-14 G. Coopersmith Llc Pharmaceutical delivery system
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
FR2944939B1 (fr) * 2009-04-28 2011-05-27 St Microelectronics Grenoble 2 Procede et dispositif de controle de la diffusion de contenus audio par deux haut-parleurs.
WO2011044064A1 (en) 2009-10-05 2011-04-14 Harman International Industries, Incorporated System for spatial extraction of audio signals
US8687815B2 (en) * 2009-11-06 2014-04-01 Creative Technology Ltd Method and audio system for processing multi-channel audio signals for surround sound production
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US9210503B2 (en) * 2009-12-02 2015-12-08 Audience, Inc. Audio zoom
CN102656627B (zh) * 2009-12-16 2014-04-30 诺基亚公司 多信道音频处理方法和装置
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US9456289B2 (en) 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof
US9055371B2 (en) * 2010-11-19 2015-06-09 Nokia Technologies Oy Controllable playback system offering hierarchical playback options
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
WO2013093565A1 (en) * 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
KR101871234B1 (ko) * 2012-01-02 2018-08-02 삼성전자주식회사 사운드 파노라마 생성 장치 및 방법
US8704070B2 (en) * 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations
EP2837210B1 (en) * 2012-03-30 2018-12-19 Barco N.V. Apparatus and method for driving loudspeakers of a sound system in a vehicle
WO2014011862A2 (en) * 2012-07-11 2014-01-16 Maxlinear, Inc. Method and system for gain control for time-interleaved analog-to-digital convertor (adc)
JP6278966B2 (ja) 2012-09-13 2018-02-14 ハーマン インターナショナル インダストリーズ インコーポレイテッド マルチゾーン聴取環境における漸進的な音響バランスおよびフェード
WO2014046941A1 (en) 2012-09-19 2014-03-27 Dolby Laboratories Licensing Corporation Method and system for object-dependent adjustment of levels of audio objects
EP2731359B1 (en) * 2012-11-13 2015-10-14 Sony Corporation Audio processing device, method and program
US9135920B2 (en) * 2012-11-26 2015-09-15 Harman International Industries, Incorporated System for perceived enhancement and restoration of compressed audio signals
WO2014096900A1 (en) * 2012-12-18 2014-06-26 Nokia Corporation Spatial audio apparatus
US9460732B2 (en) 2013-02-13 2016-10-04 Analog Devices, Inc. Signal source separation
US9060223B2 (en) 2013-03-07 2015-06-16 Aphex, Llc Method and circuitry for processing audio signals
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
KR101815195B1 (ko) * 2013-03-29 2018-01-05 삼성전자주식회사 오디오 장치 및 이의 오디오 제공 방법
US10635383B2 (en) 2013-04-04 2020-04-28 Nokia Technologies Oy Visual audio processing apparatus
EP2997573A4 (en) 2013-05-17 2017-01-18 Nokia Technologies OY Spatial object oriented audio apparatus
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US10319389B2 (en) * 2013-07-22 2019-06-11 Harman Becker Automotive Systems Gmbh Automatic timbre control
WO2015010865A1 (en) 2013-07-22 2015-01-29 Harman Becker Automotive Systems Gmbh Automatic timbre control
US9420368B2 (en) * 2013-09-24 2016-08-16 Analog Devices, Inc. Time-frequency directional processing of audio signals
ES2641580T3 (es) * 2013-10-03 2017-11-10 Dolby Laboratories Licensing Corporation Generación de señal difusa adaptativa en un mezclador ascendente
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
CN104683933A (zh) 2013-11-29 2015-06-03 杜比实验室特许公司 音频对象提取
JP6576934B2 (ja) * 2014-01-07 2019-09-18 ハーマン インターナショナル インダストリーズ インコーポレイテッド 圧縮済みオーディオ信号の信号品質ベース強調及び補償
US9544687B2 (en) * 2014-01-09 2017-01-10 Qualcomm Technologies International, Ltd. Audio distortion compensation method and acoustic channel estimation method for use with same
JP2015132695A (ja) 2014-01-10 2015-07-23 ヤマハ株式会社 演奏情報伝達方法、演奏情報伝達システム
JP6326822B2 (ja) * 2014-01-14 2018-05-23 ヤマハ株式会社 録音方法
KR101509649B1 (ko) 2014-02-27 2015-04-07 전자부품연구원 대역별 정확도에 따른 가중 평균을 이용한 음원 위치 검출 방법 및 장치
CA3188561A1 (en) * 2014-03-24 2015-10-01 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
US9615185B2 (en) * 2014-03-25 2017-04-04 Bose Corporation Dynamic sound adjustment
US9042563B1 (en) 2014-04-11 2015-05-26 John Beaty System and method to localize sound and provide real-time world coordinates with communication
US9782672B2 (en) * 2014-09-12 2017-10-10 Voyetra Turtle Beach, Inc. Gaming headset with enhanced off-screen awareness
DE112015004185T5 (de) 2014-09-12 2017-06-01 Knowles Electronics, Llc Systeme und Verfahren zur Wiederherstellung von Sprachkomponenten
WO2016050854A1 (en) * 2014-10-02 2016-04-07 Dolby International Ab Decoding method and decoder for dialog enhancement
US9654868B2 (en) 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
US9508335B2 (en) 2014-12-05 2016-11-29 Stages Pcs, Llc Active noise control and customized audio system
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US9747367B2 (en) 2014-12-05 2017-08-29 Stages Llc Communication system for establishing and providing preferred audio
KR101648931B1 (ko) * 2014-12-22 2016-08-17 라인플러스 주식회사 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
US10057705B2 (en) * 2015-01-13 2018-08-21 Harman International Industries, Incorporated System and method for transitioning between audio system modes
US9668048B2 (en) 2015-01-30 2017-05-30 Knowles Electronics, Llc Contextual switching of microphones
WO2016126715A1 (en) * 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Adaptive audio construction
CN104699816B (zh) * 2015-03-25 2017-12-12 成都华迈通信技术有限公司 一种数据处理方法及装置
US9661416B2 (en) 2015-08-24 2017-05-23 Harman International Industries, Inc. Techniques for optimizing the polarities of audio input channels
US9590580B1 (en) * 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
JP7023848B2 (ja) 2016-01-29 2022-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラル・ダイアログ向上
US9774979B1 (en) * 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
EP3335218B1 (en) * 2016-03-16 2019-06-05 Huawei Technologies Co., Ltd. An audio signal processing apparatus and method for processing an input audio signal
CN105741835B (zh) * 2016-03-18 2019-04-16 腾讯科技（深圳）有限公司 一种音频信息处理方法及终端
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
WO2017192972A1 (en) 2016-05-06 2017-11-09 Dts, Inc. Immersive audio reproduction systems
EP3255905A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing
EP3255904A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing
CN106303843B (zh) * 2016-07-29 2018-04-03 北京工业大学 一种多区域不同语音声源的2.5d重放方法
EP3293733A1 (en) * 2016-09-09 2018-03-14 Thomson Licensing Method for encoding signals, method for separating signals in a mixture, corresponding computer program products, devices and bitstream
EP3510792A1 (en) * 2016-09-12 2019-07-17 Bose Corporation Loudspeaker system
US9980075B1 (en) 2016-11-18 2018-05-22 Stages Llc Audio source spatialization relative to orientation sensor and output
US9980042B1 (en) 2016-11-18 2018-05-22 Stages Llc Beamformer direction of arrival and orientation analysis system
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
GB2557241A (en) 2016-12-01 2018-06-20 Nokia Technologies Oy Audio processing
WO2018151858A1 (en) * 2017-02-17 2018-08-23 Ambidio, Inc. Apparatus and method for downmixing multichannel audio signals
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US20180264946A1 (en) * 2017-03-20 2018-09-20 Harman International Industries, Incorporated Dynamic audio steering control system
EP3379842B1 (en) 2017-03-21 2021-09-08 Nokia Technologies Oy Media rendering
JP6591477B2 (ja) * 2017-03-21 2019-10-16 株式会社東芝 信号処理システム、信号処理方法及び信号処理プログラム
BR112019023170A2 (pt) 2017-05-03 2020-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Processador de áudio, sistema, método e programa de computador para renderização de áudio
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10178490B1 (en) * 2017-06-30 2019-01-08 Apple Inc. Intelligent audio rendering for video recording
US10542153B2 (en) 2017-08-03 2020-01-21 Bose Corporation Multi-channel residual echo suppression
US10594869B2 (en) 2017-08-03 2020-03-17 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US10200540B1 (en) * 2017-08-03 2019-02-05 Bose Corporation Efficient reutilization of acoustic echo canceler channels
KR102465970B1 (ko) 2017-08-11 2022-11-10 삼성전자주식회사 주변 상황에 기초하여 음악을 재생하는 방법 및 장치
EP3692704B1 (en) 2017-10-03 2023-09-06 Bose Corporation Spatial double-talk detector
FR3079706B1 (fr) * 2018-03-29 2021-06-04 Inst Mines Telecom Procede et systeme de diffusion d'un flux audio multicanal a des terminaux de spectateurs assistant a un evenement sportif
CN111886879B (zh) * 2018-04-04 2022-05-10 哈曼国际工业有限公司 一种用于在音频输出中产生自然空间变化的系统和方法
CN112153545B (zh) * 2018-06-11 2022-03-11 厦门新声科技有限公司 双耳助听器平衡调节的方法、装置及计算机可读存储介质
CN108834037B (zh) * 2018-06-12 2019-09-13 广州酷狗计算机科技有限公司 播放音频数据的方法和装置
US20200007988A1 (en) * 2018-07-02 2020-01-02 Microchip Technology Incorporated Wireless signal source based audio output and related systems, methods and devices
WO2020030303A1 (en) 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
JP7025303B2 (ja) * 2018-08-28 2022-02-24 シャープ株式会社 音響システム
JP2020036113A (ja) * 2018-08-28 2020-03-05 シャープ株式会社 音響システム
US10375477B1 (en) 2018-10-10 2019-08-06 Honda Motor Co., Ltd. System and method for providing a shared audio experience
WO2020178256A1 (en) * 2019-03-04 2020-09-10 A-Volute Apparatus and method for audio analysis
WO2020206177A1 (en) 2019-04-02 2020-10-08 Syng, Inc. Systems and methods for spatial audio rendering
US10964305B2 (en) 2019-05-20 2021-03-30 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US11183201B2 (en) * 2019-06-10 2021-11-23 John Alexander Angland System and method for transferring a voice from one body of recordings to other recordings
CN110290468B (zh) * 2019-07-04 2020-09-22 英华达（上海）科技有限公司 虚拟隔音通信方法、装置、系统、电子设备、存储介质
TWI721522B (zh) * 2019-08-12 2021-03-11 驊訊電子企業股份有限公司 音訊處理系統及方法
CN112397085B (zh) * 2019-08-16 2024-03-01 骅讯电子企业股份有限公司 音信处理系统及方法
US10735887B1 (en) * 2019-09-19 2020-08-04 Wave Sciences, LLC Spatial audio array processing system and method
CN111541852B (zh) * 2020-05-07 2022-04-22 华人运通(上海)自动驾驶科技有限公司 视频处理方法、装置、电子设备及计算机存储介质
US11502861B2 (en) * 2020-08-17 2022-11-15 T-Mobile Usa, Inc. Simulated auditory space for online meetings
CN112190259A (zh) * 2020-09-10 2021-01-08 首都医科大学附属北京朝阳医院 用于测试声源定位能力的方法、测试者终端、受试者终端
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
US20220386062A1 (en) * 2021-05-28 2022-12-01 Algoriddim Gmbh Stereophonic audio rearrangement based on decomposed tracks
WO2023118078A1 (en) 2021-12-20 2023-06-29 Dirac Research Ab Multi channel audio processing for upmixing/remixing/downmixing applications
CN115604646B (zh) * 2022-11-25 2023-03-21 杭州兆华电子股份有限公司 一种全景深空间音频处理方法

Family Cites Families (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4118599A (en) 1976-02-27 1978-10-03 Victor Company Of Japan, Limited Stereophonic sound reproduction system
US4066842A (en) 1977-04-27 1978-01-03 Bell Telephone Laboratories, Incorporated Method and apparatus for cancelling room reverberation and noise pickup
US4159397A (en) 1977-05-08 1979-06-26 Victor Company Of Japan, Limited Acoustic translation of quadraphonic signals for two- and four-speaker sound reproduction
AU2944684A (en) 1983-06-17 1984-12-20 University Of Melbourne, The Speech recognition
US4912767A (en) 1988-03-14 1990-03-27 International Business Machines Corporation Distributed noise cancellation system
DE68921890T2 (de) 1988-07-08 1995-07-20 Adaptive Audio Ltd Tonwiedergabesysteme.
JP2708105B2 (ja) 1989-04-26 1998-02-04 富士通テン 株式会社 車載用音響再生装置
US5285503A (en) 1989-12-29 1994-02-08 Fujitsu Ten Limited Apparatus for reproducing sound field
US5210802A (en) 1990-04-30 1993-05-11 Bose Corporation Acoustic imaging
DE4134130C2 (de) 1990-10-15 1996-05-09 Fujitsu Ten Ltd Vorrichtung zum Aufweiten und Ausbalancieren von Schallfeldern
DE4136022C2 (de) 1990-11-01 2001-04-19 Fujitsu Ten Ltd Vorrichtung zum Aufweiten und Symmetrisieren von Klangfeldern
GB9026906D0 (en) 1990-12-11 1991-01-30 B & W Loudspeakers Compensating filters
US5594800A (en) * 1991-02-15 1997-01-14 Trifield Productions Limited Sound reproduction system having a matrix converter
US5210366A (en) 1991-06-10 1993-05-11 Sykes Jr Richard O Method and device for detecting and separating voices in a complex musical composition
CA2069356C (en) 1991-07-17 1997-05-06 Gary Wayne Elko Adjustable filter for differential microphones
US5757927A (en) * 1992-03-02 1998-05-26 Trifield Productions Ltd. Surround sound apparatus
FR2688371B1 (fr) 1992-03-03 1997-05-23 France Telecom Procede et systeme de spatialisation artificielle de signaux audio-numeriques.
JPH0573082U (ja) 1992-03-11 1993-10-05 東陶機器株式会社 局部洗浄及び乾燥装置付き便座
DE69322805T2 (de) 1992-04-03 1999-08-26 Yamaha Corp Verfahren zur Steuerung von Tonquellenposition
US5440639A (en) 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
GB9222103D0 (en) * 1992-10-21 1992-12-02 Lotus Car Adaptive control system
GB2274372A (en) 1992-12-02 1994-07-20 Ibm Adaptive noise cancellation device
US5761315A (en) 1993-07-30 1998-06-02 Victor Company Of Japan, Ltd. Surround signal processing apparatus
DE69433258T2 (de) 1993-07-30 2004-07-01 Victor Company of Japan, Ltd., Yokohama Raumklangsignalverarbeitungsvorrichtung
US5394472A (en) 1993-08-09 1995-02-28 Richard G. Broadie Monaural to stereo sound translation process and apparatus
US5386478A (en) 1993-09-07 1995-01-31 Harman International Industries, Inc. Sound system remote control with acoustic sensor
GB9417185D0 (en) 1994-08-25 1994-10-12 Adaptive Audio Ltd Sounds recording and reproduction systems
US5754663A (en) 1995-03-30 1998-05-19 Bsg Laboratories Four dimensional acoustical audio system for a homogeneous sound field
US5742689A (en) 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US5848163A (en) 1996-02-02 1998-12-08 International Business Machines Corporation Method and apparatus for suppressing background music or noise from the speech input of a speech recognizer
US6850621B2 (en) 1996-06-21 2005-02-01 Yamaha Corporation Three-dimensional sound reproducing apparatus and a three-dimensional sound reproduction method
US6052470A (en) 1996-09-04 2000-04-18 Victor Company Of Japan, Ltd. System for processing audio surround signal
US5889867A (en) 1996-09-18 1999-03-30 Bauck; Jerald L. Stereophonic Reformatter
JP3498888B2 (ja) 1996-10-11 2004-02-23 日本ビクター株式会社 サラウンド信号処理装置と方法及び映像音声再生方法、記録媒体への記録方法及び記録装置、記録媒体、処理プログラムの伝送方法及び受信方法、並びに記録データの伝送方法及び受信方法
DE19645867A1 (de) 1996-11-07 1998-05-14 Deutsche Telekom Ag Verfahren zur mehrkanaligen Tonübertragung
US7003119B1 (en) 1997-05-19 2006-02-21 Qsound Labs, Inc. Matrix surround decoder/virtualizer
AU740617C (en) 1997-06-18 2002-08-08 Clarity, L.L.C. Methods and apparatus for blind signal separation
WO1999033325A2 (en) 1997-12-19 1999-07-01 Daewoo Electronics Co., Ltd. Surround signal processing apparatus and method
JP3722335B2 (ja) 1998-02-17 2005-11-30 ヤマハ株式会社 残響付加装置
AUPP272698A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Soundfield playback from a single speaker system
US6691073B1 (en) 1998-06-18 2004-02-10 Clarity Technologies Inc. Adaptive state space signal separation, discrimination and recovery
JP2000013900A (ja) 1998-06-25 2000-01-14 Matsushita Electric Ind Co Ltd 音再生装置
US20040066940A1 (en) 2002-10-03 2004-04-08 Silentium Ltd. Method and system for inhibiting noise produced by one or more sources of undesired sound from pickup by a speech recognition unit
US7242782B1 (en) 1998-07-31 2007-07-10 Onkyo Kk Audio signal processing circuit
JP2000099061A (ja) 1998-09-25 2000-04-07 Sony Corp 効果音付加装置
JP4350905B2 (ja) 1998-10-19 2009-10-28 オンキヨー株式会社 サラウンド処理システム
EP1035752A1 (en) 1999-03-05 2000-09-13 Phonak Ag Method for shaping the spatial reception amplification characteristic of a converter arrangement and converter arrangement
US7113609B1 (en) 1999-06-04 2006-09-26 Zoran Corporation Virtual multichannel speaker system
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US6243322B1 (en) 1999-11-05 2001-06-05 Wavemakers Research, Inc. Method for estimating the distance of an acoustic signal
US6549630B1 (en) 2000-02-04 2003-04-15 Plantronics, Inc. Signal expander with discrimination between close and distant acoustic source
AU2000226583A1 (en) 2000-02-18 2001-08-27 Bang And Olufsen A/S Multi-channel sound reproduction system for stereophonic signals
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
IL134979A (en) 2000-03-09 2004-02-19 Be4 Ltd A system and method for optimizing three-dimensional hearing
JP2001267973A (ja) 2000-03-17 2001-09-28 Matsushita Electric Ind Co Ltd 騒音抑制装置および騒音抑制方法
AU2001251213A1 (en) 2000-03-31 2001-10-15 Clarity, L.L.C. Method and apparatus for voice signal extraction
US7532943B2 (en) 2001-08-21 2009-05-12 Microsoft Corporation System and methods for providing automatic classification of media entities according to sonic properties
US7065416B2 (en) 2001-08-29 2006-06-20 Microsoft Corporation System and methods for providing automatic classification of media entities according to melodic movement properties
US6657117B2 (en) 2000-07-14 2003-12-02 Microsoft Corporation System and methods for providing automatic classification of media entities according to tempo properties
US20020039425A1 (en) 2000-07-19 2002-04-04 Burnett Gregory C. Method and apparatus for removing noise from electronic signals
WO2002019766A2 (en) 2000-08-28 2002-03-07 Koninklijke Philips Electronics N.V. System for generating sounds
EP1194006A3 (en) 2000-09-26 2007-04-25 Matsushita Electric Industrial Co., Ltd. Signal processing device and recording medium
US7171003B1 (en) 2000-10-19 2007-01-30 Lear Corporation Robust and reliable acoustic echo and noise cancellation system for cabin communication
US6674865B1 (en) 2000-10-19 2004-01-06 Lear Corporation Automatic volume control for communication system
US7039197B1 (en) 2000-10-19 2006-05-02 Lear Corporation User interface for communication system
US6795808B1 (en) 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
CZ304212B6 (cs) * 2000-11-27 2014-01-08 Nippon Telegraph And Telephone Corporation Způsob kódování a dekódování akustického parametru, kódovací a dekódovací zařízení akustického parametru, a program pro provedení způsobu kódování a dekódování akustického parametru
US6754623B2 (en) 2001-01-31 2004-06-22 International Business Machines Corporation Methods and apparatus for ambient noise removal in speech recognition
US7660424B2 (en) * 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
US7095455B2 (en) 2001-03-21 2006-08-22 Harman International Industries, Inc. Method for automatically adjusting the sound and visual parameters of a home theatre system
DE10118653C2 (de) 2001-04-14 2003-03-27 Daimler Chrysler Ag Verfahren zur Geräuschreduktion
WO2001052596A2 (en) 2001-04-18 2001-07-19 Phonak Ag A method for analyzing an acoustical environment and a system to do so
US20020159607A1 (en) 2001-04-26 2002-10-31 Ford Jeremy M. Method for using source content information to automatically optimize audio signal
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US20030035553A1 (en) * 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US6804565B2 (en) 2001-05-07 2004-10-12 Harman International Industries, Incorporated Data-driven software architecture for digital sound processing and equalization
US7177432B2 (en) 2001-05-07 2007-02-13 Harman International Industries, Incorporated Sound processing system with degraded signal optimization
JP2003005770A (ja) 2001-06-25 2003-01-08 Tama Tlo Kk 残響生成付加方法とその装置
US20030128848A1 (en) 2001-07-12 2003-07-10 Burnett Gregory C. Method and apparatus for removing noise from electronic signals
US7142677B2 (en) 2001-07-17 2006-11-28 Clarity Technologies, Inc. Directional sound acquisition
US6584203B2 (en) 2001-07-18 2003-06-24 Agere Systems Inc. Second-order adaptive differential microphone array
WO2003017718A1 (en) 2001-08-13 2003-02-27 Nanyang Technological University, Centre For Signal Processing Post-processing scheme for adaptive directional microphone system with noise/interference suppression
US20030061032A1 (en) 2001-09-24 2003-03-27 Clarity, Llc Selective sound enhancement
KR20040063993A (ko) 2001-12-14 2004-07-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 스펙트럼 에코 테일 추정기를 구비한 에코 소거기
TWI230024B (en) 2001-12-18 2005-03-21 Dolby Lab Licensing Corp Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers
US20030135377A1 (en) 2002-01-11 2003-07-17 Shai Kurianski Method for detecting frequency in an audio signal
JP3521900B2 (ja) 2002-02-04 2004-04-26 ヤマハ株式会社 バーチャルスピーカアンプ
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
US20030169887A1 (en) 2002-03-11 2003-09-11 Yamaha Corporation Reverberation generating apparatus with bi-stage convolution of impulse response waveform
JP4019753B2 (ja) 2002-03-12 2007-12-12 ヤマハ株式会社 残響付与装置、残響付与方法、プログラムおよび記録媒体
JP3979133B2 (ja) 2002-03-13 2007-09-19 ヤマハ株式会社 音場再生装置、プログラム及び記録媒体
JP4016681B2 (ja) 2002-03-18 2007-12-05 ヤマハ株式会社 効果付与装置
US20030223603A1 (en) 2002-05-28 2003-12-04 Beckman Kenneth Oren Sound space replication
US7567845B1 (en) 2002-06-04 2009-07-28 Creative Technology Ltd Ambience generation for stereo signals
US6998527B2 (en) * 2002-06-20 2006-02-14 Koninklijke Philips Electronics N.V. System and method for indexing and summarizing music videos
WO2004004297A2 (en) 2002-07-01 2004-01-08 Koninklijke Philips Electronics N.V. Stationary spectral power dependent audio enhancement system
US7113610B1 (en) 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
FR2847376B1 (fr) 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
EP1465159B1 (en) 2003-03-31 2006-03-22 Alcatel Virtual microphone array
JP4134794B2 (ja) 2003-04-07 2008-08-20 ヤマハ株式会社 音場制御装置
US7336793B2 (en) 2003-05-08 2008-02-26 Harman International Industries, Incorporated Loudspeaker system for virtual sound synthesis
DE10321986B4 (de) 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
US7826622B2 (en) 2003-05-27 2010-11-02 Harman International Industries, Incorporated Constant-beamwidth loudspeaker array
DE10327889B3 (de) 2003-06-20 2004-09-16 Siemens Audiologische Technik Gmbh Verfahren zum Betrieb eines Hörhilfegerätes sowie Hörhilfegerät mit einem Mikrofonsystem, bei dem unterschiedliche Richtcharakteristiken einstellbar sind und Programmiergerät dafür
DE10328335B4 (de) 2003-06-24 2005-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
JP4127156B2 (ja) 2003-08-08 2008-07-30 ヤマハ株式会社 オーディオ再生装置、ラインアレイスピーカユニットおよびオーディオ再生方法
US8054980B2 (en) 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
JP4114584B2 (ja) 2003-09-25 2008-07-09 ヤマハ株式会社 指向性スピーカ制御システム
JP4114583B2 (ja) 2003-09-25 2008-07-09 ヤマハ株式会社 特性補正システム
US20050069143A1 (en) 2003-09-30 2005-03-31 Budnikov Dmitry N. Filtering for spatial audio rendering
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
JP4254502B2 (ja) * 2003-11-21 2009-04-15 ヤマハ株式会社 アレースピーカ装置
DE10355146A1 (de) 2003-11-26 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Tieftonkanals
US7929708B2 (en) * 2004-01-12 2011-04-19 Dts, Inc. Audio spatial environment engine
WO2005084077A1 (ja) 2004-02-26 2005-09-09 Matsushita Electric Industrial Co., Ltd. 音響処理装置
JP2005252467A (ja) 2004-03-02 2005-09-15 Sony Corp 音響再生方法、音響再生装置および記録メディア
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
EP1581026B1 (en) 2004-03-17 2015-11-11 Nuance Communications, Inc. Method for detecting and reducing noise from a microphone array
US7561706B2 (en) 2004-05-04 2009-07-14 Bose Corporation Reproducing center channel information in a vehicle multichannel audio system
KR100644617B1 (ko) 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
US20050286727A1 (en) 2004-06-25 2005-12-29 Victor Company Of Japan, Ltd. Apparatus for expanding sound image upward
WO2006006809A1 (en) 2004-07-09 2006-01-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and cecoding multi-channel audio signal using virtual source location information
TWI242372B (en) 2004-08-20 2005-10-21 Coretronic Corp Voice broadcast apparatus
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR101118214B1 (ko) 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
DE602004015987D1 (de) 2004-09-23 2008-10-02 Harman Becker Automotive Sys Mehrkanalige adaptive Sprachsignalverarbeitung mit Rauschunterdrückung
US7508948B2 (en) 2004-10-05 2009-03-24 Audience, Inc. Reverberation removal
CN101040512B (zh) 2004-10-13 2010-05-26 皇家飞利浦电子股份有限公司 回波抵消设备与方法
US7853022B2 (en) * 2004-10-28 2010-12-14 Thompson Jeffrey K Audio spatial environment engine
TW200621862A (en) 2004-12-24 2006-07-01 Furukawa Electric Co Ltd Thermoplastic resin foam
JP2006279548A (ja) 2005-03-29 2006-10-12 Fujitsu Ten Ltd 車載用スピーカシステム及びオーディオ装置
JP4949638B2 (ja) 2005-04-14 2012-06-13 ヤマハ株式会社 オーディオ信号供給装置
JP4297077B2 (ja) 2005-04-22 2009-07-15 ソニー株式会社 仮想音像定位処理装置、仮想音像定位処理方法およびプログラム並びに音響信号再生方式
GB2426169B (en) 2005-05-09 2007-09-26 Sony Comp Entertainment Europe Audio processing
US20060256978A1 (en) 2005-05-11 2006-11-16 Balan Radu V Sparse signal mixing model and application to noisy blind source separation
US20070047743A1 (en) 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
US7774078B2 (en) 2005-09-16 2010-08-10 Sony Corporation Method and apparatus for audio data analysis in an audio player
CN1993002B (zh) 2005-12-28 2010-06-16 雅马哈株式会社 声像定位设备
JP4940671B2 (ja) 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
WO2007089129A1 (en) * 2006-02-03 2007-08-09 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
US9426596B2 (en) * 2006-02-03 2016-08-23 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
CN101884227B (zh) * 2006-04-03 2014-03-26 Dts有限责任公司 音频信号处理
US8180067B2 (en) 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US8379868B2 (en) 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US9014377B2 (en) * 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
KR100948047B1 (ko) 2006-06-29 2010-03-19 주식회사 메디슨 초음파 영상을 형성하는 초음파 시스템 및 방법
CN101518100B (zh) * 2006-09-14 2011-12-07 Lg电子株式会社 对话增强技术
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
JP4949477B2 (ja) 2006-09-25 2012-06-06 ドルビー ラボラトリーズ ライセンシング コーポレイション 高次角度項による信号を抽出することでマルチチャンネルオーディオ再生システムの空間分解能を改善したサウンドフィールド
US8483410B2 (en) 2006-12-01 2013-07-09 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
US8290167B2 (en) 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US8275475B2 (en) * 2007-08-30 2012-09-25 Texas Instruments Incorporated Method and system for estimating frequency and amplitude change of spectral peaks
US20090060209A1 (en) * 2007-08-31 2009-03-05 Victor Company Of Japan, Ltd. A Corporation Of Japan Audio-signal processing apparatus and method
JP2009171262A (ja) 2008-01-17 2009-07-30 Pioneer Electronic Corp 音響装置、音声再生方法、音声再生プログラム及び記録媒体
US8306240B2 (en) * 2008-10-20 2012-11-06 Bose Corporation Active noise reduction adaptive filter adaptation rate adjusting
WO2011044064A1 (en) 2009-10-05 2011-04-14 Harman International Industries, Incorporated System for spatial extraction of audio signals

Also Published As

Publication number Publication date
US20110081024A1 (en) 2011-04-07
KR101387195B1 (ko) 2014-04-21
JP2013507048A (ja) 2013-02-28
CN102687536A (zh) 2012-09-19
CA2774415A1 (en) 2011-04-14
US9372251B2 (en) 2016-06-21
EP2486737A1 (en) 2012-08-15
JP5400225B2 (ja) 2014-01-29
WO2011044064A1 (en) 2011-04-14
EP2486737B1 (en) 2016-05-11
KR20140010468A (ko) 2014-01-24
CN102687536B (zh) 2017-03-08
CA2774415C (en) 2017-09-05

Similar Documents

Publication Publication Date Title
KR101387195B1 (ko) 오디오 신호의 공간 추출 시스템
JP5467105B2 (ja) オブジェクトベースのメタデータを用いてオーディオ出力信号を生成するための装置および方法
US9282417B2 (en) Spatial sound reproduction
JP5149968B2 (ja) スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法
CN101421779B (zh) 用于产生环境信号的设备和方法
CN103563403B (zh) 音频系统及方法
US10057705B2 (en) System and method for transitioning between audio system modes
JP4844622B2 (ja) 音量補正装置、音量補正方法、音量補正プログラムおよび電子機器、音響装置
JP4810621B1 (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
JP5316560B2 (ja) 音量補正装置、音量補正方法および音量補正プログラム
JP5915249B2 (ja) 音響処理装置および音響処理方法
Geluso Mixing and Mastering
RU2384973C1 (ru) Устройство и способ синтезирования трех выходных каналов, используя два входных канала

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 6