KR20120062027A - 오디오 공간 환경 엔진 - Google Patents

오디오 공간 환경 엔진 Download PDF

Info

Publication number
KR20120062027A
KR20120062027A KR1020127013494A KR20127013494A KR20120062027A KR 20120062027 A KR20120062027 A KR 20120062027A KR 1020127013494 A KR1020127013494 A KR 1020127013494A KR 20127013494 A KR20127013494 A KR 20127013494A KR 20120062027 A KR20120062027 A KR 20120062027A
Authority
KR
South Korea
Prior art keywords
audio data
channel
hilbert
surround
scaled
Prior art date
Application number
KR1020127013494A
Other languages
English (en)
Other versions
KR101283741B1 (ko
Inventor
로버트 더블유. 리암즈
제프리 케이. 톰슨
아론 워너
Original Assignee
디티에스 워싱턴, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/975,841 external-priority patent/US7929708B2/en
Application filed by 디티에스 워싱턴, 엘엘씨 filed Critical 디티에스 워싱턴, 엘엘씨
Publication of KR20120062027A publication Critical patent/KR20120062027A/ko
Application granted granted Critical
Publication of KR101283741B1 publication Critical patent/KR101283741B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

서로 다른 포맷의 오디오 데이터 간에 변환을 하는 오디오 공간 환경 엔진이 제공된다. 오디오 공간 환경 엔진은 N-채널 데이터와 M-채널 데이터 간의 유연한 변환 및 M-채널 데이터로부터 다시 N'-채널 데이터로의 변환(단, N, M 및 N'은 정수이고, N이 N'과 꼭 같을 필요는 없음)을 가능하게 해준다. 예를 들어, 이러한 시스템은 스테레오 사운드 데이터용으로 설계된 네트워크 또는 기반구조를 통해 서라운드 사운드 데이터를 전송 또는 저장하는 데 사용될 수 있다. 오디오 공간 환경 엔진은 개량된 동적 다운-믹싱 유닛 및 고분해능 주파수 대역 업-믹싱 유닛으로 인해 서로 다른 공간 환경 간의 개선되고 유연한 변환을 제공한다. 동적 다운-믹싱 유닛은 많은 다운-믹싱 방법에 공통된 스펙트럼, 시간 및 공간 부정확성을 정정할 수 있는 지능적인 분석 및 정정 루프를 포함한다. 업-믹싱 유닛은 서로 다른 주파수 성분의 공간 배치를 도출하기 위해 고분해능 주파수 대역들에 걸쳐 중요한 채널간 공간 큐(inter-channel spatial cue)의 추출 및 분석을 이용한다. 다운-믹싱 유닛 및 업-믹싱 유닛은, 개별적으로 또는 시스템으로서 사용될 때, 개선된 사운드 품질 및 공간 구분을 제공한다.

Description

오디오 공간 환경 엔진{AUDIO SPATIAL ENVIRONMENT ENGINE}
관련 출원
본 출원은 2004년 10월 28일자로 출원된 발명의 명칭이 "2-N 렌더링(2-to-N Rendering)"인 미국 가특허 출원 제60/622,922호, 2004년 10월 28일자로 출원된 발명의 명칭이 "오디오 공간 환경 엔진(Audio Spatial Environment Engine)"인 미국 특허 출원 제10/975,841호, 본 출원과 함께 출원된 발명의 명칭이 "오디오 공간 환경 다운-믹서(Audio Spatial Environment Down-Mixer)"인 미국 특허 출원 제 호(대리인 문서 번호 13646.0014), 및 본 출원과 함께 출원된 발명의 명칭이 "오디오 공간 환경 업-믹서(Audio Spatial Environment Up-Mixer)"인 미국 특허 출원 제 호(대리인 문서 번호 13646.0012)를 우선권 주장하며, 이들 각각은 공동 소유되어 있고 또 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.
본 발명은 오디오 데이터 처리 분야에 관한 것으로서, 보다 상세하게는 서로 다른 포맷의 오디오 데이터 간에 변환을 하는 시스템 및 방법에 관한 것이다.
오디오 데이터를 처리하는 시스템 및 방법이 기술 분야에 공지되어 있다. 이들 시스템 및 방법의 대부분은, 2-채널 스테레오 환경, 4-채널 쿼드라포닉(quadraphonic) 환경, 5 채널 서라운드 사운드 환경(5.1 채널 환경이라고도 함) 또는 다른 적당한 포맷 또는 환경 등의, 기지의 오디오 환경에 대한 오디오 데이터를 처리하는 데 사용된다.
포맷 또는 환경의 수의 증가로 야기되는 한가지 문제는 제1 환경에서 최적의 오디오 품질을 위해 처리된 오디오 데이터가 종종 다른 오디오 환경에서 즉시 사용될 수 없다는 것이다. 이 문제의 한 예는 스테레오 사운드 데이터용으로 설계된 네트워크 또는 기반구조를 통해 서라운드 사운드 데이터를 전송 또는 저장하는 것이다. 스테레오 2-채널 전송 또는 저장을 위한 기반구조가 서라운드 사운드 포맷에 대한 추가 채널의 오디오 데이터를 지원할 수 없기 때문에, 기존의 기반구조에서 서라운드 사운드 포맷을 전송 또는 이용하는 것이 어렵거나 불가능하다.
본 발명에 따르면, 공간 오디오 환경들 간에 변환을 하는 것에서의 기지의 문제점을 극복하는 오디오 공간 환경 엔진에 대한 시스템 및 방법이 제공된다.
상세하게는, N-채널 데이터와 M-채널 데이터 간의 변환 및 M-채널 데이터로부터 다시 N'-채널 데이터로의 변환(단, N, M 및 N'는 정수이고, N이 N'과 반드시 같을 필요는 없음)을 가능하게 해주는 오디오 공간 환경 엔진에 대한 시스템 및 방법이 제공된다.
본 발명의 예시적인 실시예에 따르면, N-채널 오디오 시스템으로부터 M-채널 오디오 시스템으로, 다시 N'-채널 오디오 시스템으로(단, N, M 및 N'은 정수이고, N이 N'과 꼭 같을 필요는 없음) 변환하는 오디오 공간 환경 엔진이 제공된다. 이 오디오 공간 환경 엔진은 N개 채널의 오디오 데이터를 수신하고 이 N개 채널의 오디오 데이터를 M개 채널의 오디오 데이터로 변환하는 동적 다운-믹서를 포함한다. 이 오디오 공간 환경 엔진은 또한 M개 채널의 오디오 데이터를 수신하고 이 M개 채널의 오디오 데이터를 N'개 채널의 오디오 데이터로 변환하는 업-믹서를 포함한다. 이 시스템의 한 예시적인 응용은 스테레오 사운드 데이터용으로 설계된 네트워크 또는 기반구조를 통해 서라운드 사운드 데이터를 전송 또는 저장하는 것이다. 동적 다운-믹싱 유닛은 전송 또는 저장을 위해 서라운드 사운드 데이터를 스테레오 사운드 데이터로 변환하고, 업-믹싱 유닛은 재생, 처리 또는 어떤 다른 적당한 사용을 위해 스테레오 사운드 데이터를 서라운드 사운드 데이터로 복원한다.
본 발명은 많은 중요한 기술적 이점을 제공한다. 본 발명의 한가지 중요한 기술적 이점은 개량된 동적 다운-믹싱 유닛 및 고분해능 주파수 대역 업-믹싱 유닛으로 인해 서로 다른 공간 환경 간의 개선되고 유연한 변환을 제공하는 시스템이다. 동적 다운-믹싱 유닛은 많은 다운-믹싱 방법에 공통된 스펙트럼, 시간 및 공간 부정확성을 정정하는 지능적인 분석 및 정정 루프를 포함한다. 업-믹싱 유닛은 서로 다른 주파수 성분의 공간 배치를 도출하기 위해 고분해능 주파수 대역들에 걸쳐 중요한 채널간 공간 큐(inter-channel spatial cue)의 추출 및 분석을 이용한다. 다운-믹싱 유닛 및 업-믹싱 유닛은, 개별적으로 또는 시스템으로서 사용될 때, 개선된 사운드 품질 및 공간 구분을 제공한다.
당업자라면, 도면과 관련하여 이하에 기술된 상세한 설명을 읽어보면, 본 발명의 이점 및 우수한 특징을, 본 발명의 다른 중요한 측면과 함께, 잘 알 것이다.
도 1은 본 발명의 예시적인 실시예에 따른, 분석 및 정정 루프를 갖는 동적 다운-믹싱 시스템을 나타낸 도면.
도 2는 본 발명의 예시적인 실시예에 따른, N개 채널로부터 M개 채널로 데이터를 다운-믹싱하는 시스템을 나타낸 도면.
도 3은 본 발명의 예시적인 실시예에 따른, 5개 채널로부터 2개 채널로 데이터를 다운-믹싱하는 시스템을 나타낸 도면.
도 4는 본 발명의 예시적인 실시예에 따른 서브-대역 벡터 계산 시스템을 나타낸 도면.
도 5는 본 발명의 예시적인 실시예에 따른 서브-대역 정정 시스템을 나타낸 도면.
도 6은 본 발명의 예시적인 실시예에 따른, M개 채널로부터 N개 채널로 데이터를 업-믹싱하는 시스템을 나타낸 도면.
도 7은 본 발명의 예시적인 실시예에 따른, 2개 채널로부터 5개 채널로 데이터를 업-믹싱하는 시스템을 나타낸 도면.
도 8은 본 발명의 예시적인 실시예에 따른, 2개 채널로부터 7개 채널로 데이터를 업-믹싱하는 시스템을 나타낸 도면.
도 9는 본 발명의 예시적인 실시예에 따른, 채널간 공간 큐를 추출하고 주파수 영역 응용을 위한 공간 채널 필터를 발생하는 방법을 나타낸 도면.
도 10a는 본 발명의 예시적인 실시예에 따른 예시적인 좌전방 채널 필터 맵을 나타낸 도면.
도 10b는 예시적인 우전방 채널 필터 맵을 나타낸 도면.
도 10c는 예시적인 중앙 채널 필터 맵을 나타낸 도면.
도 10d는 예시적인 서라운드 좌채널 필터 맵을 나타낸 도면.
도 10e는 예시적인 서라운드 우채널 필터 맵을 나타낸 도면.
이하의 설명에서, 명세서 및 도면 전체에 걸쳐 유사한 부분은 유사한 참조 번호로 표시되어 있다. 도면은 축척대로 되어 있지 않을 수 있으며, 어떤 구성요소는 일반화된 또는 개략적인 형태로 도시될 수 있고 또 명확함 및 간결함을 위해 상업적 명칭에 의해 식별될 수도 있다.
도 1은 본 발명의 예시적인 실시예에 따른, 분석 및 정정 루프를 갖는, N-채널 오디오 포맷으로부터 M-채널 오디오 포맷으로 동적 다운-믹싱을 하는 시스템을 나타낸 도면이다. 시스템(100)은 5.1 채널 사운드(즉, N = 5)를 사용하고 이 5.1 채널 사운드를 스테레오 사운드(즉, M = 2)로 변환하지만, 다른 적당한 수의 입력 및 출력 채널이 그에 부가하여 또는 다른 대안으로서 사용될 수 있다.
시스템(100)의 동적 다운-믹스 프로세스는 기준 다운-믹스(102), 기준 업-믹스(104), 서브-대역 벡터 계산 시스템(106, 108), 및 서브-대역 정정 시스템(110)을 사용하여 구현된다. 분석 및 정정 루프는 업-믹스 프로세스를 시뮬레이트하는 기준 업-믹스(104), 시뮬레이트된 업-믹스 및 원래의 신호의 주파수 대역별로 에너지 및 위치 벡터를 계산하는 서브-대역 벡터 계산 시스템(106, 108), 및 시뮬레이트된 업-믹스 및 원래의 신호의 에너지 및 위치 벡터를 비교하고 어떤 불일치를 정정하기 위해 다운-믹싱된 신호의 채널간 공간 큐를 수정하는 서브-대역 정정 시스템(110)를 통해 실현된다.
시스템(100)은 수신된 N-채널 오디오를 M-채널 오디오로 변환하는 정적 기준 다운-믹스(102)를 포함한다. 정적 기준 다운-믹스(102)는 5.1 사운드 채널, 좌측 L(T), 우측 R(T), 중앙 C(T), 좌측 서라운드 LS(T) 및 우측 서라운드 RS(T)를 수신하고 이 5.1 채널 신호를 스테레오 채널 신호, 좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T)로 변환한다.
좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T) 스테레오 채널 신호는 그 다음에 기준 업-믹스(104)에 제공되고, 이 기준 업-믹스는 스테레오 사운드 채널을 5.1 사운드 채널로 변환한다. 기준 업-믹스(104)는 5.1 사운드 채널, 좌측 L'(T), 우측 R'(T), 중앙 C'(T), 좌측 서라운드 LS'(T) 및 우측 서라운드 RS'(T)를 출력한다.
기준 업-믹스(104)로부터 출력되는 업-믹싱된 5.1 채널 사운드 신호는 이어서 서브-대역 벡터 계산 시스템(106)에 제공된다. 서브-대역 벡터 계산 시스템(106)으로부터의 출력은 업-믹싱된 5.1 채널 신호, L'(T), R'(T), C'(T), LS'(T) 및 RS'(T)에 대한 복수의 주파수 대역에 대한 업-믹싱된 에너지 및 이미지 위치 데이터이다. 이와 유사하게, 원래의 5.1 채널 사운드 신호는 서브-대역 벡터 계산 시스템(108)에 제공된다. 서브-대역 벡터 계산 시스템(108)으로부터의 출력은 원래의 5.1 채널 신호, L(T), R(T), C(T), LS(T) 및 RS(T)에 대한 복수의 주파수 대역에 대한 소스 에너지 및 이미지 위치 데이터이다. 서브-대역 벡터 계산 시스템(106, 108)에 의해 계산되는 에너지 및 위치 벡터는 이상적인 청취 조건 하에서 듣는 사람에 대한 주어진 주파수 성분의 인식된 세기 및 소스 위치를 나타내는 주파수 대역별 2-차원 벡터 및 총 에너지 측정치로 이루어져 있다. 예를 들어, 오디오 신호는, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간 영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크를 사용하여 시간 영역으로부터 주파수 영역으로 변환될 수 있다. 이 필터 뱅크 출력은 주파수 대역별 총 에너지 및 주파수 대역별 정규화된 이미지 위치 벡터를 결정하기 위해 추가적으로 처리된다.
서브-대역 벡터 계산 시스템(106, 108)으로부터 출력되는 에너지 및 위치 벡터 값은 서브-대역 정정 시스템(110)에 제공되며, 이 서브-대역 정정 시스템은 원래의 5.1 채널 사운드에 대한 소스 에너지 및 위치를 이 5.1 채널 사운드에 대한 업-믹싱된 에너지 및 위치와 함께 분석하는데, 그 이유는 원래의 5.1 채널 사운드가 좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T) 스테레오 채널 신호로부터 발생되기 때문이다. 그 다음에, 스테레오 채널 신호가 차후에 업-믹싱될 때 보다 정확한 다운-믹싱된 스테레오 채널 신호 및 보다 정확한 5.1 표현을 제공하기 위해, LW(T) 및 RW(T)를 생성하는 좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T) 신호에 대해 소스 에너지 및 위치 벡터와 업-믹싱된 에너지 및 위치 벡터 간의 차이가 서브-대역별로 식별되고 정정된다. 정정된 좌측 워터마크 LW(T) 및 우측 워터마크 RW(T) 신호는 전송, 스테레오 수신기에 의한 수신, 업-믹스 기능을 갖는 수신기에 의한 수신, 또는 다른 적당한 사용을 위해 출력된다.
동작을 설명하면, 시스템(100)은, 다운-믹스/업-믹스 시스템 전체의 시뮬레이션, 분석 및 정정으로 이루어져 있는 지능적 분석 및 정정 루프를 통해, 5.1 채널 사운드를 스테레오 사운드로 동적으로 다운-믹싱한다. 이 방법은 통계적으로 다운-믹싱된 스테레오 신호 LW'(T) 및 RW'(T)를 발생하고, 후속하는 업-믹싱된 신호 L'(T), R'(T), C'(T), LS'(T) 및 RS'(T)를 시뮬레이트하며, 좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T) 스테레오 신호 또는 차후에 업-믹싱되는 서라운드 채널 신호의 품질에 영향을 줄 수 있는 임의의 에너지 또는 위치 벡터 차이를 서브-대역별로 식별 및 정정하기 위해 상기 업-믹싱된 신호를 원래의 5.1 채널 신호와 함께 분석함으로써 달성된다. 좌측 워터마크 LW(T) 및 우측 워터마크 RW(T) 스테레오 신호를 생성하는 서브-대역 정정 프로세싱은, LW(T) 및 RW(T)가 업-믹싱될 때, 그 결과 얻어지는 5.1 채널 사운드가 향상된 정확도로 원래의 입력 5.1 채널 사운드와 일치하도록 수행된다. 이와 유사하게, 임의의 적당한 수의 입력 채널이 적당한 수의 워터마크된 출력 채널로 변환될 수 있도록 해주기 위해, 예를 들어, 7.1 채널 사운드를 워터마크된 스테레오로, 7.1 채널 사운드를 워터마크된 5.1 채널 사운드로, 커스텀 사운드 채널(자동차 사운드 시스템 또는 극장 등)을 스테레오로, 또는 다른 적당한 변환을 위해, 부가적인 프로세싱이 수행될 수 있다.
도 2는 본 발명의 예시적인 실시예에 따른 정적 기준 다운-믹스(200)를 나타낸 도면이다. 정적 기준 다운-믹스(200)는 도 1의 기준 다운-믹스(102)로서 또는 다른 적당한 방식으로 사용될 수 있다.
기준 다운-믹스(200)는 N 채널 오디오를 M 채널 오디오로 변환하며, 여기서 N 및 M은 정수이고 N은 M보다 크다. 기준 다운-믹스(200)는 입력 신호 X1(T), X2(T),..., XN(T)를 수신한다. 각각의 입력 채널 i에 대해, 입력 신호 Xi(T)가 신호의 90°위상 천이를 야기하는 힐버트 변환 유닛(202 내지 206)에 제공된다. 90°위상 천이를 달성하는 힐버트 필터 또는 전역 통과 필터 회로망 등의 다른 프로세싱이 그에 부가하여 또는 다른 대안으로서 힐버트 변환 유닛 대신에 사용될 수 있다. 각각의 입력 채널 i에 대해, 힐버트 변환된 신호 및 원래의 입력 신호는 이어서 곱셈기(208 내지 218)의 제1 스테이지에 의해 미리 정해진 스케일링 상수 Ci11 및 Ci12와 각각 곱해지며, 여기서 첫번째 첨자는 입력 채널 번호 i를 나타내고, 두번째 첨자는 곱셈기의 제1 스테이지를 나타내며, 세번째 첨자는 스테이지별 곱셈기 수를 나타낸다. 곱셈기(208 내지 218)의 출력은 이어서 합산기(220 내지 224)에 의해 합산되어, 분수 힐버트 신호 X'i(T)를 발생한다. 곱셈기(220 내지 224)로부터 출력된 분수 힐버트 신호 X'i(T)는 대응하는 입력 신호 Xi(T)에 대해 가변적인 위상 천이량을 갖는다. 위상 천이량은 스케일링 상수 Ci11 및 Ci12에 의존하며, 여기서 0°위상 천이는 Ci11 = 0 및 Ci12 = 1에 대응하여 가능하고, ±90°위상 천이는 Ci11 = ±1 및 Ci12 = 0에 대응하여 가능하다. 임의의 중간의 위상 천이량은 Ci11 및 Ci12 의 적절한 값으로 가능하다.
각각의 입력 채널 i에 대한 각각의 신호 X'i(T)는 이어서 제2 스테이지의 곱셈기(226 내지 242)에 의해 미리 정해진 스케일링 상수 Ci2j와 곱해지며, 여기서 첫번째 첨자는 입력 채널 번호 i를 나타내고, 두번째 첨자는 제2 스테이지의 곱셈기를 나타내며, 세번째 첨자는 출력 채널 번호 j를 나타낸다. 곱셈기(226 내지 242)의 출력은 이어서 합산기(244 내지 248)에 의해 적절히 합산되어 각각의 출력 채널 j에 대한 대응하는 출력 신호 Yj(T)를 발생한다. 각각의 입력 채널 i 및 출력 채널 j에 대한 스케일링 상수 Ci2j는 각각의 입력 채널 i 및 출력 채널 j의 공간 위치에 의해 결정된다. 예를 들어, 좌측 입력 채널 i 및 우측 출력 채널 j에 대한 스케일링 상수 Ci2j는 공간 구분(spatial distinction)을 유지하기 위해 0에 가깝게 설정될 수 있다. 이와 유사하게, 전방 입력 채널 i에 대한 스케일링 상수 Ci2j는 공간 배치(spatial placement)를 유지하기 위해 1에 가깝게 설정될 수 있다.
동작을 설명하면, 기준 다운-믹스(200)는, 출력 신호가 수신기에 수신될 때, 입력 신호들 간의 공간 관계가 임의적으로 관리 및 추출될 수 있게 해주는 방식으로, N개의 사운드 채널을 M개의 사운드 채널로 결합한다. 게다가, 도시된 바와 같은 N개 채널 사운드의 결합은 M 채널 오디오 환경에서 청취하고 있는 듣는 사람에게 만족스러운 품질을 갖는 M개 채널 사운드를 발생한다. 따라서, N 채널 사운드를, M 채널 수신기, 적당한 업-믹서를 갖는 N 채널 수신기, 또는 다른 적당한 수신기에서 사용될 수 있는 M 채널 사운드로 변환하기 위해 기준 다운-믹스(200)가 사용될 수 있다.
도 3은 본 발명의 예시적인 실시예에 따른 정적 기준 다운-믹스(300)를 나타낸 도면이다. 도 3에 나타낸 바와 같이, 정적 기준 다운-믹스(300)는, 5.1 채널 시간 영역 데이터를 스테레오 채널 시간 영역 데이터로 변환하는 도 2의 정적 기준 다운-믹스(200)의 구현이다. 정적 기준 다운-믹스(300)는 도 1의 기준 다운-믹스(102)로서 또는 다른 적당한 방식으로 사용될 수 있다.
기준 다운-믹스(300)는, 소스 5.1 채널 사운드의 좌채널 신호 L(T)를 수신하고 그 시간 신호에 대해 힐버트 변환을 수행하는 힐버트 변환(302)을 포함한다. 이 힐버트 변환은 신호의 90°위상 천이를 야기하며, 이 신호는 이어서 곱셈기(310)에 의해 미리 정해진 스케일링 상수 CL1과 곱해진다. 90°위상 천이를 달성하는 힐버트 필터 또는 전역-통과 필터 회로망 등의 다른 프로세싱이 그에 부가하여 또는 다른 대안으로서 힐버트 변환 유닛 대신에 사용될 수 있다. 원래의 좌채널 신호 L(T)는 곱셈기(312)에 의해 미리 정해진 스케일링 상수 CL2와 곱해진다. 곱셈기(310, 312)의 출력은 합산기(320)에 의해 합산되어 분수 힐버트 신호 L'(T)를 발생한다. 이와 유사하게, 소스 5.1 채널 사운드로부터의 우채널 신호 R(T)는 힐버트 변환(304)에 의해 처리되고 곱셈기(314)에 의해 미리 정해진 스케일링 상수 CR1과 곱해진다. 원래의 우채널 신호 R(T)는 곱셈기(316)에 의해 미리 정해진 스케일링 상수 CR2와 곱해진다. 곱셈기(314, 316)의 출력은 합산기(322)에 의해 합산되어 분수 힐버트 신호 R'(T)를 발생한다. 곱셈기(320, 322)로부터 출력되는 분수 힐버트 신호 L'(T) 및 R'(T)는 각각 대응하는 입력 신호 L(T) 및 R(T)에 대해 가변적인 위상 천이량을 갖는다. 위상 천이량은 스케일링 상수 CL1, CL2, CR1 및 CR2에 의존하며, 여기서 0°위상 천이는 CL1 = 0 및 CL2 = 1, CR1 = 0 및 CR2 = 1에 대응하여 가능하고, ±90°위상 천이는 CL1 = ±1 및 CL2 = 0, CR1 = ±1 및 CR2 = 0에 대응하여 가능하다. 임의의 중간의 위상 천이량은 CL1, CL2, CR1 및 CR2의 적절한 값으로 가능하다. 소스 5.1 채널 사운드로부터 입력되는 중앙 채널은 곱셈기(318)에 분수 힐버트 신호 C'(T)로서 제공되며, 이는 중앙 채널 입력 신호에 대해 위상 천이가 수행되지 않음을 의미한다. 곱셈기(318)는 C'(T)를, 3 데시벨 정도의 감쇄 등의 미리 정해진 스케일링 상수 C3와 곱한다. 합산기(320, 322) 및 곱셈기(318)의 출력은 적절히 합산되어 좌측 워터마크 채널 LW'(T) 및 우측 워터마크 채널 RW'(T)로 된다.
소스 5.1 채널 사운드로부터의 서라운드 좌채널 LS(T)는 힐버트 변환(306)에 제공되고, 소스 5.1 채널 사운드로부터의 서라운드 우채널 RS(T)은 힐버트 변환(308)에 제공된다. 힐버트 변환(306, 308)의 출력은 분수 힐버트 신호 LS'(T) 및 RS'(T)이고, 이는 LS(T) 및 LS'(T) 쌍과 RS(T) 및 RS'(T) 쌍 간에 전체 90°위상 천이가 존재함을 암시한다. LS'(T)는 이어서 곱셈기(324, 326)에 의해 미리 정해진 스케일링 상수 CLS1 및 CLS2와 각각 곱해진다. 이와 마찬가지로, RS'(T)는 곱셈기(328, 330)에 의해 미리 정해진 스케일링 상수 CRS1 및 CRS2와 각각 곱해진다. 곱셈기(324 내지 330)의 출력은 좌측 워터마크 채널 LW'(T) 및 우측 워터마크 채널 RW'(T)에 적절히 제공된다.
합산기(332)는 합산기(320)로부터 출력된 좌채널, 곱셈기(318)로부터 출력된 중앙 채널, 곱셈기(324)로부터 출력된 서라운드 좌채널, 및 곱셈기(328)로부터 출력된 서라운드 우채널을 수신하고, 이들 신호를 가산하여 좌측 워터마크 채널 LW'(T)을 형성한다. 이와 유사하게, 합산기(334)는 곱셈기(318)로부터 출력된 중앙 채널, 합산기(322)로부터 출력된 우채널, 곱셈기(326)로부터 출력된 서라운드 좌채널, 및 곱셈기(330)로부터 출력된 서라운드 우채널을 수신하고, 이들 신호를 가산하여 우측 워터마크 채널 RW'(T)을 형성한다.
동작을 설명하면, 기준 다운-믹스(300)는, 좌측 워터마크 채널 및 우측 워터마크 채널 스테레오 신호가 수신기에 수신될 때, 5.1 입력 채널 간의 공간 관계가 유지되고 추출될 수 있게 해주는 방식으로, 소스 5.1 사운드 채널들을 결합한다. 게다가, 도시된 바와 같이 5.1 채널 사운드를 결합하면 서라운드 사운드 업-믹스를 수행하지 않는 스테레오 수신기를 사용하는 듣는 사람에게 만족할만한 품질을 갖는 스테레오 사운드를 발생한다. 따라서, 기준 다운-믹스(300)는 5.1 채널 사운드를 스테레오 수신기, 적당한 업-믹서를 갖는 5.1 채널 수신기, 적당한 업-믹서를 갖는 7.1 채널 수신기, 또는 다른 적당한 수신기에서 사용될 수 있는 스테레오 사운드로 변환하는 데 사용될 수 있다.
도 4는 본 발명의 예시적인 실시예에 따른 서브-대역 벡터 계산 시스템(400)을 나타낸 도면이다. 서브-대역 벡터 계산 시스템(400)은 복수의 주파수 대역에 대한 에너지 및 위치 벡터 데이터를 제공하고, 도 1의 서브-대역 벡터 계산 시스템(106, 108)으로서 사용될 수 있다. 5.1 채널 사운드가 도시되어 있지만, 다른 적당한 채널 구성이 사용될 수 있다.
서브-대역 벡터 계산 시스템(400)은 시간-주파수 분석 유닛(402 내지 410)을 포함한다. 5.1 시간 영역 사운드 채널 L(T), R(T), C(T), LS(T) 및 RS(T)는 시간-주파수 분석 유닛(402 내지 410)에 각각 제공되고, 이 시간-주파수 분석 유닛은 시간 영역 신호를 주파수 영역 신호로 변환한다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간-영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의 적절한 필터 뱅크일 수 있다. L(F), R(F), C(F), LS(F) 및 RS(F)에 대해 주파수 대역별 크기 또는 에너지 값이 시간-주파수 분석 유닛(402 내지 410)으로부터 출력된다. 이들 크기/에너지 값은 각각의 대응하는 채널의 각각의 주파수 대역 성분에 대한 크기/에너지 측정치로 이루어져 있다. 크기/에너지 측정치는 합산기(412)에서 합산되고, 이 합산기는 T(F)를 출력하며, 여기서 T(F)는 주파수 대역별 입력 신호의 총 에너지이다. 이 값은 이어서 분할 유닛(414 내지 422)에 의해 채널 크기/에너지 값 각각으로 분할되어, 대응하는 정규화된 채널간 레벨 차이(inter-channel level difference, ICLD) 신호 ML(F), MR(F), MC(F), MLS(F) 및 MRS(F)를 발생하며, 여기서 이들 ICLD 신호는 각각의 채널에 대한 정규화된 서브-대역 에너지 추정치로 볼 수 있다.
5.1 채널 사운드는 도시된 바와 같이 가로축과 깊이축으로 이루어진 2차원 평면 상에 예시적인 위치를 갖는 정규화된 위치 벡터에 매핑된다. 도시된 바와 같이, (XLS, YLS)에 대한 위치값은 원점에 할당되고, (XRS, YRS)에 대한 값은 (0, 1)에 할당되며, (XL, YL)의 값은 (1, 1-C)에 할당되고, 여기서 C는 방의 후방으로부터 좌측 및 우측 스피커에 대한 후퇴 거리(setback distance)를 나타내는 1과 0 사이의 값이다. 이와 유사하게, (XR, YR)의 값은 (1, 1-C)이다. 마지막으로, (XC, YC)의 값은 (0.5, 1)이다. 이 좌표는 예시적인 것이며, 스피커 좌표가 방의 크기, 방의 형상 또는 다른 인자에 기초하여 다른 경우와 같이, 서로에 대한 스피커의 실제의 정규화된 위치 또는 구성을 반영하기 위해 변경될 수 있다. 예를 들어, 7.1 사운드 또는 다른 적당한 사운드 채널 구성이 사용되는 경우, 방에서의 스피커의 위치를 반영하는 부가적인 좌표값이 제공될 수 있다. 이와 유사하게, 이러한 스피커 위치는 자동차, 방, 강당, 경기장에서의 스피커의 실제 분포에 기초하여 또는 다른 적당한 방식으로 조정될 수 있다.
추정된 이미지 위치 벡터 P(F)는 이하의 벡터식에 기술된 바와 같이 서브-대역별로 계산될 수 있다.
P(F) = ML(F)*(XL, YL) + MR(F)*(XR, YR) + MC(F)*(XC, YC) + i. MLS(F)*(XLS, YLS) + MRS(F)*(XRS, YRS)
따라서, 각각의 주파수 대역에 대해, 그 주파수 대역에 대한 겉보기 주파수 소스의 인식된 세기 및 위치를 정의하는 데 사용되는 총 에너지 T(F) 및 위치 벡터 P(F)의 출력이 제공된다. 이와 같이, 예를 들어, 서브-대역 정정 시스템(110)에서 사용하기 위해 또는 다른 적당한 목적을 위해, 주파수 성분의 공간 이미지가 국소화될 수 있다.
도 5는 본 발명의 예시적인 실시예에 따른 서브-대역 정정 시스템을 나타낸 도면이다. 서브-대역 정정 시스템이 도 1의 서브-대역 정정 시스템(110)으로서 또는 다른 적당한 목적으로 사용될 수 있다. 서브-대역 정정 시스템은 좌측 워터마크 LW'(T) 및 우측 워터마크 RW'(T) 스테레오 채널 신호를 수신하고 기준 다운-믹싱 또는 다른 적당한 방법의 결과로서 생성될 수 있는 각각의 주파수 대역에 대한 신호 부정확성을 보상하기 위해 워터마크된 신호에 에너지 및 이미지 정정을 수행한다. 서브-대역 정정 시스템은, 각각의 서브-대역에 대해, 소스의 총 에너지 신호 TSOURCE(F) 및 차후의 업-믹싱된 신호 TUMIX(F) 및 소스에 대한 위치 벡터 PSOURCE(F) 및 차후의 업-믹싱된 신호 PUMIX(F)(도 1의 서브-대역 벡터 계산 시스템(106, 108)에 의해 발생되는 것 등)를 수신하고 이용한다. 이들 총 에너지 신호 및 위치 벡터는 수행할 적절한 정정 및 보상을 결정하는 데 사용된다.
서브-대역 정정 시스템은 위치 정정 시스템(500) 및 스펙트럼 에너지 정정 시스템(502)을 포함한다. 위치 정정 시스템(500)은 좌측 워터마크 스테레오 채널 LW'(T) 및 우측 워터마크 스테레오 채널 RW'(T)에 대한 시간 영역 신호를 수신하고, 이들 신호는 시간-주파수 분석 유닛(504, 506)에 의해 시간 영역으로부터 주파수 영역으로 각각 변환된다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간 영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크일 수 있다.
시간-주파수 분석 유닛(504, 506)의 출력은 주파수 영역 서브-대역 신호 LW'(F) 및 RW'(F)이다. 채널간 차이(ICLD) 및 채널간 코히런스(ICC)의 관련 공간 큐는 신호 LW'(F) 및 RW'(F)에서 서브-대역별로 수정된다. 예를 들어, 이들 큐는, LW'(F) 및 RW'(F)의 절대값 및 LW'(F) 및 RW'(F)의 위상각으로 나타내어진, LW'(F) 및 RW'(F)의 크기 또는 에너지의 조작을 통해 수정될 수 있다. ICLD의 정정은 곱셈기(508)에 의해 LW'(F)의 크기/에너지 값을 이하의 식에 의해 발생된 값과 곱함으로써 수행된다.
[XMAX - PX ,SOURCE(F)]/[XMAX - PX ,UMIX(F)]
여기서, XMAX = 최대 X 좌표 경계이고,
PX , SOURCE(F) = 소스 벡터로부터의 추정된 서브-대역 X 위치 좌표이며,
PX , UMIX(F) = 차후의 업-믹스 벡터로부터의 추정된 서브-대역 X 위치 좌표이다.
이와 마찬가지로, RW'(F)의 크기/에너지는, 곱셈기(510)에 의해, 이하의 식에 의해 발생된 값과 곱해진다.
[PX , SOURCE(F) - XMIN] /[PX , UMIX(F) - XMIN]
여기서, XMIN = 최소 X 좌표 경계이다.
ICC의 정정은, 가산기(512)에 의해, LW'(F)의 위상각을 이하의 식에 의해 발생된 값과 가산함으로써 행해진다.
+/- Π * [PY , SOURCE(F) - PY ,UMIX(F)]/[YMAX - YMIN]
여기서, PY , SOURCE(F) = 소스 벡터로부터의 추정된 서브-대역 Y 위치 좌표이고,
PY , UMIX(F) = 차후의 업-믹스 벡터로부터의 추정된 서브-대역 Y 위치 좌표이며,
YMAX = 최대 Y 좌표 경계이고,
YMIN = 최소 Y 좌표 경계이다.
이와 유사하게, RW'(F)에 대한 위상각은, 가산기(514)에 의해, 이하의 식에 의해 발생된 값에 가산된다.
-/+ Π * [PY , SOURCE(F) - PY ,UMIX(F)]/[YMAX - YMIN]
유의할 점은 LW'(F) 및 RW'(F)에 가산된 각도 성분이 동일한 값을 갖지만 반대 극성을 가지며, 여기서 그 결과 얻어지는 극성이 LW'(F)와 RW'(F) 간의 앞선 위상각에 의해 결정된다는 것이다.
정정된 LW'(F) 크기/에너지 및 LW'(F) 위상각은 가산기(516)에 의해 재결합되어 각각의 서브-대역에 대한 복소값 LW(F)을 형성하고 이어서 주파수-시간 합성 유닛(520)에 의해 좌측 워터마크 시간 영역 신호 LW(T)로 변환된다. 이와 마찬가지로, 정정된 RW'(F) 크기/에너지 및 RW'(F) 위상각은 가산기(518)에 의해 재결합되어 각각의 서브-대역에 대한 복소값 RW(F)을 형성하고 이어서 주파수-시간 합성 유닛(522)에 의해 우측 워터마크 시간 영역 신호 RW(T)로 변환된다. 주파수-시간 합성 유닛(520, 522)은 주파수 영역 신호를 다시 시간 영역 신호로 변환할 수 있는 적당한 합성 필터 뱅크일 수 있다.
이 예시적인 실시예에 나타낸 바와 같이, 워터마크 좌측 및 우측 채널 신호의 각각의 스펙트럼 성분에 대한 채널간 공간 큐는 ICLD 및 ICC 공간 큐를 적절히 수정하는 위치 정정(500)을 사용하여 정정될 수 있다.
스펙트럼 에너지 정정 시스템(502)은 다운-믹싱된 신호의 전체적인 스펙트럼 균형(total spectral balance)이 원래의 5.1 신호의 전체적인 스펙트럼 균형과 일치하고 따라서, 예를 들어, 콤 필터링(comb filtering)에 의해 야기되는 스펙트럼 편이를 보상하도록 보장하는 데 사용될 수 있다. 좌측 워터마크 시간 영역 신호 및 우측 워터마크 시간 영역 신호 LW'(T) 및 RW'(T)는 시간-주파수 분석 유닛(524, 526)을 사용하여 시간 영역으로부터 주파수 영역으로 각각 변환된다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간-영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크일 수 있다. 시간-주파수 분석 유닛(524, 526)으로부터의 출력은 LW'(F) 및 RW'(F) 주파수 서브-대역 신호이며, 이들 신호는 곱셈기(528, 530)에 의해 TSOURCR(F)/TUMIX(F)와 곱해지며, 여기서
TSOURCE(F) = ｜L(F)｜ + ｜R(F)｜ + ｜C(F)｜ + ｜LS(F)｜ + ｜R(F)｜
TUMIX(F) = ｜LUMIX(F)｜ + ｜RUMIX(F)｜ + ｜CUMIX(F)｜ + ｜LSUMIX(F)｜ +
｜RSUMIX(F)｜
곱셈기(528, 530)로부터의 출력은 이어서 주파수-시간 합성 유닛(532, 534)에 의해 다시 주파수 영역으로부터 시간 영역으로 변환되어 LW(T) 및 RW(T)를 발생한다. 주파수-시간 합성 유닛은 주파수 영역 신호를 다시 시간 영역 신호로 변환할 수 있는 적당한 합성 필터 뱅크일 수 있다. 이와 같이, 원래의 5.1 신호에 충실한 좌측 및 우측 워터마크 채널 신호 LW(T) 및 RW(T)를 생성하기 위해, 위치 및 에너지 정정이 다운-믹싱된 스테레오 채널 신호 LW'(F) 및 RW'(F)에 적용될 수 있다. LW(T) 및 RW(T)는, 원래의 5.1 채널 사운드에 존재하는 임의적인 내용 요소의 스펙트럼 성분 위치 또는 에너지를 그다지 변경시키지 않고, 스테레오로 재생될 수 있거나 다시 5.1 채널로 또는 다른 적당한 수의 채널로 업-믹싱될 수 있다.
도 6은 본 발명의 예시적인 실시예에 따른, M개 채널로부터 N개 채널로 데이터를 업-믹싱하는 시스템(600)을 나타낸 도면이다. 시스템(600)은 스테레오 시간 영역 데이터를 N 채널 시간 영역 데이터로 변환한다.
시스템(600)은 시간-주파수 분석 유닛(602, 604), 필터 발생 유닛(606), 평활화 유닛(608), 및 주파수-시간 합성 유닛(634 내지 638)을 포함한다. 시스템(600)은, 고분해능 주파수 대역 프로세싱을 가능하게 해주는 확장가능한 주파수 영역 아키텍처를 통해, 또한 업-믹싱된 N 채널 신호에서의 주파수 성분의 공간적 배치를 도출하기 위해 주파수 대역별로 중요한 채널간 공간 큐를 추출 및 분석하는 필터 발생 방법을 통해, 업-믹스 프로세스에서 향상된 공간 구분 및 안정성을 제공한다.
시스템(600)은 시간-주파수 분석 유닛(602, 604)에서 좌채널 스테레오 신호 L(T) 및 우채널 스테레오 신호 R(T)를 수신하고, 이 시간-주파수 분석 유닛은 시간 영역 신호를 주파수 영역 신호로 변환한다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간-영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크일 수 있다. 시간-주파수 분석 유닛(602, 604)으로부터의 출력은, 분석 필터 뱅크 서브-대역 대역폭이 심리 음향적 임계 대역(psycho-acoustic critical band), 등가 장방형 대역폭(equivalent rectangular bandwidth), 또는 어떤 다른 인지 특성에 근사하도록 처리될 수 있는 경우 0 내지 20 kHz 주파수 범위 등의, 사람의 청각 시스템의 충분한 주파수 범위를 포함하는 일련의 주파수 영역 값이다. 이와 유사하게, 다른 적당한 수의 주파수 대역 및 범위가 사용될 수 있다.
시간-주파수 분석 유닛(602, 604)으로부터의 출력은 필터 발생 유닛(606)에 제공된다. 한 예시적인 실시예에서, 필터 발생 유닛(606)은 주어진 환경을 위해 출력되어야만 하는 채널의 수에 관한 외부 선택을 수신할 수 있다. 예를 들어, 2개의 전방 스피커 및 2개의 후방 스피커가 있는 경우 4.1 사운드 채널이 선택될 수 있거나, 2개의 전방 스피커 및 2개의 후방 스피커 및 1개의 전방 중앙 스피커가 있는 경우에, 5.1 사운드 시스템이 선택될 수 있거나, 2개의 전방 스피커, 2개의 측방 스피커, 2개의 후방 스피커, 및 1개의 전방 중앙 스피커가 있는 경우에, 7.1 사운드 시스템이 선택될 수 있거나, 다른 적당한 사운드 시스템이 선택될 수 있다. 필터 발생 유닛(606)은 주파수 대역별로 채널간 레벨 차이(ICLD) 및 채널간 코히런스(ICC) 등의 채널간 공간 큐를 추출 및 분석한다. 이들 관련 공간 큐는 이어서 업-믹싱된 음장(sound field)에서의 주파수 대역 성분의 공간 배치를 제어하는 적응 채널 필터를 발생하기 위한 파라미터로서 사용된다. 아주 빠르게 변할 수 있는 경우에 짜증나는 변동 효과를 야기할 수 있는 필터 변동성을 제한하기 위해 시간 및 주파수 둘다에 걸쳐 평활화 유닛(608)에 의해 채널 필터가 평활화된다. 도 6에 나타낸 예시적인 실시예에서, 좌측 및 우측 채널 L(F) 및 R(F) 주파수 영역 신호가, 평활화 유닛(608)에 제공되는 N 채널 필터 신호 H1(F), H2(F),..., HN(F)를 생성하는 필터 발생 유닛(606)에 제공된다.
평활화 유닛(608)은 N 채널 필터의 각각의 채널에 대한 주파수 영역 성분을 시간 및 주파수 차원 둘다에 걸쳐 평균을 구한다. 시간 및 주파수에 걸친 평활화는 채널 필터 신호의 빠른 변동을 제어하는 데 도움이 되며, 따라서 듣는 사람에게 짜증나는 것일 수 있는 지터 아티팩트 및 불안정성을 감소시킨다. 한 예시적인 실시예에서, 시간 평활화는 1차 저역-통과 필터를 현재 프레임으로부터의 각각의 주파수 대역 및 이전의 프레임으로부터의 대응하는 주파수 대역에 적용함으로써 실현될 수 있다. 이것은 프레임마다 각각의 주파수 대역의 변동성을 감소시키는 효과를 갖는다. 다른 예시적인 실시예에서, 스펙트럼 평활화는 사람의 청각 시스템의 임계 대역 간격에 가깝도록 모델링되는 주파수 빈(frequency bin)의 그룹들에 걸쳐 수행될 수 있다. 예를 들어, 균일한 간격의 주파수 빈을 갖는 분석 필터 뱅크가 이용되는 경우, 서로 다른 수의 주파수 빈이 그룹화되고 주파수 스펙트럼의 서로 다른 부분에 대해 평균될 수 있다. 예를 들어, 0부터 5 kHz까지는, 5개의 주파수 빈이 평균될 수 있거나, 5 kHz부터 10 kHz까지는, 7개의 주파수 빈이 평균될 수 있거나, 10 kHz부터 20 kHz까지는, 9개의 주파수 빈이 평균될 수 있거나, 다른 적당한 수의 주파수 빈 및 대역폭 범위가 선택될 수 있다. H1(F), H2(F),..., HN(F)의 평활화된 값은 평활화 유닛(608)으로부터 출력된다.
N개의 출력 채널 각각에 대한 소스 신호 X1(F), X2(F),..., XN(F)가 M개 입력 채널의 적응적 결합으로서 발생된다. 도 6에 나타낸 예시적인 실시예에서, 주어진 출력 채널 i에 대해, 합산기(614, 620, 626)로부터 출력된 채널 소스 신호 Xi(F)는 L(F)를 적응적 스케일링 신호 Gi(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-Gi(F)와 곱한 것의 합산으로서 발생된다. 곱셈기(610, 612, 616, 618, 622, 624)에 의해 사용되는 적응적 스케일링 신호 Gi(F)는 주파수 대역별로 출력 채널 i의 의도된 공간 위치와 L(F) 및 R(F)의 동적 채널간 코히런스 추정치에 의해 결정된다. 이와 유사하게, 합산기(614, 620, 626)에 제공되는 신호의 극성은 출력 채널 i의 의도된 공간 위치에 의해 결정된다. 예를 들어, 합산기(614, 620, 626)에서의 적응적 스케일링 신호 Gi(T) 및 극성은, 종래의 매트릭스 업-믹싱 방법에서 통상적인 바와 같이, 전방 중앙 채널에 L(F)+R(F) 결합을, 좌측 채널에 L(F)를, 우측 채널에 R(F)를, 그리고 후방 채널에 L(F)-R(F) 결합을 제공하도록 설계될 수 있다. 적응적 스케일링 신호 Gi(F)는 또한 출력 채널 쌍들(이들이 가로 또는 깊이 채널 쌍인지에 상관없음) 간의 상관을 동적으로 조정하는 방법을 제공할 수 있다.
채널 소스 신호 X1(F), X2(F),..., XN(F)는 곱셈기(628 내지 632)에 의해 평활화된 채널 필터 H1(F), H2(F),...., HN(F)와 각각 곱해진다.
곱셈기(628 내지 632)로부터의 출력은 이어서 주파수-시간 합성 유닛(634 내지 638)에 의해 주파수 영역으로부터 시간 영역으로 변환되어 출력 채널 Y1(T), Y2(T),..., YN(T)를 발생한다. 이와 같이, 좌측 및 우측 스테레오 신호는 N개 채널 신호로 업-믹싱되고, 여기서 자연적으로 존재하거나, 도 1의 다운-믹싱 워터마크 프로세스 또는 다른 적당한 프로세스 등에 의해, 좌측 및 우측 스테레오 신호로 의도적으로 인코딩된 채널간 공간 큐는 시스템(600)에 의해 생성되는 N 채널 음장 내에서의 주파수 성분의 공간적 배치를 제어하는 데 사용될 수 있다. 이와 유사하게, 스테레오에서 7.1 사운드로, 5.1에서 7.1로, 또는 다른 적당한 조합 등의, 다른 적당한 조합의 입력 및 출력이 사용될 수 있다.
도 7은 본 발명의 예시적인 실시예에 따른, M개 채널을 N개 채널로 데이터를 업-믹싱하는 시스템(700)을 나타낸 도면이다. 시스템(700)은 스테레오 시간 영역 데이터를 5.1 채널 시간 영역 데이터로 변환한다.
시스템(700)은 시간-주파수 분석 유닛(702, 704), 필터 발생 유닛(706), 평활화 유닛(708), 및 주파수-시간 합성 유닛(738 내지 746)을 포함한다. 시스템(700)은, 고분해능 주파수 대역 프로세싱을 가능하게 해주는 확장가능한 주파수 영역 아키텍처의 사용을 통해, 또한 업-믹싱된 5.1 채널 신호에서의 주파수 성분의 공간적 배치를 도출하기 위해 주파수 대역별로 중요한 채널간 공간 큐를 추출 및 분석하는 필터 발생 방법을 통해, 업-믹스 프로세스에서 향상된 공간 구분 및 안정성을 제공한다.
시스템(700)은 시간-주파수 분석 유닛(702, 704)에서 좌채널 스테레오 신호 L(T) 및 우채널 스테레오 신호 R(T)를 수신하고, 이 시간-주파수 분석 유닛은 시간 영역 신호를 주파수 영역 신호로 변환한다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간-영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크일 수 있다. 시간-주파수 분석 유닛(702, 704)으로부터의 출력은, 분석 필터 뱅크 서브-대역 대역폭이 심리 음향적 임계 대역(psycho-acoustic critical band), 등가 장방형 대역폭(equivalent rectangular bandwidth), 또는 어떤 다른 인지 특성에 근사하도록 처리될 수 있는 경우 0 내지 20 kHz 주파수 범위 등의, 사람의 청각 시스템의 충분한 주파수 범위를 포함하는 일련의 주파수 영역 값이다. 이와 유사하게, 다른 적당한 수의 주파수 대역 및 범위가 사용될 수 있다.
시간-주파수 분석 유닛(702, 704)으로부터의 출력은 필터 발생 유닛(706)에 제공된다. 한 예시적인 실시예에서, 필터 발생 유닛(706)은 주어진 환경을 위해 출력되어야만 하는 채널의 수에 관한 외부 선택을 수신할 수 있다. 예를 들어, 2개의 전방 스피커 및 2개의 후방 스피커가 있는 경우 4.1 사운드 채널이 선택될 수 있거나, 2개의 전방 스피커 및 2개의 후방 스피커 및 1개의 전방 중앙 스피커가 있는 경우에, 5.1 사운드 시스템이 선택될 수 있거나, 2개의 전방 스피커 및 1개의 전방 중앙 스피커가 있는 경우에, 3.1 사운드 시스템이 선택될 수 있거나, 다른 적당한 사운드 시스템이 선택될 수 있다. 필터 발생 유닛(706)은 주파수 대역별로 채널간 레벨 차이(ICLD) 및 채널간 코히런스(ICC) 등의 채널간 공간 큐를 추출 및 분석한다. 이들 관련 공간 큐는 이어서 업-믹싱된 음장(sound field)에서의 주파수 대역 성분의 공간 배치를 제어하는 적응 채널 필터를 발생하기 위한 파라미터로서 사용된다. 아주 빠르게 변할 수 있는 경우에 짜증나는 변동 효과를 야기할 수 있는 필터 변동성을 제한하기 위해 시간 및 주파수 둘다에 걸쳐 평활화 유닛(708)에 의해 채널 필터가 평활화된다. 도 7에 나타낸 예시적인 실시예에서, 좌측 및 우측 채널 L(F) 및 R(F) 주파수 영역 신호가, 평활화 유닛(708)에 제공되는 5.1 채널 필터 신호 HL(F), HR(F), HC(F), HLS(F), 및 HRS(F)를 생성하는 필터 발생 유닛(706)에 제공된다.
평활화 유닛(708)은 5.1 채널 필터의 각각의 채널에 대한 주파수 영역 성분을 시간 및 주파수 차원 둘다에 걸쳐 평균을 구한다. 시간 및 주파수에 걸친 평활화는 채널 필터 신호의 빠른 변동을 제어하는 데 도움이 되며, 따라서 듣는 사람에게 짜증나는 것일 수 있는 지터 아티팩트 및 불안정성을 감소시킨다. 한 예시적인 실시예에서, 시간 평활화는 1차 저역-통과 필터를 현재 프레임으로부터의 각각의 주파수 대역 및 이전의 프레임으로부터의 대응하는 주파수 대역에 적용함으로써 실현될 수 있다. 이것은 프레임마다 각각의 주파수 대역의 변동성을 감소시키는 효과를 갖는다. 다른 예시적인 실시예에서, 스펙트럼 평활화는 사람의 청각 시스템의 임계 대역 간격에 가깝도록 모델링되는 주파수 빈(frequency bin)의 그룹들에 걸쳐 수행될 수 있다. 예를 들어, 균일한 간격의 주파수 빈을 갖는 분석 필터 뱅크가 이용되는 경우, 서로 다른 수의 주파수 빈이 그룹화되고 주파수 스펙트럼의 서로 다른 부분에 대해 평균될 수 있다. 이 예시적인 실시예에서, 0부터 5 kHz까지는, 5개의 주파수 빈이 평균될 수 있거나, 5 kHz부터 10 kHz까지는, 7개의 주파수 빈이 평균될 수 있거나, 10 kHz부터 20 kHz까지는, 9개의 주파수 빈이 평균될 수 있거나, 다른 적당한 수의 주파수 빈 및 대역폭 범위가 선택될 수 있다. HL(F), HR(F), HC(F), HLS(F), 및 HRS(F)의 평활화된 값은 평활화 유닛(708)으로부터 출력된다.
5.1 출력 채널 각각에 대한 소스 신호 XL(F), XR(F), XC(F), XLS(F), 및 XRS(F)가 스테레오 입력 채널의 적응적 결합으로서 발생된다. 도 7에 나타낸 예시적인 실시예에서, XL(F)는 단지 L(F)로서 제공되어 있으며, 이는 모든 주파수 대역에 대해 GL(F) = 1임을 암시한다. 이와 마찬가지로, XR(F)는 단지 R(F)로서 제공되어 있으며, 이는 모든 주파수 대역에 대해 GR(F) = 0임을 암시한다. 합산기(714)로부터 출력되는 XC(F)는 신호 L(F)를 적응적 스케일링 신호 GC(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GC(F)와 곱한 것의 합산으로서 발생된다. 합산기(720)로부터 출력되는 XLS(F)는 신호 L(F)를 적응적 스케일링 신호 GLS(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GLS(F)와 곱한 것의 합산으로서 계산된다. 이와 유사하게, 합산기(726)로부터 출력되는 XRS(F)는 신호 L(F)를 적응적 스케일링 신호 GRS(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GRS(F)와 곱한 것의 합산으로서 계산된다. 유의할 점은, 모든 주파수 대역에 대해 GC = 0.5, GLS(F) = 0.5 및 GRS(F) = 0.5인 경우, 종래의 매트릭스 업-믹싱 방법에서 통상적인 바와 같이, 전방 중앙 채널은 L(F)+R(F) 결합으로부터 비롯되고, 서라운드 채널은 스케일링된 L(F)-R(F) 결합으로부터 비롯된다는 것이다. 적응적 스케일링 신호 GC(F), GLS(F) 및 GRS(F)는 또한 인접한 출력 채널 쌍들(이들이 가로 또는 깊이 채널 쌍인지에 상관없음) 간의 상관을 동적으로 조정하는 방법을 제공할 수 있다. 채널 소스 신호 XL(F), XR(F), XC(F), XLS(F), 및 XRS(F)는 곱셈기(728 내지 732)에 의해 평활화된 채널 필터 HL(F), HR(F), HC(F), HLS(F), 및 HRS(F)와 각각 곱해진다.
곱셈기(728 내지 736)로부터의 출력은 이어서 주파수-시간 합성 유닛(738 내지 746)에 의해 주파수 영역으로부터 시간 영역으로 변환되어 출력 채널 YL(T), YR(T), YC(T), YLS(T) 및 YRS(T)를 발생한다. 이와 같이, 좌측 및 우측 스테레오 신호는 5.1 채널 신호로 업-믹싱되고, 여기서 자연적으로 존재하거나, 도 1의 다운-믹싱 워터마크 프로세스 또는 다른 적당한 프로세스 등에 의해, 좌측 및 우측 스테레오 신호로 의도적으로 인코딩된 채널간 공간 큐는 시스템(700)에 의해 생성되는 5.1 채널 음장 내에서의 주파수 성분의 공간적 배치를 제어하는 데 사용될 수 있다. 이와 유사하게, 스테레오에서 4.1 사운드로, 4.1에서 5.1 사운드로, 또는 다른 적당한 조합 등의, 다른 적당한 조합의 입력 및 출력이 사용될 수 있다.
도 8은 본 발명의 예시적인 실시예에 따른, M개 채널을 N개 채널로 데이터를 업-믹싱하는 시스템(800)을 나타낸 도면이다. 시스템(800)은 스테레오 시간 영역 데이터를 7.1 채널 시간 영역 데이터로 변환한다.
시스템(800)은 시간-주파수 분석 유닛(802, 804), 필터 발생 유닛(806), 평활화 유닛(808), 및 주파수-시간 합성 유닛(854 내지 866)을 포함한다. 시스템(800)은, 고분해능 주파수 대역 프로세싱을 가능하게 해주는 확장가능한 주파수 영역 아키텍처의 사용을 통해, 또한 업-믹싱된 7.1 채널 신호에서의 주파수 성분의 공간적 배치를 도출하기 위해 주파수 대역별로 중요한 채널간 공간 큐를 추출 및 분석하는 필터 발생 방법을 통해, 업-믹스 프로세스에서 향상된 공간 구분 및 안정성을 제공한다.
시스템(800)은 시간-주파수 분석 유닛(802, 804)에서 좌채널 스테레오 신호 L(T) 및 우채널 스테레오 신호 R(T)를 수신하고, 이 시간-주파수 분석 유닛은 시간 영역 신호를 주파수 영역 신호로 변환한다. 이들 시간-주파수 분석 유닛은, 유한 임펄스 응답(FIR) 필터 뱅크, 직교 미러 필터(QMF) 뱅크, 이산 푸리에 변환(DFT), 시간-영역 엘리어싱 소거(TDAC) 필터 뱅크, 또는 다른 적당한 필터 뱅크 등의, 적절한 필터 뱅크일 수 있다. 시간-주파수 분석 유닛(802, 804)으로부터의 출력은, 분석 필터 뱅크 서브-대역 대역폭이 심리 음향적 임계 대역(psycho-acoustic critical band), 등가 장방형 대역폭(equivalent rectangular bandwidth), 또는 어떤 다른 인지 특성에 근사하도록 처리될 수 있는 경우 0 내지 20 kHz 주파수 범위 등의, 사람의 청각 시스템의 충분한 주파수 범위를 포함하는 일련의 주파수 영역 값이다. 이와 유사하게, 다른 적당한 수의 주파수 대역 및 범위가 사용될 수 있다.
시간-주파수 분석 유닛(802, 804)으로부터의 출력은 필터 발생 유닛(806)에 제공된다. 한 예시적인 실시예에서, 필터 발생 유닛(806)은 주어진 환경을 위해 출력되어야만 하는 채널의 수에 관한 외부 선택을 수신할 수 있다. 예를 들어, 2개의 전방 스피커 및 2개의 후방 스피커가 있는 경우 4.1 사운드 채널이 선택될 수 있거나, 2개의 전방 스피커 및 2개의 후방 스피커 및 1개의 전방 중앙 스피커가 있는 경우에, 5.1 사운드 시스템이 선택될 수 있거나, 2개의 전방 스피커, 2개의 측방 스피커, 2개의 후방 스피커, 및 1개의 전방 중앙 스피커가 있는 경우에, 7.1 사운드 시스템이 선택될 수 있거나, 다른 적당한 사운드 시스템이 선택될 수 있다. 필터 발생 유닛(806)은 주파수 대역별로 채널간 레벨 차이(ICLD) 및 채널간 코히런스(ICC) 등의 채널간 공간 큐를 추출 및 분석한다. 이들 관련 공간 큐는 이어서 업-믹싱된 음장(sound field)에서의 주파수 대역 성분의 공간 배치를 제어하는 적응 채널 필터를 발생하기 위한 파라미터로서 사용된다. 아주 빠르게 변할 수 있는 경우에 짜증나는 변동 효과를 야기할 수 있는 필터 변동성을 제한하기 위해 시간 및 주파수 둘다에 걸쳐 평활화 유닛(808)에 의해 채널 필터가 평활화된다. 도 8에 나타낸 예시적인 실시예에서, 좌측 및 우측 채널 L(F) 및 R(F) 주파수 영역 신호가, 평활화 유닛(808)에 제공되는 7.1 채널 필터 신호 HL(F), HR(F), HC(F), HLS(F), HRS(F), HLB(F) 및 HRB(F)를 생성하는 필터 발생 유닛(806)에 제공된다.
평활화 유닛(808)은 7.1 채널 필터의 각각의 채널에 대한 주파수 영역 성분을 시간 및 주파수 차원 둘다에 걸쳐 평균을 구한다. 시간 및 주파수에 걸친 평활화는 채널 필터 신호의 빠른 변동을 제어하는 데 도움이 되며, 따라서 듣는 사람에게 짜증나는 것일 수 있는 지터 아티팩트 및 불안정성을 감소시킨다. 한 예시적인 실시예에서, 시간 평활화는 1차 저역-통과 필터를 현재 프레임으로부터의 각각의 주파수 대역 및 이전의 프레임으로부터의 대응하는 주파수 대역에 적용함으로써 실현될 수 있다. 이것은 프레임마다 각각의 주파수 대역의 변동성을 감소시키는 효과를 갖는다. 한 예시적인 실시예에서, 스펙트럼 평활화는 사람의 청각 시스템의 임계 대역 간격에 가깝도록 모델링되는 주파수 빈(frequency bin)의 그룹들에 걸쳐 수행될 수 있다. 예를 들어, 균일한 간격의 주파수 빈을 갖는 분석 필터 뱅크가 이용되는 경우, 서로 다른 수의 주파수 빈이 그룹화되고 주파수 스펙트럼의 서로 다른 부분에 대해 평균될 수 있다. 이 예시적인 실시예에서, 0부터 5 kHz까지는, 5개의 주파수 빈이 평균될 수 있거나, 5 kHz부터 10 kHz까지는, 7개의 주파수 빈이 평균될 수 있거나, 10 kHz부터 20 kHz까지는, 9개의 주파수 빈이 평균될 수 있거나, 다른 적당한 수의 주파수 빈 및 대역폭 범위가 선택될 수 있다. HL(F), HR(F), HC(F), HLS(F), HRS(F), HLB(F) 및 HRB(F)의 평활화된 값은 평활화 유닛(808)으로부터 출력된다.
7.1 출력 채널 각각에 대한 소스 신호 XL(F), XR(F), XC(F), XLS(F), XRS(F), XLB(F) 및 XRB(F)가 스테레오 입력 채널의 적응적 결합으로서 발생된다. 도 8에 나타낸 예시적인 실시예에서, XL(F)는 단지 L(F)로서 제공되어 있으며, 이는 모든 주파수 대역에 대해 GL(F) = 1임을 암시한다. 이와 마찬가지로, XR(F)는 단지 R(F)로서 제공되어 있으며, 이는 모든 주파수 대역에 대해 GR(F) = 0임을 암시한다. 합산기(814)로부터 출력되는 XC(F)는 신호 L(F)를 적응적 스케일링 신호 GC(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GC(F)와 곱한 것의 합산으로서 발생된다. 합산기(820)로부터 출력되는 XLS(F)는 신호 L(F)를 적응적 스케일링 신호 GLS(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GLS(F)와 곱한 것의 합산으로서 계산된다. 이와 유사하게, 합산기(826)로부터 출력되는 XRS(F)는 신호 L(F)를 적응적 스케일링 신호 GRS(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GRS(F)와 곱한 것의 합산으로서 계산된다. 이와 유사하게, 합산기(832)로부터 출력되는 XLB(F)는 신호 L(F)를 적응적 스케일링 신호 GLB(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GLB(F)와 곱한 것의 합산으로서 계산된다. 이와 유사하게, 합산기(838)로부터 출력되는 XRB(F)는 신호 L(F)를 적응적 스케일링 신호 GRB(F)와 곱한 것과 R(F)를 적응적 스케일링 신호 1-GRB(F)와 곱한 것의 합산으로서 계산된다. 유의할 점은, 모든 주파수 대역에 대해 GC = 0.5, GLS(F) = 0.5, GRS(F) = 0.5, GLB(F) = 0.5 및 GRB(F) = 0.5인 경우, 종래의 매트릭스 업-믹싱 방법에서 통상적인 바와 같이, 전방 중앙 채널은 L(F)+R(F) 결합으로부터 비롯되고, 측방 및 후방 채널은 스케일링된 L(F)-R(F) 결합으로부터 비롯된다는 것이다. 적응적 스케일링 신호 GC(F), GLS(F), GRS(F), GLB(F) 및 GRB(F)는 또한 인접한 출력 채널 쌍들(이들이 가로 또는 깊이 채널 쌍인지에 상관없음) 간의 상관을 동적으로 조정하는 방법을 제공할 수 있다. 채널 소스 신호 XL(F), XR(F), XC(F), XLS(F), XRS(F), XLB(F) 및 XRB(F)는 곱셈기(840 내지 852)에 의해 평활화된 채널 필터 HL(F), HR(F), HC(F), HLS(F), HRS(F), HLB(F) 및 HRB(F)와 각각 곱해진다.
곱셈기(840 내지 852)로부터의 출력은 이어서 주파수-시간 합성 유닛(854 내지 866)에 의해 주파수 영역으로부터 시간 영역으로 변환되어 출력 채널 YL(T), YR(T), YC(T), YLS(T), YRS(T), YLB(T) 및 YRB(T)를 발생한다. 이와 같이, 좌측 및 우측 스테레오 신호는 7.1 채널 신호로 업-믹싱되고, 여기서 자연적으로 존재하거나, 도 1의 다운-믹싱 워터마크 프로세스 또는 다른 적당한 프로세스 등에 의해, 좌측 및 우측 스테레오 신호로 의도적으로 인코딩된 채널간 공간 큐는 시스템(800)에 의해 생성되는 7.1 채널 음장 내에서의 주파수 성분의 공간적 배치를 제어하는 데 사용될 수 있다. 이와 유사하게, 스테레오에서 5.1 사운드로, 5.1에서 7.1 사운드로, 또는 다른 적당한 조합 등의, 다른 적당한 조합의 입력 및 출력이 사용될 수 있다.
도 9는 본 발명의 예시적인 실시예에 따른, 주파수 영역 응용에 대한 필터를 발생하는 시스템(900)을 나타낸 도면이다. 이 필터 발생 프로세스는 M 채널 입력 신호의 주파수 영역 분석 및 프로세싱을 이용한다. M 채널 입력 신호의 각각의 주파수 대역에 대해 관련 채널간 공간 큐가 추출되고, 각각의 주파수 대역에 대해 공간 위치 벡터가 발생된다. 이 공간 위치 벡터는 이상적인 청취 조건 하에서 듣는 사람의 그 주파수 대역에 대한 인지된 소스 위치로서 해석된다. 이어서, 업-믹싱된 N 채널 출력 신호에서의 주파수 성분이 채널간 큐와 일치하게 재생되도록 각각의 채널 필터가 발생된다. 채널간 레벨 차이(ICLD) 및 채널간 코히런스(ICC)의 추정치가 공간 위치 벡터를 생성하기 위한 채널간 큐로서 사용된다.
시스템(900)에 나타낸 예시적인 실시예에서, 서브-대역 크기 또는 에너지 성분은 채널간 레벨 차이를 추정하는 데 사용되고, 서브-대역 위상각 성분은 채널간 코히런스를 추정하는 데 사용된다. 좌측 및 우측 주파수 영역 입력 L(F) 및 R(F)는 크기 또는 에너지 성분 및 위상각 성분으로 변환되고, 여기서 크기/에너지 성분은 분할기(904, 906)에 의해 각각의 주파수 대역에 대한 좌측 채널 ML(F) 및 우측 채널 MR(F)의 크기/에너지 값을 각각 정규화하기 위해 나중에 사용되는 총 에너지 신호 T(F)를 계산하는 합산기(902)에 제공된다. 정규화된 가로 좌표 신호 LAT(F)는 이어서 ML(F) 및 MR(F)로부터 계산되고, 여기서 주파수 대역에 대한 정규화된 가로 좌표는 다음과 같이 계산된다.
LAT(F) = ML(F)*XMIN + MR(F)*XMAX
이와 유사하게, 정규화된 깊이 좌표는 다음과 같이 입력의 위상각 성분으로부터 계산된다.
DEP(F) = YMAX - 0.5*(YMAX - YMIN) * sqrt[COS(∠L(F))-COS(∠R(F))]^2 + [SIN(∠L(F))-SIN(∠R(F))]^2
정규화된 깊이 좌표는 기본적으로 위상각 성분 ∠L(F) 및 ∠R(F) 간의 스케일링되고 천이된 거리 측정치로부터 계산된다. 위상각 ∠L(F) 및 ∠R(F)이 단위원 상에서 서로에 가까와짐에 따라 DEP(F)의 값은 1에 가까와지고, 위상각 ∠L(F) 및 ∠R(F)이 단위원의 반대쪽에 가까와짐에 따라 DEP(F)의 값은 0에 가까와진다. 각각의 주파수 대역에 대해, 정규화된 가로 좌표 및 깊이 좌표는, 이하의 도 10a 내지 도 10e에 도시된 것 등의, 2차원 채널 맵에 입력되어 각각의 채널 i에 대한 필터 값 Hi(F)를 생성하는 2차원 벡터(LAT(F), DEP(F))를 형성한다. 각각의 채널 i에 대한 이들 채널 필터 Hi(F)는, 도 6의 필터 발생 유닛(606), 도 7의 필터 발생 유닛(706) 및 도 8의 필터 발생 유닛(806) 등의, 필터 발생 유닛으로부터 출력된다.
도 10a는 본 발명의 예시적인 실시예에 따른 좌측 전방 신호에 대한 필터 맵을 나타낸 도면이다. 도 10a에서, 필터 맵(1000)은 0 내지 1의 범위에 있는 정규화된 가로 좌표 및 0 내지 1의 범위에 있는 정규화된 깊이 좌표를 받고 0 내지 1의 범위에 있는 정규화된 필터 값을 출력한다. 회색의 음영은, 필터 맵(1000)의 우측 상의 스케일로 나타내어져 있는 바와 같이, 최대 1에서 최소 0까지의 크기 변동을 나타내는 데 사용된다. 이 예시적인 좌측 전방 필터 맵(1000)에 있어서, (0, 1)에 가까워지는 정규화된 가로 및 깊이 좌표는 1.0에 가까워지는 최고 필터값을 출력하는 반면, 대략 (0.6, Y) 내지 (1.0, Y)의 범위에 있는 좌표(단, Y는 0 내지 1의 숫자임)는 기본적으로 0의 필터값을 출력한다.
도 10b는 예시적인 우측 전방 필터 맵(1002)을 나타낸 도면이다. 필터 맵(1002)은 필터 맵(1000)과 동일한 정규화된 가로 좌표 및 정규화된 깊이 좌표를 받지만 출력 필터값은 정규화된 레이아웃의 우측 전방 부분에 유리하다.
도 10c는 예시적인 중앙 필터 맵(1004)을 나타낸 도면이다. 이 예시적인 실시예에서, 중앙 필터 맵(1004)에 대한 최대 필터값은 정규화된 레이아웃의 중앙에서 발생하며, 좌표가 레이아웃의 전방 중앙으로부터 레이아웃의 후방쪽으로 멀어짐에 따라 상당한 크기 저하가 있다.
도 10d는 예시적인 좌측 서라운드 필터 맵(1006)을 나타낸 도면이다. 이 예시적인 실시예에서, 좌측 서라운드 필터 맵(1006)에 대한 최대 필터값은 정규화된 레이아웃의 후방 좌측 좌표 근방에서 발생하며, 좌표가 레이아웃의 전방 우측으로 이동함에 따라 크기 저하가 있다.
도 10e는 예시적인 우측 서라운드 필터 맵(1008)을 나타낸 도면이다. 이 예시적인 실시예에서, 우측 서라운드 필터 맵(1008)에 대한 최대 필터값은 정규화된 레이아웃의 후방 우측 좌표 근방에서 발생하며, 좌표가 레이아웃의 전방 좌측으로 이동함에 따라 크기 저하가 있다.
이와 마찬가지로, 다른 스피커 레이아웃 또는 구성이 사용되는 경우, 기존의 필터 맵이 수정될 수 있고, 새로운 청취 환경에서의 변화를 반영하기 위해 새로운 스피커 위치에 대응하는 새로운 필터 맵이 발생될 수 있다. 한 예시적인 실시예에서, 7.1 시스템은, 좌측 서라운드 및 우측 서라운드가 깊이 좌표 차원에서 위쪽으로 이동해 있고 좌측 후방 및 우측 후방 위치가 필터 맵(1006, 1008)과 유사한 필터 맵을 각각 갖는, 2개의 부가적인 필터 맵을 포함하게 된다. 필터 계수가 감소하는 비율은 다른 수의 스피커에 대응하기 위해 변경될 수 있다.
본 발명의 시스템 및 방법의 예시적인 실시예가 본 명세서에 상세히 기술되어 있지만, 당업자라면 첨부된 청구 범위의 범위 및 정신을 벗어나지 않고 본 시스템 및 방법에 여러가지 치환 및 수정이 행해질 수 있다는 것도 잘 알 것이다.

Claims (19)

  1. N 채널 오디오 시스템으로부터 M 채널 오디오 시스템으로(단, N 및 M은 정수이고, N은 M보다 큼) 변환하는 오디오 공간 환경 엔진으로서,
    각각이 상기 N개 채널의 오디오 데이터 중 하나를 수신하고 미리 정해진 위상 천이를 연관된 채널의 오디오 데이터에 적용하는 하나 이상의 힐버트 변환 스테이지,
    각각이 힐버트 변환된 채널의 오디오 데이터 중 하나를 수신하고 각각이 스케일링된 힐버트 변환된 채널의 오디오 데이터를 발생하는 하나 이상의 상수 곱셈기 스테이지,
    각각이 상기 N개 채널의 오디오 데이터 중 하나 및 상기 스케일링된 힐버트 변환된 채널의 오디오 데이터를 수신하고 각각이 분수 힐버트 채널의 오디오 데이터를 발생하는 하나 이상의 제1 합산 스테이지, 및
    각각이 상기 분수 힐버트 채널의 오디오 데이터 중 하나 이상 및 상기 N개 채널의 오디오 데이터 중 하나 이상을 수신하고 상기 분수 힐버트 채널의 오디오 데이터 중 상기 하나 이상 및 상기 N개 채널의 오디오 데이터 중 상기 하나 이상을 각각 결합하여 상기 분수 힐버트 채널의 오디오 데이터 중 하나 이상과 상기 N개 채널의 오디오 데이터 중 상기 하나 이상 각각 간에 미리 정해진 위상 관계를 갖는 M개 채널의 오디오 데이터 중 하나를 발생하는 M개의 제2 합산 스테이지를 포함하는 오디오 공간 환경 엔진.
  2. 제1항에 있어서, 좌채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지를 포함하고,
    상기 힐버트 변환된 좌채널의 오디오 데이터는 상수와 곱해지고 상기 좌채널의 오디오 데이터에 가산되어 미리 정해진 위상 천이를 갖는 좌채널의 오디오 데이터를 발생하며,
    상기 위상 천이된 좌채널의 오디오 데이터는 상수와 곱해지고 상기 M개의 제2 합산 스테이지 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  3. 제1항에 있어서, 우채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지를 포함하고,
    상기 힐버트 변환된 우채널의 오디오 데이터는 상수와 곱해지고 상기 우채널의 오디오 데이터로부터 감산되어 미리 정해진 위상 천이를 갖는 우채널의 오디오 데이터를 발생하며,
    상기 위상 천이된 우채널의 오디오 데이터는 상수와 곱해지고 상기 M개의 제2 합산 스테이지 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  4. 제1항에 있어서, 서라운드 좌채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 및 서라운드 우채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지를 포함하고,
    상기 힐버트 변환된 서라운드 좌채널의 오디오 데이터는 상수와 곱해지고 상기 힐버트 변환된 서라운드 우채널의 오디오 데이터에 가산되어 서라운드 좌-우 채널의 오디오 데이터를 발생하며,
    상기 위상 천이된 서라운드 좌-우 채널의 오디오 데이터는 상기 M개의 제2 합산 스테이지 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  5. 제1항에 있어서, 서라운드 우채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 및 서라운드 좌채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지를 포함하고,
    상기 힐버트 변환된 서라운드 우채널의 오디오 데이터는 상수와 곱해지고 상기 힐버트 변환된 서라운드 좌채널의 오디오 데이터에 가산되어 서라운드 우-좌 채널의 오디오 데이터를 발생하며,
    상기 위상 천이된 서라운드 우-좌 채널의 오디오 데이터는 상기 M개의 제2 합산 스테이지 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  6. 제1항에 있어서, 좌채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 - 상기 힐버트 변환된 좌채널의 오디오 데이터는 상수와 곱해지고 상기 좌채널의 오디오 데이터에 가산되어 미리 정해진 위상 천이를 갖는 좌채널의 오디오 데이터를 발생하며, 상기 좌채널의 오디오 데이터는 상수와 곱해져 스케일링된 좌채널의 오디오 데이터를 발생함 -,
    우채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 - 상기 힐버트 변환된 우채널의 오디오 데이터는 상수와 곱해지고 상기 우채널의 오디오 데이터로부터 감산되어 미리 정해진 위상 천이를 갖는 우채널의 오디오 데이터를 발생하며, 상기 우채널의 오디오 데이터는 상수와 곱해져 스케일링된 우채널의 오디오 데이터를 발생함 -, 및
    서라운드 좌채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 및 서라운드 우채널의 오디오 데이터를 수신하는 힐버트 변환 스테이지 - 상기 힐버트 변환된 서라운드 좌채널의 오디오 데이터는 상수와 곱해지고 상기 힐버트 변환된 서라운드 우채널의 오디오 데이터에 가산되어 서라운드 좌-우 채널의 오디오 데이터를 발생하며, 상기 힐버트 변환된 서라운드 우채널의 오디오 데이터는 상수와 곱해지고 상기 힐버트 변환된 서라운드 좌채널의 오디오 데이터에 가산되어 서라운드 우-좌 채널의 오디오 데이터를 발생함 - 를 포함하는 오디오 공간 환경 엔진.
  7. 제6항에 있어서, 상기 스케일링된 좌채널의 오디오 데이터, 상기 우-좌 채널의 오디오 데이터 및 스케일링된 중앙 채널의 오디오 데이터를 수신하고 상기 스케일링된 좌채널의 오디오 데이터, 상기 우-좌 채널의 오디오 데이터 및 상기 스케일링된 중앙 채널의 오디오 데이터를 가산하여 워터마크된 좌채널의 오디오 데이터를 형성하는 M개의 제2 합산 스테이지 중 제1 스테이지, 및
    상기 스케일링된 우채널의 오디오 데이터, 상기 좌-우 채널의 오디오 데이터 및 상기 스케일링된 중앙 채널의 오디오 데이터를 수신하고 상기 스케일링된 채널의 오디오 데이터 및 상기 스케일링된 중앙 채널의 오디오 데이터를 가산하고 상기 합산으로부터 상기 좌-우 채널의 오디오 데이터를 감산하여 워터마크된 우채널의 오디오 데이터를 형성하는 M개의 제2 합산 스테이지 중 제2 스테이지를 포함하는 오디오 공간 환경 엔진.
  8. N 채널 오디오 시스템으로부터 M 채널 오디오 시스템으로(단, N 및 M은 정수이고, N은 M보다 큼) 변환하는 방법으로서,
    미리 정해진 위상 천이를 연관된 채널의 오디오 데이터에 적용하기 위해 상기 N개 채널의 오디오 데이터 중 하나 이상을 분수 힐버트 함수로 처리하는 단계, 및
    상기 M개 채널의 오디오 데이터 각각에서의 상기 N개 채널의 오디오 데이터 중 상기 하나 이상의 결합이 미리 정해진 위상 관계를 갖도록, 상기 분수 힐버트 함수로 처리 후에 상기 N개 채널의 오디오 데이터 중 하나 이상을 결합하여 상기 M개 채널의 오디오 데이터를 생성하는 단계를 포함하는 변환 방법.
  9. 제8항에 있어서, 상기 N개 채널의 오디오 데이터 중 하나 이상을 분수 힐버트 함수로 처리하는 단계는,
    좌채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 좌채널의 오디오 데이터를 상수와 곱하는 단계,
    스케일링된, 힐버트 변환된 좌채널의 오디오 데이터를 상기 좌채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 좌채널의 오디오 데이터를 발생하는 단계, 및
    상기 위상 천이된 좌채널의 오디오 데이터를 상수와 곱하는 단계를 포함하는 것인 변환 방법.
  10. 제8항에 있어서, 상기 N개 채널의 오디오 데이터 중 하나 이상을 분수 힐버트 함수로 처리하는 상기 단계는,
    우채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 우채널의 오디오 데이터를 상수와 곱하는 단계,
    스케일링된, 힐버트 변환된 우채널의 오디오 데이터를 상기 우채널의 오디오 데이터로부터 감산하여 미리 정해진 위상 천이를 갖는 우채널의 오디오 데이터를 발생하는 단계, 및
    상기 위상 천이된 우채널의 오디오 데이터를 상수와 곱하는 단계를 포함하는 것인 변환 방법.
  11. 제8항에 있어서, 상기 N개 채널의 오디오 데이터 중 하나 이상을 분수 힐버트 함수로 처리하는 단계는,
    서라운드 좌채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    서라운드 우채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 서라운드 좌채널의 오디오 데이터를 상수와 곱하는 단계, 및
    스케일링된, 힐버트 변환된 서라운드 좌채널의 오디오 데이터를 힐버트 변환된 서라운드 우채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 좌-우 채널의 오디오 데이터를 발생하는 단계를 포함하는 것인 변환 방법.
  12. 제8항에 있어서, 상기 N개 채널의 오디오 데이터 중 하나 이상을 분수 힐버트 함수로 처리하는 단계는,
    서라운드 좌채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    서라운드 우채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 서라운드 우채널의 오디오 데이터를 상수와 곱하는 단계, 및
    스케일링된, 힐버트 변환된 서라운드 우채널의 오디오 데이터를 힐버트 변환된 서라운드 좌채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 우-좌 채널의 오디오 데이터를 발생하는 단계를 포함하는 것인 변환 방법.
  13. 제8항에 있어서,
    좌채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 좌채널의 오디오 데이터를 상수와 곱하는 단계,
    스케일링된, 힐버트 변환된 좌채널의 오디오 데이터를 상기 좌채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 좌채널의 오디오 데이터를 발생하는 단계,
    위상 천이된 좌채널의 오디오 데이터를 상수와 곱하는 단계,
    우채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 우채널의 오디오 데이터를 상수와 곱하는 단계,
    스케일링된, 힐버트 변환된 우채널의 오디오 데이터를 상기 우채널의 오디오 데이터로부터 감산하여 미리 정해진 위상 천이를 갖는 우채널의 오디오 데이터를 발생하는 단계,
    위상 천이된 우채널의 오디오 데이터를 상수와 곱하는 단계,
    서라운드 좌채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    서라운드 우채널의 오디오 데이터에 힐버트 변환을 수행하는 단계,
    힐버트 변환된 서라운드 좌채널의 오디오 데이터를 상수와 곱하는 단계,
    스케일링된, 힐버트 변환된 서라운드 좌채널의 오디오 데이터를 상기 힐버트 변환된 서라운드 우채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 좌-우 채널의 오디오 데이터를 발생하는 단계
    힐버트 변환된 서라운드 우채널의 오디오 데이터를 상수와 곱하는 단계, 및
    스케일링된, 힐버트 변환된 서라운드 우채널의 오디오 데이터를 상기 힐버트 변환된 서라운드 좌채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 우-좌 채널의 오디오 데이터를 발생하는 단계를 포함하는 변환 방법.
  14. 제13항에 있어서, 스케일링된 좌채널의 오디오 데이터, 상기 우-좌 채널의 오디오 데이터, 및 스케일링된 중앙 채널의 오디오 데이터를 합산하여 워터마크된 좌채널의 오디오 데이터를 형성하는 단계, 및
    스케일링된 채널의 오디오 데이터 및 상기 스케일링된 중앙 채널의 오디오 데이터를 합산하고 상기 합산으로부터 상기 좌-우 채널의 오디오 데이터를 감산하여 워터마크된 우채널의 오디오 데이터를 형성하는 단계를 포함하는 변환 방법.
  15. N 채널 오디오 시스템으로부터 M 채널 오디오 시스템으로(단, N 및 M은 정수이고, N이 M보다 큼) 변환하는 오디오 공간 환경 엔진으로서,
    상기 N개 채널의 오디오 데이터 중 하나를 수신하고 미리 정해진 위상 천이를 연관된 채널의 오디오 데이터에 적용하는 힐버트 변환 수단,
    상기 힐버트 변환된 채널의 오디오 데이터 중 하나를 수신하고 스케일링된 힐버트 변환된 채널의 오디오 데이터를 발생하는 상수 곱셈기 수단,
    상기 N개 채널의 오디오 데이터 중 상기 하나 및 상기 스케일링된 힐버트 변환된 채널의 오디오 데이터를 수신하고 각각이 분수 힐버트 채널의 오디오 데이터를 발생하는 합산 수단, 및
    상기 분수 힐버트 채널의 오디오 데이터 중 하나 이상 및 상기 N개 채널의 오디오 데이터 중 하나 이상을 수신하고 상기 분수 힐버트 채널의 오디오 데이터 중 상기 하나 이상과 상기 N개 채널의 오디오 데이터 중 상기 하나 이상을 각각 결합하여 상기 분수 힐버트 채널의 오디오 데이터 중 상기 하나 이상과 상기 N개 채널의 오디오 데이터 중 상기 하나 이상 각각 간에 미리 정해진 위상 관계를 갖는 M개 채널의 오디오 데이터 중 하나를 발생하는 M개의 제2 합산 수단을 포함하는 오디오 공간 환경 엔진.
  16. 제15항에 있어서,
    좌채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    힐버트 변환된 좌채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단,
    스케일링된, 힐버트 변환된 좌채널의 오디오 데이터를 상기 좌채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 좌채널의 오디오 데이터를 발생하는 합산 수단, 및
    상기 위상 천이된 좌채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단을 포함하며,
    상기 스케일링된, 위상 천이된 좌채널의 오디오 데이터는 상기 M개의 제2 합산 수단 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  17. 제15항에 있어서,
    우채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    힐버트 변환된 우채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단,
    스케일링된, 힐버트 변환된 우채널의 오디오 데이터를 상기 우채널의 오디오 데이터에 가산하여 미리 정해진 위상 천이를 갖는 우채널의 오디오 데이터를 발생하는 합산 수단, 및
    상기 위상 천이된 우채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단을 포함하며,
    상기 스케일링된, 위상 천이된 우채널의 오디오 데이터는 상기 M개의 제2 합산 수단 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  18. 제15항에 있어서,
    서라운드 좌채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    서라운드 우채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    힐버트 변환된 서라운드 좌채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단, 및
    스케일링된, 힐버트 변환된 서라운드 좌채널의 오디오 데이터를 힐버트 변환된 서라운드 우채널의 오디오 데이터에 가산하여 좌-우 채널의 오디오 데이터를 발생하는 합산 수단을 포함하며,
    상기 좌-우 채널의 오디오 데이터는 상기 M개의 제2 합산 수단 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
  19. 제15항에 있어서,
    서라운드 좌채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    서라운드 우채널의 오디오 데이터를 처리하는 힐버트 변환 수단,
    힐버트 변환된 서라운드 우채널의 오디오 데이터를 상수와 곱하는 곱셈기 수단, 및
    스케일링된, 힐버트 변환된 서라운드 우채널의 오디오 데이터를 힐버트 변환된 서라운드 좌채널의 오디오 데이터에 가산하여 우-좌 채널의 오디오 데이터를 발생하는 합산 수단을 포함하며,
    상기 우-좌 채널의 오디오 데이터는 상기 M개의 제2 합산 수단 중 하나 이상에 제공되는 것인 오디오 공간 환경 엔진.
KR1020127013494A 2004-10-28 2005-10-28 N채널 오디오 시스템으로부터 m채널 오디오 시스템으로 변환하는 오디오 공간 환경 엔진 및 그 방법 KR101283741B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US62292204P 2004-10-28 2004-10-28
US60/622,922 2004-10-28
US10/975,841 US7929708B2 (en) 2004-01-12 2004-10-28 Audio spatial environment engine
US10/975,841 2004-10-28
PCT/US2005/038961 WO2006050112A2 (en) 2004-10-28 2005-10-28 Audio spatial environment engine

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077011845A Division KR101210797B1 (ko) 2004-10-28 2005-10-28 오디오 공간 환경 엔진

Publications (2)

Publication Number Publication Date
KR20120062027A true KR20120062027A (ko) 2012-06-13
KR101283741B1 KR101283741B1 (ko) 2013-07-08

Family

ID=36090916

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020127013495A KR101177677B1 (ko) 2004-10-28 2005-10-28 오디오 공간 환경 엔진
KR1020127013494A KR101283741B1 (ko) 2004-10-28 2005-10-28 N채널 오디오 시스템으로부터 m채널 오디오 시스템으로 변환하는 오디오 공간 환경 엔진 및 그 방법
KR1020077011845A KR101210797B1 (ko) 2004-10-28 2005-10-28 오디오 공간 환경 엔진

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127013495A KR101177677B1 (ko) 2004-10-28 2005-10-28 오디오 공간 환경 엔진

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020077011845A KR101210797B1 (ko) 2004-10-28 2005-10-28 오디오 공간 환경 엔진

Country Status (8)

Country Link
US (1) US20070297519A1 (ko)
EP (1) EP1810280B1 (ko)
JP (1) JP4917039B2 (ko)
KR (3) KR101177677B1 (ko)
CN (3) CN101065797B (ko)
HK (1) HK1158805A1 (ko)
PL (1) PL1810280T3 (ko)
WO (1) WO2006050112A2 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
KR101366291B1 (ko) * 2006-01-19 2014-02-21 엘지전자 주식회사 신호 디코딩 방법 및 장치
US20080191172A1 (en) * 2006-12-29 2008-08-14 Che-Hsiung Hsu High work-function and high conductivity compositions of electrically conducting polymers
US8107631B2 (en) * 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
US8483411B2 (en) 2008-01-01 2013-07-09 Lg Electronics Inc. Method and an apparatus for processing a signal
CN102124516B (zh) * 2008-08-14 2012-08-29 杜比实验室特许公司 音频信号格式变换
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
JP5267362B2 (ja) * 2009-07-03 2013-08-21 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
CN102550048B (zh) * 2009-09-30 2015-03-25 诺基亚公司 一种用于处理音频信号的方法和装置
EP2510709A4 (en) 2009-12-10 2015-04-08 Reality Ip Pty Ltd IMPROVED MATRIX DECODER FOR SURROUND SOUND
CN102656627B (zh) * 2009-12-16 2014-04-30 诺基亚公司 多信道音频处理方法和装置
EP2464146A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
CN103000180A (zh) * 2012-11-20 2013-03-27 上海中科高等研究院 环绕声矩阵编解码系统及其实现方法
KR102213895B1 (ko) * 2013-01-15 2021-02-08 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9402145B2 (en) 2014-01-24 2016-07-26 Sony Corporation Wireless speaker system with distributed low (bass) frequency
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
KR20170017873A (ko) * 2014-06-06 2017-02-15 소니 주식회사 오디오 신호 처리 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
KR101993348B1 (ko) * 2014-09-24 2019-06-26 한국전자통신연구원 동적 포맷 변환을 지원하는 오디오 메타데이터 제공 장치 및 오디오 데이터 재생 장치, 상기 장치가 수행하는 방법 그리고 상기 동적 포맷 변환들이 기록된 컴퓨터에서 판독 가능한 기록매체
US9875756B2 (en) * 2014-12-16 2018-01-23 Psyx Research, Inc. System and method for artifact masking
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
CN105101039B (zh) * 2015-08-31 2018-12-18 广州酷狗计算机科技有限公司 立体声还原方法及装置
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
KR102423566B1 (ko) * 2017-02-06 2022-07-20 사반트 시스템즈, 인크. 오디오 다운 믹싱 송신기 a/v 엔드 포인트 및 분산 채널 증폭을 포함한 a/v 상호 접속 아키텍처
US10616684B2 (en) 2018-05-15 2020-04-07 Sony Corporation Environmental sensing for a unique portable speaker listening experience
JP7036234B2 (ja) * 2018-06-01 2022-03-15 ソニーグループ株式会社 オーディオコンテンツの適応的なリミキシング
US10292000B1 (en) 2018-07-02 2019-05-14 Sony Corporation Frequency sweep for a unique portable speaker listening experience
US10567871B1 (en) 2018-09-06 2020-02-18 Sony Corporation Automatically movable speaker to track listener or optimize sound performance
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
US11599329B2 (en) 2018-10-30 2023-03-07 Sony Corporation Capacitive environmental sensing for a unique portable speaker listening experience
KR20220013630A (ko) * 2020-07-27 2022-02-04 삼성전자주식회사 오디오의 채널의 수를 변환하는 전자 장치 및 전자 장치의 동작 방법
KR102529400B1 (ko) * 2021-02-19 2023-05-10 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3732370A (en) * 1971-02-24 1973-05-08 United Recording Electronic In Equalizer utilizing a comb of spectral frequencies as the test signal
US4458362A (en) * 1982-05-13 1984-07-03 Teledyne Industries, Inc. Automatic time domain equalization of audio signals
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
US5481615A (en) * 1993-04-01 1996-01-02 Noise Cancellation Technologies, Inc. Audio reproduction system
CN1064773C (zh) * 1993-06-30 2001-04-18 索尼公司 数字信号的编码方法和解码方法
DE4409368A1 (de) 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
DE19632734A1 (de) * 1996-08-14 1998-02-19 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Generieren eines Mehrton-Signals aus einem Mono-Signal
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
TW390104B (en) * 1998-08-10 2000-05-11 Acer Labs Inc Method and device for down mixing of multi-sound-track compression audio frequency bit stream
TW510143B (en) * 1999-12-03 2002-11-11 Dolby Lab Licensing Corp Method for deriving at least three audio signals from two input audio signals
US7382888B2 (en) 2000-12-12 2008-06-03 Bose Corporation Phase shifting audio signal combining
MXPA03007064A (es) * 2001-02-07 2004-05-24 Dolby Lab Licensing Corp Conversion de canales de audio.
US6839675B2 (en) * 2001-02-27 2005-01-04 Euphonix, Inc. Real-time monitoring system for codec-effect sampling during digital processing of a sound source
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
KR100635022B1 (ko) * 2002-05-03 2006-10-16 하만인터내셔날인더스트리스인코포레이티드 다채널 다운믹싱 장치
US20040105550A1 (en) 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction

Also Published As

Publication number Publication date
CN102117617B (zh) 2013-01-30
KR101177677B1 (ko) 2012-08-27
WO2006050112A2 (en) 2006-05-11
US20070297519A1 (en) 2007-12-27
KR101283741B1 (ko) 2013-07-08
HK1158805A1 (en) 2012-07-20
EP1810280B1 (en) 2017-08-02
CN102833665B (zh) 2015-03-04
JP2008519491A (ja) 2008-06-05
KR101210797B1 (ko) 2012-12-10
WO2006050112A9 (en) 2006-11-09
PL1810280T3 (pl) 2018-01-31
CN102833665A (zh) 2012-12-19
WO2006050112A3 (en) 2006-07-27
CN102117617A (zh) 2011-07-06
CN101065797A (zh) 2007-10-31
WO2006050112A8 (en) 2006-12-21
CN101065797B (zh) 2011-07-27
EP1810280A2 (en) 2007-07-25
JP4917039B2 (ja) 2012-04-18
KR20070084552A (ko) 2007-08-24
KR20120064134A (ko) 2012-06-18

Similar Documents

Publication Publication Date Title
KR101283741B1 (ko) N채널 오디오 시스템으로부터 m채널 오디오 시스템으로 변환하는 오디오 공간 환경 엔진 및 그 방법
US7853022B2 (en) Audio spatial environment engine
US20060106620A1 (en) Audio spatial environment down-mixer
US8180062B2 (en) Spatial sound zooming
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
JP6198800B2 (ja) 少なくとも２つの出力チャネルを有する出力信号を生成するための装置および方法
KR102160254B1 (ko) 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
JP5957446B2 (ja) 音響処理システム及び方法
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
JP6377249B2 (ja) オーディオ信号の強化のための装置と方法及び音響強化システム
US20060093164A1 (en) Audio spatial environment engine
TW200837718A (en) Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program
JP2011501486A (ja) スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法
EP2130204A1 (en) Method and apparatus for conversion between multi-channel audio formats
CN102414743A (zh) 音频信号合成
EP2484127B1 (en) Method, computer program and apparatus for processing audio signals
JP5931182B2 (ja) 付加的な出力チャンネルを提供するためのステレオ出力信号を生成する装置、方法およびコンピュータプログラム
KR20100084319A (ko) 후방향 오디오 채널의 적응적 리마스터링 장치 및 방법
Kinoshita et al. Blind upmix of stereo music signals using multi-step linear prediction based reverberation extraction

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160623

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180626

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190703

Year of fee payment: 7