KR20210137121A - 다운믹서 및 다운믹싱 방법 - Google Patents

다운믹서 및 다운믹싱 방법 Download PDF

Info

Publication number
KR20210137121A
KR20210137121A KR1020217032037A KR20217032037A KR20210137121A KR 20210137121 A KR20210137121 A KR 20210137121A KR 1020217032037 A KR1020217032037 A KR 1020217032037A KR 20217032037 A KR20217032037 A KR 20217032037A KR 20210137121 A KR20210137121 A KR 20210137121A
Authority
KR
South Korea
Prior art keywords
spectral
spectral domain
band
domain representation
weight
Prior art date
Application number
KR1020217032037A
Other languages
English (en)
Inventor
프란쯔 루텔후버
베른트 에들러
엘레니 포토폴로우
마르쿠스 물트루스
팔라비 마벤
사샤 디쉬
Original Assignee
프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 filed Critical 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우
Publication of KR20210137121A publication Critical patent/KR20210137121A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/16—Automatic control
    • H03G5/165—Equalizers; Volume or gain control in limited frequency bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Complex Calculations (AREA)
  • Superheterodyne Receivers (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서, 적어도 2개의 채널에 대해 대역별 가중치를 추정하기 위한 가중치 추정기(100); 대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하기 위한 스펙트럼 가중기(200); 적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하기 위한 변환기(300); 및 적어도 2개의 채널의 시간 표현을 믹싱하여 다운믹스 신호를 얻기 위한 믹서(400)를 포함하는, 다운믹서에 관한 것이다.

Description

다운믹서 및 다운믹싱 방법
본 발명은 오디오 신호 처리에 관한 것이며, 특히 다채널 신호의 다운믹싱 또는 오디오 신호의 스펙트럼 분해능 변환에 관한 것이다.
스테레오 인코딩된 비트스트림은 보통 스테레오 시스템에서 재생되도록 디코딩되는 반면, 스테레오 비트스트림을 수신할 수 있는 모든 디바이스가 항상 스테레오 신호를 출력할 수 있는 것은 아니다. 가능한 시나리오는 모노 스피커만을 가진 이동 전화에서의 스테레오 신호의 재생일 수 있었다. 최근의 3GPP IVAS 표준에 의해 지원되는 다채널 이동 통신 시나리오의 출현으로, 간단한 수동 다운믹스로 달성할 수 있는 것을 넘는 최상의 가능 인지 품질을 또한 제공하면서도 가능한 효율적으로 추가 지연 및 복잡성 없는 스테레오-투-모노 다운믹스가 그에 따라 필요하다.
스테레오 신호를 모노 신호로 변환하는 다수의 방식이 있다. 이를 행하는 가장 직접적인 방식은, 왼쪽 및 오른쪽 채널을 더한 후 결과를 스케일링함으로써 중간-신호를 생성하는, 시간-영역에서의 수동 다운믹스[1]에 의한 것이 있다:
Figure pct00001
추가의 더 정교한(즉, 능동) 시간-영역 기반 다운믹싱 방법은 신호의 전체 에너지를 보존하려는 노력인 에너지-스케일링[2][3], 삭제 효과를 회피하기 위한 위상 정렬[4] 및 코히어런스 억제에 의한 콤(comb)-필터 효과의 방지[5]를 포함한다.
다른 방법은, 다수의 채널 대역에 대한 별도의 가중 인자 계산에 의한 주파수-의존 방식으로 에너지-정정을 행하는 것이 있다. 예컨대, 이것은, MPEG-H 포맷 변환기[6]의 일부로서 행해지며, 다운믹스는 하이브리드 QMF 서브대역 표현에 관해 실행되거나, 채널의 추가 이전 위상 정렬에 의한 신호의 STFT 필터뱅크로 실행된다. IVAS 환경에서, 유사한 대역별 다운믹스(위상 및 시간 정렬 모두를 포함함)가 파라메트릭 저-비트율 모드 DFT 스테레오에 대해 이미 사용되고 있으며, 여기서 가중 및 믹싱이 DFT 영역에서 적용된다[7].
스테레오 신호를 디코딩한 후 시간-영역에서 수동 스테레오-투-모노 다운믹스인 간단한 해법은 이상적이지는 않으며, 이는 순전히 수동 다운믹스가 몇 가지 단점, 예컨대 위상 삭제 효과나 일반적인 에너지 손실 - 아이템에 따라서는, 품질을 심각히 열화시킬 수 있음 - 을 갖고 있음이 잘 알려져 있기 때문이다.
순전히 시간-영역 기초의 다른 수동 다운믹싱 방법은 수동 다운믹스의 문제중 일부를 완화하지만, 주파수-의존 가중의 결여로 인해 여전히 최적은 아니다.
지연 및 복잡도 면에서 IVAS와 같은 이동 통신 코덱에 대한 암묵적 제약으로 인해, 대역별 다운믹스를 적용하기 위한 MPEG-H 포맷 변환기와 같은 전용 후-처리 스테이지를 갖는 것 또한 옵션은 아니며, 이는 주파수 영역으로의 및 그 반대로의 필요한 변환이 복잡도 및 지연 모두의 증가를 불가피하게 초래할 것이기 때문이다.
[8]에서처럼 블록 스위칭을 갖는 TCX 변환 코딩을 활용하는 스테레오 코덱 모드의 경우, 사용될 수 있는 상이한 모드가 있을 수 있다: 예컨대, 20ms(TCX20)의 블록 크기를 갖는 프레임 당 하나의 블록 및 10ms(TCX10)의 블록 크기를 갖는 프레임 당 2개의 서브블록. 각각의 서브블록은 10ms의 풀 TCX10 블록이거나, 5ms(TCX5)의 2개의 블록으로 다시 세분된다. 어느 모드를 사용할 지의 결정은, 각 채널마다 서로 독립적으로 이뤄진다. 이것이 의미하는 점은, 채널 사이에 상이한 결정을 할 수 있다는 점이다. 이로 인해, 각 스펙트럼 영역 표현의 상이한 시간-주파수 분해능으로 인해 [7](채널의 대역별 가중, 그 후 DFT 영역에서의 모노-다운믹스 모두)에 기재한 바와 같이 DFT-기반 스테레오 인코더에서 사용된 것과 정확히 동일한 다운믹싱 방법을 사용하는 것은 불가능하다.
본 발명의 목적은 오디오 신호 처리를 위한 개선된 개념을 제공하는 것이다.
본 목적은 청구항 1 또는 청구항 35의 다운믹서, 청구항 46 또는 청구항 47의 다운믹싱 방법 또는 청구항 48의 컴퓨터 프로그램에 의해 달성된다.
본 발명의 제1 양상에 따라, 다운믹서는 가중치 추정기, 스펙트럼 가중기, 변환기 및 후속 연결 믹서를 포함한다. 스펙트럼 영역으로부터 시간 영역으로의 변환은 제1 채널의 스펙트럼 영역 표현의 스펙트럼 가중과, 제2 채널의 스펙트럼 영역 표현의 가중과, 경우에 따라서는, 추가 채널의 스펙트럼 영역 표현의 스펙트럼 가중에 후속하여 실행된다. 가중된 스펙트럼 영역 표현은 스펙트럼 영역 표현으로부터 대응 채널의 시간 표현으로 변환된다. 시간 영역에서, 믹싱은, 다운믹서의 출력으로서 다운믹스 신호를 획득하기 위해 실행된다. 이러한 절차로 인해, 스펙트럼 영역에서 유용하며 효율적이지만 그럼에도 고 오디오 품질 가중을 실행할 수 있지만, 여전히 스펙트럼 영역 가중 및 다운믹싱이 단일 동작으로 실행되는 상황과 비교하여 스펙트럼 영역에서 개별 채널의 개별 처리를 허용한다. 그러한 상황에서, 개별 채널 처리를 더는 실행할 수 없으며, 이는 스펙트럼 가중 및 다운믹싱에 후속하여, 단일 다운믹스 신호가 있기 때문이다. 그에 따라, 본 발명의 이 양상에 따라, 스펙트럼 영역에서 개별 채널 처리를 그럼에도 실행할 수 있게 되지만, 스펙트럼 영역에서의 이 개별 처리는 스펙트럼 가중에 후속하여 실행된다.
적어도 2개의 채널이 상이한 시간 또는 주파수 분해능을 갖는 상황에서, 적어도 2개의 채널에 대한 대역별의 가중치의 계산은 개별 대역에 대한 적어도 2개의 채널의 어느 하나 또는 두 스펙트럼 영역 표현을 동일한 시간이나 주파수 분해능을 갖는 대응 표현으로 변환하는 것을 필요로 한다. 대역별 가중치를 계산할 수 있다. 그러나, 이 양상에서, 대역별 가중치는 변환된 스펙트럼 영역 표현 또는 2개 이상의 결합된 스펙트럼 표현에 적용되지 않는다. 대신, 스펙트럼 가중은 원래의 스펙트럼 영역 표현에 적용되며, 이로부터, 결합된 스펙트럼 영역 표현을 유도한다. 그에 따라, 가중된 스펙트럼 영역 표현은 원래의 스펙트럼 영역 표현에 의존함이 확실하며, 어떤 식으로든, 바람직하게는 다운믹싱 전 채널에서의 대역에 대한 타겟 에너지와 다운믹스 신호의 대역에 대한 타겟 에너지를 사용하여, 에너지에 대한 특정 추정치를 기초로 하는 가중치만이, 원래의 스펙트럼 영역 표현과 적어도 일정 면에서 상이한 하나 이상의 결합된 스펙트럼 영역 표현으로부터 유도한다.
바람직하게도, 가중된 스펙트럼 영역 표현을 시간 표현으로 변환하기 위한 변환기는 여러 구성요소를 갖는다. 하나의 구성요소는 실제 주파수-시간 변환기이며, 추가 구성요소는, 예컨대 다채널 신호를 갖는 부가 정보 - 이로부터 스펙트럼 영역 표현이 유래함 - 를 통해 송신된 파라미터를 사용하여 시간 영역에서의 채널별 후-처리이다. 대안적으로 후-처리기는, 실제 주파수-시간 변환 전에 적용된다. 제어 파라미터는 개별 채널의 스펙트럼 영역 처리를 조정한다. 그러나 주파수-시간 변환기를 먼저 가지며, 다채널 신호의 부가 정보로부터 유도되거나 사용자 입력이나 임의의 다른 파라미터 생성을 통해 다운믹서에서 실제로 생성되거나 입력되는 채널별 제어 파라미터를 사용하여 적어도 2개의 채널의 후-처리 시간 영역 표현에 대한 후-처리기를 갖는 것이 바람직하다. 이 시간 영역 후-처리에 후속하여, 다운믹스 신호를 실제 생성하는 믹서가 있다.
이 절차는, 원래의 스펙트럼 영역 표현에의 대역별의 가중치의 적용으로 인해 및 몇몇 종류의 파워나 이미지 추정을 어떤 식으로든 기초로 하는 대역별 가중치가 하나 이상의 (인위적으로 만들어진) 결합된 스펙트럼 영역 표현(들)으로부터 유도된다는 점으로 인해, 고 품질 오디오 신호 처리를 제공한다. 다른 한편으로, 고 처리 융통성이, 모든 필요한 개별 채널 처리가 적용될 때, 발생하는 처리 체인에서 실제 믹싱 단계가 마지막 단계이므로, 개별 채널의 임의의 아마도 필요할 시간 영역 또는 주파수 영역 처리가 여전히 실행될 수 있다는 점으로 인해 달성된다. 더 나아가, 이 절차는 매우 효율적이며, 이는, 이 절차는 제어 파라미터의 임의의 다운믹싱을 필요로 하지 않을 것이기 때문이거나, 그리하여 실제 다운믹싱 동작이 처리 체인에서 제1 처리 동작일 경우, 이 절차가 필요하게 될 것이기 때문이다.
본 발명의 제2 양상에 따라, 스펙트럼 분해능을 변환하기 위한 장치가, 제1 방식에서 하나 이상의 스펙트럼 영역 표현의 다수의 서브프레임의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제1 그룹의 결합된 스펙트럼 값을 획득하며, 제2 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제2 그룹의 결합된 스펙트럼 값을 획득하기 위한 스펙트럼 값 계산기를 포함한다. 이 제2 방식은 제1 방식과 상이하며, 제1 및 제2 그룹의 결합된 스펙트럼 값은 상이한 시간 빈 크기와 상이한 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타낸다. 이 스펙트럼 분해능 변환은, 고 시간 분해능 그러나 저 주파수 분해능을 보이는 짧은 시간-주파수 변환으로부터 유래하는 한 쌍의 스펙트럼 표현이 존재할 때 실제 유용하다.
본 발명의 제2 양상에 따라, 이 한 쌍의 짧은 스펙트럼 영역 표현은 고 스펙트럼 분해능을 갖지만 저 시간 분해능을 갖는 단일의 긴 스펙트럼 영역 표현으로 변환된다. 하나의 시간/주파수 분해능(고 시간 분해능 및 저 주파수 분해능)으로부터 상이한 시간/주파수 분해능(저 시간 분해능 및 고 주파수 분해능)으로의 이러한 변환은 그 사이에 시간 영역 표현의 임의의 실제 계산 없이 일어난다. 그에 따라, 2개의 짧은 스펙트럼 영역 표현을 시간 영역으로 변환하며, 다시 그 결과를 주파수 영역으로 변환하는 것으로 이뤄질 수 있었던 정상 절차 대신, 본 발명은 2개의 상이한 방식에서 동일한 주파수 빈에 속한 스펙트럼 값의 스펙트럼 영역 결합을 단지 적용한다. 그에 따라, 2개의 주파수-시간 변환과 하나의 시간-주파수 변환 - 매우 비효율적이며 상당한 지연을 초래함 - 을 실행하는 것과 대조적으로, 본 발명은, 2개의 저 주파수 분해능 스펙트럼 영역 표현으로부터 고 스펙트럼 영역 표현을 획득하기 위해 2개의 값을 가산하거나 2개의 값을 서로로부터 감산하는 것과 같은 기본적인 산술 결합 동작을 단지 제공할 필요가 있다. 바람직하게도, 제1 결합 규칙은 저역 통과 필터링, 즉 다시 말해, 동일한 저 분해능 주파수 빈에 속한 2개의 스펙트럼 값의 가산 또는 가중된 가산인 반면, 제2 방식에 따른 스펙트럼 값의 결합은 고역 통과 필터링, 즉 2개의 스펙트럼 값 사이의 차이의 계산이다. 대응하는 2개의 인접한 일련의 스펙트럼 값은 2개의 주파수-인접 스펙트럼 값으로 변환되며, 여기서, 2개의 주파수-인접 스펙트럼 값 중 하나가 저역 통과 필터링 동작으로부터 유래한 더 저 주파수 스펙트럼 값이며, 그 다음 하나가 고역 통과 동작으로부터 유래한 더 고 주파수 스펙트럼 값이다.
다음 절차는, 그 다음 쌍의 고 스펙트럼 분해능 스펙트럼 값이 다시 동일한 절차, 즉 통상 저역 통과 특징을 나타내는 더 저 주파수 스펙트럼 값에 대한 제1 결합을 실행하며, 스펙트럼 값 쌍 중 더 고 주파수 스펙트럼 값에 대한 고역 통과 동작을 나타내는 더 고 주파수 스펙트럼 값에 대한 다른 결합을 실행하는 절차로 다시 계산된다.
본 발명의 제2 양상에 따라 생성된 결합된 스펙트럼 영역 표현은 상이한 용도로 사용될 수 있다. 본 발명의 제1 양상에서, 결합된 스펙트럼 영역 표현은 대역별 가중치를 유도하는데 사용된다. 이것은, 제1 채널 스펙트럼 영역 표현이 저 시간 분해능과 고 스펙트럼 분해능을 가지며, 적어도 2개의 채널 중 제2 채널이 2개의 고 시간 분해능 스펙트럼 영역 표현 - 모두 저를 가짐 - 을 가지며 변환될 때 특히 유용하며, 변환에 의해 생성된 결합된 스펙트럼 영역 표현으로부터, 대역별 가중치가 유도될 수 있다. 추가 사용에서, 결합된 스펙트럼 영역 표현은 시간 영역에서의 변환과 중계 또는 저장 또는 오디오 신호 처리용의 변환된 스펙트럼 사용과 같은 임의의 유용한 추가 처리에 의해 더 처리될 수 있다. 다른 절차는, 예컨대 스펙트럼 영역 다운믹싱용과 같이, 동일한 스펙트럼 분해능을 갖는 다른 스펙트럼 표현과 함께 결합된 스펙트럼 영역 표현의 스펙트럼 처리를 실행하는 것일 것이다.
본 발명의 제3 양상에 따라, 다운믹싱 동작은 스펙트럼 가중을 사용하여 실행되며, 여기서 대역별 가중치는 대역 당 타겟 에너지 값을 기초로 하여 계산되어, 다운믹스 신호의 대역에서의 에너지는, 같거나 적어도 2개의 채널의 동일한 대역에서의 2개의 에너지 중 더 고 값의 +/-30%의 공차 범위 내에서 같은 것과 같은 미리 결정된 관계에 있다. 에너지로 인해 구한 대역별 가중치는 적어도 2개의 채널의 스펙트럼 영역 표현에 적용되며 다운믹스 신호는 본 발명의 제1 양상에서와 같은 시간 영역에서나 필요에 따른 스펙트럼 영역에서의 적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 계산된다.
MDCT 변환에서와 같이, 스펙트럼 영역 표현이 순전히 실수인 경우나, MDST(Modified Discrete Sine Transform)을 적용할 때와 같이 스펙트럼 영역 표현이 순전히 허수인 경우에, 가중치 추정기는, 순전히 실수이거나 순전히 허수인 기존의 스펙트럼 영역 표현으로부터, 다른 스펙트럼 영역 표현을 추정하도록 구성된다. 그에 따라, 실수값 스펙트럼 영역 표현이 존재할 경우, 허수 스펙트럼 영역 표현이 추정되며, 허수 스펙트럼 영역 표현이 존재할 경우, 실수값 스펙트럼 영역 표현이 추정된다. 이들 추정치는 대역에서 제1 채널의 에너지를 계산하는데, 대역에서 제2 채널의 에너지를 계산하는데, 및 대역에서 적어도 2개의 채널로부터의 스펙트럼 값의 적(product)이나 선형 결합(linear combination)에 의존한 채널 사이의 밍싱된 텀(terms)을 계산하는데 사용된다.
다운믹싱의 환경에서 스펙트럼 가중을 위한 대역별 가중치를 계산하는 이러한 절차는 제1 양상에서 적용될 수 있으며, 여기서, 스펙트럼 가중과 다운믹싱 사이에서, 시간-주파수 변환과 일부 시간 영역 후-처리가 발생한다. 본 발명의 제2 양상에 따라, 타겟 에너지 특성에 따라 스펙트럼 영역 가중치를 계산하는데 사용되는 하나 또는 두 채널의 스펙트럼 영역 표현은 원래의 스펙트럼 영역 표현으로부터 유도되거나, 본 발명의 제2 양상에 따라 예시하거나 제1 양상에 따라 예시한 스펙트럼 분해능 변환에 의해 생성된 것과 같이 1 또는 2개의 결합된 스펙트럼 영역 표현으로부터 유도된다.
대역 당 타겟 에너지 값을 기초로 하여 유도한 대역별 가중치를 사용한 스펙트럼 가중을 사용한 다운믹싱은, 한편으로는, 특히 저 주파수에서의 작은 대역폭으로부터 고 주파수에서의 고 대역폭으로 증가하는 음향-심리학적 유발 대역폭(phycho-acoustically motivated bandwidth)이 적용될 때, 스펙트럼 가중이 하나의 동일한 가중치를 대역에서의 각 스펙트럼 값에 적용함으로써 용이하게 실행될 수 있다는 점으로 인해 매우 효율적이다. 예컨대, 100개 이상의 스펙트럼 값을 예컨대 갖는 고 대역이 고려될 때, 이 대역에 대한 단 하나의 가중치가 계산되며, 이 단일 가중치는 각 개별 스펙트럼 값에 적용된다. 이 절차의 경우, 적절한 계산 자원만이 필요하며, 이는 예컨대 곱셈에 의한 가중이 저 자원이며 저 지연 절차이고, 동시에, 동일한 가중치를 대역에서의 각 스펙트럼 값에 적용하는 이러한 절차는 특정 병렬 하드웨어 처리기에 의해 병렬화될 큰 가능성이 있기 때문이다. 다른 한편으로, 다운믹싱될 2개의 채널이 서로 동위상 - 다운믹싱 시 문제가 됨 - 일 때, 즉 두 채널이 서로 매우 상관되며 특정한 위상 관계를 가질 때, 발생하는 신호 상쇄나 기타 아티팩트가 없는 고 오디오 품질의 다운믹스 신호가 획득된다.
본 발명의 바람직한 실시예는 수반하는 도면에 관해 후속하여 논의한다.
도 1은 제1 양상에 따른 다운믹서를 예시한다.
도 2는 제1 양상에 따른 다운믹서의 추가 실시예를 예시한다.
도 3a는 가중치 추정기의 바람직한 구현을 예시한다.
도 3b는, 또한 제3 양상에 바람직한 가중치 추정기의 바람직한 실시예를 예시한다.
도 4a는 상이한 채널에서의 상이한 시간/주파수 분해능을 예시한다.
도 4b는, 고 스펙트럼 분해능, 중 스펙트럼 분해능 및 저 스펙트럼 분해능을 보여주는 스펙트럼 표현을 예시한다.
도 5a는, 저 주파수 분해능과 저 시간 분해능을 야기하는 제1 실시예에 따른 가중치 추정을 예시한다.
도 5b는, 고 주파수 분해능과 저 시간 분해능 - 또한 제2 양상에도 적용됨 - 을 야기하는 제2 실시예에 따른 가중치 추정기에 의해 실행되는 절차를 예시한다.
도 5c는, 저 주파수 분해능과 고 시간 분해능을 야기하는 제3 실시예에 따른 가중치 추정의 구현을 예시한다.
도 5d는, 고 주파수 분해능과 고 시간 분해능을 야기하는 가중치 추정기의 추가 절차를 예시한다.
도 6은, 제2 양상에 따른 스펙트럼 분해능을 변환하기 위한 장치의 실시예를 예시한다.
도 7은, 제2 양상에 따른 스펙트럼 분해능을 변환하기 위한 장치의 추가 구현을 예시한다.
도 8은 제3 양상에 따른 다운믹서의 실시예를 예시한다.
도 9는 제3 양상에 따른 다운믹서의 추가 실시예를 예시한다.
도 1은 본 발명의 제1 양상을 위한 다운믹서의 실시예를 예시한다. 다운믹서는 가중치 추정기(100)와, 가중치 추정기(100)와 연결되는 스펙트럼 가중기(200)와, 제1, 즉 왼쪽 채널 및 제2, 즉 오른쪽 채널을 위한 입력을 갖는다. 스펙트럼 가중기(200)는 적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하기 위한 변환기(300)에 연결된다. 이들 시간 표현은 적어도 2개의 채널의 시간 표현을 믹싱하여 시간-영역 다운믹스 신호를 얻기 위한 믹서에 출력된다. 바람직하게도, 변환기(300)는 주파수-시간 변환기(310)와, 후속하여 연결되는 후-처리기(320)를 포함한다. 시간-주파수 변환기(310)는 실제로 시간 영역에서의 가중된 스펙트럼 영역 표현의 변환을 실행하며, 옵션 특성인 후-처리기(320)는, 왼쪽 채널 및 오른쪽 채널 각각에 대해 제어 파라미터를 사용하여 시간 영역에 이미 있는 제1 채널 및 제2 채널의 채널-독립 처리를 실행한다. 변환기(300)는, 주파수-시간 변환기(310)에 의해, 스펙트럼-시간 변환 알고리즘을 사용하여 미처리(raw) 시간 표현을 생성하도록 구성되며, 추가로, 변환기(300)는, 후-처리기(320)에 의해, 미처리 시간 표현을 개별적으로 후-처리하며, 특히, 믹서에 의한 믹싱 전 신호 처리 방향으로, 채널에 대해 별도의 제어 정보를 사용하여 적어도 2개의 채널의 시간 표현을 얻도록 구성된다.
바람직하게도, 후-처리기(320)는, 후-처리 동작으로서, 베이스(bass) 후-필터링, TCX-LTP 처리(Transform Coded Excitation Long Term Prediction), 또는 LPC(Linear Prediction Coding) 합성을 실행하도록 구성된다. 스펙트럼 가중 채널에 관한 후-처리기 동작, 그러나 다운믹스 신호로의 실제 믹싱 전 동작의 장점은, 왼쪽 및 오른쪽 채널에 대해 또는 일반적으로 다채널 신호의 2개 이상의 채널의 개별 채널에 대해 별도의 파라미터로서 이용 가능한 파라미터가 임의의 파라미터 다운믹싱 없이도 여전히 사용될 수 있다는 점이다. 그러한 절차는, 그렇지 않고, 다운믹싱이 스펙트럼 가중과 함께 실행되어 주파수-시간 변환기(310)의 출력에서 시간 영역 다운믹스 신호가 이미 있었다면, 필요했었을 것이다.
일반적으로, 다채널 신호는 2개의 채널, 즉 왼쪽 채널과 오른쪽 채널을 포함할 수 도 있거나, 다채널 신호는 3개 이상의 채널과 같은 2개보다 많은 채널을 포함한다. 그러한 상황에서, 가중치 추정기(100)는 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하며, 적어도 2개의 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하도록 구성된다. 더 나아가, 가중치 추정기(100)는 2개보다 많은 채널을 갖는 다채널 신호의 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하고, 2개보다 많은 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하며, 2개보다 많은 채널 중 제3 또는 더 추가의 채널의 다수의 대역에 대한 추가 다수의 대역별 가중치를 계산하도록 구성된다.
특히, 적어도 2개의 채널의 스펙트럼 영역 표현 각각은 주파수 빈 세트를 포함하며, 여기서 스펙트럼 값은 주파수 빈과 관련된다. 특히, 가중치 추정기(100)는, 대역에 대한 대역별 가중치를 계산하도록 구성되며, 각각의 대역은 1, 2 또는 그 이상의 스펙트럼 값을 포함하며, 바람직하게도, 대역 당 주파수 빈의 개수는, 더 고 중심 주파수를 갖는 대역에서 증가하여, 스펙트럼 영역 표현의 균일하지 않은 대역폭의 대역으로의 음향-심리학적 유발 세분을 얻는다.
다운믹서에 대한 바람직한 구현을 도 2에 예시한다. 다채널 신호는 스테레오 비트스트림으로서 이용 가능하며, MDCT 스테레오 디코더로서 바람직하게는 구현되는 스테레오 디코더(500)에 공급된다. 더 나아가, 가중치 추정기는 왼쪽 값 계산기(110), 오른쪽 값 계산기(112) 및 추가로 왼쪽 채널을 위한 허수부 추정기(120) 및 오른쪽 채널을 위한 허수부 추정기(122)를 포함한다. 도 2의 실시예에서, 스테레오 디코더(500)는 MDCT 스테레오 디코더이며, 이것이 의미하는 점은, 디코딩된 왼쪽 및 오른쪽 채널 스펙트럼 표현이 순전히 실수 스펙트럼 값, 즉 MDCT 값을 갖는다는 점이다. 허수부 추정기(120, 122)는 순전히 허수 스펙트럼 값, 즉 MDST(Modified Discrete Sine Transform) 값을 생성할 것이다. 이들 정보 아이템으로부터, 즉 스펙트럼 영역 표현과 추정된 스펙트럼 값으로부터, 가중 인자를 계산하여, 도 2에 나타낸 바와 같은 대역별 가중을 실행하는 스펙트럼 가중기(200)에 전송한다. 가중된 스펙트럼 영역 표현은 대응하는 주파수-시간 변환기(310) - 각 채널마다 IMDCT 변환기로서 구현됨 - 에 전송된다. 더 나아가, 옵션인 후-처리기(30)를 또한 각 채널마다 예시하며, 변환된 및 옵션인 후-처리 데이터가 다운믹서(DMX)(400)에 입력되어, 시간 영역 다운믹스 신호, 즉 도 2의 실시예에서, 모노 출력 신호를 생성하지만, 다운믹스 신호의 하나 이상의 채널의 개수가 다운믹싱 전 다채널 신호의 채널의 개수보다 작은 한, 다채널 신호일 수 있다.
대안적으로, 다채널 디코더 또는 스테레오 디코더(500)가 MDST 디코더와 같은 허수값 디코더로서 구현될 때, 블록(120, 122)은 MDCT 값과 같은 순전히 실수 데이터를 추정한다. 그에 따라, 일반적으로, 가중치 추정기(100)는, 스펙트럼 영역 표현이 순전히 실수일 때 허수 스펙트럼 표현을 추정하거나, 원래의 스펙트럼 영역 표현이 순전히 허수일 때 실수 스펙트럼 표현을 추정하도록 구성된다. 더 나아가, 가중치 추정기(110)는 경우에 따라서는 추정된 허수 스펙트럼 표현이나 추정된 실수 스펙트럼 표현을 사용하여 가중치를 추정하도록 구성된다. 이점은 특히, 대역 당 타겟 에너지 값을 기초로 하는 스펙트럼 대역별 가중치의 계산에 유용하여, 다운믹스 신호의 대역에서의 에너지는 적어도 2개의 채널의 동일 대역에서 에너지에 미리 결정된 관계에 있다. 바람직하게도, 미리 결정된 관계는, 다운믹스 신호의 대역에서의 에너지가 적어도 2개의 채널에서의 동일 대역의 에너지의 합이라는 것이다. 그러나 다른 미리 결정된 관계도 또한 유용하다. 예를 들어, 미리 결정된 관계는 다운믹스 신호의 대응 대역의 에너지로서 2개의 채널의 합의 75%에서 125%까지에 걸쳐져 있을 수 도 있다. 그러나 가장 바람직한 실시예에서, 미리 결정된 관계는 같음이거나 +/-10%의 공차 범위 내에서 같음이다.
도 3a는 가중치 추정기(100)의 바람직한 구현을 예시한다. 특히, 이러한 구현은, 적어도 2개의 채널의 스펙트럼 영역 표현이 상이한 시간이나 주파수 분해능을 가질 때 가중치를 계산하는데 유용하다. 블록 또는 단계(130)에 도시한 바와 같이, 가중치 추정기(100)는, 제1 및 제2 채널의 스펙트럼 영역 표현의 시간/주파수 분해능이 서로 상이한 지를 점검하도록 구성된다. 같은 시간이나 주파수 분해능인 경우, 가중치 추정기(100)는, 제1, 즉 왼쪽 채널의 경우 wL로 나타내며 제2 즉 오른쪽 채널의 경우 wR로 나타낸 바와 같이 대역별 가중 인자나 대역별 가중치를 계산하도록 구성된다.
대안적으로, 블록(130)에서 가중치 추정기(100)에 의해, 시간이나 주파수 분해능이 도 4a에 관해 이후에 예시한 바와 같이 특정 시간 기간 동안 왼쪽 채널과 오른쪽 채널, 즉 제1과 제2 채널 사이에 같지 않음이 결정될 때, 가중치 추정기(100)는 1개 또는 2개의 결합된 스펙트럼 영역 표현을 계산하도록(132) 구성된다. 특히, 적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간 분해능 또는 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간 분해능 또는 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고, 제2 주파수 분해능은 제1 주파수 분해능과 상이하다. 가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제2 시간 분해능이나 제2 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하거나 계산하며, 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(132) 구성된다. 대안적으로, 제2 스펙트럼 영역 표현은 제1 시간 분해능이나 제1 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환되며, 대역별 가중치는 결합된 스펙트럼 영역 표현과 제1 스펙트럼 영역 표현을 사용하여 계산된다. 대안적으로, 제1 채널의 제1 스펙트럼 영역 표현이 제1 시간 분해능이나 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현이 제2 시간 분해능 또는 제2 주파수 분해능을 가질 때 - 여기서 제2 시간 분해능은 제1 시간 분해능과 상이하거나 제2 주파수 분해능은 제1 시간 분해능과 상이함 - , 가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하거나 계산하도록(132) 구성되며, 제3 시간 분해능은 제1 시간 분해능이나 제2 시간 분해능과 상이하며, 제3 주파수 분해능은 제1 주파수 분해능 및/또는 제2 주파수 분해능과 상이하다. 더 나아가, 제2 스펙트럼 영역 분해능은 또한 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환되며, 대역별 가중치는 제1 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 계산된다. 도 5a 내지 도 5d에 관해 이후에 기재될 실제 상황에 따라, 블록(134)에 의해 계산되는 대역별 가중치나 인자가 실제 스펙트럼 가중하는데 사용되기 보다는, 유도된 대역별 가중 인자가 도 3a에서 136에 예시한 바와 같이 계산되는 상황이 있을 수 도 있다.
일반적으로, 제1 채널이 저 제1 시간 분해능과 고 제1 주파수 분해능을 가짐을 가정하며 또한 제2 채널이 고 제2 시간 분해능과 저 제2 주파수 분해능을 가짐을 가정하면, 가중치 추정기(100)의 기능은 스펙트럼 영역에서 제1 채널과 제2 채널 사이의 분해능 사이에서 매칭을 행하여 이들 채널에 대한 스펙트럼 영역 가중치를 계산하기 위한 4개의 상이한 방식 중 하나를 선택할 수 있다.
도 5a는 제1 실시예를 예시하며, 여기서 대역별 가중치는 2개의 결합된 스펙트럼 영역 표현으로부터 계산되며, 이 2개의 결합된 스펙트럼 영역 표현은 모두 저 주파수 분해능과 저 시간 분해능을 갖는다.
도 5b에 예시한 제2 실시예에서, 단지 단일 결합된 스펙트럼 영역 표현은 저 주파수 분해능 표현으로부터 계산되어, 대역별 가중치는 고 주파수 분해능과 저 시간 분해능 모두를 갖는 한 쌍의 스펙트럼 영역 표현으로부터 계산된다.
도 5c는 추가 제3 실시예를 예시하며, 여기서 단일 결합된 표현이 계산되어 저 주파수 분해능 및 고 시간 분해능을 모두 갖는 2개의 스펙트럼 영역 표현을 사용하여 스펙트럼 영역 대역별 가중치의 계산에 사용된다.
도 5d에 예시한 제4 실시예에서, 가중치 추정기는, 고 주파수 분해능과 고 시간 분해능을 보여주는 포맷으로 모두 되어 있는 2개의 결합된 표현을 사용하여 대역별 가중치를 계산하도록 구성된다.
도 4a는, 제1 채널 및 제2 채널에서 (시간 및/또는 주파수에서의) 2개의 상이한 분해능이 있는 상황을 예시한다. 도 4a의 제1 부분은 제1 채널에서 긴 블록을 가지며, 제2 채널에서 2개의 후속한 짧은 블록을 갖는 프레임을 도시한다. 긴 블록은 예컨대 TCX20 블록일 수 있다. 짧은 블록은 2개의 후속한 TCX10 블록일 수 있다. 더 나아가, 도 4a는, 2개의 서브프레임 A, B로 세분되는 추가 프레임을 예시하며, 제1 채널에서, 서브프레임 A는 짧은 블록을 가지며, 제2 채널에서, 서브프레임은 또한 짧은 블록을 갖는다. 그러나, 도 4a의 제2 프레임의 서브프레임 B에서, 제1 채널은 짧은 블록을 가지며, 제2 채널은 2개의 매우 짧은 블록, 즉 각 서브서브프레임마다 하나의 매우 짧은 블록을 갖는다. 매우 짧은 블록은 예컨대 TCX5 블록일 수 있다. 일반적으로, 긴 블록은 짧은 블록보다 길며, 짧은 블록은 매우 짧은 블록보다 길고, 물론, 매우 짧은 블록은 긴 블록보다 짧다. 당연히, 하나의 긴 블록은 2개의 짧은 블록과 동일한 길이를 가질 필요는 없다. 대안적으로, 하나의 긴 블록의 길이와 같은 결합 길이를 갖는 3개의 짧은 블록이 있을 수 있거나, 각 서브서브프레임마다 매우 짧은 블록과 같은 4개의 짧은 블록이 있을 수 있다. 다른 세분이 여기서 또한 가능할 수 있다. 즉, 제1 채널에서의 2개의 긴 블록은 제2 채널에서의 3개의 짧은 블록의 길이와 같은 결합된 길이를 가질 수 있다. 긴, 짧은 및 매우 짧은 블록의 길이는 서로에 관해 정수 관계에 있을 필요는 없다. 더 나아가, 3개보다 많은 블록 길이와 같은 3개보다 많은 상이한 블록 길이가 있을 수 있거나, 단지 2개의 상이한 블록 길이가 있을 수 있다.
도 4b는 제1 라인에서 고 스펙트럼 분해능을 갖는 스펙트럼의 표현을 예시한다. 스펙트럼 값은 주파수 라인을 따라 정수로 나타내며, 도 4b는 3개의 후속 대역(b1, b2, b3)을 예시하고, 더 고 주파수를 나타내는 각 대역은 더 저 주파수를 나타내는 각 대역보다 더 넓다. TCX20 스펙트럼에서와 같은 고 스펙트럼 분해능 상황에서, 최저 대역(b1)은 4개의 스펙트럼 라인 또는 스펙트럼 값 또는 스펙트럼 빈을 갖는다. 제2 대역(b2)은 이 실시예에서 8개의 스펙트럼 값을 가지며, 제3 스펙트럼 대역(b3)은 12개의 스펙트럼 빈을 갖는다. 고 스펙트럼 분해능을 중 스펙트럼 분해능 표현으로 전환 또는 변환하면, 고 분해능 스펙트럼 표현으로부터, 스펙트럼 값이 결합되어(또는 데시메이트(decimate)되어)) TCX10 분해능과 같은 중 스펙트럼 분해능이 제1 대역에 대해 2개의 스펙트럼 빈을 가지며, 제2 대역(b2)에 대해 4개의 스펙트럼 빈을 가지며, 제3 대역(b3)에 대해 6개의 스펙트럼 빈을 갖게 되는 결과를 야기한다. 다시 이 중 스펙트럼 분해능을 TCX5 블록에서 일어나는 것과 같이 저 스펙트럼 분해능 표현과 비교하면, 제1 대역은 오직 단일 주파수 빈을 가질 것이고, 제2 대역(b2)은 2개의 주파수 빈을 가질 것이며, 제3 스펙트럼 대역(b3)은 3개의 스펙트럼 빈을 가질 것이다. 중 스펙트럼 분해능은, 2개 이상의 인접 스펙트럼 라인을 결합함으로써 또는 데시메이션 동작에 의해 저 스펙트럼 분해능으로 변환될 수 있다.
다른 한편, 저 스펙트럼 분해능 표현은 내삽 또는 복제 또는 복제 및 필터링에 의해 더 고 분해능 표현으로 변환될 수 있어서, 예컨대 중 스펙트럼 분해능에 대해 제1 대역(b1)에서 2개의 스펙트럼 빈으로부터, 도 4b에 예시한 바와 같이 4개의 고 분해능 스펙트럼 빈을 계산할 수 있었다.
이 새로운 접근법은 스테레오-투-모노 변환을 위한 무지연, 능동, 대역별 다운믹싱 방법을 목적으로 하며, 여기서 2개의 채널의 스펙트럼 대역의 대역별 가중만이 주파수 영역에서 행해지는 반면, 모노 신호로의 실제 다운믹스는 2개의 스펙트럼 가중된 신호를 합하고 스케일링함으로써 시간 영역으로 변환한 후 행해진다.
두 신호의 스펙트럼 영역 표현이 상이한 시간-주파수 분해능을 갖는 경우에(즉, 하나의 신호에 대해 더 짧은 블록 크기), 가중치 계산은 시간적으로 및 스펙트럼적으로 이웃하는 스펙트럼 빈을 결합함으로써 적응되어, 교차-스펙트럼 산정이 동일한 시간-주파수 구역에서 행해질 수 있다. 이 방법으로, 2개의 스테레오 채널의 시간-주파수 분해능은 균일할 필요는 없으며, 이는 채널의 대역별 가중이, 채널이 이 점에서 상이하다면 여전히 행해질 것이기 때문인 반면, 중요한 스테레오-투-모노 변환은, 스펙트럼 가중 채널 모두가 다시 시간 영역으로 이미 변환될 때 추후에 행해진다. 실시예는 디코더 측에서 최적화된, 무지연 스테레오-투-모노 다운믹스를 제공한다.
바람직한 양상은 별도의 가중(주파수 영역) 및 믹싱 스테이지(시간 영역)를 갖는 대역별 가중에 의한 능동 다운믹스에 관한 것이다.
추가 바람직한 양상은, 상이한 스펙트럼 영역 표현을 갖는 채널의 경우 교차-스펙트럼 상관에 대한 주파수 빈의 시간/스펙트럼 결합에 관한 것이며, 여기서 이들 양상은 다운믹스 양상과 별도로 또는 다운믹스 양상과 함께 사용될 수 있다.
단지 이미 다운믹싱된 코어 신호가 스테레오 이미지를 나타내는 여러 부가 파라미터와 함께 송신되는 [7]과 같은 파라메트릭 스테레오 코덱과 상이하게, 두 채널이 이미 TCX 코더로 항상 바로 코딩되는 MDCT-기반 이산 스테레오 응용에 대해 디코더에서 이용 가능한 다운믹스는 없다. 그에 따라, 다운믹스는 디코더 측에서 전적으로 생성되어야 한다.
도 3b는, 도 1에서 예시한 가중치 추정기(100)의 바람직한 구현을 예시한다. 단계(140)에서, 가중치 추정기는 제1 채널 및 제2 채널로부터 또는 대안적으로는 제1 채널 및 결합된 스펙트럼 영역 표현으로부터 또는 제2 채널 및 결합된 스펙트럼 영역 표현으로부터 또는 제1 결합된 스펙트럼 영역 표현 및 제2 결합된 스펙트럼 영역 표현으로부터 주파수 빈 당 대응 허수 또는 실수값 스펙트럼 값을 추정한다. 일반적으로, 가중치 추정기는, 대역에서 제1 채널의 에너지와 대역에서 제2 채널의 에너지를 사용하여 제1 가중치 및 제2 가중치를 계산하며, 대역에서 적어도 2개의 채널로부터 스펙트럼 값의 적 또는 선형 결합에 따라 믹싱된 텀을 계산하도록 구성된다. 도 3b에서, 제1 채널의 에너지와 제2 채널의 에너지는 블록(140)에서, 예시적으로 계산된다. 더 나아가, 적에 의존하는 미싱된 텀은 블록(148)에서 계산되며, 선형 결합에 의존하는 다른 믹싱된 텀은 블록(146)에서 계산된다. 더 나아가, 대역 당 스펙트럼 빈의 파워의 제곱근에 대응하는 대역 당 "진폭"이 블록(144)에서 계산된다.
그에 따라, 도 3b에 예시한 바와 같이, 제1 가중치(wL)는 두 채널에 대해 대역 당 진폭으로부터 믹싱된 텀에 의존하여 계산되며, 바람직하게는 블록(146)에 예시한 선형 결합에 의존한 믹싱된 텀에 의존하여 계산된다. 더 나아가, 대역 당 가중 벡터(wL)는 대역 당, 즉 다른 채널에 대해 가중치(wR)를 사용하여 계산된다. 다른 채널에 대한 값, 즉 대역 당 wR은 바람직하게는 단계(148)에서 예시한 적에 의존한 믹싱된 텀과 블록(142)에서 결정된 대응 채널에서의 대역 당 파워로부터 블록(144)에 의해 유도한 대역 당 "진폭"을 기초로 하여 계산된다.
그에 따라, 바람직하게도, 적어도 2개의 채널의 스펙트럼 영역 표현으로부터의 대역에서 서로 가산되는 스펙트럼 값의 에너지의 제곱근이 "진폭"으로서 사용되지만, 1보다 작고 1/2과 상이한 지수에 의해 파워로부터 유도한 "진폭"과 같은 다른 "진폭"이 또한 사용될 수 있다. 대역으로부터의 스펙트럼 값은 선형적으로 결합, 즉 서로 가산되며, 결과 값의 1보다 작은 지수의 제곱근이나 임의의 다른 멱법이 취해지며, 여기서 바람직하게는 대역에서 채널 모두에 대한 파워가 추가로 사용된다.
적을 나타내는 믹싱된 텀으로서, 제1 채널의 대역에서의 스펙트럼 값과 제2 채널의 대역에서의 스펙트럼 값 사이의 복소점 적의 절대값이 또한 예컨대 블록(148)의 계산에서 결정될 수 있다. 바람직하게도, 스펙트럼 가중기(200)에 의해 결정된 것과 동일한 가중치가 적어도 2개의 채널 중 하나의 채널의 대역에서 각 스펙트럼 값에 적용되며, 다른 가중치가 적어도 2개의 채널 중 다른 채널의 대역에서 각 스펙트럼 값에 적용된다.
후속하여, 가중치 추정기(100)에 의해 사용될 수 있는 대역 당 가중 인자의 계산의 바람직한 구현이 예시된다.
수동 다운믹스이 사용이 앞서 언급한 바와 같이 단점이 있으므로, 능동 다운믹스 방식을 사용하여, 많은 아이템에서 상당한 개선을 초래한다. 스테레오 디코딩 후 두 채널에 대해 DFT 변환을 포함하는 다른 디코더 스테이지를 더하는 것은 복잡도 및 지연 이유로 적절하지 않으며, 따라서 다운믹싱 처리는 MDCT 영역 및 시간 영역 처리의 결합으로서 행해진다.
먼저, 대역별 가중치가 산출되어 두 채널의 MDCT 표현에 적용된다. 이것은 스테레오 처리(예컨대, 반전 MS 등) 후 및 IMDCT 역변환 바로 전에 발생한다. 가중치는, 위상-회전된 중간 채널의 에너지를 타겟으로 하는 [7]에 기재한 DFT-기반 스테레오 인코더에서 이미 사용한 동일한 방식으로 산출된다:
Figure pct00002
여기서 L 및 R은 왼쪽 및 오른쪽 채널 스펙트럼 크기를 나타낸다. 이 타겟 에너지를 기초로 하여, 채널들에 대한 가중치가 다음과 같이 각 스펙트럼 대역마다 산출될 수 있다:
Figure pct00003
및
Figure pct00004
이들 가중치, 즉 대역별 가중치(wR 및 wL)는 스펙트럼 대역 당 산출되며, 각 대역은, 예컨대 4와 같은 최저 대역에 대한 저 빈 개수로 시작하여 예컨대 160과 같은 최고 대역에 대한 여러 또는 많은 빈에 이르는 더 고 주파수를 향해 증가하는 여러 MDCT 빈을 포함한다.
송신된 MDCT 계수가 오직 실수값이므로, 에너지-보존 가중을 위해 필요한 상보적인 MDST 값이 추정[9]에 의해 각 채널마다 얻어진다.
Figure pct00005
여기서 i는 스펙트럼 빈 번호이다.
이 추정(│L│ 및 │R│)을 사용하는 것은 다음과 같이 각 대역(b)에 대해 산출된다.
Figure pct00006
│L+R│은 다음과 같이 산출되고
Figure pct00007
Figure pct00008
는 복소점 적의 크기, 즉 절대값으로서 산출되며
Figure pct00009
i는 스펙트럼 대역(b) 내부의 빈 번호를 명시한다.
상이한 변환 및 단지 추정된 에너지에도 불구하고, 결과적인 가중치는 여전히 [7]에서와 같은 유사한 다운믹스를 야기한다.
제2 단계에서, 2개의 가중된 채널은 그 후, 단지 2개의 스펙트럼 가중된 채널의 합산 및 스케일링에 의해 시간 영역에서 다운믹싱된다.
도 2를 참조한다.
이 결합된 접근법의 이유는 2가지이다: 하나는, 두 채널을 다시 시간 영역으로 변환함으로서, 예컨대 TCX-LTP와 같은 후-필터링 - 시간 영역에서 또한 동작함 - 이 개별 채널의 코어 코딩으로부터 추출한 파라미터(예컨대, 피치)를 사용하여 두 채널 상에서 실행될 수 있어서, 다운믹스에 맞춰진 평균 파라미터를 시도하며 찾을 필요를 회피할 수 있다. 둘째, 그리고 더 중요하게도, MDCT 스테레오는 2개의 채널에 대한 상이한 코어 코더 및/또는 중첩 결정을 허용하도록 구성된다. 구체적으로, 이것이 의미하는 점은, 하나의 채널이 예컨대 하나의 TCX20의 긴 블록(20ms 프레임, 더 고 주파수 분해능, 더 저 시간 분해능)으로 코딩될 수 있는 반면, 다른 하나의 채널은 예컨대 2개의 TCX10의 짧은 블록(2×10ms 서브프레임, 더 저 주파수 분해능, 더 고 시간 분해능)으로 코딩되며, 여기서 하나 또는 두 짧은 블록은 다시 2개의 TCX5 서브프레임(2×5ms)으로 나눠질 수 도 있다. 이점은 전체 주파수 영역 다운믹스를 사실상 불가능하게 한다. 대역별 가중 단독은 그러나 MDCT 영역에서 바로 행해질 수 있다.
도 5a에 예시한 일 실시예는 다음과 같이 진행된다: 2개의 채널에서 상이한 핵심인 특별한 경우에 대해, 가중치 계산의 부분으로서의 교차-스펙트럼 상관의 산출을 약간 조정해야 한다. TCX20 및 TCX10의 상이한 주파수 및 시간 분해능으로 인해, 왼쪽과 오른쪽 사이의 점 적을 바로 계산하는 것은 가능하지 않다. 대신, MDCT 빈은 동일한 시간-주파수 구역을 커버하도록 결합되어야 한다. TCX20의 경우, 이것이 의미하는 점은 2개의 이웃하는 빈을 항상 결합한다는 점인 반면, TCX10의 경우는, 제1 서브프레임의 각각의 빈이 예컨대 다음의 서브프레임에서 동일한 빈과 결합되어야 한다는 점이며
Figure pct00010
및
Figure pct00011
- 만약 MDCTl이 TCX20 MDCT 스펙트럼이며, MDCTr이 2개의 서브프레임을 갖는 TCX10 MDCT 스펙트럼이라면, 여기서 i는 스펙트럼 빈 번호를 명시하며, k0 및 k1은 TCX10 서브프레임을 명시함 - . 동일한 결합이 추정된 MDST 스펙트럼으로 또한 행해진다.
교차-스펙트럼 상관(
Figure pct00012
) 및/또는 │L+R│에 대한 값은 그 후 결과적인 결합 빈으로 산출된다. 이점은 다소 더 거친 상관 추정을 초래하지만 충분한 것으로 알려져 있다.
도 5b에 예시한 다른 실시예는 다음과 같이 진행된다: 2개의 채널에서 상이한 핵심인 특별한 경우에 대해, 가중치 계산의 부분으로서의 교차-스펙트럼 상관의 산출을 약간 조정해야 한다. TCX20 및 TCX10의 상이한 주파수 및 시간 분해능으로 인해, 왼쪽과 오른쪽 사이의 점 적을 바로 계산하는 것은 가능하지 않다. 가능케 하기 위해서, 더 저 스펙트럼 분해능을 갖는 (서브)프레임의 스펙트럼은 다음의 산출에 의해 2배 스펙트럼 분해능을 갖는 스펙트럼의 근사치로 변환되고:
Figure pct00013
및
Figure pct00014
i는 스펙트럼 빈 번호를 명시하며, k0 및 k1은 더 저 분해능의 서브프레임을 명시한다. 이들 가산 및 감산은, 하나의 더 저 분해능 빈을 2개의 더 고 분해능 빈으로 분할하는 고역 통과 및 저역 통과 필터링 동작으로서 간주할 수 있으며, 필터링은, 빈 번호 i가 짝수인지 홀수인지에 의존한다(최저 빈에 대해 i=0으로 시작).
이것이 의미하는 점은, 하나의 채널이 TCX20이라면, 다른 하나의 채널은 동일한 스펙트럼 분해능으로 변환된다는 점이다. 다른 하나의 채널의 서브프레임 중 하나 또는 둘 모두가 다시 2개의 TCX5 "서브서브프레임"으로 세분된다면, 이들은 먼저 다시 분할 전 동일한 필터링에 의해 TCX10 분해능으로 변환되어 최종 TCX20 표현에 이른다.
채널 중 어떤 것도 TCX20이 아니더라도, 더 고 분해능으로의 변환은, 하나의 채널에 TCX10이 있고 다른 하나의 채널에 TCX5가 있는 경우에 하나 또는 두 서브프레임에 대해 여전히 필요할 수 도 있다. 예를 들어, 왼쪽 채널이 서브프레임 A에서 TCX10이고 서브프레임 B에서 2×TCX5인 반면, 오른쪽 채널은 서브프레임 A에서 2×TCX5이고 서브프레임 B에서 TCX10이라면, 두 채널은 두 서브프레임에서 TCX10 분해능을 갖도록 변환된다(왼쪽 채널의 경우 서브프레임 B, 오른쪽 채널의 경우 서브프레임 A를 변환한다). 동일한 예에서 오른쪽 채널이 또한 서브프레임 A에 대해 TCX10이며 서브프레임 B에 대해 2×TCX5라면, 변환은 행해지지 않는다. 즉, 서브프레임 A는 TCX10 분해능으로 다운믹싱될 것이며, 서브프레임 B는 TCX5로 다운믹싱될 것이다.
MDST 추정치 및 최종 채널 가중치는 그 후 이들 변환된 스펙트럼을 사용하여 산출된다. 가중치 자체는 원래의 입력 스펙트럼에 적용되며, 이것이 의미하는 점은, 변화의 경우, 각 산출된 가중치가 모든 서브프레임에 대해 원래의 더 저 분해능에서 동일한 주파수 범위를 커버하는 모든 빈에 적용된다는 점이다.
능동 대역별 다운믹스의 가중 스테이지를 실제 믹싱 스테이지로부터 분리함으로써, 이 새로운 방법은 능동 다운믹스의 장점을 갖지만, 추가 지연이나 복잡도 없이 그리고 개별 채널의 선택된 시간-주파수 분해능과 독립적으로 모노 신호를 출력할 수 있다.
이로 인해, 전용 파라미터 다운믹스의 필요 없이 두 채널에 관한 추가 시간 영역 후-처리(예컨대, 피치 정보를 사용한 TCX-LTP 후-필터)를 또한 사용할 수 있다.
도 5a는 2개의 결합된 스펙트럼 영역 표현이 생성되는 제1 대안을 예시한다. 제1 결합된 스펙트럼 영역 표현은 도 5a의 왼쪽에 예시한 고 분해능 스펙트럼 영역 표현의 2개의 이웃한 빈을 더하여 계산되어 제1 결합된 스펙트럼 영역 표현을 얻는다.
더 나아가, 도 5a의 중간에 TCX10에 예시한 2개의 저 스펙트럼 분해능 표현은 서로 결합되어 제2 결합된 스펙트럼 영역 표현을 얻는다. 가중치 추정기(100)는 이들 2개의 결합된 스펙트럼 영역 표현으로부터 왼쪽 및 오른쪽 가중 인자(wL 및 wR)를 계산하도록 구성된다.
스펙트럼 가중기(200)에 의해 실행되는 실제 실행된 스펙트럼 가중에 관해서, 왼쪽 채널에 대한 가중 인자가 원래의 왼쪽 채널 표현, 즉 도 5a의 왼쪽에 예시한 TCX20 표현에 적용된다. 더 나아가, 2개의 시간-후속 TCX10 블록에 의해 표현되는 오른쪽 채널에 대한 대역별 가중치는 두 TCX10 블록에 적용된다. 동일한 대역별 가중치가 도 5a의 중간에 예시한 2개의 시간-후속 TCX10 블록의 대응 대역에 적용된다.
도 5b에 예시한 제2 대안에서, 오직 단일 결합된 스펙트럼 영역 표현이 여러 상이한 경우에 대해 예시한 대로 계산된다. 예컨대, 제1 채널에서의 서브프레임이 TCX5 프레임과 같은 2개의 매우 짧은 서브프레임을 가지며, 그 다음 서브프레임이 단일 TCX10 프레임을 가질 때, 및 제2 채널이 예컨대 2개의 TCX10 프레임을 가질 때, 결합된 스펙트럼 영역 표현은 제1 서브서브프레임에 대해 계산되는 반면, 제2 서브서브프레임의 경우, 제1 및 제2 채널은 이미 TCX10 표현에 있다.
이 예에서, 스펙트럼 가중기(200)는 고 스펙트럼 분해능 가중 인자를 예컨대 5ms를 각각 나타내는 서브프레임에서의 대응 대역에 적용하도록 구성된다. 더 나아가, 고 분해능 가중 인자는 예컨대 제1 서브프레임 A에서 짧은 TCX10 프레임을 갖는 다른 채널의 대응하는 원래의 스펙트럼 영역 표현에 적용된다.
대안적으로, 이 상황은, 제1 채널이 도 5b의 왼쪽에 예시한 표현을 가지며, 제2 채널은 도 5b의 오른쪽에 예시한 표현을 갖게 되고, 제1 채널의 표현은 도 5b의 왼쪽으로부터 중간으로 및 도 5b의 중간으로부터 오른쪽으로 2개의 단계를 통해 단일 결합된 스펙트럼 영역 표현으로 변환된다. 주파수 분해능은 가중 인자를 계산하는데 사용되며, 대응 가중 인자는, 도 5b의 오른쪽에 예시한 분해능을 가진 제2 채널의 고 주파수 분해능과 저 시간 분해능 표현에 적용되며, 대역에 대해 동일한 값이 모든 개별 서브프레임 A, B 및 도 5b에서 D 및 C로 예시한 그 다음 서브프레임에 적용된다.
도 5c는, 실제 영역 가중치가 저 주파수 분해능과 고 시간 분해능 표현으로부터 계산되는 다른 대안을 예시한다. 제1 채널은 예컨대 TCX20 표현이며, 제2 채널은 예컨대 2개의 TCX10 표현의 시퀀스이다. 도 5b에 예시한 대안과 대조적으로, 결합된 표현은 이제 도 5c의 상부 오른쪽 코너에 예시한 고 시간 분해능과 저 주파수 분해능 표현이다. 스펙트럼 영역 가중 인자는 한편으로는 결합된 표현과, 도 5c의 하부 왼쪽 코너에 예시한 제2 채널의 원래의 스펙트럼 영역 표현으로부터 계산된다.
2세트의 대역별 가중치, 즉 각 서브프레임에 하나씩 얻는다. 이들 값은 제2 채널의 대응 서브프레임에 적용된다. 그러나, 제1 채널이 전체 프레임에 대해 단일 스펙트럼 영역 표현을 단지 갖는 점으로 인해, 유도한 스펙트럼 영역 가중치가 도 3a의 블록(136)에서 예시한 바와 같이 계산된다. 유도한 스펙트럼 영역 가중치를 계산하기 위한 하나의 절차는 2개(또는 이상)의 서브프레임에 대해 하나의 동일한 대역의 대응 가중치의 가중 가산을 실행하는 것이며, 각각의 가중치는 예컨대 가중 가산에서 0.5만큼 가중되어 평균 동작을 야기한다. 다른 대안은 2개의 서브프레임에 대해 가중치의 산술 또는 기하 평균을 계산하는 것이거나, 임의의 다른 절차는 프레임의 대역에 대해 2개의 가중치로부터 단일 가중치를 얻는 것이다. 옵션은 단지 2개의 값 중 하나를 선택하고 다른 하나는 무시하는 것 등일 수 있다.
더 나아가, 제1 채널로부터 결합된 스펙트럼 영역 표현을 계산하기 위해, 도 5a에 관해 앞서 논의한 절차를 사용할 수 있다. 즉, 2개의 이웃 스펙트럼 값이 함께 더해져 스펙트럼 분해능을 감소시킬 수 있다. 이것이 도 4b에 또한 예시되어 있으며, 여기서 대역에서 특정 개수의 스펙트럼 값을 갖는 고 스펙트럼 분해능이 동일 대역에서 더 저 개수의 스펙트럼 값을 갖는 중 스펙트럼 분해능으로 감소할 수 있다. 더 나아가, 도 5c의 상부 오른쪽 코너에 예시한 2개의 서브프레임에 대해 스펙트럼 값을 두배로 하기 위해, 예컨대 두 서브프레임에서 대역에 대해 동일한(저 스펙트럼 분해능) 스펙트럼 값을 사용할 수 있거나, 경우에 따라서는, 더 이전 또는 이후의 값을 사용한 일종의 가중된 데시메이션을 실행할 수 있다.
도 5d는, 제1 채널이 TCX20 표현과 같은 고 주파수 및 저 시간 분해능 표현을 가지며, 제2 채널이 2개의 TCX10 프레임과 같은 2개의 짧은 프레임의 시퀀스와 같은 저 주파수 및 고 시간 분해능 표현을 갖는 추가 구현을 예시한다. 제1 결합된 스펙트럼 영역 표현은 고 주파수 분해능 및 고 시간 분해능 표현이며, 제2 결합된 스펙트럼 영역 표현은 또한 고 주파수 분해능 및 고 시간 분해능이다. 도 5d에 예시한 절차는 예컨대, 제1 채널로부터, 제1 결합된 스펙트럼 영역 표현이 동일한 스펙트럼 값을 취하지만, 이제는 TCX10에 의해 예시한 2개의 후속 시간 프레임에 대해서 취함으로써 계산된다. 대안적으로 일종의 보간 처리 등이 또한 실행될 수 있어서 프레임 개수를 두 배가 되게 할 수 있어서, TCX20 프레임으로부터, 2개의 후속산 TCX10 프레임이 계산된다. 더 나아가, 제2 채널은 이미 정확한 시간 분해능이지만, 주파수 분해능은 두 배가 되어야 한다. 이를 위해, 도 4b의 하부 라인으로부터 상부 라인으로의 절차가 실행될 수 있다. 즉, TCX10 표현의 주파수 빈에서 스펙트럼 값은 한 쌍의 주파수 빈에 대해 동일한 스펙트럼 값을 갖도록 처리될 수 있다. 정확한 에너지를 갖기 위해, 일종의 가중이 실행될 수 있다. 대안적으로 또는 추가로, 일종의 개선된 보간이 실행될 수 있어, 제2 결합된 스펙트럼 영역 표현에서 서로 인접한 주파수 빈은 동일한 스펙트럼 값을 정확히 가질 필요는 없으며, 상이한 값을 갖는다. 스펙트럼 영역 가중치는, 고 주파수 분해능 및 고 시간 분해능 데이터로부터 유도한 제2 결합된 스펙트럼 영역 표현과 제1 결합된 스펙트럼 영역 표현으로부터 가중치 추정기(100)에 의해 계산된다.
스펙트럼 가중기(200)는 대응 스펙트럼 영역 가중치를 제2 채널에 적용하도록 구성되며, 여기서 각 서브프레임에 대해, 대역별 가중치 세트가 존재한다. 제1 채널 TCX20 데이터를 가중할 목적으로, 가중치 추정기(100)는 유도된 대역별 가중 인자(136)를 다시 한번 계산하도록 구성되며, 이는 단 하나의 세트의 스펙트럼 영역 가중 인자가 제1 채널 고 주파수 분해능 및 시간 분해능(TCX20) 스펙트럼 영역 표현을 가중하는데 필요하기 때문이다. 유도된 대역별 가중치를 계산하기 위한 결합 절차는 예컨대 평균화가 있을 수 있다.
도 6은 본 발명의 추가 양상, 즉 적어도 2개의 서브프레임을 포함하는 채널의 스펙트럼 영역 표현의 스펙트럼 분해능을 변환하기 위한 장치를 예시하며, 각 서브프레임은 시간 빈 크기와 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함한다. 제2 양상에 따라, 변환용 장치에 포함되는 스펙트럼 값 계산기(160)는 제1 방식 결합기(170)와 제2 방식 결합기(180)를 포함한다. 바람직하게도, 제1 방식 결합기는 저역 통과 처리기로서 동작하며, 제2 방식 결합기는 고역 통과 처리기로서 동작한다. 스펙트럼 값 계산기는, 제1 방식 결합기에 의해, 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제1 그룹의 결합된 스펙트럼 값을 얻으며, 제2 방식 결합기(180)는, 제2 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제2 그룹의 결합된 스펙트럼 값을 얻으며, 제2 방식은 제1 방식과 상이하며, 제1 그룹의 결합된 스펙트럼 값과 제2 그룹의 결합된 스펙트럼 값은 상이한 시간 빈 크기와 상이한 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타낸다. 이 계산의 바람직한 구현은 도 5b에 관해 기재하며 예시하고, 일 예시에서 A2, A1 및 B2, B1의 시퀀스가 고 스펙트럼 분해능 표현으로 변환되지만, 이제는 한편으로는 F2, E2에 의해 및 다른 한편으로는 F1, E1에 의해 예시한 바와 같이 저 시간 분해능을 갖는다.
대안적으로, 도 5b는, 적어도 2개의 서브프레임이 도 5b의 중간 챠트에서 2개의 시간-후속 10ms 서브프레임인 것으로 예시되며, 고 스펙트럼 분해능과 저 시간 분해능 표현이 도 5b의 오른쪽에 예시된 상황을 또한 예시한다. 바람직하게도, 가산이 제1 방식에서 실행되며, 감산이 제2 방식에서 실행된다. 더 나아가, 두 절차는 또한 평균화 기능을 포함하는 것이 바람직하다. 더 나아가, 도 6의 스펙트럼 값 계산기(160)는 가중 부호를 사용한 가중을 포함하는 제1 방식이나 제2 방식 중 어느 하나를 적용하도록 구성되며, 스펙트럼 값 계산기는 동일한 주파수 빈의 주파수 빈 번호(number)에 따라 가중 부호를 설정하도록 구성된다. 더 나아가, 스펙트럼 값 계산기는, 도 5b에 예시한 바와 같이, 더 저 분해능 빈을 2개의 더 고 분해능 빈으로 변환하도록 구성되며, 여기서 제1 방식은 짝수 빈 번호에 사용되며, 제2 방식은 홀수 빈 번호에 사용된다.
도 7은 스펙트럼 분해능을 변환하기 위한 장치의 추가 구현을 예시한다. 스펙트럼 분해능 결합기(160)에 추가하여, 스펙트럼 분해능을 변환하기 위한 장치는 추가 요소를 포함할 수 도 있다. 추가 요소는 예컨대, 스펙트럼 처리기(500) 및/또는 처리 데이터 계산기(190) 및/또는 추가 스펙트럼 처리기(220)이다. 스펙트럼 처리기(500)를 갖는 구현에서, 임의의 역방향 및 순방향 변환 동작 없이 변환되며, 그에 따라 저 산술 자원과 저 지연으로 생성된 변환된 스펙트럼 영역 표현은 단독으로 더 처리될 수 있거나, 예컨대, 동일한 제2 스펙트럼 분해능을 갖는 다른 스펙트럼 표현과 함께 처리될 수 있다. 이것은 예컨대 일종의 다운믹싱에 대해 실행될 수 있다. 도 5b의 오른쪽에 예시한 고 주파수 분해능 및 저 시간 분해능 표현은 처리 데이터를 계산하는데 사용될 뿐만 아니라 예컨대 다운믹싱 또는 이후 처리 스테이지에서 어떤 종류의 오디오 렌더링과 같은 추가 또는 다른 대안적 사용을 위해 실제로 더 처리된다.
다른 한편으로, 도 1 및 도 5b에 관해 앞서 논의한 절차는, 제2 스펙트럼 분해능을 갖는 스펙트럼 영역 표현, 즉 "결합된 스펙트럼 영역 표현"은 왼쪽 및 오른쪽 채널에 대해 또는 일반적으로 말해서는, 다채널 신호의 제1 및 제2 채널에 대해 가중치와 같은 일종의 처리 데이터를 계산하는데 단지 사용된다는 것이다. 고 스펙트럼 분해능으로 변환된 스펙트럼 영역 표현을 사용하여 생성된 처리 데이터는 단지 처리 데이터를 계산하는데 사용되지만, 이 스펙트럼 영역 표현은 그 자체로 더는 처리되지 않는다. 대신, 가중치와 같은 처리 데이터를 사용하여, 제1 스펙트럼 분해능을 갖는 원래의 입력 스펙트럼 영역 표현이 블록(220)에 의해 예시한 바와 같이 스펙트럼 처리된다. 이를 위해, 예컨대, 다운믹싱 동작 - 예컨대 스펙트럼 영역에서 발생함 - 에 대해서와 같이 제1 분해능을 갖는 다른 스펙트럼 영역 표현을 사용하는 것이 바람직하다.
도 8은, 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서 동작하는 본 발명의 제3 양상의 실시예를 예시한다. 다운믹서는 적어도 2개의 채널에 대해 대역별 가중치를 추정하기 위한 가중치 추정기(100)를 포함하며, 여기서 가중치 추정기는 대역 당 타겟 에너지 값을 기초로 대역별 가중치를 계산하도록 구성되어, 다운믹스 신호의 대역에서의 에너지는 2개의 채널의 동일 대역에서의 에너지에 미리 결정된 관계에 있다. 바람직하게도, 가중치 추정기(100)는 도 3b에 예시된 바와 같이 및 도 3b의 환경에서 논의된 바와 같이 구현된다. 다운믹서는, 적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 다운믹스 신호를 계산하기 위해 스펙트럼 가중기(200)와 후속하여 연결된 믹서(400)를 또한 포함한다.
도 9는 도 8의 다운믹서의 추가 구현을 예시한다. 스펙트럼 가중기(200)는 바람직하게는 제1 및/또는 제2 채널에 대한 제어 데이터를 수신하도록 구성된다. 더 나아가, 스펙트럼 가중기는 4개의 상이한 입력 데이터 쌍 중 하나에 대해 제어 데이터를 적용하도록 구성된다. 제1 입력 데이터 쌍은 도 9의 왼쪽에 예시한 바와 같이 제1 채널 스펙트럼 영역 표현과 제2 채널 스펙트럼 영역 표현일 수 있다. 제2 대안은 예컨대 도 5b, 도 5c에 관해 논의한 바와 같이 유도된 제1 채널 스펙트럼 영역 표현 및 결합된 스펙트럼 영역 표현일 수 있다. 더 나아가, 다른 대안은, 도 5b, 도 5c에 관해 또한 앞서 논의한 제2 채널 스펙트럼 영역 표현 및 단일 결합된 스펙트럼 영역 표현을 나타내는 한 쌍의 데이터일 수 잇다. 다른 대안은, 스펙트럼 가중기(200)가, 도 5a 또는 도 5d에 관해, 예시한 바와 같이 스펙트럼 가중치를 제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 표현에 적용하는 것일 수 있다. 제1 및/또는 제2 채널에 대한 제어 데이터는 예컨대 한편으로는 가중치(wL)일 수 있으며 다른 한편으론 가중치(wR)일 수 있지만, 임의의 종류의 스펙트럼 가중을 실행하는데 사용되는 임의의 다른 제어 데이터일 수 도 있다.
다운믹서의 추가 요소는, 실시예에서, 가산된 스펙트럼 영역 표현, 즉 스펙트럼 영역에서의 다운믹스 스펙트럼 영역 표현을 계산하는 가산기(480)이다. 모노 신호 처리기(490)가 사용될 수 있으며, 이 모노 신호 처리기(490)는 예컨대 임의의 데이터에 의해 제어되거나, 즉 예컨대 도 1 또는 도 2의 블록(310)에 관해 앞서 논의한 바와 같이 주파수-시간 변환기로서 구현된다.
3개의 양상은 서로 별도로 사용될 수 있지만 또한 유리하게는 서로 결합될 수 있음을 강조해 둔다. 특히, 도 8에 따른 가중치 추정기의 구현은 도 1에 예시한 제1 양상의 가중치 추정기(100)에 적용될 수 있다. 더 나아가, 도 6에 예시한 스펙트럼 분해능 변환기는 바람직하게는 2개의 고 시간 분해능 및 저 스펙트럼 분해능 서브프레임으로부터 고 분해능/저 분해능 스펙트럼 영역 표현을 생성하는 도 5b에 예시한 대안에서 도 1의 가중치 추정기(100)에 의해 구현된다. 더 나아가, 특히 처리 데이터의 계산에 관한, 도 1에 예시한 제1 양상의 기능은 처리 데이터 계산기(190) 및 도 7에 예시한 추가 스펙트럼 처리기(220)에 의해 구현될 수 있으며, 본 발명의 제3 양상의 믹서(400)는 도 9의 대안으로서, 다운믹스 신호를 계산하기 위한 믹서(400)가 실제 시간-영역 샘플 단위 가산을 실행하기 전 도 1에 예시한 변환기(300)의 기능을 적용하도록 구현될 수 있다. 그에 따라, 3개의 양상 중 하나에 대한 종속항에 규정된 모든 특정 실시예는 대응하는 종속항의 규정으로 3개의 양상 중 임의의 다른 양상에 적용될 수 도 있다.
그에 따라, 구현에 따라, 3개의 양상은 별도로 적용될 수 있거나, 3개의 양상 중 임의의 2개의 양상을 결합하거나 3개의 양상 모두를 결합함으로써 서로 결합될 수 있음이 자명하게 된다.
후속하여, 본 발명의 양상의 추가 예는 아래와 같다:
1. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서,
적어도 2개의 채널에 대해 대역별 가중치를 추정하기 위한 가중치 추정기(100);
대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하기 위한 스펙트럼 가중기(200);
적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하기 위한 변환기(300); 및
적어도 2개의 채널의 시간 표현을 믹싱하여 다운믹스 신호를 얻기 위한 믹서(400)를 포함하는, 다운믹서.
2. 예 1에 있어서, 가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하며, 적어도 2개의 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하도록 구성되거나,
다채널 신호는 2개보다 많은 채널을 가지며, 가중치 추정기(100)는 2개보다 많은 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하고, 2개보다 많은 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하며, 2개보다 많은 채널 중 추가의 채널의 다수의 대역에 대한 추가 다수의 대역별 가중치를 계산하도록 구성되는, 다운믹서.
3. 예 1 또는 2에 있어서,
적어도 2개의 채널의 스펙트럼 영역 표현은 각각 주파수 빈 세트를 포함하며, 스펙트럼 값은 주파수 빈과 관련되고,
가중치 추정기(100)는 대역에 대해 대역별 가중치를 계산하도록 구성되며, 각 대역은 1개, 2개 또는 그 이상의 주파수 빈을 포함하거나,
대역 당 주파수 빈의 개수는 더 고 중심 주파수를 갖는 대역일수록 증가하는, 다운믹서.
4. 앞선 예 중 하나에 있어서,
가중치 추정기(100)는, 대역 당 타겟 에너지 값을 기초로 대역별 가중치를 계산하도록 구성되어, 다운믹스 신호의 대역에서의 에너지는 적어도 2개의 채널의 동일 대역에서의 에너지와 미리 결정된 관계에 있는, 다운믹서.
5. 앞선 예 중 하나에 있어서,
인코딩된 신호를 디코딩하기 위한 코어 디코더(500)를 더 포함하며, 인코딩된 신호는 적어도 2개의 원래의 채널의 인코딩된 스펙트럼 영역 표현을 가지며, 코어 디코더는, 인코딩된 스펙트럼 영역 표현으로부터 스펙트럼 영역 표현을 생성하도록 구성되는, 다운믹서.
6. 앞선 예 중 하나에 있어서,
스펙트럼 영역 표현은 순전히 실수이거나 순전히 허수 중 어느 하나이며,
가중치 추정기(100)는, 스펙트럼 영역 표현이 순전히 실수일 때 허수 스펙트럼 영역 표현을 추정하며(120, 122), 스펙트럼 영역 표현이 순전히 허수일 때 실수 스펙트럼 영역 표현을 추정하도록 구성되며,
가중치 추정기(100)는, 추정된 허수 스펙트럼 영역 표현이나 추정된 실수 스펙트럼 영역 표현을 사용하여 대역별 가중치를 추정하도록 구성되는, 다운믹서.
7. 앞선 예 중 하나에 있어서,
가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 대역에 대한 제1 가중치를 계산하도록 구성되고,
가중치 추정기(100)는, 적어도 2개의 채널 중 제2 채널의 대역에 대한 제2 가중치를 계산하도록 구성되며,
가중치 추정기(100)는, 대역에서의 제1 채널의 에너지, 대역에서의 제2 채널의 에너지, 및 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적(product)이나 선형 결합에 의존한 믹싱된 텀(mixed term)을 사용하여 제1 가중치와 제2 가중치를 계산하도록 구성되는, 다운믹서.
8. 앞선 예 중 하나에 있어서,
가중치 추정기(100)는, 선형 결합을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널의 스펙트럼 영역 표현으로부터 대역에서 서로 가산되는 스펙트럼 값의 에너지의 제곱근을 계산 - 대역은 다수의 스펙트럼 값을 포함함 - 하거나, 적을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널 중 제1 채널의 대역에서의 스펙트럼 값과 제2 채널의 대역에서의 스펙트럼 값 사이의 복소점 적의 절대값을 계산하도록 구성되는, 다운믹서.
9. 앞선 예 중 하나에 있어서,
적어도 2개의 다수의 채널 중 제1 및 제2 채널의 각각의 대역은 다수의 스펙트럼 값을 가지며, 스펙트럼 가중기(200)는, 적어도 2개의 채널 중 하나의 채널의 대역에서의 각각의 스펙트럼 값에 동일한 가중치를 적용하며, 적어도 2개의 채널 중 다른 하나의 채널의 대역에서의 각각의 스펙트럼 값에 다른 가중치를 적용하도록 구성되는, 다운믹서.
10. 앞선 예 중 하나에 있어서,
가중된 스펙트럼 영역 표현은 MDCT(Modified Discrete Cosine Transform) 스펙트럼이며,
변환기(300)는, 다수의 채널의 각 채널에 대해, 합성 윈도우잉 동작과 중첩-가산 동작을 사용하여 역방향 MDCT 변환을 실행하도록 구성되는, 다운믹서.
11. 앞선 예 중 하나에 있어서,
믹서(400)는, 적어도 2개의 채널의 시간 표현의 샘플 단위의 가산을 적용하도록 구성되거나,
믹서(400)는, 적어도 2개의 채널의 시간 표현의 샘플 단위의 가산과, 샘플 단위의 가산의 결과에 적용되거나 샘플 단위의 가산에의 입력에 적용되는 스케일링 동작을 적용하도록 구성되는, 다운믹서.
12. 앞선 예 중 하나에 있어서,
변환기(300)는, 스펙트럼-시간 알고리즘을 사용하여 미처리(raw) 시간 표현을 생성하며(310),
채널에 대해 별도의 제어 정보를 사용하여, 믹서(400)에 의한 믹싱 전 신호 처리 방향으로, 미처리 시간 표현을 개별적으로 후-처리(320)하여, 시간 표현을 얻도록 구성되는, 다운믹서.
13. 예 12에 있어서,
변환기(300)는, 후-처리(320)로서, 각 시간 표현에 대해 개별적으로 베이스 후-필터링, TCX-LTP(Transform Coded Excitation Long Term Prediction) 처리 또는 LPC(Linear Prediction Coding) 합성을 실행하도록 구성되는, 다운믹서.
14. 앞선 예 중 하나에 있어서,
적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간이나 주파수 분해능을 가지고,
적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간이나 주파수 분해능을 가지며, 제2 시간이나 주파수 분해능은 제1 시간이나 주파수 분해능과 상이하며,
가중치 추정기(100)는 대역별 가중치를 계산하도록 구성되어, 대역별 가중치와 관련된 대역의 주파수 분해능은 제1 주파수 분해능과 제2 주파수 분해능보다 작거나, 제1 및 제2 주파수 분해능 중 더 저 주파수 분해능과 같은, 다운믹서.
15. 앞선 예 중 하나에 있어서,
제1 스펙트럼 영역 표현은 대역에서 제1 다수의 스펙트럼 값을 가지고,
제2 스펙트럼 영역 표현은 대역에서 제2 다수의 스펙트럼 값을 가지며, 제2 다수의 스펙트럼 값은 제1 다수의 스펙트럼 값보다 크며,
가중치 추정기(100)는,
제2 다수의 스펙트럼 값 중 2개 이상의 스펙트럼 값을 결합하거나 제2 다수의 스펙트럼 값으로부터 스펙트럼 값의 서브세트를 선택하고,
2개 이상의 스펙트럼 값을 결합한 결과를 사용하거나 스펙트럼 값의 서브세트를 사용하여 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적이나 선형 결합에 의존하여 믹싱된 텀을 계산하며,
믹싱된 텀을 사용하여 대역별 가중치를 계산하도록 구성되는, 다운믹서.
16. 앞선 예 중 하나에 있어서,
제1 스펙트럼 영역 표현은, 제1 시간 빈 크기와 제1 주파수 빈 크기를 나타내는 제1 다수의 스펙트럼 값을 포함하고,
제2 스펙트럼 영역 표현은, 제2 시간 빈 크기와 제2 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하고,
제1 시간 빈 크기는 제2 시간 빈 크기보다 크거나, 제1 주파수 빈 크기는 제2 주파수 빈 크기보다 작으며,
가중치 추정기(100)는, 제1 스펙트럼 영역 표현으로부터의 다수의 스펙트럼 값을 결합하여 제1 결합된 스펙트럼 영역 표현 - 결합된 주파수 빈 크기는 제2 주파수 빈 크기와 같음 - 을 얻거나, 제2 스펙트럼 영역 표현으로부터의 다수의 스펙트럼 값을 결합하여 제1 결합된 스펙트럼 영역 표현 - 결합된 시간 빈 크기는 제1 시간 빈 크기와 같음 - 을 얻도록 구성되는, 다운믹서.
17. 예 16에 있어서,
가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널 및 제2 채널에 대한 대역별 가중치의 계산을 위해 제1 결합된 스펙트럼 표현이나 제2 결합된 스펙트럼 영역 표현을 사용하도록 구성되며, 계산은 대역에서의 믹싱된 텀의 계산과 대역에서의 에너지의 계산을 포함하며,
스펙트럼 가중기(200)는, 적어도 2개의 채널 중 제1 채널에 대한 대역별 가중치를 대응 대역에서의 제1 스펙트럼 영역 표현의 스펙트럼 값에 적용하며, 적어도 2개의 채널 중 제2 채널에 대한 대역별 가중치를 대응 대역에서의 제2 스펙트럼 영역 표현의 스펙트럼 값에 적용하도록 구성되는, 다운믹서.
18. 예 1 내지 예 15 중 하나에 있어서,
제1 채널의 제1 스펙트럼 영역 표현은, 제1 시간 빈 크기와 제1 주파수 빈 크기를 나타내는 제1 다수의 스펙트럼 값을 포함하고,
제2 채널의 제2 스펙트럼 영역 표현은 적어도 2개의 서브프레임을 포함하며, 각 서브프레임은 제2 시간 빈 크기와 제2 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하고,
제1 시간 빈 크기는 제2 시간 빈 크기보다 크거나, 제1 주파수 빈 크기는 제2 주파수 빈 크기보다 작으며,
가중치 추정기(100)는,
제1 방식에서 제2 스펙트럼 영역 표현의 각 서브프레임으로부터의 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제1 그룹의 결합된 스펙트럼 값을 얻으며,
제2 방식에서 제2 스펙트럼 영역 표현의 각 서브프레임으로부터의 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제2 그룹의 결합된 스펙트럼 값을 얻고, 제2 방식은 제1 방식과 상이하고 - 제1 그룹의 결합된 스펙트럼 값과 제2 그룹의 결합된 스펙트럼 값은 제1 시간 빈 크기와 제1 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타냄 -
대역별 가중치의 계산을 위해 결합된 스펙트럼 영역 표현 및 제1 스펙트럼 영역 표현의 스펙트럼 값을 사용하도록 구성되는, 다운믹서.
19. 예 18에 있어서,
가중치 추정기(100)는, 제1 방식에서 가산 및 감산 중 하나를 실행하며, 제2 방식에서 가산 및 감산 중 다른 하나를 실행하도록 구성되는, 다운믹서.
20. 예 18 또는 예 19에 있어서,
가중치 추정기(100)는 제1 방식 및 제2 방식에서 평균화 기능을 실행하도록 구성되는, 다운믹서.
21. 예 18 내지 예 20 중 하나에 있어서,
가중치 추정기(100)는, 가중 부호를 사용한 가중을 포함하는 제1 방식 또는 제2 방식 중 어느 하나를 적용하도록 구성되며, 가중치 추정기(100)는 동일한 주파수 빈의 주파수 빈 번호에 따라 가중 부호를 설정하도록 구성되는, 다운믹서.
21. 예 18 내지 예 21 중 어느 하나에 있어서,
가중치 추정기(100)는, 제1 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 하나를 적용하며, 제2 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 다른 하나를 적용하도록 구성되는, 다운믹서.
22. 예 18 내지 예 22 중 하나에 있어서,
가중치 추정기(100)는 더 저 분해능 빈을 2개의 더 고 분해능 빈으로 변환하도록 구성되며, 제1 방식은 2개의 더 고 분해능 빈 중 제1 더 고 분해능 빈의 짝수 빈 번호에 사용되며, 제2 방식은 2개의 더 고 분해능 빈 중 제2 더 고 분해능 빈의 홀수 빈 번호에 사용되는, 다운믹서.
23. 예 18 내지 예 22 중 하나에 있어서,
제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 2개의 TCX10 서브프레임을 포함하며, 가중치 추정기(100)는 2개의 TCX10 서브프레임으로부터 결합된 TCX20 스펙트럼 영역 표현을 계산하도록 구성되거나,
제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 TCX10 서브프레임과 2개의 TCX5 서브프레임을 포함하며, 가중치 추정기(100)는 2개의 TCX5 서브프레임으로부터 제1 결합된 TCX10 스펙트럼 영역 표현을 계산하며 제1 결합된 TCX10 스펙트럼 영역 표현과 TCX10 서브프레임으로부터 제2 결합된 TCX20 서브프레임을 계산하도록 구성되거나,
제1 채널의 제1 스펙트럼 영역 표현은 TCX10 서브프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 2개의 TCX5 서브프레임을 포함하며, 가중치 추정기(100)는 2개의 TCX5 서브프레임으로부터 결합된 TCX10 스펙트럼 영역 표현을 계산하도록 구성되며,
표현 TCX20은 제1 시간 길이를 갖는 제1 부분을 나타내고, 표현 TCX10은 제2 시간 길이를 갖는 제2 부분을 나타내고, 표현 TCX5는 제3 시간 길이를 갖는 제3 부분을 나타내며, 제1 시간 길이는 제2 시간 길이나 제3 시간 길이보다 길거나, 제2 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 길며, 제3 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 짧은, 다운믹서.
24. 예 18 내지 예 23 중 하나에 있어서,
가중치 추정기(100)는 다음의 수학식을 기초로 하여 제1 방식을 적용하도록 구성되거나,
Figure pct00015
가중치 추정기(100)는 다음의 수학식을 기초로 하여 제2 방식을 적용하도록 구성되며,
Figure pct00016
i는 스펙트럼 빈 번호를 명시하고, k0 및 k1은 제2 채널의 제2 스펙트럼 영역 표현의 서브프레임을 명시하며,
Figure pct00017
및
Figure pct00018
는 결합된 스펙트럼 영역 표현의 스펙트럼 값을 나타내고,
Figure pct00019
및
Figure pct00020
는 각각 제1 서브프레임(k0) 및 제2 서브프레임(k1)으로부터의 스펙트럼 값을 나타내는, 다운믹서.
25. 예 1에 있어서,
적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간 분해능 또는 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간 분해능 또는 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고, 제2 주파수 분해능은 제1 주파수 분해능과 상이하고,
가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제2 시간 분해능이나 제2 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며, 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(132) 구성되거나, 제2 스펙트럼 영역 표현을 제1 시간 분해능이나 제1 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며, 결합된 스펙트럼 영역 표현과 제1 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되거나,
적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현이 제1 시간 분해능이나 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현이 제2 시간 분해능이나 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하거나 제2 주파수 분해능은 제1 주파수 분해능과 상이하며,
가중치 추정기(100)는
제1 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고(132) - 제3 시간 분해능은 제1 시간 분해능이나 제2 시간 분해능과 상이하며, 제3 주파수 분해능은 제1 주파수 분해능이나 제2 주파수 분해능과 상이함 - ,
제2 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하고(132),
제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되는, 다운믹서.
26. 예 25에 있어서,
제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
가중치 추정기(100)는, 2개 이상의 제1 스펙트럼 영역 표현을, 제2 스펙트럼 영역 표현과 동일한 시간 및 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며, 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되며,
스펙트럼 가중기(200)는, 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하며, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
27. 예 26에 있어서,
가중치 추정기(100)는, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수에 대해 스펙트럼 값을 가산하여 결합된 스펙트럼 영역 표현의 제1 스펙트럼 값을 얻으며, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수에 대해 스펙트럼 값을 감산하여 결합된 스펙트럼 영역 표현의 제2 스펙트럼 값을 얻도록 구성되며, 결합된 스펙트럼 영역 표현의 제2 스펙트럼 값은 결합된 스펙트럼 영역 표현의 제1 스펙트럼 값보다 크며 주파수가 인접해 있고,
스펙트럼 가중기(200)는, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현에서 동일한 주파수를 갖는 대역을 가중하도록 구성되는, 다운믹서.
28. 예 25에 있어서,
제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
가중치 추정기(100)는,
제2 스펙트럼 영역 표현을 2개 이상의 제1 스펙트럼 영역 표현과 동일한 시간 및 주파수 분해능을 갖는 2개 이상의 결합된 스펙트럼 영역 표현으로 변환하고,
2개 이상의 결합된 스펙트럼 영역 표현 중 제1 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 사용하여 제1 대역별 가중치를 계산하고,
2개 이상의 결합된 스펙트럼 영역 표현 중 제2 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 사용하여 제2 대역별 가중치를 계산하도록 구성되며,
스펙트럼 가중기(200)는,
제1 및 제2 대역별 가중치로부터 유도한 유도된 대역별 가중치를 사용하여(136) 제2 스펙트럼 영역 표현을 가중하고,
제1 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 가중하며,
제2 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
29. 예 28에 있어서,
가중치 추정기(100)는, 제2 스펙트럼 영역 표현의 주파수 쌍에 대한 스펙트럼 값을 가산하여 가산된 스펙트럼 값을 얻으며, 가산된 스펙트럼 값에 복제하여 2개 이상의 결합된 스펙트럼 영역 표현 각각에 대해 결합된 스펙트럼 값을 얻도록 구성되며,
스펙트럼 가중기(200)는, 제1 대역별 가중치의 특정 대역에 대한 가중치를 제2 대역별 가중치의 특정 대역에 대한 가중치와 결합하여(136) 유도한 대역별 가중치의 특정 대역에 대해 유도한 가중치를 얻도록 구성되는, 다운믹서.
30. 예 25에 있어서,
제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
가중치 추정기(100)는,
제2 스펙트럼 영역 표현을, 2개 이상의 제1 스펙트럼 영역 표현과 동일한 시간 분해능을 가지며 제2 스펙트럼 영역 표현과 동일한 주파수 분해능을 갖는 2개 이상의 결합된 스펙트럼 영역 표현으로 변환하고,
2개 이상의 결합된 스펙트럼 영역 표현 중 제1 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 사용하여 제1 대역별 가중치를 계산하고,
2개 이상의 결합된 스펙트럼 영역 표현 중 제2 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 사용하여 제2 대역별 가중치를 계산하도록 구성되며,
스펙트럼 가중기(200)는,
제1 및 제2 대역별 가중치로부터 유도한 대역별 가중치를 사용하여(136) 제2 스펙트럼 영역 표현을 가중하고,
제1 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 가중하며,
제2 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
31. 예 30에 있어서,
가중치 추정기(100)는, 하나 이상의 스펙트럼 값을 업샘플링하여 제2 스펙트럼 영역 표현의 인접한 주파수에 대한 업샘플링된 스펙트럼 값을 얻으며, 업샘플링된 스펙트럼 값에 복제하여 2개 이상의 결합된 스펙트럼 영역 표현 각각에 대해 결합된 스펙트럼 값을 얻도록 구성되며,
스펙트럼 가중기(200)는, 제1 대역별 가중치의 특정 대역에 대한 가중치를 제2 대역별 가중치의 특정 대역에 대한 가중치와 결합하여(136) 유도한 대역별 가중치의 특정 대역에 대해 유도한 가중치를 얻도록 구성되는, 다운믹서.
32. 예 25에 있어서,
제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
가중치 추정기(100)는,
2개 이상의 제1 스펙트럼 영역 표현을 제2 스펙트럼 영역 표현과 동일한 시간 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고,
제2 스펙트럼 영역 표현을, 2개 이상의 제1 스펙트럼 영역 표현과 동일한 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하며,
제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되며,
스펙트럼 가중기(200)는, 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하고, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
33. 예 32에 있어서,
가중치 추정기(100)는, 제2 스펙트럼 영역 표현의 주파수 쌍에 대한 스펙트럼 값을 가산하여 제2 결합된 스펙트럼 영역 표현을 얻으며, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수의 스펙트럼 값을 가산하여 제1 결합된 스펙트럼 영역 표현을 얻도록 구성되며,
스펙트럼 가중기(200)는, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현에서 동일한 주파수를 갖는 대역을 가중하도록 구성되는, 다운믹서.
34. 앞선 예 중 하나에 있어서,
가중치 추정기(100)는, 제1 채널의 제1 스펙트럼 영역 표현의 스펙트럼 값, 제2 채널의 제2 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현이나 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 단일 결합된 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제1 결합된 스펙트럼 영역 표현의 스펙트럼 값, 및 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제2 결합된 스펙트럼 영역 표현의 스펙트럼 값 중 적어도 2개의 스펙트럼 값에 의존하는 제1 계산 규칙을 사용하여 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하도록 구성되며,
가중치 추정기(100)는, 다수의 제1 대역별 가중치, 제1 채널의 제1 스펙트럼 영역 표현의 스펙트럼 값, 제2 채널의 제2 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현이나 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 단일 결합된 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제1 결합된 스펙트럼 영역 표현의 스펙트럼 값, 및 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제2 결합된 스펙트럼 영역 표현의 스펙트럼 값 중 적어도 2개의 스펙트럼 값에 의존하는, 제1 계산 규칙과는 상이한, 제2 계산 규칙을 사용하여 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하도록 구성되는, 다운믹서.
35. 적어도 2개의 서브프레임을 포함하는 채널의 스펙트럼 영역 표현의 스펙트럼 분해능을 변환하기 위한 장치로서, 각 서브프레임은 시간 빈 크기와 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하며, 상기 장치는,
제1 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여(170) 제1 그룹의 결합된 스펙트럼 값을 얻으며, 제2 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여(180) 제2 그룹의 결합된 스펙트럼 값을 얻기 위한 스펙트럼 값 계산기(160)를 포함하며, 제2 방식은 제1 방식과 상이하며, 제1 그룹의 결합된 스펙트럼 값과 제2 그룹의 결합된 스펙트럼 값은 상이한 시간 빈 크기와 상이한 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타내는, 변환 장치.
36. 예 35에 있어서,
스펙트럼 값 계산기(160)는, 제1 방식에서 가산 및 감산 중 하나를 실행하며, 제2 방식에서 가산 및 감산 중 다른 하나를 실행하도록 구성되는, 변환 장치.
37. 예 35 또는 예 36에 있어서,
스펙트럼 값 계산기(160)는 제1 방식과 제2 방식에서 평균화 기능을 실행하도록 구성되는, 변환 장치.
38. 예 35 내지 예 37 중 하나에 있어서,
스펙트럼 값 계산기(160)는, 가중 부호를 사용한 가중을 포함하는 제1 방식 또는 제2 방식 중 어느 하나를 적용하도록 구성되며, 스펙트럼 값 계산기(160)는 동일한 주파수 빈의 주파수 빈 번호에 따라 가중 부호를 설정하도록 구성되는, 변환 장치.
39. 예 35 내지 예 38 중 하나에 있어서,
스펙트럼 값 계산기(160)는, 제1 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 하나를 적용하며, 제2 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 다른 하나를 적용하도록 구성되는, 변환 장치.
40. 예 35 내지 예 39 중 하나에 있어서,
스펙트럼 값 계산기(160)는 더 저 분해능 빈을 2개의 더 고 분해능 빈으로 변환하도록 구성되며, 제1 방식은 짝수 빈 번호에 사용되며 제2 방식은 홀수 빈 번호에 사용되는, 변환 장치.
41. 예 35 내지 예 40 중 하나에 있어서,
제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 채널의 스펙트럼 영역 표현은 2개의 TCX10 서브프레임을 포함하며, 스펙트럼 값 계산기는 2개의 TCX10 서브프레임으로부터 결합된 TCX20 스펙트럼 영역 표현을 계산하도록 구성되거나,
제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 채널의 스펙트럼 영역 표현은 TCX10 서브프레임과 2개의 TCX5 서브프레임을 포함하며, 스펙트럼 값 계산기(160)는 2개의 TCX5 서브프레임으로부터 제1 결합된 TCX10 스펙트럼 영역 표현을 계산하며 제1 결합된 TCX10 스펙트럼 영역 표현과 TCX10 서브프레임으로부터 제2 결합된 TCX20 서브프레임을 계산하도록 구성되거나,
제1 채널의 제1 스펙트럼 영역 표현은 TCX10 서브프레임을 포함하고, 채널의 스펙트럼 영역 표현은 2개의 TCX5 서브프레임을 포함하며, 스펙트럼 값 계산기(160)는 2개의 TCX5 서브프레임으로부터 결합된 TCX10 스펙트럼 영역 표현을 계산하도록 구성되며,
표현 TCX20은 제1 시간 길이를 갖는 제1 부분을 나타내고, 표현 TCX10은 제2 시간 길이를 갖는 제2 부분을 나타내고, 표현 TCX5는 제3 시간 길이를 갖는 제3 부분을 나타내며, 제1 시간 길이는 제2 시간 길이나 제3 시간 길이보다 길거나, 제2 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 길며, 제3 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 짧은, 변환 장치.
42. 예 35 내지 예 41 중 하나에 있어서,
스펙트럼 값 계산기(160)는 다음의 수학식을 기초로 하여 제1 방식을 적용하도록 구성되거나,
Figure pct00021
스펙트럼 값 계산기는 다음의 수학식을 기초로 하여 제2 방식을 적용하도록 구성되며,
Figure pct00022
i는 스펙트럼 빈 번호를 명시하고, k0 및 k1은 채널의 스펙트럼 영역 표현의 서브프레임을 명시하며,
Figure pct00023
및
Figure pct00024
는 결합된 스펙트럼 영역 표현의 스펙트럼 값을 나타내고,
Figure pct00025
및
Figure pct00026
는 각각 제1 서브프레임(k0) 및 제2 서브프레임(k1)으로부터의 스펙트럼 값을 나타내는, 변환 장치.
43. 예 35 내지 예 42 중 하나에 있어서,
인코딩된 또는 디코딩된 또는 처리된 오디오 신호의 계산에서 상이한 시간 빈 크기와 상이한 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 사용하기 위한 신호 계산기(500, 190, 220)를 더 포함하는, 변환 장치.
44. 예 35 내지 예 43 중 하나에 있어서,
스펙트럼 값 계산기(160)는 제1 스펙트럼 분해능을 갖는 스펙트럼 영역 표현을 수신하고, 제1 스펙트럼 분해능과 상이한 제2 스펙트럼 분해능을 갖는 변환된 스펙트럼 영역 표현을 생성하도록 구성되며,
변환 장치는,
변환된 스펙트럼 영역 표현을 처리하여 제2 분해능을 갖는 처리된 스펙트럼 영역 표현을 얻기 위한 제1 스펙트럼 처리기(500) 또는
변환된 스펙트럼 영역 표현으로부터 처리 데이터를 계산하기 위한 처리 데이터 계산기(190), 및 스펙트럼 영역 표현을 처리하여 제1 분해능을 갖는 처리된 스펙트럼 영역 표현을 얻기 위한 제2 스펙트럼 처리기(220)를 더 포함하는, 변환 장치.
45. 예 44에 있어서,
제1 스펙트럼 처리기(500)는, 처리 시, 제2 스펙트럼 분해능을 갖는 추가 스펙트럼 영역 표현을 사용하도록 구성되거나,
제2 스펙트럼 처리기(220)는, 처리 시, 제1 스펙트럼 분해능을 갖는 추가 스펙트럼 영역 표현을 사용하도록 구성되는, 변환 장치.
46. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서,
적어도 2개의 채널에 대한 대역별 가중치를 추정하기 위한 가중치 추정기(100)로서, 가중치 추정기(100)는 대역 당 타겟 에너지 값을 기초로 하여 대역별 가중치를 계산하도록 구성되어, 다운믹스 신호의 대역에서의 에너지는 적어도 2개의 채널의 동일 대역에서의 에너지에 미리 결정된 관계에 있는, 가중치 추정기(100);
대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하여 가중된 스펙트럼 영역 표현을 얻기 위한 스펙트럼 가중기(200); 및
적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 다운믹스 신호를 계산하기 위한 믹서(400)를 포함하는, 다운믹서.
47. 예 46에 있어서,
스펙트럼 영역 표현은 순전히 실수이거나 순전히 허수 중 어느 하나이며,
가중치 추정기(100)는, 스펙트럼 영역 표현이 순전히 실수일 때 허수 스펙트럼 영역 표현을 추정하거나(140), 스펙트럼 영역 표현이 순전히 허수일 때 실수 스펙트럼 영역 표현을 추정하도록(140) 구성되며,
가중치 추정기(100)는, 추정된 허수 스펙트럼 영역 표현이나 추정된 실수 스펙트럼 영역 표현을 사용하여 대역별 가중치를 추정하도록 구성되는, 다운믹서.
48. 예 46 또는 예 47에 있어서,
가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 대역에 대한 제1 가중치를 계산하고, 적어도 2개의 채널 중 제2 채널의 대역에 대한 제2 가중치를 계산하며, 대역에서의 제1 채널의 에너지, 대역에서의 제2 채널의 에너지, 및 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적(148)이나 선형 결합(146)에 의존한 믹싱된 텀을 사용하여(142) 제1 가중치와 제2 가중치를 계산하도록 구성되는, 다운믹서.
49. 예 46 내지 예 48 중 하나에 있어서,
가중치 추정기(100)는, 선형 결합(146)을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널의 스펙트럼 영역 표현으로부터 대역에서 서로 가산되는 스펙트럼 값의 에너지의 제곱근을 계산 - 대역은 다수의 스펙트럼 값을 포함함 - 하거나, 적(148)을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널 중 제1 채널의 대역에서의 스펙트럼 값과 제2 채널의 대역에서의 스펙트럼 값 사이의 복소점 적의 절대값을 계산하도록 구성되는, 다운믹서.
50. 예 46 내지 예 49 중 하나에 있어서,
적어도 2개의 채널 중 제1 및 제2 채널의 각각의 대역은 다수의 스펙트럼 값을 가지며, 스펙트럼 가중기(200)는, 적어도 2개의 채널 중 하나의 채널의 대역에서의 각각의 스펙트럼 값에 동일한 가중치를 적용하며, 적어도 2개의 채널 중 다른 하나의 채널의 대역에서의 각각의 스펙트럼 값에 다른 가중치를 적용하도록 구성되는, 다운믹서.
51. 예 46 내지 예 50 중 하나에 있어서,
가중치 추정기(100)는 다음의 수학식을 기초로 하여 적어도 2개의 채널 중 제1 채널에 대해 대역별 가중치를 계산(150)하도록 구성되며,
Figure pct00027
wR은 대역에 대한 제1 채널에 대한 가중 인자이고,
Figure pct00028
는 제2 채널에 대한 추정된 파워이며,
Figure pct00029
는 대역에서의 제1 채널에 대한 추정된 파워이며,
Figure pct00030
는 대역에서의 채널 사이의 추정된 점 적이며,
Figure pct00031
는 대역에서의 제2 채널에 대한 추정된 진폭이며,
Figure pct00032
은 대역에서의 제1 채널에 대한 추정된 진폭인, 다운믹서.
52. 예 51에 있어서,
가중치 추정기(100)는 다음의 수학식을 기초로 하여 적어도 2개의 채널 중 제2 채널에 대한 대역별 가중치를 계산하도록(152) 구성되며,
Figure pct00033
wL은 대역에 대한 제2 채널에 대한 가중 인자이고,
Figure pct00034
은 대역에서의 제1 채널 및 제2 채널에 대한 추정된 진폭의 추정된 선형 결합인, 다운믹서.
53. 예 50 내지 예 52 중 하나에 있어서,
가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제2 채널에 대한 추정된 진폭을 계산하고, 대역에서의 제1 채널에 대한 추정된 진폭을 계산하도록(144) 구성되거나,
Figure pct00035
가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제1 채널 및 제2 채널에 대한 추정된 진폭의 추정된 선형 결합을 계산하도록(146) 구성되거나,
Figure pct00036
가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 채널 사이의 추정된 점 적을 계산하도록(148) 구성되거나,
Figure pct00037
가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제2 채널에 대한 추정된 파워를 계산하거나 대역에서 제1 채널에 대한 추정된 파워를 계산하도록(142) 구성되며,
Figure pct00038
i는 스펙트럼 대역 b 내의 빈 번호를 명시하며, MDSTi는 MDCT 빈 i의 추정된 허수부를 나타내고, MDCTi는, 제1 또는 제2 채널의 스펙트럼 영역 표현에 포함되는 MDCT 빈 i의 실수부를 나타내며, r은 제1 채널을 나타내며, l은 제2 채널을 나타내는, 다운믹서.
54. 예 46 내지 예 53 중 하나에 있어서,
적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간 분해능 또는 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간 분해능 또는 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고, 제2 주파수 분해능은 제1 주파수 분해능과 상이하며(130),
가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제2 시간 분해능이나 제2 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며(132), 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되거나, 제2 스펙트럼 영역 표현을 제1 시간 분해능이나 제1 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며(132), 결합된 스펙트럼 영역 표현과 제1 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되거나,
적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현이 제1 시간 분해능이나 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현이 제2 시간 분해능이나 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고 제2 주파수 분해능은 제1 주파수 분해능과 상이하며(130),
가중치 추정기(100)는
제1 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고(132) - 제3 시간 분해능은 제1 시간 분해능이나 제2 시간 분해능과 상이하며, 제3 주파수 분해능은 제1 주파수 분해능이나 제2 주파수 분해능과 상이함 - ,
제2 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하고(132),
제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되는, 다운믹서.
55. 예 54에 있어서,
스펙트럼 가중기(200)는, 적어도 2개의 채널의 스펙트럼 영역 표현으로서, 결합된 스펙트럼 영역 표현 및 제2 스펙트럼 영역 표현, 결합된 스펙트럼 영역 표현 및 제1 스펙트럼 영역 표현, 및 제1 결합된 스펙트럼 영역 표현 및 제2 결합된 스펙트럼 영역 표현 중 하나를 가중하여 제1 가중된 스펙트럼 영역 표현과 제2 가중된 스펙트럼 영역 표현을 얻도록 구성되는, 다운믹서.
56. 예 55에 있어서,
믹서(400)는, 제1 및 제2 가중된 스펙트럼 영역 표현을 가산하여 스펙트럼 영역 다운믹스 표현을 얻고, 시간 영역에서 스펙트럼 영역 다운믹스 표현을 변환하여 다운믹스 신호를 얻거나, 제1 및 제2 가중된 스펙트럼 영역 표현을 시간 영역으로 변환하여 적어도 2개의 채널의 시간 표현을 얻고, 적어도 2개의 채널의 시간 표현을 가산하여 다운믹스 신호를 얻도록 구성되는, 다운믹서.
57. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 방법으로서,
적어도 2개의 채널을 위한 대역별 가중치를 추정하는 단계;
대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하는 단계;
적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하는 단계; 및
적어도 2개의 채널의 시간 표현을 믹싱하여 다운믹스 신호를 얻는 단계를 포함하는, 방법.
58. 적어도 2개의 서브프레임을 포함하는 채널의 스펙트럼 영역 표현의 스펙트럼 분해능을 변환하기 위한 방법으로서, 각각의 서브프레임은 시간 빈 크기와 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하며, 상기 방법은,
제1 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제1 그룹의 결합된 스펙트럼 값을 얻는 단계; 및
제2 방식에서 스펙트럼 영역 표현의 각 서브프레임으로부터 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제2 그룹의 결합된 스펙트럼 값을 얻는 단계를 포함하며, 제2 방식은 제1 방식과 상이하고, 제1 그룹의 결합된 스펙트럼 값과 제2 그룹의 결합된 스펙트럼 값은 상이한 시간 빈 크기와 상이한 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타내는, 방법.
59. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하는 방법으로서,
적어도 2개의 채널에 대한 대역별 가중치를 추정하는 단계로서, 대역 당 타겟 에너지 값을 기초로 하여 대역별 가중치를 계산하는 단계를 포함하여, 다운믹스 신호의 대역에서의 에너지가 적어도 2개의 채널의 동일 대역에서의 에너지에 미리 결정된 관계에 있게 하는, 추정 단계;
대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하여 가중된 스펙트럼 영역 표현을 얻는 단계;
적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 다운믹스 신호를 계산하는 단계를 포함하는, 방법.
60. 컴퓨터나 처리기를 실행시킬 때, 예 57 또는 예 58 또는 예 59의 방법을 실행하기 위한 컴퓨터 프로그램.
앞서 논의한 모든 대안이나 양상과 다음의 청구범위에서 독립항에 의해 규정되는 모든 양상은 개별적으로, 즉 상정되는 대안, 목적 또는 독립항이 아닌 임의의 다른 대안이나 목적 없이 사용될 수 있음을 여기서 언급해 둔다. 그러나 다른 실시예에서, 2개 이상의 대안이나 양상이나 독립항은 서로 결합될 수 있으며, 다른 실시예에서, 모든 양상 또는 대안과 모든 독립항은 서로 결합될 수 있다.
본 발명에 의해 인코딩된 오디오 신호는 디지털 저장 매체나 비일시적 저장 매체에 저장될 수 있거나, 무선 송신 매체나 인터넷과 같은 유선 송신 매체와 같은 송신 매체에서 송신될 수 있다.
일부 양상이 장치의 환경에서 기재되었을지라도, 이들 양상은 대응하는 방법의 기재를 또한 나타내며, 여기서 블록이나 디바이스는 방법 단계 또는 방법 단계의 특성에 대응한다. 유사하게, 방법 단계의 환경에서 기재한 양상은 또한 대응하는 장치의 대응하는 블록이나 항목이나 특성의 기재를 나타낸다.
특정 구현 요건에 의존하여, 본 발명의 실시예는 하드웨어나 소프트웨어로 구현될 수 있다. 이 구현은, 예컨대 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 실행될 수 있으며, 이러한 저장 매체는, 각 방법이 실행되도록 프로그램 가능한 컴퓨터 시스템과 협력하는(또는 협력할 수 있는) 전자적 판독 가능 제어 신호를 그 내부에 저장하고 있다.
본 발명에 따른 일부 실시예는, 여기서 기재한 방법 중 하나가 실행되도록, 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적 판독 가능 제어 신호를 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 프로그램 코드를 가진 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는, 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 방법 중 하나를 실행하기 위해 동작 가능하다. 프로그램 코드는 예컨대 기계 판독 가능 캐리어에 저장될 수 있다.
다른 실시예는, 여기서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램 - 기계 판독 가능 캐리어나 비일시적 저장 매체에 저장됨 - 을 포함한다.
다시 말해, 본 발명의 방법의 실시예는 그러므로, 컴퓨터 프로그램이 컴퓨터에서 실행될 때, 여기서 기재한 방법 중 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 추가 실시예는, 그러므로, 여기서 기재한 방법 중 하나를 실행하기 위해 컴퓨터 프로그램을 그 내부에 기록하여 포함하는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다.
본 발명의 방법의 추가 실시예는, 그러므로, 여기서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림이나 신호 시퀀스이다. 데이터 스트림이나 신호 시퀀스는 예컨대 인터넷을 통해서와 같은 데이터 통신 연결을 통해서 예컨대 전송되도록 구성될 수 도 있다.
추가 실시예는, 여기서 기재한 방법 중 하나를 실행하도록 구성되거나 그렇게 하도록 되어 있는, 예컨대 컴퓨터와 같은 처리 수단이나 프로그램 가능 로직 디바이스를 포함한다.
추가 실시예는, 여기서 기재한 방법 중 하나를 실행하기 위한 컴퓨터 프로그램을 그 내부에 설치한 컴퓨터를 포함한다.
일부 실시예에서, 프로그램 가능한 로직 디바이스(예컨대, 필드 프로그램 가능한 게이터 어레이)는 여기서 기재한 방법의 기능 중 일부나 모두를 실행하는데 사용될 수 도 있다. 일부 실시예에서, 필드 프로그램 가능한 게이트 어레이는 여기서 기재한 방법 중 하나를 실행하기 위해 마이크로프로세서와 협력할 수 도 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 실행된다.
앞서 기재한 실시예는 본 발명의 원리를 단지 예시한다. 여기서 기재한 배열과 상세의 변경과 수정은 당업자에게 자명할 것임을 이해해야 한다. 그러므로, 독립항의 범위에 의해서만 제한되고자 하며, 여기서 기재한 실시예의 설명과 기재에 의해 제공되는 특정 상세에 의해서는 제한되지 않고자 한다.
인용문헌
Figure pct00039

Claims (49)

  1. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서,
    적어도 2개의 채널에 대해 대역별 가중치를 추정하기 위한 가중치 추정기(100);
    대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하기 위한 스펙트럼 가중기(200);
    적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하기 위한 변환기(300); 및
    적어도 2개의 채널의 시간 표현을 믹싱하여 다운믹스 신호를 얻기 위한 믹서(400)를 포함하는, 다운믹서.
  2. 청구항 1에 있어서,
    상기 가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하며, 적어도 2개의 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하도록 구성되거나,
    다채널 신호는 2개보다 많은 채널을 가지며, 상기 가중치 추정기(100)는 2개보다 많은 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하고, 2개보다 많은 채널 중 제2 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하며, 2개보다 많은 채널 중 추가의 채널의 다수의 대역에 대한 추가 다수의 대역별 가중치를 계산하도록 구성되는, 다운믹서.
  3. 청구항 1 또는 청구항 2에 있어서,
    적어도 2개의 채널의 스펙트럼 영역 표현은 각각 주파수 빈 세트를 포함하며, 스펙트럼 값은 주파수 빈과 관련되고,
    상기 가중치 추정기(100)는 대역에 대해 대역별 가중치를 계산하도록 구성되며, 각 대역은 1개, 2개 또는 그 이상의 주파수 빈을 포함하거나,
    대역 당 주파수 빈의 개수는 더 고 중심 주파수를 갖는 대역일수록 증가하는, 다운믹서.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 대역 당 타겟 에너지 값을 기초로 대역별 가중치를 계산하도록 구성되어, 다운믹스 신호의 대역에서의 에너지는 적어도 2개의 채널의 동일 대역에서의 에너지와 미리 결정된 관계에 있는, 다운믹서.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    인코딩된 신호를 디코딩하기 위한 코어 디코더(500)를 더 포함하며, 인코딩된 신호는 적어도 2개의 원래의 채널의 인코딩된 스펙트럼 영역 표현을 가지며, 상기 코어 디코더는, 인코딩된 스펙트럼 영역 표현으로부터 스펙트럼 영역 표현을 생성하도록 구성되는, 다운믹서.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    스펙트럼 영역 표현은 순전히 실수이거나 순전히 허수 중 어느 하나이며,
    상기 가중치 추정기(100)는, 스펙트럼 영역 표현이 순전히 실수일 때 허수 스펙트럼 영역 표현을 추정하거나(120, 122), 스펙트럼 영역 표현이 순전히 허수일 때 실수 스펙트럼 영역 표현을 추정하도록 구성되며,
    가중치 추정기(100)는, 추정된 허수 스펙트럼 영역 표현이나 추정된 실수 스펙트럼 영역 표현을 사용하여 대역별 가중치를 추정하도록 구성되는, 다운믹서.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 대역에 대한 제1 가중치를 계산하도록 구성되고,
    상기 가중치 추정기(100)는, 적어도 2개의 채널 중 제2 채널의 대역에 대한 제2 가중치를 계산하도록 구성되며,
    상기 가중치 추정기(100)는, 대역에서의 제1 채널의 에너지, 대역에서의 제2 채널의 에너지, 및 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적(product)이나 선형 결합(linear combination)에 의존한 믹싱된 텀(mixed term)을 사용하여 제1 가중치와 제2 가중치를 계산하도록 구성되는, 다운믹서.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 선형 결합을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널의 스펙트럼 영역 표현으로부터 대역에서 서로 가산되는 스펙트럼 값의 에너지의 제곱근을 계산 - 대역은 다수의 스펙트럼 값을 포함함 - 하거나, 적을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널 중 제1 채널의 대역에서의 스펙트럼 값과 제2 채널의 대역에서의 스펙트럼 값 사이의 복소점 적(complex dot product)의 절대값을 계산하도록 구성되는, 다운믹서.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    적어도 2개의 다수의 채널 중 제1 및 제2 채널의 각각의 대역은 다수의 스펙트럼 값을 가지며, 상기 스펙트럼 가중기(200)는, 적어도 2개의 채널 중 하나의 채널의 대역에서의 각각의 스펙트럼 값에 동일한 가중치를 적용하며, 적어도 2개의 채널 중 다른 하나의 채널의 대역에서의 각각의 스펙트럼 값에 다른 가중치를 적용하도록 구성되는, 다운믹서.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
    가중된 스펙트럼 영역 표현은 MDCT(Modified Discrete Cosine Transform) 스펙트럼이며,
    상기 변환기(300)는, 다수의 채널의 각 채널에 대해, 합성 윈도우잉 동작과 중첩-가산 동작을 사용하여 역방향 MDCT 변환을 실행하도록 구성되는, 다운믹서.
  11. 청구항 1 내지 청구항 10 중 어느 한 항에 있어서,
    상기 믹서(400)는, 적어도 2개의 채널의 시간 표현의 샘플 단위의 가산을 적용하도록 구성되거나,
    상기 믹서(400)는, 적어도 2개의 채널의 시간 표현의 샘플 단위의 가산과, 샘플 단위의 가산의 결과에 적용되거나 샘플 단위의 가산에의 입력에 적용되는 스케일링 동작을 적용하도록 구성되는, 다운믹서.
  12. 청구항 1 내지 청구항 11 중 어느 한 항에 있어서,
    상기 변환기(300)는, 스펙트럼-시간 알고리즘을 사용하여 미처리(raw) 시간 표현을 생성하며(310),
    채널에 대해 별도의 제어 정보를 사용하여, 상기 믹서(400)에 의한 믹싱 전 신호 처리 방향으로, 미처리 시간 표현을 개별적으로 후-처리(320)하여, 시간 표현을 얻도록 구성되는, 다운믹서.
  13. 청구항 12에 있어서,
    상기 변환기(300)는, 상기 후-처리(320)로서, 각 시간 표현에 대해 개별적으로 베이스 후-필터링, TCX-LTP(Transform Coded Excitation Long Term Prediction) 처리 또는 LPC(Linear Prediction Coding) 합성을 실행하도록 구성되는, 다운믹서.
  14. 청구항 1 내지 청구항 13 중 어느 한 항에 있어서,
    적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간이나 주파수 분해능을 가지고,
    적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간이나 주파수 분해능을 가지며, 제2 시간이나 주파수 분해능은 제1 시간이나 주파수 분해능과 상이하며,
    상기 가중치 추정기(100)는 대역별 가중치를 계산하도록 구성되어, 대역별 가중치와 관련된 대역의 주파수 분해능은 제1 주파수 분해능 및 제2 주파수 분해능보다 작거나, 제1 및 제2 주파수 분해능 중 더 저 주파수 분해능과 같은, 다운믹서.
  15. 청구항 1 내지 청구항 14 중 어느 한 항에 있어서,
    제1 스펙트럼 영역 표현은 대역에서 제1 다수의 스펙트럼 값을 가지고,
    제2 스펙트럼 영역 표현은 대역에서 제2 다수의 스펙트럼 값을 가지며, 제2 다수의 스펙트럼 값은 제1 다수의 스펙트럼 값보다 크며,
    상기 가중치 추정기(100)는,
    제2 다수의 스펙트럼 값 중 2개 이상의 스펙트럼 값을 결합하거나 제2 다수의 스펙트럼 값으로부터 스펙트럼 값의 서브세트를 선택하고,
    2개 이상의 스펙트럼 값을 결합한 결과를 사용하거나 스펙트럼 값의 서브세트를 사용하여 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적이나 선형 결합에 의존하여 믹싱된 텀을 계산하며,
    믹싱된 텀을 사용하여 대역별 가중치를 계산하도록 구성되는, 다운믹서.
  16. 청구항 1 내지 청구항 15 중 어느 한 항에 있어서,
    제1 스펙트럼 영역 표현은, 제1 시간 빈 크기와 제1 주파수 빈 크기를 나타내는 제1 다수의 스펙트럼 값을 포함하고,
    제2 스펙트럼 영역 표현은, 제2 시간 빈 크기와 제2 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하고,
    제1 시간 빈 크기는 제2 시간 빈 크기보다 크거나, 제1 주파수 빈 크기는 제2 주파수 빈 크기보다 작으며,
    상기 가중치 추정기(100)는, 제1 스펙트럼 영역 표현으로부터의 다수의 스펙트럼 값을 결합하여 제1 결합된 스펙트럼 영역 표현 - 결합된 주파수 빈 크기는 제2 주파수 빈 크기와 같음 - 을 얻거나, 제2 스펙트럼 영역 표현으로부터의 다수의 스펙트럼 값을 결합하여 제1 결합된 스펙트럼 영역 표현 - 결합된 시간 빈 크기는 제1 시간 빈 크기와 같음 - 을 얻도록 구성되는, 다운믹서.
  17. 청구항 16에 있어서,
    상기 가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널 및 제2 채널에 대한 대역별 가중치의 계산을 위해 제1 결합된 스펙트럼 영역 표현이나 제2 결합된 스펙트럼 영역 표현을 사용하도록 구성되며, 계산은 대역에서의 믹싱된 텀의 계산과 대역에서의 에너지의 계산을 포함하며,
    상기 스펙트럼 가중기(200)는, 적어도 2개의 채널 중 제1 채널에 대한 대역별 가중치를 대응 대역에서의 제1 스펙트럼 영역 표현의 스펙트럼 값에 적용하며, 적어도 2개의 채널 중 제2 채널에 대한 대역별 가중치를 대응 대역에서의 제2 스펙트럼 영역 표현의 스펙트럼 값에 적용하도록 구성되는, 다운믹서.
  18. 청구항 1 내지 청구항 15 중 어느 한 항에 있어서,
    제1 채널의 제1 스펙트럼 영역 표현은, 제1 시간 빈 크기와 제1 주파수 빈 크기를 나타내는 제1 다수의 스펙트럼 값을 포함하고,
    제2 채널의 제2 스펙트럼 영역 표현은 적어도 2개의 서브프레임을 포함하고, 각 서브프레임은 제2 시간 빈 크기와 제2 주파수 빈 크기를 나타내는 다수의 스펙트럼 값을 포함하고,
    제1 시간 빈 크기는 제2 시간 빈 크기보다 크거나, 제1 주파수 빈 크기는 제2 주파수 빈 크기보다 작으며,
    상기 가중치 추정기(100)는,
    제1 방식에서 제2 스펙트럼 영역 표현의 각 서브프레임으로부터의 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제1 그룹의 결합된 스펙트럼 값을 얻으며,
    제2 방식에서 제2 스펙트럼 영역 표현의 각 서브프레임으로부터의 동일한 주파수 빈에 속하는 스펙트럼 값을 결합하여 제2 그룹의 결합된 스펙트럼 값을 얻고, 제2 방식은 제1 방식과 상이하고 - 제1 그룹의 결합된 스펙트럼 값과 제2 그룹의 결합된 스펙트럼 값은 제1 시간 빈 크기와 제1 주파수 빈 크기를 갖는 결합된 스펙트럼 영역 표현을 나타냄 -
    대역별 가중치의 계산을 위해 결합된 스펙트럼 영역 표현 및 제1 스펙트럼 영역 표현의 스펙트럼 값을 사용하도록 구성되는, 다운믹서.
  19. 청구항 18에 있어서,
    상기 가중치 추정기(100)는, 제1 방식에서 가산 및 감산 중 하나를 실행하며, 제2 방식에서 가산 및 감산 중 다른 하나를 실행하도록 구성되는, 다운믹서.
  20. 청구항 18 또는 청구항 19에 있어서,
    상기 가중치 추정기(100)는 제1 방식 및 제2 방식에서 평균화 기능을 실행하도록 구성되는, 다운믹서.
  21. 청구항 18 내지 청구항 20 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 가중 부호를 사용한 가중을 포함하는 제1 방식 또는 제2 방식 중 어느 하나를 적용하도록 구성되며, 상기 가중치 추정기(100)는 동일한 주파수 빈의 주파수 빈 번호에 따라 가중 부호를 설정하도록 구성되는, 다운믹서.
  22. 청구항 18 내지 청구항 21 중 어느 한 항에 있어서,
    가중치 추정기(100)는, 제1 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 하나를 적용하며, 제2 방식으로서, 고역 통과 필터링 및 저역 통과 필터링 중 다른 하나를 적용하도록 구성되는, 다운믹서.
  23. 청구항 18 내지 청구항 22 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는 더 저 분해능 빈을 2개의 더 고 분해능 빈으로 변환하도록 구성되며, 제1 방식은 2개의 더 고 분해능 빈 중 제1 더 고 분해능 빈의 짝수 빈 번호에 사용되며, 제2 방식은 2개의 더 고 분해능 빈 중 제2 더 고 분해능 빈의 홀수 빈 번호에 사용되는, 다운믹서.
  24. 청구항 18 내지 청구항 23 중 어느 한 항에 있어서,
    제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 2개의 TCX10 서브프레임을 포함하며, 상기 가중치 추정기(100)는 2개의 TCX10 서브프레임으로부터 결합된 TCX20 스펙트럼 영역 표현을 계산하도록 구성되거나,
    제1 채널의 제1 스펙트럼 영역 표현은 TCX20 프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 TCX10 서브프레임과 2개의 TCX5 서브프레임을 포함하며, 상기 가중치 추정기(100)는 2개의 TCX5 서브프레임으로부터 제1 결합된 TCX10 스펙트럼 영역 표현을 계산하며 제1 결합된 TCX10 스펙트럼 영역 표현과 TCX10 서브프레임으로부터 제2 결합된 TCX20 서브프레임을 계산하도록 구성되거나,
    제1 채널의 제1 스펙트럼 영역 표현은 TCX10 서브프레임을 포함하고, 제2 채널의 제2 스펙트럼 영역 표현은 2개의 TCX5 서브프레임을 포함하며, 상기 가중치 추정기(100)는 2개의 TCX5 서브프레임으로부터 결합된 TCX10 스펙트럼 영역 표현을 계산하도록 구성되며,
    표현 TCX20은 제1 시간 길이를 갖는 제1 부분을 나타내고, 표현 TCX10은 제2 시간 길이를 갖는 제2 부분을 나타내고, 표현 TCX5는 제3 시간 길이를 갖는 제3 부분을 나타내며, 제1 시간 길이는 제2 시간 길이나 제3 시간 길이보다 길거나, 제2 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 길며, 제3 시간 길이는 제1 시간 길이보다 짧거나 제2 시간 길이보다 짧은, 다운믹서.
  25. 청구항 18 내지 청구항 24 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는 다음의 수학식을 기초로 하여 제1 방식을 적용하도록 구성되거나,
    Figure pct00040

    상기 가중치 추정기(100)는 다음의 수학식을 기초로 하여 제2 방식을 적용하도록 구성되며,
    Figure pct00041

    i는 스펙트럼 빈 번호를 명시하고, k0 및 k1은 제2 채널의 제2 스펙트럼 영역 표현의 서브프레임을 명시하며,
    Figure pct00042
    및
    Figure pct00043
    는 결합된 스펙트럼 영역 표현의 스펙트럼 값을 나타내고,
    Figure pct00044
    및
    Figure pct00045
    는 각각 제1 서브프레임(k0) 및 제2 서브프레임(k1)으로부터의 스펙트럼 값을 나타내는, 다운믹서.
  26. 청구항 1에 있어서,
    적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간 분해능 또는 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간 분해능 또는 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하거나, 제2 주파수 분해능은 제1 주파수 분해능과 상이하고,
    상기 가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제2 시간 분해능이나 제2 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며(132), 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되거나, 제2 스펙트럼 영역 표현을 제1 시간 분해능이나 제1 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며, 결합된 스펙트럼 영역 표현과 제1 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되거나,
    적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현이 제1 시간 분해능이나 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현이 제2 시간 분해능이나 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하거나 제2 주파수 분해능은 제1 주파수 분해능과 상이하며,
    상기 가중치 추정기(100)는
    제1 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고(132) - 제3 시간 분해능은 제1 시간 분해능이나 제2 시간 분해능과 상이하며, 제3 주파수 분해능은 제1 주파수 분해능이나 제2 주파수 분해능과 상이함 - ,
    제2 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하고(132),
    제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되는, 다운믹서.
  27. 청구항 26에 있어서,
    제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
    제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
    상기 가중치 추정기(100)는, 2개 이상의 제1 스펙트럼 영역 표현을, 제2 스펙트럼 영역 표현과 동일한 시간 및 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며, 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되며,
    상기 스펙트럼 가중기(200)는, 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하며, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
  28. 청구항 27에 있어서,
    상기 가중치 추정기(100)는, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수에 대해 스펙트럼 값을 가산하여 결합된 스펙트럼 영역 표현의 제1 스펙트럼 값을 얻으며, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수에 대해 스펙트럼 값을 감산하여 결합된 스펙트럼 영역 표현의 제2 스펙트럼 값을 얻도록 구성되며, 결합된 스펙트럼 영역 표현의 제2 스펙트럼 값은 결합된 스펙트럼 영역 표현의 제1 스펙트럼 값보다 크며 주파수가 인접해 있고,
    상기 스펙트럼 가중기(200)는, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현에서 동일한 주파수를 갖는 대역을 가중하도록 구성되는, 다운믹서.
  29. 청구항 26에 있어서,
    제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
    제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
    상기 가중치 추정기(100)는,
    제2 스펙트럼 영역 표현을 2개 이상의 제1 스펙트럼 영역 표현과 동일한 시간 및 주파수 분해능을 갖는 2개 이상의 결합된 스펙트럼 영역 표현으로 변환하고,
    2개 이상의 결합된 스펙트럼 영역 표현 중 제1 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 사용하여 제1 대역별 가중치를 계산하고,
    2개 이상의 결합된 스펙트럼 영역 표현 중 제2 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 사용하여 제2 대역별 가중치를 계산하도록 구성되며,
    상기 스펙트럼 가중기(200)는,
    제1 및 제2 대역별 가중치로부터 유도한(136) 유도된 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하고,
    제1 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 가중하며,
    제2 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
  30. 청구항 29에 있어서,
    상기 가중치 추정기(100)는, 제2 스펙트럼 영역 표현의 주파수 쌍에 대한 스펙트럼 값을 가산하여 가산된 스펙트럼 값을 얻으며, 가산된 스펙트럼 값에 복제하여 2개 이상의 결합된 스펙트럼 영역 표현 각각에 대해 결합된 스펙트럼 값을 얻도록 구성되며,
    상기 스펙트럼 가중기(200)는, 제1 대역별 가중치의 특정 대역에 대한 가중치를 제2 대역별 가중치의 특정 대역에 대한 가중치와 결합하여(136) 유도한 대역별 가중치의 특정 대역에 대해 유도한 가중치를 얻도록 구성되는, 다운믹서.
  31. 청구항 26에 있어서,
    제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
    제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
    상기 가중치 추정기(100)는,
    제2 스펙트럼 영역 표현을, 2개 이상의 제1 스펙트럼 영역 표현과 동일한 시간 분해능을 가지며 제2 스펙트럼 영역 표현과 동일한 주파수 분해능을 갖는 2개 이상의 결합된 스펙트럼 영역 표현으로 변환하고,
    2개 이상의 결합된 스펙트럼 영역 표현 중 제1 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 사용하여 제1 대역별 가중치를 계산하고,
    2개 이상의 결합된 스펙트럼 영역 표현 중 제2 결합된 스펙트럼 영역 표현과 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 사용하여 제2 대역별 가중치를 계산하도록 구성되며,
    상기 스펙트럼 가중기(200)는,
    제1 및 제2 대역별 가중치로부터 유도한(136) 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하고,
    제1 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제1의 제1 스펙트럼 영역 표현을 가중하며,
    제2 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현 중 제2의 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
  32. 청구항 31에 있어서,
    상기 가중치 추정기(100)는, 하나 이상의 스펙트럼 값을 업샘플링하여 제2 스펙트럼 영역 표현의 인접한 주파수에 대한 업샘플링된 스펙트럼 값을 얻으며, 업샘플링된 스펙트럼 값에 복제하여 2개 이상의 결합된 스펙트럼 영역 표현 각각에 대해 결합된 스펙트럼 값을 얻도록 구성되며,
    상기 스펙트럼 가중기(200)는, 제1 대역별 가중치의 특정 대역에 대한 가중치를 제2 대역별 가중치의 특정 대역에 대한 가중치와 결합하여(136) 유도한 대역별 가중치의 특정 대역에 대해 유도한 가중치를 얻도록 구성되는, 다운믹서.
  33. 청구항 26에 있어서,
    제2 채널은, 특정 시간 부분(TCX20)의 경우, 제2 스펙트럼 영역 표현을 포함하고,
    제1 채널은, 특정 시간 부분(2×TCX10)의 경우, 2개 이상의 제1 스펙트럼 영역 표현을 포함하며,
    상기 가중치 추정기(100)는,
    2개 이상의 제1 스펙트럼 영역 표현을 제2 스펙트럼 영역 표현과 동일한 시간 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고,
    제2 스펙트럼 영역 표현을, 2개 이상의 제1 스펙트럼 영역 표현과 동일한 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하며,
    제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록 구성되며,
    상기 스펙트럼 가중기(200)는, 대역별 가중치를 사용하여 제2 스펙트럼 영역 표현을 가중하고, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각 제1 스펙트럼 영역 표현을 가중하도록 구성되는, 다운믹서.
  34. 청구항 33에 있어서,
    상기 가중치 추정기(100)는, 제2 스펙트럼 영역 표현의 주파수 쌍에 대한 스펙트럼 값을 가산하여 제2 결합된 스펙트럼 영역 표현을 얻으며, 2개 이상의 제1 스펙트럼 영역 표현의 동일한 주파수의 스펙트럼 값을 가산하여 제1 결합된 스펙트럼 영역 표현을 얻도록 구성되며,
    상기 스펙트럼 가중기(200)는, 동일한 대역별 가중치를 사용하여 2개 이상의 제1 스펙트럼 영역 표현의 각각의 제1 스펙트럼 영역 표현에서 동일한 주파수를 갖는 대역을 가중하도록 구성되는, 다운믹서.
  35. 청구항 1 내지 청구항 34 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 제1 채널의 제1 스펙트럼 영역 표현의 스펙트럼 값, 제2 채널의 제2 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현이나 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 단일 결합된 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제1 결합된 스펙트럼 영역 표현의 스펙트럼 값, 및 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제2 결합된 스펙트럼 영역 표현의 스펙트럼 값 중 적어도 2개의 스펙트럼 값에 의존하는 제1 계산 규칙을 사용하여 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제1 다수의 대역별 가중치를 계산하도록 구성되며,
    상기 가중치 추정기(100)는, 다수의 제1 대역별 가중치, 제1 채널의 제1 스펙트럼 영역 표현의 스펙트럼 값, 제2 채널의 제2 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현이나 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 단일 결합된 스펙트럼 영역 표현의 스펙트럼 값, 제1 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제1 결합된 스펙트럼 영역 표현의 스펙트럼 값, 및 제2 스펙트럼 영역 표현의 스펙트럼 값으로부터 유도한 제2 결합된 스펙트럼 영역 표현의 스펙트럼 값 중 적어도 2개의 스펙트럼 값에 의존하는, 상기 제1 계산 규칙과는 상이한, 제2 계산 규칙을 사용하여 적어도 2개의 채널 중 제1 채널의 다수의 대역에 대한 제2 다수의 대역별 가중치를 계산하도록 구성되는, 다운믹서.
  36. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 다운믹서로서,
    적어도 2개의 채널에 대한 대역별 가중치를 추정하기 위한 가중치 추정기(100)로서, 상기 가중치 추정기(100)는 대역 당 타겟 에너지 값을 기초로 하여 대역별 가중치를 계산하도록 구성되어, 다운믹스 신호의 대역에서의 에너지는 적어도 2개의 채널의 동일 대역에서의 에너지에 미리 결정된 관계에 있는, 상기 가중치 추정기(100);
    대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하여 가중된 스펙트럼 영역 표현을 얻기 위한 스펙트럼 가중기(200); 및
    적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 다운믹스 신호를 계산하기 위한 믹서(400)를 포함하는, 다운믹서.
  37. 청구항 36에 있어서,
    스펙트럼 영역 표현은 순전히 실수이거나 순전히 허수 중 어느 하나이며,
    상기 가중치 추정기(100)는, 스펙트럼 영역 표현이 순전히 실수일 때 허수 스펙트럼 영역 표현을 추정하거나(140), 또는 스펙트럼 영역 표현이 순전히 허수일 때 실수 스펙트럼 영역 표현을 추정하도록(140) 구성되며,
    상기 가중치 추정기(100)는, 추정된 허수 스펙트럼 영역 표현이나 추정된 실수 스펙트럼 영역 표현을 사용하여 대역별 가중치를 추정하도록 구성되는, 다운믹서.
  38. 청구항 36 또는 청구항 37에 있어서,
    상기 가중치 추정기(100)는, 적어도 2개의 채널 중 제1 채널의 대역에 대한 제1 가중치를 계산하고, 적어도 2개의 채널 중 제2 채널의 대역에 대한 제2 가중치를 계산하며, 대역에서의 제1 채널의 에너지, 대역에서의 제2 채널의 에너지, 및 대역에서의 적어도 2개의 채널로부터의 스펙트럼 값의 적(148)이나 선형 결합(146)에 의존한 믹싱된 텀(mixed term)을 사용하여(142) 제1 가중치와 제2 가중치를 계산하도록 구성되는, 다운믹서.
  39. 청구항 36 내지 청구항 38 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는, 선형 결합(146)을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널의 스펙트럼 영역 표현으로부터 대역에서 서로 가산되는 스펙트럼 값의 에너지의 제곱근을 계산 - 대역은 다수의 스펙트럼 값을 포함함 - 하거나, 적(148)을 나타내는 믹싱된 텀으로서, 적어도 2개의 채널 중 제1 채널의 대역에서의 스펙트럼 값과 제2 채널의 대역에서의 스펙트럼 값 사이의 복소점 적의 절대값을 계산하도록 구성되는, 다운믹서.
  40. 청구항 36 내지 청구항 39 중 어느 한 항에 있어서,
    적어도 2개의 채널 중 제1 및 제2 채널의 각각의 대역은 다수의 스펙트럼 값을 가지며, 상기 스펙트럼 가중기(200)는, 적어도 2개의 채널 중 하나의 채널의 대역에서의 각각의 스펙트럼 값에 동일한 가중치를 적용하며, 적어도 2개의 채널 중 다른 하나의 채널의 대역에서의 각각의 스펙트럼 값에 다른 가중치를 적용하도록 구성되는, 다운믹서.
  41. 청구항 36 내지 청구항 40 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는 다음의 수학식을 기초로 하여 적어도 2개의 채널 중 제1 채널에 대해 대역별 가중치를 계산(150)하도록 구성되며,
    Figure pct00046

    wR은 대역에 대한 제1 채널에 대한 가중 인자이고,
    Figure pct00047
    는 제2 채널에 대한 추정된 파워이며,
    Figure pct00048
    는 대역에서의 제1 채널에 대한 추정된 파워이며,
    Figure pct00049
    는 대역에서의 채널 사이의 추정된 점 적(dot product)이며,
    Figure pct00050
    는 대역에서의 제2 채널에 대한 추정된 진폭이며,
    Figure pct00051
    은 대역에서의 제1 채널에 대한 추정된 진폭인, 다운믹서.
  42. 청구항 41에 있어서,
    상기 가중치 추정기(100)는 다음의 수학식을 기초로 하여 적어도 2개의 채널 중 제2 채널에 대한 대역별 가중치를 계산하도록(152) 구성되며,
    Figure pct00052

    wL은 대역에 대한 제2 채널에 대한 가중 인자이고,
    Figure pct00053
    은 대역에서의 제1 채널 및 제2 채널에 대한 추정된 진폭의 추정된 선형 결합인, 다운믹서.
  43. 청구항 40 내지 청구항 42 중 어느 한 항에 있어서,
    상기 가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제2 채널에 대한 추정된 진폭을 계산하고, 대역에서의 제1 채널에 대한 추정된 진폭을 계산하도록(144) 구성되거나,
    Figure pct00054

    상기 가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제1 채널 및 제2 채널에 대한 추정된 진폭의 추정된 선형 결합을 계산하도록(146) 구성되거나,
    Figure pct00055

    상기 가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 채널 사이의 추정된 점 적을 계산하도록(148) 구성되거나,
    Figure pct00056

    상기 가중치 추정기(100)는 다음의 수학식을 기초로 대역에서의 제2 채널에 대한 추정된 파워를 계산하거나 대역에서의 제1 채널에 대한 추정된 파워를 계산하도록(142) 구성되며,
    Figure pct00057

    i는 스펙트럼 대역 b 내의 빈 번호를 명시하며, MDSTi는 MDCT 빈 i의 추정된 허수부를 나타내고, MDCTi는, 제1 또는 제2 채널의 스펙트럼 영역 표현에 포함되는 MDCT 빈 i의 실수부를 나타내며, r은 제1 채널을 나타내며, l은 제2 채널을 나타내는, 다운믹서.
  44. 청구항 36 내지 청구항 43 중 어느 한 항에 있어서,
    적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현은 제1 시간 분해능 또는 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현은 제2 시간 분해능 또는 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고, 제2 주파수 분해능은 제1 주파수 분해능과 상이하며(130),
    상기 가중치 추정기(100)는 제1 스펙트럼 영역 표현을 제2 시간 분해능이나 제2 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며(132), 결합된 스펙트럼 영역 표현과 제2 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되거나, 제2 스펙트럼 영역 표현을 제1 시간 분해능이나 제1 주파수 분해능을 갖는 결합된 스펙트럼 영역 표현으로 변환하며(132), 결합된 스펙트럼 영역 표현과 제1 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되거나,
    적어도 2개의 채널 중 제1 채널의 제1 스펙트럼 영역 표현이 제1 시간 분해능이나 제1 주파수 분해능을 가지며, 적어도 2개의 채널 중 제2 채널의 제2 스펙트럼 영역 표현이 제2 시간 분해능이나 제2 주파수 분해능을 가지며, 제2 시간 분해능은 제1 시간 분해능과 상이하고 제2 주파수 분해능은 제1 주파수 분해능과 상이하며(130),
    상기 가중치 추정기(100)는
    제1 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제1 결합된 스펙트럼 영역 표현으로 변환하고(132) - 제3 시간 분해능은 제1 시간 분해능이나 제2 시간 분해능과 상이하며, 제3 주파수 분해능은 제1 주파수 분해능이나 제2 주파수 분해능과 상이함 - ,
    제2 스펙트럼 영역 표현을 제3 시간 분해능이나 제3 주파수 분해능을 갖는 제2 결합된 스펙트럼 영역 표현으로 변환하고(132),
    제1 결합된 스펙트럼 영역 표현과 제2 결합된 스펙트럼 영역 표현을 사용하여 대역별 가중치를 계산하도록(134) 구성되는, 다운믹서.
  45. 청구항 44에 있어서,
    상기 스펙트럼 가중기(200)는, 적어도 2개의 채널의 스펙트럼 영역 표현으로서, 결합된 스펙트럼 영역 표현 및 제2 스펙트럼 영역 표현, 결합된 스펙트럼 영역 표현 및 제1 스펙트럼 영역 표현, 및 제1 결합된 스펙트럼 영역 표현 및 제2 결합된 스펙트럼 영역 표현 중 하나를 가중하여 제1 가중된 스펙트럼 영역 표현과 제2 가중된 스펙트럼 영역 표현을 얻도록 구성되는, 다운믹서.
  46. 청구항 45에 있어서,
    상기 믹서(400)는, 제1 및 제2 가중된 스펙트럼 영역 표현을 가산하여 스펙트럼 영역 다운믹스 표현을 얻고, 시간 영역에서 스펙트럼 영역 다운믹스 표현을 변환하여 다운믹스 신호를 얻거나, 제1 및 제2 가중된 스펙트럼 영역 표현을 시간 영역으로 변환하여 적어도 2개의 채널의 시간 표현을 얻고, 적어도 2개의 채널의 시간 표현을 가산하여 다운믹스 신호를 얻도록 구성되는, 다운믹서.
  47. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하기 위한 방법으로서,
    적어도 2개의 채널을 위한 대역별 가중치를 추정하는 단계;
    대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하는 단계;
    적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 적어도 2개의 채널의 시간 표현으로 변환하는 단계; 및
    적어도 2개의 채널의 시간 표현을 믹싱하여 다운믹스 신호를 얻는 단계를 포함하는, 방법.
  48. 적어도 2개의 채널을 갖는 다채널 신호를 다운믹싱하는 방법으로서,
    적어도 2개의 채널에 대한 대역별 가중치를 추정하는 단계로서, 대역 당 타겟 에너지 값을 기초로 하여 대역별 가중치를 계산하는 단계를 포함하여, 다운믹스 신호의 대역에서의 에너지가 적어도 2개의 채널의 동일 대역에서의 에너지에 미리 결정된 관계에 있게 하는, 상기 추정 단계;
    대역별 가중치를 사용하여 적어도 2개의 채널의 스펙트럼 영역 표현을 가중하여 가중된 스펙트럼 영역 표현을 얻는 단계; 및
    적어도 2개의 채널의 가중된 스펙트럼 영역 표현을 사용하여 다운믹스 신호를 계산하는 단계를 포함하는, 방법.
  49. 컴퓨터나 처리기를 실행시킬 때, 청구항 47 또는 청구항 48의 방법을 실행하기 위한 컴퓨터 프로그램.
KR1020217032037A 2019-03-06 2020-03-04 다운믹서 및 다운믹싱 방법 KR20210137121A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19161076.5 2019-03-06
EP19161076 2019-03-06
PCT/EP2020/055669 WO2020178321A1 (en) 2019-03-06 2020-03-04 Downmixer and method of downmixing

Publications (1)

Publication Number Publication Date
KR20210137121A true KR20210137121A (ko) 2021-11-17

Family

ID=65801834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032037A KR20210137121A (ko) 2019-03-06 2020-03-04 다운믹서 및 다운믹싱 방법

Country Status (13)

Country Link
US (1) US20210375293A1 (ko)
EP (1) EP3935630A1 (ko)
JP (3) JP7416816B2 (ko)
KR (1) KR20210137121A (ko)
CN (1) CN113544774A (ko)
AU (2) AU2020233210B2 (ko)
BR (1) BR112021017197A2 (ko)
CA (1) CA3132404A1 (ko)
MX (1) MX2021010570A (ko)
SG (1) SG11202108895TA (ko)
TW (2) TWI760705B (ko)
WO (2) WO2020178322A1 (ko)
ZA (1) ZA202107327B (ko)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2355240T3 (es) * 2003-03-17 2011-03-24 Koninklijke Philips Electronics N.V. Procesamiento de señales de múltiples canales.
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
WO2005086139A1 (en) * 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
EP4325723A3 (en) * 2006-10-25 2024-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating time-domain audio samples
KR20080076691A (ko) * 2007-02-14 2008-08-20 엘지전자 주식회사 멀티채널 오디오신호 복호화방법 및 그 장치, 부호화방법및 그 장치
JP5058844B2 (ja) * 2008-02-18 2012-10-24 シャープ株式会社 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
CN101809656B (zh) * 2008-07-29 2013-03-13 松下电器产业株式会社 音响编码装置、音响解码装置、音响编码解码装置及会议系统
DE102008056704B4 (de) 2008-11-11 2010-11-04 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
EP2237266A1 (en) * 2009-04-03 2010-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a plurality of local center of gravity frequencies of a spectrum of an audio signal
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
KR101756838B1 (ko) * 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
EP2786377B1 (en) * 2011-11-30 2016-03-02 Dolby International AB Chroma extraction from an audio codec
CN104718572B (zh) * 2012-06-04 2018-07-31 三星电子株式会社 音频编码方法和装置、音频解码方法和装置及采用该方法和装置的多媒体装置
TWI618051B (zh) * 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
WO2016019130A1 (en) * 2014-08-01 2016-02-04 Borne Steven Jay Audio device
US10217467B2 (en) * 2016-06-20 2019-02-26 Qualcomm Incorporated Encoding and decoding of interchannel phase differences between audio signals
BR112019009424A2 (pt) 2016-11-08 2019-07-30 Fraunhofer Ges Forschung mixador de redução, método para mixagem de redução de pelo menos dois canais, codificador multicanal, método para codificar um sinal multicanal, sistema e método de processamento de áudio
CA3127805C (en) * 2016-11-08 2023-12-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain
JP2017058696A (ja) * 2016-12-09 2017-03-23 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インターチャネル差分推定方法及び空間オーディオ符号化装置
GB2561596A (en) * 2017-04-20 2018-10-24 Nokia Technologies Oy Audio signal generation for spatial audio mixing

Also Published As

Publication number Publication date
EP3935630A1 (en) 2022-01-12
US20210375293A1 (en) 2021-12-02
BR112021017197A2 (pt) 2021-11-09
CA3132404A1 (en) 2020-09-10
WO2020178322A1 (en) 2020-09-10
ZA202107327B (en) 2022-08-31
JP2024001324A (ja) 2024-01-09
SG11202108895TA (en) 2021-09-29
JP7416816B2 (ja) 2024-01-17
AU2020233210A1 (en) 2021-11-04
AU2020233210B2 (en) 2023-09-28
JP2024001325A (ja) 2024-01-09
WO2020178321A1 (en) 2020-09-10
JP2022522706A (ja) 2022-04-20
AU2023258388A1 (en) 2023-11-23
TW202101427A (zh) 2021-01-01
CN113544774A (zh) 2021-10-22
MX2021010570A (es) 2021-10-13
TWI760705B (zh) 2022-04-11
TW202042214A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
US11881225B2 (en) Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US10056087B2 (en) Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
US7953604B2 (en) Shape and scale parameters for extended-band frequency coding
AU2007208482B2 (en) Complex-transform channel coding with extended-band frequency coding
US20070172071A1 (en) Complex transforms for multi-channel audio
CN110998721B (zh) 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
US9082396B2 (en) Audio signal synthesizer
KR20210137121A (ko) 다운믹서 및 다운믹싱 방법
RU2791673C1 (ru) Устройство понижающего микширования и способ понижающего микширования
RU2799737C2 (ru) Устройство повышающего микширования звука, выполненное с возможностью работы в режиме с предсказанием или в режиме без предсказания
JP2023164971A (ja) 出力ダウンミックス表現を生成するための装置及びコンピュータプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal