KR20070088329A - 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법 - Google Patents

멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20070088329A
KR20070088329A KR1020067027364A KR20067027364A KR20070088329A KR 20070088329 A KR20070088329 A KR 20070088329A KR 1020067027364 A KR1020067027364 A KR 1020067027364A KR 20067027364 A KR20067027364 A KR 20067027364A KR 20070088329 A KR20070088329 A KR 20070088329A
Authority
KR
South Korea
Prior art keywords
signal
post
smoothing
processed
channel
Prior art date
Application number
KR1020067027364A
Other languages
English (en)
Other versions
KR100904542B1 (ko
Inventor
마티아스 노이싱어
쥐르겐 헤르
사스하 디쉬
하이코 푸른하겐
크리스토퍼 크죌링
요나스 엥데가르트
제뢴 브레바트
에릭 슈이예르스
베르너 오멘
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
코딩 테크놀러지스 에이비
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우., 코딩 테크놀러지스 에이비, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20070088329A publication Critical patent/KR20070088329A/ko
Application granted granted Critical
Publication of KR100904542B1 publication Critical patent/KR100904542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0012—Smoothing of parameters of the decoder interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Stabilization Of Oscillater, Synchronisation, Frequency Synthesizers (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

인코더 측에서, 평활 제어 정보를 얻기 위해 멀티채널 입력 신호가 분석된다. 평활 제어 정보는 양자화되어 전송된 파라미터들을 평활화하거나 양자화 전송된 파라미터들로부터 유도된 값을 평활화하기 위한 디코더 측의 멀티채널 합성 장치에서 사용된다. 특히, 빠르게 움직이는 사인곡선과 같은 음색을 가진 신속히 움직이는 포인트 소스에 대해 개선된 주관적 음질을 제공한다.
멀티채널 음성처리, 인코딩, 합성, 파라미터 부수 정보, 평활 제어 정보, 후처리 복구 파라미터

Description

멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및 방법과 멀티채널 합성을 위한 장치 및 방법{Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing}
관련출원
본 출원은 2005.4.15.자 미합중국 가특허출원 제 60/671,582호에 대해 우선권 주장이 있다.
본 발명은 멀티채널 음성처리에 관한 것이며, 특히 파라메트릭 부수 정보를 이용한 멀티채널 인코딩 및 합성 방식에 관한 것이다.
근래에 멀티채널 음성재생 기술이 인기를 더해가고 있다. 이는 잘 알려져 있는 엠페그(MPEG)-1 오디오 계층-3 (MP3로 부름)과 같은 음성 압축/인코딩 방법이 제한된 대역폭을 갖는 인터넷이나 타 전송 채널을 통해 오디오 콘텐츠를 유통할 수 있게 하였다는데 기인한다.
이 기술이 인기를 얻는 더 큰 이유는 멀티채널 콘텐츠의 가용성이 점차 커지 고 있다는 것과, 가정 환경에서 멀티채널 재생장치의 보급이 증가하고 있다는 데 있다.
MP3 인코딩 방법이 그토록 유명해진 것은, 이 방법이 모든 녹음물을 스테레오 포맷, 다시 말해 제1 또는 좌측 스테레오 채널 및 제2 또는 우측 스테레오 채널을 포함하는 오디오 레코드의 디지털 표시형태로 분배하게 하였기 때문이다. 더욱이, MP3 인코딩 방법은 소정의 저장장치와 전송 대역폭에서 음성의 분배에 관하여 새로운 가능성을 만들어내고 있다.
그럼에도, 종래의 2-채널 음성 시스템에는 기본적인 단점이 있다. 이 시스템은 단지 2개의 라우드스피커를 사용하기 때문에 공간 이미지화에 제한을 가져온다. 따라서, 서라운드 방법이 개발되었다. 대표되는 멀티채널 서라운드 방법은 2개의 스테레오 채널 L, R에 부가하여, 센터 채널 C, 2개의 서라운드 채널 Ls, Rs 및 선택적으로 저주파 보강 채널 또는 서브우퍼 채널을 포함한다. 이와 같은 음성 포맷은 3개의 전방 채널과 2개의 서라운드 채널을 의미하는 쓰리/투(3/2) 스테레오 또는 5.1 포맷으로 칭해진다. 여기서, 5개의 전송채널이 요구된다. 재생 상황에서, 5개의 상이한 장소에 각기 놓인 적어도 5개의 스피커가 필요하며, 적절히 배치된 5개의 라우드스피커로부터 소정의 거리로 떨어져서 최적의 듣기 좋은 지점을 얻게 된다.
종래에, 멀티채널 음성신호의 전송에 필요한 데이터의 양을 저감시키기 위한 몇가지 방법이 알려져 있다. 그 방법들은 조인트(joint) 스테레오 기술이라 불린다. 이에 대한 설명으로 도면 제 10도를 참조한다. 도 10은 조인트 스테레오 장 치(60)를 보인 것이다. 이 장치는 예를 들어, 인텐시티(intensity) 스테레오 (IS), 파라메트릭 스테레오(PS) 또는 (관련된) 바이노럴(binaural) 큐 인코딩(BCC) 기술로 구현될 수 있다. 이와 같은 장치는 일반적으로 입력으로서 적어도 2개의 채널(CH1, CH2, ... CHn)을 수신하고, 하나의 캐리어 채널 및 파라메트릭 데이터를 출력한다. 파라메트릭 데이터는 디코더에서 오리지널 채널(CH1, CH2, ... CHn)에 대한 근사법이 계산될 수 있게 정해진다.
통상 캐리어 채널은 기본적 신호에 대한 비교적 미세한 표현을 제공하는 서브 밴드 샘플, 스펙트럼 계수, 시간 영역 샘플 등을 포함하는 반면, 파라메트릭 데이터는 스펙트럼 계수와 같은 샘플을 포함하지 않으며, 단지 곱에 의한 가중(weighting), 시간 편이(time shifting), 주파수 편이, 위상 편이와 같은 소정의 복구 알고리즘을 제어하기 위한 제어 파라미터를 포함한다. 따라서, 파라메트릭 데이터는 관련 채널 신호의 비교적 정확하지 않은 표시만을 포함한다. 수치로 말하자면, 통상의 손실 압축 오디오 인코더를 사용하여 인코딩된 캐리어 채널에 필요한 데이터의 양은 60 - 70 kBit/s 정도인 반면, 하나의 채널에 대한 파라메트릭 부분 정보가 필요로 하는 데이터의 양은 1.5 - 2.5 kBit/s 정도이다. 파라메트릭 데이터에 대한 예를 들면, 이후에 설명될 공지의 스케일 팩터(scale factor), 인텐시티 스테레오(Intensity Stereo) 정보 또는 바이노럴 큐(binaural cue) 파라미터이다.
인텐시티 스테레오 인코딩 방법은 AES Preprint 3799호 논문 "Intensity Stereo Coding", J.Herre, K.H.Brandenburg, D.Lederer, at 96th AES, February 1994, Amsterdam 에 설명되어 있다. 일반적으로, 인텐시티 스테레오의 개념은 양쪽 스테레오 음성채널의 데이터에 적용될 주축 변환(main axis transform)방법에 기초하고 있다. 대부분의 테이터 포인트가 제1 주축 근방에 집중되어 있을 때, 인코딩 이득은 양쪽 스테레오 신호를 인코딩 이전에 소정의 각도로 회전시키고 제2의 직각성분이 비트 스트림으로 전송되는 것을 차단함으로써 얻을 수 있다. 좌측 및 우측 채널에 대해 복구된 신호는 같이 전송되는 신호에 서로 다른 가중치를 주고 크기조정을 한 변형물로 구성된다. 그럼에도, 그 재구성된 신호는 진폭이 서로 다르지만 각각의 위상정보에 대해서는 동일하다. 그러나, 양쪽의 오리지널 음성 채널에 대한 에너지-시간 엔벌로프는 전형적으로 주파수 선택 방식으로 동작하는 선택적 크기조정 작용에 의해 보존된다. 이 방법은 우세한 공간적 큐가 에너지 엔벌로프에 의해 결정되고 있는 고주파 영역에서 인간의 청각 능력에 합치한다.
더구나, 실제 적용에 있어, 전송된 신호, 즉 캐리어 신호는 좌우 채널 성분을 회전시키는 대신 좌측 및 우측 채널의 합 신호로부터 발생한다. 더욱이, 이 처리, 즉 크기조정 작용을 실행하기 위해 인텐시티 스테레오 파라미터를 발생하는 동작은 주파수 선택적으로, 다시 말해 각각의 스케일 팩터 밴드에 대해 독립적으로, 인코더 주파수 분할 방식으로 수행된다. 바람직하게, 양쪽 채널은 결합하여 결합 또는 "캐리어" 채널을 형성한다. 이 결합 채널에 부가하여 인텐시티 스테레오 정보가 결정된다. 인텐시티 스테레오 정보는 제1 채널의 에너지, 제2 채널의 에너지, 또는 결합 채널의 에너지에 따라서 결정된다.
바이노럴 큐 인코딩(BCC) 방법은 AES convention paper 5574호 논문, "Binaural cue coding applied to stereo and multi-channel audio compression", C. Faller, F. Baumgarte, May 2002, Munich 에 설명되어 있다. BCC 인코딩 방법에 있어, 다수의 음성 입력채널은 윈도 중첩과 함께 DFT에 기초한 변환방법을 사용하여 스펙트럼 표시로 변환된다. 그 결과로 생긴 균일한 스펙트럼은 각각 색인을 가진 비중첩 파티션으로 분할된다. 각 파티션은 동등한 장방형 대역폭(ERB)에 비례한 대역폭을 갖는다. 채널간 레벨 차(ICLD) 및 채널간 시간 차(ICTD)가 각각의 프레임 k에 대해 각 파티션 별로 어림셈 된다. ICLD 및 ICTD는 양자화되고 인코딩되어 BCC 비트열로 만들어진다. 채널간 레벨 차 및 채널간 시간 차가 기준 채널에 비례하여 각 채널에 주어진다. 이어서 파라미터들이 미리 정해진 공식에 의해 처리될 신호의 소정 파티션에 따라 계산된다.
디코더 측에서 본다면, 디코더는 모노 신호와 BCC 비트열을 수신한다. 모노 신호는 주파수 영역으로 변환되고 나서 공간 합성 블록으로 입력된다. 공간 합성 블록은 또한 디코드 된 ICLD 및 ICTD 값을 받는다. 공간 합성 블록에서, BCC 파라미터(ICLD 및 ICTD) 값은 멀티채널 신호를 합성하기 위해 모노 신호에 대한 가중 연산을 수행하는 데 사용된다. 이 동작은 주파수/시간 변환 후 오리지널 멀티채널 음성 신호의 복구를 의미한다.
BCC 인코딩 방법에 있어서, 조인트 스테레오 모듈(60)은 파라메트릭 채널 데이터를 양자화하고 ICLD 또는 ICTD 파라미터를 인코딩한 것과 같은 채널 부수 정보를 출력한다. 여기서 오리지널 채널 중 어느 하나의 채널이 채널 부수 정보를 인코딩하기 위한 기준 채널로 사용된다.
일반적으로, 가장 간단한 실시예에서, 캐리어 채널은 가담한 원래 채널의 합 으로 형성된다.
당연히, 상기한 기술들은 디코더에 대해 모노 신호를 제공하여 단지 캐리어 채널을 처리할 수 있을 뿐, 하나 이상의 입력 채널에 대해 하나 이상의 근사를 발생시키기 위한 파라메트릭 데이터를 처리하지는 못한다.
바이노럴 큐 인코딩(BCC) 방법이라 알려진 음성 인코딩 기술은 또한 미합중국 특허출원 공개 US 2003/0219130 A1, 2003/0026441 A1, 2003/0035553 A1에 상세히 설명되어 있다. 부가적인 참고 문헌으로서는 IEEE 회보에 게재된 논문 "Binaural Cue Coding. Part II: Schemes and Applications" C.Faller, F.Baumgarte, On Audio and Speech Proc., Vol.11, No.6, Nov.2003 을 들 수 있다. 상기 BBC 방법에 관한 상기 미합중국 특허공개 및 팔러(Faller)와 바움가르테(Baumgarte)가 저술한 2가지의 기술 논문은 그 전체가 본 출원의 참고자료로 여기에 합체된다.
파라메트릭 기법을 더 넓은 비트율 범위로 적용가능하게 하는 바이노럴 큐 인코딩(BCC) 방법의 커다란 개선점은 MPEG-4 고효율 AAC v2 표준화와 같은 '파라메트릭 스테레오(PS)'로 알려져 있다. 파라메트릭 스테레오의 한가지 중요한 외연은 공간 '확산성(diffuseness)' 파라미터의 포함이다. 이것은 채널간 상관관계 또는 채널간 긴밀도(ICC)의 수학적 특성을 표현하는 데 이용된다. 파라메트릭 스테레오(PS) 파라미터의 분석, 청각 오디오 양자화, 전송 및 합성에 대해서는 논문, "Parametric coding of stereo audio" J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, EURASIP J. Appl. Sign. Proc. 2005:9, pp.1305- 1322 에 상세히 설명되어 있다. 더 이상의 참고 자료로는 J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers가 저술한 논문 "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, May 2004 및 E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard가 저술한 "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004 가 있다.
이하에, 멀티채널 음성 인코딩을 위한 일반적인 BCC 인코딩 방법에 대해서 도 11 내지 도 13을 참고하여 상세히 설명한다. 도 11은 멀티채널 음성 신호의 인코딩 및 전송을 위한 일반적인 바이노럴 큐 인코딩(BCC) 방법의 개요를 나타낸다. BCC 인코더(112)의 입력(110)에서, 멀티채널 음성 입력신호는 다운 믹스 블록(114)으로 입력되어 다운 믹싱된다. 이 예에서, 입력(110)에서의 오리지널 멀티채널 신호는 전방 좌측 채널, 전방 우측 채널, 좌측 서라운드 채널, 우측 서라운드 채널 및 중앙 채널로 구성된 5-채널 서라운드 신호이다. 본 발명의 바람직한 실시예에서는 다운 믹스 블록이 상기 5개 채널 신호를 단순히 모노 신호에 가하는 것에 의해 합 신호를 생성하고 있다. 이와 다른 공지된 다운 믹싱 방법으로서, 멀티채널 입력신호를 사용하여 단일 채널로 구성된 다운 믹스 신호를 만드는 것이다. 이 단일 채널은 도 11에서 합 신호 출력 라인(115)으로 출력된다. BCC 분석 블록(116)에서 얻은 부수정보는 부수정보 출력 라인(117)으로 출력된다. BCC 분석 블록(116)에서, 채널간 레벨 차(ICLD) 및 채널간 시간 차(ICTD)가 상술한 바와 같이 계산된다. 최근, BCC 분석 블록(116)은 채널간 상관관계 값(ICC 값) 형태의 파라메트릭 스테레 오 파라미터를 사용한다. 합 신호 및 부수 정보는, 바람직하게 양자화 및 인코딩된 형태로서 BCC 디코더(120)로 전송된다. BCC 디코더는 전송된 합 신호를 다수의 서브밴드로 분해하고, 스케일링, 지연, 및 다른 처리를 가하여 출력 멀티채널 음성신호에 대한 서브밴드를 생성한다. 그 처리는 출력(121)에서 복구된 멀티채널 신호의 ICLD, ICTD 및 ICC 파라미터들(큐)이 BCC 인코더(112)의 입력(110)에서 입력되는 오리지널 멀티채널 신호에 대한 각각의 큐와 유사하게 하는 식으로 수행된다. 이를 위해, BCC 디코더(120)는 BCC 합성 블록(122)과 부수 정보 처리 블록(123)을 포함한다.
다음에, BCC 합성 블록(122)의 내부 구성을 도 12를 참조하여 설명한다. 합 신호 라인(115) 상의 합 신호는 시간/주파수 변환 장치 또는 필터 뱅크(FB) (125)로 입력된다. FB(125)의 출력에는 N개의 서브밴드 신호가 나타나거나 극단적인 경우, FB(125)가 1:1 변환, 즉 N개의 시간 영역 샘플로부터 N개의 스펙트럼 계수를 발생하는 변환을 수행할 경우 일단의 스펙트럼 계수가 나타난다.
BCC 합성 블록(122)은 지연 단(126), 레벨 수정 단(127), 상관관계 처리 단(128) 및 역 필터 뱅크 단(IFB: 129)을 더 포함한다. IFB(129)의 출력에서, 5-채널 서라운드 시스템인 경우, 예를 들어 5개 채널을 갖는 멀티채널 음성 신호가 복구되어 도 11에 나타낸 것과 같은 5개의 라우드 스피커(124)로 출력된다.
도 12에 나타낸 것과 같이, 입력 신호 s(n)는 FB(125)를 통해 주파수 영역 또는 필터 뱅크 영역으로 변환된다. FB(125)의 신호 출력은 도면에 증식 노드(130)로 표시된 것과 같이 동일한 신호의 수 개의 변형을 얻도록 증식된다. 오리지널 신 호에 대한 변형의 개수는 복구될 출력 신호의 채널 출력 개수와 동일하다. 일반적으로, 노드(130)에서 오리지널 신호에 대한 각각의 변형은 지연 단(126)에서 소정의 지연 d1, d2, ..., di, ..., dn 을 거친다. 지연 파라미터들은 도 11에 나타낸 부수 정보 처리블록(123)에서 산출되며, 이들 파라미터는 BCC 분석 블록(116)에서 결정된 채널간 시간 차로부터 유도된다.
동일하게, 레벨 수정 단(127)에서의 곱셈 파라미터들 a1, a2,..., ai,..., an 또한 BCC 분석 블록(116)에서 계산된 채널간 레벨 차에 근거하여 부수 정보 처리 블록(123)에서 산출된다.
BCC 분석 블록(116)에서 계산된 ICC 파라미터는 상관관계 처리 단(128)의 동작을 제어하여 지연 및 레벨 조작된 신호들 사이의 소정 상관 관계가 상관관계 처리 단(128)의 출력에 나타날 수 있게 한다. 주목할 것은, 처리 단(126), (127), (128)의 배치 순서가 도 12에 보인 것과 다를 수도 있다.
여기서, 음성신호가 프레임에 관해 처리되는 방식에서는 BCC 분석 또한 프레임에 관해, 즉 시간에 따라 변화하는 주파수에 관계하여 수행된다. 다시 말해, 각 스펙트럼 밴드에 대해 BCC 파라미터들이 얻어진다. 이것은 필터 뱅크(125)가 입력 신호를 예를 들어 32개 밴드 패스 신호로 분해하는 경우, BCC 분석 블록이 32개 밴드 각각에 대해 일단의 BCC 파라미터를 구한다는 의미이다. 당연히, 도 12에 상세히 나타낸 도 11의 BCC 합성 블록(122)은, 이 예에서 32개 밴드에 근거하여 복구 동작을 수행한다.
다음에, 도 13을 참조하여 소정의 BCC 파라미터를 결정하기 위한 과정을 설명한다. 통상, ICLD, ICTD 및 ICC 파라미터는 채널 쌍 사이에서 결정될 수 있다. 그러나, ICLD 및 ICTD 파라미터가 기준 채널과 각 다른 채널 간에 결정되게 하는 것이 바람직하다. 이에 대해 도 13A에 나타내었다.
ICC 파라미터는 다른 방식으로 결정될 수 있다. 가장 일반적으로, 도 13B에 나타낸 것과 같이, 인코더 내에서 ICC 파라미터는 모든 가능한 채널 쌍 사이에서 추정될 수 있다. 이 경우, 디코더는 ICC 파라미터가 모든 가능한 채널 쌍 사이에서 오리지널 멀티채널 신호에서와 거의 동일하게 되도록 ICC 파라미터를 합성한다. 그러나, 이것은 매번 가장 강한 2개 채널 사이에서만 ICC 파라미터를 추정하기로 계획한 것이다. 이 방법은 도 13에 일 예로서 도시되어 있다. 여기서, 1회에 ICC 파라미터가 채널 1과 2 사이에서 추정되고, 2회에 채널 1과 5 사이에서 계산된다. 그리고 디코더는 가장 강한 채널 사이의 채널간 상관관계를 종합하고 나서 나머지 채널 쌍에 대해 채널간 긴밀도를 산출 및 합성하도록 소정의 경험적 법칙을 가한다.
예를 들어, 전송된 ICLD 파라미터에 근거하여 곱셈 파라미터 a1, ..., an의 계산에 대해서는 앞서 인용하였던 AES 총회 논문 5574호를 참조한다. ICLD 파라미터는 어떤 오리지널 멀티채널 신호에 내재한 에너지 분포를 나타낸다. 보편적으로, 도 13 A는 정면 좌측 채널과 다른 모든 채널 간의 에너지 차이를 나타내는 4개 ICLD 파라미터를 표시한다. 부수 정보 처리 블록(123)에서, 곱셈 파라미터들 a1, ..., an은 ICLD 파라미터로부터 유도되어 모든 복구된 출력 채널의 전체 에너지가 전송된 합 신호의 에너지와 동일하게 (또는 이에 비례하게) 되도록 한다. 곱셈 파라미터를 결정하는 방법은 간단히 2단계 처리로서 수행될 수 있다. 제1 단계에서, 정면 좌측 채널에 대한 곱셈 계수를 1로 놓는 한편, 도 13A에서의 다른 채널들에 대한 곱셈 계수는 전송된 ICLD 값으로 설정한다. 제2 단계에서, 모든 5개 채널의 에너지를 산출하고나서 전송된 합 신호의 에너지와 비교한다. 그 후, 모든 채널에 대해 동등한 다운스케일 계수를 적용하여 모든 채널을 축소(downscaling)한다. 여기서 다운스케일 계수는 모든 복구된 출력 채널의 전체 에너지가 축소 후 전송된 합 신호의 전체 에너지와 동일하게 되도록 선택된다.
당연히, 2-단계 처리에 의존하지 않고 단지 1-단계 처리를 가지고 곱셈 팩터를 계산하는 다른 방법이 있다. 그 하나의 1-단계 처리 방법은 논문, AES preprint "The reference model architecture for MPEG spatial audio coding," J.Herre et al., 2005, Barcelona에 상세히 설명되어 있다.
지연 파라미터에 관해서, 좌측 전방 채널에 대한 지연 파라미터 d1 이 0으로 설정되는 경우, BCC 인코더로부터 전송된 지연 파라미터 ICTD가 직접 사용될 수 있음을 주목해야 한다. 여기서, 지연이 신호의 에너지를 변경하지 않기 때문에 재 크기 조정(rescaling)이 수행될 필요는 없다.
BCC 인코더로부터 BCC 디코더로 전송된 채널간 긴밀도 측정값 ICC에 대하여, 여기서는 긴밀도 처리가, 모든 서브밴드에 대한 가중치 팩터를 20 log 10(-6) 과 20 log 10(6) 사이의 값으로 되는 난수로 곱하는 것과 같이, 곱셈 팩터 a1, ..., an 를 수정하는 것으로 이루어지고 있음을 주목해야 한다. 유사 난수열의 선택은 바람직하게 모든 밴드에 대해 편차가 대략 일정하게 되고 각 밴드에서의 평균값이 0으로 되는 것을 선택한다. 이 유사 난수열은 각 다른 프레임에 대한 스펙트럼 계수에 가해진다. 따라서, 청각 이미지 폭은 유사 난수열의 변화를 수정하는 것에 의해 제어된다. 이것은 음의 현장에서 동시에 복수의 인식 대상이 존재하도록 만든다. 각각의 인식 대상은 서로 다른 이미지 폭을 갖는다. 유사 난수열에 대한 적절한 크기 분배에 대해서는 미합중국 특허출원 공개 제2003/0219130호에 설명된 것과 같이 대수적 눈금으로 균일한 분배가 이루어지게 한다. 그럼에도, 모든 BCC 합성 방법은 도 11에 나타낸 것과 같이 BCC 인코더로부터 BCC 디코더로 합 신호로서 보내지는 단일 입력 채널에 관련되어 있다.
도 13에 관련하여 설명된 바와 같이, 파라메트릭 부수 정보, 즉 채널간 레벨 차(ICLD), 채널간 시간 차(ICTD) 또는 채널간 긴밀도(ICC) 파라미터들이 5개 채널 각각에 대해 계산되고 전송된다. 이것은 통상 5-채널 신호에 대해 5개 세트의 채널간 레벨 차가 전송됨을 의미한다. 이것은 채널간 시간 차에 대해서도 동일하다. 채널간 긴밀도 파라미터에 대해서는 단지 예를 들어 2세트의 파라미터를 전송하는 것으로 충분하다.
도 12에 관련하여 상세히 설명된 바와 같이, 신호에 대한 하나의 프레임 또는 시간 분할에 대해 단일의 레벨 차 파라미터, 시간 차 파라미터 또는 긴밀도 파라미터는 존재하지는 않는다. 대신에, 이들 파라미터는 수개의 상이한 주파수 밴드에 대해 결정되고 이에 따라 주파수 관련 파라미터화가 이루어진다. 예를 들어 32 개 주파수 채널, 즉 BCC 분석 및 BCC 합성을 위해서는 32개 주파수 밴드를 갖는 필터 뱅크를 사용하는 것이 바람직하므로 그 파라미터들은 매우 많은 데이터를 점유하게 된다. 다른 멀티채널 전송 방법에 비하여 파라미터로 표시하는 방법이 작은 데이터 비율을 가진다 하더라도, 2채널 신호(스테레오 신호) 또는 멀티채널 서라운드 신호와 같은 2개 채널 이상의 신호와 같은 멀티채널 신호를 표시하기 위해 필요한 데이터 비율을 더 감소시킬 필요가 있다.
이를 위해, 인코더 측에서 계산된 복구 파라미터들이 소정의 양자화 법칙에 따라 양자화된다. 이것은 양자화되지 않은 복구 파라미터들이 제한된 일단의 양자화 레벨 또는 양자화 지수로 맵핑 된다는 의미이다. 맵핑 방법은 이 분야에서 잘 알려져 있으며 특별히 파라미터 인코딩에 대해 다음과 같은 논문에 상세히 설명되어 있다: J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers 가 저술한 논문 "Parametric coding of stereo audio", EURASIP J. Appl. Sign. Proc. 2005.9, pp.1305-1322. 및 C.Faller and F.Baumgarte가 저술한 "Binaural cue coding applied to audio compression with flexible rendering," AES 113th Convention, Los Angeles, Preprint 5686, October 2002.
양자화는 양자화 계단 크기(스텝 사이즈)보다 작은 모든 파라미터 값이, 양자화기가 미드-트레드(mid-tread) 또는 미드-라이저(mid-riser) 방식인지 아닌지에 따라, 0으로 양자화된다는 효과를 갖는다. 일단의 큰 비양자화 값을 작은 양자화된 값으로 맵핑함에 의해 부가적인 데이터 절약을 얻는다. 이와 같은 데이터 비율 절약은 인코더 측에서 양자화된 복구 파라미터를 엔트로피-인코딩하는 것에 의해 더 증가할 수 있다. 바람직한 엔트로피-인코딩 방법은 미리 결정된 코드 테이블에 근거하거나 신호 통계치의 현실적 결정 및 코드 북의 신호 적응 조립에 기초한 허프만(Huffman) 방법을 사용한다. 대안적으로, 산술 코딩과 같은 다른 엔트로피-인코딩 도구를 사용할 수 있다.
일반적으로, 파라미터를 복구하는 데 필요한 데이터 비율은 양자화 계단 크기가 증가함에 따라 감소하는 법칙이 있다. 달리 말하면, 거친 양자화에 의해 낮은 데이터 비율이 생기고, 미세한 양자화는 높은 데이터 비율을 낳는다.
통상적으로 파라미터 신호 표시는 낮은 데이터 비율 환경을 필요로 하기 때문에, 복구 파라미터를 양자화하는 것을 될 수 있는 한 거칠게 개략적으로 시도하여 기준 채널에서는 소정의 데이터 량을 가지고, 양자화되고 엔트로피-인코딩된 복구 파라미터를 포함하는 부수 정보에 대해서는 다소 작은 데이터 량을 가지는 신호 표시를 얻게 된다.
따라서, 종래의 방법은 전송될 복구 파라미터를 인코딩될 복구 파라미터로부터 직접 유도한다. 상기한 바와 같은 개략적 양자화는 복구 파라미터 왜곡으로 나타나고, 이것은 양자화된 복구 파라미터가 디코더에서 역 양자화되고 멀티채널 합성을 위해 사용될 경우 라운딩(rounding) 오차를 발생하게 된다. 당연히, 라운딩 오차는 양자화 계단 크기, 즉 선택된 "양자화 거칠음"에 따라 증가한다. 이와 같은 라운딩 오차는 양자화 레벨 변화, 즉 제1 순간에서의 제1 양자화 레벨로부터 나중 순간에서의 제2 양자화 레벨로의 변화를 야기한다. 여기서, 하나의 양자화 레벨 또 하나의 양자화 레벨 사이의 차이는, 바람직하게 거친 양자화 처리에 있어서, 매우 큰 양자화 지수기에 의해 결정된다. 바람직하지 않게, 위와 같은 큰 양자화 계단 크기에 상응하는 양자화 레벨 변화는, 비 양자화 파라미터 값이 2개 양자화 레벨 사이의 중간에 있게 될 때, 단지 파라미터 값의 작은 변화에 의해 유발된다. 위와 같은 양자화 지수 변화가 부수 정보에서 발생한다면, 마찬가지의 큰 변화가 신호 합성 단계에서 발생하는 것은 명백하다. 예를 들어, 채널간 레벨 차를 고려할 때, 그것의 큰 변화는 어떤 하나의 스피커 신호의 소리의 크기(loudness)를 많이 감소시키는 한편 다른 스피커에 대해서는 신호의 라우드니스를 많이 증가시키는 결과를 가져온다. 거친 양자화 과정에서 단 하나의 양자화 레벨 변화에 의해 유발되는 이와 같은 상황은 (가상의) 제1 위치로부터 (가상의) 제2 위치로 음원이 즉각 재배치되는 것으로 감지될 수 있다. 이와 같은 하나의 순간으로부터 다른 순간으로의 음원의 즉시 재배치, 즉 부자연한 소리는 음성, 리듬의 변화 효과로 감지된다. 왜냐하면, 특히 음조 신호의 음원은 그 위치를 매우 빠르게 변화시키지 않기 때문이다.
일반적으로, 전송 오류는 양자화 지수를 크게 변화시킨다. 이것은 데이터 비율 때문에 거친 양자화기를 사용해야 하는 상황에서, 멀티채널 출력 신호의 큰 변화를 유발시킨다.
2(스테레오) 또는 그 이상(멀티채널)의 음성 입력 채널을 파라미터적으로 인코딩하는 최신 기술은 공간 파라미터를 직접적으로 입력 신호로부터 유도하고 있다. 그와 같은 파라미터의 예는 상기한 바와 같이 채널간 레벨 차(ICLD) 또는 채널간 강도 차(IID), 채널간 시간 차(ICTD) 또는 채널간 위상 차(IPD), 및 채널간 긴밀도(ICC)이며, 그 각각은 시간 및 주파수 선택 방식, 즉 주파수 밴드에 대해 그리 고시간의 함수로서 전송된다. 이들 파라미터를 디코더로 전송하기 위해서, 이들 파라미터는 바람직하게 거칠게 양자화되어 부수 정보 데이터 비율을 최저로 유지한다. 결과적으로, 전송된 파라미터 값을 그 원래 값과 비교하였을 때 상당한 라운딩 오차가 발생한다. 이것은 원래 신호에서 하나의 파라미터 값이 부드럽고 점진적으로 변화할지라도, 하나의 양자화된 파라미터 값으로부터 다음 양자화된 파라미터 값까지의 변화가 임계값을 초과하였을 경우, 디코더에서 사용되는 파라미터 값이 급격하게 변화된다는 것을 의미한다. 이들 파라미터 값이 출력 신호의 합성을 위해 사용되기 때문에, 파라미터 값의 급격한 변화는 출력 신호에서 "점프(불연속)" 현상을 야기한다. 이 점프 현상은 (시간 입도 및 파라미터의 양자화 해상도에 따라) "전환" 또는 "변조" 가공물과 같은 신호 형태에 대해 성가신 존재로 지각된다.
미합중국 특허출원 제10/883,538호는 BCC 방식에 관련하여 낮은 해상도의 파라미터 값에서 소정 형태의 신호에 대해 가청 가공물을 피하기 위한 전송된 파라미터 값의 후처리 방법을 설명하고 있다. 합성 처리과정에서의 위와 같은 불연속은 음조 신호에 가공물을 만들게 된다. 따라서, 이 특허출원에서는 디코더 안에서 음조 검출기를 사용할 것을 제안하고 있다. 음조 검출기는 다운-믹스 신호를 분석 및 전송하는 기능을 가진다. 신호에 음조가 있는 것으로 판단될 경우, 전송된 파라미터들에 대해 시간에 대한 평활 동작이 수행된다. 결과적으로, 이와 같은 처리 방식은 음조 신호에 대한 파라미터를 효과적으로 전송하기 위한 수단으로 된다.
그러나, 공간 파라미터의 거친 양자화에 동등하게 민감한, 음조 입력신호 이외의 다른 종류의 입력신호가 존재한다.
● 이 경우에 대한 한가지 예는 2개 위치 사이를 느리게 움직이는 포인트 소스 (예를 들어, 중앙과 좌측 전방 스피커 사이에서 매우 느리게 좌우로 움직이는 잡음 신호)이다. 파라미터 레벨을 거칠게 양자화하는 것은 공간 위치에서 지각할 수 있는 "점프" (불연속)와 음원의 궤도를 만들어낸다. 이들 신호가 디코더에서 음조가 있는 것으로 검출되지 않으므로, 종래 기술의 평활 동작은 명확히 이 경우에 대처하지 못한다.
● 다른 예는 빠르게 움직이는 사인파와 같은 음색을 가진, 신속히 움직이는 포인트 소스이다. 종래 기술의 평활 동작은 이들 성분이 음조가 있는 것으로 검출하고 따라서 평활 동작을 호출한다. 그러나, 이동 속도가 종래 기술의 평활 알고리즘에 알려지지 않기 때문에, 가해지는 평활 시간 상수는 일반적으로 적합하지 않게 되고 따라서 예를 들어 매우 느린 속도로 움직이는 이동 포인트 소스를 재생산하게 되며 원래 계획된 공간 위치와 비교할 때 재생된 공간 위치의 커다란 지연을 발생하게 된다.
본 발명의 목적은 한편으로 낮은 데이터 비율을 허용하고, 다른 한편으로 양호한 주관적 음질을 얻을 수 있는 개선된 음성 신호 처리 방법을 제공하기 위한 것이다.
본 발명의 제1의 양상에 따르면, 위의 목적은 멀티채널 입력 신호를 분석하는 신호 분석기와; 이 신호 분석기에 반응하여 평활 제어 정보를 결정하는 평활 정보 계산기와; 이 평활 정보 계산기는 상기 평활 제어 정보에 반응하여 합성장치 측에 있는 후처리기가, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 평활 제어 정보를 결정하고; 그리고 멀티채널 합성장치 제어 신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 데이터 발생기를 포함하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치에 의해 달성된다.
본 발명의 제2의 양상에 따르면, 위의 목적은 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치로서, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 채널은 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지는 멀티채널 합성장치가: 평활 제어 정보를 가지는 제어 신호를 제공하는 제어 신호 공급기와; 제어 신호에 반응하여 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 후처리기와, 이 후처리기는 후처리된 복구 파라미터의 값 또는 후처리된 양의 값이 양자화 법칙에 따른 양자화를 사용하여 얻을 수 있는 값과 다르게 만드는 것과 같이 하여 후처리된 복구 파라미터 또는 후처리된 양을 결정하고; 그리고 입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 멀티채널 복구기를 포함하는 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치에 의해 달성된다.
본 발명의 또 하나의 양상은 멀티채널 합성기의 제어 신호를 발생하기 위한 방법, 그리고 어떠한 입력 신호, 해당 컴퓨터 프로그램, 또는 멀티채널 합성기 제어 신호로부터 출력신호를 발생하는 방법에 관련된다.
본 발명은 복구된 파라미터를 인코더 측에서 평활 시키면 합성된 멀티채널 출력신호의 음질이 개선된다는 발견에 기초하고 있다. 이와 같은 음질의 실질적 개선은 본 발명의 바람직한 실시예에서, 단지 제한된(작은) 수의 비트를 가지고 디코더로 전송될 수 있는 평활 제어 정보를 결정하는, 부가적인 인코더 측의 처리에 의해 얻어진다.
디코더 측에서, 평활 제어 정보는 평활 동작을 제어하도록 사용된다. 이와 같은 디코더 측의 인코더 관리 파라미터 평활화 동작은 예를 들어 음조/순간 검출에 근거한 디코더 측 파라미터 평활화 대신에 사용될 수 있거나 디코더 측 파라미터 평활화와 조합하여 사용될 수 있다. 이 방법은 소정의 시간 분할에 적용되고, 인코더 측의 신호 분석기에 의해 결정된 평활 신호 정보를 사용하여 전송된 다운 믹스 신호의 소정 주파수 밴드에 대한 신호가 보내진다.
요약하면, 본 발명은 인코더 측에서 제어되는 복구 파라미터의 적응성 평활화 동작이 멀티채널 합성기 내에서 수행된다는 것에 이점이 있다. 이와 같은 동작 수행은 음질의 실질적인 개선 및 작은 양의 부가적인 비트로 나타난다. 양자화에 의한 고유의 품질 저하는 부가적 평활 제어 정보의 사용으로 완화된다. 본 발명의 방법은, 평활 제어 정보로 사용되는 비트가 거친 양자화를 적용함에 의해 줄어들어 양자화된 값을 인코딩하는데 적은 비트를 필요로 하기 때문에, 전송되는 비트의 증가 및 감소 없이 적용될 수 있다. 따라서, 인코딩된 양자화 값과 조합된 평활 제어 정보는, 상기 공개되지 않은 미합중국 특허출원에 설명된 것과 같은 제어 정보의 평활화 동작 없이, 주관적 음질에 대해 동일 레벨 또는 더 높은 레벨을 유지하면서, 동일하거나 작은 비트율의 양자화 값을 필요로 한다.
일반적으로, 멀티채널 합성에 사용된 양자화된 복구 파라미터의 후처리는 한편 거친 양자화 및 다른 한편으로 양자화 레벨 변화에 관련된 문제점들을 감소 또는 제거하도록 동작한다.
종래기술의 시스템에서, 합성기에서의 재 양자화가 한정된 세트의 양자화된 값을 허용하기 때문에, 인코더에서의 작은 파라미터 변화는 디코더에서 큰 파라미터 변화로 나타난다. 본 발명의 장치는 복구 파라미터의 후처리 동작이, 입력 신호의 처리될 시간 분할에 대해 후처리된 복구 파라미터가 인코더에서 채택된 양자화 래스터(raster)에 의해 결정되지 않도록 처리된다.
양자화기가 선형인 경우, 종래기술의 방법은 단지 양자화 계단 크기의 정수배로 되는 역 양자화된 값을 허용하지만, 본 발명의 후처리 방법은 양자화 계단 크기의 비정수 곱으로 될 수 있는 역 양자화된 값을 사용한다. 이것은, 2개의 인접한 양자화 레벨 사이에 놓이는 후처리된 복구 파라미터가 후처리에 의해 얻어지고, 후처리된 복구 파라미터를 사용하는 본 발명의 멀티채널 복구기에서 사용되기 때문에, 양자화 계단 크기의 제한을 완화함을 의미한다.
후처리는 멀티채널 합성기에서 재 양자화 이전이나 이후에 수행될 수 있다. 후처리가 양자화된 파라미터, 즉 양자화 지수를 가지고 수행될 때, 역 양자화기가 필요하다. 역 양자화기는 양자화 계단 크기에 대해서뿐만 아니라 양자화 계단 크기의 배수들 사이에 있는 역 양자화된 값에 대해서도 역 양자화할 수 있다.
후처리가 역 양자화된 복구 파라미터를 사용하여 수행되는 경우, 간단한 역 양자화기가 사용될 수 있으며, 역으로 양자화된 값을 가지고 보간법/필터링/평활화를 실시한다.
대수 양자화 법칙과 같은 비선형 양자화 법칙이 적용되는 경우, 재 양자화 이전에 양자화된 복구 파라미터에 대한 후처리를 수행하는 것이 바람직하다. 그 이유는 대수 양자화 법칙이 낮은 레벨의 소리에 대해 더 정확하고 높은 레벨의 소리에는 덜 정확한, 즉 일종의 대수적 압축인, 사람 귀의 소리 지각 능력과 유사하기 때문이다.
여기서, 본 발명의 장점은 양자화된 파라미터로서 비트 스트림에 포함된 복구 파라미터 그 자체를 수정하는 것에 의해서만 얻어지는 것이 아님을 주목해야 한다. 그 장점들은 복구 파라미터로부터 후처리된 양을 유도하는 것에 의해서도 얻어질 수 있다. 이것은 복구 파라미터가 차이 값 파라미터로 될 때, 그리고 평활화와 같은 조작이 차이 값 파라미터로부터 유도된 절대 파라미터에 대해 수행될 때, 특히 유익하다.
본 발명의 바람직한 실시예에 있어서, 복구 파라미터에 대한 후처리 동작은 한개의 분석기를 통해 제어된다. 분석기는 어떤 신호 특성이 존재하는가를 찾아내기 위해 복구 파라미터에 관련된 신호 분할부분을 분석한다. 하나의 바람직한 실시예에서, 디코더 제어 후처리는 신호의 음조 부분에 대해서만 활성화되거나, 그 음조 부분이 포인트 소스에 의해 발생할 때 단지 느리게 움직이는 포인트 소스에 대해서만 활성화된다. 한편, 후처리는 비음조 부분, 즉 입력 신호의 순간적인 부분 또는 음색을 갖는 바르게 움직이는 포인트 소스에 대해 비활성화된다. 이것은 음성 신호의 순간적 부분에 대해 복구 파라미터 변화의 전체 동태가 전달될 수 있게 하는 한편, 신호의 음조 부분에 대해서는 그렇지 않다.
바람직하게, 후처리기는 복구 파라미터를 평활화하는 것으로서 수정 동작을 수행한다. 이 수정 동작은 음향 심리학적 관점에서 볼 때, 음조가 아닌, 즉 순간적 신호 부분이 특히 중요한, 중요한 공간 위치 검출 큐에 영향을 주지 않는다.
본 발명은 인코더 측에서 수행되는 복구 파라미터의 양자화가 낮은 데이터 비율로 수행되는 간단한 양자화로 가능하고, 이에 따라 시스템 설계자가 하나의 역 양자화된 레벨에서 다른 역 양자화된 레벨로 복구 파라미터가 변화함으로 야기되는 디코더에서의 큰 변화에 대해 두려움을 가지지 않게 된다.
본 발명의 또 하나의 이점은 하나의 재 양자화 레벨로부터 다음 허용된 재 양자화 레벨로의 변화에 의해 야기된 가청 가공물이, 2개의 허용된 재 양자화 레벨 사이의 값으로 맵핑시키는 본 발명의 후처리 과정에 의해 감소하기 때문에 시스템의 품질이 개선된다는 것이다.
당연히, 본 발명의 양자화된 복구 파라미터에 대한 후처리는 인코더 내에서의 파라미터화 및 후속하는 복구 파라미터의 양자화에 의해 발생하는 정보 손실에 더하여 부가적인 정보 손실을 가져온다. 그러나, 이와 같은 정보 손실은 본 발명의 후처리기가 바람직하게, 입력 신호, 즉 기준 채널의 현재 시간 분할부분을 복구하는데 사용될 후처리된 복구 파라미터를 결정하기 위해, 현재 또는 이전의 양자화된 복구 파라미터를 사용하기 때문에 문제가 될 것이 없다. 인코더에서 유발된 오차는 어느 정도 보상될 수 있기 때문에 그 결과는 개선된 주관적 음질로 나타난다. 인코더 측에서 유발된 오차가 복구 파라미터의 후처리에서 보상되지 않을 경우, 복구된 멀티채널 음성 신호에서 발생하는 공간 지각의 큰 변화는 바람직하게 음조 신호 부분에 대해서만 감소한다. 이에 의해 부가적인 정보 손실이 있든 없든 간에 무관하게 주관적인 청취 품질이 개선된다.
이하 본 발명의 양호한 실시예를 첨부 도면을 참조하여 상세히 설명한다.
도 1A는 본 발명의 제1 실시예에 따른 인코더 측 장치와 이에 대응하는 디코더 측 장치를 나타낸 개략도.
도 1B는 본 발명의 더 바람직한 실시예에 따른 인코더 측 장치와 이에 대응하는 디코더 측 장치를 나타낸 개략도.
도 1C는 바람직한 제어 신호 발생기의 블록 다이어그램.
도 2A는 음원의 공간적 위치를 결정하기 위한 방법을 나타낸 도표.
도 2B는 평활 정보에 대한 예로서 평활 시간 상수를 산출하는 방법을 나타낸 플로우챠트.
도 3A는 양자화된 채널 간 강도 차이 및 대응하는 평활 파라미터를 산출하기 위한 장치의 대안적 실시예를 나타낸 개략도.
도 3B는 프레임당 측정된 IID 파라미터와, 프레임당 양자화된 IID 파라미터, 그리고 여러가지 다른 시간 상수에 대해 프레임당 양자화 처리된 IID 파라미터 간의 차이를 나타내는 예시적 도표.
도 3C는 도 3A의 장치에 적용되는 방법의 바람직한 실시예를 나타내는 플로우챠트.
도 4A는 디코더 측 시스템을 나타내는 간략도.
도 4B는 도 1B의 본 발명 멀티채널 합성기에 사용될 후처리기/신호분석기 조합의 간략도.
도 4C는 과거의 신호 부분, 처리될 현재 신호부분, 그리고 미래의 신호부분에 대한 입력 신호 및 관련된 양자화 복구 파라미터의 시간 분할을 나타내는 도표.
도 5는 도 1에 보인 인코더 안내 파라미터 평활 장치의 한가지 실시예를 나타낸 개략도.
도 6A는 도 1에 보인 인코더 관리 파라미터 평활 장치의 또 하나의 실시예를 나타낸 개략도.
도 6B는 인코더 관리 파라미터 평활 장치의 또 하나의 실시예를 나타낸 개략도.
도 7A는 도 1에 보인 인코더 관리 파라미터 평활 장치의 또 한가지 실시예를 나타낸 간략도.
도 7B는 복원 파라미터로부터 유도된 양이 평활 될 수 있음을 보여주는 본 발명에 따른 후처리 될 파라미터들을 나타낸 간략도.
도 8은 간단 맵핑 또는 증강 맵핑을 수행하는 양자화기/역 양자화기의 개략도.
도 9A는 후속 입력 신호부분에 관련된 양자화 복구 파라미터의 예시적인 시간 도표.
도 9B는 평활(저역 필터)기능을 수행하는 후처리기에 의해 후처리된 복구 파라미터의 시간 도표.
도 10은 종래기술의 조인트 스테레오 인코더를 나타낸 개략도.
도 11은 종래기술의 BCC 인코더/디코더 구성을 나타낸 블록도.
도 12는 도 11의 BCC 합성 블록에 대한 상세 구성을 나타낸 블록도.
도 13은 종래기술의 ICLD, ICTD 및 ICC 파라미터를 결정하기 위한 방법을 나타낸 도식도.
도 14는 전송 시스템에서의 송신기 및 수신기를 나타낸 간략도.
도 15는 본 발명의 인코더를 가진 녹음기 및 디코더를 갖는 음성재생기를 나타낸 간략도.
도 1A 및 1B는 본 발명의 멀티채널 인코더/합성기의 구성을 블록도로 나타낸 것이다. 이 후 도 4C를 참고로 설명되겠지만, 디코더 측에 도착하는 신호는 적어도 하나의 입력 채널과 일련의 양자화된 복구 파라미터를 갖는다. 양자화된 복구 파라 미터는 양자화 법칙에 따라 양자화된다. 각각의 복구 파라미터는 입력 채널의 시간 분할에 관련하여, 일련의 시간 분할된 몫이 일련의 양자화된 복구 파라미터와 결합하게 한다. 또한, 도 1A 및 1B에 나타낸 멀티채널 합성기에서 발생한 출력신호는 다수의 합성된 출력 채널을 가지며, 이 출력 채널의 수는 어떤 경우라도 입력신호의 입력 채널 개수보다 크다. 입력 채널의 수가 1인 경우, 즉 단일 입력 채널일 때, 출력 채널의 수는 2 또는 그 이상으로 된다. 그러나, 입력 채널의 수가 2 또는 3인 경우, 출력 채널의 수는 각각 적어도 3 또는 적어도 4로 된다.
바이노럴 큐 인코딩(BCC) 방법에서, 입력 채널의 수는 1 또는 일반적으로 2를 초과하지 않으며, 출력 채널의 수는 5 (좌측 서라운드, 좌측, 중앙, 우측, 우측 서라운드) 또는 6 (5 서라운드 채널에 부가한 1 서브 우퍼 채널)으로 되고, 더 나아가 7.1 채널 또는 9.1 멀티채널 형태를 가진다. 일반적으로 말해서, 출력 소스의 수는 입력 소스의 수보다 더 크게 된다.
도 1A의 왼쪽 편에 멀티채널 합성장치 제어 신호를 발생하기 위한 장치가 도시되어 있다. "평활 파라미터 추출"이라 명명된 블록(1)은 신호 분석기, 평활 정보 계산기 및 데이터 발생기를 포함한다. 도 1C에 나타낸 것과 같이, 신호 분석기(1a)는 입력으로서 오리지널 멀티채널 신호를 수신한다. 신호 분석기는 멀티채널 입력신호를 분석하여 분석 결과를 얻는다. 이 분석 결과는 평활 정보 계산기(1b)로 보내져 신호 분석기의 신호 분석 결과에 반응하여 평활 제어 정보를 결정한다. 특히, 평활 정보 계산기(1b)는 평활 정보를 결정한다. 평활 정보의 결정은, 평활 제어 정보에 반응하여, 디코더 측 파라미터 후처리기가 평활된 파라미터 또는 처리될 입력 신호의 시간 분할에 대한 파라미터로부터 유도한 평활된 양을 발생하는 것으로 이루어지고, 이에 따라 평활된 복구 파라미터의 값 또는 평활된 양은 양자화 법칙에 따라 재 양자화(requantization) 과정을 거쳐 얻어진 값과는 다르다.
더욱이, 도 1A에서 평활 파라미터 추출 장치(1)에 포함된 데이터 발생기는 디코더 제어 신호로서의 평활 제어 정보를 나타내는 제어 신호를 출력한다.
특히, 평활 제어 정보를 나타내는 제어 신호는 평활 마스크, 평활 시간 상수, 또는 디코더 측 평활 동작을 제어하는 어떠한 다른 값이라도 가능하고, 이에 따라 평활된 값에 근거하여 복구된 멀티채널 출력 신호는 평활 되지 않은 값에 근거하여 복구된 멀티채널 출력 신호에 비하여 개선된 품질을 갖게 된다.
평활 마스크는 예를 들어 평활 동작용으로 사용하는 2개 주파수의 "온/오프(on/off)" 상태를 표시하는 플래그로 구성된 신호 정보를 포함한다. 따라서, 평활 마스크는 각 밴드에 대해 1 비트를 갖는 1 프레임에 관련된 벡터로 나타낼 수 있다. 여기서 1 비트는 해당 밴드에 대해 인코더 관리 평활 동작을 활성화할지 아닌지를 제어한다.
도 1A에 나타낸 공간 오디오 인코더는 바람직하게 다운 믹서(3) 및 후속 오디오 인코더(4)를 포함한다. 더욱이, 공간 오디오 인코더는 공간 파라미터 추출 장치(2)를 포함한다. 이 공간 파라미터 추출 장치(2)는 채널간 레벨차(ICLD), 채널간 시간차(ICTD), 채널간 긴밀도(ICC), 채널간 위상차(IPD), 채널간 강도차(IDD) 등과 같은 양자화된 공간 큐들을 출력한다. 이러한 관계에 있어서, 채널간 레벨차는 채널간 강도차와 실질적으로 동일하다.
다운 믹서(3)는 도 11의 다운 믹서(114)와 동일하게 구성될 수 있다. 더욱이, 공간 파라미터 추출 장치(2)는 도 11의 BCC 분석 블록(116)과 동일하게 구현될 수 있다. 그럼에도, 다운 믹서(3)와 공간 파라미터 추출 장치(2)에 대한 대체 실시예들도 본 발명에서 사용될 수 있다.
더욱이, 오디오 인코더(4)는 꼭 필요하지 않다. 그러나, 이 장치는 다운 믹서(3)에서 출력되는 다운 믹스 신호의 데이터 비율이, 전송/저장 매체를 통해 다운 믹스 신호를 전송하기에 너무 높을 때 사용된다.
공간 오디오 디코더는 도 1A에서 인코더 관리 파라미터 평활 장치(9a)를 포함한다. 이 장치(9a)는 멀티채널 업 믹서(12)와 연결된다. 멀티채널 업 믹서(12)의 입력 신호는, 전송/저장된 다운 믹스 신호를 해독하는 오디오 디코더(8)의 출력 신호로 된다.
바람직하게, 본 발명에 따른 입력 신호로부터 출력 신호를 생성하는 멀티채널 합성 장치에서: 그 입력 신호는 적어도 하나의 입력 채널과 일련의 양자화된 복구 파라미터를 가지며, 그 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되는 한편 그 입력신호의 후속하는 시간 분할에 연관되고, 그 출력 신호는 다수의 합성된 출력 채널을 가지며, 그 합성된 출력 채널의 수는 1 또는 입력 채널의 수보다 크게 되고, 이 멀티채널 합성 장치는 평활 제어 정보를 갖는 제어 신호를 제공하는 제어 신호 공급기를 포함한다. 이 제어 신호 공급기는 제어 정보가 파라미터 정보로 다중화된 경우 데이터 스트림 역 다중화기로 구성될 수 있다. 그러나, 평활 제어 정보는 도 1A에서 평활 파라미터 추출 장치(1)로부터 단독 채널을 통해 인코더 관리 파라미터 평활 장치(9a)로 전송된다. 그 단독 채널은 오디오 디코더(8)의 입력측에 연결된 다운 믹스 신호 채널 또는 파라미터 채널(14a)로부터 독립되어 있다.
더욱이, 본 발명에 따른 멀티채널 합성 장치는 "인코더 관리 파라미터 평활 장치(9a)"로 명명된 후처리기를 포함한다. 후처리기는 후처리 된 복구 파라미터 또는 처리될 입력 신호의 시간 분할에 대한 복구 파라미터로부터 유도된 후처리량을 결정하고, 이 후처리기는 후처리된 복구 파라미터 또는 후처리된 양을 결정하도록 동작한다. 이 결정 동작은 후처리된 복구 파라미터 또는 후처리된 양의 값을 양자화 법칙에 따라 재 양자화하여 얻어지는 값과 다르게 만드는 것으로 이루어진다. 후처리된 복구 파라미터 또는 후처리된 양은 후처리기(9a)로부터 멀티채널 업 믹서(12)로 전송된다. 이에 따라 멀티채널 업 믹서 또는 멀티채널 복구기는 입력 채널의 시간분할 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할을 복구하는 복구 동작을 수행한다.
이하, 도 1B에 나타낸 본 발명의 바람직한 실시예에 대해 설명한다. 도 1B는 미합중국 특허출원 제 10/883,538호에 개시된 것과 같이 인코더 관리 파라미터 평활 장치와 디코더 관리 파라미터 평활 장치를 결합한 것이다. 이 실시예에서, 평활 파라미터 추출 장치(1)는 인코더/디코더 제어 플래그(5a)를 발생하고, 이를 결과 결합/스위치 블록(9b)으로 전송한다. 평활 파라미터 추출 장치(1)는 도 1C를 참고로 더 상세히 설명된다.
도 1B에서, 멀티채널 합성기 또는 공간 오디오 디코더는 디코더 관리 파라미 터 평활 장치로 구성되는 복구 파라미터 후처리기(10)와, 멀티채널 업 믹서로 구성되는 멀티채널 복구기(12)를 포함한다. 디코더 관리 파라미터 평활 장치(10)는 입력 신호의 후속 시간 분할들에 대한 양자화되고 인코딩된 복구 파라미터를 수신한다. 이 러한 복구 파라미터 후처리기(10)는 입력 신호의 처리될 시간 분할에 대해 그 출력에서 후처리 된 복구 파라미터를 결정하도록 동작한다. 복구 파라미터 후처리기는 바람직한 실시예로서 저역 통과 필터링 법칙, 평활 법칙 또는 기타 유사한 연산과 같은 후처리 법칙에 따라 동작한다. 특히, 후처리기는 후처리 된 복구 파라미터의 값을 양자화 법칙에 따라 양자화된 복구 파라미터를 재 양자화하여 얻어지는 값과 다르게 되도록 하는 것으로서 후처리 된 복구 파라미터를 결정한다.
멀티채널 복구기(12)는 처리된 입력 채널에 대한 시간 분할과 후처리 된 복구 파라미터를 사용하여 합성 출력 채널 각각에 대한 시간 분할을 복구하는 동작을 수행한다.
본 발명의 바람직한 실시예에서, 양자화된 복구 파라미터는 채널간 레벨차, 채널간 시간차 또는 채널간 긴밀도 또는 채널간 위상차 또는 채널간 강도차와 같은 양자화된 BCC 파라미터이다. 당연히, 인텐시티 스테레오에 대한 스테레오 파라미터 또는 파라메트릭 스테레오에 대한 파라미터와 같은 다른 모든 복구 파라미터들 역시 본 발명에 따라 처리될 수 있다.
라인 5a를 통해 전송된 인코더/디코더 제어 플래그는 스위치 또는 결합 장치(9b)를 제어하여, 디코더 관리 평활 값 또는 인코더 관리 평활 값을 멀티채널 업 믹서(12)로 전송한다.
이하, 도 4C를 참고하여 비트열에 대한 예를 설명한다. 도 4C에서, 비트열은 수 개의 프레임(20a, 20b, 20c, ...)을 포함하며, 각각의 프레임은 도면의 상부 사각형 칸으로 표시된 것과 같은 입력 신호에 대한 시간 분할을 포함한다. 또한, 각 프레임은 도면의 하부 사각형 칸에 표시된 것과 같이 각 시간 분할에 관련된 일단의 양자화된 복구 파라미터를 포함한다. 일 예로, 프레임(20b)은 현재 처리될 입력 신호 부분으로 간주된다. 이 프레임은 처리될 입력 신호 부분의 "과거"를 형성하는 선행 입력 신호 부분을 가진다. 또한, 이 프레임은 처리될 입력 신호 부분의 "미래"를 형성하는 후속 입력 신호 부분을 가진다. 여기서, 처리될 입력 신호 부분은 "현재" 입력 신호 부분으로 불리고, "과거" 입력 신호 부분은 이전 입력 신호 부분으로, "미래" 입력 신호 부분은 이후 입력 신호 부분으로 불린다.
본 발명의 방법은, 잡음과 유사한 특성을 가진 느리게 움직이는 포인트 소스 또는 빠르게 움직이는 사인곡선과 같은 음조를 가진 빨리 움직이는 포인트 소스에서 야기되는 문제 상황을 인코더가 디코더에서 수행되는 평활 동작을 보다 명시적으로 제어하게 함으로써 해결하고 있다.
전술한 바와 같이, 인코더 관리 파라미터 평활 장치(9a) 및 디코더 관리 파라미터 평활 장치(10) 내에서 후처리 동작을 수행하는 바람직한 방법은 주파수-밴드 지향 방식으로 수행되는 평활 동작이다.
더욱이, 디코더 내에서 인코더 관리 파라미터 평활 장치(9a)가 수행하는 후처리 동작을 적극적으로 제어하기 위해, 인코더는 바람직하게 부수 정보의 일부로 되는 시그널링(signalling) 정보를 합성기/디코더로 전달한다. 그러나, 멀티채널 합성기 제어 신호는 파라미터 정보의 부수 정보 또는 다운 믹스 신호 정보의 일부로 되지 않고서도 단독적으로 디코더로 전송될 수 있다.
본 발명의 실시예에서, 이 신호 정보는 평활 동작에서 사용하기 위한 각 주파수 밴드의 "온/오프" 상태를 표시하는 플래그로 구성된다. 이 정보를 효과적으로 전송하기 위해서, 바람직한 실시예에서는 자주 사용되는 형태에 대한 신호를 보내기 위해 극소수의 비트로 된 일단의 "쇼트 커트(short cuts)"를 사용할 수 있다.
이를 위해, 도 1C에서 평활 정보 계산기(1b)는 어떠한 주파수 밴드에서도 평활 동작이 수행되지 않을 것임을 판단한다. 이 정보는 데이터 발생기(1c)에서 발생한 "올 오프(all-off)" 쇼트 커트 신호로 표시되어 보내진다. 특히, "올 오프(all-off)" 쇼트 커트 신호를 나타내는 제어 신호는 소정의 비트 패턴 또는 소정의 플래그로 구성될 수 있다.
더욱이, 평활 정보 계산기(1b)는 모든 주파수 밴드에서 인코더 관리 평활 동작이 수행될 것인지 판단한다. 이를 위해 데이터 발생기(1c)는 "올 온(all-on)" 쇼트 커트 신호를 발생한다. 이것은 모든 주파수 밴드에 평활 동작이 적용된다는 신호이다. 그 제어 신호 역시 소정의 비트 패턴 또는 소정의 플래그로 구성될 수 있다.
더욱이, 신호 분석기(1a)가 하나의 시간 분할로부터 다음 시간 분할까지, 즉 현재 시간 분할로부터 미래 시간 분할까지 신호가 극히 변화하지 않음을 판단하였을 때, 평활 정보 계산기(1b)는 인코더 관리 파라미터 평활 동작에 아무런 변화를 주지 않을 것을 결정한다. 이때, 데이터 발생기(1c)는 "마지막 마스크 반복"이라는 쇼트 커트 신호를 발생하여, 디코더/합성기로 이전 프레임의 처리에서 사용한 것과 같은 동일한 밴드에 대한 온/오프 상태를 평활 동작에서 사용해야 한다는 신호를 보낸다.
바람직한 실시예에서, 신호 분석기(1a)는 움직임 속도를 추정하여 디코더 평활의 효과가 일개 포인트 소스의 공간 이동 속도에 적합하게 되도록 만든다. 이 처리의 결과, 적합한 평활 시간 상수가 평활 정보 계산기(1b)에 의해 결정되고, 데이터 발생기(1c)를 통해 특정의 부수 정보에 의해 디코더로 신호를 보낸다. 바람직한 실시예에서, 데이터 발생기(1c)는 하나의 지수 값을 발생하여 디코더로 전송한다. 이 지수 값은 디코더가 서로 다른 미리 지정된 평활 시간 상수(125 ms, 250 ms, 500 ms, ...와 같은)를 선택할 수 있게 한다. 또 하나의 바람직한 실시예에서, 단지 하나의 시간 상수가 모든 주파수 밴드에 대해 전송된다. 이것은 평활 시간 상수에 관한 시그널링 정보의 양을 감소시키며, 스펙트럼에서 하나의 우세한 움직임 포인트 소스가 빈번하게 발생하는 경우에 대해서는 충분하다. 적합한 평활 시간 상수를 결정하기 위한 처리 방법의 예가 도 2A 및 도 2B에 관련하여 설명된다.
디코더 평활 처리에 대한 명시적인 제어는 디코더 관리 평활 동작에 비해 약간의 부가적인 부수 정보를 필요로 한다. 이 제어가 단지 모든 입력 신호에 대해 특성을 갖도록 소정의 세분을 필요로 하는 것이기 때문에, 양쪽 방법은 바람직하게 하나로 합병되어 "복합 방법"이라고도 불린다. 이것은 평활 동작이, 도 1B의 제어 파라미터 추출 장치(16) 또는 명시적 인코더 제어 동작하에서 수행되는 것과 같이, 디코더에서의 음조/순간 추정에 근거하여 수행될 것인지를 결정하는 1 비트와 같은 시그널링 정보를 전송하는 것에 의해 이루어진다.
이어서, 느리게 움직이는 포인트 소스를 식별하고 디코더로 보내질 적절한 시간 상수를 추정하는 방법의 바람직한 실시예에 대해 설명한다. 모든 추정은 인코더 내에서 수행되며 따라서 신호 파라미터의 비 양자화된 값을 액세스할 수 있다. 디코더 내에서는, 도 1A 및 도 1B의 장치(2)가 데이터 압축을 위해 양자화된 공간 큐를 전송하고 있기 때문에 추정이 불가능하다.
이하, 도 2A 및 도 2B를 참고하여 느리게 움직이는 포인트 소스를 식별하는 방법의 바람직한 실시예를 설명한다. 소정의 주파수 밴드 및 시간 프레임 내에서 어떤 소리 이벤트의 공간 위치가 도 2A에 나타낸 것과 같이 표시되었다. 특히, 각각의 음성 출력 채널에 대해, 단위 길이 벡터 ex 는 통상의 청취 환경에서 대응하는 라우드스피커의 상대적인 배치를 나타낸다. 도 2A에 보인 예에서, 통상의 5-채널 청취 환경은 스피커 L, C, R, Ls, 및 Rs를 사용하고, 그 대응하는 단위 길이 벡터는 eL , eC , eR , eLS , 및 eRS 이다.
소정의 주파수 밴드와 시간 프레임에서 소리 이벤트에 대한 공간 위치는 도 2A의 수식으로 표시한 바와 같이 이들 벡터의 에너지 가중 평균값으로서 계산된다. 도 2A로부터 명백해지는 바와 같이, 각각의 단위 길이 벡터는 소정의 x 좌표와 소정의 y 좌표를 가진다. 단위 길이 벡터의 각 좌표에 대응하는 에너지를 곱하고, x 좌표의 항 및 y 좌표의 항을 합산함에 의해 소정 위치 x, y에서의 소정의 주파수 밴드 및 소정의 시간 프레임에 대한 공간 위치를 구하게 된다.
도 2B의 흐름도에서 단계 40으로 나타낸 것과 같이, 2개의 후속하는 순간에 대한 결정 과정이 수행된다.
다음 단계 41에서, 공간 위치 p1, p2를 갖는 소스가 느리게 움직이는지를 결정한다. 후속하는 공간 위치들 사이의 거리가 미리 결정된 임계치보다 작은 경우, 그 소스는 느리게 움직이는 소스인 것으로 결정된다. 그러나, 변위가 소정의 최대 변위 임계값보다 크게 되는 경우, 소스는 느리게 움직이지 않는 것으로 판단되고, 도 2B의 처리는 종료된다.
도 2A의 식에서 L, C, R, Ls, 및 Rs의 값은 각각 대응하는 채널의 에너지를 나타낸다. 대안적으로, 데시벨(dB)로 측정된 에너지 또한 공간 위치 p를 결정하는데 사용될 수 있다.
단계 42에서, 소스가 포인트 소스 또는 근접 포인트 소스인지를 결정한다. 바람직하게, 상응하는 ICC 파라미터가 0.85와 같은 소정의 최소 임계값을 초과하는 경우 포인트 소스가 검출된다. ICC 파라미터가 미리 결정된 임계값보다 작은 것으로 판단될 경우, 소스는 포인트 소스가 아닌 것으로 결정되고, 도 2B의 처리는 종료된다. 그러나, 소스가 포인트 소스 또는 근접 포인트 소스인 것으로 결정되는 경우, 도 2B의 처리는 단계 43으로 진행한다. 이 단계에서, 바람직하게 파라메트릭 멀티채널 장치의 채널간 레벨차 파라미터가 소정의 감시 간격을 두고 결정되어 다수의 측정이 이루어진다. 감시 간격은 다수의 코딩 프레임 또는 프레임의 연속에 의해 정의되는 것보다 더 높은 시간 해상도에서 일어나는 일단의 관찰로 이루어진다.
단계 44에서, 후속하는 순간에 대한 ICLD 곡선의 기울기가 계산된다. 다음 단계 45에서, 상기 곡선의 기울기에 역으로 비례하는 평활 시간 상수가 선택된다.
단계 45에서, 예를 들어 평활 정보의 평활 시간 상수가 출력되고, 이 평활 시간 상수는 평활 필터로 구성(도 4A 및 도 4B 참조)될 수 있는 디코더 측 평활 장치에서 사용된다. 따라서, 단계 45에서 결정된 평활 시간 상수는 블록(9a)에서 평활을 위해 사용된 디지털 필터의 필터 파라미터를 설정하는 데 사용된다.
도 1B에 관련하여, 인코더 관리 파라미터 평활 장치(9a) 및 디코더 관리 파라미터 평활 장치(10)는 도 4B, 도 5, 또는 도 6A에 나타낸 것과 같은 단일의 장치를 사용하여 구현될 수도 있다. 그 이유는 한편으로 평활 제어 정보 및 다른 한편으로 제어 파라미터 추출 장치(16)에서 출력된 디코더 결정 정보 양자 모두가 본 발명의 바람직한 실시예에서 평활 필터에 작용하여 평활 필터를 활성화하기 때문이다.
단 하나의 통상적 평활 시간 상수가 모든 주파수 밴드에 대한 신호로 보내졌을 경우, 각 밴드에 대한 개별적 결과는 예를 들어 평균화 또는 에너지-가중 평균화 방법으로 전체 결과에 합해진다. 이 경우, 디코더는 동일한 (에너지 가중치) 평균화된 평활 시간 상수를 각 밴드로 공급하고, 따라서 전체 스펙트럼에 단 하나의 평활 시간 상수를 전송하게 된다. 밴드로 보내진 결합한 시간 상수에서 상당한 편차가 발견된 경우, 대응하는 "온/오프" 플래그를 사용하여 이들 밴드에 대한 평활 동작을 디스에이블 시킬 수 있다.
이하, 도 3A, 도 3B, 및 도 3C를 참고하여 인코더 관리 평활 제어를 위한 방 법으로 매 분석 접근 방법에 기초하고 있는 본 발명의 대안적 실시예에 대해 설명한다. 그 방법의 근본원리는, 양자화 및 파라미터 평활에서 얻어지는 소정의 복구 파라미터 (바람직하게 IID/ICLD 파라미터)를 대응하는 비 양자화된(즉, 측정된) (IID/ICLD) 파라미터와 비교하는 것으로 구성된다. 이 처리 과정은 도 3A에 나타낸 간략도에 요약되어 있다. 한편으로 L 또 한편으로 R과 같은 2개의 상이한 멀티채널 입력 채널이 각각의 분석 필터 뱅크로 입력된다. 필터 뱅크 출력은 분할 및 윈도잉 되어 적당한 시간/주파수 표시를 가진다.
따라서, 도 3A의 실시예는 2개의 독립된 분석 필터 뱅크(70a),(70b)로 구성된 분석 필터 뱅크 장치를 포함한다. 당연히, 양 채널을 분석하기 위해 하나의 분석 필터 뱅크 및 저장 장치를 2번 사용할 수도 있다. 다음에, 분할 및 윈도잉 장치(72)에서, 시간 분할이 실행된다. 그 다음, 장치(73)에서 프레임당 ICLD/IID 파라미터 추정이 수행된다. 이어 각 프레임당 파라미터는 양자화기(74)로 전송된다. 따라서, 양자화기(74)의 출력에서 양자화된 파라미터가 얻어진다. 다음에, 양자화된 파라미터는 장치(75)에서 일단의 상이한 시간 상수에 의해서 처리된다. 바람직하게, 기본적으로 장치(75)는 디코더로 보내지는 모든 시간 상수를 사용한다. 마지막으로, 비교 및 선택 장치(76)가 양자화되고 평활화된 IID 파라미터를 원래의(처리되지 않은) IID 파라미터 추정치와 비교한다. 장치(76)는 처리 후와 원래 측정된 IID 값 사이에서 가장 적합한 양자화된 IID 파라미터 및 평활 시간 상수를 출력한다.
다음에, 도 3A의 장치에 대응하는 도 3C의 플로우차트를 참고하여 설명한다. 단계 46을 참조하면, 몇 개의 프레임에 대한 IID 파라미터가 생성된다. 그 다음, 단계 47에서, 이들 IID 파라미터가 양자화된다. 단계 48에서, 양자화된 IID 파라미터는 서로 다른 시간 상수를 사용하여 평활 된다. 그 다음 단계 49에서, 전단계에서 사용된 각 시간 상수에 대해 평활된 파라미터 열과 원래 발생된 파라미터 열 간의 오차를 계산한다. 마지막으로, 단계 50에서 양자화된 파라미터 열이 최소의 오차를 가진 평활 시간 상수와 함께 선택된다. 그 다음, 최적의 시간 상수와 함께 양자화된 파라미터 값의 열이 출력된다.
고급의 장치에 사용하기에 적합한 더 바람직한 실시예에서, 이 처리 방법은 양자화기에서 출력되는 있음직한 IID 값의 레퍼토리로부터 선택된 일단의 양자화된 IID/ICLD 파라미터에 대해서도 수행될 수 있다. 이 경우, 비교 및 선택 절차는 전송된(양자화된) IID 파라미터 및 평활 시간 상수에 대한 다양한 조합에 대해 처리된 IID 파라미터 값과 처리되지 않은 IID 값을 비교하는 단계를 포함한다. 따라서, 단계 47에서 대괄호로 표시한 것과 같이, 제1 실시예와 대비하였을 때, 제2 실시예는 상이한 양자화 법칙 또는 IID 파라미터를 양자화하기 위한 단지 상이한 양자화 스텝 크기를 가진 동일한 양자화 법칙을 사용한다. 그 다음, 단계 51에서, 각각의 양자화 법칙 및 각 시간 상수에 대한 오차를 계산한다. 따라서, 도 3C의 단계 50과 비교하였을 때 단계 52에서 결정될 대상의 수는, 이 실시예에서 제1 실시예와 비교하였을 때 상이한 양자화 법칙의 개수와 동일한 수만큼 더 많다.
다음에, 단계 52에서, 양자화된 값의 열과 적합한 시간 상수에 대해 (1)오차 및 (2)비트율에 관한 2차원적 최적화가 수행된다. 마지막으로, 단계 53에서, 양자 화된 값의 열은 허프만 코드 또는 산술 코드를 사용하여 엔트로피 인코딩된다. 단계 53에서는 마지막으로 디코더 또는 멀티채널 합성기로 전송될 비트 열을 출력한다.
도 3B의 도표는 평활화에 의한 후처리 방법의 효과를 보이기 위한 것이다. 항목 77은 프레임 n에 대해 양자화된 IID 파라미터를 나타내고, 항목 78은 프레임 지수 n+1을 가진 프레임에 대해 양자화된 IID 파라미터를 나타낸다. 양자화된 IID 파라미터(78)는 항목 79로 표시한 프레임당 측정된 IID 파라미터를 양자화하여 얻은 값으로부터 유도되었다. 상이한 시간 상수를 가지고 양자화된 파라미터(77) 및 (78)의 파라미터 열을 평활화하는 것은 (80a) 및 (80b)에서 작은 값의 후처리 된 파라미터 값을 얻어낸다. 후처리된 파라미터(80a)로 나타나는 파라미터 열(77) 및 (78)을 평활화하기 위한 시간 상수는, 후처리된 파라미터(80b)로 나타나는 평활 시간 상수보다 작다. 이 기술 분야에 잘 알려진 것과 같이, 평활 시간 상수는 대응하는 저역 통과 필터 차단 주파수의 역(逆)이다.
도 3C에서 단계 51 내지 53에 관련하여 설명한 실시예는, 오차 및 비트율에 대한 2차원적 최적화를 수행할 수 있고, 상이한 양자화 법칙이 양자화된 값을 나타내기 위해 서로 다른 비트 수를 제공할 수 있기 때문에 매우 바람직하다. 더욱이, 이 실시예는 후처리된 복구 파라미터의 실제 값이 양자화된 복구 파라미터는 물론 처리 방법에 의존하고 있다는 발견에 근거를 두고 있다.
예를 들어, 큰 평활 시간 상수와 함께, 프레임과 프레임에서 (평활된) IID 값의 큰 차이는 처리된 IID가 단지 작은 순수한 결과로 나타나게 한다. 동일한 순 수한 결과는 작은 시간 상수와 비교할 때 IID 파라미터에서 작은 차이 값으로 구성된다. 이와 같은 부가적인 자유도는 (소정의 IID 값으로 전송하는 것이 소정의 대체 IID 파라미터로 전송하는 것보다 비용이 더 많이 소요된다는 사실을 가정할 때) 인코더가 복구된 IID는 물론 최종 비트율 양쪽을 동시에 최적화할 수 있게 한다.
상술한 바와 같이, 평활 동작에 대한 IID 궤도의 효과를 도 3B에 나타내었다. 다양한 평활 시간 상수 값에 대한 IID 궤도를 보여주는 도면에서, 별표는 프레임당 측정된 IID 값을 나타내고, 삼각형은 IID 양자화기의 있음직한 값을 나타낸다. IID 양자화기가 한정된 정밀도를 가진다면, 프레임 n+1에서 별표로 나타낸 IID 값은 구할 수 없다. 가장 가까운 IID 값은 삼각형으로 나타낸 값으로 된다. 도면에 표시된 선분은 여러 가지 평활 시간 상수로부터 기인하는 프레임 간의 IID 궤도를 나타낸다. 선택 알고리즘은 프레임 n+1에 대해 측정된 IID 파라미터에 가장 가깝게 끝나는 IID 궤도를 가져오는 평활 시간 상수를 선택한다.
상기 예들은 모두 IID 파라미터에 관련한 것이다. 기본적으로, 모든 설명된 방법들은 IPD, ITD, 또는 ICC 파라미터에 적용 가능하다.
따라서, 본 발명은 평활 인에이블/디스에이블 마스크 및 평활 제어 신호를 통해 보내진 시간 상수를 사용하는 시스템을 형성하는 인코더 측 처리 및 디코더 측 처리에 관련된다. 더욱이, 주파수 밴드마다 밴드 관련 시그널링이 수행되며, 그 시그널링은 바람직하게 쇼트 커트를 사용하고, 이것은 '모든 밴드 온', '모든 밴드 오프' 또는 '이전 상태의 반복' 쇼트 커트를 포함한다. 더욱이, 모든 밴드에 대해 하나의 공통적인 평활 시간 상수를 사용하는 것이 바람직하다. 더욱이, 부가적이거 나 대안적으로, 복합적 방법을 사용하기 위해 자동 음조-기반 평활 동작을 할 것인지 명시적 인코더 제어 동작을 할지에 대한 신호가 전송될 수 있다.
다음에, 인코더 관리 파라미터 평활 동작에 관련된 디코더 측 장치에 대해 설명한다.
도 4A는 인코더 측(21)과 디코더 측(22)을 보여준다. 인코더에서, N개의 오리지널 입력 채널이 다운 믹서(23)로 입력된다. 다운 믹서는 채널의 수를 예를 들어 1개의 모노 채널 혹은 2개의 스테레오 채널로 감소시킨다. 다운 믹서(23)의 출력에 나타나는 다운 믹싱된 신호는 소스 인코더(24)로 입력되고, 이 소스 인코더는 예를 들어 출력 비트열을 생성하는 MP3 인코더 또는 AAC 인코더로 구현된다. 인코더 측(21)은 파라미터 추출기(25)를 더 포함한다. 파라미터 추출기(25)는 본 발명에 따라 BBC 분석 동작을 수행하고 (도 11의 블록 116), 양자화 및 바람직하게 허프만 코드로 인코딩된 채널간 레벨 차(ICLD)를 출력한다. 소스 인코더(24)의 출력에 나타나는 비트열은 물론 파라미터 추출기(25)에서 출력되는 양자화된 복구 파라미터는 디코더(22)로 전송되거나 디코더 등으로 나중에 전송되도록 저장될 수 있다.
디코더(22)는 소스 디코더(26)를 포함한다. 이 소스 디코더(26)는 수신된 비트열로부터 (소스 인코더 24에서 보냄) 하나의 신호를 복구하도록 동작한다. 이를 위해 소스 디코더(26)는 그 출력에서 입력 신호의 후속 시간 분할들을 업 믹서(12)로 공급한다. 여기서 업 믹서(12)는 도 1에 나타낸 멀티채널 복구기(12)와 동일한 기능을 수행한다. 바람직하게, 그 복구 기능은 도 11의 BCC 합성 블록(122)으로 구 현하는 것과 같은 기능이다.
도 11의 종래 기술에 반해서, 본 발명의 멀티채널 합성 장치는 후처리기(10: 도 4A)를 더 포함한다. 이 후처리기(10)는 "채널간 레벨 차 (ICLD) 평활기"로 칭해지며, 입력 신호 분석기(16)에 의해 제어되고, 바람직하게 입력 신호에 대한 음조 분석을 수행한다.
도 4A에서 알 수 있는 바와 같이, ICLD 평활기로 입력되는 채널간 레벨 차(ICLD)와 같은 복구 파라미터가 존재하는 한편, 파라미터 추출기(25) 및 업 믹서(12) 사이에 부가적인 연결통로가 존재한다. 이와 같은 바이-패스 연결을 통해, 후처리가 필요없는 다른 복구 파라미터가 파라미터 추출기(25)로부터 업 믹서(12)로 공급된다.
도 4B는 신호 분석기(16) 및 ICLD 평활기(10)에 의해 수행되는 신호-적응 복구 파라미터 처리 방법을 설명하기 위한 바람직한 실시예를 나타낸다.
신호 분석기(16)는 음조 결정 장치(16a) 및 후속 임계값 비교장치(16b)로 형성된다. 부가적으로, 도 4A의 복구 파라미터 후처리기(10)는 평활 필터(10a) 및 후처리기 스위치(10b)를 포함한다. 후처리기 스위치(10b)는 임계값 비교장치(16b)에 의해 제어되어 작동한다. 즉 임계값 비교장치(16b)가 음색과 같은 입력신호의 소정 신호 특성이 소정의 특정 임계값에 대해 미리 결정된 관계에 있는 것으로 판단될 때 스위치(10b)가 작동한다. 이 경우의 상황을 상세히 설명하면, 입력 신호에서 어떤 신호 분할의 음조 및 특히 입력 신호에서 소정 시간 분할의 소정 주파수 밴드가 음조 임계값 이상의 음조를 가지는 경우, 스위치(10b)는 도 4B에 나타낸 것과 같이 상부 위치로 놓이도록 작동된다. 이 경우, 스위치(10b)가 작동되면 평활 필터(10a)의 출력이 멀티채널 복구기(12)의 입력으로 연결됨으로써 후처리 된, 단지 역 양자화된 채널간 차이 값들이 디코더/멀티채널 복구기/업 믹서(12)로 공급된다.
그러나, 디코더 제어 장치에서 음조 결정 수단이 입력 신호의 현재 시간 분할에 대한 소정의 주파수 밴드, 즉 처리될 입력 신호 분할의 소정 주파수 밴드가 특정 임계값보다 작은 음조를 가지는 경우, 즉 일시적인 경우, 스위치(10b)는 평활 필터(10a)를 바이패스하도록 작동된다.
후자의 경우에, 평활 필터(10a)에 의한 신호 적응 후처리 과정은 일시적인 신호에 대한 복구 파라미터의 변화가 수정됨이 없이 후처리 단계를 통과하게 하여 일시적인 신호에 대해 높은 확률을 가지는 실제 상황에 대응한 공간 이미지에 관련하여 복구되는 출력 신호가 빠른 변화를 가지게 한다.
도 4B의 실시예에서, 한편으로 후처리 과정을 활성화하고, 다른 한편으로 후처리 과정을 비활성화하는, 즉 후처리를 할 것인지 아닌지에 대한 2진 결정은 단지 그것의 간단하고 효율적인 구성 때문에 본 실시예에 채택한 것임을 이해하여야 한다. 그럼에도, 특별히 음조에 관련하여, 그 신호 특성은 질적인 파라미터로 되는 것뿐만 아니라 통상 0과 1로 될 수 있는 양적인 파라미터이기도 하다. 양적으로 결정된 파라미터에 따라, 평활 필터의 평활도 또는 예를 들어 저역 통과 필터의 컷-오프 주파수는 강한 음조의 신호에 대해 큰 평활이 작용하도록 설정될 수 있다. 반면에, 강하지 않은 음조의 신호에 대해서는 작은 평활도를 가지고 평활 동작이 개시된다.
당연히, 일시적인 부분을 검출하여 미리 한정된 양자화된 값 또는 양자화 지수들 간의 값으로 파라미터의 변화를 과장할 수 있다. 이에 의해, 강한 일시적 신호에 대해, 복구 파라미터에 대한 후처리 동작은 멀티채널 신호의 공간 이미지가 보다 더 과장되어 변화되는 것으로 나타난다. 이 경우, 후속 시간 분할에 대한 후속 복구 파라미터에 의해 지시된 것과 같은 1의 양자화 계단 크기는 예를 들어 1.5, 1.4, 1.3 등으로 증강될 수 있으며, 이에 의해 복구된 멀티채널 신호에 대한 더욱 극적으로 변화하는 공간 이미지를 얻게 된다.
여기서, 음조 신호 특성, 일시적 신호 특성 또는 다른 신호 특성들은 복구 파라미터 후처리기를 제어하기 위해 어떤 신호 분석을 수행할 것인지에 근거한 신호 특성들의 일 예이다. 이러한 제어에 반응하여, 복구 파라미터 후처리기는 한편으로 양자화 지수의 어떤 값 또는 다른 한편으로 미리 결정된 양자화 법칙에 의해 결정된 재 양자화 값과는 다른 하나의 값을 갖는 후처리된 복구 파라미터를 결정한다.
여기서, 복구 파라미터의 후처리는 신호 특성에 의존한다. 즉, 신호 적응 파라미터 후처리 과정은 오로지 선택적이다. 신호 독립적인 후처리 방법 역시 많은 신호에 대해 이점을 제공한다. 소정의 후처리 기능은 예를 들어 사용자에 의해 선택될 수 있다. 이로써 사용자는 증강된 변화 (과장 기능의 경우) 또는 감쇄된 변화 (평탄 기능의 경우)를 얻게 된다. 대안적으로, 어떠한 사용자의 선택과 무관한 그리고 신호 특성에 무관한 후처리 또한 오류 복원성에 관련한 소정의 이점을 제공한다. 특히 양자화기에서 큰 양자화 계단 크기를 사용할 경우, 양자화 지수에 있어서 의 전송 오류는 가청 가공물을 만들게 된다. 이를 방지하기 위해, 신호가 오류가 일어나기 쉬운 채널을 통해 전송되어야 할 경우, 전방 오류 교정 또는 기타 유사한 동작을 수행하게 된다. 본 발명에 따르면, 후처리 동작은 어떠한 비트-비능률적인 오류 교정 코드의 사용을 배제한다. 왜냐하면 과거에 복구 파라미터에 근거한 복구 파라미터의 후처리가 양자화된 복구 파라미터의 전송에 오류가 있는 것으로 검출될 수 있고 또한 그와 같은 오류에 대한 대책이 필요하기 때문이다. 더욱이, 후처리 기능이 평탄 기능인 경우, 이전이나 이후에 복구된 파라미터와 크게 다른 양자화된 복구 파라미터는 이후 설명되는 바와 같이 자동으로 처리된다.
도 5는 도 4A의 복구 파라미터 후처리기(10)의 바람직한 실시예를 나타낸다. 여기서 특히 양자화된 복구 파라미터가 인코딩된 것으로 가정하였다. 인코딩된 양자화 복구 파라미터는 엔트로피 디코더(10c)로 입력된다. 엔트로피 디코더(10c)는 연속된 인코딩 양자화 복구 파라미터들을 출력한다. 엔트로피 디코더(10c)의 출력에서 복구 파라미터가 양자화된다. 이는 복구 파라미터가 어떤 "유용한" 값을 가지지 않는다는 것을 의미하며, 단지 어떤 양자화 지수 또는 후속하는 역 양자화기로 구성되는 어떤 양자화 법칙의 양자화 레벨를 표시함을 의미한다. 조작기(10d)는 예를 들어 필요한 후처리 기능에 의해 결정되는 소정의 필터 특성을 가진 IIR 필터(바람직하게) 또는 FIR 필터와 같은 디지털 필터로 구성될 수 있다. 평활 작용 또는 저역 통과 필터링 작용의 후처리 기능이 바람직하다. 조작기(10d)의 출력에서, 일련의 조작된 양자화 복구 파라미터가 얻어진다. 이들 파라미터는 정수로 될 뿐만 아니라 양자화 법칙에 의해 결정되는 소정 범위 내의 어떠한 실수로 될 수 있다. 그와 같은 조작된 양자화 복구 파라미터는 조작기(10d) 전단의 값 1, 0, 1에 대비하여 1.1, 0.1, 0.5, ...의 값을 가지게 된다. 조작기(10d)의 출력에 나타나는 일련의 값은 증강 역 양자화기(10e)로 입력되어 후처리된 복구 파라미터를 얻게 된다. 이 후처리된 복구 파라미터는 도 1A 및 도 1B의 블록(12)에서 멀티채널 복구(예를 들어, BCC 합성)에 사용될 수 있다.
도 5의 증강 역 양자화기(10e)는 통상의 역 양자화기와는 다르다: 통상의 역 양자화기는 한정된 수의 양자화 지수로부터 각 양자화 입력을 단지 특정한 역 양자화된 출력 값으로 맵핑하기 때문이다. 통상의 역 양자화기는 정수가 아닌 양자화 지수를 맵핑할 수 없다. 따라서, 증강 역 양자화기(10e)는 바람직하게 선형 또는 대수 양자화 법칙과 같은 동일 양자화 법칙을 사용하도록 구현된다. 그러나 증강 역 양자화기는 비정수 입력을 받아들일 수 있으며, 다만 정수 입력을 사용하여 얻을 수 있는 값과 다른 출력 값을 제공한다.
본 발명에 관련해서는, 조작이 재양자화 이전(도 5 참조)에 수행되든지 재양자화 이후(도 6A, 도6B 참조)에 수행되든지 아무 차이가 없다. 후자의 경우에, 역 양자화기는 상술한 바와 같이, 도 5의 증강 역 양자화기(10e)와는 다른 단지 통상의 간단한 역 양자화기로 되어야 한다. 당연히, 도 5와 도 6A 구성의 선택은 실제 구현에 따라 선택하기 나름이다. 본 발명의 구현에서는 현존하는 BCC 알고리즘과의 호환성이 더 좋기 때문에, 도 5의 실시예가 바람직하다. 그럼에도, 이 선택은 다른 응용에 대해서 달라질 수 있다.
도 6B는 도 5의 증강 역 양자화기(10e)가 간단한 역 양자화기(10f) 및 매 퍼(10g)로 대체된 실시예를 보여준다. 여기서, 매퍼(10g)는 선형 또는 바람직하게 비선형 곡선에 따라 맵핑을 수행하기 위한 것이다. 이 매퍼는 수리적 연산 또는 룩업 테이블을 실행하기 위한 회로와 같은 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어 평활기(10h)를 사용하는 데이터 조작은 매퍼(10g)의 전단이나 후단에서, 또는 전단 및 후단에서 수행될 수 있다. 모든 구성요소 (10f), (10h), (10g)가 소프트웨어 루틴 회로와 같은 간단한 구성요소를 사용하여 구현될 수 있기 때문에, 본 실시예는 역 양자화기 영역에서 후처리가 수행될 때 적용하는 것이 바람직하다.
일반적으로, 후처리기(10)는 도 7A에 나타낸 후처리기로 구현된다. 이 후처리기는 현재의 양자화된 복구 파라미터, 미래의 양자화된 복구 파라미터 또는 과거의 양자화된 복구 파라미터들 모두 또는 그중 선택된 것을 수신한다. 후처리기(10)가 단지 적어도 1개의 과거 복구 파라미터와 현재 복구 파라미터를 수신하는 경우, 후처리기는 저역 통과 필터로서 동작한다. 그러나, 후처리기(10)가 미래의 지연된 양자화된 복구 파라미터를 수신하는 경우(소정의 지연을 사용하는 실시간 적용에서 발생함), 후처리기는 미래와 현재 또는 과거 양자화된 복구 파라미터 값 사이의 보간법을 수행하여 예를 들어 소정의 주파수 밴드에 대한 복구 파라미터의 시간 추이를 평활 시킨다.
도 7B는 후처리된 값이 역 양자화된 복구 파라미터로부터 유도되지 않고 역 양자화된 복구 파라미터에서 유도된 값에서 유도되게 하는 실시예를 나타낸다. 유도하기 위한 처리는 유도 수단(700)에 의해 수행된다. 여기서, 유도 수단(700)은 라인 702를 통해 양자화된 복구 파라미터를 수신하거나 라인 704를 통해 역 양자화된 파라미터를 수신할 수 있다. 예를 들어, 양자화된 파라미터로서 하나의 진폭 값을 수신하여도 된다. 이 진폭 값은 에너지값을 계산하기 위해 유도 수단에서 사용된다. 이 에너지값은 후처리(예를 들어, 평활화) 된다. 양자화된 파라미터는 라인 708을 통해 블록(706)으로 보내진다. 따라서, 후처리 동작은, 라인 710으로 나타낸 것과 같이 직접적으로 양자화된 파라미터를 사용하거나, 라인 712로 나타낸 것과 같이 역 양자화된 파라미터를 사용하거나, 라인 714로 나타낸 것과 같이 역 양자화된 파라미터로부터 유도된 값을 사용하여 수행될 수 있다.
상술한 바와 같이, 조악한 양자화 환경에서 양자화 계단 크기에 기인한 가공물을 제거하기 위한 데이터 조작은, 파라메트릭하게 인코딩된 멀티채널 신호에서 기본 채널에 부가된 복구 파라미터로부터 유도된 양에 대해서도 수행될 수 있다. 예를 들어 양자화된 복구 파라미터가 ICLD와 같은 차이 파라미터인 경우, 이 파라미터는 어떠한 수정 없이 역으로 양자화될 수 있다. 다음에, 출력 채널에 대한 절대 레벨 값이 얻어지고 이 절대값에 대한 본 발명의 데이터 조작이 수행된다. 이와 같은 처리는, 양자화된 복구 파라미터와 현재 복구 파라미터 사이의 처리 경로에서 데이터 조작이 수행되는 한 본 발명의 가공물 감소효과로 나타난다. 그 데이터 조작은 후처리된 복구 파라미터의 값 또는 후처리된 양을 양자화 법칙에 따라 재 양자화하여 얻어지는 값과 다르게 만든다. 즉, 양자화 "계단 크기 제한"을 극복하기 위한 조작을 배제한다.
양자화된 복구 파라미터로부터 결과적으로 조작된 양을 유도하기 위한 많은 맵핑 함수가 제안되어 이 분야에서 사용되고 있다. 그 맵핑 함수는 맵핑 법칙에 따라 입력 값을 출력 값에 독특하게 맵핑하여 후처리 되지 않은 양을 얻게 하는 함수를 포함한다. 이 후처리 되지 않은 양은 나중에 처리되어 멀티채널 복구(합성) 알고리즘에 사용되는 후처리된 양을 얻게 된다.
이후, 도 8을 참고하여, 도 5의 증강된 역 양자화기(10e)와 도 6A의 간단한 역 양자화기(10f) 사이의 차이를 설명한다. 도 8의 그래프에서, 수평축은 비 양자화된 값에 대한 입력 값의 축을 나타낸다. 수직축은 양자화 레벨 또는 양자화 지수를 나타내며, 바람직하게 값 0, 1, 2, 3을 갖는 정수로 된다. 여기서, 도 8의 양자화기는 0과 1 또는 1과 2 사이의 어떤 값도 발생하지 않음을 유의해야 한다. 이들 양자화 레벨로의 맵핑은 계단형 함수에 의해 제어되어 예를 들어 -10과 10 사이의 값은 0으로 맵핑되고, 10과 20 사이의 값은 1, 등등으로 양자화된다.
적절한 역 양자화기 함수는 양자화 레벨 0을 역 양자화된 값 0으로 맵핑시키는 것이다. 양자화 레벨 1은 역 양자화된 값 10으로 맵핑된다. 아날로그적으로, 양자화 레벨 2는 예를 들어 역 양자화된 값 20으로 맵핑된다. 따라서, 재 양자화는 도면부호 31로 표시한 역 양자화기 함수에 의해 제어된다. 간단한 역 양자화기에 대해서는 단지 라인 30과 라인 31의 교차점들만이 유효하다. 이것은 도 8의 역 양자화 법칙을 갖는 간단한 역 양자화기에 대해 오로지 0, 10, 20, 30의 값만이 재 양자화 과정에서 얻어질 수 있음을 의미한다.
증강 역 양자화기(10e)에 있어서는, 증강 역 양자화기가 입력으로 0과 1 사이 또는 값 0.5와 같은 1과 2 사이의 값을 수신하기 때문에 위의 동작과는 다르다. 조작기(10d)에서 얻어진 발전한 재 양자화 값 0.5는 역 양자화된 출력 값 5를 얻게 한다. 즉, 양자화 법칙에 따라 재 양자화하여 얻을 수 있는 값과는 다른 값을 가진 후처리된 복구 파라미터를 얻게 된다. 통상의 양자화 법칙이 단지 값 0 또는 10만을 허용하는 반면에, 바람직한 양자화기 함수(31)에 따라 수행되는 바람직한 역 양자화 동작은 다른 값, 즉 도 8에 표시한 것과 같은 값 5로 나타나게 된다.
간단한 역 양자화기가 정수 양자화 레벨을 양자화된 레벨로 맵핑시키고 있을지라도, 증강된 역 양자화기는 비정수 양자화기 "레벨"을 수신하여, 이들 값을 역 양자화 법칙에 의해 결정된 값들 사이에 있는 "역 양자화된 값"으로 맵핑하게 된다.
도 9는 도 5의 실시예에 있어 바람직한 후처리의 결과를 설명하기 위한 것이다. 도 9A는 0과 3 사이에서 변화하고 있는 일련의 양자화된 복구 파라미터를 나타내고, 도 9B는 도 9A의 파형이 저역 통과 (평활) 필터로 입력되었을 경우 나타나는 일련의 후처리된 복구 파라미터를 보인 것이다. 이 후처리된 복구 파라미터는 "수정된 양자화 지수"라고 칭해진다. 여기서, 순간 1, 4, 6, 8, 9, 및 10에서의 증가분/감소분은 도 9B의 파형에서 감소하여 있음을 주목하여야 한다. 또한 가청 가공물일 수 있는 순간 8과 순간 9 사이의 피크가 전체 양자화 단계에서 감쇄되어 있음을 더욱 주목해야 한다. 그러나, 이와 같은 극도의 값이 감쇄되는 것은, 상술한 바와 같이 양적인 음조 값에 따라 후처리 되는 정도에 의해 제어된다.
본 발명의 후처리 동작이 요동을 평활 시키고 순간의 극한값을 평탄하게 하는 것은 본 발명의 이점이다. 이러한 상황은 특히 유사한 에너지를 가진 수개의 채 널로부터의 신호 분할 부분이 신호의 주파수 밴드, 즉 기준 채널 또는 입력 신호 채널에서 중첩되는 경우에 발생한다. 이 주파수 밴드는 시간 분할에 따라서 그리고 순간 상황에 의존하여 매우 큰 변동폭으로 각 출력 채널에 혼합된다. 그러나, 음향심리학적 관점에서 볼 때, 이와 같은 파동은 소스의 위치를 검출하는데 아무런 도움을 주지 못하며 주관적 청취감에 부정적인 영향을 끼치게 되므로 그 변동을 평활 시키는 것이 바람직하다.
본 발명의 바람직한 실시예에 따르면, 시스템의 상이한 공간에서 음질의 손상이 없이 또한 전송된 복구 파라미터의 높은 해상도/양자화 (즉, 높은 데이터 비율) 처리를 필요로 하지 않으면서 가청 가공물을 감소하거나 제거하게 된다. 본 발명은 이 목적을 달성하기 위해 중요한 공간 위치 검출 큐에 영향을 주지 않으면서 파라미터에 대한 신호 적응 수정(평활) 동작을 수행하고 있다.
복구된 출력 신호의 특성에서 갑작스런 변화는 특히, 더욱 높게 일정히 정체된 특성을 갖는 가청 신호에 대해 가청 가공물을 가져온다. 이것은 음조 신호에 관계되는 상황이다. 따라서, 각 신호에 대해 양자화된 복구 파라미터 간에 "보다 평탄한" 변화를 주는 것이 중요하다. 이것은 예를 들어 평활화, 보간법 등에 의해 얻어질 수 있다.
더욱이, 위와 같은 파라미터 값 수정은 다른 가청 신호 타입에 가청 왜곡을 유도할 수 있다. 이것은 그 특성이 빠르게 변화하는 신호에 관계되는 상황이다. 이와 같은 특성은 타악기의 경과음 또는 최초 발음에서 발견될 수 있다. 이 경우, 본 발명의 실시예는 파라미터 평활화를 비활성화한다.
이 동작은 전송된 양자화된 복구 파라미터를 신호 적응 방식으로 후처리 하는 것으로 이루어진다.
신호 적응성은 선형이나 비선형으로 될 수 있다. 적응성이 비선형으로 되는 경우, 임계값 비교 처리가 도 3C에 설명된 바와 같이 수행된다.
적응성을 제어하기 위한 다른 기준은 신호 특성의 정체성을 결정하는 방법이다. 신호 특성의 정체도를 결정하는 한가지 방법은 신호 엔벌로프를 평가하거나, 특히 신호의 음조를 결정하는 것이다. 여기서, 음조는 가청 신호의 모든 주파수 범위 또는 바람직하게 개별적으로 상이한 주파수 밴드에 대해 결정할 수 있음을 주목해야 한다.
이와 같은 실시예는 파라미터 값을 전송하기 위해 데이터 전송률을 증가시키지 않으면서 이제까지 회피할 수 없었던 가청 가공물 감소시키거나 제거할 수 있게 된다.
도 4A 및 도 4B를 참고로 상술한 바와 같이, 본 발명의 바람직한 실시예는, 디코더 제어 모드에서, 고찰되는 신호 분할이 음조 특성을 가진 경우 채널간 레벨 차에 대한 평활화 동작을 수행한다. 인코더에서 계산되고 인코더에서 양자화된 채널간 레벨 차는 디코더로 보내져서 신호 적응 평활화 동작을 수행한다. 적응 구성 요소는 임계값 결정과 연관된 음조 결정이다. 이 결정은 음조 스펙트럼 성분에 대한 채널간 레벨 차에 대한 평활화 동작을 스위치 온(on) 시키고, 상기한 바와 같은 유사 잡음 및 일시적 스펙트럼 성분에 대한 후처리 동작을 스위치 오프(off) 시킨다. 이 실시예에서, 적응적 평활화 알고리즘을 수행하기 위해 인코더에서 부가적인 부수 정보를 필요로 하지 않는다.
여기서, 본 발명의 후처리 방법은 파라메트릭 스테레오, MP3 서라운드, 및 기타 방법과 같은 기타 멀티채널 신호의 파라미터 인코딩 방법에서도 사용될 수 있음을 주목해야 한다.
본 발명의 방법 또는 장치 또는 컴퓨터 프로그램은 몇 가지 장치로 구현되거나 내부에 포함될 수 있다. 도 14는 하나의 전송 시스템을 나타낸 것으로, 본 발명의 인코더를 포함한 송신기와, 본 발명의 디코더를 포함한 수신기로 이루어진 것이다. 전송 채널은 무선으로 되거나 유선 채널로 될 수 있다. 더욱이, 도 15에 나타낸 바와 같이, 인코더를 녹음기에 포함하고, 디코더를 음성 재생기에 포함할 수 있다. 녹음기의 오디오 기록물은 인터넷을 통해, 또는 우편이나 택배 자원 또는 메모리 카드, CD, DVD 등과 같은 기억 매체를 배달하는 기타 수단을 이용하여 배포되는 기록 매체를 통해 음성 재생기로 공급될 수 있다.
본 발명의 방법을 구현하는데 필요한 조건에 따라, 본 발명의 방법은 하드웨어로 또는 소프트웨어로 구현될 수 있다. 그 구현은 디스크 또는 전자적으로 독출가능한 제어 신호를 포함한 CD와 같은 디지털 기억 매체를 사용하여 수행된다. 이와 같은 디지털 기억 매체는 본 발명의 방법이 수행되게 한 프로그램가능한 컴퓨터 시스템과 협동하여 쓰인다. 따라서, 일반적으로 말해서 본 발명은 프로그램 코드가 기계 판독 가능한 캐리어에 저장된 컴퓨터 프로그램 제품이다. 그 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때 적어도 하나의 본 발명의 방법을 수행하도록 구성된다. 다시 말해, 본 발명의 방법은 따라서 컴퓨터 프로그램이 컴퓨터에서 실행될 때 본 발명의 방법을 수행하는 프로그램 코드를 가진 컴퓨터 프로그램이다.
위에서 특정한 실시예들을 참고하여 도시되고 설명되었지만 이 분야에서 숙련된 기술자들은 실시예의 형태 및 세부 사항에 다양한 다른 변경들이 본 발명의 정신과 범위를 벗어나지 않고 이루어질 수 있다는 것을 알아야 한다. 또한 다양한 변경들이 여러 가지 실시예들을 적용하는 데 있어 여기서 설명된 광의의 개념 및 첨부된 청구범위를 벗어나지 않고 이루어질 수 있다는 것을 알아야 한다.

Claims (32)

  1. 멀티채널 합성장치 제어 신호를 발생하기 위한 장치로서,
    멀티채널 입력 신호를 분석하는 신호 분석기;
    상기 신호 분석기에 반응하여 평활 제어 정보를 결정하는 평활 정보 계산기로서, 이 평활 정보 계산기는 상기 평활 제어 정보에 반응하여 합성장치 측에 있는 후처리기가, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 평활 제어 정보를 결정하는 것인 평활 정보 계산기; 및
    멀티채널 합성장치 제어 신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 데이터 발생기를 포함하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  2. 청구항 1에 있어서,
    상기 신호 분석기는 멀티채널 입력 신호의 제1 시간 분할부분으로부터 멀티채널 입력 신호의 나중 제2 시간 분할부분까지 멀티채널 신호 특성의 변화를 분석하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  3. 청구항 1에 있어서,
    상기 신호 분석기는 멀티채널 입력 신호에 대해 밴드와 관련한 분석을 수행하고,
    상기 평활 파라미터 정보 계산기는 밴드에 관한 평활 제어 정보를 결정하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  4. 청구항 3에 있어서,
    상기 데이터 발생기는 각 주파수 밴드에 대해 1개의 비트로 구성된 평활 제어 마스크를 출력하고,
    각 주파수 밴드에 대한 비트는 디코더 측의 후처리기가 평활작용을 수행할 것인지 아닌지를 나타내는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  5. 청구항 3에 있어서,
    상기 데이터 발생기는 평활작용을 수행하지 않을 것임을 나타내는 올-오프 쇼트커트 신호를 발생하거나,
    각 주파수 밴드에서 평활작용을 수행할 것임을 나타내는 올-온 쇼트커트 신호를 발생하거나,
    이전의 시간 분할부분에 대해 합성장치 측의 후처리기가 사용했던 현재 시간 분할부분에 대해 밴드에 관한 상태가 사용될 것임을 나타내는 지난 마스크 반복 신호를 발생하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  6. 청구항 1에 있어서,
    상기 데이터 발생기는 합성장치 측의 후처리기가 데이터 스트림에서 전송된 정보를 사용하여 동작할 것인지 또는 합성장치 측의 신호 분석으로부터 유도된 정보를 사용하여 동작할 것인지를 나타내는 합성장치 활성화 신호를 발생하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  7. 청구항 2에 있어서,
    상기 데이터 발생기는 평활 제어 정보로서, 합성장치 측의 후처리기에 알려진 일단의 값으로부터 소정의 평활 시간 상수를 나타내는 신호를 발생하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  8. 청구항 2에 있어서,
    상기 신호 분석기는 채널간 입력 신호 시간 분할부분에 대한 채널간 긴밀도에 근거하여 포인트 소스가 존재하는지를 결정하고,
    상기 신호 분석기가 포인트 소스의 존재를 판단하였을 때, 상기 평활 정보 계산기 또는 상기 데이터 발생기가 활성화되는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  9. 청구항 1에 있어서,
    상기 평활 정보 계산기는 후속 멀티채널 입력 신호의 시간 분할부분에 대한 포인트 소스의 위치 변화를 계산하고,
    상기 데이터 발생기는 합성장치 측의 후처리기가 평활작용을 하도록 상기 위치 변화가 미리 결정된 임계값 아래에 있다는 것을 나타내는 제어 신호를 출력하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  10. 청구항 2에 있어서,
    상기 신호 분석기는 수개의 순간에 있어 채널간 레벨 차 또는 채널간 강도 차를 발생시키고,
    상기 평활 정보 계산기는 채널간 레벨 차 또는 채널간 강도 차 파라미터의 곡선 기울기에 반비례하는 평활 시간 상수를 계산하는 것을 특징으로 하는 멀티채 널 합성장치 제어 신호를 발생하기 위한 장치.
  11. 청구항 2에 있어서,
    상기 평활 정보 계산기는 수개의 주파수 밴드로 구성된 집단에 대해 단일의 평활 시간 상수를 계산하고,
    상기 데이터 발생기는 상기 수개의 주파수 밴드로 구성된 집단의 하나 또는 그 이상의 밴드에 대해, 합성장치 측의 후처리기가 비활성화되어야 한다는 정보를 표시하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  12. 청구항 1에 있어서,
    상기 평활 정보 계산기는 합성 처리에 의한 분석을 수행하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  13. 청구항 12에 있어서, 상기 평활 정보 계산기는,
    수개의 시간 상수를 계산하고,
    상기 수개의 시간 상수를 이용하여 합성장치 측의 후처리를 시뮬레이트하고,
    후속 프레임에 대한 값으로 표시되고 비 양자화에 의한 해당 값에서 최소의 편차를 보이는 시간 상수를 선택하는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  14. 청구항 12에 있어서,
    평활 시간 상수 및 소정의 양자화 법칙을 가진 여러 가지 다른 테스트 쌍을 발생하고,
    상기 평활 정보 계산기는 양자화 법칙 및 상기 테스트 쌍으로부터의 평활 시간 상수를 이용하여 양자화된 값을 선택하고, 이에 의해 후처리된 값과 비 양자화된 해당 값 사이의 가장 작은 편차를 얻는 것을 특징으로 하는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치.
  15. 멀티채널 합성장치 제어신호를 발생하는 방법으로서:
    멀티채널 입력 신호를 분석하는 단계;
    상기 신호 분석 단계에 반응하여 평활 제어 정보를 결정하는 단계로서, 이 결정 단계는 상기 평활 제어 정보에 반응하여, 후처리 단계가 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 수행되는 것인 평활 제어 정보를 결정하는 단계; 및
    멀티채널 합성장치 제어신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 단계를 포함하는 것으로 이루어진 멀티채널 합성장치 제어신호를 발생하는 방법.
  16. 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치로서, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 채널은 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지며, 상기 합성장치는:
    상기 평활 제어 정보를 가지는 제어 신호를 제공하는 제어 신호 공급기;
    상기 제어 신호에 반응하여 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 후처리기로서, 이 후처리기는 후처리된 복구 파라미터의 값 또는 후처리된 양의 값이 양자화 법칙에 따른 양자화를 사용하여 얻을 수 있는 값과 다르게 만드는 것과 같이 하여 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 것인 후처리기; 및
    입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 멀티채널 복구 기를 포함하는 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치.
  17. 청구항 16에 있어서,
    상기 평활 제어 정보는 평활 시간 상수를 나타내며,
    상기 후처리기는 저역 통과 필터링을 수행하고, 필터 특성은 상기 평활 시간 상수에 반응하여 설정되는 것을 특징으로 하는 멀티채널 합성장치.
  18. 청구항 16에 있어서,
    상기 제어 신호는 적어도 하나의 입력 채널에 대한 다수의 밴드중 각각의 밴드에 대한 평활 제어 정보를 포함하고,
    상기 후처리기는 상기 제어 신호에 반응하여 밴드에 관련하여 후처리를 수행하는 것을 특징으로 하는 멀티채널 합성장치.
  19. 청구항 16에 있어서,
    상기 제어 신호는 각 주파수 밴드에 대해 하나의 비트를 갖는 평활 제어 마스크를 포함하고,
    상기 각 주파수 밴드에 대한 비트는 상기 후처리기가 평활화를 수행할 것인 지 아닌지를 나타내며,
    상기 후처리기는 상기 평활 제어 마스크에 반응하여 상기 주파수 밴드에 대한 비트가 미리 결정된 값을 가질 때만 평활화를 수행하는 것을 특징으로 하는 멀티채널 합성장치.
  20. 청구항 16에 있어서,
    상기 제어 신호는 올-오프 쇼트커트 신호, 올-온 쇼트커트 신호, 또는 지난 마스크 반복 신호를 포함하고,
    상기 후처리기는 상기 올-오프 쇼트커트 신호, 올-온 쇼트커트 신호, 또는 지난 마스크 반복 신호에 반응하여 평활 동작을 수행하는 것을 특징으로 하는 멀티채널 합성장치.
  21. 청구항 16에 있어서,
    상기 데이터 신호는, 후처리기가 데이터 신호에서 전송된 정보를 사용할 것인지 아니면 디코더 측의 신호 분석기로부터 유도된 정보를 사용하여 동작할 것인지를 나타내는 디코더 활성화 신호를 포함하고,
    상기 후처리기는 평활 제어 정보를 사용하거나 또는 상기 제어 신호에 반응하여 디코더 측의 신호 분석에 근거하여 동작하는 것을 특징으로 하는 멀티채널 합 성장치.
  22. 청구항 21에 있어서,
    처리될 입력 신호의 시간 분할부분의 신호 특성을 결정하도록 입력 신호를 분석하기 위한 입력 신호 분석기를 더 포함하고,
    상기 후처리기는 상기 신호 특성에 따라 후처리된 복구 파라미터를 결정하도록 동작하고,
    상기 신호 특성은 처리될 입력 신호의 시간 분할부분에 대한 음조 특성 또는 순간적 특성인 것을 특징으로 하는 멀티채널 합성장치.
  23. 입력 신호로부터 출력 신호를 발생하기 위한 방법으로서, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 신호는 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지며, 상기 입력 신호로부터 출력 신호를 발생하기 위한 방법은:
    상기 평활 제어 정보를 가지는 제어 신호를 제공하는 단계;
    상기 제어 신호에 반응하여, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 단계; 및
    입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 단계를 포함하는 입력 신호로부터 출력 신호를 발생하기 위한 방법.
  24. 멀티채널 입력 신호에 따른 평활 제어 정보를 갖는 멀티채널 합성장치의 제어 신호로서:
    상기 평활 제어 정보는, 평활 제어 정보에 반응하여 합성장치 측의 후처리기가, 양자화 법칙에 따라 양자화하여 얻을 수 있는 값과 다른, 처리될 입력 신호의 시간 분할부분에 대한 복구 파라미터로부터 유도되는 후처리된 복구 파라미터 또는 후처리된 양을 생성하는 것과 같이 되는 멀티채널 합성장치 제어 신호.
  25. 청구항 24에 있어서,
    상기 제어 신호는 기계 판독 가능한 기억 매체에 저장되는 것을 특징으로 하는 멀티채널 합성장치 제어 신호.
  26. 멀티채널 합성장치 제어 신호를 발생하기 위한 장치를 가진 송신기 또는 녹음기로서, 상기 장치는:
    멀티채널 입력 신호를 분석하는 신호 분석기;
    상기 신호 분석기에 반응하여 평활 제어 정보를 결정하는 평활 정보 계산기로서, 이 평활 정보 계산기는 상기 평활 제어 정보에 반응하여 합성장치 측에 있는 후처리기가, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 평활 제어 정보를 결정하는 것인 평활 정보 계산기; 및
    멀티채널 합성장치 제어 신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 데이터 발생기를 포함하는 장치.
  27. 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치를 구비한 수신기 또는 음성 재생기로서, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 채널은 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지며, 상기 수신기는:
    상기 평활 제어 정보를 가지는 제어 신호를 제공하는 제어 신호 공급기;
    상기 제어 신호에 반응하여 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 후처리기로서, 이 후처리기는 후처리된 복구 파라미터의 값 또는 후처리된 양의 값이 양자화 법칙에 따른 양자화를 사용하여 얻을 수 있는 값과 다르게 만드는 것과 같이 하여 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 것인 후처리기; 및
    입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 멀티채널 복구기를 포함하는 수신기.
  28. 송신기 및 수신기를 가진 전송 시스템으로서, 상기 송신기는 멀티채널 합성장치 제어 신호를 발생하기 위한 장치를 구비하고, 이 장치는: 멀티채널 입력 신호를 분석하는 신호 분석기; 상기 신호 분석기에 반응하여 평활 제어 정보를 결정하는 평활 정보 계산기로서, 이 평활 정보 계산기는 상기 평활 제어 정보에 반응하여 합성장치 측에 있는 후처리기가, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 평활 제어 정보를 결정하는 것인 평활 정보 계산기; 및 멀티채널 합성장치 제어 신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 데이터 발생기를 포함하고,
    상기 수신기는 입력 신호로부터 출력 신호를 발생하기 위한 멀티채널 합성장치를 가지며, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 채널은 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지고, 이 수신기는: 상기 평활 제어 정보를 가지는 제어 신호를 제공하는 제어 신호 공급기; 상기 제어 신호에 반응하여 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 후처리기로서, 이 후처리기는 후처리된 복구 파라미터의 값 또는 후처리된 양의 값이 양자화 법칙에 따른 양자화를 사용하여 얻을 수 있는 값과 다르게 만드는 것과 같이 하여 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 것인 후처리기; 및 입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 멀티채널 복구기를 포함하는 것을 특징으로 하는 전송 시스템.
  29. 전송 또는 음성 녹음 방법으로서, 이 방법은 멀티채널 합성장치 제어신호를 발생하는 방법을 가지고, 상기 방법은:
    멀티채널 입력 신호를 분석하는 단계;
    상기 신호 분석 단계에 반응하여 평활 제어 정보를 결정하는 단계로서, 이 결정 단계는 상기 평활 제어 정보에 반응하여, 후처리 단계가 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 수행되는 것인 평활 제어 정보를 결정하는 단계; 및
    멀티채널 합성장치 제어신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 단계를 포함하는 것으로 이루어진 전송 또는 음성 녹음 방법.
  30. 수신 또는 음성 재생 방법으로서, 이 방법은 입력 신호로부터 출력 신호를 발생하기 위한 방법을 포함하고, 이 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 신호는 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지는 것이며, 상기 발생 방법은:
    상기 평활 제어 정보를 가지는 제어 신호를 제공하는 단계;
    상기 제어 신호에 반응하여, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 단계; 및
    입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 단계를 포함하는 것을 특징으로 하는 수신 또는 음성 재생 방법.
  31. 수신 및 전송 방법에 있어서:
    멀티채널 입력 신호를 분석하는 단계; 상기 신호 분석 단계에 반응하여 평활 제어 정보를 결정하는 단계로서, 이 결정 단계는 상기 평활 제어 정보에 반응하여, 후처리 단계가 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 발생하는 것과 같이 수행되는 것인 평활 제어 정보를 결정하는 단계; 및 멀티채널 합성장치 제어신호로서 평활 제어 정보를 나타내는 제어 신호를 발생하는 단계를 포함하는, 멀티채널 합성장치 제어 신호를 발생하는 방법을 가진 전송 방법과,
    입력 신호로부터 출력 신호를 발생하는 방법을 가진 수신 방법을 포함하고,
    상기 입력신호는 적어도 하나의 입력 채널 및 일련의 양자화된 복구 파라미터를 가지고, 이 양자화된 복구 파라미터는 양자화 법칙에 따라 양자화되며 입력 신호의 후속 시간 분할부분에 관련되고, 그 출력신호는 다수의 합성된 출력 채널을 가지고, 합성된 출력 채널의 수는 입력 채널의 수보다 크게 되며, 입력 신호는 그와 관련된 평활 제어 정보를 나타내는 멀티채널 합성장치 제어 신호를 가지며,
    상기 입력 신호로부터 출력 신호를 발생하기 위한 방법은: 상기 평활 제어 정보를 가지는 제어 신호를 제공하는 단계; 상기 제어 신호에 반응하여, 처리될 입력 신호의 시간 분할부분에 관한 복구 파라미터로부터 유도된 후처리된 복구 파라미터 또는 후처리된 양을 결정하는 단계; 및 입력 채널의 시간 분할부분 및 후처리된 복구 파라미터 또는 후처리된 값을 사용하여 합성된 출력 채널의 수에 대한 시간 분할부분을 복구하는 단계를 포함하는 것을 특징으로 하는 수신 및 전송 방법.
  32. 컴퓨터에서 실행될 때, 청구항 15, 23, 29, 30 또는 31의 방법 중 어느 하나에 따른 방법을 수행하는 컴퓨터 프로그램.
KR1020067027364A 2005-04-15 2006-01-19 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법 KR100904542B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US67158205P 2005-04-15 2005-04-15
US60/671,582 2005-04-15
US11/212,395 US7983922B2 (en) 2005-04-15 2005-08-27 Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US11/212,395 2005-08-27

Publications (2)

Publication Number Publication Date
KR20070088329A true KR20070088329A (ko) 2007-08-29
KR100904542B1 KR100904542B1 (ko) 2009-06-25

Family

ID=36274412

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067027364A KR100904542B1 (ko) 2005-04-15 2006-01-19 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법

Country Status (18)

Country Link
US (2) US7983922B2 (ko)
EP (1) EP1738356B1 (ko)
JP (3) JP5511136B2 (ko)
KR (1) KR100904542B1 (ko)
CN (1) CN101816040B (ko)
AU (1) AU2006233504B2 (ko)
BR (1) BRPI0605641B1 (ko)
CA (1) CA2566992C (ko)
ES (1) ES2399058T3 (ko)
HK (1) HK1095195A1 (ko)
IL (1) IL180046A (ko)
MX (1) MXPA06014987A (ko)
MY (1) MY141404A (ko)
NO (1) NO338934B1 (ko)
PL (1) PL1738356T3 (ko)
RU (1) RU2361288C2 (ko)
TW (1) TWI307248B (ko)
WO (1) WO2006108456A1 (ko)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
CA2499967A1 (en) 2002-10-15 2004-04-29 Verance Corporation Media monitoring, management and information system
US9055239B2 (en) 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
RU2391714C2 (ru) * 2004-07-14 2010-06-10 Конинклейке Филипс Электроникс Н.В. Преобразование аудиоканалов
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1905002B1 (en) * 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
WO2007046659A1 (en) 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
WO2007069150A1 (en) * 2005-12-13 2007-06-21 Nxp B.V. Device for and method of processing an audio data stream
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
EP1974347B1 (en) * 2006-01-19 2014-08-06 LG Electronics Inc. Method and apparatus for processing a media signal
US8560303B2 (en) * 2006-02-03 2013-10-15 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
WO2007091850A1 (en) * 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
US7584395B2 (en) * 2006-04-07 2009-09-01 Verigy (Singapore) Pte. Ltd. Systems, methods and apparatus for synthesizing state events for a test data stream
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US9697844B2 (en) * 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8041041B1 (en) * 2006-05-30 2011-10-18 Anyka (Guangzhou) Microelectronics Technology Co., Ltd. Method and system for providing stereo-channel based multi-channel audio coding
US20070299657A1 (en) * 2006-06-21 2007-12-27 Kang George S Method and apparatus for monitoring multichannel voice transmissions
US20080235006A1 (en) * 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
US20100040135A1 (en) * 2006-09-29 2010-02-18 Lg Electronics Inc. Apparatus for processing mix signal and method thereof
CN101529898B (zh) * 2006-10-12 2014-09-17 Lg电子株式会社 用于处理混合信号的装置及其方法
JP4838361B2 (ja) * 2006-11-15 2011-12-14 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及びその装置
WO2008069584A2 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
JP2010516077A (ja) * 2007-01-05 2010-05-13 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
KR101505831B1 (ko) * 2007-10-30 2015-03-26 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치
KR101235830B1 (ko) * 2007-12-06 2013-02-21 한국전자통신연구원 음성코덱의 품질향상장치 및 그 방법
EP2296145B1 (en) 2008-03-10 2019-05-22 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Device and method for manipulating an audio signal having a transient event
US20090243578A1 (en) * 2008-03-31 2009-10-01 Riad Wahby Power Supply with Digital Control Loop
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
EP2169665B1 (en) * 2008-09-25 2018-05-02 LG Electronics Inc. A method and an apparatus for processing a signal
WO2010036059A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
EP2169664A3 (en) * 2008-09-25 2010-04-07 LG Electronics Inc. A method and an apparatus for processing a signal
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010098120A1 (ja) * 2009-02-26 2010-09-02 パナソニック株式会社 チャネル信号生成装置、音響信号符号化装置、音響信号復号装置、音響信号符号化方法及び音響信号復号方法
EP2413314A4 (en) * 2009-03-24 2012-02-01 Huawei Tech Co Ltd METHOD AND DEVICE FOR SWITCHING ON A SIGNAL DELAY
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101599884B1 (ko) * 2009-08-18 2016-03-04 삼성전자주식회사 멀티 채널 오디오 디코딩 방법 및 장치
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9112961B2 (en) * 2009-09-18 2015-08-18 Nec Corporation Audio quality analyzing device, audio quality analyzing method, and program
ES2644520T3 (es) * 2009-09-29 2017-11-29 Dolby International Ab Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia
EP2489040A1 (fr) * 2009-10-16 2012-08-22 France Telecom Decodage parametrique stereo optimise
EP2491551B1 (en) * 2009-10-20 2015-01-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
KR101591704B1 (ko) * 2009-12-04 2016-02-04 삼성전자주식회사 스테레오 신호로부터 보컬 신호를 제거하는 방법 및 장치
EP2357649B1 (en) 2010-01-21 2012-12-19 Electronics and Telecommunications Research Institute Method and apparatus for decoding audio signal
EP2532178A1 (en) * 2010-02-02 2012-12-12 Koninklijke Philips Electronics N.V. Spatial sound reproduction
TWI443646B (zh) 2010-02-18 2014-07-01 Dolby Lab Licensing Corp 音訊解碼器及使用有效降混之解碼方法
PL3779979T3 (pl) 2010-04-13 2024-01-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób dekodowania audio do przetwarzania sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji
CN102314882B (zh) * 2010-06-30 2012-10-17 华为技术有限公司 声音信号通道间延时估计的方法及装置
US20120035940A1 (en) * 2010-08-06 2012-02-09 Samsung Electronics Co., Ltd. Audio signal processing method, encoding apparatus therefor, and decoding apparatus therefor
US8463414B2 (en) * 2010-08-09 2013-06-11 Motorola Mobility Llc Method and apparatus for estimating a parameter for low bit rate stereo transmission
TWI516138B (zh) * 2010-08-24 2016-01-01 杜比國際公司 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
KR101412115B1 (ko) 2010-10-07 2014-06-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비트 스트림 도메인 내의 코딩된 오디오 프레임들의 레벨 추정을 위한 장치 및 방법
FR2966277B1 (fr) * 2010-10-13 2017-03-31 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
US9424852B2 (en) 2011-02-02 2016-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Determining the inter-channel time difference of a multi-channel audio signal
RU2595912C2 (ru) * 2011-05-26 2016-08-27 Конинклейке Филипс Н.В. Аудиосистема и способ для нее
JP5775637B2 (ja) * 2011-08-04 2015-09-09 ドルビー・インターナショナル・アーベー パラメトリック・ステレオを使った改善されたｆｍステレオ電波受信機
US9589550B2 (en) * 2011-09-30 2017-03-07 Harman International Industries, Inc. Methods and systems for measuring and reporting an energy level of a sound component within a sound mix
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
KR101662681B1 (ko) 2012-04-05 2016-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 멀티채널 오디오 인코더 및 멀티채널 오디오 신호 인코딩 방법
WO2013149672A1 (en) * 2012-04-05 2013-10-10 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
JP2015517121A (ja) * 2012-04-05 2015-06-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インターチャネル差分推定方法及び空間オーディオ符号化装置
US9460723B2 (en) * 2012-06-14 2016-10-04 Dolby International Ab Error concealment strategy in a decoding system
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9654527B1 (en) 2012-12-21 2017-05-16 Juniper Networks, Inc. Failure detection manager
AU2014211539B2 (en) * 2013-01-29 2017-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Low-complexity tonality-adaptive audio signal quantization
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
CN103702274B (zh) * 2013-12-27 2015-08-12 三星电子（中国）研发中心 立体环绕声重建方法及装置
EP4089675A1 (en) * 2014-01-08 2022-11-16 Dolby International AB Method and apparatus for improving the coding of side information required for coding a higher order ambisonics representation of a sound field
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
JP2017514345A (ja) 2014-03-13 2017-06-01 ベランス・コーポレイション 埋め込みコードを用いた対話型コンテンツ取得
US10754925B2 (en) 2014-06-04 2020-08-25 Nuance Communications, Inc. NLU training with user corrections to engine annotations
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
WO2016028936A1 (en) 2014-08-20 2016-02-25 Verance Corporation Watermark detection using a multiplicity of predicted patterns
US9747922B2 (en) * 2014-09-19 2017-08-29 Hyundai Motor Company Sound signal processing method, and sound signal processing apparatus and vehicle equipped with the apparatus
EP3225034A4 (en) 2014-11-25 2018-05-02 Verance Corporation Enhanced metadata and content delivery using watermarks
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
US10257567B2 (en) 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements
US10477285B2 (en) 2015-07-20 2019-11-12 Verance Corporation Watermark-based data recovery for content with multiple alternative components
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
WO2017184648A1 (en) 2016-04-18 2017-10-26 Verance Corporation System and method for signaling security and database population
CN107452387B (zh) * 2016-05-31 2019-11-12 华为技术有限公司 一种声道间相位差参数的提取方法及装置
EP3264802A1 (en) 2016-06-30 2018-01-03 Nokia Technologies Oy Spatial audio processing for moving sound sources
US10949602B2 (en) 2016-09-20 2021-03-16 Nuance Communications, Inc. Sequencing medical codes methods and apparatus
US10362423B2 (en) * 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
WO2018237191A1 (en) 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
CN117133297A (zh) * 2017-08-10 2023-11-28 华为技术有限公司 时域立体声参数的编码方法和相关产品
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
GB2571949A (en) * 2018-03-13 2019-09-18 Nokia Technologies Oy Temporal spatial audio parameter smoothing
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
CN114303392A (zh) * 2019-08-30 2022-04-08 杜比实验室特许公司 多声道音频信号的声道标识
CN116438598A (zh) * 2020-10-09 2023-07-14 弗劳恩霍夫应用研究促进协会 使用参数平滑来处理编码音频场景的装置、方法或计算机程序
JP2023549038A (ja) * 2020-10-09 2023-11-22 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン パラメータ変換を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US20230164570A1 (en) * 2021-11-11 2023-05-25 Verizon Patent And Licensing Inc. Systems and methods for mitigating fraud based on geofencing

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001650A (en) * 1989-04-10 1991-03-19 Hughes Aircraft Company Method and apparatus for search and tracking
DE3943881B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
US5267317A (en) * 1991-10-18 1993-11-30 At&T Bell Laboratories Method and apparatus for smoothing pitch-cycle waveforms
FI90477C (fi) * 1992-03-23 1994-02-10 Nokia Mobile Phones Ltd Puhesignaalin laadun parannusmenetelmä lineaarista ennustusta käyttävään koodausjärjestelmään
DE4217276C1 (ko) 1992-05-25 1993-04-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De
US5703999A (en) 1992-05-25 1997-12-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Process for reducing data in the transmission and/or storage of digital signals from several interdependent channels
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
DE4409368A1 (de) 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US5664055A (en) * 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
JP3319677B2 (ja) * 1995-08-08 2002-09-03 三菱電機株式会社 周波数シンセサイザ
US5812971A (en) 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US5815117A (en) * 1997-01-02 1998-09-29 Raytheon Company Digital direction finding receiver
US6345246B1 (en) * 1997-02-05 2002-02-05 Nippon Telegraph And Telephone Corporation Apparatus and method for efficiently coding plural channels of an acoustic signal at low bit rates
DE19716862A1 (de) * 1997-04-22 1998-10-29 Deutsche Telekom Ag Sprachaktivitätserkennung
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
US6249758B1 (en) * 1998-06-30 2001-06-19 Nortel Networks Limited Apparatus and method for coding speech signals by making use of voice/unvoiced characteristics of the speech signals
US6104992A (en) * 1998-08-24 2000-08-15 Conexant Systems, Inc. Adaptive gain reduction to produce fixed codebook target signal
JP4008607B2 (ja) 1999-01-22 2007-11-14 株式会社東芝 音声符号化／復号化方法
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6421454B1 (en) * 1999-05-27 2002-07-16 Litton Systems, Inc. Optical correlator assisted detection of calcifications for breast biopsy
US6718309B1 (en) * 2000-07-26 2004-04-06 Ssi Corporation Continuously variable time scale modification of digital audio signals
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
JP2002208858A (ja) * 2001-01-10 2002-07-26 Matsushita Electric Ind Co Ltd 周波数シンセサイザと周波数生成方法
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US8605911B2 (en) * 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
US7299190B2 (en) 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7110940B2 (en) * 2002-10-30 2006-09-19 Microsoft Corporation Recursive multistage audio processing
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
JP4151020B2 (ja) 2004-02-27 2008-09-17 日本ビクター株式会社 音声信号伝送方法及び音声信号復号化装置
WO2005086139A1 (en) * 2004-03-01 2005-09-15 Dolby Laboratories Licensing Corporation Multichannel audio coding
DE602005011439D1 (de) * 2004-06-21 2009-01-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zum kodieren und dekodieren von mehrkanaltonsignalen
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
ATE521143T1 (de) * 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
TWI313362B (en) 2005-07-28 2009-08-11 Alpha Imaging Technology Corp Image capturing device and its image adjusting method
CA2646961C (en) * 2006-03-28 2013-09-03 Sascha Disch Enhanced method for signal shaping in multi-channel audio reconstruction
EP2491551B1 (en) * 2009-10-20 2015-01-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling

Also Published As

Publication number Publication date
JP2008511849A (ja) 2008-04-17
CA2566992C (en) 2013-12-24
JP5625032B2 (ja) 2014-11-12
KR100904542B1 (ko) 2009-06-25
MY141404A (en) 2010-04-30
IL180046A (en) 2011-07-31
AU2006233504B2 (en) 2008-07-31
US7983922B2 (en) 2011-07-19
BRPI0605641A (pt) 2007-12-18
CA2566992A1 (en) 2006-10-19
ES2399058T3 (es) 2013-03-25
NO20065383L (no) 2007-11-15
IL180046A0 (en) 2007-05-15
TWI307248B (en) 2009-03-01
US20110235810A1 (en) 2011-09-29
RU2006147255A (ru) 2008-07-10
MXPA06014987A (es) 2007-08-03
BRPI0605641B1 (pt) 2020-04-07
EP1738356A1 (en) 2007-01-03
CN101816040B (zh) 2011-12-14
NO338934B1 (no) 2016-10-31
JP5624967B2 (ja) 2014-11-12
AU2006233504A1 (en) 2006-10-19
RU2361288C2 (ru) 2009-07-10
TW200701821A (en) 2007-01-01
JP2013077017A (ja) 2013-04-25
JP5511136B2 (ja) 2014-06-04
US20080002842A1 (en) 2008-01-03
US8532999B2 (en) 2013-09-10
CN101816040A (zh) 2010-08-25
JP2012068651A (ja) 2012-04-05
EP1738356B1 (en) 2012-11-28
HK1095195A1 (en) 2007-04-27
PL1738356T3 (pl) 2013-04-30
WO2006108456A1 (en) 2006-10-19

Similar Documents

Publication Publication Date Title
KR100904542B1 (ko) 멀티채널 합성장치 제어 신호를 발생하기 위한 장치 및방법과 멀티채널 합성을 위한 장치 및 방법
US11430453B2 (en) Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing
US8843378B2 (en) Multi-channel synthesizer and method for generating a multi-channel output signal
US7983424B2 (en) Envelope shaping of decorrelated signals
AU2011200680B2 (en) Temporal Envelope Shaping for Spatial Audio Coding using Frequency Domain Weiner Filtering
RU2639952C2 (ru) Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием
US20090222272A1 (en) Controlling Spatial Audio Coding Parameters as a Function of Auditory Events
AU2012205170B2 (en) Temporal Envelope Shaping for Spatial Audio Coding using Frequency Domain Weiner Filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130524

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140602

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160520

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 11