KR20070098930A - 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성 - Google Patents

근접-투명 또는 투명 멀티-채널 인코더/디코더 구성 Download PDF

Info

Publication number
KR20070098930A
KR20070098930A KR1020077018991A KR20077018991A KR20070098930A KR 20070098930 A KR20070098930 A KR 20070098930A KR 1020077018991 A KR1020077018991 A KR 1020077018991A KR 20077018991 A KR20077018991 A KR 20077018991A KR 20070098930 A KR20070098930 A KR 20070098930A
Authority
KR
South Korea
Prior art keywords
channel
signal
downmix
parameter
parameters
Prior art date
Application number
KR1020077018991A
Other languages
English (en)
Other versions
KR100954179B1 (ko
Inventor
요나스 린드블롬
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20070098930A publication Critical patent/KR20070098930A/ko
Application granted granted Critical
Publication of KR100954179B1 publication Critical patent/KR100954179B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

멀티-채널 인코더/디코더 구성이 바람직하게는 추가적으로 파형-타입 잔류 신호(16)를 발생한다. 이 잔류 신호가 하나 이상의 멀티-채널 파라미터(14)와 더불어 디코더로 전송(18)된다. 순수 파라메트릭 멀티-채널 디코더와는 달리, 이 강화된 디코더는 추가적인 잔류 신호로 인해 향상된 출력 품질을 갖는 멀티-채널 출력 신호를 발생한다.
잔류 신호, 데이터 스트림 형성기, 잔류 인코더, 파라미터 제공기

Description

근접-투명 또는 투명 멀티-채널 인코더/디코더 구성{Near-transparent or transparent multi-channel encoder/decoder scheme}
본 발명은 멀티-채널 코딩 기술에 관한 것으로서, 특히 파라메트릭 멀티-채널 코딩 기술에 관한 것이다.
오늘날, 스테레오 오디오 신호에 포함된 스테레오 리던던시(redundancy) 및 부적합성(irrelevancy)을 활용하는 2개의 기술이 대세이다. 미드-사이드(Mid-Side: M/S) 스테레오 코딩[1]([]내는 참조문헌 번호, 이하 같다)은, 기본적으로 리던던시를 제거하는 목적을 가지며, 2개의 채널이 종종 완전하게 상관화되기 때문에 합(sum)과 그들 2개 신호 간의 차(difference)를 인코딩하는 것이 더 바람직할 수 있다는 사실에 기반을 둔다. (상대적으로) 더 큰 비트 수가 로우 파워(low power) 사이드 (또는 차) 신호 보다는 하이 파워 합 신호에 소모될 수 있다. 한편, 인텐시티 스테레오 코딩(Intensity stereo coding)[2, 3]은 각 서브밴드에서 2개의 신호를 합 신호 및 방위각(azimuth)으로 대체함으로써 부적합성을 제거한다. 디코더에서, 서브밴드 합 신호에 의해 표현되는 가청 이벤트의 공간 위치를 제어하는데 상 기 방위 파라미터가 이용된다. 미드-사이드, 및 인텐시티 스테레오는 양자가 모두 기존의 오디오 코딩 표준들에 널리 사용된다[4].
리던던시 활용을 향한 M/S 접근 방식이 갖는 문제는, 2개의 성분이 위상이 다를 경우에(하나가 다른 하나에 비해 상대적으로 지연되는 경우), M/S 코딩 이득이 사라진다는 것이다. 이는 개념적인 문제인데, 왜냐면 시간 지연(time delay)이 리얼 오디오 신호들에서 빈번하기 때문이다. 예를 들어, 공간 청취(spatial hearing)는 (특히 저 주파수에서) 신호들 간의 시간 차에 많이 의존한다[5]. 오디오 레코딩에서는, 시간 지연이 스테레오 마이크로폰 설정과 인공적인 후 처리(artificial post processing)(음향 효과) 양자 모두로부터 유래한다. 미드-사이드 코딩에서는, 상기 시간 지연 문제에 대해 애드 호크(ad-hoc) 솔루션이 종종 이용된다: M/S 코딩은 차 신호의 파워가 합 신호 파워의 상수 팩터(constant factor)보다 적을 때만 이용된다[1]. 얼라인먼트 문제는 [6]에서 보다 잘 설명되어 있으며, 신호 성분들 중의 하나가 다른 것으로부터 예측된다. 예측 필터들은 인코더에서 프레임 단위(frame-by-frame basis)로 유도되며, 부수 정보로서 전송된다. [7]에서는, 역방향 적응 대안이 고려되었다. 성능 이득(performance gain)은 신호 유형에 꽤 의존적이지만, 어느 유형의 신호들에 대해서는, M/S 스테레오 코딩에 비해 훨씬 큰 이득이 얻어진다.
파라메트릭 스테레오 코딩은 최근에 많은 주목을 받아왔다[8-11]. 코어 모노(싱글 채널)에 근거하는, 그러한 파라메트릭 구성들은 스테레오(멀티-채널) 성분을 추출하여, 상대적으로 저 비트율로 인코딩한다. 이는 인텐시티 스테레오 코딩의 일반화로 볼 수 있다. 파라메트릭 스테레오 코딩 방법은 특히 오디오 코딩의 저비트율 범위의 오디오 코딩에 유용한데, 이때 스테레오 성분에 대한 전체 비트 공급에서 단지 작은 부분만을 소모하는, 상당한 품질 향상이 이루어진다. 파라메트릭 방법들은 또한, 멀티-채널(2 채널 이상) 경우로의 확장성으로 인해 매력적이며, 역방향 호환성을 제공할 수 있다: MP3 서라운드[12]는 그러한 예의 하나로서, 이때는 멀티-채널 데이터가 데이터 스트림의 보조 필드(auxiliary field)에서 인코딩되고 전송된다. 이는 멀티-채널 기능을 갖지 않는 수신기로 하여금 일반적인 스테레오 신호를 디코딩할 수 있게 하며, 반면에 서라운드 기능을 가지는 수신기는 멀티-채널 오디오를 즐길 수 있게 된다. 파라메트릭 방법들은 종종 다른 심리 음향 큐들(psycho acoustical cues), 주로 채널-간 레벨 차(ICLD'S) 및 채널-간 시간 차(ICTD'S)의 추출과 인코딩에 의존한다. [11]에서, 가간섭성(coherence) 파라미터가 자연스러운 음향 결과(natural sounding result)를 위해 중요하다고 보고된다. 그러나, 파라메트릭 방법들은 고비트율에서는 고유한 모형화 제약으로 인해 투명 품질에 도달할 수 없다는 점에서 한계가 있다.
파라메트릭 채널 인코더에 관한 문제는, 획득할 수 있는 최대 품질 값이 임계값(threshold)에 제한되며, 이는 투명 품질 보다 상당히 낮다는 것이다. 파라메트릭 품질 임계값은 도 11의 도면부호 1100으로 나타내었다. BCC 강화 모노 코더(BCC enhanced mono coder; 1102)의 품질/비트율 의존성을 나타내는 도식적인 곡선에서 알 수 있는 바와 같이, 품질은 비트율과는 상관없는 파라메트릭 품질 임계값(1100)을 교차하지 못한다. 이는 증가된 비트율을 가지고서도 그러한 파라메트릭 멀티-채널 인코더의 품질을 더 이상 증가시키지 못한다는 것을 의미한다.
BCC 강화 모노 코더는, 스테레오 다운믹스(stereo-downmix) 또는 멀티-채널 다운믹스가 수행되는, 현존하는 스테레오 코더 또는 멀티-채널 코더에 대한 하나의 예이다. 추가적으로, 파라미터들이 채널-간 레벨 관계(inter channel level relation), 채널-간 시간 관계(inter channel time relation), 채널-간 가간섭성 관계(inter channel coherence relation) 등을 나타내도록 유도된다.
이 파라미터들은, 미드/사이드 인코더의 부수 신호(side signal)와 같은 파형 신호와는 다른데, 이는 샘플 방식(sample-wise) 파형 표현(waveform representation)이 아닌 임의의 파라미터를 제공함으로서 2 개 채널-간의 유사도 또는 비유사도(dissimilarities)를 나타내는 파라메트릭 표현과는 달리, 부수 신호가 파형-스타일 포맷의 2개 채널-간의 차이를 나타내기 때문이다. 파라미터들이 인코더에서 디코더로 전송되기 위해 낮은 비트수를 요구하는 반면에, 파형 기술(waveform-description)들, 즉 파형-스타일로 유도되는 잔류 신호들은 더 높은 비트수를 요구하며 원칙적으로 투명 복원을 가능하게 한다.
도 11은 이와 같은 파형-기반의 종래의 스테레오 코더(1104)의 전형적인 품질/비트율 의존성을 나타낸다. 비트율을 더 증가시키면 미드/사이드 스테레오 코더와 같은 종래의 스테레오 코더의 품질은 투명 품질에 도달할 때까지 더 증가된다는 것이 도 11로부터 명백해진다. 파라메트릭 멀티-채널 코더에 대한 특징 곡선(1102)과 종래의 파형 기반 스테레오 코더의 곡선(1104)이 서로 교차하는 일종의 "크로스오버 비트율(cross-over bitrate)"이 있다.
이 크로스오버 비트율 아래에서는, 파라메트릭 멀티-채널 인코더가 종래의 스테레오 코더 보다 좋다. 두 인코더에 대해서 동일한 비트율을 고려할 경우, 파라메트릭 멀티-채널 코더가 종래의 파형 기반 스테레오 코더 보다 품질 차이(1108)만큼 높은 품질을 제공한다. 다시 말해서, 임의의 품질(1110)을 원할 경우에, 이러한 품질은, 파라메트릭 코더를 이용하여, 종래의 파형 기반 스테레오 코더에 비해 차 비트율(1112) 만큼 감소한 비트율에 의해, 달성될 수 있다.
그러나 크로스오버 비트율 위에서는, 완전히 다른 상황이 이루어진다. 파라메트릭 코더는 자신의 최고 파라메트릭 코더 품질 임계값(1100)에 있기 때문에, 더 좋은 품질은 파라메트릭 코더와 동일한 비트 수를 이용하는 종래의 파형 기반 스테레오를 이용할 때에만 달성될 수 있다.
본 발명은 기존의 멀티-채널 인코딩 구성들에 비해 품질 향상 및 비트율 감소가 이루어지는 인코딩/디코딩 구성을 제공하는 목적을 갖는다.
본 발명의 제1 측면에 따르면, 본 발명의 이러한 목적은 적어도 2개의 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 멀티-채널 인코더에 의해 달성되며, 이 멀티-채널 인코더는: 하나 이상의 파라미터를 제공하는 파라미터 제공기로서, 상기 하나 이상의 파라미터는, 복원 멀티-채널 신호가 상기 멀티-채널 신호로부터 유도된 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 형성될 수 있도록 형성되는 것인, 하나 이상의 파라미터를 제공하는 파라미터 제공기; 상기 잔류 신호를 이용하여 형성될 때의 상기 복원 멀티-채널 신호가 상기 잔류 신호를 이용함 없이 형성될 때 보다 더 상기 오리지널 멀티-채널 신호에 유사하도록, 상기 오리지널 멀티-채널 신호, 상기 하나 이상의 다운믹스 채널, 또는 상기 하나 이상의 파라미터에 근거하여 인코딩된 잔류 신호를 발생하는 잔류 인코더로서, 상기 잔류 인코더는 상기 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 디코딩된 멀티-채널 신호를 발생하는 멀티-채널 디코더; 상기 디코딩된 멀티-채널 신호 및 상기 오리지널 멀티-채널 신호에 근거하여 멀티-채널 에러 신호 표현을 계산하는 에러 계산기; 및 상기 인코딩된 잔류 신호를 얻도록 상기 멀티-채널 에러 신호 표현을 처리하는 잔류 프로세서를 포함하는 것인, 잔류 인코더; 및 상기 인코딩된 잔류 신호 및 상기 하나 이상의 파라미터를 갖는 데이터 스트림을 형성하는 데이터 스트림 형성기를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 이러한 본 발명의 목적은 하나 이상의 다운믹스 채널, 하나 이상의 파라미터, 및 인코딩된 잔류 신호를 갖는 인코딩된 멀티-채널 신호를 디코딩하는 멀티-채널 디코더에 의해 달성되며, 이 멀티-채널 디코더는: 상기 인코딩된 잔류 신호에 근거하여 디코딩된 잔류 신호를 발생하는 잔류 디코더; 및 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 제1 복원 멀티-채널 신호를 발생하는 멀티-채널 디코더를 포함하고, 상기 멀티-채널 디코더는 상기 하나 이상의 다운믹스 채널 및 상기 디코딩된 잔류 신호를 이용하여 제2 복원 멀티-채널 신호를 더 발생하고, 상기 멀티-채널 디코더는 상기 이득 파라미터를 이용하여 상기 다운믹스 채널을 가중하고, 상기 디코딩된 잔류 신호를 가중된 다운믹스 채널에 추가하고 얻어진 채널을 재차 가중하여 상기 제1 복원 멀티-채널 신호를 획득하고, 상기 다운믹스 채널로부터 상기 디코딩된 잔류 신호를 차감하고 나서 상기 이득 파라미터를 이용하여 차감으로부터 얻어진 채널을 가중하거나, 또는 상기 제2 복원 멀티-채널 신호를 획득 시에 상기 다운믹스 채널과 상기 디코딩된 잔류 신호 간의 차를 디얼라인(de-align)하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 이러한 본 발명의 목적은 적어도 2개 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 멀티-채널 인코더에 의해 달성되며, 이 멀티-채널 인코더는: 얼라인먼트 파라미터를 이용하여 상기 적어도 2개 채널의 제1 채널과 제2 채널을 얼라인하는 시간 얼라이너; 상기 얼라인된 채널들을 이용하여 다운믹스 채널을 발생하는 다운믹서; 상기 얼라인된 채널들 간의 차가 이득 값 1에 비해 감소하도록 얼라인된 채널을 가중하기 위한 1이 아닌 이득 파라미터를 계산하는 이득 계산기; 및 상기 다운믹스 채널에 관한 정보, 상기 얼라인먼트 파라미터에 관한 정보, 및 상기 이득 파라미터에 관한 정보를 가지는 데이터 스트림을 형성하는 데이터 스트림 형성기를 포함하는 것을 특징으로 한다.
본 발명의 제4 측면에 따르면, 이러한 본 발명의 목적은 하나 이상의 다운믹스 채널에 관한 정보, 이득 파라미터에 관한 정보, 및 얼라인먼트 파라미터에 관한 정보를 가지는 인코딩된 멀티-채널 신호를 디코딩하는 멀티-채널 디코더에 의해 달성되며, 이 멀티-채널 디코더는: 디코딩된 다운믹스 채널을 발생하는 다운믹스 채널 디코더; 및 상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 처리하여 제1 디코딩된 출력 채널을 획득하고, 상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 처리하고 상기 얼라인먼트 파라미터를 이용하여 디얼라인하여 제2 디코딩된 출력 채널을 획득하는 프로세서를 포함하는 것을 특징으로 한다.
본 발명에 따른 또 다른 측면들은 대응하는 방법들, 데이터 스트림들/파일들 및 컴퓨터 프로그램들을 포함한다.
본 발명은 종래의 파라메트릭 인코더 및 파형 기반 인코더와 관련된 문제들이, 파라메트릭 인코딩 및 파형 기반 인코딩을 결합함으로써 처리된다는, 연구결과에 기반을 두고 있다. 이와 같은 본 발명의 인코더는 제1 강화층(enhancement layer)으로서 인코딩된 파라미터 표현을, 제2 강화층으로서, 바람직하게는 파형-스타일 신호인, 인코딩된 잔류 신호를 갖는 스케일링된 데이터 스트림을 발생한다. 일반적으로, 순수한 파라메트릭 멀티-채널 인코더에서 제공되지 않는 추가적인 잔류 신호는, 특히 도 11의 크로스오버 비트율과 최고 투명 품질 사이에서 달성 가능한 품질을 향상시킨다. 도 11에서 알 수 있는 바와 같이, 크로스오버 비트율 아래에서 조차도, 본 발명의 코더 알고리즘은, 동등한 비트율에서의 품질에 있어서, 순수 파라메트릭 멀티-채널 인코더보다 뛰어나다. 그러나 완전히 파형 기반의 종래 스테레오 인코더와 비교하여, 본 발명의 통합형 파라미터/파형-인코딩/디코딩 구성은 훨씬 더 비트 효율적(bit-efficient)이다. 다시 말해서, 본 발명의 장치들은 파라메트릭 인코딩과 파형 기반 인코딩의 장점을 최적으로 통합하고, 그럼으로써, 크로스오버 비트율 이상에서 조차도, 본 발명의 코더는 파라메트릭 컨셉으로부터의 장점을 취하면서, 순수 파라메트릭 코더를 능가하게 된다.
임의의 실시예들에 따르면, 본 발명의 이점들은 종래 기술의 파라메트릭 코더 또는 기존의 파형 기반 멀티-채널 인코더를 다소간 능가한다. 보다 진보된 실시예들은 보다 좋은 품질/비트율 특성을 제공하며, 본 발명의 저-레벨(low-level) 실시예들은 인코더/디코더측에서 낮은 프로세싱 파워를 요구하더라도, 추가적으로 인코딩된 잔류 신호들로 인해, 순수 파라메트릭 인코더 보다는 더 좋은 품질을 제공하게 되며, 이는 순수 파라메트릭 인코더의 품질이 도 11의 임계값 품질(1100)에 의해 제한되기 때문이다.
본 발명의 인코딩/디코딩 구성은 순수 파라메트릭 인코딩으로부터 파형-근사(waveform-approximating) 또는 완전한 파형-투명 코딩으로 균일하게 이동한다는 이점이 있다.
바람직하게는, 파라메트릭 스테레오 코딩 및 미드/사이드 스테레오 코딩이, 투명 품질로 수렴하는 능력을 갖춘 구성으로 통합된다. 이러한 바람직한 미드/사이드 스테레오-관련 구성에서, 신호 성분들 간의 상관화, 즉, 좌측 및 우측 채널이 보다 더 효율적으로 이용된다.
일반적으로, 본 발명의 개념은 파라메트릭 멀티-채널 인코더에 대한 여러 개의 실시예에 적용될 수 있다. 하나의 실시예에서, 잔류 신호가 인코더에서 또한 이용가능한 파라미터 정보를 이용하지 않고, 오리지널 신호로부터 유도된다. 이 실시예는 프로세싱 파워 및, 대략 프로세서의 에너지 소비가 문제가 되는 상황에서 바람직하다. 그러한 상황은 이동전화, 팜탑(palm top) 컴퓨터 등과 같이 제한된 파워 능력을 갖는 핸드-헬드(hand-held) 장치들에서 발생할 수 있다. 잔류 신호는 오로지 오리지널 신호로부터 유도되며, 다운믹스 또는 파라미터들에 의존하지 않는다. 따라서, 디코더측에서는, 다운믹스 채널 및 파라미터들을 이용하여 발생된 제1 복원 멀티-채널 신호가 제2 복원 멀티-채널 신호를 발생하는데 이용되지 않는다.
그럼에도 불구하고, 한편으로는 파라미터들에 얼마간의 리던던시가 있고, 다른 한편으로는 잔류 신호가 있다. 리던던시-감소는 다른 인코더/디코더 시스템들에 의해 얻어질 수 있는데, 이들은 인코딩된 잔류 신호를 계산하기 위해, 디코더에서 이용가능한 파라미터 정보를 이용하고, 또한 선택적으로 역시 디코더에서, 이용가능한 다운믹스 채널을 또한 이용한다.
임의의 상황에 따르면, 잔류 인코더는, 다운믹스 채널 및 파라미터 정보를 이용하여 완전히 복원된 멀티-채널 신호를 계산하는 합성 장치에 의한 분석일 수 있다. 이어, 복원된 신호에 근거하여, 각 신호에 대한 차 신호가 멀티-채널 에러 표현이 얻어지도록 발생될 수 있으며, 이는 다른 방식들로 처리될 수 있다. 하나의 방식은 또 다른 파라메트릭 멀티-채널 인코딩 구성을 멀티-채널 에러 표현에 적용하는 것일 수 있다. 또 다른 방식은 멀티-채널 에러 표현을 다운믹싱하기 위한 맥트릭싱(matrixing) 구성을 수행하는 것일 수 있다. 또 다른 방식은 좌측 및 우측 서라운드 채널로부터 에러 신호들을 삭제하고 단지 중앙 채널 에러 신호만을 인코딩하거나, 추가적으로, 좌측 채널 에러 신호 및 우측 채널 에러 신호를 인코딩하는 것이다.
따라서, 에러 표현을 기반으로 하는 잔류 프로세서를 구현하기 위한 많은 가능성들이 존재한다.
상술한 실시예는 잔류 신호를 스케일러블 인코딩(scalably encoding)하기 위한 높은 유연성을 허용한다. 그러나 이는 완전한 멀티-채널 복원이 인코더에서 수행되고, 멀티-채널 신호의 각 신호에 대한 에러 표현이 발생되어 잔류 프로세서로 입력되기 때문에 매우 프로세싱 파워 소모적이다. 디코더측에서는, 우선적으로 제1 복원 멀티-채널 신호를 계산하고 나서, 에러 신호의 어느 표현인 디코딩된 잔류 신호에 근거하여, 제2 복원 신호가 발생되어야 한다. 따라서, 제1 복원 신호가 출력되는지 여부와는 상관없이, 그것이 디코더측에서 계산되어야 한다.
본 발명의 또 다른 실시예에서는, 인코더측에서의 합성 접근에 의한 분석과 제1 복원 멀티-채널 신호의 계산이, 제1 복원 멀티-채널 신호가 출력되는지 여부와는 상관없이, 잔류 신호의 직송 인코더측 계산에 의해 대체된다. 이는 가중된 오리지널 채널에 근거하는데, 이는 멀티-채널 파라미터에 의존하거나 얼라인먼트 파라미터(alignment parameter)에 의존하는, 일종의 수정된 다운믹스(down-mix)에 근거하는 것이다. 이러한 구성에서는, 추가적인 정보, 즉 잔류 신호가 하나 이상의 다운믹스 채널을 이용하지 않고, 파라미터들 및 오리지널 채널들을 이용하여 비반복적(non-iteratively)으로 계산된다.
이러한 구성은 인코더 및 디코더측에서 매우 효율적이다. 잔류 신호가 전송되지 않거나 대역폭 요건으로 인해 스케일러블(scaleable) 데이터 스트림으로부터 스트립(strip)되었을 경우에, 본 발명의 디코더는, 다운믹스 채널 및 이득과 얼라인먼트 파라미터들에 근거하여, 자동적으로 제1 복원 멀티-채널 신호를 발생하고, 반면에 제로가 아닌 잔류 신호가 입력될 경우에는, 멀티-채널 복원기는 제1 복원 멀티-채널 신호를 계산하지 않고 제2 복원 멀티-채널 신호만을 계산한다. 따라서, 이러한 인코더/디코더 구성은 인코더측뿐만 아니라 디코더측에서도 매우 효율적인 계산이 이루어지고, 잔류 신호에서의 리던던시를 감소시키는 파라미터 표현을 사용함으로써 프로세싱 파워와 비트율이 매우 효율적인 인코딩/디코딩 구성이 달성한다는 장점을 갖게 된다.
본 발명의 바람직한 실시예들이 첨부된 도면을 참조하여 보다 상세하게 설명된다.
도 1은 본 발명의 멀티-채널 인코더의 일반적인 표현에 대한 블록도이다.
도 2는 멀티-채널 디코더의 일반적인 표현에 대한 블록도이다.
도 3은 낮은 프로세싱 파워를 가지는 인코더측 실시예를 나타내는 블록도이다.
도 4는 도 3의 인코더 시스템에 대한 디코더 실시예의 블록도이다.
도 5는 분석-합성 기반(analysis-by-synthesis-based) 인코더 실시예에 대한 블록도이다.
도 6은 도 5의 인코더 실시예에 대응하는 디코더 실시예에 대한 블록도이다.
도 7은 인코딩된 잔류 신호에서 감소된 리던던시를 갖는 직송(straight-forward)의 인코더 실시예의 일반적인 블록도이다.
도 8은 도 7의 인코더에 대응하는 디코더의 바람직한 실시예이다.
도 9a는 도 7 및 8의 컨셉에 근거하는 인코더/디코더 구성의 바람직한 실시예를 나타낸다.
도 9b는 도 9a의 바람직한 실시예로서, 잔류 신호가 전송되지 않고 얼라인먼트 및 이득 파라미터들만 전송되는 경우를 나타내는 도면이다.
도 9c는 도 9a 및 도 9b에서 인코더측에서 이용된 식(equation) 세트를 나타낸다.
도 9d는 도 9a 및 도 9b에서 디코더측에서 이용된 식 세트를 나타낸다.
도 10은 도 9a 내지 도 9d 구성의 분석 필터뱅크/합성 필터뱅크 기반 실시예를 나타낸다.
도 11은 파라메트릭의 전형적인 성능과 기존 파형 기반 인코더 및 본 발명의 향상된 인코더의 비교를 나타낸다.
도 1은 적어도 2개의 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 멀티-채널 인코더의 바람직한 실시예를 나타낸다. 스테레오 환경에서, 제1 채널은 좌측채널(10a)일 수 있고, 제2 채널은 우측채널(10b)일 수 있다. 본 발명의 실시예들이 스테레오 구성의 구문으로 설명되었지만, 멀티-채널 구성에 대한 확장이 용이하며, 예를 들어 5개 채널을 갖는 멀티-채널은 제1 채널과 제2채널에 대한 여러 개의 쌍을 갖는 것이기 때문이다. 5.1 서라운드 구성의 구문에서, 제1채널은 전방 좌측 채널일 수 있고, 제2 채널은 전방 우측 채널일 수 있다. 대안적으로, 제1 채널은 전방 좌측 채널일 수 있고, 제2 채널은 중앙 채널일 수 있다. 대안적으로 제1 채널은 중앙 채널일 수 있고, 제2 채널은 전방 우측 채널일 수 있다. 대안적으로, 제1 채널은 후방 좌측 채널(우측 서라운드 채널)일 수 있고, 제2 채널은 후방 우측 채널(우측 서라운드 채널)일 수 있다.
본 발명의 인코더는 하나 이상의 다운믹스 채널을 발생하는 다운믹서(down-mixer; 12)를 포함할 수 있다. 스테레오 환경에서는, 다운믹서(12)가 싱글 다운믹스 채널을 발생할 수 있다. 그러나 멀티-채널 환경에서는, 다운믹서(12)가 여러 개의 다운믹스 채널을 발생할 수 있다. 5.1 멀티-채널 환경에서는, 다운믹서(13)가 바람직하게는 2개의 다운믹스 채널을 발생한다. 일반적으로, 다운믹스 채널의 수는 오리지널 멀티-채널 신호의 채널 수 보다 작다.
본 발명의 멀티-채널 인코더는 또한 하나 이상의 파라미터를 제공하는 파라미터 제공기(14)를 포함하며, 이 하나 이상의 파라미터는, 복원 멀티-채널 신호가 멀티-채널 신호 및 하나 이상의 파라미터로부터 유도된 하나 이상의 다운믹스 채널을 이용하여 형성될 수 있도록, 형성된 것이다.
중요한 것은, 본 발명의 멀티-채널 인코더는 인코딩된 잔류 신호를 발생하는 잔류 인코더(16)를 더 포함한다는 것이다. 인코딩된 잔류 신호는 오리지널 멀티-채널 신호, 하나 이상의 다운믹스 채널, 또는 하나 이상의 파라미터에 근거하여 발생된다. 일반적으로, 인코딩된 잔류 신호는, 잔류 신호를 이용하여 형성되는 경우의 복원된 멀티-채널 신호가 잔류 신호 없이 형성되는 경우보다 오리지널 멀티-채널 신호에 더 유사하도록, 발생된다. 따라서, 인코딩된 잔류 신호는 디코더로 하여금 도 11에 도시된 파라메트릭 품질 임계값(1100) 보다 고품질을 갖는 복원 멀티-채널 신호를 발생할 수 있게 한다. 하나 이상의 파라미터 및 인코딩된 잔류 신호는 데이터 스트림 형성기(18)로 입력되며, 데이터 스트림 형성기(18)는 잔류 신호 및 하나 이상의 파라미터를 갖는 데이터 스트림을 형성한다. 바람직하게는, 데이터 스트림 형성기(18)로부터 출력되는 데이터 스트림은, 하나 이상의 파라미터에 관한 정보를 포함하는 제1 강화층 및 인코딩된 잔류 신호에 관한 정보를 포함하는 제2 강화층을 가지는, 스케일링된 데이터 스트림이다. 당업계에 공지된 바와 같이, 순수 파라메트릭 디코더와 같은 저 레벨 장치가 단지 제2 강화층을 무시함으로써 스케일링된 데이터 스트림을 디코딩할 수 있도록, 스케일링된 데이터 스트림에서의 다른 스케일링 층은 개별적으로 디코딩될 수 있다.
본 발명의 하나의 실시예에서, 스케일링된 데이터 스트림은, 베이스층(base layer)으로서 하나 이상의 다운믹스 채널을 더 포함한다. 그러나 본 발명은 또한 사용자가 이미 다운믹스 채널을 소유하고 있는 환경에도 적용될 수 있다. 이러한 상황은 다운믹스 채널이, 사용자가 제1 강화층 및 제2 강화층의 수신보다 앞서서 다른 전송 채널을 통하거나 동일한 전송 채널을 통해 이미 수신했던, 모노 또는 스테레오 신호일 경우에 발생할 수 있다. 다운믹스 채널(들)과 제1 및 제2 강화층의 개별 전송이 있을 경우에, 인코더는 꼭 다운믹서(12)를 포함할 필요는 없다. 이러한 상황은 다운믹서 블록을 점선으로 표시하여 나타내었다.
추가적으로, 파라미터 제공기(14)가 반드시 제1 및 제2 오리지널 채널에 근거하여 파라미터들을 계산할 필요는 없다. 임의 채널 신호가 이미 존재하는 경우들 에서는, 이미 발생된 파라미터들을 도 1의 인코더에 제공함으로써, 이들 파라미터들이 데이터 스트림 형성기(18) 및 잔류 인코더에 공급되어, 잔류 신호의 계산에 선택적으로 이용되고, 스케일링된 데이터 스트림으로 도입되도록 하는 것으로 충분하다. 그러나 바람직하게는, 잔류 인코더는 선택적으로 연결선(19)에 의해 나타낸 바와 같이 파라미터들을 사용한다.
본 발명의 바람직한 실시예에서, 잔류 인코더(16)가 개별적인 비트율 제어 입력에 의해 제어될 수 있다. 이러한 경우에서는, 제어가능한 양자화 단계 사이즈를 가지는 양자화기(quantizer)와 같은, 임의의 손실 인코더를 포함한다. 비트율 제어 입력을 통해 큰 양자화 단계 사이즈가 신호될 경우에는, 인코딩된 잔류 신호가, 비트율 제어 입력을 통해 작은 양자와 단계 사이즈가 신호되는 경우에 비해, 더 작은 값 범위(양자화기에 의해 가장 큰 양자화 지수가 출력됨)를 가질 것이다. 큰 양자화 단계 사이즈는 인코딩된 잔류 신호에 대하여 더 낮은 비트를 요구하며, 그럼으로써, 잔류 인코더(16) 내의 양자화기가, 더 많은 비트를 필요로 하는 인코딩된 잔류 신호의 결과를 낳는 더 작은 양자화 단계 사이즈를 가지는 경우에 비해, 축소된 비트율을 갖는 스케일링된 데이터 스트림을 가져온다.
엄격하게 말해서, 위의 언급은 스칼라(scalar) 양자화에 적용된다. 그러나 일반적으로 말하자면, 벡터(vector) 양자화 기술에 기반을 둔 제어가능한 해상도를 갖는 인코더를 사용하는 것이 바람직하다. 이 해상도가 높을 경우에는, 해상도가 낮을 경우에 비해, 잔류 신호를 인코딩하는데 더 많은 비트가 요구된다.
도 2는 본 발명의 멀티-채널 디코더의 바람직한 실시예를 나타내며, 이는 도 1의 인코더와 연결되어 사용될 수 있는 것이다. 특히, 도 2는 하나 이상의 다운믹스 채널, 하나 이상의 파라미터 및 인코딩된 잔류 신호를 갖는 인코딩된 멀티-채널 신호를 디코딩하는 멀티-채널 디코더를 나타낸다. 이러한 모든 정보, 즉 다운믹스 채널, 파라미터들 및 인코딩된 잔류 신호들은, 데이터 스트림 파서(parser)로 입력된 스케일링된 데이터 스트림(20)에 포함되며, 데이터 스트림 파서는 스케일링된 데이터 스트림(20)으로부터 인코딩된 잔류 신호를 추출하고 인코딩된 잔류 신호를 잔류 디코더(22)로 전송하는 것이다. 아날로그적으로는, 하나이상의 바람직하게 인코딩된 다운믹스 채널이 다운믹스 디코더(24)로 제공된다. 추가적으로, 바람직하게 인코딩된 하나 이상의 파라미터가, 디코딩된 형태의 하나 이상의 파라미터를 제공하는, 파라미터 디코더(23)에 제공된다. 블록(22, 23, 및 24)에 의해 출력된 정보가, 제1 복원 멀티-채널 신호 또는 제2 복원 멀티-채널 신호를 발생하는 멀티-채널 디코더(25)로 입력된다. 제1 복원 멀티-채널 신호는, 하나 이상의 다운믹스 채널 및 하나 이상의 파라미터를 이용하지만 잔류 신호를 이용하지 않는, 멀티-채널 디코더(25)에 의해 발생된다. 그러나 제2 복원 멀티-채널 신호(27)는 하나 이상의 다운믹스 채널 및 디코딩된 잔류 신호를 이용하여 발생된다. 잔류 신호가 추가적인 정보, 바람직하게는 파형 정보를 포함하고, 제2 복원 멀티-채널 신호는 제1 복원 멀티-채널 신호보다 (도 1의 채널 10a 및 10b와 같이) 오리지널 멀티-채널 신호와 더 유사하다.
멀티-채널 디코더(25)의 상기 임의의 구현에 따르면, 멀티-채널 디코더(25)는 제1 복원 채널(26) 또는 제2 복원 멀티-채널(27)을 출력할 것이다. 대안적으로 는, 멀티-채널 디코더(25)가 제2 복원 멀티-채널 신호에 추가해서 제1 복원 멀티-채널 신호를 계산한다. 자연스럽게, 모든 구현에서, 스케일링된 데이터 스트림이 인코딩된 잔류 신호를 포함할 경우에, 멀티-채널 디코더(25)가 제1 복원 멀티-채널 신호만을 출력할 것이다. 그러나 스케일링된 데이터 스트림이 제2 강화층을 스트립함으로써 인코더에서 디코더로의 경로에서 처리이라면, 멀티-채널 디코더(25)가 단지 제1 복원 멀티-채널 신호만을 출력할 것이다. 인코더와 디코더 사이의 경로에서 그러한 제2 강화층의 스트립이 발생한다면, 이는 매우 제한된 대역폭 리소스를 가져서 스케일 데이터 스트림의 전송이 제2 강화층이 없을 경우에만 가능했던 것이다.
도 3 및 도 4는 본 발명의 컨셉에 대한 하나의 실시예를 나타내며, 이는 인코더측(도 3)뿐만 아니라 디코더측(도 4)에서 감소된 프로세싱 파워만을 요구하는 것이다. 도 3의 인코더는 모노 다운믹스 신호를 출력하는 한편 다른 한편으로는 파라메트릭 인텐시티(intensity) 스테레오 방향 정보를 출력하는 인텐시티(intensity) 스테레오 인코더를 포함한다. 제1 및 제2 입력 채널을 추가함으로써 형성되는 모노 다운믹스가 데이터 감속기(31)로 입력된다. 모노 다운믹스 채널을 위해, 데이터 감속기(31)가 MP3 인코더, AAC 인코더 또는 모노 신호를 위한 다른 어떤 인코더와 같은 모든 공지의 오디오 인코더를 포함할 수 있다. 파라메트릭 방향 정보를 위해, 데이터 감속기(31)가 이를테면 차(difference) 인코더, 양자화기 및/또는, 호프만 인코더 또는 산술 인코더와 같은 엔트로피 인코더와 같은 파라메트릭 정보를 위한 공지의 모든 인코더를 포함할 수 있다. 따라서 도 3의 블록(30 및 31)은 도 1의 인코더의 블록(12 및 14)에 의해 도식적으로 도시된 기능들을 제공한다.
잔류 인코더(16)는 부수 신호 계산기(side signal calculator; 32) 및 그 후 적용되는 데이터 감속기(33)를 포함한다. 부수 신호 계산기(32)는 종래기술의 미드/사이드 스테레오 인코더들로부터 공지된 부수 신호 계산을 수행한다. 하나의 바람직한 예는 파형-타입(waveform-type) 부수 신호를 획득하는 제1 채널(10a)과 제2 채널(10b) 간의 샘플방식 차 계산(sample-wise difference calculation)으로서, 파형-타입 부수 신호는 이어 데이터율 압축을 위해 데이터 감속기(33)로 입력된다. 데이터 감속기(33)는 데이터 감속기(31)와 관련하여 상술된 것들과 동일한 요소들을 포함할 수 있다. 블록(33)의 출력에서 인코딩된 잔류 신호가 얻어지며, 이는 데이터 스트림 형성기(18)로 입력되어서 바람직하게 스케일링된 데이터 스트림이 얻어진다.
블록(18)에 의해 출력된 데이터 스트림은 이제, 모노 다운믹스에 더해, 파형-타입 인코딩된 잔류 신호뿐만 아니라 파라메트릭 인텐시티 스테레오 방향 정보를 포함한다.
데이터 감속기(31)는 도 1과 관련하여 이미 설명된 비트율 제어 입력에 의해 제어될 수 있다. 또 다른 실시예에서는, 데이터 감속기(33)가, 베이스층에 샘플 당 낮은 비트 수를 갖도록 인코딩된 잔류을 갖고, 제1 강화층에 샘플 당 중간(medium) 비트 수를 갖도록 인코딩된 잔류을 갖고, 다음 강화층에 샘플 당 높은 비트 수를 갖는, 스케일링된 출력 데이터 스트림을 발생하도록 배치된다. 감속기 출력의 베이 스층을 위해, 예를 들어, 샘플 당 0.5비트를 이용할 수 있다. 제1 강화층을 위해 예를 들어 샘플 당 4 비트를 이용할 수 있고, 제2 강화층을 위해, 예를 들어 샘플 당 16비트를 이용할 수 있다.
대응하는 디코더가 도 4에 도시된다. 데이터 스트림 파서(21)로 입력된 데이터 스트림은 분석되어 개별적으로 파라미터 정보를 감압기(decompressor; 23)로 출력한다. 인코딩된 다운믹스 정보가 감압기(24)로 입력되고, 인코딩된 잔류 신호가 잔류 감압기(22)로 입력된다. 도 4의 디코더는 직송의 인텐시티 스테레오 디코더(40)와, 그에 더해, 미드/사이드 디코더(41)를 더 포함한다. 디코더(40 및 41) 모두는 멀티-채널 디코더(25)의 기능을 수행하여 인텐시티 스테레오 디코더(40)의해 단독으로 발생되는 제1 복원 멀티-채널 신호(26)와, MS 디코더(41)의해 단독으로 발생되는 제2 복원 멀티-채널 신호(27)를 출력한다.
데이터 스트림이 인코딩된 잔류 신호를 포함하는 경우에, 도 4에서의 직송 구현은 제1 복원 멀티-채널 신호(26)뿐만 아니라 제2 복원 멀티-채널 신호(27)를 출력할 것이다. 자연스럽게, 이 경우에서 보다 나은 제2 복원 멀티-채널 신호(27)가 사용자의 관심을 끈다. 따라서, 디코더 제어(42)가 데이터 스트림에 인코딩된 잔류 신호가 있는지 여부를 감지하도록 제공될 수 있다. 그러한 인코딩된 잔류 신호가 데이터 스트림에 존재하지 않을 경우에, 데이터 제어(42)가 미드/사이드 디코더(40)를 비활성화하여 프로세싱 파워를 절약하고, 그에 따라, 이동전화와 같은 저-파워의 핸드헬드(hand-held) 장치에 특히 유용한 배터리 파워를 절약하도록 동작할 수 있다.
도 5는 본 발명의 또 다른 실시예를 나타내는 도면으로서, 여기서는 인코딩된 잔류 신호가 분석-합성 접근에 기초하여 발생된다. 다시, 제1 및 제2 채널(10a, 10b)이 다운믹서(50)로 입력되고, 다운믹서(50) 뒤에는 데이터 감속기(51)가 연결된다. 블록(51)의 출력에서, 하나 이상의 다운믹스 채널을 갖는 바람직하게 압축된 다운믹스 신호가 얻어져서, 데이터 스트림 형성기(18)로 공급된다. 따라서, 블록(50과 51)은 도 1의 다운믹서 장치(12)의 기능을 제공한다. 추가적으로, 제1 및 제2 입력 채널(10a, 10b)이 파라미터 계산기(53)로 공급되고, 파라미터 계산기에 의해 출력된 파라미터들이 다른 데이터 감속기(54)로 전송되어 하나 이상의 파라미터로 압축된다. 따라서, 블록(53 및 54)은 도 1의 파라미터 공급기(14)와 동일한 기능을 제공한다.
그러나 도 3 실시예와는 달리, 잔류 인코더(16)는 보다 정교하다. 특히, 잔류 인코더(16)는 파라메트릭 멀티-채널 복원기(55)를 포함한다. 멀티-채널 복원기(55)는 2 채널의 예로서, 제1 복원 채널 및 제2 복원 채널을 발생한다. 파라메트릭 멀티-채널 복원기는 다운믹스 채널들과 파라미터들을 이용하기 때문에, 블록(55)에 의해 출력된 복원 멀티-채널 신호는 도 11의 곡선(1102)에 해당할 것이며, 항상 도 11의 파라메트릭 임계값(1100) 보다 낮을 것이다.
복원 멀티-채널 신호는 에러 계산기(56)로 입력된다. 에러 계산기(56)는 제1 및 제2 입력 채널(10a, 10b)을 수신하여, 제1 에러 신호 및 제2 에러 신호를 출력하도록 동작할 수 있다. 바람직하게는, 에러 계산기가 오리지널 채널과 대응하는 복원 채널(출력 블록 55) 간의 샘플-방식 차를 계산한다. 이러한 과정은 오리지널 채널과 복원 채널의 각 쌍에 대해 수행된다. 에러 계산기(56)의 출력은 -다시- 멀티-채널 표현이지만, 여기서는 오리지널 멀티-채널 신호와는 달리, 멀티-채널 에러 신호이다. 오리지널 멀티-채널 신호와 동일한 채널 수를 갖는 이러한 멀티-채널 에러 신호가 인코딩된 잔류 신호를 발생하는 잔류 프로세서(57)로 입력된다.
잔류 프로세서(57)에 대한 다수의 구현들이 존재하며, 이들은 모두 대역폭 요건, 확장성(scalability)의 요구 정도, 품질 요건 등등에 의존한다.
하나의 바람직한 구현에서, 잔류 프로세서(57)가 다시, 하나 이상의 다운믹스 채널 및 에러 다운믹스 파라미터들을 발생하는 멀티-채널 인코더로서 구현된다. 이 실시예는 일종의 반복 멀티-채널 인코더라고 말할 수 있는데, 잔류 프로세서(57)가 블록(50, 51, 53, 및 54)을 포함하기 때문이다.
대안적으로, 잔류 프로세서(57)가 그 입력 신호로부터 가장 높은 에너지를 갖는 싱글 또는 2개의 에러 채널만을 선택하고, 그 가장 높은 에너지 에러 신호만을 처리하여 인코딩된 잔류 신호를 획득하도록 동작할 수 있다. 이러한 기준에 추가적으로 또는 그 대신에, 지각적으로 보다 더 동기부여된(motivated) 에러 측도(measure)에 근거하는, 보다 더 진보된 기준이 이용될 수 있다. 대안적으로, 잔류 프로세서가 입력 채널들을 하나 이상의 다운믹스 채널로 다운믹싱하는 매트릭싱(matrixing) 구성을 포함하여, 대응하는 디코더-장치가 아날로그 디매트릭싱(dematrixing) 절차를 수행하도록 할 수 있다. 이어 하나 이상의 다운믹스 채널이 잘 알려진 모노 또는 스테레오 인코더를 이용하여 처리될 수 있거나, 상술한 모노/스테레오 인코더들 중의 하나를 이용하여 완전히 처리되어 인코딩된 잔류 신호 를 획득할 수 있다.
도 5의 인코더를 위한 디코더가 도 6에 도시되었다. 도 2의 실시예에 비해, 도 6에서는 멀티-채널 디코더(25)가 파라메트릭 멀티-채널 복원기(60) 및 결합기(61)를 포함하는 것을 알 수 있다. 파라메트릭 멀티-채널 복원기(60)는 단지 디코딩된 다운믹스 및 디코딩된 파라미터 정보에만 근거하여 제1 복원 멀티-채널 신호(26)를 발생한다. 제1 복원 멀티-채널 신호(26)는, 데이터 스트림에 인코딩된 잔류 신호가 포함되지 않을 경우에, 출력될 수 있다. 그러나, 인코딩된 잔류 신호가 데이터 스트림에 포함되는 경우에는, 제1 복원 멀티-채널 신호가 출력되지 않고, 파라메트릭적으로 복원된 멀티-채널 신호를, 상술한 도 5의 에러 계산기(56)의 에러 표현의 표현들 중의 하나인 디코딩된 잔류 신호(26)로 결합하는 결합기(61)로 입력된다. 결합기(61)는 디코딩된 잔류 신호, 즉 에러 신호의 모든 표현과 파라메트릭적으로 복원된 멀티-채널 신호와 결합하여 제2 복원 멀티-채널 신호(27)를 출력한다. 도 6의 디코더를 도 11과 관련하여 생각해보면, 임의의 비트율에 대해, 제1 복원 신호가 선(1102)에 의해 결정된 품질을 갖는 반면, 제2 복원 신호(27)는 동일한 비트율에 대해 선(1114)에 의해 결정되는 더 높은 품질을 갖는 다는 것이 명확해진다.
도 5/도 6 실시예는 도 3/도 4 실시예 보다 더 바람직한데, 이는 인코딩된 잔류 신호내의 리던던시가 감소하기 때문이다. 그러나, 도 5/도 6의 실시예는 더 많은 양의 프로세싱 파워, 저장, 배터리 리소스 및 알로리즘적인 지연을 요구한다.
도 3/도 4의 실시예와 도 5/도 6의 실시예 간의 바람직한 절충안에 있어서, 인코더 표현에 관해서는 도 7을 참조하여, 디코더 표현에 관해서는 도 8을 참조하여 하기에서 설명된다. 인코더가 제1 및 제2 입력 채널(10a, 10b)을 이용하여 다운믹스를 행하는 임의의 디코더(74)를 포함한다. 단지 양 오리지널 채널들(10a, 10b)을 추가함으로써 발생되어 모노 신호를 획득하는 단순한 다운믹스와는 달리, 다운믹서(70)는 파라미터 계산기(71)에 의해 발생된 얼라인먼트 파라미터에 의해 제어된다. 여기서, 입력 채널들(10a, 10b) 양자는 서로에게 더해지기 전에 서로 간에 시간-맞춤(time-aligned)된다. 이와 같이, 예를 들어 도 3에서 도면부호 30으로 도시한 저 레벨 인텐시티 스테레오 인코더에 의해 발생된 모노 신호와는 다른, 특정한 모노 신호가 다운믹서(70)의 출력에서 획득된다.
얼라인먼트 파라미터에 추가적으로 또는 얼라인먼트 파라미터 대신에, 파라미터 계산기(71)가 이득 파라미터를 발생하도록 동작할 수 있다. 부수 신호 계산이 수행되기 이전에, 이득 파라미터는 가중 장치(72)로 입력되어 이득 파라미터를 이용하여 바람직하게 제2 채널(10b)을 가중한다. 제1 과 제2 채널-간의 유사-파형 차를 계산하기 전에 제2 채널을 가중하는 것은 더 작은 잔류 신호의 결과를 가져오며, 이는 어느 적합한 데이터 감속기(33)로 입력된 특정한 부수 신호로서 도시된다. 도 7에 도시된 데이터 감속기(33)는 정확히 도 3에 도시된 데이터 감속기(33)로서 구현될 수 있다.
도 7의 실시예는, 도 7의 데이터 감속기(33)에 의해 출력된 잔류 신호가 감속기(33)에 의해 출력된 신호 보다 더 낮은 비트 수에 의해 표현될 수 있도록 파라미터 정보뿐만 아니라 잔류 신호 계산이 가 바람직하게 다운믹서(70)에서 고려된다 는 점에서 도 3의 실시예와 다르다. 이는 도 7의 잔류 신호가 도 3의 잔류 신호보다 더 적은 리던던시를 포함한다는 사실에 기인한다.
도 8은 도 7의 인코더-구현에 대응하는 디코더-구현의 바람직한 실시예를 나타낸다. 도 6의 디코더와는 달리, 멀티-채널 복원기(25)는 부수 신호, 즉 잔류 신호가 제로일 때 자동적으로 제1 복원 멀티-채널 신호(26)를 출력하거나, 잔류 신호가 제로가 아닐 경우에 자동적으로 제2 복원 멀티-채널 신호(27)를 출력하도록 동작할 수 있다. 따라서 도 8의 멀티-채널 복원기(25)는 신호(26 및 27) 양자를 동시에 출력할 수 없고, 2개 신호 중의 첫 번째 또는 두 번째 신호만을 출력할 수 있다. 따라서, 도 8의 실시예는 도 4에 도시한 바와 같은 어떠한 디코더 제어도 요구하지 않는다.
특히, 도 8의 잔류 신호 디코더(22)는 도 7에서 대응하는 인코더의 요소(72)에 의해 발생된 것과 같은 특정한 부수 신호를 출력한다. 추가적으로, 다운믹스 디코더(24)는 도 7의 다운믹서(70)에 의해 발생된 것과 같은 특정한 모노 신호를 출력한다.
이어, 특정한 부수 신호 및 특정한 모노 신호가 이득 파라미터 및 시간 얼라인먼트 파라미터와 더불어 멀티-채널 디코더로 입력된다. 이득 파라미터는 제1 이득 룰(rule)에 따라 이득을 적용하는 이득 스테이지(84)를 제어하도록 동작한다. 추가적으로, 이득 파라미터는 다른 제2 이득 룰에 따라 이득을 적용하는 추가적인 이득 스테이지들(82, 83)을 제어한다. 추가적으로, 멀티-채널 복원기는 차감기(84) 및 가산기(85)뿐만 아니라 시간 디얼라인먼트(de-alignment) 블록(86)을 포함하여 복원된 제1 채널 및 복원된 제2 채널을 발생한다.
다음에는, 도 7 및 도 8의 인코더/디코더 구성의 바람직한 실시예를 설명한다. 도 9a는 본 발명의 제1 측면에 따른 완전한 인코더/디코더 구성을 나타내며, 여기서는 잔류 신호 d(n)가 제로가 아니다. 추가적으로, 도 9b는 아무런 차 신호 d(n)도 계산되지 않았던 때거나, 데이터 스트림이 스트립되어 예를 들어 전송 대역폭 관련 요건으로 인해 잔류 신호를 감소시켰던 때의 도 9a의 스케일러블 인코더/디코더를 나타낸다. 도 9a의 실시예에서 인코더에서 디코더로 전송된 데이터 스트림으로부터 인코딩된 잔류 신호를 스트립하는 경우에는, 도 9a의 실시예는 순수 파라메트릭 멀티-채널 시나리오가 되며, 여기서는 얼라인먼트 파라미터 및 이득 파라미터가 멀티-채널 파라미터들이고, 특정한 모노 신호는 인코더측으로부터 디코더측으로 전송된 다운믹스 채널이다.
디코더측에서 멀티-채널 복원이 얼라인먼트 및 이득 파라미터만을 이용하여 수행되는데, 이는 아무런 잔류 신호도 디코더측에 수신되지 않는, 즉 d(n)가 제로이기 때문이다.
도 9c는 본 발명의 인코더의 기반이 되는 식이고, 도 9d는 본 발명의 디코더의 기반이 되는 식이다.
특히, 본 발명의 인코더는 도 1의 파라미터 제공기(14)로서 파라미터 계산기(71)를 포함한다. 파라미터 계산기(71)는 좌측 채널 r(n)과 우측 채널 l(n)을 얼라인하는 시간 얼라인먼트 파라미터를 계산하도록 동작한다. 도 9a 내지 도 9d에 서, 얼라인된 우측 채널을 ra(n)에 의해 나타낸다. 얼라인먼트 파라미터는 바람직하게는 입력 신호의 중첩 블록으로부터 추출된다. 얼라인먼트 파라미터는 좌측 채널과 우측 채널-간의 시간 지연에 대응하고, 시간 도메인 교차 상관 기술들을 이용하여 평가된다. 이 경우에서, 서브밴드에 얼라인먼트 이득이 없다면, 예를 들어 독립적인 신호들의 경우에는, 지연 파라미터가 제로로 설정된다. 바람직하게는, 하나의 지연(시간-얼라인먼트) 파라미터가 서브밴드 구조의 서브밴드 마다 평가된다. 바람직한 실시예에서는, 46ms의 고정 평가율과 50% 중첩 해밍 윈도우들(Hamming window)이 채용되었다.
파라미터 계산기(71)가 이득 값을 더 계산한다. 이득 값은 또한 바람직하게는 신호의 중첩 불록들로부터 추출된다. 일반적으로, 이득 파라미터는 공지의 바이노럴 큐 코딩 구성과 같은 파라메트릭 코딩에 통상적으로 이용되는 레벨 차 파라미터와 동일하다. 대안적으로, 이득 값은 반복 접근을 이용하여 계산될 수 있으며, 여기서는 상기 차 신호가 파라미터 계산기로 역 공급되고 상기 이득 값은 차 신호가 도 9a의 점선(90)에 의해 나타낸 최소 값에 도달하도록 설정된다. 파라미터 얼라인먼트 및 이득 값이 계산되자마자, 도 7의 다운믹서(70)와 도 7의 잔류 인코더(16)가 개시할 수 있다. 특히, 도 7의 다운믹서(70)는 계산된 시간 얼라인먼트 파라미터에 의해 하나의 채널을 지연하는 얼라인먼트 블록(91)을 포함한다. 지연된 제2 채널 ra(n)은 이어 가산 장치(92)를 이용하여 제1 채널로 더해진다. 가산기(92)의 출력에 다운믹스 채널이 존재한다. 따라서 도 7의 다운믹서(70)는 블록(91 및 92)을 포함하여 특정한 모노 신호를 형성한다.
도 7의 잔류 인코더(16)는 가중기(93) 및 오리지널 제1 채널과 얼라인되고 가중된 제2 채널-간의 차를 계산하는, 그 다음의 부수 신호 계산기(94)를 더 포함한다. 특히, 얼라인된 제2 채널을 가중하기 위해, 대응하는 디코더측 불럭(80)에서 이용된 제1 가중 룰이 수행된다. 따라서, 잔류 인코더(16)는 얼라인먼트 장치(91), 가중 장치(93), 및 부수 신호 계산기(94)를 포함한다. 얼라인된 제2 채널이 다운믹스뿐만 아니라 잔류 계산에 이용되기 때문에, 얼라인된 우측 채널을 단 한번만 계산하고 그 결과를 다운믹서(70)와 도 7의 가중기/부수 신호 계산기(72)로 전송하는 것으로 충분하다.
바람직하게는, 얼라인먼트 및 이득 팩터들이 도 9d의 식들이 잘 정의되고 수치적으로 바람직하게 되도록 프로세스가 가역적으로 선택된다.
일반적인 모노 코더가 모노 코더(51)에 사용되어 합 신호를 코딩하고, 바람직하게는 전용 잔류 코더(33)가 잔류을 위해 채용된다.
모노 코더(51)가 비손실(loss-less)일 경우, 즉 모노 신호가 더 이상 양자화되지 않는 경우 및 잔류 인코더가 또한 비손실이거나 얼라인먼트 신호 모델이 소스 신호와 완벽하게 일치하는 경우에는, 또한 얼라인먼트 및 이득 파라미터들이 비손실 인코딩 구성만을 겪는다고 가정한다면 도 9a에 도시된 본 발명의 코딩 구조는 완벽한 복원 특성을 가진다.
도 9a의 본 발명의 시스템은 도 11의 선(1114)으로 나타낸 바와 같이 다수의 범위에 걸쳐서 완만하게 하락하도록 동작할 수 있는 구성을 위한 프레임워 크(framework)를 제공한다. 특히, 잔류 코딩 없이, 즉 d(n) = 0 일 때, 상기 구성은 (다운믹스 채널로서) 모노 신호에 추가해서 (멀티-채널 파라미터들로서) 단지 얼라인먼트 및 이득 파라미터들을 전송함으로써 파라메트릭 스테레오 코딩을 감소시킨다. 이러한 상황이 도 9b에 도시되었다. 추가적으로 본 발명의 시스템은 얼라인먼트 방법이 자동적으로 모노 다운믹스 문제를 해결한다는 장점을 갖는다.
다음에는, 도 9a 내지 9d에 도시된 본 발명의 실시예에 대한 서브밴드 코딩 구조로의 구현을 나타내는 도 10을 설명한다. 오리지널 좌측 및 우측 채널이 여러 개의 서브밴드 신호를 획득하는 분석 필터뱅크(1000)로 입력된다. 각 서브밴드 신호에 대해, 도 9a 내지 9d에 도시된 인코딩/디코딩 구성이 이용된다. 디코더측에서, 복원 서브밴드 신호들이 합성 필터뱅크(1010)에서 결합되어 마지막으로 전-대역(full-band) 복원 멀티-채널 신호들에 도달한다. 물론, 각 서브밴드에 대해, 도 10의 화살표(1020)와 같이 얼라인먼트 파라미터 및 이득 파라미터가 인코더측으로부터 디코더측으로 전송되어진다.
도 10의 서브밴드 코딩 구조의 바람직한 구현은, (지각적으로 동기부여된 스케일 상에서) 비대칭 서브밴드 대역폭들을 달성하기 위해, 2개의 스테이지를 갖는 코사인 변조 필터뱅크(cosine modulated filterbank)에 근거한다. 제1 스테이지는 신호를 M개의 대역으로 분할한다. M개 서브밴드 신호는 임계적으로 데시메이트(decimated)되어, 제2 스테이지 필터뱅크로 공급된다. k
Figure 112007059852088-PCT00001
{1, ..., M}인 제2 스테이지의 k 번째 필터뱅크는 Mk개 밴드를 갖는다. 바람직한 구현에서, M = 8 밴드가 이용되고, 상기 2개의 스테이지 이후에 효율적인 서브밴드를 가져오는, 도 10의 테이블에서와 같은 서브-서브밴드(sub-subband) 구조가 바람직하다. 프로토타입(prototype) 필터들이 저지 대역(stop band)에서 적어도 100dB의 댐핑(damping)을 갖는 [13]에 따라 설계된다. 제1 스테이지의 필터 차수(filter order)는 116이고, 제2 스테이지의 최대 필터 차수는 256이다. 코딩 구조는 이어 (좌측 및 우측 서브밴드 채널들에 대응하여) 서브밴드 쌍에 적용된다.
제1 및 제2 스테이지 필터뱅크의 해당 그룹핑이 도 10의 테이블의 우측에 도시되며, 이는 제1 서브밴드 k가 16 서브-서브밴드를 포함한다는 것을 명확하게 보여준다. 추가적으로, 제2 서브밴드는 8 서브-서브밴드 등을 포함한다.
효율적인 파라메트릭 인코딩이 가우시안 혼합(Gaussian mixture; GM) 벡터 양자화(vector quantization; VQ) 기술들을 이용하여 달성된다. GM 모델에 기반을 둔 양자화는 음성 코딩 분야에서 대중적이며[14-16], 고차원의 VQ의 저-복잡성(low-complexity)의 구현을 용이하게 한다. 바람직한 구현에서, 이득 및 지연 파라미터들의 36-차원 벡터를 벡터 양자화한다. GM 모델들은 전부 16 혼합 구성요소를 갖고, (가변 내용을 가지며, 후속 평가 테스트 신호들과 겹치지 않는) 60분의 오디오 데이터로부터 추출된 파라미터들의 데이터베이스에서 훈련된다. 명시적인 통계 모델들에 기반을 둔 방법들은 음성 코딩에서보다 오디오 코딩에서 덜 자주 이용된다. 하나의 이유는 일반적인 오디오에 포함된 모든 관련 정보를 캡쳐하는 통계 모델들의 능력에 대한 불신이다. 바람직한 경우에서, 파라미터 모델들의 개방 및 폐쇄(open and closed) 테스트 과정들을 이용하는 예비 평가 가 수행되지만, 이것 이 이 경우에서의 문제를 나타내지는 않는다. 이득과 지연 파라미터들에 대한 얻어진 비트율은 2.3 kbps이다.
서브밴드 구조가 잔류 신호들의 코딩을 위해 이용된다. 상술한 바와 같은 동일한 블록 프로세싱으로, 각 서브밴드에서의 분산(variance)이 평가되고 분산들은 서브밴드들 전체에 걸쳐서 GM VQ를 이용하여 벡터 양자화된다(즉, 하나의 36-차원 벡터가 동시에 인코딩된다). 상기 분산들은 그리디(greedy) 비트 할당 알고리즘을 채용하여 서브밴드로의 비트 할당을 용이하게 한다[17, 234 페이지]. 서브밴드 신호들은 이어 균일 스칼라 양자화기들을 이용하여 인코딩된다.
순시 이득(instantaneous gain) g(n)과 지연
Figure 112007059852088-PCT00002
(n)이 선형 보간 블록 평가들에 의해 획득된다. 시간 가변 지연이 원뿔대(truncated) 및 해밍 윈도우 sinc 임펄스 응답에 근거하는 73rd-차 소수 지연 필터(fractional delay filter)를 통해 실현된다[18]. 필터 계수들은 보간된 지연 파라미터를 이용하여 샘플 당 기준(per sample basis)으로 업데이트된다.
스테레오 오디오에서의 스테레오 이미지의 플렉시블 코딩을 위한 프레임워크가 제안된다. 새로운 구조를 이용하여, 파라메트릭 스테레오 모드로부터 파형 근사 코딩으로 균일한 이동이 가능하다. 상기 개념의 하나의 예시적인 구현이, 잔류 코더의 비트율 증가 효과를 평가하기 위한 코딩되지 않은 잔류을 이용하고, 더 실제적인 시나리오에서의 구성을 평가하기 위한 MP3 코더를 이용하여 테스트되었다.
스테레오 이미지를 안정화하기 위하여, 순수 파라메트릭 시스템에서 또는 예 로서 [9]에서 행해진 바와 같이 잔류 신호를 처리함 없이 디코더에 의해 이용될 수 있는 순수 파라메트릭 부분을 갖는 스케일러블 시스템에서 파라미터들을 로우패스 필터링하는 것이 바람직하다. 이는 시스템의 얼라인먼트 이득을 감소시킨다. 스칼라 서브밴드 코딩을 이용하여 잔류을 코딩함으로써, 품질이 더욱 향상되어 투명 품질에 접근한다. 특히, 비트들을 잔유물에 추가하는 것은 스테레오 이미지를 안정화시키고, 스테레오 폭이 또한 증가된다. 더욱이, 플렉시블 시간 세분화, 및 변동률(variable rate) (예로서, 비트 저장소) 기술들이 일반적인 오디오의 다이내믹한 특성을 잘 활용하는데 바람직하다. 가간섭성 파라미터는 바람직하게 얼라인먼트 필터에 포함되어 파라메트릭 모드를 강화한다. 개선된 잔류 코딩, 지각 마스킹 채용, 벡터 양자화, 및 차분 인코딩은 보다 더 효율적인 부적합성 및 리던던시 제거를 가져온다.
본 발명의 시스템이 스테레오-인코딩의 구문 및 파라메트릭적으로 강화된 미스/사이드 구성의 구문에서 설명되었지만, 일반화된 인텐시티-스테레오 종류 의 인코딩과 같은 각 멀티-채널 파라메트릭 인코딩/디코딩 구성이 추가적으로 포함된 부수 구성요소로부터 도움을 받아서 최종적으로 완벽한 복원 품질에 도달할 수 있다는 것을 유념한다. 본 발명의 인코더/디코더 구성의 바람직한 실시예가 얼라인먼트 파라미터를 전송하는 인코더측에서의 시간 얼라인먼트를 이용하고, 디코더측에서의 시간-디-얼라인먼트(time-de-alignment)를 이용하여 설명되었지만, 작은 차 신호를 발생하기 위하여 인코더측에서의 시간 얼라인먼트를 수행하지만 디코더측에서는 시간-디-얼라인먼트를 수행하지 않음으로써, 얼라인먼트 파라미터가 인코더로부터 디 코더로 전송되지 않는 그러한 또 다른 대안들이 존재한다. 본 실시예에서는, 시간-디-얼라인먼트의 무시가 자연스럽게 인공음을 포함한다. 그러나, 이러한 인공음은 대부분의 경우에서 심각하지 않으며, 그럼으로써 그러한 실시예가 특히 저가의 멀티-채널 디코더들에 적합하다.
따라서 본 발명은 또한 인코딩된 잔류 신호가 스트립될 때 완전히 순수 파라메트릭 구성으로 되는 바람직하게는 BCC-타입 파라메트릭 스테레오 코딩 구성의 확장 또는 다른 어떤 멀티-채널 인코딩 구성으로 간주될 수 있다. 본 발명에 따르면 순수 파라메트릭 시스템이, 바람직하게는 파형-스타일, 이득 파라미터 및/또는 시간 얼라인먼트 파라미터를 포함하는, 다양한 타입의 추가 정보를 전송함으로써 향상된다. 따라서 상기 추가적인 정보를 이용하는 디코딩 동작은, 파라메트릭 기술 단독으로 얻을 수 있는 것 보다 더 높은 품질을 가져온다.
요건에 따라, 본 발명의 인코딩 또는 디코딩 방법들은 하드웨어, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 따라서 본 발명은 또한, 컴퓨터에서 구동될 때 본 발명의 방법 중의 하나를 구현하는 프로그램 코드를 저장하는 컴퓨터 판독가능 매체에 관한 것이다. 따라서 본 발명은 컴퓨터에서 구동될 때 본 발명의 방법 중의 하나를 구현하는 프로그램 코드를 가지는 컴퓨터 프로그램을 포함한다.
참조문헌 목록
[1] J.D. Johnston and A.J. Ferreira의 "합-차 스테레오 변환 코딩(Sum-difference stereo transform coding)" in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1992, vol. 2, pp. 569.572.
[2] R. Waal and R. Veldhuis의 "스테레오 디지털 오디오 신호의 서브밴드 코딩(Subband coding of stereophonic digital audio signals)" in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 1991, pp. 3601.3604.
[3] J. Herre, K. Brandenburg, and D. Lederer의 "인텐시티 스테레오 코딩(Intensity stereo coding)" in Preprint 3799, 96th AES Convention, 1994.
[4] K. Brandenburg, .MP3 and AAC explained의 "AES 17차 국제 회의의 회보(in Proc. of the AES 17th International Conference)", paper no. 17-009, 1999.
[5] J. Blauert의 "공간 청취(Spatial hearing): 인간 음성 국부화의 정신 물리학(the psychophysics of human sound localization)", The MIT Press, Cambridge, Massachusetts, 1997.
[6] H. Fuchs의 "적응적 채널-간 예측에 의한 조인트 스테레오 오디오 코딩의 개선(Improving joint stereo audio coding by adaptive inter-channel prediction)"in Proc. of IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 1993, pp. 39.42.
[7] H. Fuchs의 "역방향의 적응적 선형 스테레오 예측에 의한 MPEG 오디오 코딩의 개선(Improving MPEG audio coding by backward adaptive linear stereo prediction)" in Preprint 4086, 99th AES Convention, 1995.
[8] F. Baumgarte and C. Faller의 "바이노럴 큐 코딩(Binaural cue coding) 1 부(part I): 음향심리학 기초 및 디자인 원리(Psychoacoustic fundamentals and design principles)" IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 509.519, 2003.
[9] C. Faller and F. Baumgarte의 "바이노럴 큐 코딩(Binaural cue coding). part II: 구성 및 응용(Schemes and applications)" IEEE Trans. Speech Audio Processing, vol. 11, no. 6, pp. 520.531, 2003.
[10] C. Faller의 "공간 오디오의 파라메트릭 코딩(Parametric Coding of Spatial Audio)", Ph.D. thesis, Ecole Polytechnique Federale de Lausanne, 2004.
[11] J. Breebaart, S. van de Par, A. Kohlrausch, and E. Schuijers의 "저비트율에서의 고품질 파라메트릭 공간 오디오 코딩(High-quality parametric spatial audio coding at low bitrates)" in Preprint 6072, 116th AES Convention, 2004.
[12] J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger의 "MP3 서라운드(MP3 surround): 멀티-채널 오디오의 효율적이고 호환성있는 코딩(Efficient and compatible coding of multi-channel audio)" in Preprint 6049, 116th AES Convention, 2004.
[13] Y-P. Lin and P.P. Vaidyanaythan의 "코사인 변조 필터뱅크의 프로토타입 필터의 설계를 위한 카이저 윈도우 접근(A Kaiser window approach for the design of prototype filters of cosine modulated filterbanks)" IEEE Signal Processing Letters, vol. 5, no. 6, pp. 132.134, 1998.
[14] P. Hedelin and J. Skoglund의 "가우시안 혼합 모델에 기반을 둔 벡터 양자화(Vector quantization based on Gaussian mixture models)" IEEE Trans. Speech Audio Processing, vol. 8, no. 4, pp. 385.401, 2000.
[15] A.D. Subramaniam and B.D. Rao의 "PDF 음성 라인 스펙트럼 주파수의 최적화된 벡터 양자화(optimized parametric vector quantization of speech line spectral frequencies)" IEEE Trans. Speech Audio Processing, vol. 11, no. 2, pp. 130.142, 2003.
[16] J. Lindblom and P. Hedelin의 "가우시안 혼합 모델을 이용한 시누소이달 진폭의 가변 차수 양자화(Variable-dimension quantization of sinusoidal amplitudes using Gaussian mixture models)"in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP), 2004, vol. 1, pp. 153.156.
[17] A. Gersho and R. M. Gray의 "벡터 양자화 및 신호 압축(Vector Quantization and Signal Compression)", Kluwer Academic Publishers, Boston, 1992.
[18] T.I. Laakso, V. Vㅴlimㅴki, M. Karjalainen, and U.K. Laine의 "소수 지연 필터 디자인을 위한 툴(Tools for fractional delay filter design)"IEEE Signal Processing Magazine, pp. 30.60, January 1996.
[19] ITU-R Recommendation BS.1534의 "코팅 시스템의 중간 품질 레벨의 주관적 평가 방법(Method for the Subjective Assessment of Intermediate Quality Level of Coding Systems)", ITU-T, 2001.
[20] The LAME project," http://lame.sourceforge.net/, July 2004, v3.96.1.
멀티-채널 인코더/디코더 구성이 바람직하게는 추가적으로 파형-타입 잔류 신호(16)를 발생한다. 이 잔류 신호가 하나 이상의 멀티-채널 파라미터(14)와 더불어 디코더로 전송(18)된다. 순수 파라메트릭 멀티-채널 디코더와는 달리, 이 강화된 디코더는 추가적인 잔류 신호로 인해 향상된 출력 품질을 갖는 멀티-채널 출력 신호를 발생한다.

Claims (29)

  1. 적어도 2개의 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 멀티-채널 인코더에 있어서:
    하나 이상의 파라미터를 제공하는 파라미터 제공기로서, 상기 하나 이상의 파라미터는, 복원 멀티-채널 신호가 상기 멀티-채널 신호로부터 유도된 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 형성될 수 있도록 형성되는 것인, 하나 이상의 파라미터를 제공하는 파라미터 제공기;
    상기 잔류 신호를 이용하여 형성될 때의 상기 복원 멀티-채널 신호가 상기 잔류 신호를 이용함 없이 형성될 때 보다 더 상기 오리지널 멀티-채널 신호에 유사하도록, 상기 오리지널 멀티-채널 신호, 상기 하나 이상의 다운믹스 채널, 또는 상기 하나 이상의 파라미터에 근거하여 인코딩된 잔류 신호를 발생하는 잔류 인코더; 및
    상기 인코딩된 잔류 신호 및 상기 하나 이상의 파라미터를 갖는 데이터 스트림을 형성하는 데이터 스트림 형성기를 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  2. 청구항 1에 있어서,
    상기 데이터 스트림 형성기는 스케일러블 데이터 스트림을 형성하고, 상기 하나 이상의 파라미터 및 상기 잔류 신호는 다른 스케일링 층에 있는 것을 특징으로 하는 멀티-채널 인코더.
  3. 청구항 1에 있어서,
    상기 잔류 인코더는 상기 인코딩된 잔류 신호를 파형 잔류 신호로서 계산하는 것을 특징으로 하는 멀티-채널 인코더.
  4. 청구항 1에 있어서,
    상기 잔유물 인코더가, 상기 하나 이상의 다운믹스 채널 없이, 상기 하나 이상의 파라미터 및 상기 오리지널 멀티-채널 신호에 근거하여 상기 잔류 신호를 발생하여, 상기 잔류 신호가 상기 하나 이상의 파라미터를 이용함 없는 잔류 신호의 발생에 비해 더 작은 에너지를 갖는 것을 특징으로 하는 멀티-채널 인코더.
  5. 청구항 4에 있어서, 상기 파라미터 제공기는:
    상기 적어도 2개의 채널의 제1 채널과 제2 채널을 얼라인하는 시간 얼라이너로 제공되는 시간 얼라인먼트 파라미터를 계산하는 얼라인먼트 계산기; 또는
    2개 채널-간의 차가 하나의 이득 값에 비해 감소되도록, 하나의 채널을 가중 하기 위한 1과 동일하지 않은 이득을 계산하는 이득 계산기를 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  6. 청구항 5에 있어서,
    상기 잔류 인코더는 제1 채널 및 얼라인되거나 가중된 제2 채널로부터 유도된 차 신호를 계산 및 인코딩하는 것을 특징으로 하는 멀티-채널 인코더.
  7. 청구항 5에 있어서,
    상기 얼라인된 채널들을 이용하여 다운믹스 채널을 발생하는 다운믹서를 더 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  8. 청구항 1에 있어서,
    상기 멀티-채널 신호를 다수개의 주파수 대역으로 분할하는 분석 필터뱅크를 더 포함하고,
    상기 파라미터 제공기 및 상기 잔류 인코더는 상기 서브밴드 신호들에서 동작하고,
    상기 데이터 스트림 형성기는 다수개의 주파수 대역을 위한 인코딩된 잔류 신호들 및 파라미터들을 수집하는 것을 특징으로 하는 멀티-채널 인코더.
  9. 청구항 1에 있어서, 상기 잔류 인코더는:
    상기 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 디코딩된 멀티-채널 신호를 발생하는 멀티-채널 디코더;
    상기 디코딩된 멀티-채널 신호 및 상기 오리지널 멀티-채널 신호에 근거하여 멀티-채널 에러 신호 표현을 계산하는 에러 계산기; 및
    상기 인코딩된 잔류 신호를 얻도록 상기 멀티-채널 에러 신호 표현을 처리하는 잔류 프로세서를 더 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  10. 청구항 9에 있어서,
    상기 잔류 프로세서는 상기 멀티-채널 에러 신호 표현의 멀티-채널 표현을 발생하는 멀티-채널 인코더를 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  11. 청구항 10에 있어서,
    상기 잔류 프로세서는 상기 멀티-채널 에러 신호 표현의 하나의 이상의 다운믹스 채널을 더 발생하는 것을 특징으로 하는 멀티-채널 인코더.
  12. 청구항 1에 있어서,
    상기 파라미터 제공기는 채널-간 레벨 차들, 채널-간 가간섭성 파라미터들, 채널-간 시간 차들 또는 채널 포락선 큐들과 같은 바이노럴 큐 코딩(BCC) 파라미터들을 제공하는 것을 특징으로 하는 멀티-채널 인코더.
  13. 적어도 2개의 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 방법에 있어서:
    하나 이상의 파라미터를 제공하는 단계로서, 상기 하나 이상의 파라미터는, 복원 멀티-채널 신호가 상기 멀티-채널 신호로부터 유도된 하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 형성될 수 있도록 형성되는 것인, 하나 이상의 파라미터를 제공하는 단계;
    상기 잔류 신호를 이용하여 형성될 때의 상기 복원 멀티-채널 신호가 상기 잔류 신호를 이용함 없이 형성될 때 보다 더 상기 오리지널 멀티-채널 신호에 유사하도록, 상기 오리지널 멀티-채널 신호, 상기 하나 이상의 다운믹스 채널, 또는 상기 하나 이상의 파라미터에 근거하여 인코딩된 잔류 신호를 발생하는 단계; 및
    상기 인코딩된 잔류 신호 및 상기 하나 이상의 파라미터를 갖는 데이터 스트림을 형성하는 단계를 포함하는 것을 특징으로 하는 멀티-채널 신호를 인코딩하는 방법.
  14. 하나 이상의 다운믹스 채널, 하나 이상의 파라미터, 및 인코딩된 잔류 신호를 갖는 인코딩된 멀티-채널 신호를 디코딩하는 디코더에 있어서:
    상기 인코딩된 잔류 신호에 근거하여 디코딩된 잔류 신호를 발생하는 잔류 디코더; 및
    하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 제1 복원 멀티-채널 신호를 발생하는 멀티-채널 디코더를 포함하고,
    상기 멀티-채널 디코더는, 상기 제1 복원 멀티-채널 신호 대신에 또는 상기 제1 복원 멀티-채널에 추가적으로, 상기 하나 이상의 다운믹스 채널 및 상기 디코딩된 잔류 신호를 이용하여 제2 복원 멀티-채널 신호를 더 발생하고,
    상기 제2 복원 멀티-채널 신호는 상기 제1 복원 멀티-채널 신호 보다 상기 오리지널 멀티-채널 신호에 더 유사한 것을 특징으로 하는 멀티-채널 디코더.
  15. 청구항 14에 있어서,
    상기 인코딩된 멀티-채널 신호는 스케일링된 데이터 스트림에 의해 표현되고, 상기 스케일링된 데이터 스트림은 상기 하나 이상의 파라미터를 포함하는 제1 스케일링 층 및 상기 인코딩된 잔류 신호를 포함하는 제2 스케일링 층을 가지고,
    상기 멀티-채널 인코더는 상기 제1 스케일링 층 또는 상기 제2 스케일링 층을 추출하는 데이터 스트림 파서를 더 포함하는 것을 특징으로 하는 멀티-채널 디코더.
  16. 청구항 14에 있어서,
    상기 인코딩된 잔류 신호는 하나 이상의 파라미터에 의존하고; 그리고,
    상기 멀티-채널 디코더는 상기 하나 이상의 다운믹스 채널, 상기 하나 이상의 파라미터 및 상기 제2 복원 멀티-채널 신호를 발생하는 상기 디코딩된 잔류 신호를 이용하는 것을 특징으로 하는 멀티-채널 디코더.
  17. 청구항 14에 있어서,
    상기 다운믹스 채널은 얼라인먼트 파라미터 또는 이득 파라미터에 의존하고,
    상기 멀티-채널 디코더는 상기 이득 파라미터에 근거하는 제1 가중 룰을 이용하여 상기 다운믹스 채널을 가중하고, 상기 이득 파라미터를 이용하는 제2 가중 룰을 이용하여 상기 다운믹스 채널을 가중하거나,
    상기 얼라인먼트 파라미터를 이용하여 하나의 출력 채널을 다른 출력 채널에 대하여 디얼라인하는 것을 특징으로 하는 멀티-채널 디코더.
  18. 청구항 14에 있어서,
    상기 다운믹스 채널은 얼라인먼트 파라미터 또는 이득 파라미터에 의존하고,
    상기 멀티-채널 디코더는 상기 이득 파라미터를 이용하여 상기 다운믹스 채널을 가중하고,
    상기 디코딩된 잔류 신호를 가중된 다운믹스 채널에 추가하고 얻어진 채널을 재차 가중하여 상기 제1 복원 멀티-채널 신호를 획득하고,
    상기 다운믹스 채널로부터 상기 디코딩된 잔류 신호를 차감하고 나서 상기 이득 파라미터를 이용하여 차감으로부터 얻어진 채널을 가중하거나, 또는
    상기 제2 복원 멀티-채널 신호를 획득 시에 상기 다운믹스 채널과 상기 디코딩된 잔류 신호 간의 차를 디얼라인(de-align)하는 것을 특징으로 하는 멀티-채널 디코더.
  19. 청구항 14에 있어서,
    상기 파라미터들은 채널-간 레벨 차들, 채널-간 가간섭성 파라미터들, 채널-간 시간 차들 또는 채널 포락선 큐들과 같은 바이노럴 큐 코딩(BCC) 파라미터들을 포함하고,
    상기 멀티-채널 디코더는 바이노럴 큐 코딩(BCC) 구성에 따라 멀티-채널 디코딩 동작을 수행하는 것을 특징으로 하는 멀티-채널 디코더.
  20. 청구항 14에 있어서,
    상기 하나 이상의 다운믹스 채널, 상기 하나 이상의 파라미터, 및 상기 인코딩된 잔류 신호는 서브밴드-특정(subband-specific) 데이터에 의해 표현되고,
    상기 멀티-채널 디코더에 의해 발생된 복원된 서브밴드 데이터를 결합하여, 상기 제1 또는 제2 복원 멀티-채널 신호의 전-대역 표현을 획득하는 합성 필터뱅크를 더 포함하는 것을 특징으로 하는 멀티-채널 디코더.
  21. 하나 이상의 다운믹스 채널, 하나 이상의 파라미터, 및 인코딩된 잔류 신호를 가지는 인코딩된 멀티-채널 신호를 디코딩하는 방법에 있어서:
    상기 인코딩된 잔류 신호에 근거하여 디코딩된 잔류 신호를 발생하는 단계; 및
    하나 이상의 다운믹스 채널 및 상기 하나 이상의 파라미터를 이용하여 제1 복원 멀티-채널 신호를 발생하고 상기 하나 이상의 다운믹스 채널 및 상기 디코딩된 잔류 신호를 이용하여 제2 복원 멀티-채널 신호를 발생하는 단계를 포함하고,
    상기 제2 복원 멀티-채널 신호는 상기 제1 복원 멀티-채널 신호 보다 상기 오리지널 멀티-채널 신호와 더 유사한 것을 특징으로 하는 멀티-채널 신호를 디코딩하는 방법.
  22. 적어도 2개 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 멀티-채널 인코더에 있어서:
    얼라인먼트 파라미터를 이용하여 상기 적어도 2개 채널의 제1 채널과 제2 채널을 얼라인하는 시간 얼라이너;
    상기 얼라인된 채널들을 이용하여 다운믹스 채널을 발생하는 다운믹서;
    상기 얼라인된 채널들 간의 차가 이득 값 1에 비해 감소하도록 얼라인된 채널을 가중하기 위한 1이 아닌 이득 파라미터를 계산하는 이득 계산기; 및
    상기 다운믹스 채널에 관한 정보, 상기 얼라인먼트 파라미터에 관한 정보, 및 상기 이득 파라미터에 관한 정보를 가지는 데이터 스트림을 형성하는 데이터 스트림 형성기를 포함하는 것을 특징으로 하는 멀티-채널 인코더.
  23. 청구항 22에 있어서,
    상기 제1 채널 및 얼라인되고 가중된 제2 채널로부터 유도된 차 신호를 계산하고 인코딩하는 잔류 인코더를 더 포함하고,
    상기 데이터 스트림 형성기는 인코딩된 잔류 신호를 상기 데이터 스트림으로 포함시키도록 더 동작하는 것을 특징으로 하는 멀티-채널 인코더.
  24. 하나 이상의 다운믹스 채널에 관한 정보, 이득 파라미터에 관한 정보, 및 얼라인먼트 파라미터에 관한 정보를 가지는 인코딩된 멀티-채널 신호를 디코딩하는 멀티-채널 디코더에 있어서:
    디코딩된 다운믹스 채널을 발생하는 다운믹스 채널 디코더; 및
    상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 처리하여 제1 디코딩된 출력 채널을 획득하고, 상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 처리하고 상기 얼라인먼트 파라미터를 이용하여 디얼라인하여 제2 디코딩된 출력 채널을 획득하는 프로세서를 포함하는 것을 특징으로 하는 멀티채널 디코더.
  25. 청구항 23에 있어서,
    상기 인코딩된 멀티-채널 신호는 인코딩된 잔류 신호를 더 포함하고,
    상기 멀티-채널 디코더는:
    디코딩된 잔류 신호를 발생하는 잔류 디코더를 더 포함하고,
    상기 프로세서는 상기 이득 파라미터를 이용하여 상기 다운믹스 채널을 1차로 가중하고, 상기 디코딩된 잔류 신호를 추가하고 상기 이득 파라미터를 이용하여 2차로 가중하여 제1 복원 채널을 획득하고, 가중 이전에 상기 다운믹스 채널로부터 상기 디코딩된 잔류 신호를 차감하고 디얼라인하여 상기 제2 복원 채널을 획득하는 것을 특징으로 하는 멀티-채널 디코더.
  26. 적어도 2개 채널을 갖는 오리지널 멀티-채널 신호를 인코딩하는 방법에 있어서:
    얼라인먼트 파라미터를 이용하여 상기 적어도 2개 채널의 제1 채널과 제2 채널을 시간-얼라인하는 단계;
    상기 얼라인된 채널들을 이용하여 다운믹스 채널을 발생하는 단계;
    상기 얼라인된 채널들 간의 차가 이득 값 1에 비해 감소하도록 얼라인된 채널을 가중하기 위한 1이 아닌 이득 파라미터를 계산하는 단계; 및
    상기 다운믹스 채널에 관한 정보, 상기 얼라인먼트 파라미터에 관한 정보, 및 상기 이득 파라미터에 관한 정보를 가지는 데이터 스트림을 형성하는 단계를 포함하는 것을 특징으로 하는 멀티-채널 신호를 인코딩하는 방법.
  27. 하나 이상의 다운믹스 채널에 관한 정보, 이득 파라미터에 관한 정보, 및 얼라인먼트 파라미터에 관한 정보를 가지는 인코딩된 멀티-채널 신호를 디코딩하는 방법에 있어서:
    디코딩된 다운믹스 채널을 발생하는 단계; 및
    제1 디코딩된 출력 채널을 획득하도록 상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 처리하고, 제2 디코딩된 출력 채널을 획득하도록 상기 이득 파라미터 및 상기 얼라인먼트 파라미터에 근거하는 디얼라인먼트를 이용하여 상기 디코딩된 다운믹스 채널을 처리하는 단계를 포함하는 것을 특징으로 하는 멀티-채널 신호를 디코딩하는 방법.
  28. 하나 이상의 다운믹스 채널에 관한 정보, 상기 하나 이상의 다운믹스 채널과 결합될 때 제1 복원 멀티-채널 신호가 얻어지는 하나 이상의 파라미터, 및 상기 하나 이상의 다운믹스 채널과 결합될 때 제2 복원 멀티-채널 신호가 얻어지는 인코딩된 잔류 신호를 가지는 인코딩된 멀티-채널 신호로서, 상기 제2 복원 멀티-채널 신호는 상기 제1 복원 멀티-채널 신호 보다 오리지널 멀티-채널 신호와 더 유사한 것을 특징으로 하는 인코딩된 멀티-채널 신호.
  29. 하나 이상의 다운믹스 채널, 하나 이상의 파라미터, 및 인코딩된 잔류 신호를 갖는 인코딩된 멀티-채널 신호를 디코딩하는 방법을 컴퓨터에서 구동될 때 수행하기 위한 컴퓨터 프로그램에 있어서:
    상기 방법은:
    디코딩된 다운믹스 채널을 발생하는 단계; 및
    제1 디코딩된 출력 채널을 획득하도록 상기 이득 파라미터를 이용하여 상기 디코딩된 다운믹스 채널을 발생하고, 제2 디코딩된 출력 채널을 획득하도록 상기 이득 파라미터 및 상기 얼라인먼트 파라미터에 근거하는 디얼라인먼트를 이용하여 상기 디코딩된 다운믹스 채널을 발생하는 단계를 포함하고,
    상기 제2 복원 멀티-채널 신호는 상기 제1 복원 멀티-채널 신호 보다 상기 오리지널 멀티-채널 신호와 더 유사한 것을 특징으로 하는 것인, 컴퓨터 프로그램.
KR1020077018991A 2005-02-22 2005-10-04 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성 KR100954179B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US65521605P 2005-02-22 2005-02-22
US60/655,216 2005-02-22
US11/080,775 US7573912B2 (en) 2005-02-22 2005-03-14 Near-transparent or transparent multi-channel encoder/decoder scheme
US11/080,775 2005-03-14

Publications (2)

Publication Number Publication Date
KR20070098930A true KR20070098930A (ko) 2007-10-05
KR100954179B1 KR100954179B1 (ko) 2010-04-21

Family

ID=35519868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077018991A KR100954179B1 (ko) 2005-02-22 2005-10-04 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성

Country Status (19)

Country Link
US (1) US7573912B2 (ko)
EP (1) EP1851997B1 (ko)
JP (1) JP4887307B2 (ko)
KR (1) KR100954179B1 (ko)
CN (2) CN102270452B (ko)
AT (1) ATE406076T1 (ko)
AU (1) AU2005328264B2 (ko)
BR (1) BRPI0520053B1 (ko)
CA (1) CA2598541C (ko)
DE (1) DE602005009262D1 (ko)
ES (1) ES2312025T3 (ko)
HK (1) HK1107495A1 (ko)
IL (1) IL185304A0 (ko)
MX (1) MX2007009887A (ko)
NO (1) NO339907B1 (ko)
PL (1) PL1851997T3 (ko)
PT (1) PT1851997E (ko)
RU (1) RU2388176C2 (ko)
WO (1) WO2006089570A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023870A (ko) * 2014-05-28 2017-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2945463T3 (es) * 2004-04-05 2023-07-03 Koninklijke Philips Nv Método de codificación de señales de entrada de audio izquierda y derecha, codificador, decodificador y producto de programa informático correspondientes
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
JP4898673B2 (ja) * 2004-07-14 2012-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 方法、装置、エンコーダ装置、デコーダ装置及びオーディオシステム
MX2007005261A (es) * 2004-11-04 2007-07-09 Koninkl Philips Electronics Nv Codificacion y descodificacion de un conjunto de senales.
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
EP1858006B1 (en) * 2005-03-25 2017-01-25 Panasonic Intellectual Property Corporation of America Sound encoding device and sound encoding method
BRPI0608756B1 (pt) * 2005-03-30 2019-06-04 Koninklijke Philips N. V. Codificador e decodificador de áudio de multicanais, método para codificar e decodificar um sinal de áudio de n canais, sinal de áudio de multicanais codificado para um sinal de áudio de n canais e sistema de transmissão
WO2006103581A1 (en) * 2005-03-30 2006-10-05 Koninklijke Philips Electronics N.V. Scalable multi-channel audio coding
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
JP5461835B2 (ja) * 2005-05-26 2014-04-02 エルジー エレクトロニクス インコーポレイティド オーディオ信号の符号化／復号化方法及び符号化／復号化装置
WO2006126843A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding audio signal
AU2006266655B2 (en) * 2005-06-30 2009-08-20 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
JP5227794B2 (ja) * 2005-06-30 2013-07-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8185403B2 (en) * 2005-06-30 2012-05-22 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8626503B2 (en) * 2005-07-14 2014-01-07 Erik Gosuinus Petrus Schuijers Audio encoding and decoding
US7788107B2 (en) * 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
JP5231225B2 (ja) * 2005-08-30 2013-07-10 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8577483B2 (en) * 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
KR100880643B1 (ko) * 2005-08-30 2009-01-30 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
KR101228630B1 (ko) * 2005-09-02 2013-01-31 파나소닉 주식회사 에너지 정형 장치 및 에너지 정형 방법
US7646319B2 (en) * 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7672379B2 (en) * 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
KR100857112B1 (ko) * 2005-10-05 2008-09-05 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
US7696907B2 (en) 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US8068569B2 (en) * 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding
EP1952112A4 (en) * 2005-10-05 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING AND CODING AND DECODING METHOD AND DEVICE THEREFOR
US7751485B2 (en) * 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
US7840401B2 (en) * 2005-10-24 2010-11-23 Lg Electronics Inc. Removing time delays in signal paths
WO2007052612A1 (ja) * 2005-10-31 2007-05-10 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置およびステレオ信号予測方法
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
EP1974346B1 (en) * 2006-01-19 2013-10-02 LG Electronics, Inc. Method and apparatus for processing a media signal
JP4966981B2 (ja) * 2006-02-03 2012-07-04 韓國電子通信研究院 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置
US8160258B2 (en) * 2006-02-07 2012-04-17 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
KR100904438B1 (ko) * 2006-02-23 2009-06-24 엘지전자 주식회사 오디오 신호의 처리 방법 및 장치
US7835904B2 (en) * 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression
KR100773562B1 (ko) 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
US7676374B2 (en) * 2006-03-28 2010-03-09 Nokia Corporation Low complexity subband-domain filtering in the case of cascaded filter banks
JP5238706B2 (ja) 2006-09-29 2013-07-17 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置
MX2009003564A (es) * 2006-10-16 2009-05-28 Fraunhofer Ges Forschung Aparato y metodo para transformacion de parametro multicanal.
US9565509B2 (en) * 2006-10-16 2017-02-07 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
US8571875B2 (en) 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
WO2008069584A2 (en) * 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
WO2008114982A1 (en) * 2007-03-16 2008-09-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
GB0705328D0 (en) * 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
EP3712888A3 (en) * 2007-03-30 2020-10-28 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
CN103299363B (zh) * 2007-06-08 2015-07-08 Lg电子株式会社 用于处理音频信号的方法和装置
CN101802907B (zh) 2007-09-19 2013-11-13 爱立信电话股份有限公司 多信道音频的联合增强
GB2453117B (en) 2007-09-25 2012-05-23 Motorola Mobility Inc Apparatus and method for encoding a multi channel audio signal
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
AU2008326956B2 (en) * 2007-11-21 2011-02-17 Lg Electronics Inc. A method and an apparatus for processing a signal
CN101911634A (zh) * 2007-12-03 2010-12-08 诺基亚公司 分组生成器
WO2009081567A1 (ja) * 2007-12-21 2009-07-02 Panasonic Corporation ステレオ信号変換装置、ステレオ信号逆変換装置およびこれらの方法
ES2401817T3 (es) * 2008-01-31 2013-04-24 Agency For Science, Technology And Research Procedimiento y dispositivo de distribución/truncado de la velocidad de transmisión de bits para codificación de audio escalable
US9111525B1 (en) * 2008-02-14 2015-08-18 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Apparatuses, methods and systems for audio processing and transmission
CN102037507B (zh) * 2008-05-23 2013-02-06 皇家飞利浦电子股份有限公司 参数立体声上混合设备、参数立体声译码器、参数立体声下混合设备、参数立体声编码器
US8355921B2 (en) * 2008-06-13 2013-01-15 Nokia Corporation Method, apparatus and computer program product for providing improved audio processing
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
AU2013200578B2 (en) * 2008-07-17 2015-07-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
CN102160113B (zh) * 2008-08-11 2013-05-08 诺基亚公司 多声道音频编码器和解码器
EP2345027B1 (en) * 2008-10-10 2018-04-18 Telefonaktiebolaget LM Ericsson (publ) Energy-conserving multi-channel audio coding and decoding
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
WO2010091555A1 (zh) * 2009-02-13 2010-08-19 华为技术有限公司 一种立体声编码方法和装置
US20120121091A1 (en) * 2009-02-13 2012-05-17 Nokia Corporation Ambience coding and decoding for audio applications
CN101826326B (zh) 2009-03-04 2012-04-04 华为技术有限公司 一种立体声编码方法、装置和编码器
MX2011009660A (es) 2009-03-17 2011-09-30 Dolby Int Ab Codificacion estereo avanzada basada en una combinacion de codificacion izquierda/derecha o media/lateral seleccionable de manera adaptable y de codificacion estereo parametrica.
AU2015246158B2 (en) * 2009-03-17 2017-10-26 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding.
AU2013206557B2 (en) * 2009-03-17 2015-11-12 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
EP2413314A4 (en) * 2009-03-24 2012-02-01 Huawei Tech Co Ltd METHOD AND DEVICE FOR SWITCHING ON A SIGNAL DELAY
CN101533641B (zh) * 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
CN102171754B (zh) * 2009-07-31 2013-06-26 松下电器产业株式会社 编码装置以及解码装置
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5345024B2 (ja) * 2009-08-28 2013-11-20 日本放送協会 ３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラム
EP2476113B1 (en) * 2009-09-11 2014-08-13 Nokia Corporation Method, apparatus and computer program product for audio coding
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
US8942989B2 (en) * 2009-12-28 2015-01-27 Panasonic Intellectual Property Corporation Of America Speech coding of principal-component channels for deleting redundant inter-channel parameters
JP5333257B2 (ja) * 2010-01-20 2013-11-06 富士通株式会社 符号化装置、符号化システムおよび符号化方法
EP2369861B1 (en) * 2010-03-25 2016-07-27 Nxp B.V. Multi-channel audio signal processing
JP5604933B2 (ja) * 2010-03-30 2014-10-15 富士通株式会社 ダウンミクス装置およびダウンミクス方法
IL295039B2 (en) * 2010-04-09 2023-11-01 Dolby Int Ab An uplink mixer is active in predictive or non-predictive mode
US8948403B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Method of processing signal, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
ES2526320T3 (es) * 2010-08-24 2015-01-09 Dolby International Ab Ocultamiento de la recepción mono intermitente de receptores de radio estéreo de FM
CN103262158B (zh) 2010-09-28 2015-07-29 华为技术有限公司 对解码的多声道音频信号或立体声信号进行后处理的装置和方法
JP5949270B2 (ja) * 2012-07-24 2016-07-06 富士通株式会社 オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム
KR20140017338A (ko) * 2012-07-31 2014-02-11 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 장치 및 방법
AR090703A1 (es) 2012-08-10 2014-12-03 Fraunhofer Ges Forschung Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos
CN104704558A (zh) * 2012-09-14 2015-06-10 杜比实验室特许公司 基于多声道音频内容分析的上混检测
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
RU2645271C2 (ru) 2013-04-05 2018-02-19 Долби Интернэшнл Аб Стереофонический кодер и декодер аудиосигналов
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
CN105393304B (zh) * 2013-05-24 2019-05-28 杜比国际公司 音频编码和解码方法、介质以及音频编码器和解码器
WO2014198726A1 (en) 2013-06-10 2014-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio signal envelope encoding, processing and decoding by modelling a cumulative sum representation employing distribution quantization and coding
MX353188B (es) 2013-06-10 2018-01-05 Fraunhofer Ges Forschung Aparato y método para codificación, procesamiento y decodificación de la envolvente de la señal de audio mediante división de la envolvente de la señal de audio, mediante el uso de cuantificación de distribución y codificación.
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP3503095A1 (en) 2013-08-28 2019-06-26 Dolby Laboratories Licensing Corp. Hybrid waveform-coded and parametric-coded speech enhancement
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
PT3353779T (pt) 2015-09-25 2020-07-31 Voiceage Corp Método e sistema para codificar um sinal de som estéreo que utiliza parâmetros de codificação de um canal primário para codificar um canal secundário
KR102083200B1 (ko) 2016-01-22 2020-04-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
US10210871B2 (en) * 2016-03-18 2019-02-19 Qualcomm Incorporated Audio processing for temporally mismatched signals
CN106162180A (zh) * 2016-06-30 2016-11-23 北京奇艺世纪科技有限公司 一种图像编解码方法及装置
WO2018086946A1 (en) * 2016-11-08 2018-05-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
PT3539126T (pt) * 2016-11-08 2020-12-24 Fraunhofer Ges Forschung Aparelho e método para executar downmix ou upmix de um sinal multicanal utilizando compensação de fase
CN109215667B (zh) * 2017-06-29 2020-12-22 华为技术有限公司 时延估计方法及装置
RU2762302C1 (ru) 2018-04-05 2021-12-17 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство, способ или компьютерная программа для оценки разности во времени между каналами
CN114708874A (zh) * 2018-05-31 2022-07-05 华为技术有限公司 立体声信号的编码方法和装置
CN110403582B (zh) * 2019-07-23 2021-12-03 宏人仁医医疗器械设备(东莞)有限公司 一种用于分析脉波波形品质的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970005131B1 (ko) * 1994-01-18 1997-04-12 대우전자 주식회사 인간의 청각특성에 적응적인 디지탈 오디오 부호화장치
JP2852862B2 (ja) * 1994-02-01 1999-02-03 株式会社グラフィックス・コミュニケーション・ラボラトリーズ Ｐｃｍオーディオ信号の変換方法と装置
KR100335611B1 (ko) * 1997-11-20 2002-10-09 삼성전자 주식회사 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
KR20040097300A (ko) 2002-04-09 2004-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 폴딩미러를 갖는 복합 대물렌즈
ES2341327T3 (es) * 2002-04-10 2010-06-18 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de señales audio multicanal.
KR100978018B1 (ko) 2002-04-22 2010-08-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 오디오의 파라메터적 표현
BRPI0304541B1 (pt) * 2002-04-22 2017-07-04 Koninklijke Philips N. V. Method and arrangement for synthesizing a first and a second output sign from an input sign, and, device for providing a decoded audio signal
US8498422B2 (en) 2002-04-22 2013-07-30 Koninklijke Philips N.V. Parametric multi-channel audio representation
US7039204B2 (en) * 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
AU2003281128A1 (en) 2002-07-16 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
WO2005081229A1 (ja) * 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ及びオーディオデコーダ
JP4867914B2 (ja) * 2004-03-01 2012-02-01 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャンネルオーディオコーディング
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170023870A (ko) * 2014-05-28 2017-03-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송
US10674228B2 (en) 2014-05-28 2020-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Data processor and transport of user control data to audio decoders and renderers
US11381886B2 (en) 2014-05-28 2022-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Data processor and transport of user control data to audio decoders and renderers
US11743553B2 (en) 2014-05-28 2023-08-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Data processor and transport of user control data to audio decoders and renderers

Also Published As

Publication number Publication date
BRPI0520053A2 (pt) 2009-04-14
JP2008530616A (ja) 2008-08-07
AU2005328264B2 (en) 2009-03-26
ES2312025T3 (es) 2009-02-16
DE602005009262D1 (de) 2008-10-02
CA2598541A1 (en) 2006-08-31
AU2005328264A1 (en) 2006-08-31
RU2388176C2 (ru) 2010-04-27
CA2598541C (en) 2012-08-14
CN101120615B (zh) 2012-05-23
US7573912B2 (en) 2009-08-11
BRPI0520053B1 (pt) 2019-02-19
PT1851997E (pt) 2008-12-04
ATE406076T1 (de) 2008-09-15
JP4887307B2 (ja) 2012-02-29
PL1851997T3 (pl) 2009-01-30
US20060190247A1 (en) 2006-08-24
IL185304A0 (en) 2008-02-09
EP1851997B1 (en) 2008-08-20
RU2007135178A (ru) 2009-03-27
KR100954179B1 (ko) 2010-04-21
CN101120615A (zh) 2008-02-06
HK1107495A1 (en) 2008-04-03
NO339907B1 (no) 2017-02-13
EP1851997A1 (en) 2007-11-07
WO2006089570A1 (en) 2006-08-31
CN102270452B (zh) 2013-11-13
CN102270452A (zh) 2011-12-07
MX2007009887A (es) 2007-09-07
NO20074829L (no) 2007-09-21

Similar Documents

Publication Publication Date Title
KR100954179B1 (ko) 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성
KR102230727B1 (ko) 광대역 정렬 파라미터 및 복수의 협대역 정렬 파라미터들을 사용하여 다채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법
RU2555221C2 (ru) Канальное кодирование на основе комплексного преобразования с частотным кодированием с расширенной полосой
AU2005259618B2 (en) Multi-channel synthesizer and method for generating a multi-channel output signal
Brandenburg et al. Perceptual coding of high-quality digital audio
US7953604B2 (en) Shape and scale parameters for extended-band frequency coding
US8817991B2 (en) Advanced encoding of multi-channel digital audio signals
US8249883B2 (en) Channel extension coding for multi-channel source
US20070172071A1 (en) Complex transforms for multi-channel audio
US7725324B2 (en) Constrained filter encoding of polyphonic signals
Lindblom et al. Flexible sum-difference stereo coding based on time-aligned signal components
EP1639580B1 (en) Coding of multi-channel signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140409

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160411

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170404

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 9