KR20130086221A - 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법 - Google Patents

디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20130086221A
KR20130086221A KR1020137009058A KR20137009058A KR20130086221A KR 20130086221 A KR20130086221 A KR 20130086221A KR 1020137009058 A KR1020137009058 A KR 1020137009058A KR 20137009058 A KR20137009058 A KR 20137009058A KR 20130086221 A KR20130086221 A KR 20130086221A
Authority
KR
South Korea
Prior art keywords
signal
channel
downmix
transient
post
Prior art date
Application number
KR1020137009058A
Other languages
English (en)
Other versions
KR101429564B1 (ko
Inventor
다비드 비레떼
위에 랑
레이 미아오
웬하이 우
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20130086221A publication Critical patent/KR20130086221A/ko
Application granted granted Critical
Publication of KR101429564B1 publication Critical patent/KR101429564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

본 발명에 따르면, 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 장치(101, 101')에 대해 개시하며, 상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며, 상기 장치는, 상기 디코딩된 다운믹스 신호로부터 생성되는 상기 적어도 하나의 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 적어도 하나의 채널 신호의 과도 유형을 표시하고 상기 적어도 하나의 채널 신호에 관련되어 있는 분류 표시를 수신하기 위한 수신기(103; 103'); 및 각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 포스트프로세서(105, 105')를 포함한다.

Description

디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법{DEVICE AND METHOD FOR POSTPROCESSING DECODED MULTI-CHANNEL AUDIO SIGNAL OR DECODED STEREO SIGNAL}
본 발명은 디코딩된 멀티 채널 오디오 신호를 포스트프로세싱하는 것에 관한 것이며, 디코딩된 멀티-채널 오디오 신호를 포스트프로세싱하는 특정한 경우를 나타내는 디코딩된 스테레오 오디오 신호를 포스트프로세싱하는 것에 관한 것이다.
종래의 음성 코덱에서, 음성 신호의 분류는 종종 음성 신호의 코딩 효율성을 향상시키도록 수행된다. 디코더 측에서는, 다양한 유형의 신호 프로세싱 툴이 음성 신호의 전송 분류에 따라 사용된다.
정상 음성 신호와 전이 음성 신호를 구분하는 한 가기 분류가 있다. 천이 신호는 지속기간이 짧고 신호 파워 및 진폭의 변화가 고속인 것이 특징이다. 이러한 천이 신호는 "정상적인" 또는 비천이 신호, 예를 들어 지속기간이 긴 신호 및/또는 신호 파워 및 진폭의 변화가 매우 작은 신호와 구분된다. 이러한 분류의 종류는 음성 신호에 제한되지 않으며 대체로 오디오 신호에 적용 가능하다.
천이 신호에 있어서, 인코더에서 입력 신호의 시간 엔벨로프를 추출하고, 전송하며 디코더에서 포스트프로세싱으로서 적용하는 것이다.
스테레오 신호에 있어서, 이러한 종류의 포스트프로세싱은 종종 필요하지만, 종래부터 양측 채널 신호의 시간 엔벨로프를 인코딩하는 비트가 충분하지 않다.
참고문헌 [1]을 참조하면, 로우 비트 레이트 스테레오 코딩은 스테레오 이미지의 파라메트릭 레프리젠테이션의 추출 및 양자화에 기반한다. 이때 파라미터는 코어 코더에 의해 인코딩된 모노 다운믹스 신호(mono downmix signal)와 함께 측면 정보(side information)로서 전송된다. 디코더에서, 스테레오 신호는 모노 다운믹스 신호 및 측면 정보, 즉 스테레오 신호의 공간(좌측 및 우측) 정보를 포함하는 스테레오 파라미터에 기초해서 재구성될 수 있다.
스테레오 코덱에 있어서, 다운믹스 모노 신호가 과도(transient)로서 분류되는 경우에는, 재구성된 스테레오 신호에 프리-에코 아티팩트(pre-echo artefect)가 있을 수 있다. 양측 채널 신호가 과도이거나 하나의 채널 신호만이 과도인 이러한 유형의 신호의 품질을 향상시키기 위해 포스트프로세싱을 수행할 수 있다. 그러나 파라메트릭 스테레오 코덱에 있어서, 종래부터 양측 채널 신호의 시간 엔벨로프를 인코딩하는 비트가 충분하지 않다.
참조문헌 [2] 및 [3]에 따르면, 입력 모노 신호는 인코더에서 과도 카테고리 및 정상 카테고리로 분류된다. 이때, 디코더 측에서는, 전송된 분류 정보에 기초해서, 시간 스케일링 합성 알고리즘을 사용하여 품질을 향상시킨다. 이러한 모든 종류의 알고리즘은 모노 다운믹스 신호에 적용된다.
신호를 전송하는 데 이용 가능한 대역폭은 스테레오 음성 또는 오디오 신호의 전송 시에 제한될 뿐만 아니라 이러한 제한은 다중채널 오디오 신호 전송 시에 통상적인 문제를 야기하며, 스테레오 오디오 코딩은 다중채널 오디오 코딩의 특정한 경우를 나타낸다.
본 발명에서 이루려는 목적은 향상된 로우 비트 레이트 파라메트릭 다중채널 또는 파라메트릭 스테레오 코딩 방법을 제공하여, 대역폭 효과 방식의 과도 오디오 신호의 경우에 전조 아티팩트를 감소시키는 것이다.
제1 관점에 따르면, 로우 비트 레이트 코딩 시스템에 의해 프로세스되는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치가 제안되며, 상기 장치는 수신기 및 포스트프로세서를 가진다. 상기 장치는 스테레오 신호의 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하며, 좌측 채널 신호와 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며, 다운믹스 신호 또는 디코딩된 다운믹스 신호는 스테레오 신호를 나타낸다. 수신기는, 디코딩된 다운믹스 신호로부터 생성되는 상기 스테레오 신호의 좌측 채널 신호와 우측 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 스테레오 신호의 과도 유형(transient type)을 표시하는 분류 표시를 수신한다. 포스트프로세서는 각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 좌측 채널 신호와 상기 우측 채널 신호 중 적어도 하나를 포스트프로세싱한다.
분류 표시에 따라, 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 선택적으로 결정할 수 있다. 포스트프로세싱은 가중 인자에 의해 가중될 수 있는 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프에 의해 선택적으로 수행될 수 있다.
스테레오 오디오 코딩의 경우에 모노 다운믹스 신호 또는 모노 신호로 칭해질 수 있는 다운믹스 신호는 인코더 측에서 좌측 채널 신호 및 우측 채널 신호로부터 선택적으로 생성될 수 있다. 생성된 인코딩된 다운믹스 신호는 오디오 채널을 통해, 또는 일반적으로 전송 링크를 통해, 포스트프로세싱을 위한 장치에 선택적으로 전송될 수 있다. 상기 포스트프로세싱을 위한 장치는 선택적으로 디코더의 일부일 수 있다. 또한, 포스트프로세싱을 위한 장치에 표시를 제공하기 위한 인코더에 과도 검출 모델 또는 엔티티가 선택적으로 있을 수 있으며 다운믹스 신호가 과도인지 아닌지를 표시한다. 특히, 다운믹스 신호가 과도 검출 모델에 의해 과도로서 분류되면, 다운믹스 신호의 시간 엔벨로프는 선택적으로 추출되어 상기 포스트프로세싱을 위한 장치를 포함할 수 있는 디코더에 전송될 수 있다.
제1 관점의 제1 실행 형태에 따르면, 장치는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함할 수 있다. 결정기는 스테레오 신호의 과도 유형을 표시하는 분류 표시에 따라 결정하도록 구성될 수 있다.
제1 관점의 제2 실행 형태에 따르면, 장치는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함할 수 있으며, 상기 결정기는 스테레오 신호의 과도 유형을 표시하는 분류 신호 및 디코딩된 다운믹스 신호의 과도 유형을 표시하는 추가의 분류 표시에 따라 결정하도록 구성될 수 있다. 스테레오 신호의 과도 유형을 표시하는 분류 표시 및 다운믹스 신호의 과도 유형을 표시하는 분류는 인코더에 의해 제공될 수 있다.
분류 표시 및 추가의 분류 표시에 부가해서, 결정기는 채널 레벨 차이(CLD) 및 다른 스테레오 파라미터를 선택적으로 수신하고 사용할 수 있다. CLD 및 다른 스테레오 파라미터는 인코더에 의해 제공될 수 있다.
제1 관점의 제3 실행 형태에 따르면, 장치는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함할 수 있으며, 상기 결정기는 스테레오 신호의 과도 유형을 표시하는 분류 표시에 따라 결정하도록 구성되며, 상기 결정기는 분류 표시가 스테레오 신호의 비과도 유형을 표시하면, 좌측 채널 신호 및 우측 채널 신호가 포스트프로세싱되는 것으로 결정하도록 구성될 수 있다.
그러므로 다운믹스 신호가 과도 유형이고 스테레오 신호가 비과도 유형이면, 좌측 채널 신호 및 우측 채널 신호 모두가 포스트프로세싱될 수 있다. 좌측 채널 신호 및 우측 채널 신호를 포스트프로세싱하는 경우, 디코딩된 다운믹스 신호의 시간 엔벨로프 - 모노 시간 엔벨로프라고도 칭함 - 는 상이한 가중 인자에 의해 상이하게 가중되는 데 사용될 수 있으며, 상이한 채널 신호에 대한 가중 인자를 또한 채널 신호 특정 가중 인자라고 하기도 한다.
제1 관점의 제4 실행 형태에 따르면, 장치는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함할 수 있으며, 상기 결정기는 스테레오 신호의 과도 유형을 표시하는 분류 표시에 따라 결정하도록 구성되며, 상기 결정기는, 분류 신호가 스테레오 신호의 과도 유형을 표시하면, 좌측 채널 신호 및 우측 채널 신호 중 하나, 예를 들어 하나만이 프로세스되는 것으로 결정하도록 구성될 수 있다.
제1 관점의 제5 실행 형태에 따르면, 장치는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함할 수 있으며, 상기 결정기는 스테레오 신호의 과도 유형을 표시하는 분류 표시에 따라 결정하도록 구성되며, 상기 결정기는, 분류 신호가 스테레오 신호의 과도 유형을 표시하면, 좌측 채널 신호와 우측 채널 신호 중 높은 신호 에너지를 가지는 신호가 포스트프로세싱되도록 결정하도록 구성될 수 있다.
제1 관점의 제6 실행 형태에 따르면, 포스트프로세서는 제1 가중 인자에 의해 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 좌측 채널 신호를 포스트프로세싱하기 위한 제1 포스트프로세싱 엔티티를 더 포함할 수 있다.
제1 관점의 제7 실행 형태에 따르면, 포스트프로세서는 제2 가중 인자에 의해 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 우측 채널 신호를 포스트프로세싱하기 위한 제2 포스트프로세싱 엔티티를 더 포함할 수 있다.
제1 관점의 제8 실행 형태에 따르면, 장치는 결정기, 제1 포스트프로세싱 엔티티 및 제2 포스트프로세싱 엔티티를 더 포함할 수 있다. 결정기는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성될 수 있으며, 결정기는 분류 표시에 따라 결정하도록 구성될 수 있다. 제1 포스트프로세싱 엔티티는 제1 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 좌측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 제2 포스트프로세싱 엔티티는 제2 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 우측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 결정기는 제1 포스트프로세싱 엔티티 및 제2 포스트프로세싱 엔티티를 제어하도록 구성될 수 있다.
제1 관점의 제9 실행 형태에 따르면, 장치는 결정기, 제1 포스트프로세싱 엔티티 및 제2 포스트프로세싱 엔티티를 더 포함할 수 있다. 결정기는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성될 수 있으며, 결정기는 분류 표시에 따라 결정하도록 구성될 수 있다. 제1 포스트프로세싱 엔티티는 제1 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 좌측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 제2 포스트프로세싱 엔티티는 제2 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 우측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 결정기는 스테레오 신호의 좌측 채널 신호 및 우측 채널 신호의 수신된 채널 레벨 차이(CLD) 및 수신된 다른 파라미터 또는 정보에 기초해서, 제1 가중 인자 및 제2 가중 인자를 계산하도록 구성될 수 있다. CLD 또는 다른 파라미터 또는 정보는 인코더에 의해 제공될 수 있다. 이러한 다른 파라미터는 예를 들어, 좌측 채널 신호 및 우측 채널 신호와 관련된 다른 에너지 메트릭, 즉 CLD와는 다른 에너지 메트릭일 수 있거나, 채널 특정 가중 인자일 수도 있다.
제1 관점의 제10 실행 형태에 따르면, 장치는 결정기, 제1 포스트프로세싱 엔티티 및 제2 포스트프로세싱 엔티티를 더 포함할 수 있다. 결정기는 좌측 채널 신호와 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성될 수 있으며, 결정기는 분류 표시에 따라 결정하도록 구성될 수 있다. 제1 포스트프로세싱 엔티티는 제1 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 좌측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 제2 포스트프로세싱 엔티티는 제2 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프를 사용해서 우측 채널 신호를 포스트프로세싱하도록 구성될 수 있다. 결정기는
Figure pct00001
에 의해 제1 가중 인자 aleft를 계산하고
Figure pct00002
에 의해 제2 가중 인자 aright를 계산하도록 구성될 수 있으며, 여기서,
Figure pct00003
이고,
Figure pct00004
이며,
Figure pct00005
이다.
상세히 설명하면, 채널 레벨 차이(CLD)는 이하의 식을 사용함으로써 인코더 측에서 좌측 채널 신호 및 우측 채널 신호로부터 선택적으로 추출될 수 있다:
Figure pct00006
여기서, k는 주파수 bin의 색인이고, b는 주파수 대역의 색인이며, kb는 대역 b의 시작 bin이고, X1 및 X2는 각각 좌측 채널 신호 및 우측 채널 신호의 스펙트럼이다.
또한, 스테레오 분류 표시는 인코더 측에서 CLD 모니터링에 기초해서 선택적으로 생성될 수 있다. 2개의 연속적인 프레임 간의 CLD의 고속 변화가 검출되면, 스테레오 신호는 스테레오 과도로서 분류될 수 있다.
또한, 식(1)에 따라 디코딩된 CLD가 0보다 크면, 좌측 채널 신호의 에너지가 우측 채널 신호의 에너지보다 높다. 장치에 의해 디코더 측에서 모노 시간 엔벨로프에 인가되는 가중 인자는 인코더로부터 수신되는 CLD에 기초해서 이하의 방식으로 계산될 수 있다. 제1 단계는 CLD의 평균을 계산하는 것일 수 있다.
Figure pct00007
제2 단계는 c를 계산하는 것일 수 있다.
Figure pct00008
마지막 단계는 좌측 채널 신호의 가중 인자 aleft 및 우측 채널 신호의 가중 인자 aright를 계산하는 것일 수 있다.
Figure pct00009
및
Figure pct00010
모노 디코딩 프로세스로부터 나오는 시간 엔벨로프를 좌측 채널 및 우측 채널에 적용하기 전에, 시간 엔벨로프는 대응하는 계산된 가중 인자에 의해 선택적으로 승산될 수 있다.
제1 관점의 제11 실행 형태에 따르면, 포스트프로세서는, 분류 표시가 스테레오 신호의 비과도 유형을 표시하면, 디코딩된 다운믹스 신호의 각각의 가중된 시간 엔벨로프를 사용해서 좌측 채널 신호 및 우측 채널 신호를 포스트프로세싱하도록 구성될 수 있다.
제1 관점의 제12 실행 형태에 따르면, 스테레오 신호의 우측 채널 신호의 에너지와 좌측 채널 신호의 에너지 간의 관계의 시간에 따른 변화(change over time)가 미리 정해진 임계값을 초과하는 경우, 분류 표시는 스테레오 신호가 스테레오 과도인 것으로 표시한다.
제1 관점의 제13 실행 형태에 따르면, 스테레오 신호의 우측 채널 신호의 에너지와 좌측 채널 신호의 에너지 간의 채널 레벨 차이(CLD)의 시간에 따른 변화(change over time)가 미리 정해진 임계값을 초과하는 경우, 분류 표시는 스테레오 신호가 스테레오 과도인 것으로 표시한다.
제1 관점의 제14 실행 형태에 따르면, 다운믹스 신호의 에너지의 시간에 따른 변화가 미리 정해진 임계값을 초과하는 경우, 추가의 분류 표시는 다운믹스 신호가 다운믹스 과도인 것으로 표시한다. 다운믹스 신호가 모노 다운믹스 신호이면, 다운믹스 신호의 에너지의 시간에 따른 변화가 미리 정해진 임계값을 초과하는 경우, 다운믹스 신호도 또한 모노 과도인 것으로 칭해질 수 있다.
제1 관점의 실행 형태는 제1 관점의 임의의 다른 실행 형태와 조합하여 제1 관점의 다른 실행 형태를 획득할 수 있다.
제2 관점에 따르면, 로우 비트 레이트 오디오 코딩 시스템에 의해 스테레오 신호로부터 프로세스된 다운믹스 신호를 디코딩하기 위한 디코더가 제공되며, 상기 디코더는, 오디오 채널을 통해 수신된 다운믹스 신호를 디코딩하기 위한 모노 디코더, 및 스테레오 신호가 과도인 경우, 또는 다운믹스 신호 및 스테레오 신호가 과도인 경우, 전술한 디코딩된 다운믹스 신호를 포스트프로세싱하기 위한 장치를 포함한다.
제2 관점의 제1 실행 형태에 따르면, 디코더는 다운믹스 신호 및 이 다운믹스 신호에 관련된 공간 오디오 파라미터에 따라 좌측 채널 신호 및 우측 채널 신호를 생성하기 위한 업믹서를 포함할 수 있다.
디코더는 선택적으로 임의의 디코딩 수단일 수 있다. 또한, 포스트프로세서는 임의의 포스트프로세싱 수단일 수 있다. 또한, 업믹서는 임의의 업믹싱 수단일 수 있다.
각각의 수단, 특히 디코더, 수신기, 포스트프로세서 및 업믹서는 하드웨어 또는 소프트웨어로 실현될 수 있다. 상기 수단들이 하드웨어로 실현되는 경우, 장치로서 예를 들어, 컴퓨터로서 또는 프로세서로서 또는 시스템, 예를 들어 컴퓨터 시스템의 일부로서 실현될 수 있다. 상기 수단들이 소프트웨어로 실현되는 경우, 컴퓨터 프로그램 제품으로서, 함수로서, 루틴으로서, 프로그램 코드로서 또는 실행 가능한 객체로서 실현될 수 있다.
제3 관점에 따르면, 로우 비트 레이트 오디오 코딩 시스템에 의해 프로세스되는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 방법이 제안된다. 이 방법은 스테레오 신호의 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하기 위한 것이며, 좌측 채널 신호와 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 이 방법은 디코딩된 다운믹스 신호로부터 생성되는 좌측 채널 신호와 우측 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 스테레오 신호의 과도 유형(transient type)을 표시하는 분류 표시를 수신하는 단계; 및 각각의 가중 인자에 의해 가중된 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 분류 표시에 따라, 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하는 단계를 포함한다.
제4 관점에 따르면, 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 장치가 제시되며, 상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 장치는 수신기 및 포스트프로세서를 포함한다. 수신기는 디코딩된 다운믹스 신호로부터 생성되는 적어도 하나의 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 상기 적어도 하나의 채널 신호의 과도 유형을 표시하는 분류 표시를 수신하도록 구성되어 있으며, 상기 분류 표시는 적어도 하나의 채널 신호와 관련되어 있다. 포스트프로세서는 각각의 가중 인자에 의해 가중되는 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고 분류 신호에 따라 적어도 하나의 채널 신호를 포스트프로세싱하도록 구성되어 있다.
2 이상의 채널 신호를 가지는 다중채널 신호가 단지 하나의 싱글 다운믹스 신호 및 대응하는 일련의 공간 오디오 파라미터에 의해 제시되어 상기 싱글 다운믹스 신호로부터 2 이상의 채널 신호를 재구성할 수 있도록 상기 2 이상의 채널 신호를 가지는 다중채널 신호가 다운믹스될 수 있다. 이러한 싱글 다운믹스 신호를 또한 모노 다운믹스 신호라고도 한다. 바꿔 말하면, 모노 다운믹스에 있어서, 예를 들어 5개의 채널 신호, 예를 들어 전면 채널 신호, 좌측 채널 신호, 우측 채널 신호, 좌측 후면 채널 신호 및 우측 후면 채널 신호를 가지는 다중채널 신호가 하나의 싱글 모노 다운믹스 신호로 다운믹스된다. 스테레오 신호를 하나의 싱글 다운믹스 신호로 다운믹스하는 것은 다중채널 신호의 특정한 경우의 모노 다운믹스이다.
그렇지만, 2 이상의 채널 신호를 가지는 다중채널 신호(즉, M>=2)가 2 이상의 다운믹스 신호(통상적으로 M보다는 작음) 및 대응하는 일련의 공간 오디오 파라미터에 의해 제시되어 상기 2 이상의 다운믹스 신호로부터 2 이상의 채널 신호를 재구성할 수 있도록 상기 2 이상의 채널 신호를 가지는 다중채널 신호가 다운믹스될 수 있다. 각각의 다운믹스 신호는 다중채널 신호의 2 이상의 채널 신호 중 적어도 2개로부터 유도될 수 있다. 좌측 신호 및 중앙 신호로부터의 채널 신호를 사용하여 제1 다운믹스 신호를 획득하고 우측 신호 및 중앙 신호로부터의 채널 신호를 사용하여 제2 다운믹스 신호를 획득하는 경우, 다운믹스 신호 모두를 스테레오 다운믹스 신호, 즉 좌측 및 우측 스테레오 다운믹스 신호라고도 할 수 있다. 바꿔 말하면, 스테레오 다운믹스에 있어서, 예를 들어 5개의 채널 신호, 예를 들어 전면 채널 신호, 좌측 채널 신호, 우측 채널 신호, 좌측 후면 채널 신호 및 우측 후면 채널 신호를 가지는 다중채널 신호가 좌측 스테레오 다운믹스 신호 및 우측 스테레오 다운믹스 신호로 다운믹스된다. 하나 이상의 다운믹스 신호로의 다운믹스는 스테레오 다운믹스 신호에 제한되지 않으며, 다중채널 신호의 다중채널 신호들의 임의의 조합에서 생기는 임의 개수의 다운믹스 신호를 포함할 수 있다. 그러므로 대응하는 다운믹스 신호를 제1, 제2 등의 다운믹스 채널 신호라고도 할 수 있으며, 이는 그 전체에 있어서 전반적인 다운믹스 신호를 형성한다.
제4 관점의 제1 실행 형태에 따르면, 장치는 파라메트릭 다중채널 오디오 신호에서 사용하기 위한 것이다.
제4 관점의 제2 실행 형태에 따르면, 복수의 다중채널 신호는, 다운믹스 신호와 관련되어 있는 파라메트릭 측면 정보를 사용해서, 디코딩되고 업믹스된 버전의 다운믹스 신호로부터 생성된다.
제4 관점의 제3 실행 형태에 따르면, 장치는 복수의 채널 신호 중 어느 신호 또는 어느 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기(decider)를 더 포함하며, 상기 결정기는 각각의 채널 신호의 과도 유형을 표시하는 분류 표시에 따라 결정하도록 구성되어 있다.
제4 관점의 제4 실행 형태에 따르면, 결정기는 복수의 채널 신호 각각에 대해, 또는 적어도 복수의 채널 신호의 각각의 서브세트에 대해, 각각의 채널 신호와 관련된 분류 표시를 수신하도록 구성되어 있다. 그러므로 이러한 종류의 분류 표시는 채널 특정 분류 표시라고도 할 수 있다.
제4 관점의 제5 실행 형태에 따르면, 채널 신호의 에너지와 기준 신호의 에너지의 관계의 시간에 따른 변화가 미리 정해진 값을 초과하는 경우, 분류 표시는 채널이 채널 과도임을 표시한다.
제4 관점의 제6 실행 형태에 따르면, 각각의 채널 신호와 기준 신에 대해 결정된 채널 레벨 차이(CLD)의 시간에 따른 변화가 미리 정해진 값을 초과하는 경우, 분류 표시는 채널이 채널 과도임을 표시한다.
제4 관점의 제7 실행 형태에 따르면, 채널 분류 표시 및/또는 CLD를 결정하는 데 사용되는 기준 신호는 다운믹스 신호, 복수의 채널 신호 중 하나 또는 복수의 채널 신호 중 적어도 하나로부터 유도되는 신호이다.
채널 신호의 분류 표시로서, 다운믹스 신호의 분류 표시 및 다른 코딩 파라미터, 예를 들어, CLD는 인코더에서는 다중채널 신호의 시간 및 공간 특성을 정의하도록 결정되고 디코더에서는 모노 다운믹스 신호로부터 다중 채널 신호의 개별적인 채널 신호를 재구성하도록 결정되며, 채널 신호의 분류 표시, 다운믹스 신호의 분류 표시 및 다른 코딩 파라미터는 (코딩 전의) 원래의 채널 신호의 특성 및 서로 간의 관계를 설명할 뿐만 아니라 (코딩 후의) 재구성된 채널 신호의 각각의 특성 및 서로 간의 관계도 설명한다.
제4 관점의 제8 실행 형태에 따르면, 결정기는 복수의 채널 신호 각각에 대해, 각각의 채널 신호와 관련되어 있는 채널 특성 채널 레벨 차이 CLDm을 수신하도록 구성되어 있다.
제4 관점의 제9 실행 형태에 따르면, 장치는 복수의 채널 신호 중 어느 신호 또는 어느 신호들이 포스트프로세싱되는지를 결정하기 위한 결정기를 더 포함하며, 상기 결정기는, 채널 신호의 과도 유형을 표시하는 분류 표시 및 다운믹스 신호의 과도 유형을 표시하는 추가의 분류 표시에 따라, 채널이 프로세스되는지를 결정하도록 구성되어 있다.
제4 관점의 제10 실행 형태에 따르면, 다운믹스 신호의 에너지의 시간에 따른 변화가 미리 정해진 임계값을 초과하는 경우, 추가의 분류 표시는 다운믹스 신호가 다운믹스 과도인 것으로 표시한다.
제4 관점의 제11 실행 형태에 따르면, 추가의 분류 표시가 다운믹스 신호가 다운믹스 과도가 아닌 것으로 표시하는 경우, 결정기는 채널 신호 중 어느 신호도 포스트프로세싱하지 않도록 결정하도록 구성되어 있다.
제4 관점의 제12 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널이 채널 과도가 아님을 표시하는 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 포스트프로세싱하도록 제어하도록 구성되어 있다.
제4 관점의 제13 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호의 에너지 메트릭 또는 다른 표시자가 기준 신호의 대응하는 에너지 메트릭 또는 다른 표시자보다 큰 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 포스트프로세싱하도록 제어하도록 구성되어 있다.
제4 관점의 제14 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호와 기준 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 작은 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 포스트프로세싱하도록 제어하도록 구성되어 있다.
제4 관점의 제15 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호와 기준 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 큰 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 포스트프로세싱하도록 제어하도록 구성되어 있다.
제4 관점의 제16 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호의 에너지 메트릭이 기준 신호의 대응하는 에너지 메트릭보다 낮은 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 포스트프로세싱하지 않도록 제어하도록 구성되어 있다.
제4 관점의 제17 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호와 기준 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 큰 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 (가중된 시간 엔벨로프를 사용해서) 포스트프로세싱하지 않도록 제어하도록 구성되어 있다.
제4 관점의 제18 실행 형태에 따르면, 추가의 분류 신호가 다운믹스 신호가 다운믹스 과도임을 표시하고, 적어도 하나의 다중채널 신호와 관련되어 있는 채널 특정 분류 신호가 적어도 하나의 채널 신호가 채널 과도임을 표시하며, 적어도 하나의 채널 신호와 기준 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 작은 경우, 결정기는 포스트프로세서가 적어도 하나의 채널 신호를 (가중된 시간 엔벨로프를 사용해서) 포스트프로세싱하지 않도록 제어하도록 구성되어 있다.
제4 관점의 제19 실행 형태에 따르면, 결정기는 채널 특정 가중 인자를 결정하도록 구성되어 있으며, 이에 따라 적어도 하나의 채널 시간 m과 기준 신호 간의 수신된 채널 레벨 차이 CLDm에 따라, 다운믹스 신호의 시간 엔벨로프는 채널 특정 가중 인자를 사용하여 적어도 하나의 채널 신호의 포스트프로세싱에 대해 가중된다.
제4 관점의 제20 실행 형태에 따르면, 결정기는 채널 특정 가중 인자 am
Figure pct00011
을 결정하도록 구성되어 있으며, 여기서 c는
Figure pct00012
에 의해 결정되며, 여기서 acldm은
Figure pct00013
에 의해 결정되며, 여기서 CLDm은
Figure pct00014
에 의해 결정되며, 여기서 m은 채널 색인이고, k는 주파수 bin의 색인이고, b는 주파수 대역의 색인이고, kb는 대역 b의 시간 bin이고, Xref는 기준 신호의 스펙트럼이며, Xm은 다중채널 신호의 각 채널 신호의 스펙트럼이다.
제4 관점의 제21 실행 형태에 따르면, 다중채널 신호는 스테레오 신호이고, 스테레오 신호는 제1 채널 및 제2 채널을 포함한다.
제4 관점의 제22 실행 형태에 따르면, 다중채널 신호는 스테레오 신호이고, 여기서 제1 채널 신호는 스테레오 신호의 좌측 채널 신호이고 제2 채널 신호는 스테레오 신호 우측 채널 신호이며, 그 반대도 성립한다.
제4 관점의 제23 실행 형태에 따르면, 다중채널 신호는 스테레오 신호이고, 스테레오 신호는 제1 채널 신호 및 제2 채널 신호를 포함하며, 기준 신호는 스테레오 신호의 제1 또는 제2 채널 신호 또는 다운믹스 신호이다.
제4 관점의 임의의 실행 형태는 제4 관점의 임의의 다른 실행 형태와 조합하여 제4 관점의 다른 실행 형태를 획득할 수 있다.
제5 관점에 따르면, 파라메트릭 다중채널 오디오 디코딩을 위한 디코더가 제공되며, 디코더는 다운믹스 디코더, 업믹서 및 제4 관점의 실행 형태 중 임의의 실행에 따른 장치(209')를 포함한다. 상기 다운믹스 디코더는 다중채널 신호를 나타내는 인코딩된 다운믹스 신호를 수신하고 상기 인코딩된 다운믹스 신호를 디코딩하여 디코딩된 다운믹스 신호를 생성하도록 구성되어 있다. 상기 업믹서는 상기 다운믹스 디코더로부터 상기 디코딩된 다운믹스 신호 및 상기 다운믹스 신호와 관련된 다중채널 파라미터를 수신하고 업믹스되어 디코딩된 버전의 다운믹스 신호를 생성하고, 상기 업믹스되어 디코딩된 버전의 다운믹스 신호는 다중채널 신호를 형성한다.
제5 관점의 제1 실행 형태에 따르면, 디코더는 다중화된 오디오 신호를 수신하고 상기 다중화된 오디오 신호로부터 인코딩된 다운믹스 신호 및 다중 채널 파라미터를 추출하도록 구성되어 있는 역다중화기를 더 포함하며, 상기 멀티채널 파라미터는 적어도 하나의 채널 신호에 대한 분류 표시를 적어도 포함한다.
제5 관점의 제2 실행 형태에 따르면, 역다중화기는 각각의 채널 신호에 대해, 각각의 채널 신호의 과도 유형을 표시하는 채널 특정 분류 표시를 추출하도록 구성되어 있다.
제5 관점의 제3 실행 형태에 따르면, 다운믹스 디코더는 상기 인코딩된 다운믹스 신호로부터 상기 디코딩된 다운믹스 신호의, 예를 들어 다운믹스 신호의 과도 유형을 표시하는 분류 표시 및 시간 엔벨로프를 추출하도록 구성되어 있다.
제5 관점의 제4 실행 형태에 따르면, 다중채널 파라미터는 복수의 채널 신호의 각각의 채널 신호에 대해, 또는 적어도 상기 복수의 채널 신호의 서브세트의 채널 신호에 대해, 각각의 채널과 관련되어 있는 채널 특정 채널 레벨 차이를 포함한다.
제5 관점의 임의의 실행 형태는 제5 관점의 임의의 다른 실행 형태와 조합하여 제5 관점의 다른 실행 형태를 획득할 수 있다.
제6 관점에 따르면, 다중채널 신호의 복수의 채널 신호의 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 방법이 제공되며, 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 방법은 이하의 단계: 디코딩된 다운믹스 신호로부터 생성되는 적어도 하나의 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 적어도 하나의 채널 신호의 과도 유형을 표시하는 분류 표시를 수신하는 단계 - 상기 분류 표시는 적어도 하나의 채널 신호와 관련되어 있으며 - ; 및 각각의 가중 인자에 의해 가중되는 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 분류 표시에 따라, 적어도 하나의 채널 신호를 포스트프로세싱하는 단계를 포함한다. 제4 관점 및 제5 관점과 관련해서 설명되는 실행 형태는 또한 제6 관점의 대응하는 실행 형태를 설명한다.
제7 관점에 따르면, 본 발명은 적어도 하나의 컴퓨터상에서 실행될 때, 제3 관점 또는 제6 관점의 실행 형태 중 임의의 실행 형태에 따르면, 로우 비트 레이트 오디오 코딩 시스템에 의해 프로세스되는 디코딩된 다중채널 신호를 포스트프로세싱하거나 디코딩된 스테레오 신호를 포스트프로세싱하는 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
각각의 수단, 특히 디코더, 수신기, 결정기, 포스트프로세서 및 포스트프로세싱 엔티티는 기능 엔티티이고 당기술분야에 알려진 바와 같이, 하드웨어, 소프트웨어, 또는 양자의 조합으로 실현될 수 있다. 상기 수단들이 하드웨어로 실현되는 경우, 장치로서 예를 들어, 컴퓨터로서 또는 프로세서로서 또는 시스템, 예를 들어 컴퓨터 시스템의 일부로서 실현될 수 있다. 상기 수단들이 소프트웨어로 실현되는 경우, 컴퓨터 프로그램 제품으로서, 함수로서, 루틴으로서, 프로그램 코드로서 또는 실행 가능한 객체로서 실현될 수 있다.
제4 관점 내지 제6 관점의 스테레오 실행 형태는, 스테레오 신호는 단지 두 개의 채널 신호(M=2), 즉 좌측 및 우측 채널 신호를 포함하는 반면, 다중채널 신호는 2개 이상의 채널 신호(M>=2)를 포함할 수 있으므로, 다중채널 인코딩/디코딩의 특정한 실행 형태를 형성한다.
제3 관점 내지 제6 관점의 스테레오 실행 형태는 다시, (다운믹스 신호를 기준 신호로서 사용하는 대신) 채널 신호 중 하나(즉 스테레오 신호의 좌측 또는 우측 채널 신호)를 다른 채널 신호의 채널 과도 유형을 결정하는 기준 신호로서 사용해서, 제4 관점 내지 제6 관점에 따르면 스테레오/멀티채널 스테레오 실행 형태의 추가의 개발로 간주될 수 있다. 제1 관점 내지 제3 관점의 스테레오 실행은, 스테레오 신호는 단지 두 개의 채널을 포함하기 때문에, 두 개의 채널 신호 중 하나의 채널 신호와 관련해서 두 개의 채널 중 다른 하나에 대해 결정된 "채널 과도 분류 표시"(및 또한 LCDm)는 동시에 기준 채널 신호의 과도 정부(또는 에너지 정보)를 포함한다는 사실을 추가로 이용한다. 그러므로 스테레오 과도 분류는 하나의 채널 신호 m과 관련되어 있을 뿐만 아니라 스테레오 신호의 양측 채널 신호(좌측 채널 신호 및 우측 채널 신호)와도 관련되어 있는 (다중채널 관점의) 채널 과도 분류의 특정한 경우로서 간주될 수 있다.
제1 관점 내지 제3 관점의 실행 형태는, 단지 하나의 스테레오 분류만이 전송되어야 하므로, 스테레오 정보, 특히 과도 정보 및 에너지 정보(예를 들어, CLD)를 전송하는 데 필요한 대역폭을 훨씬 더 감소시킬 수 있는 반면, 다운믹스 신호가 기준으로 사용되는 경우에는, 제4 내지 제6의 실행 형태는 (두 개의 채널 각각에 대해) 두 개의 개별적인 채널 분류 표시를 필요로 한다.
다중채널 관점의 실행 형태로 다시 돌아가서, 복수의 채널 신호 중 하나를 기준 신호로서 사용하는 경우, 단지 M-1 채널 신호에 대한 채널 과도 분류 표시가 필요하다(M은 다중채널 신호를 형성하는 복수의 채널 신호의 수). 기준 신호 자체의 과도 분류는 M-1 채널 신호의 임의의 채널 과도 분류에 포함되며, 기준 신호에 대한 포스트프로세싱은 제1 관점 내지 제3 관점에 따른 스테레오 코딩에 대한 실행 형태에서와 같이 결정될 수 있다. 이에 대응해서 기준 채널 신호를 포스트프로세싱할 것인지에 대한 결정은 M-1 채널 과도 분류 중 하나에 기초해서 수행되거나 또는 M-1 채널 과도 분류 중 하나와 조합해서 다운믹스 신호의 다운믹스 과도 분류 정보에 기초해서 수행될 수 있다.
대안의 실행 형태에서, 기준 신호에 대한 과도 분류는 다운믹스 신호의 경우와 같이, 즉 다운믹스 과도 분류와 같이 다른 신호와의 관계를 평가함이 없이, 기준 신호 자체에 대해 수행될 수 있다.
본 발명의 추가의 실시예에 대해 첨부된 도면을 참조하여 설명한다.
도 1은 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치의 실시예에 대한 개략도이다.
도 2는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치를 포함하는 디코더의 제1 실시예에 대한 개략도이다.
도 3은 도 2의 디코더에 결합될 수 있는 인코더의 제1 실시예에 대한 개략도이다.
도 4는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 방법의 제1 실시예에 대한 개략도이다.
도 5는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 방법의 제2 실시예에 대한 개략도이다.
도 6은 도 7의 디코더에 결합될 수 있는 인코더의 제2 실시예에 대한 개략도이다.
도 7은 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치를 포함하는 디코더의 제2 실시예에 대한 개략도이다.
도 8은 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 방법의 제3 실시예에 대한 개략도이다.
도 9는 하나의 과도 채널 및 하나의 정상 채널을 가지는 원래의 스테레오 신호를 나타내는 도해이다.
도 10은 포스트프로세싱이 없는 출력 스테레오 신호를 나타내는 도해이다.
도 11은 양측 채널에 대해 포스트프로세싱이 수행된 출력 스테레오 신호를 나타내는 도해이다.
도 12는 과도인 좌 채널에 대해서만 포스트프로세싱이 수행된 출력 스테레오 신호를 나타내는 도해이다.
도 13은 디코딩된 다중채널 신호를 포스트프로세싱하기 위한 장치의 실시예에 대한 개략도이다.
도 14는 디코딩된 다중채널 신호를 포스트프로세싱하기 위한 장치를 포함하는 디코더의 제3 실시예에 대한 개략도이다.
도 15는 도 14의 디코더에 결합될 수 있는 인코더의 제3 실시예에 대한 개략도이다.
도 16은 디코딩된 다중채널 신호를 포스트프로세싱하기 위한 방법의 제1 실시예에 대한 개략도이다.
도 17은 디코딩된 다중채널 신호를 포스트프로세싱하기 위한 방법의 제2 실시예에 대한 개략도이다.
도 1에서, 로우 비트 레이트 오디오 코딩 시스템에 의해 프로세스되는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치(101)에 대한 실시예를 설명한다. 장치(101)는 스테레오 신호의 좌측 및 우측 채널 신호 중 적어도 하나를 포스프프로세싱하도록 구성되어 있고, 좌측 및 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 전술한 바와 같이, 다운믹스 신호는, 그 인코딩되고 디코딩된 버전에서, 스테레오 신호를 나타낸다.
장치(101)는 수신기(103) 및 포스트프로세서(105)를 포함한다.
수신기(103)는 디코딩된 다운믹스 신호로부터 생성되는 좌측 채널 신호 및 우측 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 스테레오 신호의 과도 유형을 표시하는 분류 표시를 수신하도록 구성되어 있다.
또한, 포스트프로세서(105)는 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프에 기초하고, 분류 표시에 따라, 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하도록 구성되어 있다. 상세히 설명하면, 분류 표시는 어느 채널 신호가 포스트프로세싱되는지 또는 양측 채널 신호가 포스트프로세싱되는지를 제어할 수 있다. 또한, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프는 선택된 채널 신호 또는 신호들을 포스트프로세싱하기 위한 툴이 될 수 있다.
도 2는 디코더(201)의 제1 실시예를 도시하고 있다. 디코더(201)는 역다중화기(203), 모노 디코더(205), 업믹서(207) 및 포스트프로세싱을 위한 장치(209)를 포함한다. 포스트프로세싱을 위한 장치(209)는 결정기(211), 제1 포스트프로세싱 엔티티(213) 및 제2 포스트프로세싱 엔티티(215)를 포함한다.
역다중화기(203)는 수신된 다운믹스 신호(217), 예를 들어 다운믹스 비트스트림, 및 추가의 신호(219), 예를 들어 채널 레벨 차이(CLD)를 포함하는 일련의 파라미터(219)를 제공하며, 잠재적으로 추가의 스테레오 파라미터도 포함한다.
모노 디코더(205)는 다운믹스 신호(217)를 수신하고 디코딩된 다운믹스 신호(221)를 업믹서(207) 및 장치(209)에 제공하도록 구성되어 있다.
업믹서(207)는 디코딩된 다운믹스 신호(221) 및 CLD 신호(219)를 수신하여 좌측 채널 신호(223) 및 우측 채널 신호(225)를 출력한다.
장치(209)의 결정기(211)는 신호(231), 예를 들어 디코딩된 다운믹스 신호의 시간 엔벨로프 및 디코딩된 다운믹스 신호의 유형을 표시하는 분류 표시를 포함하는 일련의 파라미터(231)를 수신하도록 구성되어 있다. 분류 표시는 디코딩된 다운믹스 신호가 과도인지 또는 정상인지를 표시한다. 장치(209)의 디코더(211)는 신호(219)를 더 수신한다.
결정기(211)는 좌측 및 우측 채널 신호(223, 225) 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있다. 특히, 상기 결정기(211)는 스테레오 신호의 과도 타입을 표시하는 분류 표시에 따라 결정하도록 구성되어 있다. 이 분류 표시는 신호(219)에 포함될 수 있다. 또한, 상기 결정기(211)는 제1 제어 신호(227)에 의해 제1 프로세싱 엔티티(213)를 제어하고 제2 제어 신호(229)에 의해 제2 포스트프로세싱 엔티티(215)를 제어하도록 구성될 수 있다.
제1 포스트프로세싱 엔티티(213)는 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프(231)를 사용해서 좌측 채널 신호(231)를 포스트프로세싱하도록 구성되어 있으며, 상기 시간 엔벨로프는 제1 가중 인자에 의해 가중된다.
유사한 방식으로, 제2 포스트프로세싱 엔티티(215)는 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프(231)를 사용해서 우측 채널 신호(225)를 포스트프로세싱하도록 구성되어 있으며, 이때 상기 시간 엔벨로프는 제2 가중 인자에 의해 가중된다.
이와 관련해서, 결정기(211)는 스테레오 신호의 좌측 및 우측 채널 신호 간의 수신된 채널 레벨 차이(219)에 따라 제1 가중 인자와 제2 가중 인자를 계산하도록 구성되어 있다.
도 2와 관련해서, 도 3은 도 2의 디코더(201)와 결합될 수 있는 인코더(301)의 제1 실시예를 도시한다. 도 3의 인코더(301) 및 도 2의 디코더(201)는 전송 채널 또는 임의의 다른 통신 링크, 예를 들어 유무선 통신 링크에 의해 결합될 수 있다.
인코더(301)는 다운믹서(303), 다운믹서 과도 검출기(305), 인코딩 엔티티(307), 추출기(309), 검출기 및 다중화기(313)를 포함한다.
상기 다운믹서(303)는 스테레오 신호의 좌측 채널(315) 및 우측 채널(317)을 수신한다. 다운믹서(303)는 다운믹스 신호(319)를 출력하고, 상기 다운믹스 신호(319)는 다운믹스 과도 검출기(305) 및 인코딩 엔티티(307)에 제공된다.
다운믹서는 좌측 및 우측 채널을 단지 하나의 모노 다운믹스 신호로 다운믹스하도록 구성되어 있기 때문에, 다운믹서(303)를 모노 다운믹서(303)로 칭하기도 하고 다운믹스 과도 검출기(305)를 모노 과도 검출기(305) 또는 모노 다운믹스 과도 검출기로 칭하기도 한다.
모노 과도 검출기(305)는 모노 다운믹스 신호가 과도인지 아닌지를 검출하고, 모노 다운믹스 신호(319)가 과도인지 아닌지를 표시하는 분류 표시(325)를 출력하도록 구성되어 있다. 모노 과도 검출기는 모노 다운믹스 신호의 연속적인 프레임의 에너지를 평가하고, 하나의 프레임으로부터 연속적인 프레임으로의 모노 다운믹스 신호의 에너지의 변화가 미리 정해진 임계값을 초과할 때 모노 다운믹스 신호가 과도인 것으로 검출하도록 구성될 수 있다.
이러한 검출과 관련해서, 모노 다운믹스 신호 자체(또는 일반적으로: 다운믹스 신호 자체)의 역학 또는 시간에 따른 변화가 평가되며(후술되는 스테레오 과도 분류 및 채널 과도 분류와는 대조적으로, 두 신호의 에너지의 역학은 평가되며), 이 과도 분류를 모노 과도 분류(또는 일반적으로: 다운믹스 과도 분류)라고도 하며, 전술한 상황이 수행되는 경우, 예를 들어 하나의 프레임으로부터 연속적인 프레임으로의 모노 다운믹스 신호의(일반적으로: 다운믹스 신호의) 에너지의 변화가 미리 정해진 임계값을 초과하는 경우, 모노 다운믹스 신호를 모노 과도가 되는 것(또는 일반적으로: 다운믹스 과도)으로 칭하기도 한다.
그러므로 (모노) 다운믹스 신호의 과도 유형을 표시하는 분류 표시(325)는 모노 과도 검출기(305)의 출력이며, 모노 과도 분류 표시라고 하기도 하고 모노 다운믹스 신호의 모노 과도 유형을 표시하는, 예를 들어 모노 다운믹스 신호가 모노 과도인지 아닌지를 표시하는 과도 분류라고도 한다.
인코딩 엔티티(307)는 인코딩된 다운믹스 신호(321), 예를 들어 인코딩된 다운믹스 비트스트림(321) 및 다운믹스 신호의 시간 엔벨로프(323)를 출력한다. 인코딩 엔티티는 모노 과도 검출기가 모노 다운믹스 신호가 모노 과도임을 검출하는 경우 모노 다운믹스 신호만의 시간 엔벨로프를 추출하도록 구성되어 있다. 인코딩 엔티티는 예를 들어 전체 프레임을 4개의 서브프레임으로 분할하고, 각각의 서브프레임의 에너지를 계산하며, 이러한 4개의 서브프레임의 에너지의 제곱근을 인코딩하여 다운믹스 신호의 시간 엔벨로프를 나타내도록 구성될 수 있다.
추출기(309)는 스테레오 신호로부터 CLD 및 다른 스테레오 신호 파라미터를 추출하도록 구성되어 있다. 스테레오 신호로부터 추출된 CLD 및 다른 스테레오 신호 파라미터는 비트스트림(327)에 의해 전달될 수 있다.
또한, 검출기(311)는 스테레오 과도 검출을 제공하고 스테레오 신호의 과도 유형을 표시하는 분류 표시(329)를 출력하도록 구성되어 있다. 검출기는 스테레오 신호의 연속적인 프레임에 대해 좌측 및 우측 채널 신호 간의 채널 레벨 차이 CLD를 계산하고, 하나의 프레임으로부터 연속적인 프레임으로 스테레오 신호의 CLD의 변화, 즉, 스테레오 신호의 좌측 및 우측 채널 신호 간의 CLD의 변화가 미리 정해진 값을 초과하는 경우, 스테레오 신호가 과도인 것으로 검출하도록 구성되어 있다.
이러한 검출과 관련해서, 좌측 및 우측 채널 신호의, 즉 두 신호의 에너지의 관계의 역학 또는 시간에 따른 변화가 평가되며(전술된 모노 과도 분류 또는 후술되는 일반적인 다운믹스 과도 분류와는 대조적으로, 단지 하나의 신호의 에너지의 역학은 평가되며), 이 과도 분류를 스테레오 과도 분류라고도 하며, 전술한 상황이 수행되는 경우, 예를 들어 하나의 프레임으로부터 연속적인 프레임으로 스테레오 신호의 CLD의 변화가 미리 정해진 임계값을 초과하는 경우, 스테레오 신호를 스테레오 과도가 되는 것이라 칭하기도 한다.
그러므로 검출기(311)를 스테레오 과도 검출기로 칭할 수도 있고, 스테레오 신호의 과도 유형을 표시하는 분류 표시(329)를 스테레오 과도 분류 표시로 칭하거나 또는 스테레오 신호의 스테레오 과도 유형을 표시하는, 즉, 스테레오 신호가 스테레오 과도인지 아닌지를 표시하는 분류 표시로 칭할 수도 있다.
도 4에서, 디코딩된 스테레오 신호를 포스트프로세싱하는 방법에 대한 제1 실시예를 도시하고 있다. 포스트프로세싱을 하는 방법은 스테레오 신호의 좌측 및 우측 채널 신호의 적어도 하나를 포스트프로세싱하도록 구성되어 있으며, 좌측 및 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다.
단계 401에서, 디코딩된 다운믹스 신호로부터 생성되는 좌측 채널 신호 및 우측 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 스테레오 신호의 과도 유형을 표시하는 분류 표시가 수신된다.
단계 403에서, 좌측 및 우측 채널 신호 중 적어도 하나는 각각의 가중 인자에 의해 가중되는 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 분류 표시에 따라, 포스트프로세싱된다.
또한, 도 5는 디코딩된 스테레오 신호를 포스트프로세싱하는 방법에 대한 제2 실시예를 도시하고 있다. 포스트프로세싱하는 방법은 스테레오 신호의 좌측 및 우측 채널 신호 중 적어도 하나를 포스트프로세싱하도록 되어 있으며, 좌측 및 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다.
단계 501에서, 디코딩된 다운믹스 신호가 과도인지 아닌지를 검사한다.
디코딩된 다운믹스 신호가 비과도(non-transient)이면, 메모리만이 단계 503에서 갱신되며 좌측 및 우측 채널 신호 중 어느 신호도 가중된 시간 엔벨로프를 사용하여 포스트프로세싱되지 않는다. 모노 다운믹스 신호가 통상적으로 과도일 때 좌측 및 우측 채널 신호 중 하나 또는 모두가 과도이면, 다운믹스 신호의 과도 유형을 표시하는 분류 표시가 다운믹스 신호가 과도가 아닌 것으로 표시하는 경우, 즉 모노 다운믹스 신호가 모노 과도가 아닌 경우, 좌측 및 우측 채널 신호 모두가 과도이므로, 포스트프로세싱이 필요하지 않다.
디코딩된 다운믹스 신호가 과도이면, 방법은 단계 505로 진행한다. 단계 505에서, 스테레오 신호가 과도인지 아닌지를 검사한다.
스테레오 신호가 비과도이면, 단계 507에서 디코딩된 다운믹스 신호의 각각의 가중된 시간 엔벨로프를 사용해서 양측 채널이 포스트프로세싱된다. 스테레오 과도 분류 표시는, 양측 채널 신호, 즉 좌측 및 우측 채널 신호가 상이한 역학을 가지는지, 즉 시간에 따른 상이한 경과(course)를 가지는지에 대한 표시자로서 간주될 수 있다. 좌측 및 우측 채널 신호의 경과의 관계가 예를 들어 CLD에 기초해서 평가되므로, 양측 신호 중 하나만이 과도이거나 두 신호 모두가 과도이지만, 동일한 또는 유사한 방식이 아닌, 예를 들어 좌측 및 우측 채널 신호의 에너지가 서로 다른 방향으로 또는 상이한 양으로 시간에 따라 변하는 경우(증가하거나 감소하는 경우), 신호는 통상적으로 스테레오 과도로서 분류될 것이다.
스테레오 신호가 스테레오 과도로서 분류되는 데 필요한 차이의 정도는 사용되는 메트릭, 예를 들어, 에너지 및 미리 정해진 임계값에 따라 다르다. 전술한 바에서, 다운믹스 신호가 모노 과도이고(단계 501 참조) 스테레오 신호가 스테레오 과도가 아닌 경우에는, 마찬가지로, 양측 채널 신호, 즉 좌측 및 우측 채널 신호가 과도가 아닌 것으로 가정한다. 그러므로 양측 채널 신호가 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되어 양측 신호의 품질을 향상시킨다.
스테레오 신호가 과도인 경우, 방법은 단계 509로 진행한다. 단계 505 및 507과 관련해서 제공된 설명에서, 다운믹스 신호가 모노 과도이고(단계 501 참조) 스테레오 신호가 스테레오 과도인 경우, 단지 하나의 채널 신호, 즉 좌측 또는 우측 채널 신호가 과도인 것으로 가정한다. 그러므로 단지 하나의 채널 신호만이 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되어 양측 신호의 품질을 향상시킬 수 있다. 단계 509는 양측 채널 신호 중 어느 신호가 포스트프로세싱되는 과도 신호인지를 결정하는 데 사용된다.
단계 509에서는, 디코딩된 CLD가 0보다 큰지를 검사한다.
디코딩된 CLD가 0보다 크면, 방법은 단계 511로 진행한다. 크기 않으면, 방법은 단계 513으로 진행한다.
단계 511에서는, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프를 사용해서 좌측 채널 신호의 시간 엔벨로프를 복구한다. 디코딩된 다운믹스 신호의 시간 엔벨로프를 가중하는 가중 인자를 계산하는 예에 대해서는 위에서 설명하였다.
단계 513에서는, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프를 사용해서 우측 채널 신호의 시간 엔벨로프를 복구한다.
단계 509 내지 513을 참조하면, 좌측 채널 신호가 CLD 계산을 위한 기준 신호일 때, 즉 CLD를 정의하는 식(1)의 분자 위치(numerator position)에서 채널 신호일 때, 좌측 채널 신호의 에너지가 우측 채널 신호의 에너지보다 크면, 디코딩된 CLD는 0보다 크다. 과도 신호는 통상적으로 비과도 신호보다 높은 에너지를 가지므로, CLD는 양측의 신호 중 어느 신호가 과도 채널 신호인지를 결정하는 표시자로서 사용된다. 따라서, 디코딩된 CLD가 0보다 큰 경우, 좌측 채널 신호가 과도 채널 신호이고 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되는 것으로 가정한다. 디코딩된 CLD가 0보다 작은 경우, 우측 채널 신호가 과도 채널 신호이고 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되는 것으로 가정한다.
추가의 실시예에서, 우측 채널 신호를 기준 신호로서 사용할 수 있고 다른 메트릭을 사용하여 두 신호 중 어느 신호가 과도 신호인지를 결정할 수 있다.
도 6에서, 인코더(601)의 제2 실시예가 도시되어 있다. 상기 인코더(601)는 도 7의 디코더(701)와 결합될 수 있다. 인코더(601)는 G.722/G.711.1 SWB 모노에 기반을 둘 수 있다.
도 6의 인코더(601)는 다운믹서(603), 모노 인코더(605), 추출기(607) 및 검출기(609)를 가진다. 추출기(607)는 CLD 및 다른 스테레오 파라미터를 추출하도록 구성되어 있다. 검출기(609)는 스테레오 과도 검출을 제공하도록 구성되어 있다.
모노 인코더(605)는 대역 스플리터(band splitter)(611), 고대역 모노 과도 검출기(613), 고대역 인코더(615) 및 저대역 인코더(617)를 가진다.
또한, 인코더(601)는 다중화기(619)를 가진다.
다운믹서(603)는 좌측 채널 신호(621) 및 우측 채널 신호(623)를 수신한다. 다운믹스 신호(625)는 상기 다운믹서(603)에 의해 좌측 및 우측 채널 신호(621 및 623)로부터 생성된다. 다운믹스 신호(625)는 모노 인코더(605)에 입력된다.
입력된 다운믹스 신호(625)는 QMF 대역-분할 필터로서 예시적으로 구성되어 있는 대역 스플리터(611)에 의해 저대역 및 고대역 부분으로 분할된다. 이것들은 저대역 인코더(617) 및 고대역 인코더(615)에 각각 입력된다.
고대역 모노 과도 검출기(613)는 연속적인 프레임의 고대역 시간 신호의 에너지에 기초해서 과도 검출을 제공한다. 고대역 신호의 시간 엔벨로프는 추출되어 분류 정보와 함께 디코더(도 7 참조)에 전송된다.
예를 들어, 전체 프레임은 4개의 서브프레임으로 분할될 수 있으며, 각각의 서브프레임의 에너지는 계산될 수 있다. 이러한 4개의 서브프레임의 에너지의 제곱근을 인코딩하여 시간 엔벨로프를 나타낸다.
CLD는 전술한 식을 사용해서 좌측 및 우측 채널 신호로부터 추출된다.
또한, 스테레오 과도는 스테레오 과도 검출기(609)에 의해 검출된다. 이러한 종류의 검출은 또한 CLD 모니터링에 기반을 둘 수 있다. 두 개의 연속적인 프레임 간의 CLD의 빠른 변화 또는 공격(attack)이 검출되면, 예를 들어, 변화가 미리 정해진 값을 초과하면, 스테레오 신호는 스테레오 과도로서 분류될 수 있다. 예를 들어, 검출은 다음과 같은 방식으로 수행될 수 있다. 제1 단계에서, 모든 주파수 대역의 CLD 합을 로그 도메인 내에서 계산한다. 제2 단계에서, 이전의 N개의 프레임의 CLD 합의 평균을 계산한다. 제3 단계에서, 현재 프레임의 CLD 합과 이전의 N개의 프레임의 CLD 합의 평균 간의 차이를 계산한다.
제4 단계에서, 차이를 임계값과 비교하여 과도 스테레오 신호인지 아닌지를 결정한다. 임계값은 실험값에 기반을 둘 수 있다.
전술한 바와 같이, 도 7은 도 6의 인코더(601)와 결합될 수 있는 디코더(701)의 제2 실시예를 도시한다.
디코더(701)는 역다중화기(703), SWB 모노 디코더(705), WB 모노 디코더(707), 제1 업믹서(709), 제2 업믹서(711) 및 포스트프로세싱을 위한 장치(713)를 가진다.
포스트프로세싱을 위한 장치(713)는 결정기(715), 제1 포스트프로세싱 엔티티(717) 및 제 포스트프로세싱 엔티티(719)를 가진다.
또한, 디코더(701)는 디코딩되고 포스트프로세싱된 좌측 채널 신호를 출력하는 제1 구적 미러 필터(QMF)(721)를 가진다.
또한, 디코더(701)는 디코딩되고 포스트프로세싱된 우측 채널 신호를 출력하는 제2 구적 미러 필터(QMF)(723)를 가진다.
그러므로 저대역 스테레오 신호 및 고대역 스테레오 신호는 업믹서(709 및 711)의 출력으로 도시된 바와 같이 별도로 재구성될 수 있으며, QMF 필터(721 및 723)의 입력 신호로서 사용하여 출력 스테레오 신호를 생성할 수 있다. 특히, 스테레오 포스트프로세스 알고리즘은 단지 고대역 디코더에만 적용될 수 있다.
도 8은 디코딩된 스테레오 신호를 포스트프로세싱하는 방법에 대한 제1 실시예를 도시한다. 포스트프로세싱하는 방법은 스테레오 신호의 좌측 및 우측 채널 신호 중 적어도 하나를 포스트프로세싱하도록 구성되어 있고, 좌측 및 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 도 5와 관련해서 제공된 설명은 이에 대응해서 적용된다.
단계 801에서, 디코딩된 다운믹스 신호가 과도인지 아닌지를 검사한다. 디코딩된 다운믹스 신호가 비과도이면, 단계 803에 도시된 바와 같이 메모리의 갱신만이 수행되고, 두 채널 신호 중 어느 것도, 즉 좌측 및 우측 채널 신호 중 어느 것도 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되지 않는다.
현재 프레임의 스테레오 신호가 과도이거나 현재 프레임의 디코딩된 다운믹스 신호가 과도이고 이전 프레임의 스테레오 신호가 과도이면, 단계 805의 검사 결과는 예이다. 단계 805의 결과가 아니오이면, 방법은 단계 807로 진행한다. 단계 805의 검사 결과가 예이면, 방법은 단계 809로 진행한다.
단계 807에서, 양측 채널 신호, 즉 좌측 및 우측 채널 신호는 과도인 것으로 가정하고 있으므로, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프를 사용해서 양측 채널 신호를 포스프트로세싱한다.
도 8에 따른 실시예에 있어서, 좌측 채널 신호를 다시 (도 5에서와 같이) 기준 신호로 사용하고 식(1)에 따라 수신된 CLD는, 두 신호 중 어느 신호, 즉 좌측 또는 우측 채널 신호가 과도 신호인지를 결정하는 데 사용된다. 그러므로 단계 809에서, 디코딩된 CLD가 0보다 큰지를 검사한다.
디코딩된 CLD가 0보다 크면, 방법은 단계 811로 진행한다. 크지 않으면, 방법은 단계 813으로 진행한다.
단계 811에서, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프를 사용해서 좌측 채널 신호의 시간 엔벨로프를 복구한다. 디코딩된 다운믹스 신호의 시간 엔벨로프를 가중하는 가중 인자를 계산하는 예에 대해서는 위에서 설명하였다.
단계 813에서는, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프를 사용해서 우측 채널 신호의 시간 엔벨로프를 복구한다.
전술한 바를 요약하면, 현재 프레임의 스테레오 신호가 스테레오 과도로 분류되거나, 다운믹스 신호가 과도이고 스테레오 신호가 이전의 프레임에서 스테레오 과도이면, 디코딩된 CLD에 기초해서 추가의 결정이 필요할 수 있다. 그렇지 않으면, 좌측 및 우측 채널 신호의 가중된 시간 엔벨로프를 사용해서 양측 채널 신호를 각각 포스트프로세싱한다. 추가의 결정이 필요하면, CLD가 사용될 수 있다. CLD_dq로 명칭이 붙은 파라미터를 사용해서 두 채널 신호의 에너지 관계를 결정할 수 있다. 전술한 식(2)의 사용해서 모든 고대역 CLD의 평균으로서 계산될 수 있다. 또한, 고대역의 제1 대역의 CLD는 CLD_dq로서 사용될 수 있다.
단지 하나의 채널 신호만이 과도이면, 그 채널 신호의 에너지는 다른 채널 신호의 에너지보다 높다. 그러므로 그 에너지 정보를 사용해서 어느 채널 신호가 과도인지를 식별할 수 있다.
CLD_dq가 포지티브이면, 좌측 채널 신호의 에너지는 우측 채널 신호의 에너지보다 높고, 가중된 모노 시간 엔벨로프를 사용해서 좌측 채널의 신호에만 포스트프로세싱을 적용할 수 있다. CLD_dq가 네거티브이면, 좌측 채널 신호의 에너지는 우측 채널 신호의 에너지보다 작고, 가중된 모노 시간 엔벨로프를 사용해서 우측 채널의 신호에만 포스트프로세싱을 적용할 수 있다. 전술된 식(4) 및 (5)를 사용해서 양측 채널 신호의 가중된 인자를 각각 계산할 수 있다.
도 9 내지 도 12는 본 발명의 구현에 따라 적어도 하나의 과도 채널을 가지는 스테레오 신호의 프리-에코 아티팩트를 제거할 수 있는 것을 나타내는 퍼포먼스를 도시한다. 도 9 내지 도 12의 위 차트는 좌측 채널 신호를 나타내고 아래 차트는 우측 채널 신호를 나타낸다. 이와 관련해서, 도 9는 하나의 과도 채널(위 차트) 및 하나의 정상 채널(아래 차트)을 가지는 원래의 스테레오 신호를 나타내는 다이어그램을 도시하고, 도 10은 포스트프로세싱 없이 출력 스테레오 신호를 나타내는 다이어그램을 도시하고, 도 11은 양측 채널 신호를 포스트프로세싱하는 출력 스테레오 신호를 나타내는 다이어그램을 도시하며, 도 12는 과도인 좌측 채널 신호만을 포스트프로세싱하는 출력 스테레오 신호를 나타내는 다이어그램을 도시한다.
도 10과 관련해서, 재구성된 스테레오 신호에 포스트프로세싱이 적용되지 않으면, 도 10의 원에서 분명한 프리-에코 아티팩트를 관찰할 수 있다. 양측 채널 신호에 포스트프로세싱이 적용되면, 우측 채널 신호에서 노이즈를 발견할 수 있다(도 11의 원을 참조). 본 알고리즘은 양측 채널 신호에 있어서 과도 신호의 모든 조합, 즉 좌측 및 우측 채널 신호, 좌측 채널 신호만, 또는 우측 채널 신호만의 시간 엔벨로프가 더 낫게 재구성된 상황을 개선할 수 있다.
도 13에는, 로우 비트 레이트 오디오 코딩 시스템에 의해 프로세스된 디코딩된 다중채널 신호를 포스트프로세싱하기 위한 장치(101')의 실시예가 도시되어 있다. 장치(101')는 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하도록 구성되어 있으며, 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성된다. 전술한 바와 같이, 다운믹스 신호는, 그 인코딩된 버전 및 디코딩된 버전에서, 다중채널 신호를 나타낸다.
장치(101')는 수신기(103') 및 포스트프로세서(15)를 포함한다.
수신기(103')는 다중채널 신호의 복수의 M개의 채널 신호 중 적어도 하나의 채널 신호를 수신하도록 구성되어 있고, 적어도 하나의 채널 신호는 디코딩된 다운믹스 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 적어도 하나의 채널 신호의 과도 유형을 표시하는 분류 표시로부터 생성된다.
또한, 포스트프로세서(105')는 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프에 기초하고, 분류 표시에 따라, 적어도 하나의 채널 신호를 포스트프로세싱하도록 구성되어 있다. 분류 표시는 적어도 하나의 채널 신호가 포스트프로세싱되는지를 제어하는 데 사용될 수 있다. 또한, 디코딩된 다운믹스 신호의 가중된 시간 엔벨로프는 선택된 채널 신호를 포스트프로세싱하기 위한 툴이 될 수 있다.
복수 M은 1보다 크며, 즉 M>1이다. 이하에서는 복수의 M개의 채널 신호의 특별한 채널 신호를 설명하는 색인으로서 m을 사용한다.
추가의 실시예에서는 다중채널 신호의 복수의 채널 신호 중 일부 또는 전부를 수신하도록 구성된 수신기(103')를 포함할 수 있으며, 각각의 채널 신호는 디코딩된 다운믹스 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 각각의 채널 신호에 대한 (또는 적어도 채널 신호의 각각의 서브세트에 대한) 분류 표시로부터 생성되며, 각각의 채널 특정 분류 표시는 대응하는 채널 신호의 각각의 과도 유형을 표시한다. 추가의 실시예에서의 프로세서(105')는 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 분류 표시에 따라, 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하도록 구성되어 있다. 분류 표시는 복수의 채널 신호 중 어느 채널 신호가 포스트프로세싱되는지를 제어하는 데 사용될 수 있다.
추가의 실시예에 따르면, 장치는 결정기를 더 포함한다. 결정기는 분류 표시를 수신하고 이 분류 표시에 따라 포스트프로세서를 제어하는데, 채널 특정 가중된 시간 엔벨로프를 사용해서 적어도 하나의 채널 신호를 포스트프로세싱할지를 제어한다.
다른 추가의 실시예에 따르면, 장치는 결정기를 포함하며, 결정기는 분류 표시 및 다운믹스 신호가 과도인지를 표시하는 추가의 분류 표시를 수신하고, 분류 표시 및 다운믹스 신호가 과도인지를 표시하는 추가의 분류 표시에 따라, 포스트프로세서가 채널 특정 가중된 시간 엔벨로프를 사용해서 적어도 하나의 채널 신호를 포스트프로세싱하는지를 제어하도록 구성되어 있다.
대안의 실시예에서, 포스트프로세서(105')는 디코딩된 다운믹스 신호의 시간 엔벨로프 및 채널 특정 가중 인자를 수신하고, 시간 인자와 채널 특정 가중 인자를 승산함으로써 가중된 시간 엔벨로프를 생성하도록 구성되어 있다.
포스트프로세서의 실시예는 채널 신호 중 하나, 수개 또는 전부를 포스트프로세싱하도록 구성되어 있는 단지 하나의 포스트프로세싱 엔티티를 포함할 수 있다. 복수의 채널 신호 중 어느 채널 신호가 포스트프로세싱되는지에 대한 결정은 결정기에 의해 제어된다. 다른 실시예는 하나 이상의 포스트프로세싱 엔티티를 포함할 수 있는데, 예를 들어, 각각의 채널 신호에 있어서, 결정기의 제어에 따라 하나 이상의 채널 신호를 포스트프로세싱하도록 구성되어 있는 전용 포스트프로세싱 엔티티 또는 포스트프로세싱 엔티티를 포함할 수 있다.
도 14는 디코더(201'), 즉 파라메트릭 다중채널 오디오 디코딩을 위한 디코더에 대한 제3 실시예를 도시하고 있다. 디코더(201')는 역양자화기(203'), 다운믹스 디코더(205'), 업믹서(207'), 및 포스트프로세싱을 위한 장치(209')를 포함한다. 포스트프로세싱을 위한 장치(209')는 결정기(211'), 제1 프로세싱 엔티티(213') 및 제2 포스트 프로세싱 엔티티(215')를 포함한다.
역양자화기(203')는 다운믹스 신호를 포함하는 다중화된 오디오 신호 및 다중채널 파라미터를 수신하고, 수신된 신호, 예를 들어 비트스트림을 역다중화하여, 수신된 다운믹스 신호(217'), 예를 들어 다운믹스 비트스트림(217') 및 수신된 다운믹스 신호(217')와 관련된 다중채널 오디오 코딩 파라미터(219')를 출력하도록 구성되어 있다. 다중채널 오디오 코딩 파라미터는, 다운믹스 신호에 의해 나타내어진 다중채널 신호의 각각의 채널 신호에 대한 채널 레벨 차이(CLD)를 포함하며, 채널 특정 레벨 차이를 이하에서는 CLDm이라 칭하며, 여기서 m은 다중채널 신호의 복수의 M개의 채널 신호 중 하나의 채널을 설명하는 채널 색인을 나타낸다.
다운믹스 디코더(205')는 인코딩된 다운믹스 신호(217')를 수신하고 디코딩된 다운믹스 신호(221')를 업믹서(207') 및 포스트프로세싱을 위한 장치(209')에 제공하도록 구성되어 있다.
업믹서(207')는 디코딩된 다운믹스 신호(221') 및 채널 특정 채널 레벨 차이 CLDm을 수신하고, 전술한 디코딩된 다운믹스 신호(221') 및 채널 특정 CLDm에 기초해서, 다중채널 신호 중 M개의 채널 신호(예시적인 두 개의 기준 신호(223' 및 225')로 표시됨)를 생성 및 출력하도록 구성되어 있다. 도면부호 223' 및 225'로 도시된 신호 선 간의 점선은 다중채널 신호가 M=2 이상의 채널 신호를 가질 수 있다는 것을 표시한다.
장치(209')의 결정기(211')는 디코딩된 다운믹스 신호의 시간 엔벨로프 및 디코딩된 다운믹스 신호의 과도 유형을 표시하는 분류 표시를 포함하는 신호 231'를 수신하도록 구성되어 있다. 분류 표시는 디코딩된 다운믹스 신호가 과도인지 정상인지, 예를 들어 비과도인지를 표시한다. 장치(209')의 결정기(211')는 채널 특정 CLDm 및 채널 특정 분류 정보를 수신하도록 추가로 구성되어 있다(신호 219 참조).
결정기(211')는 복수의 M개의 채널 신호(223', 225') 중 어느 하나 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있다. 바꿔 말하면, 결정기(211')는 복수의 채널 신호 중 어느 신호도 포스트프로세싱되지 않는 것으로 결정하든지, M개의 채널 신호 전부가 포스트프로세싱되는 것으로 결정하든지, 또는 채널 신호의 서브세트만이 포스트프로세싱되는 것으로 결정하도록 구성될 수 있다. 결정기(211')는 각각의 채널 신호에 대해 각각의 채널 신호의 과도 유형을 표시하는 분류 표시, 즉 각각의 채널 신호에 대해 각각의 채널 신호가 과도인지 정상인지를 나타내는 분류 표시에 따라 결정하도록 구성되어 있다. 이러한 분류 표시는 신호 219'에 포함될 수 있다. 또한, 결정기(211')는 각각의 제어 신호에 의해 프로세싱 엔티티(213', 215')를 제어하도록 구성될 수 있다. 도 14에는, 포스트프로세싱 엔티티(213')를 제어하는 제어 신호 227' 및 포스트프로세싱 엔티티(215')를 제어하는 제어 신호 229'가 도시되어 있다. 포스트프로세싱 엔티티(213')는 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프(231')를 사용해서 채널 신호 223'를 포스트프로세싱하도록 구성되어 있으며, 시간 엔벨로프는 채널 신호 223'와 관련된 채널 특정 가중 인자에 의해 가중된다.
유사한 방식으로, 포스트프로세싱 엔티티(215')는 디코딩된 다운믹스 신호의 수신된 시간 엔벨로프(231')를 사용해서 채널 신호 225'를 포스트프로세싱하도록 구성되어 있으며, 시간 엔벨로프는 채널 신호와 관련된 채널 특정 가중 인자에 의해 가중된다.
결정기(211')는 각각의 수신된 채널 레벨 차이 CLDm(219')에 따라 채널 신호(223')와 관련된 가중 인자 및 채널 신호(225')와 관련된 가중 인자를 계산 또는 결정하도록 구성될 수 있다.
도 14와 관련해서, 도 15는 오디오 인코더, 예를 들어 도 14의 디코더에 의해 디코딩되는 인코딩된 다중채널 오디오 신호를 제공하는 파라메트릭 다중채널 오디오 인코더(301')를 도시하고 있다. 도 14의 인코더(201')는 전송 채널을 통해, 예를 들어, 유무선 통신 링크를 통해 도 15의 인코더(301')에 접속될 수 있다.
인코더(301')는 다운믹서(303'), 다운믹스 과도 검출기(305'), 인코딩 엔티티(307'), 추출기(309'), 검출기(311') 및 다중화기(313')를 포함한다.
다운믹서(303')는 다중채널 신호의 복수의 M개의 채널 신호를 수신한다. 설명을 간략하게 하기 위해, 도 15에서는, 복수의 M개의 채널 신호 중 단지 2개의 대표적인 채널 신호(315' 및 317')만을 도시하고 있다. 다운믹서(303')는 다운믹스 신호(319')를 생성 및 출력하도록 추가로 구성되어 있고, 다운믹스 신호(319')는 다운믹스 과도 검출기(305') 및 다운믹스 인코딩 엔티티(307')에 제공된다. 선택적으로, 채널 신호의 채널 과도 분류 및/또는 채널 신호에 대한 채널 레벨 차이 CLD를 결정하기 위한 기준 신호로서 다운믹스 신호를 사용하는 경우, 다운믹스 신호는 또한 추출기(309') 및 검출기(311')로 제공될 수 있다.
다운믹스 과도 검출기(305')는 다운믹스 신호가 과도인지 아닌지를 검출하고, 다운믹스 신호(319')가 과도인지 아닌지를 표시하는 분류 표시(325')를 출력하도록 구성되어 있다. 다운믹스 과도 검출기는 다운믹스 신호의 연속적인 프레임의 에너지를 평가하고, 하나의 프레임으로부터 연속적인 프레임으로의 다운믹스 신호의 에너지의 변화가 미리 정해진 임계값을 초과할 때 다운믹스 신호가 과도인 것으로 검출하도록 구성되어 있다.
이러한 검출과 관련해서, 다운믹스 신호 자체의 역학 또는 시간에 따른 변화가 평가되며(전술된 스테레오 과도 분류 및 후술되는 채널 과도 분류와는 대조적으로, 두 신호의 에너지의 역학은 평가되며), 이 과도 분류를 모노 과도 분류라고도 하며, 전술한 상황이 수행되는 경우, 예를 들어 하나의 프레임으로부터 연속적인 프레임으로의 다운믹스 신호의 에너지의 변화가 미리 정해진 임계값을 초과하는 경우, 다운믹스 신호를 다운믹스 과도가 되는 것으로 칭하기도 한다.
그러므로 다운믹스 신호의 과도 유형을 표시하는 분류 표시(325')는 다운믹스 과도 검출기(305')에 의해 출력되며, 다운믹스 과도 분류 표시라고 하기도 하고 다운믹스 신호의 다운믹스 과도 유형을 표시하는, 예를 들어 다운믹스 신호가 다운믹스 과도인지 아닌지를 표시하는 과도 분류라고도 한다.
인코딩 엔티티(307')는 인코딩된 다운믹스 신호(321'), 및 예를 들어 다운믹스 신호(321')의 일부로서, 다운믹스 신호의 시간 엔벨로프(323')를 출력한다. 인코딩 엔티티(307')는 다운믹스 과도 검출기가 다운믹스 신호가 다운믹스 과도임을 검출하는 경우 다운믹스 신호의 시간 엔벨로프를 추출하도록 구성될 수 있다. 인코딩 엔티티는 예를 들어 전체 프레임을 4개의 서브프레임으로 분할하고, 각각의 서브프레임의 에너지를 계산하며, 이러한 4개의 서브프레임의 에너지의 제곱근을 인코딩하여 다운믹스 신호의 시간 엔벨로프를 나타내도록 구성될 수 있다.
다운믹스 과도 검출기(305')는 다운믹스 신호(319')가 다운믹스 과도인지 아닌지를 표시하는, 바꿔 말해, 다운믹스 신호(319')가 과도인지 정상인지를 표시하는 분류 표시(325')를 출력하도록 구성되어 있다. 시간 엔벨로프(323')와 같이, 분류 표시(305')는 다운믹스 신호와 함께, 예를 들어, 다운믹스 신호의 일부로서, 디코더에 송신된다.
추출기(309')는 다중채널 신호의 M개의 채널 신호를 수신하고 다중채널 신호의 각각의 채널 m에 대해 다중채널 신호로부터 채널 특정 채널 레벨 차이 CLDm 및 다른 다중채널 오디오 코딩 파라미터를 추출하도록 구성되어 있다. 다중채널 신호로부터 추출된 CLDm 및 다른 다중채널 코딩 파라미터는 신호(327')에 의해 측면 정보로서 디코더에 전달된다.
검출기(311')는 다중채널 신호의 M개의 채널 신호를 수신하고 각각의 채널 신호에 대해 채널 과도 검출을 제공하며 각각의 채널 신호에 대해 각각의 채널 신호의 과도 유형을 표시하는 분류 표시(329')를 출력하도록 구성되어 있다.
검출기(311')는 다중채널 신호의 연속적인 프레임에 대해 각각의 채널 신호 m에 대한 채널 레벨 차이 CLDm을 계산하고, 하나의 프레임으로부터 연속적인 프레임으로, 채널 신호 m과 관련된 CLD의 변화, 즉, 채널 신호 m과 기준 신호 간의 계산된 CLD의 변화가 미리 정해진 값을 초과하는 경우, 채널 신호 m이 과도인 것으로 검출하도록 구성되어 있다. 기준 신호는 다중채널 신호의 다운믹스 신호, 채널 신호 중 임의의 신호 또는 채널 신호 중 적어도 하나의 채널로부터 유도된 임의의 다른 신호, 예를 들어 복수의 채널 신호의 서브세트로부터 생성된 부가적인 다운믹스 신호일 수 있다.
이러한 검출과 관련해서, 실제의 채널 신호 m과 기준 신호의, 즉 두 신호의 에너지의 관계의 역학 또는 시간에 따른 변화가 평가되며(전술된 다운믹스 과도 분류 또는 전술된 모노 과도 분류와는 대조적으로, 단지 하나의 신호의 에너지의 역학은 평가되며), 이 과도 분류를 모노 또는 다운믹스 과도 분류 및 스테레오 과도 분류과 구별하기 위해 채널 과도 분류라고도 한다. 따라서, 전술한 상황이 수행되는 경우, 예를 들어 하나의 프레임으로부터 연속적인 프레임으로 채널 m 신호와 관련된 CLDm의 변화가 미리 정해진 임계값을 초과하는 경우, 채널 신호를 채널 과도가 되는 것이라고 칭하기도 한다.
그러므로 검출기(311)를 채널 과도 검출기로 칭할 수도 있고, 채널 신호의 과도 유형을 표시하는 분류 표시(329)를 채널 과도 분류 표시로 칭하거나 또는 채널 신호의 채널 과도 유형을 표시하는, 즉, 채널 신호가 채널 과도인지 아닌지를 표시하는 분류 표시로 칭할 수도 있다.
일실시예에 따르면, 다운믹스 과도 검출기(305')는, 다운믹스 과도 검출기가 다운믹스 신호가 다운믹스 과도임을 검출하는 경우, 인코딩 엔티티가 단지 다운믹스 신호의 시간 엔벨로프(323')를 결정만 하도록 인코딩 엔티티(307')를 제어하도록 구성되어 있다(305'로부터 307'로의 화살표를 참조).
대안의 실시예에서, 인코딩 엔티티(307')는, 다운믹스 과도 검출기가 다운믹스 신호가 다운믹스 과도임을 검출했는지에 관계없이, 시간 엔벨로프(323')를 결정하도록 구성되어 있다.
도 14 및 도 15는 모노 다운믹스 코딩에 대한 실시예를 도시하고 있다. 그러므로 인코더(도 15)는 복수의 채널 신호를 단지 하나의 싱글 모노 다운믹스 신호(319')로 다운믹스하도록 구성되어 있는 모노 다운믹서(303'), 모노 다운믹스 신호(319')를 인코딩하도록 구성되어 있는 모노 다운믹스 인코딩 엔티티(307'), 및 모노 다운믹스 신호가 모노 과도인지 아닌지를 검출하도록 구성되어 있는 모노 과도 검출기(305')를 포함한다. 이에 대응해서, 디코더(도 14)는 수신된 인코딩된 모노 다운믹스 신호(205')를 디코딩하도록 구성되어 있는 모노 다운믹스 디코더(205'), 및 하나의 디코딩된 모노 다운믹스 신호(221')로부터 복수의 M개의 채널 신호(213', 215')를 생성하도록 구성되어 있는 모노 업믹서(207')를 포함한다.
인코더 및 디코더에 대한 대안의 실시예는 복수의 또는 스테레오 다운믹스 코딩을 수행하도록 실현될 수 있는데, 예를 들어, 다중채널 신호가 2 이상의 다운믹스 신호(그러나 통상적으로 M보다 작다) 및 2 이상의 다운믹스 신호로부터 채널 신호를 재구성할 수 있는 대응하는 일련의 공간 오디오 파라미터에 의해 표시되도록 다중채널 신호를 다운믹스하도록 실현될 수 있다. 각각의 다운믹스 신호는 다중채널 신호의 2 이상의 채널 신호 중 적어도 2개로부터 유도된다. 이러한 실시예에서, 인코더는 복수의 채널 신호를 2 이상의 다운믹스 신호로 다운믹스하도록 구성되어 있는 다운믹서, 다운믹스 신호를 인코딩하도록 구성되어 있는 2 이상의 다운믹스 인코딩 엔티티, 및 다운믹스 신호 중 하나가 다운믹스 과도인지 아닌지를 적어도 검출하도록 구성되어 있는 하나 이상의 다운믹스 과도 검출기를 포함한다. 이에 대응해서, 디코더는 수신된 인코딩된 다운믹스 신호를 디코딩하도록 구성되어 있는 하나 이상의 다운믹스 디코더, 2 이상의 디코딩된 다운믹스 신호로부터 복수의 M개의 채널 신호(213', 215')를 생성하도록 구성되어 있는 업믹서(207'), 및 다운믹스 신호 중 적어도 하나에 대해 다운믹스 과도로 분류되는지 아닌지를 평가하도록 구성되어 있는 결정기를 포함한다.
도 16은 디코딩된 다중채널 신호를 포스트프로세싱하는 방법의 제1 실시예에 대한 흐름도를 도시하고 있다. 포스트프로세싱하는 방법은 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하도록 구성되어 있으며, 상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호부터 생성된다. 설명된 바와 같이, 다운믹스 신호는, 그 인코딩된 버전 및 디코딩된 버전에서, 다중채널 신호를 나타낸다. 방법은 이하의 단계를 포함한다.
디코딩된 다운믹스 신호로부터 생성된 적어도 하나의 채널 신호, 디코딩된 다운믹스 신호의 시간 엔벨로프 및 적어도 하나의 채널 신호의 과도 유형을 표시하는 분류 표시를 수신하고, 상기 분류 표시는 적어도 하나의 채널 신호와 관련되어 있는, 수신 단계(401').
각각의 가중 인자에 의해 가중되는 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 분류 표시에 따라, 상기 적어도 하나의 채널 신호를 포스트프로세싱하는 단계(403').
도 17은 디코딩된 다중채널 신호를 포스트프로세싱하는 방법의 제2 실시예에 대한 흐름도를 도시하고 있으며, 다운믹스 신호는 기준 신호로서 사용된다. 포스트프로세싱하는 방법은 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하도록 되어 있으며, 상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호부터 생성된다. 설명된 바와 같이, 다운믹스 신호는, 그 인코딩된 버전 및 디코딩된 버전에서, 다중채널 신호를 나타낸다. 방법은 이하의 단계를 포함한다.
단계 501'은 다운믹스 신호가 과도인지 아닌지를 검사하는 단계를 포함한다.
다운믹스 신호가 과도가 아닌 경우, 메모리만이 단계 503'에서 갱신된다. 다운믹스 신호의 채널 특정 가중된 시간 엔벨로프를 사용해서 다중채널 신호 중 어느 신호의 포스트프로세싱도 수행되지 않는다. 다중채널 신호의 채널 신호 중 유도된 적어도 하나의 채널 신호가 과도이면 다운믹스 신호는 통상적으로 과도이므로, 다운믹스 신호의 과도 유형을 표시하는 분류 표시가 다운믹스 신호가 과도가 아님을 표시하는 경우에, 다운믹스 신호는 다운믹스 과도가 아니며, 채널 신호 중 어느 것도 과도가 아니며, 그러므로 포스프트로세싱이 필요하지 않다는 것으로 가정할 수 있다.
디코딩된 다운믹스 신호가 과도이면, 방법은 단계 505'로 진행한다. 단계 505'는 채널 m이 과도인지 아닌지를 검사하는 단계를 포함한다. 채널 과도 분류 표시는, 채널 m이 기준 신호와 비교해서 상이한 역학을 가지는지, 즉 채널 신호 m 및 기준 신호가 시간에 따른 상이한 경과를 가지는지를 표시하는 표시자로서 간주될 수 있다. 채널 신호 m과 기준 신호의 경과의 관계가 CLD에 기초해서 평가되므로, 양측 신호 중 한 신호만이 과도이지만 양측 신호가 과도이되 동일하거나 유사한 방법이 아닌, 예를 들어 채널 신호 m의 에너지 및 기준 채널 신호의 에너지가 서로 다른 방향으로 또는 상이한 양으로 시간에 따라 변하는 경우(증가하거나 감소하는 경우), 신호는 통상적으로 채널 과도로서 분류될 것이다. 채널 신호가 채널 과도로서 분류되는 데 필요한 차이의 정도는 사용되는 메트릭, 예를 들어, 에너지 및 미리 정해진 임계값에 따라 다르다. 전술한 바에서, 다운믹스 신호가 다운믹스 과도로서 분류되고(단계 501 참조) 채널 신호가 채널 과도가 아닌 경우에는, 양측 신호, 즉 채널 신호 m과 기준 신호가 유사한 방식으로 과도인 것으로 가정한다.
그러므로 채널 신호 m이 채널 과도가 아닌 경우, 방법은 단계 507'로 진행하고 채널 m은 채널 특정 가중 인자에 의해 가중되는 다운믹스 신호의 시간 엔벨로프를 사용해서 포스트프로세싱된다.
채널 신호 m이 과도인 경우, 방법은 단계 509'로 진행한다. 단계 509'는 채널 m에 대한 채널 특정 CLDm이 0보다 큰지를 검사하는 단계를 포함한다.
채널 m에 대한 채널 특정 CLDm이 0보다 크면, 방법은 단계 511'로 진행한다. 크지 않으면, 방법은 단계 513'으로 진행한다.
단계 511'에서는, 다중채널 신호 m에 대해 포스트프로세싱이 수행되지 않으며, 바꿔 말하면, 채널 신호 m은 가중된 채널 시간 엔벨로프로 프로세싱되지 않는다.
단계 513'는 채널 특정 가중 인자에 의해 다운믹스 신호의 시간 엔벨로프를 가중함으로써 채널 신호 m의 시간 엔벨로프를 복구하는 단계 또는 재구성하는 단계를 포함한다.
단계 509' 내지 단계 513'를 참조하면, 기준 채널 신호는 CLD 계산을 위한 기준 신호이므로, 즉 CLDm을 정의하는 식(5)의 분자 위치에서 채널 신호이므로, 기준 신호의 에너지가 채널 신호 m의 에너지보다 크면, 디코딩된 CLDm은 0보다 크다. 통상적으로 과도 신호가 비과도 신호보다 높은 에너지를 가지고 있으므로, CLDm은, 채널 신호 m이 기준 신호와 관련해서 과도로서 간주될 수 있는지를 결정하는 표시자로서 사용될 수 있다. 따라서, 디코딩된 CLDm이 0보다 큰 경우, 채널 신호 m은 기준 신호와 관련해서 채널 과도가 아닌 것으로 간주되어 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱되지 않는다(단계 511' 참조). 디코딩된 CLDm이 0보다 작은 경우, 채널 신호 m은 기준 신호와 관련해서 채널 과도인 것으로 간주되어 각각의 가중된 시간 엔벨로프를 사용해서 포스트프로세싱된다(단계 513' 참조).
대안의 실시예에서는, 채널 신호 중 하나를 기준 신호로서 사용한다. 도 16을 참조해서 설명된 바와 동일한 방법을 사용해서 다중채널 신호를 포스트프로세싱할 수 있다. 이 경우, M-1 채널 과도 분류 표시만이 M개의 채널 신호를 포스트프로세싱하는지를 결정하는 데 필요하다. 기준 신호를 포스트프로세싱하는지 안 하는지에 대한 결정에 있어서, (도 5 및 도 8에 기초해서) 스테레오 코딩에 대해 설명한 바와 동일하거나 유사한 방법이 사용될 수 있다.
다른 대안의 실시예에서는, 1보다 높거나 같고 M보다 작은 수의 다운믹스 신호에 의해 전체적인 다운믹스 신호가 형성된다. 이 경우, 기준 신호는 다운믹스 신호 중 하나가 될 수 있고 다운믹스 신호가 과도인지 아닌지를 표시하는 다운믹스 과도 표시는 다운믹스 신호와 관련되어 있다.
도 14, 도 15 및 도 17을 참조하면, 다중채널 오디오 인코딩 및 디코딩은 다음과 같이 수행될 수 있다.
먼저, 인코더에서(도 15 참조), 다운믹스 신호는 복수의 M개의 채널 신호 C1 내지 CM(기준 신호 315' 및 317'에 대응)로부터 생성되며, 이러한 신호는 다중채널 신호를 형성하며, 다운믹스 인코더(307')에 대한 입력으로서 사용된다. 다운믹스 인코더에는 과도 검출 모델이 있다. 다운믹스 신호(319')가 다운믹스 과도로서 분류되는 경우, 다운믹스 신호의 시간 엔벨로프(323')는 다운믹스 인코더(307')에 의해 추출되어 디코더에 전송될 것이다.
CLD는 이하의 식을 사용해서 다중채널 신호로부터 추출기(309')에 의해 추출된다.
Figure pct00015
여기서, k는 주파수 bin의 색인이고, b는 주파수 대역의 색인이며, kb는 대역 b의 시작 bin이고, Xref는 기준 신호의 스펙트럼이고 Xm은 다중채널 신호의 각각의 채널의 스펙트럼이다. 기준 신호 Xref의 스펙트럼은 다운믹스 신호(319')의 스펙트럼이거나 ([1,M] 내의 m인 경우) 채널 Xm 중 하나의 스펙트럼이 될 수 있다.
채널 과도도 또한 검출되어야 한다. 이러한 종류의 검출은 예를 들어 CLDm 모니터링에 기반하고 검출기(311')에 의해 수행된다. 2개의 연속적인 프레임 간의 CLDm의 빠른 변화(공격이라고도 함)가 검출되면, 채널 m은 채널 과도로서 분류된다.
디코더에서(도 14 참조), 코딩된 다운믹스 신호 및 다운믹스 신호와 관련된 다중채널 파라미터를 사용해서 다중채널 신호가 재구성될 수 있다.
디코딩된 다운믹스 신호로부터 그 수신된 분류가 다운믹스 과도이면, 본 발명의 실시예는 부가적인 프로세싱 모듈을 사용해서 과도 다중채널 신호의 품질을 향상시킬 수 있다.
도 16을 참조해서, 도 14의 디코더에 의해 수행되는 디코딩 방법의 실시예를 설명해보면, 디코딩된 CLD_dqm > 0은 기준 신호의 에너지가 m을 고려한 상태 하에서 채널의 에너지보다 크다는 것을 의미한다.
다운믹스 신호의 다운믹스 시간 엔벨로프에 적용되는 가중 인자는 결정기(211')에 의해 이하의 방식으로 계산된다. 제1 단계는 CLDm의 평균을 계산하는 것이다.
Figure pct00016
제2 단계는 c를 계산하는 것이다.
Figure pct00017
최종 단계에서, 채널 m의 가중 인자는 다음 식에 의해 계산된다.
Figure pct00018
다운믹스 디코딩 프로세스로부터 나오는 시간 엔벨로프를 채널 m에 적용하기 전에, 시간 엔벨로프는 대응하는 가중 인자 am에 의해 먼저 승산된다.
채널 m이 채널 과도인지에 대한 결정, 채널 특정 가중 인자 am의 계산, 다운믹스 신호의 시간 엔벨로프 및 채널 특정 가중 인자 am에 기초한 채널 특정 가중된 시간 엔벨로프의 생성, 및 채널 특정 시간 엔벨로프에 기초한 채널 신호의 포스트프로세싱은, 다중채널 코딩에 대해 설명된 바와 같이, 각각의 채널에 대해 수행될 수 있거나 복수의 채널 신호 중 단지 하나 또는 수개에 대해 수행될 수 있거나 평행하게 또는 연속적으로 수행될 수 있다.
다중채널 신호의 M개의 채널 중 전부가 채널 과도로 분류되는 주요 실시예에 대해 설명하였으나, 인코더, 장치 및 디코더의 다른 실시예, 및 각각의 방법에 대한 다른 실시예가, M개의 채널 신호의 서브세트만이 인코딩되고 디코딩되거나, 채널 분류되거나 포스트프로세싱되는 것으로 실현될 수 있다. M>2인 다중채널 신호의 두 개의 채널 신호가 스테레오 신호의 좌측 및 우측 채널 신호처럼 프로세싱될 수 있으므로, 이러한 신호에 있어서, 예를 들어 스테레오 과도 분류 또는 채널 과도 분류가 있는 스테레오 프로세싱에 대한 실시예가 적용될 수 있다.

Claims (19)

  1. 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 장치(101, 201, 713; 101'; 201')에 있어서,
    상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며,
    상기 장치(101, 201, 713; 101'; 201')는,
    상기 디코딩된 다운믹스 신호로부터 생성되는 상기 적어도 하나의 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 적어도 하나의 채널 신호의 과도 유형(transient type)을 표시하고 상기 적어도 하나의 채널 신호에 관련되어 있는 분류 표시를 수신하기 위한 수신기(103; 103'); 및
    각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 적어도 하나의 채널 신호를 포스트프로세싱하기 위한 포스트프로세서(105, 213, 215, 717, 719; 105', 213', 215')
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 수신기(103; 103')는 상기 복수의 채널 신호 및 복수의 분류 표시를 수신하도록 구성되어 있고,
    상기 복수의 분류 표시 각각은 상기 복수의 채널 신호 중 하나의 채널 신호에 관련되어 있고,
    상기 복수의 분류 표시 각각은 관련되어 있는 상기 채널 신호의 과도 유형을 표시하며,
    상기 장치는,
    상기 복수의 채널 신호 중 어느 신호 또는 어느 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있는 결정기(decider)(211; 715; 211')
    를 더 포함하며,
    상기 결정기는 각각의 채널 신호의 과도 유형을 표시하는 상기 분류 표시에 따라 결정하도록 구성되어 있는, 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 채널 신호 중 어느 신호 또는 어느 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있는 결정기(211; 715; 211')
    를 포함하며,
    상기 결정기는 상기 채널 신호의 과도 유형을 표시하는 상기 분류 표시 및 상기 다운믹스 신호의 과도 유형을 표시하는 추가의 분류 표시에 따라 결정하도록 구성되어 있는, 장치.
  4. 제3항에 있어서,
    상기 결정기(211')는, 상기 추가의 분류 표시가 상기 다운믹스 신호가 다운믹스 과도임을 표시하고, 상기 적어도 하나의 다중채널 신호에 관련된 채널 특정 분류 표시가 상기 적어도 하나의 채널이 채널 과도가 아님을 표시하는 경우에, 상기 적어도 하나의 채널 신호를 포스트프로세싱하도록 상기 포스트프로세서를 제어하도록 구성되어 있는, 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 결정기(211')는, 상기 추가의 분류 표시가 상기 다운믹스 신호가 다운믹스 과도임을 표시하고, 상기 적어도 하나의 채널 신호에 관련된 상기 채널 특정 분류 표시가 상기 적어도 하나의 채널이 채널 과도임을 표시하며, 상기 적어도 하나의 채널 신호의 에너지 메트릭이 기준 신호의 대응하는 에너지 메트릭보다 높은 경우에, 상기 적어도 하나의 채널 신호를 포스트프로세싱하도록 상기 포스트프로세서를 제어하도록 구성되어 있는, 장치.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 결정기(211')는, 상기 추가의 분류 표시가 상기 다운믹스 신호가 다운믹스 과도임을 표시하고, 상기 적어도 하나의 채널 신호에 관련된 특정 채널 분류 표시가 상기 적어도 하나의 채널이 채널 과도임을 표시하며, 상기 적어도 하나의 채널 신호와 기준 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 작은 경우에, 상기 적어도 하나의 채널 신호를 포스트프로세싱하도록 상기 포스트프로세서를 제어하도록 구성되어 있는, 장치.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 결정기(211')는, 상기 추가의 분류 표시가 상기 다운믹스 신호가 다운믹스 과도임을 표시하고, 상기 적어도 하나의 채널 신호에 관련된 상기 채널 특정 분류 표시가 상기 적어도 하나의 채널이 채널 과도임을 표시하며, 상기 적어도 하나의 채널 신호의 에너지 메트릭이 기준 신호의 대응하는 에너지 메트릭보다 낮은 경우에, 상기 적어도 하나의 채널 신호를 포스트프로세싱하지 않도록 상기 포스트프로세서를 제어하도록 구성되어 있는, 장치.
  8. 제3항 내지 제7항 중 어느 한 항에 있어서,
    상기 결정기(211')는, 상기 추가의 분류 표시가 상기 다운믹스 신호가 다운믹스 과도임을 표시하고, 상기 적어도 하나의 채널 신호에 관련된 특정 채널 분류 표시가 상기 적어도 하나의 채널이 채널 과도임을 표시하며, 상기 적어도 하나의 채널 신호와 상기 적어도 하나의 채널 신호 간의 채널 특정 채널 레벨 차이 CLDm이 미리 정해진 임계값보다 큰 경우에, 상기 가중된 시간 엔벨로프를 사용함으로써 상기 적어도 하나의 채널 신호를 포스트프로세싱하지 않도록 상기 포스트프로세서를 제어하도록 구성되어 있는, 장치.
  9. 제3항 내지 제8항 중 어느 한 항에 있어서,
    상기 결정기(211')는 상기 가중 인자를 결정하도록 구성되어 있으며, 상기 적어도 하나의 채널 신호와 기준 신호 간의 수신된 채널 레벨 차이(CLD)에 따라, 상기 다운믹스 신호의 상기 시간 엔벨로프는 상기 적어도 하나의 채널 신호의 포스트프로세싱에 대해 상기 가중 인자로 가중되는, 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 다운믹스 신호는 기준 신호를 형성하는, 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 다중채널 신호는 제1 채널 및 제2 채널을 포함하는 스테레오 신호인, 장치.
  12. 파라메트릭 다중채널 오디오 디코딩을 위한 디코더(201')에 있어서,
    다운믹스 디코더(205'), 업믹서(207') 및 제1항 내지 제11항 중 어느 한 항에 따른 장치(209')를 포함하며,
    상기 다운믹스 디코더(205')는 상기 다중채널 신호를 나타내는 인코딩된 다운믹스 신호를 수신하고 상기 인코딩된 다운믹스 신호를 디코딩하여 디코딩된 다운믹스 신호를 생성하도록 구성되어 있고,
    상기 업믹서(207')는 상기 다운믹스 디코더(205')로부터 상기 디코딩된 다운믹스 신호 및 상기 다운믹스 신호와 관련된 다중채널 파라미터를 수신하고 상기 다중채널 파라미터에 기초하여 상기 디코딩된 다운믹스 신호를 업믹스하여 상기 다중채널 신호의 상기 복수의 채널 신호를 생성하도록 구성되어 있는, 디코더.
  13. 다중채널 신호의 복수의 채널 신호 중 적어도 하나의 채널 신호를 포스트프로세싱하는 방법에 있어서,
    상기 적어도 하나의 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며,
    상기 방법은,
    상기 디코딩된 다운믹스 신호로부터 생성되는 상기 적어도 하나의 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 적어도 하나의 채널 신호의 과도 유형(transient type)을 표시하고 상기 적어도 하나의 채널 신호에 관련되어 있는 분류 표시를 수신하는 단계(401; 401'); 및
    각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 적어도 하나의 채널 신호를 포스트프로세싱하는 단계(403; 403')
    를 포함하는, 방법.
  14. 스테레오 신호의 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하기 위한 장치(101, 201, 713)에 있어서,
    상기 좌측 채널 신호와 상기 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며,
    상기 장치(101, 201, 713)는,
    상기 디코딩된 다운믹스 신호로부터 생성되는 상기 좌측 채널 신호와 상기 우측 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 스테레오 신호의 과도 유형(transient type)을 표시하는 분류 표시를 수신하기 위한 수신기(103); 및
    각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 좌측 채널 신호와 상기 우측 채널 신호 중 적어도 하나를 포스트프로세싱하기 위한 포스트프로세서(105, 213, 215, 717, 719)
    를 포함하는, 장치.
  15. 제14항에 있어서,
    상기 좌측 채널 신호와 상기 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있는 결정기(211, 715)
    를 더 포함하며,
    상기 결정기(211, 715)는 상기 스테레오 신호의 과도 유형을 표시하는 상기 분류 표시에 따라 결정하도록 구성되어 있는, 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 좌측 채널 신호와 상기 우측 채널 신호 중 어느 신호 또는 신호들이 포스트프로세싱되는지를 결정하도록 구성되어 있는 결정기(211, 715)
    를 더 포함하며,
    상기 결정기(211, 715)는 상기 스테레오 신호의 과도 유형을 표시하는 상기 분류 표시 및 상기 디코딩된 다운믹스 신호의 과도 유형을 표시하는 추가의 분류 표시에 따라 결정하도록 구성되어 있는, 장치.
  17. 로우 비트 레이트 오디오 코딩 시스템에 의해 스테레오 신호로부터 프로세스된 다운믹스 신호를 디코딩하기 위한 디코더에 있어서,
    상기 디코더(201, 701)는,
    오디오 채널을 통해 수신된 상기 다운믹스 신호를 디코딩하기 위한 모노 디코더(205, 705); 및
    상기 다운믹스 신호가 과도인 경우, 제14항 내지 제16항 중 어느 한 항의 디코딩된 다운믹스 신호를 포스트프로세싱하기 위한 장치(213, 215, 717, 719)
    를 포함하는, 디코더.
  18. 스테레오 신호의 좌측 채널 신호와 우측 채널 신호 중 적어도 하나를 포스트프로세싱하는 방법에 있어서,
    상기 좌측 채널 신호와 상기 우측 채널 신호는 로우 비트 레이트 오디오 코딩/디코딩 시스템에 의해 디코딩된 다운믹스 신호로부터 생성되며,
    상기 방법은,
    상기 디코딩된 다운믹스 신호로부터 생성되는 상기 좌측 채널 신호와 상기 우측 채널 신호, 상기 디코딩된 다운믹스 신호의 시간 엔벨로프, 및 상기 스테레오 신호의 과도 유형을 표시하는 분류 표시를 수신하는 단계(401); 및
    각각의 가중 인자에 의해 가중된 상기 디코딩된 다운믹스 신호의 시간 엔벨로프에 기초하고, 상기 분류 표시에 따라, 상기 좌측 채널 신호와 상기 우측 채널 신호 중 적어도 하나를 포스트프로세싱하는 단계(403)
    를 포함하는, 방법.
  19. 컴퓨터에서 실행될 때 제13항 또는 제18항의 방법을 실행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
KR1020137009058A 2010-09-28 2010-09-28 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법 KR101429564B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/077385 WO2012040897A1 (en) 2010-09-28 2010-09-28 Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal

Publications (2)

Publication Number Publication Date
KR20130086221A true KR20130086221A (ko) 2013-07-31
KR101429564B1 KR101429564B1 (ko) 2014-08-13

Family

ID=45891797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137009058A KR101429564B1 (ko) 2010-09-28 2010-09-28 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법

Country Status (6)

Country Link
US (1) US9293145B2 (ko)
EP (1) EP2609589B1 (ko)
KR (1) KR101429564B1 (ko)
CN (1) CN103026406B (ko)
ES (1) ES2585587T3 (ko)
WO (1) WO2012040897A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002067U (ko) 2015-12-03 2017-06-13 박규주 다기능 수납기구

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
JP5807453B2 (ja) * 2011-08-30 2015-11-10 富士通株式会社 符号化方法、符号化装置および符号化プログラム
EP2702776B1 (en) 2012-02-17 2015-09-23 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
EP2880653B1 (en) * 2012-08-03 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
WO2015059154A1 (en) * 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
KR102482162B1 (ko) * 2014-10-01 2022-12-29 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
CN107731238B (zh) * 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
CN109389985B (zh) 2017-08-10 2021-09-14 华为技术有限公司 时域立体声编解码方法和相关产品
CN110853658B (zh) * 2019-11-26 2021-12-07 中国电影科学技术研究所 音频信号的下混方法、装置、计算机设备及可读存储介质
CN111679314A (zh) * 2020-06-19 2020-09-18 深圳成智达科技有限公司 智能型网络巡线仪
CN112242150B (zh) * 2020-09-30 2024-04-12 上海佰贝科技发展股份有限公司 一种检测立体声的方法及其系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5245321A (en) * 1975-10-07 1977-04-09 Nippon Gakki Seizo Kk Electronic musical instrument
US5109417A (en) * 1989-01-27 1992-04-28 Dolby Laboratories Licensing Corporation Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio
US5451954A (en) * 1993-08-04 1995-09-19 Dolby Laboratories Licensing Corporation Quantization noise suppression for encoder/decoder system
MXPA03010237A (es) 2001-05-10 2004-03-16 Dolby Lab Licensing Corp Mejoramiento del funcionamiento de transitorios en sistemas de codificacion de audio de baja tasa de transferencia de bitios mediante la reduccion del pre-ruido.
KR101147187B1 (ko) * 2004-07-14 2012-07-09 돌비 인터네셔널 에이비 방법, 디바이스, 인코더 장치, 디코더 장치 및 오디오 시스템
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
KR20090013178A (ko) * 2006-09-29 2009-02-04 엘지전자 주식회사 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
MX2009007412A (es) * 2007-01-10 2009-07-17 Koninkl Philips Electronics Nv Decodificador de audio.
WO2008096313A1 (en) 2007-02-06 2008-08-14 Koninklijke Philips Electronics N.V. Low complexity parametric stereo decoder

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170002067U (ko) 2015-12-03 2017-06-13 박규주 다기능 수납기구

Also Published As

Publication number Publication date
EP2609589A4 (en) 2014-08-20
WO2012040897A1 (en) 2012-04-05
US9293145B2 (en) 2016-03-22
EP2609589B1 (en) 2016-05-04
EP2609589A1 (en) 2013-07-03
CN103026406B (zh) 2014-10-08
US20130236022A1 (en) 2013-09-12
CN103026406A (zh) 2013-04-03
ES2585587T3 (es) 2016-10-06
KR101429564B1 (ko) 2014-08-13

Similar Documents

Publication Publication Date Title
KR101429564B1 (ko) 디코딩된 다중채널 오디오 신호 또는 디코딩된 스테레오 신호를 포스트프로세싱하기 위한 장치 및 방법
JP5681290B2 (ja) デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス
CN101790756B (zh) 瞬态检测器以及用于支持音频信号的编码的方法
US11935549B2 (en) Apparatus and method for encoding an audio signal using an output interface for outputting a parameter calculated from a compensation value
CN102687200B (zh) 使用可切换模型核心的嵌入式语音和音频代码化
JP2018045252A (ja) オーディオデコーダ及び復号方法
US20110320196A1 (en) Method for encoding and decoding an audio signal and apparatus for same
AU2017206243B2 (en) Method and apparatus for determining encoding mode, method and apparatus for encoding audio signals, and method and apparatus for decoding audio signals
KR20090089638A (ko) 신호 부호화 및 복호화 방법 및 장치
US20140257824A1 (en) Apparatus and a method for encoding an input signal
RU2011141881A (ru) Усовершенствованное стереофоническое кодирование на основе комбинации адаптивно выбираемого левого/правого или среднего/побочного стереофонического кодирования и параметрического стереофонического кодирования
KR20100007256A (ko) 멀티 채널 부호화 및 복호화 방법 및 장치
US20220406318A1 (en) Bitrate distribution in immersive voice and audio services
KR20130126708A (ko) 트랜지언트 검출 및 품질 결과를 사용하여 일부분의 오디오 신호를 코딩하기 위한 장치 및 방법
CN110462733A (zh) 多声道信号的编解码方法和编解码器
US20240221765A1 (en) Apparatus and method for encoding an audio signal using a compensation value
KR20140042836A (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190718

Year of fee payment: 6