KR20110065447A - 멀티채널 오디오 데이터의 재구성 - Google Patents

멀티채널 오디오 데이터의 재구성 Download PDF

Info

Publication number
KR20110065447A
KR20110065447A KR1020117004404A KR20117004404A KR20110065447A KR 20110065447 A KR20110065447 A KR 20110065447A KR 1020117004404 A KR1020117004404 A KR 1020117004404A KR 20117004404 A KR20117004404 A KR 20117004404A KR 20110065447 A KR20110065447 A KR 20110065447A
Authority
KR
South Korea
Prior art keywords
data
spatialization
value
spatialized
predicted
Prior art date
Application number
KR1020117004404A
Other languages
English (en)
Other versions
KR101590919B1 (ko
Inventor
다비드 비렛
삐에릭 삘립
Original Assignee
프랑스 뗄레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프랑스 뗄레콤 filed Critical 프랑스 뗄레콤
Publication of KR20110065447A publication Critical patent/KR20110065447A/ko
Application granted granted Critical
Publication of KR101590919B1 publication Critical patent/KR101590919B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 적어도 감소된 개수의 채널들의 데이터와 공간화 데이터로부터 멀티채널 오디오 데이터를 재구성하도록 오디오 데이터를 처리하는 방법에 관한 것이다. 상기 방법은 수신된 공간화 데이터의 유효성을 검사한다. 이 검사 결과 수신된 공간화 데이터가 유효성이 있다면, 복수 개의 예측 모델들 각각에 따라 공간화 값이 예측된다. 이 예측 모델은 이렇게 예측된 공간화 값들과 수신된 공간화 데이터를 기반으로 선택된다. 이에 의해, 결함이 있는 공간화 데이터가 나중에 수신되는 경우에, 상기 선택된 예측 모델에 따른 공간화 값의 예측 및 상기 예측된 공간화 값의 사용은 멀티채널 오디오 데이터를 재구성하는 것을 가능하게 한다.

Description

멀티채널 오디오 데이터의 재구성{Reconstruction of Multi-channel Audio Data}
본 발명은 멀티채널 오디오 데이터의 재구성을 위해 결함이 있는 공간화 데이터 (spatialization data)의 은폐에 관한 것이다. 멀티채널 오디오 데이터는 전형적으로 적어도 공간화 데이터와 제한된 개수의 채널들의 오디오 데이터, 예를 들어, 모노 채널 데이터를 기반으로 재구성된다.
멀티채널 오디오 데이터는 전형적으로 여러 개의 오디오 트랙들 각각에 주어진다. 여러 개의 사운드 소스들 각각은 청취자가 서라운드 사운드(surround sound)로 착각할 수 있게 하는 데 사용될 수 있다.
멀티채널 오디오 데이터는 특히 홈 시네마 어플리케이션 (Home Cinema Applications)을 위해 예를 들어 2개 채널들의 스테레오(stereo) 데이터 또는 6개 채널들의 5.1 데이터를 포함할 수 있다. 본 발명은 또한 청취자가 화자(speaker)의 목소리가 공간의 특정 위치로부터 나온다고 착각할 수 있도록 화자에 해당하는 데이터가 공간화 처리되는 공간화된 전화 회의 분야에서의 어플리케이션을 발견할 수 있다.
공간화 데이터는 줄어든 개수의 채널들의 데이터, 예를 들어 데이터를 기반으로 멀티채널 데이터를 얻는데 사용된다. 이 공간화 데이터는 예를 들어 경로간 레벨 차이(inter-pathway level differences) 또는 채널간 레벨 차이(Interchannel Level Differences: ILDs), 경로간 상호 연관 또는 채널간 상호 연관(Interchannel Cross Correlations: ICCs), 경로간 시간 지연 또는 채널간 시간 차이(Interchannel Time Differences: ITDs), 경로간 위상 차이 또는 채널간 위상 차이(Interchannel Phase Differences: IPDs) 등을 포함할 수 있다.
적어도 데이터와 공간화 데이터를 포함하는 수신된 오디오 데이터에 결함, 즉 어떠한 데이터가 빠져 있거나 오류가 발생할 수 있다.
이 결함이 있는 데이터의 전송은 순환 중복 검사(Cyclic Redundancy Check: CRC) 타입의 코드에 의해 감지될 수 있다.
오디오 데이터의 결함값들을 예측값들(predicted values)로 교체함으로써 이 결함들이 경감된다고 알려져 있다. 이 예측값들은 공지된 예측 모델들에 따라 결정될 수 있다.
여러 개의 예측 모델들이 공지되어 있다. 예를 들어, 한 예측 모델은 예측값으로서 임의의 값, 이전 값, 예시적인 선형 예측 방법들에 따라 미리 수신된 오디오 데이터를 기반으로 결정된 값, 등을 선택한다.
결함이 있는 데이터를 수신할 때, 일반적으로 데이터의 결함값들을 예측값들로 교체하는 것으로 비교적 만족할만하다.
그러나, 결함이 있는 공간화 데이터를 수신할 때에는, 공간화 데이터의 결함값들을 예측값들로 교체하는 것만으로 불만족스러울 수 있다.
청취자는 사운드 소스들의 급격한 이동때문에 시간에 따른 공간화 데이터의 심한 변동을 명백하게 지각한다.
예를 들어, 공간화 데이터의 결함값들이 공간화 데이터의 부재에 해당하는 임의의 값으로 교체된다면, 사운드로의 복귀는 특히 입체 음향 신호들(binaural signals)의 경우에는 청취자에 혼란을 줄 수 있다. 정말로, 입체 음향 신호들, 즉 양쪽 귀의 레벨로 3D 공간에서의 신뢰할만한 재생은 종종 공간에서 상대적으로 고정된 가상 사운드 소소들에 대응한다.
그러므로, 멀티채널 오디오 데이터의 재구성 동안 공간화 데이터의 결점을 보다 잘 은폐하는 것이 필요하다.
첫 번째 특징에 따르면, 본 발명은 적어도 제한된 개수의 채널들의 데이터와 공간화 데이터를 기반으로 멀티채널 오디오 데이터의 재구성을 위해서 사운드 데이터를 처리하는 방법을 제공하며, 상기 방법은 수신된 프레임의 공간화 데이터의 유효성을 검사하는 단계를 포함한다.
수신된 상기 공간화 데이터가 유효하다는 검사 결과를 보인다면, 상기 방법은 (a) 복수 개의 예측 모델들 각각에 따라서 공간화 값을 예측하는 단계, 및 (b) 이렇게 예측된 상기 공간화 값들 및 실질적으로 수신된 상기 공간화 데이터를 기반으로 예측 모델을 선택하여, 결함이 있는 공간화 데이터가 이후에 수신되는 경우에, 상기 선택된 예측 모델에 따라서 공간화 값을 예측하고 상기 멀티채널 오디오 데이터의 재구성을 위해 예측된 상기 공간화 값을 사용할 수 있는 단계를 포함하는 것을 특징으로 하는 방법.
따라서, 유효하다고 여겨지는 공간화 데이터는 복수 개의 예측 모델들 중에서 결함이 있다고 여겨지는 공간화 데이터가 수신되는 경우에 채택되는 예측 모델을 선택하는 데 사용된다. 내용에 따라 적응성이 있는 이러한 방법은 단일 예측 모델이 사용되는 종래 기술보다 더 만족스러운 방식으로 공간화 데이터의 결함들을 경감시키는 것이 가능하다.
상기 "제한된 개수의 채널들"이라는 것은 채널의 개수가 멀티채널 데이터의 채널의 개수보다 적다는 것을 의미한다. 예를 들어, 제한된 개수의 채널들의 데이터는 데이터를 포함할 수 있다.
공간화 데이터, 보다 일반적으로, 수신된 오디오 데이터는 전송 채널로부터 시작된다. 예를 들어, 이 오디오 데이터는 인터넷을 통해 수신될 수 있다. 또는, 수신된 오디오 데이터를 저장 매체, 예를 들어 a DVD("Digital versatile Disk") 등을 통해 읽을 수 있다. 본 발명에서, 수신된 오디오 데이터의 기원은 제한되지 않는다.
수신된 오디오 데이터는 코딩된 신호, 디멀티플렉싱 및/또는 디코딩된 신호, 숫자 신호 등을 포함할 수 있다.
상기 단계(a) 및 (b)는 유효하다고 여겨지는 프레임 다음에 체계적으로 수행될 수 있다. 따라서, 이 다양한 처리는 시간에 따라 할당된다.
특히, 상기 단계(a) 및 (b)가 각 유효한 프레임에서 수행될 때,선택된 예측 모델의 식별자를 메모리에 기입할 수 있다. 이에 의해, 결함이 있는 공간화 데이터를 이후에 수신하는 경우에, 적용될 예측 모델을 빠르게 검색할 수 있다.
또는, 상기 단계(a) 및/또는 (b)의 실행은 어떠한 조건을 실현시켜야 하고, 이것은 관계없는 계산을 하는 것을 방지시킬 수 있다.
예를 들어, 프레임이 유효하다고 생각될 때, 공간화 데이터는 적어도 임시 방법으로 메모리에 저장된다. 상기 단계(a) 및 (b)는 결함이 있다고 여겨지는 공간화 데이터가 다음에 수신되는 경우에만 (이렇게 저장된 데이터를 기반으로) 실행된다. 그러므로, 이것은 필요가 없을 때에는 특히 단계(a)의 실행을 방지한다.
다른 특징에 따르면, 단계(b)를 결함이 있는 프레임을 수신하는 경우에만 (이전 프레임 또는 프레임들에서 메모리에 유지된 공간화 데이터를 기반으로) 실행하는 동안, 상기 단계(a)는 유효하다고 여겨지는 프레임 다음에 체계적으로 수행될 수 있다.
유리하게, 단계(b) 동안에, 각 예측된 공간화 값은 수신된 공간화 데이터를 기반으로 추산된 값과 대비된다. 특히, 각 예측 모델에 대해서, 한편으로는 상기 모델에 따라 예측된 공간화 값과 다른 한편으로는 수신된 공간화 데이터를 기반으로 추산된 값을 기반으로 유사값을 계산할 수 있다. 상기 유사값이 상기 예측된 값과 상기 추산된 값 사이의 높은 적합도를 나타내는 예측 모델이 선택된다.
추산된 값은 공간화 데이터 중의 하나 일 수 있다. 예를 들어, 추산된 값은 ILD를 포함할 수 있다. 이 경우에는, 단계(b) 동안에, 예측된 공간화 값들과 수신된 공간화 데이터를 직접적으로 비교할 수 있다.
또는, 추산된 값을 공간화 데이터로부터만 얻어낼 수 있다. 예를 들어, 추산된 값은 프레임 및 주어진 주파수 대역에서 ILD로부터 발생하는 게인, 시간 지연, 등을 포함할 수 있다. 이 경우에는, 단계(b) 동안에, 예측된 공간화 값들과 수신된 공간화 데이터를 기반으로 얻은 값들을 비교할 수 있다.
유리하게, 적어도 하나의 예측 모델에서, 미리 예측된 공간화 값들은 해당하는 추산된 값들과 대비된다. 따라서, 상술한 내용에 가장 적합한 예측 모델은 보다 적당하게 선택될 수 있다.
예를 들어, 여러 개의 프레임들에서 수신된 공간화 데이터를 사용하고 여러 개의 프레임들에서 예측된 값들과 추신된 값들을 대비하는 것이 가능하다.
특히, 수신된 일련의 프레임들 각각에 대해서 그리고 적어도 하나의 예측 모델에 대해서, 일련의 공간화 값들을 예측하도록 상기 예측 모델에 따라 공간화 값을 예측하는 것이 가능하다. 상기 예측 모델에서, 유사값은 한편으로는 상기 일련의 예측된 공간화 값들과 다른 한편으로는 일련의 프레임들의 데이터를 기반으로 추산된 일련의 값들을 기반으로 계산될 수 있다.
유리하게, 결함이 있는 공간화 데이터는 예측 모델 선택 단계에서는 사용되지 않을 것이다. 왜냐하면, 결함이 있는 공간화 데이터는 예측 모델 선택을 왜곡할 수 있기 때문이다.
또는, 예측 모델의 선택을 위해서 하나의 동일한 프레임에서 수신된 현재 공간화 데이터를 사용하여도 된다.
상기 공간화 데이터는 전송 동안에 발생된 열화 또는 데이터 저장 매체의 열화 때문에 결함이 있을 수 있다. 본 발명은 공간화 데이터의 결함 원인에 한정되지 않는다. 예를 들어, 전송 네트워크의 발신기 또는 다른 소자가 데이터 세트를 전송하지 않기로 선택할 수 있는 계층으로 조직화된 전송(또는 스케일러블 코딩(scalable coding)이라고 불리는 전송)의 경우에, 약간의 데이터가 수신된 공간화 데이터로부터 빠질 수 있다.
공간화 데이터의 결함 특질은 공지된 방법들, 예를 들어, CRC 타입의 코드에 의해 삭제될 수 있다.
본 발명은 선택된 예측 모델의 식별자를 메모리에 기입하는 형태는 한정되지 않는다. 예를 들어, 예측 모델에 해당하는 프로그램의 모든 명령어들을 프로그램 메모리로 복사하거나 메모리, 임의적으로 휘발성 메모리에 모델명을 저장하는 아주 간단한 방법이 가능하다.
단계(a) 동안에, 공간화 값은 예측 모델, 즉 예측에 사용되는 데이터가 예측 모델에 따라서 가변할 수 있는 예측 모델에 따라서 예측된다. 예를 들어, 임의의 값을 공간화 값에 할당하는 예측 모델에 대해서, 예측에 어떠한 데이터도 필요하지 않다. 또한, 이전 공간화 값을 이용하는 및/또는 이전 공간화 값의 가중치를 구하는 예측 모델에 대해서, 이전 공간화 값이 예측 동안에 사용된다.
유리하게, 단계(a)는 주어진 주파수 대역에 해당하는 공간화 데이터에 수행된다. 따라서, 여러 개의 예측들은 다양한 주파수 대역들에서 평행하게 실행될 수 있다. 정말로, 스테레오 신호의 경우에는, 가장 적당한 예측 모델의 선택이 주파수와 연관될 수 있다. 예를 들어, 고려된 주파수 대역에 따라서 서로 다른 예측 모델을 선택할 수 있다.
또 다른 특징에 따르면, 본 발명은 명령어들이 프로세서에 의해 실행될 때, 상술한 방법을 실시하는 상기 명령어들을 포함하는 컴퓨터 프로그램을 제공한다.
또 다른 특징에 따르면, 본 발명은 결함이 있는 공간화 데이터를 은폐하는 장치를 제공한다. 상기 장치는 복수 개의 명령어 세트들을 저장하는 두 개 이상의 메모리들을 포함할 수 있는 메모리부를 포함하며, 상기 복수 개의 명령어 세트들 각각은 예측 모델에 해당한다. 상기 장치는 공간화 데이터를 수신하는 수신 수단을 더 포함한다. 테스트 모듈은 상기 수신 수단에 의해 수신된 상기 공간화 데이터의 유효성을 검사하는 것이 가능하다. 테스트 모듈에 의해 유효하다고 감지된 공간화 데이터가 수신되는 경우에, 추산 모듈은 상기 메모리부에 저장된 상기 복수 개의 명령어 세트들 각각에 대해서 공간화 값을 예측하도록 상기 복수 개의 명령어 세트들 실행하는 것이 가능하다. 선택 모듈은 상기 추산 모듈에 의해 예측된 공간화 값들 및 상기 수신 수단에 위해 수신된 공간화 데이터를 기반으로 예측 모델을 선택하는 것이 가능하다. 상기 장치는 감지 모듈에 의해 결함이 있다고 여겨지는 공간화 데이터를 수신하는 경우에, 선택 모듈에 의해 선택된 상기 예측 모델에 따라서 공간화 값을 예측하도록 설계된 예측 모듈을 더 포함한다.
또 다른 특징에 따르면, 본 발명은 멀티채널 오디오 데이터를 재구성하는 장치를 제공한다. 상기 장치는 적어도 제한된 개수의 채널들의 데이터, 예를 들어 데이터를 기반으로 멀티채널 오디오 데이터를 재구성하는 멀티채널 재구성 수단을 포함한다. 상기 장치는 상술한 결함이 있는 공간화 데이터를 은폐하는 상기 은폐 장치를 더 포함한다. 상기 예측 모듈은 상기 감지 모듈에 의해 결함이 있다고 여겨지는 공간화 데이터를 수신하는 경우에 상기 멀티채널 오디오 데이터의 재구성을 위해서 상기 멀티채널 재구성 수단에 상기 예측된 공간화 값을 제공하도록 설계된다.
멀티채널 오디오 데이터의 재구성 장치는 프로세서로 통합될 수 있고 또는 컴퓨터 또는 하이-파이(Hi-Fi) 시스템 타입의 장치 등을 포함할 수 있다.
상기 재구성 장치, 예를 들어 재구성 수단, 은폐 장치, 감지 모듈 등의 다양한 하드웨어 아이템들은 개별적으로 또는 병합될 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 특징 및 이점들을 상세하고 명확하게 설명하기로 한다.
도 1은 예시적인 종래 코딩 장치를 도시한다.
도 2는 본 발명의 한 실시예에 따른 예시적인 재구성 장치를 포함하는 예시적인 디코딩(decoding) 장치를 도시한다.
도 3은 본 발명의 한 실시예에 따른 방법의 예시적인 알고리즘이다.
도 4는 게인(gain)의 예시적인 가능한 전개(evolution)을 도시하는 그래프이다.
도 5는 본 발명의 한 특징에 따른 컴퓨터 프로그램을 실행할 수 있는 장치를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일하거나 유사한 구성 요소를 나타낸다.
첨부된 도면을 참조하여 기술된 예들에서, 멀티채널 오디오 데이터의 채널 개수는 정확히 2개이다. 그러나, 당연히 더 많은 채널이 제공될 수 있다. 멀티채널 오디오 데이터는 예를 들어 6개 채널의 5.1 데이터를 포함할 수 있다. 본 발명은 또한 공간화된 전화 회의 분야에서의 어플리케이션을 찾아낼 수 있다.
특히, MPEG 서라운드 스탠다드(Surround standard), 즉 트리 구조(tree structure)가 2개 이상의 경로(pathway)들을 발생시키게 사용되거나 될 수 있다.
기술된 예들에서, 오디오 데이터는 지수(n)에 의해 표시된 프레임(frame) 또는 패킷(packet)으로 함께 그룹화된다.
도 1은 스테레오 정보가 주파수 대역들에 의해 전송되어 주파수 도메인에 적용되는 예시적인 코더(coder)를 도시한다.
이를 위해, 코더는 시간 주파수 변환 수단(10)을 통합할 수 있다. 예를 들어, 코더는 변환, 예를 들어, 이산 푸리에 변환(Discrete Fourier Transform: DFT), 변형 이산 코사인 변환(Modified Discrete Cosine Transform: MDCT), MCLT(Modulated Complex Lapped Transform: MCLT)를 수행할 수 있는 디지털 신호 처리기(Digital Signal Processor: DSP)를 통합할 수 있다.
따라서, 주파수 신호들(SL(k), SR(k))의 값들은 좌우 시간 신호들에 해당하는 값들(SL(n), SR(n))을 기반으로 얻게 된다.
이후에, 좌우 경로 신호들(SL(k), SR(k))은 매트릭싱 수단(11)에 의해 매트릭스화된다.
매트릭싱 수단(11)은 스테레오 신호들(SL(k), SR(k))을 기반으로 신호(M(k))와 잔류 신호(E(k))를 결정하는 것이 가능하다. 신호(M(k))는 전형적으로 좌우 스테레오 신호들(SL(k), SR(k))의 합의 반이다. 잔류 신호(E(k))는 좌우 스테레오 신호들(SL(k), SR(k))간의 차이의 반과 동일할 수 있다.
신호(M(k))가 더 많은 정보를 전송하기에 적합하도록 스테레오 신호들(SL(k), SR(k))이 매트릭스화될 수 있다. 이를 위해, 매트릭싱 수단(11)에 의해 실시되는 방법은 좌우 경로들의 위상들이 대향되게 하는 성분들이 삭제되는 것을 방지하도록 시간에 따라 전개될 수 있다.
공간화 데이터를 추산하기 위한 수단(12)은 공간화 데이터, 예를 들어 스테레오 매개 변수들을 신호(M(k))와 잔류 신호(E(k))를 기반으로 추산하는 것이 가능하다. 스테레오 매개 변수들은 당업자들에게 공지될 수 있고 예를 들어 경로간 레벨 차이(inter-pathway level differences: ILDs), 경로간 상호 연관(inter-pathway cross correlations: ICCs), 및 경로간 시간 지연(inter-pathway time delay: ITDs) 또는 경로간 위상 차이(inter-pathway phase differences: IPDs)를 포함할 수 있다.
이들 스테레오 매개 변수들(ILD(b))은 변수(b)에 의해 색인된 주파수 대역들에 의해 결정될 수 있다. 이 주파수 대역들은 인간 지각에 가까운 주파수 크기에 따라 구성될 수 있다. 예를 들어, 고려된 스펙트럼의 원하는 정확성과 풍부함에 따라 8과 20 사이의 주파수 대역들을 사용하는 것이 가능하다.
양자화, 코딩, 및 멀티플렉싱(multiplexing) 수단(13)은 줄어든 처리량에서 전송이 가능하도록 스테레오 매개 변수들(ILD(b))을 양자화하고 코딩하는 것이 가능하다.
신호(M(k))는 또한 도 1에 도시된 바와 같은 변환된 도메인에서 또는 시간 도메인에서 상기 수단(13)에 의해 양자화되고 코딩된다. 신호(M(k))를 처리하는 표준화된 알고리즘, 예를 들어 ITU G.729.1 타입 또는 ITU G.718 타입의 스피치 코더를 사용할 수 있다. 이 스피치 코더는 또한 MPEG-4 AAC 타입 또는 HE-AAC 타입의 일반적인 오디오 코더일 수 있다.
잔류 신호(E(k))는 임의로 전송되고 또한 주파수 도메인 또는 시간 도메인에서 전류 신호에 특별한 표준화된 코딩 또는 전송 기술을 요구하고 있다.
양자화, 코딩, 및 멀티플렉싱 수단(13)의 출력으로부터 얻은 인코딩된 신호(Senc)는 예를 들어 무선 경로(radio pathway)에 의해 전송된다.
또는, 코더의 출력으로부터 얻은 데이터의 채널의 개수가 코더에 입력된 데이터의 채널의 개수보다 작다면, 코더는 2개 이상의 모노포닉(monophonic) 채널로 얻은 데이터에 이르게 할 수 있다.
도 2는 전송된 신호(Senc)에 해당하는 신호(S'enc)를 수신해야 할 예시적인 디코더를 도시한다.
디코딩 및 디멀티플렉싱 수단(29)는 데이터(M'(k))로부터 수신된 신호(S'enc)로부터 임의적으로 잔류 데이터(E'(k)) 뿐만 아니라 공간화 데이터 (ILD'(b))를 추출하는 것이 가능하다.
디코더는 또한 데이터(M'(k)), 공간화 데이터(ILD'(b)), 및 옵션 잔류 데이터(E'(k))를 기반으로 멀티채널 오디오 데이터(S'L(k), S'R(k))를 재구성하는 재구성 장치(26)를 포함한다.
도 3은 도 2의 재구성 장치(26)에 의해 실행가능한 알고리즘을 도시한다. 그러므로, 도 2 및 도 3을 동시에 설명할 것이다.
재구성 장치(26)는 결함이 있는 공간화 데이터(ILD'(b))를 수신하는 경우에 대체값들을 제공하는 은폐 장치(20) 및 적당한 재구성을 위한 멀티채널 재구성 수단(27)을 포함한다.
멀티채널 재구성 수단(27)은 예를 들어 단계 300 동안에 하기 수학식(1)에 나타낸 바와 같이 멀티채널 오디오 데이터(S'L(k), S'R(k))를 조합한다.
Figure pct00001
Figure pct00002
여기에서, k는 고려된 주파수 지수(index)를 나타내고, b는 전송된 스테레오 매개 변수들에 의해 할당된 대역을 나타낸다. ML(k)는 당업자에게 공지된 방식으로 공간화 데이터(수학식(1)에 표현되지 않음)로부터 얻은 좌측 경로에 해당하는 위상 천이 또는 시간을 지연시킴으로써 데이터(M'(k))를 기반으로 단계 301 동안에 얻은 주파수 도메인에서의 신호이다. MR(k)는 단계 301 동안에 좌측 주파수 도메인 신호 ML(k)와 동일한 방법으로 얻은 우측 경로에 대한 주파수 도메인에서의 신호이다.
특히, 위상이 천이되지 않는다면,하기 수학식(2)를 얻게 된다.
Figure pct00003
E'L은 당업자에게 공지된 방법으로 임의로 전송된 잔류 데이터(E'(k))로부터 발생한 좌측 경로에 특정한 신호이다. E'R은 당업자에게 공지된 방법으로 임의로 전송된 잔류 데이터(E'(k))로부터 발생한 우측 경로에 특정한 신호이다. 데이터(E'L, E'R)를 얻는 단계는 도 3에 도시되지 않는다.
잔류 데이터가 전송되지 않는 경우에는, 잔류 데이터(E'(K)), 즉 신호(E'L, E'R)는 영이다.
WL과 WR은 고려된 대역(b)과 프레임(n)에서 공간화 데이터(ILD'(b,n))로부터 발생한 게인이다.
게인(WL, WR)은 단계 302 동안에 예를 들어 값(W'L, W'R)에 의해 다음 수학식(3)과 같이 결정될 수 있다.
Figure pct00004
Figure pct00005
여기에서, ILD'(b,n)은 프레임(n)에서 수신된 공간화 데이터(ILD'(b)) 이다.
영(0)과 1 사이의 시간 상수(
Figure pct00006
), 예를 들어 시간 상수(
Figure pct00007
) 0.8를 가진 평탄화(smoothing)가 단계 304 동안에 다음 수학식(4)에 따라 수행된다.
Figure pct00008
여기에서, WL(b,n-1)은 이전 프레임에서 얻은 값을 나타낸다.
우측 경로에 대해서도 동일한 평탄화를 단계 304 동안에 다음 수학식(5)에 따라 수행하는 것이 가능하다.
Figure pct00009
여기에서, WR(b,n-1)은 이전 프레임에 대해서 얻은 값을 나타낸다.
또는, 예를 들어 좌측 경로에 대해서 얻은 값을 다음 수학식(6)에 따라 사용하는 것이 가능하다.
Figure pct00010
은폐 장치(20)는 데이터(WL,WR)가 모든 것에도 불구하고 결정될 수 있도록 공간화 데이터(ILD'(b,n))의 가능한 손실을 막는 것이 가능하다.
은폐 장치(20)는 단계 305 동안에 임의로 데이터(M'(k))와 잔류 데이터 E'(K), 뿐만 아니라 공간화 데이터(ILD'(b,n))를 수신하는 수신 수단(미도시)을 포함한다.
수신 수단은 예를 들어 입력 포트, 입력 핀,등을 포함할 수 있다.
수신 수단에 링크된 테스트 모듈(22)은 단계 306 동안에 공간화 데이터(ILD'(b,n))의 유효성(validity)을 검사하는 것이 가능하다. 테스트 모듈(22)은 예를 들어 전송이 공간화 데이터의 열화를 일으키지 않는다는 검증하기 위해서 CRC 타입의 인코딩의 검증(verification)을 수행할 수 있다.
테스트 모듈(22)은 또한 수신된 신호(S'enc)로부터 추출되고 전송되는 데이터의 층들의 가능한 삭제를 나타내는 어떠한 값들(미도시)을 읽을 수 있다. 물론, 특히 네트워크의 고장(clogging), 전송 채널의 대역폭의 저하, 이러이러한 데이터 세트의 경우에는, 전송 네트워크의 어떠한 소자들이 전송을 그만두게 할 수 있다. 전송되지 않는 데이터 세트들은 예를 들어 사운드 디테일들(details)에 해당할 수 있다. 테스트 모듈(22)이 어떠한 데이터의 삭제를 나타내는 값을 읽을 때, 이 데이터가 빠져있다고 여겨진다.
은폐 장치(20)는 여러 명령어 세트들을 저장하는 메모리부(21)를 포함하고, 각 명령어 세트는 예측 모델에 해당한다.
예를 들어, 제 1 예측 모델에 따르면, 공간화 데이터(ILD'(b,n))가 프레임(n) 및 주어진 주파수 대역(b)에서 결함이 있을 때, 다음 수학식(7)이 선택된다.
Figure pct00011
Figure pct00012
그 다음에, 해당 명령어들은 이전 프레임에서 얻은 값들(WR(b,n-1), WL(b,n-1))을 복사하는 것이다.
예를 들어, 제 2 예측 모델에 따르면, 다음 수학식(8)이 선택된다.
Figure pct00013
Figure pct00014
여기에서
Figure pct00015
는 0과 1 사이의 값이다.
따라서, 일부의 공간화 데이터가 결함이 있는 연속적인 프레임들의 경우에는,
Figure pct00016
및
Figure pct00017
은 1이 되는 경향이 있고, 그 결과 멀티채널 오디오 데이터(S'L(k), S'R(k))는 데이터(M'(k))에 근접한다. 그렇지 않으면, 공간화 효과는 점진적으로 없어져서 신호로 돌아온다.
다른 예시적인 예측 모델에 따르면, 다음 수학식(9)가 선택된다.
Figure pct00018
Figure pct00019
또는, 다음 수학식(10)이 선택된다.
Figure pct00020
Figure pct00021
또는, 다음 수학식(11)에서처럼 메디언 필터(median filter)가 사용된다.
Figure pct00022
Figure pct00023
임의로, 보다 나은 안정성을 확보하기 위해서, 줄어든 값들, 예를 들어, 0.9WL(b,n-i) 및 0.9WR(b,n-i)가 WL(b,n-i) 및 WR(b,n-i) 대신에 각각 사용될 수 있다. 상술한 예측 모델들 중의 하나를 적용함으로써 이 줄어든 값들을 직접적으로 사용하도록 이 줄어든 값들이 메모리부(21)에서 유지될 수 있다.
다른 예측 모델들도 또한 사용 가능하다. 예를 들어, 다음 수학식(12)에 나타낸 바와 같이 보다 일반적인 예측 형태도 있다.
Figure pct00024
Figure pct00025
상기 수학식(12)는 예측 P의 차수를 가지는 것도 가능하다. 계수들 ai는 시간에 따라 전개될 수 있고 레빈슨-더빈(Levinson-Durbin) 타입의 계획(scheme)을 사용하여 다시 업데이트될 수 있다.
상기 예시적인 예측 모델들은 WL과 WR의 예측 값들로 이끈다. 또는, 상기 예시적인 예측 모델들은 변수들, 즉 W'L과 W'R의 ILD'(b,n) 등의 값들을 예측하는 것이 가능하다.
예를 들어, 상술한 제 1 예측 모델과 동등한 예측 모델에 따라서, 공간화 데이터(ILD'(b,n))를 프레임(n)과 주어진 주파수 대역(b)에서 놓쳤을 때, 다음식 ILD'(b,n)) = ILD'(b,n-1)을 선택한다. 그 다음에, 해당 명령어는 이전 프레임에서 얻은 값, ILD'(b,n-1)을 복사하는 것이다.
추산 모듈(23)은 다양한 명령어 세트들을 실행하는 것이 가능하다. 추산 모듈(23)은 대응하는 공간화 데이터(ILD'(b,n))가 테스트 모듈(22)에 의해 유효하다고 판단되도록, 예를 들어 각 프레임에서 작동되거나, 결함이 있다고 생각되는 프레임에 선행하고 유효하다고 생각되는 프레임들에서만 작동된다.
추산 모듈(23)이 작동할 때, 저장된 모든 명령어 세트들은 초기화의 통상적인 단계들이 있는 명령어 세트들을 검토하고, 검사하고, 인크레멘트(incrementation) 하는 루프에서 반복되어 단계 307 동안에 실행된다.
선택 모듈(24)는 예측된 공간화 값들(
Figure pct00026
,
Figure pct00027
)과 실제적으로 수신된 공간화 데이터(ILD'(b,n))를 기반으로 추산된 공간화 값들(WL,WR)을 대비함으로써 이들 예측 모델들 중의 하나를 선택하는 것이 가능하다.
예를 들어, 각 예측 모델에서, 단계 308 동안에 예측값들(
Figure pct00028
,
Figure pct00029
)과 추산된 값들(WL(b,n),WR(b,n))을 기반으로 유사값들(
Figure pct00030
,
Figure pct00031
)을 계산하는 것이 가능하다. 유사값들은 다음 수학식(13)에 나타낸 바와 같이 예를 들어 각 예측값의 변동치를 포함할 수 있다.
Figure pct00032
여기에서, E는 예를 들어 다음 수학식(14)에 나타낸 바와 같이 수학적 기대값을 나타낸다.
Figure pct00033
따라서, 수신된 일련의 N개의 프레임들은 N개의 값들(
Figure pct00034
)을 결정하고 이 N개의 값들과 N개의 추산된 값들(
Figure pct00035
)을 비교하는데 사용된다.
동등한 수학식이 우측 경로에도 적용된다.
또는, 각 경로에 대해서 예를 들어 다음 수학식(15)에 따라서 되풀이해서 변동치를 계산할 수 있다.
Figure pct00036
여기에서,
Figure pct00037
는 시간 상수, 예를 들어, 0.975 이고,
Figure pct00038
는 프레임(n)에서 추산된 변동치를 나타낸다.
기술되지는 않았지만 또 다른 실시예에 따르면, 변동을 추산하는 대신에, 실제적으로 수신된 값을 기반으로 얻은 데이터(WL, WR)와 데이터(
Figure pct00039
)간의 연관 가능성을 추정한다. 예를 들어, 다음 수학식(16)에 나타낸 바와 같이 한 세트의 추정량을 사용하는 것이 가능하다.
Figure pct00040
Figure pct00041
Figure pct00042
또는
Figure pct00043
타입의 추정량들을 비교함으로써, 유사값이 예측값들과 추산값들 간의 높은 적합도를 나타내는 예측 모델을 선택하는 것이 가능하다. 예를 들어, 최고의 은폐를 위한 모델의 지수(m*)가 결정된다: 이 지수는 다른 실시예에서도 추정량(
Figure pct00044
)을 최소화시킬 수 있거나 추정량(
Figure pct00045
)을 최대화시킬 수 있는 지수일 수 있다.
단순화를 위해서, 좌우 경로들 중의 하나, 예를 들어, 좌측 경로에 대한 추정량(
Figure pct00046
)을 최소화시킬 수 있는 지수를 선택할 수 있다.
이 값(m*)은 선택된 예측 모델의 식별자를 구성하고 단계 309 동안에 메모리부(21)에 저장된다.
단계 307은 단계 302, 304 전에 실행되거나 또는 이와 병렬로 실행될 수 있다. 단계 308은 단계 304 동안 얻어지는 값과 관계가 있기 때문에 단계 304 이후에 실행된다.
은폐 장치(20)는 또한 결함이 있다고 생각되는 공간화 데이터를 수신하는 경우에 값(m*)에 의해 식별된 모델에 따라서 단계 310 동안에 공간화 값들 (
Figure pct00047
)을 예측하는 예측 모듈(25)을 포함한다.
이 값은 공간화 데이터의 결함에도 불구하고 단계 300 동안에 멀티채널 데이터(S'L(k), S'R(k))를 재구성할 위치에 있는 멀티채널 재구성 수단(27)에 제공된다.
주파수-시간 변환 수단(28), 예를 들어, DSP는 재구성된 멀티채널 데이터(S'L(k), S'R(k))를 기반으로 시간적 오디오 데이터(S'L(n), S'R(n))를 회수하는 것이 가능하다.
도 4는 제 2 주파수 서브대역(즉, b=1)에서 값(WL(b,n))의 예시적인 전개를 나타내는 플롯(plot)을 도시한다. 도 4에서, 프레임 지수(n)는 가로축을 나타내고, 값(WL (1,n))은 세로축을 나타낸다.
500번째 프레임과 810번째 프레임 사이에 있는 프레임들에 대략 해당하는 부분(A)에서의 값들(WL(1,n))의 대부분은 1이고, 따라서 상대적 모노포닉 사운드 신호에 해당한다.
부분(B)에서의 값들(WL(1,n))은 좌측에 위치된 신호에 해당하고,부분(C)에서의 값들(WL(1,n))은 좌측에 위치된 신호에 해당한다.
부분(D)에서의 값들(WL(1,n))은 다양한 장소에 위치된 복수의 사운드들에 해당한다.
선택된 최고의 예측 모델은 게인의 변동치들의 타입에 따라 가변할 수 있다.
따라서, 도 4의 부분(A)에서, 이전 프레임에서 얻은 값의 반복으로 이루어진 모델은 값들(WL(1,n))의 산 모양으로 꺾어 올라가는 부분의 잘못된 반복을 유도할 수 있다. 보다 분별력 있는 모델은 신호에 해당하는 임의의 값을 선택하는 것이나 또는 1의 게인으로 점진적으로 다가가기 위해서 이전 프레임에서 얻은 게인의 가중치를 구하는 것일 수 있다.
반면에, 부분들(B, C)에서, 가장 분별력 있는 접근은 이전 프레임에서 얻은 게인 값의 반복하는 것일 수 있다
부분(D)에서, 게인이 비교적 천천히 그리고 비교적 예언할 수 있게 전개될 때, 가장 분별력 있는 접근은 이전 프레임들에 얻은 게인들에 가중치를 구하는 것일 수 있다. 스테레오 매개 변수들이 보다 빠르게 전개될 때, 가장 분별력 있는 접근은 어떠한 작위적인 결과를 피하기 위해서 신호로 돌아가는 것일 수 있다.
따라서, 가장 분별력 있는 모델은 한 프레임에서 다른 프레임으로 게인의 변동 타입에 따라서 변할 수 있다. 도 3에 도시된 방법은 인간의 개입없이 가장 적합한 예측 모델을 선택하는 것이 가능하다.
가장 적합한 예측 모델의 선택은 결함이 있는 데이터의 경우에도 양질의 은폐를 제공하는 것이 가능하다.
도 5는 스크린(502), 키보드, 및 중앙부를 포함하는 컴퓨터를 도시한다. 이 중앙부는 상술한 방법의 단계들에 해당하는 명령어들을 포함하는 컴퓨터 프로그램을 저장하는 메모리(500)를 포함한다. 이 중앙부는 또한 메모리(500)에 링크되어 이들 명령어들을 실행하는 프로세서(501)를 포함한다.

Claims (12)

  1. 적어도 제한된 개수의 채널들의 데이터와 공간화 데이터를 기반으로 멀티채널 오디오 데이터의 재구성을 위해서 사운드 데이터를 처리하는 방법에 있어서, 상기 방법은 수신된 프레임의 공간화 데이터의 유효성을 검사하는 단계를 포함하고, 수신된 상기 공간화 데이터가 유효하다는 검사 결과를 보인다면, 상기 방법은,
    (a) 복수 개의 예측 모델들 각각에 따라서 공간화 값을 예측하는 단계, 및
    (b) 이렇게 예측된 공간화 값들 및 수신된 상기 공간화 데이터를 기반으로 예측 모델을 선택하여, 결함이 있는 공간화 데이터가 이후에 수신되는 경우에, 선택된 상기 예측 모델에 따라서 공간화 값을 예측하고 상기 멀티채널 오디오 데이터의 재구성을 위해 예측된 상기 공간화 값을 사용하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서, 수신된 상기 공간화 데이터가 유효하다는 검사 결과를 보인다면, 상기 단계(a) 이전에, 상기 유효한 공간화 데이터를 저장하는 단계를 더 포함하고,
    결함이 있는 공간화 데이터가 이후에 수신되는 경우에, 상기 단계(b)는 저장된 상기 공간화 데이터를 기반으로 수행되는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서, 결함이 있는 공간화 데이터가 이후에 수신되는 경우에, 상기 단계(a)는 저장된 상기 공간화 데이터를 기반으로 수행되는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서, 상기 단계(a) 및 (b)는 유효한 프레임 다음에 체계적으로 수행되고,
    상기 방법은 상기 단계(b) 다음에 상기 선택된 예측 모델의 식별자를 메모리에 기입하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서, 상기 예측된 공간화 값은 게인을 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서, 상기 예측된 공간화 값은 시간 지연을 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서, 상기 단계(b) 동안에,
    상기 복수 개의 예측 모델들 각각에 대해서, 유사값은 한편으로는 상기 예측 모델에 따라서 예측된 상기 공간화 값과 다른 한편으로는 수신된 상기 공간화 데이터를 기반으로 추산된 값을 기반으로 계산되고,
    상기 유사값이 상기 예측된 공간화 값과 상기 추산된 값 사이의 높은 적합도를 나타내는 상기 예측 모델이 선택되는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서, 상기 단계(a) 및 (b) 동안에,
    수신된 일련의 프레임들 각각에 대해서 그리고 상기 복수 개의 예측 모델들 중의 적어도 하나에 대해서, 공간값은 상기 예측 모델에 따라서 예측되고,
    상기 예측 모델에 대해서, 상기 유사값은 한편으로는 상기 예측 모델에 따라서 상기 일련의 예측된 공간화 값들과 다른 한편으로는 수신된 상기 일련의 프레임들의 공간화 데이터를 기반으로 계산되는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서, 상기 단계(a)는 주어진 주파수 대역에 해당하는 공간화 데이터에 수행되는 것을 특징으로 하는 방법.
  10. 명령어들이 프로세서에 의해 실행될 때, 청구항 1에 따른 상기 방법을 실시하는 상기 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
  11. 복수 개의 명령어 세트들을 저장하고, 상기 복수 개의 명령어 세트들 각각은 예측 모델에 해당하는 메모리부,
    공간화 데이터를 수신하는 수신 수단,
    상기 수신 수단에 의해 수신된 상기 공간화 데이터의 유효성을 검사하는 감지 모듈,
    상기 감지 모듈에 의해 유효하다고 감지된 공간화 데이터를 수신하는 경우에, 공간화 값을 예측하도록 상기 메모리부에 저장된 상기 복수 개의 명령어 세트들 각각을 실행할 수 있는 추산 모듈,
    상기 추산 모듈에 의해 예측된 공간화 값들 및 상기 수신 수단에 위해 수신된 공간화 데이터를 기반으로 예측 모델을 선택하는 선택 모듈, 및
    상기 감지 모듈에 의해 결함이 있다고 여겨지는 공간화 데이터를 다음에 수신하는 경우에, 선택 모듈에 의해 선택된 상기 예측 모델에 따라서 공간화 값을 예측하게 설계되는 예측 모듈을 포함하는 것을 특징으로 하는 결함이 있는 공간화 데이터를 은폐하는 장치.
  12. 적어도 데이터를 기반으로 멀티채널 오디오 데이터를 재구성하는 멀티채널 재구성 수단, 및
    예측 모듈은 감지 모듈에 의해 결함이 있다고 판단되는 공간화 데이터를 수신하는 경우에 상기 멀티채널 오디오 데이터의 재구성을 위해서 상기 멀티채널 재구성 수단에 예측된 공간화 값을 제공하도록 설계되는, 청구항 11에 따른 결함이 있는 상기 공간화 데이터의 은폐 장치를 포함하는 것을 특징으로 하는 멀티채널 오디오 데이터를 재구성하는 장치.
KR1020117004404A 2008-07-30 2009-07-03 멀티채널 오디오 데이터의 재구성 KR101590919B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0855249 2008-07-30
FR0855249 2008-07-30

Publications (2)

Publication Number Publication Date
KR20110065447A true KR20110065447A (ko) 2011-06-15
KR101590919B1 KR101590919B1 (ko) 2016-02-02

Family

ID=40276118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004404A KR101590919B1 (ko) 2008-07-30 2009-07-03 멀티채널 오디오 데이터의 재구성

Country Status (8)

Country Link
US (1) US8867752B2 (ko)
EP (1) EP2319037B1 (ko)
JP (1) JP5421367B2 (ko)
KR (1) KR101590919B1 (ko)
CN (1) CN102138177B (ko)
AT (1) ATE557387T1 (ko)
ES (1) ES2387869T3 (ko)
WO (1) WO2010012927A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5333257B2 (ja) * 2010-01-20 2013-11-06 富士通株式会社 符号化装置、符号化システムおよび符号化方法
EP2609592B1 (en) * 2010-08-24 2014-11-05 Dolby International AB Concealment of intermittent mono reception of fm stereo radio receivers
US9552818B2 (en) 2012-06-14 2017-01-24 Dolby International Ab Smooth configuration switching for multichannel audio rendering based on a variable number of received channels
US9460723B2 (en) 2012-06-14 2016-10-04 Dolby International Ab Error concealment strategy in a decoding system
EP2959479B1 (en) 2013-02-21 2019-07-03 Dolby International AB Methods for parametric multi-channel encoding
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
CN107886960B (zh) * 2016-09-30 2020-12-01 华为技术有限公司 一种音频信号重建方法及装置
US10043523B1 (en) 2017-06-16 2018-08-07 Cypress Semiconductor Corporation Advanced packet-based sample audio concealment
KR102654181B1 (ko) * 2019-03-29 2024-04-02 텔레폰악티에볼라겟엘엠에릭슨(펍) 예측 코딩에서 저비용 에러 복구를 위한 방법 및 장치
CN112740708B (zh) * 2020-05-21 2022-07-22 华为技术有限公司 一种音频数据传输方法及相关装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4111131C2 (de) * 1991-04-06 2001-08-23 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen digitalisierter Tonsignale
US6006173A (en) * 1991-04-06 1999-12-21 Starguide Digital Networks, Inc. Method of transmitting and storing digitized audio signals over interference affected channels
DE19526366A1 (de) * 1995-07-20 1997-01-23 Bosch Gmbh Robert Verfahren zur Redundanzreduktion bei der Codierung von mehrkanaligen Signalen und Vorrichtung zur Dekodierung von redundanzreduzierten, mehrkanaligen Signalen
US6181800B1 (en) * 1997-03-10 2001-01-30 Advanced Micro Devices, Inc. System and method for interactive approximation of a head transfer function
US6154452A (en) * 1999-05-26 2000-11-28 Xm Satellite Radio Inc. Method and apparatus for continuous cross-channel interleaving
US6970506B2 (en) * 2001-03-05 2005-11-29 Intervideo, Inc. Systems and methods for reducing frame rates in a video data stream
US7835916B2 (en) * 2003-12-19 2010-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Channel signal concealment in multi-channel audio systems
SE527866C2 (sv) * 2003-12-19 2006-06-27 Ericsson Telefon Ab L M Kanalsignalmaskering i multikanalsaudiosystem
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
US20090281798A1 (en) * 2005-05-25 2009-11-12 Koninklijke Philips Electronics, N.V. Predictive encoding of a multi channel signal

Also Published As

Publication number Publication date
ES2387869T3 (es) 2012-10-03
ATE557387T1 (de) 2012-05-15
US20110129092A1 (en) 2011-06-02
WO2010012927A1 (fr) 2010-02-04
EP2319037B1 (fr) 2012-05-09
US8867752B2 (en) 2014-10-21
KR101590919B1 (ko) 2016-02-02
CN102138177B (zh) 2014-05-28
JP5421367B2 (ja) 2014-02-19
EP2319037A1 (fr) 2011-05-11
CN102138177A (zh) 2011-07-27
JP2011529579A (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
KR101590919B1 (ko) 멀티채널 오디오 데이터의 재구성
US20180197554A1 (en) Decoder, encoder and method for informed loudness estimation employing by-pass audio object signals in object-based audio coding systems
KR100936498B1 (ko) 스테레오 호환성의 멀티채널 오디오 코딩
JP2020173474A (ja) マルチチャネル符号化におけるステレオ充填装置及び方法
RU2547221C2 (ru) Аппаратный блок, способ и компьютерная программа для расширения сжатого аудио сигнала
CN110085239B (zh) 对音频场景进行解码的方法、解码器及计算机可读介质
US20110002393A1 (en) Audio encoding device, audio encoding method, and video transmission device
US10553223B2 (en) Adaptive channel-reduction processing for encoding a multi-channel audio signal
JP2016531483A (ja) 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム
US20120078640A1 (en) Audio encoding device, audio encoding method, and computer-readable medium storing audio-encoding computer program
US20110123031A1 (en) Multi channel audio processing
WO2010037427A1 (en) Apparatus for binaural audio coding
US20130282386A1 (en) Multi-channel encoding and/or decoding
KR20180125982A (ko) 입력 신호를 처리하기 위한 인코딩 장치 및 인코딩된 신호를 처리하기 위한 디코딩 장치
EP2690622B1 (en) Audio decoding device and audio decoding method
KR20160015280A (ko) 오디오 신호 인코더
US9508352B2 (en) Audio coding device and method
CA3142638A1 (en) Packet loss concealment for dirac based spatial audio coding
KR102654181B1 (ko) 예측 코딩에서 저비용 에러 복구를 위한 방법 및 장치
US9299354B2 (en) Audio encoding device and audio encoding method
US20150149185A1 (en) Audio encoding device and audio coding method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5