KR20090040857A - 다객체 오디오 부호화 및 복호화 방법과 그 장치 - Google Patents

다객체 오디오 부호화 및 복호화 방법과 그 장치 Download PDF

Info

Publication number
KR20090040857A
KR20090040857A KR1020080103034A KR20080103034A KR20090040857A KR 20090040857 A KR20090040857 A KR 20090040857A KR 1020080103034 A KR1020080103034 A KR 1020080103034A KR 20080103034 A KR20080103034 A KR 20080103034A KR 20090040857 A KR20090040857 A KR 20090040857A
Authority
KR
South Korea
Prior art keywords
signal
downmix
audio object
residual signal
main audio
Prior art date
Application number
KR1020080103034A
Other languages
English (en)
Other versions
KR101566025B1 (ko
Inventor
서정일
백승권
강경옥
홍진우
김진웅
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090040857A publication Critical patent/KR20090040857A/ko
Application granted granted Critical
Publication of KR101566025B1 publication Critical patent/KR101566025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 더욱 상세하게는 다객체 오디오 부호화 및 복호화 방법과 그 장치에 관한 것이다.
본 발명에 따른 다객체 오디오 부호화 방법은 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)을 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다.
오디오 객체, 다운믹스, 잔여 신호

Description

다객체 오디오 부호화 및 복호화 방법과 그 장치{Multi-Object Audio Encoding and Decoding Method and Apparatus thereof}
본 발명은 오디오 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 더욱 상세하게는 다객체 오디오 부호화 및 복호화 방법과 그 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 정보통신표준개발지원의 일환으로 수행한 연구로부터 도출된 것이다. [과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발(Development of Glassless Single-User 3D Broadcasting Technologies)]
종래의 오디오 신호의 압축과 복원을 수행하는 방법으로 공간 큐를 기반으로 한 공간 오디오 부호화(SAC: Spatial Audio coding)의 방법이 있다. 종래의 공간 오디오 부호화(SAC)는 다채널(Multi-Channel) 오디오 부호화에 초점이 맞추어진 기술이다.
한편, 기존의 오디오 서비스에서 사용자는 전송되는 오디오 콘텐츠에 대하여 수동적으로 청취할 수 밖에 없는 기능적 제약이 따르는 것이 일반적이다. 따라서, 사용자에게 다양한 오디오 서비스를 제공하지 못하는 문제점이 있었다.
따라서, 본 발명은 다양한 오디오 서비스를 효율적으로 제공하는 부호화 및 복호화 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
전술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다객체 오디오 부호화 방법은 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 다객체 오디오 부호화 방법은 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 방법은 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호를 생성하는 단계 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 방법은 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 단계 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 방법은 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체와 부오디오객체를 복원하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 방법은 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체 및 부오디오객체를 복원하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 방법은 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 기 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 방법은 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 스테레오 부오디오 객체를 복원하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 장치는 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 다운믹스 생성부 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 장치는 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 다운믹스 생성부 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생 성하는 비트스트림 생성부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호를 생성하는 다운믹스 생성부 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 부호화 장치는 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 다운믹스 생성부 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 장치는 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체와 부오디오 객체를 복원하는 복원부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 장치는 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운 믹스 신호로부터 주오디오 객체 및 부오디오 객체를 복원하는 복원부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 복원부를 포함한다.
본 발명의 또 다른 실시예에 따른 다객체 오디오 복호화 장치는 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 스테레오 부오디오 객체를 복원하는 복원부를 포함한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.
본 발명에 의하면, 다양한 오디오 서비스를 효율적으로 제공할 수 있다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으 로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
본 발명은 다객체 오디오(Multi-Object Audio)의 부호화와 복호화에 관한 것이다. 다객체 오디오에는 오디오 콘텐츠를 구성하는 복수 개의 오디오 객체가 포함될 수 있다. 예를 들어, 반주 또는 배경음악과 보컬(vocal)로 구성되는 오디오 콘텐츠에서 반주 또는 배경음악이 하나의 오디오 객체이고, 보컬이 또 다른 오디오 객체인 경우가 이에 해당할 수 있다. 물론 반주 또는 배경음악은 건반, 드럼, 기타 등과 같이 각각의 악기에 따른 오디오 객체들로 세분화될 수 있다. 다객체 오디오 부호화는 이러한 상이한 오디오 객체들을 압축하는 기술이고, 다객체 오디오 복호화는 부호화된 다객체 오디오를 복호화하는 기술이다. 따라서, 복수의 오디오 객체 들을 객체별로 오디오 부호화 또는 복호화하게 되면, 사용자에게 보다 능동적인 서비스를 제공할 수 있게 된다. 즉, 사용자의 요청에 따라 각 오디오 객체를 제어할 수 있을 뿐만 아니라 하나의 오디오 콘텐츠를 구성하는 복수의 오디오 객체들을 조합함으로써 다양한 오디오 서비스 및 콘텐츠 창출이 가능하게 된다.
본 발명에서는 다객체 오디오의 부호화와 복호화를 위해 잔여 신호(residual signal)를 이용할 수 있다. 여기서, 잔여 신호는 임의의 신호에 대해서 예측 전과 예측 후의 신호 차를 의미한다. 이는 아래의 [수학식 1]과 같이 정의될 수 있다.
[수학식 1]
X(t)-X'(t)=Xresidual(t)
여기서, X(t)는 예측 전의 원신호이고, X'(t)는 예측 후의 예측신호이고, Xresidual(t)는 원신호와 예측신호의 차를 의미한다.
잔여 신호를 이용한 다객체 오디오의 부호화에 대해 예를 들면 다음과 같다. 제1 오디오 객체와 제2 오디오 객체를 포함하는 다객체 오디오를 부호화하는 경우, 제1 오디오 객체와 제2 오디오 객체를 다운믹스하여 다운믹스 신호를 생성한다. 예측 파라미터를 이용하여 제1 오디오 객체와 제2 오디오 객체는 제1 예측 오디오 객체와 제2 예측 오디오 객체로 예측될 수 있다. 여기서, 제1 오디오 객체와 제2 오디오 객체는 원신호이고, 제1 예측 오디오 객체와 제2 예측 오디오 객체는 예측신호이다. 원신호와 예측신호를 이용하여 잔여 신호를 생성할 수 있다. 따라서, 전술한 다객체 오디오의 부호화의 예에서는 제1 오디오 객체와 제2 오디오 객체를 다운 믹스하여 다운믹스 신호와 잔여 신호를 생성할 수 있다. 다객체 오디오의 복호화에서는 부호화와 반대의 과정이 수행된다. 즉, 다운믹스 신호와 잔여 신호를 이용하여 제1 오디오 객체와 제2 오디오 객체를 복원하게 된다.
본 발명에 따른 다객체 오디오 부호화 방법은 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)을 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다. 여기서, 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고, 다운믹스 신호와 잔여 신호를 생성하는 단계는 부오디오 객체와 제1 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계 및 제1 다운믹스 신호와 제2 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함할 수 있다. 여기서, 다운믹스 신호 및 잔여 신호를 생성하는 단계는 제2 주오디오 객체를 바이패스하는 단계를 더 포함할 수 있다.
본 발명에 따른 오디오 부호화 장치는 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)을 생성하는 다운믹스 생성부 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다. 여기서, 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고, 다운믹스 신호와 잔여 신호를 생성하는 단계는 부오디오 객체와 제1 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성 하는 제1 다운믹스 생성부 및 제1 다운믹스 신호와 제2 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 제2 다운믹스 생성부를 포함할 수 있다. 여기서, 제1 다운믹스 생성부는 제2 주오디오 객체를 바이패스할 수 있다.
본 발명에 따른 다객체 오디오 복호화 방법은 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여신호(residual signal)를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체와 부오디오객체를 복원하는 단계를 포함한다. 여기서, 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고, 잔여 신호는 제1 주오디오 객체에 대한 제1 잔여 신호 및 제2 주오디오 객체에 대한 제2 잔여 신호를 포함하고, 복원하는 단계는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 주오디오 객체를 복원하는 단계 및 제1 주오디오 객체가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 주오디오 객체를 복원하는 단계를 포함할 수 있다.
본 발명에 따른 다객체 오디오 복호화 장치는 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여신호(residual signal)를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체와 부오디오 객체를 복원하는 복원부를 포함한다. 여기서, 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고, 잔여 신호는 제1 주오디오 객체에 대한 제1 잔여 신호 및 제2 주오디오 객체에 대한 제2 잔여 신호를 포함하고, 복원부는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 주오디오 객체를 복원하는 제1 복원부 및 제1 주오디오 객체가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 주오디오 객체를 복원하는 제2 복원부를 포함할 수 있다.
오디오 객체에는 모노(mono) 신호를 포함하는 모노 오디오 객체과 스테레오(stereo) 신호를 포함하는 스테레오 오디오 객체가 포함된다. 여기서, 스테레오 오디오 객체는 좌측 채널의 신호와 우측 채널의 신호를 포함할 수 있다.
한편, 부오디오 객체는 스테레오 오디오 객체가 모노 오디오 객체로 다운믹스된 오디오 객체일 수 있고, 또는 모노 오디오 객체가 스테레오 오디오 객체로 다운믹스된 오디오 객체일 수 있다. 따라서, 부오디오 객체는 복수의 모노 오디오 객체가, 스테레오 오디오 객체 또는 복수의 스테레오 오디오 객체가 하나의 모노 오디오 객체로 다운믹스된 것일 수 있다. 물론, 부오디오 객체는 복수 개일 수 있다. 또한, 부오디오 객체는 복수의 모노 오디오 객체 또는 스테레오 오디오 객체가 하나의 스테레오 오디오 객체로 다운믹스된 것일 수 있다. 물론, 여기서도 부오디오 객체는 복수 개일 수 있다. 주오디오 객체도 부오디오 객체와 마찬가지로 스테레오 오디오 객체가 모노 오디오 객체로 다운믹스된 오디오 객체일 수 있고, 또는 모노 오디오 객체가 스테레오 오디오 객체로 다운믹스된 오디오 객체일 수 있다.
본 발명은 잔여 신호를 이용하여 다객체 오디오를 부호화 또는 복호화함으로써, 오디오 객체를 능동적으로 제어할 수 있다. 또한, 모노 또는 스테레오 오디오 객체로 구성되는 다객체 오디오를 효율적으로 부호화 또는 복호화할 수 있다.
이하의 설명에서는 주오디오 객체와 부오디오 객체로 구성된 다객체 오디오에 대해 설명한다. 주오디오 객체는 제어하고자 하는 오디오 객체를 의미하는 것이나, 주오디오 객체와 부오디오 객체는 서로 바뀔 수 있다. 또한 주오디오 객체와 부오디오 객체는 복수의 오디오 객체를 포함할 있다.
도 1은 본 발명의 제1 개념을 설명하기 위한 도면이다. 도 1을 참조하면, 주오디오 객체(FGO: ForeGround Object)와 부오디오 객체(BGO: BackGround Object)는 다운믹스 생성부(101)로 입력된다. 도1 에서 주오디오 객체(FGO)는 제1 주오디오 객체(FGO1)와 제2 주오디오 객체(FGO2)를 포함한다.
먼저, 부오디오 객체(BGO)와 제1 주오디오 객체(FGO1)는 제1 다운믹스 생성부(103)에 입력된다. 제1 다운믹스 생성부(103)에서는 부오디오 객체(BGO)와 제1 주오디오 객체(FGO1)를 다운믹스하여 제1 다운믹스 신호와 제1 잔여 신호(Residual)를 생성한다.
제2 다운믹스 생성부(105)는 제1 다운믹스 신호와 제2 주오디오 객체(FGO2)를 입력받는다. 제2 다운믹스 생성부(105)는 제1 다운믹스 신호와 제2 주오디오 객체(FGO2)를 다운믹스하여 제2 다운믹스 신호(DMX)와 제2 잔여 신호(Residual)를 생성한다.
도 1에서는 주오디오 객체가 2개(FGO1, FGO2)인 것으로 설명하고 있으나, 3개 이상일 수 있음은 자명하다. 주오디오 객체가 3개 이상인 경우, 증가되는 주오 디오 객체의 개수 만큼 제1 또는 제2 다운믹스 생성부(103, 105)가 케스케이드(cascade)로 연결되며 증가된다.
여기서, 잔여 신호(Residual)를 제외하면, 제1 다운믹스 생성부(103) 및 제2 다운믹스 생성부(105)는 2개의 신호를 입력받아, 1개의 다운믹스 신호를 출력하게 된다. 제1 다운믹스 생성부(103)를 예를 들면 부오디오 객체(BGO)와 제1 주오디오 객체(FGO1)를 입력받아 제1 다운믹스 신호를 출력한다. 따라서, 입력이 2개이고, 출력이 1개인 구조(OTT-1: Inverse One To Two)를 갖게 된다. 여기서 OTT-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 OTT(One To Two)이 된다. 이들을 제1 다운믹스 생성부(103) 및 제2 다운믹스 생성부(105)를 포함하는 다운믹스 생성부(101)에 확장시키고, 주오디오 객체(FGO)가 3개 이상인 복수라면, 입력이 복수인 N개이고, 출력이 1개인 구조(OTN-1: Inverse One To N)를 갖게 된다. 여기서 OTN-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 OTN(One To N)이 된다. 복호화 과정은 전술한 부호화 과정의 역순으로 진행된다.
도 2는 본 발명의 제2 개념를 설명하기 위한 도면이다. 도 2를 참조하면, 전체적인 구성은 전술한 도 1과 유사하다. 다만, 제2 주오디오 객체(FGO2)는 제1 다운믹스 생성부(203)는 바이패스(bypass)하고, 제2 다운믹스 생성부(205)에서 부오디오 객체(BGO)와 제1 주오디오 객체(FGO1)가 다운믹스된 신호에 제2 주오디오 객체(FGO2)가 다운믹스된다.
여기서, 잔여 신호(Residual)를 제외하면, 제1 다운믹스 생성부(203) 또는 제2 다운믹스 생성부(205)는 3개의 신호를 입력받아, 2개의 신호를 출력하게 된다. 2개의 출력신호는 다운믹스 신호와 바이패스된 신호이다. 제1 다운믹스 생성부(203)를 예를 들면 부오디오 객체(BGO), 제1 주오디오 객체(FGO1) 및 제2 주오디오 객체(FGO2)를 입력받아 제1 다운믹스 신호와 제2 주오디오 객체(FGO2)를 출력한다. 따라서, 입력이 3개이고, 출력이 2개인 구조(TTT-1: Inverse Two To Three)를 갖게 된다. 다만, 3개의 입력 중 1개는 입력과 동일한 신호가 출력된다. 따라서, 이러한 구조를 tTTT-1(trivial TTT-1)으로 지칭한다. 여기서 tTTT-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 tTTT(trivial Two To Three)이 된다. 이들을 제1 다운믹스 생성부(203) 및 제2 다운믹스 생성부(205)를 포함하는 다운믹스 생성부(201)에 확장시키고, 주오디오 객체(FGO)가 3개 이상인 복수라면, 출력이 2개인 구조(tTTN-1: Inverse trival Two To N)를 갖게 된다. 여기서 tTTN-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 tTTN(trival Two To N)이 된다.
도 3은 도 2에 도시된 제1 다운믹스 생성부(203)를 상세히 설명하기 위한 도면이다. 도 3을 참조하면 제1 다운믹스 생성부(301)은 입력이 3개(Input 1, Input 2, Input 3)이고, 출력은 2개(Output 1, Output 2)이다. 제1 입력(Input 1)과 제2 입력(Input 2)는 제1 다운믹스 생성부(301)에서 다운믹스되어 다운믹스 신로서 제1 출력신호(Output 1)를 출력하고, 잔여 신호(residual)를 생성한다. 제3 입력은 제1 다운믹스 생성부(301)을 바이패스하여 그대로 제2 출력신호(Output 2)로 출력된다. 따라서, 제1 출력신호(Output 1)는 제1 입력(Input 1)과 제2 입력(Input 2)가 다운믹스된 신호이고, 제2 출력신호(Output 2)는 제3 입력(Input 3)과 동일한 신호가 된다.
전술한 설명은 본 발명에 따른 이하의 구체적인 실시예들에 동일하게 적용될 수 있다. 이하에서는 도면을 참조하여 본 발명의 구체적인 실시예에 대해 자세히 설명한다.
<제1 실시예: 주오디오 객체는 모노, 부오디오 객체는 모노>
본 발명에 의한 제1 실시예에서 주오디오 객체는 모노(mono) 주오디오 객체를 포함하고, 부오디오 객체는 모노 부오디오 객체를 포함한다.
제1 실시예에 의한 다객체 오디오 부호화 방법은 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호을 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다. 여기서, 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고, 다운믹스 신호 및 잔여 신호를 생성하는 단계는 모노 부오디오 객체와 제1 모노 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계 및 제1 다운믹스 신호와 제2 모노 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함할 수 있다. 또한, 다운믹 스 신호 및 잔여 신호를 생성하는 단계는 제2 모노 주오디오 객체를 바이패스하는 단계를 더 포함할 수 있다.
제1 실시예에 의한 다객체 오디오 부호화 장치는 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)을 생성하는 다운믹스 생성부 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다. 여기서, 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고, 다운믹스 생성부는 모노 부오디오 객체와 제1 모노 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는제1 다운믹스 생성부 및 제1 다운믹스 신호와 제2 모노 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 제2 다운믹스 생성부를 포함할 수 있다. 또한, 제1 다운믹스 생성부는 제2 모노 주오디오 객체를 바이패스할 수 있다.
제1 실시예에 의한 다객체 오디오 복호화 방법은 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 상기 주오디오 객체 및 부오디오객체를 복원하는 단계를 포함한다. 여기서, 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고, 잔여 신호는 제1 모드 주오디오 객체에 대한 제1 잔여 신호 및 제2 모노 주오디오 객 체에 대한 제2 잔여 신호를 포함하고, 복원하는 단계는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 모노 주오디오 객체를 복원하는 단계 및 제1 모노 주오디오 객체가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 모노 주오디오 객체를 복원하는 단계를 포함할 수 있다.
제1 실시예에 의한 다객체 오디오 복호화 장치는 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 주오디오 객체 및 부오디오객체를 복원하는 복원부를 포함한다. 여기서, 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고, 잔여 신호는 제1 모드 주오디오 객체에 대한 제1 잔여 신호 및 제2 모노 주오디오 객체에 대한 제2 잔여 신호를 포함하고, 복원부는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 모노 주오디오 객체를 복원하는 제1 복원부 및 제1 모노 주오디오 객체가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 모노 주오디오 객체를 복원하는 제2 복원부를 포함할 수 있다.
도 4는 본 발명에 따른 제1 실시예를 설명하기 위한 도면이다. 도 4를 참조하면, 주오디오 객체(FGO)와 부오디오 객체(BGO)는 모두 모노 신호이다. 모노 주오디오 객체(Mono FGO1, Mono FGO2)와 모노 부오디오 객체(Mono BGO)는 다운믹스 생성부(401)에 입력된다.
모노 부오디오 객체(Mono BGO)와 제1 모노 주오디오 객체(Mono FGO1)는 제1 다운믹스 생성부(403)에 입력되어, 제1 다운믹스 신호와 제1 잔여 신호(Residual)를 생성한다. 제1 다운믹스 신호와 제2 모노 주오디오 객체(Mono FGO2)는 제2 다운믹스 생성부(405)에 입력되어, 제2 다운믹스 신호(DMX)와 제2 잔여 신호(Residual)를 생성한다.
도 4에서는 모노 주오디오 객체가 2개(Mono FGO1, Mono FGO2)인 것으로 설명하고 있으나, 3개 이상일 수 있음은 자명하다. 모노 주오디오 객체가 3개 이상인 경우, 증가되는 주오디오 객체의 개수 만큼 제1 또는 제2 다운믹스 생성부(403, 405)가 케스케이드(cascade)로 연결되며 증가된다. 주오디오 객체(FGO)가 3개 이상인 복수라면, 입력이 복수인 N개이고, 출력이 1개인 구조(OTN-1: Inverse One To N)를 갖게 된다. 여기서 OTN-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 OTN(One To N)이 된다. 이 경우, 다운믹스 생성부(401)는 OTN-1의 구조를 갖게 된다. 한편, 복호화 과정은 전술한 부호화 과정의 역순으로 진행된다.
<제2 실시예: 주오디오 객체는 스테레오, 부오디오 객체는 모노>
본 발명에 의한 제2 실시예에서 주오디오 객체는 스테레오(stereo) 주오디오 객체를 포함하고, 부오디오 객체는 모노 부오디오 객체를 포함한다.
제2 실시예에 따른 다객체 오디오 부호화 방법은 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호을 생성하는 단계 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다. 여기서, 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고, 다운믹스 신호와 잔여 신호를 생성하는 단계는 모노 부오디오 객체와 제1 신호를 다운믹스하여 제1 다운믹스 신호와 제1 잔여 신호를 생성하는 단계 및 제1 다운믹스 신호와 상기 제2 신호를 다운믹스하여 제2 다운믹스 신호와 제2 잔여 신호를 생성하는 단계를 포함할 수 있다. 또한, 다운믹스 신호와 잔여 신호를 생성하는 단계는 제2 신호를 바이패스하는 단계를 더 포함할 수 있다.
제2 실시예에 따른 다객체 오디오 부호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호을 생성하는 다운믹스 생성부 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다. 여기서, 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고, 다운믹스 생성부는 모노 부오디오 객체와 제1 신호를 다운믹스하여 제1 다운믹스 신호와 제1 잔여 신호를 생성하는 제1 다운믹스 생성부 및 제1 다운믹스 신호와 상기 제2 신호를 다운믹스하여 제2 다운믹스 신호와 제2 잔여 신호를 생성하는 제2 다운믹스 생성부를 포함할 수 있다. 또한, 제1 다운믹스 생성부는 제2 신호를 바이패스할 수 있다.
제2 실시예에 따른 다객체 오디오 복호화 방법은 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 단계를 포함한다. 여기서, 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고, 잔여 신호는 제1 신호에 대한 제1 잔여 신호 및 제2 신호에 대한 제2 잔여 신호를 포함하고, 복원하는 단계는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 신호를 복원하는 단계 및 제1 신호가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 신호를 복원하는 단계를 포함할 수 있다.
제2 실시예에 따른 다객체 오디오 복호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 복원부를 포함한다. 여기서, 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고, 잔여 신호는 제1 신호에 대한 제1 잔여 신호 및 제2 신호에 대한 제2 잔여 신호를 포함하고, 복원부는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 신호를 복원하는 제1 복원부 및 제1 신호가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 신호를 복원하는 제2 복원부를 포함할 수 있다.
도 5는 본 발명에 따른 제2 실시예를 설명하기 위한 도면이다. 도 5를 참조하면, 모노 부오디오 객체(Mono BGO)와 스테레오 주오디오 객체(Stereo Left/ Right FGO)는 다운믹스 생성부(501)에 입력된다. 스테레오 주오디오 객체(Stereo Left/ Right FGO)에는 좌채널 신호(Left FGO) 및 우채널 신호(Right FGO)를 포함한다.
제1 다운믹스 생성부(503)에는 모노 부오디오 객체(Mono BGO)와 좌채널 신호(Left FGO)가 입력되어, 제1 다운믹스 신호와 제1 잔여 신호(Residual)를 생성한다. 제2 다운믹스 생성부(505)는 제1 다운믹스 신호와 우채널 신호(Right FGO)를 입력받아, 제2 다운믹스 신호(DMX)와 제2 잔여 신호(Residual)를 생성한다.
도 5에서는 스테레오 주오디오 객체(Stereo Left/ Right FGO)가 1개인 것으로 설명하고 있으나, 2개 이상일 수 있음은 자명하다. 스테레오 주오디오 객체가 2개 이상인 경우, 증가되는 주오디오 객체의 개수 만큼 제1 또는 제2 다운믹스 생성부(503, 505)가 케스케이드(cascade)로 연결되며 증가된다. 한편, 복호화 과정은 전술한 부호화 과정의 역순으로 진행된다.
<제3 실시예 : 주오디오 객체는 스테레오, 부오디오 객체는 스테레오>
본 발명에 의한 제3 실시예에서 주오디오 객체는 스테레오(stereo) 주오디오 객체를 포함하고, 부오디오 객체는 스테레오 부오디오 객체를 포함한다. 스테레오 오디오 객체는 좌채널과 우채널 신호를 포함할 수 있다.
제3 실시예에 따른 다객체 오디오 부호화 방법은 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호을 생성하는 단계 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함한다. 여기서, 스테레오 주오디오 객체와 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고, 다운믹스 신호 및 잔여 신호를 생성하는 단계는 스테레오 주오디오 객체와 스테레오 부오디오 신호의 제1 신호를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계 및 스테레오 주오디오 객체와 스테레오 부오디오 신호의 제2 신호를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함할 수 있다. 여기서, 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고, 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계 스테레오 부오디오 신호의 제1 신호와 제1 좌채널 신호를 다운믹스하여 제1 좌채널 다운믹스 신호 및 제1 좌채널 잔여 신호를 생성하는 단계 및 제1 좌채널 다운믹스 신호와 제2 좌채널 신호를 다운믹스하여 제2 좌채널 다운믹스 신호 및 제2 좌채널 잔여 신호를 생성하는 단계를 포함할 수 있다. 여기서, 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계는 제2 좌채널 신호를 바이패스하는 단계를 더 포함할 수 있다.
제3 실시예에 따른 다객체 오디오 부호화 장치는 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)을 생성하는 다운믹스 생성부 및 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함한다. 여기서, 스테레오 주오디오 객체와 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고, 다운믹 스 생성부는 스테레오 주오디오 객체와 스테레오 부오디오 신호의 제1 신호를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 제1 다운믹스 생성부 및 스테레오 주오디오 객체와 스테레오 부오디오 신호의 제2 신호를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 제2 다운믹스 생성부를 포함할 수 있다. 여기서, 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고, 제1 다운믹스 생성부는 스테레오 부오디오 신호의 제1 신호와 제1 좌채널 신호를 다운믹스하여 제1 좌채널 다운믹스 신호 및 제1 좌채널 잔여 신호를 생성하는 제1 좌채널 다운믹스 생성부 및 제1 좌채널 다운믹스 신호와 제2 좌채널 신호를 다운믹스하여 제2 좌채널 다운믹스 신호 및 제2 좌채널 잔여 신호를 생성하는 제2 좌채널 다운믹스 생성부를 포함할 수 있다. 여기서, 제1 다운믹스 생성부는 제2 좌채널 신호를 바이패스하는 단계를 더 포함할 수 있다.
제3 실시예에 따른 다객체 오디오 복호화 방법은 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 스테레오 부오디오 객체를 복원하는 단계를 포함한다. 여기서, 스테레오 주오디오 객체와 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고, 잔여 신호는 제1 신호에 대한 제1 잔여 신호 및 제2 신호에 대한 제2 잔여 신호를 포함하고,복원하는 단계는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 신호를 복원하는 단계 및 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 신호를 복원하는 단계를 포함할 수 있다. 또한, 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고, 제1 잔여 신호는 제1 좌채널 신호에 대한 제1 좌채널 잔여 신호 및 제2 좌채널 신호에 대한 제2 좌채널 잔여 신호를 포함하고, 제1 신호를 복원하는 단계는 다운믹스 신호와 기 제1 좌채널 잔여 신호를 이용하여 제1 좌채널 신호를 복원하는 단계 및 제1 좌채널 신호가 복원된 후의 다운믹스 신호와 제2 좌채널 신호를 이용하여 제2 좌채널 신호를 복원하는 단계를 포함할 수 있다.
제3 실시예에 따른 다객체 오디오 복호화 장치는 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 스테레오 부오디오 객체를 복원하는 복원부를 포함한다. 여기서, 스테레오 주오디오 객체와 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고, 잔여 신호는 제1 신호에 대한 제1 잔여 신호 및 제2 신호에 대한 제2 잔여 신호를 포함하고,복원부는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 신호를 복원하는 제1 복원부 및 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 신호를 복원하는 제2 복원부를 포함할 수 있다. 또한, 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고, 제1 잔여 신호는 제1 좌채널 신호에 대한 제1 좌채널 잔여 신호 및 제2 좌채널 신호에 대한 제2 좌채널 잔여 신호를 포함하고, 제1 복원부는 다운믹스 신호와 기 제1 좌 채널 잔여 신호를 이용하여 제1 좌채널 신호를 복원하는 제1 좌채널 복원부 및 제1 좌채널 신호가 복원된 후의 다운믹스 신호와 제2 좌채널 신호를 이용하여 제2 좌채널 신호를 복원하는 제2 좌채널 복원부를 포함할 수 있다.
도 6은 본 발명에 의한 제3 실시예를 설명하기 위한 도면이다. 도 6을 참조하면, 주오디오 객체(Stereo Left/ Right FGO)는 스테레오 신호이고, 부오디오 객체(Stereo Left/ Right BGO)도 스테레오 신호이다. 도 6에서는 2개의 스테레오 주오디오 객체(Stereo Left/ Right FGO1, 2)에 대해 설명한다.
스테레오 주오디오 객체(Stereo Left/ Right FGO)와 2개의 스테레오 주오디오 객체(Stereo Left/ Right FGO1, 2)는 다운믹스 생성부(601)에 입력된다.
좌채널 부오디오 객체(Left BGO)와 제1 좌채널 주오디오 객체(Left FGO1)은 제1 좌채널 다운믹스 생성부(603)에 입력되어, 제1 좌채널 다운믹스 신호와 제1 좌채널 잔여 신호(Left Residual)를 생성한다. 제1 좌채널 다운믹스 신호와 제2 좌채널 주오디오 객체(Left FGO2)는 제2 좌채널 다운믹스 생성부(605)에 입력되어, 제2 좌채널 다운믹스 신호(Left DMX)와 제2 좌채널 잔여 신호(Left Residual)를 생성한다.
우채널 부오디오 객체(Right BGO)와 우채널 주오디오 객체(Right FGO1, 2)도 전술한 과정에 따라 다운믹스된다.
도 6에서는 스테레오 주오디오 객체(Stereo Left/ Right FGO)가 2개인 것으로 설명하고 있으나, 3개 이상일 수 있음은 자명하다. 스테레오 주오디오 객체가 3 개 이상인 경우, 증가되는 주오디오 객체의 개수 만큼 제1 또는 제2 좌채널 다운믹스 생성부(603, 605)가 케스케이드(cascade)로 연결되며 증가된다. 한편, 복호화 과정은 전술한 부호화 과정의 역순으로 진행된다.
도 6에서 좌채널 부오디오 객체(Left BGO), 제1 좌채널 주오디오 객체(Left FGO1) 및 제2 좌채널 주오디오 객체(Left FGO2)가 제1 좌채널 다운믹스 생성부(603)에 입력되고, 제1 좌채널 다운믹스 생성부(603)에서 제2 좌채널 주오디오 객체(Left FGO2)가 바이패스하는 경우, 입력이 3개이고, 출력이 2개인 구조(TTT-1: Inverse Two To Three)를 갖게 된다. 이러한 구조를 tTTT-1(trivial TTT-1)으로 지칭함은 전술한 바와 같다. 또한, 좌채널 신호와 우채널 신호를 포함하는 스테레오 주오디오 객체가 3개 이상인 경우, 입력이 3개 이상의 복수이고, 출력이 2개인 구조(tTTN-1: Inverse trival Two To N)를 갖게 된다. 여기서 tTTN-1는 부호화의 측면에서 정의한 것이고, 복호화의 측면에서는 tTTN(trival Two To N)이 된다.
<제4 실시예: 주오디오 객체는 스테레오, 부오디오 객체는 모노>
본 발명에 의한 제4 실시예에서 주오디오 객체는 스테레오(stereo) 주오디오 객체를 포함하고, 부오디오 객체는 모노(mono) 부오디오 객체를 포함한다. 스테레오 오디오 객체는 좌채널과 우채널 신호를 포함할 수 있다. 제 4실시예는 다운믹스된 출력신호가 스테레오인 점에서 전술한 제2 실시예와 구별된다.
제4 실시예에 따른 다객체 오디오 부호화 방법는 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 단계 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함하고, 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고, 다운믹스 신호 및 잔여 신호를 생성하는 단계는 모노 부오디오 객체와 제1 좌채널 신호 및 제1 우채널 신호를 각각 다운믹스하여 제1 좌채널 다운믹스 신호, 제1 우채널 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계 및 제1 좌채널 다운믹스 신호 및 제1 우채널 다운믹스 신호와 제2 좌채널 신호 및 제2 우채널 신호를 각각 다운믹스하여 제2 좌채널 다운믹스 신호, 제2 우채널 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함할 수 있다. 여기서, 다운믹스 신호 및 잔여 신호를 생성하는 단계는 제2 좌채널 신호 및 제2 우채널 신호를 바이패스하는 단계를 더 포함할 수 있다.
제4 실시예에 따른 다객체 오디오 부호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호를 생성하는 다운믹스 생성부 및 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하고, 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고, 다운믹스 생성부는 모노 부오디오 객체와 제1 좌채널 신호 및 제1 우채널 신호를 각각 다운믹스하여 제1 좌채널 다운믹스 신호, 제1 우채널 다운믹스 신호 및 제1 잔여 신호를 생성하는 제1 좌채널 다운믹스 생성부 및 제1 좌채널 다운믹스 신호 및 제1 우채널 다운믹스 신호와 제2 좌채널 신호 및 제2 우채널 신호를 각각 다운믹스하여 제2 좌채널 다운믹스 신호, 제2 우채널 다운믹스 신호 및 제2 잔여 신호를 생성하는 제2 좌채널 다운믹스 생성부를 포함할 수 있다. 여기서, 다운믹스 생성부는 제2 좌채널 신호 및 제2 우채널 신호를 바이패스하는 단계를 더 포함할 수 있다.
제4 실시예에 따른 다객체 오디오 복호화 방법은 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 단계 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 단계를 포함하고, 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고, 잔여 신호는 제1 좌채널 및 우채널 신호에 대한 제1 잔여 신호 및 제2 좌채널 및 우채널 신호에 대한 제2 잔여 신호를 포함하고, 복원하는 단계는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 좌채널 및 우채널 신호를 복원하는 단계 및 제1 좌채널 및 우채널 신호가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 좌채널 및 우채널 신호를 복원하는 단계를 포함할 수 있다.
제4 실시예에 따른 다객체 오디오 복호화 장치는 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 다운믹스에 따른 잔여 신호를 포함하는 비트스트림을 수신하는 수신부 및 잔여 신호를 이용하여 다운믹스 신호로부터 스테레오 주오디오 객체와 모노 부오디오 객체를 복원하는 복원부를 포함하 고, 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고, 잔여 신호는 제1 좌채널 및 우채널 신호에 대한 제1 잔여 신호 및 제2 좌채널 및 우채널 신호에 대한 제2 잔여 신호를 포함하고, 복원부는 다운믹스 신호와 제1 잔여 신호를 이용하여 제1 좌채널 및 우채널 신호를 복원하는 제1 복원부 및 제1 좌채널 및 우채널 신호가 복원된 후의 다운믹스 신호와 제2 잔여 신호를 이용하여 제2 좌채널 및 우채널 신호를 복원하는 제2 복원부를 포함할 수 있다.
도 7은 본 발명에 따른 제4 실시예를 설명하기 위한 도면이다. 도 7을 참조하면, 주오디오 객체는 스테레오이고, 부오디오 객체는 모노이다. 스테레오 오디오 객체는 좌채널 신호와 우채널 신호를 포함할 수 있다. 모노 부오디오 객체(Mono BGO)와 스테레오 주오디오 객체(FGO1, 2 Left/Right)는 다운믹스 생성부(701)에 입력된다.
모노 부오디오 객체(Mono BGO)와 제1 스테레오 주오디오 객체(FGO1 Left/Right)는 제1 다운믹스 생성부(702)에 입력되어 각각 다운믹스되고, 제1 다운믹스 신호 및 제1 잔여 신호(Residual)를 생성한다. 제1 다운믹스 신호에는 제1 좌채널 다운믹스 신호 및 제2 우채널 다운믹스 신호를 포함할 수 있다. 제1 다운믹스 신호와 제2 스테레오 주오디오 객체(FGO2 Left/Right)는 다운믹스되어 제2 다운믹스 신호와 제2 잔여 신호(Residual)를 생성한다. 제2 다운믹스 신호는 제2 좌채널 다운믹스 신호(Left DMX) 및 제2 우채널 다운믹스 신호(Right DMX)를 포함할 수 있다. 제1 좌채널 다운믹스 신호는 제2 스테레오 좌채널 주오디오 객체(FGO2 Left)와 제2 좌채널 다운믹스 생성부(703a)에서 다운믹스되어 제2 좌채널 다운믹스 신호(Left DMX)를 생성하고, 제1 우채널 다운믹스 신호는 제2 스테레오 우채널 주오디오 객체(FGO2 Right)와 제2 우채널 다운믹스 생성부(703b)에서 다운믹스되어 제2 우채널 다운믹스 신호(Right DMX)를 생성할 수 있다.
도 8은 본 발명에 따른 복호화를 설명하기 위한 도면이다. 잔여 신호(Residual)와 다운믹스 신호를 포함하는 비트스트림을 수신하여 다운믹스 신호를 복원한다. 다운믹스 신호는 좌채널 다운믹스 신호(Left DMX)와 우채널 다운믹스 신호(Right DMX)를 포함하는 스테레오 다운믹스 신호를 포함할 수 있다.
모노 주오디오 객체 복원부(804)는 스테레오 다운믹스 신호(Left DMX, Right DMX)와 잔여 신호(Residual)를 이용하여 모노 주오디오 객체들(Mono FGOs)를 복원한다. 모노 주오디오 객체 복원부(804)는 각각의 모노 주오디오 객체들을 복원하기 위해 제1 모노 주오디오 객체 복원부(802), 제2 모노 주오디오 객체 복원부(803)을 포함한다. 여기서, 제1 모노 주오디오 객체 복원부(802)와 제2 모노 주오디오 객체 복원부(803)는 TTT의 구조임을 확인할 수 있고, 모노 주오디오 객체 복원부(804)는 TTN의 구조임을 확인할 수 있다.
스테레오 주오디오 객체 복원부(806)는 스테레오 다운믹스 신호(Left DMX, Right DMX)와 잔여 신호(Residual)를 이용하여 스테레오 주오디오 객체들(Stereo Left/ Right FGOs)를 복원한다. 스테레오 주오디오 객체들(Stereo Left/ Right FGOs)은 좌채널 신호(Left FGOs)와 우채널 신호(Right FGOs)를 포함한다. 최종적으로는 스테레오 부오디오 객체(Left BGO, Right BGO)를 출력한다. 스테레오 주오디오 객체 복원부(806)는 다수의 객체 복원부(805a, 805b, ..., 806a, 806b, 807a, 807b)를 포함한다. 다수의 객체 복원부(805a, 805b, ..., 806a, 806b, 807a, 807b)는 OTT의 구조임을 확인할 수 있고, 스테레오 주오디오 객체 복원부(806)는 OTN의 구조임을 확인할 수 있다.
도 8은 부오디오 객체가 스테레오이고, 주오디오 객체가 모노 또는 스테레오인 경우의 복호화에 대해 도시되어 있다. 부오디오 객체가 모노이고, 주오디오 객체가 모노인 경우에는 좌채널 다운믹스 신호(Left DMX)와 잔여 신호(residual)를 이용하여 모노인 부오디오 객체와 모노인 주오디오 객체를 복원된다. 한편, 부오디오 객체가 모노이고, 주오디오 객체가 스테레오인 경우는 스테레오 주오디오 객체 복원부(806)에 의해 복원될 수 있다. 따라서, 도 8에 도시된 바에 따라 용이하게 유추할 수 있으므로, 자세한 설명은 생략하기로 한다.
이하에서는 본 발명의 적용예에 대해 설명한다.
도 9는 본 발명의 구체적인 실시예를 설명하기 위한 도면이다. 도 9을 참조하면, MBO(Multichannel Background-scene Object)은 다수의 채널(Channel 1, Channel 2, ..., Channel n)을 포함한다. MPS 인코더(901: MPEG Surround encoder)는 MBO를 인코딩하여 스테레오 다운믹스 신호(MBO Left, MBO Right)와 부가정보(side information)인 MPS 비트스트림을 출력한다. 여기서, 스테레오 다운믹스 신호(MBO Left, MBO Right)는 부오디오 객체에 해당한다.
스테레오 다운믹스 신호(MBO Left, MBO Right), 스테레오 주오디오 객체(Stereo FGO) 및 모노 주오디오 객체(Mono FGO)는 SAOC 인코더(Spatial Audio Object Coding encoder)에 입력된다. 스테레오 주오디오 객체(Stereo FGO)와 모노 주오디오 객체(Mono FGO)는 주오디오 객체에 해당한다. 스테레오 주오디오 객체(Stereo FGO)는 복수의 스테레오 객체(object 1, object 2, ..., object N)을 포함할 수 있고, 모노 주오디오 객체(Mono FGO)는 복수의 모노 객체(object 1, object 2, ..., object M)을 포함할 수 있다.
제1 다운믹스 생성부(903)은 스테레오 다운믹스 신호(MBO Left, MBO Right)와 스테레오 주오디오 객체(Stereo FGO)를 다운믹스하여 스테레오 다운믹스 신호(Left, Right)와 잔여 신호(residual)를 생성한다. 여기서, 제1 다운믹스 생성부(903)는 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하는 것으로서, 도 5에서 설명한 스테레오 다운믹스 생성부(505)에 해당한다.
제2 다운믹스 생성부(904)는 스테레오 다운믹스 신호(Left, Right)와 모노 주오디오 객체(Mono FGO)를 다운믹스하여 최종 다운믹스 신호(Left DMX, Right DMX)와 잔여 신호(residual)를 생성한다. 여기서, 제2 다운믹스 생성부(904)는 도 4에서 설명한 다운믹스 생성부(401)에 해당한다.
SAOC 인코더(902)에서는 SAOC 비트스트림가 추출된다. 부호화 과정에서 생성된 MPS 비트스트림, SAOC 비트스트림, 잔여 신호(residual) 및 최종 다운믹스 신호(Left DMX, Right DMX)는 비트스트림으로 복호화기에 전송된다.
복호화의 과정은 부호화 과정의 역 과정이므로 자세한 설명은 생략한다. 간단히 설명하면, 복호화기에서는 MPS 비트스트림, SAOC 비트스트림, 잔여 신호(residual) 및 최종 다운믹스 신호(Left DMX, Right DMX)를 수신한다. SAOC 디코더에서는 잔여 신호(residual)와 최종 다운믹스 신호(Left DMX, Right DMX)를 이용하여 주오디오 객체를 복원한다. 주오디오 객체가 복원된 최종 다운믹스 신호(Left DMX, Right DMX)와 MPS 비트스트림은 MPS 디코더에 입력되고, MPS 디코더에서는 MPS 비트스트림을 이용하여 부오디오 객체의 멀티 채널 신호를 복원한다.
다음은 잔여 신호를 생성하는 실시예에 대해 설명한다.
복호화 과정에서 다운믹스 신호와 잔여 신호를 이용하여 복원된 좌채널 신호와 우채널 신호를 생성하는 과정은 아래의 [수학식 2]에 의해 설명될 수 있다.
[수학식 2]
Figure 112008072965315-PAT00001
여기서, 좌측 행렬은 복원된 좌채널 신호 및 우채널 신호를 의미하고, 우측 행렬에서 M 은 파라미터 행렬이고, m 은 다운믹스된 신호이고, res 는 잔여 신호를 의미한다.
M 행렬이 역행렬을 갖는다면, 부호화 과정에서 다운믹스된 신호(m)과 잔여 신호(res)는 아래의 [수학식 3]과 [수학식 4]에 의해 얻을 수 있다.
[수학식 3]
Figure 112008072965315-PAT00002
[수학식 4]
Figure 112008072965315-PAT00003
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 오디오 객체를 부호화하고 복호화하는 데에 사용된다.
도 1은 본 발명의 제1 개념를 설명하기 위한 도면이다.
도 2는 본 발명의 제2 개념를 설명하기 위한 도면이다.
도 3은 도 2에 도시된 제1 다운믹스 생성부(203)를 상세히 설명하기 위한 도
면이다.
도 4는 본 발명에 따른 제1 실시예를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 제2 실시예를 설명하기 위한 도면이다.
도 6은 본 발명에 의한 제3 실시예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 제4 실시예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 복호화를 설명하기 위한 도면이다.
도 9는 본 발명의 구체적인 실시예를 설명하기 위한 도면이다.

Claims (35)

  1. 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 단계; 및
    상기 다운믹스 신호 및 상기 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  2. 제1항에 있어서,
    상기 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고,
    상기 다운믹스 신호와 잔여 신호를 생성하는 단계는
    상기 부오디오 객체와 상기 제1 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계; 및
    상기 제1 다운믹스 신호와 상기 제2 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  3. 제2항에 있어서,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 제2 주오디오 객체를 바이패스하는 단계를 더 포함하는, 다객체 오디오 부호화 방법.
  4. 제1항에 있어서,
    상기 부오디오 객체는
    스테레오 오디오 객체가 모노 오디오 객체로 다운믹스된 오디오 객체인, 다객체 오디오 부호화 방법.
  5. 제1항에 있어서,
    상기 부오디오 객체는
    모노 오디오 객체가 스테레오 오디오 객체로 다운믹스된 오디오 객체인, 다객체 오디오 부호화 방법.
  6. 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 단계; 및
    상기 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  7. 제6항에 있어서,
    상기 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 모노 부오디오 객체와 상기 제1 모노 주오디오 객체를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계; 및
    상기 제1 다운믹스 신호와 상기 제2 모노 주오디오 객체를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  8. 제7항에 있어서,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 제2 모노 주오디오 객체를 바이패스하는 단계를 더 포함하는, 다객체 오디오 부호화 방법.
  9. 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호(residual signal)를 생성하는 단계; 및
    상기 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  10. 제9항에 있어서,
    상기 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고,
    상기 다운믹스 신호와 잔여 신호를 생성하는 단계는
    상기 모노 부오디오 객체와 상기 제1 신호를 다운믹스하여 제1 다운믹스 신호와 제1 잔여 신호를 생성하는 단계; 및
    상기 제1 다운믹스 신호와 상기 제2 신호를 다운믹스하여 제2 다운믹스 신호와 제2 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  11. 제10항에 있어서,
    상기 다운믹스 신호와 잔여 신호를 생성하는 단계는
    상기 제2 신호를 바이패스하는 단계를 더 포함하는, 다객체 오디오 부호화 방법.
  12. 제0항에 있어서,
    상기 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 모노 부오디오 객체와 상기 제1 좌채널 신호 및 제1 우채널 신호를 각각 다운믹스하여 제1 좌채널 다운믹스 신호, 제1 우채널 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계; 및
    상기 제1 좌채널 다운믹스 신호 및 제1 우채널 다운믹스 신호와 상기 제2 좌채널 신호 및 제2 우채널 신호를 각각 다운믹스하여 제2 좌채널 다운믹스 신호, 제2 우채널 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  13. 제12항에 있어서,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 제2 좌채널 신호 및 제2 우채널 신호를 바이패스하는 단계를 더 포함하는, 다객체 오디오 부호화 방법.
  14. 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 단계; 및
    상기 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  15. 제14항에 있어서,
    상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고,
    상기 다운믹스 신호 및 잔여 신호를 생성하는 단계는
    상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 신호의 제1 신호를 다운믹스하여 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계; 및
    상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 신호의 제2 신호를 다운믹스하여 제2 다운믹스 신호 및 제2 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  16. 제15항에 있어서,
    상기 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고,
    상기 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계
    상기 스테레오 부오디오 신호의 제1 신호와 상기 제1 좌채널 신호를 다운믹 스하여 제1 좌채널 다운믹스 신호 및 제1 좌채널 잔여 신호를 생성하는 단계; 및
    상기 제1 좌채널 다운믹스 신호와 상기 제2 좌채널 신호를 다운믹스하여 제2 좌채널 다운믹스 신호 및 제2 좌채널 잔여 신호를 생성하는 단계를 포함하는, 다객체 오디오 부호화 방법.
  17. 제16항에 있어서,
    상기 제1 다운믹스 신호 및 제1 잔여 신호를 생성하는 단계
    상기 제2 좌채널 신호를 바이패스하는 단계를 더 포함하는, 다객체 오디오 부호화 방법.
  18. 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여신호(residual signal)를 포함하는 비트스트림을 수신하는 단계; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 주오디오 객체와 상기 부오디오객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  19. 제18항에 있어서,
    상기 주오디오 객체는 제1 주오디오 객체 및 제2 주오디오 객체를 포함하고,
    상기 잔여 신호는 상기 제1 주오디오 객체에 대한 제1 잔여 신호 및 상기 제2 주오디오 객체에 대한 제2 잔여 신호를 포함하고,
    상기 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 잔여 신호를 이용하여 상기 제1 주오디오 객체를 복원하는 단계; 및
    상기 제1 주오디오 객체가 복원된 후의 다운믹스 신호와 상기 제2 잔여 신호를 이용하여 상기 제2 주오디오 객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  20. 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 단계; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 주오디오 객체 및 상기 부오디오객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  21. 제20항에 있어서,
    상기 모노 주오디오 객체는 제1 모노 주오디오 객체 및 제2 모노 주오디오 객체를 포함하고,
    상기 잔여 신호는 상기 제1 모드 주오디오 객체에 대한 제1 잔여 신호 및 상기 제2 모노 주오디오 객체에 대한 제2 잔여 신호를 포함하고,
    상기 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 잔여 신호를 이용하여 상기 제1 모노 주오디오 객체를 복원하는 단계; 및
    상기 제1 모노 주오디오 객체가 복원된 후의 다운믹스 신호와 상기 제2 잔여 신호를 이용하여 상기 제2 모노 주오디오 객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  22. 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 단계; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 스테레오 주오디오 객체와 상기 모노 부오디오 객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  23. 제22항에 있어서,
    상기 스테레오 주오디오 객체는 제1 신호 및 제2 신호를 포함하고,
    상기 잔여 신호는 상기 제1 신호에 대한 제1 잔여 신호 및 상기 제2 신호에 대한 제2 잔여 신호를 포함하고,
    상기 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 잔여 신호를 이용하여 상기 제1 신호를 복원하는 단계; 및
    상기 제1 신호가 복원된 후의 다운믹스 신호와 상기 제2 잔여 신호를 이용하여 상기 제2 신호를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  24. 제22항에 있어서,
    상기 스테레오 주오디오 객체는 제1, 2 좌채널 신호 및 제1, 2 우채널 신호를 포함하고,
    상기 잔여 신호는 상기 제1 좌채널 및 우채널 신호에 대한 제1 잔여 신호 및 상기 제2 좌채널 및 우채널 신호에 대한 제2 잔여 신호를 포함하고,
    상기 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 잔여 신호를 이용하여 상기 제1 좌채널 및 우채널 신호를 복원하는 단계; 및
    상기 제1 좌채널 및 우채널 신호가 복원된 후의 다운믹스 신호와 상기 제2 잔여 신호를 이용하여 상기 제2 좌채널 및 우채널 신호를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  25. 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 단계; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 객체를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  26. 제25항에 있어서,
    상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 신호는 각각 제1 신호 및 제2 신호를 포함하고,
    상기 잔여 신호는 상기 제1 신호에 대한 제1 잔여 신호 및 상기 제2 신호에 대한 제2 잔여 신호를 포함하고,
    상기 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 잔여 신호를 이용하여 상기 제1 신호를 복원하는 단계; 및
    상기 다운믹스 신호와 상기 제2 잔여 신호를 이용하여 상기 제2 신호를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  27. 제26항에 있어서,
    상기 스테레오 주오디오 객체의 제1 신호는 제1 좌채널 신호 및 제2 좌채널 신호를 포함하고,
    상기 제1 잔여 신호는 상기 제1 좌채널 신호에 대한 제1 좌채널 잔여 신호 및 상기 제2 좌채널 신호에 대한 제2 좌채널 잔여 신호를 포함하고,
    상기 제1 신호를 복원하는 단계는
    상기 다운믹스 신호와 상기 제1 좌채널 잔여 신호를 이용하여 상기 제1 좌채널 신호를 복원하는 단계; 및
    상기 제1 좌채널 신호가 복원된 후의 다운믹스 신호와 상기 제2 좌채널 신호를 이용하여 상기 제2 좌채널 신호를 복원하는 단계를 포함하는, 다객체 오디오 복호화 방법.
  28. 주오디오 객체와 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 다운믹스 생성부; 및
    상기 다운믹스 신호 및 상기 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는, 다객체 오디오 부호화 장치.
  29. 모노 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 다운믹스 생성부; 및
    상기 다운믹스 신호 및 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를포함하는, 다객체 오디오 부호화 장치.
  30. 스테레오 주오디오 객체와 모노 부오디오 객체를 다운믹스하여 다운믹스 신호와 잔여 신호(residual signal)를 생성하는 다운믹스 생성부; 및
    상기 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는, 다객체 오디오 부호화 장치.
  31. 스테레오 주오디오 객체와 스테레오 부오디오 객체를 다운믹스하여 다운믹스 신호 및 잔여 신호(residual signal)를 생성하는 다운믹스 생성부; 및
    상기 다운믹스 신호와 잔여 신호를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는, 다객체 오디오 부호화 장치.
  32. 주오디오 객체와 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여신호(residual signal)를 포함하는 비트스트림을 수신하는 수신부; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 주오디오 객체와 상기 부오디오객체를 복원하는 복원부를 포함하는, 다객체 오디오 복호화 장치.
  33. 모노 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 수신부; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 주오디오 객체 및 상기 부오디오객체를 복원하는 복원부를 포함하는, 다객체 오디오 복호화 장치.
  34. 스테레오 주오디오 객체와 모노 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 수신부; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 스테레오 주오디오 객체와 상기 모노 부오디오 객체를 복원하는 복원부를 포함하는, 다객체 오디오 복호화 장치.
  35. 스테레오 주오디오 객체와 스테레오 부오디오 객체가 다운믹스된 다운믹스 신호 및 상기 다운믹스에 따른 잔여 신호(residual signal)를 포함하는 비트스트림을 수신하는 수신부; 및
    상기 잔여 신호를 이용하여 상기 다운믹스 신호로부터 상기 스테레오 주오디오 객체와 상기 스테레오 부오디오 객체를 복원하는 복원부를 포함하는, 다객체 오디오 복호화 장치.
KR1020080103034A 2007-10-22 2008-10-21 다객체 오디오 부호화 및 복호화 방법과 그 장치 KR101566025B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020070106067 2007-10-22
KR20070106067 2007-10-22
KR20080002759 2008-01-09
KR1020080002759 2008-01-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120058330A Division KR101566055B1 (ko) 2007-10-22 2012-05-31 다객체 오디오 부호화 및 복호화 방법과 그 장치

Publications (2)

Publication Number Publication Date
KR20090040857A true KR20090040857A (ko) 2009-04-27
KR101566025B1 KR101566025B1 (ko) 2015-11-05

Family

ID=40579717

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020080103034A KR101566025B1 (ko) 2007-10-22 2008-10-21 다객체 오디오 부호화 및 복호화 방법과 그 장치
KR1020120058330A KR101566055B1 (ko) 2007-10-22 2012-05-31 다객체 오디오 부호화 및 복호화 방법과 그 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120058330A KR101566055B1 (ko) 2007-10-22 2012-05-31 다객체 오디오 부호화 및 복호화 방법과 그 장치

Country Status (6)

Country Link
US (2) US20100228554A1 (ko)
EP (3) EP2212882A4 (ko)
JP (2) JP2011501230A (ko)
KR (2) KR101566025B1 (ko)
CN (4) CN103151047A (ko)
WO (1) WO2009054665A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143907A3 (ko) * 2009-06-10 2011-03-03 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
WO2011021845A3 (en) * 2009-08-18 2011-06-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-channel audio signal and method and apparatus for decoding multi-channel audio signal

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
WO2012125855A1 (en) * 2011-03-16 2012-09-20 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
CN103890841B (zh) * 2011-11-01 2017-10-17 皇家飞利浦有限公司 音频对象编码和解码
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
JP6113282B2 (ja) 2012-08-10 2017-04-12 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法
CN117012210A (zh) 2013-05-24 2023-11-07 杜比国际公司 对音频场景进行解码的方法、装置及计算机可读介质
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
US10225675B2 (en) 2015-02-17 2019-03-05 Electronics And Telecommunications Research Institute Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
CN111630593B (zh) * 2018-01-18 2021-12-28 杜比实验室特许公司 用于译码声场表示信号的方法和装置
US11276413B2 (en) 2018-10-26 2022-03-15 Electronics And Telecommunications Research Institute Audio signal encoding method and audio signal decoding method, and encoder and decoder performing the same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0516201A (pt) * 2004-09-28 2008-08-26 Matsushita Electric Ind Co Ltd aparelho de codificação escalonável e método de codificação escalonável
EP1810279B1 (en) * 2004-11-04 2013-12-11 Koninklijke Philips N.V. Encoding and decoding of multi-channel audio signals
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
BRPI0608753B1 (pt) * 2005-03-30 2019-12-24 Koninl Philips Electronics Nv codificador de áudio, decodificador de áudio, método para codificar um sinal de áudio de multicanal, método para gerar um sinal de áudio de multicanal, sinal de áudio de multicanal codificado, e meio de armazenamento
KR20070076363A (ko) * 2006-01-18 2007-07-24 엘지전자 주식회사 오디오 신호의 인코딩 및 디코딩 방법
ES2374309T3 (es) * 2005-07-14 2012-02-15 Koninklijke Philips Electronics N.V. Decodificación de audio.
KR20070025903A (ko) * 2005-08-30 2007-03-08 엘지전자 주식회사 멀티채널 오디오 코딩에서 효과적인 레지듀얼 신호의파라미터 밴드 수 비트스트림 구성방법
KR20070025906A (ko) * 2005-08-30 2007-03-08 엘지전자 주식회사 멀티채널 오디오 코딩에서 효과적인 레지듀얼 코딩 정보비트스트림 구성방법
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR101178222B1 (ko) * 2005-12-22 2012-08-29 삼성전자주식회사 오디오 부호화 및 복호화 방법과 그 장치
KR100885700B1 (ko) * 2006-01-19 2009-02-26 엘지전자 주식회사 신호 디코딩 방법 및 장치
CN102693727B (zh) * 2006-02-03 2015-06-10 韩国电子通信研究院 用于控制音频信号的渲染的方法
CA2646278A1 (en) * 2006-02-09 2007-08-16 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
KR20070087494A (ko) * 2006-02-23 2007-08-28 엘지전자 주식회사 멀티 채널 오디오 신호의 디코딩 방법 및 장치
EP2137824A4 (en) * 2007-03-16 2012-04-04 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
EP2082396A1 (en) * 2007-10-17 2009-07-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143907A3 (ko) * 2009-06-10 2011-03-03 한국전자통신연구원 다객체 오디오 신호를 부호화하는 방법 및 부호화 장치, 복호화 방법 및 복호화 장치, 그리고 트랜스코딩 방법 및 트랜스코더
CN102460571A (zh) * 2009-06-10 2012-05-16 韩国电子通信研究院 多音频对象信号的编解码方法和装置及转码方法和转码器
US8712784B2 (en) 2009-06-10 2014-04-29 Electronics And Telecommunications Research Institute Encoding method and encoding device, decoding method and decoding device and transcoding method and transcoder for multi-object audio signals
WO2011021845A3 (en) * 2009-08-18 2011-06-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-channel audio signal and method and apparatus for decoding multi-channel audio signal
US8798276B2 (en) 2009-08-18 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-channel audio signal and method and apparatus for decoding multi-channel audio signal

Also Published As

Publication number Publication date
KR101566055B1 (ko) 2015-11-05
CN103151047A (zh) 2013-06-12
EP2212882A1 (en) 2010-08-04
US20100228554A1 (en) 2010-09-09
CN102968994B (zh) 2015-07-15
WO2009054665A1 (en) 2009-04-30
JP2011501230A (ja) 2011-01-06
EP2624253A2 (en) 2013-08-07
CN102682773B (zh) 2014-11-26
EP2624253A3 (en) 2013-11-06
KR101566025B1 (ko) 2015-11-05
KR20120061792A (ko) 2012-06-13
CN102682773A (zh) 2012-09-19
CN101911180A (zh) 2010-12-08
EP2212882A4 (en) 2011-12-28
CN102968994A (zh) 2013-03-13
US20120275609A1 (en) 2012-11-01
JP2012212160A (ja) 2012-11-01
EP2511903A2 (en) 2012-10-17
EP2511903A3 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
KR101566025B1 (ko) 다객체 오디오 부호화 및 복호화 방법과 그 장치
JP5453514B2 (ja) 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
KR101227932B1 (ko) 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
JP4616349B2 (ja) ステレオ互換性のあるマルチチャネルオーディオ符号化
KR101244545B1 (ko) 다운믹스를 이용한 오디오 코딩
EP3144932B1 (en) An apparatus for encoding an audio signal having a plurality of channels
EP3059732B1 (en) Audio decoding device
RU2628900C2 (ru) Кодер, декодер, система и способ, использующие концепцию остатка для параметрического кодирования аудиобъектов
RU2010152580A (ru) Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер
JP2013127634A (ja) 符号化装置
CN110648674B (zh) 多声道音频内容的编码
KR101660004B1 (ko) 멀티채널 다운믹스/업믹스 케이스들에 대해 매개변수 개념을 이용한 멀티-인스턴스 공간-오디오-오브젝트-코딩을 위한 디코더 및 방법
KR20140123015A (ko) 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법
KR20080071971A (ko) 미디어 신호 처리 방법 및 장치
KR20110022255A (ko) 스테레오 오디오의 부호화, 복호화 방법 및 장치
Elfitri et al. Advanced residual coding for MPEG surround encoder
KR20160041024A (ko) 파라메트릭 qce에 기초한 인코딩 방법 및 디코딩 방법, 그리고 인코더 및 디코더

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 4