KR101100221B1 - 오디오 신호의 디코딩 방법 및 그 장치 - Google Patents

오디오 신호의 디코딩 방법 및 그 장치 Download PDF

Info

Publication number
KR101100221B1
KR101100221B1 KR1020097012355A KR20097012355A KR101100221B1 KR 101100221 B1 KR101100221 B1 KR 101100221B1 KR 1020097012355 A KR1020097012355 A KR 1020097012355A KR 20097012355 A KR20097012355 A KR 20097012355A KR 101100221 B1 KR101100221 B1 KR 101100221B1
Authority
KR
South Korea
Prior art keywords
information
downmix signal
gain
signal
level
Prior art date
Application number
KR1020097012355A
Other languages
English (en)
Other versions
KR20090082927A (ko
Inventor
오현오
정양원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090082927A publication Critical patent/KR20090082927A/ko
Application granted granted Critical
Publication of KR101100221B1 publication Critical patent/KR101100221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 디코딩 방법 및 이의 장치에 관한 것으로, 오브젝트 레벨 정보 및 오브젝트 게인 정보를 포함하는 오브젝트 정보를 이용하여 오디오 신호를 디코딩하는 방법 및 이의 장치를 제공하는데, 상기 오브젝트 게인 정보는 각 다운믹스 채널에 대하여 오브젝트가 포함되는 정도를 변화시킴으로써 다운믹스 신호를 수정하기 위한 정보이다.

Description

오디오 신호의 디코딩 방법 및 그 장치{A METHOD AND AN APPARATUS FOR DECODING AN AUDIO SIGNAL}
본 발명은 오디오 신호의 디코딩 방법 및 그 장치에 관한 것이다. 본 발명은, 더욱 상세하게는 다양한 디지털 매체를 통하여 수신된 오디오 신호를 디코딩하는 방법 및 그 장치에 관한 것이다.
복수개의 오브젝트(object)들을 다운믹싱하여 모노 또는 스테레오 신호를 생성함과 동시에, 각각의 오브젝트들로부터 정보(또는 파라미터들)을 추출할 수 있다. 이러한 정보는 오디오 신호의 디코딩에 이용될 수 있다. 또한, 멀티포인트 제어 유닛(Multipoint Control Unit, MCU)에서의 출력 오디오 신호는 각각의 오브젝트에 대응하는 정보를 이용하여 생성될 수 있다.
멀티포인트 제어 유닛(MCU)은 컨퍼런스 콜(conference call)을 이용하여 원격의 장소로부터 제공된 신호들을 통합하기 위하여 텔레컨퍼런스(teleconference)에서 이용될 수 있는 장치이다. 최근에, 통합(convergence) 기술들이 기술분야에서 각광을 받고 있다.
종래의 멀티포인트 제어 유닛(MCU) 결합부는 멀티 채널 오디오 신호를 수신받아 결합 신호를 생성하였다. 그러나, 멀티 채널 정보만을 갖는 멀티 채널 오디오 신호를 멀티포인트 제어 유닛에서 이용하는 경우, 각각의 채널의 게인 및 패닝은 제어할 수 있으나, 오브젝트의 게인 및 패닝은 제어할 수 없는 단점이 있다.
[기술적 문제]
디코딩 장치는 다운믹스 신호 및 공간 정보를 수신하고, 공간정보를 이용하여 출력 신호를 생성한다. 상기 출력 신호는 사용자 입력 또는 재생 구성과 같은 다른 입력 신호에 기초하여 렌더링될 수 있다. 각각의 오브젝트를 제어하기 위하여, 디코딩 장치는 멀티 오브젝트 신호를 수신하고, 이를 디코딩하기 위하여 처리할 수 있다.
그러나, 모든 멀티 오브젝트 신호를 디코딩하는 방법 및 장치는 넓은 대역폭을 필요로 한다. 따라서, 새로운 멀티 오브젝트 신호를 디코딩하는 방법 및 장치는 넓은 대역폭과 요구사항이 해결되어야 한다. 또한, 채널 기반의 디코딩과의 하위 호환성(backward compatibility)을 위하여, 멀티 채널 정보로 용이하게 변환될 수 있는 (오브젝트에 대응하는) 공간 정보가 필요하다.
[기술적 해결책]
따라서, 본 발명은 상기 기술적 과제를 해결하기 위하여 실질적으로 종래 기술의 문제점을 하나 이상 제거하거나 개선한 오디오 신호의 디코딩 방법 및 장치에 관한 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 신호 처리 방법 및 장치는, 오브젝트 게인 정보 및 오브젝트 레벨 정보를 포함하는 오브젝트 정보를 이용함으로써 오디오 신호를 디코딩하는 방법을 제공하는데, 상기 오브젝트 게인 정보는 각 다운믹스 채널에 대하여 오브젝트가 포함되는 정도를 변화시킴으로써 다운믹스 신호를 수정하기 위한 것이다.
본 발명의 다른 일실시예에 따른 오디오 신호 처리 방법 및 장치는, 멀티포인트 제어 유닛 결합부에서 생성되는 결합 다운믹스 신호 및 결합 오브젝트 정보를 포함하고, 이들은 오브젝트 게인을 조절하여 원격 컨퍼런스 콜 등에서 출력하도록 한다.
부가적인 본 발명의 장점들, 목적들 및 특징들은 후술하는 명세서에 기술될 것이고, 후술된 내용은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있다. 본 발명의 다른 목적들 및 장점들은 첨부된 도면뿐 아니라, 이하에 서술되는 명세서 및 청구항에서 명확하게 설명될 것이다.
[이로운 효과]
본 발명의 다양한 실시예들은 공정 시간 및 요구되는 컴퓨터 자원을 감소시킴으로써 빠르고 효율적으로 멀티 오브젝트 오디오 신호를 디코딩 하는 방법 및 그 장치를 제공하여, 넓은 대역폭과 같은 필요한 요구조건을 완화할 수 있다. 본 발명의 일실시예에 따른 오브젝트 정보들은 채널 기반의 디코딩 장치와의 하위 호환성을 제공할 수도 있다.
본 발명의 이해를 돕기 위하여 포함된 도면들은, 본 발명의 바람직한 실시예들을 도시하고, 상세한 설명과 함께 본 발명을 설명하기 위하여 제공된다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치의 예씨적인 블록도이다.
도 2는 본 발명의 일실시예에 따른 오시오 신호의 디코딩 방법을 도시하는 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 오디오 신호의 디코딩 장치의 예시적인 블록도이다.
도 4는 본 발명의 일실시예에 따른 정보 생성부의 예시적인 블록도이다.
도 5는 본 발명의 일실시예에 따른 오브젝트 게인 정보 생성부의 예시적인 블록도이다.
도 6은 본 발명의 일실시예에 따른 정보 생성부의 예시적인 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이다.
도 8은 본 발명의 일실시예에 따른 멀티포인트 제어 유닛(MCU)의 예시적인 블록도이다.
도 9는 본 발명의 일실시예에 따른 결합 오브젝트 정보 코딩부의 예시적인 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발 명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치(1000)의 예시적인 블록도이고, 도 3은 본 발명의 다른 실시예에 따른 오디오 신호의 디코딩 장치(2000)의 예시적인 블록도이다.
오디오 신호의 디코딩 장치(1000, 2000)의 두가지 실시예들은 도 1의 오디오 신호 디코딩 장치(1000)가 멀티채널 디코딩부(1300)를 갖지만, 도 2의 오디오 신호 디코딩 장치(2000)는 멀티채널 디코딩부(1300)를 갖지 않는다는 차이점을 갖는다. 정보 생성부(1100, 2100) 및 다운믹스 신호 처리부(1200, 2200)와 같은 다른 구성요소들은 도 1 및 도 3의 오디오 신호 디코딩 장치(1000, 2000)에서 동일하다.
도 1을 참조하면, 오디오 신호의 디코딩 장치(1000)는 정보 생성부(1100), 다운믹스 신호 처리부(1200) 및 멀티채널 디코딩부(1300)를 포함한다. 정보 생성부(1100)는 사용자 입력 또는 비트스트림으로부터 오브젝트 정보(object information) 및 믹스 정보(mix information)를 수신하고, 이를 이용하여 다운믹스 신호 처리 정보(downmix processing information)를 생성한다.
상기 오브젝트 정보는 오브젝트 레벨 정보(object level information), 오브젝트 상관 정보(object correlation information) 및 오브젝트 게인 정보(object gain information)를 포함한다. 상기 오브젝트 레벨 정보는 오브젝트의 레벨 중 하 나인 기준정보를 이용하여 각 오브젝트에 대응하는 오브젝트 레벨을 표준화함으로써 생성될 수 있다. 상기 오브젝트 상관 정보는 두개의 선택된 오브젝트들의 조합으로부터 제공될 수 있다. 상기 오브젝트 게인 정보는 오브젝트 게인값 정보(object gain value information) 및/또는 오브젝트 게인율 정보(object gain ratio information)을 포함한다. 상기 다운믹스 신호 처리 정보는 오브젝트 게인 및 패닝을 조절하기 위한 정보를 포함하고, 이는 다운믹스 신호 처리부(1200)에 입력된다.
다운믹스 신호 처리부(1200)는 상기 다운믹스 신호와 정보 생성부(1100)로부터 다운믹스 신호 처리 정보를 수신한다. 다운믹스 신호 처리부(1200)는 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호를 처리할 수 있으며, 따라서 처리된 다운믹스 신호(processed downmix signal)를 생성한다. 예를 들면, 다운믹스 신호 처리부(1200)는 상기 다운믹스 신호 처리 정보를 상기 다운믹스 신호에 적용하여 상기 다운믹스 신호에 포함된 하나 이상의 오브젝트 게인 및 오브젝트 패닝을 변화시킬 수 있으며, 상기 오브젝트 게인 및 패닝이 변화된 신호인 상기 처리된 다운믹스 신호를 생성할 수 있다.
상기 처리된 다운믹스 신호 멀티 채널 디코딩부(1300)로 입력되어 업믹싱되고, 스피커와 같은 출력 장치에 의하여 출력될 수 있다. 정보 생성부로부터 출력된 멀티채널 정보(multi-channel information)도 멀티채널 디코딩부(1300)로 입력될 수 있다. 본 발명의 일부 실시예에서 멀티채널 디코딩부(1300)는 엠펙 서라운드 시스템(MPEG surround system)의 디코딩부와 동일한 유닛을 이용할 수 있다.
선택적으로, 상기 처리된 다운믹스 신호는 도 2의 디코딩 장치(2000)와 같이 출력 장치에 직접적으로 전송되어 출력될 수 있다. 스피커를 통해 상기 처리된 다운믹스 신호가 직접 출력되기 위하여, 다운믹스 신호 처리부(2200)는 합성 필터 뱅크(synthesis filter bank)의 역할을 할 수 있고, PCM 데이터를 출력할 수 있다. 또한, 상기 처리된 다운믹스 신호를 직접 PCM 신호로 출력하거나 멀티 채널 디코딩부로 입력할지 여부는 사용자 선택에 의하여 결정될 수도 있다.
도 2는 도 1을 참조하여 본 발명의 일실시예에 따른 오디오 신호의 디코딩 방법의 순서도이다. 먼저, 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신받는다(S110). 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 신호 처리 정보를 생성한다(S120). 이후, 처리된 다운믹스 신호는 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호를 처리함으로써 생성된다.
정보 생성부(1100)의 구성은 이하 도 4 내지 도 6을 참조하여 더 상세하게 설명하기로 한다.
1. 오브젝트 정보
1.1 기준 정보 및 오브젝트 레벨 정보
도 4는 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 정보 생성부의 구성을 나타내는 예시적인 블록도이다. 도 4를 참조하면, 정보 생성부(1100)는 오브젝트 정보를 수신하고, 상기 오브젝트 정보를 이용하여 다운믹스 신호 처리 정보를 생성한다.
정보 생성부(1100)는 오브젝트 레벨 정보 디코딩부(1110a), 오브젝트 게인 정보 생성부(1120a) 및 오브젝트 상관 정보 생성부(1130a)를 포함한다.
상기 다운믹스 신호는 복수개의 오브젝트들을 포함하고, 상기 오브젝트들은 각 오브젝트마다 오브젝트 레벨을 갖는다.
상기 오브젝트 레벨 정보는 기준 정보(reference information)를 이용하여 상기 오브젝트 레벨을 표준화함으로써 생성되는데, 상기 기준 정보는 상기 오브젝트 레벨 중 하나일 수 있고, 더 상세하게는, 모든 오브젝트 레벨들 중 가장 큰 오브젝트 레벨일 수 있다.
예를 들면, 상기 다운믹스 신호는 오브젝트 s_i 를 포함하고, 상기 오브젝트 s_i 에 대응하는 오브젝트 레벨은 Ps_i 로 가정한다.
만일 오브젝트 정보를 인코딩함에 따라 오브젝트 레벨 에너지가 전송된다면, 상기 오브젝트 정보는 다음과 같은 정보일 수 있다.
Ps_i는 다양한 방법들을 이용하여 획득될 수 있다. 예를 들면, Ps_i 는 "s_i(n)2" 또는 "E[s_i(n)2]"일 수 있다. Ps_i 는 각 오브젝트 레벨 정보에 대응하는 정보로 전송될 수 있다. 본 명세서에서, "s_i(n)2"는 i번째 오브젝트를 지칭하고, 시간 도메인의 신호이거나 지정된 밴드 내의 서브밴드 신호일 수 있다.
그러나, 만일 각각의 오브젝트에 대응하는 상기 오브젝트 레벨 정보가 그 값 자체로 전송된다면, 상기 오브젝트의 오브젝트 레벨이 큰 범위 내에서 변동되기 때문에 양자화가 어려울 수 있다.
따라서, 상기 오브젝트 레벨 정보는 모든 오브젝트 에너지들 중 가장 큰 오 브젝트 레벨 에너지인 기준 정보를 이용하여 표준화될 수 있다. 만일 상기 기준 정보가 r_1 인 경우, 상기 오브젝트 레벨 정보는 하기 수학식 1 과 같이 전송될 수 있다.
[수학식 1]
E[s_i(n)2]/E[r_i(n)2]
상기 r_1(n) 는 기준 정보이다.
모든 오브젝트 레벨 정보는 1 이하의 범위에 포함된다.
그러므로, 변동 범위는 오디오 신호가 인코딩되기에 충분한 범위일 수 있다. 또한, 상기 오브젝트 레벨 정보는 다른 신호 처리에 이용하기 위하여 기준 정보, 디폴트 정보, 원 오브젝트 레벨 에너지 등을 포함할 수 있다. 상기 오브젝트 레벨 정보는 각각의 오브젝트에 대응하고, 상기 오브젝트 레벨 정보의 개수는 다운믹스 신호에 포함되는 오브젝트의 개수와 동일하다.
1.2 오브젝트 게인 정보
상기 오브젝트 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나 이상을 포함하는 오브젝트 게인 정보를 포함한다. 도 5는 본 발명의 일실시예에 따른 오디오 신호 처리 장치의 예시적인 블록도로, 더 상세하게는, 정보 생성부(1100)의 오브젝트 게인 정보 디코딩부의 예시적인 블록도이다.
오브젝트 게인 정보 생성부(1120a)는 오브젝트 게인값 정보 생성부(1121) 및 오브젝트 게인율 정보 생성부(1122)를 포함한다. 상기 오브젝트 게인 정보는 하나 이상의 채널을 갖는 다운믹스 신호를 생성하기 위하여 하나의 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키는 것과 관련된다.
1.2.1 오브젝트 게인값 정보
상기 오브젝트 게인값 정보는 오브젝트에 대한 게인값을 포함한다. 본 발명의 일부 실시예에서는, 상기 오브젝트 게인은 상기 처리된 다운믹스 신호의 생성이전에 각각의 오브젝트에 적용된다.
예를 들면, 상기 다운믹스 신호가 복수개의 오브젝트들을 포함하는 경우, 하기 수학식 2와 같이 오브젝트에 대응하는 오브젝트 게인값 정보를 오브젝트 레벨에 곱하여 게인이 적용된 오브젝트를 생성하고, 상기 게인이 적용된 모든 오브젝트들은 상기 처리된 다운믹스 신호를 생성하기 위하여 더하여진다.
[수학식 2]
X = sum{a_i×s_i}
상기 X는 전송되어질 처리된 모노 다운믹스 신호이고, s_i 는 오브젝트 레벨이며, a_i 는 각 다운믹스 채널에 포함시키기 위한 오브젝트의 오브젝트 게인값 정보(게인값)이다.
1.2.2 오브젝트 게인율 정보
상기 오브젝트 게인 정보는 상기 오브젝트 게인값 정보뿐만 아니라, 오브젝트 게인율 정보를 더 포함할 수 있다. 상기 오브젝트 게인율 정보는 상기 처리된 다운믹스 신호의 각 채널에 기여하는 하나의 오브젝트의 게인들 사이의 비율값을 포함한다.
상기 오브젝트 게인율 정보는 다운믹스 신호 처리부(1200)에 의해 상기 다운믹스를 처리하기 위하여 이용될 수 있고, 이로써 모노 또는 스테레오 채널로 전송되는 상기 처리된 다운믹스 신호를 획득할 수 있다. 스테레오 신호인 경우, 상기 처리된 다운믹스 신호는 하기 수학식 3과 같고, 상기 오브젝트 게인율 정보는 하기 수학식 4로부터 획득될 수 있다.
[수학식 3]
x_1 = sum(a_i×b_i}
x_2 = sum(b_i×s_i}
상기 x_1 및 x_2 는 다운믹스 신호의 각 채널 신호이고, s_i 는 오브젝트 레벨이며, a_i 및 b_i 는 각 다운믹스 신호의 채널에 포함되는 오브젝트의 오브젝트 게인값 정보이다.
[수학식 4]
Figure 112009502296300-pct00001
상기 m_i 는 오브젝트 게인율 정보이다.
오브젝트 게인 정보, 즉, 오브젝트 게인값 정보(a_i,b_i) 및 오브젝트 게인율 정보( m_i) 는 비트스트림에 포함된 오브젝트 게인 정보의 다양한 조합으로 정보 생성부(1100)로 전송될 수 있다. 상기 조합은, 예를 들면, (a_i,b_i),(m_i,a_i),(m_i,b_i)을 포함할 수 있다. 정보 생성부(1100)는 원 오브젝트 정보를 복원하기 위한 상기 조합들을 디코딩할 수 있다. 정보 생성부(1100)에 의해 수행되는 상기 조합들의 디코딩은, 예를 들면, 멀티채널 디코딩부(1300)와 같은 다른 디코딩부에서 채택될 수 있음은 당업자에게 이해될 수 있다.
상기 오브젝트 게인 정보가 정보 생성부(1100)에 오브젝트 게인값 정보(a_i,b_i)의 조합으로 전송될 때, 상기 오브젝트 게인값 정보는 조정될 수 있다. 만일 b_i 가 1로 조정되도록 규정되어 있는 경우, a_i 만이 오브젝트 게인 정보로 전송될 수 있다. 이 경우에도, 정보 생성부(1100)는 규정에 따라 원 오브젝트 정보를 복원할 수 있다. 상기 오브젝트 게인값을 조정함에 따라, 정보 생성부(1100)로 전송되는 정보의 개수가 줄어들 수 있다.
선택적으로, 상기 오브젝트 게인율 정보(m_i)는 하기 수학식 5와 같은 다양한 방법으로 획득될 수 있다.
[수학식 5]
Figure 112009502296300-pct00002
(α,β 는 분자, 분모가 0에 가까워지는 것을 방지하기 위한 아주 작은 수이다.)
오브젝트 게인율 정보가 s_i 를 포함하는 경우, s_i 와 m_i 값이 동일하면 m_i 는 동일한 값인 s_i 을 포함하지 않을 수 있다. 예를 들면, 1) a_i = 0.5,b_i = 0.5 , 2) a_i = 2,b_i = 2 인 경우, 1), 2) 모두 1의 m_i 값을 갖는다. 그러나, 두 경우의 a_i,b_i 는 상이한 값을 갖는다.
각 채널을 통하여 전송되는 상기 처리된 다운믹스 신호를 획득하기 위하여, 새로운 방법에서는 하기 수학식 6이 이용될 수 있다.
[수학식 6]
x_1 = sum{a_i'(n)×s_i'(n)}
x_2 = sum{b_i'(n)×s_i'(n)}
상기 a_i' 및 b_i'(n)는 다음 조건을 만족하는 값들이다
( a_i'+b_i'= C , a_i'2+b_i'2= C 또는 (a_i'= C 또는 b_i'= C )이고, 상기 s_i'= g_i×s_i 이다.)
마지막으로, 상기 오브젝트 게인율 정보는 m_i'(= a_i'/b_i') 로 전송되므로, 정보 생성부(1100)로 전송되는 정보의 개수가 감소할 수 있다. 오디오 신호 디코딩 장치(1000, 2000)에서의 오디오 신호의 왜곡을 방지하기 위하여 m_i 가 전송될 수도 있다.
1.3 오브젝트 상관 정보
도 4를 참조하면, 정보 생성부(1100)는 오브젝트 상관 정보(object correlation information)를 수신한다. 상기 오브젝트 상관 정보는 두 개의 오브젝트간에 추정되고 상기 두 개의 오브젝트간의 상관도 또는 일관성을 나타낸다.
두 개의 오브젝트가 동일한 오브젝트의 채널( obj L ,obj R )로 서로 다른 채널을 통해 전송되는 경우에 상기 오브젝트 상관 정보가 존재할 수 있다.
첫째로, 오브젝트가 스테레오 오브젝트라면, 상기 스테레오 오브젝트는 다운믹싱되어 모노 오브젝트를 생성하고, 스테레오 오브젝트의 채널들 사이의 관계를 나타내는 자손 오브젝트 정보(descendant object information)를 생성할 수 있다. 본 명세서에서는, 상기 첫 번째 방법을 "모노 방식(mono method)"라고 지칭한다. 이 경우, 모노 오브젝트의 오브젝트 레벨을 이용하여 오브젝트 레벨 정보가 생성될 수 있다.
둘째로, 스테레오 오브젝트를 두 개의 별도의 모노 오브젝트로 인지하는 방법이 있다. 이 경우, 상기 두 개의 별도의 모노 오브젝트의 레벨을 이용하여 오브젝트 레벨 정보가 생성된다. 본 명세서에서는, 상기 두 번째 방법을 "스테레오 방식(stereo method)"라고 지칭한다. 상기 두 번째 방법을 이용하여 전송되는 정보의 양은 상기 첫 번째 방법을 이용하는 경우보다 크게 된다.
스테레오 오브젝트를 처리하기 위하여, 예를 들면, 각각의 모노 오브젝트와 같이, 스테레오 오브젝트 중 첫번째 채널 신호를 s_i 로, 두번째 채널 신호를 s_j 이라고 할 수 있다.
상기 채널 신호들의 오브젝트 레벨은 Ps_i,Ps_j 일 수 있다.
스테레오 오브젝트의 경우, 동일한 오브젝트의 왼쪽 채널 및 오른쪽 채널에 해당하는 오브젝트( s_i,s_j )를 나타내는 오브젝트 정보들은 서로 유사하기 때문에, 상기 오브젝트 상관 정보는 상기 오브젝트 정보들의 유사성을 나타내기 위하여 이용될 수 있다.
상기 오브젝트 상관 정보는 대표값으로 채널 신호의 파워값 중 하나를 포함 한다. 예를 들면, 채널 신호의 파워값은 스테레오 오브젝트의 왼쪽 채널 및 하기 수학식 7과 같이 대표값을 이용하여 표준화된 파워값일 수 있다.
[수학식 7]
Figure 112009502296300-pct00003
오브젝트 정보의 전송 비트수를 줄이기 위해, 상기 오브젝트 상관 정보를 이용하는 것이 효율적이다.
한편, 상기 오브젝트 상관 정보는 하기 수학식 8과 같이 대표값을 이용하여 생성될 수 있다.
[수학식 8]
Figure 112009502296300-pct00004
상기 오브젝트 상관 정보는 오브젝트 사이의 연관성을 나타내므로, 상기 오브젝트가 멀티채널 오브젝트 또는 스테레오 오브젝트의 두개의 채널 오브젝트인지, 다시 말해, 각각의 오브젝트가 동일한 오브젝트의 각기 다른 채널 오브젝트인지를 나타낸다.
또한, 상기 두 개의 오브젝트의 연관성과 관련하여, 다른 정보가 이용될 수도 있다.
상기 다른 정보는 하기 수학식 9와 같이 스테레오 오브젝트의 합 또는 차 신 호를 포함할 수 있다.
[수학식 9]
Figure 112009502296300-pct00005
상기 M 및 Ps_M 를 포함하는 상기 오브젝트 상관 정보는 전송 효율을 향상시키고, 에러(error)를 수정하는 것이 쉬울 수 있다.
오브젝트 정보의 비트율을 감소시키기 위하여 상기 오브젝트 상관 정보의 수는 상기 동일한 오브젝트에 따라 다양하게 채택될 수 있다. 오브젝트가 스테레오 또는 멀티채널 오브젝트의 일부인지를 나타내는 상관 플래그 정보(correlation_flag)는 오브젝트 정보로부터 수신될 수 있다. 상기 상관 플래그 정보는 상기 오브젝트 정보에 포함되어 정보 생성부(1100)에서 수신될 수 있다.
상기 상관 플래그 정보의 의미는 하기 표 1과 같다.
[표 1]
Figure 112009502296300-pct00006
상관 플래그 정보가 0인 경우, 상기 오브젝트 상관 정보는 오브젝트 상관 정보 디코딩부(1130a)에 전송되지 아니한다. 만일 상기 상관 플래그 정보가 디코딩 장치(1000, 2000)에 전송되지 아니하는 경우에는, 다운믹스 신호의 처리를 위하여 설정값이 이용될 수 있다.
반면, 상기 상관 플래그 정보가 1인 경우는 선택된 두 개의 오브젝트들의 유사성을 나타내는 상기 오브젝트 상관 정보가 오브젝트 상관 정보 디코딩부(1130a)에 전송된다.
또한, 상기 오브젝트 정보는 별도로 기준 정보를 더 포함할 수 있다. 상기 기준 정보가 존재하는 경우, 상기 기준 정보는 멀티포인트 제어 유닛 결합부(MCU combiner)를 위한 식별자일 수 있다.
본 발명에 따른 오디오 신호의 인코딩 방법은, 멀티 오브젝트 오디오 신호를 수신하는 단계; 및 다운믹스 신호 및 오브젝트 정보를 생성하는 단계를 포함하고, 상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 게인 정보 및 오브젝트 상관 정보를 포함한다. 상기 오브젝트 레벨 정보, 상기 오브젝트 게인 정보 및 상기 오브젝트 상관 정보는 전술한 바와 같은 방법으로 생성된다. 본 발명에 따른 오디오 신호의 인코딩 방법은 상기의 방법에 한정되지 아니한다.
또한, 본 발명에 따른 오디오 신호의 인코딩 장치는 멀티 오브젝트 오디오 신호로부터 다운믹스 신호를 생성하는 다운믹싱부 및 상기 멀티 오브젝트 오디오 신호로부터 오브젝트 레벨 정보, 오브젝트 게인 정보 및 오브젝트 상관 정보를 포함하는 오브젝트 정보를 추출하는 오브젝트 정보 생성부를 포함한다. 상기 오디오 신호의 인코딩 장치도 전술한 내용에 한정되지는 아니한다.
2. 멀티포인트 제어 유닛 결합부 (MCU combiner)
멀티 오브젝트 신호를 포함하는 오디오 신호는 멀티포인트 제어 유닛 결합부에서 이용되어 오브젝트의 게인을 조절하고, 원격의 컨퍼런스 장치로 출력될 수 있다. 멀티 오브젝트 신호를 포함하는 오디오 신호를 이용하는 경우, 각 오브젝트 신호의 특성에 대응하여 오브젝트의 게인 및 패닝(panning)을 조절하는 것이 효과적이다.
예를 들면, 멀티 채널 오디오 신호는 보컬 신호, 배경 음악(BMG) 및 나레이션(narration) 소리를 포함할 수 있다. 이 경우, 필요에 따라, 청취자가 보컬 신호 및 나레이션 소리 없이 배경 음악만을 이용하거나 들으려고 할 때, 또는 텔레컨퍼런스(teleconference)를 이용하여 대화하려고 할 때, 특정 오브젝트만을 삭제하거나 제어할 수 없다. 이러한 경우, 멀티 오브젝트 신호를 포함하는 오디오 신호를 이용하면 상기 문제점을 해결할 수 있다.
또한, 본 발명에 따른 디코딩 방법은 오브젝트 정보를 이용하여 개선된 가라오케 시스템에 이용될 수 있다.
도 6은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이다. 도 6을 참조하면, 오디오 신호의 처리 장치는 제 1 인코더(3100), 제 2 인코더(4100), 멀티포인트 제어 유닛 결합부(5100) 및 다운믹싱부(5200)를 포함하는 결합부(5000)를 포함한다. 제 1 인코더(3100) 및 제 2 인코더(4100)는 각각 제 1 오디오 신호 및 제 2 오디오 신호를 수신할 수 있고, 제 1 인코더(3100)에서는 제 1 다운믹스 신호 및 제 1 오브젝트 정보를 생성하며, 제 2 인코더(4100)에서는 제 2 다운믹스 신호 및 제 2 오브젝트 정보를 생성할 수 있다.
결합부(5000)는 제 1 인코더(3100)로부터 상기 제 1 다운믹스 신호 및 상기 제 1 오브젝트 정보를 수신하고, 제 2 인코더(4100)에서는 상기 제 2 다운믹스 신호 및 상기 제 2 오브젝트 정보를 수신하여, 결합 다운믹스 신호 및 결합 오브젝트 정보를 생성한다.
결합부(5000)의 출력 신호인 상기 결합 다운믹스 신호는 일반적인 다운믹싱부를 이용하여 생성될 수 있다. 그러므로, 다운믹싱부(5200)의 상세한 설명은 생략하기로 한다.
2.1 결합 오브젝트 정보
도 7은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이고, 더 상세하게는 멀티포인트 제어 유닛 결합부(8100)의 예시적인 블록도이다. 도 7를 참조하면, 멀티포인트 제어 유닛 결합부(5100)는 제 1 오브젝트 정보, 제 2 오브젝트 정보 및 제어 정보를 이용하여 결합 오브젝트 정보를 생성하기 위하여 배치될 수 있다. 상기 결합 오브젝트 정보는 제 1 인코더(3100)로부터 출력된 제 1 다운믹스 신호와 제 2 인코더(4100)로부터 출력된 제 2 다운믹스 신호에 대응하는 모든 정보를 포함한다.
멀티포인트 제어 유닛 결합부(5100)는 오브젝트 정보 디코딩부(5110) 및 결합 오브젝트 정보 인코딩부(5120)를 포함한다. 오브젝트 정보 디코딩부(5110)는 제 1 인코더(3100)로부터 제 1 오브젝트 정보와 제 2 인코더(4100)로부터 제 2 오브젝트 정보를 수신하고, 제 1 기준 값, 제 1 오브젝트 레벨 정보, 제 1 오브젝트 게인 정보, 제 2 기준값, 제 2 오브젝트 레벨 정보 및 제 2 오브젝트 게인 정보를 생성 하도록 배치될 수 있다. 상기 기준값, 상기 오브젝트 레벨 정보 및 상기 오브젝트 게인 정보는 도 1 내지 도 6에서의 설명과 동일하다. 그러므로, 이러한 정보들을 생성하는 방법의 상세한 설명은 생략하기로 한다.
또한, 멀티포인트 제어 유닛 결합부(5100)는 입력 신호의 제한없이 복수 개의 인코더로부터 적어도 두 개의 오브젝트 정보를 수신받아, 결합 다운믹스 신호에 대응하는 여러 개의 정보를 포함하는 결합 오브젝트 정보를 생성할 수 있다.
2.2 제어 정보
도 8은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이고, 더 상세하게는 결합 오브젝트 정보 인코딩부(5120)의 예시적인 블록도이다. 도 8을 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 상기 정보들(제 1 오브젝트 정보 및 제 2 오브젝트 정보) 및 사용자 조절로부터 제어 정보(control information)을 입력받아, 결합 오브젝트 정보를 생성하기 위해 배치될 수 있다.
상기 제어 정보는 상기 제 1 제어 정보 및 상기 제 2 제어 정보를 처리할 수 있고, 결합 오브젝트 정보 인코딩부(5120)에서 상기 제 1 제어 정보 및 상기 제 2 제어 정보의 조합에 적용될 수 있다. 상기 결합 오브젝트 정보는 상기 제어 정보로 처리되어 생성될 수 있으며, 상기 제어 정보는 결합 오브젝트 정보에 대응하여 결합하는 오브젝트들을 나타내고, 상기 오브젝트 정보의 조합에서 오브젝트 게인이 조절되는 것을 나타낸다.
상기 제어 정보는 오브젝트 제어 정보, 게인 제어 정보 및 목적지 정보를 포함하며, 이들에 대하여 이하에서 설명할 것이다.
2.2.1 오브젝트 제어 정보
상기 오브젝트 제어 정보는 상기 결합 오브젝트 정보를 생성하기 위한 타겟 오브젝트(target object)를 결정할 수 있다. 상기 오브젝트 제어 정보는 제 1 오브젝트 정보 또는 제 2 오브젝트 정보에 대응하는 오브젝트의 필요한 집합을 결정할 수 있다.
상기 오브젝트 제어 정보는 오브젝트 레벨 정보 인코딩부(5112)에서 상기 오브젝트 레벨 정보에 적용되어 결합 오브젝트 레벨 정보를 생성할 수 있으며, 상기 결합 오브젝트 레벨 정보는 상기 오브젝트 제어 정보에 의해 결정되는 일부 오브젝트들에 대한 정보를 포함할 수 있고, 여러가지 목적에 따라 이용될 수 있다.
예를 들면, 제 1 오브젝트 정보는 보컬, 피아노, 기타 오브젝트를 포함하는 음악 신호를 포함할 수 있다. 상기 음악 신호로부터 피아노, 기타, 바이올린 오브젝트를 포함하는 오디오 신호를 생성하기 위하여, 상기 오브젝트 제어 정보 및 사용자 제어를 이용하여 보컬 오브젝트가 없는 결합 오브젝트 정보를 획득할 수 있다.
2.2.2 게인 제어 정보
오브젝트 게인 정보 인코딩부(5113)는 제 1 오브젝트 정보로부터 제 1 게인 정보, 제 2 오브젝트 정보로부터 제 2 게인 정보, 게인 제어 정보 및 목적지 정보를 수신하여 결합 오브젝트 게인 정보를 생성하도록 배치될 수 있다.
상기 게인 제어 정보는 멀티포인트 제어 유닛 결합부에서 오브젝트 게인을 조절하기 위해 이용될 수 있다. 오브젝트 레벨 정보 인코딩부(5122)에서 결합 오브 젝트 레벨 정보에 이용되는 오브젝트를 선택하는 오브젝트 제어 정보와 달리, 상기 게인 제어 정보는 오브젝트 게인 정보 인코딩부(5123)에서 이용될 수 있다. 상기 게인 제어 정보는 0 내지 1 의 범위 내의 값일 수 있다.
2.2.3 목적지 정보
상기 게인 제어 정보의 범위 내에서, 만일 오브젝트에 대응하는 상기 게인 제어 정보가 0이라면, 상기 오브젝트에 대한 오브젝트 정보는 결합 오브젝트 정보에 포함되지 않는다. 상기 게인 제어 정보가 0 또는 1 인 경우, 상기 게인 제어 정보는 목적지 정보(destination information)이라고 지칭한다. 상기 목적지 정보는 0 또는 1 의 값을 갖는 특정 게인 제어 정보를 포함하고, 결합된 다운믹스 신호가 출력될 목적지를 나타내는 식별자를 포함한다.
상기 목적지 정보는, 예를 들면, 속삭임 모드(whisper mode), 비밀 회의(secret meeting)과 같이 특별한 모드를 위해 이용될 수 있으며, 오브젝트의 사용을 제어하기 위하여 이용될 수 있다.
도 8을 참조하면, 상기 목적지 정보는 오브젝트 게인 정보 인코딩부(5123)에 입력될 수 있고, 결합 오브젝트 정보의 오브젝트 게인을 조절하기 위하여 제 1 오브젝트 게인 정보 및 제 2 오브젝트 게인 정보에 적용될 수 있다. 만일 멀티포인트 제어 유닛 결합부가 3 개의 포트를 갖는다면, 상기 목적지 정보는 각 출력 포트에 대응하는 각각의 게인값(예를 들어, 0 또는 1)을 포함할 수 있다.
상기 게인 조절 정보 및 상기 목적지 정보는 오브젝트 게인 정보 인코딩부(5123)에 동시에 입력되거나 별도로 입력될 수 있다.
2.3 결합 오브젝트 정보를 생성하는 방법
도 8는 결합 오브젝트 정보 인코딩부(5120)의 예시적인 블록도이다. 도 8을 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 제 1 기준값(reference value_1), 제 2 기준값(reference value_2), 제 1 오브젝트 레벨 정보, 제 2 오브젝트 레벨 정보, 제 1 오브젝트 게인 정보, 제 2 오브젝트 게인 정보, 오브젝트 제어 정보, 게인 제어 정보 및 목적지 정보를 수신하고, 상기 정보들을 이용하여 결합 오브젝트 정보를 생성한다.
2.3.1 기준 정보의 선정
도 8을 다시 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 기준값 생성부(5121), 오브젝트 레벨 정보 인코딩부(5122) 및 오브젝트 게인 정보 인코딩부(5123)를 포함한다.
결합 오브젝트 정보를 생성하기 위해, 먼저, 상기 결합 오브젝트 정보의 기준 정보를 추정하여야 한다. 각각의 오브젝트 정보는 각 오브젝트의 레벨을 표준화하고, 오브젝트 레벨 정보를 생성하기 위한 기준 정보를 포함할 수 있다. 그러나, 결합 오브젝트 정보를 생성하기 위하여 적어도 두 개의 오브젝트 정보들이 결합하는 경우, 상기 결합 오브젝트 정보는 결합 오브젝트 레벨 정보를 구성하는 오브젝트 레벨을 표준화하기 위한 기준 정보를 결정한다.
상기 결합 오브젝트 정보의 기준 정보는 여러가지 방법들에 의하여 결정될 수 있다. 예를 들면, 상기 기준 정보는 (제 1 오브젝트 정보에 포함된) 제 1 기준 정보이거나 각각의 오브젝트 정보의 기준 정보들 중 가장 큰 값일 수 있다.
상기 기준 정보를 변경하는 대신, 결합 오브젝트 정보는 각각의 오브젝트 정보의 오브젝트 레벨 정보를 이용할 수 있다.
2.3.2 결합 오브젝트 정보의 오브젝트 레벨 정보
기준 정보 생성부(5121)는 상기와 같은 방법으로 결합 오브젝트 정보의 기준 정보를 추정한다. 결합 오브젝트 정보의 기준 정보가 변경되기 전에는, 오브젝트 레벨 정보_i 는 기준 정보_i로 표준화된다.
상기 오브젝트 정보_1의 오브젝트 레벨 정보는 하기 수학식 10과 같이, 결합 오브젝트 정보의 오브젝트 레벨 정보는 하기 수학식 11과 같이 가정한다.
[수학식 10]
Figure 112009502296300-pct00007
(상기 OL_1n 는 오브젝트 정보_1의 오브젝트 레벨 정보이고, EO_1n 는 오브젝트 정보_1의 n번째 오브젝트 레벨 에너지이다.)
[수학식 11]
Figure 112009502296300-pct00008
(상기 OL_k는 결합 오브젝트 정보의 k번째 오브젝트 레벨 정보이다.)
2.3.2 오브젝트 게인 정보
오브젝트 게인 정보 인코딩부(5123)는 제 1 오브젝트 게인 정보, 제 2 오브젝트 게인 정보, 게인 조절 정보 및 목적지 정보를 수신하여 오브젝트 게인 정보를 생성한다. 상기 목적지 정보가 오브젝트 정보의 켜짐/꺼짐을 나타내는 경우, 즉, 상기 목적지 정보가 0 또는 1인 경우, 상기 오브젝트 게인 정보는 0 또는 1 일 수 있다. 상기 게인 조절 정보가 사용자 제어로부터 입력되면, 상기 게인 조절 정보를 이용하여 상기 제 1 오브젝트 게인 정보 및 상기 제 2 오브젝트 게인 정보가 수정될 수 있다.
2.3.3 오브젝트 상관 정보
오브젝트 상관 정보는 스테레오 오브젝트 또는 멀티채널 오브젝트의 채널들 간의 유사도/비유사도를 나타낸다. 따라서, 상기 오브젝트 상관 정보는 멀티포인트 제어 유닛 결합부(5100)에서 오브젝트 정보가 결합되는 것에 영향을 받을 수 있다.
결합 오브젝트 정보의 오브젝트 상관 정보는 오브젝트 정보_i의 오브젝트 상관 정보를 그대로 포함할 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명은 오디오 신호의 인코딩 및 디코딩에 이용할 수 있다.

Claims (21)

  1. (a) 적어도 하나 이상의 오브젝트를 포함하는 다운믹스 신호,
    (b) 상기 다운믹스 신호가 모노 이상의 신호인 경우 오브젝트 게인값을 포함하고, 상기 다운믹스 신호가 스테레오 신호인 경우 오브젝트 게인율을 더 포함하는 오브젝트 게인 정보 및
    (c) 대응 주파수 밴드 내의 복수개의 오브젝트 레벨들 중에서 최대값인 최대 오브젝트 레벨로 각각의 오브젝트 레벨을 나눔으로써 생성되는 오브젝트 레벨 정보를 수신하는 단계;
    상기 오브젝트 게인 정보 및 상기 오브젝트 레벨 정보를 이용하여 다운믹스 신호 처리 정보 및 멀티채널 정보를 계산하는 단계; 및
    상기 멀티채널 정보로 상기 다운믹스 신호를 디코딩하기 위하여, 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호에 포함된 상기 적어도 하나 이상의 오브젝트의 게인 및 패닝 중 하나 이상을 조절하는 단계를 포함하고,
    상기 오브젝트 게인값은 상기 다운믹스 신호의 생성을 위하여 오브젝트에 적용되는 게인을 나타내며,
    상기 오브젝트 게인율은 상기 다운믹스 신호가 스테레오 신호인 경우, 상기 다운믹스 신호의 생성시 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키기 위하여 적용되는 게인의 차이를 나타내는 것을 특징으로 하는 오디오 코딩 시스템에 의해 수행되는 오디오 신호의 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 오브젝트 레벨 정보의 개수는 상기 다운믹스 신호에 포함된 상기 오브젝트들의 개수와 동일한 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 멀티채널 정보를 이용하여 상기 처리된 다운믹스 신호를 업믹싱하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  6. 적어도 하나의 오브젝트로부터 다운믹스 신호를 생성하는 단계; 및
    상기 다운믹스 신호가 모노 이상인 경우, 오브젝트 게인값을 포함하고, 상기 다운믹스 신호가 스테레오 이상의 신호인 경우, 오브젝트 게인율을 더 포함하는 오브젝트 게인 정보 및 대응 주파수 밴드 내의 복수개의 오브젝트 레벨들 중에서 최대값인 최대 오브젝트 레벨로 각각의 오브젝트 레벨을 나눔으로써 생성되는 오브젝트 레벨 정보를 생성하는 단계를 포함하고,
    상기 오브젝트 게인값은 상기 다운믹스 신호의 생성을 위하여 오브젝트에 적용되는 게인을 나타내며,
    상기 오브젝트 게인율은 상기 다운믹스 신호가 스테레오 이상의 신호인 경우, 상기 다운믹스 신호의 생성시 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키기 위하여 적용되는 게인의 차이를 나타내는 것을 특징으로 하는 오디오 코딩 시스템에 의해 수행되는 오디오 신호의 인코딩 방법.
  7. (a) 적어도 하나 이상의 오브젝트 신호를 포함하는 다운믹스 신호,
    (b) 상기 다운믹스 신호가 모노 이상의 신호인 경우 오브젝트 게인값을 포함하고, 상기 다운믹스 신호가 스테레오 이상의 신호인 경우 오브젝트 게인율을 더 포함하는 오브젝트 게인 정보 및
    (c) 대응 주파수 밴드 내의 복수개의 오브젝트 레벨들 중에서 최대값인 최대 오브젝트 레벨로 각각의 오브젝트 레벨을 나눔으로써 생성되는 오브젝트 레벨 정보를 수신하고,
    상기 오브젝트 게인 정보 및 상기 오브젝트 레벨 정보를 이용하여 다운믹스 신호 처리 정보 및 멀티채널 정보를 생성하는 정보 생성부; 및
    상기 멀티채널 정보로 상기 다운믹스 신호를 디코딩하기 위하여, 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호에 포함된 상기 적어도 하나 이상의 오브젝트의 게인 및 패닝 중 하나 이상을 조절하는 다운믹스 신호 처리부를 포함하고,
    상기 오브젝트 게인값은 상기 다운믹스 신호의 생성을 위하여 오브젝트에 적용되는 게인을 나타내며,
    상기 오브젝트 게인율은 상기 다운믹스 신호가 스테레오 이상의 신호인 경우, 상기 다운믹스 신호의 생성시 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키기 위하여 적용되는 게인의 차이를 나타내는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
  8. 제 7 항에 있어서,
    상기 오브젝트 레벨 정보의 개수는 상기 다운믹스 신호에 포함된 상기 오브젝트들의 개수와 동일한 것을 특징으로 하는 오디오 신호의 디코딩 장치.
  9. 삭제
  10. 삭제
  11. 제 7 항에 있어서,
    상기 멀티채널 정보를 이용하여 상기 처리된 다운믹스 신호를 업믹싱하는 멀티채널 디코더를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 장치.
  12. 적어도 하나의 오브젝트로부터 다운믹스 신호를 생성하는 다운믹스 신호 생성부; 및
    상기 다운믹스 신호가 모노 이상인 경우, 오브젝트 게인값을 포함하고, 상기 다운믹스 신호가 스테레오 이상의 신호인 경우, 오브젝트 게인율을 더 포함하는 오브젝트 게인 정보 및 대응 주파수 밴드 내의 복수개의 오브젝트 레벨들 중에서 최대값인 최대 오브젝트 레벨로 각각의 오브젝트 레벨을 나눔으로써 생성되는 상기 오브젝트 레벨 정보를 생성하는 정보 생성부를 포함하고,
    상기 오브젝트 게인값은 상기 다운믹스 신호의 생성을 위하여 오브젝트에 적용되는 게인을 나타내며,
    상기 오브젝트 게인율은 상기 다운믹스 신호가 스테레오 이상의 신호인 경우, 상기 다운믹스 신호의 생성시 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키기 위하여 적용되는 게인의 차이를 나타내는 것을 특징으로 하는 오디오 신호의 인코딩 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
KR1020097012355A 2006-11-15 2007-11-15 오디오 신호의 디코딩 방법 및 그 장치 KR101100221B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US86590806P 2006-11-15 2006-11-15
US60/865,908 2006-11-15
US86908006P 2006-12-07 2006-12-07
US86907706P 2006-12-07 2006-12-07
US60/869,077 2006-12-07
US60/869,080 2006-12-07
US88356707P 2007-01-05 2007-01-05
US60/883,567 2007-01-05
US88971507P 2007-02-13 2007-02-13
US60/889,715 2007-02-13
US95539507P 2007-08-13 2007-08-13
US60/955,395 2007-08-13
PCT/KR2007/005740 WO2008060111A1 (en) 2006-11-15 2007-11-15 A method and an apparatus for decoding an audio signal

Publications (2)

Publication Number Publication Date
KR20090082927A KR20090082927A (ko) 2009-07-31
KR101100221B1 true KR101100221B1 (ko) 2011-12-28

Family

ID=39401874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012355A KR101100221B1 (ko) 2006-11-15 2007-11-15 오디오 신호의 디코딩 방법 및 그 장치

Country Status (11)

Country Link
US (2) US20080269929A1 (ko)
EP (1) EP2092516A4 (ko)
JP (1) JP4838361B2 (ko)
KR (1) KR101100221B1 (ko)
CN (1) CN101536086B (ko)
AU (1) AU2007320218B2 (ko)
BR (1) BRPI0718614A2 (ko)
CA (1) CA2669091C (ko)
HK (1) HK1136380A1 (ko)
MX (1) MX2009005159A (ko)
WO (1) WO2008060111A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8607281B2 (en) 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US8935733B2 (en) 2006-09-07 2015-01-13 Porto Vinci Ltd. Limited Liability Company Data presentation using a wireless home entertainment hub
US9386269B2 (en) 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US9233301B2 (en) 2006-09-07 2016-01-12 Rateze Remote Mgmt Llc Control of data presentation from multiple sources using a wireless home entertainment hub
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
CN101652810B (zh) * 2006-09-29 2012-04-11 Lg电子株式会社 用于处理混合信号的装置及其方法
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
WO2008063035A1 (en) * 2006-11-24 2008-05-29 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
EP2102855A4 (en) * 2006-12-07 2010-07-28 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING AUDIO SIGNAL
AU2008215232B2 (en) * 2007-02-14 2010-02-25 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
WO2009068087A1 (en) * 2007-11-27 2009-06-04 Nokia Corporation Multichannel audio coding
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
US8219408B2 (en) * 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
SG177277A1 (en) * 2009-06-24 2012-02-28 Fraunhofer Ges Forschung Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
WO2011083979A2 (en) 2010-01-06 2011-07-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
CN103050124B (zh) * 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
US9715880B2 (en) 2013-02-21 2017-07-25 Dolby International Ab Methods for parametric multi-channel encoding
US9497560B2 (en) 2013-03-13 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Audio reproducing apparatus and method
EP3668125B1 (en) 2014-03-28 2023-04-26 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
MX365274B (es) * 2015-06-17 2019-05-29 Sony Corp Dispositivo de transmisión, método de transmisión, dispositivo de recepción, y método de recepción.
WO2019143867A1 (en) * 2018-01-18 2019-07-25 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
BR112021025265A2 (pt) 2019-06-14 2022-03-15 Fraunhofer Ges Forschung Sintetizador de áudio, codificador de áudio, sistema, método e unidade de armazenamento não transitória

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1416769A (en) * 1919-06-30 1922-05-23 Int Precipitation Co Process and apparatus for separation of suspended material from gases
EP0079886B1 (en) 1981-05-29 1986-08-27 International Business Machines Corporation Aspirator for an ink jet printer
SG49883A1 (en) 1991-01-08 1998-06-15 Dolby Lab Licensing Corp Encoder/decoder for multidimensional sound fields
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
GB2295072B (en) * 1994-11-08 1999-07-21 Solid State Logic Ltd Audio signal processing
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
AU740617C (en) 1997-06-18 2002-08-08 Clarity, L.L.C. Methods and apparatus for blind signal separation
US6026168A (en) * 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
US6952677B1 (en) * 1998-04-15 2005-10-04 Stmicroelectronics Asia Pacific Pte Limited Fast frame optimization in an audio encoder
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6839438B1 (en) * 1999-08-31 2005-01-04 Creative Technology, Ltd Positional audio rendering
WO2001066008A1 (en) * 2000-03-03 2001-09-13 Cardiac M.R.I., Inc. Magnetic resonance specimen analysis apparatus
KR100809310B1 (ko) * 2000-07-19 2008-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오 서라운드 및/또는 오디오 센터 신호를 구동하기 위한 다중-채널 스테레오 컨버터
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2003066994A (ja) * 2001-08-27 2003-03-05 Canon Inc データ復号装置及びデータ復号方法、並びにプログラム、記憶媒体
US7032116B2 (en) * 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
CN1647156B (zh) * 2002-04-22 2010-05-26 皇家飞利浦电子股份有限公司 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备
ES2323294T3 (es) 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
JP4296753B2 (ja) * 2002-05-20 2009-07-15 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
EP2665294A2 (en) * 2003-03-04 2013-11-20 Core Wireless Licensing S.a.r.l. Support of a multichannel audio extension
DE10321986B4 (de) * 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
US8205385B2 (en) * 2003-06-20 2012-06-26 Konvin Associates Ltd. Dual panel system for controlling the passage of light through architectural structures
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7929708B2 (en) * 2004-01-12 2011-04-19 Dts, Inc. Audio spatial environment engine
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
KR101079066B1 (ko) 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 멀티채널 오디오 코딩
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
ATE557552T1 (de) 2004-07-14 2012-05-15 Koninkl Philips Electronics Nv Verfahren, vorrichtung, kodierer, dekodierer und audiosystem
US20060084916A1 (en) * 2004-07-14 2006-04-20 Taming Lo Self-destruction syringe
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
KR101215868B1 (ko) * 2004-11-30 2012-12-31 에이저 시스템즈 엘엘시 오디오 채널들을 인코딩 및 디코딩하는 방법, 및 오디오 채널들을 인코딩 및 디코딩하는 장치
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
KR101251426B1 (ko) 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
RU2414741C2 (ru) 2005-07-29 2011-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ создания многоканального сигнала
US20070083365A1 (en) * 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP4399835B2 (ja) 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法
KR101396140B1 (ko) 2006-09-18 2014-05-20 코닌클리케 필립스 엔.브이. 오디오 객체들의 인코딩과 디코딩
KR20090013178A (ko) * 2006-09-29 2009-02-04 엘지전자 주식회사 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
AU2007312597B2 (en) 2006-10-16 2011-04-14 Dolby International Ab Apparatus and method for multi -channel parameter transformation

Also Published As

Publication number Publication date
AU2007320218A1 (en) 2008-05-22
EP2092516A4 (en) 2010-01-13
WO2008060111A1 (en) 2008-05-22
CA2669091A1 (en) 2008-05-22
CA2669091C (en) 2014-07-08
CN101536086B (zh) 2012-08-08
KR20090082927A (ko) 2009-07-31
HK1136380A1 (en) 2010-06-25
US20090171676A1 (en) 2009-07-02
CN101536086A (zh) 2009-09-16
US20080269929A1 (en) 2008-10-30
US7672744B2 (en) 2010-03-02
AU2007320218B2 (en) 2010-08-12
JP2010509884A (ja) 2010-03-25
MX2009005159A (es) 2009-05-25
JP4838361B2 (ja) 2011-12-14
EP2092516A1 (en) 2009-08-26
BRPI0718614A2 (pt) 2014-02-25

Similar Documents

Publication Publication Date Title
KR101100221B1 (ko) 오디오 신호의 디코딩 방법 및 그 장치
RU2460155C2 (ru) Кодирование и декодирование звуковых объектов
TWI396187B (zh) 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
EP2437257B1 (en) Saoc to mpeg surround transcoding
JP5134623B2 (ja) 複数のパラメータ的に符号化された音源を合成するための概念
JP5455647B2 (ja) オーディオデコーダ
RU2618383C2 (ru) Кодирование и декодирование аудиообъектов
JP6010176B2 (ja) オーディオ信号のデコーディング方法及びその装置
CN110890101B (zh) 用于基于语音增强元数据进行解码的方法和设备
MX2008012315A (es) Metodos y aparatos para codificar y descodificar señales de audio basados en objeto.
Hotho et al. Multichannel coding of applause signals
RU2417459C2 (ru) Способ и устройство для декодирования аудиосигнала

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 9