KR20090082927A - 오디오 신호의 디코딩 방법 및 그 장치 - Google Patents

오디오 신호의 디코딩 방법 및 그 장치 Download PDF

Info

Publication number
KR20090082927A
KR20090082927A KR1020097012355A KR20097012355A KR20090082927A KR 20090082927 A KR20090082927 A KR 20090082927A KR 1020097012355 A KR1020097012355 A KR 1020097012355A KR 20097012355 A KR20097012355 A KR 20097012355A KR 20090082927 A KR20090082927 A KR 20090082927A
Authority
KR
South Korea
Prior art keywords
information
gain
correlation
downmix signal
level
Prior art date
Application number
KR1020097012355A
Other languages
English (en)
Other versions
KR101100221B1 (ko
Inventor
오현오
정양원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090082927A publication Critical patent/KR20090082927A/ko
Application granted granted Critical
Publication of KR101100221B1 publication Critical patent/KR101100221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Abstract

본 발명은 오디오 신호의 디코딩 방법 및 이의 장치에 관한 것으로, 오브젝트 레벨 정보 및 오브젝트 게인 정보를 포함하는 오브젝트 정보를 이용하여 오디오 신호를 디코딩하는 방법 및 이의 장치를 제공하는데, 상기 오브젝트 게인 정보는 각 다운믹스 채널에 대하여 오브젝트가 포함되는 정도를 변화시킴으로써 다운믹스 신호를 수정하기 위한 정보이다.

Description

오디오 신호의 디코딩 방법 및 그 장치{A METHOD AND AN APPARATUS FOR DECODING AN AUDIO SIGNAL}
본 발명은 오디오 신호의 디코딩 방법 및 그 장치에 관한 것이다. 본 발명은, 더욱 상세하게는 다양한 디지털 매체를 통하여 수신된 오디오 신호를 디코딩하는 방법 및 그 장치에 관한 것이다.
복수개의 오브젝트(object)들을 다운믹싱하여 모노 또는 스테레오 신호를 생성함과 동시에, 각각의 오브젝트들로부터 정보(또는 파라미터들)을 추출할 수 있다. 이러한 정보는 오디오 신호의 디코딩에 이용될 수 있다. 또한, 멀티포인트 제어 유닛(Multipoint Control Unit, MCU)에서의 출력 오디오 신호는 각각의 오브젝트에 대응하는 정보를 이용하여 생성될 수 있다.
멀티포인트 제어 유닛(MCU)은 컨퍼런스 콜(conference call)을 이용하여 원격의 장소로부터 제공된 신호들을 통합하기 위하여 텔레컨퍼런스(teleconference)에서 이용될 수 있는 장치이다. 최근에, 통합(convergence) 기술들이 기술분야에서 각광을 받고 있다.
종래의 멀티포인트 제어 유닛(MCU) 결합부는 멀티 채널 오디오 신호를 수신받아 결합 신호를 생성하였다. 그러나, 멀티 채널 정보만을 갖는 멀티 채널 오디오 신호를 멀티포인트 제어 유닛에서 이용하는 경우, 각각의 채널의 게인 및 패닝은 제어할 수 있으나, 오브젝트의 게인 및 패닝은 제어할 수 없는 단점이 있다.
[기술적 문제]
디코딩 장치는 다운믹스 신호 및 공간 정보를 수신하고, 공간정보를 이용하여 출력 신호를 생성한다. 상기 출력 신호는 사용자 입력 또는 재생 구성과 같은 다른 입력 신호에 기초하여 렌더링될 수 있다. 각각의 오브젝트를 제어하기 위하여, 디코딩 장치는 멀티 오브젝트 신호를 수신하고, 이를 디코딩하기 위하여 처리할 수 있다.
그러나, 모든 멀티 오브젝트 신호를 디코딩하는 방법 및 장치는 넓은 대역폭을 필요로 한다. 따라서, 새로운 멀티 오브젝트 신호를 디코딩하는 방법 및 장치는 넓은 대역폭과 요구사항이 해결되어야 한다. 또한, 채널 기반의 디코딩과의 하위 호환성(backward compatibility)을 위하여, 멀티 채널 정보로 용이하게 변환될 수 있는 (오브젝트에 대응하는) 공간 정보가 필요하다.
[기술적 해결책]
따라서, 본 발명은 상기 기술적 과제를 해결하기 위하여 실질적으로 종래 기술의 문제점을 하나 이상 제거하거나 개선한 오디오 신호의 디코딩 방법 및 장치에 관한 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일실시예에 따른 오디오 신호 처리 방법 및 장치는, 오브젝트 게인 정보 및 오브젝트 레벨 정보를 포함하는 오브젝트 정보를 이용함으로써 오디오 신호를 디코딩하는 방법을 제공하는데, 상기 오브젝트 게인 정보는 각 다운믹스 채널에 대하여 오브젝트가 포함되는 정도를 변화시킴으로써 다운믹스 신호를 수정하기 위한 것이다.
본 발명의 다른 일실시예에 따른 오디오 신호 처리 방법 및 장치는, 멀티포인트 제어 유닛 결합부에서 생성되는 결합 다운믹스 신호 및 결합 오브젝트 정보를 포함하고, 이들은 오브젝트 게인을 조절하여 원격 컨퍼런스 콜 등에서 출력하도록 한다.
부가적인 본 발명의 장점들, 목적들 및 특징들은 후술하는 명세서에 기술될 것이고, 후술된 내용은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있다. 본 발명의 다른 목적들 및 장점들은 첨부된 도면뿐 아니라, 이하에 서술되는 명세서 및 청구항에서 명확하게 설명될 것이다.
[이로운 효과]
본 발명의 다양한 실시예들은 공정 시간 및 요구되는 컴퓨터 자원을 감소시킴으로써 빠르고 효율적으로 멀티 오브젝트 오디오 신호를 디코딩 하는 방법 및 그 장치를 제공하여, 넓은 대역폭과 같은 필요한 요구조건을 완화할 수 있다. 본 발명의 일실시예에 따른 오브젝트 정보들은 채널 기반의 디코딩 장치와의 하위 호환성을 제공할 수도 있다.
본 발명의 이해를 돕기 위하여 포함된 도면들은, 본 발명의 바람직한 실시예들을 도시하고, 상세한 설명과 함께 본 발명을 설명하기 위하여 제공된다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치의 예씨적인 블록도이다.
도 2는 본 발명의 일실시예에 따른 오시오 신호의 디코딩 방법을 도시하는 순서도이다.
도 3은 본 발명의 다른 실시예에 따른 오디오 신호의 디코딩 장치의 예시적인 블록도이다.
도 4는 본 발명의 일실시예에 따른 정보 생성부의 예시적인 블록도이다.
도 5는 본 발명의 일실시예에 따른 오브젝트 게인 정보 생성부의 예시적인 블록도이다.
도 6은 본 발명의 일실시예에 따른 정보 생성부의 예시적인 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이다.
도 8은 본 발명의 일실시예에 따른 멀티포인트 제어 유닛(MCU)의 예시적인 블록도이다.
도 9는 본 발명의 일실시예에 따른 결합 오브젝트 정보 코딩부의 예시적인 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발 명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 디코딩 장치(1000)의 예시적인 블록도이고, 도 3은 본 발명의 다른 실시예에 따른 오디오 신호의 디코딩 장치(2000)의 예시적인 블록도이다.
오디오 신호의 디코딩 장치(1000, 2000)의 두가지 실시예들은 도 1의 오디오 신호 디코딩 장치(1000)가 멀티채널 디코딩부(1300)를 갖지만, 도 2의 오디오 신호 디코딩 장치(2000)는 멀티채널 디코딩부(1300)를 갖지 않는다는 차이점을 갖는다. 정보 생성부(1100, 2100) 및 다운믹스 신호 처리부(1200, 2200)와 같은 다른 구성요소들은 도 1 및 도 3의 오디오 신호 디코딩 장치(1000, 2000)에서 동일하다.
도 1을 참조하면, 오디오 신호의 디코딩 장치(1000)는 정보 생성부(1100), 다운믹스 신호 처리부(1200) 및 멀티채널 디코딩부(1300)를 포함한다. 정보 생성부(1100)는 사용자 입력 또는 비트스트림으로부터 오브젝트 정보(object information) 및 믹스 정보(mix information)를 수신하고, 이를 이용하여 다운믹스 신호 처리 정보(downmix processing information)를 생성한다.
상기 오브젝트 정보는 오브젝트 레벨 정보(object level information), 오브젝트 상관 정보(object correlation information) 및 오브젝트 게인 정보(object gain information)를 포함한다. 상기 오브젝트 레벨 정보는 오브젝트의 레벨 중 하 나인 기준정보를 이용하여 각 오브젝트에 대응하는 오브젝트 레벨을 표준화함으로써 생성될 수 있다. 상기 오브젝트 상관 정보는 두개의 선택된 오브젝트들의 조합으로부터 제공될 수 있다. 상기 오브젝트 게인 정보는 오브젝트 게인값 정보(object gain value information) 및/또는 오브젝트 게인율 정보(object gain ratio information)을 포함한다. 상기 다운믹스 신호 처리 정보는 오브젝트 게인 및 패닝을 조절하기 위한 정보를 포함하고, 이는 다운믹스 신호 처리부(1200)에 입력된다.
다운믹스 신호 처리부(1200)는 상기 다운믹스 신호와 정보 생성부(1100)로부터 다운믹스 신호 처리 정보를 수신한다. 다운믹스 신호 처리부(1200)는 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호를 처리할 수 있으며, 따라서 처리된 다운믹스 신호(processed downmix signal)를 생성한다. 예를 들면, 다운믹스 신호 처리부(1200)는 상기 다운믹스 신호 처리 정보를 상기 다운믹스 신호에 적용하여 상기 다운믹스 신호에 포함된 하나 이상의 오브젝트 게인 및 오브젝트 패닝을 변화시킬 수 있으며, 상기 오브젝트 게인 및 패닝이 변화된 신호인 상기 처리된 다운믹스 신호를 생성할 수 있다.
상기 처리된 다운믹스 신호 멀티 채널 디코딩부(1300)로 입력되어 업믹싱되고, 스피커와 같은 출력 장치에 의하여 출력될 수 있다. 정보 생성부로부터 출력된 멀티채널 정보(multi-channel information)도 멀티채널 디코딩부(1300)로 입력될 수 있다. 본 발명의 일부 실시예에서 멀티채널 디코딩부(1300)는 엠펙 서라운드 시스템(MPEG surround system)의 디코딩부와 동일한 유닛을 이용할 수 있다.
선택적으로, 상기 처리된 다운믹스 신호는 도 2의 디코딩 장치(2000)와 같이 출력 장치에 직접적으로 전송되어 출력될 수 있다. 스피커를 통해 상기 처리된 다운믹스 신호가 직접 출력되기 위하여, 다운믹스 신호 처리부(2200)는 합성 필터 뱅크(synthesis filter bank)의 역할을 할 수 있고, PCM 데이터를 출력할 수 있다. 또한, 상기 처리된 다운믹스 신호를 직접 PCM 신호로 출력하거나 멀티 채널 디코딩부로 입력할지 여부는 사용자 선택에 의하여 결정될 수도 있다.
도 2는 도 1을 참조하여 본 발명의 일실시예에 따른 오디오 신호의 디코딩 방법의 순서도이다. 먼저, 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신받는다(S110). 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 신호 처리 정보를 생성한다(S120). 이후, 처리된 다운믹스 신호는 상기 다운믹스 신호 처리 정보를 이용하여 상기 다운믹스 신호를 처리함으로써 생성된다.
정보 생성부(1100)의 구성은 이하 도 4 내지 도 6을 참조하여 더 상세하게 설명하기로 한다.
1. 오브젝트 정보
1.1 기준 정보 및 오브젝트 레벨 정보
도 4는 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 정보 생성부의 구성을 나타내는 예시적인 블록도이다. 도 4를 참조하면, 정보 생성부(1100)는 오브젝트 정보를 수신하고, 상기 오브젝트 정보를 이용하여 다운믹스 신호 처리 정보를 생성한다.
정보 생성부(1100)는 오브젝트 레벨 정보 디코딩부(1110a), 오브젝트 게인 정보 생성부(1120a) 및 오브젝트 상관 정보 생성부(1130a)를 포함한다.
상기 다운믹스 신호는 복수개의 오브젝트들을 포함하고, 상기 오브젝트들은 각 오브젝트마다 오브젝트 레벨을 갖는다.
상기 오브젝트 레벨 정보는 기준 정보(reference information)를 이용하여 상기 오브젝트 레벨을 표준화함으로써 생성되는데, 상기 기준 정보는 상기 오브젝트 레벨 중 하나일 수 있고, 더 상세하게는, 모든 오브젝트 레벨들 중 가장 큰 오브젝트 레벨일 수 있다.
예를 들면, 상기 다운믹스 신호는 오브젝트 s_i 를 포함하고, 상기 오브젝트 s_i 에 대응하는 오브젝트 레벨은 Ps_i 로 가정한다.
만일 오브젝트 정보를 인코딩함에 따라 오브젝트 레벨 에너지가 전송된다면, 상기 오브젝트 정보는 다음과 같은 정보일 수 있다.
Ps_i는 다양한 방법들을 이용하여 획득될 수 있다. 예를 들면, Ps_i 는 "s_i(n)2" 또는 "E[s_i(n)2]"일 수 있다. Ps_i 는 각 오브젝트 레벨 정보에 대응하는 정보로 전송될 수 있다. 본 명세서에서, "s_i(n)2"는 i번째 오브젝트를 지칭하고, 시간 도메인의 신호이거나 지정된 밴드 내의 서브밴드 신호일 수 있다.
그러나, 만일 각각의 오브젝트에 대응하는 상기 오브젝트 레벨 정보가 그 값 자체로 전송된다면, 상기 오브젝트의 오브젝트 레벨이 큰 범위 내에서 변동되기 때문에 양자화가 어려울 수 있다.
따라서, 상기 오브젝트 레벨 정보는 모든 오브젝트 에너지들 중 가장 큰 오 브젝트 레벨 에너지인 기준 정보를 이용하여 표준화될 수 있다. 만일 상기 기준 정보가 r_1 인 경우, 상기 오브젝트 레벨 정보는 하기 수학식 1 과 같이 전송될 수 있다.
[수학식 1]
E[s_i(n)2]/E[r_i(n)2]
상기 r_1(n) 는 기준 정보이다.
모든 오브젝트 레벨 정보는 1 이하의 범위에 포함된다.
그러므로, 변동 범위는 오디오 신호가 인코딩되기에 충분한 범위일 수 있다. 또한, 상기 오브젝트 레벨 정보는 다른 신호 처리에 이용하기 위하여 기준 정보, 디폴트 정보, 원 오브젝트 레벨 에너지 등을 포함할 수 있다. 상기 오브젝트 레벨 정보는 각각의 오브젝트에 대응하고, 상기 오브젝트 레벨 정보의 개수는 다운믹스 신호에 포함되는 오브젝트의 개수와 동일하다.
1.2 오브젝트 게인 정보
상기 오브젝트 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나 이상을 포함하는 오브젝트 게인 정보를 포함한다. 도 5는 본 발명의 일실시예에 따른 오디오 신호 처리 장치의 예시적인 블록도로, 더 상세하게는, 정보 생성부(1100)의 오브젝트 게인 정보 디코딩부의 예시적인 블록도이다.
오브젝트 게인 정보 생성부(1120a)는 오브젝트 게인값 정보 생성부(1121) 및 오브젝트 게인율 정보 생성부(1122)를 포함한다. 상기 오브젝트 게인 정보는 하나 이상의 채널을 갖는 다운믹스 신호를 생성하기 위하여 하나의 오브젝트를 상기 다운믹스 신호의 각 채널에 포함시키는 것과 관련된다.
1.2.1 오브젝트 게인값 정보
상기 오브젝트 게인값 정보는 오브젝트에 대한 게인값을 포함한다. 본 발명의 일부 실시예에서는, 상기 오브젝트 게인은 상기 처리된 다운믹스 신호의 생성이전에 각각의 오브젝트에 적용된다.
예를 들면, 상기 다운믹스 신호가 복수개의 오브젝트들을 포함하는 경우, 하기 수학식 2와 같이 오브젝트에 대응하는 오브젝트 게인값 정보를 오브젝트 레벨에 곱하여 게인이 적용된 오브젝트를 생성하고, 상기 게인이 적용된 모든 오브젝트들은 상기 처리된 다운믹스 신호를 생성하기 위하여 더하여진다.
[수학식 2]
X = sum{a_i×s_i}
상기 X는 전송되어질 처리된 모노 다운믹스 신호이고, s_i 는 오브젝트 레벨이며, a_i 는 각 다운믹스 채널에 포함시키기 위한 오브젝트의 오브젝트 게인값 정보(게인값)이다.
1.2.2 오브젝트 게인율 정보
상기 오브젝트 게인 정보는 상기 오브젝트 게인값 정보뿐만 아니라, 오브젝트 게인율 정보를 더 포함할 수 있다. 상기 오브젝트 게인율 정보는 상기 처리된 다운믹스 신호의 각 채널에 기여하는 하나의 오브젝트의 게인들 사이의 비율값을 포함한다.
상기 오브젝트 게인율 정보는 다운믹스 신호 처리부(1200)에 의해 상기 다운믹스를 처리하기 위하여 이용될 수 있고, 이로써 모노 또는 스테레오 채널로 전송되는 상기 처리된 다운믹스 신호를 획득할 수 있다. 스테레오 신호인 경우, 상기 처리된 다운믹스 신호는 하기 수학식 3과 같고, 상기 오브젝트 게인율 정보는 하기 수학식 4로부터 획득될 수 있다.
[수학식 3]
x_1 = sum(a_i×b_i}
x_2 = sum(b_i×s_i}
상기 x_1 및 x_2 는 다운믹스 신호의 각 채널 신호이고, s_i 는 오브젝트 레벨이며, a_i 및 b_i 는 각 다운믹스 신호의 채널에 포함되는 오브젝트의 오브젝트 게인값 정보이다.
[수학식 4]
Figure 112009502296300-PCT00001
상기 m_i 는 오브젝트 게인율 정보이다.
오브젝트 게인 정보, 즉, 오브젝트 게인값 정보(a_i,b_i) 및 오브젝트 게인율 정보( m_i) 는 비트스트림에 포함된 오브젝트 게인 정보의 다양한 조합으로 정보 생성부(1100)로 전송될 수 있다. 상기 조합은, 예를 들면, (a_i,b_i),(m_i,a_i),(m_i,b_i)을 포함할 수 있다. 정보 생성부(1100)는 원 오브젝트 정보를 복원하기 위한 상기 조합들을 디코딩할 수 있다. 정보 생성부(1100)에 의해 수행되는 상기 조합들의 디코딩은, 예를 들면, 멀티채널 디코딩부(1300)와 같은 다른 디코딩부에서 채택될 수 있음은 당업자에게 이해될 수 있다.
상기 오브젝트 게인 정보가 정보 생성부(1100)에 오브젝트 게인값 정보(a_i,b_i)의 조합으로 전송될 때, 상기 오브젝트 게인값 정보는 조정될 수 있다. 만일 b_i 가 1로 조정되도록 규정되어 있는 경우, a_i 만이 오브젝트 게인 정보로 전송될 수 있다. 이 경우에도, 정보 생성부(1100)는 규정에 따라 원 오브젝트 정보를 복원할 수 있다. 상기 오브젝트 게인값을 조정함에 따라, 정보 생성부(1100)로 전송되는 정보의 개수가 줄어들 수 있다.
선택적으로, 상기 오브젝트 게인율 정보(m_i)는 하기 수학식 5와 같은 다양한 방법으로 획득될 수 있다.
[수학식 5]
Figure 112009502296300-PCT00002
(α,β 는 분자, 분모가 0에 가까워지는 것을 방지하기 위한 아주 작은 수이다.)
오브젝트 게인율 정보가 s_i 를 포함하는 경우, s_i 와 m_i 값이 동일하면 m_i 는 동일한 값인 s_i 을 포함하지 않을 수 있다. 예를 들면, 1) a_i = 0.5,b_i = 0.5 , 2) a_i = 2,b_i = 2 인 경우, 1), 2) 모두 1의 m_i 값을 갖는다. 그러나, 두 경우의 a_i,b_i 는 상이한 값을 갖는다.
각 채널을 통하여 전송되는 상기 처리된 다운믹스 신호를 획득하기 위하여, 새로운 방법에서는 하기 수학식 6이 이용될 수 있다.
[수학식 6]
x_1 = sum{a_i'(n)×s_i'(n)}
x_2 = sum{b_i'(n)×s_i'(n)}
상기 a_i' 및 b_i'(n)는 다음 조건을 만족하는 값들이다
( a_i'+b_i'= C , a_i'2+b_i'2= C 또는 (a_i'= C 또는 b_i'= C )이고, 상기 s_i'= g_i×s_i 이다.)
마지막으로, 상기 오브젝트 게인율 정보는 m_i'(= a_i'/b_i') 로 전송되므로, 정보 생성부(1100)로 전송되는 정보의 개수가 감소할 수 있다. 오디오 신호 디코딩 장치(1000, 2000)에서의 오디오 신호의 왜곡을 방지하기 위하여 m_i 가 전송될 수도 있다.
1.3 오브젝트 상관 정보
도 4를 참조하면, 정보 생성부(1100)는 오브젝트 상관 정보(object correlation information)를 수신한다. 상기 오브젝트 상관 정보는 두 개의 오브젝트간에 추정되고 상기 두 개의 오브젝트간의 상관도 또는 일관성을 나타낸다.
두 개의 오브젝트가 동일한 오브젝트의 채널( obj L ,obj R )로 서로 다른 채널을 통해 전송되는 경우에 상기 오브젝트 상관 정보가 존재할 수 있다.
첫째로, 오브젝트가 스테레오 오브젝트라면, 상기 스테레오 오브젝트는 다운믹싱되어 모노 오브젝트를 생성하고, 스테레오 오브젝트의 채널들 사이의 관계를 나타내는 자손 오브젝트 정보(descendant object information)를 생성할 수 있다. 본 명세서에서는, 상기 첫 번째 방법을 "모노 방식(mono method)"라고 지칭한다. 이 경우, 모노 오브젝트의 오브젝트 레벨을 이용하여 오브젝트 레벨 정보가 생성될 수 있다.
둘째로, 스테레오 오브젝트를 두 개의 별도의 모노 오브젝트로 인지하는 방법이 있다. 이 경우, 상기 두 개의 별도의 모노 오브젝트의 레벨을 이용하여 오브젝트 레벨 정보가 생성된다. 본 명세서에서는, 상기 두 번째 방법을 "스테레오 방식(stereo method)"라고 지칭한다. 상기 두 번째 방법을 이용하여 전송되는 정보의 양은 상기 첫 번째 방법을 이용하는 경우보다 크게 된다.
스테레오 오브젝트를 처리하기 위하여, 예를 들면, 각각의 모노 오브젝트와 같이, 스테레오 오브젝트 중 첫번째 채널 신호를 s_i 로, 두번째 채널 신호를 s_j 이라고 할 수 있다.
상기 채널 신호들의 오브젝트 레벨은 Ps_i,Ps_j 일 수 있다.
스테레오 오브젝트의 경우, 동일한 오브젝트의 왼쪽 채널 및 오른쪽 채널에 해당하는 오브젝트( s_i,s_j )를 나타내는 오브젝트 정보들은 서로 유사하기 때문에, 상기 오브젝트 상관 정보는 상기 오브젝트 정보들의 유사성을 나타내기 위하여 이용될 수 있다.
상기 오브젝트 상관 정보는 대표값으로 채널 신호의 파워값 중 하나를 포함 한다. 예를 들면, 채널 신호의 파워값은 스테레오 오브젝트의 왼쪽 채널 및 하기 수학식 7과 같이 대표값을 이용하여 표준화된 파워값일 수 있다.
[수학식 7]
Figure 112009502296300-PCT00003
오브젝트 정보의 전송 비트수를 줄이기 위해, 상기 오브젝트 상관 정보를 이용하는 것이 효율적이다.
한편, 상기 오브젝트 상관 정보는 하기 수학식 8과 같이 대표값을 이용하여 생성될 수 있다.
[수학식 8]
Figure 112009502296300-PCT00004
상기 오브젝트 상관 정보는 오브젝트 사이의 연관성을 나타내므로, 상기 오브젝트가 멀티채널 오브젝트 또는 스테레오 오브젝트의 두개의 채널 오브젝트인지, 다시 말해, 각각의 오브젝트가 동일한 오브젝트의 각기 다른 채널 오브젝트인지를 나타낸다.
또한, 상기 두 개의 오브젝트의 연관성과 관련하여, 다른 정보가 이용될 수도 있다.
상기 다른 정보는 하기 수학식 9와 같이 스테레오 오브젝트의 합 또는 차 신 호를 포함할 수 있다.
[수학식 9]
Figure 112009502296300-PCT00005
상기 M 및 Ps_M 를 포함하는 상기 오브젝트 상관 정보는 전송 효율을 향상시키고, 에러(error)를 수정하는 것이 쉬울 수 있다.
오브젝트 정보의 비트율을 감소시키기 위하여 상기 오브젝트 상관 정보의 수는 상기 동일한 오브젝트에 따라 다양하게 채택될 수 있다. 오브젝트가 스테레오 또는 멀티채널 오브젝트의 일부인지를 나타내는 상관 플래그 정보(correlation_flag)는 오브젝트 정보로부터 수신될 수 있다. 상기 상관 플래그 정보는 상기 오브젝트 정보에 포함되어 정보 생성부(1100)에서 수신될 수 있다.
상기 상관 플래그 정보의 의미는 하기 표 1과 같다.
[표 1]
Figure 112009502296300-PCT00006
상관 플래그 정보가 0인 경우, 상기 오브젝트 상관 정보는 오브젝트 상관 정보 디코딩부(1130a)에 전송되지 아니한다. 만일 상기 상관 플래그 정보가 디코딩 장치(1000, 2000)에 전송되지 아니하는 경우에는, 다운믹스 신호의 처리를 위하여 설정값이 이용될 수 있다.
반면, 상기 상관 플래그 정보가 1인 경우는 선택된 두 개의 오브젝트들의 유사성을 나타내는 상기 오브젝트 상관 정보가 오브젝트 상관 정보 디코딩부(1130a)에 전송된다.
또한, 상기 오브젝트 정보는 별도로 기준 정보를 더 포함할 수 있다. 상기 기준 정보가 존재하는 경우, 상기 기준 정보는 멀티포인트 제어 유닛 결합부(MCU combiner)를 위한 식별자일 수 있다.
본 발명에 따른 오디오 신호의 인코딩 방법은, 멀티 오브젝트 오디오 신호를 수신하는 단계; 및 다운믹스 신호 및 오브젝트 정보를 생성하는 단계를 포함하고, 상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 게인 정보 및 오브젝트 상관 정보를 포함한다. 상기 오브젝트 레벨 정보, 상기 오브젝트 게인 정보 및 상기 오브젝트 상관 정보는 전술한 바와 같은 방법으로 생성된다. 본 발명에 따른 오디오 신호의 인코딩 방법은 상기의 방법에 한정되지 아니한다.
또한, 본 발명에 따른 오디오 신호의 인코딩 장치는 멀티 오브젝트 오디오 신호로부터 다운믹스 신호를 생성하는 다운믹싱부 및 상기 멀티 오브젝트 오디오 신호로부터 오브젝트 레벨 정보, 오브젝트 게인 정보 및 오브젝트 상관 정보를 포함하는 오브젝트 정보를 추출하는 오브젝트 정보 생성부를 포함한다. 상기 오디오 신호의 인코딩 장치도 전술한 내용에 한정되지는 아니한다.
2. 멀티포인트 제어 유닛 결합부 (MCU combiner)
멀티 오브젝트 신호를 포함하는 오디오 신호는 멀티포인트 제어 유닛 결합부에서 이용되어 오브젝트의 게인을 조절하고, 원격의 컨퍼런스 장치로 출력될 수 있다. 멀티 오브젝트 신호를 포함하는 오디오 신호를 이용하는 경우, 각 오브젝트 신호의 특성에 대응하여 오브젝트의 게인 및 패닝(panning)을 조절하는 것이 효과적이다.
예를 들면, 멀티 채널 오디오 신호는 보컬 신호, 배경 음악(BMG) 및 나레이션(narration) 소리를 포함할 수 있다. 이 경우, 필요에 따라, 청취자가 보컬 신호 및 나레이션 소리 없이 배경 음악만을 이용하거나 들으려고 할 때, 또는 텔레컨퍼런스(teleconference)를 이용하여 대화하려고 할 때, 특정 오브젝트만을 삭제하거나 제어할 수 없다. 이러한 경우, 멀티 오브젝트 신호를 포함하는 오디오 신호를 이용하면 상기 문제점을 해결할 수 있다.
또한, 본 발명에 따른 디코딩 방법은 오브젝트 정보를 이용하여 개선된 가라오케 시스템에 이용될 수 있다.
도 6은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이다. 도 6을 참조하면, 오디오 신호의 처리 장치는 제 1 인코더(3100), 제 2 인코더(4100), 멀티포인트 제어 유닛 결합부(5100) 및 다운믹싱부(5200)를 포함하는 결합부(5000)를 포함한다. 제 1 인코더(3100) 및 제 2 인코더(4100)는 각각 제 1 오디오 신호 및 제 2 오디오 신호를 수신할 수 있고, 제 1 인코더(3100)에서는 제 1 다운믹스 신호 및 제 1 오브젝트 정보를 생성하며, 제 2 인코더(4100)에서는 제 2 다운믹스 신호 및 제 2 오브젝트 정보를 생성할 수 있다.
결합부(5000)는 제 1 인코더(3100)로부터 상기 제 1 다운믹스 신호 및 상기 제 1 오브젝트 정보를 수신하고, 제 2 인코더(4100)에서는 상기 제 2 다운믹스 신호 및 상기 제 2 오브젝트 정보를 수신하여, 결합 다운믹스 신호 및 결합 오브젝트 정보를 생성한다.
결합부(5000)의 출력 신호인 상기 결합 다운믹스 신호는 일반적인 다운믹싱부를 이용하여 생성될 수 있다. 그러므로, 다운믹싱부(5200)의 상세한 설명은 생략하기로 한다.
2.1 결합 오브젝트 정보
도 7은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이고, 더 상세하게는 멀티포인트 제어 유닛 결합부(8100)의 예시적인 블록도이다. 도 7를 참조하면, 멀티포인트 제어 유닛 결합부(5100)는 제 1 오브젝트 정보, 제 2 오브젝트 정보 및 제어 정보를 이용하여 결합 오브젝트 정보를 생성하기 위하여 배치될 수 있다. 상기 결합 오브젝트 정보는 제 1 인코더(3100)로부터 출력된 제 1 다운믹스 신호와 제 2 인코더(4100)로부터 출력된 제 2 다운믹스 신호에 대응하는 모든 정보를 포함한다.
멀티포인트 제어 유닛 결합부(5100)는 오브젝트 정보 디코딩부(5110) 및 결합 오브젝트 정보 인코딩부(5120)를 포함한다. 오브젝트 정보 디코딩부(5110)는 제 1 인코더(3100)로부터 제 1 오브젝트 정보와 제 2 인코더(4100)로부터 제 2 오브젝트 정보를 수신하고, 제 1 기준 값, 제 1 오브젝트 레벨 정보, 제 1 오브젝트 게인 정보, 제 2 기준값, 제 2 오브젝트 레벨 정보 및 제 2 오브젝트 게인 정보를 생성 하도록 배치될 수 있다. 상기 기준값, 상기 오브젝트 레벨 정보 및 상기 오브젝트 게인 정보는 도 1 내지 도 6에서의 설명과 동일하다. 그러므로, 이러한 정보들을 생성하는 방법의 상세한 설명은 생략하기로 한다.
또한, 멀티포인트 제어 유닛 결합부(5100)는 입력 신호의 제한없이 복수 개의 인코더로부터 적어도 두 개의 오브젝트 정보를 수신받아, 결합 다운믹스 신호에 대응하는 여러 개의 정보를 포함하는 결합 오브젝트 정보를 생성할 수 있다.
2.2 제어 정보
도 8은 본 발명의 일실시예에 따른 오디오 신호의 처리 장치의 예시적인 블록도이고, 더 상세하게는 결합 오브젝트 정보 인코딩부(5120)의 예시적인 블록도이다. 도 8을 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 상기 정보들(제 1 오브젝트 정보 및 제 2 오브젝트 정보) 및 사용자 조절로부터 제어 정보(control information)을 입력받아, 결합 오브젝트 정보를 생성하기 위해 배치될 수 있다.
상기 제어 정보는 상기 제 1 제어 정보 및 상기 제 2 제어 정보를 처리할 수 있고, 결합 오브젝트 정보 인코딩부(5120)에서 상기 제 1 제어 정보 및 상기 제 2 제어 정보의 조합에 적용될 수 있다. 상기 결합 오브젝트 정보는 상기 제어 정보로 처리되어 생성될 수 있으며, 상기 제어 정보는 결합 오브젝트 정보에 대응하여 결합하는 오브젝트들을 나타내고, 상기 오브젝트 정보의 조합에서 오브젝트 게인이 조절되는 것을 나타낸다.
상기 제어 정보는 오브젝트 제어 정보, 게인 제어 정보 및 목적지 정보를 포함하며, 이들에 대하여 이하에서 설명할 것이다.
2.2.1 오브젝트 제어 정보
상기 오브젝트 제어 정보는 상기 결합 오브젝트 정보를 생성하기 위한 타겟 오브젝트(target object)를 결정할 수 있다. 상기 오브젝트 제어 정보는 제 1 오브젝트 정보 또는 제 2 오브젝트 정보에 대응하는 오브젝트의 필요한 집합을 결정할 수 있다.
상기 오브젝트 제어 정보는 오브젝트 레벨 정보 인코딩부(5112)에서 상기 오브젝트 레벨 정보에 적용되어 결합 오브젝트 레벨 정보를 생성할 수 있으며, 상기 결합 오브젝트 레벨 정보는 상기 오브젝트 제어 정보에 의해 결정되는 일부 오브젝트들에 대한 정보를 포함할 수 있고, 여러가지 목적에 따라 이용될 수 있다.
예를 들면, 제 1 오브젝트 정보는 보컬, 피아노, 기타 오브젝트를 포함하는 음악 신호를 포함할 수 있다. 상기 음악 신호로부터 피아노, 기타, 바이올린 오브젝트를 포함하는 오디오 신호를 생성하기 위하여, 상기 오브젝트 제어 정보 및 사용자 제어를 이용하여 보컬 오브젝트가 없는 결합 오브젝트 정보를 획득할 수 있다.
2.2.2 게인 제어 정보
오브젝트 게인 정보 인코딩부(5113)는 제 1 오브젝트 정보로부터 제 1 게인 정보, 제 2 오브젝트 정보로부터 제 2 게인 정보, 게인 제어 정보 및 목적지 정보를 수신하여 결합 오브젝트 게인 정보를 생성하도록 배치될 수 있다.
상기 게인 제어 정보는 멀티포인트 제어 유닛 결합부에서 오브젝트 게인을 조절하기 위해 이용될 수 있다. 오브젝트 레벨 정보 인코딩부(5122)에서 결합 오브 젝트 레벨 정보에 이용되는 오브젝트를 선택하는 오브젝트 제어 정보와 달리, 상기 게인 제어 정보는 오브젝트 게인 정보 인코딩부(5123)에서 이용될 수 있다. 상기 게인 제어 정보는 0 내지 1 의 범위 내의 값일 수 있다.
2.2.3 목적지 정보
상기 게인 제어 정보의 범위 내에서, 만일 오브젝트에 대응하는 상기 게인 제어 정보가 0이라면, 상기 오브젝트에 대한 오브젝트 정보는 결합 오브젝트 정보에 포함되지 않는다. 상기 게인 제어 정보가 0 또는 1 인 경우, 상기 게인 제어 정보는 목적지 정보(destination information)이라고 지칭한다. 상기 목적지 정보는 0 또는 1 의 값을 갖는 특정 게인 제어 정보를 포함하고, 결합된 다운믹스 신호가 출력될 목적지를 나타내는 식별자를 포함한다.
상기 목적지 정보는, 예를 들면, 속삭임 모드(whisper mode), 비밀 회의(secret meeting)과 같이 특별한 모드를 위해 이용될 수 있으며, 오브젝트의 사용을 제어하기 위하여 이용될 수 있다.
도 8을 참조하면, 상기 목적지 정보는 오브젝트 게인 정보 인코딩부(5123)에 입력될 수 있고, 결합 오브젝트 정보의 오브젝트 게인을 조절하기 위하여 제 1 오브젝트 게인 정보 및 제 2 오브젝트 게인 정보에 적용될 수 있다. 만일 멀티포인트 제어 유닛 결합부가 3 개의 포트를 갖는다면, 상기 목적지 정보는 각 출력 포트에 대응하는 각각의 게인값(예를 들어, 0 또는 1)을 포함할 수 있다.
상기 게인 조절 정보 및 상기 목적지 정보는 오브젝트 게인 정보 인코딩부(5123)에 동시에 입력되거나 별도로 입력될 수 있다.
2.3 결합 오브젝트 정보를 생성하는 방법
도 8는 결합 오브젝트 정보 인코딩부(5120)의 예시적인 블록도이다. 도 8을 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 제 1 기준값(reference value_1), 제 2 기준값(reference value_2), 제 1 오브젝트 레벨 정보, 제 2 오브젝트 레벨 정보, 제 1 오브젝트 게인 정보, 제 2 오브젝트 게인 정보, 오브젝트 제어 정보, 게인 제어 정보 및 목적지 정보를 수신하고, 상기 정보들을 이용하여 결합 오브젝트 정보를 생성한다.
2.3.1 기준 정보의 선정
도 8을 다시 참조하면, 결합 오브젝트 정보 인코딩부(5120)는 기준값 생성부(5121), 오브젝트 레벨 정보 인코딩부(5122) 및 오브젝트 게인 정보 인코딩부(5123)를 포함한다.
결합 오브젝트 정보를 생성하기 위해, 먼저, 상기 결합 오브젝트 정보의 기준 정보를 추정하여야 한다. 각각의 오브젝트 정보는 각 오브젝트의 레벨을 표준화하고, 오브젝트 레벨 정보를 생성하기 위한 기준 정보를 포함할 수 있다. 그러나, 결합 오브젝트 정보를 생성하기 위하여 적어도 두 개의 오브젝트 정보들이 결합하는 경우, 상기 결합 오브젝트 정보는 결합 오브젝트 레벨 정보를 구성하는 오브젝트 레벨을 표준화하기 위한 기준 정보를 결정한다.
상기 결합 오브젝트 정보의 기준 정보는 여러가지 방법들에 의하여 결정될 수 있다. 예를 들면, 상기 기준 정보는 (제 1 오브젝트 정보에 포함된) 제 1 기준 정보이거나 각각의 오브젝트 정보의 기준 정보들 중 가장 큰 값일 수 있다.
상기 기준 정보를 변경하는 대신, 결합 오브젝트 정보는 각각의 오브젝트 정보의 오브젝트 레벨 정보를 이용할 수 있다.
2.3.2 결합 오브젝트 정보의 오브젝트 레벨 정보
기준 정보 생성부(5121)는 상기와 같은 방법으로 결합 오브젝트 정보의 기준 정보를 추정한다. 결합 오브젝트 정보의 기준 정보가 변경되기 전에는, 오브젝트 레벨 정보_i 는 기준 정보_i로 표준화된다.
상기 오브젝트 정보_1의 오브젝트 레벨 정보는 하기 수학식 10과 같이, 결합 오브젝트 정보의 오브젝트 레벨 정보는 하기 수학식 11과 같이 가정한다.
[수학식 10]
Figure 112009502296300-PCT00007
(상기 OL_1n 는 오브젝트 정보_1의 오브젝트 레벨 정보이고, EO_1n 는 오브젝트 정보_1의 n번째 오브젝트 레벨 에너지이다.)
[수학식 11]
Figure 112009502296300-PCT00008
(상기 OL_k는 결합 오브젝트 정보의 k번째 오브젝트 레벨 정보이다.)
2.3.2 오브젝트 게인 정보
오브젝트 게인 정보 인코딩부(5123)는 제 1 오브젝트 게인 정보, 제 2 오브젝트 게인 정보, 게인 조절 정보 및 목적지 정보를 수신하여 오브젝트 게인 정보를 생성한다. 상기 목적지 정보가 오브젝트 정보의 켜짐/꺼짐을 나타내는 경우, 즉, 상기 목적지 정보가 0 또는 1인 경우, 상기 오브젝트 게인 정보는 0 또는 1 일 수 있다. 상기 게인 조절 정보가 사용자 제어로부터 입력되면, 상기 게인 조절 정보를 이용하여 상기 제 1 오브젝트 게인 정보 및 상기 제 2 오브젝트 게인 정보가 수정될 수 있다.
2.3.3 오브젝트 상관 정보
오브젝트 상관 정보는 스테레오 오브젝트 또는 멀티채널 오브젝트의 채널들 간의 유사도/비유사도를 나타낸다. 따라서, 상기 오브젝트 상관 정보는 멀티포인트 제어 유닛 결합부(5100)에서 오브젝트 정보가 결합되는 것에 영향을 받을 수 있다.
결합 오브젝트 정보의 오브젝트 상관 정보는 오브젝트 정보_i의 오브젝트 상관 정보를 그대로 포함할 수 있다.
이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명은 오디오 신호의 인코딩 및 디코딩에 이용할 수 있다.

Claims (21)

  1. 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하는 단계로, 상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 상관 정보 및 오브젝트 게인 정보를 포함하고, 상기 오브젝트 레벨 정보는 기준 정보로 오브젝트 레벨 중 하나를 이용하여 오브젝트에 대응하는 오브젝트 레벨을 표준화하여 생성되고, 상기 오브젝트 상관 정보는 두 개의 선택된 오브젝트들의 조합으로부터 공급되고, 상기 오브젝트 게인 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나를 포함하고;
    상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 처리 정보를 생성하는 단계; 및
    상기 다운믹스 처리 정보를 이용하여 상기 다운믹스 신호를 처리하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  2. 제 1 항에 있어서,
    상기 기준 정보는 상기 모든 오브젝트 레벨 중 가장 큰 오브젝트 레벨을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  3. 제 1 항에 있어서,
    상기 오브젝트 레벨 정보의 수는 상기 다운믹스 신호에 포함된 상기 오브젝 트의 수와 동일한 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  4. 제 1 항에 있어서,
    상기 오브젝트 상관 정보는 서로 다른 채널을 통해 전송되는 동일한 기원의 오브젝트를 나타내는 연관 정보를 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  5. 제 1 항에 있어서,
    상기 오브젝트 상관 정보는 상관 플래그 정보에 기초하여 존재하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  6. 제 1 항에 있어서,
    상기 오브젝트 상관 정보는 상관 플래그 정보에 기초하는 디폴트 값을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  7. 제 1 항에 있어서,
    상기 오브젝트 게인값 정보는 상기 다운믹스 신호의 생성을 위하여 상기 오브젝트에 적용되는 게인값을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  8. 제 1 항에 있어서,
    상기 오브젝트 게인율 정보는 상기 다운믹스 신호의 적어도 두 채널 이상에 상대적으로 포함되는 게인율을 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  9. 제 1 항에 있어서,
    상기 오브젝트 정보는 상기 기준 정보를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  10. 제 1 항에 있어서,
    상기 오브젝트 정보는 상관 플래그 정보를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  11. 제 1 항에 있어서,
    출력 신호로서 상기 처리된 다운믹스 신호를 획득하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  12. 제 1 항에 있어서,
    멀티 채널 정보를 이용하여 상기 처리된 다운믹스 신호를 업믹싱하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  13. 제 1 항에 있어서,
    상기 다운믹스 신호는 방송신호로 수신된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  14. 제 1 항에 있어서,
    상기 다운믹스 신호는 디지털 매체를 통해 수신된 것을 특징으로 하는 오디오 신호의 디코딩 방법.
  15. 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하는 단계로, 상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 상관 정보 및 오브젝트 게인 정보를 포함하고, 상기 오브젝트 레벨 정보는 기준 정보로 오브젝트 레벨 중 하나를 이용하여 오브젝트에 대응하는 오브젝트 레벨을 표준화하여 생성되고, 상기 오브젝트 상관 정보는 두 개의 선택된 오브젝트들의 조합으로부터 공급되고, 상기 오브젝트 게인 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나를 포함하고;
    상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 처리 정보를 생성하는 단계; 및
    상기 다운믹스 처리 정보를 이용하여 상기 다운믹스 신호를 처리하는 단계를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  16. 다운믹스 신호, 오브젝트 정보 및 믹스 정보를 수신하고 상기 오브젝트 정보 및 상기 믹스 정보를 이용하여 다운믹스 처리 정보를 생성하는 정보 생성부로, 상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 상관 정보 및 오브젝트 게인 정보를 포함하고, 상기 오브젝트 레벨 정보는 기준 정보로 오브젝트 레벨 중 하나를 이용하여 오브젝트에 대응하는 오브젝트 레벨을 표준화하여 생성되고, 상기 오브젝트 상관 정보는 두 개의 선택된 오브젝트들의 조합으로부터 공급되고, 상기 오브젝트 게인 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나를 포함하고; 및
    상기 다운믹스 신호 및 상기 다운믹스 처리 정보를 수신하고, 상기 다운믹스 처리 정보를 이용하여 상기 다운믹스 신호를 처리하는 다운믹스 신호 처리부를 포함하는 오디오 신호의 처리 장치.
  17. 멀티 오브젝트 오디오 신호를 수신하는 단계; 및
    다운믹스 신호, 오브젝트 정보 및 믹스 정보를 생성하는 단계를 포함하고,
    상기 오브젝트 정보는 오브젝트 레벨 정보, 오브젝트 상관 정보 및 오브젝트 게인 정보를 포함하고, 상기 오브젝트 레벨 정보는 기준 정보로 오브젝트 레벨 중 하나를 이용하여 오브젝트에 대응하는 오브젝트 레벨을 표준화하여 생성되고, 상기 오브젝트 상관 정보는 두 개의 선택된 오브젝트들의 조합으로부터 공급되고, 상기 오브젝트 게인 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호의 인코딩 방법.
  18. 제 17 항에 있어서,
    상기 기준 정보는 상기 모든 오브젝트 레벨 중 가장 큰 오브젝트 레벨을 포함하는 것을 특징으로 하는 오디오 신호의 인코딩 방법.
  19. 제 17 항에 있어서,
    상기 오브젝트 레벨 정보의 수는 상기 다운믹스 신호에 포함되는 상기 오브젝트들의 수와 동일한 것을 특징으로 하는 오디오 신호의 인코딩 방법.
  20. 제 17 항에 있어서,
    상기 오브젝트 상관 정보는 서로 다른 채널을 통해 전송되는 동일한 기원의 오브젝트를 나타내는 연관 정보를 포함하는 것을 특징으로 하는 오디오 신호의 인코딩 방법.
  21. 멀티 오브젝트 오디오 신호로부터 다운믹스 신호를 생성하는 다운믹싱부; 및
    상기 멀티 오브젝트 오디오 신호로부터 오브젝트 레벨 정보, 오브젝트 게인 정보 및 오브젝트 상관 정보를 포함하는 오브젝트 정보를 생성하는 오브젝트 정보 생성부를 포함하고,
    상기 오브젝트 레벨 정보는 기준 정보로 오브젝트들 중 하나를 이용하여 오 브젝트에 대응하는 오브젝트 레벨을 표준화함으로써 생성되고, 상기 오브젝트 상관 정보는 두 개의 선택된 오브젝트들의 조합으로부터 공급되며, 상기 오브젝트 게인 정보는 오브젝트 게인값 정보 및 오브젝트 게인율 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호의 인코딩 장치.
KR1020097012355A 2006-11-15 2007-11-15 오디오 신호의 디코딩 방법 및 그 장치 KR101100221B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US86590806P 2006-11-15 2006-11-15
US60/865,908 2006-11-15
US86907706P 2006-12-07 2006-12-07
US86908006P 2006-12-07 2006-12-07
US60/869,080 2006-12-07
US60/869,077 2006-12-07
US88356707P 2007-01-05 2007-01-05
US60/883,567 2007-01-05
US88971507P 2007-02-13 2007-02-13
US60/889,715 2007-02-13
US95539507P 2007-08-13 2007-08-13
US60/955,395 2007-08-13
PCT/KR2007/005740 WO2008060111A1 (en) 2006-11-15 2007-11-15 A method and an apparatus for decoding an audio signal

Publications (2)

Publication Number Publication Date
KR20090082927A true KR20090082927A (ko) 2009-07-31
KR101100221B1 KR101100221B1 (ko) 2011-12-28

Family

ID=39401874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097012355A KR101100221B1 (ko) 2006-11-15 2007-11-15 오디오 신호의 디코딩 방법 및 그 장치

Country Status (11)

Country Link
US (2) US20080269929A1 (ko)
EP (1) EP2092516A4 (ko)
JP (1) JP4838361B2 (ko)
KR (1) KR101100221B1 (ko)
CN (1) CN101536086B (ko)
AU (1) AU2007320218B2 (ko)
BR (1) BRPI0718614A2 (ko)
CA (1) CA2669091C (ko)
HK (1) HK1136380A1 (ko)
MX (1) MX2009005159A (ko)
WO (1) WO2008060111A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386269B2 (en) 2006-09-07 2016-07-05 Rateze Remote Mgmt Llc Presentation of data on multiple display devices using a wireless hub
US8607281B2 (en) 2006-09-07 2013-12-10 Porto Vinci Ltd. Limited Liability Company Control of data presentation in multiple zones using a wireless home entertainment hub
US9319741B2 (en) 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US9233301B2 (en) 2006-09-07 2016-01-12 Rateze Remote Mgmt Llc Control of data presentation from multiple sources using a wireless home entertainment hub
US8935733B2 (en) 2006-09-07 2015-01-13 Porto Vinci Ltd. Limited Liability Company Data presentation using a wireless home entertainment hub
US20100040135A1 (en) * 2006-09-29 2010-02-18 Lg Electronics Inc. Apparatus for processing mix signal and method thereof
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
EP2095365A4 (en) * 2006-11-24 2009-11-18 Lg Electronics Inc METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF
CN101632117A (zh) * 2006-12-07 2010-01-20 Lg电子株式会社 用于解码音频信号的方法和装置
EP2115739A4 (en) * 2007-02-14 2010-01-20 Lg Electronics Inc METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
US20110282674A1 (en) * 2007-11-27 2011-11-17 Nokia Corporation Multichannel audio coding
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
US8219408B2 (en) * 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
US8666752B2 (en) * 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
BRPI1009648B1 (pt) * 2009-06-24 2020-12-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V decodificador de sinal de áudio, método para decodificador um sinal de áudio e programa de computador com o uso de etapas de processamento de objeto de áudio em cascata
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
CN102792378B (zh) * 2010-01-06 2015-04-29 Lg电子株式会社 处理音频信号的设备及其方法
CN103050124B (zh) * 2011-10-13 2016-03-30 华为终端有限公司 混音方法、装置及系统
CN105074818B (zh) * 2013-02-21 2019-08-13 杜比国际公司 音频编码系统、用于产生比特流的方法以及音频解码器
JP5591423B1 (ja) 2013-03-13 2014-09-17 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
WO2015147619A1 (ko) 2014-03-28 2015-10-01 삼성전자 주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
BR112017002758B1 (pt) * 2015-06-17 2022-12-20 Sony Corporation Dispositivo e método de transmissão, e, dispositivo e método de recepção
US11322164B2 (en) * 2018-01-18 2022-05-03 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1416769A (en) * 1919-06-30 1922-05-23 Int Precipitation Co Process and apparatus for separation of suspended material from gases
JPS58500606A (ja) 1981-05-29 1983-04-21 インタ−ナシヨナル・ビジネス・マシ−ンズ・コ−ポレ−シヨン インクジエツト・プリンタ用アスピレ−タ−
EP0520068B1 (en) 1991-01-08 1996-05-15 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
GB2295072B (en) * 1994-11-08 1999-07-21 Solid State Logic Ltd Audio signal processing
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
AU740617C (en) 1997-06-18 2002-08-08 Clarity, L.L.C. Methods and apparatus for blind signal separation
US6026168A (en) * 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
US6952677B1 (en) * 1998-04-15 2005-10-04 Stmicroelectronics Asia Pacific Pte Limited Fast frame optimization in an audio encoder
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6839438B1 (en) * 1999-08-31 2005-01-04 Creative Technology, Ltd Positional audio rendering
WO2001066008A1 (en) * 2000-03-03 2001-09-13 Cardiac M.R.I., Inc. Magnetic resonance specimen analysis apparatus
EP2299735B1 (en) * 2000-07-19 2014-04-23 Koninklijke Philips N.V. Multi-channel stereo-converter for deriving a stereo surround and/or audio center signal
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
JP2003066994A (ja) * 2001-08-27 2003-03-05 Canon Inc データ復号装置及びデータ復号方法、並びにプログラム、記憶媒体
US7032116B2 (en) * 2001-12-21 2006-04-18 Intel Corporation Thermal management for computer systems running legacy or thermal management operating systems
BRPI0304542B1 (pt) * 2002-04-22 2018-05-08 Koninklijke Philips Nv “Método e codificador para codificar um sinal de áudio de multicanal, sinal de áudio multicanal codificado, e, método e decodificador para decodificar um sinal de áudio de multicanal codificado”
EP1500084B1 (en) 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
JP4296753B2 (ja) * 2002-05-20 2009-07-15 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号方法及び装置、並びにプログラム及び記録媒体
JP4013822B2 (ja) 2002-06-17 2007-11-28 ヤマハ株式会社 ミキサ装置およびミキサプログラム
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
EP1611772A1 (en) * 2003-03-04 2006-01-04 Nokia Corporation Support of a multichannel audio extension
DE10321986B4 (de) * 2003-05-15 2005-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
US8205385B2 (en) * 2003-06-20 2012-06-26 Konvin Associates Ltd. Dual panel system for controlling the passage of light through architectural structures
JP4496379B2 (ja) 2003-09-17 2010-07-07 財団法人北九州産業学術推進機構 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7929708B2 (en) * 2004-01-12 2011-04-19 Dts, Inc. Audio spatial environment engine
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
ATE390683T1 (de) 2004-03-01 2008-04-15 Dolby Lab Licensing Corp Mehrkanalige audiocodierung
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100745688B1 (ko) 2004-07-09 2007-08-03 한국전자통신연구원 다채널 오디오 신호 부호화/복호화 방법 및 장치
US20060084916A1 (en) * 2004-07-14 2006-04-20 Taming Lo Self-destruction syringe
US8150042B2 (en) 2004-07-14 2012-04-03 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1817767B1 (en) * 2004-11-30 2015-11-11 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2006132857A2 (en) 2005-06-03 2006-12-14 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
KR100841332B1 (ko) 2005-07-29 2008-06-25 엘지전자 주식회사 분할 정보를 시그널링 하는 방법
US20070083365A1 (en) * 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
JP4399835B2 (ja) 2006-07-07 2010-01-20 日本ビクター株式会社 音声符号化方法及び音声復号化方法
BRPI0716854B1 (pt) 2006-09-18 2020-09-15 Koninklijke Philips N.V. Codificador para codificar objetos de áudio, decodificador para decodificar objetos de áudio, centro distribuidor de teleconferência, e método para decodificar sinais de áudio
EP2071564A4 (en) * 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
BRPI0715312B1 (pt) 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais

Also Published As

Publication number Publication date
CN101536086B (zh) 2012-08-08
HK1136380A1 (en) 2010-06-25
MX2009005159A (es) 2009-05-25
EP2092516A4 (en) 2010-01-13
CN101536086A (zh) 2009-09-16
AU2007320218A1 (en) 2008-05-22
US20080269929A1 (en) 2008-10-30
US7672744B2 (en) 2010-03-02
WO2008060111A1 (en) 2008-05-22
AU2007320218B2 (en) 2010-08-12
KR101100221B1 (ko) 2011-12-28
JP4838361B2 (ja) 2011-12-14
JP2010509884A (ja) 2010-03-25
CA2669091A1 (en) 2008-05-22
EP2092516A1 (en) 2009-08-26
US20090171676A1 (en) 2009-07-02
BRPI0718614A2 (pt) 2014-02-25
CA2669091C (en) 2014-07-08

Similar Documents

Publication Publication Date Title
KR101100221B1 (ko) 오디오 신호의 디코딩 방법 및 그 장치
RU2460155C2 (ru) Кодирование и декодирование звуковых объектов
RU2618383C2 (ru) Кодирование и декодирование аудиообъектов
RU2551797C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
TWI396187B (zh) 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
JP5455647B2 (ja) オーディオデコーダ
JP5134623B2 (ja) 複数のパラメータ的に符号化された音源を合成するための概念
JP6010176B2 (ja) オーディオ信号のデコーディング方法及びその装置
RU2455708C2 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
Hotho et al. Multichannel coding of applause signals
RU2417459C2 (ru) Способ и устройство для декодирования аудиосигнала

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 9