KR101004249B1

KR101004249B1 - 오디오 신호의 구성 설명 방법

Info

Publication number: KR101004249B1
Application number: KR1020057009901A
Authority: KR
Inventors: 젠스 스필르; 위르겐 쉬미트
Original assignee: 톰슨 라이센싱
Priority date: 2002-12-02
Filing date: 2003-11-28
Publication date: 2010-12-24
Also published as: CN1717955A; BR0316548A; EP1568251B1; EP1568251A2; JP4338647B2; BRPI0316548B1; PT1568251E; JP2006517356A; US9002716B2; DE60311522D1; KR20050084083A; WO2004051624A2; DE60311522T2; US20060167695A1; AU2003298146B2; WO2004051624A3; ATE352970T1; AU2003298146A1; CN1717955B

Abstract

오디오 신호의 구성을 설명하는 방법에 있어서, 오디오 신호들은 개별 오디오 오브젝트로서 인코딩된다. 오디오 오브젝트를 사운드 씬에서 배치 및 처리하는 것은, 씬 설명에서 계층적으로 배치된 노드에 의해 기술된다. 2D 벡터를 사용해서 2D 스크린에서만 공간화되기 위해 특정된 노드가, 상기 오디오 오브젝트의 깊이를 기술하는 1D 값과, 상기 2D 벡터를 사용해서 오디오 오브젝트의 3D 위치를 기술한다.

또 다른 실시예에서 좌표 매핑이 실시되고, 이는, 스크린 평면에서 그래픽적 오브젝트의 이동을 가능하게 하여, 오디오 오브젝트를 스크린 평면에 수직인 깊이로 이동하도록 매핑한다.

사운드 소스, 공간화, 오디오 오브젝트, 스크린 평면, 2D 벡터, 3D 도메인

Description

오디오 신호의 구성 설명 방법{METHOD FOR DESCRIBING THE COMPOSITION OF AUDIO SIGNALS}

본 발명은 오디오 신호의 프리젠테이션 설명을 코딩 및 디코딩하는 방법 및 장치에 관한 것으로서, 특히, 3D 도메인에서 MPEG-4 인코딩된 오디오 신호를 공간화하기 위한 방법 및 장치에 관한 것이다.

MPEG-4 오디오 표준 ISO/IEC 14496-3:2001 및 MPEG-4 시스템 표준 14496-1:2001로서 정의된 MPEG-4 오디오 표준은, 오디오 오브젝트의 표현을 지원함으로써 매우 다양한 응용을 용이하게 한다. 오디오 오브젝트의 조합에 있어서, 추가 정보, 즉, 소위 씬 설명(scene description)은 공간 및 시간적 배치를 결정하고, 코딩된 오디오 오브젝트와 함께 전송된다.

재생시에 오디오 오브젝트는, 청취자에게 재생될 하나의 사운드트랙을 준비하기 위해, 개별적으로 디코딩되고, 씬 설명을 사용해서 구성된다.

효율성을 위해서, MPEG-4 시스템 표준 ISO/IEC 14496-1:2001은, 소위 씬 설명을 위한 2진 포맷(BIFS)으로 불리는 2진 표현으로 씬 설명을 인코딩하는 방법을 정의한다. 따라서, 오디오 씬은 소위 AudioBIFS를 사용해서 기술된다.

씬 설명은 계층적으로 구성되어, 그래프로서 표현될 수 있고, 이 그래프의 잎 노드들(leaf-nodes)은 개별 오브젝트들을 형성하고, 다른 노드들은, 예를 들어, 위치 결정, 스케일링, 효과 등의 프로세싱을 기술한다. 개별 오브젝트의 양상 및 동작은 씬 설명 노드들의 파라미터를 사용해서 제어될 수 있다.

본 발명은 다음 사실에 대한 인식에 기초한다. 상술한 버젼의 MPEG-4 오디오 표준은 "Sound"라고 명명된 노드를 정의하고, 이 노드는 3D 도메인에서 오디오 신호의 공간화를 가능하게 한다. "Sound2D"라고 명명된 또 다른 노드는 2D 스크린상의 공간화만을 허용한다. 2D 그래픽적 재생기에서 "Sound" 노드의 사용은, 2D 및 3D 재생기에서 특성들이 상이하게 구현되기 때문에 특정되지 않는다. 그러나, 게임, 영화, 및 TV 애플리케이션에서는, 비디오 프리젠테이션이 작은 평면 스크린의 앞에서만 표시되는 것으로 제한되더라도, 말단 사용자에게 완전히 공간화된 "3D-사운드"의 프리젠테이션을 제공하는 것이 가능하다고 공지되어 있다. 이는 "Sound" 및 "Sound2D"로 정의된 노드에서는 불가능하다.

따라서, 본 발명이 해결하려는 과제는 상술한 결점을 극복하는 것이다. 이 과제는 청구항 1에 개시된 코딩 방법, 및 이에 대응하는 청구항 5에 개시된 디코딩 방법에 의해 해결된다.

원칙적으로, 새로운 코딩 방법은, 2D 좌표 시스템에서 공간화를 가능하게 하는 정보를 포함하는 사운드 소스의 파라미터적 설명을 생성하는 것을 포함한다. 사운드 소스의 파라미터적 설명은 상기 사운드 소스의 오디오 신호와 결합된다. 추가의 1D 값이 상기 파라미터적 설명에 부가되고, 이는 2D 비쥬얼 환경(context)에서 3D 도메인으로 상기 사운드 소스를 공간화하는 것을 가능하게 한다.

개별 사운드 소스는 개별 오디오 오브젝트로서 코딩될 수 있고, 사운드 씬에서 사운드 소스의 배치는, 개별 오디오 오브젝트에 대응하는 제1 노드와, 오디오 오브젝트의 프리젠테이션을 기술하는 제2 노드를 포함하는 씬 설명에 의해 기술될 수 있다. 제2 노드의 필드는 사운드 소스의 3D 공간화를 정의한다.

2D 좌표 시스템은 스크린 평면에 대응하고, 1D 값은 상기 스크린 평면에 수직인 깊이 정보에 대응하는 것이 바람직하다.

또한, 상기 2D 좌표 시스템 값을 상기 3 차원의 위치로 변환하는 것은, 스크린 평면에서 그래픽적 오브젝트의 이동을 가능하게 하여, 오디오 오브젝트를 상기 스크린 평면에 수직인 깊이로 이동하도록 매핑(mapping)한다.

새로운 디코딩 방법은, 원칙적으로, 사운드 소스의 파라미터적 설명과 결합되는, 사운드 소스에 대응하는 오디오 신호를 수신하는 것을 포함한다. 파라미터적 설명은 2D 좌표 시스템에서 공간화를 가능하게 하는 정보를 포함한다. 추가의 1D 값은 상기 파라미터적 설명으로부터 분리된다. 사운드 소스는, 상기 추가의 1D 값을 사용하여 3D 도메인에서 2D 비쥬얼 환경으로 공간화된다.

개별 사운드 소스를 나타내는 오디오 오브젝트는 개별적으로 디코딩되고, 단일의 사운드트랙은, 개별 오디오 오브젝트에 대응하는 제1 노드와, 오디오 오브젝트의 처리를 기술하는 제2 노드를 포함하는 씬 설명을 사용해서 디코딩된 오디오 오브젝트로부터 구성될 수 있다. 제2 노드의 필드는 사운드 소스의 3D 공간화를 정의한다.

2D 좌표 시스템은 스크린 평면에 대응하고, 상기 1D 값은 상기 스크린 평면에 수직인 깊이 정보에 대응하는 것이 바람직하다.

또한, 상기 2D 좌표 시스템 값을 상기 3 차원의 위치로 변환하는 것은, 스크린 평면에서 그래픽적 오브젝트의 이동을 가능하게 하여, 오디오 오브젝트를 상기 스크린 평면에 수직인 깊이로 이동하도록 매핑한다.

Sound2D 노드는 다음과 같이 정의된다:

3D 노드인 Sound 노드는 다음과 같이 정의된다.

다음에서, 모든 사운드 노드(Sound2D, Sound, 및 DirectiveSound)에 대한 일반적인 용어는, 아래의 경우에서, 예를 들어 'sound nodes'로 쓰여진다.

가장 단순한 경우에, Sound 또는 Sound2D 노드는 AudioSource 노드를 통해 디코더 출력으로 연결된다. 사운드 노드는 강도 및 위치 정보를 포함한다.

오디오로부터의 측면에서, 사운드 노드는 라우드스피커(loudspeaker) 매핑 전의 최종 노드이다. 여러 사운드 노드가 있는 경우에, 출력은 합산될 것이다. 시스템으로부터의 측면에서, 사운드 노드는 오디오 서브 그래프에 대한 엔트리 점으로서 보여질 수 있다. 사운드 노드는, 자신의 원 위치를 설정할 변환 노드(Transform node)로 비-오디오 노드와 함께 그룹화될 수 있다.

AudioSource 노드의 phaseGroup 필드로서, "스테레오 페어(stereo pair)", "다중채널" 등의 경우에, 중요 위상 관계를 포함하는 채널을 프리젠테이션할 수 있다. 위상 관련 채널과 비-위상 관련 채널이 혼합된 동작이 가능하다. 사운드 노드의 공간화 필드는, 사운드가 공간화될 지 여부를 특정한다. 이는 채널들에 대해서만 적용되고, 위상 그룹의 멤버들에 대해서는 적용되지 않는다.

Sound2D는 2D 스크린의 사운드를 공간화할 수 있다. 상기 표준에서는, 사운드가 1 미터의 거리에서 2m×1.5m 크기의 씬상에서 공간화되어야 한다. 이러한 설명은, 위치 필드의 값이 제한되어 있지 않고, 따라서 사운드가 스크린 크기를 벗어나 배치될 수 있기 때문에, 무효한 것으로 생각된다.

Sound 및 DirectiveSound 노드는 3D 공간 어디에나 위치를 설정할 수 있다. 기존의 라우드스피커 배치에 대한 매핑은 간단한 진폭 패닝(panning) 또는 그보다 고급 기술을 이용해서 수행될 수 있다.

Sound 및 Sound2D는 모두 다중채널의 입력을 처리할 수 있고, 기본적으로 동 일한 기능성을 갖지만, Sound2D 노드는 전면 이외에 대해서 사운드를 공간화할 수 없다.

모든 씬 그래프 프로파일에 대해 Sound 및 Sound2D가 부가될 가능성이 있으며, 즉, Sound 노드는 SF2DNode 그룹에 부가될 수 있다.

그러나, "3D" 사운드 노드를 2D 씬 그래프 프로파일에 포함시키지 않는 하나의 이유는, 일반적인 2D 재생기가, Sound 방향 및 위치 필드에 대해 요구되는 3D 벡터(SFVec3f형)를 처리할 수 없기 때문이다.

또 다른 이유는, Sound 노드가, 청취 지점이 이동하며, 원거리의 사운드 오브젝트에 대해 감쇄되는 속성을 갖는 가상 현실 씬에 대해 특별히 설계되기 때문이다. 이를 위해, 청취 지점 노드 및 Sound maxBack, maxFront, minBack, minFront 필드가 정의된다.

일 실시예에 따르면, 예전(old) Sound2D 노드가 확장되거나, 새로운 Sound2Ddepth 노드가 정의된다. Sound2Ddepth 노드는 Sound2D 노드와 유사하지만, 추가의 깊이 필드를 갖지는 않는다.

강도 필드는 사운드의 크기 정도(loudness)를 조정한다. 이 값은 0.0부터 1.0까지의 범위에 있고, 이 값은 사운드의 재생 동안 사용되는 팩터를 지정한다.

위치 필드는 2D 씬에서 사운드의 위치를 지정한다.

깊이 필드는, 위치 필드와 동일한 좌표 시스템을 이용해서 2D 씬에서 사운드의 깊이를 지정한다. 디폴트 값은 0.0이고, 이는 스크린 위치를 나타낸다.

공간화 필드는 사운드가 공간화될 지 여부를 특정한다. 이 플래그가 설정되면, 사운드는 가능한 최고로 고도하게 공간화된다.

다중채널 오디오 공간화에 대해서도 Sound (3D) 노드와 동일한 규칙이 Sound2Ddepth 노드에 인가된다.

2D 씬에서 Sound2D 노드를 이용하면, 작가가 녹음한 대로 서라운드 사운드를 제공할 수 있게 된다. 앞 부분 이외에서는 사운드를 공간화하는 것이 불가능하다. 공간화는, 사용자 상호작용 또는 씬 갱신으로 인해서 모노포닉(monophonic) 신호의 위치를 이동시키는 것을 의미한다.

Sound2Ddepth 노드로서, 사운드를 청취자의 뒤, 옆, 또는 위에서도 공간화시키는 것이 가능하다. 오디오 프리젠테이션 시스템은 이를 제공할 수 있는 능력을 갖는 것으로 가정한다.

본 발명은 상술한 실시예로 제한되는 것은 아니며, 추가의 깊이 필드가 Sound2D 노드에 도입될 수 있다. 또한, 추가의 깊이 필드는 상술한 Sound2D 노드를 계층적으로 배치한 노드로 삽입될 수 있다.

또 다른 실시예에 따라서, 좌표의 매핑이 실시된다. Sound2DDepth 노드에서의 추가의 필드 dimensionMapping은, 노드를 이전(ancestor's) 변환 계층으로부터 원 상태로 하는 변환, 예를 들어, 2D 환경 좌표-시스템(ccs)을 매핑하는데 사용되 는 2 로우×3 컬럼 벡터로서의 변환을 정의한다.

노드의 좌표 시스템(ncs)은 다음과 같이 계산된다:

ncs = ccs × dimensionMapping

노드의 위치는 3차원으로 배치되고, 2D 입력 벡터, 위치 및 깊이 {위치.x 위치.y 깊이}로부터 ncs에 대해서 병합된다.

예 : 노드의 좌표 시스템 환경은 {x_i, y_i}이고, dimensionMapping은 {1, 0, 0, 0, 0, 1}이다. 이는 ncs={x_i, 0, y_i}이 되게 하고, y-차원에서 오브젝트의 이동을 가능하게 하고, 이는 깊이에서의 오디오 이동으로 매핑된다.

필드 'dimensionMapping'은 MFFloat로서 정의될 수 있다. 다른 MPEG-4 데이터 유형인 필드 데이터 유형 'SFRotation'을 이용해서 동일한 기능성을 얻을 수도 있다.

본 발명은, 재생 장치가 2D 그래픽으로 제한되어 있더라도, 오디오 신호를 3D 도메인으로 공간화하는 것을 가능하게 한다.

Claims

오디오 신호들의 프리젠테이션 기술(description)을 코딩하는 방법에 있어서,

2D 좌표 시스템에서의 공간화를 가능하게 하는 정보를 포함하는 사운드 소스의 파라미터적 기술을 생성하는 단계;

상기 사운드 소스의 파라미터적 기술을 상기 사운드 소스의 오디오 신호들과 결합(link)시키는 단계; 및

2D 비쥬얼 환경에서 상기 사운드 소스의 3D 도메인에서의 공간화를 가능하게 하는 추가의 1D 값을 상기 파라미터적 기술에 추가하는 단계

를 포함하는 코딩 방법.
제1항에 있어서,

개별 사운드 소스들은 개별 오디오 오브젝트들로서 코딩되고,

사운드 씬에서 사운드 소스들의 배치는, 상기 개별 오디오 오브젝트들에 대응하는 제1 노드들과 상기 오디오 오브젝트들의 프리젠테이션을 기술하는 제2 노드들을 포함하는 씬 기술에 의해 기술되고,

제2 노드의 필드는 사운드 소스의 3D 공간화를 정의하는 코딩 방법.
제1항 또는 제2항에 있어서,

상기 2D 좌표 시스템은 스크린 평면에 대응하고,

상기 1D 값은 상기 스크린 평면에 수직인 깊이 정보에 대응하는 코딩 방법.
제3항에 있어서,

상기 2D 좌표 시스템 값들을 상기 3 차원 위치들로 변환하는 것은, 상기 스크린 평면에서 그래픽적 오브젝트의 이동이 상기 스크린 평면에 수직인 깊이로의 오디오 오브젝트의 이동에게 매핑(mapping)되도록 하여 주는 코딩 방법.
오디오 신호들의 프리젠테이션 기술을 디코딩하는 방법에 있어서,

사운드 소스에 대응하고, 상기 사운드 소스의 파라미터적 기술과 결합된 오디오 신호들을 수신하는 단계 - 상기 파라미터적 기술은 2D 좌표 시스템에서 공간화를 가능하게 하는 정보를 포함함 -;

추가의 1D 값을 상기 파라미터적 기술로부터 분리하는 단계; 및

상기 추가의 1D 값을 사용하여 2D 비쥬얼 환경에서 상기 사운드 소스의 3D 도메인에서의 공간화를 이루는 단계

를 포함하는 디코딩 방법.
제5항에 있어서,

개별 사운드 소스들을 나타내는 오디오 오브젝트들은 개별적으로 디코딩되고,

단일의 사운드트랙은, 상기 개별 오디오 오브젝트들에 대응하는 제1 노드들과 상기 오디오 오브젝트들의 처리를 기술하는 제2 노드들을 포함하는 씬 기술을 사용해서 상기 디코딩된 오디오 오브젝트들로부터 구성되고,

제2 노드의 필드는 사운드 소스의 3D 공간화를 정의하는 디코딩 방법.
제5항 또는 제6항에 있어서,

상기 2D 좌표 시스템은 스크린 평면에 대응하고,

상기 1D 값은 상기 스크린 평면에 수직인 깊이 정보에 대응하는 디코딩 방법.
제7항에 있어서,

상기 2D 좌표 시스템 값들을 상기 3 차원 위치들로 변환하는 것은, 상기 스크린 평면에서 그래픽적 오브젝트의 이동이 상기 스크린 평면에 수직인 깊이로의 오디오 오브젝트의 이동에게 매핑되도록 하여 주는 디코딩 방법.
제1항, 제2항, 제5항 또는 제6항에 따른 방법을 수행하는 장치.