KR20140092779A - 채널 신호를 처리하는 부호화/복호화 장치 및 방법 - Google Patents
채널 신호를 처리하는 부호화/복호화 장치 및 방법 Download PDFInfo
- Publication number
- KR20140092779A KR20140092779A KR1020140005056A KR20140005056A KR20140092779A KR 20140092779 A KR20140092779 A KR 20140092779A KR 1020140005056 A KR1020140005056 A KR 1020140005056A KR 20140005056 A KR20140005056 A KR 20140005056A KR 20140092779 A KR20140092779 A KR 20140092779A
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- channel signal
- signals
- signal
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/09—Electronic reduction of distortion of stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
Abstract
채널 신호 제어를 위한 부호화/복호화 장치 및 방법이 개시된다. 부호화 장치는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함할 수 있다.
Description
본 발명은 채널 신호를 처리하는 부호화/복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 채널 신호 및 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 채널 신호를 처리하는 부호화/복호화 장치 및 방법에 관한 것이다.
MPEG-H 3D Audio 및 Dolby Atmos와 같이 복수의 채널 신호(channel Signals) 와 복수의 객체 신호(object signal)들로 구성되는 오디오 컨텐츠를 재생할 때, 스피커 개수, 스피커 배치 환경, 및 스피커 위치에 기초하여 생성된 객체 신호의 제어 정보 또는 렌더링 정보를 적절하게 변환함으로써 제작자가 의도한 오디오 컨텐츠를 충실히 재생할 수 있다.
하지만 채널 신호와 같이 2차원 또는 3차원 공간 상에 그룹으로 배치되어 있는 경우, 채널 신호를 전체적으로 처리할 수 있는 기능이 필요할 수 있다.
본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 재생하는 스피커 배치 환경에 따라 채널 신호를 처리하는 기능을 제공하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 부호화 장치는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부를 포함할 수 있다.
상기 비트스트림 생성부는, 상기 생성된 비트스트림을 저장 매체에 저장하거나 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 장치는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 복호화부; 및 상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 렌더링부를 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 장치는 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 믹싱부; 및 상기 믹싱부에서 출력된 객체 신호들과 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 부호화부를 포함하고, 상기 부가 정보는, 상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함할 수 있다.
본 발명의 다른 실시예에 따른 복호화 장치는 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 복호화부; 및 상기 객체 신호들 및 채널 신호들을 믹싱하는 믹싱부를 포함하고, 상기 믹싱부는, 채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱할 수 있다.
상기 복호화 장치는 상기 믹싱부를 통해 출력된 채널 신호들을 바이노럴 렌더링하는 바이노럴 렌더링부를 더 포함할 수 있다.
상기 복호화 장치는 상기 믹싱부를 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 포맷 변환부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 부호화 방법은 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 단계; 및 상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 단계를 포함할 수 있다.
상기 부호화 방법은 상기 생성된 비트스트림을 저장 매체에 저장하는 단계; 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치에 전송하는 단계를 더 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일실시예에 따른 복호화 방법은 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 단계; 및 상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 단계를 포함할 수 있다.
상기 채널 신호를 위한 렌더링 정보는, 상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따른 부호화 방법은 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 단계; 및 믹싱 과정을 통해 출력된 객체 신호들, 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 단계를 포함하고, 상기 부가 정보는, 상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함할 수 있다.
본 발명의 다른 실시예에 따른 복호화 방법은 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 단계; 및 상기 객체 신호들 및 채널 신호들을 믹싱하는 단계를 포함하고, 상기 믹싱하는 단계는, 채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱할 수 있다.
상기 복호화 방법은 믹싱 과정을 통해 출력된 채널 신호들을 바이노럴 렌더링하는 단계를 더 포함할 수 있다.
상기 복호화 방법은 믹싱 과정을 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
도 1은 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 2은 일실시예에 따른 부호화 장치에 입력되는 정보들을 도시한 도면이다.
도 3은 일실시예에 따른 채널 신호의 렌더링 정보의 일례를 도시한 도면이다.
도 4은 일실시예에 따른 채널 신호의 렌더링 정보의 다른 일례를 도시한 도면이다.
도 5는 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 6은 일실시예에 따른 복호화 장치에 입력되는 정보들을 도시한 도면이다.
도 7은 일실시예에 따른 부호화 방법을 도시한 흐름도이다.
도 8은 일실시예에 따른 복호화 방법을 도시한 흐름도이다.
도 9는 다른 실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 10은 다른 실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 2은 일실시예에 따른 부호화 장치에 입력되는 정보들을 도시한 도면이다.
도 3은 일실시예에 따른 채널 신호의 렌더링 정보의 일례를 도시한 도면이다.
도 4은 일실시예에 따른 채널 신호의 렌더링 정보의 다른 일례를 도시한 도면이다.
도 5는 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 6은 일실시예에 따른 복호화 장치에 입력되는 정보들을 도시한 도면이다.
도 7은 일실시예에 따른 부호화 방법을 도시한 흐름도이다.
도 8은 일실시예에 따른 복호화 방법을 도시한 흐름도이다.
도 9는 다른 실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 10은 다른 실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 부호화 방법 및 복호화 방법은 부호화 장치 및 복호화 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 부호화 장치(100)는 부호화부(110), 비트스트림 생성부(120)를 포함할 수 있다.
부호화부(110)는 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화할 수 있다.
일례로, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
또한, 채널 신호를 특정 방향으로 로테이션하기 어려운 낮은 성능의 사용자 단말을 위해서, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보로 구성될 수 있다.
비트스트림 생성부(120)는 부호화부(110)에서 부호화된 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성할 수 있다. 그러면, 비트스트림 생성부(120)는 생성된 비트스트림을 저장 매체에 파일 형태로 저장할 수 있다. 또는, 비트스트림 생성부(120)는 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송할 수 있다.
채널 신호는 2차원 또는 3차원 전체 공간 상에 그룹으로 배치되어 있는 신호를 의미할 수 있다. 그래서, 채널 신호를 위한 렌더링 정보는 채널 신호의 전체 볼륨 또는 게인을 제어하거나 또는 채널 신호의 전체를 로테이션할 때 이용될 수 있다.
따라서, 본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
도 2은 일실시예에 따른 부호화 장치에 입력되는 정보들을 도시한 도면이다.
도 2를 참고하면, 부호화 장치(100)에 N개의 채널 신호들, M개의 객체 신호들이 입력될 수 있다. 그리고, 부호화 장치(100)에 M개의 객체 신호들 각각을 위한 렌더링 정보 이외에, N개의 채널 신호들을 위한 렌더링 정보도 입력될 수 있다. 또한, 부호화 장치에 오디오 컨텐츠를 제작하기 위하여 고려된 스피커 배치 정보도 입력될 수 있다.
부호화부(110)는 입력된 N개의 채널 신호들, M개의 객체 신호들, 채널 신호를 위한 렌더링 정보 및 객체 신호를 위한 렌더링 정보를 부호화할 수 있다. 비트스트림 생성부(120)는 부호화된 결과를 이용하여 비트스트림을 생성할 수 있다. 비트스트림 생성부(120)는 생성된 비트스트림을 저장 매체에 파일 형태로 저장하거나 또는 복호화 장치에 전송할 수 있다.
도 3은 일실시예에 따른 채널 신호의 렌더링 정보의 일례를 도시한 도면이다.
복수의 채널에 대응하여 채널 신호가 입력되며, 채널 신호는 배경음(background sound)로 이용될 수 있다. 여기서, MBO는 배경음으로 사용되는 채널 신호를 의미할 수 있다.
일례로, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
도 3을 참고하면, 채널 신호를 위한 렌더링 정보는 renderinginfo_for_MBO로 표현될 수 있다. 그리고, 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보는 gain_factor로 정의될 수 있다. 또한, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보는 horizontal_rotation_angle로 정의될 수 있다. horizontal_rotation_angle는 채널 신호를 수평 방향으로 회전할 때의 회전 각도를 의미할 수 있다.
그리고, 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보는 vertical_rotation_angle로 정의될 수 있다. vertical_rotation_angle는 채널 신호를 수직 방향으로 회전할 때의 회전 각도를 의미할 수 있다. frame_index는 채널 신호를 위한 렌더링 정보가 적용되는 오디오 프레임의 식별 번호를 의미할 수 있다.
도 4은 일실시예에 따른 채널 신호의 렌더링 정보의 다른 일례를 도시한 도면이다.
채널 신호를 재생하는 단말의 성능이 미리 설정된 기준보다 낮은 경우, 채널 신호를 로테이션하는 기능을 수행하지 못할 수 있다. 그러면, 채널 신호를 위한 렌더링 정보는 도 4와 같이 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보는 gain_factor를 포함할 수 있다.
예를 들어, 오디오 컨텐츠가 M개의 채널 신호와 N개의 객체 신호로 구성된다고 가정한다. 이 때, M개의 채널 신호는 배경음으로서 M개의 악기 신호에 대응한다고 가정하고, N개의 객체 신호는 가수 목소리 신호에 대응한다고 가정한다. 그러면, 복호화 장치는 가수 목소리 신호의 위치와 크기를 제어할 수 있다. 또는 복호화 장치는 객체 신호인 가수 목소리 신호를 오디오 컨텐츠에서 제거함으로써 가라오케 서비스를 위한 반주음으로 사용할 수 있다.
또한, 복호화 장치는 M개의 악기 신호의 렌더링 정보를 이용하여 악기 신호의 크기(볼륨 또는 게인)를 제어하거나, M개의 악기 신호 전체를 수직 방향 또는 수평 방향으로 회전할 수 있다. 또는 복호화 장치는 오디오 컨텐츠에서 채널 신호인 M개의 악기 신호 전체를 제거함으로써 가수 목소리 신호만 재생할 수 있다.
도 5는 일실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 5를 참고하면, 본 발명의 일실시예에 따른 복호화 장치(500)는 복호화부(510), 및 렌더링부(520)를 포함할 수 있다.
복호화부(510)는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출할 수 있다.
렌더링부(520)는 채널 신호를 위한 렌더링 정보, 객체 신호를 위한 렌더링 정보 및 스피커 배치 정보에 기초하여 객체 신호 및 채널 신호를 렌더링할 수 있다. 여기서, 채널 신호를 위한 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
도 6은 일실시예에 따른 복호화 장치에 입력되는 정보들을 도시한 도면이다.
일실시예에 따른 복호화 장치(500)의 복호화부(510)는 부호화 장치가 생성한 비트스트림으로부터 N 채널 신호, N채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보를 추출할 수 있다.
그러면, 복호화부(510)는 N 채널 신호, N채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보를 렌더링부(520)에 전달할 수 있다.
렌더링부(520)는 복호화부(510)로부터 전달된 N개의 채널 신호, N개의 채널 신호 전체에 대한 렌더링 정보, M개의 객체 신호들 및 객체 신호들 각각의 렌더링 정보와 추가적으로 입력된 사용자 제어 및 복호화 장치에 연결된 스피커들의 스피커 배치 정보를 이용하여 K채널로 구성된 오디오 출력 신호를 생성할 수 있다.
도 7은 일실시예에 따른 부호화 방법을 도시한 흐름도이다.
단계(710)에서 부호화 장치는 객체 신호, 채널 신호, 및 객체 신호 및 채널 신호로 구성된 오디오 컨텐츠를 재생하기 위한 부가 정보를 부호화할 수 있다. 여기서, 부가 정보는 채널 신호의 렌더링 정보, 객체 신호의 렌더링 정보, 오디오 컨텐츠를 제작할 때 고려된 스피커 배치 정보를 포함할 수 있다.
이 때, 채널 신호의 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
단계(720)에서, 부호화 장치는 객체 신호, 채널 신호, 및 객체 신호 및 채널 신호로 구성된 오디오 컨텐츠를 재생하기 위한 부가 정보를 부호화한 결과를 이용하여 비트스트림을 생성할 수 있다. 그러면, 부호화 장치는 생성된 비트스트림을 파일 형태로 저장 매체에 저장하거나 또는 네트워크를 통해 복호화 장치에 전송할 수 있다.
도 8은 일실시예에 따른 복호화 방법을 도시한 흐름도이다.
단계(810)에서 복호화 장치는 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 부가 정보를 추출할 수 있다. 여기서, 부가 정보는 채널 신호의 렌더링 정보, 객체 신호의 렌더링 정보, 복호화 장치와 연결된 스피커의 스피커 배치 정보를 포함할 수 있다.
이 때, 채널 신호의 렌더링 정보는 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함할 수 있다.
단계(820)에서 복호화 장치는 부가 정보를 이용하여 채널 신호와 객체 신호를 복호화 장치와 연결된 스피커의 스피커 배치 정보에 대응되도록 렌더링하여 재생하고자 하는 오디오 컨텐츠를 출력할 수 있다.
도 9는 다른 실시예에 따른 부호화 장치의 세부 구성을 도시한 도면이다.
도 9를 참고하면, 부호화 장치는 믹싱부(910), SAOC 3D 부호화부(920), USAC 3D 부호화부(930) 및 OAM 부호화부(940)를 포함할 수 있다.
믹싱부(910)는 입력된 객체 신호들을 렌더링하거나 또는 객체 신호들과 채널 신호들을 믹싱할 수 있다. 또한, 믹싱부(910)는 입력된 복수의 객체 신호들을 프리-렌더링(prerendereing)할 수 있다. 구체적으로, 믹싱부(910)는 입력된 채널 신호들과 객체 신호들의 조합을 채널 신호로 변환할 수 있다. 그리고, 믹싱부(910)는 프리 렌더링을 통해 불연속적(discrete)인 객체 신호를 채널 레이아웃(channel layout)으로 렌더링할 수 있다. 각각의 채널 신호를 위한 객체 신호들 각각에 대한 가중치는 객체 메타데이터(OAM)로부터 획득될 수 있다. 믹싱부(910)는 채널 신호와 프리-렌더링된 객체 신호가 조합된 결과, 다운믹싱된 객체 신호들. 믹싱되지 않은 객체 신호들을 출력할 수 있다.
SAOC 3D 부호화부(920)는 MPEG SAOC 기술에 기초하여 객체 신호들을 부호화할 수 있다. 그러면, SAOC 3D 부호화부(920)는 N개의 객체 신호들을 재생성하고, 수정하며 렌더링함으로써, M개의 전송 채널과 추가적인 파라메트릭 정보를 생성할 수 있다. 여기서, M은 N보다 적을 수 있다. 그리고, 추가적인 파라메트릭 정보는 SAOC-SI로 표현되며, OLD(Object Level Difference), IOC(Inter Object Cross Correlation), DMG(Downmix Gain) 등 객체 신호들 간의 공간적인 파라미터를 포함할 수 있다.
SAOC 3D 부호화부(920)는 객체 신호와 채널 신호를 모노포닉 파형으로 채택하여, 3D 오디오 비트스트림에 패키징되는 파라메트릭 정보와 SAOC 전송 채널(transport channel)을 출력할 수 있다. SAOC 전송 채널은 싱글 채널 요소를 이용하여 부호화될 수 있다.
USAC 3D 부호화부(930)는 MPEG USAC 기술에 기초하여 라우드스피커의 채널 신호, 불연속적인 객체 신호, 객체 다운믹스 신호, 프리-렌더링된 객체 신호를 부호화할 수 있다. USAC 3D 부호화부(930)는 입력된 채널 신호와 객체 신호의 지오메트릭(geometric) 정보 또는 시멘틱(semantic) 정보에 기초하여 채널 매핑 정보와 객체 매핑 정보를 생성할 수 있다. 여기서, 채널 매핑 정보와 객체 매핑 정보는 어떻게 채널 신호들과 객체 신호들을 USAC 채널 요소(CPEs, SCEs, LFEs)에 매핑시킬 것인지를 나타낸다.
객체 신호들은 율/왜곡(rate/distortion) 요구에 의존하여 다른 방식으로 부호화될 수 있다. 프리-렌더링된 객체 신호들은 22.2 채널 신호로 코딩될 수 있다. 그리고, 불연속적인 객체 신호들은 USAC 3D 부호화부(930)에 모노포닉(monophonic) 파형으로 입력될 수 있다. 그러면, USAC 3D 부호화부(930)는 채널 신호에 추가하여 객체 신호를 전송하기 위해 싱글 채널 요소 SCEs를 이용할 수 있다.
또한, 파라메트릭 객체 신호들은 객체 신호들의 속성과 객체 신호들 간의 관계를 SAOC 파라미터를 통해 정의될 수 있다. 객체 신호들의 다운믹스 결과는 USAC 기술로 부호화횔 수 있고, 파라메트릭 정보는 별도로 전송될 수 있다. 다운믹스 채널의 개수는 객체 신호들의 개수와 전체 데이터율에 따라 선택될 수 있다. OAM 부호화부(940)를 통해 부호화된 객체 메타데이터는 USAC 3D 부호화부(930)에 입력될 수 있다.
OAM 부호화부(940)는 시간 또는 공간 상의 객체 신호들을 양자화함으로써, 3차원 공간 상에서의 각 객체 신호들의 지오메트릭 위치와 볼륨을 나타내는 객체 메타데이터를 부호화할 수 있다. 부호화된 객체 메타데이터는 부가 정보로서 복호화 장치에 전송될 수 있다.
이하에서는, 부호화 장치에 입력되는 다양한 형태의 입력 정보를 설명하기로 한다. 구체적으로, 채널 기반 입력 데이터, 객체 기반 입력 데이터 및 HOA(High Order Ambisonic) 기반 입력 데이터가 부호화 장치에 입력될 수 있다.
(1) 채널 기반 입력 데이터
채널 기반 입력 데이터는 모노포닉 채널 신호들의 집합으로 전송될 수 있으며, 각각의 채널 신호는 모노포닉 .wav 파일로 표현될 수 있다.
모노포닉 .wav 파일은 다음과 같이 정의될 수 있다.
<item_name>_A<azimuth_angle>_E<elevation_angle>.wav
여기서, azimuth_angle은 ±180도로 표현될 수 있으며, 양수일수록 왼쪽 방향으로 진행된다. elevation_angle는 ±90도로 표현될 수 있으며, 양수일수록 위쪽 방향으로 진행된다.
그리고, LFE 채널의 경우, 다음과 같이 정의될 수 있다.
<item_name>_LFE<lfe_number>.wav
여기서, lfe_number는 1 또는 2를 의미할 수 있다.
(2) 객체 기반 입력 데이터
객체 기반 입력 데이터는 모노포닉 오디오 컨텐츠들의 집합과 메타데이터로 전송될 수 있으며, 각각의 오디오 컨텐츠는 모노포닉 .wav 파일로 표현될 수 있다. 오디오 컨텐츠는 채널 오디오 컨텐츠 또는 객체 오디오 컨텐츠를 포함할 수 있다.
오디오 컨텐츠가 객체 오디오 컨텐츠를 포함하는 경우, .wav 파일은 다음과 같이 정의될 수 있다.
<item_name>_<object_id_number>.wav
여기서, object_id_number는 객체 식별 번호를 나타낸다.
그리고, 오디오 컨텐츠가 채널 오디오 컨텐츠를 포함하는 경우, .wav 파일은 다음과 같이 라우드스피커로 표현되며 매핑될 수 있다.
<item_name>_A<azimuth_angle>_E<elevation_angle>.wav
객체 오디오 컨텐츠들은 레벨 캘리브레이션(level-calibration)과 지연 정렬(delay-aligned)될 수 있다. 예를 들어, 청취자가 스윗 스팟(sweet-spot) 청취 위치에 있는 경우, 같은 샘플 인덱스에서 2개의 객체 신호에서 발생하는 2개의 이벤트를 인지할 수 있다. 만약, 객체 신호의 위치가 변경되는 경우, 객체 신호에 대해 지각된 레벨과 지연은 변화하지 않을 수 있다. 오디오 컨텐츠의 캘리브레이션은 라우드스피커가 캘리브레이션되는 것으로 가정될 수 있다.
객체 메타데이터 파일은 채널 신호들과 객체 신호들로 구성된 조합된 장면을 위한 메타데이터로 정의하기 위해 사용될 수 있다. 객체 메타데이터는 (<item_name>.OAM로 표현될 수 있다. 객체 메타데이터 파일은 장면에 참여하는 객체 신호의 개수, 채널 신호의 개수를 포함할 수 있다. 객체 메타데이터 파일은 장면 설명자에서 전체 정보를 제공하는 헤더에서 시작된다. 헤더 이후에 채널 설명 데이터 필드와 객체 설명 데이터 필드의 시리즈가 나타난다.
파일 헤더 이후에 <number_of_channel_signals> 채널 설명 필드(channel description fields) 또는 <number_of_object_signals> 객체 설명 필드(object description fields) 중 적어도 하나가 도출될 수 있다.
Syntax | No. of bytes | Data format |
description_file () { scene_description_header() while (end_of_file == 0) { for (i=0; i<number_of_object_signals; i++) { object_data(i) } } } |
|
여기서, scene_description_header()는 장면 설명에서 전체 정보를 제공하는 헤더를 의미한다. object_data(i)는 i번째 객체 신호를 위한 객체 설명 데이터를 의미한다.
Syntax | No. of bytes | Data format |
scene_description_header() { format_id_string format_version number_of_channel_signals number_of_object_signals description_string for (i=0; i<number_of_channel_signals; i++) { channel_file_name } for (i=0; i<number_of_object_signals; i++) { object_description } } |
4 2 2 2 32 64 64 |
char unsigned int unsigned int unsigned int char char char |
format_id_string는 OAM의 고유 문자 식별자를 나타낸다.
format_version 은 파일 포맷의 버전 개수를 나타낸다.
number_of_channel_signals 는 장면에 컴파일링된 채널 신호의 개수를 나타낸다. number_of_channel_signals가 0인 경우, 장면은 오직 객체 신호에 기초하는 것을 의미한다.
number_of_object_signals는 장면에 컴파일링된 객체 신호의 개수를 나타낸다. number_of_object_signals가 0인 경우, 장면은 오직 채널 신호에 기초하는 것을 의미한다.
description_string은 인간이 읽을 수 있는 컨텐츠 설명자를 포함할 수 있다.
channel_file_name은 오디오 채널 파일의 파일 이름을 포함하는 설명 스트링을 의미할 수 있다.
object_description는 객체를 설명하는 인간이 읽을 수 있는 텍스트 설명을 포함하는 설명 스트링을 의미할 수 있다.
여기서, number_of_channel_signals, channel_file_name은 채널 신호를 위한 렌더링 정보를 의미할 수 있다.
Syntax | No. of bytes | Data format |
object_data() { sample_index object_index position_azimuth position_elevation position_radius gain_factor } |
8 2 4 4 4 4 |
unsigned int unsigned int 32-bit float 32-bit float 32-bit float 32-bit float |
sample_index는 객체 설명이 할당된 샘플에서 오디오 컨텐츠 내부의 시간 위치를 나타내는 타임스탬프에 기초한 샘플을 의미한다. 오디오 컨텐츠의 첫번째 샘플은 sample_index가 0으로 표현된다.
object_index는 객체의 할당된 오디오 컨텐츠를 참조하는 객체 번호를 나타낸다. 첫번째 객체 신호의 경우, object_index가 0으로 표현된다.
position_azimuth 는 객체 신호의 위치로서 -180도와 180도 범위의 azimuth (o)로 표현된다.
position_elevation 는 객체 신호의 위치로서 -90도와 90도 범위의 elevation (o )로 표현된다.
position_radius 는 객체 신호의 위치로서, 음수가 아닌 radius (m)로 표현된다.
gain_factor는 객체 신호의 게인 또는 볼륨을 의미한다.
모든 객체 신호는 정의된 타임스탬프에서 주어진 위치(azimuth, elevation, 및 radius)를 가질 수 있다. 주어진 위치에서 복호화 장치의 렌더링부는 패닝 게인(panning gain)을 계산할 수 있다. 인접한 타임스탬프의 쌍들 간의 패닝 게인은 선형적으로 보간될 수 있다. 복호화 장치의 렌더링부는 스윗 스팟 위치에 있는 청취자에 대한 객체 신호의 위치에 지각된 방향이 대응하는 방식으로 라우드스피커의 신호를 계산할 수 있다. 상기 보간은 주어진 객체 신호의 위치가 대응하는 sample_index에 정확하게 도달하도록 수행될 수 있다.
복호화 장치의 렌더링부는 객체 메타데이터 파일과 그것의 객체 설명으로 표현되는 장면을 22.2 채널의 라우드스피커 신호를 포함하는 .wav 파일로 변환할 수 있다. 각각의 라우드스피커 신호에 대해 채널 기반의 컨텐츠는 렌더링부에 의해 추가될 수 있다.
VBAP (Vector Base Amplitude Panning) 알고리즘은 스윗 스팟 위치에 있는 믹싱부에 의해 도출된 컨텐츠를 재생할 수 있다. VBAP는 패닝 게인을 계산하기 위해 이하의 3개의 버텍스로 구성된 삼각 메쉬를 이용할 수 있다.
Triangle # | Vertex 1 | Vertex 2 | Vertex 3 |
1 | TpFL | TpFC | TpC |
2 | TpFC | TpFR | TpC |
3 | TpSiL | BL | SiL |
4 | BL | TpSiL | TpBL |
5 | TpSiL | TpFL | TpC |
6 | TpBL | TpSiL | TpC |
7 | BR | TpSiR | SiR |
8 | TpSiR | BR | TpBR |
9 | TpFR | TpSiR | TpC |
10 | TpSiR | TpBR | TpC |
11 | BL | TpBC | BC |
12 | TpBC | BL | TpBL |
13 | TpBC | BR | BC |
14 | BR | TpBC | TpBR |
15 | TpBC | TpBL | TpC |
16 | TpBR | TpBC | TpC |
17 | TpSiR | FR | SiR |
18 | FR | TpSiR | TpFR |
19 | FL | TpSiL | SiL |
20 | TpSiL | FL | TpFL |
21 | BtFL | FL | SiL |
22 | FR | BtFR | SiR |
23 | BtFL | FLc | FL |
24 | TpFC | FLc | FC |
25 | FLc | BtFC | FC |
26 | FLc | BtFL | BtFC |
27 | FLc | TpFC | TpFL |
28 | FL | FLc | TpFL |
29 | FRc | BtFR | FR |
30 | FRc | TpFC | FC |
31 | BtFC | FRc | FC |
32 | BtFR | FRc | BtFC |
33 | TpFC | FRc | TpFR |
34 | FRc | FR | TpFR |
전면의 낮은 위치에 있는 객체 신호와 전면의 측면에 위치한 객체 신호를 재생하는 것을 제외하고, 22.2 채널 신호는 청취자 위치 이하(elevation < 0o) 에 있는 오디오 소스를 지원하지 않을 수 있다. 라우드스피커의 셋업에 의해 주어진 제한 사항 이하의 오디오 소스를 계산하는 것은 불가능하지 않다. 렌더링부는 객체 신호의 azimuth에 따라 객체 신호의 최소 elevation을 설정할 수 있다.
최소 elevation은 참조 22.2 채널의 셋업에서 가능한 가장 낮은 위치의 라우드스피커에 의해 결정될 수 있다. 예를 들어, azimuth 45o에서의 객체 신호는 -15o의 최소 elevation을 가질 수 있다. 만약, 객체 신호의 elevation이 최소 elevation보다 낮은 경우, 객체 신호의 elevation은 VBAP 패닝 게인을 계산하기 이전에 자동으로 최소 elevation으로 조절될 수 있다.
최소 elevation은 다음과 같이 오디오 객체의 azimuth에 의해 결정될 수 있다.
Azimuth가 BtFL (45o)와 BtFR (-45o) 사이를 나타내는 전면에 위치한 객체 신호는 최소 elevation이 -15o이다.
Azimuth가 SiL (90o) 와 SiR (-90o) 사이를 나타내는 후면에 위치한 객체 신호는 최소 elevation 이 0o이다.
Azimuth가 SiL (90o) 와 BtFL (45o) 사이를 나타내는 객체 신호의 최소 elevation 은 SiL과 BtFL 를 직접 연결하는 선에 의해 결정될 수 있다.
Azimuth가 SiL (90o) 와 BtFL (-45o) 사이를 나타내는 객체 신호의 최소 elevation 은 SiL과 BtFL 를 직접 연결하는 선에 의해 결정될 수 있다.
(3) HOA 기반 입력 데이터
HOA 기반 입력 데이터는 모노포닉 채널 신호들의 집합으로 전송될 수 있으며, 각각의 채널 신호는 48KHz의 샘플링율을 가지는 모노포닉 .wav 파일로 표현될 수 있다.
사운드 필드 설명(sound field description (SFD))는 하기 수학식 1에 따라 결정될 수 있다.
HOA 렌더링부는 구형태(spherical)의 라우드스피커 배열을 드라이빙하는 출력 신호를 제공할 수 있다. 이 때, 라우드스피커 배열이 구형태가 아닌 경우, 라우드스피커 배열을 위해 시간 보상 및 레벨 보상이 수행될 수 있다.
HOA 컴포넌트 파일은 다음과 같이 표현될 수 있다.
여기서, N은 HOA 차수를 의미한다. 그리고, 은 차수 인덱스, , 를 의미한다. 그리고, 은 azimuthal frequency index를 나타내며, 하기 표 5와 같은 테이블을 통해 정의될 수 있다.
<item_name>_< >_00+.wav | |
<item_name>_< >_11+.wav | |
<item_name>_< >_11-.wav | |
<item_name>_< >_10+.wav | |
<item_name>_< >_22+.wav | |
<item_name>_< >_22-.wav | |
<item_name>_< >_21+.wav | |
<item_name>_< >_21-.wav | |
<item_name>_< >_20+.wav | |
<item_name>_< >_33+.wav | |
도 10은 다른 실시예에 따른 복호화 장치의 세부 구성을 도시한 도면이다.
도 10을 참고하면, 복호화 장치는 USAC 3D 복호화부(1010), 객체 렌더링부(1020), OAM 복호화부(1030), SAOC 3D 복호화부(1040), 믹싱부(1050), 바이노럴 렌더링부(1060) 및 포맷 변환부(1070)를 포함할 수 있다.
USAC 3D 복호화부(1010)는 MPEG USAC 기술에 기초하여 라우드스피커의 채널 신호, 불연속적인 객체 신호, 객체 다운믹스 신호, 프리-렌더링된 객체 신호를 복호화할 수 있다. USAC 3D 복호화부(930)는 입력된 채널 신호와 객체 신호의 지오메트릭(geometric) 정보 또는 시멘틱(semantic) 정보에 기초하여 채널 매핑 정보와 객체 매핑 정보를 생성할 수 있다. 여기서, 채널 매핑 정보와 객체 매핑 정보는 어떻게 채널 신호들과 객체 신호들을 USAC 채널 요소(CPEs, SCEs, LFEs)에 매핑시킬 것인지를 나타낸다.
객체 신호들은 율/왜곡(rate/distortion) 요구에 의존하여 다른 방식으로 복호화될 수 있다. 프리-렌더링된 객체 신호들은 22.2 채널 신호로 코딩될 수 있다. 그리고, 불연속적인 객체 신호들은 USAC 3D 복호화부(930)에 모노포닉(monophonic) 파형으로 입력될 수 있다. 그러면, USAC 3D 복호화부(930)는 채널 신호에 추가하여 객체 신호를 전송하기 위해 싱글 채널 요소 SCEs를 이용할 수 있다.
또한, 파라메트릭 객체 신호들은 객체 신호들의 속성과 객체 신호들 간의 관계를 SAOC 파라미터를 통해 정의될 수 있다. 객체 신호들의 다운믹스 결과는 USAC 기술로 복호화횔 수 있고, 파라메트릭 정보는 별도로 전송될 수 있다. 다운믹스 채널의 개수는 객체 신호들의 개수와 전체 데이터율에 따라 선택될 수 있다.
객체 렌더링부(1020)는 USAC 3D 복호화부(1010)를 통해 출력된 객체 신호를 렌더링한 후, 믹싱부(1050)에 전달할 수 있다. 구체적으로, 객체 렌더링부(1020)는 OAM 복호화부(1030)으로 전달된 객체 메타데이터(OAM)를 이용하여 주어진 재생 포맷에 따라 객체 파형(object waveform)을 생성할 수 있다. 각각의 객체 신호들은 객체 메타데이터에 따라 출력 채널로 렌더링될 수 있다.
OAM 복호화부(1030)는 부호화 장치로부터 전달된 부호화된 객체 메타데이터를 복호화할 수 있다. 그리고, OAM 복호화부(1030)은 도출된 객체 메타데이터를 객체 렌더링부(1020)와 SAOC 3D 복호화부(1040)에 전달할 수 있다.
SAOC 3D 복호화부(1040)은 복호화된 SAOC 전송 채널과 파라메트릭 정보로부터 객체 신호와 채널 신호를 복원할 수 있다. 그리고, 재생 레이아웃, 복원된 객체 메타데이터 및 부가적으로 사용자 제어 정보에 기초하여 오디오 장면을 출력할 수 있다. 파라메트릭 정보는 SAOC-SI로 표현되며, OLD(Object Level Difference), IOC(Inter Object Cross Correlation), DMG(Downmix Gain) 등 객체 신호들 간의 공간적인 파라미터를 포함할 수 있다.
믹싱부(1050)는 (i) USAC 3D 복호화부(101)로부터 출력된 채널 신호와 프리렌더링된 객체 신호, (ii) 객체 렌더링부(1020)로부터 출력된 렌더링된 객체 신호, (iii) SAOC 3D 복호화부(1040)로부터 출력된 렌더링된 객체 신호를 이용하여 주어진 스피커 포맷에 맞는 채널 신호를 생성할 수 있다. 구체적으로, 믹싱부(1050)는 채널 기반 컨텐츠와 불연속/파라메트릭 객체가 디코딩되면, 채널 파형과 렌더링된 객체 파형을 지연 조절(delay-aligned), 샘플 와이즈(sample-wise)할 수 있다.
일례로, 믹싱부(1050)는 이하의 신택스를 통해 믹싱할 수 있다.
hannelConfigurationIndex;
if (channelConfigurationIndex == 0) {
sacChannelConfig();
여기서, channelConfigurationIndex는 아래 테이블에 따라 매핑된 라우드스피커, 채널 요소 및 채널 신호의 개수를 의미할 수 있다. 이 때, channelConfigurationIndex는 채널 신호의 렌더링 정보로 정의될 수 있다.
value | audio syntactic elements , listed in order received | channel to speaker mapping |
Speaker
abbrev . |
"
Front
/
Surr . LFE" notation |
0 | defined in UsacChannelConfig() | |||
1 | UsacSingleChannelElement() | center front speaker | C | 1/0.0 |
2 | UsacChannelPairElement() | left, right front speakers | L, R | 2/0.0 |
3 | UsacSingleChannelElement(), UsacChannelPairElement() | center front speaker, left, right front speakers |
C L,R |
3/0.0 |
4 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacSingleChannelElement() |
center front speaker, left, right center front speakers, center rear speakers |
C L, R Cs |
3/1.0 |
5 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement() | center front speaker, left, right front speakers, left surround, right surround speakers |
C L, R Ls, Rs |
3/2.0 |
6 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacLfeElement() |
center front speaker, left, right front speakers, left surround, right surround speakers, center front LFE speaker |
C L, R Ls, Rs LFE |
3/2.1 |
7 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacLfeElement() |
center front speaker left, right center front speakers, left, right outside front speakers, left surround, right surround speakers, center front LFE speaker |
C Lc, Rc L, R Ls, Rs LFE |
5/2.1 |
8 | UsacSingleChannelElement(), UsacSingleChannelElement() |
channel1 channel2 |
N.A. N.A. |
1+1 |
9 | UsacChannelPairElement(), UsacSingleChannelElement() |
left, right front speakers, center rear speaker |
L, R Cs |
2/1.0 |
10 | UsacChannelPairElement(), UsacChannelPairElement() |
left, right front speaker, left, right rear speakers |
L, R Ls, Rs |
2/2.0 |
11 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement() |
center front speaker, left, right front speakers, left surround, right surround speakers, center rear speaker, center front LFE speaker |
C L, R Ls, Rs Cs LFE |
3/3.1 |
12 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacLfeElement() |
center front speaker left, right front speakers, left surround, right surround speakers, left, right rear speakers, center front LFE speaker |
C L, R Ls, Rs Lsr, Rsr LFE |
3/4.1 |
13 | UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement(), UsacLfeElement(), UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacSingleChannelElement(), UsacChannelPairElement() |
center front speaker, left, right front speakers, left, right outside front speakers, left, right side speakers, left, right back speakers, back center speaker, left front low freq. effects speaker, right front low freq. effects speaker, top center front speaker, top left, right front speakers, top left, right side speakers, center of the room ceiling speaker, top left, right back speakers, top center back speaker, bottom center front speaker, bottom left, right front speakers |
C Lc, Rc L, R Lss, Rss Lsr, Rsr Cs LFE LFE2 Cv Lv, Rv Lvss, Rvss Ts Lvr, Rvr Cvr Cb Lb, Rb |
11/11.2 |
14 | UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacSingleChannelElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacSingleChannelElement(), UsacChannelPairElement() |
CH_M_L060, CH_M_R060, CH_M_000, CH_LFE1, CH_M_L135, CH_M_R135, CH_M_L030, CH_M_R030, CH_M_L180, CH_LFE2, CH_M_L090, CH_M_R090, CH_U_L045, CH_U_R045, CH_U_000, CH_T_000, CH_U_L135, CH_U_R135, CH_U_L090, CH_U_R090, CH_U_L180, CH_L_000, CH_L_L045, CH_L_R045 |
22.2 | |
15 | UsacChannelPairElement(), UsacChannelPairElement (), UsacLfeElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement (), UsacChannelPairElement(), UsacChannelPairElement(), UsacLfeElement (), UsacChannelPairElement (), UsacChannelPairElement (), UsacChannelPairElement(), UsacChannelPairElement(), |
CH_M_000, CH_L_000, CH_U_000, CH_T_000, CH_LFE1, CH_M_L135, CH_U_L135, CH_M_R135, CH_U_R135, CH_M_L030, CH_L_L045, CH_M_R030, CH_L_R045, CH_M_L180, CH_U_L180, CH_LFE2, CH_M_L090, CH_U_L090, CH_M_R090, CH_U_R090, CH_M_L060, CH_U_L045, CH_M_R060, CH_U_R045 |
22.2 | |
16 | reserved | |||
17 | UsacSingleChannelElement(),UsacSingleChannelElement (), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement (), UsacSingleChannelElement(), UsacSingleChannelElement (), UsacChannelPairElement(), |
CH_M_000, CH_U_000, CH_M_L135, CH_M_R135, CH_U_L135, CH_U_R135, CH_M_L030, CH_M_R030, CH_U_L045, CH_U_R045, CH_U_000, CH_U_L180, CH_U_L090, CH_U_R090 |
14.0 | |
18 | UsacSingleChannelElement(),UsacSingleChannelElement (), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement (), UsacSingleChannelElement(), UsacSingleChannelElement (), UsacChannelPairElement(), |
CH_M_000, CH_U_000, CH_M_L135, CH_U_L135, CH_M_R135, CH_U_R135, CH_M_L030, CH_U_L045, CH_M_R030, CH_U_R045, CH_U_000, CH_U_L180, CH_U_L090, CH_U_R090 |
14.0 | |
19 | reserved | |||
20 | UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement(), |
CH_M_L030, CH_M_R030, CH_U_L030, CH_U_R030, CH_M_L110, CH_M_R110, CH_U_L110, CH_U_R110, CH_M_000, CH_U_000, CH_U_000, CH_LFE1 |
11.1 | |
21 | UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement(), UsacLfeElement() |
CH_M_L030, CH_U_L030, CH_M_R030, CH_U_R030, CH_M_L110, CH_U_L110, CH_M_R110, CH_U_R110, CH_M_000, CH_U_000, CH_U_000, CH_LFE1 |
11.1 | |
22 | reserved | |||
23 | UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement() |
CH_M_L030, CH_M_R030, CH_U_L030, CH_U_R030, CH_M_L110, CH_M_R110, CH_U_L110, CH_U_R110, CH_M_000 |
9.0 | |
24 | UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacChannelPairElement(), UsacSingleChannelElement() |
CH_M_L030, CH_U_L030, CH_M_R030, CH_U_R030, CH_M_L110, CH_U_L110, CH_M_R110, CH_U_R110, CH_M_000 |
9.0 | |
25-30 | reserved | |||
31 | UsacSingleChannelElement() UsacSingleChannelElement() ... (1 to numObjects) |
contains numObjects single channels |
믹싱부(1050)를 통해 출력된 채널 신호는 직접적으로 라우드스피커에 피딩되어 재생될 수 있다. 그리고, 바이노럴 렌더링부(1060)는 복수의 채널 신호에 대해 바이노럴 다운믹스를 수행할 수 있다. 이 때, 바이노럴 렌더링부(1060)에 입력되는 채널 신호는 가상 사운드 소스(virtual sound source)로 표현될 수 있다. 바이노럴 렌더링부(1060)는 QMF 도메인에서 프레임의 진행 방향으로 수행될 수 있다. 바이노럴 렌더링은 측정된 바이노럴 룸 임펄스 응답(room impulse response)에 기초하여 수행될 수 있다.
포맷 변환부(1070)는 믹싱부(1050)로부터 전송된 채널 신호의 구성과 원하는 스피커의 재생 포맷 간의 포맷 변환을 수행할 수 있다. 포맷 변환부(1070)는 믹싱부(1050)로부터 출력된 채널 신호의 채널 수를 다운믹싱하여 보다 낮은 채널 수로 변환할 수 있다. 포맷 변환부(1070)는 믹싱부(1050)로부터 출력된 채널 신호의 구성을 표준 라우드스피커 구성 뿐만 아니라 비표준 라우드스피커 구성을 가지는 랜덤 구성에 최적화되도록 채널 신호를 다운믹싱 또는 업믹싱할 수 있다.
본 발명은 채널 신호와 객체 신호와 함께 채널 신호의 렌더링 정보를 부호화하여 전송함으로써, 오디오 컨텐츠를 출력하는 환경에 따라 채널 신호를 처리하는 기능을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 부호화 장치
500: 복호화 장치
500: 복호화 장치
Claims (20)
- 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 부호화부; 및
상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 비트스트림 생성부
를 포함하는 부호화 장치. - 제1항에 있어서,
상기 비트스트림 생성부는,
상기 생성된 비트스트림을 저장 매체에 저장하거나 또는 상기 생성된 비트스트림을 네트워크를 통해 복호화 장치로 전송하는 부호화 장치. - 제1항에 있어서,
상기 채널 신호를 위한 렌더링 정보는,
상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 부호화 장치. - 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 복호화부; 및
상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 렌더링부
를 포함하는 복호화 장치. - 제4항에 있어서,
상기 채널 신호를 위한 렌더링 정보는,
상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 복호화 장치. - 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 믹싱부; 및
상기 믹싱부에서 출력된 객체 신호들과 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 부호화부
를 포함하고,
상기 부가 정보는,
상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함하는 부호화 장치. - 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 복호화부; 및
상기 객체 신호들 및 채널 신호들을 믹싱하는 믹싱부
를 포함하고,
상기 믹싱부는,
채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱하는 복호화 장치. - 제7항에 있어서,
상기 믹싱부를 통해 출력된 채널 신호들을 바이노럴 렌더링하는 바이노럴 렌더링부
를 더 포함하는 복호화 장치. - 제7항에 있어서,
상기 믹싱부를 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 포맷 변환부
를 더 포함하는 복호화 장치. - 객체 신호, 채널 신호, 및 채널 신호를 위한 렌더링 정보를 부호화하는 단계; 및
상기 부호화된 객체 신호, 상기 부호화된 채널 신호, 및 상기 부호화된 채널 신호를 위한 렌더링 정보를 비트스트림으로 생성하는 단계
를 포함하는 부호화 방법. - 제10항에 있어서,
상기 생성된 비트스트림을 저장 매체에 저장하는 단계; 또는
상기 생성된 비트스트림을 네트워크를 통해 복호화 장치에 전송하는 단계
를 더 포함하는 부호화 방법. - 제10항에 있어서,
상기 채널 신호를 위한 렌더링 정보는,
상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 부호화 방법. - 부호화 장치에 의해 생성된 비트스트림으로부터 객체 신호, 채널 신호 및 채널 신호를 위한 렌더링 정보를 추출하는 단계; 및
상기 채널 신호를 위한 렌더링 정보에 기초하여 상기 객체 신호 및 상기 채널 신호를 렌더링하는 단계
를 포함하는 복호화 방법. - 제13항에 있어서,
상기 채널 신호를 위한 렌더링 정보는,
상기 채널 신호의 볼륨 또는 게인을 제어하는 제어 정보, 상기 채널 신호의 수평 방향 로테이션(rotation)을 제어하는 제어 정보, 및 상기 채널 신호의 수직 방향 로테이션을 제어하는 제어 정보 중 적어도 하나를 포함하는 복호화 방법. - 입력된 객체 신호들을 렌더링하고, 렌더링된 객체 신호들과 채널 신호들을 믹싱하는 단계; 및
믹싱 과정을 통해 출력된 객체 신호들, 채널 신호들 및 객체 신호와 채널 신호를 위한 부가 정보를 부호화하는 단계
를 포함하고,
상기 부가 정보는,
상기 부호화된 객체 신호들과 채널 신호들의 개수 및 파일 이름을 포함하는 부호화 방법. - 비트스트림으로부터 객체 신호들과 채널 신호들을 출력하는 단계; 및
상기 객체 신호들 및 채널 신호들을 믹싱하는 단계
를 포함하고,
상기 믹싱하는 단계는,
채널 개수(number of channel), 채널 요소(channel element) 및 채널과 매핑된 스피커(speaker)를 정의하는 채널 구성 정보에 기초하여 상기 객체 신호들과 채널 신호들을 믹싱하는 복호화 방법. - 제16항에 있어서,
믹싱 과정을 통해 출력된 채널 신호들을 바이노럴 렌더링하는 단계
를 더 포함하는 복호화 방법. - 제16항에 있어서,
믹싱 과정을 통해 출력된 채널 신호들을 스피커 재생 레이아웃에 따라 포맷을 변환하는 단계
를 더 포함하는 복호화 방법. - 제10항 내지 제12항, 제15항의 부호화 방법에 따라 생성된 비트스트림이 기록된 컴퓨터에서 판독 가능한 기록 매체.
- 제13항 내지 제14항, 제16항 내지 제18항의 복호화 방법을 수행하는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2014/000443 WO2014112793A1 (ko) | 2013-01-15 | 2014-01-15 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
US14/758,642 US10068579B2 (en) | 2013-01-15 | 2014-01-15 | Encoding/decoding apparatus for processing channel signal and method therefor |
US16/011,249 US10332532B2 (en) | 2013-01-15 | 2018-06-18 | Encoding/decoding apparatus for processing channel signal and method therefor |
US16/447,573 US11289105B2 (en) | 2013-01-15 | 2019-06-20 | Encoding/decoding apparatus for processing channel signal and method therefor |
KR1020210014848A KR102357924B1 (ko) | 2013-01-15 | 2021-02-02 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
US17/706,400 US11875802B2 (en) | 2013-01-15 | 2022-03-28 | Encoding/decoding apparatus for processing channel signal and method |
US18/525,181 US20240119949A1 (en) | 2013-01-15 | 2023-11-30 | Encoding/decoding apparatus for processing channel signal and method therefor |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20130004359 | 2013-01-15 | ||
KR1020130004359 | 2013-01-15 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210014848A Division KR102357924B1 (ko) | 2013-01-15 | 2021-02-02 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140092779A true KR20140092779A (ko) | 2014-07-24 |
KR102213895B1 KR102213895B1 (ko) | 2021-02-08 |
Family
ID=51739314
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140005056A KR102213895B1 (ko) | 2013-01-15 | 2014-01-15 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
KR1020220011551A KR102477610B1 (ko) | 2013-01-15 | 2022-01-26 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220011551A KR102477610B1 (ko) | 2013-01-15 | 2022-01-26 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10068579B2 (ko) |
KR (2) | KR102213895B1 (ko) |
CN (4) | CN109166588B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019199040A1 (ko) * | 2018-04-10 | 2019-10-17 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166588B (zh) * | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
WO2014112793A1 (ko) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
WO2014171791A1 (ko) * | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
EP3203469A4 (en) * | 2014-09-30 | 2018-06-27 | Sony Corporation | Transmitting device, transmission method, receiving device, and receiving method |
US9961475B2 (en) * | 2015-10-08 | 2018-05-01 | Qualcomm Incorporated | Conversion from object-based audio to HOA |
US10249312B2 (en) | 2015-10-08 | 2019-04-02 | Qualcomm Incorporated | Quantization of spatial vectors |
US9818427B2 (en) * | 2015-12-22 | 2017-11-14 | Intel Corporation | Automatic self-utterance removal from multimedia files |
EP3469590B1 (en) * | 2016-06-30 | 2020-06-24 | Huawei Technologies Duesseldorf GmbH | Apparatuses and methods for encoding and decoding a multichannel audio signal |
CN108694955B (zh) * | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
BR112020020404A2 (pt) * | 2018-04-12 | 2021-01-12 | Sony Corporation | Dispositivo e método de processamento de informação, e, programa. |
GB2575509A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial audio capture, transmission and reproduction |
GB2575511A (en) | 2018-07-13 | 2020-01-15 | Nokia Technologies Oy | Spatial audio Augmentation |
TWI703559B (zh) * | 2019-07-08 | 2020-09-01 | 瑞昱半導體股份有限公司 | 音效編碼解碼電路及音頻資料的處理方法 |
CN110751956B (zh) * | 2019-09-17 | 2022-04-26 | 北京时代拓灵科技有限公司 | 一种沉浸式音频渲染方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5977977A (en) * | 1995-08-04 | 1999-11-02 | Microsoft Corporation | Method and system for multi-pass rendering |
US6597356B1 (en) * | 2000-08-31 | 2003-07-22 | Nvidia Corporation | Integrated tessellator in a graphics processing unit |
US7395210B2 (en) * | 2002-11-21 | 2008-07-01 | Microsoft Corporation | Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform |
JP4370802B2 (ja) * | 2003-04-22 | 2009-11-25 | 富士通株式会社 | データ処理方法およびデータ処理装置 |
KR101177677B1 (ko) * | 2004-10-28 | 2012-08-27 | 디티에스 워싱턴, 엘엘씨 | 오디오 공간 환경 엔진 |
CN101356573B (zh) * | 2006-01-09 | 2012-01-25 | 诺基亚公司 | 对双耳音频信号的解码的控制 |
FR2899423A1 (fr) * | 2006-03-28 | 2007-10-05 | France Telecom | Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme. |
JP2008092072A (ja) * | 2006-09-29 | 2008-04-17 | Toshiba Corp | 音声ミキシング処理装置及び音声ミキシング処理方法 |
US8687829B2 (en) * | 2006-10-16 | 2014-04-01 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for multi-channel parameter transformation |
US8725279B2 (en) | 2007-03-16 | 2014-05-13 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
JP5220840B2 (ja) | 2007-03-30 | 2013-06-26 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法 |
CN101809654B (zh) * | 2007-04-26 | 2013-08-07 | 杜比国际公司 | 供合成输出信号的装置和方法 |
US8654994B2 (en) | 2008-01-01 | 2014-02-18 | Lg Electronics Inc. | Method and an apparatus for processing an audio signal |
KR20100131467A (ko) * | 2008-03-03 | 2010-12-15 | 노키아 코포레이션 | 복수의 오디오 채널들을 캡쳐하고 렌더링하는 장치 |
CN101339767B (zh) * | 2008-03-21 | 2010-05-12 | 华为技术有限公司 | 一种背景噪声激励信号的生成方法及装置 |
EP2154911A1 (en) | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
EP2249334A1 (en) * | 2009-05-08 | 2010-11-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio format transcoder |
KR101283783B1 (ko) | 2009-06-23 | 2013-07-08 | 한국전자통신연구원 | 고품질 다채널 오디오 부호화 및 복호화 장치 |
ES2426677T3 (es) * | 2009-06-24 | 2013-10-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Descodificador de señal de audio, procedimiento para descodificar una señal de audio y programa de ordenador que utiliza etapas de procesamiento de objetos de audio en cascada |
ES2569779T3 (es) | 2009-11-20 | 2016-05-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato para proporcionar una representación de señal de mezcla ascendente con base en la representación de señal de mezcla descendente, aparato para proporcionar un flujo de bits que representa una señal de audio multicanal, métodos, programas informáticos y flujo de bits que representan una señal de audio multicanal usando un parámetro de combinación lineal |
CN107342091B (zh) * | 2011-03-18 | 2021-06-15 | 弗劳恩霍夫应用研究促进协会 | 计算机可读介质 |
US9754595B2 (en) * | 2011-06-09 | 2017-09-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding 3-dimensional audio signal |
JP5856295B2 (ja) * | 2011-07-01 | 2016-02-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム |
CN109166588B (zh) * | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
WO2014112793A1 (ko) * | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
EP2838086A1 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
EP2830043A3 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer |
KR101815079B1 (ko) * | 2013-09-17 | 2018-01-04 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
WO2015099429A1 (ko) * | 2013-12-23 | 2015-07-02 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치 |
-
2014
- 2014-01-15 CN CN201810969194.4A patent/CN109166588B/zh active Active
- 2014-01-15 US US14/758,642 patent/US10068579B2/en active Active
- 2014-01-15 CN CN201810968380.6A patent/CN108806706B/zh active Active
- 2014-01-15 KR KR1020140005056A patent/KR102213895B1/ko active IP Right Grant
- 2014-01-15 CN CN201810968402.9A patent/CN109166587B/zh active Active
- 2014-01-15 CN CN201480004944.4A patent/CN105009207B/zh active Active
-
2018
- 2018-06-18 US US16/011,249 patent/US10332532B2/en active Active
-
2022
- 2022-01-26 KR KR1020220011551A patent/KR102477610B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013006338A2 (en) * | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | System and method for adaptive audio signal generation, coding and rendering |
Non-Patent Citations (1)
Title |
---|
Information technology - High Efficiency Coding and Media Delivery in Heterogeneous Environments - Part 3: 3D Audio, Working Draft Text of MPEG-H 3D Audio CO RM0, ISO/IEC WD 23008-3, w14060, MPEG 106* * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019199040A1 (ko) * | 2018-04-10 | 2019-10-17 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
US11540075B2 (en) | 2018-04-10 | 2022-12-27 | Gaudio Lab, Inc. | Method and device for processing audio signal, using metadata |
US11950080B2 (en) | 2018-04-10 | 2024-04-02 | Gaudio Lab, Inc. | Method and device for processing audio signal, using metadata |
Also Published As
Publication number | Publication date |
---|---|
CN109166588A (zh) | 2019-01-08 |
US10068579B2 (en) | 2018-09-04 |
KR102477610B1 (ko) | 2022-12-14 |
CN109166587A (zh) | 2019-01-08 |
CN105009207B (zh) | 2018-09-25 |
CN108806706B (zh) | 2022-11-15 |
CN105009207A (zh) | 2015-10-28 |
CN109166588B (zh) | 2022-11-15 |
US20180301155A1 (en) | 2018-10-18 |
US10332532B2 (en) | 2019-06-25 |
CN108806706A (zh) | 2018-11-13 |
KR102213895B1 (ko) | 2021-02-08 |
US20150371645A1 (en) | 2015-12-24 |
KR20220020849A (ko) | 2022-02-21 |
CN109166587B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102477610B1 (ko) | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 | |
TWI744341B (zh) | 使用近場/遠場渲染之距離聲相偏移 | |
US9761229B2 (en) | Systems, methods, apparatus, and computer-readable media for audio object clustering | |
US9479886B2 (en) | Scalable downmix design with feedback for object-based surround codec | |
KR101903873B1 (ko) | 기하학적 거리 정의를 이용한 오디오 렌더링 장치 및 방법 | |
US10356545B2 (en) | Method and device for processing audio signal by using metadata | |
JP5823529B2 (ja) | 高次アンビソニックス・オーディオ・データ用のデータ構造 | |
KR101195980B1 (ko) | 다채널 오디오 포맷들 사이의 변환 장치 및 방법 | |
JP5337941B2 (ja) | マルチチャネル・パラメータ変換のための装置および方法 | |
EP2382803B1 (en) | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction | |
TWI443647B (zh) | 用以將以物件為主之音訊信號編碼與解碼之方法與裝置 | |
CN105981411A (zh) | 用于高声道计数的多声道音频的基于多元组的矩阵混合 | |
US20140086416A1 (en) | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients | |
WO2004036548A1 (en) | Method for coding and decoding the wideness of a sound source in an audio scene | |
US20240119949A1 (en) | Encoding/decoding apparatus for processing channel signal and method therefor | |
KR102637876B1 (ko) | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 | |
Mores | Music studio technology | |
KR20190060464A (ko) | 오디오 신호 처리 방법 및 장치 | |
Li et al. | The perceptual lossless quantization of spatial parameter for 3D audio signals | |
Mores | 12. Music Studio Studio Technology | |
CN114128312A (zh) | 用于低频效果的音频渲染 | |
JP2018196133A (ja) | サラウンドオーディオ信号処理のための装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |