KR102537541B1 - 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 - Google Patents

저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 Download PDF

Info

Publication number
KR102537541B1
KR102537541B1 KR1020177033554A KR20177033554A KR102537541B1 KR 102537541 B1 KR102537541 B1 KR 102537541B1 KR 1020177033554 A KR1020177033554 A KR 1020177033554A KR 20177033554 A KR20177033554 A KR 20177033554A KR 102537541 B1 KR102537541 B1 KR 102537541B1
Authority
KR
South Korea
Prior art keywords
channel
internal channel
gain
cpe
internal
Prior art date
Application number
KR1020177033554A
Other languages
English (en)
Other versions
KR20180009750A (ko
Inventor
김선민
전상배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180009750A publication Critical patent/KR20180009750A/ko
Application granted granted Critical
Publication of KR102537541B1 publication Critical patent/KR102537541B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G5/00—Tone control or bandwidth control in amplifiers
    • H03G5/16—Automatic control
    • H03G5/165—Equalizers; Volume or gain control in limited frequency bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Abstract

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surround 212)를 이용하여 인코딩된 오디오 비트스트림을 수신하는 단계; MPS212 파라미터들 및 포맷 컨버터에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 게인들을 획득하는 단계; 수신된 오디오 비트스트림 및 획득된 인터널 채널 게인들에 기초하여 CPE에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 채널 신호들을 생성하는 단계;를 포함한다.

Description

저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
본 발명은 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치에 대한 것으로, 보다 상세하게는, 스테레오 출력 레이아웃 환경에서 입력 채널들에 대한 인터널 채널 처리를 수행함으로써 포맷 변환기의 입력 채널 개수를 감소시켜 포맷 변환기에서 수행되는 공분산 연산 횟수를 감소시키는 방법 및 장치에 대한 발명이다.
MPEG-H 3D 오디오는 다양한 종류의 신호를 처리할 수 있으며, 입출력 형태의 제어가 용이하여 차세대 오디오 신호 처리를 위한 해결책으로 기능한다. 또한, 기기의 소형화 경향 및 시대의 흐름에 따라 오디오 재생 환경은 스테레오 재생 환경의 모바일 기기를 통해 재생되는 비율이 높아지고 있다.
22.2 채널 등 다채널로 구현되는 실감 오디오(immersive audio) 신호가 스테레오 재생 시스템으로 전달되는 경우, 모든 입력 채널이 디코딩되어야 하며 실감 오디오 신호를 다운믹스하여 스테레오 포맷으로 변환해야 한다.
입력 채널의 개수가 증가할수록, 또한 출력 채널의 개수가 감소할수록 이와 같은 과정에서 공분산 분석 및 위상 정합을 위해 필요한 디코더의 복잡도는 증가한다. 이와 같은 복잡도의 증가는 모바일 기기에서 연산 속도뿐 아니라 배터리 소모에도 큰 영향을 미치게 된다.
상술한 바와 같이, 실감 음향을 제공하기 위하여 입력 채널의 개수는 증가하는 반면 휴대성을 위하여 출력 채널의 개수는 감소하는 환경에서, 디코딩시 포맷 변환을 위한 복잡도가 문제된다.
본 발명은 전술한 종래 기술의 문제점을 해결하며, 디코더에서 포맷 변환의 복잡도를 감소시키는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surround 212)를 이용하여 인코딩된 오디오 비트스트림을 수신하는 단계; MPS212 파라미터들 및 포맷 컨버터에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 게인들을 획득하는 단계; 수신된 오디오 비트스트림 및 획득된 인터널 채널 게인들에 기초하여 CPE에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 채널 신호들을 생성하는 단계;를 포함한다.
상기 기술적 과제를 해결하기 위한 오디오 신호를 처리하는 장치는, MPS212(MPEG Surround 212)를 이용하여 인코딩된 오디오 비트스트림을 수신하는 수신부; MPS212 파라미터들 및 포맷 컨버터에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 게인들을 획득하고, 수신된 오디오 비트스트림 및 획득된 인터널 채널 게인들에 기초하여 CPE에 대한 인터널 채널 신호를 생성하는, 인터널 채널 처리부; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 채널 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 게인들,
Figure 112017115407549-pct00001
은,
Figure 112017115407549-pct00002
에 의해 결정되고, l은 타임 슬롯 인덱스, m은 주파수 밴드 인덱스이고,
Figure 112017115407549-pct00003
및
Figure 112017115407549-pct00004
는 MPS212 파라미터들의 l번째 타임 슬롯의 CLD값이고,
Figure 112017115407549-pct00005
및
Figure 112017115407549-pct00006
는 렌더링 파라미터들 중 패닝 게인값이고,
Figure 112017115407549-pct00007
및
Figure 112017115407549-pct00008
는 렌더링 파라미터들 중 m 번째 주파수 밴드의 EQ 게인값이다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호는 실감 오디오(immersive audio) 신호이다.
한편, 본 발명의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 인터널 채널을 이용함으로써 포맷 변환기(format converter)에 입력되는 채널의 숫자를 감소시켜, 포맷 변환기의 복잡도를 감소시킬 수 있다. 보다 구체적으로, 포맷 변환기에 입력되는 채널의 숫자가 감소됨으로써 포맷 변환기에서 수행되는 공분산 분석이 간소화되어 복잡도가 감소되는 효과가 있다.
또한, CLD 데이터 및 렌더링 파라미터에 기초한 인터널 채널 게인을 이용함으로써, 연산량을 더 감소시킬 수 있다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13 개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 일 실시예를 나타낸다.
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
표 8 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
표 9 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
표 10 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
표 11 은 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 12 는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
발명의 실시를 위한 최선의 형태
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 코어코덱(core codec) 출력 채널 위치에 기초하여 인터널 채널의 그룹을 할당하는 단계; 및 생성된 인터널 채널 신호와 할당된 인터널 채널의 그룹에 기초하여 스테레오 채널 출력 신호들을 생성하는 단계;를 포함한다.
발명의 실시를 위한 형태
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.
예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서 사용되는 용어의 정의는 다음과 같다.
인터널 채널(IC, Internal Channel)은, MPS212(MPEG Surround stereo) 업믹싱과 포맷 변환기(FC, Format Converter) 다운믹싱에서 발생하는 불필요한 연산을 제거하기 위해, 포맷 변환 과정에서 사용되는 가상의 중간단계(intermediate) 채널로, 스테레오 출력을 고려한다.
인터널 채널 신호(internal channel signal)는, 스테레오 신호를 제공하기 위하여 포맷 변환기에서 믹싱되는 모노신호로, 인터널 채널 게인을 이용하여 생성된다.
인터널 채널 처리(internal channel processing)는, MPS212 디코딩 블록에 기초하여 인터널 채널 신호를 생성하는 처리를 의미하며, 인터널 채널 처리 블록에서 수행된다.
인터널 채널 게인(ICG, Internal Channel Gain)은, CLD(Channel Level Difference) 값과 포맷 변환 파라미터들로부터 계산되는, 인터널 채널 신호에 적용되는 게인을 의미한다.
인터널 채널 그룹(internal channel group)은, 코어 코덱(core codec) 출력 채널 위치에 기초하여 결정되는 인터널 채널의 타입을 의미하며 코어 코덱 출력 채널 위치 및 인터널 채널 그룹은 표 4에 정의되어 있다(후술함).
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
멀티 채널 입력의 비트스트림이 디코더로 전달되면, 디코더에서는 입력 채널 레이아웃이 재생 시스템의 출력 채널 레이아웃에 맞게 다운믹싱된다. 예를 들어, 도 1 과 같이 MPEG 표준을 따르는 22.2 채널 입력 신호가 스테레오 채널 출력 시스템으로 재생될 때, 디코더에 포함되는 포맷 변환기(130)는 포맷 변환기 내부에 규정된 포맷 변환기 규칙에 따라 24 개의 입력 채널 레이아웃을 2 개의 출력 채널 레이아웃으로 다운믹싱한다.
이 때, 디코더에 입력되는 22.2 채널 입력 신호는 하나의 CPE(Channel Pair Element)에 포함되는 두개의 채널에 대한 신호들이 다운믹스된 CPE 비트스트림(110)들을 포함한다. CPE 비트스트림은 MPS212(MPEG Surround based stereo)를 이용해 인코딩되어 있으므로, 수신된 CPE 비트스트림은 MPS212(120)를 이용해 디코딩된다. 이 때, LFE(Low Frequency Effect)채널, 즉 우퍼채널은 CPE로 구성되지 않는다. 따라서, 22.2 채널 입력이라면 디코더 입력 신호는 11개의 CPE에 대한 비트스트림과 2개의 우퍼채널에 대한 비트스트림으로 구성된다.
22.2 채널 입력 신호를 구성하는 CPE 비트스트림들에 대한 MPS212 디코딩이 수행되면, 각각의 CPE에 대한 두개의 MPS212 출력 채널(121, 122)이 생성되며, MPS212를 이용해 디코딩 된 출력 채널(121, 122)들은 포맷 변환기의 입력 채널이 된다. 도 1 과 같은 경우 포맷 변환기의 입력 채널 개수 Nin은 우퍼채널을 포함하여 24가 된다. 따라서, 포맷 변환기에서는 24*2 다운믹싱이 수행되어야 한다.
포맷 변환기에서는, 멀티 채널 신호들 사이의 위상 차이에 의한 음색 왜곡(timbral distortion)을 방지하기 위해, 공분산 분석(covariance analysis)에 따른 위상 정합(phase alignment)이 수행된다. 이 때, 공분산 매트릭스는 NinⅩNin 차원을 가지므로, 공분산 매트릭스를 분석하기 위해서는 이론적으로 (NinⅩ(Nin-1)/2+Nin)Ⅹ71bandⅩ2Ⅹ16Ⅹ(48000/2048)번의 복소수 곱셈이 수행되어야 한다.
입력 채널의 개수 Nin이 24인 경우, 한번의 복소수 곱셈을 위해서는 네번의 연산이 수행되어야 하며 대략 64 MOPS(Million Operations Per Second)의 성능이 요구된다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
Figure 112017115407549-pct00009
표 1 의 믹싱 매트릭스에서 가로축(140)과 세로축(150)은 24개의 입력 채널에 대해 번호를 매긴 것으로 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다. 표 1 에 개시된 실시예에서 믹싱 매트릭스의 각 요소(element)가 1의 값을 갖는 경우(160)는 공분산 분석이 필요하지만, 0의 값을 갖는 경우(170)는 공분산 분석이 생략될 수 있다.
예를 들어, CM_M_L030 및 CH_M_R030 채널과 같이 스테레오 출력 레이아웃으로의 포맷 변환 과정에서 서로 믹싱되지 않은 입력 채널들의 경우, 믹싱 매트릭스에서 해당 요소의 값이 0이 되며 서로 믹싱되지 않는 CM_M_L030 및 CH_M_R030채널 상호간의 공분산 분석 과정이 생략될 수 있다.
따라서 24*24번의 공분산 분석 중 서로 믹싱되지 않는 입력 채널들에 대한 128번의 공분산 분석을 제외할 수 있다.
또한, 믹싱 매트릭스는 입력 채널에 따라 대칭으로 구성되므로, 표 1 에서 대각선을 기준으로 하단(190)과 상단(180)을 나누어, 하단에 해당하는 영역은 공분산 분석을 생략할 수 있다. 또한 대각선의 상단에 해당하는 영역 중 굵은 글씨로 기재된 부분에 대해서만 공분산 분석이 수행되므로, 최종적으로 236번의 공분산 분석이 수행된다.
이와 같이 믹싱 매트릭스의 값이 0인 경우(서로 믹싱되지 않는 채널들) 및 믹싱 매트릭스의 대칭성을 이용해 불필요한 공분산 분석 과정을 제거하면 공분산 분석은 236Ⅹ71bandⅩ2Ⅹ16Ⅹ (48000/2048)번의 복소수 곱셈이 수행되어야 한다.
따라서, 이와 같은 경우 50 MOPS가 요구되므로 모든 믹싱 매트릭스에 대하여 공분산 분석을 수행하는 경우에 비해 공분산 분석에 의한 시스템 부하가 개선되는 효과가 있다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
한편 MPEG-H 3D 오디오는 제한된 전송 환경에서 멀티채널 오디오 신호를 보다 효율적으로 전달하기 위해 CPE를 이용한다. 하나의 채널 쌍에 해당하는 두 개의 채널들이 스테레오 레이아웃으로 믹싱되는 경우, 채널간 상관도(ICC, Inter Channel Correlation) ICC=1로 설정되어 역상관기(decorrelator)가 적용되지 않으므로 두 개의 채널은 서로 같은 위상 정보를 갖는다.
즉, 스테레오 출력을 고려하여 각각의 CPE에 포함되는 채널쌍을 결정하면, 업믹스된 채널쌍들은 서로 같은 패닝 계수를 갖게 된다(후술함).
하나의 인터널 채널은 하나의 CPE에 포함되는 두 개의 동위상(in-phase) 채널이 믹싱되어 생성된다. 하나의 인터널 채널 신호는 인터널 채널에 포함되는 두개의 입력 채널이, 스테레오 출력 채널로 변환되는 경우의 포맷 변환기 변환 규칙에 따른 믹싱 게인과 EQ(Equalization) 값에 기초하여 다운믹싱된다. 이 때 하나의 CPE에 포함되는 채널쌍은 서로 동위상 채널이므로 다운믹싱 후 채널간 위상을 정합하는 과정이 필요하지 않다.
MPS212 업믹서의 스테레오 출력 신호들은 위상차이가 없지만, 도 1 에 개시된 실시예에서는 이를 고려하지 않으므로 복잡도가 불필요하게 증가하게 된다. 재생 레이아웃이 스테레오인 경우, 포맷 변환기의 입력으로 업믹스된 CPE 채널 쌍 대신 하나의 인터널 채널을 이용함으로써, 포맷 변환기의 입력 채널 개수를 줄일 수 있다.
도 2 에 개시된 실시예에서는, CPE 비트스트림(210)을 MPS212 업믹싱하여 두개의 채널을 생성하는 과정 대신, CPE 비트스트림를 인터널 채널 처리(220)하여 하나의 인터널 채널(221)을 생성한다. 이 때, 우퍼 채널은 CPE로 구성되지 않으므로 각각의 우퍼채널 신호가 인터널 채널 신호가 된다.
도 2에 개시된 실시예에서 22.2 채널인 경우를 가정하면 이론적으로 22개의 일반 채널에 대한 11개의 CPE에 대한 인터널 채널과 2개의 우퍼 채널에 대한 인터널 채널을 포함하여 Nin=13개의 인터널 채널이 포맷 변환기의 입력 채널이 된다. 따라서, 포맷 변환기에서는 13*2 다운믹싱이 수행된다.
이와 같이 스테레오 재생 레이아웃인 경우, 인터널 채널을 이용함으로써 MPS212를 통해 업믹싱하고, 포맷 변환을 통해 다시 다운믹싱하는 과정에서 발생하는 불필요한 과정을 추가적으로 제거함으로써 디코더의 복잡도를 보다 더 감소시킬 수 있다.
하나의 CPE에 대한 두 개의 출력 채널 i, j 에 대한 믹싱 매트릭스
Figure 112017115407549-pct00010
값이 1인 경우 채널간 상관도(ICC, Inter Channel Correlation)
Figure 112017115407549-pct00011
로 설정되며, 역상관기(decorrelation) 및 잔여(residual) 처리 단계는 생략될 수 있다.
인터널 채널은 포맷 변환기의 입력에 해당하는 가상의 중간단계 채널로 정의된다. 도 2 에 도시된 것과 같이 각각의 인터널 채널 처리 블록(220)은 CLD와 같은 MPS212 페이로드 및 EQ, 게인값과 같은 렌더링 파라미터들을 이용하여 인터널 채널 신호를 생성한다. 이 때, EQ 및 게인값들은 포맷 변환기의 변환 규칙 테이블에 정의된, MPS212 블록의 출력 채널에 대한 렌더링 파라미터를 의미한다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
Figure 112017115407549-pct00012
표 1 과 마찬가지로, 표 2 의 믹싱 매트릭스에서 가로축과 세로축은 입력 채널의 인덱스를 의미하며 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다.
상술한 바와 같이, 믹싱 매트릭스는 대각선을 기준으로 대칭 성질을 가지므로, 표 2 에 개시된 믹싱 매트릭스 역시 대각선을 기준으로 상단 혹은 하단의 구성을 선택함으로써 일부에 대한 공분산 분석을 생략할 수 있다. 또한, 스테레오 출력 채널 레이아웃으로 포맷 변환 과정에서 믹싱되지 않는 입력 채널들에 대해서 역시 공분산 분석을 생략할 수 있다.
그러나 표 1 에 개시된 실시예와 달리 표 2 에 개시된 실시예에서는 22개의 일반 채널로 구성되는 11개의 인터널 채널 및 2개의 우퍼 채널을 포함하는 13개의 채널이 스테레오 출력 채널로 다운믹싱되며, 포맷 변환기의 입력 채널 개수 Nin은 13이 된다.
그 결과, 표 2 와 같이 인터널 채널을 이용하는 경우의 실시예에서는, 75번의 공분산 분석이 수행되며 이론적으로 19MOPS가 요구되므로 인터널 채널을 이용하지 않는 경우와 비교해 공분산 분석에 의한 포맷 변환기의 부하를 크게 감소시킬 수 있다.
포맷 변환기는, 다운믹싱을 위한 다운믹스 매트릭스
Figure 112017115407549-pct00013
가 정의되어 있으며, 믹싱 매트릭스
Figure 112017115407549-pct00014
는 다음과 같이
Figure 112017115407549-pct00015
를 이용하여 계산된다.
Figure 112017115407549-pct00016
각 OTT 디코딩 블록은 채널 번호 i 및 j에 해당하는 두 개의 채널을 출력하며, 믹싱 매트릭스
Figure 112017115407549-pct00017
가 1인 경우는
Figure 112017115407549-pct00018
로 설정되어 업믹스 매트릭스
Figure 112017115407549-pct00019
의
Figure 112017115407549-pct00020
와
Figure 112017115407549-pct00021
가 계산되므로 역상관기를 사용하지 않는다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
22.2 채널 비트스트림이 표 3 과 같은 구조를 가지면, 13개의 인터널 채널들은 ICH_A 부터 ICH_M까지 정의될 수 있으며, 13개의 인터널 채널들에 대한 믹싱 매트릭스는 표 2와 같이 결정될 수 있다.
표 3 의 첫번째 열은 입력 채널에 대한 인덱스를 나타내며, 첫번째 행은 입력 채널이 CPE를 구성하는지 여부, 스테레오 채널로의 믹싱 게인 및 인터널 채널 인덱스를 나타낸다.
Figure 112017115407549-pct00022
예를 들어 CM_M_000과 CM_L_000이 하나의 CPE로 구성되는 ICH_A 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인과 우 출력 채널에 적용되는 믹싱 게인은 모두 0.707의 값을 갖는다. 즉, 좌 출력 채널과 우 출력 채널로 업믹싱된 신호는 서로 동일한 크기로 재생된다.
또는, CH_M_L135와 CH_U_L135가 하나의 CPE로 구성되는 ICH_F 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 1, 우 출력 채널에 적용되는 믹싱 게인은 0의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로만 재생되며 우 출력 채널로는 재생되지 않는다.
반대로, CH_M_R135와 CH_U_R135가 하나의 CPE로 구성되는 ICH_J 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 0, 우 출력 채널에 적용되는 믹싱 게인은 1의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로는 재생되지 않고 우 출력 채널로만 재생된다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 장치의 일 실시예를 나타낸다.
하나의 CPE에 대한 인터널 채널은 다운믹스된 모노신호에 CLD와 게인 및 EQ와 같은 QMF 도메인의 포맷 변환 파라미터들을 적용함으로써 유도될 수 있다.
도 3 에 개시된 인터널 채널을 생성하는 장치는, 업믹서(310), 스케일러(320) 및 믹서(330)를 포함한다.
CH_M_000과 CH_L_000의 채널쌍에 대한 신호가 다운믹스된 CPE(340)가 입력되는 경우를 가정하면, 업믹서(310)는 CLD 파라미터를 이용하여 CPE 신호를 업믹싱한다. 업믹서(310)를 통과한 CPE 신호는 CH_M_000에 대한 신호(351)와 CH_L_000에 대한 신호(352)로 업믹스되며, 업믹스된 신호들의 위상 역시 같게 유지되며 포맷 변환기에서 함께 믹스될 수 있다.
업믹스된 CH_M_000 채널 신호 및 CH_L_000 채널 신호 각각은 포맷 변환기에 정의되어 있는 변환 규칙에 해당하는 게인 및 EQ에 의해 각 서브밴드별로 스케일링(320, 321)된다.
CH_M_000과 CH_L_000의 채널 쌍에 대해 각각 스케일링 된 신호들(361, 362)이 생성되면, 믹서(330)는 스케일링 된 신호들(361, 362)을 믹싱하고, 믹싱된 신호를 파워 정규화함으로써 포맷 변환을 위한 중간단계 채널 신호(intermediate channel signal)인 인터널 채널 신호 ICH_A(370)를 생성한다.
이 때, CLD를 이용하여 업믹스되지 않는, SCE(Single Channel Element) 및 우퍼채널 등의 경우, 인터널 채널은 원래의 입력 채널과 동일하다.
인터널 채널을 이용하는 코어 코덱 출력은 하이브리드 QMF(Quadrature Mirror Filter) 도메인에서 수행되므로, ISO IEC23308-3 10.3.5.2의 과정은 처리되지 않는다. 코어 코더의 각 채널을 할당하기 위하여, 표 4 내지 표 6 과 같은 추가적인 채널 할당 규칙 및 다운믹스 규칙이 정의된다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
Figure 112017115407549-pct00023
인터널 채널은 코어 코더와 포맷 변환기의 입력채널 사이의 중간단계 채널에 해당하며 우퍼채널, 센터 채널, 좌측 채널 및 우측 채널의 네가지 타입이 있다.
또한, 인터널 채널은 스테레오 출력 채널 중 좌 채널과 우 채널로, (1,0), (0,1) 또는 (0.707, 0.707)로 패닝될 수 있다.
CPE로 표현된 각 타입의 채널 쌍들이 동일한 인터널 채널 타입일 경우, 포맷 변환기에서 동일한 패닝 계수와 믹싱 매트릭스를 가지므로 인터널 채널을 이용할 수 있다. 즉, CPE에 포함된 채널 쌍이 같은 인터널 채널 타입을 갖는 경우 인터널 채널 처리가 가능하며 따라서 CPE를 구성할 때 같은 인터널 채널 타입을 갖는 채널들로 CPE를 구성하도록 할 필요가 있다.
디코더 입력 채널이 우퍼 채널, 즉 CH_LFE1, CH_LFE2 또는 CH_LFE3에 해당하면, 인터널 채널 타입은 우퍼 채널인 CH_I_LFE로 결정된다.
디코더 입력 채널이 센터 채널, 즉 CH_M_000, CH_L_000, CH_U_000, CH_T_000, CH_M_180 또는 CH_U_180에 해당하면, 인터널 채널 타입은 센터 채널인 CH_I_CNTR로 결정된다.
인터널 채널 타입이 CH_I_CNTR 또는 CH_I_LFE인 경우, 좌우 패닝은 (0.707, 0.707)에 해당하므로 출력 신호는 스테레오 출력 채널 중 L 채널과 R 채널로 모두 재생되며, L 채널 신호와 R 채널 신호는 균등한 크기를 가지며 포맷 변환 후 신호는 포맷 변환 전 신호와 동일한 에너지를 갖는다. 그러나, LFE 채널은 CPE로부터 업믹스되지 않고 LFE 요소로부터 독립적으로 인코딩되어 있다.
디코더 입력 채널이 좌측 채널, 즉 CH_M_L022, CH_M_L030, CH_M_L045, CH_M_L060, CH_M_L090, CH_M_L110, CH_M_L135, CH_M_L150, CH_L_L045, CH_U_L045, CH_U_L030, CH_U_L045, CH_U_L090, CH_U_L110, CH_U_L135, CH_M_LSCR 또는 CH_M_LSCH에 해당하면, 인터널 채널 타입은 좌측 채널인 CH_I_LEFT로 결정된다.
인터널 채널 타입이 CH_I_LEFT인 경우, 좌우 패닝은 (1, 0)에 해당하므로 출력 신호는 스테레오 출력 채널 중 L 채널로 재생되며, 포맷 변환 후 신호는 포맷 변환 전 신호와 동일한 에너지를 갖는다.
디코더 입력 채널이 우측 채널, 즉 CH_M_R022, CH_M_R030, CH_M_R045, CH_M_R060, CH_M_R090, CH_M_R110, CH_M_R135, CH_M_R150, CH_L_R045, CH_U_R045, CH_U_R030, CH_U_R045, CH_U_R090, CH_U_R110, CH_U_R135, CH_M_RSCR 또는 CH_M_RSCH에 해당하면, 인터널 채널 타입은 우측 채널인 CH_I_RIGHT로 결정된다.
인터널 채널 타입이 CH_I_RIGHT인 경우, 좌우 패닝은 (0, 1)에 해당하므로 출력 신호는 스테레오 출력 채널 중 R 채널로 재생되며, 포맷 변환 후 신호는 포맷 변환 전 신호와 동일한 에너지를 갖는다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
Figure 112017115407549-pct00024
CH_I_LFE는 우퍼채널로 고도각 0도에 위치하고 CH_I_CNTR 은 고도각 및 방위각이 모두 0도에 위치하는 채널에 해당한다. CH_I_LFET 는 고도각은 0도이고 방위각은 좌측 30도~60도 사이의 섹터에 위치하는 채널에 해당하며, CH_I_RIGHT 는 고도각은 0도이고 방위각은 우측 30도~60도 사이의 섹터에 위치하는 채널에 해당한다.
이 때 새로 정의된 인터널 채널들의 위치는 채널간 상대적 위치가 아닌 기준점에 대한 절대적인 위치이다.
CPE 쌍으로 구성된 QCE(Quadruple Channel Element)의 경우에도 인터널 채널이 적용될 수 있다(후술함).
인터널 채널을 생성하는 구체적인 방법은 두가지로 구현될 수 있다.
첫번째는 MPEG-H 3D 오디오 인코더에서 전처리(pre-processing) 하는 방법이고, 두번째는 MPEG-H 3D 오디오 디코더에서 후처리(post-processing) 하는 방법이다.
인터널 채널이 MPEG에서 이용되는 경우, 표 5 는 ISO/IEC 23008-3 표 90에 새로운 행으로 추가될 수 있다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
Figure 112017115407549-pct00025
인터널 채널을 이용하기 위하여, 포맷 변환기에는 표 6 과 같은 추가적인 규칙이 추가되어야 한다.
인터널 채널 신호는 포맷 변환기의 게인 및 EQ 값들을 고려하여 생성된다. 따라서, 표 6에 나타난 것과 같이 게인 값은 1이고, EQ 인덱스는 0인, 추가적인 변환 규칙을 이용하여 인터널 채널 신호를 생성할 수 있다.
인터널 채널 타입이 센터 채널에 해당하는 CH_I_CNTR 채널이거나, 우퍼 채널에 해당하는 CH_I_LFE이면, 출력 채널은 CH_M_L030 및 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 두개의 스테레오 출력 채널을 모두 이용하므로 출력 신호의 파워를 유지하기 위해 각 출력 채널 신호에 1/√2를 곱해야 한다.
인터널 채널 타입이 좌측 채널에 해당하는 CH_I_LEFT이면, 출력 채널은 CH_M_L030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 좌측의 출력 채널만을 이용하므로, CH_M_L030에는 게인 1이 적용되고 CH_M_R030에는 게인 0이 적용된다.
인터널 채널 타입이 우측 채널에 해당하는 CH_I_RIGHT이면, 출력 채널은 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 우측의 출력 채널만을 이용하므로 CH_M_R030에는 게인 1이 적용되고 CH_M_L030에는 게인 0이 적용된다.
이 때, 인터널 채널과 입력 채널이 동일한 SCE 채널등의 경우, 일반적인 포맷 변환 규칙이 적용된다.
인터널 채널이 MPEG에서 이용되는 경우, 표 6 은 ISO/IEC 23008-3 표 96에 새로운 행으로 추가될 수 있다.
표 7 내지 표 12 는 MPEG에서 인터널 채널을 사용하기 위해 기존 규격이 변경되어야 하는 부분을 나타낸다. 이하에서는 표 7 내지 표 12 를 이용해 인터널 채널 처리를 위해 변경 또는 추가되어야 하는 비트스트림 구성 및 신택스를 설명한다.
표 7 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
인터널 채널 처리를 위해서는 인터널 채널을 위한 스피커 레이아웃 타입 speakerLayoutType 이 정의되어야 한다. 표 7 은 의 speakerLayoutType각 값에 대한 의미를 나타낸다.
Figure 112017115407549-pct00026
speakerLayoutType==3인 경우, 라우드 스피커 레이아웃은 LCChannelConfiguration 인덱스의 의미에 의해 시그널링된다. LCChannelConfiguration는 ChannelConfiguration과 동일한 레이아웃을 가지지만, CPE를 이용하는 최적의 인터널 채널 구조를 가능하기 위한 채널 할당 순서(order)를 가진다.
표 8 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
Figure 112017115407549-pct00027
상술한 바와 같이 speakerLayoutType==3인 경우, CICPspeakerLayoutIdx와 동일한 레이아웃을 이용하지만 인터널 채널을 위한 최적화된 채널 할당 순서(ordering)에서 차이가 있다.
speakerLayoutType==3이고 출력 레이아웃이 스테레오인 경우, 입력 채널 번호 Nin 는 코어 코덱 이후 인터널 채널의 번호로 변경된다.
표 9 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
인터널 채널을 위한 스피커 레이아웃 타입을 새로 정의함으로써 immersiveDownmixFlag 역시 수정되어야 한다. immersiveDownmixFlag가 1인 경우, 표 12와 같이 speakerLayoutType==3인 경우의 처리를 위한 구문이 추가되어야 한다.
오브젝트 확산(object spreading)은 다음과 같은 요건이 만족되어야 한다.
- 로컬 라우드스피커 설정은 LoudspeakerRendering()에 의해 시그널링되며,
- the speakerLayoutType은 0 또는 3이어야 하며,
- CICPspeakerLayoutIdx는 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18 중 하나의 값을 가진다.
Figure 112017115407549-pct00028
표 10 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
SAOC3DgetNumChannels 은 표 10 에 나타난 것처럼 speakerLayoutType==3인 경우를 포함하도록 수정되어야 한다.
Figure 112017115407549-pct00029
표 11 은 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 11 은 인터널 채널을 위해 새로 정의되는 채널 할당 순서로, 라우드스피커 레이아웃 또는 LCChannelConfiguration에 따른 채널 개수, 순서 및 가능한 인터널 채널 타입을 나타낸다.
Figure 112017115407549-pct00030
Figure 112017115407549-pct00031
표 12 는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
인터널 채널 처리를 위해, 표 15에 개시된 것과 같이 stereoConfigIndex가 0보다 큰 경우 Mps212Config()처리를 한 후 isInternal Channel Processed()가 처리되도록 mpegh3daChannelPairElementConfig ()가 수정되어야 한다.
Figure 112017115407549-pct00032
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
speakerLayout==3이고, isInternalProcessed가 0이고, 재생 레이아웃이 스테레오인 조건이 만족되어 Internal Channel Gain을 Decoder에서 적용시키는 경우, 도 4 와 같은 인터널 채널 처리 과정이 수행된다.
도 4 에 개시된 인터널 채널 게인 적용부는 인터널 채널 게인 획득부(410) 및 곱셈기(420)를 포함한다.
입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정하면, 해당 CPE에 대한 모노 QMF 서브밴드 샘플들(430)이 입력되면 인터널 채널 게인 획득부(410)는 CLD를 이용하여 인터널 채널 게인을 획득한다. 곱셈기(420)는 획득된 인터널 채널 게인을 수신된 모노 QMF 서브밴드 샘플에 곱해줌으로써 인터널 채널 신호 ICH_A(440)를 획득한다.
인터널 채널 신호는 CPE에 대한 모노 QMF 서브밴드 샘플들에 인터널 채널 게인
Figure 112017115407549-pct00033
을 곱함으로써 간단히 재구성될 수 있다. 이 때, l은 시간 인덱스 m은 주파수 인덱스를 나타낸다.
상술한 바와 같이, 인터널 채널을 이용함으로써 포맷 변환기의 공분산 연산을 감소시킴으로써 요구되는 연산량이 대폭 감소되는 효과가 있다. 그러나, (1) 변환 규칙 매트릭스에 정의되어 있는 “고정된” 다수의 게인값들 및 EQ 값들이 싱글 QMF 밴드 샘플들에 곱해져야 하고, (2) 업믹싱 과정 및 믹싱 과정이 요구되고, (3) 파워 정규화 과정이 요구되므로 연산량을 보다 더 감소시킬 필요가 있다.
따라서, 하나의 CLD 데이터는 다수의 QMF 서브밴드 샘플에 적용될 수 있는 점에 착안하여, CLD 데이터에 기초하여 인터널 채널 게인을 정의할 수 있다. CLD 데이터에 기초하여 정의된 인터널 채널 게인은 위에 언급한 세가지 과정을 모두 커버할 수 있고 다수의 QMF 서브밴드 샘플에 대한 곱셈에 이용될 수 있으므로, 인터널 채널 신호를 생성하는 과정의 복잡도를 감소시킬 수 있다.
speakerLayout==3이고, isInternalProcessed가 0이고, 재생 레이아웃이 편차 없는 스테레오인 조건이 만족되는 경우, [수학식 1]과 같은 인터널 채널 게인
Figure 112017115407549-pct00034
이 정의될 수 있다.
Figure 112017115407549-pct00035
이 때,
Figure 112017115407549-pct00036
및
Figure 112017115407549-pct00037
는 CLD의 패닝 계수를,
Figure 112017115407549-pct00038
및
Figure 112017115407549-pct00039
는 포맷 변환 규칙에 정의된 게인을,
Figure 112017115407549-pct00040
및
Figure 112017115407549-pct00041
는 포맷 변환 규칙에 정의된 EQ의 m번째 밴드의 게인을 의미한다.
수식 1에 정의된 인터널 채널 게인을 이용함으로써, (1) CLD를 이용하여 업믹싱하고, (2) 게인 및 EQ를 곱하고, (3) CPE에 대한 신호를 믹싱하고 파워 정규화 하는 일련의 과정들에 대한 복잡도를 감소시킬 수 있다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
speakerLayout==3이고, isInternalProcessed가 1이고, 재생 레이아웃이 스테레오인 조건이 만족되어 인터널 채널 게인이 인코더에서 적용되어 전달되는 경우, 도 5 와 같은 인터널 채널 처리 과정이 수행된다.
출력 레이아웃이 스테레오인 경우라면, MPEG-H 3D 오디오 인코더에서 CPE에 해당하는 인터널 채널 게인을 미리 처리함으로써 디코더에서 MPS212가 바이패스될 수 있으므로 디코더 복잡도를 더 감소시킬 수 있다.
그러나 출력 레이아웃이 스테레오가 아닌 경우라면 인터널 채널 처리를 수행하지 않으므로, 디코더에서 도 5와 같이 인터널 채널 게인의 역수
Figure 112017115407549-pct00042
를 곱하고 MPS212 처리하여 원복하는 과정이 필요하다.
도 3 및 도 4와 마찬가지로 입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정한다. 인코더에서 인터널 채널 게인이 전처리된 모노 QMF 서브밴드 샘플들(540)이 입력되면, 디코더는 출력 레이아웃이 스테레오인지 여부를 판단(510)한다.
출력 레이아웃이 스테레오라면, 인터널 채널을 사용하는 경우이므로 인터널 채널 ICH_A(550)에 대한 인터널 채널 신호로 수신된 모노 QMF 서브밴드 샘플들(540)를 출력한다. 반면 출력 레이아웃이 스테레오가 아니라면, 인터널 채널 처리가 인터널 채널을 사용하지 않으므로, 역 인터널 채널 게인(inverse internal channel gain)처리(520)를 수행하여 인터널 채널 처리된 신호를 원복(560)하고, 원복된 신호를 MPS212 업믹싱(530)하여 CH_M_000(571) 및 CH_L_000(572) 각각에 대한 신호를 출력한다.
포맷 변환기의 공분산 분석에 의한 부하가 문제되는 경우는 입력 채널의 개수에 비해 많고 출력 채널의 개수가 적은 경우로, MPEG-H 오디오에서 출력 레이아웃이 스테레오인 경우 가장 큰 디코딩 복잡도를 갖는다.
반면 스테레오가 아닌 다른 출력 레이아웃인 경우 인터널 채널 게인의 역수를 곱하기 위해 추가되는 연산량은, 프레임당 두 세트의 CLD인 경우를 가정하면 (곱셈 5번, 덧셈 2번, 나눗셈 1번, 제곱근 1번
Figure 112017115407549-pct00043
55 연산)Ⅹ(71밴드)Ⅹ (2 파라미터 세트)Ⅹ(48000/2048)Ⅹ(13 인터널 채널)로, 대략 2.4 MOPS가 되며 시스템에 큰 부하로 작용하지 않는다.
인터널 채널이 생성된 후, 인터널 채널의 QMF 서브밴드 샘플들, 인터널 채널들의 개수 및 각 인터널 채널들의 타입은 포맷 변환기로 전달되며, 인터널 채널들의 개수는 포맷 변환기에서 공분산 매트릭스의 크기를 결정한다.
역 인터널 채널 게인 IG는 MPS 파라미터들과 포맷 변환 파라미터들을 이용하여, 수학식 2 와 같이 계산된다.
Figure 112017115407549-pct00044
이 때,
Figure 112017115407549-pct00045
와
Figure 112017115407549-pct00046
는 CPE 신호 에 대한 l번째 타임슬롯과 m번째 하이브리드 QMF 밴드의 역양자화된 선형 CLD 값을,
Figure 112017115407549-pct00047
와
Figure 112017115407549-pct00048
는 ISO/IEC 23008-3 테이블 96, 즉 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 게인열의 값을 나타내며,
Figure 112017115407549-pct00049
와
Figure 112017115407549-pct00050
는 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 EQ의 m번째 밴드의 게인을 나타낸다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (7)

  1. 오디오 신호 처리 장치가 오디오 신호를 처리하는 방법에 있어서,
    MPS212(MPEG Surround 212)를 이용하여 인코딩된 CPE(channel pair element)를 수신하는 단계;
    CLD(channel level difference) 값들, 및 렌더링 파라미터의 EQ(equalizer) 게인 값들과 상기 렌더링 파라미터의 게인 값들에 기초하여, 상기 수신된 CPE에 대한 인터널 채널 게인을 계산하는 단계;
    상기 수신된 CPE 및 상기 계산된 인터널 채널 게인에 기초하여 인터널 채널 신호를 생성하는 단계; 및
    상기 생성된 인터널 채널 신호에 기초하여 스테레오 출력 채널 신호들을 생성하는 단계;를 포함하고,
    상기 인터널 채널 게인,
    Figure 112022139325663-pct00072
    은,
    Figure 112022139325663-pct00073
    에 의해 계산되고,
    상기 l은 타임 슬롯 인덱스, 상기 m은 주파수 밴드 인덱스이고,
    상기
    Figure 112022139325663-pct00074
    및 상기
    Figure 112022139325663-pct00075
    는 상기 CPE에 대한 상기 CLD 값들이고,
    상기
    Figure 112022139325663-pct00076
    및 상기
    Figure 112022139325663-pct00077
    는 MPS212 출력 채널들에 따른 상기 게인 값들이고,
    상기
    Figure 112022139325663-pct00078
    및 상기
    Figure 112022139325663-pct00079
    는 상기 MPS212 출력 채널들에 따른 상기 EQ 게인 값들인,
    오디오 신호를 처리하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 오디오 신호는 실감 오디오(immersive audio) 신호인,
    오디오 신호를 처리하는 방법.
  4. MPS212(MPEG Surround 212)를 이용하여 인코딩된 CPE(channel pair element)를 수신하는 수신부;
    CLD(channel level difference) 값들, 및 렌더링 파라미터의 EQ(equalizer) 게인 값들과 상기 렌더링 파라미터의 게인 값들에 기초하여, 상기 수신된 CPE에 대한 인터널 채널 게인을 계산하고, 상기 수신된 CPE 및 상기 계산된 인터널 채널 게인에 기초하여 인터널 채널 신호를 생성하는, 인터널 채널 처리부; 및
    상기 생성된 인터널 채널 신호에 기초하여 스테레오 출력 채널 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함하고,
    상기 인터널 채널 게인,
    Figure 112022139325663-pct00080
    은,
    Figure 112022139325663-pct00081
    에 의해 계산되고,
    상기 l은 타임 슬롯 인덱스, 상기 m은 주파수 밴드 인덱스이고,
    상기
    Figure 112022139325663-pct00082
    및 상기
    Figure 112022139325663-pct00083
    는 상기 CPE에 대한 상기 CLD 값들이고,
    상기
    Figure 112022139325663-pct00084
    및 상기
    Figure 112022139325663-pct00085
    는 MPS212 출력 채널들에 따른 상기 게인 값들이고,
    상기
    Figure 112022139325663-pct00086
    및 상기
    Figure 112022139325663-pct00087
    는 상기 MPS212 출력 채널들에 따른 상기 EQ 게인 값들인,
    오디오 신호를 처리하는 장치.
  5. 삭제
  6. 제 4 항에 있어서,
    상기 오디오 신호는 실감 오디오(immersive audio) 신호인,
    오디오 신호를 처리하는 장치.
  7. 제 1 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020177033554A 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 KR102537541B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562181112P 2015-06-17 2015-06-17
US62/181,112 2015-06-17
PCT/KR2016/006494 WO2016204580A1 (ko) 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180009750A KR20180009750A (ko) 2018-01-29
KR102537541B1 true KR102537541B1 (ko) 2023-05-26

Family

ID=57546026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033554A KR102537541B1 (ko) 2015-06-17 2016-06-17 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US10504528B2 (ko)
EP (1) EP3312834A4 (ko)
KR (1) KR102537541B1 (ko)
CN (1) CN107787584B (ko)
WO (1) WO2016204580A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121647A1 (en) * 2007-03-30 2010-05-13 Seung-Kwon Beack Apparatus and method for coding and decoding multi object audio signal with multi channel

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
JP5209637B2 (ja) 2006-12-07 2013-06-12 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595150A3 (en) 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for coding multi-object audio signals
WO2008139441A2 (en) 2007-05-12 2008-11-20 Anobit Technologies Ltd. Memory device with internal signal processing unit
WO2009084919A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US20100284549A1 (en) * 2008-01-01 2010-11-11 Hyen-O Oh method and an apparatus for processing an audio signal
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
MX2013010537A (es) 2011-03-18 2014-03-21 Koninkl Philips Nv Codificador y decodificador de audio con funcionalidad de configuracion.
KR101949756B1 (ko) 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
CN104541524B (zh) 2012-07-31 2017-03-08 英迪股份有限公司 一种用于处理音频信号的方法和设备
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
KR20150011783A (ko) 2013-07-23 2015-02-02 한국전자통신연구원 잔향 신호를 이용한 다채널 오디오 신호의 디코딩 방법 및 디코더
CN106463125B (zh) * 2014-04-25 2020-09-15 杜比实验室特许公司 基于空间元数据的音频分割
KR20180009751A (ko) 2015-06-17 2018-01-29 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
CN114005454A (zh) 2015-06-17 2022-02-01 三星电子株式会社 实现低复杂度格式转换的内部声道处理方法和装置
EP3869825A1 (en) 2015-06-17 2021-08-25 Samsung Electronics Co., Ltd. Device and method for processing internal channel for low complexity format conversion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121647A1 (en) * 2007-03-30 2010-05-13 Seung-Kwon Beack Apparatus and method for coding and decoding multi object audio signal with multi channel

Also Published As

Publication number Publication date
EP3312834A1 (en) 2018-04-25
KR20180009750A (ko) 2018-01-29
CN107787584A (zh) 2018-03-09
WO2016204580A1 (ko) 2016-12-22
US10504528B2 (en) 2019-12-10
EP3312834A4 (en) 2018-04-25
US20180166083A1 (en) 2018-06-14
CN107787584B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
RU2759160C2 (ru) УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ КОДИРОВАНИЯ, ДЕКОДИРОВАНИЯ, ОБРАБОТКИ СЦЕНЫ И ДРУГИХ ПРОЦЕДУР, ОТНОСЯЩИХСЯ К ОСНОВАННОМУ НА DirAC ПРОСТРАНСТВЕННОМУ АУДИОКОДИРОВАНИЮ
RU2766560C2 (ru) Способ и устройство для декодирования амбиофонического аудиопредставления звукового поля для проигрывания аудио с использованием 2d-компоновок
US10448185B2 (en) Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US11810583B2 (en) Method and device for processing internal channels for low complexity format conversion
JP7383685B2 (ja) バイノーラル・ダイアログ向上
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
CN107787509B (zh) 处理低复杂度格式转换的内部声道的方法和设备
JP6686015B2 (ja) オーディオ信号のパラメトリック混合
KR102627374B1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
KR102537541B1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
KR102657547B1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
KR20240050483A (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2023172865A1 (en) Methods, apparatus and systems for directional audio coding-spatial reconstruction audio processing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant