KR101218777B1 - 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 - Google Patents

다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 Download PDF

Info

Publication number
KR101218777B1
KR101218777B1 KR1020120083520A KR20120083520A KR101218777B1 KR 101218777 B1 KR101218777 B1 KR 101218777B1 KR 1020120083520 A KR1020120083520 A KR 1020120083520A KR 20120083520 A KR20120083520 A KR 20120083520A KR 101218777 B1 KR101218777 B1 KR 101218777B1
Authority
KR
South Korea
Prior art keywords
channel
signal
spatial information
downmixed
operations
Prior art date
Application number
KR1020120083520A
Other languages
English (en)
Other versions
KR20120099191A (ko
Inventor
김중회
오은미
주기현
레이 미아오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120099191A publication Critical patent/KR20120099191A/ko
Application granted granted Critical
Publication of KR101218777B1 publication Critical patent/KR101218777B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H04B1/1646—Circuits adapted for the reception of stereophonic signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

멀티 채널(multi-channel)로 오디오 신호를 부호화/복호화하는 서라운드(surround) 오디오 코딩에 관한 것으로, 멀티 채널(multi-channel)로부터 다운믹스된(downmixed) 신호에 대하여 좌측 채널과 우측 채널을 우선적으로 업믹싱(up-mixing)함으로써, 스케일러블 채널 복호화(scalable channel decoding)에서도 좌측과 우측의 음질이 저하되지 않고 고음질로 출력할 수 있다.

Description

다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 {Method of generating a multi-channel signal from down-mixed signal and computer-readable medium thereof}
본 발명은 오디오 코딩에 관한 것으로, 보다 상세하게는 멀티 채널(multi-channel)로 오디오 신호를 부호화/복호화하는 서라운드(surround) 오디오 코딩에 관한 것이다.
일반적으로 멀티채널 오디오 코딩에는 웨이브폼(waveform) 멀티채널 오디오 코딩과 파라메트릭(Parametric) 멀티채널 오디오 코딩이 있다. 웨이브폼 멀티채널 오디오 코딩에는 MPEG-2 MC 오디오 코딩, AAC MC 오디오 코딩 및 BSAC/AVS MC 오디오 코딩 등이 있으며, 5개의 채널 신호를 입력으로 하여 5개의 채널 신호로 출력한다. 파라메트릭 멀티채널 오디오 코딩은 MPEG 서라운드 코딩이 있으며, 1 또는 2 개의 입력 채널을 6 또는 8개의 멀티 채널로 출력한다.
여기서, MPEG 서라운드 코딩은 도 1a에 도시된 5-1-5 1 트리 구조와 도 1b에 도시된 5-1-5 2 트리 구조를 이용함으로써 멀티 채널로 신호를 복호화함으로써 업믹싱하여 출력한다. 이러한 트리 구조들은 모노(mono) 신호를 입력받아 OTT 모듈(module)들의 조합에서 처리하여 FL(Front Left), FR(Front Right), C(Center), LFE(Low Frequency Enhancement), BL(Back Left) 및 BR(Back Right)에 해당하는 멀티 채널로 출력한다.
도 1a의 OTT 0 모듈에서 출력되는 신호를 살펴보면, 5-1-5 1 트리 구조에서는 전방좌측 채널(FL), 전방우측 채널(FR), 센터 채널(C) 및 우퍼 채널(LFE)이 믹스된 신호와 후방좌측 채널(BL) 및 후방우측 채널(BR)이 믹스된 신호로 출력된다. 그리고 도 1b의 OTT 0 모듈에서 출력되는 신호를 살펴보면, 5-1-5 2 트리 구조에서는 전방좌측 채널(FL), 후방좌측 채널(BL), 전방우측 채널(FR) 및 후방우측 채널(BR)이 믹스된 신호와 센터 채널(C) 및 우퍼 채널(LFE)이 믹스된 신호로 출력된다. 그러나 도 1a에 도시된 5-1-5 1 트리 구조와 도 1b에 도시된 5-1-5 2 트리 구조에 마련된 OTT 0 모듈의 출력단에서 프루닝(pruning)을 수행할 경우, OTT 0 모듈은 전방 채널과 후방 채널과 관련하여 가장 먼저 업믹싱하므로 좌측 채널과 우측 채널에 대하여 음질이 저하되는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, 다운믹스된 신호로부터 멀티채널 신호를 생성하는 방법 및 그 기록매체를 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는, 멀티채널 신호 부호화/복호화 방법, 장치, 그 기록매체를 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티채널신호 생성방법은 제1 연산 세트를 이용하여, 디코릴레이트될 신호와 제2 연산 세트에 입력될 적어도 하나의 다이렉트 신호를 생성하는 단계; 상기 디코릴레이트될 신호를 디코릴레이팅하는 단계; 및 상기 제2 연산 세트를 이용하여, 상기 다이렉트 신호와 상기 디코릴레이트된 신호를 믹싱하여, 다운믹스된 신호로부터 채널 설정(channel configuration)에 상응하는 멀티채널 신호를 생성하는 단계를 포함하며, 상기 제1 연산 세트와 상기 제2 연산 세트는 상기 채널 설정에 따른 적어도 하나의 공간 파라미터에 의해 결정된다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화단에서 멀티채널(multi-channel)로부터 다운믹스된(downmixed) 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 정보를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 CLD(Channel Level Difference) 또는 ICC(Inter Channel Correlation)를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 입력받아 좌측 채널과 우측 채널로 업믹싱하는 모듈에서 이용되는 공간 정보를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 좌측 채널과 우측 채널로 우선하여 업믹싱하는 공간 정보를 포함하는 것을 특징으로 한다.
부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 정보를 포함하는 것을 특징으로 하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체이다.
부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 CLD 또는 ICC를 포함하는 것을 특징으로 하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체이다.
부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 입력받아 좌측 채널과 우측 채널로 업믹싱하는 모듈에서 이용되는 공간 정보를 포함하는 것을 특징으로 하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체이다.
부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 좌측 채널과 우측 채널로 우선하여 업믹싱하는 공간 정보를 포함하는 것을 특징으로 하는 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체이다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 전-매트릭스 적용부, 상기 각 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 디코릴레이션부, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 후-매트릭스 적용부를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 정보를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 전-매트릭스 적용부, 상기 각 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 디코릴레이션부, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 후-매트릭스 적용부를 포함하고, 상기 공간 정보들은 좌측 채널과 우측 채널 간의 CLD 또는 ICC를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 전-매트릭스 적용부, 상기 각 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 디코릴레이션부, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 후-매트릭스 적용부를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 입력받아 좌측 채널과 우측 채널로 업믹싱하는 모듈에서 이용되는 공간 정보를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화단에서 멀티채널로부터 다운믹스된 신호를 입력받아 공간 정보들을 이용하여 디코릴레이터들에 입력할 신호들을 생성하는 단계, 상기 생성된 신호들을 디코릴레이터들에 입력하여 디코릴레이션하는 단계, 및 상기 공간 정보들을 이용하여 상기 다운믹스된 신호와 상기 디코릴레이션된 신호들을 믹싱하는 단계를 포함하고, 상기 공간 정보들은 상기 다운믹스된 신호를 좌측 채널과 우측 채널로 우선하여 업믹싱하는 공간 정보를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 부호화 방법은, 멀티 채널 신호로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 단계, 상기 다운믹싱된 신호의 공간 정보를 추출하는 단계, 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
멀티 채널 신호로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 단계, 상기 다운믹싱된 신호의 공간 정보를 추출하는 단계, 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체이다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 멀티채널 신호로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 다운믹싱부, 상기 다운믹스된 신호의 공간 정보를 추출하는 정보 추출부, 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 부호화 방법은, 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 단계, 상기 멀티 채널의 공간 정보를 추출하는 단계 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
전술된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 부호화기에서 멀티 채널로부터 다운믹스된 신호에 대해 공간 정보를 이용하여 다이렉트 신호 및 디코릴레이션할 신호를 생성하는 전-매트릭스 적용부, 상기 디코릴레이션할 신호를 디코릴레이션하는 디코릴레이션부 및 상기 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스하여 업믹싱하는 후-매트릭스 적용부를 포함하고, 상기 후-매트릭스 적용부는 좌측 채널과 우측 채널을 우선하여 업믹싱하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 부호화 장치는, 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 다운믹싱부, 상기 멀티 채널의 공간 정보를 추출하는 정보 추출부 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 한다.
본 발명에 의한 멀티 채널 복호화 및 부호화 방법 및 장치에 의하면, 좌측 채널과 우측 채널을 가장 마지막으로 다운믹싱하여 부호화하고, 좌측 채널과 우측 채널을 우선적으로 업믹싱하여 복호화한다.
이렇게 함으로써 스케일러블 채널 복호화(scalable channel decoding)에서도 좌측 채널과 우측 채널의 음질이 저하되지 않고 고음질로 출력할 수 있는 효과를 거둘 수 있다. 또한, 전력 소비를 줄이고 스테레오에 있어서 고음질을 요구하는 모바일 어플레케이션(mobile application)에서도 용이하게 이용할 수 있는 효과를 거둘 수 있다.
도 1a는 MPEG 서라운드(Surround)의 5-1-5 1 트리 구조(tree structure)를 도시한 것이다.
도 1b는 MPEG 서라운드의 5-1-5 2 트리 구조를 도시한 것이다.
도 2는 본 발명에 의한 멀티 채널 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 멀티 채널 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 적용하는 5-1-5 3 트리 구조를 도시한 것이다.
도 5는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 입력되는 신호와 출력되는 신호의 수학적 관계를 개념도로 도시한 것이다.
도 6은 본 발명에 의한 멀티 채널 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 7은 본 발명에 의한 멀티 채널 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 멀티 채널 복호화 및 부호화 방법 및 장치에 대해 상세히 설명한다.
도 2는 본 발명에 의한 멀티 채널 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화단으로부터 전송받은 서라운드 비트스트림(surround bitstream)을 분석(parsing)하여 공간 정보(spatial cue) 및 부가 정보를 추출한다(제200단계).
제200단계에서 추출된 공간 정보를 이용하여 저 비트율(low bitrate)에서 공간 정보가 급격하게 변화되는 것을 방지하기 위해 선택적으로 공간 정보를 스무딩(smoothing)한다(제203단계).
제203단계 후에, 기존의 매트릭스 서라운드(matrix surround) 방식과 호환성을 유지하기 위해 추가적인 채널 별로 이득값(gain)을 계산하고, 프리-벡터(pre-vector)를 계산하며, 복호화단에서 익스터널 다운믹스(external downmix)를 사용할 경우 채널 별로 이득값을 보상하기 위한 변수를 추출함으로써, 행렬 R1을 생성한다(제206단계). 제206단계에서 생성된 행렬 R1은 디코릴레이션부(340)에 마련된 디코릴레이터들에 입력하기 위한 신호를 생성하는 데 사용되는 행렬이다. 제206단계에서 행렬 R1을 생성함에 있어서, 공간 정보를 이용한다. 여기서, 이용되는 공간 정보는 좌측 채널과 우측 채널 간의 CLD 또는 ICC 등과 같은 좌측 채널과 우측 채널 간의 차이에 관한 정보 또는 연관에 관한 정보를 포함한다. 예를 들어, 부호화단에서 다운믹스된 신호를 좌측 채널과 우측 채널로 도 4의 400에 마련된 OTT 0 모듈에서 이용되는 공간 정보를 말한다.
제206단계에서는 도 4의 TTT 0 모듈(module)의 모드에 따라 R1을 다르게 생성한다. 예를 들어, TTT 0 모듈의 모드를 나타내는 변수로서 MPEG 서라운드에서는 다음 표에 도시된 관계를 갖는 bsTttModeLow를 이용한다.
Figure 112012061061562-pat00001
여기서, 만일 bsTttModeLow(0)가 '2'보다 작을 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 1]
Figure 112012061061562-pat00002
만일 bsTttModeLow(0)가 '3'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 2]
Figure 112012061061562-pat00003
만일 bsTttModeLow(0)가 '5'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 3]
Figure 112012061061562-pat00004
제206단계에서 생성된 행렬 R1에 대해 보간(interpolation)을 수행하여 행렬 M1을 생성한다(제208단계).
디코릴레이션된 신호들과 다이렉트 신호(direct signal)를 믹스(mix)하는 데 사용되는 행렬 R2를 다음 기재된 수학식을 이용하여 생성한다(제210단계). 제210단계에서 행렬 R2를 생성함에 있어서, 공간 정보를 이용한다. 여기서, 이용되는 공간 정보는 좌측 채널과 우측 채널 간의 CLD 또는 ICC 등과 같은 좌측 채널과 우측 채널 간의 차이에 관한 정보 또는 연관에 관한 정보를 포함한다. 예를 들어, 부호화단에서 다운믹스된 신호를 좌측 채널과 우측 채널로 복호화하여 업믹싱하는 도 4의 400에 마련된 OTT 0 모듈에서 이용되는 공간 정보를 말한다.
[수학식 4]
Figure 112012061061562-pat00005
제210단계에서 생성된 행렬 R2에 대해 보간을 수행하여 행렬 M2를 생성한다(제213단계).
부호화단에서 멀티 채널로부터 다운믹스된 신호와 원 신호 간의 차이를 ACC로 부호화되어 레지듀얼 코딩(residual coding)된 신호를 복호화한다(제216단계).
제216단계에서 복호화된 MDCT 계수를 QMF 도메인(QMF domain)으로 변환한다(제218단계).
제218단계에서 출력된 신호에 대하여 프레임(frame) 간 오버랩-애드(overlap-add)를 수행한다(제220단계).
저주파 대역 신호가 QMF 필터 뱅크(QMF filterbank)로 주파수 분해능(frequency resolution)이 부족하므로 추가적인 필터링을 통해 주파수 분해능을 높인다(제223단계).
복호화단에 매련된 채널 또는 스피커의 설정을 인식한다(제230단계). 여기서, 복호화단의 채널 또는 스피커의 설정은 복호화단에 구비된 스피커(speaker)의 개수, 복호화단에 구비된 스피커 가운데 동작 가능한 스피커의 위치, 부호화단에서 부호화된 채널들 가운데 복호화단에 마련된 멀티채널에서 이용을 할 수 있는 채널의 정보 등을 말한다.
제230단계에서 인식된 설정을 이용하여 복호화하는 레벨(level)의 수를 계산한다(제233단계).
QMF Hybrid analysis filter bank를 이용하여 입력 신호를 주파수 밴드(band) 별로 분해한다(제236단계).
행렬 M1을 이용하여 다이렉트 신호 및 디코릴레이터에 입력할 신호를 생성한다(제238단계). 제238단계에서는 OTT 0에 대응하여 좌측 채널과 우측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00006
에 입력할 신호, TTT 0에 대응하여 좌측 채널과 우측 채널과 센터 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00007
에 입력할 신호, OTT 2에 대응하여 전방좌측 채널과 후방좌측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00008
에 입력할 신호, 전방우측 채널과 후방우측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00009
에 입력할 신호를 생성한다. 또한, 제238단계에서는 제233단계에서 계산된 복호화하는 레벨의 수에 따라 복호화하는 레벨의 수를 조절함으로써 스케일러블(scalable)하게 업믹싱하여 복호화할 수 있도록 한다.
제238단계에서 생성된 디코릴레이터에 입력할 신호들에 대하여 디코릴레이터들에서 디코릴레이션을 수행함으로써 공간감을 가질 수 있도록 재구성한다(제240단계).
디코릴레이터
Figure 112012061061562-pat00010
는 OTT 0에 대응하여 좌측 채널과 우측 채널을 디코릴레이션하고, 디코릴레이터
Figure 112012061061562-pat00011
는 TTT 0에 대응하여 좌측 채널과 우측 채널과 센터 채널을 디코릴레이션하며, 디코릴레이터
Figure 112012061061562-pat00012
는 OTT 2에 대응하여 전방우측 채널과 후방우측 채널을 디코릴레이션하고, 디코릴레이터
Figure 112012061061562-pat00013
는 OTT 3에 대응하여 전방좌측 채널과 후방좌측 채널을 디코릴레이션한다.
제240단계에서 디코릴레이션된 신호 및 제238단계에서 생성된 다이렉트 신호에 대하여 각각 제213단계에서 생성된 행렬 M2를 적용한다(제243단계). 여기서, 제243단계에서는 제233단계에서 계산된 복호화하는 레벨의 수에 따라 복호화하는 레벨의 수를 조절함으로써 스케일러블하게 업믹싱하여 복호화하도록 한다.
제243단계에서 행렬 M2가 적용된 신호에 TES(Temporal Envelope Shaping)를 적용한다(제246단계).
제246단계에서 TES가 적용된 신호에 QMF hybrid synthesis filter bank를 이용하여 시간 도메인으로 변환한다(제248단계).
제248단계에서 변환된 신호에 TP(Temporal Processing)를 적용한다(제250단계).
여기서, 제243단계 및 제250단계는 Applause와 같이 템포럴 구조(Temporal Structure)가 중요한 신호에 대하여 음질을 향상시키기 위한 것으로서 선택적으로 이용할 수 있으며, 필수적으로 적용해야 하는 것은 아니다.
다이렉트 신호와 디코릴레이션된 신호를 믹스한다(제253단계).
도 2에서는 5.1 채널에 대한 일 실시예만을 도시하였지만 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 5.1 채널에 한정하여 실시되지 않음을 알 수 있다. 본 발명에 의한 멀티 채널 복호화 방법을 부호화단에서 다운믹스된 신호를 우선적으로 좌측 채널과 우측 채널로 업믹싱하는 모든 멀티 채널들에 대하여 실시할 수 있다.
도 3은 본 발명에 의한 멀티 채널 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
비트스트림 디코더(300, bitstream decoder)는 MPEG 서라운드 비트스트림을 분석(parsing)하여 공간 정보(spatial cue) 및 부가 정보를 추출한다.
스무딩부(302, smoothing unit)는 저 비트율(low bitrate)에서 공간 정보의 급격하게 변화되는 것을 방지하기 위하여 선택적으로 공간 정보를 스무딩(smoothing)한다.
매트릭스 컴퍼넌트 계산부(304, matrix component calculating unit)는 기존의 매트릭스 서라운드(matrix surround) 방식과 호환성을 유지하기 위해 추가적인 채널 별로 이득값(gain)을 계산한다.
전-벡터 계산부(308, pre-vectors calculating unit)는 프리-벡터(pre-vector)를 계산한다.
아버트레리 다운믹스이득값 추출부(308, arbitrary downmix gain extracting unit)는 복호화기에서 익스터널 다운믹스(external downmix)를 사용할 경우 채널 별로 이득값을 보상하기 위한 변수를 추출한다.
매트릭스 생성부(312)는 매트릭스 컴퍼넌트 계산부(304), 전-벡터 계산부(308) 및 아버트레리 다운믹스이득값 추출부(308)에서 출력되는 결과를 이용하여 행렬 R1을 생성한다. 매트릭스 생성부(312)에서 행렬 R1을 생성함에 있어서, 공간 정보를 이용한다. 여기서, 이용되는 공간 정보는 좌측 채널과 우측 채널 간의 CLD 또는 ICC 등과 같은 좌측 채널과 우측 채널 간의 차이에 관한 정보 또는 연관에 관한 정보를 포함한다. 예를 들어, 부호화단에서 다운믹스된 신호를 좌측 채널과 우측 채널로 복호화하여 업믹싱하는 도 4의 400에 마련된 OTT 0 모듈에서 이용되는 공간 정보를 말한다.
여기서, 매트릭스 생성부(312)는 도 4의 TTT 0의 모듈(module)의 모드에 따라 R1을 다르게 생성한다. 예를 들어, TTT 0의 모듈의 모드를 나타내는 변수로서 MPEG 서라운드에서는 다음 표에 도시된 관계를 갖는 bsTttModeLow를 이용한다.
Figure 112012061061562-pat00014
여기서, 만일 bsTttModeLow(0)가 '2'보다 작을 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 5]
Figure 112012061061562-pat00015
만일 bsTttModeLow(0)가 '3'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 6]
Figure 112012061061562-pat00016
만일 bsTttModeLow(0)가 '5'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 7]
Figure 112012061061562-pat00017
보간 처리부(314)는 매트릭스 생성부(312)에서 생성된 행렬 R1에 대해 보간(interpolation)을 수행하여 행렬 M1을 생성한다.
믹스벡터 계산부(310, mix-vectors calculating unit)는 디코릴레이션부(340)에서 디코릴레이션된 신호와 다이렉트 신호(direct signal)를 믹스(mix)하기 위한 행렬 R2를 생성한다. 믹스벡터 계산부(310)에서 행렬 R2을 생성함에 있어서, 공간 정보를 이용한다. 여기서, 이용되는 공간 정보는 좌측 채널과 우측 채널 간의 CLD 또는 ICC 등과 같은 좌측 채널과 우측 채널 간의 차이에 관한 정보 또는 연관에 관한 정보를 포함한다. 예를 들어, 부호화단에서 다운믹스된 신호를 좌측 채널과 우측 채널로 복호화하여 업믹싱하는 도 4의 400에 마련된 OTT 0 모듈에서 이용되는 공간 정보를 말한다.
믹스벡터 계산부(310)는 다음 기재된 행렬 R2를 생성한다.
[수학식 8]
Figure 112012061061562-pat00018
보간 처리부(316)는 믹스벡터 계산부(310)에서 생성된 행렬 R2에 대해 보간을 수행하여 행렬 M2를 생성한다.
AAC 디코더(320, AAC decoder)는 부호화단에서 멀티채널로부터 다운믹스된 신호와 원 신호 간의 차이를 ACC로 부호화되어 레지듀얼 코딩(residual coding)된 신호를 복호화한다.
MDCT 변환부(322, MDCT2QMF unit)는 AAC 디코더(320)에서 출력된 MDCT 계수를 QMF 도메인(QMF domain)으로 변환하고, 디코릴레이션부(340)를 대체하여 업믹싱한다.
오버랩-애드부(324, overlap-add unit)은 MDCT 변환부(322)에서 출력된 신호에 대하여 프레임(frame) 간 오버랩-애드(overlap-add)를 수행한다.
하이브리드 분석부(326, hybrid analysis unit)는 저주파 대역 신호가 QMF 필터 뱅크(QMF filterbank)로 주파수 분해능(frequency resolution)이 부족하므로 추가적인 필터링을 통해 주파수 분해능을 높인다.
복호화레벨 계산부(327)는 복호화단에 마련된 채널 또는 스피커의 설정을 인식하여 복호화하는 레벨(level)의 수를 계산한다. 여기서, 복호화단의 멀티채널의 설정은 복호화단에 구비된 스피커(speaker)의 개수, 복호화단에 구비된 스피커 가운데 동작 가능한 스피커의 위치, 부호화단에서 부호화된 채널들 가운데 복호화단에 마련된 멀티채널에서 이용을 할 수 있는 채널의 정보 등을 말한다.
복호화레벨 제어부(329)는 복호화레벨 계산부(327)에서 계산된 복호화하는 레벨의 수에 의하여 복호화하도록 제어하는 신호를 출력한다.
하이브리드 분석부(330)는 QMF Hybrid analysis filter bank로서 입력 신호를 주파수 밴드(band) 별로 분해한다.
전-매트릭스 적용부(335,pre-matrix application unit)는 행렬 M1을 이용하여 다이렉트 신호 및 디코릴레이터에 입력할 신호를 생성한다. 여기서, 전-매트릭스 적용부(335)는 OTT 0에 대응하여 좌측 채널과 우측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00019
에 입력할 신호, TTT 0에 대응하여 좌측 채널과 우측 채널과 센터채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00020
에 입력할 신호, OTT 2에 대응하여 전방좌측 채널과 후방좌측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00021
에 입력할 신호, 전방우측 채널과 후방우측 채널을 디코릴레이션하는 디코릴레이터
Figure 112012061061562-pat00022
에 입력할 신호를 생성한다. 또한, 전-매트릭스 적용부(335)는 복호화레벨 제어부(329)로부터 출력되는 제어 신호에 응답하여 복호화하는 레벨의 수를 조절함으로써 스케일러블(scalable)하게 업믹싱하여 복호화할 수 있도록 한다.
디코릴레이션부(340)는 전-매트릭스 적용부(335)에서 생성된 신호들에 대하여 디코릴레이션을 수행함으로써 공간감을 가질 수 있도록 재구성한다. 제0 디코릴레이터(342)는 OTT 0에 대응하여 좌측 채널과 우측 채널을 디코릴레이션하고, 제1 디코릴레이터(344)는 TTT 0에 대응하여 좌측 채널과 우측 채널과 센터 채널에 대하여 디코릴레이션하며, 제2 디코릴레이터(346)는 OTT 2에 대응하여 전방우측 채널과 후방우측 채널을 디코릴레이션하고, 제3 디코릴레이션부(348)는 OTT 3에 대응하여 전방좌측 채널과 후방좌측 채널을 디코릴레이션한다.
믹스-매트릭스 적용부(350, mix-matrix application unit)는 디코릴레이션부(340)에서 출력된 신호 및 전-매트릭스 적용부(335)에서 출력된 다이렉트 신호에 대하여 각각 행렬 M2를 적용한다. 여기서, 믹스-매트릭스 적용부(350)는 복호화레벨 제어부(329)로부터 출력되는 제어 신호에 응답하여 복호화하는 레벨의 수를 조절함으로써 스케일러블하게 업믹싱하여 복호화하도록 한다.
TES 적용부(335)는 믹스-매트릭스 적용부(350)에서 출력된 신호에 TES(Temporal Envelope Shaping)를 적용한다.
QMF 하이브리드 합성부(360, QMF hybrid synthesis unit)는 QMF hybrid synthesis filter bank로서 시간 도메인으로 변환한다.
TP 적용부(365)는 QMF 하이브리드 합성부(360)에서 출력된 신호에 TP(Temporal Processing)를 적용한다.
여기서, TES 적용부(335) 및 TP 적용부(365)는 Applause와 같이 템포럴 구조(Temporal Structure)가 중요한 신호에 대하여 음질을 향상시키기 위한 것으로서 선택적으로 이용할 수 있으며, 필수적으로 적용해야 하는 것은 아니다.
믹싱부(370)는 다이렉트 신호와 디코릴레이션된 신호를 믹스한다.
도 3에서는 5.1 채널에 대한 일 실시예만을 도시하였지만 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 5.1 채널에 한정하여 실시되지 않음을 알 수 있다. 본 발명에 의한 멀티 채널 복호화 방법을 부호화단에서 다운믹스된 신호를 우선적으로 좌측 채널과 우측 채널로 업믹싱하는 모든 멀티 채널들에 대하여 실시할 수 있다.
도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 적용하는 5-1-5 3 트리 구조를 개념도로 도시한 것이다. 여기서, 도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 복호화하여 업믹싱하는 순서를 OTT 모듈들과 TTT 모듈을 이용하여 개념적으로 도시된다.
OTT 0 모듈(400)은 부호화기에서 다운믹스된 모노 신호를 입력받아 좌측 신호와 우측 신호로 복호화하여 업믹싱한다.
TTT 0 모듈(410)은 OTT 0 모듈(400)에서 출력된 L 신호와 R 신호를 입력받아 L 신호, R 신호 및 C 신호로 복호화하여 업믹싱한다.
OTT 1 모듈(420)는 TTT 0 모듈(410)에서 출력된 C 신호를 입력받아 C 신호와 LFE 신호로 복호화하여 업믹싱한다.
OTT 2 모듈(430)는 TTT 0 모듈(410)에서 출력된 L 신호를 입력받아 FL 신호와 BL 신호로 복호화하여 업믹싱한다.
OTT 3 모듈(440)는 TTT 0 모듈(410)에서 출력된 R 신호를 입력받아 FR 신호와 BR 신호로 복호화하여 업믹싱한다.
도 5는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 입력되는 신호와 출력되는 신호의 수학적 관계를 개념도로 도시한 것이다.
전-디코릴레이터 매트릭스(Pre-decorrelator matrix) M1은 CLD(Channel Level Difference) 및 ICC(Inter-Channel Correlation)를 이용함으로써 부호화기에서 다운믹스된 모노 신호(x m)를 입력으로 하여 다이렉트 신호(m)와 디코릴레이터
Figure 112012061061562-pat00023
,
Figure 112012061061562-pat00024
,
Figure 112012061061562-pat00025
및
Figure 112012061061562-pat00026
로 입력할 신호를 출력한다.
디코릴레이터
Figure 112012061061562-pat00027
,
Figure 112012061061562-pat00028
,
Figure 112012061061562-pat00029
및
Figure 112012061061562-pat00030
는 M1으로부터 계산된 신호를 디코릴레이션한다.
믹스 매트릭스(mix-matrix) M2는 CLD 및 ICC를 이용함으로써 다이렉트 신호(m)와 디코릴레이션된 d0, d1, d2 및 d3를 믹스하여 업믹싱한다. 여기서, 믹스 캐트릭스 M2는 다이렉트 신호(m)와 디코릴레이션된 d0, d1, d2 및 d3를 입력으로 하여 FL 신호, BL 신호, FR 신호, BR 신호, C 신호 및 LEF 신호를 출력한다.
*도 6은 본 발명에 의한 멀티 채널 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 멀티 채널(multi-channel)로부터 다운 믹싱(down-mixing)한다(제600단계). 예를 들어, 5.1 채널에서 멀티 채널은 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 구성된다.
제600단계에서 다운믹싱함에 있어서, 좌측 채널과 우측 채널을 가장 마지막에 다운믹싱한다. 예를 들어, 5.1 채널에서는 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱한다.
제600단계에서 다운믹싱한 멀티 채널의 공간 정보를 추출한다(제610단계). 예를 들어, 5.1 채널에서 추출하는 공간 정보는 추출하는 공간 정보는 좌측 채널과 우측 채널, 좌측 채널과 우측 채널과 센터 채널, 전방좌측 채널과 후방좌측 채널, 전방우측 채널과 후방우측 채널, 및 센터 채널과 우퍼 채널에 대하여 각각 업믹싱하는데 사용되는 정보를 포함한다.
제600단계에서 다운믹싱된 신호 및 제610단계에서 추출된 공간 정보를 포함하는 비트스트림을 생성한다(제620단계).
도 7은 본 발명에 의한 멀티 채널 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 멀티 채널 부호화 장치는 다운믹싱부(700), 정보 추출부(710) 및 비트스트림 생성부(720)을 포함하여 이루어진다.
다운믹싱부(700)는 입력 단자 IN 0 내지 IN M에 해당하는 멀티 채널(multi-channel)로부터 다운 믹싱(down-mixing)한다. 예를 들어, 5.1 채널에서 멀티 채널은 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 구성된다.
여기서, 다운믹싱부(700)는 좌측 채널과 우측 채널을 가장 마지막에 다운믹싱한다. 예를 들어, 5.1 채널에서는 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱한다.
정보 추출부(710)는 다운믹싱부(700)에서 다운믹싱한 멀티 채널의 공간 정보를 추출한다. 예를 들어, 5.1 채널에서 다운믹싱부(700)에서 추출하는 공간 정보는 좌측 채널과 우측 채널, 좌측 채널과 우측 채널과 센터 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 업믹싱하는데 사용되는 정보를 포함한다.
비트스트림 생성부(720)는 다운믹싱부(700)에서 다운믹싱된 신호 및 정보 추출부(710)에서 추출된 공간 정보를 포함하는 비트스트림을 생성하여 출력 단자 OUT을 통하여 복호화기로 출력한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
327: 복호화레벨 계산부 329: 복호화레벨 제어부
335: 전-매트릭스 적용부 340: 디코릴레이션부
350: 믹스-매트릭스 적용부 355: TES 적용부
365: TP 적용부 370: 믹싱부

Claims (8)

  1. 제1 연산 세트를 이용하여, 디코릴레이트될 신호와 제2 연산 세트에 입력될 적어도 하나의 다이렉트 신호를 생성하는 단계;
    상기 디코릴레이트될 신호를 디코릴레이팅하는 단계; 및
    상기 제2 연산 세트를 이용하여, 상기 다이렉트 신호와 상기 디코릴레이트된 신호를 믹싱하여, 다운믹스된 신호로부터 채널 설정(channel configuration)에 상응하는 멀티채널 신호를 생성하는 단계를 포함하며,
    상기 제1 연산 세트와 상기 제2 연산 세트는 상기 채널 설정에 따른 적어도 하나의 공간 파라미터에 의해 결정되는 다운믹스된 신호로부터 멀티채널 신호 생성방법.
  2. 제1 항에 있어서, 상기 채널 설정은 디코더의 채널 설정을 포함하는 다운믹스된 신호로부터 멀티채널 신호 생성방법.
  3. 제1 항에 있어서, 상기 제1 연산 세트는 CLD(Channel Level Difference)를 사용하여 얻어지는 다운믹스된 신호로부터 멀티채널 신호 생성방법.
  4. 제1 항에 있어서, 상기 제2 연산 세트는 CLD(Channel Level Difference)와 ICC(Inter-Channel Correlation)를 사용하여 얻어지는 다운믹스된 신호로부터 멀티채널 신호 생성방법.
  5. 제1 연산 세트를 이용하여, 디코릴레이트될 신호와 제2 연산 세트에 입력될 적어도 하나의 다이렉트 신호를 생성하는 단계;
    상기 디코릴레이트될 신호를 디코릴레이팅하는 단계; 및
    상기 제2 연산 세트를 이용하여, 상기 다이렉트 신호와 상기 디코릴레이트된 신호를 믹싱하여, 다운믹스된 신호로부터 채널 설정(channel configuration)에 상응하는 멀티채널 신호를 생성하는 단계를 포함하며,
    상기 제1 연산 세트와 상기 제2 연산 세트는 상기 채널 설정에 따른 적어도 하나의 공간 파라미터에 의해 결정되는 다운믹스된 신호로부터 멀티채널 신호 생성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  6. 제5 항에 있어서, 상기 채널 설정은 디코더의 채널 설정을 포함하는 컴퓨터로 읽을 수 있는 기록매체.
  7. 제5 항에 있어서, 상기 제1 연산 세트는 CLD(Channel Level Difference)를 사용하여 얻어지는 컴퓨터로 읽을 수 있는 기록매체.
  8. 제5 항에 있어서, 상기 제2 연산 세트는 CLD(Channel Level Difference)와 ICC(Inter-Channel Correlation)를 사용하여 얻어지는 컴퓨터로 읽을 수 있는 기록매체.
KR1020120083520A 2006-01-11 2012-07-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 KR101218777B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US75785706P 2006-01-11 2006-01-11
US60/757,857 2006-01-11
US75898506P 2006-01-17 2006-01-17
US60/758,985 2006-01-17
US75954306P 2006-01-18 2006-01-18
US60/759,543 2006-01-18
US78261606P 2006-03-16 2006-03-16
US60/782,616 2006-03-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020060049034A Division KR101218776B1 (ko) 2006-01-11 2006-05-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20120099191A KR20120099191A (ko) 2012-09-07
KR101218777B1 true KR101218777B1 (ko) 2013-01-21

Family

ID=38688335

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020060049034A KR101218776B1 (ko) 2006-01-11 2006-05-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR1020120083520A KR101218777B1 (ko) 2006-01-11 2012-07-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020060049034A KR101218776B1 (ko) 2006-01-11 2006-05-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Country Status (5)

Country Link
US (2) US9369164B2 (ko)
EP (2) EP2541546A1 (ko)
JP (2) JP5437638B2 (ko)
KR (2) KR101218776B1 (ko)
WO (1) WO2007081166A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393121B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
US8705747B2 (en) * 2005-12-08 2014-04-22 Electronics And Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
KR100873136B1 (ko) * 2006-03-06 2008-12-09 엘지전자 주식회사 신호 디코딩 방법 및 장치
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
WO2009084918A1 (en) * 2007-12-31 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
TWI444989B (zh) * 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
CN102741920B (zh) * 2010-02-01 2014-07-30 伦斯莱尔工艺研究院 利用编码和最大长度级序列的用于立体声和环绕声的音频信号去相关
BR112013004362B1 (pt) * 2010-08-25 2020-12-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida
JP6174129B2 (ja) 2012-05-18 2017-08-02 ドルビー ラボラトリーズ ライセンシング コーポレイション パラメトリックオーディオコーダに関連するリバーシブルダイナミックレンジ制御情報を維持するシステム
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
EP2830334A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
ES2653975T3 (es) * 2013-07-22 2018-02-09 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador de audio multicanal, codificador de audio multicanal, procedimientos, programa informático y representación de audio codificada mediante el uso de una decorrelación de señales de audio renderizadas
TWI634547B (zh) 2013-09-12 2018-09-01 瑞典商杜比國際公司 在包含至少四音訊聲道的多聲道音訊系統中之解碼方法、解碼裝置、編碼方法以及編碼裝置以及包含電腦可讀取的媒體之電腦程式產品
CN105637581B (zh) 2013-10-21 2019-09-20 杜比国际公司 用于音频信号的参数重建的去相关器结构
CN106471575B (zh) 2014-07-01 2019-12-10 韩国电子通信研究院 多信道音频信号处理方法及装置
WO2016003206A1 (ko) * 2014-07-01 2016-01-07 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치
WO2016133366A1 (ko) * 2015-02-17 2016-08-25 한국전자통신연구원 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치
US10225675B2 (en) 2015-02-17 2019-03-05 Electronics And Telecommunications Research Institute Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
US10992727B2 (en) * 2015-04-08 2021-04-27 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
KR102537541B1 (ko) 2015-06-17 2023-05-26 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10475457B2 (en) * 2017-07-03 2019-11-12 Qualcomm Incorporated Time-domain inter-channel prediction
CN114005455A (zh) 2017-08-10 2022-02-01 华为技术有限公司 时域立体声编解码方法和相关产品
GB201718341D0 (en) * 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008805A1 (en) * 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649029A (en) 1991-03-15 1997-07-15 Galbi; David E. MPEG audio/video decoder
DE69428939T2 (de) 1993-06-22 2002-04-04 Deutsche Thomson-Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
JP2851804B2 (ja) 1993-12-27 1999-01-27 松下電器産業株式会社 ２次元直交変換装置
KR0162219B1 (ko) 1995-04-28 1999-03-20 김광호 디지탈 오디오신호의 복호화장치
JP3290992B2 (ja) * 1995-05-18 2002-06-10 アクテル・コーポレイション フレキシブルなｆｐｇａ入出力アーキテクチャ
US5781882A (en) 1995-09-14 1998-07-14 Motorola, Inc. Very low bit rate voice messaging system using asymmetric voice compression processing
JP3790550B2 (ja) 1996-02-08 2006-06-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ ５チャネル送信及び２チャネル送信に対応可能な７チャネル送信
JPH11225390A (ja) 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd マルチチャネルデータ再生方法
KR20010086976A (ko) 2000-03-06 2001-09-15 김규태, 이교식 채널 다운 믹싱 장치
JP4304401B2 (ja) 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
KR20020018730A (ko) 2000-09-04 2002-03-09 박종섭 멀티채널 비디오/오디오 신호의 저장 및 재생장치
US6934825B1 (en) 2000-09-21 2005-08-23 International Business Machines Corporation Bi-directional stack in a linear memory array
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP2002318598A (ja) 2001-04-20 2002-10-31 Toshiba Corp 情報再生装置、情報再生方法、情報記録媒体、情報記録装置、情報記録方法、および情報記録プログラム
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2003102100A (ja) * 2001-09-20 2003-04-04 Pioneer Electronic Corp デジタル音響再生装置、音響装置、および音響再生システム
TW569551B (en) 2001-09-25 2004-01-01 Roger Wallace Dressler Method and apparatus for multichannel logic matrix decoding
WO2003085645A1 (en) 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
KR101021079B1 (ko) 2002-04-22 2011-03-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 파라메트릭 다채널 오디오 표현
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP2004194100A (ja) 2002-12-12 2004-07-08 Renesas Technology Corp オーディオ復号再生装置
JP2004312484A (ja) 2003-04-09 2004-11-04 Sony Corp 音響変換装置および音響変換方法
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR20050038096A (ko) 2003-10-21 2005-04-27 주식회사 우주통신 다중 엠펙 영상 압축 장치와 이를 위한 프레임 버퍼 제어기
US7970144B1 (en) 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
JP4123376B2 (ja) 2004-04-27 2008-07-23 ソニー株式会社 信号処理装置およびバイノーラル再生方法
KR100644617B1 (ko) 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
EP1769491B1 (en) * 2004-07-14 2009-09-30 Koninklijke Philips Electronics N.V. Audio channel conversion
US7356152B2 (en) * 2004-08-23 2008-04-08 Dolby Laboratories Licensing Corporation Method for expanding an audio mix to fill all available output channels
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
US7809580B2 (en) * 2004-11-04 2010-10-05 Koninklijke Philips Electronics N.V. Encoding and decoding of multi-channel audio signals
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
KR20060109296A (ko) 2005-04-14 2006-10-19 엘지전자 주식회사 멀티채널 오디오 신호에 대한 서브밴드별 공간 정보의 변동기준채널 적용방법
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
KR20070005468A (ko) 2005-07-05 2007-01-10 엘지전자 주식회사 부호화된 오디오 신호의 생성방법, 그 부호화된 오디오신호를 생성하는 인코딩 장치 그리고 그 부호화된 오디오신호를 복호화하는 디코딩 장치
ATE433182T1 (de) 2005-07-14 2009-06-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US7706905B2 (en) 2005-07-29 2010-04-27 Lg Electronics Inc. Method for processing audio signal
US7962340B2 (en) 2005-08-22 2011-06-14 Nuance Communications, Inc. Methods and apparatus for buffering data for use in accordance with a speech recognition system
ATE455348T1 (de) 2005-08-30 2010-01-15 Lg Electronics Inc Vorrichtung und verfahren zur dekodierung eines audiosignals
JP4568363B2 (ja) 2005-08-30 2010-10-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
KR20070035411A (ko) 2005-09-27 2007-03-30 엘지전자 주식회사 멀티 채널 오디오 신호의 공간 정보 부호화/복호화 방법 및장치
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
JP4940671B2 (ja) 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
FR2899423A1 (fr) 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
KR100763919B1 (ko) 2006-08-03 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
JP4435146B2 (ja) 2006-12-28 2010-03-17 株式会社東芝 通信装置
AU2007201109B2 (en) 2007-03-14 2010-11-04 Tyco Electronics Services Gmbh Electrical Connector
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008805A1 (en) * 2002-07-12 2004-01-22 Koninklijke Philips Electronics N.V. Audio coding
US20050157883A1 (en) * 2004-01-20 2005-07-21 Jurgen Herre Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Breebaart, J. et al. MPEG Spatial Audio Coding / MPEG Surround: Overview and Current Status. Proceeding of Audio Engineering Society 119th Convention. 2005.10.07. (제1면 내지 제17면) *
HERRE, J. et al. The Reference Model Architecture for MPEG Spatial Audio Coding. Proceeding of Audio Engineering Society 118th Convention. 2005.05.28. (제1면 내지 제13면) *

Also Published As

Publication number Publication date
US9369164B2 (en) 2016-06-14
US9706325B2 (en) 2017-07-11
EP2541546A1 (en) 2013-01-02
JP2013033299A (ja) 2013-02-14
US20070189426A1 (en) 2007-08-16
US20160302021A1 (en) 2016-10-13
KR20070094422A (ko) 2007-09-20
KR101218776B1 (ko) 2013-01-18
EP1977417A4 (en) 2010-02-03
EP1977417B1 (en) 2015-03-11
JP5437638B2 (ja) 2014-03-12
JP2009523259A (ja) 2009-06-18
EP1977417A1 (en) 2008-10-08
JP5563647B2 (ja) 2014-07-30
KR20120099191A (ko) 2012-09-07
WO2007081166A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
KR101218777B1 (ko) 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR101058041B1 (ko) 스케일러블 채널 복호화 방법 및 장치
KR101147780B1 (ko) 오디오 신호 처리 방법 및 장치
CN101410889B (zh) 对作为听觉事件的函数的空间音频编码参数进行控制
KR101221917B1 (ko) 오디오 신호 처리 방법 및 장치
KR101058047B1 (ko) 스테레오 신호 생성 방법
KR20070053598A (ko) 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
RU2696952C2 (ru) Аудиокодировщик и декодер
JP2024503186A (ja) マルチチャネル・コーデックにおける空間ノイズ充填

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 8