KR100953642B1 - 미디어 신호 처리 방법 및 장치 - Google Patents

미디어 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR100953642B1
KR100953642B1 KR1020087005979A KR20087005979A KR100953642B1 KR 100953642 B1 KR100953642 B1 KR 100953642B1 KR 1020087005979 A KR1020087005979 A KR 1020087005979A KR 20087005979 A KR20087005979 A KR 20087005979A KR 100953642 B1 KR100953642 B1 KR 100953642B1
Authority
KR
South Korea
Prior art keywords
information
signal
rendering
domain
downmix signal
Prior art date
Application number
KR1020087005979A
Other languages
English (en)
Other versions
KR20080044866A (ko
Inventor
오현오
방희석
김동수
임재현
정양원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20080044866A publication Critical patent/KR20080044866A/ko
Application granted granted Critical
Publication of KR100953642B1 publication Critical patent/KR100953642B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

본 발명은 미디어 신호의 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 미디어 신호의 공간 정보를 이용하여 서라운드 신호를 생성하는 신호 처리 방법 및 장치에 관한 것이다. 이를 위해, 본 발명은 비트스트림으로부터 다운믹스 신호를 추출하는 단계와; 상기 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 다운믹스 신호를 생성하는 단계와; 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호에 서라운드 신호를 생성하기 위한 렌더링 정보를 적용하여 서라운드 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법을 제공한다. 따라서, 본 발명에 의하면, 멀티 소스 신호를 다운믹스하여 생성된 다운믹스 신호 및 상기 멀티 소스 신호의 공간 정보를 이용하여 멀티소스를 생성할 수 있는 환경이 아닌 경우에도 서라운드 신호를 생성할 수 있다.

Description

미디어 신호 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A MEDIA SIGNAL}
본 발명은 미디어 신호의 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 미디어 신호의 공간 정보를 이용하여 서라운드 신호를 생성하는 신호 처리 방법 및 장치에 관한 것이다.
미디어 신호를 모노 또는 스테레오 신호로 다운믹스하여 생성된 다운믹스 신호와 상기 미디어 신호의 공간 정보를 이용하여 멀티채널 미디어 신호를 생성하는 방법 및 장치들이 많이 이용되고 있다.
그러나, 상기와 같은 방법 및 장치들은 멀티채널 신호를 생성할 수 없는 환경, 예를 들면 스테레오 신호만을 생성할 수 있는 장치에서는 이용될 수 없다. 즉,멀티채널 신호를 생성할 수 없는 환경에서, 미디어 신호의 공간 정보를 이용하여 멀티채널 신호의 효과를 낼 수 있는 서라운드 신호를 생성하는 방법 및 장치가 존재하지 않는다. 따라서, 모노 또는 스테레오 신호만을 생성할 수 있는 장치에서도 서라운드 신호를 생성하는 방법 및 장치가 존재하지 않아, 미디어 신호를 효율적으로 처리하는데 많은 문제점이 있다.
기술적 과제
상기와 같은 문제점을 해결하기 위하여, 본 발명은 미디어 신호의 공간 정보를 이용하여 미디어 신호를 서라운드 신호로 변환하는 미디어 신호의 처리 방법 및 장치를 제공하는데 그 목적이 있다.
기술적 해결방법
상기 목적을 달성하기 위하여, 본 발명은 비트스트림으로부터 다운믹스 신호를 추출하는 단계와; 상기 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 다운믹스 신호를 생성하는 단계와; 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호에 서라운드 신호를 생성하기 위한 렌더링 정보를 적용하여 서라운드 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법을 제공한다.
또한, 상기 목적을 달성하기 위하여, 본 발명은 비트스트림으로부터 추출된 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 다운믹스 신호를 생성하는 디코릴레이팅부; 및 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호에 서라운드 신호를 생성하기 위한 렌더링 정보를 적용하여 서라운드 신호를 생성하는 렌더링부를 포함하는 것을 특징으로 하는 신호 처리 장치를 제공한다.
이하 상기의 목적으로 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있다. 이 경우에 발명의 상세한 설명에서 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 한다. 이하에서 본 발명은 편의상 오디오 신호를 예로 하여 기술되나, 본 발명은 오디오 신호에 한정되지 않는다.
유리한 효과
본 발명에 따른 신호 처리 방법 및 장치는 멀티채널 신호를 다운믹스하여 생성된 다운믹스 신호 및 상기 멀티채널 신호의 공간 정보를 포함하는 비트스트림을 수신한 디코딩 장치가 멀티채널 신호를 복원할 수 없는 환경에서도 서라운드 효과를 가지는 신호를 생성하는 것이 가능하다.
도 1은 본 발명의 일실시예에 따른 오디오 신호의 부호화 장치 및 복호화 장치에 대한 블록도.
도 2는 본 발명의 일실시예에 따른 오디오 신호의 비트스트림 구조.
도 3은 본 발명의 일실시예에 따른 공간정보변환부에 대한 상세 블록도.
도 4 및 5는 본 발명의 일실시예에 따른 소스 매핑 과정에서 이용되는 채널 구성에 대한 도면.
도 6 및 7 은 본 발명의 일실시예에 따른 스테레오 다운믹스 신호에 대한 렌더링부의 상세 블록도.
도 8 및 9는 본 발명의 일실시예에 따른 모노 다운믹스 신호에 대한 렌더링부의 상세 블록도.
도 10 및 11은 본 발명의 일실시예에 따른 스무딩부 및 확장부가 적용되는 위치에 대한 블록도.
도 12는 본 발명의 일실시예에 따른 제1 스무딩 방법에 대한 그래프.
도 13은 본 발명의 일실시예에 따른 제2 스무딩 방법에 대한 그래프.
도 14는 본 발명의 일실시예에 따른 제3 스무딩 방법에 대한 그래프.
도 15는 본 발명의 일실시예에 따른 제4 스무딩 방법에 대한 그래프.
도 16은 본 발명의 일실시예에 따른 제5 스무딩 방법에 대한 그래프.
도 17은 각 채널별 원형 필터 정보를 설명하기 위한 도면.
도 18은 본 발명의 일실시예에 따른 공간정보변환부에서 렌더링 필터 정보를 생성하는 제1 방법에 대한 블록도.
도 19는 본 발명의 일실시예에 따른 공간정보변환부에서 렌더링 필터 정보를 생성하는 제2 방법에 대한 블록도.
도 20는 본 발명의 일실시예에 따른 공간정보변환부에서 렌더링 필터 정보를 생성하는 제3 방법에 대한 블록도.
도 21은 본 발명의 일실시예에 따른 렌더링부에서 렌더링 정보를 이용하여 서라운드 신호를 생성하는 방법을 나타내는 도면.
도 22는 본 발명의 일실시예에 따른 제1 인터폴레이팅 방법에 대한 도면.
도 23은 본 발명의 일실시예에 따른 제2 인터폴레이팅 방법에 대한 도면.
도 24는 본 발명의 일실시예에 따른 블록 스위칭 방법에 대한 도면.
도 25는 본 발명의 일실시예에 따른 윈도우길이결정부에서 결정된 윈도우 길이가 적용되는 위치에 대한 블록도.
도 26은 본 발명의 일실시예에 따른 오디오 신호를 처리하는데 이용되는 다 양한 길이의 필터에 대한 도면.
도 27은 본 발명의 일실시예에 따른 복수 개의 서브필터로 오디오 신호를 별도 처리하는 방법에 대한 도면.
도 28은 본 발명의 일실시예에 따른 복수 개의 서브 필터를 이용하여 생성된 분할렌더링 정보를 모노 다운믹스 신호에 렌더링하는 방법에 대한 블록도.
도 29는 본 발명의 일실시예에 따른 복수 개의 서브 필터를 이용하여 생성된 분할 렌더링 정보를 스테레오 다운믹스 신호에 렌더링하는 방법에 대한 블록도.
도 30은 본 발명의 일실시예에 따른 다운믹스 신호의 제1 도메인 변환 방법에 대한 블록도.
도 31은 본 발명의 일실시예에 따른 다운믹스 신호의 제2 도메인 변환 방법에 대한 블록도.
*도면의 주요부분에 대한 부호의 설명*
10:부호화 장치 20:복호화 장치
100:다운믹스부 200:공간정보생성부
300:다운믹스신호부호화부 400:공간정보부호화부
500:다중화부 600:역다중화부
700:다운믹스신호복호화부 800:공간정보복호화부
900:렌더링부 1000:공간정보변환부
1010:소스매핑부 1020:서브렌더링정보생성부
1030:합성부 1040:프로세싱부
1041:인터폴레이팅부 1042:스무딩부
1043:확장부 1050:도메인변환부
1060:필터정보변환부 1100:도메인변환부
1200:디코릴레이팅부 1300:역도메인변환부
1400:윈도우길이결정부 1500:분배기
발명의 실시를 위한 최선의 형태
도 1은 본 발명의 일실시예에 따른 오디오 신호의 부호화 장치 및 복호화 장치에 대한 블록도이다. 부호화 장치(10)는 다운믹스부(100), 공간정보생성부(200), 다운믹스신호부호화부(300), 공간정보부호화부(400) 및 다중화부(500)를 포함한다.
도 1을 참조하면, 멀티 소스 오디오 신호(X1, X2,...,Xn)가 다운믹스부(100)에 입력되면, 상기 다운믹스부(100)는 상기 멀티 소스 오디오 신호를 다운믹스하여 다운믹스 신호를 생성한다. 상기 다운믹스 신호는 모노, 스테레오 또는 멀티 소스 오디오 신호를 포함한다. 상기 소스는 채널을 포함하며, 편의상 이하에서 채널로 기술한다. 본 명세서에서는 모노 또는 스테레오 다운믹스 신호를 기준으로 설명하나, 본 발명은 모노 또는 스테레오 다운믹스 신호로 한정되지 않는다. 또한, 상기 부호화 장치(10)는 선택적으로 외부에서 직접 제공되는 임의 다운믹스 신호를 이용할 수 있다. 공간정보생성부(200)는 멀티채널 오디오 신호로부터 공간 정보를 생성한다. 상기 공간 정보는 다운믹스 과정 중에 생성될 수 있다. 생성된 다운믹스 신호 및 공간 정보는 각각 다운믹스신호부호화부(300) 및 공간정보부호화부(400)에서 부호화된 후, 다중화부(500)로 전송된다.
본 발명에서 "공간 정보(spatial information)"란 부호화 장치에서 멀티채널 신호를 다운믹스(down-mix)하여 생성된 다운믹스 신호를 복호화 장치로 전송하고, 부호화 장치가 상기 다운믹스 신호를 업믹스(up-mix)하여 멀티채널 신호를 생성하기 위해 필요한 정보를 의미한다. 상기 공간 정보는 공간 파라미터를 포함한다. 상기 공간 파라미터에는 채널간의 에너지 차이를 의미하는 CLD(channel level difference), 채널간의 상관관계(correlation)를 의미하는 ICC(inter channel coherences), 두 채널로부터 세 채널을 생성할 때 이용되는 CPC(channel prediction coefficients) 등이 있다.
본 발명에서 "다운믹스신호부호화부" 또는 "다운믹스신호복호화부"는 공간 정보가 아닌 오디오 신호를 부호화 또는 복호화하는 코덱을 의미한다. 본 명세서는 상기 공간 정보가 아닌 오디오 신호로서 다운믹스 오디오 신호를 예로 하여 기술한다. 또한, 상기 다운믹스신호부호화부 또는 다운믹스신호복호화부에는 MP3, AC-3, DTS 또는 AAC가 포함될 수 있다. 오디오 신호에 대하여 코덱 기능을 수행한다면 기존에 개발된 코덱뿐만 아니라 향후 개발될 코덱을 포함할 수 있다.
다중화부(500)는 다운믹스 신호 및 공간 정보를 다중화하여 비트스트림을 생성하고, 생성된 비트스트림을 복호화 장치(20)로 전송한다. 상기 비트스트림의 구조는 도 2에서 설명된다.
디코딩 장치(20)는 역다중화부(600), 다운믹스신호복호화부(700), 공간정보복호화부(800), 렌더링부(900) 및 공간정보변환부(1000)를 포함한다. 상기 역다중화부(600)는 비트스트림을 수신하고, 상기 비트스트림으로부터 부호화된 다운믹스 신호와 부호화된 공간 정보를 분리한다. 그 다음에, 다운믹스신호복호화부(700)는 부호화된 다운믹스 신호를 복호화하고, 공간정보복호화부(800)는 부호화된 공간 정보를 복호화한다. 공간정보변환부(1000)는 복호화된 공간 정보 및 필터 정보 이용하여 다운믹스 신호에 적용시킬 수 있는 렌더링 정보를 생성한다. 상기 렌더링 정보는 다운믹스 신호에 적용되어 서라운드 신호를 생성할 수 있다.
서라운드 신호를 생성하는 예를 들면, 부호화 장치(10)에서 멀티채널 오디오 신호로부터 다운믹스 신호를 생성하는 과정은 OTT박스(One-To-Two box) 또는 TTT박스(Two-To-Three box) 등을 이용하여 다단계로 이루어질 수 있다. 이때, 각 단계마다 공간 정보를 생성할 수 있다. 상기 공간 정보는 복호화 장치(20)로 전송되고, 복호화 장치(20)는 상기 공간 정보를 변형한 후에 변형된 공간 정보를 다운믹스 신호에 렌더링함으로써 서라운드 신호를 생성할 수 있다. 본 발명은 다운믹스 신호를 업믹스하여 멀티채널 신호를 생성하는 것이 아니라, 각 업믹스 단계별 공간 정보만을 추출하고, 추출된 공간 정보를 이용하여 렌더링을 수행하는 방법에 관한 것이다. 상기 렌더링 방법에는, 예를 들면, HRTF(head-related transfer functions, 이하 'HRTF'라 한다.) 필터링이 이용될 수 있다.
이때, 공간 정보는 하이브리드 도메인(hybrid domain)에서 적용될 수 있는 값이다. 상기 렌더링은 도메인에 따라서 다음과 같은 종류가 있을 수 있다.
첫 번째 방법은 하이브리드 필터뱅크(hybrid filterbank)에 다운믹스 신호를 통과시키고, 하이브리드 도메인(hybrid domain)에서 렌더링을 수행하는 것이다. 이때, 공간 정보에 대한 도메인의 변환은 필요하지 않다.
두 번째 방법은 시간 도메인(time domain)에서 렌더링을 수행하는 것이다. 상기 두 번째 방법은 HRTF 필터가 시간 도메인에서 FIR(Finite Inverse Response) 필터 또는 IIR(Infinite Inverse Response) 필터로 모델링되는 점을 이용하여, 공간 정보를 시간 도메인의 필터 계수로 변환하는 과정을 필요로 한다.
세 번째 방법은 다른 주파수 도메인에서 렌더링을 수행하는 것이다. 예를 들면, DFT(Ddiscrete Fourier Transform) 도메인에서 렌더링을 수행하는 방법이다. 상기 세 번째 방법은 공간 정보를 해당 도메인으로 변환하는 과정을 필요로 한다. 또한, 이 방법은 시간 도메인에서의 필터링을 주파수 도메인에서의 연산으로 치환하는 것으로서, 고속 연산이 가능하다.
본 발명에서 필터 정보는 오디오 신호를 처리하기 위한 필터에 관한 정보로서, 특정 필터가 가지는 필터 계수를 포함한다. 상기 필터 정보의 예로 다음과 같은 것이 있다. 원형 필터 정보(proto-type filter information)는 특정 필터가 가지는 원래의 필터 정보를 의미하고, GL_L 등으로 표현 가능하다. 변형된 필터 정보(converted filter information)는 상기 원형 필터 정보가 변형된 후의 필터 계수를 의미하고, GL_L' 등으로 표현 가능하다. 서브렌더링 정보(sub-randering information)는 서라운드 신호를 생성하기 위해 원형 필터 정보를 공간화한 필터 정보를 의미하고, FL_L1 등으로 표현 가능하다. 렌더링 정보는 렌더링을 수행하기 위해 필요한 필터 정보를 의미하고, HL_L 등으로 표현 가능하다. 인터폴레이팅/스무딩된 렌더링 정보는 상기 렌더링 정보를 인터폴레이팅 및/또는 스무딩한 필터 정보를 의미하고, HL_L' 등으로 표현 가능하다. 본 명세서는 상기 필터 정보들을 예 로 하여 기술할 것이나, 본 발명은 상기 필터 정보의 명칭에 한정되지 않는다. 상기 필터 정보는 HRTF를 예로 하여 설명되나, 본 발명은 상기 HRTF에 한정되지 않는다.
그 다음에, 렌더링부(900)는 복호화된 다운믹스 신호 및 렌더링 정보를 수신하고, 상기 복호화된 다운믹스 신호 및 렌더링 정보를 이용하여 서라운드 신호를 생성한다. 상기 서라운드 신호는 스테레오 신호만 생성할 수 있는 오디오 시스템에 입체음향 효과를 제공하는 신호가 될 수 있다. 본 발명은 스테레오 신호만 생성할 수 있는 오디오 시스템 외에도 적용할 수 있다.
도 2는 본 발명의 일실시예에 따른 오디오 신호 비트스트림의 구조를 나타낸다. 상기 비트스트림은 부호화된 다운믹스 신호 및 부호화된 공간 정보를 포함한다. 도 2를 참조하면, 오디오 페이로드(audio payload) 1프레임(frame)은 다운믹스 신호 필드 및 보조 데이터 필드(ancillary data field)를 포함한다. 상기 보조 데이터 필드에 부호화된 공간 정보가 저장될 수 있다. 예를 들면, 오디오 페이로드가 48 ∼ 128kbps일 때, 공간 정보는 5 ∼ 32kbps 정도의 범위를 가질 수 있으나, 상기 오디오 페이로드 및 공간 정보의 범위에 대한 제한은 없다.
도 3은 본 발명의 일실시예에 따른 공간정보변환부에 대한 상세 블록도이다. 공간정보변환부(1000)는 소스매핑부(1010), 서브렌더링정보생성부(1020), 합성부(1030), 프로세싱부(1040), 도메인변환부(1050)를 포함한다.
도 3을 참조하면, 소스매핑부(1010)는 공간 정보를 이용하여 소스 매핑 과정을 수행함으로써, 오디오 신호의 각 소스에 대응되는 소스 매핑 정보를 생성한다. 상기 소스 매핑 정보란 오디오 신호의 각 소스에 대응되도록 공간 정보 등을 이용하여 생성된 각 소스별 정보를 말한다. 상기 소스는 채널을 포함하며, 이 경우에 각 채널에 대응되는 소스 매핑 정보가 생성된다. 상기 소스 매핑 정보는 계수 형태로 표현될 수 있다. 상기 소스 매핑 과정에 대한 상세한 설명은 아래의 도4 및 도 5를 참조하여 기술된다.
서브렌더링정보생성부(1020)는 소스 매핑 정보 및 필터 정보를 이용하여 각 소스에 대응하는 서브렌더링 정보를 생성한다. 예를 들면, 렌더링부(900)가 HRTF 필터인 경우, 서브렌더링정보생성부(1020)는 HRTF 필터 정보를 이용하여 서브렌더링 정보를 생성할 수 있다.
합성부(1030)는 서브렌더링 정보를 다운믹스 신호의 소스에 대응되도록 합성(integration)하여 렌더링 정보를 생성한다. 상기 렌더링 정보란 공간 정보 및 필터 정보를 이용하여 생성된 정보로서, 다운믹스 신호에 적용되어 서라운드 신호를 생성하는 정보를 말한다. 상기 렌더링 정보는 필터 계수 형태를 포함한다. 상기 합성은 렌더링 과정의 연산량을 줄이기 위해 생략할 수 있다. 그 다음에, 상기 렌더링 정보는 프로세싱부(1042)로 전송된다. 상기 프로세싱부(1042)는 인터폴레이팅부(1041) 및/또는 스무딩부(1042)를 포함한다. 상기 렌더링 정보는 상기 인터폴레이팅부(1041) 및/또는 스무딩부(1042)에서 인터폴레이팅 및/또는 스무딩을 거친다. 그 다음에, 도메인변환부(105)는 상기 렌더링 정보의 도메인을 렌더링부(900)에서 이용되는 다운믹스 신호의 도메인으로 변환한다. 상기 도메인변환부(105)는 도 3에 도시된 위치 이외에 다양한 위치에서 적용될 수 있다. 따라서, 렌더링 정보가 상기 렌더링부(900)와 동일한 도메인에서 생성된 경우, 상기 도메인변환부(1050)는 생략될 수 있다. 도메인 변환된 렌더링 정보는 렌더링부(900)로 전송된다.
또한, 공간정보변환부(1000)는 필터정보변환부(1060)를 포함할 수 있다. 도 3에서, 상기 필터정보변환부(1060)는 공간정보변환부(1000) 내부에 도시되고 있으나, 상기 공간정보변환부(1000) 외부에 존재할 수 있다. 상기 필터정보변환부(1060)는 임의의 필터 정보, 예를 들면 HRTF를 서브 렌더링 정보 또는 렌더링 정보를 생성하는데 적합하도록 변환한다. 상기 필터 정보의 변환 과정은 다음과 같은 과정을 포함할 수 있다.
첫째, 적용하는 도메인을 맞추는 과정이 포함된다. 필터 정보가 가지고 있는 도메인과 렌더링이 수행되는 도메인이 일치하지 않는 경우, 상기 도메인을 맞추는 과정이 필요하다. 예를 들면, 시간 도메인 HRTF를 렌더링 정보가 생성되는 DFT, QMF 또는 하이브리드 도메인으로 변환하는 과정이 필요하다.
둘째, 도메인 변환된 HRTF를 저장하고 공간 정보에 적용하는 것을 용이하게 하도록, 계수 축약 과정을 포함할 수 있다. 예를 들면, 원형 HRTF 필터 계수가 긴 탭 수(길이)의 응답을 갖는 경우라면, 5.1 채널의 경우 총 10개의 해당 길이만큼의 응답에 대응되는 메모리에 해당 계수를 저장해야 한다. 이는 메모리에 대한 부담과 더불어 연산량을 증가시키는 요인이 된다. 이와 같은 문제를 막기 위해, 도메인 변환 과정에서 필터의 특성을 유지하면서 저장해야하는 필터 계수는 줄이는 방법을 이용할 수 있다. 예를 들면, HRTF 응답을 소수 개의 파라미터 값으로 변환할 수 있다. 이때, 적용되는 도메인에 따라 파라미터 생성 과정 및 값이 다를 수 있다.
다운믹스 신호는 렌더링부(900)에서 렌더링 정보와 렌더링 되기 전에 도메인변환부(1100) 및/또는 디코릴레이팅부(1200)를 통과한다. 도메인변환부(1100)는 렌더링 정보의 도메인과 다운믹스 신호의 도메인이 다른 경우, 양쪽의 도메인을 일치하기 위해 다운믹스 신호의 도메인 변환을 수행한다.
디코릴레이팅부(1200)는 도메인 변환된 다운믹스 신호에 적용된다. 렌더링 정보에 디코릴레이터를 적용하는 방법에 비해, 다운믹스 신호에 적용한다는 점에서 연산량은 상대적으로 높지만, 렌더링 정보 생성 과정에서 생기는 왜곡을 막을 수 있다. 상기 디코릴레이팅부(1200)는 연산량이 허락한다면 각기 다른 특성을 갖는 복수의 디코릴레이터를 포함할 수 있다. 또한, 상기 디코릴레이팅부(1200)는 다운믹스 신호가 스테레오 신호인 경우, 이용되지 않을 수 있다. 도 3에서는 도메인 변환된 모노 다운믹스 신호, 즉, 주파수 도메인, 하이브리드 도메인, QMF 도메인 또는 DFT 도메인에서의 모노 다운믹스 신호가 렌더링 과정에 이용되는 경우, 해당 도메인에서의 디코릴레이터를 이용하는 것을 도시한다. 또한, 본 발명은 시간 도메인에서의 디코릴레이터를 이용하는 것도 포함한다. 이때는 도메인변환부(1100) 이전의 모노 다운믹스 신호가 직접 디코릴레이팅부(1200)에 입력된다. 상기 디코릴레이트로서 일차 이상의 IIR 필터(또는 FIR 필터)를 이용할 수 있다.
그 다음에, 렌더링부(900)는 다운믹스 신호, 디코릴레트된 다운믹스 신호 및 렌더링 정보를 이용하여 서라운드 신호를 생성한다. 다운믹스 신호가 스테레오 신호인 경우, 디코릴레이트된 다운믹스 신호를 이용하지 않을 수 있다. 렌더링 과정에 대한 상세한 설명은 아래에서 도6 내지 도9을 참조하여 기술된다. 상기 서라운 드 신호는 역도메인변환부(1300)에서 시간 도메인으로 변환되어 출력된다. 이때, 사용자는 스테레오 신호를 들을 수 있는 이어폰 등으로 멀티채널 효과를 가진 음향을 들을 수 있게 된다.
도 4 및 5는 본 발명의 일실시예에 따른 소스 매핑 과정에서 이용되는 채널 구성을 도시한다. 소스 매핑 과정은 공간 정보를 이용하여 오디오 신호의 각 소스에 대응되는 소스 매핑 정보를 생성하는 과정이다. 전술한 것처럼, 상기 소스는 채널을 포함하며, 도4 및 도5에 도시된 채널에 대응되도록 소스 매핑 정보가 생성될 수 있다. 상기 소스 매핑 정보는 렌더링 과정에 적합한 형태로 생성된다. 예를 들면, 다운믹스 신호가 모노 신호인 경우, CLD1 ~ CLD5, ICC1 ~ ICC5 등의 공간 정보를 이용하여, 소스 매핑 정보를 생성할 수 있다. 상기 소스 매핑 정보는 D_L(=DL),D_R(=DR), D_C(=DC), D_LFE(=DLFE), D_Ls(=DLs), D_Rs(=DRs) 등의 값으로 표현될 수 있다. 이때, 상기 소스 매핑 정보를 생성하는 과정은 공간 정보에 대응되는 트리 구조(tree structure) 및 사용되는 공간 정보의 범위 등에 따라 가변적이다. 본 명세서는 다운믹스 신호가 모노인 경우를 예로 하여 기술하나, 본 발명은 이에 한정되지 않는다.
렌더링부(900)에서 출력된 좌우채널 출력은 아래의 [수학식 1]과 같이 표현될 수 있다.
수학식 1
Figure 112008017725318-pct00001
여기서, 상기 * 연산자는 DFT 도메인에서는 곱으로, QMF 및 시간 도메인에서는 콘볼루션(convolution)으로 대체될 수 있다. 본 발명은 상기 L, C, R, Ls, Rs를 공간 정보를 이용한 소스 매핑 정보에 의해 생성하거나, 공간 정보 및 필터 정보를 이용한 소스 매핑 정보에 의해 생성하는 방법을 포함한다. 예를 들면, 소스 매핑 정보는 공간 정보 중 CLD만을 이용하여 생성되거나, 또는 공간 정보 중 CLD 및 ICC를 이용하여 생성될 수 있다. CLD만을 이용하여 소스 매핑 정보를 생성하는 방법은 아래와 같다. 트리 구조(tree structure)가 도4와 같은 구조인 경우, CLD만을 이용하여 소스 매핑 정보를 얻는 제1 방법은 아래의 [수학식 2]과 같이 표현될 수 있다.
수학식 2
Figure 112008017725318-pct00002
여기서,
Figure 112008017725318-pct00003
,
Figure 112008017725318-pct00004
이고, m은 모노 다운믹스 신호이다.
*트리 구조(tree structure)가 도 5와 같은 구조인 경우, CLD만을 이용하여 소스 매핑 정보를 얻는 제2 방법은 아래의 [수학식 3]과 같이 표현될 수 있다.
수학식 3
Figure 112008017725318-pct00005
CLD만을 이용하여 소스 매핑 정보를 생성하는 경우, 입체감이 떨어질 수 있다. 따라서 ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성할 수 있다. 디코릴레이터 출력신호 dx(m)을 이용하여 생성되는 멀티채널 신호는 아래의 [수학식 4]와 같이 표현될 수 있다.
수학식 4
Figure 112008017725318-pct00006
여기서, A, B, C는 CLD 및 ICC로 표현될 수 있는 값이고, d0 내지 d3은 디코릴레이터이며, m은 모노 다운믹스 신호이다. 상기 방법은 D_L, D_R 등의 소스 매핑 정보를 생성할 수 없다.
따라서, 다운믹스 신호에 대하여 CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제1 방법은 dx(m)(x=0, 1, 2)을 각각 독립적인 입력으로 간주하는 것이다. 이 경우, 상기 dx는 아래의 [수학식 5]와 같이 서브렌더링 필터 정보의 생성 과정에 이용될 수 있다.
수학식 5
Figure 112008017725318-pct00007
상기 [수학식 5]의 결과를 이용하여 렌더링 정보는 아래의 [수학식 6]과 같이 생성될 수 있다.
수학식 6
Figure 112008017725318-pct00008
상기 렌더링 정보의 생성 과정에 대한 상세한 설명은 후술된다. 상기 CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제1 방법은 dx 출력값, 즉 dx(m)을 독립적인 입력으로 처리하기 때문에 연산량이 증가될 수 있다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제2 방법은 주파수 도메인에서 적용되는 디코릴레이터를 이용하는 것이다. 이 경우에, 소스 매핑 정보는 아래의 [수학식 7]과 같이 표현될 수 있다.
수학식 7
Figure 112008017725318-pct00009
이 경우에, 주파수 도메인에서 디코릴레이터를 적용함으로써, 디코릴레이터를 적용하기 이전과 같은 D_L, D_R 등의 소스 매핑 정보를 생성할 수 있으므로, 간 단하게 구현할 수 있다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제3 방법은 상기 제2 방법의 디코릴레이터로서 올-패스 특성을 가지는 디코릴레이터를 사용하는 것이다. 상기 올-패스 특성은 크기는 일정하고 위상 변화만을 가지는 것을 의미한다. 또한, 본 발명은 상기 제1 방법의 디코릴레이터로서 올-패스 특성을 가지는 디코릴레이터를 사용하는 것을 포함한다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제4 방법은 상기 제2 방법에서 d0 내지 d3을 이용하여 디코릴레이션을 수행하는 것이 아니라, 각 채널(예를 들면, L, R, C, Ls, Rs 등)에 대한 각각의 디코릴레이터를 사용하여 디코릴레이션을 수행하는 것이다. 이 경우, 소스 매핑 정보는 아래의 [수학식 8]과 같이 표현될 수 있다.
수학식 8
Figure 112008017725318-pct00010
여기서, K는 CLD 및 ICC 값으로부터 결정되는 디코릴레이션 된 신호의 에너지 값이고, d_L, d_R, d_C, d_Ls 및 d_Rs는 채널별로 적용되는 디코릴레이터이다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보을 생성하는 제5 방법은, 상기 제4 방법에서 d_L과 d_R을 대칭되게 구성하고, d_Ls와 d_Rs를 대칭되게 구성함으로써 디코릴레이션 효과를 극대화하는 것이다. 즉, d_R=f(d_L), d_Rs=f(d_Ls)라 할 수 있으므로, d_L, d_C 및 d_Ls만 설계하면 된다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제6 방법은, 상기 제5 방법에서 d_L과 d_Ls가 상관 관계를 갖도록 구성하는 것이다. 또한, d_L과 d_C 역시 상관 관계를 가지도록 구성될 수 있다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제7 방법은, 상기 제3 방법에서 디코릴레이터를 올-패스 필터의 직렬 구조 또는 중첩(nested) 구조로 사용하는 것이다. 상기 제7 방법은 올-패스 필터가 특성상 직렬 구조로 사용되어도 올-패스의 특성이 유지되고, 중첩 구조로 사용되어도 올-패스의 특성이 유지된다는 것을 이용하는 것이다. 직렬 구조 또는 중첩 구조로 사용될 경우, 더욱 다양한 형태의 위상 응답(Phase response)을 얻을 수 있기 때문에, 디코릴레이션 효과를 극대화할 수 있다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제8 방법은 종래의 디코릴레이터와 상기 제2 방법의 주파수 도메인 디코릴레이터를 함께 사용하는 것이다. 이 경우 멀티 채널 신호는 아래의 [수학식 9]와 같이 표현될 수 있다.
수학식 9
Figure 112008017725318-pct00011
이 경우에, 필터 계수 생성 과정은 상기 제1 방법에서 설명한 것에서 A가 A+Kd로 변경되는 차이를 제외하고는 동일하게 이루어진다.
CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 제9 방법은 종래의 디코릴레이터를 이용할 경우, 종래의 디코릴레이터 출력에 주파수 도메인 디코릴레이터를 적용함으로써 추가로 디코릴레이션 된 값을 생성하는 것이다. 따라서, 주파수 도메인 디코릴레이터가 갖는 한계를 극복하면서, 적은 연산량으로 소스 매핑 정보를 생성할 수 있다.
상기 CLD, ICC 및/또는 디코릴레이터를 이용하여 소스 매핑 정보를 생성하는 상기 제4 방법은 아래의 [수학식 10]과 같이 일반적으로 표현될 수 있다.
수학식 10
Figure 112008017725318-pct00012
여기서 di_(m)(i=L, R, C, Ls, Rs)은 i 채널에 적용되는 디코릴레이터 출력 값이며, 상기 출력 값은 시간 도메인, 주파수 도메인, QMF 도메인 또는 하이브리드 도메인 등에서 처리될 수 있다. 만약, 현재 프로세스가 진행중인 도메인과 다른 도메인에서 처리된 것이라면, 상기 출력 값은 도메인 변환을 통해 변환될 수 있다. 또한, 연산량 감소를 목적으로 d_L, d_R, d_C, d_Ls, d_Rs에 동일한 d를 사용할 수 있으며, 이 경우에 상기 [수학식 10]은 매우 간단하게 표현될 수 있다.
[수학식 10]을 [수학식 1]에 적용하면, 상기 [수학식 1]은 아래의 [수학식 11]과 같이 표현될 수 있다.
수학식 11
Figure 112008017725318-pct00013
여기서, 렌더링 정보 HM_L은 입력 m을 가지고 서라운드 신호 Lo를 만들기 위한 공간 정보와 필터 정보의 조합된 값이고, 렌더링 정보 HM_R은 입력 m을 가지고 서라운드 신호 Ro를 만들기 위한 공간 정보와 필터 정보의 조합된 값이다. d(m)은 임의의 도메인에서 디코릴레이터 출력 값을 현재의 도메인으로 옮긴 값 또는 현재의 도메인에서 처리되어 생성된 디코릴레이터 출력 값이다. 렌더링 정보 HMD_L은 디코릴레이터 출력 값인 d(m)이 렌더링될 때, Lo에 더해지는 정도를 나타내는 값으로, 공간 정보와 필터 정보의 조합된 값이다. 렌더링 정보 HMD_R은 d(m)이 Ro에 더해지는 정도를 나타내는 값이다.
상기와 같이 본 발명은 모노 다운믹스 신호에 대해 렌더링 과정을 수행하기 위해, 공간 정보와 필터 정보(예를 들면, HRTF 필터 계수)를 조합하여 생성한 렌더링 정보를 다운믹스 신호 및 디코릴레이트된 다운믹스 신호에 렌더링하여 서라운드 신호를 생성하는 방법을 제안한다. 상기 렌더링 과정은 도메인에 관계없이 수행될 수 있다. 만일, d(m)이 주파수 도메인에서 수행되어 d*m(곱 연산자)로 표현될 수 있다면, [수학식 11]은 아래의 [수학식 12]와 같이 표현될 수 있다.
수학식 12
Figure 112008017725318-pct00014
이와 같이, 다운믹스 신호에 대해 주파수 도메인에서 렌더링 과정을 수행하는 경우에, 공간 정보, 필터 정보 및 디코릴레이터가 적절히 조합된 값을 곱의 형태로 표현함으로써 연산량을 최소화할 수 있다.
도 6 및 7은 본 발명의 일실시예에 따른 스테레오 다운믹스 신호에 대한 렌더링부의 상세 블록도이다. 도 6을 참조하면, 상기 렌더링부(900)는 제A 렌더링부(910) 및 제B 렌더링부(920)를 포함한다. 다운믹스 신호가 스테레오 신호인 경우, 공간정보변환부(1000)는 다운믹스 신호의 왼쪽(left) 및 오른쪽(right) 채널에 적용될 렌더링 정보를 생성한다. 상기 제A 렌더링부(910)는 다운믹스 신호의 왼쪽 채널에 대한 렌더링 정보를 상기 다운믹스 신호의 왼쪽 채널에 렌더링하여, 서라운드 신호를 생성한다. 상기 제B 렌더링부(920)는 다운믹스 신호의 오른쪽 채널에 대한 렌더링 정보를 상기 다운믹스 신호의 오른쪽 채널에 렌더링하여, 서라운드 신호를 생성한다. 상기 각 채널의 명칭은 예시적인 것이며, 본 발명은 상기 채널의 명칭에 제한되지 않는다.
또한, 렌더링 정보는 각각의 채널에서 자기 채널로 전달되는 렌더링 정보와 상대 채널로 전달되는 렌더링 정보를 포함할 수 있다. 예를 들면, 공간정보변환부(1000)는 다운믹스 신호의 왼쪽 채널에 대한 렌러링부에 입력되어 자기 채널 출력인 왼쪽 출력으로 전달되는 렌더링 정보(HL_L)와, 상대 채널인 오른쪽 출력으로 전달되는 렌더링 정보(HL_R)를 생성할 수 있다. 그리고, 상기 공간정보변환부(1000)는 다운믹스 신호의 오른쪽 채널에 대한 렌더링부에 입력되어 자기 채널 출력인 오른쪽 출력으로 전달하는 렌더링 정보(HR_R)와, 상대 채널인 왼쪽 출력으로 전달하는 렌더링 정보(HR_L)를 생성할 수 있다.
도 7을 참조하면, 렌더링부(900)는 제1A 렌더링부(911), 제2A 렌더링부(912), 제1B 렌더링부(921) 및 제2B 렌더링부(922)를 포함한다. 상기 렌더링부(900)는 스테레오 다운믹스 신호를 수신하고, 공간정보변환부(1000)로부터 렌더링 정보를 수신한다. 그 다음에, 상기 렌더링부(900)는 상기 렌더링 정보를 상기 스테레오 다운믹스 신호에 렌더링하여, 서라운드 신호를 생성한다.
더욱 상세하게는, 상기 제1A 렌더링부(911)는 다운믹스 신호의 왼쪽 채널에 대한 렌더링 정보 중 자기 채널로 전달되는 렌더링 정보(HL_L)를 이용하여 렌더링을 수행하고, 상기 제2A 렌더링부(912)는 다운믹스 신호의 왼쪽 채널에 대한 렌더링 정보 중 상대 채널로 전달되는 렌더링 정보(HL_R)를 이용하여 렌더링을 수행한다. 또한, 상기 제1B 렌더링부(921)은 다운믹스 신호의 오른쪽 채널에 대한 렌더링 정보 중 자기 채널로 전달되는 렌더링 정보(HR_R)를 이용하여 렌더링을 수행하고, 상기 제2B 렌더링부(922)는 다운믹스 신호의 오른쪽 채널에 대한 렌더링 정보 중 상대 채널로 전달되는 렌더링 정보(HR_L)를 이용하여 렌더링을 수행한다. 이하에서, 상대 채널로 전달되는 렌더링 정보를 "크로스 렌더링 정보"라 한다. 상기 크로스 렌더링 정보 HL_R 및 HR_L은 자기 채널에 적용된 후, 가산기에서 상대 채널로 더해진다. 이때, 경우에 따라서는 상기 크로스 렌더링 정보 HL_R 및/또는 HR_L가 0이 될 수 있다. 상기 크로스 렌더링 정보 HL_R 및/또는 HR_L가 0이 되면, 해당 패스에 아무런 기여를 하지 않음을 의미한다.
도 6 및 도 7 에 도시된 서라운드 신호의 생성 방법에 대한 예를 들면 다음과 같다. 다운믹스 신호가 스테레오 신호인 경우, 다운믹스 신호를 x, 공간 정보를 이용하여 생성된 소스 매핑 정보를 D, 원형 필터 정보를 G, 멀티채널 신호를 p, 서라운드 신호를 y라 정의하고, 이를 행렬식으로 나타내면 아래의 [수학식 13]과 같이 표현될 수 있다.
수학식 13
Figure 112008017725318-pct00015
여기서, 상기 값들이 주파수 도메인의 값이라면, 아래와 같은 형태로 전개될 수 있다. 먼저 멀티채널 신호(p)는 아래의 [수학식 14]와 같이 공간 정보를 이용하여 생성된 소스 매핑 정보(D)와 다운믹스 신호(x)의 곱으로 나타낼 수 있다.
수학식 14
Figure 112008017725318-pct00016
그리고, 서라운드 신호(y)는 아래의 [수학식 15]과 같이 멀티채널 신호(p)에 원형 필터 정보(G)를 렌더링하여 생성될 수 있다.
수학식 15
Figure 112008017725318-pct00017
여기서, 상기 p에 [수학식 14]를 대입하면 아래의 [수학식 16]이 생성될 수 있다.
수학식 16
Figure 112008017725318-pct00018
이때, 렌더링 정보 H를
Figure 112008017725318-pct00019
로 정의하면, 서라운드 신호(y)와 다운믹스 신호(x)는 아래의 [수학식 17]과 같은 관계를 갖는다.
수학식 17
Figure 112008017725318-pct00020
따라서, 필터 정보와 소스 매핑 정보 간의 곱을 먼저 처리하여 렌더링 정보(H)를 생성한 후, 다운믹스 신호(x)에 상기 렌더링 정보(H)를 곱하여 서라운드 신호(y)를 생성할 수 있다.
렌더링 정보(H)에 대한 상기 정의에 따를 때, 상기 렌더링 정보(H)는 아래의 [수학식 18]과 같이 표현될 수 있다.
수학식 18
Figure 112008017725318-pct00021
도 8 및 9는 본 발명의 일실시예에 따른 모노 다운믹스 신호에 대한 렌더링부의 상세 블록도이다. 도 8을 참조하면, 렌더링부(900)는 제A 렌더링부(930) 및 제B 렌더링부(940)를 포함한다. 다운믹스 신호가 모노 신호인 경우, 공간정보변환부(1000)는 모노 신호를 왼쪽 채널로 렌더링하는데 사용하는 렌더링 정보(HM_L)와 모노 신호를 오른쪽 채널로 렌더링하는데 사용하는 렌더링 정보(HM_R)를 생성한다. 상기 제A 렌더링부(930)는 렌더링 정보(HM_L)를 모노 다운믹스 신호에 적용하여 왼쪽 채널의 서라운드 신호를 생성하고, 상기 제B 렌더링부(940)는 렌더링 정보(HM_R)를 모노 다운믹스 신호에 적용하여 오른쪽 채널의 서라운드 신호를 생성한다. 상기 렌더링부(900)는 디코릴레이터가 사용되지 않는 경우를 도시하나, 상기 제A 렌더링부(930) 및 상기 제B 렌더링부(940)가 각각 [수학식 12]에서 정의한 렌더링 정보 HMoverall_R 및 HMoverall_L를 이용하여 렌더링을 수행하면, 디코릴레이터가 적용된 형태의 출력을 얻을 수 있다.
한편, 모노 다운믹스 신호에 대해 상기 렌더링 후의 출력 신호가 서라운드 신호가 아닌 스테레오 신호와 같은 형태의 출력을 얻고자 하는 경우에는 다음과 같은 두 가지 방법이 가능하다. 첫째, 렌더링부(900)를 서라운드 효과를 위한 렌더링 정보를 사용하는 것이 아니라, 스테레오 출력시 사용하는 값을 이용하는 것이다. 이 경우에, 도 3에 도시된 구조에서 렌더링 정보만 변경하여 스테레오 신호를 얻을 수 있다. 둘째, 다운믹스 신호 및 공간 정보를 이용하여 멀티채널 신호를 생성하는 디코딩 과정에서, 원하는 채널 수를 얻기 위해 해당 단계(step)까지만 복호화를 진행함으로써 스테레오 신호를 얻을 수 있다.
도 9를 참조하면, 렌더링부(900)는 디코릴레이트된 신호가 하나로 표현된 경우, 즉 [수학식 11]에 대응된다. 상기 렌더링부(900)는 제1A 렌더링부(931), 제2A 렌더링부(932), 제1B 렌더링부(941) 및 제2B 렌더링부(942)를 포함한다. 상기 렌더링부(900)는 디코릴레이트된 신호에 대한 렌더링부(941, 942)를 포함한다는 점을 제외하고, 스테레오 다운믹스 신호에 대한 렌러링 과정과 유사하다. 스테레오 다운 믹스 신호인 경우는 사실상 두 신호간 디코릴레이션이 된 것으로 해석할 수 있기 때문에, 별도의 디코릴레이터를 필요로 하지 않고 앞에서 정의한 HL_L, HL_R 등의 네 개의 렌더링 정보를 이용하여 렌더링 과정을 수행할 수 있다. 즉, 제1A 렌더링부(931)는 렌더링 정보 HM_L를 모노 다운믹스 신호에 적용하여 자기 채널로 전달되는 신호를 생성하고, 제2A 렌더링부(932)는 렌더링 정보 HM_R를 모노 다운믹스 신호에 적용하여 상대 채널로 전달되는 신호를 생성한다. 또한, 제1B 렌더링부(941)는 렌더링 정보 HMD_R를 디코릴레이트된 신호에 적용하여 자기 채널로 전달되는 신호를 생성하고, 제2B 렌더링부(942)는 렌더링 정보 HMD_L를 디코릴레이트된 신호에 적용하여 상대 채널로 전달되는 신호를 생성한다.
다운믹스 신호가 모노 신호인 경우, 다운믹스 신호를 x, 공간 정보를 이용한 소스 채널 정보를 D, 원형 필터 정보를 G, 멀티채널 신호를 p, 서라운드 신호를 y라 정의하고, 이를 행렬식으로 나타내면 아래의 [수학식 19]와 같이 표현될 수 있다.
수학식 19
Figure 112008017725318-pct00022
여기서, 상기 행렬식들의 관계는 다운믹스 신호가 스테레오 신호인 경우와 유사하므로 구체적인 설명은 생략하도록 한다.
*도 4 및 5를 참조하여 기술된 소스 매핑 정보 및/또는 상기 소스 매핑 정보를 이용하여 생성된 렌더링 정보는 주파수 밴드별, 파라미터 밴드별 및/또는 전송된 시간 슬롯별로 다른 값을 가진다. 이때, 이웃하는 밴드 사이 및 경계가 되는 시간 슬롯 사이에서 소스 매핑 정보 및/또는 렌더링 정보의 값이 크게 차이가 나는 경우, 렌더링 과정에서 왜곡이 발생할 수 있다. 상기 왜곡을 막기 위해서는 주파수 및/또는 시간 도메인에서의 스무딩(smoothing) 과정이 필요하다. 주파수 도메인에서의 스무딩(frequency domain smoothing) 및/또는 시간 도메인에서의 스무딩(time domain smoothing) 외에, 렌더링에 적합한 다른 스무딩 방법이 이용될 수 있다. 또한, 소스 매핑 정보 및/또는 렌더링 정보 각각에 특정 게인(gain)을 곱한 값을 이용할 수 있다.
도 10 및 도 11은 본 발명의 일실시예에 따른 스무딩부 및 확장부가 적용되는 위치에 대한 블록도이다. 도 10 및 도 11에서와 같이, 본 발명에 따른 스무딩 방법은 렌더링 정보 및/또는 소스 매핑 정보에 적용될 수 있으나, 다른 형태의 정보에도 적용될 수 있다. 이하에서, 주파수 도메인에서의 스무딩에 대하여 기술되나, 본 발명은 상기 주파수 도메인에서의 스무딩에 제한되지 않고, 시간 도메인에서의 스무딩을 포함한다.
도 10 및 도 11을 참조하면, 스무딩부(1042)는 렌더링 정보 및/또는 소스 매핑 정보에 스무딩을 수행할 수 있다. 상기 스무딩이 일어나는 위치에 대한 상세한 예는 도 18 내지 도 20을 참조하여 기술된다. 상기 스무딩부(1042) 스무딩된 렌더링 정보 및/또는 소스 매핑 정보를 파라미터 밴드에서 보다 넓은 범위, 예를 들면 필터 밴드로 확장하는 확장부(1043)과 함께 구성될 수 있다. 예를 들면, 소스 매핑정보는 서브렌더링정보생성부(1020)에서 필터 정보(예를 들면, HRTF 필터 계수)와 곱해지기 위해 상기 필터 정보에 대응되는 주파수 해상도(예를 들면, 필터 밴드)로 확장될 수 있다. 본 발명에 따른 스무딩은 상기 확장 전에 수행되거나, 또는 상기 확장과 함께 수행될 수 있다. 상기 확장과 함께 사용되는 스무딩은 도 12 내지 도 16에 도시된 방법들이 이용될 수 있다.
도 12는 본 발명의 일실시예에 따른 제1 스무딩 방법에 대한 그래프이다. 상기 제1 스무딩 방법은 주파수 도메인에서 직접적인 스무딩을 실시하지 않고, 각 파라미터 밴드에서의 공간 정보와 동일한 크기의 값을 사용하는 것이다. 이때, 적당한 스무딩 함수를 이용하여 스무딩 효과를 얻을 수 있다.
도 13은 본 발명의 일실시예에 따른 제2 스무딩 방법에 대한 그래프이다. 상기 제2 스무딩 방법은 각 파라미터 밴드의 대표 위치 사이를 연결하여 스무딩 효과를 얻는 것이다. 상기 대표 위치는 각 파라미터 밴드의 정중앙이거나, 로그 스케일(log scale)/바크 스케일(bark scale) 등에 비례한 중심 위치이거나, 가장 낮은 주파수 값이거나, 또는 다른 방법에 의해 미리 정해진 위치일 수 있다.
도 14는 본 발명의 일실시예에 따른 제3 스무딩 방법에 대한 그래프이다. 상기 제3 스무딩 방법은 각 파라미터의 경계를 부드럽게 잇는 곡선(또는, 직선)의 형태로 스무딩을 수행하는 것이다. 이때, 상기 제3 스무딩 방법은 미리 정해진 경계 스무딩 곡선을 이용하거나, 또는 일차 이상의 IIR 필터(또는 FIR 필터)에 의한 로우 패스 필터링(Low pass filtering)을 이용할 수 있다.
도 15는 본 발명의 일실시예에 따른 제4 스무딩 방법에 대한 그래프이다. 상기 제4 스무딩 방법은 임의의 랜덤 노이즈(Random noise)와 같은 신호를 공간 정보 윤곽선(contour)에 더해줌으로써 스무딩 효과를 얻는 것이다. 상기 랜덤 노이즈는 채널별 및 대역별로 다른 값을 사용할 수 있다. 주파수 도메인에서 랜덤 노이즈를 더하는 경우, 위상 값은 그대로 두고 크기 값만을 더할 수 있다. 상기 제4 스무딩 방법은 주파수 도메인에서의 스무딩 효과뿐 아니라, 각 채널간의 디코릴레이션 효과도 얻을 수 있다.
도 16은 본 발명의 일실시예에 따른 제5 스무딩 방법에 대한 그래프이다. 상기 제5 스무딩 방법은 상기 제2 스무딩 방법 내지 제4 스무딩 방법을 조합하여 사용하는 것이다. 예를 들면, 각 파라미터 밴드의 대표 위치를 연결한 후에, 랜덤 노니즈를 더하고, 로우 패스 필터링을 적용하는 것이다. 이때, 순서는 달라질 수 있다. 상기 제5 스무딩 방법은 주파수 도메인에서의 불연속점은 최소화되고, 채널간의 디코릴레이션 효과는 향상되는 결과를 얻을 수 있다. 상기 제1 스무딩 방법 내지 제5 스무딩 방법에서 각 채널별 각 주파수 도메인에서 공간 정보(예를 들면, CLD) 값에 대한 파워(power)의 합은 상수로 일정해야 한다. 이를 위해, 각 채널별로 상기 스무딩 방법을 수행한 후, 파워 정규화(power normalization) 과정을 수행하여야 한다. 예를 들면, 다운믹스 신호가 모노 신호인 경우, 각 채널의 레벨 값들은 아래의 [수학식 20]의 관계를 만족해야 한다.
수학식 20
Figure 112008017725318-pct00023
여기서, pb = 0 ∼ 전체 파라미터 밴드수-1 이고, C는 임의의 상수이다.
도 17은 각 채널별 원형 필터 정보를 설명하기 위한 도면이다. 렌더링을 위해, 왼쪽 채널 소스(left channel source)에 대해 GL_L 필터를 통과한 신호는 왼쪽 출력으로 보내지고, GL_R 필터를 통과한 신호는 오른쪽 출력으로 보내진다. 그 다음에, 왼쪽 최종 출력(예를 들어, Lo) 및 오른쪽 최종 출력(예를 들어, Ro)은 각 채널로부터 수신한 신호를 모두 합하여 생성된다. 즉, 렌더링된 좌/우 채널 출력은 아래의 [수학식 21]과 같이 표현될 수 있다.
수학식 21
Figure 112008017725318-pct00024
본 발명에서는 공간 정보를 이용하여 다운믹스 신호를 멀티채널 신호로 복호화하여 생성된 상기 L, R, C, Ls, Rs를 이용하여 렌더링된 좌/우 채널 출력을 생성하거나, 또는 공간 정보 및 필터 정보를 이용하여 생성된 렌더링 정보를 이용하여 상기 L, R, C, Ls, Rs를 생성하지 않고 렌더링된 좌/우 채널 출력을 생성할 수 있다. 공간 정보를 이용한 렌더링 정보의 생성 과정은 아래의 도 18 내지 도 20에서 기술된다.
도 18은 본 발명의 일실시예에 따른 공간정보변환부(900)에서 렌더링 정보를 생성하는 제1 방법에 대한 블록도이다. 전술한 것처럼, 상기 공간정보변환부(900) 는 소스매핑부(1010), 서부렌더링정보생성부(1020), 합성부(1030), 프로세싱부(1040) 및 도메인변환부(1050)를 포함한다. 상기 공간정보변환부(900)는 도 3에서 도시된 것과 동일하다. 이때, 상기 서브렌더링정보생성부(1020)는 하나 이상의 서브렌더링정보생성부(제1 서브렌더링정보생성부, 제2 서브렌더링정보생성부,...,제N 서브렌더링정보생성부)를 포함한다.
도 18을 참조하면, 서브렌더링정보생성부(1020)는 공간 정보를 이용하여 생성된 소스 매핑 정보 및 필터 정보를 이용하여 서브 렌더링 정보를 생성한다. 예를 들면, 다운믹스 신호가 모노 신호인 경우, 제1 서브렌더링정보생성부는 멀티채널 상의 왼쪽 채널에 대응되는 서브 렌더링 정보를 생성할 수 있다. 상기 서브 렌더링 정보는 소스 매핑 정보 D_L 및 변형된 필터 정보(GL_L' 및 GL_R')를 이용하여 아래의 [수학식 22]과 같이 표현될 수 있다.
수학식 22
Figure 112008017725318-pct00025
여기서, 상기 D_L은 소스매핑부(1010)에서 공간 정보를 이용하여 생성된 값이다. 다만, 상기 D_L을 생성하는 과정은 트리 구조(tree structure)에 따라 다를 수 있다. 제2 서브렌더링정보생성부는 멀티채널 상의 오른쪽 채널에 대응되는 서브 렌더링 정보(FR_L 및 FR_R)를 생성할 수 있고, 제N 서브렌더링정보생성부는 멀티채널 상의 오른쪽 서라운드 채널에 대응되는 서브 렌더링 정보(FRs_L 및 FRs_R)를 생성할 수 있다.
다운믹스 신호가 스테레오 신호인 경우, 제1 서브렌더링정보생성부는 멀티채널 상의 왼쪽 채널에 대응되는 서브 렌더링 정보를 생성할 수 있다. 상기 서브 렌더링 정보는 소스 매핑 정보 D_L1, D_L2를 이용하여 아래의 [수학식 23]과 같이 표현될 수 있다.
수학식 23
Figure 112008017725318-pct00026
Figure 112008017725318-pct00027
여기서, 상기 FL_R1을 예를 들어 [수학식 23]을 설명하면, FL_R1에서 L은 멀티채널의 위치를 나타내고, R은 서라운드 신호의 출력 채널을 나타내며, 1은 다운믹스 신호의 채널을 나타낸다. 즉, 다운믹스 신호의 왼쪽 채널로부터 서라운드 신호의 오른쪽 출력 채널을 생성하는데 이용되는 서브 렌더링 정보를 나타낸다. 상기 D_L1, D_L2는 소스매핑부(1010)에서 공간 정보를 이용하여 생성된 값이다. 다운믹스 신호가 스테레오 신호인 경우, 상기 다운믹스 신호가 모노 신호인 경우와 동일한 방법으로 하나 이상의 서브렌더링정보생성부에서 복수의 서브 렌더링 정보들을 생성할 수 있다. 상기 복수의 서브렌더링정보생성부가 생성하는 서브 렌더링 정보의 종류는 예시적인 것이며, 본 발명은 상기 서브 렌더링 정보의 종류에 제한되지 않는다.
서브렌더링정보생성부(1020)에서 생성된 서브 렌더링 정보는 합성부(1030), 프로세싱부(1040) 및 도메인변환부(1050)를 거쳐 렌더링부(900)로 전송된다. 합성부(1030)는 채널별로 생성된 서브 렌더링 정보를 렌더링 과정을 위한 렌더링 정보(예를 들면, HL_L, HL_R, HR_L, HR_R)로 합성한다. 상기 합성부(1030)에서의 합성 과정을 다운믹스 신호가 모노 신호인 경우와 스테레오 신호인 경우로 나누어 설명하면 다음과 같다. 다운믹스 신호가 모노 신호인 경우, 렌더링 정보는 아래의 [수학식 24]와 같이 표현될 수 있다.
수학식 24
Figure 112008017725318-pct00028
다운믹스 신호가 스테레오 신호인 경우, 렌더링 정보는 아래의 [수학식 25]과 같이 표현될 수 있다.
수학식 25
Figure 112008017725318-pct00029
그 다음에, 프로세싱부(1040)는 인터폴레이팅부(1041) 및/또는 스무딩부(1042)를 포함하고, 상기 렌더링 정보에 대해서 인터폴레이팅 및 스무딩을 수행할 수 있다. 상기 인터폴레이팅 및 스무딩은 시간 도메인, 주파수 도메인 또는 QMF 도메인에서 수행될 수 있다. 본 명세서는 시간 도메인을 예로 하여 기술되나, 본 발명은 상기 시간 도메인에 한정되지 않는다.
인터폴레이팅은 전송된 렌더링 정보가 시간 도메인에서 간격이 넓을 경우, 상기 렌더링 정보 사이에 존재하지 않는 렌더링 정보를 얻기 위해서 이루어진다. 예를 들면, n번째 시간 슬롯과 n+k번째 시간 슬롯에서 렌더링 정보가 존재한다고 할 때(k＞1), 생성된 렌더링 정보들(예를 들면, HL_L, HR_L, HL_R, HR_R)을 이용하여 전송되지 않은 시간 슬롯 상에서 선형 인터폴레이팅을 수행할 수 있다. 상기 인터폴레이팅 결과 생성된 렌더링 정보는 다운믹스 신호가 모노 신호인 경우와 스테레오 신호인 경우로 나누어 설명하면 다음과 같다. 다운믹스 신호가 모노 신호인 경우, 인터폴레이팅된 렌더링 정보는 아래의 [수학식 26]과 같이 표현될 수 있다.
수학식 26
Figure 112008017725318-pct00030
다운믹스 신호가 스테레오 신호인 경우, 인터폴레이팅된 렌더링 정보는 아래의 [수학식 27]과 같이 표현될 수 있다.
수학식 27
Figure 112008017725318-pct00031
여기서, 0＜j＜k 이고, j, k는 각각 정수이며, a는 0＜a＜1인 실수로서 아래의 [수학식 28]와 같이 표현될 수 있다.
수학식 28
Figure 112008017725318-pct00032
상기 [수학식 27] 또는 [수학식 28]에 따라 두 시간 슬롯에서의 값을 직선으로 연결한 선 상에서 전송되지 않은 시간 슬롯에 대응하는 값을 얻을 수 있다. 인터폴레이팅에 대한 더욱 상세한 설명은 도 22 및 도 23을 참조하여 기술된다.
스무딩부(1042)는 시간 도메인에서 이웃하는 시간 슬롯 사이에 필터 계수 값이 급격히 변화하는 경우, 불연속 점이 발생하여 왜곡이 일어나는 문제를 막기 위해서 스무딩을 수행한다. 시간 도메인에의 스무딩은 도 12 내지 도 16을 참조하여 기술된 스무딩 방법을 이용하여 수행될 수 있다. 또한, 상기 스무딩은 확장과 병행하여 수행될 수 있으며, 적용되는 위치에 따라 스무딩 방법이 다를 수 있다. 다운믹스 신호가 모노 신호인 경우, 시간 도메인 스무딩은 아래의 [수학식 29]와 같이 표현될 수 있다.
수학식 29
Figure 112008017725318-pct00033
즉, 이전 시간 슬롯(n-1)에서의 스무딩 처리된 렌더링 정보(HM_L(n-1)' 또는 HM_R(n-1)')에 (1-b)를 곱하고, 현재 시간 슬롯(n)에서 생성된 렌더링 정보(HM_L(n) 또는 HM_R(n))에 b를 곱해서 더하는 1-pole IIR 필터 형태의 스무딩이 수행될 수 있다. 여기서, b는 0＜b＜1인 상수값으로, 상기 b값이 작을수록 스무딩 효과가 크고, b값이 클수록 스무딩 효과는 작아진다. 또한, 나머지 필터들도 같은 방 법으로 적용될 수 있다.
상기 시간 도메인 스무딩에 대한 [수학식 29]를 이용하여, 인터폴레이팅 및 스무딩을 하나의 수식으로 표현하면 아래의 [수학식 30]과 같이 표현될 수 있다.
수학식 30
Figure 112008017725318-pct00034
인터폴레이팅부(1041) 및/또는 스무딩부(1042)에서 인터폴레이팅 및/또는 스무딩을 수행하면, 원형 렌더링 정보가 갖는 에너지와 다른 에너지 값을 가진 렌더링 정보가 나올 수 있다. 이러한 문제를 막기 위한 에너지 정규화 작업이 추가될 수 있다.
도메인변환부(1050)는 렌더링을 수행하기 위한 도메인으로 렌더링 정보의 도메인 변환을 수행한다. 렌더링을 수행하기 위한 도메인과 렌더링 정보의 적용 도메인이 동일한 경우에, 상기 도메인 변환을 수행하지 않을 수 있다. 그 다음에, 도메인 변환된 렌더링 정보는 렌더링부(900)로 전송된다.
도 19는 본 발명의 일실시예에 따른 공간정보변환부(900)에서 렌더링 정보를 생성하는 제2 방법에 대한 블록도이다. 상기 제2 방법은 공간정보변환부(1000)가 소스매핑부(1010), 서브렌더링정보생성부(1020), 합성부(1030), 프로세싱부(1040) 및 도메인변환부(1050)를 포함하고, 상기 서브렌더링정보생성부(1020)는 하나 이상의 서브렌더링정보생성부를 포함한다는 점에서, 렌더링 정보를 생성하는 상기 제1 방법과 유사하다.
도 19를 참조하면, 렌더링 정보를 생성하는 상기 제2 방법과 렌더링 정보를 생성하는 상기 제1 방법과 차이점은 프로세싱부(1040)의 위치가 다르다는 것이다. 따라서, 서브렌더링정보생성부(1020)에서 각 채널별로 생성된 서브 렌더링 정보들(예를 들면, 모노 신호인 경우는 FL_L, FL_R이고, 스테레오 신호인 경우는 FL_L1, FL_L2, FL_R1, FL_R2)에 대해서 채널별로 인터폴레이팅 및/또는 스무딩이 수행될 수 있다. 그 다음에, 합성부(1030)는 인터폴레이팅 및/또는 스무딩이 수행된 서브 렌더링 정보들을 합성하여 렌더링 정보를 생성한다. 생성된 렌더링 정보는 도메인변환부(1050)를 거쳐 렌더링부(900)로 전송된다.
도 20은 본 발명의 일실시예에 따른 공간정보변환부(1000)에서 렌더링 정보를 생성하는 제3 방법에 대한 블록도이다. 상기 제3 방법은 공간정보변환부(1000)가 소스매핑부(1010), 서브렌더링정보생성부(1020), 합성부(1030), 프로세싱부(1040) 및 도메인변환부(1050)를 포함하고, 상기 서브렌더링정보생성부(1020)는 하나 이상의 서브렌더링정보생성부를 포함한다는 점에서, 렌더링 정보를 생성하는 상기 제1 방법 및 상기 제2 방법과 유사하다.
도 120을 참조하면, 렌더링 정보를 생성하는 상기 제3 방법과 렌더링 정보를 생성하는 상기 제1 방법 및 상기 제2 방법과 차이점은 프로세싱부(1040)가 소스매핑부(1010) 다음에 위치된다는 점이다. 따라서, 소스매핑부(1010)에서 공간 정보를 이용하여 생성된 소스 매핑 정보는 각각의 채널에 대해 인터폴레이팅 및/또는 스무딩이 수행될 수 있다. 그 다음에, 서브렌더링정보생성부(1020)는 인터폴레이팅 및/또는 스무딩된 소스 매핑 정보 및 필터 정보를 이용하여 서브 렌더링 정보를 생성 한다. 상기 서브 렌더링 정보는 합성부(1030)에서 렌더링 정보로 합성되고, 도메인변환기(11050)를 거쳐 렌더링부(900)로 전송된다.
도 21은 본 발명의 일실시예에 따른 렌더링 과정에서 수행되는 렌더링 정보 처리 방법을 도시한다. 도 21은 DFT 도메인에서 렌더링 과정을 수행하는 경우에 대하여 도시되나, 다른 도메인에서도 유사한 방법으로 구현될 수 있다. 또한, 도 21은 입력 신호가 모노 다운믹스 신호인 경우에 대해 도시되나, 스테레오 다운믹스 신호 등의 다른 입력 채널에 대해서도 동일한 방법으로 적용할 수 있다.
도 21을 참조하면, 시간 도메인의 모노 다운믹스 신호는 도메인변환부에서 오버랩 구간(OL)을 갖는 윈도잉(windowing)을 먼저 수행한다. 도 21은 50％ 오버랩을 사용한 경우를 도시하나, 본 발명은 다른 오버랩을 사용한 경우도 포함한다. 상기 윈도잉을 수행하는 윈도우 함수(window function)는 시간 도메인에서 불연속(discontinuity)이 발생하지 않고 끊김없이(seamless) 연결되면서, DFT 도메인의 주파수 선택도(selectivity)가 우수한 함수를 사용할 수 있다. 예를 들면 상기 윈도우 함수로서 사인 제곱 윈도우 함수(sine square window function)를 사용할 수 있다. 그 다음에, 윈도잉을 통해 얻어진 길이가 OL*2인 모노 다운믹스 신호는 도메인변환부에서 변형된 렌더링 정보(HL_L')를 이용하는 렌더링 필터의 탭 길이만큼(정확하게는 탭 길이-1)의 제로 패딩(ZL)을 한 뒤, DFT 도메인으로 도메인 변환을 수행한다. 도 20은 k 블록 다운믹스 신호가 DFT 도메인으로 도메인 변환된 것을 도시한다.
도메인 변환된 다운믹스 신호는 렌더링부에서 렌더링 정보를 이용하는 렌더 링 필터에 의해 렌더링된다. 상기 렌더링 과정은 주파수 도메인에서 다운믹스 신호와 렌더링 정보의 곱으로 표현될 수 있다. 렌더링된 다운믹스 신호는 역도메인변환부에서 IDFT(Invers Discrete Fourier Transform)를 수행한 뒤, 이전까지(도 20에서, k-1 블록) 수행된 다운믹스 신호에 OL 길이만큼 지연을 주고 오버랩하여 서라운드 신호를 생성한다. 상기와 같은 렌더링 과정이 수행되는 각 블록에서 인터폴레이팅이 수행될 수 있는데, 이하에서 상기 인터폴레이팅 방법이 기술된다.
도 22는 본 발명의 일실시예에 따른 제1 인터폴레이팅 방법을 도시한다. 본 발명에 따른 인터폴레이팅은 다양한 위치에서 수행될 수 있다. 예를 들면, 도 18 내지 20에 도시된 공간정보변환부 내의 다양한 위치에서 수행될 수 있으며, 렌더링부에서도 수행될 수 있다. 인터폴레이팅이 되는 값은 공간 정보, 소스 매핑 정보, 렌더링 정보, 필터 정보 등이 될 수 있다. 본 명세서에서는 공간 정보를 기준으로 기술되나, 본 발명은 상기 공간 정보에 한정되지 않는다. 또한 상기 인터폴레이팅은 더 넓은 밴드로의 확장 이후에 이루어지거나, 또는 상기 확장과 함께 이루어질 수 있다.
도 22를 참조하면, 부호화 장치로부터 전송되는 공간 정보는 매 시간 슬롯마다 전송되는 것이 아니라, 임의의 위치에서 전송될 수 있다. 하나의 공간프레임에는 복수의 공간 정보 세트(예를 들면, 도 21의 파라미터 세트 n, n+1)가 전송될 수 있으며, 비트율이 낮은 경우에는 하나의 공간프레임에 하나의 새로운 공간 정보 세트가 전송될 수 있다. 따라서, 전송되지 않는 시간 슬롯에 대해서는 이웃하는 전송된 공간 정보 세트의 값들을 이용하여 인터폴레이팅을 수행한다. 렌더링을 수행하 는 윈도우 사이의 간격은 시간 슬롯과 항상 일치하는 것은 아니므로, 도 21과 같이 렌더링 윈도우(K-1, K, K+1, K+2 등)의 중앙에서의 인터폴레이팅 값을 찾아서, 상기 값을 이용할 수 있다. 도 21은 공간 정보 세트가 존재하는 시간 슬롯 사이를 선형 인터폴레이팅(linear interpolation)하는 경우를 도시하나, 본 발명은 상기 인터폴레이팅 방법에 한정되지 않는다. 예를 들면, 공간 정보 세트가 존재하지 않는 시간 슬롯은 인터폴레이팅을 하지 않고 이전 값을 사용하거나, 또는 미리 정해진 값을 사용할 수 있다.
도 23은 본 발명의 일실시예에 따른 제2 인터폴레이팅 방법을 도시한다. 도 22를 참조하면, 상기 제2 인터폴레이팅 방법은 이전 값을 사용하는 구간, 미리 정해진 디폴트 값을 사용하는 구간 등이 조합된 형태이다. 예를 들면, 하나의 공간 프레임의 일정 구간에서 이전 값을 유지하는 방법, 미리 정해진 디폴트 값을 사용하는 방법 및 선형 인터폴레이팅을 수행하는 방법 중 적어도 하나를 사용하여 인터폴레이팅을 수행할 수 있다. 만일 하나의 윈도우에 두 개 이상의 새로운 공간 정보 세트가 존재하는 경우에 왜곡이 발생할 수 있는데, 이하에서 상기 왜곡을 방지하기 위한 블록 스위칭에 대해 기술한다.
도 24는 본 발명의 일실시예에 따른 블록 스위칭에 대한 도면이다. 도 24의 (a)에 도시된 것처럼, 윈도우의 길이가 시간 슬롯의 길이보다 크기 때문에, 하나의 윈도우 구간에 두 개 이상의 공간 정보 세트(예를 들면, 도 24의 파라미터 세트 n, n+1)가 존재하는 경우가 발생될 수 있다. 이 경우에, 각각의 공간 정보 세트는 각각 다른 시간 슬롯에 적용되어야 하는데, 상기 두 개 이상의 공간 정보 세트를 인 터폴레이팅한 하나의 값이 적용되면 왜곡이 발생할 수 있다. 즉, 윈도우 길이에 따른 시간 해상도 부족에 의한 왜곡이 발생될 수 있다.
상기 문제를 해결하기 위해, 윈도우의 크기를 시간 슬롯의 해상도에 맞게 가변하는 전환 방법을 사용할 수 있다. 예를 들면, 도 24의 (b)에 도시된 것처럼, 높은 해상도가 요구되는 구간에서는 더 짧은 길이의 윈도우를 사용하도록 전환할 수 있다. 이때, 전환되는 윈도우의 시간 도메인에서의 이음새가 발생하지 않도록 변환되는 부분의 시작 및 끝에는 연결될 수 있는 형태의 윈도우를 사용한다. 상기 윈도우의 길이는 별도의 부가 정보로 전송되는 것이 아니라, 복호화 장치에서 공간 정보를 이용하여 결정될 수 있다. 예를 들면, 공간 정보가 갱신되는 시간 슬롯의 간격을 이용하여 윈도우의 길이를 결정할 수 있다. 즉, 상기 공간 정보가 갱신되는 간격이 좁으면 짧은 길이의 윈도우 함수를 이용하고, 상기 공간 정보가 갱신되는 간격이 넓으면 긴 길이의 상기 윈도우 함수를 이용할 수 있다. 이 경우에, 렌더링 시 가변 윈도우를 사용함으로써, 윈도우 길이 정보를 별도로 보내는데 필요한 비트를 사용하지 않을 수 있는 장점이 있다. 또한, 도 24의 (b)에 도시된 것처럼, 윈도우 길이는 단순히 두 종류만 사용하는 것이 아니라, 공간 정보의 전송 빈도 및 관계에 따라 다양한 길이의 윈도우를 사용할 수 있다. 결정된 윈도우 길이 정보는 서라운드 신호를 생성하는 다양한 단계에 적용될 수 있는데, 이하에서 상기 윈도우 길이 정보가 적용되는 단계가 기술된다.
도 25는 본 발명의 일실시예에 따른 윈도우길이결정부에서 결정된 윈도우 길이가 적용되는 위치에 대한 블록도이다. 도 25를 참조하면, 윈도우길이결정부 (1400)는 공간 정보를 이용하여 윈도우 길이를 결정할 수 있다. 결정된 윈도우 길이에 대한 정보는 소스매핑부(1010), 합성부(1030), 프로세싱부(1040), 도메인변환부(1050, 1100), 역도메인변환부(1300)에 적용될 수 있다. 도 25는 스테레오 다운믹스 신호가 이용되는 경우를 도시하고 있으나, 본 발명은 스테레오 다운믹스 신호로 제한되지 않는다. 상기와 같이, 윈도우의 길이를 짧게 하여도 필터 탭 수에 따라 결정되는 제로 패딩(zero padding)의 길이는 조절되지 않는 문제점이 있다. 이하에서, 상기 문제점의 해결방법이 기술된다.
도 26은 본 발명의 일실시예에 따른 다양한 길이를 가지는 필터 처리 방법에 대한 도면이다. 전술한 것처럼, 필터의 탭 수에 따라 결정되는 제로 패딩의 길이가 조절되지 않는 경우, 실제로 해당 길이 만큼의 중첩이 발생하여 여전히 시간 해상도가 부족한 문제점이 발생할 수 있다. 상기 문제점의 해결 방법은 짧은 길이의 윈도우를 사용하는 경우 필터 탭의 길이를 제한하여 제로 패딩의 길이를 짧게 하는 것이다. 상기 제로 패딩의 길이를 짧게 하는 방법은 필터 응답의 뒷부분(예를 들면, 잔향(reverberation)에 대응되는 확산(diffuse) 구간)을 절단(truncation) 함으로써 이루어질 수 있다. 이 경우, 비록 필터 응답의 뒷부분을 절단하지 않는 경우보다 부정확한 렌더링 과정이 되지만, 시간 도메인에서의 필터 계수 값들은 매우 작은 값으로서 주로 잔향에 영향을 주기 때문에 생략해도 음질에 큰 차이를 주지 않는다.
도 26을 참조하면, 4가지 종류의 필터가 이용될 수 있다. 상기 4가지 종류의 필터는 DFT도메인에서 이용될 수 있으나, 본 발명을 상기 DFT도메인에서 이용되는 필터로만 한정되지 않는다. N1 필터는 긴 필터 길이(FL) 및 필터 탭 수를 제한하지 않은 긴 제로 패딩의 길이(2*OL)를 가지는 필터를 나타낸다. N2 필터는 상기 N1 필터와 비교하여 필터 길이(FL)는 동일하나 필터의 탭 수를 제한하여 제로 패딩의 길이(2*OL')가 짧은 필터를 나타낸다. N3 필터는 상기 N1 필터와 비교하여 필터 길이(FL')는 짧으나, 필터의 탭 수를 제한하지 않아 제로 패딩의 길이(2*OL)는 긴 필터를 나타낸다. N4 필터는 상기 N1 필터와 비교하여 윈도우 길이(FL')도 짧고, 필터의 탭 수를 제한하여 제로 패딩의 길이(2*OL')도 짧은 필터를 나타낸다. 전술한 것처럼, 제로 패딩의 길이를 줄이기 위해, 필터 응답의 뒷부분을 절단하는 방법이 이용될 수 있다. 본 발명은 상기에서 예시된 4가지 종류의 필터를 이용하여 시간 해상도 문제를 해결할 수 있다. 또한, 필터 응답의 뒷부분은 도메인별로 다른 필터 계수가 사용될 수 있다.
도 27은 본 발명의 일실시예에 따른 복수 개의 서브필터로 오디오 신호를 별도 처리하는 방법을 도시한다. 하나의 필터를 서로 다른 필터 계수를 가지는 서브 필터로 분리하여 각각 병렬로 처리한 후, 처리 결과를 더해주는 방법이 이용될 수 있다. 에너지가 작은 필터 응답의 뒷부분에 공간 정보를 적용할 경우, 즉, 긴 필터 탭을 갖는 렌더링을 할 경우, 정해진 길이 단위로 분할하여 처리하는 기능을 제공한다. 예를 들면, 필터 응답의 뒷부분은 각 채널에 대응하는 HRTF별로 크게 변화하지 않는 부분이므로, 복수의 윈도우에 대한 공통의 계수를 추출하여 렌더링할 수 있다. 본 명세서에서는 DFT 도메인에서 실시되는 경우에 대하여 기술되나, 본 발명은 상기 DFT 도메인에 한정되지 않는다.
도 27을 참조하면, 하나의 필터(FL)를 복수 개의 서브 영역으로 분리한 후, 각각의 서브 영역을 서로 다른 필터 계수를 가지는 복수 개의 서브 필터(필터 A 및 필터 B)로 처리할 수 있다. 그 다음에, 필터 A로 처리된 출력 및 필터 B로 처리된 출력을 다시 결합한다. 예를 들면, 필터 A로 처리된 출력 및 필터 B로 처리된 출력 각각에 대하여 역 이산 푸리에 변한(Inverse Discrete Fourier Transform, IDFT)을 하여 시간 도메인의 신호를 생성한 후, 각각의 신호를 더해준다. 이때, 필터 B에 의해 처리된 출력은 필터 A에 의해 처리된 출력에 비해 FL'만큼 시간 지연된 위치에 더해진다. 이와 같이 복수의 서브 필터로 처리된 신호는 하나의 필터로 처리되는 경우와 동일한 효과를 얻을 수 있다. 또한, 본 발명은 상기 필터 B로 처리된 출력을 별도로 다운믹스 신호에 렌더링하는 것을 포함한다. 이때, 공간 정보로부터 추출된 계수 등을 이용하거나, 상기 공간 정보를 부분적으로 이용하거나, 또는 상기 공간 정보를 이용하지 않고 바로 다운믹스 신호에 렌더링할 수 있다.
상기 방법은 필터의 탭 수(길이)가 긴 경우에 이를 분할하여 적용할 수 있으며, 분할했을 때 에너지가 작은 뒷부분은 공간 정보를 이용한 변형을 가하지 않고 적용할 수 있다는 특징을 갖는다. 이때, 공간 정보를 이용한 변형을 가하지 않을 경우, 처리 윈도우마다 다른 필터를 적용하는 것이 아니므로, 블록 스위칭과 같은 기법이 적용되지 않아도 된다. 도 26에서는 2개의 도메인으로 분할하는 것을 도시하고 있으나, 본 발명은 이에 한정되지 않고 복수 개의 영역으로 분할하는 것을 포함한다.
도 28은 본 발명의 일실시예에 따른 복수 개의 서브 필터를 이용하여 필터계 수를 모노 다운믹스 신호에 분할 렌더링하는 과정을 도시한다. 도 28은 하나의 렌더링 계수에 대해서 나타낸 것으로, 상기 과정은 각각의 렌더링 계수별로 수행될 수 있다. 도 28을 참조하면, 도 27의 필터 A 정보가 제1 분할 렌더링 정보 HM_L_A에 해당하고, 도 27의 필터 B 정보가 제2 분할 렌더링 정보 HM_L_B에 해당된다. 도 28은 두 개의 서브 필터로 분할하여 수행되는 실시예를 나타내나, 본 발명은 두 개의 서브 필터에 한정되지 않는다. 두 개의 서브 필터는 공간정보변환부(1000)에서 생성된 렌더링 정보 HM_L를 이용하여 분배기(1500)를 통해 얻어질 수 있다. 또는 원형 HRTF 정보를 이용하여 얻거나, 또는 사용자의 선택에 따라 결정된 정보를 이용하여 얻을 수 있다. 상기 사용자의 선택에 따라 결정된 정보는 예를 들면 사용자의 취향에 따라 선택된 공간 정보가 될 수 있다. 여기서, HM_L_A는 수신된 공간 정보에 근거한 렌더링 정보이고, HM_L_B는 신호에 공통적으로 적용되는 공간감을 주기 위한 렌더링 정보로 볼 수 있다.
전술한 것처럼, 상기 복수 개의 서브 필터로 처리하는 과정은 DFT 도메인 외에 시간 및 QMF 도메인에서도 적용될 수 있다. 즉, 필터 A와 필터 B로 분리된 계수값이 각각 시간 또는 QMF 도메인 렌더링 과정을 통해 다운믹스 신호에 적용된 후 더해져서 최종 신호를 만들어 낼 수 있다. 렌더링부(900)는 제1 분할렌더링부(950) 및 제2 분할 렌더링부(960)를 포함하며, 상기 제1 분할렌더링부(950)는 HM_L_A를 이용하여 렌더링 과정을 수행하고, 제2 분할 렌더링부(960)는 HM_L_B를 이용하여 렌더링 과정을 수행한다.
도 27과 같이, 필터 A 및 필터 B가 동일 필터를 시간적으로 분리한 경우라 면, 상기 시간 간격에 대응하는 적절한 지연을 반영할 수 있다. 도 28은 모노 다운믹스 신호인 경우를 예로 하고 있는데, 모노 다운믹스 신호이면서 디코릴레이터를 사용하는 경우 필터 B에 해당되는 부분은 디코릴레이터에 적용하지 않고, 직접 모노 다운믹스 신호에만 직접 적용하는 것도 가능하다.
도 29는 본 발명의 일실시예에 따른 복수 개의 서브 필터를 이용하여 필터계수를 스테레오 신호에 분할 렌더링하는 과정을 도시한다. 도 29에 도시된 분할 렌더링 과정은 두 개의 서브 필터를 공간정보변환부(1000)에서 생성된 렌더링 정보, 원형 HRTF 필터 정보 또는 사용자 결정 정보를 이용하여 분배기(1500)를 통해 얻을 수 있다는 점에서 도 28과 유사하다. 도 28과의 차이점은, 필터 B에 대응되는 분할 렌더링 과정이 L/R 신호에 공통적으로 적용된다는 점이다. 즉, 분배기(1500)에서 필터 A 정보에 해당되는 제1 분할 렌더링 정보, 제2 분할 렌더링 정보 및 필터 B 정보에 해당되는 제3 분할 렌더링 정보가 생성된다. 이때, 상기 제3 분할 렌더링 정보는 L/R 신호에 공통적으로 적용될 수 있는 필터 정보 또는 공간 정보를 이용하여 생성될 수 있다. 도 29을 참조하면, 렌더링부(900)는 제1 분할렌더링부(970), 제2 분할렌더링부(980) 및 제3 분할렌더링부(990)를 포함한다. 상기 제3 분할 렌더링 정보는 제3 분할렌더링부(990)에서 L/R 신호의 합신호에 적용되어 하나의 출력신호를 생성한다. 그 다음에, 제1 분할렌더링부(970) 및 제2 분할렌더링부(980)에서 필터 A1 및 A2에 의해 각각 독립적으로 렌더링된 L/R 출력신호에 더해져 서라운드 신호를 생성한다. 이때, 상기 제3 분할렌더링부(990)의 출력신호는 적절한 지연을 거친 후에 더해질 수 있다. 도 29에서는 편의상 설명될 L/R 입력으로부터 상대 채널로 적용되는 크로스 렌더링 정보에 대한 표현을 생략하였다.
도 30은 본 발명의 일실시예에 따른 다운믹스 신호의 제1 도메인 변환에 대한 블록도이다. 지금까지 DFT 도메인에서 수행되는 렌더링 과정을 기술하였다. 전술한 것처럼 상기 렌더링 과정은 DFT 도메인 이외에 다른 도메인에서도 수행될 수 있는데, 도 30은 DFT 도메인에서 수행되는 렌더링 과정을 도시한다. 도메인변환부(1100)는 QMF 및 DFT 필터를 포함하고, 역도메인변환부(1300)는 IDFT 및 IQMF 필터를 포함한다. 도 30은 모노 다운믹스 신호에 대하여 도시하고 있으나, 본 발명은 이에 제한되지 않는다.
도 30을 참조하면, P 샘플의 시간 도메인 다운믹스 신호가 QMF 필터를 통과하면 P개의 서브밴드 샘플이 생성된다. 각 밴드별로 다시 W개의 샘플을 모아서 윈도잉을 수행한 후, 제로 패딩하여 M-포인트 DFT(FFT)를 수행한다. 이때의 DFT는 전술한 형태의 윈도잉에 의한 처리가 가능하다. 상기 M-포인트 DFT를 통해 얻을 수 있는 각 밴드별 M/2개의 주파수 도메인 값들을 다시 P밴드에 연결한 값은 M/2*P-포인트 DFT를 통해 얻은 주파수 스펙트럼의 근사값으로 볼 수 있다. 따라서, M/2*P-포인트 DFT 도메인에서 표현된 필터 계수를 상기 주파수 스펙트럼에 곱하게 되면, 전술한 DFT 도메인에서의 렌더링 과정과 같은 효과를 얻을 수 있다.
이때, QMF 필터를 통과한 신호는 이웃하는 밴드 사이에 누설(leakage), 예를 들면, 엘리어징(aliasing)이 존재한다. 즉, 현재 밴드에서 이웃하는 밴드에 해당하는 값이 스며들어 있고, 현재 밴드에 존재하는 값의 일부는 이웃하는 밴드로 넘어가 있는 상태가 존재한다. 상기 상태에서 QMF 합성 과정을 수행하면 QMF의 특성에 의해 원 신호가 복원되지만, 본 발명에서처럼 해당 밴드의 신호에 대해 필터링 등의 처리 과정을 거치게 되면 상기 누설의 영향으로 신호에 왜곡이 발생한다. 이와 같은 문제를 최소화하기 위해, 도메인변환부(1100)에서 QMF 이후 각 밴드별 DFT를 수행하기 전에 최소누설버터플라이(leakage minimize butterfly, B)를 통과시키고, 역도메인변환부(1300)에서 IDFT 이후에 이의 역과정(C)을 수행하여 원 신호를 복원하는 과정이 추가될 수 있다.
한편, 공간정보변환부(1000에서 생성되는 렌더링 정보의 생성과정을 다운믹스 신호의 생성과정과 일치시키기 위해, 처음부터 M/2*P-포인트 DFT를 수행하는 것이 아니라, 원형 필터 정보에 대한 QMF 통과 신호를 DFT하여 처리하는 방법이 있을 수 있다. 이 경우에는 QMF 필터에 따른 지연 및 데이터 퍼짐이 존재할 수 있다.
도 31은 본 발명의 일실시예에 따른 다운믹스 신호의 제2 도메인 변환에 대한 블록도이다. 도 30은 QMF 도메인에서 수행되는 렌더링 과정을 도시한다. 도메인변환기(1100)는 QMF 도메인 변환기를 포함하고, 역도메인변환부(1300)는 IQMF를 포함한다. 도 31은 도메인 변환기가 QMF 필터인 점을 제외하고 처리 구조가 DFT만을 이용하는 경우와 동일하다. 이하에서, 상기 QMF는 동일한 대역폭을 가지는 QMF 및 하이브리드 QMF를 포함하여 언급한다. DFT만을 이용하는 경우와 차이점은 렌더러 M(3012)에서 수행되는 렌더링 과정이 QMF 도메인에서 실시되므로, 렌더링 정보의 생성도 QMF 도메인에서 이루어지고, 상기 렌더링 과정이 DFT 도메인에서와 같이 곱으로 표현되지 않고 콘볼루션으로 표현된다는 점이다.
QMF 필터가 B개의 밴드를 갖는다고 하면, 필터 계수는 B개 밴드별로 각기 다 른 특성(다른 계수 값)을 갖는 필터 계수들의 집합으로 표현될 수 있다. 경우에 따라 필터의 탭수가 1차가 되는 경우(즉, 상수가 곱해지는 경우), B개 주파수 스펙트럼을 갖는 DFT 도메인에서의 렌더링 과정과 연산 과정이 일치한다. 아래의 [수학식 31]은 HM_L 렌더링 정보를 이용하여 렌더링 과정이 수행되는 한 경로에 대해, 하나의 QMF 밴드(b)에서 수행되는 렌더링 과정을 나타낸다.
수학식 31
Figure 112008017725318-pct00035
여기서, k는 QMF 밴드에서의 시간 순서(time order), 즉 시간 슬롯 단위를 의미한다. 상기 QMF 도메인에서 수행되는 렌더링 과정의 장점은 실제 전송된 공간 정보가 QMF 도메인에서 적용가능한 값인 경우, 해당 데이터를 적용하는 것이 가장 용이하며 적용과정에서의 왜곡을 최소화할 수 있다는 점이다. 다만, 원형 필터 정보(예를 들면, 원형 HRTF 필터 계수)의 변환과정에서 QMF 도메인으로 변환하였을 때, 변환된 값을 적용하는 과정이 많은 연산량을 필요로 한다. 이 경우에, 필터 정보의 변환 과정에서 HRTF 계수를 파라미터화하는 방법을 통해 연산량을 최소화할 수 있다.
지금까지 본 발명에 대하여 몇몇 실시예들을 들어 구체적으로 설명하였으나, 상기 실시예들은 본 발명을 이해하기 위한 설명을 위해 제시된 것이며, 본 발명의 범위가 상기 실시예에 제한되는 것은 아니다. 당업자라면 본 발명의 기술적 사상의 범위를 벗어나지 않고도 다양한 변형이 가능함을 이해할 수 있을 것이며, 본 발명 의 범위는 첨부된 특허청구범위에 의해서 해석되어야 할 것이다.
본 발명에 따른 신호 처리 방법 및 장치는 부호화 장치에서 제공된 공간 정보를 이용하여, 멀티채널을 생성할 수 없는 복호화 장치에서도 HRTF 필터 정보 또는 사용자에 따른 필터 정보를 이용하여 서라운드 신호를 생성할 수 있다. 본 발명은 특히 스테레오 신호만을 재생할 수 있는 많은 복호화 장치에 유용하게 이용될 수 있다.

Claims (20)

  1. 비트스트림으로부터 다운믹스 신호를 추출하는 단계;
    상기 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 다운믹스 신호를 생성하는 단계;
    렌더링 정보를 생성하는 단계; 및
    상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호에 상기 렌더링 정보를 적용하여 서라운드 효과를 갖는 서라운드 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 렌더링 정보의 적용은 시간 도메인, 주파수 도메인, QMF 도메인 및 하이브리드 도메인 중 하나에서 수행되는 것을 특징으로 하는 신호 처리 방법.
  3. 제 1 항에 있어서,
    상기 렌더링 정보는 상기 서라운드 효과를 위한 필터 정보, 및 상기 비트스트림으로부터 추출한 공간 정보를 이용하여 생성되는 것을 특징으로 하는 신호 처리 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 다운믹스 신호를 상기 생성된 서라운드 신호와 동일한 도메인의 신호로 변환하는 단계를 더 포함하는 것을 특징으로 하는 신호 처리 방법.
  10. 제 9 항에 있어서,
    상기 렌더링 정보의 도메인은 상기 생성된 서라운드 신호의 도메인과 동일한 것을 특징으로 하는 신호 처리 방법.
  11. 제 1 항에 있어서,
    상기 디코릴레이터는 올-패스(all-pass) 특성을 가지는 것을 특징으로 하는 신호 처리 방법.
  12. 제 1 항에 있어서,
    상기 다운믹스 신호는 모노 신호인 것을 특징으로 하는 신호 처리 방법.
  13. 비트스트림으로부터 추출된 다운믹스 신호에 디코릴레이터를 적용하여 디코릴레이트된 다운믹스 신호를 생성하는 디코릴레이팅부; 및
    렌더링 정보를 생성하고, 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호에 위한 상기 렌더링 정보를 적용하여 서라운드 효과를 갖는 서라운드 신호를 생성하는 렌더링부를 포함하는 것을 특징으로 하는 신호 처리 장치.
  14. 제 13 항에 있어서,
    상기 렌더링부는, 시간 도메인, 주파수 도메인, QMF 도메인 및 하이브리드 도메인 중 하나에서 상기 서라운드 신호를 생성하는 것을 특징으로 하는 신호 처리 장치.
  15. 제 13 항에 있어서,
    상기 렌더링 정보는 상기 서라운드 효과를 위한 필터 정보, 및 상기 비트스트림으로부터 추출한 공간 정보를 이용하여 생성되는 것을 특징으로 하는 신호 처리 장치.
  16. 제 13 항에 있어서,
    상기 렌더링 정보는 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호 채널 중 하나의 채널에 적용된 후 상기 하나의 채널과 동일한 채널로 전달되는 제1 렌더링 정보와, 상기 다운믹스 신호 및 상기 디코릴레이트된 다운믹스 신호 채널 중 하나의 채널에 적용된 후 상기 하나의 채널과 다른 채널로 전달되는 제2 렌더링 정보를 포함하는 것을 특징으로 하는 신호 처리 장치.
  17. 제 13 항에 있어서,
    상기 다운믹스 신호를 상기 생성된 서라운드 신호와 동일한 도메인의 신호로 변환하는 도메인변환부를 더 포함하는 것을 특징으로 하는 신호 처리 장치.
  18. 제 17 항에 있어서,
    상기 렌더링 정보의 도메인은 상기 생성된 서라운드 신호의 도메인과 동일한 것을 특징으로 하는 신호 처리 장치.
  19. 제 13 항에 있어서,
    상기 디코릴레이터는 올-패스(all-pass) 특성을 가지는 것을 특징으로 하는 신호 처리 장치.
  20. 제 13 항에 있어서,
    상기 다운믹스 신호는 모노 신호인 것을 특징으로 하는 신호 처리 장치.
KR1020087005979A 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치 KR100953642B1 (ko)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US75998006P 2006-01-19 2006-01-19
US60/759,980 2006-01-19
US77672406P 2006-02-27 2006-02-27
US60/776,724 2006-02-27
US77944106P 2006-03-07 2006-03-07
US77944206P 2006-03-07 2006-03-07
US77941706P 2006-03-07 2006-03-07
US60/779,417 2006-03-07
US60/779,442 2006-03-07
US60/779,441 2006-03-07
US78717206P 2006-03-30 2006-03-30
US60/787,172 2006-03-30
US78751606P 2006-03-31 2006-03-31
US60/787,516 2006-03-31

Publications (2)

Publication Number Publication Date
KR20080044866A KR20080044866A (ko) 2008-05-21
KR100953642B1 true KR100953642B1 (ko) 2010-04-20

Family

ID=38287846

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020087021417A KR20080086548A (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005977A KR100953640B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005981A KR100953644B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005979A KR100953642B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005982A KR100953645B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005980A KR100953643B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005978A KR100953641B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020070006281A KR20070077134A (ko) 2006-01-19 2007-01-19 미디어 신호의 처리 방법 및 장치

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020087021417A KR20080086548A (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005977A KR100953640B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005981A KR100953644B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020087005982A KR100953645B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005980A KR100953643B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020087005978A KR100953641B1 (ko) 2006-01-19 2007-01-19 미디어 신호 처리 방법 및 장치
KR1020070006281A KR20070077134A (ko) 2006-01-19 2007-01-19 미디어 신호의 처리 방법 및 장치

Country Status (11)

Country Link
US (6) US8488819B2 (ko)
EP (6) EP1979897B1 (ko)
JP (6) JP4801174B2 (ko)
KR (8) KR20080086548A (ko)
AU (1) AU2007206195B2 (ko)
BR (1) BRPI0707136A2 (ko)
CA (1) CA2636494C (ko)
ES (3) ES2496571T3 (ko)
HK (1) HK1127433A1 (ko)
TW (7) TWI344638B (ko)
WO (6) WO2007083960A1 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
JP4801174B2 (ja) * 2006-01-19 2011-10-26 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
GB2452021B (en) * 2007-07-19 2012-03-14 Vodafone Plc identifying callers in telecommunication networks
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
AU2008344132B2 (en) * 2008-01-01 2012-07-19 Lg Electronics Inc. A method and an apparatus for processing an audio signal
AU2008344073B2 (en) 2008-01-01 2011-08-11 Lg Electronics Inc. A method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
CN102138176B (zh) * 2008-07-11 2013-11-06 日本电气株式会社 信号分析装置、信号控制装置及其方法
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
TWI404050B (zh) * 2009-06-08 2013-08-01 Mstar Semiconductor Inc 多聲道音頻信號解碼方法與裝置
KR101842411B1 (ko) * 2009-08-14 2018-03-26 디티에스 엘엘씨 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
KR101692394B1 (ko) * 2009-08-27 2017-01-04 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
EP2475116A4 (en) 2009-09-01 2013-11-06 Panasonic Corp DIGITAL BROADCAST TRANSMITTING DEVICE, DIGITAL BROADCAST RECEIVING DEVICE, DIGITAL BROADCAST RECEIVING SYSTEM
CA2778239C (en) 2009-10-20 2015-12-15 Dolby International Ab Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer program and bitstream using a distortion control signaling
TWI557723B (zh) * 2010-02-18 2016-11-11 杜比實驗室特許公司 解碼方法及系統
KR101773631B1 (ko) 2010-06-09 2017-08-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 대역 확장 방법, 대역 확장 장치, 프로그램, 집적 회로 및 오디오 복호 장치
US8948403B2 (en) * 2010-08-06 2015-02-03 Samsung Electronics Co., Ltd. Method of processing signal, encoding apparatus thereof, decoding apparatus thereof, and signal processing system
US20120035940A1 (en) * 2010-08-06 2012-02-09 Samsung Electronics Co., Ltd. Audio signal processing method, encoding apparatus therefor, and decoding apparatus therefor
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
PT2429208T (pt) * 2010-09-09 2021-02-04 Mk Systems Usa Inc Usa Inc Controlo do débito binário de vídeo
KR20120040290A (ko) * 2010-10-19 2012-04-27 삼성전자주식회사 영상처리장치, 영상처리장치에 사용되는 음성처리방법, 및 음성처리장치
WO2012122397A1 (en) 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
KR101842257B1 (ko) * 2011-09-14 2018-05-15 삼성전자주식회사 신호 처리 방법, 그에 따른 엔코딩 장치, 및 그에 따른 디코딩 장치
US9317458B2 (en) * 2012-04-16 2016-04-19 Harman International Industries, Incorporated System for converting a signal
EP2717265A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible dynamic adaption of time/frequency resolution in spatial-audio-object-coding
KR101729930B1 (ko) 2013-02-14 2017-04-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 업믹스된 오디오 신호들의 채널간 코히어런스를 제어하기 위한 방법
US9830917B2 (en) 2013-02-14 2017-11-28 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
TWI618051B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
CN105264600B (zh) 2013-04-05 2019-06-07 Dts有限责任公司 分层音频编码和传输
US9858932B2 (en) 2013-07-08 2018-01-02 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
EP2830332A3 (en) 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
MX361115B (es) * 2013-07-22 2018-11-28 Fraunhofer Ges Forschung Descodificador de audio multicanal, codificador de audio multicanal, métodos, programa de computadora y representación de audio codificada usando una decorrelación de señales de audio renderizadas.
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
ES2660778T3 (es) * 2013-10-21 2018-03-26 Dolby International Ab Reconstrucción paramétrica de señales de audio
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
CN104681034A (zh) 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
EP2980789A1 (en) 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
EP3285257A4 (en) 2015-06-17 2018-03-07 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
CN108028988B (zh) * 2015-06-17 2020-07-03 三星电子株式会社 处理低复杂度格式转换的内部声道的设备和方法
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
US10949602B2 (en) 2016-09-20 2021-03-16 Nuance Communications, Inc. Sequencing medical codes methods and apparatus
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
CN109859766B (zh) * 2017-11-30 2021-08-20 华为技术有限公司 音频编解码方法和相关产品
US10602292B2 (en) 2018-06-14 2020-03-24 Magic Leap, Inc. Methods and systems for audio signal filtering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US20050195981A1 (en) * 2004-03-04 2005-09-08 Christof Faller Frequency-based coding of channels in parametric multi-channel coding systems

Family Cites Families (185)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166685A (en) 1990-09-04 1992-11-24 Motorola, Inc. Automatic selection of external multiplexer channels by an A/D converter integrated circuit
US5632005A (en) 1991-01-08 1997-05-20 Ray Milton Dolby Encoder/decoder for multidimensional sound fields
DE4217276C1 (ko) 1992-05-25 1993-04-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
US5561736A (en) 1993-06-04 1996-10-01 International Business Machines Corporation Three dimensional speech synthesis
ES2165370T3 (es) 1993-06-22 2002-03-16 Thomson Brandt Gmbh Metodo para obtener una matriz decodificadora multicanal.
DE69433258T2 (de) 1993-07-30 2004-07-01 Victor Company of Japan, Ltd., Yokohama Raumklangsignalverarbeitungsvorrichtung
TW263646B (en) 1993-08-26 1995-11-21 Nat Science Committee Synchronizing method for multimedia signal
DK0912077T3 (da) * 1994-02-25 2002-02-18 Henrik Moller Binaural syntese, head-related transfer functions samt anvendelser deraf
JPH07248255A (ja) * 1994-03-09 1995-09-26 Sharp Corp 立体音像生成装置及び立体音像生成方法
JPH07288900A (ja) * 1994-04-19 1995-10-31 Matsushita Electric Ind Co Ltd 音場再生装置
EP0760197B1 (en) * 1994-05-11 2009-01-28 Aureal Semiconductor Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US5703584A (en) 1994-08-22 1997-12-30 Adaptec, Inc. Analog data acquisition system
GB9417185D0 (en) * 1994-08-25 1994-10-12 Adaptive Audio Ltd Sounds recording and reproduction systems
JP3395807B2 (ja) * 1994-09-07 2003-04-14 日本電信電話株式会社 ステレオ音響再生装置
US6072877A (en) 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
JPH0884400A (ja) * 1994-09-12 1996-03-26 Sanyo Electric Co Ltd 音像制御装置
JPH08123494A (ja) 1994-10-28 1996-05-17 Mitsubishi Electric Corp 音声符号化装置、音声復号化装置、音声符号化復号化方法およびこれらに使用可能な位相振幅特性導出装置
US5668924A (en) * 1995-01-18 1997-09-16 Olympus Optical Co. Ltd. Digital sound recording and reproduction device using a coding technique to compress data for reduction of memory requirements
JPH0974446A (ja) * 1995-03-01 1997-03-18 Nippon Telegr & Teleph Corp <Ntt> 音声通信制御装置
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5956674A (en) 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3088319B2 (ja) 1996-02-07 2000-09-18 松下電器産業株式会社 デコード装置およびデコード方法
JPH09224300A (ja) 1996-02-16 1997-08-26 Sanyo Electric Co Ltd 音像位置の補正方法及び装置
JP3483086B2 (ja) * 1996-03-22 2004-01-06 日本電信電話株式会社 音声電話会議装置
US5970152A (en) 1996-04-30 1999-10-19 Srs Labs, Inc. Audio enhancement system for use in a surround sound environment
US6252965B1 (en) 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
US5886988A (en) * 1996-10-23 1999-03-23 Arraycomm, Inc. Channel assignment and call admission control for spatial division multiple access communication systems
US6721425B1 (en) 1997-02-07 2004-04-13 Bose Corporation Sound signal mixing
US6711266B1 (en) 1997-02-07 2004-03-23 Bose Corporation Surround sound channel encoding and decoding
TW429700B (en) 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
US6449368B1 (en) 1997-03-14 2002-09-10 Dolby Laboratories Licensing Corporation Multidirectional audio decoding
JP3594281B2 (ja) 1997-04-30 2004-11-24 株式会社河合楽器製作所 ステレオ拡大装置及び音場拡大装置
JPH1132400A (ja) 1997-07-14 1999-02-02 Matsushita Electric Ind Co Ltd デジタル信号再生装置
US5890125A (en) * 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
WO1999014983A1 (en) 1997-09-16 1999-03-25 Lake Dsp Pty. Limited Utilisation of filtering effects in stereo headphone devices to enhance spatialization of source around a listener
US6081783A (en) * 1997-11-14 2000-06-27 Cirrus Logic, Inc. Dual processor digital audio decoder with shared memory data transfer and task partitioning for decompressing compressed audio data, and systems and methods using the same
US7085393B1 (en) * 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6414290B1 (en) 1998-03-19 2002-07-02 Graphic Packaging Corporation Patterned microwave susceptor
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
JP3781902B2 (ja) * 1998-07-01 2006-06-07 株式会社リコー 音像定位制御装置および音像定位制御方式
DE19846576C2 (de) 1998-10-09 2001-03-08 Aeg Niederspannungstech Gmbh Plombierbare Verschließeinrichtung
DE19847689B4 (de) 1998-10-15 2013-07-11 Samsung Electronics Co., Ltd. Vorrichtung und Verfahren zur dreidimensionalen Tonwiedergabe
US6574339B1 (en) * 1998-10-20 2003-06-03 Samsung Electronics Co., Ltd. Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
JP3346556B2 (ja) 1998-11-16 2002-11-18 日本ビクター株式会社 音声符号化方法及び音声復号方法
CA2859333A1 (en) * 1999-04-07 2000-10-12 Dolby Laboratories Licensing Corporation Matrix improvements to lossless encoding and decoding
GB2351213B (en) 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
KR100416757B1 (ko) 1999-06-10 2004-01-31 삼성전자주식회사 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7031474B1 (en) 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
US6931370B1 (en) 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
US6633648B1 (en) 1999-11-12 2003-10-14 Jerald L. Bauck Loudspeaker array for enlarged sweet spot
US20010030736A1 (en) 1999-12-23 2001-10-18 Spence Stuart T. Film conversion device with heating element
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP4281937B2 (ja) * 2000-02-02 2009-06-17 パナソニック株式会社 ヘッドホンシステム
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
TW468182B (en) 2000-05-03 2001-12-11 Ind Tech Res Inst Method and device for adjusting, recording and playing multimedia signals
JP2001359197A (ja) 2000-06-13 2001-12-26 Victor Co Of Japan Ltd 音像定位信号の生成方法、及び音像定位信号生成装置
JP3576936B2 (ja) 2000-07-21 2004-10-13 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
JP4645869B2 (ja) 2000-08-02 2011-03-09 ソニー株式会社 ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体
EP1211857A1 (fr) 2000-12-04 2002-06-05 STMicroelectronics N.V. Procédé et dispositif d'estimation des valeurs successives de symboles numériques, en particulier pour l'égalisation d'un canal de transmission d'informations en téléphonie mobile
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP3566220B2 (ja) 2001-03-09 2004-09-15 三菱電機株式会社 音声符号化装置、音声符号化方法、音声復号化装置及び音声復号化方法
US6504496B1 (en) 2001-04-10 2003-01-07 Cirrus Logic, Inc. Systems and methods for decoding compressed data
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
WO2003001841A2 (en) 2001-06-21 2003-01-03 1... Limited Loudspeaker
JP2003009296A (ja) 2001-06-22 2003-01-10 Matsushita Electric Ind Co Ltd 音響処理装置および音響処理方法
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP2003111198A (ja) 2001-10-01 2003-04-11 Sony Corp 音声信号処理方法および音声再生システム
MXPA03005133A (es) * 2001-11-14 2004-04-02 Matsushita Electric Ind Co Ltd Dispositivo de codificacion, dispositivo de decodificacion y sistema de los mismos.
EP1315148A1 (en) 2001-11-17 2003-05-28 Deutsche Thomson-Brandt Gmbh Determination of the presence of ancillary data in an audio bitstream
TWI230024B (en) 2001-12-18 2005-03-21 Dolby Lab Licensing Corp Method and audio apparatus for improving spatial perception of multiple sound channels when reproduced by two loudspeakers
EP1470550B1 (en) 2002-01-30 2008-09-03 Matsushita Electric Industrial Co., Ltd. Audio encoding and decoding device and methods thereof
EP1341160A1 (en) 2002-03-01 2003-09-03 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a digital information signal
US7707287B2 (en) * 2002-03-22 2010-04-27 F5 Networks, Inc. Virtual host acceleration system
CN100508026C (zh) 2002-04-10 2009-07-01 皇家飞利浦电子股份有限公司 立体声信号编码
ATE354161T1 (de) 2002-04-22 2007-03-15 Koninkl Philips Electronics Nv Signalsynthese
US7450727B2 (en) 2002-05-03 2008-11-11 Harman International Industries, Incorporated Multichannel downmixing device
JP4296752B2 (ja) 2002-05-07 2009-07-15 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
DE10228999B4 (de) * 2002-06-28 2006-12-14 Advanced Micro Devices, Inc., Sunnyvale Konstellationsmanipulation zur Frequenz/Phasenfehlerkorrektur
BRPI0305434B1 (pt) 2002-07-12 2017-06-27 Koninklijke Philips Electronics N.V. Methods and arrangements for encoding and decoding a multichannel audio signal, and multichannel audio coded signal
US7542896B2 (en) 2002-07-16 2009-06-02 Koninklijke Philips Electronics N.V. Audio coding/decoding with spatial parameters and non-uniform segmentation for transients
US7555434B2 (en) 2002-07-19 2009-06-30 Nec Corporation Audio decoding device, decoding method, and program
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
DE60328402D1 (de) 2002-09-23 2009-08-27 Koninkl Philips Electronics Nv Tonsignalerzeugung
JP2006503319A (ja) 2002-10-14 2006-01-26 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 信号フィルタリング
US8437868B2 (en) 2002-10-14 2013-05-07 Thomson Licensing Method for coding and decoding the wideness of a sound source in an audio scene
EP1552723A4 (en) * 2002-10-15 2010-02-17 Korea Electronics Telecomm APPARATUS AND METHOD FOR ADAPTING AUDIO SIGNAL TO THE PREFERENCE OF A USER
AU2003269551A1 (en) 2002-10-15 2004-05-04 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
KR20050085017A (ko) 2002-11-20 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오에 기초한 데이터 표시 장치 및 방법
US8139797B2 (en) 2002-12-03 2012-03-20 Bose Corporation Directional electroacoustical transducing
US6829925B2 (en) * 2002-12-20 2004-12-14 The Goodyear Tire & Rubber Company Apparatus and method for monitoring a condition of a tire
US7519530B2 (en) * 2003-01-09 2009-04-14 Nokia Corporation Audio signal processing
KR100917464B1 (ko) 2003-03-07 2009-09-14 삼성전자주식회사 대역 확장 기법을 이용한 디지털 데이터의 부호화 방법,그 장치, 복호화 방법 및 그 장치
US7391877B1 (en) * 2003-03-31 2008-06-24 United States Of America As Represented By The Secretary Of The Air Force Spatial processor for enhanced performance in multi-talker speech displays
JP4196274B2 (ja) 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
CN1253464C (zh) 2003-08-13 2006-04-26 中国科学院昆明植物研究所 安丝菌素苷类化合物及其药物组合物，其制备方法及其应用
US20050063613A1 (en) 2003-09-24 2005-03-24 Kevin Casey Network based system and method to process images
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US6937737B2 (en) 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
US7519538B2 (en) 2003-10-30 2009-04-14 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding
US7680289B2 (en) 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
US7949141B2 (en) 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
WO2005053356A1 (en) * 2003-11-17 2005-06-09 1... Limited Loudspeaker
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
CN100596207C (zh) 2004-01-05 2010-03-24 皇家飞利浦电子股份有限公司 利用非呈现色空间的映射转换得到环境光的方法
JP2007521774A (ja) 2004-01-05 2007-08-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 未レンダリング色空間を経由してマッピングされる環境光ビデオ内容から導かれる環境光のためのちらつきのない適応閾値処理
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7492915B2 (en) 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
WO2005081229A1 (ja) 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. オーディオエンコーダ及びオーディオデコーダ
EP2065885B1 (en) 2004-03-01 2010-07-28 Dolby Laboratories Licensing Corporation Multichannel audio decoding
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
WO2005098826A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
TWI253625B (en) 2004-04-06 2006-04-21 I-Shun Huang Signal-processing system and method thereof
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US20050276430A1 (en) 2004-05-28 2005-12-15 Microsoft Corporation Fast headphone virtualization
US7283065B2 (en) * 2004-06-02 2007-10-16 Research In Motion Limited Handheld electronic device with text disambiguation
KR100636144B1 (ko) 2004-06-04 2006-10-18 삼성전자주식회사 오디오 신호 부호화/복호화 장치 및 방법
KR100636145B1 (ko) * 2004-06-04 2006-10-18 삼성전자주식회사 확장된 고해상도 오디오 신호 부호화 및 복호화 장치
US20050273324A1 (en) * 2004-06-08 2005-12-08 Expamedia, Inc. System for providing audio data and providing method thereof
JP2005352396A (ja) * 2004-06-14 2005-12-22 Matsushita Electric Ind Co Ltd 音響信号符号化装置および音響信号復号装置
JP4594662B2 (ja) * 2004-06-29 2010-12-08 ソニー株式会社 音像定位装置
US8843378B2 (en) 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7617109B2 (en) * 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
WO2006003813A1 (ja) * 2004-07-02 2006-01-12 Matsushita Electric Industrial Co., Ltd. オーディオ符号化及び復号化装置
KR20060003444A (ko) * 2004-07-06 2006-01-11 삼성전자주식회사 모바일 기기에서 크로스토크 제거 장치 및 방법
TW200603652A (en) 2004-07-06 2006-01-16 Syncomm Technology Corp Wireless multi-channel sound re-producing system
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
PL2175671T3 (pl) * 2004-07-14 2012-10-31 Koninl Philips Electronics Nv Sposób, urządzenie, urządzenie kodujące, urządzenie dekodujące i system audio
KR100773539B1 (ko) 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
JP4641751B2 (ja) * 2004-07-23 2011-03-02 ローム株式会社 ピークホールド回路、それを備えるモータ駆動制御回路、及びそれを備えるモータ装置
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
DE102004042819A1 (de) 2004-09-03 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals
KR20060022968A (ko) 2004-09-08 2006-03-13 삼성전자주식회사 음향재생장치 및 음향재생방법
US7634092B2 (en) 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
JP4497161B2 (ja) * 2004-11-22 2010-07-07 三菱電機株式会社 音像生成装置及び音像生成プログラム
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
US8340306B2 (en) 2004-11-30 2012-12-25 Agere Systems Llc Parametric coding of spatial audio with object-based side information
KR101236259B1 (ko) 2004-11-30 2013-02-22 에이저 시스템즈 엘엘시 오디오 채널들을 인코딩하는 방법 및 장치
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US20060195981A1 (en) * 2005-03-02 2006-09-07 Hydro-Industries Tynat Ltd. Freestanding combination sink and hose reel workstation
KR100608025B1 (ko) 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
DE602006014809D1 (de) * 2005-03-30 2010-07-22 Koninkl Philips Electronics Nv Skalierbare mehrkanal-audiokodierung
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7961890B2 (en) 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
CN101228575B (zh) * 2005-06-03 2012-09-26 杜比实验室特许公司 利用侧向信息的声道重新配置
WO2007004831A1 (en) 2005-06-30 2007-01-11 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US8081764B2 (en) * 2005-07-15 2011-12-20 Panasonic Corporation Audio decoder
US7880748B1 (en) 2005-08-17 2011-02-01 Apple Inc. Audio view using 3-dimensional plot
WO2007055464A1 (en) 2005-08-30 2007-05-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
CN101263740A (zh) * 2005-09-13 2008-09-10 皇家飞利浦电子股份有限公司 生成3d声音的方法和设备
KR100739776B1 (ko) * 2005-09-22 2007-07-13 삼성전자주식회사 입체 음향 생성 방법 및 장치
JP5536335B2 (ja) * 2005-10-20 2014-07-02 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
CN101310563A (zh) * 2005-12-16 2008-11-19 唯听助听器公司 用于监视助听器装配系统中的无线连接的方法和系统
EP1971978B1 (en) 2006-01-09 2010-08-04 Nokia Corporation Controlling the decoding of binaural audio signals
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
JP4801174B2 (ja) * 2006-01-19 2011-10-26 エルジー エレクトロニクス インコーポレイティド メディア信号の処理方法及び装置
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
EP1982326A4 (en) 2006-02-07 2010-05-19 Lg Electronics Inc DEVICE AND METHOD FOR CODING / DECODING A SIGNAL
KR100773562B1 (ko) 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
RU2407226C2 (ru) * 2006-03-24 2010-12-20 Долби Свидн Аб Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов
CN101411214B (zh) * 2006-03-28 2011-08-10 艾利森电话股份有限公司 用于多信道环绕声音的解码器的方法和装置
US8116459B2 (en) * 2006-03-28 2012-02-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Enhanced method for signal shaping in multi-channel audio reconstruction
JP4778828B2 (ja) 2006-04-14 2011-09-21 矢崎総業株式会社 電気接続箱
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
RU2551797C2 (ru) 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
AU2007328614B2 (en) * 2006-12-07 2010-08-26 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JP2009044268A (ja) 2007-08-06 2009-02-26 Sharp Corp 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、及び、記録媒体
JP5056530B2 (ja) 2008-03-27 2012-10-24 沖電気工業株式会社 復号システム、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US20050195981A1 (en) * 2004-03-04 2005-09-08 Christof Faller Frequency-based coding of channels in parametric multi-channel coding systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BREEBAART et al ''MPEG Spatial Audio Coding /MPEG Surround Overview and Current Status1In Proc 119th AES Convention New York, October 2005 *

Also Published As

Publication number Publication date
JP4801174B2 (ja) 2011-10-26
BRPI0707136A2 (pt) 2011-04-19
WO2007083959A1 (en) 2007-07-26
US8351611B2 (en) 2013-01-08
ES2446245T3 (es) 2014-03-06
JP2009524341A (ja) 2009-06-25
EP1974347A4 (en) 2012-12-26
KR20080086548A (ko) 2008-09-25
TWI333386B (en) 2010-11-11
EP1974345A1 (en) 2008-10-01
WO2007083956A1 (en) 2007-07-26
AU2007206195A1 (en) 2007-07-26
KR100953640B1 (ko) 2010-04-20
US8411869B2 (en) 2013-04-02
KR20080044866A (ko) 2008-05-21
EP1979898B1 (en) 2014-08-06
KR20080044865A (ko) 2008-05-21
JP4814343B2 (ja) 2011-11-16
KR100953645B1 (ko) 2010-04-20
EP1974345A4 (en) 2012-12-26
CA2636494C (en) 2014-02-18
US8488819B2 (en) 2013-07-16
KR100953643B1 (ko) 2010-04-20
HK1127433A1 (en) 2009-09-25
KR20080044867A (ko) 2008-05-21
KR100953644B1 (ko) 2010-04-20
KR20080044869A (ko) 2008-05-21
KR20070077134A (ko) 2007-07-25
TW200731831A (en) 2007-08-16
US20090274308A1 (en) 2009-11-05
ES2496571T3 (es) 2014-09-19
TWI315864B (en) 2009-10-11
EP1974346B1 (en) 2013-10-02
JP4787331B2 (ja) 2011-10-05
ES2513265T3 (es) 2014-10-24
AU2007206195B2 (en) 2011-03-10
US20090003611A1 (en) 2009-01-01
EP1974346A1 (en) 2008-10-01
JP4695197B2 (ja) 2011-06-08
JP4814344B2 (ja) 2011-11-16
TWI329462B (en) 2010-08-21
KR20080046185A (ko) 2008-05-26
TWI333642B (en) 2010-11-21
TW200731832A (en) 2007-08-16
JP2009524340A (ja) 2009-06-25
EP1979897A4 (en) 2011-05-04
JP2009524337A (ja) 2009-06-25
TW200805254A (en) 2008-01-16
TWI329461B (en) 2010-08-21
EP1979898A4 (en) 2012-12-26
EP1974348A1 (en) 2008-10-01
TWI469133B (zh) 2015-01-11
US20080310640A1 (en) 2008-12-18
US8521313B2 (en) 2013-08-27
EP1979897A1 (en) 2008-10-15
EP1979898A1 (en) 2008-10-15
EP1974348A4 (en) 2012-12-26
TW200735037A (en) 2007-09-16
TW200731833A (en) 2007-08-16
JP2009524339A (ja) 2009-06-25
TW200939208A (en) 2009-09-16
JP4806031B2 (ja) 2011-11-02
US20080279388A1 (en) 2008-11-13
JP2009524336A (ja) 2009-06-25
EP1974346A4 (en) 2012-12-26
WO2007083953A1 (en) 2007-07-26
TWI344638B (en) 2011-07-01
EP1979897B1 (en) 2013-08-21
WO2007083955A1 (en) 2007-07-26
CA2636494A1 (en) 2007-07-26
TW200805255A (en) 2008-01-16
US20090028344A1 (en) 2009-01-29
JP2009524338A (ja) 2009-06-25
US20090003635A1 (en) 2009-01-01
WO2007083952A1 (en) 2007-07-26
EP1974347A1 (en) 2008-10-01
KR20080044868A (ko) 2008-05-21
EP1974347B1 (en) 2014-08-06
WO2007083960A1 (en) 2007-07-26
EP1974345B1 (en) 2014-01-01
KR100953641B1 (ko) 2010-04-20
EP1974348B1 (en) 2013-07-24
US8208641B2 (en) 2012-06-26

Similar Documents

Publication Publication Date Title
KR100953642B1 (ko) 미디어 신호 처리 방법 및 장치
RU2395854C2 (ru) Способ и устройство для обработки медиасигнала

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170314

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180314

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 10