KR20070091517A - 스테레오 신호 생성 방법 및 장치 - Google Patents

스테레오 신호 생성 방법 및 장치 Download PDF

Info

Publication number
KR20070091517A
KR20070091517A KR1020060109523A KR20060109523A KR20070091517A KR 20070091517 A KR20070091517 A KR 20070091517A KR 1020060109523 A KR1020060109523 A KR 1020060109523A KR 20060109523 A KR20060109523 A KR 20060109523A KR 20070091517 A KR20070091517 A KR 20070091517A
Authority
KR
South Korea
Prior art keywords
signal
domain
converting
hrtf
generating
Prior art date
Application number
KR1020060109523A
Other languages
English (en)
Other versions
KR100773560B1 (ko
Inventor
김중회
오은미
주기현
레이 미아오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US11/707,990 priority Critical patent/US8620011B2/en
Priority to EP07715470.6A priority patent/EP1991984B1/en
Priority to PCT/KR2007/001066 priority patent/WO2007102674A1/en
Priority to EP12170289A priority patent/EP2495722A1/en
Priority to EP12170294A priority patent/EP2495723A1/en
Publication of KR20070091517A publication Critical patent/KR20070091517A/ko
Application granted granted Critical
Publication of KR100773560B1 publication Critical patent/KR100773560B1/ko
Priority to US14/134,508 priority patent/US9479871B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 복호화기에서 써라운드 데이터 스트림(surround data stream)을 이용하여 3D 스테레오 신호를 생성하는 것에 관한 것으로, QMF 도메인에서 HRTF(Head Related Transfer Function)를 적용함으로써 써라운드 데이터 스트림(surround data stream)을 이용하여 3D 스테레오 신호를 생성한다.

Description

스테레오 신호 생성 방법 및 장치{Method and apparatus for synthesizing stereo signal}
도 1은 종래의 스테레오 신호 생성 장치를 블록도로 도시한 것이다.
도 2는 본 발명에 의한 스테레오 신호 생성 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 스테레오 신호 생성 장치의 일 실시예를 블록도로 도시한 것
도 4는 본 발명에 의한 스테레오 신호 생성 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
도 5는 본 발명에 의한 스테레오 신호 생성 장치의 다른 일 실시예를 블록도로 도시한 것이다.
도 6은 본 발명에 의한 스테레오 신호 생성 방법에 대한 또 다른 일 실시예를 흐름도로 도시한 것이다.
도 7은 본 발명에 의한 스테레오 신호 생성 장치의 또 다른 일 실시예를 블록도로 도시한 것이다.
〈도면의 주요 부호에 대한 간단한 설명〉
700: 역다중화부 710: 도메인 변환부
720: 디코릴레이터 730: 스테레오신호 생성부
733: 파라미터 변환부 736: 계산부
740: 도메인 역변환부
본 발명은 오디오 코딩에 관한 것으로, 보다 상세하게는 복호화기에서 써라운드 데이터 스트림(surround data stream)을 이용하여 3D 스테레오 신호를 생성하는 방법 및 장치에 관한 것이다.
도 1은 종래의 스테레오 신호 생성 장치를 블록도로 도시한 것이다. QMF 분석 필터뱅크(100, QMF analysis filterbank)는 다운믹스 신호를 입력받아 시간 도메인에서 QMF 도메인으로 변환한다. 써라운드 복호화부(110)는 QMF 분석 필터뱅크(100)에서 QMF 도메인으로 변환된 다운믹스 신호를 복호화함으로써 업믹싱한다. QMF 합성 필터뱅크(120, QMF synthesis filterbank)는 업믹싱부(110)에서 업믹싱된 멀티 채널 신호를 QMF 도메인에서 시간 도메인으로 역변환한다. 퓨리에 변환부(130)는 FFT(Fast Fourier Transform)를 적용하여 QMF 합성 필터뱅크(120)에서 시간 도메인으로 역변환된 신호에 대해 퓨리에 변환(fourier transform)을 수행한다. 바이노럴 처리부(140, binaural processing unit)는 퓨리에 변환부(130)에서 주파수 도메인으로 변환된 멀티 채널 신호에 대해 HRTF(Head Related Transfer Function)를 적용하여 다운믹스함으로써 스테레오 신호를 출력한다. 퓨리에 역변 환부(150)는 바이노럴 처리부(140)에서 출력된 스테레오 신호를 주파수 도메인에서 시간 도메인으로 역변환한다.
써라운드 복호화부(110)는 QMF 도메인에서 처리되는 반면에, 일반적으로 바이노럴 처리부(140)에서 적용되는 HRTF 파라미터는 주파수 도메인으로 표현된다. 이와 같이 써라운드 복호화부(110)와 바이노럴 처리부(140)는 각각 다른 도메인을 이용하므로 입력된 다운믹스 신호를 QMF 도메인으로 변환하여 써라운드 복호화부(110)에서 처리한 후 시간 도메인으로 역변환하고, 다시 주파수 도메인으로 변환하여 바이노럴 처리부(140)에서 HRTF를 적용한 후 시간 도메인으로 역변환한다. QMF 도메인과 주파수 도메인 각각에 대하여 모두 변환과 역변환을 수행하여야 하므로 복호화기에서 복호화를 수행함에 있어서 복잡도가 높아지며 모바일 환경에 적합하지 않은 문제점을 같는다. 또한, QMF 도메인에서 시간 도메인으로 역변환하는 과정, 시간 도메인에서 주파수 도메인으로 변환하는 과정 및 주파수 도메인에서 시간 도메인으로 역변환하는 과정과 같이 도메인의 변환 또는 역변환을 반복하는 과정에서 음질이 저하되는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, QMF 도메인에서 HRTF(Head Related Transfer Function)를 적용함으로써 써라운드 데이터 스트림(surround data stream)을 이용하여 3D 스테레오 신호를 생성하는 방법 및 장치를 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 방법은, 다운믹스 신호를 QMF 도메인으로 변환하는 단계, 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 방법은, 다운믹스 신호를 QMF 도메인으로 변환하는 단계, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계, 상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 방법은, 다운믹스 신호를 QMF 도메인으로 변환하는 단계, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계, 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 방법은, 다운믹스 신호를 QMF 도메인으로 변환하는 단계, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계, 상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 한다.
다운믹스 신호를 QMF 도메인으로 변환하는 단계, 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
다운믹스 신호를 QMF 도메인으로 변환하는 단계, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계, 상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
다운믹스 신호를 QMF 도메인으로 변환하는 단계, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계, 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
다운믹스 신호를 QMF 도메인으로 변환하는 단계, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계, 상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 장치는, 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부, 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 장치는, 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부, 공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 디코릴레이터, 상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 장치는, 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 HRTF파라미터 변환부, 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 스테레오 신호 생성 장치는, 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부, HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 HRTF파라미터 변환부, 공간 정보를 이용하여 디 코릴레이트된 신호를 생성하는 디코릴레이터, 상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부 및 상기 스테레오 신호를 시간 도메인으로 역변환하는 역변환부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 스테레오 신호 생성 방법 및 장치에 대해 상세히 설명한다.
도 2는 본 발명에 의한 스테레오 신호 생성 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 다운믹스(downmix) 신호 및 공간 정보(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 부호화기로부터 전송받아 역다중화하여 출력한다(제200단계). 여기서, 다운믹스 신호는 모노(mono) 또는 스테레오(stereo)를 기초로 하여 이루어진다.
제200단계에서 출력된 다운믹스 신호를 시간 도메인에서 QMF 도메인(Quadrature Mirror Filter domain)으로 변환한다(제210단계).
제210단계에서 QMF 도메인으로 변환된 다운믹스 신호를 입력받아 복호화함으로써 공간 정보를 이용하여 멀티 채널 신호로 업믹싱한다(제220단계). 예를 들어, 5.1 채널의 경우, 제220단계에서는 FL(Front Left), FR(Front Right), BL(Back Left), BR(Back Right), C(Center), LFE(Low Frequency Enhancement)의 6개 멀티 채널 신호로 업믹싱한다.
제220단계 후에, QMF 도메인에서 적용할 수 있도록 변환되어 기 설정된 HRTF 파라미터를 이용하여 제220단계에서 출력된 멀티 채널 신호로 3D 스테레오 신호를 생성한다(제230단계). 제230단계에서는 일반적으로 시간 도메인에서 표현되는 HRTF 파라미터를 이용하지 않고, QMF 도메인으로 적용할 수 있도록 변환하여 기 설정된 HRTF 파라미터를 이용한다. 여기서, HRTF 파라미터는 HRTF의 시간 리스폰스(response)를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스(impulse response)를 계산함으로써 변환할 수 있다. 또한, 제230단계에서는 복잡도를 경감시키기 위하여 LFE 채널을 이용하지 않을 수 있다. 여기서, 제230단계는 다음 기재된 수학식을 이용하여 QMF 도메인에 해당하는 3D 스테레오 신호를 생성할 수 있다.
[수학식 1]
Figure 112006081470459-PAT00001
여기서, x_left[sb][timeslot]은 QMF 도메인으로 표현된 L 채널의 신호이고, x_right[sb][timeslot]은 QMF 도메인으로 표현된 R 채널의 신호이고, a11, a12, a13, a14, a15, a16, a21, a22, a23, a24, a25 및 a26는 상수이며, x_FL[sb][timeslot]는 QMF 도메인으로 표현된 FL 채널의 신호이고, x_FR[sb][timeslot]는 QMF 도메인으로 표현된 FR 채널의 신호이며, x_BL[sb][timeslot]는 QMF 도메인으로 표현된 BL 채널의 신호이고, x_BR[sb][timeslot]는 QMF 도메인으로 표현된 BR 채널의 신호이며, x_C[sb][timeslot]는 QMF 도메인으로 표현된 C 채널의 신호이고, x_LEF[sb][timeslot]는 QMF 도메인으로 표현된 LEF 채널의 신호이며, HRTF1[sb][timeslot}는 QMF 도메인으로 표현된 FL 채널에 대한 HRTF 파라미터이고, HRTF2[sb][timeslot}는 QMF 도메인으로 표현된 FR 채널에 대한 HRTF 파라미터이며, HRTF3[sb][timeslot}는 QMF 도메인으로 표현된 BL 채널에 대한 HRTF 파라미터이고, HRTF4[sb][timeslot}는 QMF 도메인으로 표현된 BR 채널에 대한 HRTF 파라미터이며, HRTF5[sb][timeslot}는 QMF 도메인으로 표현된 C 채널에 대한 HRTF 파라미터이고, HRTF6[sb][timeslot}는 QMF 도메인으로 표현된 LEF 채널에 대한 HRTF 파라미터이다.
제230단계에서와 같이 QMF 도메인에서 적용할 수 있도록 변환되어 기 설정된 HRTF 파라미터를 이용하여 실시할 수도 있지만, 일반적으로 이용되는 시간 도메인으로 표현된 HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계를 별도로 마련하여 실시할 수도 있다.
제230단계에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환한다(제240단계).
여기서, 제210단계에서 QMF 분석 필터뱅크(analysis filter bank)를 이용하여 다운믹스 신호를 변환하고, 제240단계에서 QMF 합성 필터뱅크(synthesis filter bank)를 이용하여 제230단계에서 생성된 스테레오 신호를 역변환함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
도 3은 본 발명에 의한 스테레오 신호 생성 장치의 일 실시예를 블록도로 도시한 것으로서, 상기 스테레오 신호 생성 장치는 역다중화부(300), 도메인 변환부(310), 업믹싱부(320), 스테레오신호 생성부(330) 및 도메인 역변환부(340)를 포함하여 이루어진다.
역다중화부(300)는 다운믹스(downmix) 신호 및 공간 파라미터(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 입력단자 IN 1을 통해 부호화기로부터 전송받아 역다중화하여 출력한다. 여기서, 다운믹스 신호는 모노(mono) 또는 스테레오(stereo)를 기초로 하여 이루어진다.
도메인 변환부(310)는 역다중화부(300)에서 출력된 다운믹스 신호를 시간 도메인에서 QMF 도메인(Quadrature Mirror Filter domain)으로 변환한다.
업믹싱부(320)는 도메인 변환부(310)에서 QMF 도메인으로 변환된 다운믹스 신호를 입력받아 복호화하여 멀티 채널 신호로 업믹싱한다. 예를 들어, 5.1 채널의 경우, 업믹싱부(320)는 FL(Front Left), FR(Front Right), BL(Back Left), BR(Back Right), C(Center), LFE(Low Frequency Enhancement)의 6개 멀티 채널 신호로 업믹싱한다.
스테레오신호 생성부(330)는 업믹싱부(320)에서 업믹싱된 멀티 채널 신호로 QMF 도메인 상에서 3D 스테레오 신호를 생성한다. 스테레오신호 생성부(330)는 스테레오 신호를 생성함에 있어서, 입력단자 IN 2를 통해 입력받은 HRTF 파라미터를 이용한다. 여기서, 스테레오 생성부(330)는 파라미터 변환부(333) 및 계산부(336)를 포함하여 이루어진다.
파라미터 변환부(333)는 시간 도메인으로 표현된 HRTF 파라미터를 입력단자 IN 2를 통해 입력받아 QMF 도메인에서 적용할 수 있도록 변환한다. 파라미터 변환부(333)는 HRTF의 시간 리스폰스(response)를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스(impulse response)를 계산함으로써 변환한다.
그러나 파라미터 변환부(333)를 별도의 구성요소로 반드시 구비하여 실시하여야 하는 것은 아니다. 파라미터 변환부(333)를 구비하지 않고 시간 도메인으로 표현된 HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정해 둠으로써 기 설정된 HRTF 파라미터를 독출하여 실시할 수도 있다.
공간 합성부(336)는 파라미터 변환부(333)에서 QMF 도메인으로 변환된 HRTF 파라미터 또는 기 설정된 HRTF 파라미터를 이용하여 업믹싱부(320)에서 출력된 멀티 채널 신호로 3D 스테레오 신호를 생성한다. 공간 합성부(336)는 복잡도를 경감시키기 위하여 LFE 채널을 이용하지 않을 수 있다. 여기서, 공간 합성부(336)는 다음 기재된 수학식을 이용하여 QMF 도메인에 해당하는 3D 스테레오 신호를 생성할 수 있다.
[수학식 2]
Figure 112006081470459-PAT00002
여기서, x_left[sb][timeslot]은 QMF 도메인으로 표현된 L 채널의 신호이고, x_right[sb][timeslot]은 QMF 도메인으로 표현된 R 채널의 신호이고, a11, a12, a13, a14, a15, a16, a21, a22, a23, a24, a25 및 a26는 상수이며, x_FL[sb][timeslot]는 QMF 도메인으로 표현된 FL 채널의 신호이고, x_FR[sb][timeslot]는 QMF 도메인으로 표현된 FR 채널의 신호이며, x_BL[sb][timeslot]는 QMF 도메인으로 표현된 BL 채널의 신호이고, x_BR[sb][timeslot]는 QMF 도메인으로 표현된 BR 채널의 신호이며, x_C[sb][timeslot]는 QMF 도메인으로 표현된 C 채널의 신호이고, x_LEF[sb][timeslot]는 QMF 도메인으로 표현된 LEF 채널의 신호이며, HRTF1[sb][timeslot}는 QMF 도메인으로 표현된 FL 채널에 대한 HRTF 파라미터이고, HRTF2[sb][timeslot}는 QMF 도메인으로 표현된 FR 채널에 대한 HRTF 파라미터이며, HRTF3[sb][timeslot}는 QMF 도메인으로 표현된 BL 채널에 대한 HRTF 파라미터이고, HRTF4[sb][timeslot}는 QMF 도메인으로 표현된 BR 채널에 대한 HRTF 파라미터이며, HRTF5[sb][timeslot}는 QMF 도메인으로 표현된 C 채널에 대한 HRTF 파라미터이고, HRTF6[sb][timeslot}는 QMF 도메인으로 표현된 LEF 채널에 대한 HRTF 파라미터이다.
도메인 역변환부(340)는 공간 합성부(336)에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환하여 출력단자 OUT 1 및 OUT 2를 통해 L 채널 신호 및 L 채널 신호를 출력한다.
여기서, 도메인 변환부(310)에서는 QMF 분석 필터뱅크(analysis filter bank)를 이용하여 다운믹스 신호를 변환하고, 도메인 역변환부(340)에서는 QMF 합 성 필터뱅크(synthesis filter bank)를 이용하여 공간 합성부(336)에서 생성된 3D 스테레오 신호를 역변환함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
도 4는 본 발명에 의한 스테레오 신호 생성 방법에 대한 다른 일 실시예를 흐름도로 도시한 것이다.
먼저, 다운믹스(downmix) 신호 및 공간 정보(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 부호화기로부터 전송받아 역다중화하여 출력한다(제400단계). 여기서, 다운믹스 신호는 모노(mono) 또는 스테레오(stereo)를 기초로 하여 이루어진다.
제400단계에서 출력된 다운믹스 신호를 시간 도메인에서 QMF 도메인(Quadrature Mirror Filter domain)으로 변환한다(제410단계).
제410단계에서 변환된 다운믹스 신호를 입력받아 복호화함으로써 공간 정보를 이용하여 다운믹스 신호를 업믹싱한다(제420단계). 제420단계에서는 도 2에서 개시된 실시예와 달리 모든 멀티 채널을 업믹싱하여 출력하는 것이 아니라, 5.1 채널의 경우 6개의 멀티 채널 가운데 2개의 채널만을 출력하고, 7.1 채널의 경우 8개의 채널 가운데 2개의 채널만을 출력한다. 예를 들어, 5.1 채널에서 FL(Front Left), FR(Front Right), BL(Back Left), BR(Back Right), C(Center), LFE(Low Frequency Enhancement)의 6개 멀티 채널 신호 가운데 FL 및 FR의 채널 신호만을 출력한다.
제400단계에서 출력된 공간 정보 및 QMF 도메인으로 변환된 HRTF 파라미터를 이용하여 제420단계에서 출력된 2개의 채널 신호로 3D 스테레오 신호를 생성한다(제430단계). 제430단계에서는 일반적으로 시간 도메인에서 표현되는 HRTF 파라미터를 이용하지 않고, QMF 도메인으로 적용할 수 있도록 변환하여 기 설정된 HRTF 파라미터를 이용한다. HRTF 파라미터는 HRTF의 시간 리스폰스(response)를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스(impulse response)를 계산함으로써 구할 수 있다. 또한, 제430단계에서는 복잡도를 경감시키기 위하여 LFE 채널을 이용하지 않을 수 있다. 제420단계에서 출력된 FL 및 FR의 채널 신호를 입력받아 공간 정보 및 HRTF 파라미터를 이용하여 3D 스테레오 신호를 생성하는 일 실시예에서 이용되는 수학식은 다음과 같다.
[수학식 3]
Figure 112006081470459-PAT00003
여기서, x_left[sb][timeslot]은 QMF 도메인으로 표현된 L 채널의 신호이고, x_right[sb][timeslot]은 QMF 도메인으로 표현된 R 채널의 신호이고, a11, a12, a13, a14, a15, a16, a21, a22, a23, a24, a25 및 a26는 상수이며, x_FL[sb][timeslot]는 QMF 도메인으로 표현된 FL 채널의 신호이고, CLD 3, CLD 4 및 CLD 5는 MPEG 써라운드 스펙에 기재된 Channel Level Difference를 말하며, HRTF1[sb][timeslot}는 QMF 도메인으로 표현된 FL 채널에 대한 HRTF 파라미터이고, HRTF2[sb][timeslot}는 QMF 도메인으로 표현된 FR 채널에 대한 HRTF 파라미터이며, HRTF3[sb][timeslot}는 QMF 도메인으로 표현된 BL 채널에 대한 HRTF 파라미터이고, HRTF4[sb][timeslot}는 QMF 도메인으로 표현된 BR 채널에 대한 HRTF 파라미터이며, HRTF5[sb][timeslot}는 QMF 도메인으로 표현된 C 채널에 대한 HRTF 파라미터이고, HRTF6[sb][timeslot}는 QMF 도메인으로 표현된 LEF 채널에 대한 HRTF 파라미터이다.
제430단계에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환한다(제440단계).
여기서, 제410단계에서 QMF 분석 필터뱅크(analysis filter bank)를 이용하여 다운믹스 신호를 변환하고, 제440단계에서 QMF 합성 필터뱅크(synthesis filter bank)를 이용하여 제430단계에서 생성된 스테레오 신호를 역변환함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
도 5는 본 발명에 의한 스테레오 신호 생성 장치의 다른 일 실시예를 블록도로 도시한 것으로서, 상기 스테레오 신호 생성 장치는 역다중화부(500), 도메인 변환부(510), 업믹싱부(520), 스테레오신호 생성부(530) 및 도메인 역변환부(540)를 포함하여 이루어진다.
역다중화부(500)는 다운믹스(downmix) 신호 및 공간 정보(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 입력단자 IN 1을 통해 부호화기로부터 전송받아 역다중화하여 출력한다. 여기서, 다운믹스 신호는 모노(mono) 또는 스테레오(stereo)를 기초로 하여 이루어진다.
도메인 변환부(510)는 역다중화부(500)에서 출력된 다운믹스 신호를 시간 도 메인에서 QMF 도메인(Quadrature Mirror Filter domain)으로 변환한다.
업믹싱부(520)는 도메인 변환부(510)에서 변환된 다운믹스 신호를 입력받아 복호화함으로써 공간 정보를 이용하여 다운믹스 신호를 업믹싱한다. 여기서, 업믹싱부(520)는 도 3에서 개시된 실시예와 달리 5.1 채널의 경우 6개의 채널 가운데 2개의 채널만을 출력하고, 7.1 채널의 경우 8개의 채널 가운데 2개의 채널만을 출력한다. 예를 들어, 업믹싱부(520)는 5.1 채널에서 FL(Front Left), FR(Front Right), BL(Back Left), BR(Back Right), C(Center), LFE(Low Frequency Enhancement)의 6개 멀티 채널 신호 가운데 FL의 채널 신호 및 FR의 채널 신호만을 출력한다.
스테레오신호 생성부(530)는 업믹싱부(520)로부터 출력된 2개의 채널 신호로 QMF 도메인 상에서 3D 스테레오 신호를 생성한다. 스테레오신호 생성부(530)는 3D 스테레오 신호를 생성함에 있어서 역다중화부(500)에서 출력된 공간 정보 및 입력단자 IN 2를 통해 입력받은 HRTF 파라미터를 이용한다. 여기서, 스테레오 생성부(530)는 파라미터 변환부(533) 및 계산부(536)를 포함하여 이루어진다.
파라미터 변환부(533)는 시간 도메인으로 표현된 HRTF 파라미터를 입력단자 IN 2를 통해 입력받아 QMF 도메인에서 적용할 수 있도록 변환한다. 파라미터 변환부(533)는 HRTF의 시간 리스폰스(response)를 하이브리드 서브밴드 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스(impulse response)를 계산함으로써 변환한다.
그러나 파라미터 변환부(533)를 별도의 구성요소로 반드시 구비하여야 실시 하여야 하는 것은 아니다. 파라미터 변환부(533)를 구비하지 않고 시간 도메인으로 표현된 HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정해 둠으로써 매번 변환하여 실시하지 않고 기 설정된 HRTF 파라미터를 독출하여 실시할 수도 있다.
공간 합성부(536)는 역다중화부(500)에서 출력된 공간 정보 및 파라미터 변환부(533)에서 QMF 도메인으로 변환된 HRTF 파라미터를 이용하여 업믹싱부(520)에서 출력된 2개의 채널 신호로 3D 스테레오 신호를 생성한다.
공간 합성부(536)에서 업믹싱부(520)로부터 FL의 채널 신호 및 FR의 채널 신호를 입력받아 공간 정보 및 HRTF 파라미터를 이용하여 3D 스테레오 신호를 생성하는 일 실시예에서 이용되는 수학식은 다음과 같다.
[수학식 4]
Figure 112006081470459-PAT00004
여기서, x_left[sb][timeslot]은 QMF 도메인으로 표현된 L 채널의 신호이고, x_right[sb][timeslot]은 QMF 도메인으로 표현된 R 채널의 신호이고, a11, a12, a13, a14, a15, a16, a21, a22, a23, a24, a25 및 a26는 상수이며, x_FL[sb][timeslot]는 QMF 도메인으로 표현된 FL 채널의 신호이고, CLD 3, CLD 4 및 CLD 5는 MPEG 써라운드 스펙에 기재된 Channel Level Difference를 말하며, HRTF1[sb][timeslot}는 QMF 도메인으로 표현된 FL 채널에 대한 HRTF 파라미터이고, HRTF2[sb][timeslot}는 QMF 도메인으로 표현된 FR 채널에 대한 HRTF 파라미터이며, HRTF3[sb][timeslot}는 QMF 도메인으로 표현된 BL 채널에 대한 HRTF 파라미터이고, HRTF4[sb][timeslot}는 QMF 도메인으로 표현된 BR 채널에 대한 HRTF 파라미터이며, HRTF5[sb][timeslot}는 QMF 도메인으로 표현된 C 채널에 대한 HRTF 파라미터이고, HRTF6[sb][timeslot}는 QMF 도메인으로 표현된 LEF 채널에 대한 HRTF 파라미터이다.
도메인 역변환부(540)는 공간 합성부(536)에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환하여 출력단자 OUT 1 및 OUT 2를 통해 L의 채널 신호 및 R의 채널 신호를 출력한다.
여기서, 도메인 변환부(510)를 QMF 분석 필터뱅크(analysis filter bank)로 구비하고, 도메인 역변환부(540)는 QMF 합성 필터뱅크(synthesis filter bank)로 구비함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
도 6은 본 발명에 의한 스테레오 신호 생성 방법에 대한 또 다른 일 실시예를 흐름도로 도시한 것이다.
먼저, 다운믹스(downmix) 신호 및 공간 정보(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 부호화기로부터 전송받아 역다중화하여 출력한다(제600단계). 여기서, 다운믹스 신호는 모노(mono)를 기초로 하여 이루어진다.
제600단계에서 출력된 모노 다운믹스 신호를 시간 도메인에서 QMF 도메 인(Quadrature Mirror Filter domain)으로 변환한다(제610단계).
제610단계에서 변환된 모노 신호를 입력받아 공간 정보를 이용하여 디코릴레이트(decorrelate)된 신호를 생성한다(제620단계).
HRTF 파라미터를 이용하여 제600단계에서 출력된 공간 정보를 바이노럴 3D 파라미터(binaural 3D parameter)로 변환한다(제630단계). 여기서, 바이노럴 3D 파라미터는 QMF 도메인으로 표현된 파라미터로서 모노 다운믹스 신호 및 디코릴레이트된 신호를 입력받아 3D 스테레오 신호를 생성하기 위해 계산하는 과정에서 필요한 파라미터를 말한다.
제630단계 후에, 모노 다운믹스 신호 및 디코릴레이트된 신호를 입력받아 바이노럴 3D 파라미터를 적용하여 계산함으로써 3D 스테레오 신호를 생성한다(제640단계).
제640단계에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환한다(제650단계).
여기서, 제610단계에서 QMF 분석 필터뱅크(analysis filter bank)를 이용하여 다운믹스 신호를 변환하고, 제650단계에서 QMF 합성 필터뱅크(synthesis filter bank)를 이용하여 제640단계에서 생성된 3D 스테레오 신호를 역변환함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
도 7은 본 발명에 의한 스테레오 신호 생성 장치의 또 다른 일 실시예를 블록도로 도시한 것으로서, 상기 스테레오 신호 생성 장치는 역다중화부(700), 도메인 변환부(710), 디코릴레이터(720), 스테레오신호 생성부(730) 및 도메인 역변환 부(740)를 포함하여 이루어진다.
역다중화부(700)는 다운믹스 신호 및 공간 파라미터(spatial parameter)를 포함하는 써라운드 데이터 스트림(surround data stream)을 입력단자 IN 1을 통해 부호화기로부터 전송받아 역다중화하여 출력한다. 여기서, 다운믹스 신호는 모노(mono)를 기초로 하여 이루어진다.
도메인 변환부(710)는 역다중화부(700)에서 출력된 모노 다운믹스 신호를 시간 도메인에서 QMF 도메인(Quadrature Mirror Filter domain)으로 변환한다.
디코릴레이터(720, decorrelator)는 도메인 변환부(710)에서 변환된 모노 신호를 입력받아 공간 정보를 이용하여 디코릴레이트(decorrelate)된 신호를 생성한다.
스테레오신호 생성부(730)는 도메인 변환부(710)에서 변환된 모노 다운믹스 신호 및 디코릴레이터(720)에서 디코릴레이트된 신호로부터 3D 스테레오 신호를 생성한다. 스테레오신호 생성부(730)에서 3D 스테레오 신호를 생성함에 있어서, 역다중화부(700)에서 출력된 공간 정보 및 입력단자 IN 2를 통해 입력받은 HRTF 파라미터를 이용한다. 여기서, 스테레오 생성부(730)는 파라미터 변환부(733) 및 계산부(736)를 포함하여 이루어진다.
파라미터 변환부(733)는 HRTF 파라미터를 이용하여 공간 정보를 바이노럴 3D 파라미터(binaural 3D parameter)로 변환한다. 여기서, 바이노럴 3D 파라미터는 QMF 도메인으로 표현된 파라미터로서 모노 다운믹스 신호 및 디코릴레이트된 신호를 입력받아 3D 스테레오 신호를 생성하기 위해 계산하는 과정에서 필요한 파라미 터를 말한다.
계산부(736)는 모노 다운믹스 신호 및 디코릴레이트된 신호를 입력받아 바이노럴 3D 파라미터를 적용하여 계산함으로써 3D 스테레오 신호를 생성한다.
도메인 역변환부(740)는 계산부(736)에서 생성된 3D 스테레오 신호를 QMF 도메인에서 시간 도메인으로 역변환하여 출력단자 OUT 1 및 OUT 2를 통해 L 채널 신호 및 R 채널 신호를 출력한다.
여기서, 도메인 변환부(710)를 QMF 분석 필터뱅크(analysis filter bank)로 구비하고, 도메인 역변환부(740)는 QMF 합성 필터뱅크(synthesis filter bank)로 구비함으로써, 하이브리드 서브밴드 도메인(hybrid subband domain)에서 실시할 수도 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 스테레오 신호 생성 방법 및 장치에 의하면, QMF 도메인에서 HRTF(Head Related Transfer Function)를 적용함으로써 써라운드 데이터 스트림(surround data stream)을 이용하여 3D 스테레오 신호를 생성한다.
이렇게 함으로써 별도로 HRTF의 도메인에 따라 업믹싱된 멀티 채널 신호를 변환 및 역변환을 수행하지 않아도 되므로 복잡도를 경감시킬 수 있으며, 음질을 보다 향상시킬 수 있는 효과를 거둘 수 있다.

Claims (26)

  1. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  2. 제1항에 있어서, 상기 생성하는 단계는
    상기 공간 정보를 이용하여 상기 변환된 신호를 업믹싱하는 단계; 및
    상기 공간 정보 및 상기 HRTF 파라미터를 이용하여 상기 업믹싱된 신호들 가운데 소정의 신호로부터 스테레오 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  3. 제1항에 있어서, 상기 생성하는 단계는
    상기 공간 정보를 이용하여 상기 변환된 신호를 업믹싱하는 단계; 및
    상기 HRTF 파라미터를 이용하여 상기 업믹싱된 신호로 스테레오 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  4. 제1항에 있어서, 상기 HRTF 파라미터는
    QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 방법.
  5. 제4항에 있어서, 상기 HRTF 파라미터는
    HRTF의 시간 리스폰스를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스를 계산함으로써 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 방법.
  6. 제2항 또는 제3항에 있어서, 상기 생성하는 단계는
    소정의 경우 상기 업믹싱된 신호들 가운데 LFE(Low Frequency Enhancement)는 이용하지 않는 것을 특징으로 하는 스테레오 신호 생성 방법.
  7. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계;
    상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  8. 제7항에 있어서, 상기 HRTF 파라미터는
    QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 방법.
  9. 제8항에 있어서, 상기 HRTF 파라미터는
    HRTF의 시간 리스폰스를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스를 계산함으로써 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 방법.
  10. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계;
    공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  11. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계;
    상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 포함하는 것을 특징으로 하는 스테레오 신호 생성 방법.
  12. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  13. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계;
    상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계;
    공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  15. 다운믹스 신호를 QMF 도메인으로 변환하는 단계;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 단계;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 단계;
    상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 단계; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 단계를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부;
    공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
  17. 제16항에 있어서, 상기 스테레오신호 생성부는
    상기 공간 정보를 이용하여 상기 변환된 신호를 업믹싱하는 업믹싱부; 및
    상기 공간 정보 및 상기 HRTF 파라미터를 이용하여 상기 업믹싱된 신호들 가 운데 소정의 신호로부터 스테레오 신호를 생성하는 신호 생성부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
  18. 제16항에 있어서, 상기 스테레오신호 생성부는
    상기 공간 정보를 이용하여 상기 변환된 신호를 업믹싱하는 업믹싱부; 및
    상기 HRTF 파라미터를 이용하여 상기 업믹싱된 신호들로부터 스테레오 신호를 생성하는 신호 생성부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
  19. 제16항에 있어서, 상기 HRTF 파라미터는
    QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 장치.
  20. 제19항에 있어서, 상기 HRTF 파라미터는
    HRTF의 시간 리스폰스를 QMF 도메인으로 변환하여 각 서브밴드 별로 임펄스 리스폰스를 계산함으로써 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 장치.
  21. 제17항 또는 제18항에 있어서, 상기 신호 생성부는
    소정의 경우 상기 업믹싱된 신호들 가운데 LFE는 이용하지 않는 것을 특징으 로 하는 스테레오 신호 생성 장치.
  22. 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 디코릴레이터;
    상기 공간 정보 및 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
  23. 제22항에 있어서, 상기 HRTF 파라미터는
    QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 장치.
  24. 제23항에 있어서, 상기 HRTF 파라미터는
    HRTF의 시간 리스폰스를 QMF 도메인으로 변환하여 각 서브밴드별로 임펄스 리스폰스를 계산함으로써 QMF 도메인에서 적용할 수 있도록 변환하여 기 설정되어 있는 것을 특징으로 하는 스테레오 신호 생성 장치.
  25. 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 HRTF파라미터 변환부;
    공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 도메인 역변환부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
  26. 다운믹스 신호를 QMF 도메인으로 변환하는 도메인 변환부;
    HRTF 파라미터를 QMF 도메인에서 적용할 수 있도록 변환하는 HRTF파라미터 변환부;
    공간 정보를 이용하여 디코릴레이트된 신호를 생성하는 디코릴레이터;
    상기 공간 정보 및 상기 변환된 HRTF 파라미터를 이용하여 상기 변환된 신호 및 상기 생성된 신호로부터 스테레오 신호를 생성하는 스테레오신호 생성부; 및
    상기 스테레오 신호를 시간 도메인으로 역변환하는 역변환부를 포함하는 것을 특징으로 하는 스테레오 신호 생성 장치.
KR1020060109523A 2006-03-06 2006-11-07 스테레오 신호 생성 방법 및 장치 KR100773560B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US11/707,990 US8620011B2 (en) 2006-03-06 2007-02-20 Method, medium, and system synthesizing a stereo signal
EP07715470.6A EP1991984B1 (en) 2006-03-06 2007-03-05 Method and system synthesizing a stereo signal
PCT/KR2007/001066 WO2007102674A1 (en) 2006-03-06 2007-03-05 Method, medium, and system synthesizing a stereo signal
EP12170289A EP2495722A1 (en) 2006-03-06 2007-03-05 Method, medium, and system synthesizing a stereo signal
EP12170294A EP2495723A1 (en) 2006-03-06 2007-03-05 Method, medium, and system synthesizing a stereo signal
US14/134,508 US9479871B2 (en) 2006-03-06 2013-12-19 Method, medium, and system synthesizing a stereo signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US77893206P 2006-03-06 2006-03-06
US60/778,932 2006-03-06
KR20060049036 2006-05-30
KR1020060049036 2006-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020070066769A Division KR101029077B1 (ko) 2006-03-06 2007-07-03 스테레오 신호 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070091517A true KR20070091517A (ko) 2007-09-11
KR100773560B1 KR100773560B1 (ko) 2007-11-05

Family

ID=46045439

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020060109523A KR100773560B1 (ko) 2006-03-06 2006-11-07 스테레오 신호 생성 방법 및 장치
KR1020070066769A KR101029077B1 (ko) 2006-03-06 2007-07-03 스테레오 신호 생성 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020070066769A KR101029077B1 (ko) 2006-03-06 2007-07-03 스테레오 신호 생성 방법 및 장치

Country Status (4)

Country Link
US (2) US8620011B2 (ko)
EP (3) EP2495722A1 (ko)
KR (2) KR100773560B1 (ko)
WO (1) WO2007102674A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100841329B1 (ko) * 2006-03-06 2008-06-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
RU2461144C2 (ru) * 2007-10-12 2012-09-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство и способ для генерации многоканального сигнала, использующие обработку голосового сигнала
US8705779B2 (en) 2008-12-29 2014-04-22 Samsung Electronics Co., Ltd. Surround sound virtualization apparatus and method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4568363B2 (ja) * 2005-08-30 2010-10-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
US7788107B2 (en) * 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
JP4859925B2 (ja) * 2005-08-30 2012-01-25 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
CA2701360C (en) * 2007-10-09 2014-04-22 Dirk Jeroen Breebaart Method and apparatus for generating a binaural audio signal
KR101147780B1 (ko) * 2008-01-01 2012-06-01 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CN101911182A (zh) * 2008-01-01 2010-12-08 Lg电子株式会社 用于处理音频信号的方法和装置
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010070016A1 (en) * 2008-12-19 2010-06-24 Dolby Sweden Ab Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters
KR101809272B1 (ko) * 2011-08-03 2017-12-14 삼성전자주식회사 다 채널 오디오 신호의 다운 믹스 방법 및 장치
US9602927B2 (en) * 2012-02-13 2017-03-21 Conexant Systems, Inc. Speaker and room virtualization using headphones
EP2939443B1 (en) 2012-12-27 2018-02-14 DTS, Inc. System and method for variable decorrelation of audio signals
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
ES2653975T3 (es) 2013-07-22 2018-02-09 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Decodificador de audio multicanal, codificador de audio multicanal, procedimientos, programa informático y representación de audio codificada mediante el uso de una decorrelación de señales de audio renderizadas
EP2830334A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
US10841726B2 (en) 2017-04-28 2020-11-17 Hewlett-Packard Development Company, L.P. Immersive audio rendering
CN112468089B (zh) * 2020-11-10 2022-07-12 北京无线电测量研究所 一种低相噪紧凑精简倍频器和频率合成方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69428939T2 (de) * 1993-06-22 2002-04-04 Deutsche Thomson-Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
KR0162219B1 (ko) 1995-04-28 1999-03-20 김광호 디지탈 오디오신호의 복호화장치
JP3790550B2 (ja) * 1996-02-08 2006-06-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ ５チャネル送信及び２チャネル送信に対応可能な７チャネル送信
JPH11225390A (ja) 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd マルチチャネルデータ再生方法
US6272187B1 (en) * 1998-03-27 2001-08-07 Lsi Logic Corporation Device and method for efficient decoding with time reversed data
KR20010086976A (ko) 2000-03-06 2001-09-15 김규태, 이교식 채널 다운 믹싱 장치
JP4304401B2 (ja) 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
CN100429960C (zh) * 2000-07-19 2008-10-29 皇家菲利浦电子有限公司 用于获得立体声环绕和/或音频中心信号的多声道立体声转换器
KR20020018730A (ko) 2000-09-04 2002-03-09 박종섭 멀티채널 비디오/오디오 신호의 저장 및 재생장치
US7660424B2 (en) * 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
WO2004019656A2 (en) 2001-02-07 2004-03-04 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP2002318598A (ja) 2001-04-20 2002-10-31 Toshiba Corp 情報再生装置、情報再生方法、情報記録媒体、情報記録装置、情報記録方法、および情報記録プログラム
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
TW569551B (en) 2001-09-25 2004-01-01 Roger Wallace Dressler Method and apparatus for multichannel logic matrix decoding
US7068792B1 (en) 2002-02-28 2006-06-27 Cisco Technology, Inc. Enhanced spatial mixing to enable three-dimensional audio deployment
AU2003244932A1 (en) 2002-07-12 2004-02-02 Koninklijke Philips Electronics N.V. Audio coding
JP2004194100A (ja) * 2002-12-12 2004-07-08 Renesas Technology Corp オーディオ復号再生装置
KR20040078183A (ko) 2003-03-03 2004-09-10 학교법인고려중앙학원 비정질 코발트-나이오븀-지르코늄 합금을 하지층으로사용한 자기터널접합
JP2004312484A (ja) 2003-04-09 2004-11-04 Sony Corp 音響変換装置および音響変換方法
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
JP2005069274A (ja) 2003-08-28 2005-03-17 Nsk Ltd 転がり軸受
US8054980B2 (en) * 2003-09-05 2011-11-08 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method for rendering audio information to virtualize speakers in an audio system
JP4221263B2 (ja) 2003-09-12 2009-02-12 財団法人鉄道総合技術研究所 乗車列車同定システム
JP4134869B2 (ja) 2003-09-25 2008-08-20 三菱電機株式会社 撮像装置
JP4089895B2 (ja) 2003-09-25 2008-05-28 株式会社オーバル 渦流量計
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR20050060789A (ko) 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
JP4123376B2 (ja) 2004-04-27 2008-07-23 ソニー株式会社 信号処理装置およびバイノーラル再生方法
KR100677119B1 (ko) 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR20060109296A (ko) 2005-04-14 2006-10-19 엘지전자 주식회사 멀티채널 오디오 신호에 대한 서브밴드별 공간 정보의 변동기준채널 적용방법
KR20070005468A (ko) 2005-07-05 2007-01-10 엘지전자 주식회사 부호화된 오디오 신호의 생성방법, 그 부호화된 오디오신호를 생성하는 인코딩 장치 그리고 그 부호화된 오디오신호를 복호화하는 디코딩 장치
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
JP4568363B2 (ja) 2005-08-30 2010-10-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
KR20070035411A (ko) 2005-09-27 2007-03-30 엘지전자 주식회사 멀티 채널 오디오 신호의 공간 정보 부호화/복호화 방법 및장치
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
DE602006016017D1 (de) 2006-01-09 2010-09-16 Nokia Corp Steuerung der dekodierung binauraler audiosignale
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
JP4940671B2 (ja) 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
EP2337223B1 (en) * 2006-01-27 2014-12-24 Dolby International AB Efficient filtering with a complex modulated filterbank
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100754220B1 (ko) * 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
KR100763919B1 (ko) 2006-08-03 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
AU2007201109B2 (en) 2007-03-14 2010-11-04 Tyco Electronics Services Gmbh Electrical Connector
US8225212B2 (en) * 2009-08-20 2012-07-17 Sling Media Pvt. Ltd. Method for providing remote control device descriptions from a communication node
KR200478183Y1 (ko) 2015-04-07 2015-09-08 (주)아이셈자원 고철 분리기

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100841329B1 (ko) * 2006-03-06 2008-06-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
KR100873136B1 (ko) * 2006-03-06 2008-12-09 엘지전자 주식회사 신호 디코딩 방법 및 장치
RU2461144C2 (ru) * 2007-10-12 2012-09-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство и способ для генерации многоканального сигнала, использующие обработку голосового сигнала
US8731209B2 (en) 2007-10-12 2014-05-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for generating a multi-channel signal including speech signal processing
US8705779B2 (en) 2008-12-29 2014-04-22 Samsung Electronics Co., Ltd. Surround sound virtualization apparatus and method
KR101496760B1 (ko) * 2008-12-29 2015-02-27 삼성전자주식회사 서라운드 사운드 가상화 방법 및 장치

Also Published As

Publication number Publication date
WO2007102674A1 (en) 2007-09-13
EP1991984A4 (en) 2010-03-10
US9479871B2 (en) 2016-10-25
EP1991984B1 (en) 2016-06-22
EP1991984A1 (en) 2008-11-19
EP2495722A1 (en) 2012-09-05
KR101029077B1 (ko) 2011-04-18
EP2495723A1 (en) 2012-09-05
US20140105404A1 (en) 2014-04-17
US8620011B2 (en) 2013-12-31
US20070223749A1 (en) 2007-09-27
KR20070091586A (ko) 2007-09-11
KR100773560B1 (ko) 2007-11-05

Similar Documents

Publication Publication Date Title
KR100773560B1 (ko) 스테레오 신호 생성 방법 및 장치
KR101044948B1 (ko) 스테레오 신호 생성 방법 및 장치
EP1984915B1 (en) Audio signal decoding
JP5563647B2 (ja) マルチチャンネル復号化方法及びマルチチャンネル復号化装置
EP1927266B1 (en) Audio coding
US20100169102A1 (en) Low complexity mpeg encoding for surround sound recordings
JP7383685B2 (ja) バイノーラル・ダイアログ向上
KR101756838B1 (ko) 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
JP2015517121A (ja) インターチャネル差分推定方法及び空間オーディオ符号化装置
CN108028988B (zh) 处理低复杂度格式转换的内部声道的设备和方法
JP2017058696A (ja) インターチャネル差分推定方法及び空間オーディオ符号化装置
KR20070091562A (ko) 신호 디코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 12