KR100971700B1 - 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치 - Google Patents

공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치 Download PDF

Info

Publication number
KR100971700B1
KR100971700B1 KR1020080043578A KR20080043578A KR100971700B1 KR 100971700 B1 KR100971700 B1 KR 100971700B1 KR 1020080043578 A KR1020080043578 A KR 1020080043578A KR 20080043578 A KR20080043578 A KR 20080043578A KR 100971700 B1 KR100971700 B1 KR 100971700B1
Authority
KR
South Korea
Prior art keywords
binaural
signal
spatial cue
block
frequency domain
Prior art date
Application number
KR1020080043578A
Other languages
English (en)
Other versions
KR20090047341A (ko
Inventor
백승권
서정일
장대영
강경옥
홍진우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090047341A publication Critical patent/KR20090047341A/ko
Application granted granted Critical
Publication of KR100971700B1 publication Critical patent/KR100971700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치에 관한 것으로, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치를 제공하고자 한다.
이를 위하여, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서, 가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단; 상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및 상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단을 포함한다.
공간큐 정보, 가상음원 위치정보, 바이노럴 필터 계수, 바이노럴 스테레오 합성, 바이노럴 스테레오 복호화, 공간큐 기반의 오디오 코딩, 3차원 오디오

Description

공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치{APPARATUS AND METHOD FOR SYNTHESIS BINAURAL STEREO AND APPARATUS FOR BINAURAL STEREO DECODING USING THAT}
본 발명은 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치에 관한 것으로, 더욱 상세하게는 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
종래의 바이노럴(binaural) 스테레오 기술은 일반적인 스테레오 신호의 정보기반으로 음원의 위치 및 좌우 채널의 상관관계를 고려하여 머리 전달 함수(HRTF: Head Related Transfer Function)를 적절하게 이용함으로써, 보다 실감나는 스테레오 신호를 재생하는 기술이다. 이와 더불어, 사용자들에 의한 멀티채널 오디오 서비스에 대한 요구가 증대됨에 따라, 효율적으로 멀티채널 신호를 압축하는 방법들이 소개되어 왔다.
최근에는 "MPEG 서라운드(MPEG Surround)"라는 다채널 오디오 부호화 기술이 국제 표준으로 채택되어 상용화를 눈앞에 두고 있다. 이에 따라, 바이노럴 스테레오 부호화 기술도 후처리 방식으로 구현하던 코딩전략에서 벗어나, MPEG 서라운드 기술을 근간으로 보다 개선된 음질을 제공할 수 있는 MPEG 서라운드 기반 바이노럴 스테레오 부호화 기술도 소개되었다.
종래의 바이노럴 스테레오 복호화 기술은 다채널 오디오 음상을 스테레오에서도 감상할 수 있도록 렌더링하는 기술이다. 이러한 종래의 바이노럴 스테레오 복호화 기술은 공간큐 정보를 활용하여 다채널 정보를 이용함으로써 후처리 방식이 아닌 복호화 과정에서 독립적으로 수행될 수 있으며, 이는 종래의 후처리 방식에 의존하던 바이노럴 스테레오 기술의 문제점을 개선한 새로운 기술에 속한다.
하지만, 종래의 MPEG 서라운드 기반 바이노럴 스테레오 복호화 기술은 바이노럴 스테레오 복호화 과정에서 발생하는 복잡도를 줄이면서 성능을 개선했지만, 시간 축 상의 복적분(convolution) 계산에 의해 발생되는 복잡도 및 연산량 증가로 인해 휴대단말용 서비스 등에 활용하기에는 곤란하다는 문제점이 있다.
즉, 종래의 바이노럴 스테레오 복호화 기술은 QMF(Quadrature Mirror Filter bank)를 기반으로 시간 축 상의 복적분(convolution)을 계산하여 HRTF 렌더링 과정을 수행하기 때문에 복잡하고 연산량이 증가한다. 또한, 이러한 종래의 기술은 입력된 스테레오 신호를 다채널 신호로 복호화한 후에 각 채널 신호마다 시간 축 상에서 복적분을 각각 수행하고 다시 스테레오 신호로 다운믹스하는 과정이 필요하기 때문에, 복잡도 및 연산량이 증가한다는 문제점이 있다.
따라서 상기와 같은 종래 기술은 각 채널 신호에 대하여 시간 축 상의 복적분을 통한 HRTF 계산 과정으로 인해 복잡도 및 연산량이 증가한다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영역에서의 선형 복적분을 통해 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는, 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치를 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 상기 문제점을 해결하기 위하여, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화하는 것을 특징으로 한다.
더욱 구체적으로, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서, 가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단; 상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및 상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단을 포함한다.
또한, 상기 본 발명은, 상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하여 상기 신호 필터링 수단으로 전달하기 위한 신호 변환 수단을 더 포함한다.
또한, 상기 본 발명은, 상기 바이노럴 필터 계수를 주파수 영역으로 변환하 여 상기 신호 필터링 수단으로 전달하기 위한 계수 변환 수단을 더 포함한다.
한편, 본 발명은, 공간큐 기반의 바이노럴 스테레오 합성 방법에 있어서, 가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하는 공간큐 정보 합성 단계; 상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하는 신호 필터링 단계; 및 상기 필터링된 신호를 시간 영역으로 역변환하는 신호 역변환 단계를 포함한다.
또한, 상기 본 발명은, 상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하는 신호 변환 단계를 더 포함한다.
또한, 상기 본 발명은, 상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 계수 변환 단계를 더 포함한다.
한편, 본 발명은, 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치에 있어서, 좌/우 오디오 신호에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단; 가상음원 위치 기반의 공간큐 정보에 따른 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 상기 제로 블록이 연결된 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 바이노럴 스테레오 합성 수단; 및 상기 필터링된 좌/우 오디오 신호를 서로 다른 서브블록으로 분리하고, 상기 분리된 서로 다른 서브블록을 이용해 복호화하여 바이노럴 스테레오 신호를 출력하기 위한 복호화 수단을 포함한다.
상기와 같은 본 발명은, 공간큐 정보(가상음원 위치정보)와 각 채널별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 그 필터링된 신호를 바이노럴 스테레오 신호로 복호화함으로써, 주파수 영역에서의 선형 복적분을 통해 복적분 연산과정의 복잡도를 최소화할 수 있으며, 고품질의 바이노럴 스테레오 신호를 용이하게 재생할 수 있게 하는 효과가 있다.
또한, 본 발명은, 공간큐 정보를 단순한 채널 간 레벨차(CLD: Channel Location Information)가 아닌 가상음원 위치 기반의 공간큐 정보(VSLI)를 이용함으로써, 더욱 정확한 음상 정위 및 양자화 에러에 강인한 성능을 제공할 수 있는 효과가 있다.
또한, 본 발명은, HTRF 렌더링 이외에도 크로스 토크(Cross-talk) 제거를 위한 필터나 음장 효과를 위한 실내응답신호(Room Impulse Response)를 적용함에 있어서, DFT를 기반으로 렌더링을 수행하고 오버랩 애드(Overlap-add) 방식에 따라 적절한 블록 처리하여 선형 복적분 연산을 주파수 영역에서 단순화시킴으로써, 상당한 응답시간을 필요로 하는 필터 연산을 별다른 복잡도 증가 없이 블록단위 처리할 수 있는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기 술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 장치의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 바이노럴 스테레오 합성 장치(100)는, 신호 변환부(110), 공간큐 정보 합성부(120), 계수 변환부(130), 신호 필터링부(140) 및 신호 역변환부(150)를 포함한다.
신호 변환부(110)에 입력되는 오디오 신호를 스테레오로 가정하면, 신호 변환부(110)는 입력받은 시간 영역의 스테레오(좌/우) 오디오 신호(
Figure 112008033362470-pat00001
,
Figure 112008033362470-pat00002
)를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 좌/우 오디오 신호(
Figure 112008033362470-pat00003
,
Figure 112008033362470-pat00004
)로 변환한다. 여기서, 아래 첨자 L과 R은 각각 좌/우 신호, n은 시간 영역의 인덱스(Index), k는 주파수 영역의 인덱스를 나타낸다.
본 발명에서 시간 영역 및 주파수 영역에서의 신호들은 블록 단위로 처리되는 것으로 설명하기로 한다. 따라서 시간 영역의 좌/우 오디오 신호(
Figure 112008033362470-pat00005
,
Figure 112008033362470-pat00006
)는 블록 단위로 표현된 좌/우 신호 블록(
Figure 112008033362470-pat00007
,
Figure 112008033362470-pat00008
)의 각 블록에서의 샘 플로 정의된다. 예를 들어, 좌신호 블록(
Figure 112008033362470-pat00009
)은 하기의 [수학식 1]과 같이 표현 가능하다.
Figure 112008033362470-pat00010
여기서,
Figure 112008033362470-pat00011
는 좌신호 블록,
Figure 112008033362470-pat00012
은 좌 오디오 신호, b는 블록(프레임)에 대한 시간 축 인덱스를 나타낸다.
이와 같이, 주파수 영역의 좌/우 오디오 신호(
Figure 112008033362470-pat00013
,
Figure 112008033362470-pat00014
)는 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00015
,
Figure 112008033362470-pat00016
)의 원소이다. 여기서, k는 주파수 인덱스,
Figure 112008033362470-pat00017
는 주파수 영역 신호임을 나타낸다.
따라서 블록 단위로 표현할 때, 신호 변환부(110)는 좌/우 신호 블록(
Figure 112008033362470-pat00018
,
Figure 112008033362470-pat00019
)을 입력받아 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00020
,
Figure 112008033362470-pat00021
)으로 변환한다. 그리고 신호 변환부(110)는 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00022
,
Figure 112008033362470-pat00023
)을 신호 필터링부(140)로 전달한다.
공간큐 정보 합성부(120)는 전달받은 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출한다. 여기서, 공간큐 정보 합성부(120)는 가상음원 위치정보(VSLI: Virtual Source Location Information) 기반의 공간큐 정보를 입력받는다. 스테레오 신호에 대한 VSLI 기반의 공간큐 정보는 임의의 서브밴드(m)에 대 하여, 좌측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포함한다.
구체적으로 살펴보면, 공간큐 정보 합성부(120)는 가상음원 위치정보(VSLI: Virtual Source Location Information) 기반의 공간큐 정보(LHA(m), LSA(m), RHA(m), RSA(m))를 하기의 [수학식 2]에 적용하여 각 채널의 파워 이득값(
Figure 112008033362470-pat00024
,
Figure 112008033362470-pat00025
,
Figure 112008033362470-pat00026
,
Figure 112008033362470-pat00027
,
Figure 112008033362470-pat00028
및
Figure 112008033362470-pat00029
)을 서브밴드별로 구한다.
Figure 112008033362470-pat00030
Figure 112008033362470-pat00031
Figure 112008033362470-pat00032
Figure 112008033362470-pat00033
Figure 112008033362470-pat00034
Figure 112008033362470-pat00035
Figure 112008033362470-pat00036
Figure 112008033362470-pat00037
여기서,
Figure 112008033362470-pat00038
는 제m 서브밴드의 좌측평면각,
Figure 112008033362470-pat00039
는 제m 서브밴드의 우측평면각,
Figure 112008033362470-pat00040
는
Figure 112008033362470-pat00041
,
Figure 112008033362470-pat00042
는
Figure 112008033362470-pat00043
,
Figure 112008033362470-pat00044
는 제m 서브밴드의 제1 중앙채널 파워 이득값,
Figure 112008033362470-pat00045
는 제m 서브밴드의 제2 중앙채널 파워 이득값,
Figure 112008033362470-pat00046
는 제m 서브밴드의 전방좌채널 파워 이득값,
Figure 112008033362470-pat00047
는 제m 서브밴드의 전방우채널 파워 이득값,
Figure 112008033362470-pat00048
는 제m 서브밴드의 후방좌채널 파워 이득값,
Figure 112008033362470-pat00049
는 제m 서브밴드의 후방우채널 파워 이득값을 나타낸다.
그리고 공간큐 정보 합성부(120)는 사용자로부터 입력받은 상호작용 변수 또는 제어 변수(interaction/control parameter)에 따라 각 채널의 파워 이득값들을 조절하여 출력할 수 있다. 예를 들어, 공간큐 정보 합성부(120)는 사용자가 전방좌채널(Lf-channel)에 대하여 제어 변수에 해당하는 임의의 각도(
Figure 112008033362470-pat00050
) 위치에 음상 정위를 하고자 한다면, 패닝 법칙(Panning Law)을 이용하여 제어 변수에 해당하는 임의의 각도(
Figure 112008033362470-pat00051
)만큼 이동시킬 수 있도록, 전방좌채널 파워 이득값(
Figure 112008033362470-pat00052
)을 조절할 수 있다. 또한, 공간큐 정보 합성부(120)는 채널별 파워 이득값을 조절하기 위하여, 입력받은 상호작용 변수(interaction parameter)에 따라 각 채널의 파워 이득값을 조절할 수 있다. 이는 사용자가 원하는 채널 신호에 대하여 주의 깊게 들어 볼 수 있는 기능을 제공하기 위함이다. 그리고 공간큐 정보 합성부(120)는 산출되거나 조 절된 서브밴드별 각 채널의 파워 이득값을 신호 필터링부(140)로 전달한다.
계수 변환부(130)는 HRTF 좌/우 계수 블록을 주파수 영역의 HRTF 좌/우 계수 블록으로 변환하여 신호 필터링부(140)로 전달한다. 또한, 계수 변환부(130)는 렌더링하기 위한 필터 계수들을 주파수 영역의 필터 계수 블록으로 변환하여 신호 필터링부(140)로 전달할 수 있다. 이러한 변환 과정은 일예로 미리 수행될 수 있으며, 변환된 HRTF 계수 블록 및 렌더링을 위한 필터 계수 블록들은 테이블에 저장되어 신호 필터링부(140)에서 이용될 수 있다.
한편, 신호 필터링부(140)는 신호 변환부(110)로부터 전달받은 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00053
,
Figure 112008033362470-pat00054
)을 서브밴드별로 분할한다. 이때, 분할 방식은 하기의 [수학식 3] 및 [수학식 4]과 같이 정리될 수 있다. 또한, 신호 필터링부(140)는 계수 변환부(130)에서 변화된 주파수 영역의 좌/우 HRTF 계수 블록을 하기의 [수학식 3]와 [수학식 4]과 같이 서브밴드별로 분할한다.
Figure 112008033362470-pat00055
여기서, m은 서브밴드의 수를 나타내며,
Figure 112008033362470-pat00056
는 하기의 [수학식 4]과 같이 정의하기로 한다.
Figure 112008033362470-pat00057
여기서
Figure 112008033362470-pat00058
는 m번째 서브밴드의 시작 경계정보를 나타낸다.
그리고 신호 필터링부(140)는 HRTF 렌더링하기 위하여, 서브밴드별로 분할된 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00059
,
Figure 112008033362470-pat00060
)을 서브밴드별 각 채널의 파워 이득값(
Figure 112008033362470-pat00061
,
Figure 112008033362470-pat00062
,
Figure 112008033362470-pat00063
,
Figure 112008033362470-pat00064
,
Figure 112008033362470-pat00065
,
Figure 112008033362470-pat00066
) 및 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록(
Figure 112008033362470-pat00067
,
Figure 112008033362470-pat00068
)에 기초하여 필터링한다. 다시 말하면, 신호 필터링부(140)는 각 채널에 대한 가상음원이 음상 정위되도록, 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록을 서브밴드별 각 채널의 파워 이득값에 맞게 가공하고, 가공된 좌/우 HRTF 계수 블록에 따라 주파수 영역의 좌/우 신호 블록을 필터링하여 렌더링 신호 블록(
Figure 112008033362470-pat00069
)을 출력한다. 이때, 신호 필터링부(140)는 서브밴드로 나누어진 블록 단위로 필터링을 수행하며, 모든 서브밴드에 대한 처리를 완료하고 다음 블록에 대하여 필터링을 수행하여 렌더링 신호 블록(
Figure 112008033362470-pat00070
)을 출력한다.
그리고 신호 역변환부(150)는 신호 필터링부(140)에서 필터링된 렌더링 신호 블록(
Figure 112008033362470-pat00071
)을 IDFT(Inverse-DFT) 또는 IFFT(Inverse-FFT)를 이용하여 시간 영역의 좌/우 신호(
Figure 112008033362470-pat00072
/
Figure 112008033362470-pat00073
)로 변환한다. 여기서, 아래 첨자 L과 R은 각각 좌/우 신 호, n은 시간 영역의 인덱스를 나타낸다.
도 2a 는 본 발명에 따른 도 1의 계수 변환부의 일실시예 상세구성도이다.
도 2a에 도시된 바와 같이, 계수 변환부(130)는, 블록 연결부(210), 블록 변환부(220) 및 블록 덧셈부(230)를 포함한다. 여기서, 상기 블록 덧셈부(230)는 부가요소이다.
블록 연결부(210)는 좌/우 HRTF 계수 블록(
Figure 112008033362470-pat00074
,
Figure 112008033362470-pat00075
)에 각각 제로(zero) 블록을 덧붙여서 블록을 연결한다. 또한, 블록 연결부(210)는 렌더링하기 위한 임펄스응답 신호가 있으면, 임펄스응답 계수 블록(
Figure 112008033362470-pat00076
)에 각각 제로 블록을 덧붙여서 블록을 연결한다. 이는 블록 변환부(220)에서 이산 푸리에 변환을 효율적으로 계산하기 위함이다.
블록 변환부(220)는 제로 블록이 덧붙여진 좌/우 HRTF 계수 블록을 주파수 영역의 좌/우 HRTF 계수 블록(
Figure 112008033362470-pat00077
,
Figure 112008033362470-pat00078
)으로 변환한다. 또한, 블록 변환부(220)는 제로 블록이 덧붙여진 임펄스응답 계수 블록을 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00079
)으로 변환한다. 이때, 상기 블록 변환부(220)는 변환된 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00080
)을 바로 신호 필터링부(140)로 전달하거나, 블록 덧셈부(230)로 전달하여 이후의 블록 덧셈 과정이 수행되도록 한다.
블록 덧셈부(230)는 렌더링하기 위한 임펄스응답 신호가 있으면, 블록 변환부(220)에서 변환된 주파수 영역의 좌/우 HRTF 계수 블록에 주파수 영역의 임펄스응답 계수 블록을 블록 덧셈연산하여 신호 필터링부(140)로 전달한다.
결론적으로, 계수 변환부(130)는 하기의 [수학식 5]과 같이, 시간 영역의 좌/우 HRTF 계수 블록에 제로 블록을 덧붙이고, 이를 이산 푸리에 변환 방식에 따라 주파수 영역의 좌/우 HRTF 계수 블록으로 변환하여 저장할 수 있다. 이러한 계수 변환부(130)에서의 수행 과정은 하기의 [수학식 5]에 나타나 있다.
Figure 112008033362470-pat00081
여기서,
Figure 112008033362470-pat00082
는 각 채널에 대한 주파수 영역의 좌 HRTF 계수,
Figure 112008033362470-pat00083
는 각 채널에 대한 주파수 영역의 우 HRTF 계수, 아래 첨자(channel)는 채널의 인덱스를 나타낸다. 또한, N은 이산 푸리에 변환의 블록 크기를 나타내며
Figure 112008033362470-pat00084
(
Figure 112008033362470-pat00085
는 양의 정수)로 표현이 가능해야 하며,
Figure 112008033362470-pat00086
은 응답시간을 나타내며 N/2 이하의 값(
Figure 112008033362470-pat00087
)을 가져야 한다.
블록 변환부(220)는 일반적인 5채널에 대하여, 5채널에 대한 HRTF 계수를 총 10번의 이산 푸리에 변환을 수행하여 주파수 영역으로 변환한다. 이는 5채널에 대한 HRTF 계수는 좌/우로 나누어져 있고, 5개의 HRTF 계수를 포함하기 때문이다.
도 2b는 본 발명에 따른 도 2a의 계수 변환부에서의 계수 변환 과정에 대한 일실시예 설명도이다.
블록 연결부(210)는 좌 HRTF 계수(
Figure 112008033362470-pat00088
)에 제로 블록을 덧붙여 연결한다(201). 그리고 블록 변환부(220)는 제로 블록이 연결된 좌 HRTF 계수(
Figure 112008033362470-pat00089
)를 주파수 영역의 좌 HRTF 계수(
Figure 112008033362470-pat00090
)로 변환한다(202).
또한, 블록 연결부(210)는 우 HRTF 계수(
Figure 112008033362470-pat00091
)에 제로 블록을 덧붙여 연결한다(203). 그리고 블록 변환부(220)는 제로 블록이 연결된 우 HRTF 계수(
Figure 112008033362470-pat00092
)를 주파수 영역의 우 HRTF 계수(
Figure 112008033362470-pat00093
)로 변환한다(204).
이후, "202" 및 "204" 과정에서 변환된 주파수 영역의 좌/우 HRTF 계수(
Figure 112008033362470-pat00094
,
Figure 112008033362470-pat00095
)는 바로 신호 필터링부(140)로 전달되거나, 블록 덧셈부(230)로 전달된다.
한편, 좌/우 HRTF 계수 이외의 임의의 임펄스응답(예를 들어, 잔향 응답 또는 크로스토크(crosstalk) 제거를 위한 응답)을 적용할 경우, 계수 변환부(130)는 임펄스응답 계수 블록(
Figure 112008033362470-pat00096
)을 상기의 [수학식 5]과 같이 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00097
)으로 변환하여 적용할 수 있다.
즉, 렌더링하기 위한 임펄스응답 계수 블록이 있으면, 블록 연결부(210)는 임의의 임펄스응답 계수 블록(
Figure 112008033362470-pat00098
)에 제로 블록을 덧붙여 연결한다(205). 그리고 블록 변환부(220)는 제로 블록이 연결된 임펄스응답 계수 블록(
Figure 112008033362470-pat00099
)을 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00100
)으로 변환한다(206).
그리고 블록 덧셈부(230)는 적용하는 방식에 따라 임의의 HRTF 계수 블록, 또는 전체 HRTF 계수 블록에 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00101
)을 블록 뎃셈연산하여 새로운 주파수 영역의 좌/우 HRTF 계수 블록을 산출하고, 그 산출된 새로운 주파수 영역의 좌/우 HRTF 계수 블록을 신호 필터링부(140)로 전달한다. 좀더 구체적으로 살펴보면, 블록 덧셈부(230)는 주파수 영역의 좌 HRTF 계수(
Figure 112008033362470-pat00102
)와 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00103
)을 블록 덧셈연산하고(207), 주파수 영역의 우 HRTF 계수 블록(
Figure 112008033362470-pat00104
)과 주파수 영역의 임펄스응답 계수 블록(
Figure 112008033362470-pat00105
)을 더하여(208), 새로운 주파수 영역의 좌/우 HRTF 계수 블록(
Figure 112008033362470-pat00106
,
Figure 112008033362470-pat00107
)을 신호 필터링부(140)로 출력한다. 새로운 주파수 영역의 좌 HRTF 계수 블록(
Figure 112008033362470-pat00108
)은 하기의 [수학식 6]에 나타나 있다.
Figure 112008033362470-pat00109
,
여기서,
Figure 112008033362470-pat00110
는 주파수 영역의 임펄스응답 계수 블록,
Figure 112008033362470-pat00111
는 주파수 영역의 좌 HRTF 계수 블록을 나타낸다.
도 3 은 본 발명에 따른 도 1의 신호 필터링부의 일실시예 상세구성도이다.
도 3에 도시된 바와 같이, 신호 필터링부(140)는 좌신호 블록 필터링부(310) 와 우신호 블록 필터링부(320)를 포함한다. 여기서, 좌신호 블록 필터링부(310)는 다수의 상수 곱셈부(311), 다수의 벡터 덧셈부(312, 314) 및 다수의 벡터 곱셈부(313)를 포함한다. 또한, 우신호 블록 필터링부(320)는 다수의 상수 곱셈부(321), 다수의 벡터 덧셈부(322, 324) 및 다수의 벡터 곱셈부(323)를 포함한다.
좌신호 블록 필터링부(310)를 살펴보면, 상수 곱셈부(311)는 서브밴드별 각 채널(중앙, 전방좌측, 후방좌측, 전방우측, 후방우측, 중앙)에 대한 주파수 영역의 좌 HRTF 계수 블록(
Figure 112008033362470-pat00112
,
Figure 112008033362470-pat00113
,
Figure 112008033362470-pat00114
,
Figure 112008033362470-pat00115
,
Figure 112008033362470-pat00116
,
Figure 112008033362470-pat00117
)과, 각 채널(중앙, 전방좌측, 후방좌측, 전방우측, 후방우측, 중앙)의 파워 이득값(
Figure 112008033362470-pat00118
,
Figure 112008033362470-pat00119
,
Figure 112008033362470-pat00120
,
Figure 112008033362470-pat00121
,
Figure 112008033362470-pat00122
,
Figure 112008033362470-pat00123
)과의 곱셈연산을 수행한다. 여기서, 상수 곱셈연산이란 블록 벡터와 상수값과의 곱셈연산을 말한다.
그리고 벡터 덧셈부(312)는 상수 곱셈부(311)에서 곱셈연산된 좌 HRTF 계수 블록을 좌측 채널(중앙, 전방좌측 및 후방좌측) 및 우측 채널(전방우측, 후방우측 및 중앙)별로 벡터 덧셈연산을 수행하여 가공한다. 여기서, 벡터 덧셈연산이란 벡터와 벡터 간의 샘플별 덧셈연산을 말한다.
이어서, 벡터 곱셈부(313)는 벡터 덧셈부(312)에서 가공된 좌 HRTF 계수 블록과 좌신호 블록(
Figure 112008033362470-pat00124
)과의 벡터 곱셈연산 및 가공된 좌 HRTF 계수 블록과 우신호 블록(
Figure 112008033362470-pat00125
)의 벡터 곱셈연산을 수행한다. 여기서, 벡터 곱셈연산이란 벡터와 벡터 간의 샘플별 곱셈연산을 말한다.
그리고 벡터 덧셈부(314)는 벡터 곱셈부(313)에서 좌 HRTF 계수 블록과 벡터 곱셈연산된 좌/우 신호 블록을 벡터 덧셈연산하여 렌더링 좌신호 블록(
Figure 112008033362470-pat00126
)을 출력한다.
우신호 블록 필터링부(320)를 살펴보면, 상수 곱셈부(321)는 서브밴드별 각 채널(중앙, 전방우측, 후방우측, 전방좌측, 후방좌측, 중앙)에 대한 주파수 영역의 우 HRTF 계수 블록(
Figure 112008033362470-pat00127
,
Figure 112008033362470-pat00128
,
Figure 112008033362470-pat00129
,
Figure 112008033362470-pat00130
,
Figure 112008033362470-pat00131
,
Figure 112008033362470-pat00132
)과, 각 채널(중앙, 전방우측, 후방우측, 전방좌측, 후방좌측, 중앙)의 파워 이득값(
Figure 112008033362470-pat00133
,
Figure 112008033362470-pat00134
,
Figure 112008033362470-pat00135
,
Figure 112008033362470-pat00136
,
Figure 112008033362470-pat00137
,
Figure 112008033362470-pat00138
)과의 상수 곱셈연산을 수행한다.
그리고 벡터 덧셈부(322)는 상수 곱셈부(321)에서 곱셈연산된 우 HRTF 계수 블록을 우측 채널(중앙, 전방우측 및 후방우측) 및 좌측 채널(전방좌측, 후방좌측 및 중앙)별로 벡터 덧셈연산을 수행하여 가공한다.
이어서, 벡터 곱셈부(323)는 벡터 덧셈부(322)에서 가공된 우 HRTF 계수 블록과 우신호 블록(
Figure 112008033362470-pat00139
)과의 벡터 곱셈연산 및 가공된 우 HRTF 계수 블록과 좌신호 블록(
Figure 112008033362470-pat00140
)의 벡터 곱셈연산을 수행한다.
그리고 벡터 덧셈부(324)는 벡터 곱셈부(313)에서 우 HRTF 계수 블록과 벡터 곱셈연산된 좌/우 신호 블록을 벡터 덧셈연산하여 렌더링 우신호 블록(
Figure 112008033362470-pat00141
)을 출력한다.
도 4 는 본 발명에 따른 도 1의 바이노럴 스테레오 합성 장치를 이용한 바이노럴 스테레오 복호화 장치의 일실시예 구성도이다.
도 4에 도시된 바와 같이, 바이노럴 스테레오 복호화 장치(400)는 블록 연결부(410), 바이노럴 스테레오 합성 장치(100) 및 복호화부(420)를 포함한다. 여기서, 복호화부(420)는 블록 분리부(421), 제1 지연부(422), 제2 지연부(423), 블록 덧셈부(424) 및 블록 곱셈부(425)를 포함한다. 입/출력 블록은 모두 시간 영역의 블록이라 간주한다.
블록 연결부(410)는 오버랩된 신호 블록을 입력받고, 입력된 신호 블록에 제로 블록을 덧붙여서 블록을 연결한다. 여기서,
Figure 112008033362470-pat00142
는 현재 신호 블록,
Figure 112008033362470-pat00143
는 이전 신호 블록을 나타낸다. 즉, 블록 연결부(410)는 현재 신호 블록(
Figure 112008033362470-pat00144
)에 제로 블록을 덧붙여서 이산 푸리에 변환하기 위한 블록 포맷으로 변환한다. 이는 도 2a에 도시된 블록 연결부(210)와 동일하다. 그러나 블록 연결부(410)는 제로 블록의 크기로 현재 신호 블록(
Figure 112008033362470-pat00145
)의 샘플 수만큼 덧붙인다. 이는 바이노럴 스테레오 합성 장치(100)가 기본적으로 필터링 수행 방법을 50% 오버랩 애드(Overlap-add) 방식으로 주파수 영역 및 시간 영역에서 처리하기 위함이다.
바이노럴 스테레오 합성 장치(100)는 입력 신호 블록으로부터 가상음원 위치 기반의 공간큐 정보와 HRTF 계수에 기초한 필터링을 통하여 렌더링 신호 블록(
Figure 112008033362470-pat00146
)을 출력하며, 이는 하기의 [수학식 7]과 같이 서브블록 벡터로 표현될 수 있다.
Figure 112008033362470-pat00147
여기서,
Figure 112008033362470-pat00148
는 전반부 서브블록 벡터,
Figure 112008033362470-pat00149
는 후반부 서브블록 벡터를 나타낸다.
그리고 복호화부(420)는 바이노럴 스테레오 합성 장치(100)로부터 출력된 렌더링 신호 블록(
Figure 112008033362470-pat00150
)을 바이노럴 스테레오 신호(
Figure 112008033362470-pat00151
)로 복호화하고, 윈도우 함수가 적용된 바이노럴 스테레오 신호(
Figure 112008033362470-pat00152
)를 오버랩하여 출력한다.
구체적으로 살펴보면, 블록 분리부(421)는 렌더링 신호 블록(
Figure 112008033362470-pat00153
)을 동일한 크기의 서브블록으로 순차적으로 분할하여 전반부 서브블록 벡터(
Figure 112008033362470-pat00154
)와 후반부 서브블록 벡터(
Figure 112008033362470-pat00155
)로 분리한다.
그리고 제1 지연부(422)는 블록 분리부(421)에서 분리된 후반부 서브블록 벡터(
Figure 112008033362470-pat00156
)를 한 번 지연시킨다. 이어서, 제2 지연부(423)는 한 번 지연된 후반부 서브블록 벡터(
Figure 112008033362470-pat00157
)를 다시 지연시켜 두 번의 블록 지연된 후반부 서브블록 벡터(
Figure 112008033362470-pat00158
)를 출력한다.
그리고 블록 뎃셈부(424)는 블록 분리부(421)로부터 출력된 전반부 서브블록 벡터(
Figure 112008033362470-pat00159
)와 제2 지연부(423)로부터 출력된 두 번의 블록 지연된 후반부 서브블록 벡터(
Figure 112008033362470-pat00160
)의 블록 덧셈연산을 수행하여 바이노럴 스테레오 신호(
Figure 112008033362470-pat00161
) 를 출력한다.
그리고 블록 곱셈부(425)는 바이노럴 스테레오 신호(
Figure 112008033362470-pat00162
)와 윈도우 함수 신호(
Figure 112008033362470-pat00163
)의 블록 곱셈연산을 수행하여 윈도우 함수가 적용된 바이노럴 스테레오 신호(
Figure 112008033362470-pat00164
)를 구하고, 그 윈도우 함수가 적용된 바이노럴 스테레오 신호(
Figure 112008033362470-pat00165
)를 오버랩하여 출력한다.
도 5 는 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 방법에 대한 일실시예 흐름도이다.
먼저, 신호 변환부(110)는 입력받은 시간 영역의 좌/우 오디오 신호(
Figure 112008033362470-pat00166
,
Figure 112008033362470-pat00167
)를 DFT 또는 FFT를 이용하여 주파수 영역의 좌/우 오디오 신호(
Figure 112008033362470-pat00168
,
Figure 112008033362470-pat00169
)로 변환한다(502).
그리고 공간큐 정보 합성부(120)는 전송받은 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출한다(504). 여기서, 공간큐 정보 합성부(120)는 가상음원 위치정보 기반의 공간큐 정보를 입력받는다.
그리고 계수 변환부(130)는 HRTF 좌/우 계수 블록을 주파수 영역의 HRTF 좌/우 계수 블록으로 변환하여 신호 필터링부(140)로 전달한다(506). 또한, 계수 변환부(130)는 렌더링하기 위한 필터 계수들을 주파수 영역의 필터 계수 블록으로 변환하여 신호 필터링부(140)로 전달할 수 있다.
그리고 신호 필터링부(140)는 HRTF 렌더링하기 위하여, 서브밴드별로 분할된 주파수 영역의 좌/우 신호 블록(
Figure 112008033362470-pat00170
,
Figure 112008033362470-pat00171
)을 서브밴드별 각 채널의 파워 이득값(
Figure 112008033362470-pat00172
,
Figure 112008033362470-pat00173
,
Figure 112008033362470-pat00174
,
Figure 112008033362470-pat00175
,
Figure 112008033362470-pat00176
,
Figure 112008033362470-pat00177
) 및 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록(
Figure 112008033362470-pat00178
,
Figure 112008033362470-pat00179
)에 기초하여 필터링한다(508). 다시 말하면, 신호 필터링부(140)는 각 채널에 대한 가상음원이 음상 정위되도록, 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록을 서브밴드별 각 채널의 파워 이득값에 맞게 가공하고, 가공된 좌/우 HRTF 계수 블록에 따라 주파수 영역의 좌/우 신호 블록을 필터링하여 렌더링 신호 블록(
Figure 112008033362470-pat00180
)을 출력한다.
이어서, 신호 역변환부(150)는 신호 필터링부(140)에서 필터링된 렌더링 신호 블록(
Figure 112008033362470-pat00181
)을 IDFT(Inverse-DFT) 또는 IFFT(Inverse-FFT)를 이용하여 시간 영역의 좌/우 신호(
Figure 112008033362470-pat00182
/
Figure 112008033362470-pat00183
)로 변환한다(510).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1 은 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 장치의 일실시예 구성도,
도 2a 는 본 발명에 따른 도 1의 계수 변환부의 일실시예 상세구성도,
도 2b 는 본 발명에 따른 도 2a의 계수 변환부에서의 계수 변환 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 도 1의 신호 필터링부의 일실시예 상세구성도,
도 4 는 본 발명에 따른 도 1의 바이노럴 스테레오 합성 장치를 이용한 바이노럴 스테레오 복호화 장치의 일실시예 구성도,
도 5 는 본 발명에 따른 공간큐 기반의 바이노럴 스테레오 합성 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명
100 : 바이노럴 스테레오 합성 장치 110 : 신호 변환부
120 : 공간큐 정보 합성부 130 : 계수 변환부
140 : 신호 필터링부 150 : 신호 역변환부

Claims (21)

  1. 공간큐 기반의 바이노럴 스테레오 합성 장치에 있어서,
    가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단;
    상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및
    상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단;을 포함하며,
    여기서, 상기 신호 필터링 수단은, 상기 주파수 영역에서의 선형 복적분 연산을 수행하여 상기 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  2. 제 1 항에 있어서,
    상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하여 상기 신호 필터링 수단으로 전달하기 위한 신호 변환 수단
    을 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 바이노럴 필터 계수를 주파수 영역으로 변환하여 상기 신호 필터링 수 단으로 전달하기 위한 계수 변환 수단
    을 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  4. 제 3 항에 있어서,
    상기 계수 변환 수단은,
    상기 바이노럴 필터 계수에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단; 및
    상기 제로 블록이 덧붙여진 상기 바이노럴 필터 계수를 주파수 영역으로 변환하기 위한 블록 변환 수단
    을 포함하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  5. 제 4 항에 있어서,
    상기 계수 변환 수단은,
    사용자가 임의로 렌더링하기 위한 임펄스응답 신호와 상기 변환된 바이노럴 필터 계수를 블록 덧셈연산하여 새로운 바이노럴 필터 계수를 생성하기 위한 블록 덧셈 수단을 더 포함하고,
    상기 신호 필터링 수단은, 상기 새로 생성된 바이노럴 필터 계수에 기초하여 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  6. 제 3 항에 있어서,
    상기 공간큐 정보 합성 수단은,
    채널별 각도 위치에 음상 정위를 하기 위하여, 패닝 방식에 따라 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  7. 제 3 항에 있어서,
    상기 공간큐 정보 합성 수단은,
    사용자 관심 채널의 강조 요청에 따라 상기 사용자로부터 입력되는 상호작용 변수를 이용하여 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  8. 제 3 항에 있어서,
    상기 신호 필터링 수단은,
    상기 바이노럴 필터 계수를 채널 조합의 파워 이득값에 맞게 가공하고, 상기 가공된 바이노럴 필터 계수에 따라 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  9. 제 8 항에 있어서,
    상기 신호 필터링 수단은,
    상기 가공된 바이노럴 필터 계수에 따라 상기 좌/우 오디오 신호를 필터링하되,
    주파수 영역에서의 선형 복적분을 이용하여 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 장치.
  10. 공간큐 기반의 바이노럴 스테레오 합성 방법에 있어서,
    가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하는 공간큐 정보 합성 단계;
    상기 산출된 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 좌/우 오디오 신호를 주파수 영역에서 필터링하는 신호 필터링 단계; 및
    상기 필터링된 신호를 시간 영역으로 역변환하는 신호 역변환 단계;를 포함하며,
    여기서, 상기 신호 필터링 단계는, 상기 주파수 영역에서의 선형 복적분 연산을 수행하여 상기 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  11. 제 10 항에 있어서,
    상기 좌/우 오디오 신호가 시간 영역의 신호이면, 상기 좌/우 오디오 신호를 주파수 영역으로 변환하는 신호 변환 단계
    를 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 계수 변환 단계
    를 더 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  13. 제 12 항에 있어서,
    상기 계수 변환 단계는,
    상기 바이노럴 필터 계수에 제로 블록을 덧붙여서 연결하는 블록 연결 단계; 및
    상기 제로 블록이 덧붙여진 상기 바이노럴 필터 계수를 주파수 영역으로 변환하는 블록 변환 단계
    를 포함하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  14. 제 13 항에 있어서,
    상기 계수 변환 단계은,
    사용자가 임의로 렌더링하기 위한 임펄스응답 신호와 상기 변환된 바이노럴 필터 계수를 블록 덧셈연산하여 새로운 바이노럴 필터 계수를 생성하는 블록 덧셈 단계를 더 포함하고,
    상기 신호 필터링 단계는, 상기 새로 생성된 바이노럴 필터 계수에 기초하여 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  15. 제 12 항에 있어서,
    상기 공간큐 정보 합성 단계는,
    채널별 각도 위치에 음상 정위를 하기 위하여, 패닝 방식에 따라 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  16. 제 12 항에 있어서,
    상기 공간큐 정보 합성 단계는,
    사용자 관심 채널의 강조 요청에 따라 상기 사용자로부터 입력되는 상호작용 변수를 이용하여 각 채널의 파워 이득값을 조절하여 산출하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  17. 제 12 항에 있어서,
    상기 신호 필터링 단계는,
    상기 바이노럴 필터 계수를 채널 조합의 파워 이득값에 맞게 가공하고, 상기 가공된 바이노럴 필터 계수에 따라 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  18. 제 17 항에 있어서,
    상기 신호 필터링 단계는,
    상기 가공된 바이노럴 필터 계수에 따라 상기 좌/우 오디오 신호를 필터링하되,
    주파수 영역에서의 선형 복적분을 이용하여 상기 변환된 좌/우 오디오 신호를 필터링하는 것을 특징으로 하는 공간큐 기반의 바이노럴 스테레오 합성 방법.
  19. 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치에 있어서,
    좌/우 오디오 신호에 제로 블록을 덧붙여서 연결하기 위한 블록 연결 수단;
    가상음원 위치 기반의 공간큐 정보에 따른 각 채널의 파워 이득값과 바이노럴 필터 계수에 기초하여, 상기 제로 블록이 연결된 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 바이노럴 스테레오 합성 수단; 및
    상기 필터링된 좌/우 오디오 신호를 서로 다른 서브블록으로 분리하고, 상기 분리된 서로 다른 서브블록을 이용해 복호화하여 바이노럴 스테레오 신호를 출력하기 위한 복호화 수단
    을 포함하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
  20. 제 19 항에 있어서,
    상기 바이노럴 스테레오 합성 수단은,
    가상음원 위치 기반의 공간큐 정보를 합성하여 서브밴드별 각 채널의 파워 이득값을 산출하기 위한 공간큐 정보 합성 수단;
    상기 산출된 각 채널의 파워 이득값과 상기 바이노럴 필터 계수에 기초하여, 상기 제로 블록이 연결된 좌/우 오디오 신호를 주파수 영역에서 필터링하기 위한 신호 필터링 수단; 및
    상기 필터링된 신호를 시간 영역으로 역변환하기 위한 신호 역변환 수단
    을 포함하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
  21. 제 19 항 또는 제 20 항에 있어서,
    상기 복호화 수단은,
    상기 복호화된 바이노럴 스테레오 신호를 윈도우 함수를 이용하여 오버랩(Overlap)하여 출력하는 것을 특징으로 하는 바이노럴 스테레오 합성을 이용한 바이노럴 스테레오 복호화 장치.
KR1020080043578A 2007-11-07 2008-05-09 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치 KR100971700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070113196 2007-11-07
KR1020070113196 2007-11-07

Publications (2)

Publication Number Publication Date
KR20090047341A KR20090047341A (ko) 2009-05-12
KR100971700B1 true KR100971700B1 (ko) 2010-07-22

Family

ID=40856846

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080043578A KR100971700B1 (ko) 2007-11-07 2008-05-09 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치

Country Status (1)

Country Link
KR (1) KR100971700B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103256A1 (ko) * 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
WO2015099430A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
KR20190079993A (ko) 2017-12-28 2019-07-08 박승민 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
KR20190082055A (ko) 2018-08-22 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190081160A (ko) 2017-12-29 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190081163A (ko) 2017-12-29 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20190082056A (ko) 2018-08-22 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR102036010B1 (ko) 2018-05-15 2019-10-25 박승민 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치
KR102048739B1 (ko) 2018-06-01 2019-11-26 박승민 바이노럴 기술을 이용한 감성사운드 제공방법과 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치
KR20190137672A (ko) 2018-12-24 2019-12-11 박승민 바이노럴 기술을 이용한 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치
KR20200013338A (ko) 2018-07-30 2020-02-07 건국대학교 산학협력단 외부 환경의 변화에 따른 식물의 상태를 전자기적/전기화학적 방법으로 분석하는 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102671956B1 (ko) * 2022-12-06 2024-06-05 주식회사 라온에이엔씨 인터콤용 실감음향 오디오출력장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006014449A1 (en) 2004-07-06 2006-02-09 Agere Systems Inc. Audio coding/decoding
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
WO2006014449A1 (en) 2004-07-06 2006-02-09 Agere Systems Inc. Audio coding/decoding
KR100682904B1 (ko) 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11445317B2 (en) 2012-01-05 2022-09-13 Samsung Electronics Co., Ltd. Method and apparatus for localizing multichannel sound signal
WO2013103256A1 (ko) * 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
US9961469B2 (en) 2013-09-17 2018-05-01 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US10469969B2 (en) 2013-09-17 2019-11-05 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10455346B2 (en) 2013-09-17 2019-10-22 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9584943B2 (en) 2013-09-17 2017-02-28 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US11096000B2 (en) 2013-09-17 2021-08-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US11622218B2 (en) 2013-09-17 2023-04-04 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
US11195537B2 (en) 2013-10-22 2021-12-07 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10692508B2 (en) 2013-10-22 2020-06-23 Electronics And Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
US12014744B2 (en) 2013-10-22 2024-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
WO2015099424A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US10701511B2 (en) 2013-12-23 2020-06-30 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
WO2015099430A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US10158965B2 (en) 2013-12-23 2018-12-18 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11689879B2 (en) 2013-12-23 2023-06-27 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11109180B2 (en) 2013-12-23 2021-08-31 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10433099B2 (en) 2013-12-23 2019-10-01 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11343630B2 (en) 2014-03-19 2022-05-24 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10999689B2 (en) 2014-03-19 2021-05-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10771910B2 (en) 2014-03-19 2020-09-08 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10321254B2 (en) 2014-03-19 2019-06-11 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10070241B2 (en) 2014-03-19 2018-09-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9986365B2 (en) 2014-04-02 2018-05-29 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10129685B2 (en) 2014-04-02 2018-11-13 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9860668B2 (en) 2014-04-02 2018-01-02 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10469978B2 (en) 2014-04-02 2019-11-05 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
KR20190079993A (ko) 2017-12-28 2019-07-08 박승민 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
KR20190081163A (ko) 2017-12-29 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20190081160A (ko) 2017-12-29 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR102036010B1 (ko) 2018-05-15 2019-10-25 박승민 바이노럴 사운드를 이용한 감성 통화 방법 및 이를 위한 장치
KR102048739B1 (ko) 2018-06-01 2019-11-26 박승민 바이노럴 기술을 이용한 감성사운드 제공방법과 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치
KR20200013338A (ko) 2018-07-30 2020-02-07 건국대학교 산학협력단 외부 환경의 변화에 따른 식물의 상태를 전자기적/전기화학적 방법으로 분석하는 방법 및 장치
KR20190082056A (ko) 2018-08-22 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
KR20190082055A (ko) 2018-08-22 2019-07-09 박승민 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법 및 이를 위한 어플리케이션
KR20190137672A (ko) 2018-12-24 2019-12-11 박승민 바이노럴 기술을 이용한 감성사운드 제공을 위한 상용 스피커 프리셋 제공방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR20090047341A (ko) 2009-05-12

Similar Documents

Publication Publication Date Title
KR100971700B1 (ko) 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
US10999689B2 (en) Audio signal processing method and apparatus
US10469978B2 (en) Audio signal processing method and device
KR101325644B1 (ko) 변환 영역에서의 효율적인 바이노럴 사운드 공간화 방법 및장치
KR100908055B1 (ko) 부호화/복호화 장치 및 방법
US10580417B2 (en) Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
EP1979897B1 (en) Method and apparatus for processing a media signal
JP5455647B2 (ja) オーディオデコーダ
US20090292544A1 (en) Binaural spatialization of compression-encoded sound data
EP1999999A1 (en) Generation of spatial downmixes from parametric representations of multi channel signals
US11950078B2 (en) Binaural dialogue enhancement
RU2406164C2 (ru) Устройство и способ для кодирования/декодирования сигнала
WO2006070782A1 (ja) マルチチャンネルオーディオシステム、ならびに、マルチチャンネルオーディオ信号多重化装置、復元装置およびプログラム
MX2008009565A (en) Apparatus and method for encoding/decoding signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140624

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160620

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 9