KR20130045414A - 3ｄ 사운드를 발생시키기 위한 방법 및 디바이스 - Google Patents
3ｄ 사운드를 발생시키기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR20130045414A KR20130045414A KR1020137008226A KR20137008226A KR20130045414A KR 20130045414 A KR20130045414 A KR 20130045414A KR 1020137008226 A KR1020137008226 A KR 1020137008226A KR 20137008226 A KR20137008226 A KR 20137008226A KR 20130045414 A KR20130045414 A KR 20130045414A
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- parameters
- filter
- unit
- sound source
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012546 transfer Methods 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 210000003128 head Anatomy 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 210000003454 tympanic membrane Anatomy 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
오디오 데이터(101)를 처리하기 위한 디바이스(100)로서, 상기 디바이스(100)는 복수의 오디오 입력 신호들을 포함하는 조합 신호를 수신하기 위한 입력, 적어도 두 개의 오디오 출력 신호들(OS1, OS2)을 결과하는 필터 계수들(SF1, SF2)에 따라 상기 조합 신호를 필터링하도록 구성된 필터 유닛(103), 및 상기 오디오 입력 신호들의 사운드 소스들의 공간적 위치들을 나타내는 위치 정보, 주파수 대역에서 각각의 사운드 소스의 에너지를 나타내는 스펙트럼 파워 정보, 및 전달 함수 파라미터들을 수신하도록 구성된 파라미터 변환 유닛(104)으로서, 상기 파라미터 변환 유닛(104)은 상기 위치 정보, 상기 스펙트럼 파워 정보, 및 상기 전달 함수 파라미터들에 기초하여 상기 필터 계수들(SF1, SF2)을 발생시키도록 구성된 상기 파라미터 변환 유닛(104)을 포함하고, 상기 파라미터 변환 유닛(104)은 주파수 대역에서 각각의 사운드 소스의 상기 에너지를 이용하는 각각의 사운드 소스의 상기 공간 파라미터들을 가중시킴으로써 평균된 공간 파라미터들의 세트를 발생시키고, 상기 평균된 공간 파라미터들의 세트에 응답하여 상기 필터 계수들을 결정하도록 구성된다.
Description
본 발명은 오디오 데이터를 처리하기 위한 디바이스에 관한 것이다.
본 발명은 또한 오디오 데이터를 처리하기 위한 방법에 관한 것이다.
본 발명은 또한 프로그램 요소에 관한 것이다.
본 발명은 또한, 컴퓨터-판독가능한 매체에 관한 것이다.
가상 공간에서 사운드의 조작이 사람들의 주의를 끌기 시작함에 따라, 오디오 사운드, 특히 3D 오디오 사운드는 예를 들어 다양한 게임 소프트웨어 및 이미지들과 조합한 멀티미디어 애플리케이션들에서 사실적인 인위적인 감각들을 제공하는 데 있어 더욱 중요해지고 있다. 음악에서 중요하게 이용되는 여러가지 효과들 중에서, 사운드 필드 효과는 특정한 공간에서 들려지는 사운드를 재현하려는 시도로 생각된다.
본원에서, 종종 공간 사운드로 불리는 3D 사운드는 3차원 환경 내의 어떤 위치에서 (가상) 사운드 소스의 감상을 청취자에게 주도록 사운드 처리된다.
어떤 방향으로부터 청취자에게로 오는 음향 신호는 청취자의 양쪽 귀의 고막에 이르기 전에 청취자의 신체의 일부와 상호 작용한다. 이러한 상호 작용의 결과로서, 고막에 이르는 사운드는 청취자의 어깨로부터의 반사, 머리와의 상호 작용, 귓바퀴 응답 및 귀 도관(ear canal)에서의 공진에 의해 변형된다. 신체가 들어오는 신호들에 대해 필터링 효과를 갖는다고 할 수 있다. 특정한 필터링 특성은 (머리에 상대적인)사운드 소스 위치에 의존한다. 또한, 공기 중에서 유한한 사운드의 속도 때문에, 현저한 귀 내부의 시간 지연이 사운드 소스 위치에 따라 인지될 수 있다. 최근에 해부학적 전달 함수(ATF; anatomical transfer function)로 명명된 헤드관련 전달 함수(HRTF; head-related transfer function)는, 어떤 사운드 소스 방향으로부터 청취자의 고막까지 필터링 효과를 기술하는, 사운드 소스 위치의 방위 및 높이의 함수들이다.
HRTF 데이터베이스는 사운드 소스에 대해 큰 위치들의 세트(전형적으로 1 내지 3 미터의 거리로 고정되고, 수평 및 수직 방향에서 5 내지 10 도 떨어짐)로부터 양쪽 귀까지의 전달 함수를 측정함으로써 구성될 수 있다. 이러한 데이터베이스는 다양한 음향 조건들에 대해 얻어질 수 있다. 예를 들어, 울림이 없는 환경(anechoic environment)에서, 반향이 없기 때문에 HRTF들은 위치로부터 고막까지의 직접적인 전달만을 캡처한다. HRTF들은 또한 울림이 있는 환경에서도 측정될 수 있다. 반향이 함께 캡처되면, HRTF는 룸-특정(room-specific)된다.
HRTF 데이터베이스는 종종 '가상' 사운드 소스를 위치시키는데 이용된다. 사운드 신호를 HRTF들의 쌍으로 휘감고 결과적인 사운드를 헤드폰을 통해 제공함으로써 청취자는, 처리되지 않은 사운드가 헤드폰을 통해 제공될 때 일어나는 '머리의' 사운드 소스로 인식하는 것에 반대로, 상기 사운드가 HRTF 쌍에 대응하는 방향으로부터 오는 것으로 인식할 것이다. 이러한 관점에서, HRTF 데이터베이스는 가상 사운드 소스를 위치시키는 대중적인 수단이다. HRTF 데이터베이스가 이용되는 애플리케이션들은 게임, 전화 회의 장비 및 가상 현실 시스템들을 포함한다.
공간적 스테레오 신호들을 발생하는 예들은 미국 특허 출원 번호 US2003/0026441A1 및 2001년 10월 21-24일, 2001 IEEE 워크샵, 오디오 및 음향에 신호처리의 적용, IEEE, Faller 및 Baumgarte의 논문 "Efficient Representation of Spatial Audio Using Perceptual Parameterization" 의 페이지 199-202, XP010566909에 제시된다. 유럽 특허 출원 EP 1 551 205 A1은 머리 전달 함수(HRTF)를 이용하는 시스템을 개시하고 PCT 특허 출원 WO2004/097794A는 비상관 신호를 발생하기 위한 합성기를 개시한다.
본 발명의 목적은 멀티 사운드 소스들의 가상화를 가능하게 하는 공간화된 사운드를 생성하기 위해 효율적인 방법으로 오디오 데이터 처리를 개선하는 것이다.
상기한 목적을 달성하기 위해, 독립 청구항에 규정된 바와 같은 오디오 데이터를 처리하기 위한 디바이스, 오디오 데이터를 처리하기 위한 방법, 프로그램 요소 및 컴퓨터-판독 가능한 매체가 제공된다.
본 발명의 실시예에 따라, 오디오 데이터를 처리하기 위한 디바이스로서, 복수의 오디오 입력 신호들을 포함하는 조합 신호를 수신하기 위한 입력, 적어도 두 개의 오디오 출력 신호들(OS1, OS2)을 결과하는 필터 계수들(SF1, SF2)에 따라 상기 조합 신호를 필터링하도록 구성된 필터 유닛(103), 및 상기 오디오 입력 신호들의 사운드 소스들의 공간적 위치들을 나타내는 위치 정보, 주파수 대역에서 각각의 사운드 소스의 에너지를 나타내는 스펙트럼 파워 정보, 및 전달 함수 파라미터들을 수신하도록 구성된 파라미터 변환 유닛(104)으로서, 상기 위치 정보, 상기 스펙트럼 파워 정보, 및 상기 전달 함수 파라미터들에 기초하여 상기 필터 계수들(SF1, SF2)을 발생시키도록 구성된 상기 파라미터 변환 유닛(104)을 포함하고, 상기 파라미터 변환 유닛(104)은 주파수 대역에서 각각의 사운드 소스의 상기 에너지를 이용하는 각각의 사운드 소스의 상기 공간 파라미터들을 가중시킴으로써 평균된 공간 파라미터들의 세트를 발생시키고, 상기 평균된 공간 파라미터들의 세트에 응답하여 상기 필터 계수들을 결정하도록 구성되는, 오디오 데이터 처리를 위한 디바이스가 제공된다.
또한, 본 발명의 다른 실시예에 따라, 오디오 데이터를 처리하는 방법으로서, 복수의 오디오 입력 신호들을 포함하는 조합 신호를 수신하는 단계, 적어도 두 개의 오디오 출력 신호들을 결과하는 필터 계수들에 따라 상기 조합 신호를 필터링하는 단계, 상기 오디오 입력 신호들의 사운드 소스들의 공간적 위치들을 나타내는 위치 정보, 주파수 대역에서 각각의 사운드 소스의 에너지를 나타내는 스펙트럼 파워 정보, 및 전달 함수 파라미터들을 수신하는 단계, 및 상기 위치 정보, 상기 스펙트럼 파워 정보, 및 상기 전달 함수 파라미터들에 기초하여 상기 필터 계수들을 발생시키는 단계로서, 주파수 대역에서 각각의 사운드 소스의 상기 에너지를 이용하는 각각의 사운드 소스의 상기 공간 파라미터들을 가중시킴으로써 평균된 공간 파라미터들의 세트를 발생시키는 단계, 및 상기 평균된 공간 파라미터들의 세트에 응답하여 상기 필터 계수들을 결정하는 단계를 포함하는 상기 필터 계수들을 발생시키는 단계를 포함하는, 오디오 데이터를 처리하는 방법이 제공된다.
본 발명에 따른 오디오 데이터 처리는 컴퓨터 프로그램, 예를 들어 소프트웨어에 의해 또는 특별한 전자 최적화 회로 예를 들어 하드웨어에 의해 또는 하이브리드 형태 예를 들어 하드웨어 성분 및 소프트웨어 성분에 의해 실현될 수 있다.
종래의 HRTF 데이터베이스들은 종종 매우 많은 양의 정보로 일컬어진다. 각각의 시간-도메인 임펄스 응답은 약 64 개의 샘플들(저-복잡도, 울림이 없는 조건)에서 수천 개의 샘플들(반향하는 룸)을 포함한다. HRTF 쌍이 수평 및 수직 방향에서 10 도로 측정되면, 계수들의 양은 적어도 360/10*180/10*64 = 41472 계수들(64-샘플 임펄스 응답으로 가정)로 저장되지만, 더 큰 단위가 될 수 있다. 대칭적인 머리는 (180/10)*9180/10)*64 계수들(41472 계수의 반)을 필요로 한다.
본 발명에 따른 특징들은 특히 다수의 가상 사운드 소스들의 가상화가 다수의 가상 사운드 소스들에 거의 독립적인 계산적 복잡도로 가능하게 된다는 장점을 갖는다.
즉, 다수의 동시 사운드 소스들이 유리하게 단일 사운드 소스의 처리 복잡도와 대략 같은 처리 복잡도로 합성될 수 있다. 감소된 처리 복잡도로 실시간 처리가, 많은 수의 사운드 소스들에 대해서도 유리하게 가능해진다.
본 발명의 실시예에 따라 파악되는 또 다른 목적은 실제 사운드 소스가 가상 사운드 소스의 위치(3D 위치)에 배치된 경우 제공될 수 있는 사운드 압력과 동등한 사운드 압력 레벨로 청취자의 고막에서 재생하는 것이다.
다른 측면에서, 시각적으로 불편한 사람 및 잘 보이는 사람 모두를 위한 사용자 인터페이스로서 이용될 수 있는 풍부한 청각 환경을 생성하는데 목적이 있다. 본 발명에 따른 애플리케이션은 청취자에게 소스가 정확한 공간적 위치에 있다는 인상을 주는 가상 음향 사운드 소스들을 렌더링할 수 있다.
본 발명의 다른 실시예들은 종속 청구항들을 참조하여 이하에 기술된다.
이제 오디오 데이터를 처리하기 위한 디바이스의 실시예가 기술된다. 이들 실시예들은 또한 오디오 데이터 처리 방법, 컴퓨터-판독 가능 매체 및 프로그램 요소들에 적용될 수 있다.
본 발명의 한 측면에서, 오디오 입력 신호들이 이미 혼합되었으면, 각각의 개별적인 오디오 입력 신호의 상대적인 레벨은 스펙트럼 파워 정보에 기초하여 다소 신장하도록 조정될 수 있다. 이러한 조정은 한계(예를 들어, 6 또는 10dB의 최대 변경)내에서만 가능하다. 보통, 거리의 영향은, 신호 레벨이 사운드 소스 거리의 역에 대략 선형적으로 스케일된다는 사실로 인해 10dB보다 훨씬 크다.
유리하게, 디바이스는 이득 인자에 기초하여 오디오 입력 신호들을 스케일하도록 구성된 스케일링 유닛을 더 포함할 수 있다. 본 원에서, 파라미터 변환 유닛은 부가적으로 오디오 입력 신호들의 사운드 소스들의 거리를 나타내는 거리 정보를 수신하고 상기 거리 정보에 기초하여 이득 인자들을 발생하도록 유리하게 구성될 수 있다. 따라서, 거리의 영향은 간단하고 만족스런 방법으로 달성될 수 있다. 이득 인자는 거리 분의 1 만큼 감소될 수 있다. 이에 따라, 사운드 소스의 파워는 음향학적 원리에 의해 모델링되거나 적응될 수 있다.
선택적으로, 사운드 소스들이 먼 거리에 있는 경우에 적용가능한 바와 같이, 이득 인자들은 공기 흡수 효과를 반영할 것이다. 따라서, 더 실제적인 사운드 센세이션(sound sensation)이 달성될 수 있다.
본 실시예에 따라, 필터 유닛은 고속 푸리에 변환(FFT; fast Fourier transform)에 기초한다. 이는 효과적이고 빠른 처리를 가능하게 한다.
HRTF 데이터베이스들은 가상 사운드 소스 위치들(전형적으로 고정된 위치 및 공간 해상도의 5 내지 10 도에서)의 한정된 세트를 포함할 수 있다. 많은 상황들에서, 사운드 소스들은 측정 위치들 사이의 위치들(특히 가상 사운드 소스가 시간에 따라 이동할 때)에 대해 발생되어야 한다. 이러한 발생은 사용가능한 임펄스 응답들의 보간(interpolation)을 필요로 한다. HRTF 데이터베이스들이 수평 및 수직 방향들에 대한 응답들을 포함하면, 보간은 각각의 출력 신호에 대해 수행되어야한다. 따라서, 각 헤드폰 출력 신호에 대한 4 개의 임펄스 응답들의 조합이 각 사운드 소스에 대해 요구된다. 다수의 요구된 임펄스 응답들은 더 많은 사운드 소스들이 동시에 "가상화"되어야 할 때 더 중요해진다.
본 발명의 유리한 측면에서, HRTF 모델 파라미터들 및 HRTF들을 나타내는 파라미터들은 저장된 공간 해상도들 사이에서 보간될 수 있다. 종래의 HRTF 테이블을 통해 본 발명에 따른 HRTF 모델 파라미터들을 제공함으로써, 유리하고 더 빠른 처리가 수행될 수 있다.
본 발명에 따른 시스템의 주 적용 분야는 오디오 데이터 처리이다. 그러나, 상기 시스템은 상기 오디오 데이터에 부가하여, 예를 들어 시각적 콘텐트에 관련된 부가적인 데이터가 처리되는 경우에 임베딩될 수 있다. 따라서, 본 발명은 비디오 데이터 처리 시스템의 프레임에서 실현될 수 있다.
본 발명에 따른 디바이스는 차량 오디오 시스템, 휴대용 오디오 플레이어, 휴대용 비디오 플레이어, 헤드-장착 디스플레이, 휴대 전화, DVD 플레이어, CD 플레이어, 하드 디스크 기반 미디어 플레이어, 인터넷 라디오 디바이스, 공중 엔터테인먼트 디바이스, MP3 플레이어로 구성된 그룹 중 어느 하나의 디바이스로 실현될 수 있다. 상기한 디바이스들이 본 발명의 주 적용 분야에 관련되지만, 예를 들어, 전화 회의 시스템 및 원격 현장감(telepresence); 시각적으로 불편한 사람들을 위한 오디오 디스플레이; 통신 교육 시스템(distance learning system) 및 제트 전투기들(3D 오디오가 파일럿들을 도울 수 있음) 및 PC-기반 오디오 플레이어들 뿐만 아니라 텔레비전 및 영화를 위한 전문적인 사운드 및 픽처 편집과 같은, 임의의 다른 애플리케이션도 가능하다.
본 발명의 상기한 측면들 및 다른 측면들이 이하 기술될 실시예들로부터 명백하고 이들 실시예들을 참조하여 설명될 것이다.
본 발명은 본 발명을 제한하는 것이 아닌, 실시예들을 참조하여 이하 더 상세히 설명된다.
본 발명에 따른 특징들은 특히 다수의 가상 사운드 소스들의 가상화가 다수의 가상 사운드 소스들에 거의 독립적인 계산적 복잡도로 가능하게 된다는 장점을 갖는다.
도 1은 본 발명의 바람직한 실시예에 따라 오디오 데이터를 처리하는 디바이스를 도시한 도면.
도 2는 본 발명의 다른 실시예에 따라 오디오 데이터를 처리하는 디바이스를 도시하는 도면.
도 3은 본 발명의 실시예에 따라 오디오 데이터를 처리하는, 저장 유닛을 포함하는 디바이스를 도시하는 도면.
도 4는 도 1 또는 도 2에 도시된 오디오 데이터를 처리하기 위한 디바이스에서 구현된 필터 유닛을 상세히 도시한 도면.
도 5는 본 발명의 실시예에 따른 또 다른 필터 유닛을 도시하는 도면.
도 2는 본 발명의 다른 실시예에 따라 오디오 데이터를 처리하는 디바이스를 도시하는 도면.
도 3은 본 발명의 실시예에 따라 오디오 데이터를 처리하는, 저장 유닛을 포함하는 디바이스를 도시하는 도면.
도 4는 도 1 또는 도 2에 도시된 오디오 데이터를 처리하기 위한 디바이스에서 구현된 필터 유닛을 상세히 도시한 도면.
도 5는 본 발명의 실시예에 따른 또 다른 필터 유닛을 도시하는 도면.
도면들은 개략적으로 도시되었다. 상이한 도면들에서 동일한 참조 번호는 유사하거나 동일한 소자를 표시한다.
본 발명에 따른 입력 오디오 데이터(Xi)를 처리하기 위한 디바이스(100)가 도 1을 참조하여 기술된다.
디바이스(100)는 오디오 입력 신호들 Xi로부터 합산 신호 SUM을 발생하기 위해 다수의 오디오 입력 신호들 Xi을 수신하도록 구성된다. 상기 합산 신호 SUM은, 이 경우 제 1 필터 계수 SF1 및 제 2 필터 계수 SF2인 필터 계수들에 기초하여, 제 1 오디오 출력 신호 및 제 2 오디오 출력신호 OS2를 결과하도록 상기 합산 신호 SUM을 필터링하도록 구성된 필터 유닛(103)에 공급된다. 필터 유닛(103)의 상세한 설명은 이하에 주어진다.
또한, 도 1에 도시된 바와 같이 디바이스(100)는 한편으로는 상기 오디오 입력 신호 Xi의 사운드 소스의 공간적 위치를 나타내는 위치 정보 Vi를 수신하고, 다른 한편으로는 상기 오디오 입력 신호들 Xi의 스펙트럼 파워를 나타내는 스펙트럼 파워 정보 Si를 수신하도록 구성된 파라미터 변환 유닛(104)으로서, 상기 위치 정보 Vi 및 상기 스펙트럼 파워 정보 Si에 기초하여 상기 필터 계수들(SF1, SF2)을 발생하도록 구성되고, 또한 전달 함수 파라미터들을 수신하고 상기 전달 함수 파라미터들에 따라 상기 필터 계수들을 발생하도록 구성된, 상기 파라미터 변환 유닛(104)을 포함한다.
도 2는 본 발명의 다른 실시예의 장치(200)를 도시한다. 상기 장치(200)는 도 1에 도시된 실시예에 따른 디바이스(100)를 포함하고, 이득 인자 gi에 기초하여 오디오 입력 신호들 Xi를 스케일링하도록 구성된 스케일링 유닛(201)을 더 포함한다. 본 실시예에서, 파라미터 변환 유닛(104)은 또한 상기 오디오 입력 신호들의 사운드 소스들의 거리들을 나타내는 거리 정보를 수신하고 상기 거리 정보에 기초하여 이득 인자들 gi를 발생하고 이들 이득 인자들 gi를 스케일링 유닛(201)에 제공하도록 구성된다. 따라서, 거리의 영향이 단순한 측정에 의해 신뢰성 있게 달성된다.
본 발명에 따른 시스템 또는 디바이스의 실시예가 도 3을 참조하여 더 상세히 기술된다.
도 3의 실시예에서, 도 2에 도시된 실시예에 따른 장치(200)를 포함하고 저장 유닛(301), 오디오 데이터 인터페이스(302), 위치 데이터 인터페이스(303), 스펙트럼 파워 데이터 인터페이스(304) 및 HRTF 파라미터 인터페이스(305)를 더 포함하는 시스템(300)이 도시된다.
저장 유닛(301)은 오디오 파형 데이터를 저장하도록 구성되고 오디오 데이터 인터페이스(302)는 저장된 오디오 파형 데이터에 기초하여 다수의 오디오 입력 신호들 Xi를 제공하도록 구성된다.
이 경우, 오디오 파형 데이터는 각 사운드 소스에 대한 펄스 코드 변조(PCM)파 테이블의 형태로 저장된다. 그러나, 파형 데이터는 다른 형태, 예를 들어 MPEG-1 layer3(MP3), AAC(advanced audio coding), AAC-Plus 등의 표준들에 따른 압축된 포맷으로 부가적으로 또는 개별적으로 저장될 수 있다.
저장 유닛(301)에 각 사운드 소스에 대해 위치 정보 Vi가 또한 저장되고, 위치 데이터 인터페이스(303)는 저장된 위치 정보 Vi를 제공하도록 구성된다.
이 경우, 바람직한 실시예는 컴퓨터 게임 애플리케이션이다. 이러한 컴퓨터 게임 애플리케이션에서, 위치 정보 Vi는 시간에 따라 변하고 공간에서 프로그램된 절대적인 위치(예를 들어, 컴퓨터 게임의 장면에서 가상 공간 위치)를 따르지만, 또한 사용자의 행동, 예를 들어 게임 장면에서 가상의 사람 또는 사용자가 회전하거나 그/그녀의 가상의 위치를 변경할 때, 사용자에 대한 사운드 소스 위치는 변하거나 변해야 한다.
이러한 컴퓨터 게임에서, 컴퓨터 게임의 장면의 상이한 공간적 위치에서 단일 사운드 소스(예를 들어, 뒤로부터 발포)로부터 모든 악기를 갖는 폴리포닉 뮤직(polyphonic music)까지 모든 것이 가능하다. 동시 사운드 소스들의 수는 예를 들어 64만큼 크고 따라서, 오디오 입력 신호들 Xi은 X1에서 X64의 범위이다.
인터페이스 유닛(302)은 크기 n의 프레임에 저장된 오디오 파형 데이터에 기초하여 오디오 입력 신호들 Xi를 제공한다. 이 경우, 각각의 오디오 입력 신호 Xi는 11kHz의 샘플링 레이트로 제공된다. 예를 들어, 각 오디오 입력 신호 Xi에 대해 44kHz와 같이 상이한 샘플링 레이트도 가능하다.
스케일링 유닛(201)에서, 크기 n의 입력 신호들 Xi, 즉 Xi[n]은 식 (1)에 따라 채널 당 이득 인자 또는 가중치 gi를 이용하여, 합산 신호 SUM, 즉 모노 신호 m[n]으로 결합된다.
이득 인자들 gi은 상기에 설명된 바와 같이, 위치 정보 Vi에 의해 동반되는 저장된 거리 정보에 기초하여 파라미터 변환 유닛(104)에 의해 제공된다. 위치 정보 Vi 및 스펙트럼 파워 정보 Si 파라미터들은 전형적으로 예를 들어 매 11ms 마다 업데이트와 같이 훨씬 낮은 업데이트 레이트를 갖는다. 이 경우, 사운드 소스 당 위치 정보 Vi는 방위, 높이 및 거리 정보의 3가지로 구성된다. 대안적으로, Cartesian 좌표(x, y, z) 또는 대안적인 좌표들이 이용될 수 있다. 선택적으로, 위치 정보는 예를 들어, 높이 정보 및/또는 방위 정보 및/또는 거리 정보의 조합 또는 서브세트의 정보를 포함할 수 있다.
원칙적으로, 이득 인자들 gi[n]은 시간 의존적이다. 그러나, 이들 이득 인자들의 요구되는 업데이트 레이트는 입력 오디오 신호 Xi의 오디오 샘플링 레이트보다 현저하게 낮다는 사실이 주어지고, 이득 인자들 gi[n]이 짧은 시간 기간에 대해 일정하다고 가정된다(상기한 바와 같이, 11ms 내지 23ms). 이러한 특성은 이득 인자들 gi이 일정하고 합산 신호 m[n]가 식 (2)에 의해 주어지는 프레임-기반 처리를 가능하게 한다.
도 4 및 도 5를 참조하여 필터 유닛(103)이 설명된다.
도 4에 도시된 필터 유닛(103)은 세크멘테이션 유닛(401), 고속 푸리에 변환(FFT) 유닛(402), 제 1 서브 대역 그룹핑 유닛(sub-band grouping unit; 403), 제 1 믹서(404), 제 1 결합 유닛(405), 제 1 역-FFT 유닛(406), 제 1 오버랩-부가 유닛(407), 제 2 서브 대역 그룹핑 유닛(sub-band grouping unit; 408), 제 2 믹서(409), 제 2 결합 유닛(410), 제 2 역-FFT 유닛(411) 및 제 2 오버랩-부가 유닛(412)을 포함한다. 제 1 서브 대역 그룹핑 유닛(sub-band grouping unit; 403), 제 1 믹서(404) 및 제 1 결합 유닛(405)은 제 1 믹싱 유닛(413)을 구성한다. 유사하게, 제 2 서브 대역 그룹핑 유닛(sub-band grouping unit; 408), 제 2 믹서(409) 및 제 2 결합 유닛(410)은 제 2 믹싱 유닛(414)을 구성한다.
세그먼테이션 유닛(401)은 들어오는 신호 예를 들어, 합산 신호 SUM 및 신호m[n]을 이 경우, 오버래핑 프레임들 및 각 프레임의 윈도우로 각각 세그먼트하도록 구성된다. 이 경우, Hanning 윈도우가 윈도우로 이용된다. 예를 들어 Welch 또는 삼각의 윈도우와 같은 다른 방법이 이용될 수 있다.
이어서, FFT 유닛(402)은 각각의 윈도우된 신호를 FFT를 이용하여 주파수 도메인으로 변환하도록 구성된다.
주어진 예에서, 길이 N의 각각의 프레임 m[n](n= 0....N-1)은 FFT를 이용하여 주파수 도메인으로 변환된다.
이러한 주파수 도메인 표현 M[k]은 제 1 채널로 복사되고, 또한 왼쪽 채널 L로 간주되고, 제 2 채널로 복사되고 또한 오른쪽 채널 R로 간주된다. 이어서, 주파수 도메인 신호 M[k]는 각 채널에 대해 FFT bin들을 그룹핑함으로써 서브 대역 b(b=0....B-1)으로 분할된다, 예를 들어 그룹핑은 왼쪽 채널 L에 대해 제 1 서브 대역 그룹핑 유닛(403)에 의해 수행되고 오른쪽 채널 R에 대해 제 2 서브 대역 그룹핑 유닛(408)에 의해 수행된다. 왼쪽 출력 프레임들 L[k] 및 오른쪽 출력 프레임들 R[k](FFT 도메인에서)은 대역별로 발생된다.
실제 처리는 현재 FFT bin이 대응하는 주파수 범위에 대해 저장된 각각의 스케일 인자에 따라 각각의 FFT bin의 변형(스케일링)뿐만 아니라, 저장된 시간 또는 위상 차에 따라 위상의 변형으로 구성된다. 위상 차에 있어서, 이러한 차이는 임의의 방법으로 (예를 들어, 양 채널들에(2로 나뉜) 또는 단지 한 채널에만) 적용될 수 있다. 각각의 FFT bin의 각각의 스케일 인자는 필터 계수 벡터, 즉 이 경우에서 제 1 믹서(404)에 제공된 제 1 필터 계수(SF1) 및 제 2 믹서(409)에 제공된 제 2 필터 계수(SF2)에 의해 제공된다.
이 경우에서, 필터 계수 벡터는 각각의 출력 신호에 대해 주파수 서브 대역에 대한 복소수 값 스케일 인자를 제공한다.
이어서, 스케일링 후에, 변형된 왼쪽 출력 프레임들 L[k]은 왼쪽 시간 도메인 신호를 얻는 역 FFT 유닛(406)에 의해 시간 도메인으로 변환되고, 오른쪽 출력 프레임들 R[k]은 오른쪽 시간 도메인 신호를 얻는 역 FFT 유닛(411)에 의해 변환된다. 마지막으로, 얻어진 시간 도메인 신호들에 대한 오버랩-부가 동작으로 각 출력 채널에 대해 최종 시간 도메인이 된다, 예를 들어 제 1 오버랩-부가 유닛(407)에 의해 제 1 출력 채널 신호 OS1를 얻고 제 2 오버랩-부가 유닛(412)에 의해 제 2 출력 채널 신호 OS2를 얻는다.
도 5에 도시된 필터 유닛(103)은, FFT 유닛(402)으로부터 얻어진 주파수 도메인 신호로부터 유도된 역상관 신호(decorrelation signal)를 각각의 출력 채널에 제공하도록 구성된 역상관 유닛(501)이 제공된 것이 도 4에 도시된 필터 유닛(103)과 다르다. 도 5에 도시된 필터 유닛(103')에서, 도 4에 도시된 제 1 믹싱 유닛(413)과 유사한 제 1 믹싱 유닛(413')이 제공되지만, 이는 역상관 신호를 처리하도록 더 구성된다. 유사하게, 도 4에 도시된 제 2 믹싱 유닛(414)과 유사한 제 2 믹싱 유닛(414')이 제공되고, 도 5의 제 2 믹싱 유닛(414') 또한 역상관 신호를 처리하도록 더 구성된다.
이 경우, 두 개의 출력 신호들 L[k] 및 R[k](FFT 도메인에서)은 대역별로 아래와 같이 발생된다.
여기서, D[k]는 이하의 특성에 따라 주파수 도메인 표현 M[k]으로부터 얻어진 역상관 신호를 나타낸다.
여기서 <..>는 기대 값 연산자를 나타낸다.
여기서, (*)는 켤레 복소수를 나타낸다.
역상관 유닛(501)은 FIFO를 이용하여 달성되는 10 내지 20ms의 지연시간을 갖는 단순 지연으로 구성된다. 또 다른 실시예에서, 역상관 유닛은 랜덤화된 크기 또는 위상 응답에 기초하거나, FFT에서 IIR 또는 전 대역통과형 구조, 서브 대역 또는 시간 도메인으로 구성될 수 있다. 이러한 역상관 방법의 예들은 본원에 참조로서 포함된, Engdegard, Heiko Purnhagen, Jonas Roden, Lars Liljeryd(2004): "Synthetic ambiance in parametric stereo coding" 베를린, 116th AES 총회 회보에 주어진다.
역상관 필터는 특정한 주파수 대역에서 "산만한" 인식을 생성하는 것을 목적으로 한다. 시간 또는 레벨 차이를 제외하고 청취자의 양 귀에 도달하는 출력 신호들이 동일하다면, 청취자는 특정한 위치(시간 및 레벨 차이에 따른)로부터 오는 사운드로 인식한다. 이 경우, 방향이 매우 명확해진다, 즉 신호는 공간적으로 "컴팩트"하다.
그러나, 상이한 방향으로부터 동시에 다중 사운드 소스들이 도달하면, 각각의 귀는 상이한 혼합된 사운드 소스들을 수신하게 된다. 따라서, 귀들 사이의 상이함은 심플(주파수-의존) 시간 및/또는 레벨 차이로 모델링될 수 없다. 따라서, 이 경우, 상이한 사운드 소스들이 이미 단일 사운드 소스로 혼합되고, 상이한 혼합들의 재현(recreation)은 불가능하다. 그러나, 이러한 재현은 인간의 청취 시스템이 공간적 특성에 기초하여 개별적인 사운드 소스들을 분리하는데 어려움을 갖는다고 알려져 있기 때문에, 기본적으로 필요하지는 않다. 이 경우 주요 지각의 측면은 파형들이 시간 및 레벨 차이들에 대해 보상되는 경우 양쪽 귀에서 파형들이 어떻게 다른지이다. 채널 간 일관성의 수학적 개념(또는 정규화된 상호 비교 함수(cross-correlation function)의 최대 값)은 공간적 '컴팩트함'의 인식에 밀접하게 매칭하는 측정으로 도시된다.
주요 측면은 양쪽 귀에서 혼합들이 틀린 경우에도 가상 사운드 소스들의 유사한 인식을 일깨우기 위해 정확한 채널 간 일관성이 재현되어야 한다는 것이다. 이러한 인식은 "공간의 산만함"이나 "컴팩트함"의 결여로 기술될 수 있다. 이는 믹싱 유닛과 조합하여 역상관 필터가 재현하는 것이다.
파라미터 변환 유닛(104)은 파형들이 단일 사운드 소스 처리에 기초할 때 정규 HRTF 시스템의 경우에 파형들이 어떻게 달라질 것인지를 결정한다. 이어서, 두 개의 출력 신호들에서 방향과 역상관 신호를 다르게 믹싱함으로써, 단순한 스케일링 및 시간 지연들로 귀착될 수 없는 신호들의 이러한 차이들을 재현하는 것이 가능하다. 바람직하게, 실제 사운드 스테이지는 이러한 산만함 파라미터를 재현함으로써 얻어진다.
.상기된 바와 같이, 파라미터 변환 유닛(104)은 각각의 오디오 입력 신호 Xi에 대한 위치 벡터들 Vi 및 스펙트럼 파워 정보 Si로부터 필터 계수들(SF1, SF2)을 발생하도록 구성된다. 이 경우, 필터 계수들은 복소수 값의 믹싱 인자들 hxx ,b로 표현된다. 이러한 복소수 값의 믹싱 인자들은 특히 저주파 영역에서 바람직하다. 실수 값의 믹싱 인자들은 고주파 처리시에 이용될 수 있다고 할 수 있다.
이 경우, 복소수 값의 믹싱 인자들(hxx,b)의 값들은 특히, 헤드관련 전달 함수(HRTF) 모델 파라미터들 Pl ,b(α,ε), Pr ,b(α,ε)을 나타내는 전달 함수 파라미터들에 따른다. 여기서, HRTF 모델 파라미터 Pl ,b(α,ε)는 왼쪽 귀에 대해 각각의 서브 대역 b에서 rms(root-mean-square) 파워를 나타내고, HRTF 파라미터 Pr ,b(α,ε)는 오른쪽 귀에 대해 각각의 서브 대역 b에서 rms 파워를 나타내고, HRTF 모델 파라미터 φb(α,ε)는 왼쪽 귀와 오른쪽 귀 HRTF 사이의 평균 복소수 값의 위상각을 나타낸다. 모든 HRTF 모델 파라미터들은 방위(α) 및 높이(ε)의 함수로서 제공된다. 그래서, 본 애플리케이션에서, 실제 HRTF들(유한 임펄스-응답 테이블로 저장되고, 다수의 상이한 방위 및 높이 값들에 의해 인덱싱된)에 대한 필요성 없이, HRTF 파라미터들 Pl ,b(α,ε), Pr ,b(α,ε), φb(α,ε) 만 필요로 한다.
HRTF 모델 파라미터들은, 이 경우 수평 및 수직 방향 모두에서 20 도의 공간 해상도에 대해, 가상 사운드 소스 위치들의 제한된 세트에 대해 저장된다. 다른 해상도들, 예를 들어 10 또는 30 도의 공간 해상도들도 가능하거나 적절하다.
본 실시예에서, 저장된 공간 해상도 사이의 HRTF 모델 파라미터들을 보간하도록 구성된 보간 유닛(interpolation unit)이 제공될 수 있다. 쌍 일차 보간(bi-linear interpolation)이 적용되는 것이 바람직하지만, 다른 (비-선형) 보간 방법들이 적절할 수 있다.
본 발명에 따른 HRTF 모델 파라미터들을 종래의 HRTF 테이블을 통해 제공함으로써, 바람직하게 더 빠른 처리가 수행될 수 있다. 특히 컴퓨터 게임 애플리케이션에서, 머리의 움직임이 고려되면, 오디오 사운드 소스들의 재생은 저장된 HRTF 데이터 사이의 고속 보간을 요구한다.
또 다른 실시예에서, 파라미터 변환 유닛에 제공된 전달 함수 파라미터들은 구형 머리 모델(spherical head model)에 기초하고, 이를 나타낸다.
이 경우, 스펙트럼 파워 정보 Si는 입력 신호 Xi의 현재 프레임에 대응하는 주파수 서브 대역 당 선형 도메인의 파워 값을 나타낸다. 이에 따라 Si를 서브 대역 당 파워 또는 에너지 값들을 갖는 벡터 σ2로 해석할 수 있다:
이 경우에서 주파수 서브 대역들(b)의 수는 10이다. 스펙트럼 파워 정보 Si는 파워 또는 대수 도메인(logarithmic domain)의 파워 값에 의해 표현될 수 있고, 주파수 서브 대역의 수는 30 내지 40 개의 주파수 서브 대역들의 값을 달성할 수 있다.
파워 정보 Si는 기본적으로 특정한 주파수 대역 및 서브 대역 각각에서 특정한 사운드 소스가 에너지를 얼마나 많이 갖는 지를 기술한다. 특정한 사운드 소스가 특정한 주파수 대역에서 모든 다른 주파수들에 대해 우세하면(에너지에 있어서), 이 우세한 사운드 소스의 공간 파라미터들이 필터 동작에 의해 적용된 '합성' 공간 파라미터들에 대해 더 많은 가중치를 얻는다. 즉, 각각의 사운드 소스의 공간 파라미터들은 공간 파라미터들의 평균적인 세트를 계산하기 위해 주파수 대역에서 각각의 사운드 소스의 에너지를 이용함으로써 가중된다. 이들 파라미터들에 대한 중요한 확장은 발생된 위상 차 및 채널 당 레벨뿐만 아니라, 일관성 값(coherence)이다. 파형들이 얼마나 유사한지를 기술하는 이 값은 두 개의 필터 동작들에 의해 발생된 것이어야 한다.
필터 인자들 또는 복소수 값의 믹싱 인자들 hxx ,b에 대한 기준을 설명하기 위해, 대안적인 출력 신호들의 쌍, 즉 HRTF 파라미터들 Pl ,b(α,ε), Pr ,b(α,ε) 및 φb(α,ε)에 따른 각각의 입력 신호 Xi의 독립적인 변형으로부터 결과되는 출력 신호들 L', R'이 도입되고 출력들의 합산이 뒤따른다.
믹싱 인자들 hxx ,b은 이하의 기준에 따라 얻어진다:
1. 입력 신호들 Xi은 각각의 주파수 대역 b에서 상호 독립적인 것으로 가정된다.
2. 각각의 서브 대역 b에서 출력 신호 L[k]의 파워는 신호 L'[k]의 동일한 서브 대역의 파워와 같아야 한다.
3. 각각의 서브 대역 b에서 출력 신호 R[k]의 파워는 신호 R'[k]의 동일한 서브 대역의 파워와 같아야 한다.
4. 신호들 L[k] 와 M[k] 사이의 평균 복소 각은 각각의 주파수 대역 b에 대한 신호들 L'[k] 와 M'[k] 사이의 평균 복소 위상 각과 같아야 한다.
5. 신호들 R[k] 와 M[k] 사이의 평균 복소 각은 각각의 주파수 대역 b에 대한 신호들 R'[k] 와 M'[k] 사이의 평균 복소 위상 각과 같아야 한다.
6. 신호들 L[k] 와 R[k] 사이의 일관성은 각각의 주파수 대역 b에 대한 신호들 L'[k] 와 R'[k] 사이의 일관성과 같아야 한다.
이하의 해결책(유일하지 않은)이 상기한 기준을 만족시킨다는 것을 증명할 수 있다:
여기서, σb,i는 신호 Xi의 서브 대역 b에서의 에너지 또는 파워를 나타내고, δi는 사운드 소스 i의 거리를 나타낸다.
본 발명의 다른 실시예에서, 필터 유닛(103)은 대안적으로 실수 값 또는 복소수 값, 즉 hxy ,b의 주파수 의존도를 모방하는 IIR 필터 또는 FIR 필터에 기초하여 FFT 접근방법은 더 이상 필요하지 않다.
청각 디스플레이에서, 오디오 출력은 스피커 또는 청취자가 착용한 헤드폰을 통해 청취자에게 전달된다. 헤드폰들 및 스피커들 모두는 장점뿐만 아니라 단점도 갖고, 스피커나 헤드폰은 애플리케이션에 따라 더 양호한 결과를 생산할 수 있다. 또다른 실시예에 대해, 예를 들어 귀 마다 하나 이상의 스피커나 스피커 재생 구성을 이용하는 헤드폰과 같이 더 많은 출력 채널들이 제공될 수 있다.
동사 "포함하다" 및 그 활용형의 이용은 다른 소자들 또는 단계들을 배제하지 않고, "a" 나 "an"의 이용이 복수의 소자들 또는 단계들을 배제하지 않는다는 것을 유의해야 한다.
청구항의 참조 번호들은 청구항들의 범위를 제한하는 것으로 해석되어서는 안된다는 것을 유의해야 한다.
Claims (14)
- 오디오 데이터(Xi)를 처리하기 위한 디바이스(100)로서,
복수의 오디오 입력 신호들을 포함하는 조합 신호를 수신하기 위한 입력;
적어도 두 개의 오디오 출력 신호들(OS1, OS2)을 결과하는 필터 계수들(SF1, SF2)에 따라 상기 조합 신호를 필터링하도록 구성된 필터 유닛(103); 및
상기 오디오 입력 신호들의 사운드 소스들의 공간적 위치들을 나타내는 위치 정보, 주파수 대역에서 각각의 사운드 소스의 에너지를 나타내는 스펙트럼 파워 정보, 및 전달 함수 파라미터들을 수신하도록 구성된 파라미터 변환 유닛(104)으로서, 상기 위치 정보, 상기 스펙트럼 파워 정보, 및 상기 전달 함수 파라미터들에 기초하여 상기 필터 계수들(SF1, SF2)을 발생시키도록 구성된 상기 파라미터 변환 유닛(104)을 포함하고,
상기 파라미터 변환 유닛(104)은 주파수 대역에서 각각의 사운드 소스의 상기 에너지를 이용하여 각각의 사운드 소스의 상기 공간 파라미터들을 가중시킴으로써 평균된 공간 파라미터들의 세트를 발생시키고, 상기 평균된 공간 파라미터들의 세트에 응답하여 상기 필터 계수들을 결정하도록 구성되는, 오디오 데이터 처리를 위한 디바이스. - 제 1 항에 있어서,
상기 전달 함수 파라미터들은 각 오디오 출력 신호에 대한 헤드관련 전달 함수(HRTF; head-related transfer function)를 나타내는 파라미터들이고, 상기 전달 함수 파라미터들은 주파수 서브 대역들에서 파워 및 각각의 출력 채널의 헤드관련 전달 함수들 사이의 주파수 서브 대역 당 실수 값의 위상 각 또는 복소수 값의 위상 각을 방위 및 높이의 함수로서 나타내는, 오디오 데이터 처리를 위한 디바이스. - 제 2 항에 있어서,
상기 주파수 서브 대역 당 복소수 값의 위상 각은 각각의 출력 채널의 헤드관련 전달 함수들 사이의 평균 위상 각을 나타내는, 오디오 데이터 처리를 위한 디바이스. - 제 1 항 또는 제 2 항에 있어서,
이득 인자들에 기초하여 상기 오디오 입력 신호들을 스케일링하도록 구성된 스케일링 유닛(201)을 더 포함하는, 오디오 처리를 위한 디바이스. - 제 4 항에 있어서,
상기 파라미터 변환 유닛(104)은, 상기 오디오 입력 신호들의 사운드 소스들의 거리를 나타내는 거리 정보를 수신하고 상기 거리 정보에 기초하여 이득 인자들을 발생시키도록 더 구성되는, 오디오 데이터 처리를 위한 디바이스. - 제 1 항 또는 제 2 항에 있어서,
상기 필터 유닛(103)은 고속 푸리에 변환(FFT; fast sourier transform) 또는 실수 값 또는 복소수 값 필터 뱅크에 기초하는, 오디오 데이터를 처리하기 위한 디바이스. - 제 6 항에 있어서,
상기 필터 유닛(103)은 적어도 두 개의 오디오 출력 신호들 각각에 역상관 신호(decorrelation signal)를 인가하도록 구성된 역상관 유닛을 더 포함하는, 오디오 데이터를 처리하기 위한 디바이스. - 제 6 항에 있어서,
상기 필터 유닛(103)은 각각의 출력 신호에 대해 주파수 서브 대역들에 대한 복소수 값 스케일 인자들의 형태로 제공된 필터 계수들을 처리하도록 구성되는, 오디오 데이터를 처리하기 위한 디바이스. - 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
오디오 파형 데이터를 저장하기 위한 저장 수단(301) 및 상기 저장된 오디오 파형 데이터에 기초하여 상기 다수의 오디오 입력 신호들을 제공하기 위한 인터페이스 유닛(302)을 더 포함하는, 오디오 데이터를 처리하기 위한 디바이스. - 제 9 항에 있어서,
상기 저장 수단(301)은 펄스 코드-변조(PCM; pulse code-modulated) 포맷 및/또는 압축 포맷으로 오디오 파형 데이터를 저장하도록 구성되는, 오디오 처리를 위한 디바이스. - 제 9 항 또는 제 10항에 있어서,
상기 저장 수단(301)은 시간 및/또는 주파수 서브 대역 당 스펙트럼 파워 정보를 저장하도록 구성되는, 오디오 데이터를 처리하기 위한 디바이스. - 제 1 항에 있어서,
상기 위치 정보는 높이 정보, 방위 정보, 및 거리 정보 중 적어도 하나에 의한 정보를 포함하는, 오디오 데이터를 처리하기 위한 디바이스. - 제 9 항에 있어서,
휴대용 오디오 플레이어, 휴대용 비디오 플레이어, 헤드-장착 디스플레이, 휴대 전화, DVD 플레이어, CD 플레이어, 하드 디스크 기반 미디어 플레이어, 인터넷 라디오 디바이스, 공중 엔터테인먼트 디바이스, MP3 플레이어, PC 기반 미디어 플레이어, 전화 회의 디바이스, 제트 파이터(jet fighter)로 구성된 그룹 중 하나로서 실현되는, 오디오 데이터를 처리하기 위한 디바이스. - 오디오 데이터(101)를 처리하는 방법으로서,
복수의 오디오 입력 신호들을 포함하는 조합 신호를 수신하는 단계,
적어도 두 개의 오디오 출력 신호들을 결과하는 필터 계수들에 따라 상기 조합 신호를 필터링하는 단계,
상기 오디오 입력 신호들의 사운드 소스들의 공간적 위치들을 나타내는 위치 정보, 주파수 대역에서 각각의 사운드 소스의 에너지를 나타내는 스펙트럼 파워 정보, 및 전달 함수 파라미터들을 수신하는 단계, 및
상기 위치 정보, 상기 스펙트럼 파워 정보, 및 상기 전달 함수 파라미터들에 기초하여 상기 필터 계수들을 발생시키는 단계를 포함하고,
상기 필터 계수들을 발생시키는 단계는 주파수 대역에서 각각의 사운드 소스의 상기 에너지를 이용하여 각각의 사운드 소스의 상기 공간 파라미터들을 가중시킴으로써 평균된 공간 파라미터들의 세트를 발생시키는 단계, 및
상기 평균된 공간 파라미터들의 세트에 응답하여 상기 필터 계수들을 결정하는 단계를 포함하는, 오디오 데이터를 처리하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP05108405.1 | 2005-09-13 | ||
| EP05108405 | 2005-09-13 | ||
| PCT/IB2006/053126 WO2007031906A2 (en) | 2005-09-13 | 2006-09-06 | A method of and a device for generating 3d sound |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087008731A Division KR101315070B1 (ko) | 2005-09-13 | 2006-09-06 | 3ｄ 사운드를 발생하기 위한 방법 및 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130045414A true KR20130045414A (ko) | 2013-05-03 |
| KR101370365B1 KR101370365B1 (ko) | 2014-03-05 |
Family
ID=37865325
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137008226A KR101370365B1 (ko) | 2005-09-13 | 2006-09-06 | 3ｄ 사운드를 발생시키기 위한 방법 및 디바이스 |
| KR1020087008731A KR101315070B1 (ko) | 2005-09-13 | 2006-09-06 | 3ｄ 사운드를 발생하기 위한 방법 및 디바이스 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020087008731A KR101315070B1 (ko) | 2005-09-13 | 2006-09-06 | 3ｄ 사운드를 발생하기 위한 방법 및 디바이스 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8515082B2 (ko) |
| EP (1) | EP1927265A2 (ko) |
| JP (1) | JP4938015B2 (ko) |
| KR (2) | KR101370365B1 (ko) |
| CN (2) | CN101263740A (ko) |
| WO (1) | WO2007031906A2 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015041478A1 (ko) * | 2013-09-17 | 2015-03-26 | 주식회사 윌러스표준기술연구소 | 멀티미디어 신호 처리 방법 및 장치 |
| WO2015060652A1 (ko) * | 2013-10-22 | 2015-04-30 | 연세대학교 산학협력단 | 오디오 신호 처리 방법 및 장치 |
| US9832589B2 (en) | 2013-12-23 | 2017-11-28 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US9832585B2 (en) | 2014-03-19 | 2017-11-28 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US9848275B2 (en) | 2014-04-02 | 2017-12-19 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| EP1905002B1 (en) | 2005-05-26 | 2013-05-22 | LG Electronics Inc. | Method and apparatus for decoding audio signal |
| JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| EP1927264B1 (en) * | 2005-09-13 | 2016-07-20 | Koninklijke Philips N.V. | Method of and device for generating and processing parameters representing hrtfs |
| EP1974347B1 (en) * | 2006-01-19 | 2014-08-06 | LG Electronics Inc. | Method and apparatus for processing a media signal |
| WO2007091850A1 (en) | 2006-02-07 | 2007-08-16 | Lg Electronics Inc. | Apparatus and method for encoding/decoding signal |
| KR101431253B1 (ko) * | 2007-06-26 | 2014-08-21 | 코닌클리케 필립스 엔.브이. | 바이노럴 오브젝트―지향 오디오 디코더 |
| CA2732079C (en) | 2008-07-31 | 2016-09-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Signal generation for binaural signals |
| EP2169664A3 (en) * | 2008-09-25 | 2010-04-07 | LG Electronics Inc. | A method and an apparatus for processing a signal |
| US8457976B2 (en) * | 2009-01-30 | 2013-06-04 | Qnx Software Systems Limited | Sub-band processing complexity reduction |
| US9552845B2 (en) | 2009-10-09 | 2017-01-24 | Dolby Laboratories Licensing Corporation | Automatic generation of metadata for audio dominance effects |
| MX2013001111A (es) * | 2010-07-30 | 2013-05-01 | Fraunhofer Ges Forschung | Arreglo de altavoz en reposacabezas. |
| US8693713B2 (en) | 2010-12-17 | 2014-04-08 | Microsoft Corporation | Virtual audio environment for multidimensional conferencing |
| US9633654B2 (en) | 2011-12-06 | 2017-04-25 | Intel Corporation | Low power voice detection |
| EP2645749B1 (en) * | 2012-03-30 | 2020-02-19 | Samsung Electronics Co., Ltd. | Audio apparatus and method of converting audio signal thereof |
| DE102013207149A1 (de) * | 2013-04-19 | 2014-11-06 | Siemens Medical Instruments Pte. Ltd. | Steuerung der Effektstärke eines binauralen direktionalen Mikrofons |
| FR3009158A1 (fr) * | 2013-07-24 | 2015-01-30 | Orange | Spatialisation sonore avec effet de salle |
| MX357405B (es) * | 2014-03-24 | 2018-07-09 | Samsung Electronics Co Ltd | Metodo y aparato de reproduccion de señal acustica y medio de grabacion susceptible de ser leido en computadora. |
| CN104064194B (zh) * | 2014-06-30 | 2017-04-26 | 武汉大学 | 用于提高三维音频空间感距离感的参数编解码方法及系统 |
| US9693009B2 (en) | 2014-09-12 | 2017-06-27 | International Business Machines Corporation | Sound source selection for aural interest |
| WO2016141023A1 (en) | 2015-03-03 | 2016-09-09 | Dolby Laboratories Licensing Corporation | Enhancement of spatial audio signals by modulated decorrelation |
| EP3304927A4 (en) * | 2015-06-03 | 2018-07-18 | Razer (Asia-Pacific) Pte. Ltd. | Headset devices and methods for controlling a headset device |
| US9980077B2 (en) * | 2016-08-11 | 2018-05-22 | Lg Electronics Inc. | Method of interpolating HRTF and audio output apparatus using same |
| CN106899920A (zh) * | 2016-10-28 | 2017-06-27 | 广州奥凯电子有限公司 | 一种声音信号处理方法及系统 |
| CN109243413B (zh) * | 2018-09-25 | 2023-02-10 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
| US11270712B2 (en) | 2019-08-28 | 2022-03-08 | Insoundz Ltd. | System and method for separation of audio sources that interfere with each other using a microphone array |
| US11363402B2 (en) | 2019-12-30 | 2022-06-14 | Comhear Inc. | Method for providing a spatialized soundfield |
| KR20210122348A (ko) * | 2020-03-30 | 2021-10-12 | 삼성전자주식회사 | 음성 인식을 위한 디지털 마이크로폰 인터페이스 회로 및 이를 포함하는 전자 장치 |
| CN112019994B (zh) * | 2020-08-12 | 2022-02-08 | 武汉理工大学 | 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置 |
| CN115086861B (zh) * | 2022-07-20 | 2023-07-28 | 歌尔股份有限公司 | 音频处理方法、装置、设备及计算机可读存储介质 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0775438B2 (ja) * | 1988-03-18 | 1995-08-09 | 日本ビクター株式会社 | モノフォニック信号のステレオフォニック信号化のための信号処理方法 |
| JP2827777B2 (ja) * | 1992-12-11 | 1998-11-25 | 日本ビクター株式会社 | 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置 |
| JP2910891B2 (ja) * | 1992-12-21 | 1999-06-23 | 日本ビクター株式会社 | 音響信号処理装置 |
| JP3498888B2 (ja) | 1996-10-11 | 2004-02-23 | 日本ビクター株式会社 | サラウンド信号処理装置と方法及び映像音声再生方法、記録媒体への記録方法及び記録装置、記録媒体、処理プログラムの伝送方法及び受信方法、並びに記録データの伝送方法及び受信方法 |
| US6243476B1 (en) | 1997-06-18 | 2001-06-05 | Massachusetts Institute Of Technology | Method and apparatus for producing binaural audio for a moving listener |
| JP2000236598A (ja) * | 1999-02-12 | 2000-08-29 | Toyota Central Res & Dev Lab Inc | 音像位置制御装置 |
| JP2001119800A (ja) * | 1999-10-19 | 2001-04-27 | Matsushita Electric Ind Co Ltd | 車載用音像制御装置 |
| AU2000226583A1 (en) | 2000-02-18 | 2001-08-27 | Bang And Olufsen A/S | Multi-channel sound reproduction system for stereophonic signals |
| US20020055827A1 (en) | 2000-10-06 | 2002-05-09 | Chris Kyriakakis | Modeling of head related transfer functions for immersive audio using a state-space approach |
| US7369667B2 (en) * | 2001-02-14 | 2008-05-06 | Sony Corporation | Acoustic image localization signal processing device |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| US7116787B2 (en) | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
| US7644003B2 (en) | 2001-05-04 | 2010-01-05 | Agere Systems Inc. | Cue-based audio coding/decoding |
| US7006636B2 (en) * | 2002-05-24 | 2006-02-28 | Agere Systems Inc. | Coherence-based audio coding and synthesis |
| DE60120233D1 (de) * | 2001-06-11 | 2006-07-06 | Lear Automotive Eeds Spain | Verfahren und system zum unterdrücken von echos und geräuschen in umgebungen unter variablen akustischen und stark rückgekoppelten bedingungen |
| JP2003009296A (ja) * | 2001-06-22 | 2003-01-10 | Matsushita Electric Ind Co Ltd | 音響処理装置および音響処理方法 |
| US7039204B2 (en) * | 2002-06-24 | 2006-05-02 | Agere Systems Inc. | Equalization for audio mixing |
| JP4540290B2 (ja) * | 2002-07-16 | 2010-09-08 | 株式会社アーニス・サウンド・テクノロジーズ | 入力信号を音像定位させて三次元空間を移動させる方法 |
| SE0301273D0 (sv) | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
| US7664272B2 (en) * | 2003-09-08 | 2010-02-16 | Panasonic Corporation | Sound image control device and design tool therefor |
| US20050147261A1 (en) | 2003-12-30 | 2005-07-07 | Chiang Yeh | Head relational transfer function virtualizer |
-
2006
- 2006-09-06 KR KR1020137008226A patent/KR101370365B1/ko not_active IP Right Cessation
- 2006-09-06 CN CNA2006800337095A patent/CN101263740A/zh active Pending
- 2006-09-06 KR KR1020087008731A patent/KR101315070B1/ko not_active IP Right Cessation
- 2006-09-06 WO PCT/IB2006/053126 patent/WO2007031906A2/en active Application Filing
- 2006-09-06 EP EP06795920A patent/EP1927265A2/en not_active Withdrawn
- 2006-09-06 US US12/066,506 patent/US8515082B2/en not_active Expired - Fee Related
- 2006-09-06 JP JP2008529747A patent/JP4938015B2/ja not_active Expired - Fee Related
- 2006-09-06 CN CN201110367721.2A patent/CN102395098B/zh not_active Expired - Fee Related
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9961469B2 (en) | 2013-09-17 | 2018-05-01 | Wilus Institute Of Standards And Technology Inc. | Method and device for audio signal processing |
| WO2015041476A1 (ko) * | 2013-09-17 | 2015-03-26 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| US10469969B2 (en) | 2013-09-17 | 2019-11-05 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing multimedia signals |
| US9578437B2 (en) | 2013-09-17 | 2017-02-21 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing audio signals |
| US9584943B2 (en) | 2013-09-17 | 2017-02-28 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing audio signals |
| US10455346B2 (en) | 2013-09-17 | 2019-10-22 | Wilus Institute Of Standards And Technology Inc. | Method and device for audio signal processing |
| WO2015041478A1 (ko) * | 2013-09-17 | 2015-03-26 | 주식회사 윌러스표준기술연구소 | 멀티미디어 신호 처리 방법 및 장치 |
| US11096000B2 (en) | 2013-09-17 | 2021-08-17 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing multimedia signals |
| US11622218B2 (en) | 2013-09-17 | 2023-04-04 | Wilus Institute Of Standards And Technology Inc. | Method and apparatus for processing multimedia signals |
| US11195537B2 (en) | 2013-10-22 | 2021-12-07 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| US10692508B2 (en) | 2013-10-22 | 2020-06-23 | Electronics And Telecommunications Research Institute | Method for generating filter for audio signal and parameterizing device therefor |
| US10204630B2 (en) | 2013-10-22 | 2019-02-12 | Electronics And Telecommunications Research Instit Ute | Method for generating filter for audio signal and parameterizing device therefor |
| US12014744B2 (en) | 2013-10-22 | 2024-06-18 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| WO2015060652A1 (ko) * | 2013-10-22 | 2015-04-30 | 연세대학교 산학협력단 | 오디오 신호 처리 방법 및 장치 |
| US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| US11109180B2 (en) | 2013-12-23 | 2021-08-31 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US11689879B2 (en) | 2013-12-23 | 2023-06-27 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US10158965B2 (en) | 2013-12-23 | 2018-12-18 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US10433099B2 (en) | 2013-12-23 | 2019-10-01 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US9832589B2 (en) | 2013-12-23 | 2017-11-28 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US10701511B2 (en) | 2013-12-23 | 2020-06-30 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
| US10999689B2 (en) | 2014-03-19 | 2021-05-04 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US10771910B2 (en) | 2014-03-19 | 2020-09-08 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US10321254B2 (en) | 2014-03-19 | 2019-06-11 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US10070241B2 (en) | 2014-03-19 | 2018-09-04 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US11343630B2 (en) | 2014-03-19 | 2022-05-24 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US9832585B2 (en) | 2014-03-19 | 2017-11-28 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and apparatus |
| US10469978B2 (en) | 2014-04-02 | 2019-11-05 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| US10129685B2 (en) | 2014-04-02 | 2018-11-13 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| US9986365B2 (en) | 2014-04-02 | 2018-05-29 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| US9860668B2 (en) | 2014-04-02 | 2018-01-02 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| US9848275B2 (en) | 2014-04-02 | 2017-12-19 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080304670A1 (en) | 2008-12-11 |
| CN102395098B (zh) | 2015-01-28 |
| WO2007031906A2 (en) | 2007-03-22 |
| KR101315070B1 (ko) | 2013-10-08 |
| US8515082B2 (en) | 2013-08-20 |
| JP2009508385A (ja) | 2009-02-26 |
| KR101370365B1 (ko) | 2014-03-05 |
| CN102395098A (zh) | 2012-03-28 |
| KR20080046712A (ko) | 2008-05-27 |
| WO2007031906A3 (en) | 2007-09-13 |
| CN101263740A (zh) | 2008-09-10 |
| JP4938015B2 (ja) | 2012-05-23 |
| EP1927265A2 (en) | 2008-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101370365B1 (ko) | 3ｄ 사운드를 발생시키기 위한 방법 및 디바이스 | |
| KR101333031B1 (ko) | ＨＲＴＦｓ을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스 | |
| RU2591179C2 (ru) | Способ и система для генерирования передаточной функции головы путем линейного микширования передаточных функций головы | |
| US7215782B2 (en) | Apparatus and method for producing virtual acoustic sound | |
| Laitinen et al. | Binaural reproduction for directional audio coding | |
| JP2013211906A (ja) | 音声空間化及び環境シミュレーション | |
| US20050069143A1 (en) | Filtering for spatial audio rendering | |
| CN113170271A (zh) | 用于处理立体声信号的方法和装置 | |
| Novo | Auditory virtual environments | |
| Kapralos et al. | Auditory perception and spatial (3d) auditory systems | |
| Tonges | An augmented Acoustics Demonstrator with Realtime stereo up-mixing and Binaural Auralization | |
| Vilkamo | Spatial sound reproduction with frequency band processing of b-format audio signals | |
| Filipanits | Design and implementation of an auralization system with a spectrum-based temporal processing optimization | |
| Geronazzo | Sound Spatialization. | |
| Kapralos | Auditory perception and virtual environments | |
| KR20030002868A (ko) | 삼차원 입체음향 구현방법 및 시스템 | |
| Zotkin et al. | Efficient conversion of XY surround sound content to binaural head-tracked form for HRTF-enabled playback | |
| Linell | Comparison between two 3d-sound engines of the accuracy in determining the position of a source | |
| Fu et al. | Fast 3D audio image rendering using equalized and relative HRTFs | |
| Savioja et al. | Interactive room acoustic rendering in real time | |
| Kan et al. | Psychoacoustic evaluation of different methods for creating individualized, headphone-presented virtual auditory space from B-format room impulse responses | |
| Kim et al. | 3D Sound Techniques for Sound Source Elevation in a Loudspeaker Listening Environment | |
| KAN et al. | PSYCHOACOUSTIC EVALUATION OF DIFFERENT METHODS FOR CREATING INDIVIDUALIZED, HEADPHONE-PRESENTED VAS FROM B-FORMAT RIRS | |
| Vilkamo | Tilaäänen toistaminen B-formaattiäänisignaaleista taajuuskaistaprosessoinnin avulla |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |