KR101903535B1 - 입력 오디오 신호를 조작하기 위한 장치 및 방법 - Google Patents
입력 오디오 신호를 조작하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR101903535B1 KR101903535B1 KR1020177003703A KR20177003703A KR101903535B1 KR 101903535 B1 KR101903535 B1 KR 101903535B1 KR 1020177003703 A KR1020177003703 A KR 1020177003703A KR 20177003703 A KR20177003703 A KR 20177003703A KR 101903535 B1 KR101903535 B1 KR 101903535B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- distance
- controller
- exciter
- input audio
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 223
- 238000000034 method Methods 0.000 title claims description 67
- 230000007423 decrease Effects 0.000 claims description 31
- 230000009021 linear effect Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 10
- 230000005284 excitation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000009022 nonlinear effect Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
본 발명은 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치로서, 상기 공간 오디오 소스는 상기 공간 오디오 시나리오 내의 청취자와 일정 거리를 가지고, 상기 장치는, 상기 입력 오디오 신호를 조작하여 출력 오디오 신호를 취득하도록 구성된 여기자(exciter); 및 상기 일정 거리에 기초하여 상기 입력 오디오 신호를 조작하기 위해 상기 여기자의 파라미터를 제어하도록 구성된 제어기를 포함한다.
Description
본 발명은 오디오 신호 처리 분야에 관한 것으로, 특히 공간 오디오 신호(spatial audio signal)를 처리하는 분야에 관한 것이다.
공간 오디오 신호의 합성은 수많은 애플리케이션의 주요 주제이다. 예를 들어, 바이노럴 오디오 합성(binaural audio synthesis)에서, 청취자가 처리된 오디오 신호를 원하는 위치로부터 발신된 것으로 인지하도록 공간 오디오 소스(spatial audio source)에 연관된 오디오 신호를 처리함으로써 공간 오디오 소스는 공간 오디오 시나리오 내의 청취자에 대해 원하는 위치에 가상으로 배치될 수 있다.
청취자에 대한 공간 오디오 소스의 공간 위치는 예컨대, 공간 오디오 소스와 청취자 사이의 거리, 및/또는 공간 오디오 소스와 청취자 사이의 상대 방위각(relative azimuth angle)을 특징으로 할 수 있다. 상이한 거리 및/또는 방위각에 따라 오디오 신호를 적응시키기 위한 일반적인 오디오 신호 처리 기술은, 예컨대, 오디오 신호의 강도 레벨(loudness level) 및/또는 그룹 지연(group delay)을 적응시키는 것에 기초한다.
U. Zolzer의 "DAFX: Digital Audio Effects", John Wiley & Sons에, 일반적인 오디오 신호 처리 기술의 개요가 제공되어 있다.
본 발명의 목적은 공간 오디오 시나리오 내에서 입력 오디오 신호를 조작하기 위한 효율적인 개념을 제공하는 것이다.
이 목적은 독립항의 특징에 의해 달성된다. 본 발명의 추가적인 실시예는 종속항, 상세한 설명 및 도면으로부터 명백하다.
본 발명은, 입력 오디오 신호가 여기자(exciter)에 의해 조작될 수 있다는 발견에 기초하는데, 여기자의 제어 파라미터는 공간 오디오 시나리오 내의 청취자와 공간 오디오 소스 사이의 일정 거리(certain distance)에 따라 제어기에 의해 제어될 수 있다. 여기자는 입력 오디오 신호를 필터링하는 대역 통과 필터(band-pass filter), 필터링된 오디오 신호를 비선형적으로 처리하는 비선형 프로세서(non-linear processor), 및 필터링되어 비선형 처리된 오디오 신호를 입력 오디오 신호와 결합하는 결합기(combiner)를 포함할 수 있다. 일정 거리에 따라 여기자의 파라미터를 제어함으로써, 근접 효과(proximity effects)와 같은, 복합 음향 효과(complex acoustic effects)가 고려될 수 있다.
제1 측면에 따르면, 본 발명은 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치에 관한 것이며, 상기 공간 오디오 소스는 상기 공간 오디오 시나리오 내의 청취자와 일정 거리를 가지고, 상기 장치는, 상기 입력 오디오 신호를 조작하여 출력 오디오 신호를 취득하도록 구성된 여기자(exciter); 및 상기 일정 거리에 기초하여 상기 입력 오디오 신호를 조작하기 위해 상기 여기자의 파라미터를 제어하도록 구성된 제어기를 포함한다. 따라서, 청취자까지의 거리에 기초하여 공간 오디오 시나리오 내에서 입력 오디오 신호를 조작하기 위한 효율적인 개념이 실현될 수 있다.
상기 장치는, 공간 오디오 시나리오 내에서 공간 오디오 소스의 청취자까지의 거리나 거리의 변화에 대한 현실적인 인지를 위해 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 적응시키거나 조작하기 위한 효율적인 해결을 용이하게 한다.
상기 장치는 상이한 애플리케이션 시나리오, 예컨대, 가상 현실(virtual reality), 증강 현실(augmented reality), 영화 사운드트랙 믹싱(movie soundtrack mixing), 등의 상이한 애플리케이션 시나리오에 적용될 수 있다. 증강 현실 애플리케이션 시나리오의 경우, 공간 오디오 소스는 청취자로부터 일정 거리에 배치될 수 있다. 다른 오디오 신호 처리 애플리케이션 시나리오에서, 입력 오디오 신호는 공간 오디오 소스의 인지된 근접 효과를 향상시키도록 조작될 수 있다.
상기 공간 오디오 소스는 가상 오디오 소스와 관련될 수 있다. 상기 공간 오디오 시나리오는 가상 오디오 시나리오와 관련될 수 있다. 상기 일정 거리는 상기 공간 오디오 소스에 연관된 거리 정보와 관련될 수 있고 상기 공간 오디오 시나리오 내에서 상기 공간 오디오 소스의 청취자까지의 거리를 나타낼 수 있다. 상기 청취자는 공간 오디오 시나리오의 중심에 위치할 수 있다. 상기 입력 오디오 신호 및 상기 출력 오디오 신호는 단일 채널 오디오 신호일 수 있다.
상기 일정 거리는 절대 거리 또는 예컨대, 기준 거리(예: 최대 거리)에 대해 정규화된 정규화된 거리(normalized distance)일 수 있다. 상기 장치는, 상기 장치에 통합된, 또는 외부의 거리 측정 기기 또는 거리 측정 모듈로부터, 수동 입력에 의해(예: 그래픽 사용자 인터페이스(Graphical User Interface) 및/또는 슬라이딩 제어(sliding control)와 같은 맨 머신 인터페이스(Man Machine Interface)를 통해), 상기 일정 거리를 계산하는 프로세서에 의해, 예컨대 상기 공간 오디오 소스가 가져야 할 원하는 위치 또는 위치들의 코스에 기초하여(예: 증강 현실 애플리케이션 및/또는 가상 현실 애플리케이션의 경우), 또는 임의의 다른 거리 결정기(distance determiner)에 의해 상기 일정 거리를 취득하도록 구성될 수 있다.
제1 측면에 따른 장치의 제1 구현 형태에서, 상기 여기자는, 상기 입력 오디오 신호를 필터링하여 필터링된 오디오 신호를 취득하도록 구성된 대역 통과 필터; 상기 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하도록 구성된 비선형 프로세서; 및 상기 비선형 처리된 오디오 신호를 상기 입력 오디오 신호와 결합하여 상기 출력 오디오 신호를 취득하도록 구성된 결합기를 포함한다. 따라서, 상기 여기자가 효율적으로 실현될 수 있다
상기 대역 통과 필터는 주파수 전달 함수(frequency transfer function)를 포함할 수 있다. 상기 대역 통과 필터의 주파수 전달 함수는 필터 계수(filter coefficient)에 의해 결정될 수 있다. 상기 비선형 프로세서는 비선형 처리, 예컨대 필터링된 오디오 신호에 대해 엄격한 제한(hard limiting) 또는 관대한 제한(soft limiting)을 적용하도록 구성될 될 수 있다. 필터링된 오디오 신호의 엄격한 제한은 필터링된 오디오 신호의 엄격한 클리핑(hard clipping)과 관련될 수 있다. 필터링된 오디오 신호의 관대한 제한은 필터링된 오디오 신호의 관대한 클리핑에 관련될 수 있다. 상기 결합기는 상기 비선형 처리된 오디오 신호를 상기 입력 오디오 신호에 가산하도록 구성된 가산기(adder)를 포함할 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제2 구현 형태에서, 상기 제어기는 상기 일정 거리에 기초하여 상기 여기자의 대역 통과 필터의 주파수 전달 함수를 결정하도록 구성된다. 상기 대역 통과 필터는, 예를 들어, 상기 입력 오디오 신호를 필터링하도록 구성될 수 있다. 따라서, 입력 오디오 신호의 여기된 주파수 성분이 효율적으로 결정될 수 있다.
상기 제어기는 상기 일정 거리에 기초하여 상기 대역 통과 필터의 주파수 전달 함수의 전달 특성(transfer characteristic), 예컨대, 저역 차단 주파수(lower cut-off frequency), 고역 차단 주파수(higher cut-off frequency), 통과 대역 감쇄(pass-band attenuation), 저지 대역 감쇄(stop-band attenuation), 통과 대역 리플(pass-band ripple), 및/또는 저지 대역 리플(stop-band ripple)을 결정하도록 구성될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제3 구현 형태에서, 상기 제어기는 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수)를 증가시키도록 구성된다. 상기 대역 통과 필터는, 예를 들어, 상기 입력 오디오 신호를 필터링하도록 구성될 수 있다. 따라서, 일정 거리가 감소할 때, 입력 오디오 신호의 더 높은 주파수 성분(higher frequency component)이 여기될 수 있다.
상기 저역 차단 주파수는 상기 대역 통과 필터의 주파수 전달 함수의 -3dB 저역 차단 주파수에 관련될 수 있다. 상기 고역 차단 주파수는 상기 대역 통과 필터의 주파수 전달 함수의 -3dB 고역 차단 주파수에 관련될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제4 구현 형태에서, 상기 제어기는 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 여기자의 대역 통과 필터의 대역폭을 증가시키도록 구성된다. 상기 대역 통과 필터는, 예를 들어, 상기 입력 오디오 신호를 필터링하도록 구성될 수 있다. 따라서, 상기 일정 거리가 감소할 때, 입력 오디오 신호의 더 많은 주파수 성분이 여기될 수 있다. 상기 대역 통과 필터의 대역폭은 -3dB 대역폭에 관련될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제5 구현 형태에서, 상기 제어기는 아래 식:
에 따라 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수를 결정하도록 구성되며,
위 식에서, fH는 상기 고역 차단 주파수를 나타내고, fL은 상기 저역 차단 주파수를 나타내고, b1_ freq은 제1 기준 차단 주파수를 나타내고, b2_ freq는 제2 기준 차단 주파수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리(normalized distance)를 나타낸다. 따라서, 저역 차단 주파수 및/또는 고역 차단 주파수가 효율적으로 결정될 수 있다. 상기 제어기가 감소하는 상기 일정 거리 r에 기초하여 저역 차단 주파수 및 고역 차단 주파수를 증가시키는 경우, 상기 대역 통과 필터의 대역폭도 증가한다. 상기 제어기가 증가하는 상기 일정 거리 r에 기초하여 저역 차단 주파수 및 고역 차단 주파수를 감소시키는 경우, 상기 대역 통과 필터의 대역폭도 감소한다. 상기 대역 통과 필터는, 예를 들어, 상기 입력 오디오 신호를 필터링하도록 구성될 수 있다.
제5 구현 형태에 따른 상기 제어기는 상기 일정 거리 r를 취득하거나, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하도록 구성될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제6 구현 형태에서, 상기 제어기는 상기 일정 거리에 기초하여 비선형 처리된 오디오 신호를 취득하기 위해 상기 여기자의 비선형 프로세서의 파라미터를 제어하도록 구성된다. 상기 비선형 프로세서는, 예컨대 상기 대역 통과 필터에 의해 필터링된, 상기 입력 오디오 신호의 필터링된 버전에 기초하여 상기 비선형 처리된 오디오 신호를 취득하도록 구성될 수 있다. 따라서, 입력 오디오 신호를 여기시키기 위해, 즉 입력 오디오 신호 또는 필터링된 입력 오디오 신호의 비선형 처리된 버전에 기초하여 출력 오디오 신호를 취득하기 위해 비선형 효과(non-linear effect)를 이용할 수 있다.
상기 비선형 프로세서의 파라미터로는 엄격한 제한 방식(hard limiting scheme)의 제한 임계치 및/또는 관대한 제한 방식(soft limiting scheme)의 제한 임계치를 포함할 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제7 구현 형태에서, 상기 제어기는, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 비선형 처리된 오디오 신호가 상기 비선형 처리된 오디오 신호의 고주파 부분에서 더 많은 고조파(harmonic) 및/또는 더 많은 전력을 포함하도록 상기 여기자의 비선형 프로세서의 파라미터를 제어하도록 구성된다. 즉 다시 말해, 제어기는 여기자의 비선형 프로세서의 파라미터들을 제어하여 비선형 프로세서가 비선형 프로세서에의 신호 입력에 존재하지 않는 고조파 주파수 성분을 생성하도록 구성되어, 각각 비선형 프로세서에 의해 출력되는 신호가 비선형 프로세서에의 신호 입력에 존재하지 않는 고주파 주파수 성분을 포함하도록 한다. 따라서, 상기 일정 거리를 감소시킬 때, 출력 오디오 신호의 인지된 밝기(brightness)가 증가될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제8 구현 형태에서, 상기 여기자의 비선형 프로세서는 시간 도메인에서의 필터링된 오디오 신호의 크기를 제한 임계치보다 작은 크기로 제한하여 상기 비선형 처리된 오디오 신호를 취득하도록 구성되며, 상기 제어기는 상기 일정 거리에 기초하여 상기 제한 임계치를 제어하도록 구성된다. 따라서, 필터링된 오디오 신호의 엄격한 제한 또는 엄격한 클리핑이 실현될 수 있다. 상기 필터링된 오디오 신호는, 예를 들어, 상기 대역 통과 필터에 의해 필터링된 입력 신호일 수 있다.
제1 측면 제8 구현 형태에 따른 장치의 제9 구현 형태에서, 상기 제어기는 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 제한 임계치를 감소시키도록 구성된다. 따라서, 상기 일정 거리가 감소할 때, 비선형 효과의 영향이 증대될 수 있다. 상기 일정 거리가 감소하는 경우, 상기 제한 임계치는 감소하고, 더 많은 고조파가 생성된다.
제1 측면의 제8 구현 형태 또는 제1 측면의 제9 구현 형태에 따른 장치의 제10 구현 형태에서, 상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 제한 임계치를 결정하도록 구성되며,
위 식에서, lt는 상기 제한 임계치를 나타내고, LT는 제한 임계 상수(limiting threshold constant) 또는 제한 임계 기준(limiting threshold reference)을 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm은 정규화된 거리를 나타낸다. 따라서, 제한 임계치가 효율적으로 결정될 수 있다.
제10 구현 형태에 따른 상기 제어기는 상기 일정 거리 r을 취득하거나, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하도록 구성될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제11 구현 형태에서, 상기 여기자의 비선형 프로세서는 시간 도메인에서, 상기 필터링된 오디오 신호와 이득 신호를 승산하도록 구성되고, 상기 이득 신호는 상기 일정 거리에 기초하여 상기 입력 오디오 신호로부터 결정된다. 따라서, 필터링된 오디오 신호의 관대한 제한 또는 관대한 클리핑이 실현될 수 있다.
상기 이득 신호는 상기 비선형 프로세서 및/또는 상기 제어기에 의해 상기 일정 거리에 기초하여 상기 입력 오디오 신호로부터 결정될 수 있다.
제1 측면의 제11 구현 형태에 따른 장치의 제12 구현 형태에서, 상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 신호를 결정하도록 구성되며,
위 식에서, μ는 상기 이득 신호를 나타내고, srms는 제곱 평균 제곱근(root-mean-square) 입력 오디오 신호를 나타내고, sBP는 상기 필터링된 오디오 신호를 나타내고, lt는 추가 제한 임계치(further limiting threshold value)를 나타내고, limthr는 추가 제한 임계 상수(further limiting threshold constant)를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인(sample time index)을 나타낸다. 따라서, 이득 신호가 효율적으로 결정될 수 있다. 상기 제곱 평균 제곱근 입력 오디오 신호는 상기 비선형 프로세서 및/또는 상기 제어기에 의해 상기 입력 오디오 신호로부터 결정될 수 있다.
제12 구현 형태에 따른 상기 제어기는 상기 일정 거리 r를 취득하거나, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하도록 구성될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제13 구현 형태에서, 상기 여기자는 비선형 처리된 오디오 신호(예: 상기 입력 오디오 신호의 필터링된 버전의 비선형 처리된 버전)를 이득 계수(gain factor)로 가중하도록 구성된 스케일러(scaler)를 포함하고, 상기 제어기는 상기 일정 거리에 기초하여 상기 스케일러의 이득 계수를 결정하도록 구성된다. 따라서, 비선형 효과의 영향이 일정 거리에 기초하여 적응될 수 있다.
상기 스케일러는 상기 비선형 처리된 오디오 신호를 상기 이득 계수로 가중하기 위한 승산기(multiplier)를 포함할 수 있다. 상기 이득 계수는, 예컨대 0에서 1까지 범위의 실수일 수 있다.
제1 측면의 제13 구현 형태에 따른 장치의 제14 구현 형태에서, 상기 제어기는 상기 일정 거리가 감소하는 경우 및 증가하는 경우에 상기 이득 계수를 증가시키도록 구성된다. 따라서, 상기 일정 거리가 감소할 때, 비선형 효과의 영향이 증가할 수 있다.
제1 측면의 제13 구현 형태 또는 제1 측면의 제14 구현 형태에 따른 장치의 제15 구현 형태에서, 상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 계수를 결정하도록 구성되고,
위 식에서, gexc는 상기 이득 계수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인을 나타낸다. 따라서, 상기 일정 거리가 감소할 때, 이득 계수가 효율적으로 결정 및 감소될 수 있다.
제15 구현 형태에 따른 상기 제어기는 상기 일정 거리 r를 취득하거나, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하도록 구성될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제16 구현 형태에서, 상기 장치는 상기 일정 거리를 결정하도록 구성된 결정기를 더 포함한다. 따라서, 일정 거리는 외부 신호 처리 구성요소에 의해 제공되는 거리 정보로부터 결정될 수 있다.
상기 결정기는 상기 일정 거리를, 예컨대, 임의의 거리 측정으로부터, 상기 공간 오디오 소스의 공간 좌표로부터 및/또는 상기 공간 오디오 시나리오 내의 상기 청취자가의 공간 좌표로부터 결정할 수 있다.
상기 결정기는 상기 일정 거리를 절대 거리 또는 예컨대, 기준 거리(예: 최대 거리)에 대해 정규화된, 정규화된 거리로서 결정하도록 구성될 수 있다. 상기 결정기는 상기 장치에 통합된, 또는 외부의 거리 측정 기기 또는 거리 측정 모듈로부터, 수동 입력에 의해(예: 그래픽 사용자 인터페이스 및/또는 슬라이딩 제어와 같은 맨 머신 인터페이스를 통해), 상기 일정 거리를 계산하는 프로세서에 의해, 예컨대 상기 공간 오디오 소스가 가져야 할 원하는 위치 또는 위치들의 코스에 기초하여(예: 증강 현실 애플리케이션 및/또는 가상 현실 애플리케이션의 경우), 또는 임의의 다른 거리 결정기에 의해 상기 일정 거리를 취득하도록 구성될 수 있다.
제2 측면에 따르면, 본 발명은 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 방법에 관한 것이며, 상기 공간 오디오 소스는 상기 공간 오디오 시나리오 내의 청취자와 일정 거리를 가지며, 상기 방법은, 제어기가, 상기 일정 거리에 기초하여 상기 입력 오디오 신호를 여기시키기 위해 여기 파라미터(exciting parameter)를 제어하는 단계; 및 여기자가, 출력 오디오 신호를 취득하기 위해 상기 입력 오디오 신호를 여기시키는 단계를 포함한다. 따라서, 청취자까지의 거리에 기초하여 공간 오디오 시나리오 내에서 입력 오디오 신호를 조작하기 위한 효율적인 개념이 실현될 수 있다.
상기 방법은, 공간 오디오 시나리오 내에서 공간 오디오 소스의, 청취자까지의 거리나 거리의 변화에 대한 현실적인 인지를 위해 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 적응시키거나 조작하기 위한 효율적인 해결을 용이하게 한다.
제2 측면에 따른 방법의 제1 구현 형태에서, 상기 여기자가, 상기 입력 오디오 신호를 여기시키는 단계는, 대역 통과 필터가 상기 입력 오디오 신호를 대역 통과 필터링하여 필터링된 오디오 신호를 취득하는 단계; 비선형 프로세서가, 상기 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하는 단계; 및 결합기가, 상기 비선형 처리된 오디오 신호를 상기 입력 오디오 신호와 결합하여 상기 출력 오디오 신호를 취득하는 단계를 포함한다. 따라서, 입력 오디오 신호의 여기를 효율적으로 구현할 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제2 구현 형태에서, 상기 방법은, 상기 제어기가, 상기 일정 거리에 기초하여 상기 여기자의 대역 통과 필터의 주파수 전달 함수를 결정하는 단계를 더 포함한다. 따라서, 입력 오디오 신호의 여기된 주파수 성분이 효율적으로 결정될 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 장치의 제3 구현 형태에서, 상기 방법은, 상기 제어기가, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수를 증가시키는 단계를 포함한다. 따라서, 상기 일정 거리가 감소할 때, 입력 오디오 신호의 더 높은 주파수 성분이 여기될 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제4 구현 형태에서, 상기 방법은, 상기 제어기가, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 여기자의 대역 통과 필터의 대역폭을 증가시키는 단계를 포함한다. 따라서, 상기 일정 거리가 감소할 때, 입력 오디오 신호의 더 많은 주파수 성분이 여기될 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제5 구현 형태에서, 상기 방법은, 상기 제어기가 아래 식:
에 따라 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수를 결정하는 단계를 포함하며,
위 식에서, fH는 상기 고역 차단 주파수를 나타내고, fL은 상기 저역 차단 주파수를 나타내고, b1_ freq은 제1 기준 차단 주파수를 나타내고, b2_ freq는 제2 기준 차단 주파수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리(normalized distance)를 나타낸다. 따라서, 저역 차단 주파수 및/또는 고역 차단 주파수가 효율적으로 결정될 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제6 구현 형태에서, 상기 방법은, 상기 제어기가, 상기 일정 거리에 기초하여 비선형 처리된 오디오 신호를 취득하기 위해 상기 여기자의 비선형 프로세서의 파라미터를 제어하는 단계를 포함한다. 따라서, 입력 오디오 신호를 여기시키기 위해 비선형 효과를 이용할 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제7 구현 형태에서, 상기 방법은, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 비선형 처리된 오디오 신호가 상기 비선형 처리된 오디오 신호의 고주파 부분에서 더 많은 고조파 및/또는 더 많은 전력을 포함하도록, 상기 제어기가 상기 여기자의 비선형 프로세서의 파라미터를 제어하는 단계를 포함한다. 즉 다시 말해, 상기 방법은, 여기자의 비선형 프로세서의 파라미터들을 제어하여 비선형 프로세서에의 신호 입력에 존재하지 않는 고조파 주파수 성분이 생성되하도록 하는 단계를 포함하여, 각각 비선형 프로세서에 의해 출력되는 신호가 비선형 프로세서에의 신호 입력에 존재하지 않는 고주파 주파수 성분을 포함하도록 한다. 따라서, 상기 일정 거리를 감소시킬 때, 출력 오디오 신호의 인지된 밝기가 증가될 수 있다.
제1 측면 또는 제1 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제8 구현 형태에서, 상기 여기자의 비선형 프로세서는 시간 도메인에서의 필터링된 오디오 신호의 크기를 제한 임계치보다 작은 크기로 제한하여 상기 비선형 처리된 오디오 신호를 취득하도록 구성되며, 상기 제어기는 상기 일정 거리에 기초하여 상기 제한 임계치를 제어하도록 구성된다. 따라서, 필터링된 오디오 신호의 엄격한 제한 또는 엄격한 클리핑이 실현될 수 있다.
제2 측면 제8 구현 형태에 따른 방법의 제9 구현 형태에서, 상기 방법은, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 제어기가, 상기 제한 임계치를 감소시키는 단계를 포함한다. 따라서, 상기 일정 거리가 감소할 때, 비선형 효과의 영향이 증가할 수 있다.
제2 측면의 제8 구현 형태 또는 제2 측면의 제9 구현 형태에 따른 방법의 제10 구현 형태에서, 상기 방법은, 상기 제어기가 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 제한 임계치를 결정하는 단계를 포함하며,
위 식에서, lt는 상기 제한 임계치를 나타내고, LT는 제한 임계 상수 또는 제한 임계 기준을 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm은 정규화된 거리를 나타낸다. 따라서, 상기 제한 임계치가 효율적으로 결정될 수 있다.
제10 구현 형태에 따른 상기 방법은 상기 일정 거리 r을 취득하는 단계, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하는 단계를 포함할 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제11 구현 형태에서, 상기 방법은, 상기 여기자의 비선형 프로세서가 시간 도메인에서, 상기 필터링된 오디오 신호와 이득 신호를 승산하고, 상기 이득 신호를 상기 일정 거리에 기초하여 상기 입력 오디오 신호로부터 결정하는 단계를 포함한다. 따라서, 필터링된 오디오 신호의 관대한 제한 또는 관대한 클리핑이 실현될 수 있다.
상기 이득 신호는 상기 비선형 프로세서 및/또는 상기 제어기에 의해 상기 일정 거리에 기초하여 상기 입력 오디오 신호로부터 결정될 수 있다.
제2 측면의 제11 구현 형태에 따른 방법의 제12 구현 형태에서, 상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 신호를 결정하는 단계를 포함하며,
위 식에서, μ는 상기 이득 신호를 나타내고, srms는 제곱 평균 제곱근 입력 오디오 신호를 나타내고, sBP는 상기 필터링된 오디오 신호를 나타내고, lt는 추가 제한 임계치를 나타내고, limthr는 추가 제한 임계 상수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인(sample time index)을 나타낸다. 따라서, 이득 신호가 효율적으로 결정될 수 있다.
제12 구현 형태에 따른 방법은 상기 일정 거리 r을 취득하는 단계, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하는 단계를 포함할 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제13 구현 형태에서, 상기 방법은, 상기 여기자의 스케일러가, 비선형 처리된 오디오 신호를 이득 계수로 가중하는 단계, 및 상기 제어기가 상기 일정 거리에 기초하여 상기 스케일러의 이득 계수를 결정하는 단계를 포함한다. 따라서, 비선형 효과의 영향이 상기 일정 거리에 기초하여 적응될 수 있다.
제2 측면의 제13 구현 형태에 따른 방법의 제14 구현 형태에서, 상기 방법은, 상기 일정 거리가 감소하는 경우 및 증가하는 경우, 상기 제어기가 상기 이득 계수를 증가시키는 단계를 포함한다. 따라서, 상기 일정 거리가 감소할 때, 비선형 효과의 영향이 증대할 수 있다.
제2 측면의 제13 구현 형태 또는 제2 측면의 제14 구현 형태에 따른 방법의 제15 구현 형태에서, 상기 방법은, 상기 제어기가 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 계수를 결정하는 단계를 포함하며,
위 식에서, gexc는 상기 이득 계수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인을 나타낸다. 따라서 상기 일정 거리가 감소할 때, 이득 계수가 효율적으로 결정 및 감소될 수 있다.
제15 구현 형태에 따른 상기 방법은, 상기 일정 거리 r을 취득하는 단계, 또는 다른 구현 형태에서, 상기 정규화된 거리 rnorm를 상기 일정 거리로서 취득하는 단계를 포함할 수 있다.
제2 측면 또는 제2 측면의 선행 구현 형태 중 어느 하나에 따른 방법의 제16 구현 형태에서, 상기 방법은, 상기 장치의 결정기가 상기 일정 거리를 결정하는 단계를 더 포함한다. 따라서, 상기 일정 거리는 외부의 신호 처리 구성요소에 의해 제공되는 거리 정보로부터 결정될 수 있다.
상기 방법은 상기 장치에 의해 실행될 수 있다. 또한, 상기 방법의 특징은 상기 장치의 기능성에 직접 기인한다.
제1 측면 및 그 구현 형태에 대해 제공된 설명은 제2 측면 및 대응하는 구현 형태에 똑같이 적용된다.
제3 측면에 따르면, 본 발명은, 컴퓨터상에서 실행될 때, 제2 측면 또는 그 구현 형태 중 어느 하나에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다. 따라서, 상기 방법은 자동적이고 반복 가능한 방식으로 수행될 수 있다.
상기 컴퓨터 프로그램은 상기 장치에 의해 수행될 수 있다. 상기 장치는 상기 컴퓨터 프로그램을 수행하도록 프로그램 가능하게 구성(programmably-arranged)될 수 있다.
본 발명은 하드웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다.
또한, 본 발명의 다른 실시예들은 이하의 도면과 관련하여 설명될 것이다.
도 1은 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치를 나타낸 도면이다.
도 2는 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 방법을 나타낸 도면이다.
도 3은 구현 형태에 따른 공간 오디오 소스와 청취자를 갖는 공간 오디오 시나리오를 나타낸 도면이다.
도 4는 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치를 나타낸 도면이다.
도 5는 구현 형태에 따른 청취자 주위의 공간 오디오 소스의 배치를 나타낸 도면이다.
도 6은 구현 형태에 따른 입력 오디오 신호 및 출력 오디오 신호의 스펙트로그램(spectrograms)을 나타낸다.
동일한 참조 부호는 동일하거나 적어도 동등한 특징에 사용된다.
도 1은 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치를 나타낸 도면이다.
도 2는 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 방법을 나타낸 도면이다.
도 3은 구현 형태에 따른 공간 오디오 소스와 청취자를 갖는 공간 오디오 시나리오를 나타낸 도면이다.
도 4는 구현 형태에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치를 나타낸 도면이다.
도 5는 구현 형태에 따른 청취자 주위의 공간 오디오 소스의 배치를 나타낸 도면이다.
도 6은 구현 형태에 따른 입력 오디오 신호 및 출력 오디오 신호의 스펙트로그램(spectrograms)을 나타낸다.
동일한 참조 부호는 동일하거나 적어도 동등한 특징에 사용된다.
도 1은 본 발명의 실시예에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치(100)를 나타낸 도면이다. 공간 오디오 소스는 공간 오디오 시나리오 내의 청취자와 일정 거리를 두고 있다.
장치(100)는 입력 오디오 신호를 조작하여 출력 오디오 신호를 취득하도록 구성된 여기자(101); 및 일정 거리에 기초하여 입력 오디오 신호를 조작하기 위해 상기 여기자(101)의 파라미터를 제어하도록 구성된 제어기(103)를 포함한다.
장치(100)는 예를 들어, 가상 현실, 증강 현실, 영화 사운드트랙 믹싱 등의 상이한 애플리케이션 시나리오에 적용될 수 있다.
일반적으로 추가의 공간 오디오 소스가 기존의 공간 오디오 시나리오에 추가되는 증강 현실 애플리케이션 시나리오의 경우, 이 추가의 공간 오디오 소스는 청취자로부터 일정 거리에 배치될 수 있다. 오디오 신호 처리 애플리케이션 시나리오에서, 입력 오디오 신호는 공간 오디오 소스의 인지된 근접 효과를 향상시키도록 조작될 수 있다.
여기자(101)는, 입력 오디오 신호를 필터링하여 필터링된 오디오 신호를 취득하도록 구성된 대역 통과 필터, 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하도록 구성된 비선형 프로세서, 및 비선형 처리된 오디오 신호를 입력 오디오 신호와 결합하여 출력 오디오 신호를 취득하도록 구성된 결합기를 포함한다. 여기자(101)는 비선형 처리된 오디오 신호를 이득 계수로 가중하도록 구성된 스케일러를 더 포함한다.
제어기(103)는 일정 거리에 기초하여 입력 오디오 신호를 조작하기 위해 대역 통과 필터의 파라미터, 비선형 파라미터, 결합기, 및/또는 스케일러를 제어하도록 구성된다.
장치(100)의 실시예의 다른 세부사항에 대해서는 도 3 내지 도 6에 기초하여 설명한다.
도 2는 본 발명의 실시예에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 방법(200)을 나타낸 도면이다. 공간 오디오 소스는 공간 오디오 시나리오 내의 청취자와 일정 거리를 두고 있다.
상기 방법(200)은, 일정 거리에 기초하여 입력 오디오 신호를 여기시키기 위해 여기 파라미터를 제어하는 단계(201), 및 출력 오디오 신호를 취득하기 위해 입력 오디오 신호를 여기시키는 단계(203)를 포함한다.
입력 오디오 신호를 여기시키는 단계(203)는, 입력 오디오 신호를 대역 통과 필터링하여 필터링된 오디오 신호를 취득하는 단계, 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하는 단계, 및 비선형 처리된 오디오 신호를 입력 오디오 신호와 결합하여 출력 오디오 신호를 취득하는 단계를 포함할 수 있다.
상기 방법(200)은 상기 장치(100)에 의해 수행될 수 있다. 상기 제어하는 단계(201)는 예를 들어 제어기(103)에 의해 수행될 수 있고, 상기 여기시키는 단계(203)는 예를 들어 여기자(101)에 의해 수행될 수 있다. 또한, 상기 방법(200)의 특징은 상기 장치(100)의 기능성에 직접적으로 기인한다. 상기 방법(200)은 컴퓨터 프로그램에 의해 수행될 수 있다.
도 3은 본 발명의 실시예에 따른 공간 오디오 소스(301) 및 청취자(303)를 갖는 공간 오디오 시나리오(300)를 나타낸 도면이다. 이 도면은 공간 오디오 소스(301)를, Y축을 따르는 시선 방향(look direction)을 갖는 청취자(303)의 머리 위치에 대해 일정 거리 r 및 방위각 θ을 갖는 X-Y 평면에서의 점 사운드 오디오 소스(point sound audio source) S로서 도시한다.
공간 오디오 소스(301)의 근접의 인지는 더 양호한 오디오 몰입(audio immersion)을 위해 청취자(303)와 관련될 수 있다. 오디오 믹싱 기술은, 특히 바이노 럴 오디오 합성 기술(binaural audio synthesis technique)에서, 청취자(303)에 대한 향상된 오디오 경험을 유도하는 실감나는 오디오 렌더링(realistic audio rendering)을 위해 오디오 소스 거리 정보를 사용할 수 있다.
이동하는 사운드 오디오 소스(moving sound audio source)는, 예컨대 영화 및/또는 게임에서, 청취자(303)에 대한 그것들의 일정 거리 r를 사용하여 바이노럴 방식으로 믹싱(binaurally mixed)될 수 있다.
근접 효과는 다음과 같이 공간 오디오 소스 거리의 함수로 분류될 수 있다. 최대 1m의 가까운 거리에서, 현저한 근접 효과는 바이노럴 근접장 효과(binaural near field effect)에 기인할 수 있다. 결과적으로, 공간 오디오 소스(301)가 가까워질수록, 더 낮은 주파수가 강조되거나 증폭될 수 있다(emphasized or boosted). 1m에서 10m까지의 중간 거리에서, 현저한 근접 효과는 잔향(reverberation)에 기인할 수 있다. 이 거리 간격에서, 공간 오디오 소스(301)가 가까워 질수록, 더 높은 주파수가 강조되거나 증폭될 수 있다. 10m부터의 먼 거리에서는, 현저한 근접 효과는 흡수되어 고주파의 감쇄를 초래할 수 있다.
공간 오디오 소스(301) 또는 점 사운드 오디오 소스 S의 사운드의 인지된 음색(timbre)은 청취자(303)에 대한 일정 거리 r 및 각도 θ에 따라 변화할 수 있다. θ 및 r은, 예를 들어, 여기자(101)를 이용한 근접 효과 처리 전에 수행될 수 있는 바이노럴 믹싱에 사용될 수 있다.
상기 장치(100)의 실시예는 여기자(101)를 사용하는 가상 또는 공간 오디오 소스(301)의 근접의 인지를 향상 또는 강조하기 위해 사용될 수 있다.
장치(100)는 더욱 실감나는 오디오 렌더링(realistic audio rendering)을 위해 바이노럴 오디오 출력의 근접 효과를 강조할 수 있다. 이 장치는 예컨대 공간 오디오 시나리오를 생성하거나 조작하기 위해 사용되는 믹싱 기기 또는 임의의 다른 전처리 또는 처리 기기에 적용될 수 있고, 또한 예를 들어 이동 기기(예컨대, 헤드폰이 있거나 없는 스마트폰 또는 태블릿)에도 적용될 수 있다.
입력 오디오 신호는, 예컨대 영화의 경우, 바이노럴 합성에 의해 움직이는 오디오 소스와 혼합될 수 있다. 가상 또는 공간 오디오 소스(301)는 장치(100)에 의해 가변 거리 정보와 바이노럴 방식으로 합성될 수 있다.
장치(100)는 공간 오디오 소스(301)의 일정 거리 r이 변할 때, 인지된 밝기(예: 고주파의 밀도)가 그에 따라 변하도록 여기자 파라미터를 적응시키도록 구성된다. 따라서, 장치(100)의 실시예는 가상 또는 공간 오디오 소스(301)의 밝기를 수정하여 근접의 인지를 강조하도록 구성된다.
본 발명의 실시예에서, 가상 또는 공간 오디오 소스(301)는 인지 근접 효과(perceptual proximity effect)를 강조하기 위해 여기자(101)를 사용하여 렌더링될 수 있다. 여기자는 밝기를 일정 거리의 함수로서 증가시키기 위해 제어기(103)에 의해 주파수 부분을 강조하도록 제어될 수 있다. 여기자 효과가 더 강해지도록 선택됨에 따라, 공간 오디오 소스(301)는 청취자(303)에 더 가까워지는 것으로 인지된다. 여기자는 청취자(303)의 위치에 대해 공간 오디오 소스(301)의 일정 거리의 함수로서 적응될 수 있다.
도 4는 본 발명의 실시예에 따른 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치(100)를 더욱 상세하게 나타낸 도면이다.
장치(100)는 여기자(101) 및 제어기(103)를 포함한다. 여기자(101)는 대역 통과 필터(BP 필터)(401), 비선형 프로세서(NLP)(403), 가산기로 구성되는 결합기(405), 및 이득 계수를 갖는 선택적인 스케일러(407)(이득)를 포함한다. 입력 오디오 신호는 각각 IN s로 표시된다. 출력 오디오 신호는 각각 OUT y로 표시된다. 제어기(103)는 일정 거리 r 또는 일정 거리와 관련된 거리 정보를 수신하도록 구성되고 추가로 일정 거리 r에 기초하여 여기자(101)의 파라미터를 제어하도록 구성된다. 다시 말해, 제어기(103)는 일정 거리 r에 기초하여 대역 통과 필터(401), 비선형 프로세서(403), 및 스케일러(407)의 파라미터를 제어하도록 구성된다.
도면은 원하는 주파수 부분에서 고조파를 생성하기 위해 대역 통과 필터(401), 및 비선형 프로세서(403)를 구비한 여기자(101)의 구현예를 나타낸다. 여기자(101)는 입력 오디오 신호를 향상시키는 데 사용되는 오디오 신호 처리 기술을 실현할 수 있다. 여기자(101)는 고조파, 즉, 주어진 주파수 또는 주파수 범위의 배수를 입력 오디오 신호에 가산할 수 있다. 여기자(101)는, 입력 오디오 신호의 밝기를 증가시키기 위해 가산될 수 있는, 입력 오디오 신호부터 고조파를 생성하기 위해 비선형 처리 및 필터링을 사용할 수 있다.
이하에서는 제어기(103) 및 여기자(101)를 포함하는 장치(100)의 실시예를 제시한다. 입력 오디오 신호는 먼저 임펄스 응답(impulse response) fBP을 갖는 대역 통과 필터(401)를 사용하여 필터링되어 여기될 주파수를 추출한다.
공간 오디오 소스의 밝기를 일정 거리 r에 인지적으로 매칭(perceptually match)시키기 위해, 제어기는 대역 통과 필터(401)의 고역 차단 주파수 fH 및 저역 차단 주파수 fL을 공간 오디오 소스의 일정 거리의 함수로서 조정 또는 설정하도록 되어 있다. 이들은 여기자(101)의 효과가 적용되는 주파수 범위를 결정한다.
공간 오디오 소스가 가까워짐에 따라, 대역 통과 필터(401)의 차단 주파수 fL 및 fH는 제어기(103)에 의해 더 높은 주파수 쪽으로 편이된다(shifted). 선택적으로, 대역 통과 필터(401)의 차단 주파수 fL 및 fH가 일정 거리 r이 감소함에 따라 증가될 뿐 아니라, 대역폭, 즉, 대역 통과 필터(401)의 차단 주파수 fL와 fH의 차도 또한 제어기(103)에 의해 증가된다. 차단 주파수를 증가시킴으로써, 비선형 프로세서(403)에 의해 더 높은 주파수 부분에서 고조파가 생성된다. 대역 통과 필터(401)의 대역폭을 증가시킴으로써, 비선형 프로세서(403)에 의해 생성되는 고조파의 수량도 증가된다.
결과적으로, 출력 오디오 신호는 더 높은 주파수 부분에서 더 많은 에너지를 가지고 청취자는 공간 오디오 소스에 접근할 때 증가된 밝기를 인지한다.
예를 들어, fL와 fH는 제어기(103)에 의해 아래 식:
에 따라 정의될 수 있으며,
위 식에서, rnorm는, 예컨대 0과 1 사이의, 정규화된 거리일 수 있고, 다음과 같이 정의된다:
위 식에서, rmax는 여기자(101)에 적용된 일정 거리 r의 양의 최대 값일 수 있으며, 예를 들어rmax = 10 미터이다. b1 _ freq과 b2_ freq는 대역 통과 필터(401)의 기준 차단 주파수일 수 있으며, 최대 거리 rmax에 대해 대역 통과 필터(401)의 차단 주파수를 형성할 수 있다. 제어기(103)는 기준 차단 주파수를 설정 또는 사용하도록 구성될 수 있으며, 예컨대 b1_ freq = 10 kHz이고 b2_ freq = 1 kHz이다.
그 후, 비선형 프로세서(403)가 이들 주파수에 대해 고조파를 생성하기 위해 필터링된 오디오 신호 sBP에 적용된다. 일례는 제한 임계치 lt에 대해 엄격한 제한 방식을 사용하는 것으로, 다음과 같이 정의된다:
위 식에서, n은 샘플 시간 색인이고 제한 임계치 lt는 공간 오디오 소스의 일정 거리 r의 함수로서 제어된다. 에를 들어 lt는 다음과 같이 정의될 수 있다:
위 식에서, LT는 제한 임계 상수일 수 있다. 예를 들어, LT = 10-30/20, 즉, 선형 스케일(linear scale)로 -30dB이다. 공간 오디오 소스에 가까울수록 접근하는 것이고, 더 작은 제한 임계치 lt이 제어기에 의해 더 많은 고조파를 생성하기 위해 제어기에 의해 선택된다. 더 많은 고조파를 갖는 오디오 신호는 더 높은 주파수 부분에서 더 많은 전력 또는 에너지를 포함한다. 따라서 출력 오디오 신호는 더 밝게 들린다.
다른 예는, 입력 오디오 신호의 크기 또는 레벨을 따르는 이점을 가질 수 있고 결과 신호 s'BP의 왜곡을 감소시킬 수 있는 적응적인 관대한 클리핑 또는 관대한 제한 방식을 사용하는 것이다. 제한기(limiter)의 임계치는 제어기(103)에 의해 예를 들어 아래 식:
에 따라 입력 오디오 신호의 제곱 평균 제곱근(RMS) 추정에 기초하여 동적으로 결정될 수 있다.
위 식에서, αtt와 αrel는 각각, 예컨대 RMS 추정을 위해, 0과 1 사이의 값을 갖는 공격 평활 상수(attack release smoothing constant) 및 해제 평활 상수(release smoothing constant)이다. 예를 들어, αtt = 0.0023 및 αrel = 0.0011가 선택될 수 있다. 그 후, srms[n]이 아래 식:
에 따라 제한기 임계치를 도출하기 위해 사용될 수 있으며, 위 식에서, lt[n]은 일정 거리 r에 의존하는 제한기의 효과를 조정하기 위한 적응적 추가 제한 임계치일 수 있다. 예를 들어, lt[n]는 다음과 같이 정의될 수 있다:
위 식에서, limthr는 0과 1 사이의 값을 갖는 추가 제한 임계 상수이고, 예를 들어 limthr = 0.4이다. 또한, 이득 신호 μ 또는 μ'는 빠르게 변화하는 값으로 인한 아티팩트(artifact)를 피하기 위해 시간이 지남에 따라 평활화될 수 있다. 예를 들어:
위 식에서, αhold는 0과 1 사이의 보유 평활 상수(hold smoothing constant)이고, 예를 들어 αhold = 0.2이다.
비선형 프로세서(403)의 출력 신호는 다음과 같이 계산될 수 있다:
결과로서 얻은 비선형 처리된 오디오 신호는 그 후 결합기(405)에 의해 입력 오디오 신호에 가산된다. 이득 계수를 갖는 스케일러(407)는 아래 식:
에 따라 출력 오디오 신호 y를 생성하기 위해 여기자(101)의 강도를 제어하는데 사용될 수 있다.
근접 효과는 이득 계수 gexc를, 제어기에 의해 공간 오디오 소스의 일정 거리 r의 함수로서, 예컨대, 0과 1 사이의 값을 갖도록 제어함으로써 렌더링될 수 있으며, 바이노럴 오디오 신호가, 재생(reproduce)을 위해 이득 계수가 공간 오디오 소스의 일정 거리 r의 함수로서 적응될 수 있는 여기자(101)에 공급될 수 있다는 것을 의미하는 것이다. 예를 들어:
장치(100)의 실시예는 일정 거리 r을 취득하거나 사용하도록 구성될 수 있거나, 또는 다른 구현 형태에서, 정규화된 거리 rnorm를 일정 거리로 취득하거나 사용하도록 구성될 수 있다.
도 5는 본 발명의 실시예에 따른 청취자 주위의 공간 오디오 소스의 배치에 대해 나타낸 도면 501, 503, 505이다.
도면 501은 시간 경과에 따른 청취자의 머리 주위의 공간 오디오 소스의 궤적(trajectory)을 도시한다. 궤적은 데카르트 좌표 X-Y 평면 내에서 두 번 이동한다. 도면 501은 궤적, 청취자의 머리(데카르트 좌표 X-Y 평면의 중앙에), X-Y 평면의 양의 X축을 따르는 청취자의 시선 방향, 궤적의 시작 위치, 및 궤적의 정지 위치를 보여준다. 도면 503은 시간 경과에 따른 궤적의 X 위치, Y 위치, 및 Z 위치(시간 경과에 따른 변화 없음)를 도시한다. 도면 505는 시간 경과에 따른 공간 오디오 소스와 청취자 사이의 일정 거리를 도시한다.
공간 오디오 소스는 Z 평면에서 변화가 없는 타원형 궤적 상에서 청취자의 머리 주위를 이동하는 것으로 생각될 수 있다. 공간 오디오 소스의 일정 거리의 시간 전개(time evolution) 및 데카르트 X-Y-Z 좌표에서의 이동 경로의 시간 전개가 고려될 수 있다.
도 6은 본 발명의 실시예에 따른 입력 오디오 신호 및 출력 오디오 신호의 스펙트로그램 601, 603을 나타낸다. 예시를 위해, 바이노럴 출력 신호의 오른쪽 채널의 스펙트로그램 601, 603, 공간 오디오 소스가 청취자의 머리에 더 가까이 오는 것을 나타낸다.
스펙트로그램 601, 603은 시간 경과에 따른 주파수 성분의 크기를 그레이 스케일 방식(grey-scale manner)으로 도시한다. 스펙트로그램 601은 추가적인 여기자를 사용하지 않은 경우의 입력 오디오 신호에 관한 것이다. 스펙트로그램 603은 여기자가 사용된 경우의 출력 오디오 신호에 관한 것이다. 입력 오디오 신호는, 예컨대 바이노럴 출력 신호의 오른쪽 채널 또는 왼쪽 채널일 수 있다.
비교해 보면, 여기된 출력 오디오 신호는 여기자를 사용하지 않은 입력 오디오 신호보다 더 높은 밝기를 보인다.
밝기의 증가는 점선 원으로 표시된 여기된 출력 오디오 신호에서 더 높은 밀도의 더 높은 주파수로서 시각화된다.
본 발명에 의해 여러 이점이 달성될 수 있다. 예를 들어, 근접한 공간 오디오 소스의 선명도(clarity)를 강조할 수 있어, 청취자가 공간 오디오 소스를 가깝게 인지할 수 있도록 한다. 또한, 원래의 입력 오디오 신호의 고조파에 대응하는 주파수는 동적으로 증가 될 수 있다. 또한 높은 주파수는 과도하게 강조되거나 증폭되지 않는다. 음색과 색상을 크게 변화시키지 않고도 자연스럽게 들리는 밝기를 입력 오디오 신호에 추가할 수 있다.
또, 원래의 입력 오디오 신호에 고주파 성분이 부족한 경우, 여기자는 입력 오디오 신호에 밝기를 추가하는 효율적인 방안일 수 있다. 또한, 청취자 근처의 공간 오디오 소스의 렌더링, 이동하는 공간 오디오 소스의 렌더링 및/또는 객체 기반의 공간 오디오 소스의 렌더링이 개선될 수 있다.
이하에서는 본 발명의 추가 실시예를 몇몇 예시적인 애플리케이션 신호와 관련하여 설명한다.
단순한 경우에, 공간 오디오 소스는 예를 들어 말하는 사람이고 공간 오디오 소스에 연관된 오디오 신호는 모노 오디오 채널 신호, 예컨대, 마이크폰으로 녹음하여 취득되는 것이다. 제어기는 일정 거리를 취득하고 그에 따라 여기자의 제어 파라미터를 제어 또는 설정한다. 여기자는 입력 오디오 신호(IN)로서 모노 오디오 채널 신호를 수신하고, 제어 파라미터에 따라 오디오 모노 채널 신호를 조작하여 출력 오디오 신호(OUT), 조작되거나 적응된, 청취자까지의 인지된 거리를 갖는 모노 오디오 채널 신호를 취득한다.
일 실시예에서, 이 출력 오디오 신호는 공간 오디오 시나리오, 즉 모노 오디오 채널 신호에 의해 표현되는 단일 오디오 소스 공간 오디오 시나리오를 형성한다.
다른 실시 예에서, 이 조작된 모노 오디오 채널 신호로부터 바이노럴 좌우 채널 오디오 신호를 포함하는 바이노럴 오디오 신호를 취득하기 위해 이 출력 오디오 채널 신호는 HRTF(Head Related Transfer Function)를 적용하여 추가로 처리될 수 있다. HRTF는 공간 오디오 시나리오 내의 공간 오디오 소스의 인지된 위치에 원하는 방위각을 추가하는 데 사용될 수 있다.
대안적인 실시예에서, HRTF가 모노 오디오 채널 신호에 먼저 적용되고, 그 후, 동일한 방식으로, 제어 파라미터를 좌우 바이노럴 오디오 채널 신호 둘 다에 여기자를 사용하여, 동일한 여기자 제어 파라미터를 사용하여 거리 조작이 적용된다.
또 다른 실시예에서, 공간 오디오 소스에 연관된 모노 오디오 채널 신호는, 바이노럴 오디오 신호 대신에 방향성 공간 큐(directional spatial cue)를 포함하는 다른 오디오 신호 포맷, 예컨대, 스테레오 오디오 신호 또는 2개 이상의 오디오 채널 신호나 그 다운믹싱된(down-mixed) 오디오 채널 신호 및 대응하는 공간 파라미터를 포함하는 일반적인 다중 채널 신호를 취득하는데 사용될 수 있다. 이들 실시예 중 어느 하나에서, 바이노럴 실시예와 마찬가지로, 여기자에 의한 모노 오디오 채널 신호의 조작은 방향성 조작 전 또는 후에 수행될 수 있으며, 후자의 경우에 통상적으로 동일한 여기자 파라미터가 다중 채널 오디오 신호의 모든 오디오 채널에 개별적으로 적용된다.
특정 실시예에서, 예컨대, 증강 현실 애플리케이션 또는 영화 사운드 트랙 믹싱의 경우, 공간 오디오 소스에 연관된 오디오 채널 신호의 이러한 바이노럴 또는 다중 채널 표현은 이미 하나 이상의 공간 오디오 소스를 포함하는 기존의 모노, 바이노럴 또는 다중 채널 표현과 믹싱될 수 있다.
다른 실시예에서, 예컨대, 가상 현실 애플리케이션 또는 영화 사운드 트랙 믹싱의 경우, 공간 오디오 소스에 연관된 오디오 채널 신호의 이러한 모노 또는 바이노럴 또는 다중 채널 표현은 다른 공간 오디오 소스의 모노 또는 바이노럴 또는 다중 채널 표현과 믹싱되어 2개 이상의 공간 오디오 소스를 포함하는 공간 오디오 시나리오를 생성한다.
또 다른 실시예에서, 특히 2개 이상의 공간 오디오 소스를 포함하는 바이노 럴 또는 다중채널 오디오 신호로 표현되는 공간 오디오 시나리오의 경우, 하나의 공간 오디오 소스를 다른 공간 오디오 소스와 분리하고, 예컨대 본 발명의 실시예 100 또는 200을 사용하여, 인지된 거리 조작을 수행하여 공간 오디오 시나리오에 마찬가지로 포함된 다른 공간 오디오 소스와 비교되는, 이 하나의 공간 신호 각각의 공간 오디오 소스의 인지된 거리를 조작하기 위해, 소스 분리가 수행될 수 있다. 이후, 조작되고 분리된 오디오 채널 신호는 바이노럴 또는 다중 채널 오디오 신호로 표현되는 공간 오디오 시나리오에 믹싱된다.
또 다른 실시예에서, 일부 또는 모든 공간 오디오 신호는 이들 일부 또는 모든 공간 오디오 신호 각각의 공간 오디오 소스의 인지된 거리를 조작하기 위해 분리된다. 이후 조작된, 분리된 오디오 채널 신호는 믹싱되어 바이노럴 또는 다중 채널 오디오 신호로 표현되는 조작된 공간 오디오 시나리오를 형성한다. 공간 오디오 시나리오에 포함된 모든 공간 오디오 소스의 인지된 거리가 조작되어야 하는 경우, 소스 분리가 생략될 수도 있고, 본 발명의 실시예 100 및 200을 사용한 거리 조작은 바이노럴 또는 다중 채널 신호의 개별 오디오 채널 신호에 동등하게 적용될 수 있다.
공간 오디오 소스는 인간, 동물, 악기 또는 연관된 공간 오디오 신호를 생성하는 것으로 간주될 수 있는 임의의 다른 소스일 수 있거나, 이들을 표현할 수 있다. 공간 오디오 소스에 연관된 오디오 채널 신호는 자연적이거나 기록된 오디오 신호 또는 인위적으로 생성된 오디오 신호 또는 전술한 오디오 신호들의 조합일 수 있다.
본 발명의 실시예는 청취자의 헤드폰을 통해 공간 오디오 소스를 렌더링하는 장치 및/또는 방법에 관한 것이며, 입력 오디오 신호를 여기시키는 여기자를 포함하고, 대응하는 일정 거리의 함수로서 여기자의 파라미터를 조정하는 제어기를 포함한다.
여기자는 거리 정보에 기초하여 그 입력 오디오 신호에 필터를 적용할 수 있다. 여기자는 거리 정보에 기초하여 필터링된 오디오 신호에 비선형성을 적용할 수 있다. 여기자는 추가로, 거리 정보에 기초하여 여기자의 강도를 제어하기 위해 이득 계수에 의한 스케일링을 적용할 수 있다. 결과로서 얻은 오디오 신호는 입력 오디오 신호에 가산되어 출력 오디오 신호를 제공할 수 있다.
Claims (16)
- 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 장치로서,
상기 공간 오디오 소스는 상기 공간 오디오 시나리오 내의 청취자와 일정 거리를 가지고, 상기 장치는,
상기 입력 오디오 신호를 조작하여 출력 오디오 신호를 취득하도록 구성된 여기자(exciter); 및
상기 일정 거리에 기초하여 상기 입력 오디오 신호를 조작하기 위해 상기 여기자의 파라미터를 제어하도록 구성된 제어기
를 포함하고,
상기 여기자는,
상기 입력 오디오 신호를 필터링하여 필터링된 오디오 신호를 취득하도록 구성된 대역 통과 필터;
상기 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하도록 구성된 비선형 프로세서; 및
상기 비선형 처리된 오디오 신호를 상기 입력 오디오 신호와 결합하여 상기 출력 오디오 신호를 취득하도록 구성된 결합기를 포함하는, 장치. - 제1항에 있어서,
상기 제어기는 상기 일정 거리에 기초하여 상기 여기자의 대역 통과 필터의 주파수 전달 함수를 결정하도록 구성되는, 장치. - 제1항에 있어서,
상기 제어기는 상기 일정 거리가 감소하는 경우, 상기 여기자의 대역 통과 필터의 저역 차단 주파수(lower cut-off frequency) 및/또는 고역 차단 주파수(higher cut-off frequency)를 증가시키도록 구성되고, 그리고 상기 제어기는 상기 일정 거리가 증가하는 경우, 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수를 감소시키도록 구성되며; 및/또는
상기 제어기는 상기 일정 거리가 감소하는 경우, 상기 여기자의 대역 통과 필터의 대역폭을 증가시키도록 구성되고, 그리고 상기 제어기는 상기 일정 거리가 증가하는 경우, 상기 여기자의 대역 통과 필터의 대역폭을 감소시키도록 구성되며; 및/또는
상기 제어기는 아래 식:
에 따라 상기 여기자의 대역 통과 필터의 저역 차단 주파수 및/또는 고역 차단 주파수를 결정하도록 구성되며,
위 식에서, fH는 상기 고역 차단 주파수를 나타내고, fL은 상기 저역 차단 주파수를 나타내고, b1_freq은 제1 기준 차단 주파수를 나타내고, b2_freq는 제2 기준 차단 주파수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리(normalized distance)를 나타내는, 장치. - 제1항에 있어서,
상기 제어기는 상기 일정 거리에 기초하여 비선형 처리된 오디오 신호를 취득하기 위해 상기 여기자의 비선형 프로세서의 파라미터를 제어하도록 구성되는, 장치. - 제1항에 있어서,
상기 제어기는, 상기 일정 거리가 감소하는 경우, 비선형 처리된 오디오 신호가 고주파 부분에서 더 많은 고조파 및/또는 더 많은 전력을 포함하도록 상기 여기자의 비선형 프로세서의 파라미터를 제어하고, 그리고 상기 일정 거리가 증가하는 경우, 비선형 처리된 오디오 신호가 고주파 부분에서 더 적은 고조파 및/또는 더 적은 전력을 포함하도록 상기 여기자의 비선형 프로세서의 파라미터를 제어하도록 구성되는,
장치. - 제1항에 있어서,
상기 여기자의 비선형 프로세서는 시간 도메인에서의 필터링된 오디오 신호의 크기를 제한 임계치보다 작은 크기로 제한하여 비선형 처리된 오디오 신호를 취득하도록 구성되며, 상기 제어기는 상기 일정 거리에 기초하여 상기 제한 임계치를 제어하도록 구성되는, 장치. - 제6항에 있어서,
상기 제어기는 상기 일정 거리가 감소하는 경우, 상기 제한 임계치를 감소시키도록 구성되고, 그리고 상기 제어기는 상기 일정 거리가 증가하는 경우, 상기 제한 임계치를 증가시키도록 구성되며; 및/또는
상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 제한 임계치를 결정하도록 구성되며,
위 식에서, lt는 상기 제한 임계치를 나타내고, LT는 제한 임계 상수(limiting threshold constant)를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm은 정규화된 거리를 나타내는, 장치. - 제1항에 있어서,
상기 여기자의 비선형 프로세서는 시간 도메인에서 필터링된 오디오 신호와 이득 신호를 승산하도록 구성되고, 상기 이득 신호는 상기 일정 거리에 기초하여 상기 입력 오디오 신호로부터 결정되는, 장치. - 제8항에 있어서,
상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 신호를 결정하도록 구성되며,
위 식에서, μ는 상기 이득 신호를 나타내고, srms는 입력 오디오 신호의 제곱 평균 제곱근(root-mean-square) 추정을 나타내고, sBP는 상기 필터링된 오디오 신호를 나타내고, lt는 추가 제한 임계치(further limiting threshold value)를 나타내고, limthr는 추가 제한 임계 상수(further limiting threshold constant)를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인(sample time index)을 나타내는, 장치. - 제1항에 있어서,
상기 여기자는 비선형 처리된 오디오 신호를 이득 계수(gain factor)로 가중하도록 구성된 스케일러(scaler)를 포함하고, 상기 제어기는 상기 일정 거리에 기초하여 상기 스케일러의 이득 계수를 결정하도록 구성되는, 장치. - 제10항에 있어서,
상기 제어기는 상기 일정 거리가 감소하는 경우 상기 이득 계수를 증가시키도록 구성되고, 그리고 상기 제어기는 상기 일정 거리가 증가하는 경우에 상기 이득 계수를 감소시키도록 구성되며; 및/또는
상기 제어기는 아래 식:
에 따라 상기 일정 거리에 기초하여 상기 이득 계수를 결정하도록 구성되며,
위 식에서, gexc는 상기 이득 계수를 나타내고, r은 상기 일정 거리를 나타내고, rmax는 최대 거리를 나타내고, rnorm는 정규화된 거리를 나타내고, n은 샘플 시간 색인을 나타내는, 장치. - 제1항에 있어서,
상기 일정 거리를 결정하도록 구성된 결정기(determiner)를 더 포함하는 장치. - 공간 오디오 시나리오 내에서 공간 오디오 소스에 연관된 입력 오디오 신호를 조작하기 위한 방법으로서,
상기 공간 오디오 소스는 상기 공간 오디오 시나리오 내의 청취자와 일정 거리를 가지며, 상기 방법은,
상기 일정 거리에 기초하여 상기 입력 오디오 신호를 여기시키기 위해 여기 파라미터(exciting parameter)를 제어하는 단계; 및
출력 오디오 신호를 취득하기 위해 상기 입력 오디오 신호를 여기시키는 단계
를 포함하고,
상기 입력 오디오 신호를 여기시키는 단계는,
상기 입력 오디오 신호를 대역 통과 필터링하여 필터링된 오디오 신호를 취득하는 단계;
상기 필터링된 오디오 신호를 비선형 처리하여 비선형 처리된 오디오 신호를 취득하는 단계; 및
상기 비선형 처리된 오디오 신호를 상기 입력 오디오 신호와 결합하여 상기 출력 오디오 신호를 취득하는 단계를 포함하는, 방법. - 컴퓨터상에서 실행될 때 제13항에 따른 방법을 수행하기 위한 프로그램 코드를 포함하는, 컴퓨터로 판독할 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
- 삭제
- 삭제
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2014/065728 WO2016012037A1 (en) | 2014-07-22 | 2014-07-22 | An apparatus and a method for manipulating an input audio signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170030606A KR20170030606A (ko) | 2017-03-17 |
| KR101903535B1 true KR101903535B1 (ko) | 2018-10-02 |
Family
ID=51212855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177003703A KR101903535B1 (ko) | 2014-07-22 | 2014-07-22 | 입력 오디오 신호를 조작하기 위한 장치 및 방법 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US10178491B2 (ko) |
| EP (1) | EP3155828B1 (ko) |
| JP (1) | JP6430626B2 (ko) |
| KR (1) | KR101903535B1 (ko) |
| CN (1) | CN106465032B (ko) |
| AU (1) | AU2014401812B2 (ko) |
| BR (1) | BR112017001382B1 (ko) |
| CA (1) | CA2955427C (ko) |
| MX (1) | MX363415B (ko) |
| RU (1) | RU2671996C2 (ko) |
| WO (1) | WO2016012037A1 (ko) |
| ZA (1) | ZA201700207B (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3264228A1 (en) * | 2016-06-30 | 2018-01-03 | Nokia Technologies Oy | Mediated reality |
| WO2018043917A1 (en) * | 2016-08-29 | 2018-03-08 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting audio |
| US11489847B1 (en) * | 2018-02-14 | 2022-11-01 | Nokomis, Inc. | System and method for physically detecting, identifying, and diagnosing medical electronic devices connectable to a network |
| CN113615213A (zh) | 2019-03-29 | 2021-11-05 | 索尼集团公司 | 装置和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2550380B2 (ja) * | 1987-01-22 | 1996-11-06 | アメリカン・ナチュラル・サウンド、エルエルシー、ア・リミテッド・ライアビリティー・カンパニー | 人間の両耳音定位の増強された生物工学的エミュレーションを利用する３次元聴覚表示装置および方法 |
| US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
| JP2010520671A (ja) * | 2007-03-01 | 2010-06-10 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
| WO2013181172A1 (en) * | 2012-05-29 | 2013-12-05 | Creative Technology Ltd | Stereo widening over arbitrarily-configured loudspeakers |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03114000A (ja) * | 1989-09-27 | 1991-05-15 | Nippon Telegr & Teleph Corp <Ntt> | 音声再生方式 |
| JPH06269096A (ja) * | 1993-03-15 | 1994-09-22 | Olympus Optical Co Ltd | 音像制御装置 |
| US5920840A (en) * | 1995-02-28 | 1999-07-06 | Motorola, Inc. | Communication system and method using a speaker dependent time-scaling technique |
| US7391877B1 (en) | 2003-03-31 | 2008-06-24 | United States Of America As Represented By The Secretary Of The Air Force | Spatial processor for enhanced performance in multi-talker speech displays |
| US20050147261A1 (en) * | 2003-12-30 | 2005-07-07 | Chiang Yeh | Head relational transfer function virtualizer |
| KR100609878B1 (ko) * | 2005-07-25 | 2006-08-08 | 삼성전자주식회사 | 오디오 출력장치 및 그 제어방법 |
| JP5082327B2 (ja) | 2006-08-09 | 2012-11-28 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
| CN101518103B (zh) * | 2006-09-14 | 2016-03-23 | 皇家飞利浦电子股份有限公司 | 多通道信号的甜点操纵 |
| DE102006050068B4 (de) * | 2006-10-24 | 2010-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm |
| EP2214165A3 (en) * | 2009-01-30 | 2010-09-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for manipulating an audio signal comprising a transient event |
| ES2374486T3 (es) * | 2009-03-26 | 2012-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dispositivo y método para manipular una señal de audio. |
| JP5672741B2 (ja) * | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP2013243626A (ja) | 2012-05-23 | 2013-12-05 | Sony Corp | 信号処理装置、信号処理方法、およびプログラム |
-
2014
- 2014-07-22 JP JP2017503511A patent/JP6430626B2/ja active Active
- 2014-07-22 CA CA2955427A patent/CA2955427C/en active Active
- 2014-07-22 AU AU2014401812A patent/AU2014401812B2/en active Active
- 2014-07-22 EP EP14741891.7A patent/EP3155828B1/en active Active
- 2014-07-22 MX MX2017000954A patent/MX363415B/es unknown
- 2014-07-22 KR KR1020177003703A patent/KR101903535B1/ko active IP Right Grant
- 2014-07-22 WO PCT/EP2014/065728 patent/WO2016012037A1/en active Application Filing
- 2014-07-22 CN CN201480077616.7A patent/CN106465032B/zh active Active
- 2014-07-22 RU RU2017105461A patent/RU2671996C2/ru active
- 2014-07-22 BR BR112017001382-7A patent/BR112017001382B1/pt active IP Right Grant
-
2017
- 2017-01-10 ZA ZA2017/00207A patent/ZA201700207B/en unknown
- 2017-01-20 US US15/411,859 patent/US10178491B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2550380B2 (ja) * | 1987-01-22 | 1996-11-06 | アメリカン・ナチュラル・サウンド、エルエルシー、ア・リミテッド・ライアビリティー・カンパニー | 人間の両耳音定位の増強された生物工学的エミュレーションを利用する３次元聴覚表示装置および方法 |
| US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
| JP2010520671A (ja) * | 2007-03-01 | 2010-06-10 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
| WO2013181172A1 (en) * | 2012-05-29 | 2013-12-05 | Creative Technology Ltd | Stereo widening over arbitrarily-configured loudspeakers |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2017105461A3 (ko) | 2018-08-22 |
| ZA201700207B (en) | 2018-04-25 |
| MX363415B (es) | 2019-03-22 |
| JP2017525292A (ja) | 2017-08-31 |
| CA2955427C (en) | 2019-01-15 |
| EP3155828B1 (en) | 2018-11-07 |
| EP3155828A1 (en) | 2017-04-19 |
| AU2014401812B2 (en) | 2018-03-01 |
| US10178491B2 (en) | 2019-01-08 |
| JP6430626B2 (ja) | 2018-11-28 |
| CN106465032B (zh) | 2018-03-06 |
| WO2016012037A1 (en) | 2016-01-28 |
| RU2017105461A (ru) | 2018-08-22 |
| CN106465032A (zh) | 2017-02-22 |
| BR112017001382B1 (pt) | 2022-02-08 |
| MX2017000954A (es) | 2017-05-01 |
| US20170134877A1 (en) | 2017-05-11 |
| RU2671996C2 (ru) | 2018-11-08 |
| CA2955427A1 (en) | 2016-01-28 |
| AU2014401812A1 (en) | 2017-02-02 |
| BR112017001382A2 (pt) | 2018-06-05 |
| KR20170030606A (ko) | 2017-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8515104B2 (en) | Binaural filters for monophonic compatibility and loudspeaker compatibility | |
| JP6251809B2 (ja) | サウンドステージ拡張用の装置及び方法 | |
| JP4740242B2 (ja) | 聴覚の情景分析を用いたオーディオ信号の結合 | |
| JP5526107B2 (ja) | 空間出力マルチチャネルオーディオ信号を決定する装置 | |
| US10178491B2 (en) | Apparatus and a method for manipulating an input audio signal | |
| EP3286929A1 (en) | Processing audio data to compensate for partial hearing loss or an adverse hearing environment | |
| WO2008034221A1 (en) | Method and apparatus for extracting and changing the reverberant content of an input signal | |
| EP2939443B1 (en) | System and method for variable decorrelation of audio signals | |
| CN107005778A (zh) | 用于双耳渲染的音频信号处理设备和方法 | |
| JP6660982B2 (ja) | オーディオ信号レンダリング方法及び装置 | |
| EP3613221A1 (en) | Enhancing loudspeaker playback using a spatial extent processed audio signal | |
| JP2024028527A (ja) | 音場関連レンダリング | |
| WO2012005074A1 (ja) | 音声信号処理装置、方法、プログラム、及び記録媒体 | |
| KR20170092669A (ko) | 스테레오 신호의 스테레오 이미지를 수정하기 위한 오디오 신호 처리 장치 및 방법 | |
| CN108604454B (zh) | 音频信号处理装置和输入音频信号处理方法 | |
| JP5915249B2 (ja) | 音響処理装置および音響処理方法 | |
| WO2023187208A1 (en) | Methods and systems for immersive 3dof/6dof audio rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |