KR20220103196A - 다중 대역 제한기 모드 및 잡음 보상 방법 - Google Patents
다중 대역 제한기 모드 및 잡음 보상 방법 Download PDFInfo
- Publication number
- KR20220103196A KR20220103196A KR1020227023486A KR20227023486A KR20220103196A KR 20220103196 A KR20220103196 A KR 20220103196A KR 1020227023486 A KR1020227023486 A KR 1020227023486A KR 20227023486 A KR20227023486 A KR 20227023486A KR 20220103196 A KR20220103196 A KR 20220103196A
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- level
- noise
- examples
- audio data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 110
- 238000004321 preservation Methods 0.000 claims description 129
- 230000005236 sound signal Effects 0.000 claims description 30
- 238000003672 processing method Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 16
- 230000000873 masking effect Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 39
- 239000003607 modifier Substances 0.000 description 23
- 238000000926 separation method Methods 0.000 description 19
- 230000000670 limiting effect Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000013442 quality metrics Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005404 monopole Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
- H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
- H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
- H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
- H04R29/002—Loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/007—Protection circuits for transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
- H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/03—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
Abstract
일부 구현은 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 것, 오디오 데이터의 재생에 관한 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것, 및 레벨 조정된 오디오 데이터를 생성하기 위해, 적어도 하나의 유형의 레벨 조정 표시에 기초하여 입력 오디오 데이터의 레벨을 제어하는 것을 포함한다. 일부 예는, 유형(들)의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 것, 다중 대역 제한된 오디오 데이터를 생성하기 위해 다중 대역 제한기를 레벨 조정된 오디오 데이터에 적용하는 것, 및 다중 대역 제한된 오디오 데이터를 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서에 제공하는 것을 포함한다.
Description
관련된 출원에 대한 상호 참조
본 출원은 2019년 12월 9일에 출원된 미국 가출원 제62/945,292호; 2020년 11월 30일에 출원된 제63/198,995호; 2019년 12월 9일에 출원된 제62/945,303호; 2020년 11월 30일에 출원된 제63/198,996호; 2020년 11월 30일에 출원된 제63/198,997호; 2019년 12월 9일에 출원된 제62/945,607호; 2020년 11월 30일에 출원된 제63/198,998호; 및 2020년 11월 30일에 출원된 제63/198,999호를 우선권으로 주장하고, 이로써 상기 출원 각각은 인용에 의해 전체적으로 본원에 포함된다.
본 개시는 잡음 보상을 위한 시스템 및 방법에 관한 것이다.
텔레비전 및 연관된 오디오 디바이스를 포함하지만 이에 제한되지 않는 오디오 및 비디오 디바이스가 널리 전개되어 있다. 일부 이러한 디바이스는, 환경 내의 잡음을 보상하려고 시도하는 잡음 보상 알고리즘을 구현하도록 구성된다. 잡음 보상을 위한 기존 시스템 및 방법이 이점을 제공하지만, 개선된 시스템 및 방법이 바람직할 것이다.
표기법 및 명명법
청구범위를 포함하여 본 개시 전체에 걸쳐, "스피커" 및 "확성기" 및 "오디오 재생 트랜스듀서"라는 용어는 단일 스피커 피드에 의해 구동되는 임의의 사운드 방출 트랜스듀서(또는 트랜스듀서 세트)를 나타내기 위해 동의어로 사용된다. 일반적인 헤드폰 세트는 두 개의 스피커를 포함한다. 스피커는 단일의 공통 스피커 피드 또는 다중 스피커 피드에 의해 구동될 수 있는 다중 트랜스듀서(예컨대, 우퍼 및 트위터)를 포함하도록 구현될 수 있다. 일부 예에서, 스피커 피드(들)는 상이한 트랜스듀서에 결합된 상이한 회로 브랜치에서 상이한 프로세싱을 거칠 수 있다.
청구범위를 포함하여 본 개시 전체에 걸쳐, 신호 또는 데이터"에 대해" 동작을 수행한다는 표현(예컨대, 신호 또는 데이터에 대해 필터링, 스케일링, 변환 또는 이득 적용)은 신호 또는 데이터에 대한 직접 동작 또는 신호 또는 데이터의 프로세싱된 버전에 대한(예컨대, 동작 수행 전에 예비 필터링 또는 사전 프로세싱을 거친 신호 버전에 대한) 동작을 수행하는 것을 나타내는 넓은 의미로 사용된다.
청구범위를 포함하여 본 개시 전체에 걸쳐, "시스템"이라는 표현은 디바이스, 시스템 또는 서브시스템을 나타내는 넓은 의미로 사용된다. 예컨대, 디코더를 구현하는 서브시스템은 디코더 시스템으로 지칭될 수 있으며 그러한 서브시스템을 포함하는 시스템(예컨대, 다중 입력에 응답하여 X개의 출력 신호를 생성하는 시스템, 여기에서 서브시스템은 M개의 입력을 생성하고 나머지 X-M개의 입력은 외부 소스에서 수신됨) 또한 디코더 시스템으로 지칭될 수 있다.
청구범위를 포함하여 본 개시 전체에 걸쳐, "프로세서"라는 표현은 데이터(예컨대, 오디오 또는 비디오 또는 다른 이미지 데이터)에 대한 동작을 수행하기 위하여 (예컨대, 소프트웨어 또는 펌웨어를 사용하여) 프로그래밍 가능하거나 다른 방식으로 구성 가능한 시스템 또는 디바이스를 나타내는 넓은 의미로 사용된다. 프로세서의 예는 현장 프로그래밍 가능 게이트 어레이(또는 다른 구성 가능한 집적 회로 또는 칩셋), 오디오 또는 다른 사운드 데이터에 대해 파이프라인 프로세싱을 수행하도록 프로그래밍 및/또는 다른 방식으로 구성되는 디지털 신호 프로세서, 프로그래밍 가능 범용 프로세서 또는 컴퓨터 및 프로그래밍 가능 마이크로프로세서 칩 또는 칩셋을 포함한다.
청구범위를 포함하여 본 개시 전체에 걸쳐, "결합하다(couples)" 또는 "결합된(coupled)"이란 용어는 직접 또는 간접 연결(connection)을 의미하는 데 사용된다. 따라서, 제1 디바이스가 제2 디바이스에 결합되면, 그 연결은 직접 연결을 통하거나, 다른 디바이스 및 연결을 통한 간접 연결을 통한 것일 수 있다.
본원에서 사용된 바와 같이, "스마트 디바이스"는 일반적으로 블루투스(Bluetooth), 지그비(Zigbee), 근거리 통신, 와이파이(Wi-Fi), 광 충실도(light fidelity; Li-Fi), 3G, 4G, 5G 등과 같이 어느 정도 대화식으로 및/또는 자율적으로 작동할 수 있는 다양한 무선 프로토콜을 통해 하나 이상의 다른 디바이스(또는 네트워크)와 통신하도록 구성된 전자 디바이스이다. 스마트 디바이스의 몇 가지 주목할 만한 유형은 스마트폰, 스마트 자동차, 스마트 온도 조절기, 스마트 초인종, 스마트 잠금 장치, 스마트 냉장고, 패블릿 및 태블릿, 스마트워치, 스마트 밴드, 스마트 키 체인 및 스마트 오디오 디바이스이다. "스마트 디바이스"라는 용어는 또한 인공 지능과 같은 유비쿼터스 컴퓨팅의 일부 속성을 나타내는 디바이스를 지칭할 수도 있다.
본원에서, "스마트 오디오 디바이스"라는 표현을 사용하여 단일 목적 오디오 디바이스 또는 다목적 오디오 디바이스(예컨대, 가상 비서 기능의 적어도 일부 양상을 구현하는 오디오 디바이스)인 스마트 디바이스를 나타낸다. 단일 목적 오디오 디바이스는 적어도 하나의 마이크로폰을 포함하거나 이에 결합되고(그리고 선택적으로 또한 적어도 하나의 스피커 및/또는 적어도 하나의 카메라를 포함하거나 이에 결합되고), 주로 또는 기본적으로 단일 목적을 달성하도록 설계된 디바이스(예컨대, 텔레비전(TV))이다. 예컨대, TV가 일반적으로 프로그램 자료에서 오디오를 재생할 수 있지만(그리고 재생할 수 있는 것으로 생각됨), 대부분의 경우 최신 TV는 텔레비전 시청 애플리케이션을 포함하여 애플리케이션이 로컬로 실행되는 일부 운영 체제를 실행한다. 이러한 의미에서, 스피커(들) 및 마이크로폰(들)을 갖는 단일 목적 오디오 디바이스는 종종 스피커(들) 및 마이크로폰(들)을 직접 사용하기 위해 로컬 애플리케이션 및/또는 서비스를 실행하도록 구성된다. 일부 단일 목적 오디오 디바이스는 함께 그룹화하여 구역 또는 사용자 구성 영역에 걸친 오디오의 재생을 달성하도록 구성될 수 있다.
다목적 오디오 디바이스의 하나의 일반적인 유형은 가상 비서 기능의 적어도 일부 양상을 구현하는 오디오 디바이스이지만, 가상 비서 기능의 다른 양상은 다목적 오디오 디바이스가 통신을 위해 구성된 하나 이상의 서버와 같은 하나 이상의 다른 디바이스에 의해 구현될 수 있다. 이러한 다목적 오디오 디바이스는 본원에서 "가상 비서(virtual assistant)"로 지칭될 수 있다. 가상 비서는 적어도 하나의 마이크로폰을 포함하거나 이에 결합된(그리고 또한 선택적으로 적어도 하나의 스피커 및/또는 적어도 하나의 카메라를 포함하거나 이에 결합된) 디바이스(예컨대, 스마트 스피커 또는 음성 비서 통합 디바이스)이다. 일부 예에서, 가상 비서는 어느 정도 클라우드 가능하거나 그렇지 않으면, 가상 비서 자체 내에서 또는 상에서 완전히 구현되지 않은 애플리케이션에 대해 (가상 비서와 구별되는) 다수의 디바이스를 활용하는 능력을 제공할 수 있다. 달리 말하자면, 가상 비서 기능의 적어도 일부 양상, 예컨대, 음성 인식 기능이 가상 비서가 인터넷과 같은 네트워크를 통해 통신할 수 있는 하나 이상의 서버 또는 다른 디바이스에 의해 (적어도 부분적으로) 구현될 수 있다. 가상 비서는 때때로 예컨대 이산적이고 조건부로 정의된 방식으로 함께 작동할 수 있다. 예컨대, 2개 이상의 가상 비서는 그들 중 하나, 예컨대 깨우기 단어를 들었다고 가장 확신하는 것이 깨우기 단어에 응답한다는 의미에서 함께 작동할 수 있다. 연결된 가상 비서는, 일부 구현에서, 일종의 집합체를 형성할 수 있으며, 이는 가상 비서일 수 있는(또는 이를 구현할 수 있는) 하나의 메인 애플리케이션에 의해 관리될 수 있다.
본원에서, "깨우기 단어(wakeword)"는 임의의 사운드(예컨대 사람이 발화한 단어 또는 어떤 다른 사운드)를 나타내는 넓은 의미로 사용되며, 여기에서 스마트 오디오 디바이스는 (스마트 오디오 디바이스에 포함되거나 결합된 적어도 하나의 마이크로폰, 또는 적어도 하나의 다른 마이크로폰을 사용하여) 사운드의 ("청각") 검출에 응답하여 깨어나도록 구성된다. 이 맥락에서, "깨우다"는 디바이스가 사운드 커맨드를 기다리는(달리 말하자면, 듣고 있는) 상태로 들어가는 것을 나타낸다. 일부 예시에서, 본원에서 "깨우기 단어"로 지칭될 수 있는 것은 하나 초과의 단어, 예컨대 구(phrase)를 포함할 수 있다.
본원에서, "깨우기 단어 검출기"라는 표현은 실시간 사운드(예컨대 음성) 특징과 훈련된 모델 간의 정렬을 지속적으로 검색하도록 구성된 디바이스(또는 디바이스를 구성하기 위한 명령을 포함하는 소프트웨어)를 나타낸다. 일반적으로, 깨우기 단어가 검출된 확률이 미리 정의된 임계값을 초과한다고 깨우기 단어 검출기에 의해 결정될 때마다 깨우기 단어 이벤트가 촉발된다. 예컨대, 임계값은 거짓 수락과 거짓 거부의 레이트 사이에 합리적인 절충안을 제공하도록 조정된 미리 결정된 임계값일 수 있다. 깨우기 단어 이벤트에 이어, 디바이스는 명령을 듣고 수신한 명령을 더 크고 보다 계산 집중적인 인식기로 전달하는 상태("깨어난" 상태 또는 "주의" 상태로 지칭할 수 있음)로 들어갈 수 있다.
본원에서 사용된 바와 같이, "프로그램 스트림" 및 "콘텐츠 스트림"은 하나 이상의 오디오 신호, 및 일부 예시에서 비디오 신호 ― 이들 중 적어도 일부가 함께 들리는 것으로 여겨짐 ― 의 집합을 지칭한다. 예는 음악, 영화 사운드트랙, 영화, 텔레비전 프로그램, 텔레비전 프로그램의 오디오 부분, 팟캐스트, 라이브 음성 호출, 스마트 어시스턴트로부터의 합성된 음성 응답 등의 선택을 포함한다. 일부 예시에서, 콘텐츠 스트림은 오디오 신호의 적어도 일부의 다수의 버전, 예컨대, 하나 초과의 언어의 동일한 대화를 포함할 수 있다. 이러한 예시에서, 오디오 데이터 또는 그의 일부의 하나의 버전(예컨대, 단일 언어에 대응하는 버전)만이 한 번에 재생되도록 의도된다.
본 개시의 적어도 일부 양상은, 콘텐츠 스트림 프로세싱 방법을 포함하지만 이에 제한되지 않는 하나 이상의 오디오 프로세싱 방법을 통해 구현될 수 있다. 일부 예시에서, 방법(들)은, 적어도 부분적으로, 하나 이상의 비일시적인 매체에 저장된 명령(예컨대, 소프트웨어)을 통해 그리고/또는 제어 시스템에 의해 구현될 수 있다. 일부 이러한 방법은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해, 입력 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 것을 포함한다. 일부 이러한 방법은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해, 오디오 데이터의 재생에 관한 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것을 포함한다. 일부 이러한 방법은, 제어 시스템에 의해, 레벨 조정된 오디오 데이터를 생성하기 위해, 적어도 하나의 유형의 레벨 조정 표시에 기초하여 입력 오디오 데이터의 레벨을 제어하는 것을 포함한다. 일부 이러한 방법은, 제어 시스템에 의해 그리고 적어도 하나의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 것을 포함한다. 일부 이러한 방법은, 제어 시스템에 의해, 다중 대역 제한기 구성에 따라 다중 대역 제한기를 구성하는 것을 포함한다. 일부 이러한 방법은 다중 대역 제한된 오디오 데이터를 생성하기 위해 다중 제한기를 레벨 조정된 오디오 데이터에 적용하는 것을 포함한다. 일부 이러한 방법은 다중 대역 제한된 오디오 데이터를 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서에 제공하는 것을 포함한다.
일부 구현에 따라, 적어도 하나의 유형의 레벨 조정 표시는 사용자 입력을 통해 수신된 사용자 입력 레벨 조정 표시 및/또는 잡음 보상 모듈로부터 수신된 잡음 보상 레벨 조정 표시를 포함할 수 있다. 일부 예에서, 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 사용자 입력 레벨 조정 표시를 수신하는 것을 포함하면, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 구성을 결정하는 것을 포함할 수 있다. 일부 예에서, 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 잡음 보상 레벨 조정 표시를 수신하는 것을 포함하면, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 기능을 변경하는 것을 포함할 수 있다. 일부 예시에서, 음색 보존 기능을 변경하는 것은 음색 보존 기능을 적어도 부분적으로 디스에이블하는 것을 포함할 수 있다. 일부 예에 따라, 잡음 보상 레벨 조정 표시는 오디오 환경에서 주변 잡음 레벨에 대응할 수 있다. 일부 이러한 예에서, 음색 보존 기능을 변경하는 것은, 주변 잡음 레벨에 적어도 부분적으로 기초하여, 음색 보존 기능을 변경하는 것을 포함할 수 있다. 음색 보존 기능을 변경하는 것은, 일부 예시에서, 주변 잡음 레벨에 적어도 부분적으로 기초할 수 있다. 일부 예는, 재생된 오디오 데이터를 제공하기 위해 다중 대역 제한된 오디오 데이터를 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서 상에서 재생하는 것을 포함할 수 있다. 일부 이러한 예는 재생된 오디오 데이터에 대한 주변 잡음 레벨의 마스킹 효과를 결정 또는 추정하는 것을 포함할 수 있다. 일부 예시에서, 음색 보존 기능을 변경하는 것은 마스킹 효과에 적어도 부분적으로 기초할 수 있다. 일부 예에서, 음색 보존 구성은 주파수 대역에 의존할 수 있다.
일부 예시에서, 적어도 하나의 유형의 조정 표시를 수신하는 것은 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시 둘 모두를 수신하는 것을 포함할 수 있다. 일부 이러한 예에서, 다중 대역 제한기 구성을 결정하는 것은, 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시의 가중된 평균에 적어도 부분적으로 기초하는 음색 보존 구성을 결정하는 것을 포함할 수 있다.
일부 예는 또한, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 때, 잡음 보상 모듈 동작 변경을 발생시키는 것을 포함할 수 있다. 일부 예시에서, 제어 시스템은, 잡음 보상 레벨 조정 표시 및/또는 잡음 추정치에 적어도 부분적으로 기초하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다. 일부 예에서, 잡음 보상 모듈 동작 변경은 잡음 보상 모듈의 에코 제거기 기능을 변경하는 것을 포함할 수 있다. 일부 예에 따라, 잡음 보상 모듈 동작 변경은, 잡음 보상 모듈로 하여금 잡음 보상 모듈의 잡음 추정기에 대한 입력으로서 조용한 재생 간격(quiet playback interval)만을 사용하게 하는 것을 포함할 수 있다. 조용한 재생 간격은 적어도 하나의 주파수 대역에서 그리고/또는 적어도 하나의 간격에서 임계값 레벨 이하인 오디오 신호의 인스턴스일 수 있다. 일부 예시에서, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하는 다중 제한된 오디오 데이터는, 오디오 환경의 높은 주변 잡음 레벨에 대응하는 잡음 보상 레벨 조정에 기초할 수 있다.
일부 구현에 따라, 잡음 보상 모듈은 제어 시스템의 서브시스템일 수 있다. 일부 예에서, 제어 시스템의 레벨 조정기 모듈은, 레벨 조정된 오디오 데이터를 생성하기 위해 입력 오디오 데이터의 레벨을 제어하도록 구성될 수 있다. 일부 이러한 예에 따라, 방법은 또한 다중 대역 제한기 피드백을 다중 대역 제한기로부터 레벨 조정기 모듈에 제공하는 것을 포함할 수 있다. 일부 예시에서, 다중 대역 제한기 피드백은, 다중 대역 제한기가 레벨 조정된 오디오 데이터의 복수의 주파수 대역 각각에 적용하는 제한량을 나타낼 수 있다. 일부 예는 또한, 레벨 조정기 모듈에 의해, 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역 중 하나 이상의 주파수 대역의 레벨을 제어하는 것을 포함할 수 있다.
본 개시의 일부 대안적인 양상은 또한, 콘텐츠 스트림 프로세싱 방법을 포함하지만 이에 제한되지 않는 하나 이상의 오디오 프로세싱 방법을 통해 구현될 수 있다. 일부 예시에서, 방법(들)은, 적어도 부분적으로, 하나 이상의 비일시적인 매체에 저장된 명령(예컨대, 소프트웨어)을 통해 그리고/또는 제어 시스템에 의해 구현될 수 있다. 일부 이러한 방법은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해, 입력 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 것, 및 제어 시스템에 의해, 다중 대역 제한된 오디오 데이터를 생성하기 위해, 다중 대역 제한기를 오디오 데이터 또는 오디오 데이터의 프로세싱된 버전에 적용하는 것을 포함한다. 일부 이러한 방법은, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금, 하나 이상의 오디오 재생 트랜스듀서를 통해 재생될 때 선형 범위 외부에서 동작하게 할 것인지 여부를 결정하는 것, 및 제어 시스템에 의해, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 것인지 여부에 적어도 부분적으로 기초하여, 음향 에코 제거기가 하나 이상의 필터 계수를 업데이트할지 여부 또는 잡음 추정기가 잡음 추정치를 업데이트할지 여부를 제어하는 것을 포함한다. 일부 이러한 방법은 다중 대역 제한된 오디오 데이터를 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서에 제공하는 것을 포함한다.
일부 예에서, 음향 에코 제거기가 하나 이상의 필터 계수를 업데이트할지 여부를 제어하는 것은, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하면, 하나 이상의 필터 계수를 업데이트하지 않도록 음향 에코 제거기를 제어하는 것을 포함할 수 있다. 일부 구현은, 제어 시스템에 의해, 오디오 데이터의 재생에 관한 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것, 제어 시스템에 의해 그리고 적어도 하나의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 것, 및 제어 시스템에 의해, 다중 대역 제한기 구성에 따라 다중 대역 제한기를 구성하는 것을 포함할 수 있다. 일부 이러한 예는 또한, 제어 시스템에 의해, 레벨 조정된 오디오 데이터를 생성하기 위해, 적어도 하나의 유형의 레벨 조정 표시에 기초하여 입력 오디오 데이터의 레벨을 제어하는 것을 포함한다. 다중 대역 제한기를 오디오 데이터 또는 오디오 데이터의 프로세싱된 버전에 적용하는 것은 다중 제한기를 레벨 조정된 오디오 데이터에 적용하는 것을 포함할 수 있다. 일부 예에서, 적어도 하나의 유형의 레벨 조정 표시는 사용자 입력을 통해 수신된 사용자 입력 레벨 조정 표시 및/또는 음향 에코 제거기를 포함하는 잡음 보상 모듈로부터 수신된 잡음 보상 레벨 조정 표시를 포함할 수 있다. 일부 예에 따라, 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 사용자 입력 레벨 조정 표시를 수신하는 것을 포함하면, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 구성을 결정하는 것을 포함할 수 있다.
일부 구현에서, 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 잡음 보상 레벨 조정 표시를 수신하는 것을 포함하면, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 기능을 변경하는 것을 포함할 수 있다. 일부 예시에서, 음색 보존 기능을 변경하는 것은 음색 보존 기능을 적어도 부분적으로 디스에이블하는 것을 포함할 수 있다. 일부 예에서, 잡음 보상 레벨 조정 표시는 오디오 환경에서 주변 잡음 레벨에 대응할 수 있다. 일부 이러한 예에서, 음색 보존 기능을 변경하는 것은, 주변 잡음 레벨에 적어도 부분적으로 기초하여, 음색 보존 기능을 변경하는 것을 포함할 수 있다. 일부 예는 또한, 재생된 오디오 데이터를 제공하기 위해 다중 대역 제한된 오디오 데이터를 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서 상에서 재생하는 것을 포함할 수 있다. 일부 이러한 예는 또한, 재생된 오디오 데이터에 대한 주변 잡음 레벨의 마스킹 효과를 결정 또는 추정하는 것을 포함할 수 있다. 음색 보존 기능을 변경하는 것은 마스킹 효과에 적어도 부분적으로 기초할 수 있다. 일부 예에서, 음색 보존 구성은 주파수 대역에 의존할 수 있다.
일부 예에서, 적어도 하나의 유형의 조정 표시를 수신하는 것은 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시 둘 모두를 수신하는 것을 포함할 수 있다. 일부 이러한 예에서, 다중 대역 제한기 구성을 결정하는 것은, 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시의 가중된 평균에 적어도 부분적으로 기초하는 음색 보존 구성을 결정하는 것을 포함할 수 있다.
일부 구현에 따라 제어 시스템은, 잡음 보상 레벨 조정 표시 및/또는 잡음 추정치에 적어도 부분적으로 기초하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다. 일부 이러한 예에서, 제어 시스템은, 오디오 환경의 높은 주변 잡음 레벨에 대응하는 잡음 보상 레벨 조정에 적어도 부분적으로 기초하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다.
일부 예는, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 때, 하나 이상의 추가적인 잡음 보상 모듈 동작 변경을 발생시키는 것을 포함할 수 있다. 추가적인 잡음 보상 모듈 동작 변경(들)은, 잡음 보상 모듈로 하여금 잡음 보상 모듈의 잡음 추정기에 대한 입력으로서 조용한 재생 간격만을 사용하게 하는 것을 포함할 수 있다. 조용한 재생 간격은 적어도 하나의 주파수 대역에서 임계값 레벨 이하인 오디오 신호의 인스턴스 및/또는 적어도 하나의 간격 동안 임계값 레벨 이하인 오디오 신호의 인스턴스일 수 있다. 일부 구현에서, 잡음 보상 모듈은 제어 시스템의 서브시스템일 수 있다.
일부 예에 따라, 제어 시스템의 레벨 조정기 모듈은, 레벨 조정된 오디오 데이터를 생성하기 위해 입력 오디오 데이터의 레벨을 제어하도록 구성될 수 있다. 일부 이러한 예는 또한 다중 대역 제한기 피드백을 다중 대역 제한기로부터 레벨 조정기 모듈에 제공하는 것을 포함할 수 있다. 다중 대역 제한기 피드백은, 예컨대, 다중 대역 제한기가 레벨 조정된 오디오 데이터의 복수의 주파수 대역 각각에 적용하는 제한량을 나타낼 수 있다. 일부 이러한 예는 또한, 레벨 조정기 모듈에 의해, 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역 중 하나 이상의 주파수 대역의 레벨을 제어하는 것을 포함할 수 있다.
본원에 설명된 동작, 기능 및/또는 방법의 일부 또는 전부는 하나 이상의 비일시적 매체에 저장된 명령(예컨대 소프트웨어)에 따라 하나 이상의 디바이스에 의해 수행될 수 있다. 이러한 비일시적 매체는 임의 접근 메모리(RAM) 디바이스, 읽기 전용 메모리(ROM) 디바이스 등을 포함하지만 이에 제한되지 않는, 본원에 설명된 것과 같은 메모리 디바이스를 포함할 수 있다. 따라서, 본 개시에서 설명된 주제의 일부 혁신적인 양상은 소프트웨어가 저장된 하나 이상의 비일시적 매체를 통해 구현될 수 있다.
본 개시의 적어도 일부 양상은 장치를 통해 구현될 수 있다. 예컨대, 하나 이상의 디바이스가 본원에 개시된 방법을 적어도 부분적으로 수행할 수 있다. 일부 구현에서, 장치는 인터페이스 시스템 및 제어 시스템을 갖는 오디오 처리 시스템이거나 이를 포함한다. 제어 시스템은 하나 이상의 범용 단일 또는 다중 칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA) 또는 다른 프로그래밍 가능 논리 디바이스, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 구성 요소 또는 이들의 조합이 포함될 수 있다.
이 명세서에 기술된 주제의 하나 이상의 구현에 대한 세부 사항은 첨부 도면 및 아래의 설명에 설명되어 있다. 다른 특징, 양상 및 이점은 상세한 설명, 도면 및 청구범위로부터 명백해질 것이다. 다음 도면의 상대적 치수는 축척에 맞게 그려지지 않을 수 있다.
도 1a, 1b 및 1c는 선형 범위에서 확성기 동작의 예를 도시한다.
도 1d, 1e 및 1f는 비선형 범위에서 확성기 동작의 예를 도시한다.
도 1g, 1h 및 1i는 다중 대역 제한기 동작의 예를 도시한다.
도 1j, 1k 및 1l은 일 구현에 따른 음색 보존 다중 대역 제한기 동작의 예를 도시한다.
도 1m은 잡음 보상 시스템의 예를 도시한다.
도 1n은, 다중 대역 제한기로부터의 압축 피드백 신호에 따라 레벨 조정된 오디오 데이터를 수정하도록 구성된 레벨 조정기의 예를 포함하는 잡음 보상 시스템의 일부를 도시한다.
도 1o는 일 예에 따른 도 1n의 더 상세한 버전을 도시한다.
도 2a는 다중 대역 제한기에 대한 임계값 및 다른 파라미터를 설정하기 위한 GUI(graphical user interface)의 예를 도시한다.
도 2b는 다중 대역 제한기에 대한 임계값 및 다른 파라미터의 다른 예를 도시한다.
도 2c는 주파수 범위에 대한 임계값의 예를 도시하는 그래프이다.
도 2d는 주파수 범위에 대한 임계값의 다른 예를 도시하는 그래프이다.
도 2e는 본 개시의 다양한 양상을 구현할 수 있는 장치의 구성요소의 예를 도시하는 블록도이다.
도 3은 개시된 방법의 예를 약술하는 흐름도이다.
도 4a 및 4b는 음색 보존 수정기 모듈의 예를 도시한다.
도 4c는 주파수 대역 분리 수정기의 예를 도시한다.
도 5는 다른 개시된 방법의 예를 약술하는 흐름도이다.
도 6a는 확성기가 오버드라이브되는 시간 간격의 예를 도시하는 그래프이다.
도 6b는 도 6a의 그래프에 대응하는 에코 제거기로 송신될 수 있는 신호의 예를 도시한다.
도 7은, 시스템에서 발생하는 "오버드라이브"의 양에 적어도 부분적으로 기초하여, 자동 에코 제거기(AEC)를 제어하도록 구성된 시스템의 예를 도시한다.
도 8은 오버드라이브의 양을 결정하도록 구성된 시스템의 예를 도시한다.
도 9는 일 예에 따른 잡음 추정치 및 출력 레벨의 그래프이다.
도 10은 이 예에서 생활 공간인 오디오 환경의 평면도의 예를 도시한다.
다양한 도면에서 유사한 참조 번호 및 명칭은 유사한 요소를 나타낸다.
도 1d, 1e 및 1f는 비선형 범위에서 확성기 동작의 예를 도시한다.
도 1g, 1h 및 1i는 다중 대역 제한기 동작의 예를 도시한다.
도 1j, 1k 및 1l은 일 구현에 따른 음색 보존 다중 대역 제한기 동작의 예를 도시한다.
도 1m은 잡음 보상 시스템의 예를 도시한다.
도 1n은, 다중 대역 제한기로부터의 압축 피드백 신호에 따라 레벨 조정된 오디오 데이터를 수정하도록 구성된 레벨 조정기의 예를 포함하는 잡음 보상 시스템의 일부를 도시한다.
도 1o는 일 예에 따른 도 1n의 더 상세한 버전을 도시한다.
도 2a는 다중 대역 제한기에 대한 임계값 및 다른 파라미터를 설정하기 위한 GUI(graphical user interface)의 예를 도시한다.
도 2b는 다중 대역 제한기에 대한 임계값 및 다른 파라미터의 다른 예를 도시한다.
도 2c는 주파수 범위에 대한 임계값의 예를 도시하는 그래프이다.
도 2d는 주파수 범위에 대한 임계값의 다른 예를 도시하는 그래프이다.
도 2e는 본 개시의 다양한 양상을 구현할 수 있는 장치의 구성요소의 예를 도시하는 블록도이다.
도 3은 개시된 방법의 예를 약술하는 흐름도이다.
도 4a 및 4b는 음색 보존 수정기 모듈의 예를 도시한다.
도 4c는 주파수 대역 분리 수정기의 예를 도시한다.
도 5는 다른 개시된 방법의 예를 약술하는 흐름도이다.
도 6a는 확성기가 오버드라이브되는 시간 간격의 예를 도시하는 그래프이다.
도 6b는 도 6a의 그래프에 대응하는 에코 제거기로 송신될 수 있는 신호의 예를 도시한다.
도 7은, 시스템에서 발생하는 "오버드라이브"의 양에 적어도 부분적으로 기초하여, 자동 에코 제거기(AEC)를 제어하도록 구성된 시스템의 예를 도시한다.
도 8은 오버드라이브의 양을 결정하도록 구성된 시스템의 예를 도시한다.
도 9는 일 예에 따른 잡음 추정치 및 출력 레벨의 그래프이다.
도 10은 이 예에서 생활 공간인 오디오 환경의 평면도의 예를 도시한다.
다양한 도면에서 유사한 참조 번호 및 명칭은 유사한 요소를 나타낸다.
잡음 보상 알고리즘은, 본원에서 "오디오 환경"으로 지칭될 수 있는 것 내의 잡음을 보상하도록 설계되었다. 본원에서 사용되는 바와 같이, "오디오 환경"이라는 용어는 오디오 재생 트랜스듀서, 증폭기 등과 같은 오디오 시스템의 구성요소에 제한되지 않는다. 대신, "오디오 환경"이라는 용어는 일반적으로, 그러한 구성요소가 상주할 수 있는 환경 및/또는 하나 이상의 청취자가 재생된 오디오를 들을 수 있는 환경을 지칭한다. 오디오 환경은, 일부 예에서, 홈 오디오 환경일 수 있다. 이러한 예시에서, 오디오 환경은 가정의 하나 이상의 방에 대응할 수 있다. 다른 예에서, 오디오 환경은 사무실 환경, 자동차 환경, 기차 또는 버스 환경, 거리 또는 인도(sidewalk) 환경, 공원 또는 다른 실외 환경, 또는 다른 유형의 환경일 수 있다.
잡음 보상 방법은, 예컨대, 오디오 환경 내의 잡음의 양에 적어도 부분적으로 기초하여 하나 이상의 오디오 재생 트랜스듀서를 통해 출력 신호의 레벨을 조정함으로써 오디오 환경 내의 잡음을 보상하도록 설계될 수 있다. 잡음 보상 방법을 구현하는 난제 중 하나는, 오디오 재생 트랜스듀서가 물리적 세계에서 선형적으로 수행하는 범위가 제한된다는 것이다.
도 1a, 1b 및 1c는 선형 범위에서 확성기 동작의 예를 도시한다. 도 1a는 증폭기에 의해 출력되고 확성기(101)에 제공되는 신호(100)의 예를 제공하는 그래프이다. 도 1b는 확성기(101)를 통한 단면의 예를 도시한다. 이 예에서, 신호(100)는 10볼트의 피크 대 피크 범위를 갖는 사인 곡선 입력 신호이다. 이 범위 내의 신호는, 확성기(101)에 제공될 때, 음성 코일(102)이 자기장 강도에서 균질하거나 실질적으로 균질인, 자석(103)에 의해 생성된 자기장의 일부 내에 남아 있는 음성 코일 변위의 범위를 발생시킨다. 따라서, 음성 코일(102) 및 다이어프램(104)의 변위는 선형 범위에 있게 된다.
도 1c는, 확성기(101)가 신호(100)에 의해 구동될 때, 음성 코일(102) 및 다이어프램(104)의 변위의 예를 도시하는 그래프이다. 이 예에서, 변위는 사인 곡선이고, 신호(100)의 입력 전압에 비례한다. 따라서, 신호(100)는 어떠한 왜곡도 생성하지 않으며, 확성기(101)는 선형 범위에서 동작한다.
재생 트랜스듀서와 같은 오디오 디바이스가 선형 범위 외부에서 동작할 때, 오디오 디바이스가 왜곡되어 불쾌하게 들릴 수 있다. 도 1d, 1e 및 1f는 비선형 범위에서 확성기 동작의 예를 도시한다. 도 1d는 증폭기에 의해 출력되고 확성기(101)에 제공되는 신호(100)의 다른 예를 제공하는 그래프이다. 도 1e는 확성기(101)를 통한 단면의 다른 예를 도시한다. 이 예에서, 신호(100)는 20볼트의 피크 대 피크 범위를 갖는 사인 곡선 입력 신호이다. 이 범위 내의 신호는, 확성기(101)에 제공될 때, 음성 코일(102)이 자기장 강도에서 균질하거나 실질적으로 균질인, 자석(103)에 의해 생성된 자기장의 일부 내에 항상 남아 있지는 않은 음성 코일 변위의 범위를 발생시킨다. 따라서, 음성 코일(102)과 다이어프램(104)의 변위는 비선형 범위에 있다. 확성기(101) 에서 비선형성의 또 다른 소스는 서스펜션 탄성(suspension elasticity)이다. 다이어프램(104)은 서스펜션(105)에 의해 그 둘레에서 프레임에 연결된다. 다이어프램(104)이 앞뒤로 움직일 때, 서스펜션(105)은 이러한 움직임을 수용하도록 늘어난다. 그러나, 이 재료의 탄성은 한계를 갖고, 다이어프램(104)이 더 세게 구동되고 다이어프램(104)의 운동이 이 한계의 극단에 접근할 때, 운동을 발생시키는 구동력은, 그의 중립 위치로 돌아가려고 할 때, 탄성 서스펜션(105)의 반대력을 극복할 수 없게 된다. 자기 비선형성과 마찬가지로, 이 조건은 더 이상 입력과 동일하지 않은 출력 신호를 발생시킨다.
도 1f는, 확성기(101)가 신호(100)에 의해 구동될 때, 음성 코일(102) 및 다이어프램(104)의 변위의 예를 도시하는 그래프이다. 이 예에서, 변위는 비사인 곡선이고, 신호(100)의 입력 전압에 비례하지 않는다. 입력 전압에 비례하는 것 대신에, 도 1f에 도시된 출력은 입력 전압 및 확성기 왜곡 효과 둘 모두에 대응한다. 따라서, 이 예에서, 신호(100)는 왜곡을 생성하고, 확성기(101)는 비선형 범위에서 동작한다.
적응형 선형 필터 또는 기계 학습(예컨대, 트레이닝된 신경 네트워크)을 통해 종종 구현되는 에코 제거기는 많은 잡음 보상 시스템에 대한 필수 구성요소이다. 에코 제거기가 성공적으로 적응하는 경우, 에코 제거기는, 비선형 시스템에 적응할 때(예컨대, 확성기가 비선형 범위에서 동작하는 것에 응답하여) 훨씬 더 나쁜 성능을 보인다. 또한, 비선형 범위에서 확장된 확성기 동작은 확성기에 손상을 줄 가능성이 있다.
다중 대역 제한기는 확성기의 동적 범위에 걸쳐 주파수 의존적 제어를 허용한다. 다중 대역 제한기는 일반적으로, 확성기가 비선형 왜곡을 발생시키지 않는 것을 보장하면서, 확성기가 생성할 수 있는 음압을 증가시키도록 구성된다.
도 1g, 1h 및 1i는 다중 대역 제한기 동작의 예를 도시한다. 도 1g는 다중 대역 제한기에 제공된 오디오 신호(100)의 예를 제공하는 그래프이다. 이 예에서, 오디오 신호(100)는, 레벨이 각각의 주파수 대역에 대해 동일한 "백색" 입력 스펙트럼에 대응한다.
도 1h는 복수의 주파수 대역 각각에 대한 다중 대역 제한기 임계값의 예를 도시한다. 이 예에서, 각각의 임계값은 입력 오디오 신호(100)의 레벨 이하이다. 다중 대역 제한기 임계값은, 예컨대, 특정 확성기의 능력(예컨대, 왜곡 프로필)에 대응할 수 있고, 해당 확성기에 의해 또는 확성기에 대해 구현될 수 있다. 일부 이러한 예에서, 다중 대역 제한기 임계값은, 확성기가 제조되는 공장에서 미리 설정될 수 있다.
도 1i는, 도 1g에 도시된 입력 오디오 신호(100)가 제공될 때, 도 1h에 도시된 임계값을 갖는 다중 대역 제한기의 출력의 예를 도시하는 그래프이다. 이 예에서, 임계값 각각은 입력 오디오 신호(100)의 레벨 이하이기 때문에, 각각의 주파수 대역에 대한 출력은 해당 주파수 대역에 대한 다중 대역 제한기 임계값에 대응한다. 따라서, 입력 오디오 신호(100)의 주파수 콘텐츠 또는 음색은 이 예에서 보존되지 않았다.
앞선 예에서 도시된 바와 같이, 다중 대역 제한기는 입력 오디오 신호의 스펙트럼 콘텐츠 또는 음색을 크게 변경할 수 있다. 다중 대역 제한기가 제한 없이 동작하도록 허용하는 것은 출력 오디오 신호의 음색에 해로운 영향을 미치고, 따라서 잠재적으로 음악 콘텐츠의 즐거움 레벨을 감소시킬 수 있다.
현재 양수인에 의해 개발된 일부 다중 대역 제한기는 입력 오디오 신호의 음색을 적어도 부분적으로 보존할 수 있다. 도 1j, 1k 및 1l은 일 구현에 따른 음색 보존 다중 대역 제한기 동작의 예를 도시한다. "음색 보존"이라는 용어는 본원에서 사용되는 바와 같이 다양한 의미를 가질 수 있다. 광범위하게 말해서, "음색 보존" 방법은 입력 오디오 신호의 주파수 콘텐츠 또는 음색을 적어도 부분적으로 보존하는 방법이다. 일부 음색 보존 방법은 입력 오디오 신호의 주파수 콘텐츠를 완전히 또는 거의 완전히 보존할 수 있다. 음색 보존 방법은 출력 신호 레벨 및/또는 적어도 일부 다른 주파수 대역의 부과된 임계값에 따라 적어도 일부 주파수 대역의 출력 신호 레벨을 제한하는 것을 수반할 수 있다. 일부 예에서, "음색 보존" 방법은 모든 비분리된 주파수 대역의 출력 신호 레벨을 적어도 어느 정도 제한하는 것을 수반할 수 있다. 그러나, 본원에서 더 상세히 설명되는 바와 같이, 일부 예에서, 주파수 대역은 완전히 분리될 수 있는 반면에, 다른 예에서는 주파수 대역이 부분적으로만 분리될 수 있다.
도 1j는 다중 대역 제한기에 제공된 오디오 신호(100)의 예를 제공하는 그래프이다. 이 예에서, 도 1g에서와 같이, 오디오 신호(100)의 레벨은 각각의 주파수 대역에 대해 동일하다.
도 1k는 복수의 주파수 대역 각각에 대한 다중 대역 제한기 임계값의 예를 도시한다. 이 예에서, 각각의 임계값은 입력 오디오 신호(100)의 레벨 이하이다. 다중 대역 제한기 임계값은, 예컨대, 특정 확성기의 능력에 대응할 수 있고, 해당 확성기에 의해 또는 그 확성기에 대해 구현될 수 있다.
도 1l은, 도 1j에 도시된 입력 오디오 신호(100)가 제공될 때, 도 1k에 도시된 임계값을 갖는 음색 보존 다중 대역 제한기의 출력의 예를 도시하는 그래프이다. 이 예에서, 각각의 주파수 대역에 대한 출력은 해당 주파수 대역에 대한 다중 대역 제한기 임계값에 대응하지 않는다. 대신, 오디오 신호(100)의 음색은 각각의 주파수 대역의 출력 신호 레벨을 최소 다중 대역 제한기 임계값으로 제한함으로써 보존된다. 이 예는 100% 음색 보존하는 다중 대역 제한기의 극단적인 경우를 도시한다. 대부분의 구현에서, 음색 보존은 이렇게 극단적이지는 않다. 예컨대, 일부 음색 보존 구현은 상위 주파수 범위의 주파수 대역에서 음색을 보존하면서, 일부 베이스 주파수 대역이 적어도 부분적으로 분리되는 것을 허용할 수 있다. 대안적으로 또는 추가적으로, 일부 음색 보존 방법은 출력 신호 레벨 및/또는 모든 것보다는 적은 다른 주파수 대역의 부과된 임계값에 따라 주파수 대역의 출력 신호 레벨을 (적어도 어느 정도로) 제한하는 것을 수반할 수 있다.
도 1m은 잡음 보상 시스템의 예를 도시한다. 이러한 예에서, 잡음 보상 시스템(150)은 레벨 조정기(152), 다중 대역 제한기(154), 확성기(156), 마이크로폰(157) 및 잡음 추정기(159)를 포함한다. 이 예(및 도 1n 및 1o에 도시된 예를 포함하지만 이에 제한되지 않는 본원에 개시된 잡음 보상 시스템의 다른 예)에 따라, 레벨 조정기(152), 다중 대역 제한기(154) 및 잡음 추정기(159)는 제어 시스템(110)에 의해 구현되고, 이는 도 2e를 참조하여 아래에서 설명되는 제어 시스템(210)의 예시일 수 있다. 일부 예에 따라, 마이크로폰(157)은 또한 제어 시스템(110)에 의해 제어될 수 있고 그리고/또는 제어 시스템(110)의 일부를 포함할 수 있다. 본원의 다른 곳에서 언급되는 바와 같이, 제어 시스템(110)은 특정 구현에 따라 단일 디바이스 또는 다수의 디바이스에 상주할 수 있다. 레벨 조정기(152), 다중 대역 제한기(154) 및/또는 잡음 추정기(159)는, 일부 예에서, 예컨대, 하나 이상의 비일시적 매체에 저장된 명령에 따라 소프트웨어를 통해 (적어도 부분적으로) 구현될 수 있다.
본 개시의 다른 도면에서와 같이, 도 1m에 도시된 요소의 유형, 수 및 배열은 단지 예일 뿐이다. 다른 구현은 더 많거나 더 적은 그리고/또는 상이한 요소를 포함할 수 있다. 예컨대, 일부 구현은 다수의 오디오 재생 트랜스듀서를 포함할 수 있다. 일부 구현은 다수의 마이크로폰을 포함할 수 있다.
이 구현에 따라, 잡음 보상 시스템(150)은, 잡음 보상 시스템(150)을 포함하는 오디오 환경에서 소리를 검출하고, 대응하는 마이크로폰 신호(158)를 잡음 추정기(159)에 제공하도록 구성된 마이크로폰(157)을 포함한다. 사운드는 확성기(156)에 의해 생성된 사운드 및 오디오 환경에서 주변 잡음(이는 또한 본원에서 환경 잡음 또는 배경 잡음으로 지칭될 수 있음)을 포함할 수 있다. 본 문서의 다른 곳에서 언급되는 바와 같이 "오디오 환경"이라는 용어는 오디오 재생 트랜스듀서, 증폭기 등과 같은 오디오 시스템의 구성요소로 제한되도록 의도되지 않는다 대신, "오디오 환경"이라는 용어는 일반적으로, 그러한 구성요소가 상주할 수 있는 환경 및/또는 하나 이상의 청취자가 재생된 오디오를 들을 수 있는 환경을 지칭한다. 오디오 환경은, 일부 예에서, 홈 오디오 환경일 수 있다. 이러한 예시에서, 오디오 환경은 가정의 하나 이상의 방에 대응할 수 있다. 다른 예에서, 오디오 환경은 다른 유형의 환경, 이를테면, 사무실 환경, 자동차 환경, 기차 환경, 거리 또는 인도 환경, 공원 환경 등일 수 있다.
이 예에서, 잡음 추정기(159)는 배경 잡음의 레벨을 추정하도록 구성된다. 이 예에 따라, 잡음 추정기(159)는, 확성기(156)에 의해 재생된 오디오 데이터가 배경 잡음 추정의 일부일 가능성을 줄이기 위해 에코 제거기를 구현하도록 구성된다. 이 예에서, 잡음 추정기(159)는, 또한 확성기(156)에 제공되는 다중 대역 제한기(154)에 의해 출력되는 다중 대역 제한된 오디오 데이터(155)를 수신하도록 구성된다. 다중 대역 제한된 오디오 데이터(155)는, 잡음 추정기(159)에 의해 구현된 에코 제거기에 대한 "스피커 기준", "확성기 기준" 또는 "에코 기준"으로 본원에서 지칭될 수 있는 것의 예이다. 잡음 추정기(159)에서 에코 제거기를 구현하는 것은 확성기(156)에 의해 생성된 사운드에 기초한 양의 피드백 루프를 방지할 수 있다. 이 예에서, 잡음 추정기(159)는 주변 잡음의 잡음 추정치를 계산하고, 잡음 추정기 출력(160)을 레벨 조정기(152)에 제공하도록 구성된다. 일부 예에서, 잡음 추정기 출력(160)은 스펙트럼 잡음 추정치를 포함할 것이다. 예컨대, 잡음 추정기 출력(160)은 복수의 주파수 대역의 각각의 주파수 대역에 대한 잡음 추정치를 포함할 수 있다.
이 예에서, 레벨 조정기(152)는 입력 오디오 데이터(151)를 수신하는 것으로 도시된다. 일부 예시에서, 입력 오디오 데이터(151)는 비디오 데이터를 포함하는 콘텐츠 스트림에 대응할 수 있다. 여기서, 레벨 조정기(152)는 입력 오디오 데이터(151)의 레벨을 제어(예컨대, 올리거나 내리거나 유지)하도록 구성된다. 이 예에 따라, 레벨 조정기(152)는, 마이크로폰(157)을 사용하여 측정된 잡음의 레벨에 적어도 부분적으로 기초하여, 입력 오디오 데이터(151)의 레벨을 제어하도록 구성된다. 일부 예에 따라, 예컨대, 레벨 조정기(152)는, 잡음 추정기 출력(160)에 적어도 부분적으로 기초하여, 입력 오디오 데이터(151)의 레벨을 제어하도록 구성된다. 따라서, 잡음 추정기 출력(160)은 본원에서 "레벨 조정 표시"로 지칭될 수 있는 것의 예이다. 더 구체적으로, 잡음 추정기 출력(160)은 본원에서 "잡음 보상 레벨 조정 표시"로 지칭될 수 있는 것의 예이다.
이러한 예시에서, 레벨 조정기(152)는, 레벨 조정에 대응하는 사용자 입력(163)을 수신하는 것으로 도시되며, 이는 본원에서 레벨 조정 표시로 지칭될 수 있는 것의 다른 예이다. 보다 구체적으로, 사용자 입력(163)은 본원에서 "사용자 입력 레벨 조정 표시"로 지칭될 수 있는 것의 예이다. 레벨 조정기(152)는 일반적으로 사용자 입력(163)을 연속적으로 수신하지 않을 것이고 대신에 일반적으로 사용자가 입력을 제공함으로써 오디오 재생 레벨을 조정하고자 하는 시간 동안에, 예컨대, 음성 커맨드(예컨대, 마이크로폰(157)을 통해 제어 시스템(110)에 의해 수신된 음성 커맨드)를 통해, 수동 원격 제어 등을 통해 간헐적으로만 사용자 입력(163)을 수신할 것이다 레벨 조정기(152)(또는 제어 시스템(110)의 다른 요소)는, 예컨대, 가장 최근의 사용자 입력(163)에 대응하는 메모리 디바이스에 값을 저장할 수 있다. 이 예에서, 레벨 조정기(152)는, 적어도 하나의 유형의 레벨 조정 표시에 기초하여, 입력 오디오 데이터(151)의 레벨을 제어하도록 구성된다. 여기서, 레벨 조정기(152)는 레벨 조정된 오디오 데이터(153)를 다중 대역 제한기(154)에 제공하도록 구성된다.
일부 예에 따라, 레벨 조정기(152)는, 잡음 추정기(159)의 상태 및/또는 사용자 입력(163)에 적어도 부분적으로 기초하여, 잡음 보상 방법을 결정하도록 구성될 수 있다. 따라서, 일부 구현에서, 레벨 조정기(152)는, 잡음 추정기 출력(160) 및/또는 사용자 입력(163)에 적어도 부분적으로 기초하여, 잡음 보상 방법을 결정하도록 구성될 수 있다.
일부 예에서, 잡음 추정기(159)는 레벨 조정기(152)에 의해 어떤 잡음 보상 방법이 구현되어야 하는지를 결정할 수 있다. 일부 이러한 예에서, 잡음 추정기 출력(160)은, 레벨 조정기(152)에 의해 어떤 잡음 보상 방법이 구현되어야 하는지를 (예컨대, 잡음 추정기 출력(160)을 통해 및/또는 추가 정보를 통해) 레벨 조정기(152)에 표시할 수 있다.
잡음 추정기(159)가 다중 주파수 대역 잡음 추정기인 일부 구현에서, 잡음 추정치가 임계 시간의 양(예컨대, 1초, 2초, 3초, 4초, 5초 등과 같은 초의 단위) 동안 업데이트되지 않았던 (예컨대, 상위 주파수 대역 내의) 비업데이트된 주파수 대역의 세트(예컨대, 상위 주파수 대역)를 갖는 경우, 잡음 추정기 출력(160)은, 업데이트된 주파수 대역에서 잡음 추정의 품질은 여전히 높을 수 있지만, 업데이트되지 않은 주파수 대역에서 잡음 추정의 품질이 낮기 때문에, 음 보상 방법이 음색 보존 모드로 스위칭되어야 함을 나타낼 수 있다. 대안적으로, 또는 추가적으로, 일부 구현에서, 잡음 추정기는 잡음 보상 블록에 품질 메트릭 또는 신뢰도 점수를 제공하도록 구성될 수 있고, 잡음 보상 블록은, 어느 모드에 있는지(또는 부분적으로 있는지)를 결정하기 위해 이를 사용할 수 있다. 예컨대, 잡음 보상 블록은, 품질 메트릭 또는 신뢰 점수가 잡음 추정의 품질이 낮다는 것을 나타내는 경우, 잡음 보상 방법이 음색 보존 모드여야 한다고 결정할 수 있다.
일부 구현에서, 제어 시스템(110)(예컨대, 잡음 추정기(159))은, 2019년 4월 24일에 출원되고 제목이 "Background Noise Estimation Using Gap Confidence"인 국제 공개 번호 WO 2019/209973, 특히 16-18 페이지의 갭 신뢰도 값 및 갭 신뢰도 값의 사용에 대한 논의에 설명된 다중 주파수 대역 잡음 추정기 기능을 제공하도록 구성될 수 있고, 이로써 이는 인용에 의해 본원에 포함된다.
일부 구현에 따라, 잡음 보상기, 다중 대역 제한기, 또는 이들 다에 대한 음색 보존 주파수 범위에 있는 주파수 대역(예컨대, 아래에서 설명되는 도 2b의 비분리된 주파수 대역의 주파수 범위)은 잡음 추정치에 대한 품질 메트릭에 따라 선택될 수 있다. 잡음 추정치에 대한 품질 메트릭은, 예컨대, 주파수 대역에 대한 잡음 추정치가 업데이트된 이후의 시간의 양에 대응할 수 있다.
일부 예에서, (예컨대, 잡음 보상기에 의해) 하나의 주파수 대역에 적용되는 이득은 다른 주파수 대역에 적용되는 이득에 대해, 예컨대, 인접 주파수 대역에 적용되는 이득에 대해 제약되지 않을 수 있다. 따라서, 입력 오디오 신호의 스펙트럼 콘텐츠는 일반적으로 이러한 유형의 잡음 보상 방법에 따라 보존되지 않을 것이다. 따라서, 이러한 유형의 잡음 보상 방법은 본원에서 "비제약된(unconstrained)" 잡음 보상 방법 또는 비-음색 보존 잡음 보상 방법으로 지칭될 수 있다.
일부 예에 따라, 다중 대역 제한기(154)는, 다중 대역 제한기(154)의 이전 교정 또는 "튜닝"에 적어도 부분적으로 기초하여, 확성기(156)에서 왜곡을 방지하기 위해 레벨 조정된 오디오 데이터(153)에(그리고 일부 예시에서 오디오 환경의 다른 오디오 재생 트랜스듀서에) 압축을 적용하도록 구성될 수 있다. 일부 이러한 예에서, 다중 대역 제한된 오디오 데이터(155)는, 확성기(156)가 선형 범위에서 동작하도록 확성기(156)에서 어떠한 왜곡도 생성하지 않는다. 튜닝은 복수의 주파수 대역 각각에 대한 다중 대역 제한기 임계값에 대응할 수 있다. 다중 대역 제한기 임계값은, 예컨대, 확성기(156)의 능력(예컨대, 왜곡 프로필)에 대응할 수 있고, 해당 확성기에 의해 또는 해당 확성기에 대해 구현될 수 있다. 일부 예에서, 다중 대역 제한기 임계값은 확성기(156)가 제조된 공장에서 미리 설정될 수 있다.
그러나, 일부 예에서, 다중 대역 제한기(154)는, 확성기(156) 및/또는 오디오 환경의 하나 이상의 다른 오디오 재생 트랜스듀서에서 적어도 일부 왜곡을 허용하는 압축을 레벨 조정된 오디오 데이터(153)에 적용하도록 구성될 수 있다. 그러한 예에서, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서는 선형 범위 외부에서 적어도 일시적으로 동작하도록 허용될 수 있다. 일부 이러한 예에서, 제어 시스템은, 잡음 보상 레벨 조정 표시 및/또는 잡음 추정에, 예컨대, 잡음 추정기(159)로부터의 잡음 추정기 출력(160)에 적어도 부분적으로 기초하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다. 일부 이러한 예는 또한, 다중 대역 제한된 오디오 데이터(155)가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 때, 잡음 보상 모듈 동작 변경을 발생시키는 것을 포함할 수 있다. 일부 상세한 예는 본 문서의 다른 곳에 개시된다.
일부 구현에 따라, 제어 시스템(110)(예컨대, 레벨 조정기(152))은, 수신된 하나 이상의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하도록 구성될 수 있다. 일부 이러한 예에서, 다중 대역 제한기 구성은, 사용자 입력 레벨 조정 표시가 수신되는 경우, 음색 보존 구성일 수 있다. 음색 보존 구성의 다양한 예가 본원에 개시된다. 일부 이러한 예에서, 다중 대역 제한기 구성을 결정하는 것은, 잡음 보상 레벨 조정 표시가 수신되는 경우, 다중 대역 제한기(154)의 음색 보존 기능을 변경하는 것을 포함할 수 있다.
일부 이러한 예에서, 제어 시스템(110)(예컨대, 레벨 조정기(152) 또는 다중 대역 제한기(154) 자체)은 결정된 다중 대역 제한기 구성에 따라 다중 대역 제한기(154)를 구성할 수 있다. 일부 구현에서, 제어 시스템(110)(예컨대, 레벨 조정기(152))은, 확성기(156)의 능력 및/또는 출력 레벨에 적어도 부분적으로 기초하여, 다중 대역 제한기(154) 및/또는 잡음 추정기(159)를 제어하도록 구성될 수 있다.
도 1m에 도시된 예에 따라, 레벨 조정기(152)는 제어 신호(161)를 통해 다중 대역 제한기(154)를 제어하도록 구성된다. 일부 구현에서, 수신된 레벨 조정 표시가 사용자 입력 레벨 조정 표시인 경우, 다중 대역 제한기(154)의 음색 보존 설정은, 다중 대역 제한기(154)가, 예컨대, 공장에서 원래 튜닝된 바와 같이 유지될 수 있다. 이러한 구현은, 사용자가 볼륨 컨트롤을 조정할 때, 사용자가 즐거운 경험을 하는 것을 보장하는 데 도움이 될 수 있다.
일부 예에 따라, 수신된 레벨 조정 표시가 잡음 보상 레벨 조정 표시인 경우, 다중 대역 제한기(154)의 음색 보존 설정은, 예컨대, 잡음 보상 레벨 조정 표시에 비례하여 점진적으로 턴 오프될 수 있다. 일부 이러한 예에서, 잡음이 존재할 때, 재생된 오디오 콘텐츠는, 충실도의 손실이 잡음 소스에 의해 마스킹되는 잡음에 대해 여전히 이해할 수 있을 수 있다.
일부 구현에서, 제어 시스템(110)(예컨대, 레벨 조정기(152))이 음색 보존 잡음 보상 모드를 구현하는 경우, 레벨 조정기(152)는 (예컨대, 제어 신호(161)를 통해) 다중 대역 제한기(154)에 알릴 수 있어서, 다중 대역 제한기(154)는 또한 음색 보존 모드에서도 동작하고 확성기(156)의 오버드라이빙을 허용하지 않는다. 일부 예에 따라, 제어 시스템(110)이 비제약된 잡음 보상 모드를 구현하는 경우, 다중 대역 제한기(154)는 또한, 볼륨을 최대화하기 위해(예컨대, 확성기(156)를 오버드라이브하기 위해), (예컨대, 도 2a 및 2b를 참조하여 아래에서 설명되는 바와 같이) 비교적 덜 제약된 모드에서 동작할 수 있다.
반대로, 다중 대역 제한기(154)가 제한하는 경우, 일부 구현에서, 제어 시스템(110)은, 잡음 보상 모드가 이전에 음색 보존 잡음 보상 모드였더라도, 잡음 보상 모드가 비제약된 잡음 보상 모드가 되도록 할 수 있어서, 볼륨이 최대화될 수 있다.
도 1m에 도시된 예에서, 다중 대역 제한기(154)는 선택적인 압축 피드백 신호(162)를 레벨 조정기(152)로 전송하도록 구성된다. 압축 피드백 신호(162)는, 예컨대, 다중 대역 제한기(154)를 제한하는 양이 레벨 조정된 오디오 데이터(153)에 적용되고 있음을 나타낼 수 있다. 일부 예에서, 압축 피드백 신호(162)는, 다중 대역 제한기(154)가 레벨 조정된 오디오 데이터(153)의 복수의 주파수 대역들 각각에 적용하고 있는 제한의 양을 표시할 수 있다.
도 1n은 다중 대역 제한기로부터의 압축 피드백 신호에 따라 레벨 조정된 오디오 데이터를 수정하도록 구성된 레벨 조정기의 예를 포함하는 잡음 보상 시스템의 일부를 도시한다. 이 예에서, 레벨 조정기(152)는 베이스 향상 모듈(167) 및 잡음 보상 레벨 조정기(169)를 포함한다. 도 1n은 또한, 베이스 향상 모듈(167)에 의해 프로세싱되고, 이 예에서, 잡음 보상 레벨 조정기(169)에 제공되는 다중 채널 스트림(168)을 나타낸다. 일부 예에 따라, 베이스 향상 모듈(167)은 하나의 확성기로부터 하나 이상의 다른 확성기로 베이스를 확산시키도록 구성된다. 일부 예에서, 베이스 향상 모듈(167)은, 압축 피드백 신호(162)에 적어도 부분적으로 기초하여, 입력 베이스가 얼마나 많이 다른 스피커로 확산되어야 하는지를 결정하도록 구성된다.
일부 구현에서, 베이스 향상 모듈(167)은 심리음향적 베이스 향상(psychoacoustic bass enhancement)(예컨대, 도 1o를 참조하여 아래에서 설명되는 바와 같이, 누락된 기본 현상을 이용하는 가상 베이스)를 구현하도록 구성된다. 일부 예에 따라, 베이스 향상 모듈(167)은, 압축 피드백 신호들(162)에 적어도 부분적으로 기초하여, 얼마나 많은 가상 베이스가 구현되어야 하는지를 결정하도록 구성될 수 있다.
일부 구현에서, 베이스 향상 모듈(167)은 잡음 추정치(160)를 수신하도록 구성된다. 베이스 향상 모듈(167)은, 예컨대, 잡음 추정(160)을 사용하여 베이스 확산 및/또는 가상 베이스의 적극성(aggressiveness)을 제어할 수 있다. 일부 이러한 예에서, 잡음 레벨이 높으면, 베이스 향상 모듈(167)은, 볼륨 제한이 사용자 입력으로 인한 경우보다, 확산되고 있는 것은 더 이상 베이스 주파수가 아니라 잠재적으로 인간이 들을 수 있는 스펙트럼의 대부분 또는 전체인 정도로 오디오를 확산시키는데 상대적으로 적극적일 것이다(예컨대, 베이스 향상 모듈(167)은 베이스 주파수보다 더 높은 주파수를 모든 확성기로 확산시킬 수 있음). "적극성"의 추가 예가 아래에 제공된다. 일부 구현에 따라, 베이스 향상 모듈(167)은 또한, 볼륨 제한이 전적으로 사용자 볼륨 제어로 인한 경우보다 일찍 가상 베이스 프로세싱을 도입하기 시작할 수 있다.
도 1o는 일 예에 따른 도 1n의 더 상세한 버전을 도시한다. 본 개시의 다른 도면에서와 같이, 도 1o에 도시된 요소의 유형, 수 및 배열은 단지 예일 뿐이다. 다른 구현은 더 많거나 더 적은 그리고/또는 상이한 요소를 포함할 수 있다. 일부 대안적인 예에서, 프로세싱 흐름은, 예컨대, 베이스 향상을 제어하기 위해 잡음 보상이 사용된 경우, 도 10에 도시된 것과 상이할 수 있다.
도 1o에 도시된 예에서, 레벨 조정기(152)는 베이스 향상 모듈(178) 및 잡음 보상 레벨 조정기(169)의 예를 포함한다. 본원의 다른 곳에서 언급된 바와 같이, 일부 예에 따라, 레벨 조정기(152)는, 사용자 입력(163) 및/또는 잡음 추정기(159)의 상태에 적어도 부분적으로 기초하여, 잡음 보상 방법을 결정하도록 구성될 수 있다. 따라서, 일부 구현에서, 잡음 보상 레벨 조정기(169)는, 잡음 추정기 출력(160) 및/또는 사용자 입력(163)에 적어도 부분적으로 기초하여, 잡음 보상 방법을 결정하도록 구성될 수 있다. 일부 이러한 예는 도 1m을 참조하여 위에 설명된다. 추가 예는 미국 특허 제8,090,120호의 도 7 및 17 및 대응하는 설명(18열, 29라인 내지 26열, 46라인 및 34열, 41라인 내지 35열, 11라인)의 대응하는 설명에 개시되며, 이로써 이는 본원에 인용에 의해 포함된다.
도 1o에 도시된 예에 따라, 입력 오디오 데이터(151)는 2개의 입력 채널(예컨대, 스테레오 채널)(CH1 및 CH2)로 도시된다. 도 1o에서, 잡음 추정치(160)(도 1m의 잡음 추정기(159)에 의해 제공될 수 있음)는 잡음 보상 레벨 조정기(169)에 제공된다. 이 예에서, 레벨 조정기(152)에 제공된 압축 피드백 신호(162)는 다중 대역 제한기(154)에서 발생하는 제한량을 표시한다. 일부 예에 따라, 압축 피드백 신호(162)는 베이스 향상 모듈(178) 및 잡음 보상 레벨 조정기(169) 둘 모두에 선택적으로 제공된다. 일부 이러한 예에 따라, 압축 피드백 신호(162)는 가상 베이스(VB) 블록(171)에 제공될 수 있다. 압축 피드백 신호(162)가 잡음 보상 레벨 조정기(169)에 제공되면, 일부 예에서, 압축 피드백 신호(162)는 잡음 보상 레벨 조정기(169) 내에서 사용되는 전체 예측된 출력 레벨을 수정하는 데 사용될 수 있다.
일부 예에서, 잡음 보상 레벨 조정기(169)는 선택적으로 심리음향적 볼륨 제어를 구현한다. 일부 이러한 예에 따라, 지각된 스펙트럼의 변경을 유발할 수 있는 모든 주파수 대역에 걸쳐 동일한 양만큼 이득의 변경을 초래하는 광대역 이득을 적용하기보다는, 특정 라우드니스 스케일링 계수(loudness scaling factor)가 볼륨 제어 조정과 연관될 수 있다. 일부 이러한 예에서, 다수의 주파수 대역 각각에서의 이득은, 이상적으로는 지각된 스펙트럼에서 어떠한 변경도 없도록 인간의 청취 모델을 고려한 양만큼 변경된다. 일부 관련 예는 미국 특허 제8,090,120호의 "Time-Invariant and Frequency-Invariant Function Suitable for Volume Control" 섹션(26열, 48라인 내지 28행, 13라인)에 개시되며, 이로써 이는 본원에 인용에 의해 포함된다.
일부 심리음향적 볼륨 제어 구현은 다운스트림 프로세싱 구성요소 내에서, 이득의 양 등을 고려하여, 디지털/전기 도메인과 음향 영역 사이의(예컨대, 전체 스케일에 대한 데시벨(dBFS)과 음압 레벨의 데시벨(dBSPL) 사이의) 매핑을 포함할 수 있다. 일부 이러한 예에서, 심리음향적 볼륨 제어는, 다중 대역 제한기(154)가 활성이 아닌 시스템의 구역에서 교정될 수 있다. 이것은, 다중 대역 제한기(154)가 활성일 때, 디지털-음압 레벨(SPL) 매핑이 종종 부정확하다는 것을 의미한다(왜냐하면 SPL 매핑이 일반적으로 고정된 매핑이기 때문임). 다중 대역 제한기(154)가 제한하고 있음을 레벨 조정기(152)(예컨대, 잡음 보상 레벨 조정기(169)에)에 표시함으로써, 디지털-SPL 매핑이 정정될 수 있고, 따라서 필요한 잡음 보상의 양이 과소 추정되지 않을 것이다.
도 1o에 도시된 블록들의 배열 및 동작들의 시퀀스는, 잡음 보상 레벨 조정기(169)가 심리음향적 볼륨 제어를 구현하는 일부 예에 따라, 잡음 보상 레벨 조정기(169)가 잡음 추정치에 대해 볼륨 레벨을 제어하기 위한 심리음향적 베이스 향상의 라우드니스 곡선을 통합할 수 있다는 사실에 기인한다. 따라서, 베이스 향상 블록 오디오 프로세싱 후에 잡음 보상 블록 오디오 프로세싱을 갖는 것은 음향 도메인에서 디지털 도메인으로의 변환을 덜 요구하며, 이들 도메인 중 후자는 심리음향적 시스템이 이 예에 따라 동작할 도메인이다.
또한, 잡음 보상 레벨 조정기(169)가 이득 헤드룸을 없애는 일부 시스템에서, 레벨 조정기(152)의 다른 블록(이를테면, 블록(167 및/또는 171))은, 잡음 보상 시스템(150)이 자신의 피크 라우드니스에 도달할 수 있는 것을 보장하기 위해 그들이 수행하는 프로세싱의 양을 증가시키도록 잡음 보상 레벨 조정기(169)에 의해 지시를 받을 수 있다. 헤드룸을 없애는 잡음 보상 레벨 조정기(169)는, 제한하고 압축 피드백 신호(162)를 잡음 보상 레벨 조정기(169)에 제공하는 다중 대역 제한기(154)에 의해 표시될 수 있다. 잡음 보상 레벨 조정기(169)는, 일부 경우에서, 높은 레벨의 잡음에 응답하여 보상함으로써 헤드룸을 없앴을 수 있다. 더욱이, 잡음 보상 레벨 조정기(169)가 레벨 조정기(152)의 다른 블록들을 제어하고 있는 일부 구현에서, 잡음 보상 레벨 조정기(169)는, 다중 대역 제한기(154)가 음색 보존 모드에서 동작하는 것을 중지하고 그리고/또는 하나 이상의 확성기의 오버드라이빙을 허용해야 함을 표시하는 신호(161)를 다중 대역 제한기(154)에 전송할 수 있다.
이 예에 따라, 베이스 향상 모듈(178)은 베이스 추출 모듈(177), 믹서(172 및 179), 및 가상 베이스(VB) 블록(171)을 포함한다. 이 예에서, VB 블록(171)은 잡음 보상 레벨 조정기(169)에 출력(168)을 제공한다. 일부 예에서, 베이스 추출 모듈들(177) 각각은 실행 시간에 제어될 수 있는 동적 크로스오버 필터의 세트로서 구현될 수 있다. 일부 이러한 예에서, 다중 대역 제한기(154)가 저주파 대역에서 제한하고 있을 때, 베이스(예컨대, 대응하는 저주파 대역)이 추출될 수 있다.
일부 이러한 구현에 따라, 베이스 추출 모듈(177)은 크로스오버 주파수 초과의 고주파수 범위에서 (입력 채널 CH1 및 CH2로부터) 고주파수 콘텐츠(고역 통과 필터링된 신호(175))를 추출하고, 그리고 크로스오버 주파수 미만의 저주파수 범위에서 저주파수 콘텐츠(베이스 추출된 오디오(173))를 추출하도록 구성될 수 있다. 일부 예에서, 베이스 추출 모듈(177)은, 압축 피드백 신호(162)에 적어도 부분적으로 기초하여, 크로스오버 주파수를 제어하도록 구성될 수 있다. 크로스오버 주파수는, 다중 대역 제한기(154)에서 수행되고 있는 제한량(압축 피드백 신호(162)에 의해 표시됨)만큼 제어될 수 있다. 일부 예에서, 제한은 낮은 범위의 주파수, 예컨대, 최대 500Hz에만 있을 수 있지만, 대안적인 예에서, 제한은 더 넓거나 또는 전체 범위의 주파수에 있을 수 있다. 일부 예에서, 압축 피드백 신호(162)는 낮은 범위의 주파수(예컨대, 최대 500Hz)의 적어도 2개의 낮은 주파수 대역들 각각에서 다중 대역 제한기(154)에 의해 적용되는 압축의 양을 나타낼 수 있다(그리고 크로스오버 주파수는 압축의 양에 의해 결정될 수 있음). 대안적으로, 압축 피드백 신호(162)는 더 넓거나 또는 전체 주파수 범위의 주파수 대역에서 다중 대역 제한기(154)에 의해 적용되는 압축의 양을 나타낼 수 있다(그리고 크로스오버 주파수는 압축의 양에 의해 결정될 수 있음).
이 예에서, 양자의 입력 채널(CH1 및 CH2)로부터 베이스 추출된 오디오(173)는 저역 통과 필터링되어, 믹서(172)에 제공되고, 믹서(172)는 베이스 추출된 오디오(173)를 단일 채널로 다운믹싱한다. 이 예에 따라, 믹서(172)는 양자의 채널로 확산되는(다른 말로, 양자 채널로 다시 믹싱되는) 다운믹싱된 베이스(174)를 믹서(179)에 제공한다. 이 예에서, 믹서(179)는 다운믹싱된 베이스(174) 및 베이스가 추출되지 않은 고역 통과 필터링된 신호(175)를 믹싱하고, 수정된 채널(170)을 출력한다. 일부 예에 따라, 수정된 채널들(170)은 다중 대역 제한기 거동 및 잡음 추정치(160)에 기초하여(그리고/또는 잡음 보상 제어에 기초한 이득과 비교하여, 사용자 입력(163)에 대응하는 이득의 비율에 기초하여) 양자의 채널에 걸쳐 베이스 확산을 가졌다.
이 예에서, 잡음 추정치(160)는 베이스 추출 모듈(177) 및 VB 블록(171)에 선택적으로 제공된다. 이 구현에서, 베이스 향상 모듈(178)은 또한 잡음 추정(160)(및/또는 사용자 제어에 대응하는 볼륨과 비교하여, 잡음 보상 레벨 조정기(169)에 의해 제어된 시스템 볼륨의 비율)을 고려한다. 일부 예에 따라, 잡음 추정치(160)가 높으면, 추출될 주파수는 일반적으로, 잡음 추정치가 낮은 경우보다 더 많은 스펙트럼으로 구성될 것이다. 일부 이러한 예에 따라, 베이스 향상 모듈(178)은, 잡음 추정치(160)에 기초하여, 본원에서 주파수 추출의 "적극성"으로 지칭될 수 있는 것을 조정하도록 구성될 수 있다. 본원에 사용된 바와 같이, "적극성"이라는 용어는 베이스 볼륨 향상의 정도를 나타내는 파라미터이다.
일부 이러한 예에서, 베이스 추출 모듈(177)은 다음 수학식에 따라 크로스오버 주파수(아래 수학식에서 "targeted_crossover")를 결정하도록 구성될 수 있다.
target_crossover = total_gain_ratio * max_freq_limiting * 적극성(수학식 1)
수학식 1에서, "적극성"은 베이스 볼륨 향상의 적극성을 나타내는 파라미터를 나타낸다. 일부 예에서, "적극성" 파라미터는, 시스템이 다운믹싱된 베이스(174)에 너무 많거나 너무 적은 에너지를 포함하지 않는 것을 보장하기 위해, 귀로, 예컨대, 사용자 또는 잡음 보상 시스템의 제공자에 의해 튜닝될 수 있다. 일부 예에 따라, "적극성" 파라미터의 선형 보간(linear interpolation)은 2개의 "적극성" 설정(예컨대, 하나의 높은 볼륨 설정은 잡음으로 인한 것이고, 다른 높은 볼륨 설정은 사용자 입력으로 인한 것임) 사이를 페이드(fade)하는 데 사용될 수 있다.
수학식 1에서, "max_freq_limiting"은 다중 대역 제한기(154)에서 제한되는 대역에 의해 커버되는 최대 주파수를 나타낸다. 일부 예에서, "max_freq_limiting"은, 다중 대역 제한기(154)에 의해 제한되는 최고 주파수 대역의 최고 주파수에 의해 결정되거나 그로부터 직접 도출될 수 있다. 일부 구현에서, "max_freq_limiting"은 베이스 추출 모듈(177)이 지원하는 범위에 클리핑될(clipped) 수 있다.
일부 예에서,
"total_gain_ratio" = total_gain / max_possible_gain (수학식 2)
수학식 2에서, "max_possible_gain"은 베이스 추출 모듈(177)에 의해 베이스 추출될 수 있는 모든 대역(또는 일부 실시예에서 다중 대역 제한기(154)에서 제한될 수 있는 모든 대역)에 대해 다중 대역 제한기(154)에 의해 (당시에) 제한되는 모든 각각의 대역의 최대 이득의 합을 나타낸다. 일부 예에서, "max_possible_gain"은, "max_possible_gain"이 최대 크로스오버 주파수를 초과하지 않는 주파수를 갖는 빈(bin)에 대해 다중 대역 제한기(154)에 의해 적용될 수 있는 모든 이득의 최대 적분일 수 있다는 점에서, 베이스 추출될 수 있는 모든 대역에 대해 다중 대역 제한기(154)에 의해 적용될 수 있는 최대 이득의 합일 수 있다.
수학식 2에서, "total_gain"은, 베이스 추출될 수 있는 모든 대역(또는 일부 실시예에서, 제한될 수 있는 모든 대역)에 적용되는 모든 이득의 합(예컨대, 각각의 주파수 대역에 대한 압축 피드백 신호(162)에 의해 표시됨)을 나타낸다.
수학식 1 및 2에서, "total_gain_ratio"는, 베이스 추출 모듈(177)에 의해 베이스가 추출될 수 있는 모든 대역 내에서 다중 대역 제한기(154)가 전체적으로 얼마나 많이 제한하는지에 대한 표시자를 나타낸다. 수학식 2에서 "total_gain_ratio"는, "total_gain_ratio"가 가변 수의 대역에 대해 발생하는 전체 제한의 양에 대한 더 양호한 표시를 제공하도록 ("max_possible_gain" 파라미터에 의해) 정규화된다.
일부 구현에서, 필터(205 및 206) 각각에 대한 크로스오버 주파수(수학식 1의 "targeted_crossover")는, 다중 대역 제한기(154)가 더 많은 제한을 적용할 때(예컨대, 수학식 1 및 2에서 "total_gain_ratio"가 증가될 때), 적용되는 베이스 향상의 양을 증가시키도록 증가될 수 있다. 일부 구현에서, 크로스오버 주파수는, 다중 대역 제한기(154)가 더 적은 제한을 적용할 때(예컨대, 수학식 1 및 2에서 "total_gain_ratio"가 감소될 때) 적용된 베이스 향상의 양을 감소시키도록 감소될 수 있다. 크로스오버 주파수(예컨대, 수학식 1 및 2에서 "targeted_crossover")는, 일부 예에서, 사용자가 패닝(panning)에서 갑작스러운 점프를 알아차리지 못하는 것을 보장하기 위해 어택 및 릴리스(attack and release)로 평활화될 수 있다.
이 예에 따라, VB 모듈(171)은 누락된 기본 현상에 기초하여 베이스 지각을 생성한다. 일부 예에 따라, VB 모듈(171)은, 입력 신호의 것 내 베이스 주파수의 고조파에 있는 신호를 주입함으로써 증가된 베이스의 지각을 생성하도록 구성될 수 있다. 일부 이러한 예에서, 주입되는 고조파의 수 및 고조파의 진폭은 대응하는 압축 피드백 신호(162) 및 잡음 추정치(160)(또는 사용자 입력에 대응하는 볼륨과 비교하여, 잡음 보상 레벨 조정기(169)에 의해 제어되는 볼륨의 비율) 둘 모두에 의해 결정될 수 있다. 잡음 추정치(160)가 높으면, 일부 예에서, 잡음 추정치가 낮은 경우와 비교될 때, (예컨대, 수학식 1 및 2의 적극성을 조정함으로써) 가상 베이스의 양(예컨대, 고조파의 수 및 그들의 진폭)이 증가될 것이다. 일부 구현에서, 가상 베이스의 양은 다음과 같이 결정될 수 있다.
virtual_bass_gains = min_virtual_bass_gain + ((1 + 0.01 × A)-limiter_gain ― 1) (수학식 3)
수학식 3에서, "limiter_gain"은, 다중 대역 제한기(154)가 VB 모듈(171) 중 하나 또는 둘 모두에 제공할 수 있는 최저 주파수 대역에 대한 다중 대역 제한기 이득 값을 나타낸다. 수학식 3에서, "A"는 가상 베이스 적용의 적극성을 나타내는 파라미터(예컨대, 다중 대역 제한기 이득의 양 당 얼마나 많은 가상 베이스가 적용되는지)를 나타낸다. 일 예에서 A = -25이지만, 대안적인 예에서, A가 더 높거나 더 낮을 수 있다. 수학식 3에서, "min_virtual_bass_gain"은 적용 가능한 가상 베이스 이득의 최소량을 나타낸다. 일부 예에 따라, "적극성" 파라미터의 선형 보간(linear interpolation)은 2개의 "적극성" 설정(예컨대, 하나의 높은 볼륨 설정은 잡음으로 인한 것이고, 다른 높은 볼륨 설정은 사용자 입력으로 인한 것임) 사이를 페이드(fade)하는 데 사용될 수 있다.
도 1m에 도시된 예로 돌아가면, 이 구현에서, 레벨 조정기(152)는 선택적인 제어 신호(164)를 잡음 추정기(159)에 전송하도록 구성된다. 일부 구현에서, 다중 대역 제한기(154)는 선택적 제어 신호(167)를 잡음 추정기(159)에 전송하도록 구성될 수 있다. 본원의 다른 곳에서 더 자세히 설명되는 바와 같이, 일부 예시에서, 레벨 조정기(152)는 일부 왜곡을 허용하도록 (예컨대, 주변 잡음의 존재 시에 재생 볼륨을 증가시키도록) 다중 대역 제한기(154)를 구성할 수 있어서, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서가 선형 범위 외부에서 동작하게 한다. 이러한 예시에서, 확성기(156)로부터 마이크로폰(157)까지의 오디오 경로(165)는 확성기(156)의 비선형 왜곡에 대응하는 적어도 일부 사운드를 포함할 수 있다. 적어도 부분적으로 에코 제거기는 일반적으로 선형 알고리즘에 기초하기 때문에, 에코 제거기는 확성기(156)의 비선형 왜곡에 대응하는 사운드를 적절하게 제거할 수 없을 것이다.
따라서, 일부 이러한 예에 따라, 레벨 조정기(152)가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하도록 다중 대역 제한기(154)를 구성하는 경우, 레벨 조정기(152)는 또한 잡음 추정기(159)가 동작 모드를 변경해야 함을 나타내는 제어 신호(164)를 잡음 추정기(159)에 전송할 수 있다(또는 다중 대역 제한기(154)는 또한 제어 신호(167)를 전송할 수 있음). 일부 이러한 예에서, 제어 신호(164)(또는 제어 신호(167))는, 잡음 추정기(159)에 의해 구현된 에코 제거기가 입력으로서 다중 대역 제한된 오디오 데이터(155)의 조용한 재생 간격만을 사용해야 함을 나타낼 수 있다. 일부 이러한 예에서, 조용한 재생 간격은 하나 이상의 주파수 대역에서 임계값 레벨 이하의 오디오 신호의 인스턴스일 수 있다. 대안적으로, 또는 추가적으로, 일부 예에서, 조용한 재생 간격은 시간 간격 동안 임계값 레벨 이하의 오디오 신호의 인스턴스일 수 있다. 조용한 재생 간격은 또한 본원에서 "갭"으로 지칭될 수 있다.
일부 구현에서, 레벨 조정기(152)가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하도록 다중 대역 제한기(154)를 구성하는 경우, 제어 신호(164)(또는 제어 신호(167))는 에코 제거기의 하나 이상의 기능이 디스에이블되거나 일시 중지되어야 한다는 것을 나타낼 수 있다. 예컨대, 에코 제거기는 복수의 주파수 대역 각각에 대한 적응형 필터의 계수를 업데이트함으로써 정상적으로 동작할 수 있다. 일부 이러한 구현에서, 제어 신호(164)(또는 제어 신호(167))는, 다중 대역 제한된 오디오 데이터(155)가 확성기(156)(또는 오디오 환경의 하나 이상의 다른 오디오 재생 트랜스듀서)로 하여금 선형 범위 외부에서 동작하게 할 경우에, 필터 계수를 업데이트하지 않도록 음향 에코 제어기를 제어할 수 있다.
도 2a는 다중 대역 제한기에 대한 임계값 및 다른 파라미터를 설정하기 위한 GUI(graphical user interface)의 예를 도시한다. GUI(200)는, 예컨대, 제어 시스템에 의해 실행되는 소프트웨어에 따라 디스플레이 디바이스에 제시될 수 있다. 사용자는, 예컨대, GUI(200)가 제시되고 있는 디스플레이 상의 터치 스크린을 통해, 마우스를 통해, 키보드를 통해, 음성 커맨드 등을 통해 사용자 입력을 제공함으로써 GUI(200)와 상호작용할 수 있다 본원에 제시된 다른 도면과 같이, 요소의 유형 및 수뿐만 아니라 표시된 특정 값은 단지 예로서 도시된다.
이 구현에서, y축은 0dB 내지 -60dB 범위의 데시벨을 나타내고, x축은 주파수를 Hz 단위로 나타낸다. 이 예에서, GUI(200)는 복수의 주파수 대역(217) 각각에 대한 예시적인 임계값(201)의 세트를 도시한다. 이 예에 따라, 각각의 임계값(201)은 대응하는 주파수 대역(217)을 나타내는 수직선에서 점으로 예시된다. 각각의 주파수 대역(217)의 중심 주파수는 주파수 대역(217)을 나타내는 수직선에 인접하게 표시된다. 일부 구현에서, 임계값(201)은, 신호가 대응하는 주파수 대역에서 초과하도록 허용되지 않는 레벨이다. 입력 레벨이 임계값(201)을 초과하면, 레벨을 임계값(201)으로 제한하는 음의 이득이 적용될 수 있다.
임계값(201)의 레벨은, 오디오 재생 트랜스듀서에 의해 재생될 때, 대응하는 주파수 대역에서 여전히 선형 출력 응답을 갖는 최대 입력 값에 관련될 수 있다. 예컨대, 도 2a에 도시된 특정 임계값(201)은 특정 오디오 재생 트랜스듀서의 능력에 따라 미리 설정될 수 있다. 이 예에서, 임계값(201)은 일반적으로 최저 주파수 대역에서 더 낮다. 이것은, 특정 오디오 재생 트랜스듀서가 높은 주파수보다 낮은 주파수에서 낮은 레벨로 왜곡한다는 것을 나타낸다. 이 예에서, 844Hz를 초과하는 주파수는 해당 특정 디바이스에 대한 최대 볼륨에서 제한되지 않는다.
이 예에 따라, 요소(213)는 특정 주파수 대역에 대한 분리 설정을 나타낸다. 주파수 대역이 분리되도록 설정된 경우, 해당 주파수 대역의 오디오만이 적용되는 제한 이득에 영향을 미친다. 도 2a에 도시된 예에서, 주파수 대역 중 어느 것도 분리되지 않는다.
도 2b는 다중 대역 제한기에 대한 임계값 및 다른 파라미터의 다른 예를 도시한다. 도 2b는, 4개의 대응하는 베이스 주파수 대역이 분리되었음을 4개의 요소(213)가 나타내는 GUI(200)의 예를 도시한다. 일부 경우에, 베이스 주파수 대역과 같은 특정 주파수 대역이 음색 보존에 기여하지 않고 완전히 분리되어 동작하도록 허용하는 것이 바람직할 수 있다. 예컨대, 일부 오디오 시스템은, 스피커 크기가 작기 때문에 베이스 주파수에서 극히 낮은 고정된 임계값을 가질 수 있다. 이러한 베이스 주파수 대역이 음색 보존 계산에 기여하도록 허용되면, 전체 재생 레벨이 급격히 감소할 수 있다. 이러한 경우에, 도 2b와 같이, 이러한 베이스 주파수 대역이 독립적으로 동작하고, 나머지 주파수 대역에 음색 보존 방법을 적용하는 것을 허용하는 것이 바람직할 수 있다.
일부 대안적인 구현에서, 완전히 분리되거나 완전히 분리되지 않는 것 대신에, 주파수 대역이 부분적으로 분리될 수 있다(예컨대, 25% 분리, 50% 분리, 75% 분리 등). 일부 이러한 예에서, 주파수 대역이 분리되는 정도는 요소들(213) 중 하나 이상(예컨대, 각각)에 대응하는 슬라이더 또는 다른 가상 사용자 입력 디바이스를 포함하는 GUI(200)의 대안적인 버전을 통해 선택 가능할 수 있다. 다른 예에서, 오디오 환경의 주변 잡음 레벨의 변경과 같은 조건의 변경에 따라, 주파수 대역이 분리되는 정도가 자동으로 변경될 수 있다. 일부 예는 도 4c를 참조하여 아래에 설명된다.
도 2a 및 도 2b에 도시된 예에서, 일부 주파수 대역의 점(218)은 본원에서 "오버드라이브" 또는 오디오 재생 트랜스듀서의 선형 범위 외부의 동작으로 지칭될 수 있는 것에 대한 예시적인 튜닝을 나타낸다. 다양한 예가 본원에 개시된다. 점(201)과 점(218) 사이에서, 오디오 재생 트랜스듀서는 선형 범위에서 동작하지 않을 것이다. 일부 예에 따라, 점(218)은 오디오 재생 트랜스듀서가 구동되지 않을 하드 한계(hard limit)를 나타낸다. 일부 대안적인 구현에서, 점(218)은, 오디오 재생 트랜스듀서가 일부 상황에서 구동될 수 있는 소프트 한계(soft limit)를 나타낸다. 일부 구현에서, 이러한 명시적 오버드라이브 튜닝은 선택 사항일 수 있으며, 일부 대안의 예에서, 이러한 명시적 오버드라이브 튜닝이 존재하지 않을 수 있다. 일부 구현에서, 명시적 오버드라이브 튜닝은 모든 대역에 걸쳐 고정된 값일 수 있다(예컨대, 임계값(201)에 추가된 3dB).
도 2a 및 2b에 도시된 예에서, 요소(212)는 사용자(예컨대, 디바이스 제조업체의 직원)가 음색 보존 설정을 선택하는 것을 허용한다. 이러한 예에서, 사용자는 슬라이더 부분(212a)을 이동시킴으로써 및/또는 윈도우 부분(212b)에 숫자 값을 입력함으로써 요소(212)와 상호작용할 수 있다. 일부 구현에서, 음색 보존 설정은, 주파수 대역이 분리되지 않은 경우, 하나의 주파수 대역의 신호가 다른 주파수 대역, 예컨대, 하나 이상의 이웃 주파수 대역에 적용되는 이득에 영향을 미칠 수 있는 양에 대응한다.
일부 구현에서, 음색 보존 설정 1.00은 모든 비분리 주파수 대역 b=1… B에 걸쳐 모든 고정된 임계값 Lb 및 모든 주파수 대역 신호 xb[n]의 함수로서 계산된 시변 임계값 Tb[n]에 대응할 수 있다.
고정된 임계값(Lb)은, 예컨대, 임계값(201)에 대응할 수 있다. 그런 다음, 각각의 주파수 대역에 대한 이득 gb[n]은 gb[n] = CF(xb[n], Tb[n])로 계산될 수 있다.
1.00 미만의 음색 보존 설정의 경우, 각각의 임계값 Tb[n]은 전체보다 더 적지만 복수의 주파수 대역 신호 xb[n] 및/또는 비분리된 주파수 대역의 전체보다는 더 적지만 복수의 고정된 임계값 Lb의 함수로서 계산될 수 있다. 예컨대, 0.50의 음색 보존 설정에서, 각각의 임계값 Tb[n]은 주파수 대역 신호 xb[n] 및 비분리된 주파수 대역의 고정된 임계값 Lb의 절반의 함수로서 계산될 수 있다.
일부 예에서, 주파수 대역에 대한 시변 임계치는 그의 가장 가까운 이웃의 비분리된 주파수 대역들 또는 이웃하는 비분리된 주파수 대역들의 범위에 기초하여 계산될 수 있다.
일부 예에서, 비분리된 주파수 대역이 자신의 고정 임계값을 초과한 것으로 인해 상당한 이득 감소를 수신하는 경우, 다른 비분리된 주파수 대역의 시변 임계값은 또한 일부 이득 감소를 수신하도록 감소될 수 있다. 주파수 대역에 대한 시변 임계값이 자신의 각각의 고정 임계값 미만으로 감소되기 때문에, 다중 대역 제한기(154)는 여전히 왜곡을 감소시키면서, 음색에 대한 변경은 완화되거나 그렇지 않은 경우 방지될 수 있다.
일부 예에서, 제어 시스템(예컨대, 다중 대역 제한기(154))은 각각의 주파수 대역에서 오디오 입력 신호의 평균 차이 및 그의 각각의 고정된 임계값(Lb)을 계산하도록 구성될 수 있다. 그런 다음, 각각의 주파수 대역에서 시변 임계값은 이러한 대역에서 오디오 입력 신호 레벨에서 이러한 평균 차이를 뺀 값이 될 수 있다.
대안적으로, 또는 추가적으로, 시변 임계값은 시간이 지남에 따라 적어도 이득 gb[n]보다 더 많이 평활화될 수 있다. 즉, 임계값 계산에 사용되는 오디오 입력 신호의 레벨은 이득 gb[n]을 계산하는 데 사용되는 신호(예컨대, eb[n])보다 더 많이 평활화될 수 있다. 하나의 이러한 예에서, 더 평활한 에너지 신호 sb[n]을 계산하기 위해 더 긴 시간 상수를 갖는 1극 평활기가 사용될 수 있다.
이 경우에, 종래의 다중 대역 제한기보다 10배 정도 더 많은 어택 및 릴리즈 타임이 사용될 수 있다. 그런 다음, 평활 에너지 신호는 다음과 같이 dB 단위로 표현될 수 있다.
각각의 주파수 대역의 평활 에너지 신호와 dB 단위로 또한 표시되는 각각의 주파수 대역의 고정된 임계값 Lb 사이의 차이는 다음과 같이 계산될 수 있다.
그리고 모든 주파수 대역에 걸쳐 이러한 거리의 최소값을 찾을 수 있다.
주파수 대역에 걸친 이러한 차이의 가중된 평균은 다음과 같이 계산될 수 있고, 여기서 β는 가중 계수를 나타낸다.
β=1일 때 차이의 실제 평균이 계산되고, β>1일 때, 차이가 클수록 평균에 더 크게 기여한다. 다시 말해서, 임계값(Lb)보다 더 큰 에너지를 갖는 주파수 대역이 더 많이 기여한다. 일부 예에서, β=8은 적절한 가중치를 산출하는 것으로 밝혀졌다. 마지막으로, 임계값 Tb[n]은, 이 임계값이 고정된 임계값 Lb보다 작을 때, 주파수 대역에서 평활 신호 에너지에서 평균 차이를 뺀 값으로 계산될 수 있다. 그렇지 않으면, 일부 구현에 따라, 시변 임계값은, 예컨대, 다음과 같이 고정된 임계값과 동일하게 유지될 수 있다.
일부 대안적인 구현에서, 가중된 평균보다는, 거리 Db[n]의 최대값으로부터 임계값이 계산될 수 있다:
그런 다음, 각각의 임계값은, 이 임계값이 고정된 임계값보다 작은 경우에, 주파수 대역에서 평활한 신호 에너지에서 최대 거리를 뺀 값에 일부 허용 오차 값 Dtol을 더한 값으로 계산될 수 있다.
허용 오차 값(Dtol)은, 예컨대, 각각의 주파수 대역에 적용되는 압축량의 일부 변동을 허용하도록 설계될 수 있다. 하나의 특정 실시예에서, Dtol = 12dB의 실제 값은 충분한 변동을 허용하는 것으로 밝혀졌다.
도 2b에 도시된 예에서, 임계값(201a)은 분리되지 않은 주파수 대역에 대한 가장 낮은 임계값이다. 일부 이러한 예에서, 100% 음색 보존이 요소(212)를 통해 선택되었다면, 어떠한 다른 비분리된 주파수 대역도 해당 임계값을 초과할 수 없을 것이다.
도 2c는 주파수 범위에 대한 임계값의 예를 도시하는 그래프이다. 도 2c의 그래프(200C)에서, 수직축은 진폭을 나타내고, 수평축은 주파수를 나타낸다. 그래프(200C)에 도시된 각각의 주파수에 대한 임계값은 라인 세그먼트(203C 및 205C)로 표현된다. 라인 세그먼트(203C)는 베이스 범위에서 분리된 주파수 대역에 대한 임계값을 나타낸다. 라인 세그먼트(203C)는, 베이스 범위에서 4개의 분리된 주파수 대역에 대해 도 2b에 도시된 임계값에 대략적으로 대응하도록 의도된다.
라인 세그먼트(205C)는, 음색 보존 방법이 적용된 도 2b의 고주파수 대역(베이스 범위에서 4개의 분리된 주파수 대역을 초과하는 대역)의 여기(excitation)를 나타낸다. 여기서, 점선(204C)은 독립적인 주파수 대역과 음색 보존 주파수 대역 사이의 경계를 나타낸다. 일부 예에서, 독립적이거나 분리된 주파수 대역들과 음색 보존 주파수 대역들 사이에 하나 초과의 경계가 있을 수 있다.
이 예에서, 도 2b의 더 높은 주파수 대역의 임계값이 상이하지만, 음색 보존 방법의 출력은 라인 세그먼트(205C)로 표현된 모든 주파수의 여기를, 도 2b의 임계값(201a)인 도 2b의 고주파수 대역의 가장 낮은 임계값으로 제한했음을 알 수 있다.
그래프(200C)의 예에서, 제어 시스템(예컨대, 도 1m의 레벨 조정기(152)를 구현하는 제어 시스템)은, 사용자 입력을 통해 수신된 사용자 입력 레벨 조정 표시에 응답하여, 다중 대역 제한기 구성을 결정했다. 예컨대, 사용자는 볼륨을 조정하기 위해 원격 제어 디바이스를 사용했을 수 있다. 이 구현에 따라, 수신된 적어도 하나의 유형의 레벨 조정 표시가 사용자 입력 레벨 조정 표시였기 때문에, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 구성을 결정하는 것을 포함한다. 이 예에서, 도 1g 및 1j에 도시된 예에서와 같이, 입력 오디오는, 다중 대역 제한기에서 제한을 야기하는 레벨에 있는 백색 잡음에 대응한다. 도 2c 및 2d에 도시된 예에서, 레벨 조정기는, 사용자 입력을 통해 또는 잡음 추정기로부터의 입력을 통해 수신되었을 수 있는 하나 이상의 레벨 조정 표시에 기초하여, 입력 오디오를 이 레벨로 조정했다. 라인 세그먼트(205C)에 대응하는 주파수 대역에 대한 출력된 여기에서 음색이 완전히 보존됨을 알 수 있다.
도 2d는 주파수 범위에 대한 임계값의 다른 예를 도시하는 그래프이다. 도 2d의 그래프(200D)에서, 수직축은 진폭을 나타내고, 수평축은 주파수를 나타낸다. 그래프(200D)에 도시된 각각의 주파수에 대한 임계값은 라인 세그먼트(203D 및 205D)로 표현된다. 라인 세그먼트(203D)는 베이스 범위에서 분리된 주파수 대역에 대한 임계값을 나타낸다. 라인 세그먼트(203D)는, 베이스 범위에서 4개의 분리된 주파수 대역에 대해 도 2b에 도시된 임계값에 대략적으로 대응하도록 의도된다. 이 예에서, 라인 세그먼트(203D)는 도 2c의 라인 세그먼트(203C)와 동일하도록 의도된다.
이 예에서, 라인 세그먼트(205D)는, 음색 보존 방법이 일반적으로 적용될 도 2b의 고주파수 대역(베이스 범위에서 4개의 분리된 주파수 대역을 초과하는 대역)의 여기를 나타낸다. 여기서, 점선(204D)은 독립적인 주파수 대역과 음색 보존 방법이 일반적으로 적용될 주파수 대역 사이의 경계를 나타낸다. 일부 예에서, 음색 보존 방법이 일반적으로 적용될 주파수 대역과 독립적인 주파수 대역 사이에 하나 초과의 경계가 있을 수 있다.
그래프(200D)의 예에서, 제어 시스템(예컨대, 도 1m의 레벨 조정기(152)를 구현하는 제어 시스템)은, 잡음 보상 모듈(예컨대, 도 1m의 잡음 추정기(159))로부터 수신된 잡음 보상 레벨 조정 표시에 응답하여, 다중 대역 제한기 구성을 결정했다. 이 예에 따라, 수신된 적어도 하나의 유형의 레벨 조정 표시가 잡음 보상 레벨 조정 표시였기 때문에, 다중 대역 제한기 구성을 결정하는 것은 음색 보존 기능을 변경하는 것을 포함한다. 이 구현에서, 음색 보존 기능을 변경하는 것은 음색 보존 기능을 적어도 부분적으로 디스에이블하는 것을 포함한다.
이 예에 따라, 잡음 보상 레벨 조정 표시는 오디오 환경의 주변 잡음 레벨에 대응하고, 음색 보존 기능을 변경하는 것은, 주변 잡음 레벨에 적어도 부분적으로 기초하여, 음색 보존 기능을 변경하는 것을 포함한다. 이 예에서, 잡음 보상 레벨 조정 표시는 높은 주변 잡음 레벨을 나타내고 그리고/또는 이에 대한 응답이다. 이전에 종속적이고 음색을 보존하도록 튜닝된 도 2b의 주파수 대역(라인 세그먼트(205D)에 대응하는 주파수 대역)이 이 예에서 완전히 독립적인 것으로 허용된다는 것을 그래프(200D)에서 알 수 있다. 이 예에서, 입력 오디오는, 다중 대역 제한기에서 제한을 야기하는 레벨에 있는 백색 잡음에 대응한다.
일부 예시에서, 하나 이상의 이전에 수신된 사용자 입력 레벨 조정 표시는 하나 이상의 주파수 대역의 입력 레벨을 다중 대역 제한기 구성의 제한 구역으로 이전에 푸시했을 수 있다. 일부 이러한 예에 따라, 결과적인 다중 대역 제한기 구성은 205D 및 205C의 선형 결합(이를테면, 둘 사이의 크로스페이드)일 수 있다. 일부 다른 구현에서, 잡음 보상 레벨 조정 표시에 응답하는 다중 대역 제한기 구성은 사용자 입력 레벨 조정 표시에 대한 음색 보존 응답을 무시할 수 있다. 일부 예가 아래에 설명된다.
도 2e는 이 개시의 다양한 양상을 구현할 수 있는 장치의 구성요소의 예를 도시하는 블록도이다. 본원에 제공된 다른 도면과 같이, 도 2e에 도시된 요소의 유형 및 수는 단지 예로서 제공되는 것이다. 다른 구현은 더 많거나 더 적은 수 및/또는 상이한 유형 및/또는 수의 요소를 포함할 수 있다. 일부 예에 따라, 장치(240)는 본원에 개시된 방법 중 적어도 일부를 수행하도록 구성될 수 있다. 일부 구현에서, 장치(240)는 텔레비전, 오디오 시스템의 하나 이상의 구성요소, 모바일 디바이스(이를테면, 셀룰러 전화), 랩톱 컴퓨터, 태블릿 디바이스, 스마트 스피커, 또는 다른 유형의 디바이스일 수 있거나 이들을 포함할 수 있다. 일부 구현에서 장치(240)는 텔레비전 제어 모듈이거나 이를 포함할 수 있다. 텔레비전 제어 모듈은 특정 구현에 의존하여 텔레비전에 통합될 수 있거나 통합되지 않을 수 있다. 일부 구현에서, 텔레비전 제어 모듈은 텔레비전과 별개의 디바이스일 수 있고, 일부 예시에서, 텔레비전과 별개로 또는 구매된 텔레비전에 포함될 수 있는 추가물(add-on) 또는 선택적인 디바이스로서 판매될 수 있다. 일부 구현에서, 텔레비전 제어 모듈은 콘텐츠 제공자, 이를테면, 텔레비전 프로그램, 영화 등의 제공자로부터 획득 가능할 수 있다.
일부 대안적인 구현에 따라, 장치(240)는 서버이거나 서버를 포함할 수 있다. 일부 이러한 예에서, 장치(240)는 인코더이거나 이를 포함할 수 있다. 따라서, 일부 예시에서, 장치(240)는 홈 오디오 환경과 같은 오디오 환경 내에서 사용하도록 구성된 디바이스일 수 있는 반면에, 다른 예시에서, 장치(240)는 "클라우드", 예컨대, 서버에서 사용하도록 구성된 디바이스일 수 있거나 이를 포함할 수 있다.
이 예에서, 장치(240)는 인터페이스 시스템(207) 및 제어 시스템(210)을 포함한다. 인터페이스 시스템(207)은, 일부 구현에서, 오디오 환경의 하나 이상의 다른 디바이스들과의 통신을 위해 구성될 수 있다. 오디오 환경은, 일부 예에서, 홈 오디오 환경일 수 있다. 다른 예에서, 오디오 환경은 다른 유형의 환경, 이를테면, 사무실 환경, 자동차 환경, 기차 환경, 거리 또는 인도 환경, 공원 환경 등일 수 있다. 인터페이스 시스템(207)은, 일부 구현에서, 오디오 환경의 오디오 디바이스와 제어 정보 및 연관된 데이터를 교환하도록 구성될 수 있다. 일부 예에서, 제어 정보 및 연관된 데이터는, 일부 예에서, 장치(240)가 실행하는 하나 이상의 소프트웨어 애플리케이션에 관련될 수 있다.
인터페이스 시스템(207)은, 일부 구현에서, 콘텐츠 스트림을 수신 또는 제공하도록 구성될 수 있다. 콘텐츠 스트림은 오디오 데이터를 포함할 수 있다. 오디오 데이터는 오디오 신호를 포함할 수 있지만 이에 제한되지 않을 수 있다. 일부 예시에서, 오디오 데이터는 공간 데이터, 이를테면, 채널 데이터 및/또는 공간 메타데이터를 포함할 수 있다.
인터페이스 시스템(207)은 하나 이상의 네트워크 인터페이스 및/또는 (하나 이상의 USB(Universal Serial Bus) 인터페이스와 같은) 하나 이상의 외부 디바이스 인터페이스를 포함할 수 있다. 일부 구현에 따라, 인터페이스 시스템(207)은 하나 이상의 무선 인터페이스를 포함할 수 있다. 인터페이스 시스템(207)은 하나 이상의 마이크로폰, 하나 이상의 스피커, 디스플레이 시스템, 터치 센서 시스템 및/또는 제스처 센서 시스템과 같은 사용자 인터페이스를 구현하기 위한 하나 이상의 디바이스를 포함할 수 있다. 일부 예에서, 인터페이스 시스템(207)은 제어 시스템(210)과 도 2e에 도시된 선택적 메모리 시스템(215)과 같은 메모리 시스템 사이의 하나 이상의 인터페이스를 포함할 수 있다. 그러나, 제어 시스템(210)은 일부 예시에서 메모리 시스템을 포함할 수 있다. 인터페이스 시스템(207)은, 일부 구현에서, 환경 내의 하나 이상의 마이크로폰으로부터 입력을 수신하도록 구성될 수 있다.
제어 시스템(210)은, 예컨대, 범용 단일 또는 다중 칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능 게이트 어레이(FPGA) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트 또는 트랜지스터 논리 및/또는 이산 하드웨어 구성요소를 포함할 수 있다.
일부 구현에서, 제어 시스템(210)은 하나보다 많은 디바이스에 상주할 수 있다. 예컨대, 일부 구현에서, 제어 시스템(210)의 일부는 오디오 환경 내의 디바이스에 상주할 수 있고 제어 시스템(210)의 다른 일부는 서버, 모바일 디바이스(예컨대, 스마트폰 또는 태블릿 컴퓨터) 등과 같은 환경 외부의 디바이스에 상주할 수 있다 다른 예에서, 제어 시스템(210)의 일부는 본원에 묘사된 환경 중 하나 내의 디바이스에 상주할 수 있고 제어 시스템(210)의 다른 일부는 오디오 환경의 하나 이상의 다른 디바이스에 상주할 수 있다. 예컨대, 제어 시스템 기능은 오디오 환경의 여러 스마트 오디오 디바이스에 걸쳐 분산될 수 있거나, (본원에서 스마트 홈 허브로 지칭될 수 있는 것과 같은) 편성 디바이스 및 오디오 환경의 하나 이상의 다른 디바이스에 의해 공유될 수 있다. 다른 예에서, 제어 시스템(210)의 일부는 클라우드 기반 서비스를 구현하는 디바이스, 이를테면, 서버에 상주할 수 있고, 제어 시스템(210)의 다른 부분은 클라우드 기반 서비스를 구현하는 다른 디바이스, 이를테면, 다른 서버, 메모리 디바이스 등에 상주할 수 있다. 인터페이스 시스템(207)은 또한, 일부 예에서, 하나 초과의 디바이스에 상주할 수 있다.
일부 구현에서, 제어 시스템(210)은 본원에 개시된 방법을 적어도 부분적으로 수행하도록 구성될 수 있다. 일부 예에 따라, 제어 시스템(210)은 콘텐츠 스트림 프로세싱 방법을 구현하도록 구성될 수 있다.
본원에 설명된 방법의 일부 또는 전부는 하나 이상의 비일시적 매체에 저장된 명령(예컨대 소프트웨어)에 따라 하나 이상의 디바이스에 의해 수행될 수 있다. 이러한 비일시적 매체는 임의 접근 메모리(RAM) 디바이스, 읽기 전용 메모리(ROM) 디바이스 등을 포함하지만 이에 제한되지 않는, 본원에 설명된 것과 같은 메모리 디바이스를 포함할 수 있다 하나 이상의 비일시적 매체는, 예컨대, 도 2e에 도시된 선택적 메모리 시스템(215) 및/또는 제어 시스템(210)에 상주할 수 있다. 따라서, 이 개시에서 설명된 주제의 다양한 혁신적인 양상은 소프트웨어가 저장된 하나 이상의 비일시적 매체에서 구현될 수 있다. 소프트웨어는, 예컨대, 콘텐츠 스트림을 프로세싱하고, 콘텐츠 스트림을 인코딩하고, 콘텐츠 스트림을 디코딩하고 이러한 식으로 적어도 하나의 디바이스를 제어하기 위한 명령을 포함할 수 있다. 소프트웨어는, 예컨대, 도 2e의 제어 시스템(210)과 같은 제어 시스템의 하나 이상의 구성요소에 의해 실행될 수 있다.
일부 예에서, 장치(240)는 도 2e에 도시된 선택적 마이크로폰 시스템(220)을 포함할 수 있다. 선택적 마이크로폰 시스템(220)은 하나 이상의 마이크로폰을 포함할 수 있다. 일부 구현에서, 하나 이상의 마이크로폰은 스피커 시스템의 스피커, 스마트 오디오 디바이스 등과 같은 다른 장치의 일부이거나 이와 연관될 수 있다 일부 예에서, 장치(240)는 마이크로폰 시스템(220)을 포함하지 않을 수 있다. 그러나, 일부 이러한 구현에서, 장치(240)는 그럼에도 불구하고 인터페이스 시스템(210)을 통해 오디오 환경 내의 하나 이상의 마이크로폰에 대한 마이크로폰 데이터를 수신하도록 구성될 수 있다. 일부 이러한 구현에서, 장치(240)의 클라우드 기반 구현은, 인터페이스 시스템(210)을 통해 오디오 환경 내의 하나 이상의 마이크로폰으로부터, 또는 적어도 하나의 마이크로폰을 포함하는 오디오 환경 내의 하나 이상의 디바이스로부터 마이크로폰 데이터, 또는 마이크로폰 데이터에 적어도 부분적으로 대응하는 잡음 메트릭을 수신하도록 구성될 수 있다.
일부 구현에 따라, 장치(240)는 도 2e에 도시된 선택적 확성기 시스템(225)을 포함할 수 있다. 선택적 확성기 시스템(225)은 하나 이상의 확성기를 포함할 수 있으며, 이는 본원에서 또한 "스피커", 또는 더 일반적으로 "오디오 재생 트랜스듀서"로 지칭될 수 있다. 일부 예(예컨대, 클라우드 기반 구현)에서, 장치(240)는 확성기 시스템(225)을 포함하지 않을 수 있다. 그러나, 일부 이러한 예에서, 오디오 환경의 하나 이상의 다른 디바이스는 확성기 시스템(225)을 구현할 수 있다.
일부 구현에서, 장치(240)는 도 2e에 도시된 선택적 센서 시스템(230)을 포함할 수 있다. 선택적 센서 시스템(230)은 하나 이상의 터치 센서, 제스처 센서, 모션 검출기 등을 포함할 수 있다 일부 구현에 따라, 선택적 센서 시스템(230)은 하나 이상의 카메라를 포함할 수 있다. 일부 구현에서, 카메라는 독립형 카메라일 수 있다. 일부 예에서, 선택적 센서 시스템(230)의 하나 이상의 카메라는 단일 목적 오디오 디바이스 또는 가상 비서일 수 있는 스마트 오디오 디바이스에 상주할 수 있다. 일부 이러한 예에서, 선택적 센서 시스템(230)의 하나 이상의 카메라는 텔레비전, 휴대 전화 또는 스마트 스피커에 상주할 수 있다. 일부 예에서, 장치(240)는 센서 시스템(230)을 포함하지 않을 수 있다. 그러나, 일부 이러한 구현에서, 장치(240)는 그럼에도 불구하고 인터페이스 시스템(210)을 통해 오디오 환경 내의 하나 이상의 센서에 대한 센서 데이터를 수신하도록 구성될 수 있다.
일부 구현에서, 장치(240)는 도 2e에 도시된 선택적 디스플레이 시스템(235)을 포함할 수 있다. 선택적 디스플레이 시스템(235)은 하나 이상의 발광 다이오드(LED) 디스플레이와 같은 하나 이상의 디스플레이를 포함할 수 있다. 일부 예시에서, 선택적 디스플레이 시스템(235)은 하나 이상의 유기 발광 다이오드(OLED) 디스플레이를 포함할 수 있다. 일부 예에, 선택적 디스플레이 시스템(235)은 텔레비전의 하나 이상의 디스플레이를 포함할 수 있다. 다른 예에서, 선택적인 디스플레이 시스템(235)은 랩톱 디스플레이, 모바일 디바이스 디스플레이, 또는 다른 유형의 디스플레이를 포함할 수 있다. 장치(240)가 디스플레이 시스템(235)을 포함하는 일부 예에서, 센서 시스템(230)은 디스플레이 시스템(235)의 하나 이상의 디스플레이에 근접한 터치 센서 시스템 및/또는 제스처 센서 시스템을 포함할 수 있다. 일부 이러한 구현에 따라, 제어 시스템(210)은 하나 이상의 그래픽 사용자 인터페이스(GUI)를 제시하도록 디스플레이 시스템(235)을 제어하도록 구성될 수 있다.
일부 이러한 예에 따라 장치(240)는 스마트 오디오 디바이스이거나 이를 포함할 수 있다. 일부 이러한 구현에서 장치(240)는 깨우기 단어 검출기이거나 이를 포함할 수 있다. 예컨대, 장치(240)는 가상 비서이거나 이를 포함할 수 있다.
도 3은 개시된 방법의 예를 약술하는 흐름도이다. 본원에서 설명된 다른 방법과 같이, 방법(300)의 블록은 반드시 표시된 순서로 수행되는 것은 아니다. 또한, 이러한 방법은 도시 및/설명된 것보다 더 많거나 더 적은 블록을 포함할 수 있다.
방법(300)은 장치 또는 시스템, 이를테면, 도 2e에 도시되고 위에서 설명된 장치(240)에 의해 수행될 수 있다. 일부 예에서, 방법(300)의 블록은 오디오 환경 내의 하나 이상의 디바이스, 예컨대, 오디오 시스템 제어기 또는 오디오 시스템의 다른 구성요소, 이를테면, 텔레비전, 텔레비전 제어 모듈, 스마트 스피커, 모바일 디바이스 등에 의해 수행될 수 있다. 일부 구현에서, 오디오 환경은 홈 환경의 하나 이상의 방을 포함할 수 있다. 다른 예에서, 오디오 환경은 다른 유형의 환경, 이를테면, 사무실 환경, 자동차 환경, 기차 환경, 거리 또는 인도 환경, 공원 환경 등일 수 있다. 그러나, 대안적인 구현에서, 방법(300)의 적어도 일부 블록은 서버와 같은 클라우드 기반 서비스를 구현하는 디바이스에 의해 수행될 수 있다.
이러한 예에서, 블록(301)은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해(예컨대, 도 2e의 제어 시스템(210)에 의해 그리고 인터페이스 시스템(207)을 통해), 입력 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 것을 포함한다. 일부 예에서, 콘텐츠 스트림은 오디오 데이터에 대응하는 비디오 데이터를 포함할 수 있다. 일부 구현에서, 제어 시스템 및 인터페이스 시스템은, 도 2e에 도시되고 위에서 설명된 제어 시스템(210) 및 인터페이스 시스템(207)일 수 있다. 일부 구현에서, 제어 시스템은, 도 1m에 도시되고 위에서 설명된 제어 시스템(210)일 수 있다. 일부 예에서, 블록(301)은 도 1m의 레벨 조정기(152)가 입력 오디오 데이터(151)를 수신하는 것을 포함할 수 있다. 일부 구현에 따라, 블록(301)은 인코딩된 콘텐츠 스트림을 수신하는 것을 수반할 수 있다. 그러한 구현에서, 블록(301)은 인코딩된 콘텐츠 스트림을 디코딩하는 것을 수반할 수 있다. 콘텐츠 스트림은, 예컨대, 영화, 텔레비전 프로그램, 음악, 뮤직 비디오, 팟캐스트 등에 대응할 수 있다.
이 구현에서, 블록(305)은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해, 오디오 데이터의 재생과 관련된 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것을 포함한다. 일부 예시에서, 적어도 하나의 유형의 레벨 조정 표시는 사용자 입력을 통해, 예컨대, 원격 제어를 통해, 음성 커맨드 등을 통해 수신된 사용자 입력 레벨 조정 표시를 포함할 수 있다 일부 구현에 따라, 블록(305)은 도 1m의 레벨 조정기(152)가 사용자 입력(163)을 수신하는 것을 포함할 수 있다.
대안적으로, 또는 추가적으로, 적어도 하나의 유형의 레벨 조정 표시는 잡음 보상 모듈로부터 수신된 잡음 보상 레벨 조정 표시를 포함할 수 있다. 일부 구현에 따라, 블록(305)은 도 1m의 레벨 조정기(152)가 잡음 추정기 출력(160)을 수신하는 것을 포함할 수 있다. 잡음 보상 레벨 조정 표시는, 예컨대, 잡음 보상 모듈에 의해 검출되는 또는 하나 이상의 마이크로폰 ― 이들로부터 잡음 보상 모듈이 마이크로폰 신호를 수신하도록 구성됨 ― 에 의해 검출되는 주변 잡음 레벨에 응답할 수 있다. 일부 구현에 따라, 블록(305)은 도 1m의 레벨 조정기(152)가 잡음 추정기 출력(160)을 수신하는 것을 포함할 수 있다.
이 예에서, 블록(310)은, 제어 시스템에 의해, 레벨 조정된 오디오 데이터를 생성하기 위해, 적어도 하나의 유형의 레벨 조정 표시에 기초하여, 입력 오디오 데이터의 레벨을 제어하는 것을 포함한다. 일부 구현에 따라, 블록(310)에서, 도 1m의 레벨 조정기(152)는, 사용자 입력(163) 및/또는 잡음 추정기 출력(160)에 기초하여, 레벨 조정된 오디오 데이터(153)를 생성할 수 있다.
이 예에 따라, 블록(315)은, 제어 시스템에 의해 그리고 적어도 하나의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 것을 포함한다. 일부 예에 따라, 도 1m에 도시된 제어 시스템(110)은, 사용자 입력(163) 및/또는 잡음 추정기 출력(160)에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정할 수 있다. 일부 이러한 예에서, 도 1m의 레벨 조정기(152)는, 사용자 입력(163) 및/또는 잡음 추정기 출력(160)에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정할 수 있다.
일부 구현에 따라, 다중 대역 제한기 구성을 결정하는 것은, 레벨 조정 표시(예컨대, 유일한 레벨 조정 표시)가 사용자 입력 레벨 조정 표시인 경우, 음색 보존 구성을 결정하는 것을 포함할 수 있다. 음색 보존 구성은, 일부 예시에서, 주파수 대역에 의존할 수 있다. 예컨대, 일부 주파수 대역은 부분적으로 또는 완전히 분리될 수 있다. 일부 예에 따라, 완전히 분리된 주파수 대역의 레벨은, 다른 주파수 대역의 레벨 및/또는 임계값을 참조하지 않고, 독립적으로 제어될 수 있다.
일부 예에서, 다중 대역 제한기 구성을 결정하는 것은, 적어도 하나의 유형의 레벨 조정 표시가 잡음 보상 레벨 조정 표시인 경우, 음색 보존 기능을 변경하는 것을 포함할 수 있다. 일부 이러한 예에서, 음색 보존 기능을 변경하는 것은 음색 보존 기능을 적어도 부분적으로 디스에이블하는 것을 포함할 수 있다. 일부 구현에서, 잡음 보상 레벨 조정 표시는 오디오 환경에서 주변 잡음의 레벨에 대응할 수 있다. 일부 이러한 예에서, 음색 보존 기능은 주변 잡음의 레벨에 적어도 부분적으로 기초하여 변경될 수 있다.
일부 구현에 따라, 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시 둘 모두가 수신될 수 있다. 일부 이러한 구현에서, 다중 대역 제한기 구성을 결정하는 것은, 사용자 입력 레벨 조정 표시에 대응하는 다중 대역 제한기 구성 및 잡음 보상 레벨 조정 표시에 대응하는 다중 대역 제한기 구성의 평균(예컨대, 가중된 평균)에 적어도 부분적으로 기초하는 부분적인 음색 보존 구성을 결정하는 것을 포함할 수 있다.
이 예에서, 블록(320)은, 제어 시스템에 의해, 다중 대역 제한기 구성에 따라 다중 대역 제한기를 구성하는 것을 포함한다. 일부 이러한 예에서, 도 1m의 레벨 조정기(152)는, 다중 대역 제한기(154)가 적용할 다중 대역 제한기 구성을 나타내는 제어 신호(161)를 전송할 수 있다. 일부 구현에서, 수신된 레벨 조정 표시가 사용자 입력 레벨 조정 표시인 경우, 다중 대역 제한기(154)의 음색 보존 설정은, 다중 대역 제한기(154)가, 예컨대, 공장에서 원래 튜닝된 바와 같이 유지될 수 있다. 이러한 구현은, 사용자가 볼륨 컨트롤을 조정할 때, 사용자가 즐거운 경험을 하는 것을 보장하는 데 도움이 될 수 있다.
일부 예에 따라, 수신된 레벨 조정 표시가 잡음 보상 레벨 조정 표시인 경우, 다중 대역 제한기(154)의 음색 보존 설정은, 예컨대, 잡음 보상 레벨 조정 표시에 비례하여 점진적으로 턴 오프될 수 있다. 일부 이러한 예에서, 잡음이 존재할 때, 재생된 오디오 콘텐츠는, 충실도의 손실이 잡음 소스에 의해 마스킹되는 잡음에 대해 여전히 이해할 수 있을 수 있다.
이 구현에 따라, 블록(325)은, 다중 대역 제한된 오디오 데이터를 생성하기 위해 다중 대역 제한기를 레벨 조정된 오디오 데이터에 적용하는 것을 포함한다. 일부 이러한 예에서, 도 1m의 다중 대역 제한기(154)는 블록(325)에서 다중 대역 제한된 오디오 데이터(155)를 생성할 수 있다. 일부 구현에서, 방법(300)은, 재생된 오디오 데이터를 제공하기 위해, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서들 상에서 다중 대역 제한된 오디오 데이터를 재생하는 것을 포함할 수 있다. 예컨대, 방법(300)은 도 1m의 확성기(156)를 통해 다중 대역 제한된 오디오 데이터(155)를 재생하는 것을 포함할 수 있다.
도 4a 및 4b는 음색 보존 수정기 모듈의 예를 도시한다. 음색 보존 수정기 모듈은, 예컨대, 도 1m의 제어 시스템(110) 또는 도 2e의 제어 시스템(210)을 통해 구현될 수 있다. 일부 예에서, 음색 보존 수정기 모듈(403A 및 403B)은 도 1m의 레벨 조정기(152)를 통해 구현될 수 있다. 일부 대안적인 구현에서, 음색 보존 수정기 모듈(403A 및 403B)은 도 1m의 다중 대역 제한기(154) 또는 도 1m에 도시되지 않은 제어 시스템(110)의 다른 요소를 통해 구현될 수 있다.
도 4a에 도시된 예에서, 음색 보존 수정기 모듈(403A)은 임의의 시점에서 사용되는 음색 보존의 양을 제어하도록 구성된다. 이 예에서, 음색 보존 수정기 모듈(403A)은, 잡음 추정치(402A)에 적어도 부분적으로 기초하여, 음색 보존의 양을 제어하도록 구성된다. 이 예에서, 요소(401a)는 다중 대역 제한기의 원래 음색 보존 설정을 나타낸다. 예컨대, 요소(401a)는 도 2a 및 2b에 도시된 예에서 요소(212)에 의해 표시된 음색 보존 설정, 예컨대, 도 2b의 윈도우 부분(212b)의 수치 값을 나타낼 수 있다.
잡음 추정치(402A)는, 본원에서 잡음 보상 레벨 조정 표시로 지칭될 수 있는 것의 예이다. 일부 예에서, 잡음 추정치(402A)는 가청 주파수들의 범위에 걸쳐, 또는 가청 주파수 대역들의 서브세트에 걸쳐 평균, 중앙값 또는 최대 잡음 레벨일 수 있다. 일부 예에서, 잡음 추정치(402A)는, 레벨 조정기(152)에 제공된 잡음 추정기(159)에 의해 결정되는 주변 잡음의 스펙트럼 잡음 추정치일 수 있다. 일부 예시에서, 레벨 조정기(152)(또는 제어 시스템의 다른 컴포넌트)는, 잡음 추정기 출력(160)에 기초하여, 잡음 추정치(402A)를 결정하도록 구성될 수 있다.
이 예에 따라, 잡음 추정치(402A)가 잡음 레벨이 높다는 것을 나타낼 때, 음색 보존 수정기 모듈(403A)은 수정된 음색 보존량(404A)에서 음색 보존량을 낮게 제어하도록 구성된다. 반대로, 잡음 추정치(402A)가 잡음 레벨이 낮다는 것을 나타낼 때, 음색 보존 수정기 모듈(403A)은 수정된 음색 보존량(404A)에서 음색 보존량이 높게(또는 수정되지 않게) 제어하도록 구성된다.
도 4b에 도시된 예에서, 음색 보존 수정기 모듈(403B)은, 잡음 추정치(402A) 및 사용자 볼륨 설정(463)에 적어도 부분적으로 기초하여, 음색 보존량을 제어하도록 구성된다. 사용자 볼륨 설정(463)은, 본원에서 사용자 입력 레벨 조정 표시로 지칭되는 것의 예이다.
이 예에 따라, 음색 보존 수정기 모듈(403B)은 다음 수학식에 따라 수정된 음색 보존량(404B)을 결정하도록 구성된다:
음색 보존량 = A*gainuser+ B*gainnoisecomp(수학식 4)
수학식 4에서, A는 원래 음색 보존량을 나타내며, 이는 이 예에서 요소(401a)에 대응한다. 예컨대, A는 도 2a 및 2b에 도시된 예에서 요소(212)에 의해 표시된 음색 보존 설정, 예컨대, 도 2b의 윈도우 부분(212b)의 수치 값을 나타낼 수 있다. 여기서, gainuser는 사용자가 적용한 이득을 나타내며, 이는 도 4b에 도시된 예에서 사용자 볼륨 설정(463)이다. 수학식 4에서, gainnoisecomp는, 도 4b에 도시된 예에서 잡음 추정치(402A)인 잡음 보상 레벨 조정 표시를 나타낸다. 광대역 잡음 보상 시스템의 경우에, gainnoisecomp는 광대역 이득일 수 있다. 대안적으로, gainnoisecomp는 다중 대역 잡음 보상 시스템에 의해 적용되는 가중된 평균 이득일 수 있다. 수학식 4에서, B는 음색 보존 값을 나타낸다. 음색 보존 값(B)은, 예컨대, 허용되는 음색 보존의 최소량을 나타낼 수 있다. 음색 보존 값(B)은, 예컨대, 볼륨이 주로 잡음 보상기에 의해 조정되었을 때, 시스템이 얼마나 많은 음색 보존을 가질 것인지를 나타낼 수 있다. 음색 보존 값(B)은, 예컨대, 디바이스 튜닝 동작 동안 제조사에 의해 설정될 수 있다.
일부 구현에 따라, 수학식 4의 "이득" 항은 수정되지 않은 이득을 나타내기 위한 것이 아니라, 제어 시스템에 의해 적용되는 이득의 비율을 나타내기 위한 것이다. 예컨대, 제어 시스템에 의해 적용된 이득의 75%가 사용자 볼륨 설정(463)에 기초하는 경우, gainuser는 0.75가 될 것이다. 따라서, 이득의 25%는 잡음 추정치(402A)에 기초할 것이므로, gainnoisecomp는 0.25가 될 것이다.
이 예에 따라, 잡음 추정치(402A)가 낮으면, 음색 보존량은 원래 튜닝 음색 보존 값(A 이득 항으로 표시됨)에 가까울 것이다. 이 예에서, 사용자 볼륨 설정(463)이 높고 잡음 추정치(402A)가 또한 높으면, 사용자 볼륨 설정(463) 및 잡음 추정치(402A)의 상대 값에 비례하여, 음색이 부분적으로 보존될 것이다. 이 예에 따라, 잡음 추정치(402A)가 높고 사용자 볼륨 설정(463)이 낮으면, 수학식 4의 B 이득 항이 우세할 것이고 음색이 보존되지 않을 것이다.
도 4c는 주파수 대역 분리 수정기의 예를 도시한다. 주파수 대역 분리 수정기(405)는, 예컨대, 도 2e의 제어 시스템(210)을 통해 구현될 수 있다. 일부 구현에서, 주파수 대역 분리 수정기(405)는 도 1m의 제어 시스템(110)을 통해, 예컨대, 레벨 조정기(152) 및/또는 다중 대역 제한기(154)에 의해 구현될 수 있다. 일부 구현에서, 주파수 대역 분리 수정기(405)는 음색 보존 수정기 모듈(403A) 또는 음색 보존 수정기 모듈(403B)을 포함하는 구현에 대한 대안으로서 구현될 수 있다. 그러나, 일부 구현은, 예컨대, 완전히 분리된 것으로 도시된 도 2b의 4개의 베이스 대역과 같은 베이스 대역의 주파수 대역 분리 수정을 허용하기 위해, 음색 보존 수정기 모듈(403A) 또는 음색 보존 수정기 모듈(403B)과 함께 주파수 대역 분리 수정기(405)를 포함할 수 있다.
이 예에서, 주파수 대역 분리 수정기(405)는 복수의 주파수 대역 각각에 대한 분리 설정(413)을 수신하는 것으로 도시된다. 복수의 주파수 대역은, 일부 예시에서, 모든 주파수 대역을 포함할 수 있다. 다른 예에서, 복수의 주파수 대역은, 그렇지 않은 경우, 음색 보존이 적용되는 주파수 대역, 예컨대, 도 2b의 비분리된 주파수 대역을 포함할 수 있다.
이 예에 따라, 주파수 대역 분리 수정기(405)는 또한 선택적 사용자 볼륨 설정(463) 및 잡음 추정치(402A)를 수신하는 것으로 도시된다. 일부 예에서, 잡음 추정치(402A)는 특정 주파수 대역에 대한 것일 수 있다. 대안적인 예에서, 잡음 추정치(402A)는 주파수 대역들의 서브세트, 예컨대, 주파수 대역 분리 수정기(405)에 의해 수정된 분리 값을 잠재적으로 가질 수 있는 주파수 대역들의 서브세트에 대한 것일 수 있다. 일부 예에서, 잡음 추정치(402A)는 모든 주파수 대역에 대한 것일 수 있다.
이 예에서, 주파수 대역 분리 수정기(405)는 주파수 대역의 분리 값을 수정할지 여부를 결정하고, 그렇다면, 해당 주파수 대역에 대한 수정된 주파수 대역 분리 값(407)을 생성하도록 구성된다. 주파수 대역 분리 값 수정은, 특정 구현에 따라, 이진 수정 또는 비이진 수정일 수 있다. 이진 수정의 경우, 일부 예에서, 주파수 대역 분리 값은, 주변 잡음 레벨이 높으면, 비분리에서 분리되는 것으로 변환될 수 있다. 일부 이러한 예에서, 주변 잡음 레벨이 낮거나 주파수 대역이 이미 분리된 경우, 주파수 대역 분리 값에 어떠한 변경도 없을 수 있다. 일부 예에서, 주변 잡음 레벨은 전체 주파수 스펙트럼에 기초할 수 있다. 다른 예에서, 주변 잡음 레벨은, 분리가 잠재적으로 수정되는 대역 주파수에 대해 특정적일 수 있다.
일부 대안적인 구현에서, 완전히 분리되거나 완전히 분리되지 않는 것 대신에, 주파수 대역이 부분적으로 분리될 수 있다(예컨대, 25% 분리, 50% 분리, 75% 분리 등). 일부 이러한 예에서, 주파수 대역이 분리되는 정도는 오디오 환경에서 주변 잡음의 레벨에 대응할 수 있다. 주파수 대역이 분리되는 정도는, 예컨대, 음색 보존 방법에서 비분리된 주파수 대역보다 덜 무겁게 선택된 주파수 대역에 가중치를 주기 위해 사용되는 가중치에 대응할 수 있다.
일부 이러한 예에서, 음색 보존 알고리즘에 대한 주파수 대역의 기여도가 가중되는 정도는, 예컨대, (1 ― I)에 대응할 수 있으며, 여기서 I는 주파수 대역이 분리되는 정도를 나타낸다. 그러한 예에서, 주파수 대역이 75% 분리된 경우, I는 0.75와 동일할 것이고, 음색 보존 알고리즘에 대한 주파수 대역의 기여도가 가중되는 정도는 0.25가 될 것이다. 다른 이러한 예에서, 주파수 대역이 100% 분리되면, I는 1.0과 동일할 것이고, 음색 보존 알고리즘에 대한 주파수 대역의 기여도가 가중되는 정도는 0.0이 될 것이고, 다른 말로, 주파수 대역에 대응하는 임계값은 음색 보존 계산에 사용되지 않을 것이다.
도 3으로 돌아가면, 일부 예에서, 방법(300)은, 제어 시스템이, 예컨대, 미리 결정된 입력, 메트릭 및/또는 상황에 응답하여 잡음 보상 모듈 동작 변경을 발생시키는 것을 포함할 수 있다. 예컨대, 도 1m을 참조하여 위에서 설명된 바와 같이, 일부 구현에서, 레벨 조정기(152)는 제어 신호(164)를 잡음 추정기(159)에 전송하도록 구성될 수 있다. 일부 구현에서, 다중 대역 제한기(154)는 제어 신호(167)를 잡음 추정기(159)에 전송하도록 구성될 수 있다. 일부 예에서, 제어 신호(164) 및/또는 제어 신호(167)는 잡음 보상 모듈 동작 변경(예컨대, 잡음 추정기(159)의 기능 변경)을 발생시킬 수 있다. 잡음 보상 모듈은, 예컨대, 도 1m에 도시된 바와 같이, 제어 시스템의 서브시스템 또는 모듈일 수 있다.
일부 이러한 예는, 다중 대역 제한된 오디오 데이터(예컨대, 다중 대역 제한기(154)에 의해 출력되는 다중 대역 제한된 오디오 데이터(155))가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서(예컨대, 확성기(156))로 하여금 선형 범위 외부에서 작동하게 할 때, 잡음 보상 모듈 동작 변경을 발생시키는 것을 포함할 수 있다. 일부 이러한 예시에서, 제어 시스템은, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금, 잡음 보상 레벨 조정 표시 및/또는 주변 잡음 추정치에 적어도 부분적으로 기초하여 선형 범위 외부에서 동작하게 할 수 있다. 예컨대, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하는 다중 제한된 오디오 데이터는, 오디오 환경의 높은 주변 잡음 레벨에 대응하는 잡음 보상 레벨 조정에 기초할 수 있다.
일부 예에 따라, 잡음 보상 모듈 동작 변경은 잡음 보상 모듈의 에코 제거기 기능을 변경하는 것을 포함할 수 있다. 예컨대, 잡음 보상 모듈 동작 변경은, 잡음 보상 모듈로 하여금 잡음 보상 모듈의 잡음 추정기에 대한 입력으로서 조용한 재생 간격만을 사용하게 하는 것을 포함할 수 있다. "조용한" 재생 간격은 주파수 대역 또는 시간 간격 중 적어도 하나에서 임계값 레벨(예컨대, 미리 결정된 임계값 레벨) 이하의 오디오 신호의 인스턴스일 수 있다. 일부 구현에서, "조용한" 재생 간격은, 오디오 환경의 오디오 재생 트랜스듀서가 선형 범위 내에서 작동하는 인스턴스일 수 있다.
본원의 다른 곳에서 언급된 바와 같이, 일부 구현에서, 제어 시스템의 레벨 조정기 모듈(예컨대, 도 1m의 레벨 조정기(152))은, 레벨 조정된 오디오 데이터(예컨대, 레벨 조정된 오디오 데이터(153))를 생성하도록 입력 오디오 데이터의 레벨을 제어하도록 구성될 수 있다. 일부 이러한 구현에서, 방법(300)은 또한, 예컨대, 도 1m에 예시된 제어 신호(162)를 통해, 다중 대역 제한기로부터 레벨 조정기 모듈로 다중 대역 제한기 피드백을 제공하는 것을 포함할 수 있다. 일부 이러한 예에 따라, 다중 대역 제한기 피드백은, 다중 대역 제한기가 레벨 조정된 오디오 데이터의 복수의 주파수 대역들 각각에 적용하는 제한량을 나타낼 수 있다.
일부 이러한 구현에서, 방법(300)은 또한, 레벨 조정기 모듈에 의해, 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역들 중 하나 이상의 주파수 대역들의 레벨을 제어하는 것을 포함할 수 있다. 일부 이러한 예에서, 방법(300)은, 하나 이상의 주파수 대역들, 또는 다른 주파수 대역들의 레벨들이 제한되고 있다는 것을 나타내는 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역들 중 하나 이상의 주파수 대역들의 레벨을 감소시키는 것을 포함할 수 있다. 일부 예에서, 레벨 조정기는, 도 1n을 참조하여 위에서 설명된 바와 같이 다중 대역 제한기로부터의 압축 피드백 신호에 따라 레벨 조정된 오디오 데이터를 수정하도록 구성될 수 있다.
도 5는 다른 개시된 방법의 예를 약술하는 흐름도이다. 본원에서 설명된 다른 방법과 같이, 방법(500)의 블록은 반드시 표시된 순서로 수행되는 것은 아니다. 또한, 이러한 방법은 도시 및/설명된 것보다 더 많거나 더 적은 블록을 포함할 수 있다.
방법(500)은 장치 또는 시스템, 이를테면, 도 2e에 도시되고 위에서 설명된 장치(240)에 의해 수행될 수 있다. 일부 예에서, 방법(500)의 블록은 오디오 환경 내의 하나 이상의 디바이스, 예컨대, 오디오 시스템 제어기 또는 오디오 시스템의 다른 구성요소, 이를테면, 스마트 스피커, 텔레비전, 텔레비전 제어 모듈, 스마트 스피커, 모바일 디바이스 등에 의해 수행될 수 있다. 일부 구현에서, 오디오 환경은 홈 환경의 하나 이상의 방을 포함할 수 있다. 다른 예에서, 오디오 환경은 다른 유형의 환경, 이를테면, 사무실 환경, 자동차 환경, 기차 환경, 거리 또는 인도 환경, 공원 환경 등일 수 있다. 그러나, 대안적인 구현에서, 방법(500)의 적어도 일부 블록은 서버와 같은 클라우드 기반 서비스를 구현하는 디바이스에 의해 수행될 수 있다.
이러한 예에서, 블록(505)은, 제어 시스템에 의해 그리고 인터페이스 시스템을 통해(예컨대, 도 2e의 제어 시스템(210)에 의해 그리고 인터페이스 시스템(207)을 통해), 입력 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 것을 포함한다. 일부 예에서, 콘텐츠 스트림은 오디오 데이터에 대응하는 비디오 데이터를 포함할 수 있다. 일부 구현에서, 제어 시스템 및 인터페이스 시스템은, 도 2e에 도시되고 위에서 설명된 제어 시스템(210) 및 인터페이스 시스템(207)일 수 있다. 일부 구현에서, 제어 시스템 및 인터페이스 시스템은, 도 1M 에 도시되고 위에서 설명된 제어 시스템(210)일 수 있다. 일부 예에서, 블록(505)은 도 1m의 레벨 조정기(152)가 입력 오디오 데이터(151)를 수신하는 것을 포함할 수 있다. 일부 구현에 따라, 블록(505)은 인코딩된 콘텐츠 스트림을 수신하는 것을 수반할 수 있다. 그러한 구현에서, 블록(505)은 인코딩된 콘텐츠 스트림을 디코딩하는 것을 수반할 수 있다. 콘텐츠 스트림은, 예컨대, 영화, 텔레비전 프로그램, 음악, 뮤직 비디오, 팟캐스트 등에 대응할 수 있다.
이 예에 따라, 블록(510)은, 제어 시스템에 의해, 오디오 데이터 또는 오디오 데이터의 프로세싱된 버전에 다중 대역 제한기를 적용하여 다중 대역 제한된 오디오 데이터를 생성하는 것을 포함한다. 일부 이러한 예에서, 도 1m의 다중 대역 제한기(154)는 블록(510)에서 다중 대역 제한된 오디오 데이터(155)를 생성할 수 있다.
이 예에서, 블록(515)은, 다중 대역 제한된 오디오 데이터가 하나 이상의 오디오 재생 트랜스듀서를 통해 재생될 때 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 것인지 여부를 결정하는 것을 포함한다. 일부 이러한 예에서, 제어 시스템은, 잡음 보상 레벨 조정 표시 또는 잡음 추정치 중 적어도 하나에 적어도 부분적으로 기초하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다. 예컨대, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하는 다중 제한된 오디오 데이터는, 오디오 환경의 높은 주변 잡음 레벨에 대응하는 잡음 보상 레벨 조정에 기초할 수 있다.
일부 구현에서, 블록(515)은, 복수의 주파수 대역들 각각에 대한 선형 범위 내에서 동작을 위한 최대 레벨들을 나타내는 데이터 구조를 참조하는 것을 포함할 수 있다. 일부 이러한 예에서, 이러한 최대 선형 범위 레벨은 도 2a 및 2b의 점(201)에 대응할 수 있다. 예컨대, 제어 시스템은 메모리에서 최대 선형 범위 레벨을 검색할 수 있다. 일부 예에서, 블록(515)은, 복수의 주파수 대역들 각각에 대한 비선형 범위 내에서 동작을 위한 최대 레벨들을 표시하는 데이터 구조를 참조하는 것을 포함할 수 있다. 일부 이러한 예에서, 이러한 최대 비선형 범위 레벨은 도 2a 및 2b의 점(218)에 대응할 수 있다.
이 예에 따라, 블록(520)은, 제어 시스템에 의해, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 것인지 여부에 기초하여, 음향 에코 제거기가 하나 이상의 필터 계수를 업데이트할지 여부를 제어하는 것을 포함한다. 일부 이러한 예에 따라, 음향 에코 제거기가 하나 이상의 필터 계수를 업데이트할지 여부를 제어하는 것은, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하면, 하나 이상의 필터 계수를 업데이트하지 않도록 음향 에코 제거기를 제어하는 것을 포함할 수 있다. 일부 예에서, 블록(520)은, 제어 시스템에 의해, 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 것인지 여부에 기초하여, 잡음 추정기가 잡음 추정치를 업데이트할지 여부를 제어하는 것을 포함할 수 있다. 일부 이러한 예에 따라, 잡음 추정기는 음향 에코 제거기를 구현하도록 구성되지 않을 수 있다.
예컨대, 음향 에코 제거기는 복수의 주파수 대역 각각에 대한 적응형 필터의 계수를 업데이트(예컨대, 주기적 업데이트)함으로써 정상적으로 동작할 수 있다. 음향 에코 제거기는, 일부 예시에서, 도 1m의 잡음 추정기(159)에 의해 구현될 수 있다. 일부 이러한 구현에서, 제어 신호(164)(또는 제어 신호(167))는, 다중 대역 제한된 오디오 데이터(155)가 확성기(156)(또는 오디오 환경의 하나 이상의 다른 오디오 재생 트랜스듀서)로 하여금 선형 범위 외부에서 동작하게 할 경우에, 필터 계수를 업데이트하지 않도록 잡음 추정기(159)의 음향 에코 제어기를 제어할 수 있다. 일부 구현에 따라, 잡음 보상 시스템(150)은 깨우기 단어 검출기로서 구성되는 하나 이상의 디바이스를 포함할 수 있다. 일부 이러한 구현에서, 마이크로폰 신호(158)의 에코 제거된 버전이 깨우기 단어 검출기에 제공될 수 있다. 음향 에코 제거기는, 일부 예시에서, 깨우기 단어 검출기로 구성된 디바이스에 의해 구현될 수 있다. 다중 대역 제한된 오디오 데이터(155)가 오디오 환경의 하나 이상의 다른 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 경우, 필터 계수를 업데이트하지 않는 것은, 적어도 부분적으로 깨우기 단어 검출기에 제공되는 마이크로폰 신호(158)의 에코 제거된 버전이 에 제공된 음성 명령에 더 정확하게 대응할 수 있기 때문에, 깨우기 단어 검출기의 성능을 개선할 수 있다. 여기서, 블록(525)은 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서에 다중 대역 제한된 오디오 데이터를 제공하는 것을 포함한다.
일부 예에서, 방법(500)(예컨대, 블록 510)은, 예컨대, 도 3을 참조하여 위에서 설명된 바와 같이, 레벨 조정된 오디오 데이터에 다중 대역 제한기를 적용하는 것을 포함할 수 있다. 이러한 예에서, 레벨 조정된 오디오 데이터는, 블록(510)에서 참조되는 "오디오 데이터의 프로세싱된 버전"의 예이다. 일부 예는, 제어 시스템에 의해, 레벨 조정된 오디오 데이터를 생성하기 위해, 적어도 하나의 유형의 레벨 조정 표시에 기초하여 입력 오디오 데이터의 레벨을 제어하는 것을 포함한다. 일부 이러한 예는, 제어 시스템에 의해, 오디오 데이터의 재생과 관련된 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것, 제어 시스템에 의해 그리고 적어도 하나의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 것, 및 제어 시스템에 의해, 다중 대역 제한기 구성에 따라 다중 대역 제한기를 구성하는 것을 포함할 수 있다. 일부 예에서, 적어도 하나의 유형의 레벨 조정 표시는 사용자 입력을 통해 수신된 사용자 입력 레벨 조정 표시 또는 음향 에코 제거기를 포함하는 잡음 보상 모듈로부터 수신된 잡음 보상 레벨 조정 표시 중 적어도 하나를 포함할 수 있다.
일부 구현에 따라, 다중 대역 제한기 구성을 결정하는 것은, 레벨 조정 표시(예컨대, 유일한 레벨 조정 표시)가 사용자 입력 레벨 조정 표시인 경우, 음색 보존 구성을 결정하는 것을 포함할 수 있다. 음색 보존 구성은, 일부 예시에서, 주파수 대역에 의존할 수 있다. 예컨대, 일부 주파수 대역은 부분적으로 또는 완전히 분리될 수 있다. 완전히 분리된 주파수 대역의 레벨은, 다른 주파수 대역의 레벨 및/또는 임계값을 참조하지 않고, 독립적으로 제어될 수 있다.
일부 예에서, 다중 대역 제한기 구성을 결정하는 것은, 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 잡음 보상 레벨 조정 표시인 경우, 음색 보존 기능을 변경하는 것을 포함할 수 있다. 일부 이러한 예에서, 음색 보존 기능을 변경하는 것은 음색 보존 기능을 적어도 부분적으로 디스에이블하는 것을 포함할 수 있다. 일부 구현에서, 잡음 보상 레벨 조정 표시는 오디오 환경에서 주변 잡음의 레벨에 대응할 수 있다. 일부 이러한 예에서, 음색 보존 기능은 주변 잡음의 레벨에 적어도 부분적으로 기초하여 변경될 수 있다.
일부 구현에 따라, 사용자 입력 레벨 조정 표시 및 잡음 보상 레벨 조정 표시 둘 모두가 수신될 수 있다. 일부 이러한 구현에서, 다중 대역 제한기 구성을 결정하는 것은, 사용자 입력 레벨 조정 표시에 대응하는 다중 대역 제한기 구성 및 잡음 보상 레벨 조정 표시에 대응하는 다중 대역 제한기 구성의 평균(예컨대, 가중된 평균)에 적어도 부분적으로 기초하는 음색 보존 구성을 결정하는 것을 포함할 수 있다.
일부 예에서, 방법(500)은, 재생된 오디오 데이터를 제공하기 위해, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서들 상에서 다중 대역 제한된 오디오 데이터를 재생하는 것을 포함할 수 있다.
일부 예에 따라, 잡음 보상 모듈 동작 변경은 잡음 보상 모듈의 대안적 또는 추가적인 에코 제거기 기능을 변경하는 것을 포함할 수 있다. 예컨대, 잡음 보상 모듈 동작 변경은, 잡음 보상 모듈로 하여금 잡음 보상 모듈의 잡음 추정기에 대한 입력으로서 조용한 재생 간격만을 사용하게 하는 것을 포함할 수 있다. "조용한" 재생 간격은 주파수 대역 또는 시간 간격 중 적어도 하나에서 임계값 레벨(예컨대, 미리 결정된 임계값 레벨) 이하의 오디오 신호의 인스턴스일 수 있다.
일부 이러한 구현에서, 방법(500)은 또한, 예컨대, 도 1m에 예시된 제어 신호(162)를 통해, 다중 대역 제한기로부터 레벨 조정기 모듈로 다중 대역 제한기 피드백을 제공하는 것을 포함할 수 있다. 일부 이러한 예에 따라, 다중 대역 제한기 피드백은, 다중 대역 제한기가 레벨 조정된 오디오 데이터의 복수의 주파수 대역들 각각에 적용하는 제한량을 나타낼 수 있다.
일부 이러한 구현에서, 방법(500)은 또한, 레벨 조정기 모듈에 의해, 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역들 중 하나 이상의 주파수 대역들의 레벨을 제어하는 것을 포함할 수 있다. 일부 이러한 예에서, 방법(500)은, 하나 이상의 주파수 대역들, 또는 다른 주파수 대역들의 레벨들이 제한되고 있다는 것을 나타내는 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 복수의 주파수 대역들 중 하나 이상의 주파수 대역들의 레벨을 감소시키는 것을 포함할 수 있다.
도 6a는 확성기가 오버드라이브되는 시간 간격의 예를 도시하는 그래프이다. 도 6a의 요소는 다음과 같다.
ㆍ
601: 본원에서 에코 제거기에 대한 "스피커 기준" 또는 "확성기 기준"으로 또한 지칭될 수 있는 에코 기준의 진폭 축. 에코 기준의 일 예는 도 1m의 다중 대역 제한된 오디오 데이터(155)임;
ㆍ
602: 에코 기준의 시간 축. 시간 축(602)은 도 6b의 그래프와 동일한 스케일을 가짐;
ㆍ
603: 오디오 환경의 오디오 시스템을 통해 재생되는 콘텐츠(오디오 데이터)의 일부. 이 예에서, 오디오 데이터는 사인 곡선으로 표시되고, 확성기는 오버드라이브되지 않는다. 따라서, 음향 에코 제거기는 대응하는 시간 간격 동안 자신의 필터 계수를 업데이트함;
ㆍ
604: 확성기가 오버드라이브되는 시간 간격의 시작;
ㆍ
605: 제어 시스템이 확성기의 오버드라이빙을 허용하지 않는 경우, 다중 대역 제한기가 제한할 오디오 데이터를 나타내는 더 큰 진폭 사인파;
ㆍ
606: 스피커가 오버드라이브되는 시간 간격의 끝;
ㆍ
607: 확성기가 자신의 선형 범위 내에서 다시 한 번 동작하는 시간 간격 동안 오디오 데이터를 나타내는 더 작은 진폭 사인파;
ㆍ
614: 스피커-마이크로폰 경로가 이 특정 주파수 범위에 대해 더 이상 선형이 아닌 한계를 나타낸다. 도 6a의 임계값(614)이 초과될 때, 확성기(156)로부터 마이크로폰(157)으로의 오디오 경로(165)(도 1m 참조)는 확성기(156)의 비선형 왜곡에 대응하는 적어도 일부 사운드를 포함할 수 있다. 일부 예에서, 임계값(614)은 특정 주파수 대역에 대한 단일 임계값(예컨대, 도 2a의 임계값(201))에 대응할 수 있다. 이 임계값(614)을 넘어서면, 에코 제거기가 모델링할 재생된 사운드의 적어도 일부가 비선형 왜곡을 포함하기 때문에, 에코 제거기는 시스템을 모델링하는 데 문제가 있을 것이다. 그러나, 많은 예시에서, 도 6b의 대응하는 오버드라이브 설정이 짧은 시간 기간 동안이라는 사실 때문에, 에코 제거기가 해당 시간 동안 모델을 업데이트하지 않는 것이 수용 가능할 수 있는데, 왜냐하면 오버드라이브 시간 간격 이전에 더 최근에 계산된 계수가 더 정확할 것이기 때문이다. 유사하게, 잡음 추정기에 제공되는 마이크로폰 신호에 포함된 주변 잡음이 오버드라이브 시간 간격 동안 비선형 왜곡을 포함할 것이기 때문에, 일부 구현에서, 제어 시스템은 잡음 추정기로 하여금 오버드라이브 시간 간격 동안 업데이트된 잡음 추정치를 제공하지 못하게 할 것이다.
도 6b는 도 6a의 그래프에 대응하는 에코 제거기로 송신될 수 있는 신호의 예를 도시한다. 이 예에서, 도 6b의 신호는, 제어 시스템이 "오버드라이브" 모드를 구현하는 때를 나타내고, 이동안에 제어 시스템(예컨대, 도 1m의 레벨 조정기(152))는 (예컨대, 주변 잡음의 존재 시에 재생 볼륨을 증가시키기 위해) 일부 왜곡하도록 다중 대역 제한기를 구성하여, 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 할 수 있다. "오버드라이브" 모드는 특정 구현에 따라 다를 수 있다. 예컨대, "오버드라이브" 모드 동안 허용되는 오버드라이브의 양은 주파수 의존적일 수 있고, 일부 예에서 튜닝 프로세스(예컨대, 공장 튜닝 프로세스) 동안 설정될 수 있다. 일부 예시에서, 더 낮은 주파수에서 허용되는 오버드라이브의 양이 더 높은 주파수에서 허용되는 오버드라이브의 양보다 많을 수 있는데, 왜냐하면 인간은 인간에게 들리는 주파수 범위 내에 있는 더 높은 주파수보다 더 낮은 주파수에서 왜곡에 덜 민감하기 때문이다. 이 예에 따라, 도 6b의 신호는 음향 에코 제거기가 자신의 필터 계수를 업데이트해야 하는지 여부를 나타낸다.
도 6b의 신호는, 예컨대, 도 1m의 잡음 추정기(159)에 의해 구현된 에코 제거기로 전송될 수 있다. 도 6b의 신호는, 예컨대, 다중 대역 제한기(154)에 의해 잡음 추정기(159)에 전송된 신호(167)의 예일 수 있다. 대안적인 예에서, 도 6b의 신호는 광대역 제한기에 의해 또는 도 1m의 레벨 조정기(152)에 의해 에코 제거기로 전송될 수 있다.
이 예에서 도 6b의 요소는 다음과 같다.
ㆍ
608: 오버드라이브 신호 축. 이 예에서, 오버드라이브 신호는, 확성기가 오버드라이브될 때 1이고, 확성기가 오버드라이브되지 않을 때 0임;
ㆍ
609: 시간 축;
ㆍ
610: 확성기가 선형 구동에서 오버드라이브로 변경되는 크로스오버 시간;
ㆍ
611: 1 오버드라이브 신호 값으로 표시된 바와 같이, 확성기가 오버드라이브되는 시간 간격.
ㆍ
612: 확성기가 오버드라이브에서 선형으로 동작하는 것으로 변경되는 크로스오버 시간;
ㆍ
613: 0 오버드라이브 신호 값으로 표시된 바와 같이, 확성기가 선형으로 동작하는 시간 간격.
따라서, 이 예에서, 에코 제거기에 제공된 신호는, 스피커가 자신의 선형 구역 외부에서 동작하는지 여부를 나타내는 오버드라이브 신호 값 및 에코 기준을 포함한다. 오버드라이브 신호 값이 높을 때(예컨대, 1), 일부 예에서, 잡음 추정기의 잡음 추정치는, 잡음 추정치가 정확한 상태를 유지하는 것을 보장하도록 업데이트되지 않을 것이다. 일부 구현에 따라, 오버드라이브 신호 값이 높을 때, 잡음 추정기는 잡음 추정치를 제공하는 것을 중단 또는 일시 중지하거나, 업데이트되지 않은 동일한 잡음 추정치를 제공하게 될 수 있다. 일부 구현에서, 오버드라이브 신호 값은 전체 스펙트럼에 대한 단일 비트만으로 구성되고, 시간 도메인에서 동작한다. 이러한 구현은 스피커의 비선형 모델을 필요로 하지 않는다는 이점을 갖는다. 일부 구현에서, 오버드라이브 신호는, 오디오 스트림 자체의 일부로서(예컨대, 최하위 비트로서) 추가 비트(extra bit)를 임베딩함으로써 구현될 수 있다.
일부 대안적인 구현에서, 오버드라이브 신호는 대역별로 제공될 수 있다. 일부 이러한 구현에서, 왜곡 결과물(distortion product)은 고조파 왜곡 또는 상호 변조 왜곡(예컨대, 고조파 왜곡은 원래 콘텐츠의 고조파 급수(harmonic series)를 사용하여 예측되고, 상호 변조 왜곡은 볼테라 급수(Volterra series)를 사용하여 예측됨)인 것으로 가정되고, 따라서 왜곡 결과물이 나타나는 주파수 대역은 예측 가능해야 한다. 일부 이러한 예에 따라, 왜곡 결과물의 주파수가 알려져 있는 경우, 확성기가 해당 주파수를 생성할 주파수 대역에서 오버드라이브되는 것으로 알려질 때, 에코 제거기는 해당 주파수를 업데이트하지 않을 것이다. 일부 예에서, 왜곡 결과물의 주파수가 알려진 경우, 확성기가 해당 주파수를 생성할 주파수 대역에서 오버드라이브되는 것으로 알려질 때, 잡음 추정기는 해당 주파수에 대한 업데이트된 잡음 추정치를 제공하지 않을 것이다.
도 7은, 시스템에서 발생하는 "오버드라이브"의 양에 적어도 부분적으로 기초하여, 음향 에코 제거기(AEC)를 제어하도록 구성된 시스템의 예를 도시한다. 일부 관련 구현에서, 도 7에 도시된 것과 같은 시스템은 AEC 외에도 또는 AEC 대신에 잡음 추정기를 제어할 수 있다. 일부 예에서, 도 7의 블록은 도 2e의 제어 시스템(210)의 인스턴스 또는 도 1m의 제어 시스템(110)의 인스턴스에 의해 구현된다. 이 구현에 따라, 도 7의 요소는 다음과 같다.
ㆍ
701a: 다중 대역 제한기에 대한 입력 신호;
ㆍ
702A: 다중 대역 제한기, 이는, 이 예에서, 확성기가 자신의 선형 구역 외부에서 동작하게 될 복수의 주파수 대역 각각에 대한 임계값을 포함하는 튜닝을 갖는다. 이 예에서, 다중 대역 제한기(702A)는 또한, 증가된 확성기 왜곡의 대가로 (예컨대, 높은 주변 잡음 레벨의 기간 동안) 추가 볼륨을 제공하기 위해 이러한 임계치를 넘어 오버드라이브하고/이러한 임계값을 무시하는 능력을 구현한다.
ㆍ
703A: 시스템에서 발생하는 오버드라이브의 양. 일부 예에서, 요소(703A)는 도 6a 및 6B를 참조하여 위에서 설명된 오버드라이브 신호에 대응할 수 있음;
ㆍ
704A: AEC 제어기. 이 예에서, AEC 제어기(704A)는, 하나 이상의 확성기에 의해 생성될 왜곡의 양에 기초하여, AEC(707A)가 자신의 계수를 업데이트해야 하는지 여부를 나타내도록 구성됨;
ㆍ
705A: AEC(707A)가 자신의 계수를 업데이트해야 하는지 여부를 나타내는 신호;
ㆍ
706A: 에코 기준(또는 스피커 피드). 일 예는 도 1m의 다중 대역 제한된 오디오 데이터(155)임;
ㆍ
707A: AEC. 이 예에서, AEC(707A)는, 신호(705A)에 기초하여 자신의 계수를 선택적으로 업데이트할 수 있는 선형 에코 제거기이다.
도 8은 오버드라이브의 양을 결정하도록 구성된 시스템의 예를 도시한다. 이 구현에 따라, 도 8의 요소는 다음과 같다.
ㆍ
801A: 다중 대역 제한기로의 입력 신호. 일부 예에서, 입력 신호(801a)는 도 1m의 레벨 조정된 오디오 데이터(153)에 대응할 수 있음;
ㆍ
802A: 확성기 모델, 이는, 오디오 환경의 하나 이상의 확성기의 능력에 기초하여, 복수의 주파수 대역 각각에 대한 제한기 임계값을 포함할 수 있다. 일부 구현에서, 확성기 모델(802A)은 오디오 환경의 최소 성능의 확성기에 대응할 수 있다. 확성기 모델(802A)은, 일부 예시에서, 고조파 왜곡 모델 또는 상호변조 왜곡 모델과 같은 더 복잡한 모델일 수 있음;
ㆍ
803A: 오버드라이브 결정 모듈. 일부 예에서, 오버드라이브 결정 모듈(803A)은 도 2e의 제어 시스템(210)의 인스턴스 또는 도 1m의 제어 시스템(110)의 인스턴스에 의해 구현될 수 있다. 일부 예에서, 오버드라이브 결정 모듈(803A)은 다중 대역 제한기에 의해 구현될 수 있다. 일부 예에서, 오버드라이브 결정 모듈(803A)은, 시스템이 오디오 환경의 하나 이상의 확성기에 대한 스피커 피드 신호에 제공되는 것을 허용할 오버드라이브의 양을 결정하도록 구성된다. 일부 예에서, 오버드라이브 결정 모듈(803A)은 잡음 추정치에 따라 오버드라이브의 양을 결정하도록 구성될 수 있고; 잡음 추정치가 높으면, 일부 이러한 예에서, 시스템은, 오버드라이빙에 의해 발생된 임의의 왜곡이 마스킹될 것이라는 가정 하에서 오버드라이브하도록 허용된다. 일부 예에서, 오버드라이브 결정 모듈(803A)은, 스피커가 생성할 왜곡의 양을 예측하기 위해 고조파 왜곡 모델과 같은 더 복잡한 모델을 통합하도록 구성될 수 있다.
ㆍ
804A: 다중 대역 제한기에서 사용할 오버드라이브 설정;
ㆍ
805A: 주변 잡음의 표시.
도 9는 일 예에 따른 잡음 추정치 및 출력 레벨의 그래프이다. 이 예에서, 제한 및 음색 보존 또는 오버드라이브의 양은 배경 잡음 레벨에 따라 결정된다. 이 예에 따라, 배경 잡음 레벨이 낮으면, 시스템의 음색 보존이 최대로 유지된다. 이 예에서, 배경 잡음 레벨이 높으면, 시스템 볼륨을 최대화하기 위해 음색 보존이 턴 오프된다. 일부 구현에서, 오버드라이브의 양은, 배경 잡음 레벨이 높은지 여부에 기초하여 결정될 수 있다.
이 예에 따라, 도 9의 요소는 다음과 같다.
ㆍ
901: 헤르츠 단위의 주파수 축;
ㆍ
902: 시스템의 음향 레벨, dB 단위의 음압 레벨(SPL);
ㆍ
903: 오디오를 재생하는 오디오 재생 트랜스듀서(들)의 출력 레벨;
ㆍ
904: 높은 SPL 배경 잡음 추정치의 예. 높은 SPL 배경 잡음 추정치로 인해, 일부 구현에서, 제어 시스템은, 오디오의 상대적으로 많은 양의 음향 마스킹이 가능할 수 있다고 결정하거나 추정할 수 있음;
ㆍ
905: 중간 SPL 배경 잡음 추정치의 예. 중간 SPL 배경 잡음 추정치로 인해, 일부 구현에서, 제어 시스템은, 오디오의 일부 음향 마스킹이 가능할 수 있다고 결정하거나 추정할 수 있음;
ㆍ
906: 낮은 SPL 배경 잡음 추정치의 예. 낮은 SPL 배경 잡음 추정치로 인해, 일부 구현에서, 제어 시스템은, 오디오의 음향 마스킹이 거의 또는 전혀 불가능하다고 결정하거나 추정할 수 있음;
ㆍ
907: 높은 SPL 배경 레벨과 시스템의 재생되는 오디오의 음향 레벨 사이의 차이. 이 예에서, 제어 시스템은, 대부분의 대역에서 음색 보존이 약해지고 다중 대역 제한기를 동작시킬 것이다. 일부 예에 따라, 오버드라이브의 양은, 잡음의 레벨과 오디오 신호 사이의 차이가 임계값 이상으로 유지되는 것(예컨대, 차이(907)가 적어도 2dB, 3dB, 4dB, 5dB 등임)을 보장하도록 증가될 수 있다. 일부 이러한 구현에서, 잡음 추정기/AEC는 도 7을 참조하여 위에서 설명된 바와 같이 통지될 것이다. 일부 이러한 구현에서, 제어 시스템은 오디오 재생 트랜스듀서(들)가 오버드라이브되는 것을 허용할 수 있는데, 왜냐하면 제어 시스템은 오디오의 상대적으로 많은 양의 음향 마스킹이 가능할 수 있고 따라서 도입된 왜곡이 아마 들리지 않을 것이라고 결정 또는 추정했기 때문이다.
ㆍ
908: 낮은 SPL 배경 레벨과 시스템의 재생되는 오디오의 음향 레벨 사이의 차이. 일부 이러한 예에서, 제어 시스템은, 자신의 최대 레벨에서 또는 적어도 높은 배경 잡음의 인스턴스 동안보다 더 높은 레벨에서 음색이 보존되고 다중 대역 제한기를 동작시킬 것이다. 일부 예에 따라, 음색 보존의 "최대" 레벨은 저잡음 또는 무잡음 조건에 대한 기준 음색 보존 설정(예컨대, 공장 설정)에 대응할 수 있다. 일부 구현에서, 제어 시스템은 오디오 재생 트랜스듀서(들)가 오버드라이브되게 하지 않을 것인데, 왜냐하면 제어기 시스템은, 오디오의 음향 마스킹이 거의 또는 전혀 발생하지 않을 것이고 따라서 도입된 왜곡이 들릴 가능성이 높다고 결정 또는 추정했기 때문이다.
ㆍ
909: 중간 SPL 배경 레벨과 시스템의 재생되는 오디오의 음향 레벨 사이의 차이. 일부 구현에서, 음색 보존의 양은, 요소(908 및 907)를 참조하여 위에서 설명된 양 사이에 있을 것이다. 일부 이러한 예에서, 제어 시스템은 오디오의 적당한 양의 음향 마스킹만이 발생할 것이고 따라서 도입된 왜곡이 들을 수 있다고 결정 또는 추정했기 때문에, 시스템을 오버드라이브하는 것은 필요하지 않거나 바람직하지 않을 것이다.
도 10은 이 예에서 생활 공간인 오디오 환경의 평면도의 예를 도시한다. 본원에 제공된 다른 도면과 같이, 도 10에 도시된 요소의 유형 및 수는 단지 예로서 제공되는 것이다. 다른 구현은 더 많거나 더 적은 수 및/또는 상이한 유형 및 수의 요소를 포함할 수 있다.
이 예에 따라, 환경(1000)은 좌측 상단에 거실(1010), 하단 중앙에 주방(1015), 우측 하단에 침실(1022)을 포함한다. 생활 공간 전체에 분포된 상자와 원은 확성기 세트(1005a-1005h)를 나타내며, 그 중 적어도 일부는 일부 구현에서 스마트 스피커일 수 있으며, 공간에 편리한 위치에 배치되지만 규정된 표준 레이아웃을 준수하지 않는다(임의로 배치됨). 일부 예에서, 텔레비전(1030)은 하나 이상의 개시된 실시예를 적어도 부분적으로 구현하도록 구성될 수 있다. 이 예에서, 환경(1000)은 환경 전체에 분포된 카메라(1011a-1011e)를 포함한다. 일부 구현에서, 환경(1000) 내의 하나 이상의 스마트 오디오 디바이스가 또한 하나 이상의 카메라를 포함할 수 있다. 하나 이상의 스마트 오디오 디바이스는 단일 목적 오디오 디바이스 또는 가상 비서일 수 있다. 일부 이러한 예에서, 선택적인 센서 시스템(130)의 하나 이상의 카메라는 텔레비전(1030) 내에 또는 그 상에, 휴대 전화 내에 또는 확성기(1005b, 1005d, 1005e 또는 1005h) 중 하나 이상과 같은 스마트 스피커 내에 상주할 수 있다. 카메라(1011a-1011e)가 본 개시에 제공된 환경(1000)의 모든 묘사에서 도시되지는 않았지만, 그럼에도 불구하고 각 환경(1000)은 일부 구현에서 하나 이상의 카메라를 포함할 수 있다.
본 개시의 일부 양상은 개시된 방법의 하나 이상의 예를 수행하도록 구성된(예컨대, 프로그래밍된) 시스템 또는 디바이스, 및 개시된 방법 또는 그 단계의 하나 이상의 예를 구현하기 위한 코드를 저장하는 유형의 컴퓨터 판독 가능 매체(예컨대, 디스크)를 포함한다. 예컨대, 일부 개시된 시스템은 개시된 방법 또는 그 단계의 실시예를 포함하여, 데이터에 대한 다양한 작업 중 임의의 것을 수행하도록 소프트웨어 또는 펌웨어로 프로그래밍된 및/또는 달리 구성된, 프로그래밍 가능한 범용 프로세서, 디지털 신호 프로세서, 또는 마이크로프로세서이거나 이를 포함할 수 있다. 이러한 범용 프로세서는 입력 디바이스, 메모리 및 주장된 데이터에 대한 응답으로 개시된 방법(또는 그 단계)의 하나 이상의 예를 수행하도록 프로그래밍된(및/또는 달리 구성된) 처리 서브시스템을 포함하는 컴퓨터 시스템이거나 이를 포함할 수 있다.
일부 실시예는 개시된 방법의 하나 이상의 예의 성능을 포함하는, 오디오 신호(들)에 대해 요구되는 처리를 수행하도록 구성된(예컨대, 프로그래밍된 또는 달리 구성된) 구성 가능한(예컨대, 프로그래밍 가능한) 디지털 신호 프로세서(DSP)로서 구현될 수 있다. 대안적으로, 개시된 시스템(또는 그 요소)의 실시예는 개시된 방법의 하나 이상의 예를 포함하는 다양한 동작 중 임의의 것을 수행하도록 소프트웨어 또는 펌웨어로 프로그래밍된 및/또는 달리 구성된 범용 프로세서(예컨대, 입력 디바이스 및 메모리를 포함할 수 있는, 개인용 컴퓨터(PC) 또는 다른 컴퓨터 시스템 또는 마이크로프로세서)로서 구현될 수 있다. 대안적으로, 발명 시스템의 일부 실시예의 요소는 개시된 방법의 하나 이상의 예를 수행하도록 구성된(예컨대, 프로그래밍된) 범용 프로세서 또는 DSP로서 구현되고, 시스템은 또한 다른 요소(예컨대, 하나 이상의 확성기 및/또는 하나 이상의 마이크로폰)를 포함할 수 있다. 개시된 방법의 하나 이상의 예를 수행하도록 구성된 범용 프로세서는 입력 디바이스(예컨대, 마우스 및/또는 키보드), 메모리 및 디스플레이 디바이스에 결합될 수 있다.
본 개시의 다른 양상은 개시된 방법 또는 그 단계의 하나 이상의 예를 수행하기 위한 코드(예컨대, 수행하도록 실행 가능한 코더)를 저장하는 컴퓨터 판독 가능 매체(예컨대, 디스크 또는 다른 유형의(tangible) 저장 매체)이다.
본 개시의 특정 실시예 및 본 개시의 적용이 본원에 설명되었지만, 본원에 설명되고 청구된 개시의 범위를 벗어나지 않고 본원에 기재된 실시예 및 적용에 대한 많은 변형이 가능하다는 것이 당업자에게 명백할 것이다. 개시의 특정 형태가 도시되고 설명되었지만, 개시는 설명되고 도시된 특정 실시예 또는 설명된 특정 방법으로 제한되지 않는다는 것을 이해해야 한다.
Claims (23)
- 오디오 프로세싱 방법으로서,
제어 시스템에 의해 그리고 인터페이스 시스템을 통해, 입력 오디오 데이터를 포함하는 콘텐츠 스트림을 수신하는 단계;
상기 제어 시스템에 의해, 다중 대역 제한된 오디오 데이터를 생성하기 위해, 다중 대역 제한기(multiband limiter)를 상기 오디오 데이터 또는 상기 오디오 데이터의 프로세싱된 버전에 적용하는 단계;
상기 다중 대역 제한된 오디오 데이터가 오디오 환경의 하나 이상의 오디오 재생 트랜스듀서로 하여금, 상기 하나 이상의 오디오 재생 트랜스듀서를 통해 재생될 때 선형 범위 외부에서 동작하게 할 것인지 여부를 결정하는 단계;
상기 제어 시스템에 의해, 상기 다중 대역 제한된 오디오 데이터가 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서로 하여금 상기 선형 범위 외부에서 동작하게 할 것인지 여부에 기초하여, 음향 에코 제거기(acoustic echo canceller)가 하나 이상의 필터 계수(filter coefficient)를 업데이트할지 여부 또는 잡음 추정기가 잡음 추정치를 업데이트할지 여부를 제어하는 단계; 및
상기 다중 대역 제한된 오디오 데이터를 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서에 제공하는 단계를 포함하는,
오디오 프로세싱 방법. - 제1 항에 있어서,
상기 음향 에코 제거기가 상기 하나 이상의 필터 계수를 업데이트할지 여부를 제어하는 단계는, 상기 다중 대역 제한된 오디오 데이터가 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서로 하여금 상기 선형 범위 외부에서 동작하게 할 경우, 상기 하나 이상의 필터 계수를 업데이트하지 않도록 상기 음향 에코 제거기를 제어하는 단계를 포함하는,
오디오 프로세싱 방법. - 제1 항 또는 제2 항에 있어서,
상기 제어 시스템에 의해, 상기 오디오 데이터의 재생에 관한 적어도 하나의 유형의 레벨 조정 표시를 수신하는 단계;
상기 제어 시스템에 의해 그리고 상기 적어도 하나의 유형의 레벨 조정 표시에 적어도 부분적으로 기초하여, 다중 대역 제한기 구성을 결정하는 단계; 및
상기 제어 시스템에 의해, 상기 다중 대역 제한기 구성에 따라 상기 다중 대역 제한기를 구성하는 단계를 더 포함하는,
오디오 프로세싱 방법. - 제3 항에 있어서,
상기 제어 시스템에 의해, 레벨 조정된 오디오 데이터를 생성하기 위해, 상기 적어도 하나의 유형의 레벨 조정 표시에 기초하여, 상기 입력 오디오 데이터의 레벨을 제어하는 단계를 더 포함하고, 상기 다중 대역 제한기를 상기 오디오 데이터 또는 상기 오디오 데이터의 프로세싱된 버전에 적용하는 단계는 상기 다중 대역 제한기를 상기 레벨 조정된 오디오 데이터에 적용하는 단계를 포함하는,
오디오 프로세싱 방법. - 제3 항 또는 제4 항에 있어서,
상기 적어도 하나의 유형의 레벨 조정 표시는 사용자 입력을 통해 수신된 사용자 입력 레벨 조정 표시 또는 상기 음향 에코 제거기를 포함하는 잡음 보상 모듈로부터 수신된 잡음 보상 레벨 조정 표시 중 적어도 하나를 포함하는,
오디오 프로세싱 방법. - 제5 항에 있어서,
상기 다중 대역 제한기 구성을 결정하는 단계는, 상기 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 상기 사용자 입력 레벨 조정 표시를 수신하는 것을 포함하면, 음색 보존 구성(timbre-preserving configuration)을 결정하는 단계를 포함하는,
오디오 프로세싱 방법. - 제5 항 또는 제6 항에 있어서,
상기 다중 대역 제한기 구성을 결정하는 단계는, 상기 적어도 하나의 유형의 레벨 조정 표시를 수신하는 것이 상기 잡음 보상 레벨 조정 표시를 수신하는 것을 포함하면, 음색 보존 기능을 변경하는 단계를 포함하는,
오디오 프로세싱 방법. - 제7 항에 있어서,
상기 음색 보존 기능을 변경하는 단계는 상기 음색 보존 기능을 적어도 부분적으로 디스에이블하는 단계를 포함하는,
오디오 프로세싱 방법. - 제7 항 또는 제8 항에 있어서,
상기 잡음 보상 레벨 조정 표시는 상기 오디오 환경의 주변 잡음 레벨에 대응하고, 상기 음색 보존 기능을 변경하는 단계는, 상기 주변 잡음 레벨에 적어도 부분적으로 기초하여, 상기 음색 보존 기능을 변경하는 단계를 포함하는,
오디오 프로세싱 방법. - 제9 항에 있어서,
재생된 오디오 데이터를 제공하기 위해 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서 상에서 상기 다중 대역 제한된 오디오 데이터를 재생하는 단계를 더 포함하고, 상기 재생된 오디오 데이터에 대한 상기 주변 잡음 레벨의 마스킹 효과(masking effect)를 결정하는 단계를 더 포함하고, 상기 음색 보존 기능을 변경하는 단계는, 상기 마스킹 효과에 적어도 부분적으로 기초하여 상기 음색 보존 기능을 변경하는 단계를 포함하는,
오디오 프로세싱 방법. - 제6 항 내지 제10 항 중 어느 한 항에 있어서,
상기 음색 보존 구성은 주파수 대역에 의존하는,
오디오 프로세싱 방법. - 제5 항에 있어서,
상기 적어도 하나의 유형의 레벨 조정 표시를 수신하는 단계는 상기 사용자 입력 레벨 조정 표시 및 상기 잡음 보상 레벨 조정 표시 둘 모두를 수신하는 단계를 포함하고, 상기 다중 대역 제한기 구성을 결정하는 단계는, 상기 사용자 입력 레벨 조정 표시 및 상기 잡음 보상 레벨 조정 표시의 가중된 평균에 적어도 부분적으로 기초하는 음색 보존 구성을 결정하는 단계를 포함하는,
오디오 프로세싱 방법. - 제1 항 내지 제12 항 중 어느 한 항에 있어서,
상기 제어 시스템은, 잡음 보상 레벨 조정 표시 또는 잡음 추정치 중 적어도 하나에 적어도 부분적으로 기초하여, 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서로 하여금 상기 선형 범위 외부에서 동작하게 하는,
오디오 프로세싱 방법. - 제13 항에 있어서,
상기 제어 시스템은, 상기 오디오 환경의 높은 주변 잡음 레벨에 대응하는 잡음 보상 레벨 조정에 적어도 부분적으로 기초하여, 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서로 하여금 선형 범위 외부에서 동작하게 하는,
오디오 프로세싱 방법. - 제5 항 내지 제14 항 중 어느 한 항에 있어서,
상기 다중 대역 제한된 오디오 데이터가 상기 오디오 환경의 상기 하나 이상의 오디오 재생 트랜스듀서로 하여금 상기 선형 범위 외부에서 동작하게 할 때, 추가적인 잡음 보상 모듈 동작 변경을 발생시키는 단계를 더 포함하는,
오디오 프로세싱 방법. - 제15 항에 있어서,
상기 추가적인 잡음 보상 모듈 동작 변경은 상기 잡음 보상 모듈로 하여금 상기 잡음 보상 모듈의 잡음 추정기에 대한 입력으로서 조용한 재생 간격(quiet playback interval)만을 사용하게 하는 것을 포함하고, 상기 조용한 재생 간격은 주파수 대역 또는 시간 간격 중 적어도 하나에서 임계값 레벨 이하의 오디오 신호의 인스턴스인,
오디오 프로세싱 방법. - 제5 항 내지 제14 항 중 어느 한 항에 있어서,
상기 잡음 보상 모듈은 상기 제어 시스템의 서브시스템인,
오디오 프로세싱 방법. - 제4 항 내지 제12 항 또는 제14 항 내지 제17 항 중 어느 한 항에 있어서,
상기 제어 시스템의 레벨 조정기 모듈은, 상기 레벨 조정된 오디오 데이터를 생성하기 위해 상기 입력 오디오 데이터의 레벨을 제어하도록 구성되고, 상기 다중 대역 제한기로부터 상기 레벨 조정기 모듈로 다중 대역 제한기 피드백을 제공하는 단계를 더 포함하는,
오디오 프로세싱 방법. - 제18 항에 있어서,
상기 다중 대역 제한기 피드백은, 상기 다중 대역 제한기가 상기 레벨 조정된 오디오 데이터의 복수의 주파수 대역 각각에 적용하는 제한량을 나타내는,
오디오 프로세싱 방법. - 제19 항에 있어서,
상기 레벨 조정기 모듈에 의해, 상기 다중 대역 제한기 피드백에 적어도 부분적으로 기초하여, 상기 복수의 주파수 대역 중 하나 이상의 주파수 대역의 레벨을 제어하는 단계를 더 포함하는,
오디오 프로세싱 방법. - 제1 항 내지 제20 항 중 어느 한 항의 방법을 구현하도록 구성된 장치.
- 제1 항 내지 제20 항 중 어느 한 항의 방법을 구현하도록 구성된 시스템.
- 소프트웨어가 저장된 하나 이상의 비일시적인 매체로서,
상기 소프트웨어는 제1 항 내지 제20 항 중 어느 한 항의 방법을 수행하도록 하나 이상의 디바이스를 제어하기 위한 명령을 포함하는,
비일시적인 매체.
Applications Claiming Priority (17)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962945292P | 2019-12-09 | 2019-12-09 | |
| US201962945303P | 2019-12-09 | 2019-12-09 | |
| US201962945607P | 2019-12-09 | 2019-12-09 | |
| US62/945,607 | 2019-12-09 | ||
| US62/945,303 | 2019-12-09 | ||
| US62/945,292 | 2019-12-09 | ||
| US202063198996P | 2020-11-30 | 2020-11-30 | |
| US202063198999P | 2020-11-30 | 2020-11-30 | |
| US202063198997P | 2020-11-30 | 2020-11-30 | |
| US202063198998P | 2020-11-30 | 2020-11-30 | |
| US202063198995P | 2020-11-30 | 2020-11-30 | |
| US63/198,998 | 2020-11-30 | ||
| US63/198,999 | 2020-11-30 | ||
| US63/198,997 | 2020-11-30 | ||
| US63/198,995 | 2020-11-30 | ||
| US63/198,996 | 2020-11-30 | ||
| PCT/US2020/064103 WO2021119190A1 (en) | 2019-12-09 | 2020-12-09 | Multiband limiter modes and noise compensation methods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220103196A true KR20220103196A (ko) | 2022-07-21 |
| KR102505773B1 KR102505773B1 (ko) | 2023-03-06 |
Family
ID=74004171
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227017769A KR102633176B1 (ko) | 2019-12-09 | 2020-12-08 | 환경 잡음 보상 시스템에서 에러를 감소시키기 위한 방법 |
| KR1020227022698A KR20220113438A (ko) | 2019-12-09 | 2020-12-09 | 콘텐츠 및 환경적 인식의 환경 잡음 보상 |
| KR1020227023486A KR102505773B1 (ko) | 2019-12-09 | 2020-12-09 | 다중 대역 제한기 모드 및 잡음 보상 방법 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227017769A KR102633176B1 (ko) | 2019-12-09 | 2020-12-08 | 환경 잡음 보상 시스템에서 에러를 감소시키기 위한 방법 |
| KR1020227022698A KR20220113438A (ko) | 2019-12-09 | 2020-12-09 | 콘텐츠 및 환경적 인식의 환경 잡음 보상 |
Country Status (6)
| Country | Link |
|---|---|
| US (5) | US11817114B2 (ko) |
| EP (5) | EP4074066A1 (ko) |
| JP (1) | JP7307278B2 (ko) |
| KR (3) | KR102633176B1 (ko) |
| CN (5) | CN114788304A (ko) |
| WO (5) | WO2021118946A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020069310A1 (en) * | 2018-09-28 | 2020-04-02 | Knowles Electronics, Llc | Synthetic nonlinear acoustic echo cancellation systems and methods |
| US11817114B2 (en) * | 2019-12-09 | 2023-11-14 | Dolby Laboratories Licensing Corporation | Content and environmentally aware environmental noise compensation |
| US20240007817A1 (en) * | 2022-06-30 | 2024-01-04 | Amazon Technologies, Inc. | Real-time low-complexity stereo speech enhancement with spatial cue preservation |
| WO2024061436A1 (en) * | 2022-09-19 | 2024-03-28 | Huawei Technologies Co., Ltd. | Adaptive audio enhancement system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080090342A (ko) * | 2007-04-04 | 2008-10-08 | 자링크 세미컨덕터, 인크 | 핸드 프리 장치에서의 스펙트럼 도메인 비선형 반향 제거방법 |
| KR20100002300A (ko) * | 2007-04-30 | 2010-01-06 | 퀄컴 인코포레이티드 | 이동 오디오 디바이스에 대한 자동 음량 및 다이나믹 레인지 조절 |
| US20150205571A1 (en) * | 2008-05-16 | 2015-07-23 | Adobe Systems Incorporated | Leveling Audio Signals |
| EP3226412A2 (en) * | 2016-03-30 | 2017-10-04 | Dolby Laboratories Licensing Corp. | Dynamic suppression of non-linear distortion |
Family Cites Families (88)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58121882A (ja) * | 1982-01-16 | 1983-07-20 | Sony Corp | 映像及び音声信号再生装置 |
| US4629829A (en) | 1984-12-14 | 1986-12-16 | Motorola, Inc. | Full duplex speakerphone for radio and landline telephones |
| US5907622A (en) | 1995-09-21 | 1999-05-25 | Dougherty; A. Michael | Automatic noise compensation system for audio reproduction equipment |
| US7333863B1 (en) * | 1997-05-05 | 2008-02-19 | Warner Music Group, Inc. | Recording and playback control system |
| GB9714001D0 (en) * | 1997-07-02 | 1997-09-10 | Simoco Europ Limited | Method and apparatus for speech enhancement in a speech communication system |
| SE9903553D0 (sv) | 1999-01-27 | 1999-10-01 | Lars Liljeryd | Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL) |
| WO2001054296A1 (fr) * | 2000-01-19 | 2001-07-26 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de communication de sons et processeur d'echo |
| US6674865B1 (en) * | 2000-10-19 | 2004-01-06 | Lear Corporation | Automatic volume control for communication system |
| US6944474B2 (en) | 2001-09-20 | 2005-09-13 | Sound Id | Sound enhancement for mobile phones and other products producing personalized audio for users |
| ATE395682T1 (de) | 2002-10-21 | 2008-05-15 | Silentium Ltd | Aktivsystem zur reduktion des akustischen rauschens |
| JP4226395B2 (ja) * | 2003-06-16 | 2009-02-18 | アルパイン株式会社 | 音声補正装置 |
| US7333618B2 (en) | 2003-09-24 | 2008-02-19 | Harman International Industries, Incorporated | Ambient noise sound level compensation |
| US7254243B2 (en) | 2004-08-10 | 2007-08-07 | Anthony Bongiovi | Processing of an audio signal for presentation in a high noise environment |
| EP1805890A1 (en) | 2004-08-16 | 2007-07-11 | Bang & Olufsen A/S | Speed- and user-dependent timbre and dynamic range control method, apparatus and system for automotive audio reproduction systems |
| CA2581810C (en) | 2004-10-26 | 2013-12-17 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
| US8170221B2 (en) * | 2005-03-21 | 2012-05-01 | Harman Becker Automotive Systems Gmbh | Audio enhancement system and method |
| US7889943B1 (en) | 2005-04-18 | 2011-02-15 | Picture Code | Method and system for characterizing noise |
| GB2433849B (en) * | 2005-12-29 | 2008-05-21 | Motorola Inc | Telecommunications terminal and method of operation of the terminal |
| US7760893B1 (en) | 2006-07-26 | 2010-07-20 | Starmark, Inc. | Automatic volume control to compensate for speech interference noise |
| DK2109934T3 (en) | 2007-01-04 | 2016-08-15 | Cvf Llc | CUSTOMIZED SELECTION OF AUDIO PROFILE IN SOUND SYSTEM |
| US8797465B2 (en) | 2007-05-08 | 2014-08-05 | Sony Corporation | Applications for remote control devices with added functionalities |
| US8180064B1 (en) | 2007-12-21 | 2012-05-15 | Audience, Inc. | System and method for providing voice equalization |
| US8411880B2 (en) * | 2008-01-29 | 2013-04-02 | Qualcomm Incorporated | Sound quality by intelligently selecting between signals from a plurality of microphones |
| KR101397814B1 (ko) | 2008-01-30 | 2014-05-20 | 삼성전자주식회사 | 통신 시스템에서 잡음 및 간섭 전력 추정 장치 및 방법 |
| US8285344B2 (en) | 2008-05-21 | 2012-10-09 | DP Technlogies, Inc. | Method and apparatus for adjusting audio for a user environment |
| JP2010023534A (ja) | 2008-07-15 | 2010-02-04 | Panasonic Corp | 騒音低減装置 |
| US8538749B2 (en) | 2008-07-18 | 2013-09-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for enhanced intelligibility |
| KR101597752B1 (ko) | 2008-10-10 | 2016-02-24 | 삼성전자주식회사 | 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치 |
| JP5267115B2 (ja) * | 2008-12-26 | 2013-08-21 | ソニー株式会社 | 信号処理装置、その処理方法およびプログラム |
| US20100172510A1 (en) | 2009-01-02 | 2010-07-08 | Nokia Corporation | Adaptive noise cancelling |
| US8660281B2 (en) | 2009-02-03 | 2014-02-25 | University Of Ottawa | Method and system for a multi-microphone noise reduction |
| EP2292144A1 (en) | 2009-09-03 | 2011-03-09 | National Digital Research Centre | An auditory test and compensation method |
| JP5538918B2 (ja) * | 2010-01-19 | 2014-07-02 | キヤノン株式会社 | 音声信号処理装置、音声信号処理システム |
| US9083298B2 (en) | 2010-03-18 | 2015-07-14 | Dolby Laboratories Licensing Corporation | Techniques for distortion reducing multi-band compressor with timbre preservation |
| KR20130038857A (ko) * | 2010-04-09 | 2013-04-18 | 디티에스, 인코포레이티드 | 오디오 재생을 위한 적응적 주변 소음 보상 |
| US9053697B2 (en) | 2010-06-01 | 2015-06-09 | Qualcomm Incorporated | Systems, methods, devices, apparatus, and computer program products for audio equalization |
| US8447045B1 (en) | 2010-09-07 | 2013-05-21 | Audience, Inc. | Multi-microphone active noise cancellation system |
| JP5656586B2 (ja) * | 2010-11-26 | 2015-01-21 | キヤノン株式会社 | 撮像装置とその制御方法並びに音声処理装置及び方法 |
| US8948407B2 (en) | 2011-06-03 | 2015-02-03 | Cirrus Logic, Inc. | Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC) |
| JP5085769B1 (ja) | 2011-06-24 | 2012-11-28 | 株式会社東芝 | 音響制御装置、音響補正装置、及び音響補正方法 |
| US8965774B2 (en) | 2011-08-23 | 2015-02-24 | Apple Inc. | Automatic detection of audio compression parameters |
| US9293151B2 (en) | 2011-10-17 | 2016-03-22 | Nuance Communications, Inc. | Speech signal enhancement using visual information |
| US9307323B2 (en) | 2011-11-22 | 2016-04-05 | Actiwave Ab | System and method for bass enhancement |
| EP2645362A1 (en) * | 2012-03-26 | 2013-10-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for improving the perceived quality of sound reproduction by combining active noise cancellation and perceptual noise compensation |
| US9614489B2 (en) * | 2012-03-27 | 2017-04-04 | Htc Corporation | Sound producing system and audio amplifying method thereof |
| US9516371B2 (en) | 2012-04-24 | 2016-12-06 | Mobitv, Inc. | Closed captioning management system |
| JP2013247456A (ja) * | 2012-05-24 | 2013-12-09 | Toshiba Corp | 音響処理装置、音響処理方法、音響処理プログラムおよび音響処理システム |
| US9183845B1 (en) | 2012-06-12 | 2015-11-10 | Amazon Technologies, Inc. | Adjusting audio signals based on a specific frequency range associated with environmental noise characteristics |
| US20140112483A1 (en) * | 2012-10-24 | 2014-04-24 | Alcatel-Lucent Usa Inc. | Distance-based automatic gain control and proximity-effect compensation |
| US9609141B2 (en) | 2012-10-26 | 2017-03-28 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Loudspeaker localization with a microphone array |
| US9240176B2 (en) | 2013-02-08 | 2016-01-19 | GM Global Technology Operations LLC | Active noise control system and method |
| CN104078050A (zh) | 2013-03-26 | 2014-10-01 | 杜比实验室特许公司 | 用于音频分类和音频处理的设备和方法 |
| GB201308247D0 (en) * | 2013-05-08 | 2013-06-12 | Microsoft Corp | Noise reduction |
| US9426598B2 (en) | 2013-07-15 | 2016-08-23 | Dts, Inc. | Spatial calibration of surround sound systems including listener position estimation |
| US9565497B2 (en) | 2013-08-01 | 2017-02-07 | Caavo Inc. | Enhancing audio using a mobile device |
| GB201321052D0 (en) | 2013-11-29 | 2014-01-15 | Microsoft Corp | Detecting nonlinear amplitude processing |
| WO2015124598A1 (en) * | 2014-02-18 | 2015-08-27 | Dolby International Ab | Device and method for tuning a frequency-dependent attenuation stage |
| US9648436B2 (en) | 2014-04-08 | 2017-05-09 | Doppler Labs, Inc. | Augmented reality sound system |
| US9792892B2 (en) | 2014-07-15 | 2017-10-17 | Amphenol Phitek Limited | Noise cancellation system |
| US20160275961A1 (en) * | 2015-03-18 | 2016-09-22 | Qualcomm Technologies International, Ltd. | Structure for multi-microphone speech enhancement system |
| US10242689B2 (en) | 2015-09-17 | 2019-03-26 | Intel IP Corporation | Position-robust multiple microphone noise estimation techniques |
| JP6561772B2 (ja) * | 2015-10-27 | 2019-08-21 | ティアック株式会社 | マルチバンドリミッタ、録音装置及びプログラム |
| CN105679300A (zh) * | 2015-12-29 | 2016-06-15 | 努比亚技术有限公司 | 移动终端和降噪方法 |
| EP3209035A1 (en) | 2016-02-19 | 2017-08-23 | Thomson Licensing | Method, computer readable storage medium, and apparatus for multichannel audio playback adaption for multiple listening positions |
| US10142731B2 (en) * | 2016-03-30 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Dynamic suppression of non-linear distortion |
| US9947337B1 (en) * | 2017-03-21 | 2018-04-17 | Omnivision Technologies, Inc. | Echo cancellation system and method with reduced residual echo |
| JP6814957B2 (ja) | 2017-05-17 | 2021-01-20 | パナソニックＩｐマネジメント株式会社 | 再生システム、制御装置、制御方法、およびプログラム |
| US10229698B1 (en) | 2017-06-21 | 2019-03-12 | Amazon Technologies, Inc. | Playback reference signal-assisted multi-microphone interference canceler |
| US11062702B2 (en) | 2017-08-28 | 2021-07-13 | Roku, Inc. | Media system with multiple digital assistants |
| US10861473B2 (en) * | 2017-09-27 | 2020-12-08 | Gopro, Inc. | Multi-band noise gate |
| US10574371B2 (en) * | 2017-10-23 | 2020-02-25 | Wheatstone Corporation | Audio processor apparatus, methods and computer program products using integrated diversity delay error compensation |
| EP3934274B1 (en) * | 2017-11-21 | 2023-11-01 | Dolby Laboratories Licensing Corporation | Methods and apparatus for asymmetric speaker processing |
| US10382092B2 (en) * | 2017-11-27 | 2019-08-13 | Verizon Patent And Licensing Inc. | Method and system for full duplex enhanced audio |
| US10043531B1 (en) * | 2018-02-08 | 2018-08-07 | Omnivision Technologies, Inc. | Method and audio noise suppressor using MinMax follower to estimate noise |
| US10650798B2 (en) | 2018-03-27 | 2020-05-12 | Sony Corporation | Electronic device, method and computer program for active noise control inside a vehicle |
| US10862446B2 (en) * | 2018-04-02 | 2020-12-08 | Sonos, Inc. | Systems and methods of volume limiting |
| WO2019209973A1 (en) * | 2018-04-27 | 2019-10-31 | Dolby Laboratories Licensing Corporation | Background noise estimation using gap confidence |
| US11323086B2 (en) | 2018-05-31 | 2022-05-03 | Comcast Cable Communications, Llc | Content audio adjustment |
| US10891971B2 (en) * | 2018-06-04 | 2021-01-12 | The Nielsen Company (Us), Llc | Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored |
| US11616482B2 (en) | 2018-06-22 | 2023-03-28 | Dolby Laboratories Licensing Corporation | Multichannel audio enhancement, decoding, and rendering in response to feedback |
| US11736081B2 (en) | 2018-06-22 | 2023-08-22 | Dolby Laboratories Licensing Corporation | Audio enhancement in response to compression feedback |
| US10355658B1 (en) * | 2018-09-21 | 2019-07-16 | Amazon Technologies, Inc | Automatic volume control and leveler |
| DE102019100551B3 (de) * | 2019-01-10 | 2020-07-16 | Kronoton Gmbh | Vorrichtung mit einem Eingang und mit einem Ausgang und mit einem Effektgerät mit lautstärkeregulierten Audiosignalen einer Audiodatei |
| US20200404424A1 (en) * | 2019-06-24 | 2020-12-24 | Motorola Mobility Llc | Electronic Devices and Corresponding Methods for Adjusting Audio Output Devices to Mimic Received Audio Input |
| US11127414B2 (en) * | 2019-07-09 | 2021-09-21 | Blackberry Limited | System and method for reducing distortion and echo leakage in hands-free communication |
| CN114223219B (zh) | 2019-08-16 | 2023-10-20 | 杜比实验室特许公司 | 音频处理方法和装置 |
| US11290786B2 (en) * | 2019-09-13 | 2022-03-29 | Dish Network L.L.C. | Systems and methods for controlling closed captioning |
| US11817114B2 (en) * | 2019-12-09 | 2023-11-14 | Dolby Laboratories Licensing Corporation | Content and environmentally aware environmental noise compensation |
-
2019
- 2019-12-09 US US17/779,515 patent/US11817114B2/en active Active
-
2020
- 2020-12-08 EP EP20834056.2A patent/EP4074066A1/en active Pending
- 2020-12-08 WO PCT/US2020/063686 patent/WO2021118946A1/en unknown
- 2020-12-08 KR KR1020227017769A patent/KR102633176B1/ko active IP Right Grant
- 2020-12-08 EP EP20834055.4A patent/EP4074065A1/en active Pending
- 2020-12-08 CN CN202080085436.9A patent/CN114788304A/zh active Pending
- 2020-12-08 US US17/781,632 patent/US20230037824A1/en active Pending
- 2020-12-08 WO PCT/US2020/063684 patent/WO2021118945A1/en unknown
- 2020-12-08 CN CN202080085347.4A patent/CN114830681A/zh active Pending
- 2020-12-08 US US17/781,622 patent/US20230026347A1/en active Pending
- 2020-12-09 JP JP2022534760A patent/JP7307278B2/ja active Active
- 2020-12-09 KR KR1020227022698A patent/KR20220113438A/ko active Search and Examination
- 2020-12-09 CN CN202080085586.XA patent/CN114830687B/zh active Active
- 2020-12-09 US US17/784,071 patent/US20230044872A1/en active Pending
- 2020-12-09 CN CN202080084299.7A patent/CN114747233A/zh active Pending
- 2020-12-09 EP EP20834095.0A patent/EP4074068B1/en active Active
- 2020-12-09 EP EP20829268.0A patent/EP4074077A2/en active Pending
- 2020-12-09 WO PCT/US2020/064135 patent/WO2021119214A2/en unknown
- 2020-12-09 KR KR1020227023486A patent/KR102505773B1/ko active IP Right Grant
- 2020-12-09 WO PCT/US2020/064103 patent/WO2021119190A1/en active Search and Examination
- 2020-12-09 US US17/784,061 patent/US20230044546A1/en active Pending
- 2020-12-09 WO PCT/US2020/064086 patent/WO2021119177A1/en active Search and Examination
- 2020-12-09 EP EP20838728.2A patent/EP4074069A1/en active Pending
- 2020-12-09 CN CN202080085765.3A patent/CN114868403A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080090342A (ko) * | 2007-04-04 | 2008-10-08 | 자링크 세미컨덕터, 인크 | 핸드 프리 장치에서의 스펙트럼 도메인 비선형 반향 제거방법 |
| KR20100002300A (ko) * | 2007-04-30 | 2010-01-06 | 퀄컴 인코포레이티드 | 이동 오디오 디바이스에 대한 자동 음량 및 다이나믹 레인지 조절 |
| US20150205571A1 (en) * | 2008-05-16 | 2015-07-23 | Adobe Systems Incorporated | Leveling Audio Signals |
| EP3226412A2 (en) * | 2016-03-30 | 2017-10-04 | Dolby Laboratories Licensing Corp. | Dynamic suppression of non-linear distortion |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230037824A1 (en) | 2023-02-09 |
| US20230044546A1 (en) | 2023-02-09 |
| WO2021119214A3 (en) | 2021-09-23 |
| US20230044872A1 (en) | 2023-02-09 |
| CN114830687B (zh) | 2024-08-02 |
| WO2021118946A1 (en) | 2021-06-17 |
| WO2021119177A1 (en) | 2021-06-17 |
| EP4074077A2 (en) | 2022-10-19 |
| JP7307278B2 (ja) | 2023-07-11 |
| KR20220113438A (ko) | 2022-08-12 |
| KR102505773B1 (ko) | 2023-03-06 |
| US20230026347A1 (en) | 2023-01-26 |
| KR102633176B1 (ko) | 2024-02-06 |
| CN114830687A (zh) | 2022-07-29 |
| CN114747233A (zh) | 2022-07-12 |
| KR20220090555A (ko) | 2022-06-29 |
| JP2022551015A (ja) | 2022-12-06 |
| CN114830681A (zh) | 2022-07-29 |
| EP4074069A1 (en) | 2022-10-19 |
| WO2021118945A1 (en) | 2021-06-17 |
| WO2021119214A2 (en) | 2021-06-17 |
| US11817114B2 (en) | 2023-11-14 |
| EP4074068B1 (en) | 2024-08-07 |
| EP4074066A1 (en) | 2022-10-19 |
| EP4074065A1 (en) | 2022-10-19 |
| EP4074068A1 (en) | 2022-10-19 |
| US20220406326A1 (en) | 2022-12-22 |
| CN114788304A (zh) | 2022-07-22 |
| WO2021119190A1 (en) | 2021-06-17 |
| CN114868403A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102505773B1 (ko) | 다중 대역 제한기 모드 및 잡음 보상 방법 | |
| JP7544324B2 (ja) | 効率的なｄｒｃプロファイル伝送 | |
| US8515087B2 (en) | Apparatus for processing an audio signal and method thereof | |
| JP5236006B2 (ja) | 音声信号調整装置及び音声信号調整方法 | |
| JP2019068485A (ja) | 多様な再生環境のためのダイナミックレンジ制御 | |
| US9431982B1 (en) | Loudness learning and balancing system | |
| KR101855969B1 (ko) | 오디오 신호를 압축하는 디지털 압축기 | |
| WO2010013944A2 (en) | A method and an apparatus for processing an audio signal | |
| JP5827442B2 (ja) | オーディオ信号におけるラウドネス変化をレベリングするシステム及び方法 | |
| CN101465625A (zh) | 自动调整增益的装置与方法 | |
| US20240323608A1 (en) | Dynamics processing across devices with differing playback capabilities | |
| CN114902560B (zh) | 具有环境噪音补偿的用于自动音量控制的设备和方法 | |
| US20220261216A1 (en) | Method for adjusting sound playback and portable device thereof | |
| RU2783150C1 (ru) | Динамическая обработка в устройствах с отличающимися функциональными возможностями воспроизведения | |
| WO2024025803A1 (en) | Spatial audio rendering adaptive to signal level and loudspeaker playback limit thresholds | |
| WO2022192452A1 (en) | Improving perceptual quality of dereverberation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |