WO2021244019A1 - 一种基于人耳听觉特性的听力保护装置和方法 - Google Patents
一种基于人耳听觉特性的听力保护装置和方法 Download PDFInfo
- Publication number
- WO2021244019A1 WO2021244019A1 PCT/CN2020/140754 CN2020140754W WO2021244019A1 WO 2021244019 A1 WO2021244019 A1 WO 2021244019A1 CN 2020140754 W CN2020140754 W CN 2020140754W WO 2021244019 A1 WO2021244019 A1 WO 2021244019A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- loudness
- hearing
- module
- audio
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 210000005069 ears Anatomy 0.000 title abstract description 7
- 230000005236 sound signal Effects 0.000 claims abstract description 47
- 238000004458 analytical method Methods 0.000 claims abstract description 38
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000011084 recovery Methods 0.000 claims description 98
- 238000004364 calculation method Methods 0.000 claims description 73
- 238000009825 accumulation Methods 0.000 claims description 56
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 102220012869 rs35689081 Human genes 0.000 description 5
- 102220055684 rs727504015 Human genes 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 3
- 230000010370 hearing loss Effects 0.000 description 3
- 231100000888 hearing loss Toxicity 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 102220037530 rs9827878 Human genes 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 102220096718 rs865838543 Human genes 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
Abstract
本发明公开一种基于人耳听觉特性的听力保护装置和方法，包括获取当前音频数字信号S0和分析信号S1，分别对音频数字信号S0和S1进行分频段滤波，获得M个子带信号S2(k)和S3(k)，0≤k≤M-1；基于心理声学模型，对子带音频信号S3(k)进行分析，获得各子带对应的增益值G(k)；根据增益值G(k)对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；对各子带信号S4(k)进行合成滤波，合成输出数字音频信号S5。本发明基于心理声学模型，实现了更科学地听力保护。
Description
本发明涉及一种听力保护耳机，具体涉及一种基于人耳听觉特性的听力保护装置和方法。
当今，耳机和音乐、视频等基本上成为大众的日常。带上耳机，人们便进入到耳机为我们呈现的听觉世界中去，并且不用担心打扰别人、甚至免于被打扰，但也因此深陷其中，无法自拔。长时间、高强度的声音不可避免地损害着人们的听力，据世界卫生组织发布的统计数据，目前全球至少有3.6亿人患有听力障碍。而我国也有至少近3000万人受听力损失之扰，且每年都不断增长，其中不正确的使用耳机是导致听力受损最主要的原因之一，因此为听力保护设计专门的耳机势在必行。
为了应对此问题，市场上出现各种类型的听力保护耳机，但其功能基本上还是局限于简单的限制音频音量或能量、控制音频播放总时长等，如图1所示，这些确实能够对听力产生保护作用。但人耳最终接收到的声音大小不仅仅和原音频的音量或能量相关，还和人耳的听觉特性密切相关，而目前市场上所涉及的听力保护耳机基本上都只考虑了前者、而忽略了后者。因此为了更加科学地进行听力保护，必须要把人耳听觉特性纳入考虑范围之中。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种基于人耳听觉特性的听力保护装置和方法，以解决现有听力保护方法中只注重音量大小和播放时间，而忽视人耳听觉特性，不能更进一步、更科学地保护人耳听觉的问题。
技术方案：本发明所述的基于人耳听觉特性的听力保护装置，音频数据输入模块，用于获取当前输入耳机的数字音频信号S0，和用于分析的数字音频信号S1；
听觉滤波器组分段模块，用于对所述音频数字信号S0和S1进行分频段滤波，获得用于增益控制的M个子带信号S2(k)和用于分析的子带信号S3(k)，0≤k≤M-1；
基于心理声学模型的音频分析模块，对所述子带音频信号S3(k)进行分析，获得各 子带对应的增益值G(k)；
子带增益调整模块，根据增益值G(k)对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；
合成滤波模块，对各子带信号S4(k)进行合成滤波，合成输出数字音频信号S5。
进一步完善上述技术方案，所述音频数据输入模块包括：获取的输入耳机的音频信号S0包括音频播放设备直接输出到耳机的数字音频信号或输入的模拟音频信号经过模数转换后获得的数字信号；所述用于分析的音频信号S1包括音频播放设备输入耳机的音频信号，或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号，或耳机播放端采集的数字信号。
进一步地，所述合成滤波模块与听觉滤波器组分段模块构成完全重构或近似重构。
进一步地，所述听觉滤波器组采用Bark刻度或ERB刻度或符合人耳听觉特性的刻度划分滤波器带宽。
进一步地，所述基于心理声学模型的音频分析模块为响度/声压级计算模块，响度/能量累计模块，响度/声压级计算模块与响度/能量累计模块的组合，响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合，响度/能量累计模块与听力恢复程度计算模块的组合中任一种；
所述响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k)，并与各子带预设阈值比较，输出增益值G1(k)；所述响度/能量累计模块用于计算各子带信号随着播放时长的增加、累积响度/能量的大小，并与各子带预设阈值对比，输出增益值G2(k)和/或控制信号C；所述听力恢复程度计算模块根据控制信号C计算听觉恢复程度，与预设听力恢复阈值对比，输出控制信号D对耳机进行控制。
进一步地，所述音频分析模块为响度/声压级计算模块或响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)时，对应所述音频分析模块的增益值G(k)为G1(k)或G2(k)或G1(k)×G2(k)，所述子带增益调整模块根据增益值G(k)对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；
所述音频分析模块为响度/能量累计模块或响度/声压级计算模块与响度/能量累计 模块的组合且所述响度/能量累计模块输出增益值G2(k)和控制信号C时，控制信号C包括语音提示与耳机关闭的控制信号，若听力疲劳程度达到预设阈值，进行语言提示或关闭耳机，否则直接输出增益值；
所述音频分析模块为响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合或响度/能量累计模块与听力恢复程度计算模块的组合时，所述响度/能量累计模块输出控制信号C，所述控制信号C包括能量累积值和听力恢复程度计算模块的控制信号IC，听力恢复程度计算模块基于能量累积值计算听力恢复程度，若听力恢复程度达到预设阈值，则控制信号D控制耳机恢复正常播放状态，否则耳机保持休息状态并继续进行听力恢复程度计算。
进一步地，所述响度/声压级计算模块采用Zwicker响度计算模型或Moore响度计算模型等符合人耳听觉特性的响度模型进行响度计算；采用A计权或B计权或C计权等声压级模型进行声压级计算；
所述响度/能量累计模块对响度值采用等效计时时间进行累计获得能量累积值；
所述听力恢复程度计算模块采用频率、累积能力、恢复时长组成模型计算听力恢复程度或采用恢复时长计算听力恢复程度；所述听力恢复程度计算模块工作在耳机休息状态下。
基于人耳听觉特性的听力保护装置进行听力保护方法，包括如下步骤：
P1：获取当前输入的音频数字信号S0和用于分析的音频数字信号S1；
P2：采用听觉滤波器分段模块对当前音频信号S0和S1进行分频滤波，得到用于增益控制的子带信号S2(k)和分析的子带信号S3(k)；
P3：基于心理声学模型，通过音频分析模块对S3(k)进行计算和分析，得到信号F；
P4：根据信号F，对各子带信号S2(k)进行增益处理并合成滤波输出音频信号S5和/或输出耳机状态控制信号，实现听力保护。
进一步地，所述步骤P3包括：
P5：根据子带信号S3(k)计算各子带响度大小，并得到相应的增益值G1(k)；
P6：计算各自带累积能量大小，与阈值对比，输出各子带增益G2(k)和/或控制信 号C；
进一步地，所述步骤P4包括以下任一步骤：
P7：基于P3传输的信号F中增益信号G，根据各子带增益调整各子带信号S2(k)，通过合成滤波器组合成，输出最终播放的音频信号，G为G1(k)或G2(k)或G1(k)×G2(k)；
P8：基于各子带增益G2(k)和控制信号C输出的语音提示与耳机关闭的控制信号，分别进行子带增益调整和听力疲劳判断，若听力疲劳程度达到预设阈值，进行语言提示或关闭耳机，否则直接输出增益调整后的合成音频信号；
P9：基于控制信号C输出的能量累积值和听力恢复程度计算模块的控制信号IC，进行听力恢复程度的计算，若听力恢复程度达到预设阈值，则耳机恢复正常播放状态，否则耳机保持休息状态并继续进行听力恢复程度计算。
有益效果：本发明基于心理声学模型(人耳听觉特性)，从各子带响度方面着手，通过增益值进行响度/音量控制，更科学地进行听力保护，包括：1、控制各子带瞬时响度，保护人耳瞬时听觉系统；2、控制各子带累积响度/能量，防止某频带累积响度超过听力疲劳点，导致听力慢性损伤；3、控制各子带听力恢复情况，保障人耳听觉的休息和恢复时长，最终达到保护听力的目的。
图1为现有听力保护耳机的方法示意图；
图2为本发明装置一示意图；
图3为本发明扩展装置二示意图；
图4为本发明扩展装置三示意图；
图5为本发明方法一流程图；
图6为本发明扩展方法二流程图；
图7为本发明扩展方法三流程图；
图8为本发明实施例一流程图；
图9为本发明实施例二流程图；
图10为本发明实施例三流程图。
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图2所示的基于人耳听觉特性的听力保护装置，包括音频数据输入模块101、听觉滤波器组分段模块102、子带增益调整模块104、合成滤波模块、105基于心理声学模型的音频分析模块103。该听力保护装置的具体实现过程如下：
音频数据输入模块获取当前输入音频数字信号S0和用于分析的数字信号S1；听觉滤波器组分段模块对音频数字信息S0和S1进行分频段滤波，获取M个子带信号S2(k)和S3(k)，0≤k≤M-1；基于心理声学模型的音频分析模块对子带音频信号S3(k)进行分析，获取各子带对应的增益值G(k)；子带增益调整模块根据增益值G(k)，对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；合成滤波模块把各子带信号S4(k)合成滤波，合成输出的数字音频信号S5。
音频数据输入模块获取的输入耳机的音频信号S0为音频播放设备直接输出到耳机的数字音频信号，或输入的模拟音频信号经过模数转换后获得的数字信号；用于分析的音频信号S1包含音频播放设备输入耳机的音频信号，或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号，或耳机播放端采集的数字信号中任一种。
听觉滤波器组分段模块可以用FFT(快速傅里叶变换)或MDCT(修正余弦变换)或QMF(正交径向滤波器)等高效率变换/滤波算法。对应的，合成滤波模块应和听觉滤波器组分段模块构成完全重构或近似重构条件
[8]。
如图3所示，基于心理声学模型的音频分析模块103包括响度/声压级计算模块106、响度/能量累积模块107、听力恢复程度计算模块108。响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k)，并与各子带预设阈值比较，输出增益值G1(k)；响度/能量累积模块用于计算各子带信号随着播放时长的增加，累积响度/能量的大小，并与各子带预设阈值(听力疲劳点)对比，输出一组增益值G2(k)和/或信号C；听力恢复程度计算模块用于计算随着休息时长的增加，各子带听觉恢复程度，与预设听力恢复阈 值对比，输出控制信号D。基于心理声学模型的音频分析模块中增益值G(k)可以是G1(k)，或者G2(k)，或者两者相乘。
基于心理声学模型的音频分析模块也可以为以下任意一种：单独的响度/声压级计算模块，响度/声压级计算模块与响度/能量累积模块的组合，响度/声压级计算模块、响度/能量累积模块与听力恢复程度计算模块的组合，单独的响度/能量累积模块，响度/能量累积模块与听力恢复程度计算模块的组合，如图4所示。
信号C包含能量累积值和触发信号。响度/能量累积模块可以与语音提示、耳机开关(包括电开关、软开关、静音等)相结合，此时触发信号为语音提示与耳机关闭的控制信号，当其达到某些限定条件时，如听力疲劳程度达到预设阈值时，进行语音提示，然后耳机关机或静音；或者单独与语音提示相结合，此时触发信号为听力恢复程度计算模块的控制信号IC，当其达到某些限定条件后，进行语音提示，然后把能量累积值和信号IC传输至听力恢复程度计算模块。
音频数据输入模块、听觉滤波器组分段模块、子带增益调整模块、合成滤波模块、响度/声压级计算模块、响度/能量累积模块工作于耳机处于开机正常播放状态下，而听力恢复程度计算模块工作于耳机处于休息状态下。
采用上述装置实现听力保护方法，包括
P1：接收一帧输入音频信号S0和一帧分析音频信号S1；
P2：听觉滤波器组分段模块对音频信号S0和S1进行分频段处理，获取各个子带信号S2(k)和S3(k)；
P3：基于心理声学模型的音频分析模块(基于人耳听觉特性)对各子带信号S3(k)进行计算和分析，并输出信号F；
P4：根据信号F，对各子带信号S2(k)以及耳机状态进行控制，实现听力保护。
P3步骤还可以包含两个子步骤，分别为：
P5：计算各子带响度N(k)，与阈值对比，得到各子带增益G1(k)；
P6：计算各子带响度/能量累积Ec(k)，与预设阈值(预设听力疲劳点)对比，得到信息PG。
P3中输出信号F，可以包含P5中信号G1(k)，或P6中信号PG；或同时包含两者信息，此时PG包含用于正常播放时，调整各子带响度的增益G2(k)，F中包含的增益G(k)＝G1(k)×G2(k)；P6中的信息还可以包含用于控制语音提示与耳机关闭(电开关或软开关)的控制信息H；还可以包含进一步控制耳机进入休息模式的信号I。
针对不同的信息PG，P4中听力保护模块包含以下任一子步骤：
P7：基于P3传输的信号F中增益信号G，调整音频各子带S3(k)响度大小，并使用合成滤波器组，把调整后的各子带信息合成最终输出信号。
P8：基于P3传输的信号F中的信号I，开始进行听力恢复程度的计算，保证听力休息时长；信号I包含控制信号IC，和各子带累积能量/响度值Ec(k)。
P9：基于P3传输的信号F中的信号H，进行语音提示或断电关机；信号H包含增益值G2(k)和控制信号C21、C22，C21为语音提示信号，C22为耳机控制信号。
如图7所示，P9还可以展开为以下子步骤：
P10：关闭除接下来的听力恢复计算模块外其他模块，耳机进入休息模式；
P11：根据关闭其他模式时传入的各子带累积能量/响度值，进行听力恢复的计算，输出各子带听力恢复程度TTS(k)；
P12：把各子带听力恢复程度与预设阈值进行对比，若达到预设听力恢复条件，则耳机恢复正常播放状态；否则继续进行保持休息模式，保证人耳得到足够休息。
休息模式是指除听力恢复计算单元外，其他单元都不运行，此时耳机输出为静音。
实施例1：在耳机播放时，对音频各子带响度进行限定，防止人耳瞬时损伤，如图8所示：
步骤201：在播放音频情况下，获取当前输入音频帧S10；
步骤202：基于耳机频响曲线，构造滤波器Filter_11，并对音频S10使用滤波器Filter_11进行滤波，即按耳机频响曲线做均衡处理，获取分析信号S11；
步骤203：基于人耳听觉特性，构建听觉滤波器组Filter_12(k)，并对音频帧S10和S11进行滤波处理，获取用于增益调整的子带信号S12(k)和用于分析的子带信号S13(k)。
具体地，使用Bark刻度划分滤波器带宽，其中心频率和带宽如表1所示。然后根据表1的中心频率和带宽，构建MDCT(修正余弦变换)
[8]听觉滤波器组。然后使用MDCT将音频帧信号S10和S11变换到MDCT域，并将MDCT域信号按Bark刻度划分成24个听觉子带，标记为S12(k)和S13(k)，k＝0,1,…23。
步骤204：计算子带信号S13(k)的响度
[1,2]，并与预设的听觉阈值进行比较，计算出增益值G
11(k)；
步骤205：根据增益值G
11(k)，对步骤102中子带信号S12(k)进行信号增益处理，获取子带信号S14(k)；
步骤206：根据子带信号S14(k)，使用IMDCT(逆修正余弦变换)把各子带信号S14(k)合成最终输出音频信号S15。
步骤204中计算每个子带S13(k)的响度和增益，包括以下步骤：
(1)根据子带信号S13(k)，计算出平均能量
其中S13(k,i)代表一帧分析音频信号中，k子带第i个采样点，LEN为子带信号的帧长；
(2)根据Zwicker响度计算模型得到改进后的特征响度计算公式
[3]
其中E
0＝1.8703×10
-5，Y是通过等响曲线得到的对应于24个临界频带中心频率处可听阈声强级；
(3)根据计算所得子带响度值N(k)，和预设子带阈值N
0(k)进行对比，若N(k)≤N
0(k)，则设子带增益G
11(k)＝1.0；否则，调整增益值G
11(k)<1.0，使得N(k)＝N
0(k)；
具体地，增益值的调整方式，当N(k)>N
0(k)，根据(2)式可得：
通过(3)式计算可得G
11(k)。
音频帧的多个子带对应的听阈值N
0(k)可以相同，也可以不同，且可以针对不同类型用户设置不同的调整，起到个性化的听力保护作用。
各子带响度计算方法不仅限于上述计算方法，还可以使用基于A、B、C计权等方法，获取各子带计权声压级，该方法较为成熟，所以此处不再赘述。
本实施例中采用MDCT变换和Bark刻度进行划分，也可以采用FFT、QMF、PQMF和小波变换等其他滤波或变换技术，还可以使用ERB(等距带宽)等其他刻度进行划 分和计算，也能获得有益的效果，以上这些变化均应视为本发明的保护范畴。
实施例2：在耳机播放时，对音频信号中各子带信号进行响度累积方面的控制，必要时进行关机，减少听力疲劳，保护人耳听力。具体步骤如下：
步骤301：获取输入音频帧S20；
步骤302：在耳机播放端实时采集已经播放的声音数据帧S21；
步骤303：如步骤203，基于人耳听觉特性，构造听觉滤波器组Filter_21(k)，并对输入音频信号S20滤波，获取音频各子带信号S22(k)。
滤波器组的频带可以采用如步骤203中的刻度进行划分，也可以使用ERB刻度划分滤波器带宽。本实施例采用ERB刻度进行划分，根据ERB级在50～15000Hz范围内确定各听觉滤波器形状，ERB刻度以0.6为间隔，共需构造62个滤波器。本发明不限于ERB间隔和滤波器数，还可以采用其他间隔和相应的个数滤波器。具体划分方法参考
[4]，此处不再赘述。
步骤304：对声音数据帧S21进行FFT变换，得到信号频域组成成分，并求取各频率点处绝对值X(i)，i＝0,1,…,LEN；其中LEN为帧长。然后根据步骤303中滤波器带宽的划分，计算各子带功率的大小。
其中Num(k)是k子带中包含频率点的个数，f
k(i)是k子带内各频率点。
步骤305：基于步骤304中各子带功率的大小，计算各子带特性响度值N21(k)。响度可以采用Moore响度计算模型计算，该方法较为成熟，不再赘述，可参考文献
[4,5,6]。
步骤306：进行响度累积计算，判断累积响度是否超过听力疲劳点阈值，并输出增益值和控制信号。
响度累积计算，本发明实施例采用等效计时时间方式进行累积，简化响度累积方法。具体的，对于各子带听力疲劳点阈值可以设定为N0(k)sone×T0(k)s，代表该子带听力疲劳点预设为使用N0(k)宋响度的声音，最多允许播放时长T0(k)秒。
(1)当所述子带响度N21(k)等于N0(k)，该帧信号等效播放时间T
eq(k)和实际播放播放时间T
real(k)相同，即为LEN/Fs，其中LEN为帧长，Fs为采样率；响度N21(k)不等于N0(k)，则该帧信号等效播放时间T
eq(k)则等于实际播放时间乘以一个系数：
T
eq(k)＝C(N21(k))×LEN/Fs (5)
其中C(N21(k))是与子带响度相关的系数，可以简要表示为：
C(N21(k))＝exp{b(k)·[N21(k)-N0(k)]} (6)
其中b(k)与子带相关的系数，各子带之间所得值可以各不相同；N0(k)为各子带预设响度值，可以相同，也可以不同；T0(k)代表各子带预设听音时长，同样可以相同，也可以不同，也可以根据用户进行个性化设计。
(2)然后计算等效累积时间：
其中ti为播放的帧数。
(3)当
时，则代表该子带响度累积超过听力疲劳点，则令该子带增益值G21(k)＝G
pre(k)；否则G21(k)＝1.0。所述G
pre(k)为各子带预先设置的增益值，可以相同，也可以不同；
(4)统计超过听力疲劳点子带的个数Count_N2，当Count_N2超过预设值Count_N20时，则输出控制信号C21＝1，否则C21＝0；当Count_N2超过预设值Count_N21时，则输出控制信号C22＝1，否则C22＝0。
Count_N20对应下述语言提示模块设定的阈值；Count_N21对应耳机开关模块设计的阈值；一般情况下Count_N20≤Count_N21。
步骤307，根据增益值G21(k)，对步骤303中子带信号S22(k)进行增益调整，得到增益后各子带信号S23(k)；
步骤308，使用合成滤波器组，把各子带信号S23(k)合成听力保护输出信号S24。
步骤309，根据步骤206中控制信号C21，判断C21是否为1，若是，则输出语音提示信息；否则不输出预存语音信号S25；
步骤310，输出合成模块，输出最终音频信号。其接收步骤308输出的听力保护信号S24和步骤309输出的预存语音信号S25。若所述控制信号C21为0，则直接输出信号S24；否则，把听力保护信号S24和预存语音信号S25按一定比例合成，并输出信号S26。
步骤311，根据步骤306控制信号C22，若C22为1，则关闭耳机；否则允许耳机继续播放。
实施例3：在播放时进行响度/能量累累积，并进行相应控制，减少长时间听音时的听力疲劳，必要时关闭耳机；在关闭耳机后，进一步考虑听力恢复程度，保证人耳各子带能够得到充分的休息，最终达到保护听力的目的。具体步骤如下：
步骤401：在耳机播放端实时采集播放的声音数据帧S31(用于音频分析)；
步骤402：类似于步骤103～步骤104，计算声音数据S31各子带音频功率E3(k)；
步骤403：计算各子带能量累积值，并与各子带预设阈值进行对比，得到控制信号C31。
具体计算方法如下：
(1)根据步骤304中各子带音频功率E3(k)，计算得到该帧子带音频能量值E
c(k,i)：
En(k,i)＝E3(k)×LEN/Fs (8)
其中i代表第i帧信号，Fs是音频采样率；
(2)根据播放时间，计算累积能量En_c(k,ti),
其中，ti为播放帧数。
(3)对比各子带累积能量En_c(k,ti)与预设累积阈值(听力疲劳点阈值)，若累积能量En_c(k,ti)超过听力疲劳点阈值，则令C30(k)＝1；否则C30(k)＝0。
(4)根据C30(k)的值，统计累积能量超过听力阈值的子带个数Count_N3(即C30(k)＝1的子带个数)，当Count_N3超过预设值Count_N30时，则输出控制信号C31＝1；否则C31＝0，返回步骤301。
步骤404，当接收到控制信号C31＝1时，耳机进入休息模式，此时听力恢复单元启动并开始工作，而其他单元都关闭，进入休息状态，此时耳机端输出静音；同时把步骤403中累积能量值En_c(k,ti)传入听力恢复计算模块，令其中Ec_start(k)＝En_c(k,ti)，用于听力恢复计算；否则，C31＝0时，除听力恢复计算单元继续关闭外，其他单元均正常运行，耳机正常播放声音，且回到步骤401。
步骤405：当听力恢复计算模块启动后，根据步骤404所述累积能量值Ec_start(k)，开始计算随着耳机休息时长的增加，人耳听力各子带恢复程度，并与阈值进行对比，给出反馈控制信号。具体的：本发明专利基于前人研究
[4,7]：a.累积能量或者响度越大，所需恢复时间越长；b.恢复程度和恢复时间的对数大致呈线性关系；c.不同频带处的恢复时间也不同，其中4kHz附近最易产生听力疲劳，同样所需恢复时间也最长。设计简单的听力恢复模型，听力恢复程度由频率(子带)、累计能量、恢复时长共同决定：
TTS(k)＝Function(k,E,t)≈Γ(k)Ψ(E)T(t) (10)
其中TTS代表听力恢复程度，TTS越小，代表恢复程度越好，当小于一定值之后，代表听力完全恢复。Γ(k)和频率相关的量，可设定与为人耳听觉响度曲线相关，越敏感的频率点，其值越大；Ψ(E)与步骤403中所述累积能量或响度值相关，可以简要设定为Ψ(E)＝C
1E+C
2，C
1和C
2是常数项，其中C
1为正，E＝Ec_start(k)；T(t)则是与恢复时间相关，恢复时间越长，TTS越小，所以可以简要表述为T(t)＝-D
1lg(t)+D
2，其中D
1和D
2是正常数项，代表时间越长，恢复程度越好，TTS越小，直至趋近于0。
基于上述简易计算模型，听力恢复计算和控制的步骤如下：
(1)根据式(10)计算出各子带听力的恢复程度TTS(k)；
(2)对比TTS(k)和各子带预设听力恢复阈值，并输出控制信号C32(k)。若TTS(k)大于听力恢复阈值，则C32(k)＝0，代表未完全恢复；否则C33(k)＝1，代表完全恢复；
(3)统计C32(k)＝1的个数count_C32，若count_C32小于预设数值，则输出控制信号C33＝0；否则C33＝1。
本发明实施例中所述各子带听力恢复阈值，可以完全相同，也可以不同，也可以根据用户体验进行个性化设计，提高用户体验。
上述听力恢复程度计算还可以使用恢复时间来代替恢复程度值，从而更便捷地进行恢复程度的控制。具体方法如下，当TTS小于某一阈值时，则代表听力恢复完成，所以设定该子带阈值为较小常数。通过(10)式可得恢复时长(t>1)为：
D
3和D
4为正常数。可以看出，人耳越敏感的频率点、累积响度越大，所需恢复时间越长。基于此，具体实施步骤如下：
(1)当接收到控制信号C31＝1，听力恢复模块根据当前接收到的累积能量值，根据(11)式，计算出各子带所需恢复时长time(k)；
(2)使用计时器开始计时，当计时时间t大于所述恢复时长time(k)时，使子带控制信号C32(k)＝1；否则C32(k)＝0；
(3)统计所述控制信号C32(k)＝1的个数，若小于预设数值N5时，则输出控制信号C33＝0；否则C33＝1。
步骤406，若步骤405中所述控制信号C33＝1时，耳机恢复正常播放，而该听力恢复计算单元暂停，听力恢复程度计算值均清零，然后返回到步骤401；否则，耳机继续保持休息模式，听力恢复计算单元继续运行，即回到步骤405。
步骤401中声音数据帧S31，也可以由基于耳机频响曲线的等效滤波器对输入音频信号滤波所得。
参考文献:
1.Isotc A.Acoustics-Method for calculating loudness level[J].iso,1975。
2.周明刚,董琦飞,刘阳,et al.Zwicker时变响度的一种计算方法[J].中国机械工程,2014,25(22):3073-3076。
3.柳革命,吴姚振.响度特征量化的改进算法[J].空军工程大学学报:自然科学版,2011(04):95-98。
4.Moore B C J.An Introduction to the Psychology of Hearing[J].Archives of Otolaryngology,1977,103(12):745-746。
5.马元锋,陈克安,王娜.Moore响度模型的数值计算方法[J].声学技术,2008,27(3):390-395。
6.郑文,陈克安,马元峰.Moore模型与响度计算中的关键问题[J].电声技术,2007(6):11-13。
7.梁之安.听觉感受和辨别的神经机制[M].上海科技教育出版社,1999。
8.潘兴德.感知信源编码中的若干核心技术研究.博士论文，2003。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。
Claims (10)
- 一种基于人耳听觉特性的听力保护装置，其特征在于，包括：音频数据输入模块，用于获取当前输入耳机的数字音频信号S0，和用于分析的数字音频信号S1；听觉滤波器组分段模块，用于对所述音频数字信号S0和S1进行分频段滤波，获得用于信号增益控制的子带信号S2(k)和用于音频分析的子带信号S3(k)，0≤k≤M-1；基于心理声学模型的音频分析模块，对所述子带音频信号S3(k)进行分析，获得各子带对应的增益值G(k)；子带增益调整模块，根据增益值G(k)对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；合成滤波模块，对各子带信号S4(k)进行合成滤波，合成输出数字音频信号S5。
- 根据权利要求1所述的基于人耳听觉特性的听力保护装置，其特征在于：所述音频数据输入模块获取的输入耳机的音频信号S0包括音频播放设备直接输出到耳机的数字音频信号或输入的模拟音频信号经过模数转换后获得的数字信号；所述用于分析的音频信号S1包含音频播放设备输入耳机的音频信号，或音频播放设备输入耳机的音频信号经过基于耳机频响的等效滤波器数字滤波后的信号，或耳机播放端采集的数字信号。
- 根据权利要求1所述的基于人耳听觉特性的听力保护装置，其特征在于：所述听觉滤波器组和所述合成滤波器组满足完全重构或近似重构条件。
- 根据权利要求1或3所述的基于人耳听觉特性的听力保护装置，其特征在于：所述听觉滤波器组采用Bark刻度或ERB刻度或符合人耳听觉特性的刻度划分滤波器带宽。
- 根据权利要求1所述的基于人耳听觉特性的听力保护装置，其特征在于：所述基于心理声学模型的音频分析模块为响度/声压级计算模块，响度/能量累计模块，响度/声压级计算模块与响度/能量累计模块的组合，响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合，响度/能量累计模块与听力恢复程度计算模块的组合中任一种；所述响度/声压级计算模块用于计算各子带信号响度级或加权声压级N(k)，并与各 子带预设阈值比较，输出增益值G1(k)；所述响度/能量累计模块用于计算各子带信号随着播放时长的增加、累积响度/能量的大小，并与各子带预设阈值对比，输出增益值G2(k)和/或控制信号C；所述听力恢复程度计算模块根据控制信号C计算听觉恢复程度，与预设听力恢复阈值对比，输出控制信号D对耳机进行控制。
- 根据权利要求5所述的基于人耳听觉特性的听力保护装置，其特征在于：所述音频分析模块为响度/声压级计算模块或响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)时，对应所述音频分析模块的增益值G(k)为G1(k)或G2(k)或G1(k)×G2(k)，所述子带增益调整模块根据增益值G(k)对各子带信号S2(k)进行增益处理，得到处理后的各子带信号S4(k)；所述音频分析模块为响度/能量累计模块或响度/声压级计算模块与响度/能量累计模块的组合且所述响度/能量累计模块输出增益值G2(k)和控制信号C时，控制信号C包括语音提示与耳机关闭的控制信号，若听力疲劳程度达到预设阈值，进行语言提示或关闭耳机，否则直接输出增益值；所述音频分析模块为响度/声压级计算模块、响度/能量累计模块与听力恢复程度计算模块的组合或响度/能量累计模块与听力恢复程度计算模块的组合时，所述响度/能量累计模块输出控制信号C，所述控制信号C包括能量累积值和听力恢复程度计算模块的控制信号IC，听力恢复程度计算模块基于能量累积值计算听力恢复程度，若听力恢复程度达到预设阈值，则控制信号D控制耳机恢复正常播放状态，否则耳机保持休息状态并继续进行听力恢复程度计算。
- 根据权利要求5或6所述的基于人耳听觉特性的听力保护装置，其特征在于：所述响度/声压级计算模块采用Zwicker响度模型或Moore响度模型等符合人耳听觉特性的响度模型计算响度级，以及采用A计权或B计权或C计权等声压级模型计算声压级；所述响度/能量累计模块对响度值采用等效计时时间进行累计获得能量累积值；所述听力恢复程度计算模块采用听觉滤波器频带、累积响度/能量、恢复时长组成模型计算听力恢复程度或采用恢复时长计算听力恢复程度。
- 根据权利要求1所述的基于人耳听觉特性的听力保护装置进行听力保护的方法， 其特征在于，包括如下步骤：P1：获取当前用于增益控制的音频数字信号S0和用于分析的音频数字信号S1；P2：采用听觉滤波器分段模块对音频信号S0和S1进行分频滤波，得到用于增益控制的子带信号S2(k)和用于分析的子带信号S3(k)；P3：基于心理声学模型，通过音频分析模块对S3(k)进行计算和分析，得到信号F；P4：根据信号F，对各子带信号S2(k)进行增益处理并合成滤波输出音频信号S5和/或输出耳机状态控制信号。
- 根据权利要求8所述的听力保护方法，其特征在于，所述步骤P3包括：P5：根据子带信号S3(k)计算各子带响度大小，并得到相应的增益值G1(k)；P6：计算各子带累积能量大小，与阈值对比，输出各子带增益G2(k)和/或控制信号C。
- 根据权利要求9所述的听力保护方法，其特征在于，所述步骤P4包括以下任一步骤：P7：基于P3传输的信号F中增益信号G，根据各子带增益调整各子带信号S2(k)，通过合成滤波器组合成，输出最终播放的音频信号，G为G1(k)或G2(k)或G1(k)×G2(k)；P8：基于各子带增益G2(k)和控制信号C输出的语音提示与耳机关闭的控制信号，分别进行子带增益调整和听力疲劳判断，若听力疲劳程度达到预设阈值，进行语言提示或关闭耳机，否则直接输出增益调整后的合成音频信号；P9：基于控制信号C输出的能量累积值和听力恢复程度计算模块的控制信号IC，进行听力恢复程度的计算，若听力恢复程度达到预设阈值，则耳机恢复正常播放状态，否则耳机保持休息状态并继续进行听力恢复程度计算。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502789.6 | 2020-06-05 | ||
| CN202010502789.6A CN111800692B (zh) | 2020-06-05 | 2020-06-05 | 一种基于人耳听觉特性的听力保护装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021244019A1 true WO2021244019A1 (zh) | 2021-12-09 |
Family
ID=72803272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/140754 WO2021244019A1 (zh) | 2020-06-05 | 2020-12-29 | 一种基于人耳听觉特性的听力保护装置和方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111800692B (zh) |
| WO (1) | WO2021244019A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111800692B (zh) * | 2020-06-05 | 2023-03-14 | 全景声科技南京有限公司 | 一种基于人耳听觉特性的听力保护装置和方法 |
| CN112151007B (zh) * | 2020-11-24 | 2021-03-02 | 北京世纪好未来教育科技有限公司 | 一种语音合成方法、装置、设备及存储介质 |
| CN115175076A (zh) * | 2022-06-30 | 2022-10-11 | 腾讯科技（深圳）有限公司 | 音频信号的处理方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6044162A (en) * | 1996-12-20 | 2000-03-28 | Sonic Innovations, Inc. | Digital hearing aid using differential signal representations |
| CN101060724A (zh) * | 2007-04-25 | 2007-10-24 | 比特联创电子（北京）有限公司 | 避免音频设备损害听力的方法及用该方法制成的电声装置 |
| US20080187149A1 (en) * | 2007-02-01 | 2008-08-07 | Samsung Electronics Co., Ltd. | Audio reproduction method and apparatus with auto volume control function |
| CN201286161Y (zh) * | 2008-10-28 | 2009-08-05 | 张莉楠 | 一种限时耳机 |
| US20130035608A1 (en) * | 2006-06-01 | 2013-02-07 | Personics Holdings Inc. | Ear input sound pressure level monitoring system |
| CN102984634A (zh) * | 2011-11-22 | 2013-03-20 | 南京工程学院 | 一种数字助听器非等宽子带自动增益控制方法 |
| CN110139181A (zh) * | 2019-04-30 | 2019-08-16 | 维沃移动通信有限公司 | 音频处理方法、装置、耳机、终端设备及介质 |
| CN111800692A (zh) * | 2020-06-05 | 2020-10-20 | 全景声科技南京有限公司 | 一种基于人耳听觉特性的听力保护装置和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5944672A (en) * | 1998-04-15 | 1999-08-31 | Samsung Electronics Co., Ltd. | Digital hearing impairment simulation method and hearing aid evaluation method using the same |
| US20140010378A1 (en) * | 2010-12-01 | 2014-01-09 | Jérémie Voix | Advanced communication earpiece device and method |
-
2020
- 2020-06-05 CN CN202010502789.6A patent/CN111800692B/zh active Active
- 2020-12-29 WO PCT/CN2020/140754 patent/WO2021244019A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6044162A (en) * | 1996-12-20 | 2000-03-28 | Sonic Innovations, Inc. | Digital hearing aid using differential signal representations |
| US20130035608A1 (en) * | 2006-06-01 | 2013-02-07 | Personics Holdings Inc. | Ear input sound pressure level monitoring system |
| US20080187149A1 (en) * | 2007-02-01 | 2008-08-07 | Samsung Electronics Co., Ltd. | Audio reproduction method and apparatus with auto volume control function |
| CN101060724A (zh) * | 2007-04-25 | 2007-10-24 | 比特联创电子（北京）有限公司 | 避免音频设备损害听力的方法及用该方法制成的电声装置 |
| CN201286161Y (zh) * | 2008-10-28 | 2009-08-05 | 张莉楠 | 一种限时耳机 |
| CN102984634A (zh) * | 2011-11-22 | 2013-03-20 | 南京工程学院 | 一种数字助听器非等宽子带自动增益控制方法 |
| CN110139181A (zh) * | 2019-04-30 | 2019-08-16 | 维沃移动通信有限公司 | 音频处理方法、装置、耳机、终端设备及介质 |
| CN111800692A (zh) * | 2020-06-05 | 2020-10-20 | 全景声科技南京有限公司 | 一种基于人耳听觉特性的听力保护装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111800692B (zh) | 2023-03-14 |
| CN111800692A (zh) | 2020-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021244019A1 (zh) | 一种基于人耳听觉特性的听力保护装置和方法 | |
| JP4640461B2 (ja) | 音量調整装置およびプログラム | |
| JP3151459B2 (ja) | パブリックアドレス明瞭度強調システム | |
| JP6506764B2 (ja) | ダウンミックスされたオーディオ・コンテンツについてのラウドネス調整 | |
| TWI397058B (zh) | 音頻訊號之處理裝置及其方法，及電腦可讀取之紀錄媒體 | |
| CN111128214B (zh) | 音频降噪方法、装置、电子设备及介质 | |
| US20090287496A1 (en) | Loudness enhancement system and method | |
| CN101366177A (zh) | 音频供给量控制 | |
| KR20070028080A (ko) | 이동통신 단말의 오디오 재생시 주변 잡음에 적응하는 자동음량 조절 방법 및 장치 | |
| CN109493877A (zh) | 一种助听装置的语音增强方法和装置 | |
| CN111161699A (zh) | 一种环境噪音的掩蔽方法、装置及设备 | |
| JP2004012908A (ja) | 音声信号補間装置、音声信号補間方法及びプログラム | |
| CN106796782A (zh) | 信息处理装置、信息处理方法以及计算机程序 | |
| JPH06289898A (ja) | 音声信号処理装置 | |
| JP2007271686A (ja) | オーディオ信号処理装置 | |
| JP2003280691A (ja) | 音声処理方法および音声処理装置 | |
| JP3185363B2 (ja) | 補聴器 | |
| EP4138299A1 (en) | A method for increasing perceived loudness of an audio data signal | |
| CN113539277B (zh) | 一种保护听力的蓝牙音频解码方法、装置、介质及设备 | |
| CN109961785A (zh) | 一种语音控制优化方法 | |
| Mizumachi et al. | Performance evaluation of power-saving audio reproduction | |
| CN102341853B (zh) | 用于分离信号路径的方法及用于改善电子喉语音的应用 | |
| US20240048904A1 (en) | Audio signal processing system, loudspeaker and electronics device | |
| JP2011141540A (ja) | 音声信号処理装置、テレビジョン受像機、音声信号処理方法、プログラム、および、記録媒体 | |
| Luo et al. | High quality wavelet-packet based audio coder with adaptive quantization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20938543 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20938543 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20.06.2023) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20938543 Country of ref document: EP Kind code of ref document: A1 |