WO2024045739A1 - 一种声音信号的处理设备、方法以及相关设备 - Google Patents
一种声音信号的处理设备、方法以及相关设备 Download PDFInfo
- Publication number
- WO2024045739A1 WO2024045739A1 PCT/CN2023/098338 CN2023098338W WO2024045739A1 WO 2024045739 A1 WO2024045739 A1 WO 2024045739A1 CN 2023098338 W CN2023098338 W CN 2023098338W WO 2024045739 A1 WO2024045739 A1 WO 2024045739A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound signal
- bone conduction
- noise
- sound
- conduction sensor
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 579
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 63
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 278
- 230000009467 reduction Effects 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 23
- 238000003672 processing method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 25
- 230000009286 beneficial effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000000737 periodic effect Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 239000003245 coal Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000011022 operating instruction Methods 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 101100230509 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) hat-1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
Abstract
一种声音信号的处理设备、方法以及相关设备,该设备可以包括:第一骨传导传感器用于在第一时间进行声音采集,得到第一声音信号;第二骨传导传感器用于在第一时间采集第二声音信号。由于第一骨传导传感器与发声者接触,则第一声音信号中携带发声者产生的语音信号和环境噪声,第二骨传导传感器不与发声者接触,则第二声音信号中携带有大量的环境噪声,利用第二声音信号对第一声音信号进行降噪,有利于去除掉第一声音信号中的环境噪声;第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于90度,有利于降低第二声音信号中携带语音信号的可能性,进而有利于得到高质量的语音信号。
Description
本申请要求于2022年08月31日提交中国专利局、申请号为202211055930.8、发明名称为“一种声音信号的处理设备、方法以及相关设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及音视频信号处理领域,尤其涉及一种声音信号的处理设备、方法以及相关设备。
骨传导传感器的工作原理是通过收集发声者发声时的头骨、喉部等器官的所产生的振动信号,并将采集到的振动信号转化为电信号,从而得到声音信号。由于骨传导传感器的传输通道具有屏蔽噪声的优越性,相对于气导麦克风更适合工作于强噪声环境下。
但在实际应用场景中,通过骨传导传感器获取到的声音信号依旧携带有噪声,因此,一种对骨传导传感器采集到的声音信号进行降噪的方案亟待推出。
发明内容
本申请实施例提供了一种声音信号的处理设备、方法以及相关设备,第一骨传导传感器与发声者接触,第二骨传导传感器不与发声者接触,利用第二骨传导传感器采集到的第二声音信号对第一骨传导传感器采集到第一声音信号进行降噪,有利于去除掉第一声音信号中的环境噪声,得到更干净的语音信号;此外,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于90度,则发声者发出的语音不能通过空气直接进入第二骨传导传感器,有利于避免去除掉第一声音信号中的语音信号,以得到高质量的语音信号。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种声音信号的处理设备,例如,该声音信号的处理设备可以为可穿戴设备。该设备包括第一骨传导传感器和第二骨传导传感器,该第一骨传导传感器与发声者接触,第一骨传导传感器用于在第一时间进行声音采集,以得到第一声音信号;第二骨传导传感器不与发声者接触,该第二骨传导传感器用于在第一时间采集第二声音信号,也即第一骨传导传感器和第二骨传导传感器可以同步执行声音采集操作,其中,第二声音信号用于对第一声音信号进行降噪,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度;例如,第二骨传导传感器在佩戴时的信号采集方向可以是第二骨传导传感器在佩戴时的朝向,发声者的发声方向可以为发声者的嘴巴的朝向。可选地,以发声者的嘴巴的朝向为前方,第二骨传导传感器在佩戴时的位置与发声者的嘴巴的后部的位置对应。
本申请中,技术人员在实验中发现,环境中的部分噪声能够穿透骨传导传感器,也即骨传导传感器采集到的声音信号中存在环境噪声,通过第一骨传导传感器和第二骨传导传
感器均在第一时间进行声音采集,第一骨传导传感器与发声者接触,因此第一声音信号中携带发声者产生的语音信号和环境噪声,第二骨传导传感器不与发声者接触,因此第二骨传导传感器采集到的第二声音信号中携带有大量的环境噪声,利用第二声音信号对第一声音信号进行降噪,有利于去除掉第一声音信号中的环境噪声,得到更干净的语音信号;此外,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于90度,则发声者发出的语音不能通过空气直接进入第二骨传导传感器,需要在空气中进行至少一次反射,才能被第二骨传导传感器采集到,有利于降低第二声音信号中携带语音信号的可能性,进而有利于避免去除掉第一声音信号中的语音信号,以得到高质量的语音信号。
可选地,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角等于180度。
可选地,声音信号的处理设备还可以包括处理器,该处理器用于从第二声音信号中获取第一窄带噪声,并利用第一窄带噪声对第一声音信号进行降噪;其中,窄带噪声具有中心频率和带宽,窄带噪声的频带的带宽小于窄带噪声的中心频率,例如,第一窄带噪声可以为周期性的窄带噪声;周期性的窄带噪声指的是第四声音信号中的窄带噪声中存在周期性的多个声波。本申请中,当环境中的窄带噪声的分贝过高时能够穿透骨传导传感器,从而使得骨传导传感器中携带有环境中的窄带噪声,当发声者处于厂房、电子设备、煤矿周围等场景时,发动机、电子设备等能够产生高分贝的窄带噪声,导致高分贝的窄带噪声会穿透骨传导传感器,给采集到的第一声音信号造成干扰;由于第二骨传导传感器是不与发声者接触的,则第二声音信号中存在环境中的窄带噪声,从第二声音信号中获取环境中的窄带噪声,并对第一声音信号进行降噪,从而能够在厂房、电子设备、煤矿等场景中获取到较为干净的语音信号,也即本方案能够适应厂房、电子设备、煤矿等强噪声的应用场景。
可选地,该处理器具体用于采用自适应滤波器,从第二声音信号中获取第一窄带噪声,例如,该自适应滤波器可以为线性的自适应滤波器。其中,自适应滤波器是能够根据输入的声音信号自动调整性能,以进行数字信号处理的滤波器,自适应滤波器的系数是可自适应调整的。具体的,处理器可以将延迟了D个采样点的第二声音信号输入前述线性的自适应滤波器,得到前述线性的自适应滤波器输出的第一窄带噪声。本申请中,采用自适应滤波器从第二声音信号中获取第一窄带噪声,不仅提供了从第二声音信号中获取第一窄带噪声的一种较为简单的实现方案,且能够自适应的实时处理第二声音信号,从而能够满足通话等对实时性要求比较高的场景,有利用扩展本方案的实现场景。
可选地,处理器具体用于对第一窄带信号的幅度和/或相位进行调整,得到第二窄带信号,利用第二窄带信号对第一声音信号进行降噪。本申请中,由于第一窄带信号的幅度和第一声音信号中的窄带噪声的幅度可能不同,对第一窄带信号的幅度进行调整,有利于提高第二窄带信号和第一声音信号中的窄带噪声的幅度的一致性,有利于提高降噪后的第一声音信号的质量。对第一窄带信号的相位进行调整,有利于实现第二窄带信号和第一声音信号中的窄带噪声在相位这个维度上的对齐,有利于提高降噪后的以声音信号的质量。
可选地,处理器具体用于将第一窄带信号和第一声音信号输入自适应噪声抵消器,得
到自适应噪声抵消器输出的第二窄带信号,自适应噪声抵消器是自适应滤波器的一种应用方式,也即自适应噪声抵消器可以是一种自适应滤波器。本申请中,采用自适应噪声抵消器对第一窄带信号的幅度和/或相位进行调整,提供了一种较为简单的实现方案,且能够自适应的实时处理第一窄带信号,从而能够满足通话等对实时性要求比较高的场景,有利用扩展本方案的实现场景。
可选地,声音信号的处理设备为帽子,第二骨传导传感器固定于帽子的帽檐后部。本申请中,帽子的帽檐与发声者不接触,则固定于帽子的帽檐后部的第二骨传导传感器和发声者也不接触;由于发声者是朝向帽檐前部,将第二骨传导传感器固定与帽檐后部,有利于进一步拉大第二骨传导传感器与发声者之间的距离,以进一步降低第二骨传导传感器采集到有效的语音信号的概率,以避免在利用第二声音信号对第一声音信号进行降噪的过程中,将第一声音信号中有效的语音信号消除或削弱的可能性,以得到更为优质的第一声音信号。
可选地,声音信号的处理设备中第一骨传导传感器的数量为至少两个,每个第一骨传导传感器,具体用于在第一时间采集第三声音信号。声音信号的处理设备还包括处理器,该处理器用于根据至少两个第一骨传导传感器采集的至少两个第三声音信号的能量,对至少两个第三声音信号进行筛选,得到筛选后的至少一个第三声音信号。具体的,处理器从至少两个第一骨传导传感器采集的至少两个第三声音信号中舍弃目标声音信号,得到筛选后的至少一个第三声音信号,目标声音信号的能量满足第一条件;处理器,具体用于根据筛选后的至少一个第三声音信号,获取第一声音信号。其中,一个声音信号的能量可以反映该声音信号的强弱程度,若采集到的声音信号越微弱,则该声音信号的能量越低;若采集到的声音信号的越强,则该声音信号的能量越高。处理器可以为仅对筛选后的至少一个第三声音信号加权求和,得到第一声音信号,以实现将目标声音信号舍弃;或者,处理器也可以在对获取到的至少两个第三声音信号加权求和时,每个目标声音信号的权重设置为0,以实现将目标声音信号舍弃等,此处不做穷举。
本申请中,由于在声音信号的处理设备的佩戴过程中,可能会出现某个第一骨传导传感器与发声者贴合不紧密的情况,通过前述第一骨传导传感器采集到的一个第三声音信号中携带的发声者的声音会很微弱,基于声音信号的能量能够从至少两个第三声音信号中确定出微弱的目标声音信号,进而将目标声音信号舍弃,有利于提高最终得到的第一声音信号的质量,进而有利于提高降噪后的第一声音信号的质量。
可选地,处理器可以通过多种方式来判断任意一个第三声音信号(为方便描述,后续称为“第五声音信号”)是否满足第一条件。在一种实现方式中,处理器可以具体用于:获取至少两个第三声音信号中除第五声音信号之外的至少一个第三声音信号的能量的第一平均值;判断第五声音信号的能量与第一平均值之间的差距是否满足第一条件,若判断结果为是,则将第五声音信号确定为需要舍弃的目标声音信号,若判断结果为否,则确定第五声音信号不需要舍弃。其中,“第五声音信号的能量与第一平均值之间的差距”可以为第五声音信号的能量与第一平均值之间的差值,第一条件可以为第五声音信号的能量与第一平均值之间的差值大于或等于第一阈值;或者,“第五声音信号的能量与第一平均值之间的差
距”可以为第五声音信号的能量与第一平均值之间的比值,第一条件可以为第五声音信号的能量与第一平均值之间的比值小于或等于第二阈值。在另一种实现方式中,处理器可以具体用于:判断第五声音信号的能量是否小于或等于第三阈值,若判断结果为是,则将第五声音信号确定为需要舍弃的目标声音信号,若判断结果为否,则确定第五声音信号不需要舍弃。
可选地,第一骨传导传感器的数量为至少两个,每个第一骨传导传感器,具体用于在第一时间采集第三声音信号。声音信号的处理设备还包括处理器,该处理器用于根据至少两个第一骨传导传感器采集的至少两个第三声音信号,执行加权求和操作,得到第一声音信号。本申请中,由于每个第三声音信号均在第一时间采集到的,也即不同的第一骨传导传感器是同步采集第三声音信号的,因此,多个第三声音信号之间可以视为是同步的(也即对齐的),将多个第三声音信号进行加权是具有可行性的,且提供了一种简单有效的实现方案;由于每个第三声音信号中都存在硬件噪声,前述硬件噪声为高斯噪声,不同的第三声音信号加权后,其中的高斯噪声的能量不会增加,但声音信号中有效的语音信号的能量得到了增加,从而有利于提高第一声音信号的信噪比。
可选地,处理器,具体用于根据至少两个第一骨传导传感器采集的至少两个第三声音信号,执行平均操作,得到第一声音信号。本申请中,若至少两个第三声音信号中存在X个信号,将前述X个信号进行平均后,第一声音信号中的高斯噪声变成了第三声音信号中的高斯噪声的1/X,有利于最大程度的降低硬件噪声带来的影响。
第二方面,本申请实施例提供了一种帽子,帽子包括第一骨传导传感器和第二骨传导传感器,其中,第一骨传导传感器与发声者接触,第二骨传导传感器不与发声者接触,固定于帽子的帽檐后部。
可选地,第一骨传导传感器用于在第一时间进行声音采集,以得到第一声音信号;第二骨传导传感器,用于在第一时间采集第二声音信号;帽子还包括:处理器,用于利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
本申请实施例的第二方面提供的处理器还可以执行第一方面的各个可能实现方式中处理器执行的步骤,对于本申请实施例第二方面以及第二方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第三方面,本申请实施例提供了一种声音信号的处理方法,可用于电子设备或电子设备的芯片中,例如该电子设备可以为可穿戴设备、手机、平板电脑、笔记本电脑或物联网设备等。声音信号的处理方法包括:处理器通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号;通过第二骨传导传感器在第一时间采集第二声音信号,其中,第一骨传导传感器与发声者接触,第二骨传导传感器不与发声者接触,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度;处理器利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
本申请实施例的第三方面提供的声音信号的处理方法中处理器还可以执行第一方面的
各个可能实现方式中处理器执行的步骤,对于本申请实施例第三方面以及第三方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第四方面,本申请实施例提供了一种声音信号的处理装置,该装置可用于电子设备或电子设备的芯片中,例如该电子设备可以为可穿戴设备、手机、平板电脑、笔记本电脑或物联网设备等。声音信号的处理装置包括:获取模块,用于通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号;该获取模块,用于通过第二骨传导传感器在第一时间采集第二声音信号,其中,第一骨传导传感器与发声者接触,第二骨传导传感器不与发声者接触,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度;降噪模块,用于利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
本申请实施例的第四方面提供的声音信号的处理方法中处理器还可以执行第一方面的各个可能实现方式中处理器执行的步骤,对于本申请实施例第四方面以及第四方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第五方面,本申请实施例提供了一种计算机程序产品,当该计算机程序在计算机上运行时,使得计算机执行上述第三方面所述的声音信号的处理方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得计算机执行上述第三方面所述的声音信号的处理方法。
第七方面,本申请实施例提供了一种电子设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第三方面所述的声音信号的处理方法。
第八方面,本申请实施例提供了一种电路系统,所述电路系统包括处理电路,所述处理电路配置为执行上述第三方面所述的声音信号的处理方法。
第九方面,本申请实施例提供了一种芯片系统,该芯片系统包括处理器,用于实现上述各个方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存服务器或通信设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
图1a为本申请实施例提供的声音信号的处理设备的一种结构示意图;
图1b为本申请实施例提供的第二骨传导传感器在佩戴时的朝向的一种示意图;
图2为本申请实施例提供的声音信号的处理设备的一种结构示意图;
图3为本申请实施例提供的声音信号的处理设备的一种结构示意图;
图4为本申请实施例提供的声音信号的处理设备的一种结构示意图;
图5为本申请实施例提供的声音信号的处理设备的一种结构示意图;
图6为本申请实施例提供的声音信号的处理方法的一种流程示意图;
图7为本申请实施例提供的第二声音信号和第四声音信号的一种示意图;
图8为本申请实施例提供的第一声音信号和降噪后的第一声音信号的一种对比示意图;
图9为本申请实施例提供的帽子的一种结构示意图;
图10为本申请实施例提供的种声音信号的处理装置的一种结构示意图;
图11为本申请实施例提供的电子设备的一种结构示意图。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请提供的方案可以应用于各种声音采集的场景中,可选地,可以应用于噪声环境中。例如,当发声者在车间工作时,车间内的机器可以产生噪声。又例如,当发声者在基站等电子设备周围工作时,前述电子设备可以产生噪声。又例如,当发声者在煤矿等环境中工作时,环境中存在大量的噪声等等,此处不对本方案的应用场景进行穷举。
为了能够获取到更干净的声音信号,请参阅图1a,图1a为本申请提供的声音信号的处理设备的一种结构示意图,如图1a所示,声音信号的处理设备1包括第一骨传导传感器10和第二骨传导传感器20。其中,第一骨传导传感器10与发声者接触,用于在第一时间进行声音采集,以得到第一声音信号,也即第一骨传导传感器10用于采集发声者产生的语音。第二骨传导传感器20不与发声者接触,用于在第一时间采集第二声音信号,也即第一骨传导传感器10和第二骨传导传感器20可以同步执行声音采集操作,第二骨传导传感器20用于采集环境噪声;第二声音信号用于对第一声音信号进行降噪。
其中,第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度;可选地,第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角等于180度。
例如,第二骨传导传感器20在佩戴时的信号采集方向可以是第二骨传导传感器20在佩戴时的朝向,发声者的发声方向可以为发声者的嘴巴的朝向;需要说明的是,由于第二骨传导传感器20和发声者的嘴巴可以位于不同的水平平面或位于不同的垂直平面中,则在度量第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角时,可以将第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向映射至同一垂直平面或水平平面中。
可选地,以发声者的嘴巴的朝向为前方,第二骨传导传感器20在佩戴时的位置与发声
者的嘴巴的后部的位置对应,由于第二骨传导传感器20不与发声者接触,“第二骨传导传感器20在佩戴时的位置与发声者的嘴巴的后部的位置对应”可以为第二骨传导传感器20在佩戴时的位置悬浮于发声者的嘴巴的后部的位置的上方。
为更直观地理解本方案,请参阅图1b,图1b为本申请实施例提供的第二骨传导传感器在佩戴时的朝向的一种示意图,图1b以将第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向映射至同一垂直平面为例,如图1b所示,第二骨传导传感器20在佩戴时的信号采集方向可以是第二骨传导传感器20的朝向,发声者的发声方向可以是发声者嘴巴的朝向,图1b中的θ代表第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角,θ的取值大于90度;此外,图1b中也示出了发声者的嘴巴的前部和发声者的嘴巴的后部,应理解,图1b仅为方便理解本方案,不用于限定本方案。
本申请实施例,技术人员在实验中发现,环境中的部分噪声能够穿透骨传导传感器,也即骨传导传感器采集到的声音信号中存在环境噪声,通过第一骨传导传感器和第二骨传导传感器均在第一时间进行声音采集,第一骨传导传感器与发声者接触,因此第一声音信号中携带发声者产生的语音信号和环境噪声,第二骨传导传感器不与发声者接触,因此第二骨传导传感器采集到的第二声音信号中携带有大量的环境噪声,利用第二声音信号对第一声音信号进行降噪,有利于去除掉第一声音信号中的环境噪声,得到更干净的语音信号;此外,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于90度,则发声者发出的语音不能通过空气直接进入第二骨传导传感器,需要在空气中进行至少一次反射,才能被第二骨传导传感器采集到,有利于降低第二声音信号中携带语音信号的可能性,进而有利于避免去除掉第一声音信号中的语音信号,以得到高质量的语音信号。
可选地,声音信号的处理设备1可以表现为可穿戴设备,例如,声音信号的处理设备1可以为帽子、眼罩、耳机或其他产品形态等,此处不做限定。
声音信号的处理设备1中的第一骨传导传感器10的数量可以为一个或多个,每个第一骨传导传感器10与发声者接触,例如,每个第一骨传导传感器10与发声者紧密贴合。可选地,若声音信号的处理设备1中的第一骨传导传感器10的数量为多个,不同的第一骨传导传感器10可以放置在不同的位置上。例如,每个第一骨传导传感器10的可以与发声者的如下任一个位置接触:前额、下颌骨、鼻翼骨、太阳穴、声带或其他能够采集到发声者的声音信号的位置等,骨传导传感器的具体位置可以结合实际应用场景确定,此处不做限定。
例如,声音信号的处理设备1表现为帽子,第一骨传导传感器10可以固定在帽子内村的前部;可选地,第一骨传导传感器10可以安装在帽子内村的前部的正中位置,与发声者的额头接触。或者,帽子(也即声音信号的处理设备1的一个示例)还可以包括传感器结构架,该传感器结构架包括挂耳区域,第一骨传导传感器10可以固定在挂耳区域,与发声者的下颌骨接触。或者,第一骨传导传感器10可以固定在帽子内衬的左侧或右侧,与发声者的太阳穴接触等等,此处不做穷举。
又例如,声音信号的处理设备1表现为眼罩,例如声音信号的处理设备1为虚拟现实
(virtual reality,VR)设备、护目镜或眼镜等设备时,声音信号的处理设备1可以表现为眼罩。第一骨传导传感器10可以固定在眼罩内侧的鼻托区域,与发声者的鼻翼骨接触。或者,第一骨传导传感器10可以固定在眼罩内侧的左侧区域或右侧区域,与发声者的太阳穴接触等。又例如,声音信号的处理设备1表现为耳机,耳机的两个耳筒之前存在连接带,第一骨传导传感器10可以固定在靠近左侧耳筒(或右侧耳筒)的连接带上,与发声者的太阳穴接触等,此处举例仅为方便理解本方案,具体第一骨传导传感器10的位置可以结合实际应用场景确定,此处不做限定。
声音信号的处理设备1中的第二骨传导传感器20的数量可以为一个或多个,每个第二骨传导传感器20不与发声者接触,第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度。例如,声音信号的处理设备1表现为帽子,第二骨传导传感器20可以固定于帽子的帽檐上。可选地,第二骨传导传感器20可以固定于帽子的帽檐后部;其中,第二骨传导传感器20可以固定于帽檐后部的正中位置,或者,也可以固定于帽檐后部的其他位置上。
进一步地,第二骨传导传感器20可以与帽子的帽檐后部硬连接,例如,可以利用螺丝和螺母将第二骨传导传感器20固定于帽檐后部;又例如,可以利用粘结剂将第二骨传导传感器20固定于帽檐后部等的,此处不对连接方式进行穷举。或者,第二骨传导传感器20也可以与帽子的帽檐后部软连接,例如,可以利用铜绞线、镀锡铜或其他材料等柔性的连接带将第二骨传导传感器20固定于帽子的帽檐后部,该柔性连接带的一端粘连在帽檐后部,另一端连接第二骨传导传感器20等等,此处不做穷举。为了更直观地理解本方案,请参阅图2,图2为本申请实施例提供的声音信号的处理设备的一种结构示意图,图2中以声音信号的处理设备1为帽子为例,如图所示,图2中的一个第一骨传导传感器10位于帽子内村的前部的正中位置,另一个第一骨传导传感器10的位置与用户的耳朵位置对应,第二骨传导传感器20固定于帽子的帽檐后部,应理解,图2中的示例仅为方便理解本方案,不用于限定本方案。本申请实施例中,帽子的帽檐与发声者不接触,则固定于帽子的帽檐后部的第二骨传导传感器和发声者也不接触;由于发声者是朝向帽檐前部,将第二骨传导传感器固定与帽檐后部,有利于进一步拉大第二骨传导传感器与发声者之间的距离,以进一步降低第二骨传导传感器采集到有效的语音信号的概率,以避免在利用第二声音信号对第一声音信号进行降噪的过程中,将第一声音信号中有效的语音信号消除或削弱的可能性,以得到更为优质的第一声音信号。
又例如,声音信号的处理设备1表现为耳机,耳机的两个耳筒之间存在连接带,第二骨传导传感器20可以与该连接带软连接等等,此处不做穷举。为了更直观地理解本方案,请参阅图3,图3为本申请实施例提供的声音信号的处理设备的一种结构示意图,图3中以声音信号的处理设备1为耳机为例,如图所示,第一骨传导传感器10和第二骨传导传感器20均可以与耳机的连接带连接,第一骨传导传感器10可以与用户的下颌骨位置对应,第二骨传导传感器20可以与耳机的连接带软连接,应理解,图3中的示例仅为方便理解本方案,不用于限定本方案。
又例如,为了将VR设备或护目镜等眼罩形式的声音信号的处理设备1固定于用户头上,
声音信号的处理设备1可以包括连接带,通过调节该连接带来调整声音信号的处理设备1的佩戴松紧度,第二骨传导传感器20可以与眼罩的连接带软连接;或者,第二骨传导传感器20可以与VR设备的外壳体软连接等等,此处不做穷举。为了更直观地理解本方案,请参阅图4,图4为本申请实施例提供的声音信号的处理设备的一种结构示意图,图4中以声音信号的处理设备1为VR设备为例,如图所示,图4中的一个第一骨传导传感器10固定于VR设备的鼻托区域,另一个第一骨传导传感器10位于VR设备的内侧的左侧区域,第二骨传导传感器20与VR设备的外壳体软连接,应理解,图4中的示例仅为方便理解本方案,不用于限定本方案。需要说明的是,声音信号的处理设备1、第一骨传导传感器10和第二骨传导传感器20的具体产品形态均可以结合实际应用场景确定,此处不做限定。
可选地,请参阅图5,图5为本申请实施例提供的声音信号的处理设备的一种结构示意图,声音信号的处理设备1还可以包括处理器30,例如,处理器30包括同步处理芯片,处理器30控制第一骨传导传感器10和第二骨传导传感器20均在第一时间进行声音采集。
可选地,处理器30还用于利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
可选地,声音信号的处理设备1还可以包括通讯模块40,通讯模块40用于与其他通信设备进行通信连接;前述通信方式可以为有线通信或无线通信,例如,通讯模块40具体可以表现为蓝牙通讯模块或其他方式的通讯模块等,此处不做穷举;例如,其他通信设备可以为手机、平板电脑、笔记本电脑、物联网设备或其他类型的通信设备等等,具体可以结合实际应用场景灵活确定,此处不做限定。
在一种实现方式中,通讯模块40可以向其他通信设备发送降噪后的第一声音信号。在另一种实现方式中,通讯模块40可以向其他通信设备发送第一声音信号和第二声音信号,以通过其他通信设备的处理器执行“利用第二声音信号对第一声音信号进行降噪”。
可选地,声音信号的处理设备1还可以包括扬声器50,通讯模块40用于接收其他通信设备发送的声音信号,并通过扬声器50传输给声音信号的处理设备1的佩戴者。例如,扬声器50可以为骨传导扬声器或其他类型的扬声器等,此处不做穷举。进一步可选地,若扬声器50具体表现为骨传导扬声器。可选地,扬声器50可以包括至少两个骨传导扬声器,至少两个骨传导扬声器中不同的骨传导扬声器可以固定于声音信号的处理设备1的不同位置上也即与佩戴者的不同位置接触。例如一个骨传导扬声器可以与佩戴者的如下任意一个位置接触:耳后的突起区域、耳甲区域、耳轮区域或其他区域等等,此处不做穷举。至少两个骨传导扬声器可以择一使用,也可以同时使用等,具体可以结合实际应用场景确定,此处不做限定。
例如,至少两个骨传导扬声器可以包括第一骨传导扬声器和第二骨传导扬声器。若声音信号的处理设备1可以为帽子,第一骨传导扬声器和第二骨传导扬声器均可以固定于帽子的内衬的传感器架构上。示例性地,第一骨传导扬声器可以与佩戴者耳内的耳甲区域接触,第二骨传导扬声器可以与佩戴者耳后的突起位置接触等,需要说明的是,此处举例仅为证明本方案的可实现性,若声音信号的处理设备1具体表现为耳罩、眼罩或其他产品形态,则扬声器50的数量和固定位置可以根据实际产品形态灵活设定,此处不做穷举。
需要说明的是,在实际应用场景中,声音信号的处理设备1可以包括更多或更少的组件,上述对声音信号的处理设备1的介绍仅为方便理解本方案,不用于限定本方案。下面开始对本申请实施例提供的声音信号的处理方法的具体实现流程进行描述。
具体的,请参阅图6,图6为本申请实施例提供的声音信号的处理方法的一种流程示意图,本申请实施例提供的声音信号的处理方法可以包括步骤601至603。
步骤601,通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号,第一骨传导传感器与发声者接触。
本申请实施例中,处理器可以通过至少一个第一骨传导传感器中的每个第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号,第一骨传导传感器与发声者接触。
若至少一个第一骨传导传感器中第一骨传导传感器的数量为至少两个,则处理器可以通过至少两个第一骨传导传感器中的每个第一骨传导传感器在第一时间采集一个第三声音信号,得到与至少两个第一骨传导传感器一一对应的至少两个第三声音信号。处理器可以根据至少两个第三声音信号,获取第一声音信号。其中,第三声音信号的横坐标可以为时间,第三声音信号的纵坐标可以为幅值。例如,第三声音信号的横坐标可以为采样点、时间点或其他类型的时间刻度等,时间点的刻度单位可以为秒、毫秒或其他粒度的单位等等,第三声音信号的表现形式可以结合实际应用场景确定,此处不做限定。
处理器可以通过多种方式实现“根据至少两个第三声音信号,确定第一声音信号”。在一种实现方式中,处理器可以对至少两个第三声音信号加权求和,得到第一声音信号。
可选地,处理器在得到至少两个第三声音信号之后,还可以根据至少两个第一骨传导传感器采集的至少两个第三声音信号的能量,对至少两个第三声音信号进行筛选,得到筛选后的至少一个第三声音信号。具体的,处理器可以从至少两个第一骨传导传感器采集的至少两个第三声音信号中舍弃至少一个目标声音信号,得到筛选后的至少一个第三声音信号,每个目标声音信号的能量满足第一条件;处理器,具体用于根据筛选后的至少一个第三声音信号,获取第一声音信号。
其中,一个声音信号的能量可以反映该声音信号的强弱程度,若采集到的声音信号越微弱,则该声音信号的能量越低;若采集到的声音信号的越强,则该声音信号的能量越高。处理器可以为仅对筛选后的至少一个第三声音信号加权求和,得到第一声音信号,以实现将目标声音信号舍弃;或者,处理器也可以在对获取到的至少两个第三声音信号加权求和时,每个目标声音信号的权重设置为0,以实现将目标声音信号舍弃等,此处不做穷举。
本申请实施例中,由于在声音信号的处理设备的佩戴过程中,可能会出现某个第一骨传导传感器与发声者贴合不紧密的情况,通过前述第一骨传导传感器采集到的一个第三声音信号中携带的发声者的声音会很微弱,基于声音信号的能量能够从至少两个第三声音信号中确定出微弱的目标声音信号,进而将目标声音信号舍弃,有利于提高最终得到的第一声音信号的质量,进而有利于提高降噪后的第一声音信号的质量。
处理器可以通过多种方式来判断任意一个第三声音信号(为方便描述,后续称为“第五声音信号”)是否满足第一条件。在一种实现方式中,处理器可以获取至少两个第三声音信号中除第五声音信号之外的至少一个第三声音信号的能量的第一平均值;处理器可以判
断第五声音信号的能量与第一平均值之间的差距是否满足第一条件,若判断结果为是,则将第五声音信号确定为需要舍弃的目标声音信号,若判断结果为否,则确定第五声音信号不需要舍弃。处理器对至少两个第三声音信号中的每个第三声音信号均执行前述操作,得到筛选后的至少一个第三声音信号。
处理器可以通过多种方式来生成一个声音信号的能量。在一种实现方式中,处理器可以在一个声音信号中获取与H+1个连续的采样点一一对应的H+1个幅值,将前述H+1个幅值中最大值和最小值之间的差值的平方确定为一个声音信号的能量,H为大于或等于1的整数。在另一种实现方式中,处理器可以在一个声音信号中获取与H+1个连续的采样点一一对应的H+1个幅值,将前述H+1个幅值的方差确定为一个声音信号的能量等,处理器还可以采用其他方式来计算每个声音信号的能量,此处不做穷举。
例如,H+1个连续的采样点可以为一个声音信号中当前时刻之前的H+1个连续的采样点,也可以为一个声音信号中从当前时刻之后的H+1个连续的采样点,也可以为从一个声音信号中随机获取的H+1个连续的采样等等,具体H+1个连续的采样点的获取可以结合实际应用场景确定,此处不做限定。
“第五声音信号的能量与第一平均值之间的差距”可以为第五声音信号的能量与第一平均值之间的差值,第一条件可以为第五声音信号的能量与第一平均值之间的差值大于或等于第一阈值;其中,第一阈值可以为第一平均值乘以预设比例,例如,预设比例可以为百分之八十、百分之九十或其他取值等,或者,第一阈值也可以为预先存储在处理器中等。或者,“第五声音信号的能量与第一平均值之间的差距”可以为第五声音信号的能量与第一平均值之间的比值,第一条件可以为第五声音信号的能量与第一平均值之间的比值小于或等于第二阈值,例如第二阈值的取值可以为百分之十、百分之五或其他取值等,此处不对第一条件进行穷举。
为更直观地理解本方案,以下公开了判断任意一个第三声音信号是否满足第一条件的公式的一个示例:
其中,M代表至少两个第三声音信号中第三声音信号的个数为M个,代表M个第三声音信号的第k个第三声音信号(也即任意一个第三声音信号)中与连续的H+1个采样点一一对应的H+1个幅值中最大值与最小值之间的差值,代表的平方,第k个第三声音信号中与连续的H+1个采样点一一对应的H+1个幅值构成的集合包括{dk(n-H),dk(n-H+1),dk(n-H+2),...,dk(n)},的含义与的含义类似,可参阅理解,S代表第五声音信号的能量与第一平均值之间的差值,应理解,式(1)中的示例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,处理器中可以配置有第三阈值,第一条件包括第五声音信号的
能量小于或等于第三阈值。则处理器可以判断第五声音信号的能量是否小于或等于第三阈值,若判断结果为是,则将第五声音信号确定为需要舍弃的目标声音信号,若判断结果为否,则确定第五声音信号不需要舍弃。处理器对至少两个第三声音信号中的每个第三声音信号均执行前述操作,得到筛选后的至少一个第三声音信号。
处理器在对至少两个第三声音信号(或者至少一个筛选后的第三声音信号)进行加权求和时,不同的第三声音信号(或筛选后的第三声音信号)的权重值可以不同;或者,不同的第三声音信号(或筛选后的第三声音信号)的权重值可以相同,也即处理器对至少两个第三声音信号(或者至少一个筛选后的第三声音信号)进行平均,得到第一声音信号。例如,至少两个第三声音信号(或者至少一个筛选后的第三声音信号)中每个第三声音信号(或筛选后的第三声音信号)的权重值可以为1。本申请实施例中,由于每个第三声音信号均在第一时间采集到的,也即不同的第一骨传导传感器是同步采集第三声音信号的,因此,多个第三声音信号之间可以视为是同步的(也即对齐的),将多个第三声音信号进行加权是具有可行性的,且提供了一种简单有效的实现方案;由于每个第三声音信号中都存在硬件噪声,前述硬件噪声为高斯噪声,不同的第三声音信号加权后,其中的高斯噪声的能量不会增加,但声音信号中有效的语音信号的能量得到了增加,从而有利于提高第一声音信号的信噪比。
采用将至少两个第三声音信号(或者至少一个筛选后的第三声音信号)进行平均的方式,得到第一声音信号,则若至少两个第三声音信号(或者至少一个筛选后的第三声音信号)中存在X个信号,将前述X个信号进行平均后,第一声音信号中的高斯噪声变成了第三声音信号中的高斯噪声的1/X,有利于最大程度的降低硬件噪声带来的影响。
在另一种实现方式中,处理器也可以将至少两个第三声音信号中的一个第三声音信号确定为第一声音信号。例如,将至少两个第三声音信号中能量最大的一个第三声音信号确定为第一声音信号;又例如,从至少两个第三声音信号中随机选取一个第一声音信号等,此处不做穷举。若至少一个第一骨传导传感器中第一骨传导传感器的数量为一个,则步骤601可以包括:处理器通过一个第一骨传导传感器在第一时间采集到一个第一声音信号。
步骤602,通过第二骨传导传感器在第一时间采集第二声音信号,第二骨传导传感器与发声者不接触,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度。
本申请实施例中,处理器可以通过至少一个第二骨传导传感器中的每个第二骨传导传感器在第一时间采集一个第二声音信号,得到与至少一个第二骨传导传感器一一对应的至少一个第二声音信号,第二骨传导传感器与发声者不接触,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度,对于第二骨导传感器在声音信号的处理设备中的位置以及朝向可以参阅上述实施例中的描述,此处不做赘述。
若至少一个第二骨传导传感器中第二骨传导传感器的数量为一个,则处理器可以通过一个第二骨传导传感器在第一时间采集到一个第二声音信号。若至少一个第二骨传导传感器中第二骨传导传感器的数量为至少两个,则处理器可以从至少两个第二声音信号中选取
用于执行降噪操作的一个第二声音信号。
步骤603,利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
本申请实施例中,处理器可以采用多种方式执行“利用第二声音信号对第一声音信号进行降噪”的步骤。在一种实现方式中,处理器可以将目标时间段内的第二声音信号和目标时间段内的第一声音信号输入第一神经网络,得到降噪后的目标时间段内的第一声音信号;进而可以对下一个目标时间段内的第一声音信号进行降噪。第一神经网络为执行过训练操作的神经网络,目标时间段的取值可以为1秒、3秒、5秒或其他时长等,此处不做限定。
在另一种实现方式中,处理器可以从第二声音信号中获取第四声音信号,并利用第四声音信号对第一声音信号进行降噪。其中,第四声音信号包括第一窄带噪声(narrow-band noise),例如,第一窄带噪声可以为周期性的窄带噪声。进一步地,窄带噪声具有中心频率和带宽,窄带噪声的频带的带宽可以远远小于窄带噪声的中心频率,例如,窄带噪声的频带的带宽可以为窄带噪声的中心频率的百分之三十、百分之二十五、百分之二十、百分之十五、百分之十、百分之五或其他数值等等,应理解,此处举例仅为方便理解“窄带噪声”的概念,具体“某一个窄带噪声的频带的带宽”和“该窄带噪声的中心频率”之间的关系可以根据实际环境灵活确定,此处不做限定。
周期性的窄带噪声指的是第四声音信号中的第一窄带噪声中存在周期性的多个声波,相同的窄带噪声的中心频率和带宽均相似或相同。在部分应用场景中,一个第四声音信号中可能会存在两个不同的周期性的窄带噪声,不同的窄带噪声指的是中心频率和/或带宽不同,具体第四声音信号中携带的窄带噪声的情况是基于实际应用环境确定的,此处不做限定。为更直观地理解本方案,请参阅图7,图7为本申请实施例提供的第二声音信号和第四声音信号的一种示意图。图7中以公开第二声音信号和第四声音信号的频域图为例,图7的左子示意图和右子示意图中的每个宽条均代表窄带噪声,如图所示,窄带噪声存在中心频率,带宽也较为集中,窄带噪声的频带的带宽远远小于窄带噪声的中心频率。图7的左子示意图中还携带少量的语音信号,语音信号和窄带噪声不同,语音信号的波所跨越的频率比较宽,图7的左子示意图中2000Hz以内的部分有断断续续的跨越很宽的频率的波,需要说明的是,由于图7提供的是灰度图,没有彩图中明显。对比图7的左子示意图和右子示意图可以看出,对第二声音信号处理后,第四声音信号中的窄带噪声得到增强,且第二声音信号中的语音信号被削弱,应理解,图7中的示例仅为方便理解“从第二声音信号中获取第一窄带噪声”这一概念,不用于限定本方案。
处理器可以采用多种方式从第二声音信号中获取第四声音信号。在一种实现方式中,处理器可以采用自适应滤波器,从第二声音信号中获取第四声音信号,第四声音信号包括第一窄带噪声;例如,该自适应滤波器可以为线性的自适应滤波器。具体的,处理器可以将延迟了D个采样点的第二声音信号输入前述线性的自适应滤波器,得到前述线性的自适应滤波器输出的第四声音信号。本申请实施例中,采用自适应滤波器从第二声音信号中获取第四声音信号,不仅提供了从第二声音信号中获取第四声音信号的一种较为简单的实现方案,且能够自适应的实时处理第二声音信号,从而能够满足通话等对实时性要求比较高
的场景,有利用扩展本方案的实现场景。
其中,自适应滤波器是能够根据输入的声音信号自动调整性能,以进行数字信号处理的滤波器,自适应滤波器的系数是可自适应调整的。例如自适应滤波器中的系数的个数为L个,L为大于或等于1的整数。例如,D的取值为L的整数倍,可选地,D的取值可以等于L,或者,D的取值可以等于2L,以降低对设备性能的影响。为了更直观地理解本方案,以下以公开了采用线性的自适应滤波器获取第四声音信号的公式的一个示例:
eLP(n)=Xback(n)-xLP(n); (3)
hj(n+1)=hj(n)+μLPeLP(n)Xback(n-D-j); (4)
eLP(n)=Xback(n)-xLP(n); (3)
hj(n+1)=hj(n)+μLPeLP(n)Xback(n-D-j); (4)
其中,xLP(n)代表自适应滤波器输出的第四声音信号中的值,hj(n)代表自适应滤波器中的系数,指的是将Xback(n-D)输入系数个数为L个的自适应滤波器中,通过该自适应滤波器执行卷积操作,Xback(n-D)指的是延迟了D个采样点的第二声音信号,例如,当想要输入Xback(1)时,n的取值为D+1,也即获取第二声音信号中第D+1个采样点的幅值。公式(3)指的是自适应滤波器的代价函数,Xback(n)代表第二声音信号,eLP(n)代表自适应滤波器的输入和输出之间的误差,对自适应滤波器的参数进行更新的目的包括使误差不断减小。hj(n+1)指的是当处理Xback(n-D)中的下一个值时上述自适应滤波器的系数,μLP代表自适应滤波器的系数的更新步长。需要说明的是,公式(2)至(4)为基于最小均方误差(least mean square,LMS)算法的思想对自适应滤波器进行系数更新时所采用的公式,在其他实施例中,还可以基于递推最小二乘(recursive least square,RLS)算法或其他自适应算法的思想对自适应滤波器进行系数更新,此处举例仅为证明本方案的可实现性,不用于限定本方案。
在另一种实现方式中,处理器可以将第二声音信号输入第二神经网络,得到第二神经网络输出的第四声音信号,第二神经网络为执行过训练操作的神经网络等;或者,处理器还可以利用其他算法,从第二声音信号中获取周期性的窄带噪声,此处不一一进行穷举。
本申请实施例中,当环境中的窄带噪声的分贝过高时能够穿透骨传导传感器,从而使得骨传导传感器中携带有环境中的窄带噪声,当发声者处于厂房、电子设备、煤矿周围等场景时,发动机、电子设备等能够产生高分贝的窄带噪声,导致高分贝的窄带噪声会穿透骨传导传感器,给采集到的第一声音信号造成干扰;由于第二骨传导传感器是不与发声者接触的,则第二声音信号中存在环境中的窄带噪声,从第二声音信号中获取环境中的窄带噪声,并对第一声音信号进行降噪,从而能够在厂房、电子设备、煤矿等场景中获取到较为干净的语音信号,也即本方案能够适应厂房、电子设备、煤矿等强噪声的应用场景。
在利用第四声音信号对第二声音信号进行降噪的过程中。处理器可以对第四声音信号
的幅度和/或相位进行调整,得到更新后的第四声音信号,也即对第四声音信号中的第一窄带噪声的幅度和/或相位进行调整,得到第二窄带噪声;利用更新后的第四声音信号对第一声音信号进行降噪,也即利用第二窄带噪声对第一声音信号进行降噪。
本申请实施例中,由于第一窄带噪声中的周期性的窄带噪声的幅度和第一声音信号中的周期性的窄带噪声的幅度可能不同,对第四声音信号的幅度进行调整,有利于提高更新后的第四声音信号中的第二窄带噪声和第一声音信号中的周期性的窄带噪声的幅度的一致性,有利于提高降噪后的第一声音信号的质量。对第四声音信号的相位进行调整,有利于实现更新后的第四声音信号中的第二窄带噪声和第一声音信号中的周期性的窄带噪声在相位这个维度上的对齐,有利于提高降噪后的以声音信号的质量。
处理器可以采用多种方式实现“利用更新后的第四声音信号对第一声音信号进行降噪”。在一种实现方式中,处理器可以将第一声音信号和更新后的第四声音信号相减,得到降噪后的第一声音信号。在另一种实现方式中,处理器可以获取更新后的第四声音信号的反相信号,将第一声音信号和前述反相信号相加,得到降噪后的第一声音信号。
处理器可以采用多种方式实现“对第四声音信号的幅度和/或相位进行调整”。在一种实现方式中,处理器可以将第四声音信号和第一声音信号输入自适应噪声抵消器,得到自适应噪声抵消器输出的更新后的第四声音信号,也即将第四声音信号中的第一窄带噪声和第一声音信号输入自适应噪声抵消器,得到自适应噪声抵消器输出的更新后的第四声音信号,更新后的第四声音信号中包括第二窄带信号。自适应噪声抵消器是自适应滤波器的一种应用方式,也即自适应噪声抵消器可以是一种自适应滤波器。本申请实施例中,采用自适应噪声抵消器对第四声音信号的幅度和/或相位进行调整,也即采用自适应噪声抵消器对第四声音信号中的第一窄带信号的幅度和/或相位进行调整,提供了一种较为简单的实现方案,且能够自适应的实时处理第一窄带信号,从而能够满足通话等对实时性要求比较高的场景,有利用扩展本方案的实现场景。
为了更直观地理解本方案,以下以公开了采用自适应噪声抵消器对第四声音信号的幅度和/或相位进行调整的公式的一个示例:
wi(n+1)=wi(n)+μPxLMSePxLMS(n)xLP(n-i); (7)
wi(n+1)=wi(n)+μPxLMSePxLMS(n)xLP(n-i); (7)
其中,yPxLMS(n)代表自适应噪声抵消器输出的更新后的第四声音信号中的值,wi(n)代表自适应噪声抵消器中的系数,代表将xLP(n)输入系数个数为T个的自适应噪声抵消器中,通过该自适应噪声抵消器执行卷积操作,例如,T的取值和L的取值相等。代表自适应噪声抵消器的代价函数,代表第一声音信号,ePxLMS(n)代表第一声音信号和yPxLMS(n)之间的差值。wi(n+1)指的是当处理xLP(n)中的下一个值时上述自适应噪声抵消器的系数,μPxLMS代表自适应噪声抵消器的系
数的更新步长,对自适应噪声抵消器的系数进行更新的目标包括使得ePxLMS(n)能够作为语音交流时的纯净语音。需要说明的是,公式(5)至(7)为基于LMS算法的思想对自适应噪声抵消器进行系数更新时所采用的公式,在其他实施例中,还可以基于RLS算法或其他自适应算法的思想对自适应噪声抵消器进行系数更新,此处举例仅为证明本方案的可实现性,不用于限定本方案。
在另一种实现方式中,处理器也可以将第二声音信号和第一声音信号输入第三神经网络,通过第三神经网络对第四声音信号的幅度和/或相位进行调整,得到第三神经网络输出的更新后的第四声音信号,更新后的第四声音信号包括第二窄带信号,第三神经网络为执行过训练操作的神经网络;或者,处理器还可以利用其他算法对第四声音信号的幅度和/或相位进行调整,此处不一一进行穷举。
为更直观地理解本方案,请参阅图8,图8为本申请实施例提供的第一声音信号和降噪后的第一声音信号的一种对比示意图。图8包括左和右两个子示意图,图8的左子示意图代表第一声音信号,图8的右子示意图代表降噪后的第一声音信号,图8中以示出第一声音信号和降噪后第一声音信号的频域图为例,图8的左子示意图和图8的右子示意图中横坐标均为时间,纵坐标为频率。先参阅图8的左子示意图,第一声音信号中存在很多与横轴平行的宽条(也即图8中示出的环境噪声),每个宽条存在中心频率和带宽,每个宽条可以视为一种窄带噪声;图8的左示意图示出的第一声音信号中还存在语音信号(如图8中1000Hz以内的波),语音信号的波跨越的频率比较宽,不同于窄带噪声,语音信号没有明显的中心频率和带宽;需要说明的是,不同的宽条的灰度不同代表第一声音信号中不同的窄带噪声的能量不同。对比图8的左子示意图和右子示意图,降噪后的第一声音信号中的环境噪声被大大消除,且语音信号更为明显,应理解,图8中的示例仅为方便理解本方案,不用于限定本方案。
在图1a至图8所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。本申请实施例还提供了一种声音信号的处理设备1,声音信号的处理设备1包括第一骨导传感器10和第二骨导传感器20。第一骨传导传感器10与发声者接触,第一骨传导传感器10用于在第一时间进行声音采集,以得到第一声音信号;第二骨传导传感器20不与发声者接触,第二骨传导传感器20用于在第一时间采集第二声音信号,其中,第二声音信号用于对第一声音信号进行降噪,第二骨传导传感器20在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度。
可选地,声音信号的处理设备1还包括处理器30,处理器30用于从第二声音信号中获取第一窄带信号,利用第一窄带信号对第一声音信号进行降噪,窄带噪声的频带的带宽小于窄带噪声的中心频率。
可选地,处理器30,具体用于采用自适应滤波器,从第二声音信号中获取第一窄带信号。
可选地,处理器30,具体用于对第一窄带信号的幅度和/或相位进行调整,得到第二窄带噪声,利用第二窄带噪声对第一声音信号进行降噪。
可选地,处理器30,具体用于将第一窄带信号和第一声音信号输入自适应噪声抵消器,得到自适应噪声抵消器输出的第二窄带噪声。
可选地,声音信号的处理设备为帽子,第二骨传导传感器20固定于帽子的帽檐后部。
可选地,第一骨传导传感器10的数量为至少两个,每个第一骨传导传感器10,具体用于在第一时间采集第三声音信号。声音信号的处理设备1还包括处理器30,处理器30用于根据至少两个第一骨传导传感器10采集的至少两个第三声音信号的能量,对至少两个第三声音信号进行筛选,得到筛选后的至少一个第三声音信号;处理器30,具体用于根据筛选后的至少一个第三声音信号,获取第一声音信号。
可选地,第一骨传导传感器10的数量为至少两个,每个第一骨传导传感器10,具体用于在第一时间采集第三声音信号。设备还包括处理器30,处理器30用于根据至少两个第一骨传导传感器10采集的至少两个第三声音信号,执行加权求和操作,得到第一声音信号。
可选地,处理器30,具体用于根据至少两个第一骨传导传感器10采集的至少两个第三声音信号,执行平均操作,得到第一声音信号。
需要说明的是,声音信号的处理设备1的具体结构可以参阅上述图1a至图8对应实施例中的描述,声音信号的处理设备1中各模块/单元之间的信息交互、执行过程等内容,与本申请中上述图1a至图8对应的各个实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
请参阅图9,图9为本申请实施例提供的帽子的一种结构示意图。帽子可以包括第一骨导传感器10和第二骨导传感器20,第一骨传导传感器10与发声者接触,第二骨传导传感器20不与发声者接触,固定于帽子的帽檐后部。
可选地,第一骨传导传感器10用于在第一时间进行声音采集,以得到第一声音信号;第二骨传导传感器20,用于在第一时间采集第二声音信号;帽子还包括:处理器30,用于利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
需要说明的是,帽子1的具体结构、帽子中各模块/单元之间的信息交互、执行过程等内容,与本申请中上述各个实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
请参阅图10,图10为本申请实施例提供的种声音信号的处理装置的一种结构示意图,声音信号的处理装置1000包括获取模块1001,用于通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号;获取模块1001,用于通过第二骨传导传感器在第一时间采集第二声音信号,其中,第一骨传导传感器与发声者接触,第二骨传导传感器不与发声者接触,第二骨传导传感器在佩戴时的信号采集方向和发声者的发声方向之间的夹角大于或等于预设角度阈值,预设角度阈值大于或等于90度;降噪模块1002,用于利用第二声音信号对第一声音信号进行降噪,得到降噪后的第一声音信号。
可选地,降噪模块1002,具体用于从第二声音信号中获取第一窄带信号,利用第一窄
带信号对第一声音信号进行降噪,窄带噪声的频带的带宽小于窄带噪声的中心频率。
可选地,降噪模块1002,具体用于对第一窄带信号的幅度和/或相位进行调整,得到更新后的第一窄带信号,利用更新后的第一窄带信号对第一声音信号进行降噪。
可选地,第一骨传导传感器的数量为至少两个,获取模块1001,具体用于:用于根据至少两个第一骨传导传感器采集的至少两个第三声音信号的能量,对至少两个第三声音信号进行筛选,得到筛选后的至少一个第三声音信号;根据筛选后的至少一个第三声音信号,获取第一声音信号。
可选地,第一骨传导传感器的数量为至少两个,获取模块1001,具体用于:通过至少两个第一骨传导传感器在第一时间采集至少两个第三声音信号;根据至少两个第一骨传导传感器采集的至少两个第三声音信号,执行加权求和操作,得到第一声音信号。
需要说明的是,声音信号的处理装置1000中各模块/单元之间的信息交互、执行过程等内容,与本申请中上述各个实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的一种电子设备,请参阅图11,图11为本申请实施例提供的电子设备的一种结构示意图,电子设备1100可以表现为与图1a示出的声音信号的处理设备1通信连接的其他通信设备,例如手机、平板电脑、笔记本电脑或物联网设备等等,此处不做限定。具体的,电子设备1100包括:接收器1101、发射器1102、处理器1103和存储器1104(其中电子设备1100中的处理器1103的数量可以一个或多个,图11中以一个处理器为例),其中,处理器1103可以包括应用处理器11031和通信处理器11032。在本申请的一些实施例中,接收器1101、发射器1102、处理器1103和存储器1104可通过总线或其它方式连接。
存储器1104可以包括只读存储器和随机存取存储器,并向处理器1103提供指令和数据。存储器1104的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。存储器1104存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1103控制电子设备的操作。具体的应用中,电子设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1103中,或者由处理器1103实现。处理器1103可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1103可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1103可以实现或
者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1104,处理器1103读取存储器1104中的信息,结合其硬件完成上述方法的步骤。
接收器1101可用于接收输入的数字或字符信息,以及产生与电子设备的相关设置以及功能控制有关的信号输入。发射器1102可用于通过第一接口输出数字或字符信息;发射器1102还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1102还可以包括显示屏等显示设备。
本申请实施例中,处理器1103中的应用处理器11031,用于执行上述各个方法实施例中的处理器执行的声音信号的处理方法。需要说明的是,应用处理器11031执行前述各个步骤的具体方式,与本申请中个方法实施例基于同一构思,其带来的技术效果与本申请中各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图6至图8所示实施例描述的方法中处理器所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述图6至图8所示实施例描述的方法中处理器所执行的步骤。
本申请实施例提供的声音信号的处理装置以及电子设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使芯片执行上述图6至图8所示实施例描述的声音信号的处理方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软
件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (22)
- 一种声音信号的处理设备,其特征在于,所述设备包括:第一骨传导传感器,所述第一骨传导传感器与发声者接触,用于在第一时间进行声音采集,以得到第一声音信号;第二骨传导传感器,所述第二骨传导传感器不与发声者接触,用于在所述第一时间采集第二声音信号,其中,所述第二声音信号用于对所述第一声音信号进行降噪,所述第二骨传导传感器在佩戴时的信号采集方向和所述发声者的发声方向之间的夹角大于或等于预设角度阈值,所述预设角度阈值大于或等于90度。
- 根据权利要求1所述的设备,其特征在于,所述设备还包括:处理器,用于从所述第二声音信号中获取第一窄带噪声,利用所述第一窄带噪声对所述第一声音信号进行降噪,窄带噪声的频带的带宽小于窄带噪声的中心频率。
- 根据权利要求2所述的设备,其特征在于,所述处理器,具体用于采用自适应滤波器,从所述第二声音信号中获取所述第一窄带噪声。
- 根据权利要求2所述的设备,其特征在于,所述处理器,具体用于对所述第一窄带噪声的幅度和/或相位进行调整,得到第二窄带噪声,利用所述第二窄带噪声对所述第一声音信号进行降噪。
- 根据权利要求4所述的设备,其特征在于,所述处理器,具体用于将所述第一窄带噪声和所述第一声音信号输入自适应噪声抵消器,得到所述自适应噪声抵消器输出的所述第二窄带噪声。
- 根据权利要求1至5任一项所述的设备,其特征在于,所述声音信号的处理设备为帽子,所述第二骨传导传感器固定于所述帽子的帽檐后部。
- 根据权利要求1至5任一项所述的设备,其特征在于,所述第一骨传导传感器的数量为至少两个,每个所述第一骨传导传感器,具体用于在所述第一时间采集第三声音信号;所述设备还包括:处理器,用于根据所述至少两个第一骨传导传感器采集的至少两个所述第三声音信号的能量,对所述至少两个第三声音信号进行筛选,得到筛选后的至少一个所述第三声音信号;所述处理器,具体用于根据所述筛选后的至少一个所述第三声音信号,获取所述第一声音信号。
- 根据权利要求1至5任一项所述的设备,其特征在于,所述第一骨传导传感器的数量为至少两个,每个所述第一骨传导传感器,具体用于在所述第一时间采集第三声音信号;所述设备还包括处理器,用于根据所述至少两个第一骨传导传感器采集的至少两个所述第三声音信号,执行加权求和操作,得到所述第一声音信号。
- 根据权利要求8所述的设备,其特征在于,所述处理器,具体用于根据所述至少两个第一骨传导传感器采集的至少两个所述第三声音信号,执行平均操作,得到所述第一声音信号。
- 一种声音信号的处理方法,其特征在于,所述方法包括:通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号;通过第二骨传导传感器在所述第一时间采集第二声音信号,所述第一骨传导传感器与发声者接触,所述第二骨传导传感器不与发声者接触,其中,所述第二骨传导传感器在佩戴时的信号采集方向和所述发声者的发声方向之间的夹角大于或等于预设角度阈值,所述预设角度阈值大于或等于90度;利用所述第二声音信号对所述第一声音信号进行降噪,得到降噪后的第一声音信号。
- 根据权利要求10所述的方法,其特征在于,所述利用所述第二声音信号对所述第一声音信号进行降噪,包括:从所述第二声音信号中获取第一窄带噪声,利用所述第一窄带噪声对所述第一声音信号进行降噪,窄带噪声的频带的带宽小于窄带噪声的中心频率。
- 根据权利要求11所述的方法,其特征在于,所述利用所述第一窄带噪声对所述第一声音信号进行降噪,包括:对所述第一窄带噪声的幅度和/或相位进行调整,得到第二窄带噪声,利用所述第二窄带噪声对所述第一声音信号进行降噪。
- 根据权利要求10至12任一项所述的方法,其特征在于,所述第一骨传导传感器的数量为至少两个,所述通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号,包括:根据所述至少两个第一骨传导传感器在所述第一时间采集的至少两个第三声音信号的能量,对所述至少两个第三声音信号进行筛选,得到筛选后的至少一个所述第三声音信号;根据所述筛选后的至少一个所述第三声音信号,获取所述第一声音信号。
- 根据权利要求10至12任一项所述的方法,其特征在于,所述第一骨传导传感器的数量为至少两个,所述通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号,包括:通过至少两个所述第一骨传导传感器在所述第一时间采集至少两个第三声音信号;根据所述至少两个第一骨传导传感器采集的至少两个所述第三声音信号,执行加权求和操作,得到所述第一声音信号。
- 一种声音信号的处理装置,其特征在于,所述装置包括:获取模块,用于通过第一骨传导传感器在第一时间进行声音采集,以得到第一声音信号;所述获取模块,用于通过第二骨传导传感器在所述第一时间采集第二声音信号,所述第一骨传导传感器与发声者接触,所述第二骨传导传感器不与发声者接触;降噪模块,用于利用所述第二声音信号对所述第一声音信号进行降噪,得到降噪后的第一声音信号,其中,所述第二声音信号用于对所述第一声音信号进行降噪,所述第二骨传导传感器在佩戴时的信号采集方向和所述发声者的发声方向之间的夹角大于或等于预设角度阈值,所述预设角度阈值大于或等于90度。
- 根据权利要求15所述的装置,其特征在于,所述降噪模块,具体用于从所述第二声音信号中获取第一窄带噪声,利用所述第一窄 带噪声对所述第一声音信号进行降噪,窄带噪声的频带的带宽小于窄带噪声的中心频率。
- 根据权利要求16所述的装置,其特征在于,所述降噪模块,具体用于对所述第一窄带噪声的幅度和/或相位进行调整,得到第二窄带噪声,利用所述第二窄带噪声对所述第一声音信号进行降噪。
- 根据权利要求15至17任一项所述的装置,其特征在于,所述第一骨传导传感器的数量为至少两个,所述获取模块,具体用于:根据所述至少两个第一骨传导传感器在所述第一时间采集的至少两个第三声音信号的能量,对所述至少两个第三声音信号进行筛选,得到筛选后的至少一个所述第三声音信号;根据所述筛选后的至少一个所述第三声音信号,获取所述第一声音信号。
- 根据权利要求15至17任一项所述的装置,其特征在于,所述第一骨传导传感器的数量为至少两个,所述获取模块,具体用于:通过至少两个所述第一骨传导传感器在所述第一时间采集至少两个第三声音信号;根据所述至少两个第一骨传导传感器采集的至少两个所述第三声音信号,执行加权求和操作,得到所述第一声音信号。
- 一种计算机程序产品,其特征在于,当所述计算机程序在计算机上运行时,使得计算机执行如权利要求10至14中任意一项所述的方法。
- 一种计算机可读存储介质,其特征在于,包括程序,当所述程序在计算机上运行时,使得计算机执行如权利要求10至14中任一项所述的方法。
- 一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器耦合,所述存储器,用于存储程序;所述处理器,用于执行所述存储器中的程序,使得所述电子设备执行如权利要求10至14中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211055930.8 | 2022-08-31 | ||
CN202211055930.8A CN117676434A (zh) | 2022-08-31 | 2022-08-31 | 一种声音信号的处理设备、方法以及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024045739A1 true WO2024045739A1 (zh) | 2024-03-07 |
Family
ID=90066846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2023/098338 WO2024045739A1 (zh) | 2022-08-31 | 2023-06-05 | 一种声音信号的处理设备、方法以及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117676434A (zh) |
WO (1) | WO2024045739A1 (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007003702A (ja) * | 2005-06-22 | 2007-01-11 | Ntt Docomo Inc | 雑音除去装置、通信端末、及び、雑音除去方法 |
CN102411936A (zh) * | 2010-11-25 | 2012-04-11 | 歌尔声学股份有限公司 | 语音增强方法、装置及头戴式降噪通信耳机 |
US20140363020A1 (en) * | 2013-06-07 | 2014-12-11 | Fujitsu Limited | Sound correcting apparatus and sound correcting method |
US20190045298A1 (en) * | 2018-01-12 | 2019-02-07 | Intel Corporation | Apparatus and methods for bone conduction context detection |
CN109640234A (zh) * | 2018-10-31 | 2019-04-16 | 深圳市伊声声学科技有限公司 | 一种双骨导传声器及噪音去除实现方法 |
CN113421583A (zh) * | 2021-08-23 | 2021-09-21 | 深圳市中科蓝讯科技股份有限公司 | 降噪方法、存储介质、芯片及电子设备 |
-
2022
- 2022-08-31 CN CN202211055930.8A patent/CN117676434A/zh active Pending
-
2023
- 2023-06-05 WO PCT/CN2023/098338 patent/WO2024045739A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007003702A (ja) * | 2005-06-22 | 2007-01-11 | Ntt Docomo Inc | 雑音除去装置、通信端末、及び、雑音除去方法 |
CN102411936A (zh) * | 2010-11-25 | 2012-04-11 | 歌尔声学股份有限公司 | 语音增强方法、装置及头戴式降噪通信耳机 |
US20140363020A1 (en) * | 2013-06-07 | 2014-12-11 | Fujitsu Limited | Sound correcting apparatus and sound correcting method |
US20190045298A1 (en) * | 2018-01-12 | 2019-02-07 | Intel Corporation | Apparatus and methods for bone conduction context detection |
CN109640234A (zh) * | 2018-10-31 | 2019-04-16 | 深圳市伊声声学科技有限公司 | 一种双骨导传声器及噪音去除实现方法 |
CN113421583A (zh) * | 2021-08-23 | 2021-09-21 | 深圳市中科蓝讯科技股份有限公司 | 降噪方法、存储介质、芯片及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117676434A (zh) | 2024-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110741654B (zh) | 耳塞语音估计 | |
US20190297435A1 (en) | Hearing aid device for hands free communication | |
US9240195B2 (en) | Speech enhancing method and device, and denoising communication headphone enhancing method and device, and denoising communication headphones | |
CN107645697B (zh) | 用作回声消除器的自适应滤波器单元 | |
JP6150988B2 (ja) | 特に「ハンズフリー」電話システム用の、小数遅延フィルタリングにより音声信号のノイズ除去を行うための手段を含むオーディオ装置 | |
US20140029762A1 (en) | Head-Mounted Sound Capture Device | |
CN111131947B (zh) | 耳机信号处理方法、系统和耳机 | |
CN110010143B (zh) | 一种语音信号增强系统、方法及存储介质 | |
WO2021128670A1 (zh) | 降低噪声的方法、装置、电子设备及可读存储介质 | |
US11232777B2 (en) | Information processing device | |
CN111464918B (zh) | 耳机及耳机组 | |
CN111901737A (zh) | 一种基于智能终端的助听器参数自适应方法 | |
US10565976B2 (en) | Information processing device | |
WO2021129197A1 (zh) | 一种语音信号处理方法及装置 | |
WO2024045739A1 (zh) | 一种声音信号的处理设备、方法以及相关设备 | |
WO2023165565A1 (zh) | 音频增强方法和装置、计算机存储介质 | |
WO2022199354A1 (zh) | 通话音量的调节方法、装置、终端及存储介质 | |
US11533555B1 (en) | Wearable audio device with enhanced voice pick-up | |
CN216119548U (zh) | 一种智能头戴设备 | |
CN113450819A (zh) | 信号处理方法及相关产品 | |
CN111163411A (zh) | 减少干扰音影响的方法及声音播放装置 | |
US10897665B2 (en) | Method of decreasing the effect of an interference sound and sound playback device | |
WO2023077252A1 (zh) | 一种基于FxLMS结构的主动降噪系统、方法及设备 | |
EP4322550A1 (en) | Selective modification of stereo or spatial audio | |
WO2023242348A1 (en) | Audio signal processing method and system for noise mitigation of a voice signal measured by an audio sensor in an ear canal of a user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23858778 Country of ref document: EP Kind code of ref document: A1 |