WO2015180368A1 - 一种半监督语音特征可变因素分解方法 - Google Patents

Abstract

本发明公开了一种半监督语音特征可变因素分解方法，把语音特征分成四类：情感相关特征、性别相关特征、年龄相关特征、包括噪声和语种的其他因素相关特征。首先，对语音进行预处理得到语谱图，不同尺寸的语谱块输入无监督特征学习网络SAE，预训练得到不同尺寸的卷积核，然后分别用不同尺寸的卷积核对整个语谱图进行卷积，得到若干特征映射图，再对特征映射图进行最大池化，最终把特征堆叠起来形成局部不变特征y。y作为半监督卷积神经网络的输入，通过最小化四个不同的损失函数项将y分解成四类特征。本发明解决了情感、性别、年龄语音特征相互混杂导致识别准确率不高的问题，可分别用于基于语音信号的不同识别需求，还可以用于分解更多因素。

Description

一种半监督语音特征可变因素分解方法 技术领域

本发明属于语音识别领域，具体涉及一种语音特征分解的方法。

背景技术

随着计算机渗透到生活的各个角落，各种类型的计算平台都需要更简便的输入媒体，语音当仁不让成为用户最佳的选择之一。一般来说，语音中包括了说话人、说话内容、说话人的情感、性别、年龄等多种信息。近年来，随着一些应用的不断完善，促进了对人的情感、性别、年龄、说话内容等方面的基于语音信号的识别技术的发展。比如传统的呼叫中心通常都会随机的接通服务生来为客户提供电话咨询，而不能够根据用户的情感、性别和年龄提供个性化的服务，这就促使了是否可以通过客户的声音来判断其情感、性别和年龄，并以此为依据提供更加个性化的语音服务。但是在现有的基于语音信号的情感、性别和年龄识别相关任务中，传统的特征提取方法所提取的特征往往掺杂了情感、性别、年龄、说话内容、语言等因素，彼此之间很难区分，从而导致识别效果不佳。

在Dong Yu等、名称为Feature Learning in Deep Neural Networks—Studies on Speech Recognition Tasks的论文中，利用深度神经网络学到一个深层特征，但这个特征可能混杂了很多因素，如情感、性别、年龄等因素，如果把这个特征用于语音情感识别，识别率可能会受特征中其他因素的影响。目前还未出现一种特征提取方法能分别提取语音信号中不同类型的特征。本发明为了克服现有技术的缺陷，通过基于卷积神经网络的半监督特征学习，将语音特征分解成四类：情感相关特征、性别相关特征、年龄相关特征、其他因素相关特征，可分别用于基于语音信号的不同识别需求。本发明进一步拓展以后还可以用于分解更多因素。

发明内容

本发明的目的在于提供一种半监督语音特征可变因素分解方法，使得分解出的特征不受与识别任务无关的因素的干扰，且更显著地体现识别目标类别之间的差异，从而提高识别的准确度。

为了解决以上技术问题，本发明首先对语音进行预处理得到语谱图，然后通过基于卷积神经网络的无监督学习得到局部不变特征，再采用一种半监督学习方法，通过重构误差函数、判别损失函数、正交损失函数、显著性损失函数四个损失函数的约束将无监督学习得到的局部不变特征，分解成四类：情感相关特征、 性别相关特征、年龄相关特征和其他因素相关特征，可分别用于情感识别、性别识别、年龄识别，能有效提高识别准确率。具体技术方案如下：

一种半监督语音特征可变因素分解方法，其特征在于包括下列步骤：

步骤一，预处理：对语音样本进行预处理得到语谱图，再采用PCA进行主成份分析降维以及白化，从中提取出不同尺寸的语谱块；

步骤二，无监督的局部不变特征学习：将所述语谱块作为无监督特征学习SAE的输入，通过输入不同尺寸的语谱块，预训练得到不同尺寸的卷积核，然后分别用所述不同尺寸的卷积核对整个语谱图进行卷积，得到若干特征映射图，再对所述特征映射图进行最大池化，最终把特征堆叠起来形成局部不变特征y；

步骤三，基于卷积神经网络的半监督特征学习：将所述局部不变特征y作为半监督学习算法的输入，利用基于卷积神经网络的半监督学习的方法，通过四个不同的损失函数将将局部不变特征y分解成四类特征；所述四类特征包括情感相关特征、性别相关特征、年龄相关特征、以及包括噪声和语种的其他因素相关特征；所述半监督学习的损失函数由重构误差函数、判别损失函数、正交损失函数、显著性损失函数四部分组成；

对于所述重构误差函数，所述四类特征都要参与重构局部不变特征y，误差采用均方误差；对于所述判别损失函数，先对有标签的数据进行类别预测，然后计算预测标签和真实标签之间的差异作为判别损失函数的值；对于所述正交损失函数，目的是使所述四类特征相互正交，表示输入局部不变特征y的不同的方向；对于所述显著性损失函数，目的是学习到仅体现识别目标类别之间的差异且更具有类别区分性的特征；通过最小化所述损失函数来获得四个损失函数的参数包括偏置和权重，从而得到所述四类特征。

本发明具有有益效果。本发明的半监督特征学习，通过将局部不变特征分解成情感相关特征、性别相关特征、年龄相关特征、其他因素相关特征共四类特征，使得不同类型的特征用于不同的识别需求，避免了不同类型特征之间相互干扰的缺点。特别是半监督学习的损失函数由重构误差函数、判别损失函数、正交损失函数、显著性损失函数四部分组成，使得所学习到的特征能更好地描述识别目标类别之间的差异，不受无关因素的干扰。本发明解决了不同的语音特征混杂在一起从而带来的识别率不高的问题，能有效地提高识别准确率。

附图说明

图1是语音特征分解流程图。

图2是无监督特征学习流程图。

图3是半监督语音特征分解结构图。

具体实施方式

图1给出了本发明方法的总体思路，首先，对语音进行预处理得到语谱图，不同尺寸的语谱块输入无监督特征学习网络SAE，预训练得到不同尺寸的卷积核，然后经过卷积、池化操作，形成局部不变特征y。y作为半监督卷积神经网络的输入，通过最小化四个不同的损失函数项将y分解成四类特征。

预处理后的语音信号被划分成l_i×h_i大小的语谱块，i表示语谱块的个数，不同尺寸的语谱块输入无监督特征学习网络SAE，预训练得到不同尺寸的卷积核，然后分别用不同尺寸的卷积核对整个语谱图进行卷积，得到若干特征映射图，再对特征映射图进行最大池化，最终把特征堆叠起来形成局部不变特征y，如图2所示。y作为半监督卷积神经网络的输入，通过四个不同的损失函数项将y分解成四类特征。半监督的损失函数由重构误差函数、判别损失函数、正交损失函数、显著性损失函数四部分组成。通过最小化损失函数来获得四个损失函数项的参数，从而分解得到四类特征，分别用于不同的识别需求，如图3所示。所有特征均要参加重构，而不同类型的特征参与对应的判别损失函数的约束。

本发明首先对语音进行预处理，利用基于卷积神经网络的无监督学习算法得到一组局部不变特征，然后利用基于卷积神经网络的半监督学习算法把局部不变特征分解成四类特征：情感相关特征、性别相关特征、年龄相关特征、其他因素相关特征。具体的步骤如下：

步骤一，首先把时域信号转化成语谱图，窗尺寸为20ms，有10ms的重叠；然后利用PCA降维以及白化，PCA有60个主成分，最终产生60×n的语谱图。从中提取若干个不重叠的60×15的语谱。对于每个60×15的语谱，从中提取两个尺寸的语谱块，分别为60×6和60×10。

步骤二，将60×6和60×10两种尺寸的语谱块分别输入到SAE，分别学习得到120个和输入尺寸一样大的60×6和60×10的卷积核。然后利用这两个卷积核分别对整个语谱60×15进行卷积，得到120个1×10和120个1×6的特征 映射图，然后每两帧进行最大池化，得到120个1×5和120个1×3的特征。即对于60×6的卷积核得到600个特征，对于60×10的卷积核得到360个特征。这总的960个特征作为半监督的输入。接下来介绍一下无监督特征学习的一般步骤。

自动编码器AE(Auto-Encoder)的目标函数如下：

其中x是输入的语谱块，此处的x是不带标签的。h(x)是编码函数，h(x)＝s(ωx+α)，其中ω是权重矩阵，α是偏置，

g(x)是解码函数，x′＝g(x)＝s(ω^Th(x)+δ)，其中ω^T是ω的转置，δ是偏置。L(x,x′)是损失函数，L(x,x′)＝||x-x′||²，表示均方误差。

而稀疏自编码SAE就是在AE的目标函数上加一项稀疏性损失项。SAE的目标函数如下：

其中，

是一个以ρ为均值和一个以ρ′_j为均值的两个伯努利随机变量之间的相对熵，用来控制稀疏性。

ρ是稀疏性参数，

是隐藏神经元j的平均激活度，n₂是隐藏结点个数，m是输入结点个数。λ是控制稀疏项的参数。

假定有n种不同的输入尺寸，记成l_i×h_i(i＝1,2,…,n)。通过最小化

得到不同的卷积核(ωⁱ,αⁱ)。用卷积核(ωⁱ,αⁱ)对整个语谱图的所有语谱块l_i×h_i进行卷积：

fⁱ(x)＝s(conv(ωⁱ,x)+αⁱ)  (3)

然后把卷积得到的特征映射图分成不重叠的区域，P＝{p₁,p₂,…,p_q}，对每个区域进行最大池化：

对于第i个卷积核，把池化的特征堆叠起来：

把所有卷积核的池化特征堆叠起来，形成局部不变特征y：

y＝F(x)＝[F¹(x),F²(x),…,Fⁿ(x)]  (6)

局部不变特征y作为下面无监督学习的输入。

步骤三，通过上述的无监督学习，获得了局部不变特征y。然后通过基于卷积神经网络的半监督学习(部分输入带有类别标签)，将y分解成四类特征：情感相关特征、性别相关特征、年龄相关特征、其他因素相关特征。无监督学习的损失函数由四个部分构成。

首先，通过四个编码函数h^(e)(y)、h^(s)(y)、h^(a)(y)、h^(o)(y)将y映射成四类特征，分别和情感、性别、年龄、其他因素相关。四个编码函数如下：

h^(e)(y)＝s(Ey+e)  (7)

h^(s)(y)＝s(Sy+s)  (8)

h^(a)(y)＝s(Ay+a)  (9)

h^(o)(y)＝s(Oy+o)  (10)

这四类特征都要参与重构y：

y′＝g([h^(e)(y),h^(s)(y),h^(a)(y),h^(o)(y)])＝s(E^Th^(e)(y)+S^Th^(s)(y)+A^Th^(a)(y)+O^Th^(o)(y)+γ)  (11)

其中，γ是为了靠近y均值的一个补偿参数。

所以，重构误差函数为：

L_RECON(y,y′)＝||y-y′||²  (12)

然后，利用有标签数据来进行类别的预测，输入数据(x,z)，其中x是语谱块，z＝{z₁,z₂,z₃}分别表示情感标签、性别标签、年龄标签。z′＝{z′₁,z′₂,z′₃}分别表示预测的情感标签、性别标签、年龄标签。例如下面公式(13)就是通过U_1j映射h^(e)(y)，来预测情感标签的第j个特征z′_1j。

z′_1j＝s(U_1jh^(e)(y)+b_1j)  (13)

z′_2j＝s(U_2jh^(s)(y)+b_2j)  (14)

z′_3j＝s(U_3jh^(a)(y)+b_3j)  (15)

所以，情感标签、性别标签、年龄标签的判别损失函数分别为：

总的判别损失函数为：

L_DISC(z,z′)＝L_DISCE(z₁,z′₁)+L_DISCS(z₂,z′₂)+L_DISCA(z₃,z′₃)  (19)

其中C₁、C₂、C₃分别表示情感标签、性别标签、年龄标签的类别个数。特别要说明的是这一步情感相关特征受式(14)情感判别惩罚函数的约束，性别相关特征受式(15)性别判别惩罚函数的约束，年龄相关特征受式(16)年龄判别惩罚函数的约束。

此外，为了让h^(e)(y)、h^(s)(y)、h^(a)(y)、h^(o)(y)尽可能地表示y变化的不同方向，比如说要让h^(e)(y)和h^(s)(y)表示不同方向，可以通过让

和

尽可能地正交。正交损失函数为：

最后，可以利用显著性损失函数，使得学习到的四类特征更体现识别目标不同类别之间的可鉴别性且比较稳定。。对于每个输入i的显著性，我们用它的权重的显著性总和来衡量。具体的，对于输入i的显著性如下：

其中φ(i)是和输入i相关的权重集，ω_k是第k个权重，MSE是均方误差。对于h^(e)(y)、h^(s)(y)、h^(a)(y)这三类特征，重构误差和判别损失都要考虑进显著性损失函数，而对于h^(o)(y)，只要考虑重构误差。所以显著性损失函数如下：

所以，重构误差函数、判别损失函数、正交损失函数、显著性损失函数这四部分就构成了总的损失函数。总的损失函数为：

L_LOSS(θ)＝∑_{x∈D,y＝F(x)}L_RECON(y,y′)+βJ_ORTH(y)+∑_(x,z)∈∈L_DISC(z,z′)+ηJ_SAL(y)  (23)

其中D是整个数据集(包括无标签数据和有标签数据)，S是有标签数据集。β调整垂直损失函数的贡献程度，β∈[0,1]。η调整敏感性损失函数的贡献程度，η∈[0,1]。贡献权值参数β，η采用步长为0.1的网格搜索的方法设定。参数θ＝{E,S,A,O,U,e,s,a,o,γ,b}。

通过最小化损失函数来获得四个损失函数的参数权重和偏置，从而分解得到四类特征。

Claims (1)

1. 一种半监督语音特征可变因素分解方法，其特征在于包括下列步骤：

   步骤一，预处理：对语音样本进行预处理得到语谱图，再采用PCA进行主成份分析降维以及白化，从中提取出不同尺寸的语谱块；

   步骤二，无监督的局部不变特征学习：将所述语谱块作为无监督特征学习SAE的输入，通过输入不同尺寸的语谱块，预训练得到不同尺寸的卷积核，然后分别用所述不同尺寸的卷积核对整个语谱图进行卷积，得到若干特征映射图，再对所述特征映射图进行最大池化，最终把特征堆叠起来形成局部不变特征y；

   步骤三，基于卷积神经网络的半监督特征学习：将所述局部不变特征y作为半监督学习算法的输入，利用基于卷积神经网络的半监督学习的方法，通过四个不同的损失函数将将局部不变特征y分解成四类特征；所述四类特征包括情感相关特征、性别相关特征、年龄相关特征、以及包括噪声和语种的其他因素相关特征；所述半监督学习的损失函数由重构误差函数、判别损失函数、正交损失函数、显著性损失函数四部分组成；

   对于所述重构误差函数，所述四类特征都要参与重构局部不变特征y，误差采用均方误差；对于所述判别损失函数，先对有标签的数据进行类别预测，然后计算预测标签和真实标签之间的差异作为判别损失函数的值；对于所述正交损失函数，目的是使所述四类特征相互正交，表示输入局部不变特征y的不同的方向；对于所述显著性损失函数，目的是学习到仅体现识别目标类别之间的差异且更具有类别区分性的特征；通过最小化所述损失函数来获得四个损失函数的参数包括偏置和权重，从而得到所述四类特征。

Images