WO2021046986A1 - 多位宽pe阵列计算位宽的选择方法及计算精度控制电路 - Google Patents

Abstract

一种多位宽PE阵列计算位宽的选择方法及计算精度控制电路，属于计算、推算、计数的技术领域，通过对神经网络最后Softmax层的输出概率值分析以判断输出最大概率的大小来评估网络识别精度，通过设定的两个概率阈值判断输出的最大概率值是否满足计算精度要求，若最大概率值小于最小阈值则采用高位宽处理元件阵列的信号，若最大概率值大于最小阈值小于最大阈值则维持之前的位宽处理元件阵列，若最大概率值大于最大阈值则采用低位宽处理元件阵列的信号，将网络输出的最大概率维持在一定的氛围内，保证网络的识别精度的同时降低功耗。

Description

多位宽PE阵列计算位宽的选择方法及计算精度控制电路 技术领域

本发明公开了多位宽PE阵列计算位宽的选择方法及计算精度控制电路，涉及神经网络的物理实现，属于计算、推算、计数的技术领域。

背景技术

近几年，深度神经网络已成最热门的研究方向。神经网络在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域的应用取得了广泛的成功。经过多年的研究和发展，模式识别已经成为广泛应用于语音识别、指纹识别、遥感图像识别、人脸识别、文字识别、手写字体识别、工业故障检测等方面的先进技术。

神经网络解决多分类问题常用的方法是设置n个输出节点，其中，n为类别的个数。任意事件发生的概率都在0到1之间，且总有某一个事件发生(概率和为1)。Softmax回归可以作为一个学习算法优化分类结果，它是神经网络中的一层额外的处理层，将神经网络的输出变成一个概率分布。

通过简单分析可以得知，当神经网络的识别性能不高时，即没有突出的概率输出，多数概率值相似；而当神经网络的识别性能较高时，网络将输出一个最大的概率值于某个端口。因此，可以通过判断最大的概率评估网络的识别精度，进而决定是否需要对实现神经网络的电路进行计算位宽的调整，可以根据这一特性检测我们对网络计算位宽调整的合理性，并对异常的、不合理的调整进行纠错。

发明内容

本发明的发明目的是为了解决神经网络分类精度随输入数据的改变导致识别精度不合理的技术问题，提出了多位宽PE阵列计算位宽的选择方法及计算精度控制电路，通过分析神经网络输出的概率分布中最大的概率值，评估网络的识别精度，决定是否需要调整网络计算的位宽，尽可能地维持神经网络的识别精度，同时，在保持识别精度的条件下控制整个计算电路的功耗。

本发明为实现上述发明目的采用如下技术方案：

多位宽PE阵列计算位宽的选择方法，神经网络Softmax层输出的概率分布输入到置信度比较模块。置信度比较模块根据输入的概率个数分配相应的置信度 比较单元，再由置信度比较单元两两比较输出最大的概率值。置信度比较模块再将比较出的最大值输给置信度阈值判断模块。置信度阈值判断模块设有一大一小的两个概率阈值，若筛选出的最大的概率值大于较大的概率阈值或小于较小的概率阈值，则阈值比较信号输出为“0”；若筛选出的最大的概率值处于较小的概率阈值和较大的概率阈值之间，则阈值比较信号输出为“1”。位宽动态选择模块根据阈值比较信号判断是否需要更改当前处理元件阵列的计算位宽，若阈值比较信号输出为“1”，则不需要更改位宽；若阈值比较信号输出为“0”，则要更改当前的计算位宽。最后处理元件阵列根据对应的计算位宽进行计算，控制神经网络的识别精度。

本申请还提出了一种实现多位宽PE阵列计算位宽的选择方法的计算精度控制电路，该电路包括：实现概率最大值筛选的置信度比较模块，判断概率最大值与最小阈值及最大阈值的数值关系的置信度阈值判断模块，根据概率最大值与最小阈值及最大阈值的数值关系动态选择满足神经网络识别精度计算位宽的位宽动态选择模块。

进一步地，置信度比较模块是由多个置信度比较单元组成，其功能是将神经网络Softmax层的输出概率值，两两进行对比，输出分类概率中最大的概率值。例如，16分类的神经网络分类概率输出会有16个和为“1”的概率值，此时置信度比较模块则需要16个置信度比较单元组成，两两比较就能够输出16个分类概率中最大的概率值。

进一步地，置信度比较单元是由一个比较器和一个二选一选择器组成。比较器输出两个数的大小比较结果信号，大小比较结果信号输入二选一选择器，根据大小比较结果信号二选一选择器输出两个数中最大的数值。

进一步地，置信度阈值判断模块是由两个比较器和一个异或门组成。两个比较器分别设有一个较大的概率阈值V _th1和一个较小的概率阈值V _th2，而两个比较器的另一个输入则为置信度比较模块输出的最大概率值。若置信度比较模块输出的最大概率值大于较大的概率阈值V _th1，则两比较器输出“1”和“1”，异或门输出阈值比较信号“0”；若置信度比较模块输出的最大概率值小于较小的概率阈值V _th2，则两比较器输出“0”和“0”，异或门输出阈值比较信号“0”；若置信度比较模块输出的最大概率值大于较小的概率阈值V _th2小于较大的概率阈值V _th1，则两比较器输出“0”和“1”，异或门输出阈值比较信号“1”。

进一步地，位宽动态选择模块是由一个一位寄存器、两个反相器和两个三态门组成。当阈值比较信号为“0”时，表示当前的位宽处理元件阵列的工作模式不符合功能需求，可能存在神经网络识别精度不够或整体计算电路存在多余功耗问题，需要更换的位宽处理元件阵列的工作模式，则将上一状态寄存器保存的值经过反相器输出作为计算精度控制信号；当阈值比较信号为“1”时，表明当前位宽处理元件阵列的工作模式重符合条件，则寄存器里的值作为计算精度控制信号原样输出。

基于计算精度控制电路的发明构思，本申请还提出了一种智能计算电路，该电路中的多位宽PE阵列根据计算精度电路输出的控制信号切换不同计算位宽的PE阵列，而在计算精度电路输出的控制信号表明当前位宽的PE阵列满足神经网络识别精度的要求时不执行切换操作。

本发明采用上述技术方案，具有以下有益效果：

(1)针对不同环境下的输入数据影响神经网络识别精度的这一现况，本申请提出了一种计算位宽选择方法，利用从神经网络实时输出的概率分布中识别的最大概率值评估网络的识别精度，根据评估结果动态调整网络的计算位宽，在不满足识别精度最低要求时选择识别精度较高的高位宽PE阵列以提高识别精度，在满足识别精度最高要求时选择识别精度较低的低位宽PE阵列以降低功耗，在满足识别精度要求且未超过最大精度时维持计算位宽不变。

(2)根据计算位宽方法设计的计算精度控制电路，以神经网络输出的实时概率分布为待处理数据，能够筛选出最大概率值，能较为准确地评估出当前环境下神经网络的识别精度。

(3)采用本申请提出的计算精度控制电路实现多位宽PE阵列的工作模块切换，通过PE阵列计算位宽的智能调节维持神经网络识别精度并在维持识别精度的同时降低了整个计算电路的功耗。

附图说明

图1为本发明的架构模块示意图。

图2为本发明的功能分类依据。

图3为本发明的整体详细结构示意图。

图4为本发明的置信度比较模块。

图5为本发明的置信度比较单元。

图6为本发明的置信度阈值判断模块。

图7为本发明的位宽动态选择模块。

图8为本发明的智能计算电路工作的具体步骤。

具体实施方式

下面结合具体实施例进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本申请涉及的智能计算电路在内部各模块之间的协调控制下分析神经网络输出的最大概率值是否在设定的阈值范围之内，评估神经网络的识别精度是否满足功能需求，实现动态选择处理元件阵列(即PE阵列)的计算位宽。如图1所示，整个电路包括基于置信度的计算精度控制模块和多位宽处理元件阵列模块。

多位宽元件阵列模块分为高位宽处理元件阵列和低位宽处理元件阵列。实践中可以将两个处理元件阵列的计算位宽设为8bit和4bit。8bit的处理元件阵列能够提供相对较高的计算精度，提高神经网络的识别精度；4bit的处理元件阵列提供相对较低的计算精度，在满足神经网络识别精度的条件下，4bit的处理元件阵列能降低整个计算电路的计算功耗。

基于置信度的计算精度控制模块包含置信度比较模块、置信度阈值判断模块和位宽动态选择模块。如图3、图4所示，神经网络输出的概率分布通过置信度比较模块，可以将神经网络输出的概率分布通过置信度比较单元筛选出最大的概率值。实践中若神经网络进行16分类，可以采用16个置信度比较单元进行最大的概率值的筛选比较，置信度比较单元结构如图5所示。

如图6所示，置信度阈值判断模块是将输出的最大的概率值和所设的概率阈值进行分析比较，阈值输出比较输出信号提供评估结果信号。实践中可以将两个阈值设为0.9和0.6。若输出的最大概率值小于阈值0.6，表明网络的识别精度较低需要提高处理元件阵列的计算位宽，两个比较器出的结果为“0”和“0”，通过异或门后阈值比较信号为“0”；若输出的最大概率值大于阈值0.9，表明网络的识别精度过高，可以降低计算位宽来降低计算功耗，两个比较器出的结果为“1”和“1”，通过异或门后阈值比较信号为“0”；若输出的最大概率值大于0.6小于0.9，表明网络的识别率满足功能需求，无需更改处理元件阵列的计算位宽，两个比较器输出的结果为“1”和“0”，通过异或门后阈值比较信号为“1”。 功能分类依据如图2所示。

如图7所示，位宽动态选择模块根据阈值比较信号判断是否更改处理元件阵列的计算位宽。若阈值比较信号为“1”，对应的位宽处理元件阵列满足功能需求，位宽动态选择模块中的寄存器将维持上一次的输出；若阈值比较信号为“0”，对应的位宽处理元件阵列不满足功能需求，动态位宽模块中的寄存器输出的值将通反相器取反后输出，输出的信号会改变当前使用的处理元件阵列。

结合图8对图1所示智能计算电路的工作流程进行介绍，具体工作流程包括如下步骤：

步骤101：Softmax层输出的概率分布值作为置信度比较模块的输入信号；

步骤102：置信度比较模块配置相应的置信度比较单元，筛选出概率分布中最大的概率值；

步骤103：置信度阈值比较模块将筛选出的最大的概率值和所设定的两个概率阈值相比较，若筛选出的最大的概率值大于较大的概率阈值V _th1或小于较小的概率阈值V _th2，则阈值比较信号输出为“0”；若筛选出的最大的概率值处于较小的概率阈值V _th2和较大的概率阈值V _th1之间，则阈值比较信号输出为“1”；

步骤104：位宽动态选择模块将置信度阈值比较模块输出的阈值比较信号作为输入，若阈值比较信号为“0”，表示当前位宽计算不满足功能需求，需要调整处理元件阵列的计算位宽，阈值比较信号将开启三态门使得将寄存器里的上一状态的信号通过反相器处理，作为计算精度控制信号输出，若阈值比较信号为“1”，表示当前位宽计算满足功能需求，不需要调整处理元件阵列的计算位宽，阈值比较信号将开启另一个三态门使得将寄存器里的上一状态的信号照常作为计算精度控制信号输出；

步骤105：多位宽处理元件阵列模块得到由位宽动态选择模块输出的计算精度控制信号，将及时动态选择所需要的位宽处理元件阵列进行电路计算。

Claims (10)

1. 多位宽PE阵列计算位宽的选择方法，其特征在于，对神经网络softmax层输出的输入数据属于各分类结果的概率分布进行置信度比较，从数据属于各分类结果的概率分布中筛选出概率最大值，根据概率最大值与最小阈值及最大阈值的数值关系选择满足神经网络识别精度要求的计算位宽。
2. 根据权利要求1所述多位宽PE阵列计算位宽的选择方法，其特征在于，根据概率最大值与最小阈值及最大阈值的数值关系选择满足神经网络识别精度要求的计算位宽的方法为：在概率最大值小于最小阈值时选择高位宽PE阵列，在概率最大值大于最大阈值时选择低位宽PE阵列，在概率最大值介于最小阈值和最大阈值之间时保持多位宽PE阵列的计算位宽不变。
3. 根据权利要求1所述多位宽PE阵列计算位宽的选择方法，其特征在于，对神经网络softmax层输出的输入数据属于各分类结果的概率分布进行置信度比较的方法为：对神经网络softmax层输出的输入数据为各分类结果的概率进行两两比较。
4. 根据权利要求1所述多位宽PE阵列计算位宽的选择方法，其特征在于，根据概率最大值与最小阈值及最大阈值的数值关系选择满足神经网络识别精度要求的计算位宽的方法为：比较概率最大值和最小阈值，比较概率最大值与最大阈值，对两个比较结果进行异或逻辑运算。
5. 计算精度控制电路，其特征在于，包括：

   置信度比较模块，对神经网络softmax层输出的输入数据属于各分类结果的概率分布进行置信度比较，从数据属于各分类结果的概率分布中筛选出概率最大值，

   置信度阈值判断模块，判断概率最大值与最小阈值及最大阈值的数值关系，及，

   位宽动态选择模块，根据概率最大值与最小阈值及最大阈值的数值关系选择满足神经网络识别精度要求的计算位宽，输出表征计算位宽选择结果的控制信号至多位宽PE阵列。
6. 根据权利要求5所述的计算精度控制电路，其特征在于，所述置信度比较模块包括多个对各自输入端的概率值进行两两比较的置信度比较单元，每个置信度比较单元包括：

   比较器，其输入端接两个概率值，输出比较结果，及，

   二选一数据选择器，其数据输入端接输入比较器的两个概率值，其控制端接比较器输出的比较结果，输出两个概率值中的较大值。
7. 根据权利要求5所述的计算精度控制电路，其特征在于，所述置信度阈值判断模块包括：

   第一比较器，其输入端接概率最大值和最小阈值，输出概率最大值和最小阈值的比较结果

   第二比较器，其输入端接概率最大值和最大阈值，输出概率最大值和最大阈值的比较结果，及，

   异或门，其输出端接两个比较器输出的比较结果，输出表征概率最大值与最小阈值及最大阈值数值关系的阈值比较结果。
8. 根据权利要求5所述的计算精度控制电路，其特征在于，所述位宽动态选择模块包括：

   第一反相器，其输入端接阈值比较结果，输出反相的阈值比较结果，

   第一三态门，其输入端接寄存器输出的上一状态控制信号，其控制端接第一反相器的输出端，在概率最大值介于最小阈值和最大阈值之间时，输出上一状态控制信号，

   第二反相器，其输入端接寄存器输出的上一状态控制信号，输出上一状态控制信号的反相信号，

   第二三态门，其输入端接第二反相器的输出端，其控制端接阈值比较结果，在概率最大值小于最小阈值或概率最大值大于最大阈值时输出上一状态控制信号的反相信号，及，

   寄存器，缓存上一状态控制信号，在第二三态门输出上一状态控制信号的反相信号时更新数据。
9. 智能计算电路，其特征在于，包括：多位宽PE阵列及权利要求5至8中任意一项所述计算精度控制电路，多位宽PE阵列在计算精度控制电路输出的控制信号的作用下切换不同计算位宽的PE阵列或维持计算位宽不变。
10. 权利要求9所述智能计算电路，其特征在于，所述多位宽PE阵列包含高位宽的PE阵列及低位宽PE阵列，每个PE阵列所接电源回路都包含用于供电的MOS管和用于馈电的MOS管，供电MOS管和馈电MOS管接反相的控制信号，所述控制信号由计算精度控制电路提供。

Images