WO2020034080A1

WO2020034080A1 - 一种基于dma的数据处理方法及相关产品

Info

Publication number: WO2020034080A1
Application number: PCT/CN2018/100361
Authority: WO
Inventors: 肖梦秋
Original assignee: 深圳鲲云信息科技有限公司
Priority date: 2018-08-14
Filing date: 2018-08-14
Publication date: 2020-02-20
Also published as: CN111512293B; CN111512293A

Abstract

本发明提供一种DMA数据处理方法，所述方法应用于DMA数据处理系统，所述方法包括如下步骤：DMA控制器接收读取命令，所述读取命令包括需要读取的数据的地址；DMA控制器依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；DMA总线数据依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。本申请提供的方法具有数据处理效率高的优点。

Description

一种基于DMA的数据处理方法及相关产品

技术领域

本申请涉及计算机以及人工智能技术领域，具体涉及一种基于DMA的数据处理方法及相关产品。

背景技术

直接内存存取(Direct Memory Access，DMA)在访问内存的时候，一个有效地址总线数据是由多个地址的数据组成的，对于后端处理模块来说，每个总线数据都作为有效数据处理，不去解析总线中某些地址的数据是无效的，即DMA返回的数据并不是按总线位宽全有效，这样后端处理器就会处理无效的数据，这样影响了后端处理器的数据处理效率。

申请内容

本申请实施例提供了一种基于DMA的数据处理方法及相关产品，其通过总线数据处理将无效数据剔除，这样传递给后端处理器的数据均为有效数据，这样能够提高后端处理器的处理效率。

第一方面，本申请实施例提供一种DMA数据处理方法，所述方法应用于DMA数据处理系统，所述DMA数据处理系统包括：DMA控制器、DMA总线数据处理和后端处理模块；其中，DMA控制器与DMA总线数据处理通过第一总线连接，DMA总线数据处理与后端处理模块通过第二总线连接，所述方法包括如下步骤：

DMA控制器接收读取命令，所述读取命令包括需要读取的数据的地址；

DMA控制器依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；

DMA总线数据依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。

可选的，所述DMA总线数据依据数据的地址判断第一数据是否全部为有效数据具体包括：

DMA总线数据提取读取的数据的地址的数量，如该数量为预设数量，确定第一数据不具有无效数据，如该数量小于预设数量，确定具有无效数据。

可选的，如确定具有无效数据，所述方法还包括：

DMA总线数据依据该读取的数据的地址确定读取的数据的地址的位置，确定第一数据与该位置对应的数据为有效数据，确定第一数据与该位置不对应的数据为无效数据。

可选的，所述将有效数据缓存具体包括：

将有效数据通过FIFO缓存。

第二方面，提供一种DMA数据处理系统，包括：DMA控制器、DMA总线数据处理和后端处理模块；其中，DMA控制器与DMA总线数据处理通过第一总线连接，DMA总线数据处理与后端处理模块通过第二总线连接，

所述DMA控制器，用于接收读取命令，所述读取命令包括需要读取的数据的地址；依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；

所述DMA总线数据，用于依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。

可选的，所述DMA总线数据，具体用于提取读取的数据的地址的数量，如该数量为预设数量，确定第一数据不具有无效数据，如该数量小于预设数量，确定具有无效数据。

可选的，如确定具有无效数据，所述DMA总线数据，还用于依据该读取的数据的地址确定读取的数据的地址的位置，确定第一数据与该位置对应的数据为有效数据，确定第一数据与该位置不对应的数据为无效数据。

可选的，所述DMA总线数据，具体用于将有效数据通过FIFO缓存。

第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如第一方面提供的方法。

第四方面，提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行第一方面提供的方法。

实施本申请实施例，具有如下有益效果：

可以看出，本实施例的在DMA控制器读取存储的数据以后，对该数据确定是否有效，如具有无效数据，则将该无效数据剔除以后，等待后续有效的数据，当组成的数据达到第二总线的位宽时，将该组成的数据发送至后端处理模块进行处理，因此对于后端处理模块，其处理的数据均为有效的数据，这样能够提高后端处理的效率，并且提高数据处理的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种DMA数据处理系统的结构示意图。

图2是一种DMA数据处理方法的流程示意图。

图3是本申请的另一种DMA数据处理方法的流程示意图。

图4是本申请提供的一种DMA数据处理系统的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参阅图1，图1提供了一种DMA数据处理系统，如图1所示，该数据处理系统包括：DMA控制器1、DMA总线数据处理2和后端处理模块3。

其中，DMA控制器1可以与片外存储器连接，该后端处理模块具体可以为具有计算功能的电路的集成，例如，加法器、乘法器的集成，上述DMA总线数据处理2可以为具有转发功能的电路、存储功能的电路等等。DMA控制器1对应一种数据传输接口。

DMA控制器1，访问内存，将内存读出的数据以AXI总线的形式交给DMA总线处理模块，或接收DMA总线处理模块输出的数据，写入内存空间。

DMA总线数据处理2，接收到DMA控制器1的数据，对总线地址进行判断，得出总线数据有效字节数，并把有效数据按序拼接成local bus的总线数据(64bit)，传给后端处理模块3进行处理，当总线不存在部分字节有效的情况下，直接转发总线数据处理。

后端处理模块3，接收DMA的数据，对数据处理然后再输出的模块，认为接收的数据全是有效的，对所有接收数进行处理。

这里需要分析下DMA数据的处理的原理，对于DMA数据的读取，其是基于8个地址数据组成，即DMA控制器从DMA内读取的数据一次即为8个地址的数据，具体的为64比特数据，DMA数据的读取为硬件的读取方式，软件仅仅只能改变其读取的地址，无法改变DMA数据读取的大小以及地址的组成数量。对于DMA控制器，其是基于读取命令来实现对数据的读取的，对于读取命令具有需要读取的数据的读取地址，具体的，该读取地址的数量可以通过软件来配置，这样就会出现一个冲突，即读取地址的数量并非每次均为8个地址，例如，如果读取地址的数量为6个地址，但是对于DMA控制器来说，其一次也会读取8个地址的数据，这样即有2个地址的数据为无效的数据，对于此无效数据，后端处理器接收到以后也会进行处理，这样就导致后端处理器处理的数据为非有效数据，影响处理效率，数据处理的精度等等一系列的问题。

参阅图2，图2提供了一种DMA数据处理方法，如图2所示，该方法由如图1所示的系统完成，该方法如图2所示，包括如下步骤：

步骤S201、DMA控制器接收读取命令，所述读取命令包括需要读取的数据的地址；

步骤S202、DMA控制器依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；

上述第一总线可以为AXI总线，当然在实际应用中也可以为其他的总线。

步骤S203、DMA总线数据处理依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；

具体的判断有效无效数据的方式具体可以为：DMA总线数据提取读取的数据的地址的数量，如该数量为预设数量，确定第一数据不具有无效数据，如该数量小于预设数量，确定具有无效数据。如确定具有无效数据，所述方法还包括：

具体的，如该读取的数据的地址为2-7，第一数据对应的地址为0-7，那么第一数据中与地址2-7对应的数据(即后48bit)为有效数据，前面0-1地址对应数据(即前面16bit)为无效数据。

上述缓存具体可以为FIFO缓存，因为对于DMA控制器，其接收读取命令不会是一个，因此本次读取命令中的有效数据不够时，可以通过缓存一段时间以后，接收后续读取命令中的有效数据，将后续有效数据与本地读取命令的有效命令按顺序拼接成符合第二总线位宽的数据以后在发送。

步骤S204、当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。

上述第二总线具体可以为本地总线，例如PCIE总线等等。

本实施例的在DMA控制器读取存储的数据以后，对该数据确定是否有效，如具有无效数据，则将该无效数据剔除以后，等待后续有效的数据，当组成的数据达到第二总线的位宽时，将该组成的数据发送至后端处理模块进行处理，因此对于后端处理模块，其处理的数据均为有效的数据，这样能够提高后端处理的效率，并且提高数据处理的准确性。

可选的，上述将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理之前还可以包括：

在第二总线传递使能有效的数据，该使能有效用户提示该后端处理器接收数据。

参阅图3，图3提供了一种DMA数据处理方法，如图3所示，该方法包括如下步骤：

步骤S101：DMA控制器接收到读命令，将内存上的数据读出通过axi总线送到后端模块。

步骤S102：对axi总线传输过来的地址进行判断，判断访问的DMA地址是否存在部分有效。

步骤S103：根据对地址的判断得出相应的结果，DMA数据是全有效还是非全有效，如果全有效则直接进去到S105步骤。反之进入S104步骤。

步骤S104：此时已经知道总线不是全不字节有效的，但是需要判断有效的字节数和，并且判断有效字节的位置。

步骤S105：总线判断结果是所有字节有效，此时不需要对数据进行提取拼接处理，只需要把axi总线的数据转成local bus的总线数据位宽。

步骤S106：接收到的数据在使能有效的情况下，可能只有部分字节有效，根据S105判断的结果，把有效数据提取出来并通过先入先出队列(First Input First Output，FIFO)缓存，当缓存的数据组合在一起位宽等于local bus数据位宽的时候，就可以读出输出，local bus侧接收的是使能下数据全有效的数据。

步骤S107：处理模块直接对数据的数据进行处理，不用考虑DMA的操作是否存在数据总线是否是全有效的情况，DMA也可以不受后端处理模块的限制灵活读写数据。

本实施例的在DMA控制器读取存储的数据以后，对该数据确定是否有效，如具有无效数据，则将该无效数据剔除以后，等待后续有效的数据，当组成的数据达到local bus的位宽时，将该组成的数据发送至后端处理模块进行处理，因此对于后端处理模块，其处理的数据均为有效的数据，这样能够提高后端处理的效率，并且提高数据处理的准确性。

参阅图4，图4提供一种DMA数据处理系统，包括：DMA控制器401、DMA总线数据处理402和后端处理模块403；其中，DMA控制器与DMA总线数据处理通过第一总线404连接，DMA总线数据处理与后端处理模块通过第二总线405连接，

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种DMA数据处理方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种DMA数据处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的

另外，在本申请各个实施例中的处理器、芯片可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上硬件集成在一个单元中。计算机可读存储介质或计算机可读程序可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

一种DMA数据处理方法，其特征在于，所述方法应用于DMA数据处理系统，所述DMA数据处理系统包括：DMA控制器、DMA总线数据处理和后端处理模块；其中，DMA控制器与DMA总线数据处理通过第一总线连接，DMA总线数据处理与后端处理模块通过第二总线连接，所述方法包括如下步骤：

DMA控制器接收读取命令，所述读取命令包括需要读取的数据的地址；

DMA控制器依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；

DMA总线数据依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。
根据权利要求1所述的方法，其特征在于，所述DMA总线数据依据数据的地址判断第一数据是否全部为有效数据具体包括：

DMA总线数据提取读取的数据的地址的数量，如该数量为预设数量，确定第一数据不具有无效数据，如该数量小于预设数量，确定具有无效数据。
根据权利要求2所述的方法，其特征在于，如确定具有无效数据，所述方法还包括：

DMA总线数据依据该读取的数据的地址确定读取的数据的地址的位置，确定第一数据与该位置对应的数据为有效数据，确定第一数据与该位置不对应的数据为无效数据。
根据权利要求1所述的方法，其特征在于，所述将有效数据缓存具体包括：

将有效数据通过FIFO缓存。
一种DMA数据处理系统，其特征在于，包括：DMA控制器、DMA总线数据处理和后端处理模块；其中，DMA控制器与DMA总线数据处理通过第一总线连接，DMA总线数据处理与后端处理模块通过第二总线连接，

所述DMA控制器，用于接收读取命令，所述读取命令包括需要读取的数据的地址；依据该读取命令从片外存储器中读取该读取命令对应的设定位数的第一数据，将第一数据通过第一总线发送至DMA总线数据；

所述DMA总线数据，用于依据数据的地址判断第一数据是否全部为有效数据，如具有无效数据，将该无效数据剔除，将有效数据缓存；当缓存的有效数据达到第二总线数据位宽时，将达到第二总线数据位宽的有效数据通过第二总线发送至后端处理器处理。
根据权利要求5所述的系统，其特征在于，

所述DMA总线数据，具体用于提取读取的数据的地址的数量，如该数量为预设数量，确定第一数据不具有无效数据，如该数量小于预设数量，确定具有无效数据。
根据权利要求6所述的系统，其特征在于，如确定具有无效数据，所述DMA总线数据，还用于依据该读取的数据的地址确定读取的数据的地址的位置，确定第一数据与该位置对应的数据为有效数据，确定第一数据与该位置不对应的数据为无效数据。
根据权利要求5所述的系统，其特征在于，

所述DMA总线数据，具体用于将有效数据通过FIFO缓存。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4中任意一项所述的方法。
一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-4中任意一项所述的方法。