WO2024000605A1

WO2024000605A1 - 一种ai模型推理的方法及其装置

Info

Publication number: WO2024000605A1
Application number: PCT/CN2022/103485
Authority: WO
Inventors: 牟勤
Original assignee: 北京小米移动软件有限公司
Priority date: 2022-07-01
Filing date: 2022-07-01
Publication date: 2024-01-04
Also published as: CN117651954A

Abstract

本申请实施例公开了一种推理的方法及其装置，可以应用于应用于无线人工智能(Artificial Intelligence，AI)系统中，该方法包括：在该方案中，第三设备向所述第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

Description

一种AI模型推理的方法及其装置

技术领域

本申请涉及通信技术领域，尤其涉及一种AI模型推理的方法及其装置。

背景技术

近年来，人工智能(Artificial Intelligence，AI)技术在多个领域取得不断突破。智能语音、计算机视觉等领域的持续发展不仅为智能终端带来丰富多彩的各种应用，在教育、交通、家居、医疗、零售、安防等多个领域也有广泛应用，给人们生活带来便利同时，也在促进各个行业进行产业升级。AI技术也正在加速与其他学科领域交叉渗透，其发展融合不同学科知识同时，也为不同学科的发展提供了新的方向和方法。

相关技术中，AI技术的主要参与方主要是基站和终端设备，由基站提供AI模型，由终端进行推理，由于终端设备进行推理需要终端设备具有一定的硬件能力和软件平台，通常需要处理能力比较高端的终端设备才能进行，但是，在实际的应用中，仍然存在一批处理能力不足以执行推理终端设备。

发明内容

本申请实施例提供一种AI模型推理的方法及其装置，可以应用于无线人工智能(Artificial Intelligence，AI)系统中，在第二设备不具有独立推理的条件时，通过第一设备辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，实现受益于无线AI。

第一方面，本申请实施例提供一种AI模型推理的方法，该方法被第一设备执行，该方法包括：

响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

在该方案中，第三设备向所述第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

在一种实现方式中，所述辅助第二设备执行AI模型推理任务包括以下任一种：

所述第一设备单独完成所述AI模型推理任务；

所述第一设备与所述第二设备共同完成所述AI模型推理任务；

所述第一设备与所述第二设备及第三设备共同完成所述AI模型推理任务。

在一种实现方式中，所述方法还包括：

将所述第一设备对所述AI模型的推理能力信息发送至所述第二设备。

在一种实现方式中，所述AI模型的推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

在一种实现方式中，所述方法还包括：

将处理AI模型推理任务的耗时信息上报给所述第三设备。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型；或者。

响应于进行推理的AI模型由所述第三设备提供，接收所述第二设备转发的所述AI模型。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第一设备提供，向所述第二设备发送的所述AI模型，所述AI模型通过所述第二设备转发至所述第三设备；或者

响应于进行推理的AI模型由所述第一设备提供，直接向所述第三设备发送的所述AI模型。

在一种实现方式中，所述方法还包括：

将所述推理结果发送至所述第二设备，所述推理结果通过所述第二设备转发至所述第三设备；或者

将所述推理结果直接上报至所述第三设备。

在一种实现方式中，所述方法还包括：

将基于所述推理结果进一步得到的参数发送至所述第二设备，所述参数通过所述第二设备转发至所述第三设备；或者

将所述基于所述推理结果进一步得到的参数直接上报至所述第三设备。

在一种实现方式中，所述第一设备与所述第二设备进行交互的协议为自定义的交互协议。

第二方面，本申请实施例提供一种人工智能AI模型推理的方法，该方法被第二设备执行，包括：

响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

在一种实现方式中，所述方法还包括：

接收所述第一设备发送的辅助进行AI模型推理的推理能力信息。

在一种实现方式中，所述方法还包括：

将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备。

在一种实现方式中，所述推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型，并将所述AI模型转发至所述第三设备。

在一种实现方式中，所述方法还包括：

接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。

在一种实现方式中，所述推理结果为：

由所述第一设备单独完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备共同完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备及其第三设备共同完成所述AI模型推理任务得到的推理结果。

在一种实现方式中，所述第二设备与所述第一设备进行交互的协议为自定义的交互协议。

第三方面，本申请实施例提供一种人工智能AI模型推理的方法，该方法被第三设备执行，所述方法包括：

响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务，以便第一设备辅助所述第二设备完成所述推理任务，所述第二设备响应于需要所述第二设备提供AI模型的推理结果或使用AI模型的推理结果上报具体AI模型推理能力的信息。

在一种实现方式中，所述方法还包括：

接收所述第二设备发送的所述第一设备对所述AI模型的推理能力信息。

在一种实现方式中，所述方法还包括：

接收所述第二设备发送的所述第二设备对所述AI模型的推理能力信息。

在一种实现方式中，所述AI模型的推理能力信息包括；AI模型信息、AI处理平台框架信息以及AI处理能力信息。

在一种实现方式中，所述方法还包括：

接收所述第一设备上报的处理AI模型推理任务的耗时信息。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，直接将所述AI模型发送至所述第一设备；或者

响应于进行推理的AI模型由所述第三设备提供，将所述所述AI模型发送至所述第二设备，所述AI模型通过第二设备转发至所述第一设备。

在一种实现方式中，所述方法还包括：

响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型；或者

响应于进行推理的AI模型由所述第一设备提供，接收所述第二设备转发的所述AI模型。

在一种实现方式中，响应于接收到第一设备提供的AI模型，辅助所述第一设备、所述第二设备完成所述AI模型推理任务。

在一种实现方式中，所述方法还包括：

接收所述第二设备发送的AI模型的推理结果。

在一种实现方式中，所述推理结果为：

第四方面，本申请实施例提供一种AI模型推理的装置，所述装置被设置在第一设备，所述装置包括：

处理单元，用于响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

所述第一设备单独完成所述AI模型推理任务；

在一种实现方式中，所述装置还包括：

发送单元，用于将所述第一设备对所述AI模型的推理能力信息发送至所述第二设备。

在一种实现方式中，所述AI模型的推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

在一种实现方式中，所述装置还包括：

上报单元，用于将处理AI模型推理任务的耗时信息上报给所述第三设备。

在一种实现方式中，所述装置还包括：

接收单元，用于响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型；或者。

所述接收单元，还用于响应于进行推理的AI模型由所述第三设备提供，接收所述第二设备转发的所述AI模型。

在一种实现方式中，所述装置还包括：

发送单元，用于响应于进行推理的AI模型由所述第一设备提供，向所述第二设备发送的所述AI模型，所述AI模型通过所述第二设备转发至所述第三设备；或者

发送单元，还用于响应于进行推理的AI模型由所述第一设备提供，直接向所述第三设备发送的所述AI模型。

在一种实现方式中，所述装置还包括：

发送单元，用于将所述推理结果发送至所述第二设备，所述推理结果通过所述第二设备转发至所述第三设备；或者

将所述推理结果直接上报至所述第三设备。

在一种实现方式中，所述装置还包括：

发送单元，用于将基于所述推理结果进一步得到的参数发送至所述第二设备，所述参数通过所述第二设备转发至所述第三设备；或者

上报单元，用于将所述基于所述推理结果进一步得到的参数直接上报至所述第三设备。

第五方面，本申请实施例提供一种人工智能AI模型推理的装置，所述装置被设置在第二设备，包括：

发送单元，用于响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第一设备发送的辅助进行AI模型推理的推理能力信息。

在一种实现方式中，所述装置还包括：

上报单元，用于将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备。

在一种实现方式中，所述推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

在一种实现方式中，所述装置还包括：

接收单元，用于响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备。

在一种实现方式中，所述装置还包括：

接收单元，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型，并将所述AI模型转发至所述第三设备。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。

在一种实现方式中，所述推理结果为：

第六方面，本申请实施例提供一种人工智能AI模型推理的装置，所述装置被设置在第三设备，其特征在于，所述装置包括：

发送单元，用于响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第二设备发送的所述第一设备对所述AI模型的推理能力信息。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第二设备发送的所述第二设备对所述AI模型的推理能力信息。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第一设备上报的处理AI模型推理任务的耗时信息。

在一种实现方式中，所述装置还包括：

发送单元，用于响应于进行推理的AI模型由所述第三设备提供，直接将所述AI模型发送至所述第一设备；或者

发送单元，用于响应于进行推理的AI模型由所述第三设备提供，将所述所述AI模型发送至所述第二设备，所述AI模型通过第二设备转发至所述第一设备。

在一种实现方式中，所述装置还包括：

接收单元，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型；或者

接收单元，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第二设备转发的所述AI模型。

在一种实现方式中，处理单元，用于响应于接收到第一设备提供的AI模型，辅助所述第一设备、所述第二设备完成所述AI模型推理任务。

在一种实现方式中，所述装置还包括：

接收单元，用于接收所述第二设备发送的AI模型的推理结果。

在一种实现方式中，所述推理结果为：

第七方面，本申请实施例提供一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第一方面所述的方法。

第八方面，本申请实施例提供另一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第二方面所述的方法。

第九方面，本申请实施例提供另一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第三方面所述的方法。

第十方面，本申请实施例提供另一种推理的装置，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如第一方面所述的方法。

第十一方面，本申请实施例提供另一种推理的装置，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如第二方面所述的方法。

第十二方面，本申请实施例提供另一种推理的装置，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如第三方面所述的方法。

第十三方面，本申请实施例提供另一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第一方面所述的方法。

第十四方面，本申请实施例提供另一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第二方面所述的方法。

第十五方面，本申请实施例提供另一种推理的装置，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如第三方面所述的方法。

第十六方面，本申请实施例提供一种推理的系统，包括：如第七方面所述的推理的装置、如第八方面所述的推理的装置以及如第九方面所述的推理的装置；

或者，所述系统包括如第十方面所述的推理的装置、如第十一方面所述的推理的装置以及第十二方面所述的推理的装置；

或者，所述系统包括如第十三方面所述的推理的装置、如第十四方面所述的推理的装置以及第十五方面所述的推理的装置。

第十七方面，本申请实施例提供一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如第一方面所述的方法被实现。

第十八方面，本申请实施例提供另一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如第二方面所述的方法被实现。

第十九方面，本申请实施例提供另一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如第三方面所述的方法被实现。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种推理的系统的架构示意图；

图2是本申请实施例提供的一种推理的方法的流程示意图；

图3是本申请实施例提供的另一种推理的方法的流程示意图；

图4是本申请实施例提供的另一种推理的方法的流程示意图；

图5是本申请实施例提供的另一种推理的方法的流程示意图；

图6是本申请实施例提供的另一种推理的方法的流程示意图；

图7是本申请实施例提供的另一种推理的方法的流程示意图；

图8是本申请实施例提供的另一种推理的方法的流程示意图；

图9是本申请实施例提供的另一种推理的方法的流程示意图；

图10是本申请实施例提供的另一种推理的方法的流程示意图；

图11是本申请实施例提供的另一种推理的方法的流程示意图；

图12是本申请实施例提供的另一种推理的方法的流程示意图；

图13是本申请实施例提供的另一种推理的方法的流程示意图；

图14是本申请实施例提供的另一种推理的方法的流程示意图；

图15是本申请实施例提供的另一种推理的方法的流程示意图；

图16是本申请实施例提供的另一种推理的方法的流程示意图；

图17是本申请实施例提供的另一种推理的方法的流程示意图；

图18是本申请实施例提供的另一种推理的方法的流程示意图；

图19是本申请实施例提供的另一种推理的方法的流程示意图；

图20是本申请实施例提供的另一种推理的方法的流程示意图；

图21是本申请实施例提供的另一种推理的方法的流程示意图；

图22是本申请实施例提供的另一种推理的方法的流程示意图；

图23是本申请实施例提供的另一种推理的方法的流程示意图；

图24是本申请实施例提供的一种推理的装置的结构示意图；

图25是本申请实施例提供的另一种推理的装置的结构示意图；

图26是本申请实施例提供的另一种推理的装置的结构示意图；

图27是本申请实施例提供的另一种推理的装置的结构示意图；

图28是本申请实施例提供的另一种推理的装置的结构示意图。

具体实施方式

请参见图1，图1为本申请实施例提供的一种推理的系统的架构示意图。该推理的系统可包括但不限于一个第一设备101、一个第二设备102和一个第三设备103，图1所示的设备数量和形态仅用于举例并不构成对本申请实施例的限定，实际应用中可以包括两个或两个以上的第一设备101，两个或两个以上的第二设备102和两个或两个以上的第三设备103。图1所示的系统以包括一个第一设备101、一个第二设备102和一个第三设备103。

本申请实施例中的第一设备101，为第三方AI处理平台，为除无线蜂窝系统之外的服务器或者处理器。

本申请实施例中的第二设备102是用户侧的一种用于接收或发射信号的实体，如手机。第一设备也可以称为终端设备(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端设备(mobile terminal，MT)等。第二设备102的处理能力不足以独立完成AI模型推理任务，本申请的实施例对第二设备102所采用的具体技术和具体设备形态不做限定。

本申请实施例中的第三设备103是网络设备。本公开实施例中的网络设备是网络侧的一种用于发射或接收信号的实体。例如，网络设备101可以为演进型基站(evolved NodeB，eNB)、传输接收点(transmission reception point或transmit receive point，TRP)、NR系统中的下一代基站(next generation NodeB，gNB)、其他未来移动通信系统中的基站或无线保真(wireless fidelity，WiFi)系统中的接入节点等。本公开的实施例对网络设备所采用的具体技术和具体设备形态不做限定。本公开实施例提供的网络设备可以是由集中单元(central unit，CU)与分布式单元(distributed unit，DU)组成的，其中， CU也可以称为控制单元(control unit)，采用CU-DU的结构可以将网络设备，例如基站的协议层拆分开，部分协议层的功能放在CU集中控制，剩下部分或全部协议层的功能分布在DU中，由CU集中控制DU。

下面结合附图对本申请所提供的AI模型推理的方法及其装置进行详细地介绍。

请参见图2，图2是本申请实施例提供的一种推理的方法的流程示意图。该方法被第一设备执行，如图2所示，该方法可以包括但不限于如下步骤：

步骤S201：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，例如硬件条件受限或者AI处理平台不兼容时，第二设备向第一设备发送AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务。

作为本申请实施例的可行方式，所述第一设备为无线蜂窝系统之外的服务器或者处理器。具体的对第一设备的具体设备形式不进行限定。

本公开实施例提供了另一种推理的方法，图3为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图3所示，该推理的方法可包括如下步骤：

步骤S301：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，所述辅助第二设备执行AI模型推理任务包括以下任一种：所述第一设备单独完成所述AI模型推理任务；所述第一设备与所述第二设备共同完成所述AI模型推理任务；所述第一设备与所述第二设备及第三设备共同完成所述AI模型推理任务。

AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

当第一设备作为AI模型的提供方时，可以单独完成模型推理任务，或者，第一设备与所述第二设备共同完成完成模型推理任务。

当第一设备作为AI模型的使用方，需在接收第三设备传输的AI模型后，第一设备、第二设备及第三设备共同完成模型推理任务。

本公开实施例提供了另一种推理的方法，图4为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图4所示，该推理的方法可包括如下步骤：

步骤S401：将所述第一设备对所述AI模型的推理能力信息发送至所述第二设备。

第一设备将AI模型的推理能力信息发送至第二设备，其目的在于，将第二设备作为中转，将获得的推理能力信息转发至第三设备，以实现AI模型在传输时的信息同步，以便第三设备根据推理能力信息确定是否让第二设备使用无线AI模型的功能或者使用哪些无线AI模型的用例。

第三设备响应于第二设备上报的具备AI模型推理能力信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，例如硬件条件受限或者AI处理平台不兼容时，第二设备向第一设备发送AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务。

示例性的，所述AI模型的推理能力信息包括：AI模型信息、AI处理平台框架信息以及AI处理能力信息中的至少一种。

步骤S402：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图5为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图5所示，该推理的方法可包括如下步骤：

步骤S501：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

在第二设备不具有独立推理的条件时，例如硬件条件受限或者AI处理平台不兼容时，可借助于第一设备协助第二设备进行AI推理。

辅助第二设备执行AI模型推理任务包括以下任一种：所述第一设备单独完成所述AI模型推理任务、所述第一设备与所述第二设备共同完成所述AI模型推理任务、所述第一设备与所述第二设备及第三设备共同完成所述AI模型推理任务。

步骤S502：将处理AI模型推理任务的耗时信息上报给所述第三设备。

根据AI模型中处理AI任务的类别，确定处理每个AI任务的耗时信息/延时信息，将耗时信息/延时信息上报至第三设备。

本公开实施例提供了另一种推理的方法，图6为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图6所示，该推理的方法可包括如下步骤：

步骤S601：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

步骤S602：响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型；或者，响应于进行推理的AI模型由所述第三设备提供，接收所述第二设备转发的所述AI模型。

示例性的，当第一设备作为AI模型的使用方，第三设备作为AI模型的提供方，第一设备接收第三设备传输的AI模型。

除了第一设备和第三设备之间能够直接传输AI模型外，本公开实施例中，还支持由第二设备的中转，即第三设备作为AI模型的提供方，向第二设备传输AI模型，由第二设备将AI模型转达AI模型至第一设备。即在第一设备、第二设备及第三设备之间执行AI模型的传输。

以上执行AI模型传输的过程仅为示例性说明，并非意在限定AI模型的传输顺序仅包含上述实例的实现。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，在所述第一设备、所述第二设备和第三设备至少两个设备中执行AI模型传输，以完成第二设备的模型推理任务，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图7为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图7所示，该推理的方法可包括如下步骤：

步骤S701：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务， AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

步骤S702：响应于进行推理的AI模型由所述第一设备提供，向所述第二设备发送的所述AI模型，所述AI模型通过所述第二设备转发至所述第三设备；或者响应于进行推理的AI模型由所述第一设备提供，直接向所述第三设备发送的所述AI模型。

本申请实施例的场景为第一设备作为AI模型的提供方，需要将其传输至AI模型的使用方(第三设备)，第三设备根据接收到的AI模型辅助第一设备执行AI模型推理任务。在第一设备向第三设备传输AI模型时，与第三设备向第一设备传输AI模型的过程类似，采用第一设备直接将第一设备向第三设备传输AI模型传输至第三设备，也可采用第一设备向第二设备传输AI模型后，由第二设备向第三设备传输AI模型，本公开实施例对传输AI模型的方式不进行具体限定。

本公开实施例提供了另一种推理的方法，图8为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图8所示，该推理的方法可包括如下步骤：

步骤S801：响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

步骤S802：将所述推理结果发送至所述第二设备，所述推理结果通过所述第二设备转发至所述第三设备；或者将所述推理结果直接上报至所述第三设备。

作为一种本申请实施例的一种实现方式，在第一设备辅助第二设备执行完AI模型推理任务后，将推理结果返回至第二设备，由第二设备上传至第三设备。

作为本申请实施例的另一种实现方式，在第一设备辅助第二设备执行完AI模型推理任务后，将推理结果直接返回至第三设备。

本申请实施例中的网络设备是网络侧的一种用于发射或接收信号的实体。例如，网络设备可以为演进型基站(evolved NodeB，eNB)、传输点(transmission reception point，TRP)、NR系统中的下一代基站(next generation NodeB，gNB)、其他未来移动通信系统中的基站或无线保真(wireless fidelity，WiFi)系统中的接入节点等。本申请的实施例对网络设备所采用的具体技术和具体设备形态不做限定。本申请实施例提供的网络设备可以是由集中单元(central unit，CU)与分布式单元(distributed unit，DU)组成的，其中，CU也可以称为控制单元(control unit)，采用CU-DU的结构可以将网络设备，例如基站的协议层拆分开，部分协议层的功能放在CU集中控制，剩下部分或全部协议层的功能分布在DU中，由CU集中控制DU。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，并将推理结果辅助返回至第二设备或第三设备，辅助第二设备完成AI模型推理任务，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图9为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图9所示，该推理的方法可包括如下步骤：

步骤S901：响应于第二设备提供或使用基于AI模型的推理结果，第一设备辅助所述第二设备执行AI模型推理任务，所述AI模型推理任务由所述第一设备单独完成、由所述第一设备与所述第二设备共同完成或由所述第一设备、所述第二设备及其第三设备共同完成。

步骤S902：将基于所述推理结果进一步得到的参数发送至所述第二设备，所述参数通过所述第二设备转发至所述第三设备；或者将所述基于所述推理结果进一步得到的参数直接上报至所述第三设备。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第一设备响应于接收第二设备发送的AI模型推理请求，并将推理结果进一步得到的参数返回至第二设备或第三设备，辅助第二设备完成AI模型推理任务，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，该方法被第一设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

本申请实施例中，提供新的AI推理处理架构，包含第一设备、第二设备及第三设备，第一设备与所述第二设备进行交互的协议为由所述第一设备与所述第二设备自定义的交互协议，第一设备与所述第三设备之间的协议为通用的交互协议。

本公开实施例提供了另一种推理的方法，图10为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图10所示，该推理的方法可包括如下步骤：

步骤S1001：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第二设备向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务。

作为本申请实施例的可行方式，所述第一设备为无线蜂窝系统之外的服务器或者处理器。具体的对第一设备的具体设备形式不进行限定。第二设备为不具有独立推理的条件的设备，例如硬件条件受限或者AI处理平台不兼容。

在该方案中，第三设备向所述第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，第二设备向第一设备发送需要辅助第二设备完成AI模型推理任务的AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图11为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图11所示，该推理的方法可包括如下步骤：

步骤S1101：接收所述第一设备发送的辅助进行AI模型推理的推理能力信息。

第一设备将AI模型的推理能力信息发送至第二设备，其目的在于，由第二设备将获取的推理能力信息上报至第三设备，第三设备根据接收到的AI模型推理的推理能力信息配置第二设备进行执行AI推理任务。

所述AI模型的推理能力信息包括AI模型信息、AI处理平台框架信息以及AI处理能力信息中的至少一种。示例性的，所支持的AI模型的类型是卷积神经网络(Deep Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)还是transform等。AI处理框架是tenserflow还是Pytorch，计算速度等。

步骤S1102：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

在该方案中，将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备，第三设备根据接收到的AI模型推理的推理能力信息配置第二设备进行执行AI推理任务，在第二设备不具有独立推理的条件时，第二设备向第一设备发送需要辅助第二设备完成AI模型推理任务的AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图12为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图12所示，该推理的方法可包括如下步骤：

步骤S1201：将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备。

第二设备作为中转，将获得的推理能力信息转发至第三设备，以实现AI模型在传输时的信息同步，以便第三设备根据推理能力信息确定是否让第二设备使用无线AI模型的功能或者使用哪些无线AI模型的用例。

步骤S1202：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

本公开实施例提供了另一种推理的方法，图13为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图13所示，该推理的方法可包括如下步骤：

步骤S1301：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

步骤S1302：响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备。

在该方案中，响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备，在第二设备不具有独立推理的条件时，第二设备向第一设备发送需要辅助第二设备完成AI模型推理任务的AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图14为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图14所示，该推理的方法可包括如下步骤：

步骤S1401：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

步骤S1402：响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型，并将所述AI模型转发至所述第三设备。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，响应于接收第二设备发送的AI模型推理请求，在所述第一设备、所述第二设备和第三设备至少两个设备中执行AI模型传输，以完成第二设备的模型推理任务，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图15为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第二设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图15所示，该推理的方法可包括如下步骤：

步骤S1501：响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

步骤S1502：接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。

作为一种本申请实施例的一种实现方式，在第一设备辅助第二设备完成AI模型推理任务后，将推理结果返回至第二设备，由第二设备上传至第三设备。

本公开实施例提供了另一种推理的方法，该方法应用于第三设备侧，图16为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图16所示，该推理的方法可包括如下步骤：

步骤S1601：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

第三设备向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，例如硬件条件受限或者AI处理平台不兼容时，第二设备向第一设备发送AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务。

在该方案中，第三设备向所述第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图17为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图17所示，该推理的方法可包括如下步骤：

步骤S1701：接收所述第二设备发送的所述第一设备对所述AI模型的推理能力信息。

步骤S1702：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

在第二设备不具有独立推理的条件时，以便第一设备辅助所述第二设备完成所述推理任务，所述第二设备响应于需要所述第二设备提供AI模型的推理结果或使用AI模型的推理结果上报具体AI模型推理能力的信息。

第一设备将AI模型的推理能力信息发送至第二设备，其目的在于，由第二设备将获取的推理能力信息上报至第三设备，第三设备根据接收到的AI模型推理的推理能力信息配置第二设备进行执行AI推理任务。第二设备作为中转，将获得的推理能力信息转发至第三设备，以实现AI模型在传输时的信息同步，以便第三设备根据推理能力信息确定是否让第二设备使用无线AI模型的功能或者使用哪些无线AI模型的用例。

本公开实施例提供了另一种推理的方法，图18为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图18所示，该推理的方法可包括如下步骤：

步骤S1801：接收所述第二设备发送的所述第二设备对所述AI模型的推理能力信息。

第二设备将推理能力信息上报至第三设备，第三设备根据接收到的AI模型推理的推理能力信息配置第二设备进行执行AI推理任务。第二设备发送的所述第二设备对所述AI模型的推理能力信息可以包含但不限于第一设备提供的AI模型推理的推理能力信息，还可以包括第二设备自身的AI模型推理的推理能力信息，第三设备并不关注AI模型推理的推理能力信息的来源，而是以第二设备所提供的的AI模型推理的推理能力信息能够执行AI推理任务为准。

步骤S1802：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

以便第一设备辅助所述第二设备完成所述推理任务，所述第二设备响应于需要所述第二设备提供AI模型的推理结果或使用AI模型的推理结果上报具体AI模型推理能力的信息。

在该方案中，将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备，第三设备根据接收到的AI模型推理的推理能力信息配置第二设备进行执行AI推理任务，第二设备向第一设备发送需要辅助第二设备完成AI模型推理任务的AI模型推理请求，由第一设备辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图19为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图19所示，该推理的方法可包括如下步骤：

步骤S1901：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

步骤S1902：接收所述第一设备上报的处理AI模型推理任务的耗时信息。

第一设备根据AI模型中处理AI任务的类别，确定处理每个AI任务的耗时信息/延时信息，将耗时信息/延时信息上报至第三设备。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，使得第二设备能够响应于需要提供AI模型的推理结果或使用AI模型的推理结果，使第二设备间接性具备推理能力，受益于无线AI。

本公开实施例提供了另一种推理的方法，图20为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图20所示，该推理的方法可包括如下步骤：

步骤S2001：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

步骤S2002：响应于进行推理的AI模型由所述第三设备提供，直接将所述AI模型发送至所述第一设备；或者响应于进行推理的AI模型由所述第三设备提供，将所述所述AI模型发送至所述第二设备，所述AI模型通过第二设备转发至所述第一设备。

本申请实施例的场景为第三设备作为AI模型的提供方，需要将其传输至AI模型的使用方(第一设备)，第一设备根据接收到的AI模型辅助第一设备执行AI模型推理任务。

本申请实施例的场景为第三设备作为AI模型的提供方，需要将其传输至第二设备后，由第二设备转发至AI模型的使用方(第一设备)，以由实现第一设备、第二设备及第三设备共同执行AI模型推理任务。

本公开实施例提供了另一种推理的方法，图21为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图21所示，该推理的方法可包括如下步骤：

步骤S2101：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

步骤S2102：响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型；或者响应于进行推理的AI模型由所述第一设备提供，接收所述第二设备转发的所述AI模型。

有关AI模型在第一设备、第二设备及第三设备之间的传输过程，可参阅任意实施例的详细说明，本公开实施例在此不再进行赘述。

本公开实施例提供了另一种推理的方法，图22为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图22所示，该推理的方法可包括如下步骤：

步骤S2202：响应于接收到第一设备提供的AI模型，辅助所述第一设备、所述第二设备完成所述AI模型推理任务。

本公开实施例提供了另一种推理的方法，图23为本公开实施例提供的另一种推理的方法的流程示意图，该方法被第三设备执行，该推理的方法可以单独被执行，也可以结合本公开中的任一个实施例或是实施例中的可能的实现方式一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。

如图23所示，该推理的方法可包括如下步骤：

步骤S2302：响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。

步骤S2302：接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。

所述推理结果为：由所述第一设备单独完成所述AI模型推理任务得到的推理结果；或者由所述第一设备与所述第二设备共同完成所述AI模型推理任务得到的推理结果；或者由所述第一设备与所述第二设备及其第三设备共同完成所述AI模型推理任务得到的推理结果。

在该方案中，第三设备响应于接收第二设备上报的具备AI模型推理能力的信息，向第二设备发送AI模型推理任务，在第二设备不具有独立推理的条件时，响应于接收第二设备发送的AI模型推理请求，并将推理结果返回至第三设备，辅助第二设备完成AI模型推理任务，使第二设备间接性具备推理能力，受益于无线AI。

与上述图2至图23实施例提供的推理的方法相对应，本公开还提供一种推理的装置，由于本公开实施例提供推理的装置与上述图2至图23实施例提供的推理的方法相对应，因此在推理的方法的实施方式也适用于本公开实施例提供的推理的装置，在本公开实施例中不再详细描述。

图24为本公开实施例所提供的一种推理的装置的结构示意图。所述装置被设置在第一设备，所述装置包括：

处理单元2401，用于响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。

作为本公开实施例的的一种可能实现方式，所述辅助第二设备执行AI模型推理任务包括以下任一种：

所述第一设备单独完成所述AI模型推理任务；

作为本公开实施例的的一种可能实现方式，所述装置还包括：

发送单元2402，用于将所述第一设备对所述AI模型的推理能力信息发送至所述第二设备。

作为本公开实施例的的一种可能实现方式，所述AI模型的推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

上报单元2403，用于将处理AI模型推理任务的耗时信息上报给所述第三设备。

接收单元2404，用于响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型；或者。

所述接收单元2404，还用于响应于进行推理的AI模型由所述第三设备提供，接收所述第二设备转发的所述AI模型。

发送单元2402，用于响应于进行推理的AI模型由所述第一设备提供，向所述第二设备发送的所述AI模型，所述AI模型通过所述第二设备转发至所述第三设备；或者

发送单元2402，还用于响应于进行推理的AI模型由所述第一设备提供，直接向所述第三设备发送的所述AI模型。

发送单元2402，用于将所述推理结果发送至所述第二设备，所述推理结果通过所述第二设备转发至所述第三设备；或者

将所述推理结果直接上报至所述第三设备。

发送单元2402，用于将基于所述推理结果进一步得到的参数发送至所述第二设备，所述参数通过所述第二设备转发至所述第三设备；或者

上报单元2403，用于将所述基于所述推理结果进一步得到的参数直接上报至所述第三设备。

作为本公开实施例的的一种可能实现方式，所述第一设备与所述第二设备进行交互的协议为自定义的交互协议。

作为本公开实施例的的一种可能实现方式，本申请实施例提供一种人工智能AI模型推理的装置，所述装置被设置在第二设备，如图25所示，包括：

发送单元2501，用于响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。

接收单元2502，用于接收所述第一设备发送的辅助进行AI模型推理的推理能力信息。

上报单元2503，用于将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备。

作为本公开实施例的的一种可能实现方式，所述推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。

接收单元2502，用于响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备。

接收单元2502，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型，并将所述AI模型转发至所述第三设备。

接收单元2502，用于接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。

作为本公开实施例的的一种可能实现方式，所述推理结果为：

作为本公开实施例的的一种可能实现方式，所述第二设备与所述第一设备进行交互的协议为自定义的交互协议。

作为本公开实施例的的一种可能实现方式，本申请实施例提供一种人工智能AI模型推理的装置，所述装置被设置在第三设备，如图26所示，所述装置包括：

发送单元2601，用于响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务，以便第一设备辅助所述第二设备完成所述推理任务，所述第二设备响应于需要所述第二设备提供AI模型的推理结果或使用AI模型的推理结果上报具体AI模型推理能力的信息。

接收单元2602，用于接收所述第二设备发送的所述第一设备对所述AI模型的推理能力信息。

为本公开实施例的的一种可能实现方式，所述装置还包括：

接收单元2602，用于接收所述第二设备发送的所述第二设备对所述AI模型的推理能力信息。

作为本公开实施例的的一种可能实现方式，所述AI模型的推理能力信息包括；AI模型信息、AI处理平台框架信息以及AI处理能力信息。

接收单元2602，用于接收所述第一设备上报的处理AI模型推理任务的耗时信息。

发送单元2603，用于响应于进行推理的AI模型由所述第三设备提供，直接将所述AI模型发送至所述第一设备；或者

发送单元2603，用于响应于进行推理的AI模型由所述第三设备提供，将所述所述AI模型发送至所述第二设备，由第二设备将所述AI模型转发至所述第一设备。

接收单元2602，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型；或者

接收单元2602，用于响应于进行推理的AI模型由所述第一设备提供，接收所述第二设备转发的所述AI模型。

作为本公开实施例的的一种可能实现方式，处理单元2601，用于响应于接收到第一设备提供的AI模型，辅助所述第一设备、所述第二设备完成所述AI模型推理任务。

接收单元2602，用于接收所述第二设备发送的AI模型的推理结果。

为了实现上述实施例，本公开还提供另一种推理的装置，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如图2至图9所示的方法，或执行图10至图15所示的方法，或执行图16至图23所示的方法。

为了实现上述本公开实施例提供的方法中的各功能，第一设备、第二设备及第三设备可以包括硬件结构、软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能可以以硬件结构、软件模块、或者硬件结构加软件模块的方式来执行。

请参见图27，图27为本公开实施例所提供的一种推理的装置的结构示意图。参照图27，网络设备2700包括处理组件2722，其进一步包括至少一个处理器，以及由存储器2732所代表的存储器资源，用于存储可由处理组件2722的执行的指令，例如应用程序。存储器2732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件2722被配置为执行指令，以执行上述方法前述应用在所述网络设备的任意方法，例如，如图2至图21实施例所述的方法。

网络设备2700还可以包括一个电源组件2706被配置为执行网络设备2700的电源管理，一个有线或无线网络接口2750被配置为将网络设备2700连接到网络，和一个输入输出(I/O)接口2758。网络设备2700可以操作基于存储在存储器2732的操作系统，例如Windows Server TM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。

为了实现上述实施例，本申请实施例提供一种推理的系统，包括：如图24所示的推理的装置、如图25所示的推理的装置以及如图26所示的推理的装置。

图28为本公开实施例所提供的一种推理的装置的框图。例如，用户设备2800可以是移动电话，计算机，数字广播用户设备，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图28，用户设备2800可以包括以下至少一个组件：处理组件2802，存储器2804，电源组件2806，多媒体组件2808，音频组件2810，输入/输出(I/O)的接口2812，传感器组件2814，以及通信组件2816。

处理组件2802通常控制用户设备2800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件2802可以包括至少一个处理器2820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件2802可以包括至少一个模块，便于处理组件2802和其他组件之间的交互。例如，处理组件2802可以包括多媒体模块，以方便多媒体组件2808和处理组件2802之间的交互。

存储器2804被配置为存储各种类型的数据以支持在用户设备2800的操作。这些数据的示例包括用于在用户设备2800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器2804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件2806为用户设备2800的各种组件提供电力。电源组件2806可以包括电源管理系统，至少一个电源，及其他与为用户设备2800生成、管理和分配电力相关联的组件。

多媒体组件2808包括在所述用户设备2800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括至少一个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的唤醒时间和压力。在一些实施例中，多媒体组件2808包括一个前置摄像头和/或后置摄像头。当用户设备2800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件2810被配置为输出和/或输入音频信号。例如，音频组件2810包括一个麦克风(MIC)，当用户设备2800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器2804或经由通信组件2816发送。在一些实施例中，音频组件2810还包括一个扬声器，用于输出音频信号。

I/O接口2812为处理组件2802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件2814包括至少一个传感器，用于为用户设备2800提供各个方面的状态评估。例如，传感器组件2814可以检测到用户设备2800的打开/关闭状态，组件的相对定位，例如所述组件为用户设备2800的显示器和小键盘，传感器组件2814还可以检测用户设备2800或用户设备2800一个组件的位置改变，用户与用户设备2800接触的存在或不存在，用户设备2800方位或加速/减速和用户设备2800的温度变化。传感器组件2814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件2814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件2814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件2815被配置为便于用户设备2800和其他设备之间有线或无线方式的通信。用户设备2800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件2815经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件2815还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，用户设备2800可以被至少一个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1至11所示的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器2804，上述指令可由用户设备2800的处理器2820执行以完成上述图2至图21所示的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员还可以了解到本公开实施例列出的各种说明性逻辑块(illustrative logical block)和步骤(step)可以通过电子硬件、电脑软件，或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本公开实施例保护的范围。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行所述计算机程序时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本公开实施例的范围，也表示先后顺序。

本申请中的至少一个还可以描述为一个或多个，多个可以是两个、三个、四个或者更多个，本申请不做限制。在本公开实施例中，对于一种技术特征，通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征，该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。

本申请中各表所示的对应关系可以被配置，也可以是预定义的。各表中的信息的取值仅仅是举例，可以配置为其他值，本申请并不限定。在配置信息与各参数的对应关系时，并不一定要求必须配置各表中示意出的所有对应关系。例如，本申请中的表格中，某些行示出的对应关系也可以不配置。又例如，可以基于上述表格做适当的变形调整，例如，拆分，合并等等。上述各表中标题示出参数的名称也可以采用推理的装置可理解的其他名称，其参数的取值或表示方式也可以推理的装置可理解的其他取值或表示方式。上述各表在实现时，也可以采用其他的数据结构，例如可以采用数组、队列、容器、栈、线性表、指针、链表、树、图、结构体、类、堆、散列表或哈希表等。

本申请中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

一种AI模型推理的方法，该方法被第一设备执行，其特征在于，所述方法包括：

响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。
根据权利要求1所述的方法，其特征在于，所述辅助第二设备执行AI模型推理任务包括以下任一种：

所述第一设备单独完成所述AI模型推理任务；

所述第一设备与所述第二设备共同完成所述AI模型推理任务；

所述第一设备与所述第二设备及第三设备共同完成所述AI模型推理任务。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述第一设备对所述AI模型的推理能力信息发送至所述第二设备。
根据权利要求3所述的方法，其特征在于，所述AI模型的推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。
根据权利要求2所述的方法，其特征在于，所述方法还包括：

将处理AI模型推理任务的耗时信息上报给所述第三设备。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型；或者，

响应于进行推理的AI模型由所述第三设备提供，接收所述第二设备转发的所述AI模型。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述第一设备提供，向所述第二设备发送的所述AI模型，所述AI模型通过所述第二设备转发至所述第三设备；或者

响应于进行推理的AI模型由所述第一设备提供，直接向所述第三设备发送的所述AI模型。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述推理结果发送至所述第二设备，所述推理结果通过所述第二设备转发至所述第三设备；或者

将所述推理结果直接上报至所述第三设备。
根据权利要求1所述的方法，其特征在于，所述方法还包括：

将基于所述推理结果进一步得到的参数发送至所述第二设备，所述参数通过所述第二设备转发至所述第三设备；或者

将所述基于所述推理结果进一步得到的参数直接上报至所述第三设备。
根据权利要求1-9中任一项所述的方法，其特征在于，

所述第一设备与所述第二设备进行交互的协议为自定义的交互协议。
一种人工智能AI模型推理的方法，该方法被第二设备执行，其特征在于，包括：

响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。
根据权利要求11所述的方法，其特征在于，所述方法还包括：

接收所述第一设备发送的辅助进行AI模型推理的推理能力信息。
根据权利要求12所述的方法，其特征在于，所述方法还包括：

将所述第一设备辅助进行AI模型推理的推理能力信息上报至所述第三设备。
根据权利要求12所述的方法，其特征在于，所述推理能力信息包括：

AI模型信息、AI处理平台框架信息以及AI处理能力信息。
根据权利要求11所述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，接收所述第三设备发送的所述AI模型，并将所述AI模型转发至所述第一设备。
根据权利要求11述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述第一设备提供，接收所述第一设备发送的所述AI模型，并将所述AI模型转发至所述第三设备。
根据权利要求11-16中任一项所述的方法，其特征在于，所述方法还包括：

接收所述第一设备返回的AI模型推理的推理结果，并将所述推理结果转发至所述第三设备。
根据权利要求17所述的方法，其特征在于，所述推理结果为：

由所述第一设备单独完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备共同完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备及其第三设备共同完成所述AI模型推理任务得到的推理结果。
根据权利要求18所述的方法，其特征在于，

所述第二设备与所述第一设备进行交互的协议为自定义的交互协议。
一种人工智能AI模型推理的方法，该方法被第三设备执行，其特征在于，所述方法包括：

响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。
根据权利要求20所述的方法，其特征在于，所述方法还包括：

接收所述第二设备发送的所述第一设备对所述AI模型的推理能力信息。
根据权利要求20所述的方法，其特征在于，所述方法还包括：

接收所述第二设备发送的所述第二设备对所述AI模型的推理能力信息。
根据权利要求21所述的方法，其特征在于，所述AI模型的推理能力信息包括；AI模型信息、AI处理平台框架信息以及AI处理能力信息。
根据权利要求20所述的方法，其特征在于，所述方法还包括：

接收所述第一设备上报的处理AI模型推理任务的耗时信息。
根据权利要求20所述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述第三设备提供，将所述AI模型发送至所述第一设备；或者

响应于进行推理的AI模型由所述第三设备提供，将所述所述AI模型发送至所述第二设备，所述AI模型通过所述第二设备转发至所述第一设备。
根据权利要求20所述的方法，其特征在于，所述方法还包括：

响应于进行推理的AI模型由所述一设备提供，接收所述第一设备发送的所述AI模型；或者

响应于进行推理的AI模型由所述一设备提供，接收所述第二设备转发的所述AI模型。
根据权利要求20所述的方法，其特征在于，

响应于接收到第一设备提供的AI模型，辅助所述第一设备、所述第二设备完成所述AI模型推理任务。
根据权利要求20-27中任一项所述的方法，其特征在于，所述方法还包括：

接收所述第二设备发送的AI模型的推理结果。
根据权利要求28所述的方法，其特征在于，所述推理结果为：

由所述第一设备单独完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备共同完成所述AI模型推理任务得到的推理结果；或者

由所述第一设备与所述第二设备及其第三设备共同完成所述AI模型推理任务得到的推理结果。
一种AI模型推理的装置，所述装置被设置在第一设备，其特征在于，所述装置包括：

处理单元，用于响应于接收第二设备发送的AI模型推理请求，辅助第二设备完成AI模型推理任务，AI模型推理请求为所述第二设备响应于需要提供AI模型的推理结果或使用AI模型的推理结果时向所述第一设备发送的。
一种人工智能AI模型推理的装置，所述装置被设置在第二设备，其特征在于，包括：

发送单元，用于响应于第二设备提供AI模型的推理结果或使用AI模型的推理结果，向第一设备发送需要辅助所述第二设备完成AI模型推理任务的AI模型推理请求。
一种人工智能AI模型推理的装置，所述装置被设置在第三设备，其特征在于，所述装置包括：

发送单元，用于响应于接收第二设备上报的具备AI模型推理能力的信息，向所述第二设备发送AI模型推理任务。
一种推理的装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如权利要求1至10中任一项所述的方法。
一种推理的装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如权利要求11至19中任一项所述的方法。
一种推理的装置，其特征在于，所述装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述装置执行如权利要求20至29中任一项所述的方法。
一种推理的装置，其特征在于，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如权利要求1至10中任一项所述的方法。
一种推理的装置，其特征在于，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如权利要求11至19中任一项所述的方法。
一种推理的装置，其特征在于，包括：处理器和接口电路；

所述接口电路，用于接收代码指令并传输至所述处理器；

所述处理器，用于运行所述代码指令以执行如权利要求20至29中任一项所述的方法。
一种推理的系统，其特征在于，包括：如权利要求30所述的推理的装置、如权利要求31所述的推理的装置以及如权利要求32所述的推理的装置；

或者，所述系统包括如权利要求33所述的推理的装置、如权利要求34所述的推理的装置以及如权利要求35所述的推理的装置；

或者，所述系统包括如权利要求36所述的推理的装置、如权利要求37所述的推理的装置以及如权利要求38所述的推理的装置。
一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如权利要求1至10中任一项所述的方法被实现。
一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如权利要求11至19中任一项所述的方法被实现。
一种计算机可读存储介质，用于存储有指令，当所述指令被执行时，使如权利要求20至29中任一项所述的方法被实现。