WO2024027511A1 - 信道接入方法及相关装置 - Google Patents

信道接入方法及相关装置 Download PDF

Info

Publication number
WO2024027511A1
WO2024027511A1 PCT/CN2023/108408 CN2023108408W WO2024027511A1 WO 2024027511 A1 WO2024027511 A1 WO 2024027511A1 CN 2023108408 W CN2023108408 W CN 2023108408W WO 2024027511 A1 WO2024027511 A1 WO 2024027511A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication device
neural network
access
data packet
channel
Prior art date
Application number
PCT/CN2023/108408
Other languages
English (en)
French (fr)
Inventor
郭子阳
刘鹏
董明杰
杨讯
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2024027511A1 publication Critical patent/WO2024027511A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H04W74/002—Transmission of channel access control information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access, e.g. scheduled or random access
    • H04W74/08—Non-scheduled or contention based access, e.g. random access, ALOHA, CSMA [Carrier Sense Multiple Access]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请涉及一种信道接入方法及相关装置，该方法包括：通信装置获取神经网络的参数，该参数基于接入类型信息获得，再根据参数和/或结构确定神经网络，再根据该神经网络及其输入信息对应的数据确定是否接入信道和哪种接入类型的业务接入信道。采用本申请实施例，可以提高信道利用率，降低时延。本申请应用于支持802.11ax下一代Wi-Fi协议，如802.11be，Wi-Fi 7或EHT，再如802.11be下一代，Wi-Fi 8等802.11系列协议的WLAN系统，还可以应用于基于超带宽的无线个人局域网系统，感知系统等。

Description

信道接入方法及相关装置
本申请要求于2022年08月05日提交中国专利局、申请号为202210940236.8、申请名称为“信道接入方法及相关装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及无线通信技术领域，尤其涉及一种信道接入方法及相关装置。
背景技术
随着无线通信技术的迅猛发展，第五代移动通信(5G)和第六代Wi-Fi(即电气及电子工程师学会(institute of electrical and electronics engineers，IEEE)802.11ax)标准已经商用，下一代无线技术和标准正在全球范围内如火如荼的进行。无线通信已经渗透到人们日常生活和工作的各个方面，成为不可或缺的部分。随着智能终端数目的高速增长和物联网(internet of things，IoT)设备的普及，衍生出许多新型无线应用，比如虚拟现实、增强现实、全息影像等。
而新型无线技术、新型终端以及新型无线应用会使无线网络变得越来越复杂。为了对抗无线网络的高复杂性，人工智能(artificial intelligence，AI)作为无线网络设计和管理的有效工具已成为业界的共识。在无线网络中，人工智能(AI)的优势体现在四个方面：1)解决没有数学模型的复杂网络问题；2)解决搜索空间大的无线网络管理问题；3)带来跨层和跨节点的网络级全局优化效果；4)通过AI的预测能力，主动优化无线网络参数。
在短距或Wi-Fi网络中，信道是共享的，即特定区域内如果存在多个节点同时发送报文就会发生冲突，导致传输失败。信道接入是在共享信道环境中决策节点是否进行发送的核心算法协议，信道接入的好坏对用户体验起到决定性作用。而现有的带有冲突避免的载波侦听多路访问(carrier sense multiple access with collision avoidance，CSMA/CA)机制中，大量时间用于退避，存在信道利用率低、时延大的问题。
发明内容
本申请实施例提供一种信道接入方法及相关装置，可以提高信道利用率，降低时延。
下面从不同的方面介绍本申请，应理解的是，下面的不同方面的实施方式和有益效果可以互相参考。
第一方面，本申请提供一种信道接入方法，该方法包括：第一通信装置获取神经网络的参数，并根据该神经网络的参数确定神经网络，再根据该神经网络和该神经网络的输入信息确定不接入信息或接入信道的接入类型。神经网络的输入信息包括接入类型信息和信道接入信息。
可理解，神经网络的参数包括神经元的偏置和神经元与神经元之间连线的权重。
本申请将人工智能和信道接入相结合，利用神经网络来决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输，可以提高信道利用率，降低时延。
结合第一方面，在一种可能的实现方式中，第一通信装置获取神经网络的参数，包括：第一通信装置接收来自第二通信装置的神经网络的参数；第一通信装置根据神经网络的参数确定神经网络之前，第一通信装置还获取神经网络的结构；第一通信装置根据神经网络的参数确定神经网络，包括：第一通信装置根据该神经网络的参数和该神经网络的结构确定该神经网络。
可理解，神经网络的结构包括输入层结构、输出层结构、以及隐藏层结构。还可理解，知道了神经网络的结构和参数，就知道了该神经网络的全部信息。
本申请的第一通信装置利用其它通信装置(如第二通信装置)训练完成的神经网络进行推理决策，来实现人工智能和信道接入相结合，可以提高信道利用率，降低时延。
结合第一方面，在一种可能的实现方式中，第一通信装置获取神经网络的参数，包括：第一通信装置向第二通信装置发送数据包，该数据包中携带业务标识，该业务标识对应接入类型；第一通信装置接收来自第二通信装置的响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励，该数据包对应的奖励基于该数据包的传输结果和该接入类型确定。第一通信装置根据该神经网络的参数确定神经网络，包括：第一通信装置利用该奖励更新神经网络的参数，获得神经网络。
本申请的第一通信装置自己训练神经网络，通过发送数据包，让第二通信装置帮忙计算该数据包对应的奖励，可以在不增加第二通信装置功耗的情况下，减少第一通信装置的功耗。此外，在该数据包的响应帧中携带该数据包对应的奖励，可以减少信令开销。
结合第一方面，在一种可能的实现方式中，第一通信装置根据神经网络和神经网络的输入信息确定不 接入信道或接入信道的接入类型，包括：第一通信装置将与神经网络的输入信息对应的数据输入神经网络进行处理，根据处理结果确定不接入信道或接入信道的接入类型。
可选的，该处理结果包括不接入信道对应的期望奖励或接入类型对应的期望奖励。当不接入信道对应的期望奖励大于各种接入类型对应的期望奖励时，第一通信装置确定不接入信道；当至少一个接入类型对应的期望奖励大于不接入信道对应的期望奖励时，第一通信装置根据期望奖励最大的接入类型接入信道。换句话说，第一通信装置可以选取该处理结果中最大期望奖励对应的行为。
其中，接入类型为背景流、尽力而为流、视频流、语音流中的一种或多种。
结合第一方面，在一种可能的实现方式中，上述神经网络的功能是AI辅助的信道接入功能。该神经网络的功能可以用于确定神经网络的输出结果的含义。也就是说，第一通信装置还根据该神经网络的功能确定不接入信道或接入信道的接入类型。
可选的，第一通信装置根据神经网络的参数确定神经网络之前，该方法还包括：第一通信装置接收来自第二通信装置的指示信息，该指示信息用于指示神经网络的功能为AI辅助的信道接入功能。
结合第一方面，在一种可能的实现方式中，上述接入类型信息包括以下一项或多项：每种接入类型的缓存包数量，或每种接入类型的业务量。其中，接入类型包括以下一种或多种：背景流、尽力而为流、视频流、或语音流。示例性的，接入类型信息可以包括背景流、尽力而为流、视频流以及语音流分别的缓存包数量，可选的还包括这些接入类型的业务量(load)。
结合第一方面，在一种可能的实现方式中，上述信道接入信息包括以下一项或多项：载波侦听结果，每种接入类型(或每个传输队列中数据包)的信道接入行为，或每种接入类型(或每个传输队列)的数据包传输结果。
可选的，上述信道接入信息还包括以下一项或多项：每种接入类型(或每个传输队列)的数据包的平均排队时延，每种接入类型(或每个传输队列)的数据包的平均接入时延，当前时刻距离本通信装置上次成功传输的时间，或当前时刻距离信道上其他通信装置上次成功传输的时间。可理解，本申请提及的其他通信装置为网络中除本通信装置外的通信装置。这里的本通信装置指的是第一通信装置。
其中，载波侦听结果可以是信道的忙(busy)或闲(idle)，因为载波侦听是以子信道为单位进行的，所以这里的载波侦听结果可以理解为每个子信道的忙或闲。信道接入行为可以指是否接入。数据包的传输结果可以指传输成功或失败。排队时延可以指数据包从进入传输队列到被发送的时间间隔。接入时延可以指数据包被发送到发送成功的时间间隔。
第二方面，本申请提供一种信道接入方法，该方法包括：第二通信装置获取(训练完成的)神经网络的参数，该神经网络的参数可以基于该第二通信装置的接入类型信息获得；第二通信装置再向第一通信装置发送该神经网络的参数，该神经网络的参数用于确定神经网络，该神经网络用于确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
本申请通过第二通信装置训练神经网络，以将人工智能(或者说神经网络)与信道接入相结合，在训练完成后通过下发神经网络参数，使网络中的其它节点能够使用接收到的神经网络参数进行推理决策(如利用神经网络来决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输)，从而可以提高信道利用率，降低时延。
结合第二方面，在一种可能的实现方式中，第二通信装置向第一通信装置发送神经网络的参数之后，该方法还包括：第二通信装置向第一通信装置发送指示信息，该指示信息用于指示该神经网络的功能，该神经网络的功能为AI辅助的信道接入功能。该神经网络的功能可以用于确定神经网络的输出结果的含义。
结合第二方面，在一种可能的实现方式中，第二通信装置获取神经网络的参数之前，该方法还包括：第二通信装置根据接收到的数据包的接入类型和该数据包的传输结果，确定该数据包在神经网络的训练过程中对应的奖励，该奖励用于更新神经网络的参数。
可选的，如果数据包的传输结果为传输成功，则第二通信装置利用第一奖励函数确定该数据包在神经网络的训练过程中对应的奖励。如果数据包的传输结果为传输失败，则第二通信装置利用第二奖励函数确定数据包在神经网络的训练过程中对应的奖励。其中，第一奖励函数基于数据包的接入类型、第二通信装置所在网络包括的节点数、当前时刻距离第二通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定。第三通信装置为除第二通信装置外在当前时刻前信道上最近一次传输的通信装置。第二奖励函数基于数据包的接入类型和第二通信装置所在网络包括的节点数确定。
本申请中第二通信装置所在网络包括的节点数可以理解为第二通信装置在信道上能够侦听到的节点 数。
举例来说，第一奖励函数表达如下：
举例来说，第二奖励函数表达如下：
其中，rt表示数据包在神经网络的训练过程中对应的奖励，表示当前时刻距离第二通信装置上次成功传输的时间，N表示第二通信装置所在网络包括的节点数，AC表示数据包的接入类型的值，表示当前时刻距离信道上第三通信装置上次成功传输的时间。AC是数据包的接入类型经过量化后的值，比如数据包的接入类型的优先级越高，AC值越大。举例来说，背景流、尽力而为流、视频流以及语音流可以分别量化为值1,2,3,4；或者值1,2,4,8。
结合第二方面，在一种可能的实现方式中，上述接入类型信息包括以下一项或多项：每种接入类型的缓存包数量，或每种接入类型的业务量。其中，接入类型包括以下一种或多种：背景流、尽力而为流、视频流、或语音流。
结合第二方面，在一种可能的实现方式中，上述信道接入信息包括以下一项或多项：载波侦听结果，每种接入类型(或每个传输队列中数据包)的信道接入行为，或每种接入类型(或每个传输队列)的数据包传输结果。
可选的，上述信道接入信息还包括以下一项或多项：每种接入类型(或每个传输队列)的数据包的平均排队时延，每种接入类型(或每个传输队列)的数据包的平均接入时延，当前时刻距离本通信装置上次成功传输的时间，或当前时刻距离信道上其他通信装置上次成功传输的时间。可理解，本申请提及的其他通信装置为网络中除本通信装置外的通信装置。这里的本通信装置指的是第一通信装置。
第三方面，本申请提供一种信道接入方法，该方法包括：第二通信装置接收来自第一通信装置的数据包，该数据包中携带业务标识，该业务标识对应接入类型；第二通信装置根据该数据包的传输结果和该接入类型，确定该数据包对应的奖励；第二通信装置向第一通信装置发送响应帧，该响应帧用于确认数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励。该奖励用于更新神经网络的参数；该神经网络的参数用于确定神经网络，该神经网络用于确定不接入信道或接入信道的接入类型。
本申请的第一通信装置发送数据包，让第二通信装置帮忙计算该数据包对应的奖励，可以在不增加第二通信装置功耗的情况下，减少第一通信装置的功耗；此外，本申请在该数据包的响应帧中携带该数据包对应的奖励，不仅可以减少信令开销；还可以使第一通信装置能够利用该数据包对应的奖励更新神经网络的参数，以将人工智能(或者说神经网络)与信道接入相结合，第一通信装置再使用训练完成的神经网络进行推理决策(如利用神经网络来决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输)，进而可以提高信道利用率，降低时延。
结合第三方面，在一种可能的实现方式中，上述响应帧为确认(acknowledgment，ACK)帧，该ACK帧用于确认该数据包传输成功。第二通信装置根据该数据包的传输结果和该接入类型，确定该数据包对应的奖励，包括：如果该数据包的传输结果为传输成功，则第二通信装置采用第一奖励函数确定该数据包对应的奖励。其中，第一奖励函数基于该接入类型、第一通信装置所在网络包括的节点数、当前时刻距离第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，所述第三通信装置为除第一通信装置外在当前时刻前信道上最近一次传输的通信装置。
可理解，第一奖励函数的表达式如前文所示，这里不赘述。
可选的，如果该数据包的传输结果为传输失败，第二通信装置不会反馈ACK帧，此时第一通信装置也不会接收到针对该数据包的ACK帧。因此，如果第一通信装置在一段时间内未接收到针对该数据包的ACK帧，说明该数据包传输失败，则第一通信装置可以自己计算该数据包对应奖励，比如第一通信装置基于该数据包的接入类型和第一通信装置所在网络包括的节点数，确定该数据包对应的奖励。
结合第三方面，在一种可能的实现方式中，上述响应帧为块确认(block acknowledgment，BA)帧，该块确认帧用于确认该数据包传输成功或传输失败。第二通信装置根据该数据包的传输结果和该接入类型，确定该数据包对应的奖励，包括：如果该数据包的传输结果为传输成功，则第二通信装置采用第一奖励函数确定该数据包对应的奖励；如果该数据包的传输结果为传输失败，则第二通信装置采用第二奖励函数确 定该数据包对应的奖励。
其中，第一奖励函数基于该接入类型、第一通信装置所在网络包括的节点数、当前时刻距离第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，所述第三通信装置为除第一通信装置外在当前时刻前信道上最近一次传输的通信装置。第二奖励函数基于接入类型和第一通信装置所在网络包括的节点数确定。
可理解，第一奖励函数和第二奖励函数的表达式如前文所示，这里不赘述。
第四方面，本申请实施例提供一种通信装置，该通信装置用于执行第一方面或第一方面的任意可能的实现方式中的方法。该通信装置包括具有执行第一方面或第一方面的任意可能的实现方式中的方法的单元。
第五方面，本申请实施例提供一种通信装置，该通信装置用于执行第二方面或第二方面的任意可能的实现方式中的方法。该通信装置包括具有执行第二方面或第二方面的任意可能的实现方式中的方法的单元。
第六方面，本申请实施例提供一种通信装置，该通信装置用于执行第三方面或第三方面的任意可能的实现方式中的方法。该通信装置包括具有执行第三方面或第三方面的任意可能的实现方式中的方法的单元。
在第四方面至第六方面的任一方面中，上述通信装置可以包括收发单元和处理单元。对于收发单元和处理单元的具体描述还可以参考下文示出的装置实施例。上述第四方面至第六方面的任一方面的有益效果可以参考前述第一方面至第三方面的相关描述，这里不赘述。
第七方面，本申请提供一种通信装置，该通信装置包括处理器，用于执行上述第一方面、或第一方面的任意可能的实现方式所示的方法。或者，该处理器用于执行存储器中存储的程序，当该程序被执行时，上述第一方面或第一方面的任意可能的实现方式所示的方法被执行。
结合第七方面，在一种可能的实现方式中，存储器位于上述通信装置之外。
结合第七方面，在一种可能的实现方式中，存储器位于上述通信装置之内。
本申请中，处理器和存储器还可以集成于一个器件中，即处理器和存储器还可以被集成在一起。
结合第七方面，在一种可能的实现方式中，通信装置还包括收发器，该收发器，用于收发信息。
第八方面，本申请提供一种通信装置，该通信装置包括处理器，用于执行上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示的方法。或者，该处理器用于执行存储器中存储的程序，当该程序被执行时，上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示的方法被执行。
结合第八方面，在一种可能的实现方式中，存储器位于上述通信装置之外。
结合第八方面，在一种可能的实现方式中，存储器位于上述通信装置之内。
本申请中，处理器和存储器还可以集成于一个器件中，即处理器和存储器还可以被集成在一起。
结合第八方面，在一种可能的实现方式中，通信装置还包括收发器，该收发器，用于收发信息。
第九方面，本申请提供一种通信装置，该通信装置包括逻辑电路和接口，该逻辑电路和该接口耦合。接口，用于输入神经网络的参数，该神经网络的参数基于接入类型信息获得；逻辑电路，用于根据该神经网络的参数确定该神经网络；逻辑电路，还用于根据该神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
第十方面，本申请提供一种通信装置，该通信装置包括逻辑电路和接口，该逻辑电路和该接口耦合。
一种设计中，逻辑电路，用于获取神经网络的参数，该神经网络的参数基于第二通信装置的接入类型信息获得；接口，用于输出该神经网络的参数，该神经网络的参数用于确定该神经网络，该神经网络用于确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
另一种设计中，接口，用于输入数据包，该数据包中携带业务标识，该业务标识对应接入类型；逻辑电路，用于装置根据该数据包的传输结果和该接入类型，确定该数据包对应的奖励，该奖励用于更新神经网络的参数；该神经网络的参数用于确定神经网络，该神经网络用于确定不接入信道或接入信道的接入类型；接口，还用于输出响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励。
第十一方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，当其在计算机上运行时，使得上述第一方面、或第一方面的任意可能的实现方式所示的方法被执行。
第十二方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，当其在计算机上运行时，使得上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示的方法被执行。
第十三方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序或计算机代码，当其在计算机上运行时，使得上述第一方面、或第一方面的任意可能的实现方式所示的方法被执行。
第十四方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序或计算机代码，当其在计算机上运行时，使得上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示的方法被执行。
第十五方面，本申请实施例提供一种计算机程序，该计算机程序在计算机上运行时，上述第一方面、或第一方面的任意可能的实现方式所示的方法被执行。
第十六方面，本申请实施例提供一种计算机程序，该计算机程序在计算机上运行时，上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示的方法被执行。
第十七方面，本申请实施例提供一种无线通信系统，该无线通信系统包括：用于执行上述第一方面或第一方面的任意可能的实现方式所示方法的通信装置，和用于执行上述第二方面、上述第三方面、或其中任一方面的任意可能的实现方式所示方法的通信装置。
上述各个方面达到的技术效果可以相互参考或参考下文所示的方法实施例中的有益效果，此处不再重复赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是包含3个层的全连接神经网络示意图；
图2是一个神经元根据输入计算输出的示意图；
图3是Wi-Fi中EDCA的实现模型示意图；
图4是本申请实施例提供的一种通信系统的架构示意图；
图5a是本申请实施例提供的接入点的一结构示意图；
图5b是本申请实施例提供的接入点的另一结构示意图；
图5c是本申请实施例提供的接入点的又一结构示意图；
图6a是本申请实施例提供的站点的一结构示意图；
图6b是本申请实施例提供的站点的另一结构示意图；
图6c是本申请实施例提供的站点的又一结构示意图；
图7是本申请实施例提供的通信装置的一结构示意图；
图8是本申请实施例提供的信道接入方法的一流程示意图；
图9是本申请实施例提供的信道接入方法的另一流程示意图；
图10是本申请实施例提供的和的示意图；
图11是本申请实施例提供的神经网络模型及其输入输出的示意图；
图12是本申请实施例提供的第一通信装置进行AI辅助的EDCA的示意图；
图13是本申请实施例提供的信道接入方法的又一流程示意图；
图14是本申请实施例提供的ACK帧的帧格式示意图；
图15是本申请实施例提供的BA帧的帧格式示意图；
图16是本申请实施例提供的DQN算法示意图；
图17是本申请实施例提供的通信装置100的结构示意图；
图18是本申请实施例提供的通信装置1000的结构示意图；
图19是本申请实施例提供的通信装置的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。
在本申请的描述中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上。另外，“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以 是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。
本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”、“举例来说”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”、“举例来说”或者“例如”等词旨在以具体方式呈现相关概念。
应理解，在本申请中，“当…时”、“若”以及“如果”均指在某种客观情况下装置会做出相应的处理，并非是限定时间，且也不要求装置实现时一定要有判断的动作，也不意味着存在其它限定。
本申请中对于使用单数表示的元素旨在用于表示“一个或多个”，而并非表示“一个且仅一个”，除非有特别说明。
应理解，在本申请各实施例中，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
下面对本申请涉及的一些术语或名词等进行简要介绍。
一、神经网络(neural network，NN)
神经网络(neural network，NN)是一种模拟人脑神经网络以期能够实现类人工智能的机器学习技术。神经网络至少包括3层，一个输入层、一个隐藏层(也称中间层)以及一个输出层。一些的神经网络可能在输入层和输出层之间包含更多的隐藏层。以最简单的神经网络为例，对其内部的结构和实现进行说明，参见图1，图1是包含3个层的全连接神经网络示意图。如图1所示，该神经网络包括3个层，分别是输入层、隐藏层以及输出层，其中输入层有3个神经元，隐藏层有4个神经元，输出层有2个神经元，并且每层神经元与下一层神经元全连接。神经元之间的每条连线对应一个权重，这些权重通过训练可以更新。隐藏层和输出层的每个神经元还可以对应一个偏置，这些偏置通过训练可以更新。更新神经网络是指更新这些权重和偏置。知道了神经网络的结构即每层包含的神经元个数以及前面的神经元的输出如何输入后面的神经元(即神经元之间的连接关系)，和神经网络的参数即权重和偏置，就知道了该神经网络的全部信息。
由图1可知，每个神经元可能有多条输入连线，每个神经元根据输入计算输出。参见图2，图2是一个神经元根据输入计算输出的示意图。如图2所示，一个神经元包含3个输入，1个输出，以及2个计算功能，输出的计算公式可以表示为：
输出＝激活函数(输入1*权重1+输入2*权重2+输入3*权重3+偏置)……………(1-1)
符号“*”表示数学运算“乘”或“乘以”，下文不再赘述。
每个神经元可能有多条输出连线，一个神经元的输出作为下一个神经元的输入。应理解，输入层只有输出连线，输入层的每个神经元是输入神经网络的值，每个神经元的输出值作为所有输出连线的输入。输出层只有输入连线，采用上述公式(1-1)的计算方式计算输出。可选的，输出层可以没有激活函数的计算，也就是说前述公式(1-1)可以变换成：输出＝输入1*权重1+输入2*权重2+输入3*权重3+偏置。
举例来说，k层神经网络可以表示为：
y＝fk(fk-1(…(f1(w1*x+b1)))………………………………………………………………(1-2)
其中，x表示神经网络的输入，y表示神经网络的输出，wi表示第i层神经网络的权重，bi表示第i层神经网络的偏置，fi表示第i层神经网络的激活函数。i＝1,2,…,k。
二、增强型分布式信道接入(enhanced distributed channel access，EDCA)
在Wi-Fi网络中，信道接入有着至关重要的作用。现有Wi-Fi标准采用的是增强型分布式信道接入(enhanced distributed channel access，EDCA)，在EDCA中业务可以分为四种不同的接入类型(access category，AC)，分别是：AC_BK(接入类型为背景流)、AC_BE(接入类型为尽力而为流)、AC_VI(接入类型为视频流)和AC_VO(接入类型为语音流)；这四种接入类型分别对应背景(background，BK)、尽力而为(best effort，BE)、视频(video，VI)和语音(voice，VO)四种业务类型。每种接入类型(AC)对应一组接入参数，接入参数包括竞争窗口(contention window，CW)，仲裁帧间间距(arbitration inter-frame space，AIFS)等。不同接入类型对应的接入参数如下述表1所示，CWmin表示竞争窗口的最小值，CWmax表示竞争窗口的最大值。AIFS的计算方法可以为仲裁帧间间距数(AIFS number，AIFSN)和一个时隙时间(a Slot Time)的乘积、与一个短帧间间隔(short inter-frame space，SIFS)之和，即AIFS[AC]＝a SIFS  time+AIFSN[AC]*(a Slot Time)。可理解的，AIFS和SIFS的单位均为时间单位。
表1：不同接入类型对应的接入参数
如图3所示，使用EDCA时，节点根据业务的接入类型将数据包送入不同的传输队列(transmitqueues)，四种接入类型的传输队列均使用带有冲突避免的载波侦听多路访问(carrier sense multiple access with collision avoidance，CSMA/CA)机制竞争信道，但不同接入类型的传输队列使用不同的接入参数(如上述表1所示)，以实现对业务优先级的区分，使得高优先级业务能够比低优先级业务更快地接入信道。其中，CSMA/CA机制可以简单描述为：节点在发送数据之前，需要对无线介质(wireless medium)进行空闲信道评估(clear channel access,CCA)。如果无线介质在一段时间内空闲，则节点可以开始随机退避过程。如果无线介质在该段时间内繁忙，则节点需等待无线介质变为空闲后并保持一段时间空闲，再开始随机退避过程。当随机退避过程结束后，节点可以进行帧交换。随机退避过程中的退避时间(backoff time)等于一个随机回退值与一个时隙(slot)时间的乘积。随机回退值是从一个均匀分布的竞争窗口[0,CW]中随机选取的一个值。CSMA/CA机制中竞争窗口(contention window，CW)存在多个值，节点首次尝试(Initial Attempt)信道竞争时，CW的值为最小值，即CWmin。当每一次传输失败(例如发生冲突/碰撞)时，需要重新进行信道竞争，CW的值就逐次增大，直到达到CW的最大值，即CWmax。当成功发送数据/传输成功时，CW被重置(reset)为CWmin。
因此，由上述EDCA的实现可知，采用CSMA/CA机制竞争信道的过程中，有大量的时间都在退避，从而导致信道利用率低、时延大。
鉴于此，本申请提供一种信道接入方法及相关装置，可以将人工智能和EDCA相结合，使网络中的各个节点能够基于接入类型信息(如各AC的缓存包数量等)和信道接入信息(如载波侦听结果、数据包传输结果、信道接入行为等)利用神经网络来推理决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输，从而提高信道利用率，降低时延。
以下详细介绍本申请实施例涉及的通信系统。
本申请提供的方法可以应用于无线局域网(wireless local area network，WLAN)系统，如Wi-Fi等。如本申请提供的方法可以适用于电气及电子工程师学会(institute of electrical and electronics engineers，IEEE)802.11系列协议，例如802.11a/b/g协议、802.11n协议、802.11ac协议、802.11ax协议、802.11be协议(也称为Wi-Fi7)或下一代的协议，例如Wi-Fi 8等，这里不再一一列举。本申请提供的方法还可以应用于各类通信系统，例如，蜂窝系统(包括但不限于：长期演进(long term evolution，LTE)系统，第五代(5th-generation，5G)通信系统，以及未来通信发展中出现的新的通信系统(如6G)等)、物联网(internet of things，IoT)系统、窄带物联网(narrow band internet of things，NB-IoT)系统、其他短距通信系统(包括但不限于：蓝牙(bluetooth)、超宽带(ultra wide band，UWB))等。
本申请提供的方法可以应用于一个节点与一个或多个节点进行数据传输的场景中。比如，单用户的上/下行传输，多用户的上/下行传输，设备到设备(device to device，D2D)的传输。其中，上述任一个节点可以为无线通信系统中的通信装置，即本申请提供的方法可以由无线通信系统中的通信装置实现。例如，该通信装置可以是接入点(access point，AP)或站点(station，STA)中的至少一项。
可选的，本申请中的通信装置(如AP和STA)都具有一定的AI处理能力，即至少可以使用神经网络进行推理决策。也就是说，本申请中的通信装置除了具有无线通信功能外，还具有AI处理能力，即至少支持神经网络的推理决策。
本申请中的接入点是一种具有无线通信功能和AI处理能力的装置，支持采用WLAN协议进行通信或感知，具有与WLAN网络中其他设备(比如站点或其他接入点)通信或感知的功能，当然，还可以具有与其他设备通信或感知的功能。或者，接入点相当于一个连接有线网和无线网的桥梁，主要作用是将各个无线网络客户端连接到一起，然后将无线网络接入以太网。在WLAN系统中，接入点可以称为接入点站点(AP STA)。该具有无线通信功能的装置可以为一个整机的设备，还可以是安装在整机设备中的芯片或处理系统等，安装这些芯片或处理系统的设备可以在芯片或处理系统的控制下，实现本申请实施例的方法 和功能等。本申请实施例中的AP是为STA提供服务的装置，可以支持802.11系列协议。例如，接入点可以为终端(如手机)进入有线(或无线)网络的接入点，主要部署于家庭、大楼内部以及园区内部，典型覆盖半径为几十米至上百米，当然，也可以部署于户外。又例如，AP可以为通信服务器、路由器、交换机、网桥等通信实体；AP可以包括各种形式的宏基站，微基站，中继站等，当然AP还可以为这些各种形式的设备中的芯片和处理系统，从而实现本申请实施例的方法和功能。本申请中的接入点可以是极高吞吐量(extremely high throughput，EHT)AP，或者未来Wi-Fi标准的接入点等。
本申请中的站点是一种具有无线通信功能和AI处理能力的装置，支持采用WLAN协议进行通信或感知，具有与WLAN网络中的其他站点或接入点通信或感知的能力。在WLAN系统中，站点可以称为非接入点站点(non-access point station，non-AP STA)。例如，STA是允许用户与AP通信或感知进而与WLAN通信的任何用户通信设备，该具有无线通信功能的装置可以为一个整机的设备，还可以是安装在整机设备中的芯片或处理系统等，安装这些芯片或处理系统的设备可以在芯片或处理系统的控制下，实现本申请实施例的方法和功能。例如，站点可以为无线通讯芯片、无线传感器或无线通信终端等，也可称为用户。又例如，站点可以为支持Wi-Fi通讯功能的移动电话、支持Wi-Fi通讯功能的平板电脑、支持Wi-Fi通讯功能的机顶盒、支持Wi-Fi通讯功能的智能电视、支持Wi-Fi通讯功能的智能可穿戴设备、支持Wi-Fi通讯功能的车载通信设备和支持Wi-Fi通讯功能的计算机等等。本申请中的站点可以是EHT STA，或者未来Wi-Fi标准的站点等。
WLAN系统可以提供高速率低时延的传输，随着WLAN应用场景的不断演进，WLAN系统将会应用于更多场景或产业中，比如，应用于物联网产业，应用于车联网产业或应用于银行业，应用于企业办公，体育场馆展馆，音乐厅，酒店客房，宿舍，病房，教室，商超，广场，街道，生成车间和仓储等。当然，支持WLAN通信或感知的设备(比如接入点或站点)可以是智慧城市中的传感器节点(比如，智能水表，智能电表，智能空气检测节点)，智慧家居中的智能设备(比如智能摄像头，投影仪，显示屏，电视机，音响，电冰箱，洗衣机等)，物联网中的节点，娱乐终端(比如AR，VR等可穿戴设备)，智能办公中的智能设备(比如，打印机，投影仪，扩音器，音响等)，车联网中的车联网设备，日常生活场景中的基础设施(比如自动售货机，商超的自助导航台，自助收银设备，自助点餐机等)，以及大型体育以及音乐场馆的设备等。示例性的，例如，接入点和站点可以是应用于车联网中的设备，物联网(internet of things，IoT)中的物联网节点、传感器等，智慧家居中的智能摄像头，智能遥控器，智能水表电表，以及智慧城市中的传感器等。本申请实施例中对于STA和AP的具体形式不做限制，在此仅是示例性说明。
虽然本申请主要以部署IEEE 802.11的网络为例进行说明，本领域技术人员容易理解，本申请涉及的各个方面可以扩展到采用各种标准或协议的其它网络，例如，高性能无线LAN(high performance radio LAN，HIPERLAN)(一种与IEEE 802.11标准类似的无线标准，主要在欧洲使用)以及广域网(wide area network，WAN)、无线局域网(WLAN)、个人区域网(personal area network，PAN)或其它现在已知或以后发展起来的网络等。
示例性的，本申请提供的方法应用的通信系统可以包括接入点(AP)和站点(STA)，或者多个接入点(AP)，或者多个站点(STA)。该接入点也可理解为接入点实体，该站点也可理解为站点实体。例如，本申请可以适用于WLAN中AP与STA之间通信或感知的场景。可选地，AP可以与单个STA通信或感知，或者，AP同时与多个STA通信或感知。又如，本申请可以适用于WLAN中多AP协作的场景。再如，本申请可以适用于WLAN中STA与STA进行D2D通信的场景。其中，AP和STA都可以支持WLAN通信协议，该通信协议可以包括IEEE802.11系列的协议，比如可以适用于802.11be标准，或者适用于802.11be以后的标准。
参见图4，图4是本申请实施例提供的一种通信系统的架构示意图。该通信系统可以包括一个或多个AP以及一个或多个STA。图4中示出了两个接入点如AP1和AP2，以及三个站点，如STA1、STA2和STA3。可理解，一个或多个AP可以与一个或多个STA通信。当然，AP与AP之间可以通信，STA与STA之间可以通信。
可理解，图4中以STA为手机、AP为路由器作为一种示例，并不表示对本申请中的AP、STA类型进行限定。同时，图4仅示例性的示出了两个AP和三个STA，但是该AP或STA的数量还可以更多或更少，本申请对此不作限定。
802.11标准关注物理层(physical layer，PHY)和介质接入控制(medium access control，MAC)层部分。MAC层是802.11标准的主要功能部分，上层应用通过调用MAC层提供的接口原语调用MAC层的功能。作为示例，MAC层可以向上层提供两大类接口原语，如数据部分和管理部分。数据部分就是提供普 通数据包的收发接口，管理部分用于管理功能，信道管理、连接管理、服务质量(Quality of Service，QoS)管理、功能控制管理等。示例性的，MAC层的功能可以包括但不限于：速率自适应功能、信道接入功能、信道聚合功能、RU分配功能、空间复用功能、帧聚合功能、波束管理功能或多链路传输功能。可理解，这里所示的MAC层功能可以理解为MAC层为通信装置实现上述功能所提供的管理功能。
示例性的，图5a是本申请实施例提供的接入点的一结构示意图。其中，AP可以是多天线的，也可以是单天线的。如图5a所示，AP包括物理层和MAC层，物理层可以用于处理物理层信号，MAC层可以用于处理MAC层信号。本申请实施例中，可以增强AP中MAC层的功能，如该MAC层包括AI处理功能，即增强MAC层的功能以使得该MAC层还可以实现与AI相关的功能，或与神经网络相关的功能。该AI处理功能可以通过MAC层中的AI处理模块(如图5a)实现，当然，该AI处理功能也可以通过位于MAC层之外的AI处理模块实现，如图5b所示，图5b是本申请实施例提供的接入点的另一结构示意图。与图5a不同的是，图5b所示的AI处理模块位于MAC层之外。可理解，图5b所示的物理层与AI处理模块之间的虚线表示，AI处理模块可以处理物理层所要实现的功能，或者，AI处理模块也可以不处理物理层所要实现的功能。
其中，该AI处理模块可以用于对神经网络进行训练和/或使用训练完成的神经网络进行推理决策，以实现AI辅助的信道接入功能或AI辅助的EDCA功能。当然，该AI处理模块还可以用于实现AI辅助的其它功能，比如AI辅助的速率自适应功能、AI辅助的速率自适应联合信道接入功能、AI辅助的信道聚合、AI辅助的信道聚合联合信道接入功能、AI辅助的RU分配、AI辅助的空间复用、AI辅助的帧聚合、AI辅助的波束管理、AI辅助的多链路传输中的一项或多项等。
示例性的，AP中可以新增一个MAC层，如包括两个MAC层，第一MAC层和第二MAC层。其中，第一MAC层可以用于处理第一MAC层的信号，如第一MAC层可以用于实现MAC层原有的功能，如关联认证、功率控制、信道测量、多址接入、速率自适应、信道接入、信道聚合、RU分配等，这里不一一列举。第二MAC层可以用于处理与AI有关的功能或与神经网络有关的功能。例如，图5c是本申请实施例提供的接入点的又一结构示意图。与前述图5a所示的AP不同的是：图5c所示的AP中包括两个MAC层，且第二MAC层中包括AI处理模块；关于AI处理模块的说明参考前文，这里不再赘述。举例来说，第一MAC层可以支持旧版本的AP的功能，第二MAC层可以支持新版本的AP的功能。可理解，第二MAC层还可以称为AI-MAC层等，本申请对于第二MAC的名称不作限定。
示例性的，图6a是本申请实施例提供的站点的一结构示意图。其中，STA可以是单天线的，也可以是多天线的，并且可以是两个以上天线的设备。如图6a所示，STA包括PHY和MAC层，物理层可以用于处理物理层信号，MAC层可以用于处理MAC层信号。本申请实施例中，可以增强STA中MAC层的功能，如该MAC层包括AI处理功能，即增强MAC层的功能以使得该MAC层还可以实现与AI相关的功能，或与神经网络相关的功能。该AI处理功能可以通过MAC层中的AI处理模块(如图6a)实现，当然，该AI处理功能也可以通过位于MAC层之外的AI处理模块实现，如图6b所示，图6b是本申请实施例提供的站点的另一结构示意图。与图6a不同的是，图6b所示的AI处理模块位于MAC层之外。关于AI处理模块的说明参考前文，这里不再赘述。可理解，图6b所示的物理层与AI处理模块之间的虚线表示，AI处理模块可以处理物理层所要实现的功能，或者，AI处理模块也可以不处理物理层所要实现的功能。
示例性的，STA中可以新增一个MAC层，如包括两个MAC层，第一MAC层和第二MAC层。例如，图6c是本申请实施例提供的站点的又一结构示意图。与前述图6a所示的STA不同的是，图6c所示的第二MAC层中可以包括AI处理模块。可理解，关于图6c的说明可以参考图5c的描述，这里不再一一详述。
可理解，上文所示的AI处理模块还可以称为AI处理电路，或基于神经网络的处理电路，或神经网络处理电路，或神经网络处理器，或神经网络处理单元(neural processing unit，NPU)等，本申请实施例对于该AI处理模块的具体名称不作限定。
还可理解，上述图5a到图5c所示的接入点的结构以及上述图6a到图6c所示的站点的结构仅为示例，如接入点和站点还可以包括：存储器、调度器、控制器、处理器或射频电路中的至少一项。例如，图7是本申请实施例提供的通信装置的一结构示意图。该通信装置可以是接入点或站点中的至少一项。如图7所示，该通信装置(AP或STA)包括中央处理器、MAC层、收发机、天线以及神经网络处理单元(NPU)等。NPU可以包含推理模块，可选的包含训练模块；例如一些能力受限的IoT设备不足以支持神经网络的训练，其可以不包含训练模块。NPU可以作用于各个模块，例如NPU与收发机交互，用于推理决策收发机的开关以用于节能；又例如NPU与天线交互，用于控制天线的朝向；再例如NPU与MAC层交互，用于控制信道接入，信道选择和空间复用决策等。本申请关注NPU与MAC层的交互。
可理解，因为802.11标准关注PHY和MAC层部分，所以本申请实施例对于接入点和站点所包括的其他部分不作详述。关于站点和接入点的具体说明还可以参考下文所示的装置实施例，这里先不一一详述。
本申请下文所示的通信装置中，第一通信装置可以是站点，如前述图4中的任一STA(如STA1或STA2)；第二通信装置可以是接入点，如前述图4中的任一AP(如AP1)。在一些实施例中，本申请的第一通信装置可以是网络中资源受限的节点(比如不能完成神经网络训练，但能使用神经网络进行推理决策的节点)，比如AP与STA通信场景中的STA，或者多AP协作场景中能力较弱的AP(如传统接入点)，或者D2D通信场景中能力较弱的STA(如传统站点)。相应的，第二通信装置可以是网络中资源不受限或能力更强大的节点(比如既能完成神经网络训练，又能使用神经网络进行推理决策的节点)，比如AP与STA通信场景中的AP，或者多AP协作场景中能力较强的AP(如支持最新802.11标准的接入点)，或者D2D通信场景中能力较强的STA(如支持最新802.11标准的站点)。这里最新802.11标准可以指未来的Wi-Fi标准，比如Wi-Fi 8(即802.11be的下一代标准)，Wi-Fi 9(即Wi-Fi 8的下一代标准)，Wi-Fi 10(即Wi-Fi 9的下一代标准)等。这里的传统接入点可以指仅支持最新802.11标准之前标准的接入点，传统站点可以指仅支持最新802.11标准之前标准的站点。
在另一些实施例中，本申请的第一通信装置和第二通信装置均是网络中能力不受限的节点，也就是说，第一通信装置和第二通信装置均能完成神经网络训练，又能使用神经网络进行推理决策。
可选的，本申请中的通信装置包括能够使用神经网络进行推理决策的模块，比如AI处理模块或NPU。示例性的，第二通信装置中的AI处理模块(或NPU)不仅可以使用神经网络进行推理决策，还可以进行神经网络的训练；第一通信装置中的AI处理模块(或NPU)可以使用第二通信装置训练完成的神经网络进行推理决策。当然，在一些实施例中，第一通信装置中的AI处理模块(或NPU)也可以进行神经网络的训练。
下面结合更多的附图对本申请提供的技术方案进行详细说明。
为便于清楚描述本申请的技术方案，本申请通过多个实施例进行阐述，具体参见下文。本申请中，除特殊说明外，各个实施例或实现方式之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中，如果没有特殊说明以及逻辑冲突，不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以下所述的本申请实施方式并不构成对本申请保护范围的限定。
应理解，下文实施例的顺序并不代表重要程度。各个实施例之间可以单独实施，也可以结合实施，具体参见下文，这里不展开说明。
实施例一
本申请实施例一主要介绍第一通信装置使用训练完成的神经网络进行推理决策的过程。
参见图8，图8是本申请实施例提供的信道接入方法的一流程示意图。该方法中，第一通信装置可以是网络中能力受限的节点(即第一通信装置不能完成神经网络训练，但能使用神经网络进行推理决策)，比如第一通信装置为前述图4中的STA1；当然第一通信装置也可以是网络中能力不受限的节点，比如第一通信装置为前述图4中的AP1；本申请实施例对第一通信装置的能力不做限制。
如图8所示，该信道接入方法包括但不限于以下步骤：
S101，第一通信装置获取神经网络的参数。
S102，第一通信装置根据该神经网络的参数确定该神经网络。
本申请中神经网络的参数包括神经元的偏置和神经元与神经元之间连线的权重。
实现方式1：第一通信装置获取神经网络的参数，并获取该神经网络的结构，根据该神经网络的参数和结构确定神经网络。
一种可能的实现方式中，第二通信装置获取自己训练完成的神经网络的参数，并将该神经网络的参数发送给第一通信装置，相应的，第一通信装置接收该神经网络的参数。具体的，第二通信装置获取并发送神经网络的参数的实现方式参见下文实施例二的描述，这里不一一详述。
另一种可能的实现方式中，当第一通信装置发现自己的信道接入效率低和/或时延大时，比如连续多次发生碰撞，或者接入时延超过阈值等；第一通信装置向第二通信装置请求神经网络的参数。示例性的，第一通信装置向第二通信装置发送功能请求信息，用于请求开启AI辅助的信道接入或AI辅助的EDCA。第 二通信装置可以回复功能响应信息，当该功能响应信息用于指示同意该功能请求信息的请求时，可以在功能响应信息中携带神经网络的参数。可理解，功能响应信息中携带的神经网络的参数与功能请求信息请求开启的功能相对应。
又一种可能的实现方式中，神经网络的参数可以是协议配置的。举例来说，协议可以预定义神经网络的初始参数，当第一通信装置接收到来自第二通信装置的神经网络的参数时，可以利用该神经网络的参数更新初始参数(比如覆盖初始参数)。
可选的，该神经网络的参数可以与神经网络的功能相对应。本申请中，该神经网络的功能是AI辅助的信道接入功能，或AI辅助的EDCA功能。
本申请中神经网络的结构包括输入层结构、输出层结构、以及隐藏层结构。神经网络的输入层结构可以包括输入层的神经元个数。神经网络的输出层结构包括以下一项或多项：输出层的神经元数量，或输出层神经元使用的激活函数。神经网络的隐藏层结构包括以下一项或多项：隐藏层的层数，每层神经元的个数，每层神经元使用的激活函数，或各层神经元之间的连接方式。
可选的，第一通信装置可以获取该神经网络的结构，也就是第一通信装置分别获取神经网络的输入层结构、输出层结构、以及隐藏层结构。
一种可能的实现方式中，神经网络的结构(包括输入层结构、输出层结构、以及隐藏层结构)是预定义的，第一通信装置从本地获取预定义的神经网络的结构。
另一种可能的实现方式中，神经网络的一部分结构是预定义的，另一部分结构可以由第二通信装置指示。比如，神经网络的隐藏层结构是预设的或标准协议定义的，神经网络的输入层结构和输出层结构的全部或部分由第二通信装置指示。举例来说，第二通信装置指示神经网络的输入层结构时，可以直接指示输入层的神经元个数，也可以指示用于确定输入层的神经元个数的信息。第二通信装置指示神经网络的输出层结构时，可以指示输出层的神经元数量和输出层神经元使用的激活函数；也可以指示输出层的神经元数量或指示用于确定输出层的神经元数量的信息，而输出层神经元使用的激活函数可以是预定义的。
又一种可能的实现方式中，神经网络的结构(包括输入层结构、输出层结构、以及隐藏层结构)可以全部由第二通信装置指示。本申请实施例不限制神经网络结构的具体指示方式。
本申请中的预定义和预设可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制等。
可理解，知道了神经网络的结构和参数，就知道了该神经网络的全部信息。因此，第一通信装置可以基于该神经网络的结构和参数确定该神经网络。示例性的，第一通信装置可以基于该神经网络的结构和参数生成该神经网络。
可选的，第一通信装置获取到神经网络的结构后，第一通信装置可以基于该神经网络的结构和预定义的初始参数生成一个初始神经网络。当第一通信装置接收到第二通信装置发送的神经网络的参数后，第一通信装置利用该神经网络的参数更新该初始神经网络，获得更新后的神经网络。
实现方式2：第一通信装置向第二通信装置发送数据包，该数据包中携带业务标识，该业务标识对应接入类型；第一通信装置接收来自第二通信装置的响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励；第一通信装置利用该数据包对应的奖励更新神经网络的参数，更新后得到神经网络。具体实现参见下文实施例三的描述，这里不一一详述。
S103，第一通信装置根据该神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
可选的，第一通信装置获取自身相关的与该神经网络的输入信息对应的数据，将获取到的数据输入该神经网络中进行处理，并根据处理结果确定不接入信道或哪种接入类型的业务接入信道。可选的，如果第一通信装置为AP，AP也可以获取STA的与该神经网络的输入信息对应的数据，将获取到的STA的数据输入该神经网络中进行处理，并根据处理结果确定不接入信道或哪种接入类型的业务接入信道，并告知STA。也就是说，AP也可以利用神经网络和STA的数据帮助STA决策接入信道或哪种接入类型的业务接入信道。
示例性的，神经网络的处理结果可以包括不接入信道对应的期望奖励、四种接入类型(即AC_BK、AC_BE、AC_VI以及AC_VO)分别对应的期望奖励，第一通信装置可以选取该处理结果中最大期望奖励对应的行为。当不接入信道对应的期望奖励大于各个接入类型对应的期望奖励时，第一通信装置确定不接入信道；当至少一个接入类型对应的期望奖励大于不接入信道对应的期望奖励时，第一通信装置根据期望 奖励最大的接入类型接入信道。举例来说，如果处理结果中不接入信道对应的期望奖励最大，则第一通信装置确定不接入信道；如果处理结果中AC_BK对应的期望奖励最大，则第一通信装置确定接入信道的接入类型为AC_BK；如果处理结果中AC_BE对应的期望奖励最大，则第一通信装置确定接入信道的接入类型为AC_BE；如果处理结果中AC_VI对应的期望奖励最大，则第一通信装置确定接入信道的接入类型为AC_VI；如果处理结果中AC_VO对应的期望奖励最大，则第一通信装置确定接入信道的接入类型为AC_VO。
可选的，第一通信装置获取自身相关的与该神经网络的输入信息对应的数据，将获取到的数据输入该神经网络中进行处理，并根据处理结果确定不接入信道或哪种接入类型的业务接入信道，包括：第一通信装置获取T个输入数据集，这T个输入数据集与该神经网络的输入信息相对应，并将该T个输入数据集输入该神经网络中进行处理，获得信道接入的决策结果或EDCA的决策结果。决策结果为不接入信道或哪种接入类型的业务接入信道。一个输入数据集中包含一种或多种数据，一种数据对应上述输入信息中的一个信息。一个输入数据集中的不同种数据对应上述输入信息中的不同信息。具体的，该T个输入数据集以及利用该T个输入数据集输入神经网络进行推理决策的实现方式可以参见下文实施例二的描述，这里不一一详述。
可选的，神经网络的输入信息包括接入类型信息和信道接入信息。一个示例中，接入类型信息可以包括每种接入类型(AC)的缓存包数量，如背景流(AC_BK)、尽力而为流(AC_BE)、视频流(AC_VI)以及语音流(AC_VO)分别的缓存包数量；可选的还包括每种接入类型(AC)的业务量(load)。另一个示例中，同一种接入类型的传输队列(transmitqueues)可能有多个，故接入类型信息可以包括每个传输队列中的缓存包数量，可选的还包括每种接入类型的业务量。
信道接入信息可以包括以下一项或多项：载波侦听结果，每种接入类型(或每个传输队列中数据包)的信道接入行为，或每种接入类型(或每个传输队列)的数据包传输结果。可选的，该信道接入信息还包括以下一项或多项：每种接入类型(或每个传输队列)的数据包的平均排队时延，每种接入类型(或每个传输队列)的数据包的平均接入时延，当前时刻距离本通信装置上次成功传输的时间，或当前时刻距离信道上其他通信装置上次成功传输的时间。可理解，本申请提及的其他通信装置为网络中除本通信装置外的通信装置。这里的本通信装置指的是第一通信装置。
其中，载波侦听结果可以是信道的忙(busy)或闲(idle)，因为载波侦听是以子信道为单位进行的，所以这里的载波侦听结果可以理解为每个子信道的忙或闲。信道接入行为可以指是否接入。数据包的传输结果可以指传输成功或失败。排队时延可以指数据包从进入传输队列到被发送的时间间隔。接入时延可以指数据包被发送到发送成功的时间间隔。
本申请实施例的第一通信装置获取神经网络的参数，并根据该参数确定神经网络，利用该神经网络及其输入信息进行推理决策，获得信道接入/EDCA的决策结果，即不接入信道或哪种接入类型的业务接入信道，可以将人工智能和信道接入相结合，从而提高信道利用率和降低时延。
实施例二
本申请实施例二主要介绍神经网络的训练在中心节点(比如AP)进行，训练完成后下发神经网络参数，每个节点使用接收到的神经网络参数进行推理决策的过程。
参见图9，图9是本申请实施例提供的信道接入方法的另一流程示意图。其中，第二通信装置是网络中能力不受限的节点(即第二通信装置既能完成神经网络训练，又能使用神经网络进行推理决策)，比如第二通信装置为前述图4中的AP1。第一通信装置可以是网络中能力受限的节点(即第一通信装置不能完成神经网络训练，但能使用神经网络进行推理决策)，比如第一通信装置为前述图4中的STA1；当然第一通信装置也可以是网络中能力不受限的节点；本申请实施例对第一通信装置的能力不做限制。
如图9所示，该信道接入方法包括但不限于以下步骤：
S201，第二通信装置获取神经网络的参数。该神经网络的参数包括神经元的偏置和权重。
可选的，第二通信装置可以利用自己历史一段时间内的接入类型信息和信道接入信息训练神经网络。因为知道了神经网络的结构和参数，就知道了该神经网络的全部信息，而神经网络的结构通常是预定义的，所以训练神经网络也可以理解为更新神经网络的参数。可理解，初始的神经网络可以采用预定义的一套参数，比如，预定义每个神经元的偏置和神经元与神经元之间连线的权重；通过训练不断更新神经网络的参数(即更新权重和偏置)。当神经网络训练完成后，第二通信装置可以获取训练完成的神经网络的参数，也就是这个神经网络中最新的偏置和权重。当然，也可以是固定偏置和权重中的部分参数，通过训练来更 新另一部分参数，在神经网络训练完成后，获取这个神经网络最新的另一部分参数。举例来说，假设神经网络总共有10层，固定前8层神经网络的参数(即固定这8层神经网络的偏置和权重)，通过训练来更新后2层神经网络的参数(即偏置和权重)，在神经网络训练完成后，获取后2层神经网络最新的偏置和权重。
可理解，本申请实施例中训练完成的神经网络可以用于实现或支持AI辅助的信道接入功能或AI辅助的EDCA功能。训练完成的神经网络的参数可以与神经网络的功能相对应。也就是说，本申请实施例中神经网络的参数与AI辅助的信道接入功能或AI辅助的EDCA功相对应。
可选的，该接入类型信息和信道接入信息的具体内容参见前文实施例一中的描述，这里不再赘述。可理解，前文信道接入信息中提及的“本通信装置”在这里指第二通信装置。
可选的，本申请实施例可以采用强化学习(reinforcement learning，RL)算法来训练神经网络。强化学习通常是通过接收环境对动作的奖励(或者说反馈)获得学习信息并更新模型参数，换句话说，强化学习可以使用神经网络根据当前状态(state)决策动作(action)，并对每次动作使用奖励(reward)进行评价，利用reward来更新神经网络的参数。故，第二通信装置在神经网络的训练过程中使用的奖励可以基于数据包的接入类型(AC)和该数据包的传输结果确定。
一种可能的实现方式中，对于网络中的某一个节点(比如第二通信装置)，如果传输成功，也就是这个节点发送的数据包传输成功，则在神经网络的训练过程中这个数据包对应的奖励采用第一奖励函数确定。反之，如果传输失败，即这个节点发送的数据包传输失败，则在神经网络的训练过程中这个数据包对应的奖励采用第二奖励函数确定。对于无法确定传输结果的情况，可以将这个数据包对应的奖励设为0。
本申请中数据包对应的奖励可以理解为此次发送这个数据包的接入行为所获得的奖励(reward)。
其中，该第一奖励函数可以基于以下一项或多项确定：数据包的接入类型(AC)、第二通信装置所在网络包括的节点数、当前时刻距离第二通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间。第三通信装置为网络中除第二通信装置外在当前时刻前信道上最近一次传输的通信装置。本申请中，第二通信装置所在网络包括的节点数可以理解为第二通信装置在信道上能够侦听到的节点数。
举例来说，第一奖励函数可以用数学式表达如下：
该第二奖励函数可以基于数据包的接入类型(AC)和第二通信装置所在网络包括的节点数确定。举例来说，第二奖励函数可以用数学式表达如下：
上述公式(2-1)和(2-2)中，rt表示数据包对应的奖励，表示当前时刻距离第二通信装置上次成功传输的时间，N表示第二通信装置所在网络包括的节点数，AC表示数据包的接入类型的值，表示当前时刻距离信道上第三通信装置上次成功传输的时间。可理解，第二通信装置可以根据自己发包的响应信息(如确认帧)和其他通信装置向自己发包的结果计算得到和举例来说，参见图10，图10是本申请实施例提供的和的示意图。其中假设第二通信装置为节点i(node i)，第三通信装置为节点j(node j，j≠i)。如图10所示，可以是当前时刻t距离节点i上次收到自己发包的确认(acknowledgment，ACK)帧的时间。可以是当前时刻t距离当前时刻t前最近一次成功传输的时间，且这最近一次成功传输的节点不是节点i。如果当前时刻t前最近一次成功传输的节点是节点j，则可以是当前时刻t距离节点j的ACK帧的时间。
还可理解，上述公式(2-1)和(2-2)中的AC是数据包的接入类型经过量化后的值，比如数据包的接入类型的优先级越高，AC值越大。举例来说，背景流(AC_BK)、尽力而为流(AC_BE)、视频流(AC_VI)以及语音流(AC_VO)可以分别量化为值1,2,3,4；或者值1,2,4,8。
S202，第二通信装置发送该神经网络的参数。
相应的，第一通信装置接收该神经网络的参数。
可选的，第二通信装置可以发送获取到的神经网络的参数(如每个神经元的偏置和权重，或者部分神经元的偏置和部分神经元之间连线的权重，剩余部分神经元的偏置和神经元之间连线的权重可以是预定义 或固定的)，还可以发送指示信息，用于指示该神经网络的功能。该神经网络的功能为AI辅助的信道接入功能，或AI辅助的EDCA功能。其中第二通信装置的发送方式可以是广播，当然也可以是单播，本申请实施例不做限定。可理解，该神经网络的参数可以与神经网络的功能相对应。当基于神经网络的一种结构来实现多种功能时，不同功能所对应的神经网络的参数不相同，当然不同功能对应的神经网络的输入信息和输出信息也不相同，这里不展开说明。
相应的，第一通信装置接收该神经网络的参数和该指示信息。第一通信装置根据该神经网络的功能可以获知该神经网络的输出结果的含义。举例来说，如果神经网络的输出结果为5个值，根据该神经网络的功能(即AI辅助的信道接入功能，或AI辅助的EDCA功能)可以获知这5个值分别代表不接入信道的期望奖励，AC_BK、AC_BE、AC_VI以及AC_VO的业务分别接入信道的期望奖励。换句话说，第一通信装置根据该神经网络的功能可以确定利用该神经网络进行推理决策的结果是不接入信道或接入信道的接入类型。
S203，第一通信装置根据该神经网络的参数和该神经网络的结构确定该神经网络。
可选的，第一通信装置可以获取该神经网络的结构，具体获取方式可以参考前文实施例一中的相关描述，这里不赘述。
可理解，知道了神经网络的结构和参数，就知道了该神经网络的全部信息。因此，第一通信装置可以基于该神经网络的结构和参数确定该神经网络。示例性的，第一通信装置可以基于该神经网络的结构和参数生成该神经网络。示例性的，第一通信装置获取到神经网络的结构后，第一通信装置可以基于该神经网络的结构和预定义的初始参数生成一个初始神经网络。当第一通信装置接收到第二通信装置发送的神经网络的参数后，第一通信装置利用该神经网络的参数更新该初始神经网络，获得更新后的神经网络。
S204，第一通信装置获取T个输入数据集，并将该T个输入数据集输入该神经网络中进行处理，获得信道接入的决策结果或EDCA的决策结果。
可选的，第一通信装置获取T个输入数据集，第一通信装置再可以将该T个输入数据集输入步骤S203确定的神经网络中进行处理，获得该神经网络的输出结果；并从该输出结果中选取一个结果作为决策结果。决策结果的具体内容与神经网络的功能对应，本申请实施例中决策结果是不接入信道或哪种接入类型的业务接入信道。其中，T的值可以是预定义的，或者标准协议规定的，还可以是第二通信装置指示的，本申请实施例不做限制。一个输入数据集中包含一种或多种数据，一种数据对应上述输入信息中的一个信息。一个输入数据集中的不同种数据对应上述输入信息中的不同信息。
可理解，神经网络的功能在使用过程和训练过程中保持一致，神经网络的输入信息在使用过程和训练过程中保持一致，同理神经网络的输出信息在使用过程和训练过程中也保持一致。
举例来说，假设神经网络的输入信息包括以下5个信息：每种接入类型的缓存包数量，每种接入类型的业务量，载波侦听结果，每种接入类型的信道接入行为，以及每种接入类型的数据包传输结果。示例性的，第一通信装置获取到的T个输入数据集可以表示为(P,load)和(ok,ak,Rk)，k的取值为1,2,3,4,...,(T-1)。其中，P表示当前时刻4种接入类型(如AC_BK、AC_BE、AC_VI以及AC_VO)的缓存包数量，其可以表示为P＝{PAC_BK,PAC_BE,PAC_VI,PAC_VO}；load表示当前时刻4种接入类型(如AC_BK、AC_BE、AC_VI以及AC_VO)的业务量，其可以表示为load＝{loadAC_BK,loadAC_BE,loadAC_VI,loadAC_VO}。o表示第一通信装置工作的信道m在历史一段时间内的载波侦听结果，其可以表示为o＝{om}。a表示历史一段时间内4种接入类型的信道接入行为，其可以表示为a＝{aAC_BK,aAC_BE,aAC_VI,aAC_VO}。R表示历史一段时间内4种接入类型的数据包传输结果，其可以表示为R＝{RAC_BK,RAC_BE,RAC_VI,RAC_VO}。
参见图11，图11是本申请实施例提供的神经网络模型及其输入输出的示意图。如图11所示，该神经网络采用一种具有残差结构的全连接网络，神经网络的隐藏层结构为32*8的残差全连接网络，即隐藏层共包含8层全连接网络，3个跳跃连接(skip connection)，每层32个神经元，每个神经元的激活函数均为线性整流函数(rectified linear units，ReLU)。神经网络的输出层包含5个神经元，表示不接入信道的期望奖励和四种接入类型的业务接入信道的期望奖励。假设输出层神经元的激活函数为线性(Linear)函数，决策结果的选取方式为选取输出层最大值对应的动作。神经网络的输入层输入上述T个输入数据集，即(P,load,)+(o1,a1,R1,...,ok,ak,Rk,...,oT-1,aT-1,RT-1)，经过处理后，输出5个期望奖励Q(0),Q(AC_BK),Q(AC_BE),Q(AC_VI),Q(AC_VO)。Q(0)表示不接入信道的期望奖励，Q(AC_BK),Q(AC_BE),Q(AC_VI),Q(AC_VO)分别表示AC_BK、AC_BE、AC_VI以及AC_VO的业务接入信道的期望奖励。
参见图12，图12是本申请实施例提供的第一通信装置进行AI辅助的EDCA的示意图。AI辅助的EDCA可以通过第一通信装置的MAC层实现。如图12所示，当第一通信装置内有待传输的数据包时，可以将待 传输的数据包映射到(传输队列和)接入类型(mapping to(transmit queue and)access category)；第一通信装置的AI处理模块根据观测到的信息(如历史载波侦听结果、每种接入类型的历史信道接入行为、每种接入类型的历史数据包传输结果等)和各个传输队列的缓存状态(如每个传输队列中有几个数据包要发)以及各AC的业务量，推理决策是否接入信道和哪个接入类型(AC)接入信道。然后，第一通信装置的AI处理模块将决策结果反馈给第一通信装置的信道接入模块，用于控制各AC的接入行为。可理解，第一通信装置的信道接入模块可以位于MAC层，AI处理模块可以在MAC层内，也可以在MAC外，本申请实施例不做限制。
本申请实施例通过中心节点(如第二通信装置)训练神经网络，以将人工智能(或者说神经网络)与信道接入(如EDCA)相结合，在训练完成后通过下发神经网络参数，使网络中的其它节点能够使用接收到的神经网络参数进行推理决策(如利用神经网络来决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输)，从而可以提高信道利用率，降低时延。
实施例三
本申请实施例三主要介绍网络中每个节点各自训练神经网络，并使用自己训练的神经网络进行推理决策的过程。
参见图13，图13是本申请实施例提供的信道接入方法的另一流程示意图。其中，第一通信装置和第二通信装置均是网络中能力不受限的节点，即第一通信装置和第二通信装置均能完成神经网络训练，也能使用神经网络进行推理决策。示例性的，第一通信装置可以为STA，第二通信装置可以为AP。
如图13所示，该信道接入方法包括但不限于以下步骤：
S301，第一通信装置向第二通信装置发送数据包。
可选的，第一通信装置向第二通信装置发送数据包，该数据包中携带业务标识(可通过服务质量控制字段中的业务标识符(traffic identifier，TID)子字段实现，该TID子字段的含义可参考现有标准，这里不详述)，该业务标识对应接入类型(AC)。
可选的，在步骤S301之前，第一通信装置可以向第二通信装置发送请求消息，用于请求开启神经网络的训练过程，或者说用于请求第二通信装置反馈数据包对应的奖励(reward)等。可理解，本申请实施例不限制该请求消息的具体用途，通过该请求消息可以使第二通信装置获知若接收到第一通信装置发送的数据包，需反馈该数据包对应的reward即可。
S302，第二通信装置根据该数据包的传输结果和该数据包中业务标识对应的接入类型，确定该数据包对应的奖励。
可选的，如果第二通信装置接收到该数据包且该数据包的数据部分解析成功，则说明该数据包传输成功，此时第二通信装置可以采用第一奖励函数确定该数据包对应的奖励。其中，第一奖励函数可以基于以下一项或多项确定：该数据包中业务标识对应的接入类型、第一通信装置所在网络包括的节点数、当前时刻距离第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间。第三通信装置为网络中除第一通信装置外在当前时刻前信道上最近一次传输的通信装置。可理解，第一通信装置所在网络包括的节点数可以理解为第一通信装置在信道上能够侦听到的节点数。还可理解，第二通信装置在采用第一奖励函数计算第一通信装置发送的数据包对应的奖励时，第一通信装置所在网络包括的节点数可以等价于第二通信装置所在网络包括的节点数；也就是说可以使用第二通信装置所在网络包括的节点数来计算该数据包对应的奖励。
举例来说，第一奖励函数的表达式如前述公式(2-1)，这里不赘述。
可理解，本申请实施例的第一通信装置(如STA)向第二通信装置(如AP)发送数据包，使第二通信装置(如AP)为第一通信装置(如STA)计算该数据包对应的奖励，而不是第一通信装置(如STA)自己计算，可以在不增加第二通信装置功耗的情况下，减少第一通信装置的功耗。这是因为，如果第一通信装置(如STA)想自己计算该数据包对应的奖励，就需要持续侦听信道上的响应帧(如ACK帧)以得到当前时刻距离第一通信装置上次成功传输的时间(即前述公式(2-1)中的)、和当前时刻距离信道上第三通信装置上次成功传输的时间(即前述公式(2-1)中的)，而持续的载波侦听和对ACK帧进行解调会大大增加第一通信装置(如STA)的功耗。另外，由于第二通信装置(如AP)本身就需要接收各个第一通信装置(如STA)的数据包，所以第二通信装置(如AP)不需要增加额外功耗即可维护所有第一通信装置(如STA)的和信息并计算reward。
可选的，如果第二通信装置接收到该数据包但该数据包的数据部分未解析成功，或者第二通信装置未 接收到该数据包，都说明该数据包传输失败。但是，在第二通信装置接收到该数据包但该数据包的数据部分未解析成功的情况下，第二通信装置仍然可以确定该数据包对应的奖励，例如第二通信装置采用第二奖励函数计算该数据包对应的奖励。该第二奖励函数可以基于该数据包中业务标识对应的接入类型(AC)和第一通信装置所在网络包括的节点数确定。举例来说，第二奖励函数的表达式如前述公式(2-2)，这里不赘述。
在第二通信装置未接收到该数据包的情况下，该数据包对应的奖励可以由第一通信装置自己确定。
S303，第二通信装置向第一通信装置发送响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励。
相应的，第一通信装置接收该响应帧。
其中，上述响应帧可以是ACK帧或块确认(block acknowledgment，BA)帧。
一种可能的实现方式中，如果数据包传输成功，则第二通信装置可以间隔一段时间(如短帧间间隔SIFS，short inter-frame space)后向第一通信装置反馈ACK帧，该ACK帧可以用于确认该数据包传输成功。该ACK帧中可以携带该数据包对应的奖励(reward)。举例来说，本申请实施例可以在ACK帧中增加payload(有效载荷)部分，用于携带该数据包对应的奖励。参见图14，图14是本申请实施例提供的ACK帧的帧格式示意图。如图14所示，可以在MAC头(MAC header)后增加一个字段，如reward(奖励)字段，用于指示数据包对应的奖励。可理解，该ACK帧中其它字段的含义，参考现有标准，这里不一一详述。还可理解，本申请实施例不限制ACK帧中新增的字段的名称。
可选的，如果数据包传输失败，第二通信装置不反馈ACK帧。此时第一通信装置也不会接收到针对该数据包的ACK帧。因此，如果第一通信装置在一段时间内未接收到针对该数据包的ACK帧，说明该数据包传输失败，则第一通信装置可以自己计算该数据包对应奖励，比如第一通信装置基于该数据包的接入类型和第一通信装置所在网络包括的节点数，确定该数据包对应的奖励。举例来说，第一通信装置可以按照前述公式(2-2)计算该数据包对应的奖励。
另一种可能的实现方式中，无论数据包传输成功还是失败，第二通信装置都会反馈BA帧，该BA帧用于确认第一通信装置发送的数据包传输成功或传输失败。该BA帧中可以携带数据包对应的奖励(reward)。举例来说，本申请实施例可以在BA帧的BA Information field(BA信息字段)中增加字段，用于携带该BA对应的所有数据包的rewards。参见图15，图15是本申请实施例提供的BA帧的帧格式示意图。如图15所示，在BA Informationfield中增加reward(奖励)字段，用于指示数据包对应的奖励。可理解，该BA帧中其它字段的含义，参考现有标准，这里不一一详述。还可理解，本申请实施例不限制BA帧中新增的字段的名称。
可理解，如果第一通信装置(如STA)发送的数据包传输成功，第二通信装置(如AP)本来也需要向第一通信装置(如STA)反馈ACK帧，所以将reward携带在ACK帧中进行反馈可以节省信令开销。同理，无论第一通信装置(如STA)发送的数据包传输成功还是传输失败，第二通信装置(如AP)都会向第一通信装置(如STA)反馈BA帧，所以将reward携带在BA帧中进行反馈也可以节省信令开销，另外该BA帧中也可以携带传输失败时的reward，可以进一步减少第一通信装置(如STA)的计算量，节省功耗。
当然，在一个可选实施例中，该数据包对应的奖励可以不携带在该响应帧中，而是由第二通信装置单独反馈给第一通信装置。具体的，如果数据包传输成功，则第二通信装置可以在发送响应帧后，再发送该数据包对应的奖励。
可选的，上述数据包对应的奖励可以被第一通信装置用于更新神经网络的参数，具体更新方式可以参考下文步骤S304的描述，这里不展开说明。该神经网络的参数可以包括神经元的偏置和神经元之间连线的权重。
可选的，该信道接入方法还包括以下步骤：
S304，第一通信装置利用该数据包对应的奖励更新神经网络的参数。
可选的，第一通信装置可以利用该数据包对应的奖励更新神经网络的参数。该神经网络的参数可以包括神经元的偏置和神经元之间连线的权重。可理解，该神经网络的结构可以是预定义的。
为更好的理解reward更新神经网络的参数的过程，下面举例说明。以一种特定的强化学习算法DQN(Deep Q Network，深度Q网络)为例。参见图16，图16是本申请实施例提供的DQN算法示意图。如图16所示，DQN算法包括目标Q网络(target Q network)和预测Q网络(prediction Q network)，二者网 络结构相同，初始参数相同。不同之处在于：预测Q网络每次训练都更新参数(记为θ)，而目标Q网络的参数(记为θ-)在每C次训练完成后才进行更新(比如将θ赋值给θ-)，通常C的值为100。DQN使用的训练数据可以称为经验(experience)，即et＝(st,at,rt,st+1)，第一通信装置探索环境过程中产生的经验被存入经验池中用于神经网络的训练，训练神经网络的方法就是使用小批量梯度下降法(mini-batch gradient descent)来最小化损失函数，以更新神经网络的参数(如权重和偏置)。神经网络的损失函数L(θ)为：
其中，γ表示折扣因子，通常γ为0.9，B表示从经验池中随机采样的批量数据，rt表示当前动作得到的奖励(也就是数据包对应的奖励)，Q(st,at；θ)表示预测Q网络在状态st选取动作at对应的输出，表示目标Q网络在状态st+1的输出的最大值。
可理解，上述步骤S301到步骤S304可以循环执行多次，以更新神经网络的参数，直至神经网络训练完成为止。可选的，如果在步骤S301之前，第一通信装置向第二通信装置发送了请求消息，该请求消息用于使第二通信装置获知若接收到第一通信装置发送的数据包，需反馈该数据包对应的reward；则在神经网络训练完成后，第一通信装置可以向第二通信装置发送另一个消息，以使第二通信装置获知无需再反馈数据包对应的reward。
神经网络训练完成后，第一通信装置可以使用训练完成的神经网络进行推理决策，该神经网络的功能是AI辅助的信道接入功能或AI辅助的EDCA功能。
S305，第一通信装置根据训练完成的神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
可选的，本申请实施例中步骤S305的实现方式可以参考前文实施例一中步骤S103的实现方式，这里不再赘述。
本申请实施例的第一通信装置(如STA)发送数据包，让第二通信装置(如AP)帮忙计算该数据包对应的奖励，可以在不增加第二通信装置功耗的情况下，减少第一通信装置的功耗；此外，本申请实施例在该数据包的响应帧中携带该数据包对应的奖励，不仅可以减少信令开销；还可以使第一通信装置能够利用该数据包对应的奖励更新神经网络的参数，以将人工智能(或者说神经网络)与信道接入(如EDCA)相结合，第一通信装置再使用训练完成的神经网络进行推理决策(如利用神经网络来决策是否接入信道，以及决策在接入信道的情况下哪种接入类型的业务进行传输)，进而可以提高信道利用率，降低时延。
上述内容详细阐述了本申请提供的方法，为了便于实施本申请实施例的上述方案，本申请实施例还提供了相应的装置或设备。
本申请根据上述方法实施例对通信装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面将结合图17至图19详细描述本申请实施例的通信装置。
参见图17，图17是本申请实施例提供的通信装置100的结构示意图。如图17所示，通信装置100包括收发单元10和处理单元20。
在本申请的一些实施例中，通信装置100可以是上文示出的第一通信装置或其中的芯片。即图17所示的通信装置100可以用于执行上文方法实施例中由第一通信装置执行的步骤或功能等。
一种设计中，处理单元20，用于获取神经网络的参数，该神经网络的参数基于接入类型信息获得；处理单元20，还用于根据该神经网络的参数确定该神经网络；处理单元20，还用于根据该神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
在一种可能的实现方式中，处理单元20，具体用于控制收发单元10执行以下步骤：接收来自第二通信装置的神经网络的参数，该神经网络的参数基于该第二通信装置的接入类型信息获得；处理单元20，还用于获取该神经网络的结构；处理单元20，具体用于根据该神经网络的参数和该神经网络的结构确定该神经网络。
在一种可能的实现方式中，处理单元20，具体用于控制收发单元10执行以下步骤：向第二通信装置 发送数据包，该数据包中携带业务标识，该业务标识对应接入类型；接收来自该第二通信装置的响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励，该数据包对应的奖励基于该数据包的传输结果和该接入类型确定，该奖励用于更新该神经网络的参数。
在一种可能的实现方式中，处理单元20，具体用于将与该神经网络的输入信息对应的数据输入该神经网络进行处理，根据处理结果确定不接入信道或接入信道的接入类型。
在一种可能的实现方式中，上述处理结果包括不接入信道对应的期望奖励或接入类型对应的期望奖励。处理单元20，具体用于：当不接入信道对应的期望奖励大于接入类型对应的期望奖励时，确定不接入信道；当至少一个接入类型对应的期望奖励大于不接入信道对应的期望奖励时，根据期望奖励最大的接入类型接入信道。
在一种可能的实现方式中，收发单元10，还用于接收指示信息，该指示信息用于指示该神经网络的功能，该神经网络的功能为AI辅助的信道接入功能。处理单元20，还用于根据该神经网络的功能确定不接入信道或接入信道的接入类型。
其中，关于神经网络、输入信息、指示信息等的具体说明可以参考上文所示的方法实施例，这里不再一一详述。
应理解，本申请实施例示出的收发单元和处理单元的具体说明仅为示例，对于收发单元和处理单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。
一种设计中，收发单元10，用于接收来自第二通信装置的神经网络的参数，该神经网络的参数基于接入类型信息获得；处理单元20，用于获取神经网络的结构；处理单元20，还用于根据该神经网络的参数和该神经网络的结构确定该神经网络；处理单元20，还用于根据该神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
在一种可能的实现方式中，处理单元20，具体用于将与该神经网络的输入信息对应的数据输入该神经网络进行处理，根据处理结果确定不接入信道或接入信道的接入类型。
在一种可能的实现方式中，上述处理结果包括不接入信道对应的期望奖励或接入类型对应的期望奖励。处理单元20，具体用于：当不接入信道对应的期望奖励大于接入类型对应的期望奖励时，确定不接入信道；当至少一个接入类型对应的期望奖励大于不接入信道对应的期望奖励时，根据期望奖励最大的接入类型接入信道。
在一种可能的实现方式中，收发单元10，还用于接收指示信息，该指示信息用于指示该神经网络的功能，该神经网络的功能为AI辅助的信道接入功能。处理单元20，还用于根据该神经网络的功能确定不接入信道或接入信道的接入类型。
其中，关于神经网络、输入信息、指示信息等的具体说明可以参考上文所示的方法实施例，这里不再一一详述。
应理解，本申请实施例示出的收发单元和处理单元的具体说明仅为示例，对于收发单元和处理单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。
另一种设计中，收发单元10，用于向第二通信装置发送数据包，该数据包中携带业务标识，该业务标识对应接入类型；收发单元10，还用于接收来自该第二通信装置的响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励，该数据包对应的奖励基于该数据包的传输结果和该接入类型确定；处理单元20，用于利用该奖励更新神经网络的参数，该神经网络的参数用于确定神经网络；处理单元20，还用于根据该神经网络和该神经网络的输入信息确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
在一种可能的实现方式中，处理单元20，具体用于将与该神经网络的输入信息对应的数据输入该神经网络进行处理，根据处理结果确定不接入信道或接入信道的接入类型。
在一种可能的实现方式中，上述处理结果包括不接入信道对应的期望奖励或接入类型对应的期望奖励。处理单元20，具体用于：当不接入信道对应的期望奖励大于接入类型对应的期望奖励时，确定不接入信道；当至少一个接入类型对应的期望奖励大于不接入信道对应的期望奖励时，根据期望奖励最大的接入类型接入信道。
其中，关于神经网络、输入信息等的具体说明可以参考上文所示的方法实施例，这里不再一一详述。
应理解，本申请实施例示出的收发单元和处理单元的具体说明仅为示例，对于收发单元和处理单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。
复用图17，在本申请的又一些实施例中，该通信装置可以是上文示出的第二通信装置或其中的芯片。即图17所示的通信装置可以用于执行上文方法实施例中由第二通信装置执行的步骤或功能等。
一种设计中，处理单元20，用于获取神经网络的参数，该神经网络的参数基于第二通信装置的接入类型信息获得；收发单元10，用于发送该神经网络的参数，该神经网络的参数用于确定该神经网络，该神经网络用于确定不接入信道或接入信道的接入类型，该神经网络的输入信息包括接入类型信息和信道接入信息。
在一种可能的实现方式中，收发单元10，还用于发送指示信息，该指示信息用于指示该神经网络的功能，该神经网络的功能为AI辅助的信道接入功能。
在一种可能的实现方式中，处理单元20，还用于根据接收到的数据包的接入类型和该数据包的传输结果，确定该数据包在神经网络的训练过程中对应的奖励，该奖励用于更新该神经网络的参数。
在一种可能的实现方式中，处理单元20，还具体用于：当数据包的传输结果为传输成功时，利用第一奖励函数确定该数据包在该神经网络的训练过程中对应的奖励；当该数据包的传输结果为传输失败时，利用第二奖励函数确定该数据包在该神经网络的训练过程中对应的奖励。其中，该第一奖励函数基于该数据包的接入类型、该第二通信装置所在网络包括的节点数、当前时刻距离该第二通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，该第三通信装置为除该第二通信装置外在当前时刻前信道上最近一次传输的通信装置。该第二奖励函数基于该数据包的接入类型和该第二通信装置所在网络包括的节点数确定。
其中，关于神经网络、输入信息、指示信息、第一奖励函数、第二奖励函数等的具体说明可以参考上文所示的方法实施例，这里不再一一详述。
应理解，本申请实施例示出的收发单元和处理单元的具体说明仅为示例，对于收发单元和处理单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。
另一种设计中，收发单元10，用于接收来自第一通信装置的数据包，该数据包中携带业务标识，该业务标识对应接入类型；处理单元20，用于根据该数据包的传输结果和该接入类型，确定该数据包对应的奖励，该奖励用于更新神经网络的参数；该神经网络的参数用于确定神经网络，该神经网络用于确定不接入信道或接入信道的接入类型；收发单元10，还用于向该第一通信装置发送响应帧，该响应帧用于确认该数据包传输成功或传输失败，该响应帧中包括该数据包对应的奖励。
在一种可能的实现方式中，该响应帧为确认ACK帧。处理单元20，具体用于当该数据包的传输结果为传输成功时，采用第一奖励函数确定该数据包对应的奖励。该第一奖励函数基于该接入类型、该第一通信装置所在网络包括的节点数、当前时刻距离该第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，该第三通信装置为除该第一通信装置外在当前时刻前信道上最近一次传输的通信装置。
在一种可能的实现方式中，该响应帧为块确认BA帧。处理单元20，具体用于：当该数据包的传输结果为传输成功时，采用第一奖励函数确定该数据包对应的奖励，该第一奖励函数基于该接入类型、该第一通信装置所在网络包括的节点数、当前时刻距离该第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，该第三通信装置为除该第一通信装置外在当前时刻前信道上最近一次传输的通信装置；当该数据包的传输结果为传输失败时，采用第二奖励函数确定该数据包对应的奖励，该第二奖励函数基于该接入类型和该第一通信装置所在网络包括的节点数确定。
其中，关于神经网络、响应帧、第一奖励函数、第二奖励函数等的具体说明可以参考上文所示的方法实施例，这里不再一一详述。
应理解，本申请实施例示出的收发单元和处理单元的具体说明仅为示例，对于收发单元和处理单元的具体功能或执行的步骤等，可以参考上述方法实施例，这里不再详述。
以上介绍了本申请实施例的通信装置，以下介绍通信装置可能的产品形态。应理解，但凡具备上述图17所述的通信装置的功能的任何形态的产品，都落入本申请实施例的保护范围。还应理解，以下介绍仅为举例，不限制本申请实施例的通信装置的产品形态仅限于此。
在一种可能的实现方式中，图17所示的通信装置中，处理单元20可以是一个或多个处理器，收发单元10可以是收发器，或者收发单元10还可以是发送单元和接收单元，发送单元可以是发送器，接收单元可以是接收器，该发送单元和接收单元集成于一个器件，例如收发器。本申请实施例中，处理器和收发器可以被耦合等，对于处理器和收发器的连接方式，本申请实施例不作限定。在执行上述方法的过程中，上 述方法中有关发送信息(如发送神经网络的参数等)的过程，可以理解为由处理器输出上述信息的过程。在输出上述信息时，处理器将该上述信息输出给收发器，以便由收发器进行发射。该上述信息在由处理器输出之后，还可能需要进行其他的处理，然后才到达收发器。类似的，上述方法中有关接收信息(如接收神经网络的参数等)的过程，可以理解为处理器接收输入的上述信息的过程。处理器接收输入的信息时，收发器接收该上述信息，并将其输入处理器。更进一步的，在收发器收到该上述信息之后，该上述信息可能需要进行其他的处理，然后才输入处理器。
参见图18，图18是本申请实施例提供的通信装置1000的结构示意图。该通信装置1000可以为第一通信装置或第二通信装置，或其中的芯片。图18仅示出了通信装置1000的主要部件。除处理器1001和收发器1002之外，所述通信装置还可以进一步包括存储器1003、以及输入输出装置(图未示意)。
处理器1001主要用于对通信协议以及通信数据进行处理，以及对整个通信装置进行控制，执行软件程序，处理软件程序的数据。存储器1003主要用于存储软件程序和数据。收发器1002可以包括控制电路和天线，控制电路主要用于基带信号与射频信号的转换以及对射频信号的处理。天线主要用于收发电磁波形式的射频信号。输入输出装置，例如触摸屏、显示屏，键盘等主要用于接收用户输入的数据以及对用户输出数据。
当通信装置开机后，处理器1001可以读取存储器1003中的软件程序，解释并执行软件程序的指令，处理软件程序的数据。当需要通过无线发送数据时，处理器1001对待发送的数据进行基带处理后，输出基带信号至射频电路，射频电路将基带信号进行射频处理后将射频信号通过天线以电磁波的形式向外发送。当有数据发送到通信装置时，射频电路通过天线接收到射频信号，将射频信号转换为基带信号，并将基带信号输出至处理器1001，处理器1001将基带信号转换为数据并对该数据进行处理。
在另一种实现中，所述的射频电路和天线可以独立于进行基带处理的处理器而设置，例如在分布式场景中，射频电路和天线可以与独立于通信装置，呈拉远式的布置。
其中，处理器1001、收发器1002、以及存储器1003可以通过通信总线连接。
一种设计中，通信装置1000可以用于执行前述实施例一中第一通信装置的功能：处理器1001可以用于执行图8中的步骤S102和步骤S103，和/或用于执行本文所描述的技术的其它过程；收发器1002可以用于执行图8中的步骤S101，和/或用于本文所描述的技术的其它过程。
一种设计中，通信装置1000可以用于执行前述实施例二中第一通信装置的功能：处理器1001可以用于执行图9中的步骤S203和步骤S204，和/或用于执行本文所描述的技术的其它过程；收发器1002可以用于接收图9中的神经网络参数，和/或用于本文所描述的技术的其它过程。
另一种设计中，通信装置1000可以用于执行前述实施例二中第二通信装置的功能：处理器1001可以用于执行图9中的步骤S201，和/或用于执行本文所描述的技术的其它过程；收发器1002可以用于执行图9中步骤S202，和/或用于本文所描述的技术的其它过程。
一种设计中，通信装置1000可以用于执行前述实施例三中第一通信装置的功能：处理器1001可以用于执行图13中的步骤S304和步骤S305，和/或用于执行本文所描述的技术的其它过程；收发器1002可以用于执行图13中的步骤S301和步骤S303，和/或用于本文所描述的技术的其它过程。
另一种设计中，通信装置1000可以用于执行前述实施例三中第二通信装置的功能：处理器1001可以用于执行图13中的步骤S302，和/或用于执行本文所描述的技术的其它过程；收发器1002可以用于接收图13中的数据包和发送图13中的响应帧，和/或用于本文所描述的技术的其它过程。
在上述任一种设计中，处理器1001中可以包括用于实现接收和发送功能的收发器。例如该收发器可以是收发电路，或者是接口，或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路可以是分开的，也可以集成在一起。上述收发电路、接口或接口电路可以用于代码/数据的读写，或者，上述收发电路、接口或接口电路可以用于信号的传输或传递。
在上述任一种设计中，处理器1001可以存有指令，该指令可为计算机程序，计算机程序在处理器1001上运行，可使得通信装置1000执行上述方法实施例中描述的方法。计算机程序可能固化在处理器1001中，该种情况下，处理器1001可能由硬件实现。
在一种实现方式中，通信装置1000可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。本申请中描述的处理器和收发器可实现在集成电路(integrated circuit，IC)、模拟IC、无线射频集成电路(radio frequency integrated circuit，RFIC)、混合信号IC、专用集成电路(application specific integrated circuit，ASIC)、印刷电路板(printed circuit board，PCB)、电子设备等上。该处理器和收发器也可以用各种IC工艺技术来制造，例如互补金属氧化物半导体(complementary metal oxide semiconductor， CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor，NMOS)、P型金属氧化物半导体(positive channel metal oxide semiconductor，PMOS)、双极结型晶体管(bipolar junction transistor，BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。
本申请中描述的通信装置的范围并不限于此，而且通信装置的结构可以不受图18的限制。通信装置可以是独立的设备或者可以是较大设备的一部分。例如所述通信装置可以是：
(1)独立的集成电路IC，或芯片，或，芯片系统或子系统；
(2)具有一个或多个IC的集合，可选的，该IC集合也可以包括用于存储数据，计算机程序的存储部件；
(3)ASIC，例如调制解调器(Modem)；
(4)可嵌入在其他设备内的模块；
(5)接收机、终端、智能终端、蜂窝电话、无线设备、手持机、移动单元、车载设备、网络设备、云设备、人工智能设备等等；
(6)其他等等。
在另一种可能的实现方式中，图17所示的通信装置中，处理单元20可以是一个或多个逻辑电路，收发单元10可以是输入输出接口，又或者称为通信接口，或者接口电路，或接口等等。或者收发单元10还可以是发送单元和接收单元，发送单元可以是输出接口，接收单元可以是输入接口，该发送单元和接收单元集成于一个单元，例如输入输出接口。参见图19，图19是本申请实施例提供的通信装置的另一结构示意图。如图19所示，图19所示的通信装置包括逻辑电路901和接口902。即上述处理单元20可以用逻辑电路901实现，收发单元10可以用接口902实现。其中，该逻辑电路901可以为芯片、处理电路、集成电路或片上系统(system on chip，SoC)芯片等，接口902可以为通信接口、输入输出接口、管脚等。示例性的，图19是以上述通信装置为芯片为例示出的，该芯片包括逻辑电路901和接口902。
本申请实施例中，逻辑电路和接口还可以相互耦合。对于逻辑电路和接口的具体连接方式，本申请实施例不作限定。
当图19所示通信装置用于实现图8或图9或图13所示的方法时，逻辑电路901用于实现上述处理单元20的功能，接口902用于实现上述收发单元10的功能。
可理解，本申请实施例示出的通信装置可以采用硬件的形式实现本申请实施例提供的方法，也可以采用软件的形式实现本申请实施例提供的方法等，本申请实施例对此不作限定。
本申请实施例还提供了一种无线通信系统，该无线通信系统包括第一通信装置和第二通信装置，该第一通信装置和该第二通信装置可以用于执行前述任一方法实施例中的方法。
此外，本申请还提供一种计算机程序，该计算机程序用于实现本申请提供的方法中由第一通信装置执行的操作和/或处理。
本申请还提供一种计算机程序，该计算机程序用于实现本申请提供的方法中由第二通信装置执行的操作和/或处理。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机代码，当计算机代码在计算机上运行时，使得计算机执行本申请提供的方法中由第一通信装置执行的操作和/或处理。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机代码，当计算机代码在计算机上运行时，使得计算机执行本申请提供的方法中由第二通信装置执行的操作和/或处理。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机代码或计算机程序，当该计算机代码或计算机程序在计算机上运行时，使得本申请提供的方法中由第一通信装置执行的操作和/或处理被执行。
本申请还提供一种计算机程序产品，该计算机程序产品包括计算机代码或计算机程序，当该计算机代码或计算机程序在计算机上运行时，使得本申请提供的方法中由第二通信装置执行的操作和/或处理被执行。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选 择其中的部分或者全部单元来实现本申请实施例提供的方案的技术效果。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (27)

  1. 一种信道接入方法，其特征在于，包括：
    第一通信装置获取神经网络的参数，所述神经网络的参数基于接入类型信息获得；
    所述第一通信装置根据所述神经网络的参数确定所述神经网络；
    所述第一通信装置根据所述神经网络和所述神经网络的输入信息确定不接入信道或接入信道的接入类型，所述神经网络的输入信息包括接入类型信息和信道接入信息。
  2. 根据权利要求1所述的方法，其特征在于，所述第一通信装置获取神经网络的参数，包括：
    第一通信装置接收来自第二通信装置的神经网络的参数，所述神经网络的参数基于所述第二通信装置的接入类型信息获得；
    所述第一通信装置根据所述神经网络的参数确定所述神经网络之前，所述方法还包括：
    所述第一通信装置获取所述神经网络的结构；
    所述第一通信装置根据所述神经网络的参数确定所述神经网络，包括：
    所述第一通信装置根据所述神经网络的参数和所述神经网络的结构确定所述神经网络。
  3. 根据权利要求1所述的方法，其特征在于，所述第一通信装置获取神经网络的参数，包括：
    所述第一通信装置向第二通信装置发送数据包，所述数据包中携带业务标识，所述业务标识对应接入类型；
    所述第一通信装置接收来自所述第二通信装置的响应帧，所述响应帧用于确认所述数据包传输成功或传输失败，所述响应帧中包括所述数据包对应的奖励，所述数据包对应的奖励基于所述数据包的传输结果和所述接入类型确定，所述奖励用于更新所述神经网络的参数。
  4. 根据权利要求1-3中任一项所述的方法，其特征在于，所述第一通信装置根据所述神经网络和所述神经网络的输入信息确定不接入信道或接入信道的接入类型，包括：
    所述第一通信装置将与所述神经网络的输入信息对应的数据输入所述神经网络进行处理，根据处理结果确定不接入信道或接入信道的接入类型。
  5. 根据权利要求4所述的方法，其特征在于，所述处理结果包括不接入信道对应的期望奖励或接入类型对应的期望奖励；
    所述第一通信装置根据处理结果确定不接入信道或接入信道的接入类型，包括：
    当所述不接入信道对应的期望奖励大于所述接入类型对应的期望奖励时，所述第一通信装置确定不接入信道；当至少一个接入类型对应的期望奖励大于所述不接入信道对应的期望奖励时，所述第一通信装置根据期望奖励最大的接入类型接入信道。
  6. 根据权利要求5所述的方法，其特征在于，所述接入类型为背景流、尽力而为流、视频流、语音流中的一种或多种。
  7. 根据权利要求1-6中任一项所述的方法，其特征在于，所述神经网络的功能为人工智能AI辅助的信道接入功能，所述第一通信装置还根据所述神经网络的功能确定不接入信道或接入信道的接入类型。
  8. 根据权利要求7所述的方法，其特征在于，所述第一通信装置根据所述神经网络的参数确定所述神经网络之前，所述方法还包括：
    所述第一通信装置接收来自第二通信装置的指示信息，所述指示信息用于指示所述神经网络的功能为AI辅助的信道接入功能。
  9. 一种信道接入方法，其特征在于，包括：
    第二通信装置获取神经网络的参数，所述神经网络的参数基于所述第二通信装置的接入类型信息获得；
    所述第二通信装置向第一通信装置发送所述神经网络的参数，所述神经网络的参数用于确定所述神经 网络，所述神经网络用于确定不接入信道或接入信道的接入类型，所述神经网络的输入信息包括接入类型信息和信道接入信息。
  10. 根据权利要求9所述的方法，其特征在于，所述第二通信装置向第一通信装置发送所述神经网络的参数之后，所述方法还包括：
    所述第二通信装置向所述第一通信装置发送指示信息，所述指示信息用于指示所述神经网络的功能，所述神经网络的功能为人工智能AI辅助的信道接入功能。
  11. 根据权利要求9或10所述的方法，其特征在于，所述第二通信装置获取神经网络的参数之前，所述方法还包括：
    所述第二通信装置根据接收到的数据包的接入类型和所述数据包的传输结果，确定所述数据包在神经网络的训练过程中对应的奖励，所述奖励用于更新所述神经网络的参数。
  12. 根据权利要求11所述的方法，其特征在于，所述第二通信装置根据接收到的数据包的接入类型和所述数据包的传输结果，确定所述数据包在神经网络的训练过程中对应的奖励，包括：
    若数据包的传输结果为传输成功，则所述第二通信装置利用第一奖励函数确定所述数据包在所述神经网络的训练过程中对应的奖励，所述第一奖励函数基于所述数据包的接入类型、所述第二通信装置所在网络包括的节点数、当前时刻距离所述第二通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，所述第三通信装置为除所述第二通信装置外在当前时刻前信道上最近一次传输的通信装置；
    若所述数据包的传输结果为传输失败，则所述第二通信装置利用第二奖励函数确定所述数据包在所述神经网络的训练过程中对应的奖励，所述第二奖励函数基于所述数据包的接入类型和所述第二通信装置所在网络包括的节点数确定。
  13. 根据权利要求12所述的方法，其特征在于，所述第一奖励函数为：
    其中，rt表示数据包在所述神经网络的训练过程中对应的奖励，表示当前时刻距离所述第二通信装置上次成功传输的时间，N表示所述第二通信装置所在网络包括的节点数，AC表示所述数据包的接入类型的值，表示当前时刻距离信道上第三通信装置上次成功传输的时间。
  14. 根据权利要求12或13所述的方法，其特征在于，所述第二奖励函数为：
    其中，rt表示数据包在所述神经网络的训练过程中对应的奖励，N表示所述第二通信装置所在网络包括的节点数，AC表示所述数据包的接入类型的值。
  15. 根据权利要求1-14中任一项所述的方法，其特征在于，所述接入类型信息包括以下一项或多项：每种接入类型的缓存包数量，或每种接入类型的业务量。
  16. 根据权利要求1-15中任一项所述的方法，其特征在于，所述信道接入信息包括以下一项或多项：载波侦听结果、每种接入类型的信道接入行为、或每种接入类型的数据包传输结果；
    所述信道接入行为包括接入或未接入。
  17. 根据权利要求16所述的方法，其特征在于，所述信道接入信息还包括以下一项或多项：每种接入类型的数据包的平均排队时延，每种接入类型的数据包的平均接入时延，当前时刻距离所述第一通信装置上次成功传输的时间，或当前时刻距离信道上其他通信装置上次成功传输的时间；所述其他通信装置为除所述第一通信装置外的通信装置。
  18. 一种信道接入方法，其特征在于，包括：
    第二通信装置接收来自第一通信装置的数据包，所述数据包中携带业务标识，所述业务标识对应接入类型；
    所述第二通信装置根据所述数据包的传输结果和所述接入类型，确定所述数据包对应的奖励，所述奖励用于更新神经网络的参数；所述神经网络的参数用于确定神经网络，所述神经网络用于确定不接入信道或接入信道的接入类型；
    所述第二通信装置向所述第一通信装置发送响应帧，所述响应帧用于确认所述数据包传输成功或传输失败，所述响应帧中包括所述数据包对应的奖励。
  19. 根据权利要求18所述的方法，其特征在于，所述响应帧为确认ACK帧；
    所述第二通信装置根据所述数据包的传输结果和所述接入类型，确定所述数据包对应的奖励，包括：
    若所述数据包的传输结果为传输成功，则所述第二通信装置采用第一奖励函数确定所述数据包对应的奖励；
    所述第一奖励函数基于所述接入类型、所述第一通信装置所在网络包括的节点数、当前时刻距离所述第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，所述第三通信装置为除所述第一通信装置外在当前时刻前信道上最近一次传输的通信装置。
  20. 根据权利要求18所述的方法，其特征在于，所述响应帧是块确认BA帧；
    所述第二通信装置根据所述数据包的传输结果和所述接入类型，确定所述数据包对应的奖励，包括：
    若所述数据包的传输结果为传输成功，则所述第二通信装置采用第一奖励函数确定所述数据包对应的奖励，所述第一奖励函数基于所述接入类型、所述第一通信装置所在网络包括的节点数、当前时刻距离所述第一通信装置上次成功传输的时间、以及当前时刻距离信道上第三通信装置上次成功传输的时间确定，所述第三通信装置为除所述第一通信装置外在当前时刻前信道上最近一次传输的通信装置；
    若所述数据包的传输结果为传输失败，则所述第二通信装置采用第二奖励函数确定所述数据包对应的奖励，所述第二奖励函数基于所述接入类型和所述第一通信装置所在网络包括的节点数确定。
  21. 一种通信装置，其特征在于，包括：
    处理单元，用于获取神经网络的参数，所述神经网络的参数基于接入类型信息获得；
    所述处理单元，还用于根据所述神经网络的参数确定所述神经网络；
    所述处理单元，还用于根据所述神经网络和所述神经网络的输入信息确定不接入信道或接入信道的接入类型，所述神经网络的输入信息包括接入类型信息和信道接入信息。
  22. 根据权利要求21所述的通信装置，其特征在于，所述通信装置还包括收发单元；
    所述处理单元，具体用于控制所述收发单元执行以下步骤：
    接收来自第二通信装置的神经网络的参数，所述神经网络的参数基于所述第二通信装置的接入类型信息获得；
    所述处理单元，还用于获取所述神经网络的结构；
    所述处理单元，具体用于根据所述神经网络的参数和所述神经网络的结构确定所述神经网络。
  23. 根据权利要求21所述的通信装置，其特征在于，所述通信装置还包括收发单元；
    所述处理单元，具体用于控制所述收发单元执行以下步骤：
    向第二通信装置发送数据包，所述数据包中携带业务标识，所述业务标识对应接入类型；
    接收来自所述第二通信装置的响应帧，所述响应帧用于确认所述数据包传输成功或传输失败，所述响应帧中包括所述数据包对应的奖励，所述数据包对应的奖励基于所述数据包的传输结果和所述接入类型确定，所述奖励用于更新所述神经网络的参数。
  24. 一种通信装置，其特征在于，包括：
    处理单元，用于获取神经网络的参数，所述神经网络的参数基于所述通信装置的接入类型信息获得；
    收发单元，用于向第一通信装置发送所述神经网络的参数，所述神经网络的参数用于确定所述神经网 络，所述神经网络用于确定不接入信道或接入信道的接入类型，所述神经网络的输入信息包括接入类型信息和信道接入信息。
  25. 一种通信装置，其特征在于，包括：
    收发单元，用于接收来自第一通信装置的数据包，所述数据包中携带业务标识，所述业务标识对应接入类型；
    处理单元，用于根据所述数据包的传输结果和所述接入类型，确定所述数据包对应的奖励，所述奖励用于更新神经网络的参数；所述神经网络的参数用于确定神经网络，所述神经网络用于确定不接入信道或接入信道的接入类型；
    所述收发单元，还用于向所述第一通信装置发送响应帧，所述响应帧用于确认所述数据包传输成功或传输失败，所述响应帧中包括所述数据包对应的奖励。
  26. 一种通信装置，其特征在于，包括逻辑电路和接口，所述逻辑电路和接口耦合；
    所述接口用于输入和/或输出代码指令，所述逻辑电路用于执行所述代码指令，以使权利要求1至20任一项所述的方法被执行。
  27. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序被执行时，权利要求1至20任一项所述的方法被执行。
PCT/CN2023/108408 2022-08-05 2023-07-20 信道接入方法及相关装置 WO2024027511A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210940236.8A CN117580185A (zh) 2022-08-05 2022-08-05 信道接入方法及相关装置
CN202210940236.8 2022-08-05

Publications (1)

Publication Number Publication Date
WO2024027511A1 true WO2024027511A1 (zh) 2024-02-08

Family

ID=89848469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/108408 WO2024027511A1 (zh) 2022-08-05 2023-07-20 信道接入方法及相关装置

Country Status (3)

Country Link
CN (1) CN117580185A (zh)
TW (1) TW202408297A (zh)
WO (1) WO2024027511A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166990A1 (en) * 2019-02-14 2020-08-20 Lg Electronics Inc. Method and apparatus for initial access based on a channel access priority class in a wireless communication system
CN111867139A (zh) * 2020-07-06 2020-10-30 上海交通大学 基于q学习的深度神经网络自适应退避策略实现方法及系统
CN114363921A (zh) * 2020-10-13 2022-04-15 维沃移动通信有限公司 Ai网络参数的配置方法和设备
CN114599115A (zh) * 2022-02-16 2022-06-07 东南大学 一种无人机自组织网络信道接入方法
WO2022122997A1 (en) * 2020-12-11 2022-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Predicting random access procedure performance based on ai/ml models
WO2022142573A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 一种信道接入方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166990A1 (en) * 2019-02-14 2020-08-20 Lg Electronics Inc. Method and apparatus for initial access based on a channel access priority class in a wireless communication system
CN111867139A (zh) * 2020-07-06 2020-10-30 上海交通大学 基于q学习的深度神经网络自适应退避策略实现方法及系统
CN114363921A (zh) * 2020-10-13 2022-04-15 维沃移动通信有限公司 Ai网络参数的配置方法和设备
WO2022122997A1 (en) * 2020-12-11 2022-06-16 Telefonaktiebolaget Lm Ericsson (Publ) Predicting random access procedure performance based on ai/ml models
WO2022142573A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 一种信道接入方法和装置
CN114599115A (zh) * 2022-02-16 2022-06-07 东南大学 一种无人机自组织网络信道接入方法

Also Published As

Publication number Publication date
TW202408297A (zh) 2024-02-16
CN117580185A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN115065448B (zh) 用于接入点的集成电路
JP6133327B2 (ja) 分散型チャネルアクセスパラメータを使用した通信
US20110199952A1 (en) Power management method for station in wireless lan system and station that supports same
KR101354130B1 (ko) 무선랜 프레임 송수신 방법
CN103052077B (zh) 一种无线局域网obss站点空分干扰避免方法
CN108886809A (zh) 唤醒窗口保护
CN104303460B (zh) 在无线局域网中提供服务质量敏感设备的系统和方法
KR20140006992A (ko) 무선랜 시스템에서의 계층화 채널 접근 방법 및 장치
CN106165513A (zh) 用于提供高效多客户端接入的方法和装置
WO2021180091A1 (zh) 一种协作通信的方法和应用于协作通信的装置
Alonso-Zárate et al. Distributed point coordination function for IEEE 802.11 wireless ad hoc networks
CN108141892A (zh) 用于选择用于多用户传输的增强型分布式信道接入参数的方法和装置
WO2024027511A1 (zh) 信道接入方法及相关装置
Al-Karaki et al. Quality of service support in IEEE 802.11 wireless ad hoc networks
WO2023193657A1 (zh) 信息交互方法及相关装置
WO2023193620A1 (zh) 信息交互方法及相关装置
Derakhshani et al. Cognitive MAC designs: Background
CN116057970A (zh) 在无线局域网系统中执行用于感测的分群的方法和装置
Lei et al. QoS-oriented media access control using reinforcement learning for next-generation WLANs
WO2023193669A1 (zh) 通信装置及方法
WO2024022007A1 (zh) 一种无线局域网中通信的方法和装置
Tuan et al. Improving QoS mechanisms for IEEE 802.11 ax with overlapping basic service sets
WO2023134517A1 (zh) 无线局域网中的时间资源调度方法、装置及可读存储介质
Lai et al. Dynamic game with perfect and complete information based dynamic channel assignment
WO2023066181A1 (zh) 业务优先级确定方法以及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23849219

Country of ref document: EP

Kind code of ref document: A1