WO2023138238A1 - 基于智简网络的信息发送方法、装置、电子设备及介质 - Google Patents
基于智简网络的信息发送方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- WO2023138238A1 WO2023138238A1 PCT/CN2022/136690 CN2022136690W WO2023138238A1 WO 2023138238 A1 WO2023138238 A1 WO 2023138238A1 CN 2022136690 W CN2022136690 W CN 2022136690W WO 2023138238 A1 WO2023138238 A1 WO 2023138238A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- model
- semantic
- business
- data type
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims description 33
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000006403 short-term memory Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 39
- 230000005540 biological transmission Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- BXZVVICBKDXVGW-NKWVEPMBSA-N Didanosine Chemical compound O1[C@H](CO)CC[C@@H]1N1C(NC=NC2=O)=C2N=C1 BXZVVICBKDXVGW-NKWVEPMBSA-N 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 229960002656 didanosine Drugs 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 235000012149 noodles Nutrition 0.000 description 2
- 235000015927 pasta Nutrition 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Abstract
提供一种基于智简网络的信息发送方法、装置、电子设备及介质。具体实现方案为：根据第一业务信息的数据类型选择对应的语义模型(S101)；利用语义模型将第一业务信息分成不同类别的语义信息(S102)；将不同类别的语义信息输入预先配置的第一模型中提取特征信息(S103)；将第一模型的参数以及提取出的特征信息进行编码形成第二业务信息后通过信道发送(S104)。
Description
本公开涉及通信技术领域，尤其涉及一种基于智简网络的信息发送方法、装置、电子设备及介质。
在未来的万物智联网络中，网络节点趋向于智能化，网络节点极智导致了信息空间快速扩张、甚至维度灾难，加剧了表征信息承载空间的难度，导致传统的网络服务能力与高维信息空间难以匹配，通信传输的数据量过大，信息业务服务系统无法持续满足人们复杂、多样和智能化信息传输的需求。随着社会的发展和时代的进步，通信技术和人工智能不断发展前进。智简网络是一种将人工智能与通信技术相结合的通信技术，提高通信的性能。通过人工智能模型来编码、传播、解码业务信息，可显著降低通信业务中的数据传输量，极大地提升了信息传输效率。这些模型相对稳定，并具有复用性、传播性。模型的传播和复用将有助于增强网络智能，同时降低开销和资源浪费，形成节点极智、网络极简的智简网络。
在数字通信系统中，发射机是通信系统中不可或缺的一部分，信号从信源产生，通过信源编码、信道编码，再通过复用技术，数字调制技术，将要传输的数字信号变成适合信道传输的信号。其中信源编码，是为了减少冗余，以适应有限的带宽资源，而信道编码为了降低传输过程中的误码率，增添了冗余。传统的这种通信发射端的结构冗余，其次根据传输的信号不同，发射机的发射端需要不同的功率、不同的调制方法、不同的载波信号等。这些和未来高速率、高准确度并且智简的网络架构不太匹配，随着智简网络的到来，通信系统发射机不仅需要发送物理比特信息，还需要能够发送模型以及模型参数等，但是目前的发射机仅能发送物理比特，因此我们就需要对传统通信系统的发射端做出改进，使其不仅能够发送物理比特，又可以发送模型以及模型参数等，以适用于智简网络。
发明内容
本公开提供了一种用于智简网络的信息发送方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种基于智简网络的信息发送方法，包括：
根据第一业务信息的数据类型选择对应的语义模型；
利用所述语义模型将所述第一业务信息分成不同类别的语义信息；
将不同类别的所述语义信息输入预先配置的神经网络模型中提取特征信息；
将所述语义模型的参数、所述神经网络模型的参数以及提取出的所述特征信息进行编码形成第二业务信息后通过信道发送。
可选的，所述第一业务信息的数据类型包括自然语言或图像或视频。
可选的，当所述第一业务信息的数据类型为自然语言时，对应的所述语义模型包括长短期记忆模型或transformer模型；
当所述第一业务信息的数据类型为图像或视频时，对应的所述语义模型包括生成式对抗网络模型或自编码器或语义分割模型。
可选的，当所述第一业务信息为图像或视频时，所述利用所述语义模型将所述第一业务信息分割成不同类别的语义信息包括：
利用所述语义模型对所述第一业务信息进行分类；
对分类后对所述第一业务信息进行语义分割得到不同类别的所述语义信息。
可选的，所述语义模型基于残差网络框架运行。
根据本公开的另一方面，提供了一种基于智简网络的信息发送装置，包括：
模型选择模块，用于根据第一业务信息的数据类型选择对应的语义模型；
语义分类模块，用于利用所述语义模型将所述第一业务信息分成不同类别的语义信息；
信息提取模块，用于将不同类别的所述语义信息输入预先配置的神经 网络模型中提取特征信息；
信息编码模块，用于将所述语义模型的参数、所述神经网络模型的参数以及提取出的所述特征信息进行编码形成第二业务信息后通过信道发送。
可选的，所述第一业务信息的数据类型包括自然语言或图像或视频。
可选的，当所述第一业务信息的数据类型为自然语言时，对应的所述语义模型包括长短期记忆模型或transformer模型；
当所述第一业务信息的数据类型为图像或视频时，对应的所述语义模型包括生成式对抗网络模型或自编码器或语义分割模型。
可选的，当所述第一业务信息为图像或视频时，所述语义分类模块利用所述语义模型将所述第一业务信息分成不同类别的所述语义信息的过程包括：
利用所述语义模型对所述第一业务信息进行分类；
对分类后对所述第一业务信息进行语义分割得到不同类别的所述语义信息。
可选的，所述语义模型基于残差网络框架运行。
本公开还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述技术方案中任一项所述的信息发送方法。
本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例中任一项所述的信息发送方法。
本公开还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例中任一项所述的信息发送方法。
本公开通过上述技术方案中的基于智简网络的信息发送方法、装置、 电子设备以及存储介质，实现了一种在智简网络中即可以向接收端发送物理比特又可以以物理比特发送为承载，发送模型、模型参数以及第二业务信息的方法和装置，通过模型进行语义信息分类和提取后，可以显著地降低通信发送端的数据传输量，提升通信效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例中的基于智简网络的信息发送方法步骤图；
图2是本公开实施例中的基于智简网络的信息发送方法流程图；
图3是本公开实施例中的自然语言信息的语义分类流程图；
图4是本公开实施例中的NLP分类模型中所用的残差网络结构图；
图5是本公开实施例中的信息发送装置的原理框图。
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开主要提供了一种应用于智简网络的信息发送装置和方法，即智简发射机及其发送方法。智简网络中主要通过人工智能模型传播业务信息，通过使用人工智能模型将待传播的第一业务信息压缩为与所述人工智能模型相关的第二业务信息，极大地降低了网络中的数据通信量，压缩效率远超传统的压缩算法。其中，发送端设备利用预先配置的第一模型对所述第一业务信息进行提取并得到待传输的第二业务信息；所述发送端设备向接收端设备传输所述第二业务信息。接收端设备接收所述第二业务信息，并利用预先配置的第二模型对所述第二业务信息进行恢复处理得到第三 业务信息；经第二模型恢复的第三业务信息比起原先的第一业务信息会有些许质量上的差异，但两者在内容上是一致的，给用户的体验几乎是无差异的。在所述发送端设备向接收端设备传输所述第二业务信息之前，还包括：更新模块判断所述接收端设备是否需要对所述第二模型进行更新，并在判断需要更新时向所述接收端设备传输预先配置的第三模型，所述接收端设备利用所述第三模型对所述第二模型进行更新。通过预先训练好的人工智能模型对业务信息进行处理，可显著降低通信业务中的数据传输量，极大地提升了信息传输效率。这些模型相对稳定，并具有复用性、传播性。模型的传播和复用将有助于增强网络智能，同时降低开销和资源浪费。所述模型能够根据不同切分规则切分为若干个模型切片，上述模型切片也可以在不同的网络节点之间传输，模型切片可以组装成模型。模型切片可以分散存储在多个网络节点上。当网络节点请发现自己缺少或需要更新某模型或某模型切片时，可以通过请求的方式，向周围可能具有该切片的节点请求。
传输所述业务信息、传输所述模型均发生在通信网络的网络层，基于网络层协议进行通信传输。传输所述业务信息、传输所述模型的路径上经过的网络节点包括智简路由器。智简路由器的功能包括但不限于业务信息传输、模型传输，吸收模型自我更新，安全保护等功能。智简路由器的传输功能，涉及将业务信息或模型从信源节点传输到信宿节点，信源节点和信宿节点之间存在多个路径。智简路由器的模型传输功能，可以对模型切片进行传输，通过合理安排模型切片走多个路径，多路传输模型切片，提高模型传输速率。
本公开提供了一种基于智简网络的信息发送方法，如图1所示，包括：
步骤S101，根据第一业务信息的数据类型选择对应的语义模型；
步骤S102，利用语义模型将第一业务信息分成不同类别的语义信息；
步骤S103，将不同类别的语义信息输入预先配置的神经网络模型中提取特征信息；
步骤S104，将语义模型的参数、神经网络模型的参数以及提取出的特征信息进行编码形成第二业务信息后通过信道发送。
具体地，由于信源产生的第一业务信息具有不确定性，即可能是不同的数据类型，不同数据类型的业务信息需要采取不同的发射模式，才能达到传输效率的最大化。图2所示为本公开实施例中通信系统发送端的信息发送流程图，当不同形式的第一业务信息进入发射端，首先需要判断其数据类型，然后调用对应的语义模型对其进行分类，将第一业务信息细分成不同类别的语义信息，再将语义信息输入神经网络模型进行信息提取，语义模型和神经网络模型可以统一为一个整体的模型，即发送端的第一模型，发送端将提取的特征信息及语义模型的参数、神经网络模型的参数进行编码后形成第二业务信息通过信道发送给接收端，以便于接收端能根据第二模型以及各模型的参数做好译码，将第二业务信息中的特征信息恢复成与第一业务信息高度相似的第三业务信息，从而降低通信系统发送端的信息发送量，提高通信效率。本实施例中的编码可以采用信源信道联合编码，信源编码是一个数据压缩的过程，其目的是尽可能地将信源中的冗余度去掉；而信道编码则是一个增加冗余的过程，通过适当加入冗余度来达到抵抗信道噪声，保护传输数据的目的。
第一业务信息可以是自然语义信息或者图像或者视频，包括但不限于上述数据类型。例如，当第一业务信息是自然语言信息时，NLP(Natural Language Process，自然语言处理)具有良好的分类效果，首先利用NLP对自然语言信息进行分类，语义信息就被局限在一定的范围之内，如图3所示，将一个自然语言信源通过残差网络框架分类为“主食→面食→担担面”，这样分类之后语义信息的范围就会显著地减小，从而冗余信息也会较少。在语义信息的范围减小后，语义信息的提取与传输将成为有限状态下可实现的工作。对自然语言信息的分类处理可以采用长短期记忆模型(Long short-term memory，LSTM)，但LSTM模型很容易丢失很久以前读入的信息，因此可以进一步增加注意力机制(attention机制)，attention机制是一种能让模型对重要信息重点关注并充分学习吸收的技术，能够作用于任何序列模型中，通过引入attention机制进一步提高语义分类模型的性能。
当第一业务信息为图像或者视频时，选择对应的语义模型对图像或视频进行分类，对分类后图像或视频进行语义分割，再基于HEVC(High Efficiency Video Coding，高效视频编码)切分图像到CU(Coding Unit，编码单元)等级，再输入神经网络模型进行特征提取，以神经网络模型输出的特征信息(feature map)进行编码，神经网络模型可以采用卷积神经网络模型。需要说明的是，如果语义分割能够做到足够精细，那么可以去除HEVC切分这个环节。例如，针对一辆行驶在路面上的汽车，我们从后面对汽车进行摄像，利用语义分割我们将其分为后挡风玻璃、车灯、车牌以及背景，然后基于HEVC将语义分割后的图像再切分到CU等级，最后利用神经网络模型对其进行特征提取，如一横的纹理、一斜的纹理、椭圆形纹理等，将这些特征信息进行编码后发送。通过分类后的语义信息就被局限在一定的范围之内，从而冗余信息也会较少，这样编码就可以用更少的物理比特进行编码，降低通信系统发送端的信息发送量，提升通信系统的通信效率。
作为可选的实施方式，当第一业务信息的数据类型为自然语言时，对应的语义模型包括长短期记忆模型或transformer模型等；当第一业务信息的数据类型为图像或视频时，对应的语义模型包括生成式对抗网络模型或自编码器(autoencoder系列)或语义分割模型等；视频还可以选择VIMSYS模型、Videx模型等。上述模型均可以基于残差网络框架运行，残差网络框架对于任何数据类型的信息源都可以适用，对于任意信息源，其语义模型可以通过拼接实现功能、类别的扩充，例如图4所示，为NLP分类模型中所用的“瓶颈”结构的残差网络。深度学习模型可以由残差网络自由拼接，组成任意深度的模型结构。在残差网络中,H(x)＝F(x)+x，最差的结果为H(x)＝x，即残差网络没有提取到任何特征，但是也没有对整体模型网络造成损害。语义模型也可以通过信道发送到接收端，既可以发送完整的语义模型，也可以通过剪枝只传输部分有用的语义模型。
作为可选的实施方式，当第一业务信息为图像或视频时，利用语义模型将第一业务信息分割成不同类别的语义信息包括：利用语义模型对第一业务信息进行分类；对分类后对第一业务信息进行语义分割得到不同类别的语义信息。
本实施例中首先选择对应的语义模型，采用三段法对图像或视频进行分类，第一种方式是在分类后对第一业务信息直接进行语义分割后进行特 征提取；第二种方式是在语义分割后再基于HEVC切分图像到CU等级，利用卷积神经网络输出的特征信息作为语义基。如果语义分割能够做到足够精细，那么三段法可以转成两段法，去除掉HEVC切分这个环节，即选用第一种方式。通过上述技术方案就可以得到图像或视频的各种各样不同类别的语义信息。而针对自然语言则无需进行语义分割或HEVC切分，直接对其进行分类即可。
本公开还提供一种基于智简网络的信息发送装置，如图5所示，包括：
模型选择模块501，用于根据第一业务信息的数据类型选择对应的语义模型；
语义分类模块502，用于利用语义模型将第一业务信息分成不同类别的语义信息；
信息提取模块503，用于将不同类别的语义信息输入预先配置的神经网络模型中提取特征信息；
信息编码模块504，用于将神经网络模型的参数以及提取出的特征信息进行编码形成第二业务信息后通过信道发送。
具体地，本实施例中的信息发送装置可以作为智简网络通信系统中的通信发射机。由于信源产生的第一业务信息具有不确定性，即可能是不同的数据类型，不同数据类型的业务信息需要采取不同的发射模式，才能达到传输效率的最大化。图2所示为本公开实施例中通信系统发送端的信息发送流程图，当不同形式的第一业务信息进入发射端，首先需要模型选择模块501判断其数据类型，并调用对应的语义模型对其进行分类，语义分类模块502利用对应的语义模型将第一业务信息细分成不同类别的语义信息，再将语义信息输入信息提取模块503预先存储或预先训练好的神经网络模型进行信息提取，语义模型和神经网络模型可以统一为一个整体的模型，即发送端的第一模型，信息编码模块504将提取的特征信息及模型参数进行编码后形成第二业务信息通过信道发送给接收端，以便于接收端能根据第二模型以及语义模型的参数、神经网络模型的参数做好译码，将第二业务信息中的特征信息恢复成与第一业务信息高度相似的第三业务信息，从而降低通信系统发送端的信息发送量，提高通信效率。本实施例中 的编码可以采用信源信道联合编码，信源编码是一个数据压缩的过程，其目的是尽可能地将信源中的冗余度去掉；而信道编码则是一个增加冗余的过程，通过适当加入冗余度来达到抵抗信道噪声，保护传输数据的目的。
第一业务信息可以是自然语义信息或者图像或者视频，包括但不限于上述数据类型。例如，当第一业务信息是自然语言信息时，NLP具有良好的分类效果，首先利用NLP对自然语言信息进行分类，语义信息就被局限在一定的范围之内，如图3所示，将一个自然语言信源通过残差网络框架分类为“主食→面食→担担面”，这样分类之后语义信息的范围就会显著地减小，从而冗余信息也会较少。在语义信息的范围减小后，语义信息的提取与传输将成为有限状态下可实现的工作。对自然语言信息的分类处理可以采用长短期记忆模型，但LSTM模型很容易丢失很久以前读入的信息，因此可以进一步增加attention机制，attention机制是一种能让模型对重要信息重点关注并充分学习吸收的技术，能够作用于任何序列模型中，通过引入attention机制进一步提高语义分类模型的性能。
当第一业务信息为图像或者视频时，选择对应的语义模型对图像或视频进行分类，对分类后图像或视频进行语义分割，再基于HEVC切分图像到CU等级，再输入神经网络模型进行特征提取，以神经网络模型输出的特征信息进行编码，神经网络模型可以采用卷积神经网络模型。需要说明的是，如果语义分割能够做到足够精细，那么可以去除HEVC切分这个环节。例如，针对一辆行驶在路面上的汽车，我们从后面对汽车进行摄像，利用语义分割我们将其分为后挡风玻璃、车灯、车牌以及背景，然后基于HEVC将语义分割后的图像再切分到CU等级，最后利用神经网络模型对其进行特征提取，如一横的纹理、一斜的纹理、椭圆形纹理等，将这些特征信息进行编码后发送。通过分类后的语义信息就被局限在一定的范围之内，从而冗余信息也会较少，这样编码就可以用更少的物理比特进行编码，降低通信系统发送端的信息发送量，提升通信系统的通信效率。
作为可选的实施方式，当第一业务信息的数据类型为自然语言时，对应的语义模型包括长短期记忆模型或transformer模型等；当第一业务信息的数据类型为图像或视频时，对应的语义模型包括生成式对抗网络模型或自编码器(autoencoder系列)或语义分割模型等；视频还可以选择VIMSYS 模型、Videx模型等。上述模型均可以基于残差网络框架运行，残差网络框架对于任何数据类型的信息源都可以适用，对于任意信息源，其语义模型可以通过拼接实现功能、类别的扩充，例如图4所示，为NLP分类模型中所用的“瓶颈”结构的残差网络。深度学习模型可以由残差网络自由拼接，组成任意深度的模型结构。在残差网络中，H(x)＝F(x)+x，最差的结果为H(x)＝x，即残差网络没有提取到任何特征，但是也没有对整体模型网络造成损害。语义模型也可以通过信道发送到接收端，既可以发送完整的语义模型，也可以通过剪枝只传输部分有用的语义模型。
作为可选的实施方式，当第一业务信息为图像或视频时，利用语义模型将第一业务信息分割成不同类别的语义信息包括：利用语义模型对第一业务信息进行分类；对分类后对第一业务信息进行语义分割得到不同类别的语义信息。
本实施例中首先选择对应的语义模型，采用三段法对图像或视频进行分类，第一种方式是在分类后对第一业务信息直接进行语义分割后进行特征提取；第二种方式是在语义分割后再基于HEVC切分图像到CU等级，利用卷积神经网络输出的特征信息作为语义基。如果语义分割能够做到足够精细，那么三段法可以转成两段法，去除掉HEVC切分这个环节，即选用第一种方式。通过上述技术方案就可以得到图像或视频的各种各样不同类别的语义信息。而针对自然语言则无需进行语义分割或HEVC切分，直接对其进行分类即可。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
具体地，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
设备包括计算单元，其可以根据存储在只读存储器(ROM，Read-OnlyMemory)中的计算机程序或者从存储单元加载到随机访问存 储器(RAM，RandomAccessMemory)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O，Input/Output)接口也连接至总线。
设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元的一些示例包括但不限于中央处理单元(CPU，Central Processing Unit)、图形处理单元(GPU，Graphics Processing Unit)、各种专用的人工智能(AI，Artificial Intelligence)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP，Digital Signal Processing)、以及任何适当的处理器、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理，例如上述实施例中的信息发送方法。例如，在一些实施例中，信息发送方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由计算单元执行时，可以执行上文描述的信息发送方法的一个或多个步骤。备选地，在其他实施例中，计算单元可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息发送方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA，Field Programmable Gate Array)、专用集成电路(ASIC，Application Specific Integrated Circuit)、专用标准产品(ASSP，Application Specific Standard Product)、芯片上系统的系统(SOC，System on Chip)、负载可编程逻辑设备(CPLD，Complex Programmable Logic Device)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程 系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的信息发送方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM，Electrical Programmable Read Only Memory或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM，Compact Disc Read-Only Memory)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN，Local Area Network)、广域网(WAN，Wide Area Network)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (13)
- 一种基于智简网络的信息发送方法，其特征在于，包括：根据第一业务信息的数据类型选择对应的语义模型(S101)；利用所述语义模型将所述第一业务信息分成不同类别的语义信息(S102)；将不同类别的所述语义信息输入预先配置的神经网络模型中提取特征信息(S103)；将所述语义模型的参数、所述神经网络模型的参数以及提取出的所述特征信息进行编码形成第二业务信息后通过信道发送(S104)。
- 根据权利要求1所述的信息发送方法，其特征在于，所述第一业务信息的数据类型包括自然语言或图像或视频。
- 根据权利要求2所述的信息发送方法，其特征在于，当所述第一业务信息的数据类型为自然语言时，对应的所述语义模型包括长短期记忆模型或transformer模型；当所述第一业务信息的数据类型为图像或视频时，对应的所述语义模型包括生成式对抗网络模型或自编码器或语义分割模型。
- 根据权利要求1所述的信息发送方法，其特征在于，当所述第一业务信息为图像或视频时，所述利用所述语义模型将所述第一业务信息分成不同类别的语义信息包括：利用所述语义模型对所述第一业务信息进行分类；对分类后对所述第一业务信息进行语义分割得到不同类别的所述语义信息。
- 根据权利要求1-4中任一所述的信息发送方法，其特征在于，所述语义模型基于残差网络框架运行。
- 一种基于智简网络的信息发送装置，其特征在于，包括：模型选择模块(501)，用于根据第一业务信息的数据类型选择对应的语义模型；语义分类模块(502)，用于利用所述语义模型将所述第一业务信息分成不同类别的语义信息；信息提取模块(503)，用于将不同类别的所述语义信息输入预先配置的神经网络模型中提取特征信息；信息编码模块(504)，用于将所述语义模型的参数、所述神经网络模型的参数以及提取出的所述特征信息进行编码形成第二业务信息后通过信道发送。
- 根据权利要求6所述的信息发送装置，其特征在于，所述第一业务信息的数据类型包括自然语言或图像或视频。
- 根据权利要求7所述的信息发送装置，其特征在于，当所述第一业务信息的数据类型为自然语言时，对应的所述语义模型包括长短期记忆模型或transformer模型；当所述第一业务信息的数据类型为图像或视频时，对应的所述语义模型包括生成式对抗网络模型或自编码器或语义分割模型。
- 根据权利要求7所述的信息发送装置，其特征在于，当所述第一业务信息为图像或视频时，所述语义分类模块利用所述语义模型将所述第一业务信息分成不同类别的所述语义信息的过程包括：利用所述语义模型对所述第一业务信息进行分类；对分类后对所述第一业务信息进行语义分割得到不同类别的所述语义信息。
- 根据权利要求6-9中任一所述的信息发送装置，其特征在于，所述语义模型基于残差网络框架运行。
- 一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的信息发送方法。
- 一种存储有计算机指令的非瞬时计算机可读存储介质， 其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的信息发送方法。
- 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的信息发送方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210065459.4A CN116522947A (zh) | 2022-01-20 | 2022-01-20 | 基于智简网络的信息发送方法、装置、电子设备及介质 |
| CN202210065459.4 | 2022-01-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023138238A1 true WO2023138238A1 (zh) | 2023-07-27 |
Family
ID=87347783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/136690 WO2023138238A1 (zh) | 2022-01-20 | 2022-12-05 | 基于智简网络的信息发送方法、装置、电子设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116522947A (zh) |
| WO (1) | WO2023138238A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180329512A1 (en) * | 2016-01-25 | 2018-11-15 | Hiscene Information Technology Co., Ltd | Multimodal input-based interaction method and device |
| WO2020126168A1 (de) * | 2018-12-18 | 2020-06-25 | Siemens Aktiengesellschaft | Verfahren zur zusammenarbeit von mehreren geräten eines lokalen netzwerks |
| CN112800247A (zh) * | 2021-04-09 | 2021-05-14 | 华中科技大学 | 基于知识图谱共享的语义编/解码方法、设备和通信系统 |
| CN113705245A (zh) * | 2021-09-01 | 2021-11-26 | 北京邮电大学 | 语义通信方法、装置、系统、计算机设备及存储介质 |
| CN113839750A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种语义通信系统中的信息传输方法 |
-
2022
- 2022-01-20 CN CN202210065459.4A patent/CN116522947A/zh active Pending
- 2022-12-05 WO PCT/CN2022/136690 patent/WO2023138238A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180329512A1 (en) * | 2016-01-25 | 2018-11-15 | Hiscene Information Technology Co., Ltd | Multimodal input-based interaction method and device |
| WO2020126168A1 (de) * | 2018-12-18 | 2020-06-25 | Siemens Aktiengesellschaft | Verfahren zur zusammenarbeit von mehreren geräten eines lokalen netzwerks |
| CN112800247A (zh) * | 2021-04-09 | 2021-05-14 | 华中科技大学 | 基于知识图谱共享的语义编/解码方法、设备和通信系统 |
| CN113705245A (zh) * | 2021-09-01 | 2021-11-26 | 北京邮电大学 | 语义通信方法、装置、系统、计算机设备及存储介质 |
| CN113839750A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种语义通信系统中的信息传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116522947A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Toward wisdom-evolutionary and primitive-concise 6G: A new paradigm of semantic communication networks | |
| Gündüz et al. | Beyond transmitting bits: Context, semantics, and task-oriented communications | |
| Zhao et al. | Federated-learning-enabled intelligent fog radio access networks: Fundamental theory, key techniques, and future trends | |
| Shi et al. | A new communication paradigm: from bit accuracy to semantic fidelity | |
| US20230291909A1 (en) | Coding video frame key points to enable reconstruction of video frame | |
| EP3673387B1 (en) | Compression of word embeddings for natural language processing systems | |
| Lu et al. | Semantics-empowered communications: A tutorial-cum-survey | |
| WO2023179800A1 (zh) | 通信接收方法及其装置 | |
| Itahara et al. | Communication-oriented model fine-tuning for packet-loss resilient distributed inference under highly lossy IoT networks | |
| Ma et al. | Task-oriented explainable semantic communications | |
| WO2023138238A1 (zh) | 基于智简网络的信息发送方法、装置、电子设备及介质 | |
| Gündüz et al. | Timely and massive communication in 6G: Pragmatics, learning, and inference | |
| CN113689868A (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| Grassucci et al. | Generative AI Meets Semantic Communication: Evolution and Revolution of Communication Tasks | |
| WO2023138234A1 (zh) | 模型管理方法、装置、组网架构、电子设备及存储介质 | |
| WO2023138231A1 (zh) | 一种网络模型的残差传播方法和残差传播装置 | |
| Xing et al. | A Multi-user Deep Semantic Communication System based on Federated Learning with Dynamic Model Aggregation | |
| WO2024045672A1 (zh) | 编码方法、解码方法、编码装置、解码装置及电子设备 | |
| CN116611441A (zh) | 信息传输方法、装置、电子设备及存储介质 | |
| US11831698B2 (en) | Data streaming protocols in edge computing | |
| WO2023138232A1 (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| US20240146582A1 (en) | Information encoding control method and related apparatus | |
| Xin et al. | Semantic information theory: Recent advances and future challenges | |
| CN114827289B (zh) | 一种通信压缩方法、系统、电子装置和存储介质 | |
| Getu et al. | Semantic Communication: A Survey on Research Landscape, Challenges, and Future Directions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22921662 Country of ref document: EP Kind code of ref document: A1 |