WO2024010049A1 - Ａｉ／ｍｌアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法 - Google Patents

Ａｉ／ｍｌアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法 Download PDF

Info

Publication number
WO2024010049A1
WO2024010049A1 PCT/JP2023/025014 JP2023025014W WO2024010049A1 WO 2024010049 A1 WO2024010049 A1 WO 2024010049A1 JP 2023025014 W JP2023025014 W JP 2023025014W WO 2024010049 A1 WO2024010049 A1 WO 2024010049A1
Authority
WO
WIPO (PCT)
Prior art keywords
input data
data
transmitting
inference
entity
Prior art date
Application number
PCT/JP2023/025014
Other languages
English (en)
French (fr)
Inventor
博允 内山
信一郎 津田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024010049A1 publication Critical patent/WO2024010049A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Definitions

  • the present disclosure relates to a transmitting entity, a receiving entity, a data transmission method, and a data processing method for AI/ML (Artificial Intelligence/Machine Learning) applications.
  • AI/ML Artificial Intelligence/Machine Learning
  • AI/ML applications that will be executed using cellular networks such as 5G, Beyond 5G, and 6G.
  • input data acquired by a terminal device with low computing power is sent to a cloud server via a cellular network, and inference is performed using an AI/ML model using the cloud server's high computing power. It is possible that
  • the AI/ML model on the receiving side cannot start inference until the transmission of the large amount of input data is completed.
  • Non-Patent Document 1 discloses that a large amount of input data acquired on the transmitting side is segmented and sent to an AI/ML model on the receiving side via a cellular network, and the inference processing in the AI/ML model is parallelized. , describes a technique for shortening the time it takes to obtain an inference result.
  • Non-Patent Document 1 Inference results cannot be obtained until transmission of all segmented data is completed. However, in actual applications, it may be advantageous to obtain a rough inference result before the final inference result is obtained. For example, in classifying objects in an image of an automatic guided vehicle (AGV), it is advantageous to obtain rough inference results before accurate inference results are obtained. It would be further advantageous if the inference results could be updated step by step until the desired accuracy is achieved.
  • AGV automatic guided vehicle
  • the present disclosure is intended to solve the above-mentioned problems, and provides a sending entity and a receiving entity for AI/ML applications that can update inference results step by step until a desired result is obtained.
  • the purpose is to provide
  • a transmission entity for an AI/ML application includes an acquisition unit that acquires original input data, and a plurality of inputs with reduced data amount from the original input data.
  • the present invention includes a generation unit that generates data, a data transmission unit that sequentially transmits a plurality of input data, and a request reception unit that receives feedback information based on whether additional input data is required.
  • a receiving entity for an AI/ML application includes a data receiving unit that sequentially receives a plurality of input data, and a data receiving unit that sequentially inputs a plurality of input data into a multi-stage input type AI/ML model, and a plurality of input data.
  • An inference unit that sequentially acquires inference values
  • an output unit that sequentially updates and outputs inference results based on a plurality of inference values
  • a determination unit that determines whether additional input data is necessary
  • a determination unit that determines whether additional input data is necessary
  • a request transmitting section that transmits feedback information based on a determination by the section as to whether additional input data is necessary.
  • a data transmission method for an AI/ML application includes a step of acquiring original input data, a step of generating a plurality of input data with a reduced amount of data from the original input data, The method includes sequentially transmitting a plurality of input data and receiving feedback information based on whether additional input data is needed.
  • the data processing method for an AI/ML application includes the steps of sequentially receiving a plurality of input data, sequentially inputting the plurality of input data to a multi-stage input type AI/ML model, and performing a plurality of inferences.
  • FIG. 2 is a diagram illustrating two usage examples of AI/ML in a cellular network.
  • FIG. 3 is a diagram illustrating three execution forms of an AI/ML application executed using a cellular network.
  • FIG. 3 is a diagram showing an example of splitting points in a neural network model.
  • FIG. 2 is a diagram illustrating one example of distributed learning in an AI/ML application executed using a cellular network. It is a figure which shows various execution forms of distributed learning in AI/ML application executed using a cellular network.
  • FIG. 2 is a diagram illustrating an example of an AI/ML application including a multi-stage input type AI/ML model.
  • FIG. 2 is a diagram illustrating the basic concept of the present disclosure.
  • FIG. 1 is illustrating two usage examples of AI/ML in a cellular network.
  • FIG. 3 is a diagram illustrating three execution forms of an AI/ML application executed using a cellular network.
  • FIG. 3 is a diagram showing an example of splitting points in a neural network model.
  • FIG. 2 is a diagram illustrating the configuration of a transmitting entity and a receiving entity according to the present disclosure.
  • 1 is a diagram illustrating an example of a configuration of a 5G system.
  • FIG. 2 is a diagram illustrating an example of the configuration of a multi-stage input type AI/ML model.
  • FIG. 3 is a diagram illustrating an example of inputting two still image data with different resolutions to a multi-stage input type AI/ML model.
  • FIG. 3 is a diagram illustrating an example of a method for generating input data based on the resolution of a still image.
  • FIG. 3 is a diagram illustrating an example of inputting two still image data of different regions to a multi-stage input type AI/ML model.
  • FIG. 3 is a diagram illustrating an example of a method for generating input data based on a region of a still image.
  • FIG. 3 is a diagram illustrating a method of generating input data based on the resolution and area of a still image.
  • FIG. 3 is a diagram illustrating a method of generating input data based on the frame rate of moving image data.
  • FIG. 2 is a diagram illustrating a first example of an input data generation method based on image compression/encoding.
  • FIG. 7 is a diagram illustrating a second example of an input data generation method based on image compression/encoding.
  • FIG. 3 is a diagram illustrating a method of generating input data based on an error correction code.
  • FIG. 6 is a diagram illustrating an example of a case where there are two input data in Hard-combining.
  • 12 is a flowchart illustrating details of hard-combining operations in a robot use case. It is a figure which shows the example where the input data in soft-combining is two.
  • 12 is a flowchart illustrating details of soft-combining operation in a robot use case. It is a sequence diagram when a factory robot performs automatic operation while performing image recognition. It is a sequence diagram when a factory robot performs automatic operation while performing image recognition.
  • the configuration of the present disclosure is as shown below.
  • Background 1-1 AI/ML application executed using cellular network 1-2. Three execution forms of AI/ML applications 1-2-1. Cloud learning 1-2-2. In-device learning 1-2-3. Distributed learning 1-3.
  • Basic concept of this disclosure 2-1. Transmitting entity and receiving entity 2-2. Configuration of sending entity 2-3.
  • FIG. 1 is a diagram illustrating two usage examples of AI/ML in a cellular network.
  • the first usage example is an AI/ML application that is executed using a cellular network.
  • AI/ML applications it is required that AI/ML applications operate comfortably on a cellular network. Since AI/ML applications are expected to spread rapidly in the future, a cellular network that can support these applications will be required.
  • the second usage example is the construction of a cellular network using AI/ML.
  • AI/ML By replacing some or all of the functions of the cellular network with AI/ML, further optimization of communication can be achieved. In this case, it is expected that it will be necessary not only to replace the algorithm but also to change input/output parameters.
  • AI/ML application executed using cellular network This disclosure focuses on an AI/ML application that is executed using a cellular network, which is the first usage example described above. Future cellular networks may not only provide communication capabilities, but also provide computing power to applications that run on them. In particular, when providing computational power to AI/ML applications, high computational power is required to execute inference processing in AI/ML models at high speed.
  • AI/ML applications executed using cellular networks include XR (Extended Reality) such as VR (Virtual Reality) / AR (Augmented Reality) / MR (Mixed Reality), autonomous driving, and robotics.
  • XR Extended Reality
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • Possible applications include automatic guided vehicles, image recognition, and voice recognition.
  • low latency and high computational power There are two requirements for a cellular network that can support AI/ML applications: low latency and high computational power. These requirements are defined as low latency and high computational power when running AI/ML applications. Therefore, for example, the requirement for low latency is not simply low latency between the terminal device and the base station, but also low latency between the terminal device and the server device where inference processing in the AI/ML model is executed. required.
  • FIG. 2 shows three execution forms of AI/ML applications executed using a cellular network.
  • the first execution form is cloud learning in which all AI/ML application processing is executed on the cloud server side.
  • cloud learning all AI/ML application processing is executed on the cloud server side. Therefore, there is no problem even if the calculation power of the terminal device is relatively low.
  • RAW data input data
  • the second execution form is in-device learning in which all AI/ML application processing is executed on a terminal device. In-device learning does not require input data to be sent from the terminal device to the cloud server. Therefore, although it is excellent in low latency, it is not realistic for a terminal device to execute all the processing of an AI/ML application by itself.
  • the third execution form is distributed learning in which the processing of the AI/ML application is distributed and executed at each node from the terminal device to the cloud server. Distributed learning allows the computational load to be distributed to each node. Furthermore, the input data is sequentially processed at each node and transmitted to the next node as intermediate data. Therefore, the amount of data to be transmitted can be reduced compared to the case where input data (RAW data) is transmitted to the cloud server. This avoids bandwidth compression and increased delay, and also provides excellent low delay performance. Furthermore, depending on the type of AI/ML application, low latency can be further improved by utilizing edge servers located within the cellular network.
  • FIG. 3 is a diagram illustrating an example of a splitting point in a neural network model that is an example of an AI/ML model. As can be seen from this figure, the calculation load and transmission delay at each node vary depending on the point at which splitting is performed. Therefore, it is important to appropriately set the splitting point.
  • learning is performed by dividing the AI/ML model. At this time, learning is performed depending on how the AI/ML model is split. When learning is completed, the divided trained AI/ML models are assigned to each node. During inference, inference is performed in a distributed manner at each node.
  • FIG. 4 is a diagram showing one example of distributed learning in an AI/ML application using a cellular network.
  • a robot captures an image, inputs it to an AI/ML model, and performs a necessary operation.
  • part of the inference processing of the neural network model is executed on the robot side.
  • the intermediate data output from the intermediate nodes of the neural network model is sent to the edge/cloud server.
  • the intermediate data is compressed and transmission delay can be kept low.
  • the remaining inference processing of the neural network model is executed, and operation instructions based on the inference results are sent to the robot.
  • FIG. 5 is a diagram showing various execution forms of distributed learning in an AI/ML application using a cellular network.
  • splitting that utilizes an edge server, splitting between terminal devices, etc. can also be considered.
  • FIG. 6 is a diagram illustrating a use case of a robot operating in a factory as an example of an AI/ML application including a multi-stage input type AI/ML model.
  • the robot extracts initial information (Initial input) with a limited amount of data from the image it captured, and first sends this initial information to the edge/cloud server.
  • the edge/cloud server inputs the received initial information into a multi-stage input type AI/ML model and obtains a rough recognition result.
  • the edge/cloud server sends initial movement instructions to the robot based on this rough recognition result. For example, an avoidance operation is started based on a rough recognition result that some kind of obstacle exists in front of the robot.
  • the robot that receives the initial movement command from the edge/cloud server starts an avoidance movement in accordance with the initial movement command.
  • the robot extracts additional information (Additional Input) that was not included in the initial information from the image data taken by itself, and sends this additional information to the edge/cloud server.
  • the edge/cloud server merges the received additional information and the previous initial information, inputs it into a multi-stage input type AI/ML model, and obtains detailed recognition results.
  • the edge/cloud server sends motion update instructions to the robot based on detailed recognition results. For example, based on the detailed recognition result that the obstacle in front of the robot is a human, the trajectory of the avoidance movement is corrected to ensure sufficient safety.
  • the robot that receives a motion update command from the edge/cloud server corrects the trajectory of its avoidance motion in accordance with the motion update command.
  • an evaluation index such as obtaining an inference result with an accuracy of yy or higher within a predetermined time xx is important. That is, the end-to-end delay between when the robot starts sending initial information and when it receives instructions to update its behavior based on detailed inference results is important.
  • multi-stage input type AI It is also necessary to consider the process of sequentially updating the inference results until the desired accuracy is obtained in the /ML model. That is, it is necessary to consider delays in AI/ML applications, including the process of requesting additional information and updating inference results based on the additional information.
  • the present disclosure aims to provide a technology that allows inference results to be updated step by step until a desired result is obtained in an AI/ML application executed using a cellular network.
  • the present disclosure utilizes a multi-stage input type AI/ML model and provides a feedback mechanism for requesting additional input data from the receiving side to the transmitting side.
  • the sending entity 10 generates a plurality of input data with reduced data amount from the original input data, and first sends the first input data to the receiving entity 20.
  • the receiving entity 20 inputs the first input data to the multi-stage input type AI/ML model, obtains the first inference value, and uses this as the first inference result.
  • the AI/ML model is a neural network model that classifies objects in images, and each neuron in the output layer corresponds to the type of object (e.g., human, luggage, other robot, etc.), then The type of object corresponding to the neuron for which the maximum probability value is output from the Softmax function is set as the initial inference result.
  • the receiving entity 20 starts transmitting additional input data if the accuracy of the first inference result is less than a predetermined threshold, for example, if the maximum probability value output from the Softmax function is less than a predetermined threshold. Feedback the request to the sending entity 10.
  • the transmitting entity 10 that has received this sequentially transmits the second and subsequent input data to the receiving entity 20.
  • the receiving entity 20 sequentially inputs the second and subsequent input data into the AI/ML model, sequentially acquires the second and subsequent inference values, and sequentially updates the inference results based on these.
  • the receiving entity 20 requests the transmitting entity 10 to stop transmitting additional input data. give feedback. Upon receiving this, the sending entity 10 stops sending additional input data.
  • FIG. 8 is a diagram showing the configuration of the transmitting entity 10 and the receiving entity 20 according to the present disclosure. However, what is shown in FIG. 8 is the logical configuration of the transmitting entity 10 and the receiving entity 20, and each component of each entity may be implemented in a single device or distributed over multiple devices. It may be implemented as
  • the 5G system in FIG. 9 includes a UE (User Equipment) 31, a RAN/AN (Radio Access Network/Access Network) 32, a core network 33, and a cloud server 35.
  • the cellular network 34 is composed of a RAN/AN 32 and a core network 33.
  • each component of the transmitting entity 10 may be implemented in a UE 31 connected to the cellular network 34, for example.
  • Each component of the receiving entity 20 may also be implemented, for example, in a cloud server 35 connected to the cellular network 34.
  • some or all of the components of the transmitting entity 10 may be distributed and implemented in the UE 31, the RAN/AN 32, and the core network 33.
  • some or all of the components of receiving entity 20 may be distributed and implemented in RAN/AN 32, core network 33, and cloud server 35.
  • the UE 31 and the RAN/AN 32 are connected by a wireless communication link.
  • the RAN/AN 32 and the core network 33 are connected by a wireless communication link or a wired communication link.
  • the core network 33 and the cloud server 34 are connected by a wireless communication link or a wired communication link.
  • Various configurations of the cellular network 34 may be performed by the RAN/AN 32 or the core network 33, for example, in accordance with a request from the cloud server 35. These settings may be performed statically or dynamically. If the UE 31 is a terminal dedicated to AI/ML applications and its usage is limited, the UE 31 may be pre-configured.
  • the transmitting entity 10 includes an obtaining section 11, a generating section 12, a data transmitting section 13, and a request receiving section 14. Further, a sensing device (not shown) such as an image sensor is connected to the transmitting entity 10. For example, if the transmitting entity 10 is implemented in the UE31, the sensing device may be provided in the UE31. Alternatively, if the transmitting entity 10 is implemented in the RAN/AN 32, the sensing device may be provided in the RAN/AN 32.
  • the acquisition unit 11 acquires original input data generated by a sensing device (not shown).
  • a sensing device for example, when the sensing device is an image sensor, the original input data is still image data or moving image data.
  • the generation unit 12 generates a plurality of input data with a reduced amount of data from the original input data. For example, if the original input data is still image data, a plurality of still image data with a reduced amount of data, for example a plurality of still image data with a reduced resolution, is generated from this original still image data. .
  • the first still image data has the lowest resolution, that is, the smallest amount of data.
  • the resolution of the second still image data is higher than the resolution of the first still image data, that is, the amount of data is larger than that of the first still image data.
  • the resolution of the third still image data is higher than the resolution of the second still image data, that is, the amount of data is larger than the second still image data. Note that the third still image data may be the same as the original still image data.
  • the data transmitting unit 13 sequentially transmits the plurality of input data generated by the generating unit 12 to the receiving entity 20. For example, if the transmitting entity 10 is implemented in the UE 31 and the receiving entity 20 is implemented in the cloud server 35, a plurality of input data are sequentially transmitted from the UE 31 to the cloud server 35 via the cellular network 34.
  • the request receiving unit 14 receives feedback information from the receiving entity 20. For example, if the transmitting entity 10 is implemented in the UE 31 and the receiving entity 20 is implemented in the cloud server 35, the feedback information is received by the UE 31 from the cloud server 35 via the cellular network 34.
  • the data transmitting unit 13 transmits the first input data among the plurality of input data to the receiving entity 20.
  • the data transmitting unit 13 starts additional transmission.
  • the data transmitter 13 sequentially transmits the second and subsequent input data among the plurality of input data to the receiving entity 20.
  • the request receiving unit 14 receives a request to stop transmitting additional input data from the receiving entity 20
  • the data transmitting unit 13 stops the additional transmission.
  • the generating unit 12 sequentially generates the second and subsequent input data after the request receiving unit 14 receives a request to start transmitting additional input data from the receiving entity 20. You can. Alternatively, the generation unit 12 may generate a plurality of input data all at once.
  • the receiving entity 20 includes a data receiving section 21, an inference section 22 including a multi-stage input type AI/ML model, an output section 23, a determining section 24, and a request transmitting section 25.
  • the data receiving unit 21 sequentially receives a plurality of input data from the transmitting entity 10. For example, if the transmitting entity 10 is implemented in the UE 31 and the receiving entity 20 is implemented in the cloud server 35, a plurality of input data are sequentially received by the cloud server 35 from the UE 31 via the cellular network 34.
  • the inference unit 22 includes a multi-stage input type AI/ML model therein, and sequentially inputs a plurality of input data to this AI/ML model to sequentially obtain a plurality of inference values.
  • the AI/ML model may be configured to use a single CNN ( It is a Convolutional Neural Network) model.
  • preprocessing is performed to adjust the number of pixels of each still image data to be equal to the number of input neurons of the CNN model, for example, as described below. It is necessary to apply a scaling function, etc.
  • the inference unit 22 may include a plurality of CNN models having different numbers of input neurons depending on the number of pixels of each still image data.
  • the output unit 23 sequentially updates and outputs the inference results based on the plurality of inference values obtained by the inference unit 22.
  • the output unit 23 compares multiple inference results and selects the one with the highest inference accuracy as the final inference result (hard-combining), or outputs the previously obtained inference result later. By sequentially updating the obtained inference results, the final inference results are obtained (Soft-combining).
  • the determination unit 24 determines whether additional input data is required. For example, the determination unit 24 determines whether additional input data is necessary based on the accuracy of the current inference result. For example, if the accuracy of the estimation result at the current stage is greater than or equal to a predetermined threshold, for example, if the maximum probability value output from the Softmax function is greater than or equal to the predetermined threshold, the determination unit 24 determines that the inference result will not be processed any further. It is determined that there is no need to update, and that additional input data is not required. On the other hand, if the accuracy of the current inference result is less than a predetermined threshold, for example, if the maximum probability value output from the Softmax function is less than a predetermined threshold, the determination unit 24 further updates the inference result. It is determined that additional input data is required.
  • the request transmitter 25 transmits feedback information to the transmitting entity 10. For example, if the transmitting entity 10 is implemented in the UE 31 and the receiving entity 20 is implemented in the cloud server 35, the feedback information is transmitted from the cloud server 35 to the UE 31 via the cellular network 34.
  • the data receiving unit 21 receives the first input data from the plurality of input data from the transmitting entity 10 in the first reception. After the first reception, when the determining unit 24 determines that additional input data is necessary, the request transmitting unit 25 transmits a request to start transmitting additional input data to the transmitting entity 10 . In the additional reception, the data receiving unit 21 sequentially receives the second and subsequent input data among the plurality of input data from the transmitting entity 10 . During the additional reception, if the determining unit 24 determines that the additional input data is not necessary, the request transmitting unit 25 transmits a request to stop transmitting the additional input data to the transmitting entity 10 .
  • FIG. 10 is a diagram showing the configuration of a CNN (Convolutional Neural Network) model having an input of 28 pixels x 28 pixels as an example of a multi-stage input type AI/ML model.
  • CNN Convolutional Neural Network
  • FIG. 10 is a diagram showing the configuration of a CNN (Convolutional Neural Network) model having an input of 28 pixels x 28 pixels as an example of a multi-stage input type AI/ML model.
  • an AI/ML model that uses a recurrent neural network model to update the inference result by providing additional input to the neural network model once inference has been completed. You can also do it.
  • FIG. 11 is a diagram showing an example of inputting two still image data with different resolutions to the CNN model of FIG. 10.
  • First input data whose resolution is reduced by thinning out pixels and second input data whose resolution is higher than the first input data are generated from the original input data.
  • the resolution of the second input data is the same as the resolution of the original input data.
  • a scaling function is applied to the first input data to increase its size before being input to the CNN model.
  • a first inference value is obtained based on the first input data, and this becomes the first inference result.
  • a second inferred value is then obtained based on the second input data.
  • the initial inference result is updated based on the first inference value and the second inference value. For example, hard-combining is performed to compare the first inference value and the second inference value and use the one with higher accuracy as the inference result, and the final inference result is output.
  • FIG. 12 is a diagram showing three methods for generating two input data with different resolutions from original still image data.
  • Method 1 Generate low-resolution data (on the left side of the figure) as the first input data, and generate high-resolution data (on the right side of the figure) as the second input data.
  • Method 2 Generate part of the low-resolution data (area A on the left side of the figure) as the first input data, and generate a part of the high-resolution data (area B on the right side of the figure) as the second input data. generate.
  • Method 3 Generate part of the low resolution data (area A on the left side of the figure) as the first input data, and generate a part of the low resolution data (area A on the left side of the figure) as the second input data. A portion of high-resolution data (area B on the right side of the figure) is generated.
  • FIG. 13 is a diagram showing an example of inputting two still image data of different regions to the CNN model of FIG. 10. From the original input data, first input data including only a region near the center of the image and second input data including only a region near the periphery of the image are generated. A first inference value is obtained based on the first input data, and this becomes the first inference result. Next, the first input data and the second input data are merged, and a second inference value is obtained as the second input data. Finally, the initial inference result is updated based on the first inference value and the second inference value. For example, soft-combining is performed using the latest inference value as the inference result, and the final inference result is output.
  • FIG. 14 is a diagram showing two methods for generating two input data in different areas from original still image data.
  • Method 1 Generate data for a part of the area (area C on the left side of the figure) as the first input data, and generate data for an area that does not include the area of the first input data, or 1. Data of an area including the area of the input data (area D on the left side of the figure) is generated.
  • the area of each input data may be determined on the transmitting entity 10 side, or may be determined on the receiving entity 20 side and notified to the transmitting entity 10. Furthermore, the area of each input data may be determined statically in advance or semi-statically.
  • Method 2 Generate only data in an important area (area E on the right side of the figure) as the first input data, and generate data in an area that does not include the area of the first input data as the second input data, or generate data in an area that does not include the area of the first input data, or The data of the area including the input data area (area F on the right side of the figure) is generated.
  • the important area may be determined by the transmitting entity 10 or may be determined by the receiving entity 20 and notified to the transmitting entity 10.
  • Important regions may be dynamically determined based on feature amounts. For example, important regions may be determined based on features extracted by an algorithm such as a filter method, a wrapper method, or an embedding method. Also, the area of interest may be determined by a sensing device with AI/ML functionality connected to the transmitting entity 10.
  • FIG. 15 is a diagram illustrating an example of a method for generating two input data having different resolutions and regions from original still image data.
  • FIG. 16 is a diagram showing two methods of generating two input data with different frame rates (FPS: Frame Per Second) from original video data.
  • Method 1 Generate data that includes only some frames (Base layer in the figure) as the first input data, and generate data that includes only some frames (Base layer in the figure) as the second input data. layer), that is, data including a frame orthogonal to the frame of the first input data.
  • Method 2 Generate data that includes only some frames (Base layer in the figure) as the first input data, and generate data that includes only some frames (Base layer in the figure) as the second input data. Generate data including layer+Enhancement layer).
  • Method 1 In JPEG compression/encoding, original still image data is transformed into the frequency domain using DCT (Discrete Cosine Transform), and the coefficients of low frequency components are used as the first input data and the coefficients of high frequency components are used as the second input data. ( Figure 17).
  • DCT Discrete Cosine Transform
  • Method 2 In the JPEG progressive method, the average value of each block is used as the first input data, and detailed picture information is used as the second and subsequent input data (FIG. 18).
  • the second and subsequent input data may be plural.
  • Method 3 In moving image compression, the video is separated into parts with a large amount of change and parts with a small amount of change, and the part with a large amount of change is used as first input data, and the part with a small amount of change is used as second input data.
  • FIG. 19 is a diagram showing three methods in which initially transmitted data is used as first input data and retransmitted data is used as second and subsequent input data in packet communication using error correction codes.
  • Method 1 The ratio of System information and Parity information is changed between the initial transmission data and the retransmission data (upper part of the figure).
  • System information is transmitted with the first transmission data, and parity information is transmitted with the retransmission data (middle part of the figure).
  • Method 3 The mixture of System information and Parity information is divided into a plurality of blocks, and each block is assigned to initial transmission data and retransmission data (lower part of the figure). At this time, each divided block may be numbered as a redundancy version.
  • the process of generating a plurality of input data from original input data may be performed on intermediate layer data generated by splitting an AI/ML model.
  • the intermediate layer data becomes the original input data
  • a plurality of input data are generated by extracting only specific data from the intermediate layer data.
  • constraints on the data amount of each input data may be set in advance.
  • the data may be compressed after only specific data is extracted from the intermediate layer data.
  • the transmitting entity 10 may transmit the original input data acquired by itself to the receiving entity 20 as is (single send). During a single transmission, if the communication performance deteriorates due to, for example, a bandwidth limitation of the communication link, the transmitting entity 10 generates multiple input data with reduced data amount from the original input data as described above. , these plural input data are sequentially transmitted to the receiving entity 20 (multiple transmission).
  • the following conditions can be considered as conditions for the transmitting entity 10 to switch the input data transmission method from single transmission to multiple transmission. Also, at this time, the transmitting entity 10 notifies the receiving entity 20 that the transmission method is to be switched from single transmission to multiple transmission.
  • information for deriving communication performance includes information such as RSRP/RSRQ/RSSI, delay information, delay budget information, throughput information, and information on allocated wireless communication resources.
  • FIG. 20 is a diagram illustrating an example of hard-combining performed by the output unit 23 of the receiving entity 20 when there are two input data.
  • the first inference value based on the first input data is obtained, and this is used as the first inference result.
  • obtain a second inference value based on the second input data compare this second inference value with the first inference value, and select the one with higher inference accuracy as the final inference result.
  • the robot recognizes the existence of some kind of obstacle based on the initial inference result, and starts an action to avoid the obstacle as an initial action. Then, based on the final inference results, the robot recognizes that the obstacle is another robot moving around, and corrects the trajectory of the avoidance movement to ensure a sufficient distance.
  • FIG. 21 is a flowchart illustrating the details of the hard-combining operation in the robot use case described above.
  • the first input data is received (S11), the first inference value is obtained based on this (S12), and this is set as the first inference result (S13).
  • second input data is received (S14), a second inference value is obtained based on this (S15), and the first inference value and the second inference value are compared (S16).
  • the result is a logical inference result (S18).
  • FIG. 22 is a diagram illustrating an example of soft-combining performed by the output unit 23 of the receiving entity 20 when there are two input data.
  • the first inference value based on the first input data is obtained, and this is used as the first inference result.
  • a second inference value based on the second input data is obtained, and this is taken as the final inference result.
  • the second input data may include part or all of the first input data.
  • the first input data and the second input data may be merged, this may be used as the second input data, and the second inference value may be obtained based on this.
  • FIG. 23 is a flowchart illustrating details of the Soft-combining operation in the robot use case described above.
  • the first input data is received (S21), the first inference value is obtained based on this (S22), and this is set as the first inference result (S23).
  • the second input data is received (S24), a second inference value is obtained based on this (S25), and this is made the final inference result (S26).
  • the request transmitting unit 25 of the receiving entity 20 transmits a request to start transmitting additional input data as feedback information to the transmitting entity 10 .
  • the following conditions may be considered as conditions for determining that additional input data is necessary.
  • condition 1 When the accuracy of the first inference result (inference accuracy) is less than a predetermined threshold. As shown in FIG. 22, when the accuracy of the initial inference result obtained based on the first input data has not achieved the desired accuracy, a request to start transmitting additional input data is transmitted.
  • indicators of inference accuracy include, for example, SNR (Signal to Noise Ratio), PSNR (Peak Signal to Noise Ratio), SSIM (Structural SIMirarity) etc. can be used.
  • the entire or part of the original image may be periodically notified as reference information. As a result, for example, if the desired inference accuracy has not been achieved, a request to start transmitting additional input data is transmitted until the next reference information arrives.
  • the request transmitting unit 25 of the receiving entity 20 transmits a request to start transmitting additional input data as feedback information to the transmitting entity 10.
  • the following conditions may be considered as conditions for determining that additional input data is not necessary.
  • condition 1 When the accuracy of the inference result (inference accuracy) is greater than or equal to a predetermined threshold. If the accuracy of the inference result at the current stage has achieved the desired accuracy, a request to stop transmitting additional input data is sent.
  • the threshold at this time may be different from the threshold at the time of the above-mentioned transmission start request.
  • condition 2 When the delay until an inference result is obtained (inference delay) is greater than or equal to a predetermined threshold. If there is not enough time between input data being transmitted by the transmitting entity 10 and the inference result being obtained by the receiving entity 20, a request to stop transmitting additional input data is transmitted.
  • the threshold at this time may be different from the threshold at the time of the above-mentioned transmission start request.
  • Condition 3 When the difference between the accuracy of the inference result at the current stage and the accuracy of the inference result at the previous stage (the amount of improvement in inference accuracy) is less than a predetermined threshold. If it is determined that no further improvement in inference accuracy can be expected, a request to stop sending additional input data is sent.
  • the transmitting entity 10 may decide to stop transmitting additional input data.
  • the transmitting entity 10 is implemented in goggles worn by the user to constantly track the user's viewpoint.
  • the transmitting entity 10 if it is determined that the user's line of sight has left the object, the transmission of additional input data for inference regarding the object may be stopped. In this case, the transmitting entity 10 notifies the receiving entity 20 that transmission of additional input data will be stopped.
  • ACK/NACK may be used as a means for realizing feedback information transmitted from the request transmitting unit 25 of the receiving entity 20, that is, a request to start transmitting additional input data and a request to stop transmitting. For example, if the accuracy of the inference result is greater than or equal to a predetermined threshold and it is determined that no additional input data is required, ACK is transmitted. On the other hand, if the accuracy of the inference result is less than a predetermined threshold and it is determined that additional input data is required, a NACK is sent.
  • the request transmitter 25 of the receiving entity 20 may transmit accompanying information such as the following as feedback information, for example.
  • Incidental information Number of times to send additional input data. For example, whether the additional input data needs to be transmitted once or multiple times may be notified as accompanying information.
  • Incidental information 2 Additional input data specifications. For example, specifications such as the amount of additional input data (xxMB, etc.), resolution, area, coding rate, redundant data ratio, etc. may be specified in the accompanying information. Further, for example, data output from a specific neuron in the neural network model may be specified by the accompanying information.
  • Incidental information 3 Additional input data delay. For example, information about a delay budget such as the need to process additional input data within xx milliseconds may be notified as accompanying information. Further, a time specification such as requesting that additional input data be transmitted within xx milliseconds may be notified by accompanying information.
  • Incidental information 4 Gap between desired inference accuracy. For example, information about the gap between the accuracy of the current inference result and the desired inference accuracy may be notified as accompanying information.
  • Incidental information 5 Priority for additional input data. For example, the priority level (high, medium, low, etc.) of additional input data may be notified by accompanying information.
  • the sending entity 10 compares the priorities of additional input data requested by other users to determine which user's request to prioritize.
  • the transmitting entity 10 may change the method of generating and transmitting additional input data based on the above-mentioned accompanying information received from the receiving entity 20. For example, the following modifications may be considered.
  • Example of change 1 Changed the timing of generating additional input data.
  • the generating unit 12 of the transmitting entity 10 may generate a plurality of pieces of additional input data in advance, before a request to start transmitting additional input data is received from the receiving entity 20.
  • the generating unit 12 of the transmitting entity 10 may sequentially generate additional input data at the timing when the transmission start request is received.
  • the transmitting entity 10 may notify the receiving entity 20 of the version information of the additional input data in advance.
  • Modification example 2 Change resolution of additional input data.
  • the generating unit 12 of the sending entity 10 may change the resolution of the additional input data.
  • the generating unit 12 of the transmitting entity 10 may change the resolution of the additional input data for each region.
  • the generating unit 12 of the transmitting entity 10 may change the resolution of the additional input data to a resolution that has not been generated so far.
  • Modification example 3 Changed the area for additional input data.
  • the generating unit 12 of the sending entity 10 may change the field of additional input data.
  • the generating unit 12 of the transmitting entity 10 may generate a plurality of input data by dividing the original input data into a plurality of regions in advance, and select and transmit the input data of the region.
  • the generating unit 12 of the transmitting entity 10 may change the area of additional input data to an area that has not been generated so far.
  • Modification example 3 Sending additional input data encoding information.
  • the data transmitting unit 12 of the transmitting entity 10 may retransmit System information of additional input data that has already been transmitted.
  • the data transmitting unit 12 of the transmitting entity 10 may additionally transmit Parity information of additional input data that has already been transmitted.
  • communication that supports the multi-input AI/ML model described above can be provided as a network slice.
  • the UE launches the AI/ML application, the UE selects a network slice that provides communication that supports the Multi-Input type AI/ML model, and establishes a PDU (Protocol Data Unit) session corresponding to the selected network slice. Perform request processing.
  • PDU Protocol Data Unit
  • S-NSSAI is assigned to each network slice as information for assisting network slice selection (network slice selection support information), and a network slice is identified by the S-NSSAI.
  • S-NSSAI consists of a mandatory SST (Slice/Service Type) consisting of 8 bits that identifies the slice type, and 24 bits for distinguishing different slices within the same SST. It consists of a pair with an optional SD (Slice Differentiator).
  • the core network can select a network function (NF) necessary to provide a PDU session corresponding to a network slice.
  • NF network function
  • an AMF Access and Mobility Management Function
  • receives a message requesting the establishment of a PDU session selects one SMF from a plurality of SMF (Session Management Function) candidates based on the S-NSSAI.
  • the selected SMF selects one UPF from a plurality of UPF (User Plane Function) candidates based on the S-NSSAI.
  • UPF User Plane Function
  • UPF User Plane Function
  • the UE When the UE executes the AI/ML application, it selects a DNN (Data Network Name) to be connected to the cloud server 35 that provides the AI/ML application.
  • the above message requesting the establishment of a PDU session includes DNN and S-NSSAI.
  • One DNN and one S-NSSAI are associated with one PDU session that is established.
  • QoS flows are the finest granularity in differentiating different QoS within a PDU session.
  • a QoS flow is identified by a QFI (QoS Flow ID).
  • the RAN/AN can establish at least one DRB (Data Radio Bearer) with each UE along with a PDU session.
  • DRB is a logical path for transmitting data.
  • the 5G QoS model supports GBR (Guaranteed flow Bit Rate) where the bandwidth is guaranteed and Non-GBR (Non-Guaranteed flow Bit Rate) where the bandwidth is not guaranteed.
  • the RAN/AN and core network ensure quality of service by mapping each packet to the appropriate QoS flow and DRB. That is, two-step mapping is performed: mapping between an IP flow and a QoS flow in the NAS, and mapping between a QoS flow and a DRB in an AS (Access Stratum).
  • a QoS flow is characterized by a QoS profile (QoS Profile) provided from the core network 33 to the RAN/AN, and a QoS rule (QoS Rule) provided from the core network to the UE.
  • QoS profiles are used by the RAN/AN to decide how to proceed on the air interface.
  • QoS rules are used to instruct the UE to map user plane traffic and QoS flows in the uplink.
  • the QoS profile is provided to the RAN/AN from the SMF via the AMF and the reference point N2, or is set in the RAN/AN in advance.
  • the SMF may also provide one or more QoS rules and optionally QoS flow-level QoS parameters associated with the QoS rules to the UE via the AMF and reference point N1.
  • Reflective QoS control is QoS control that monitors the QFI of downlink packets and applies the same mapping to uplink packets.
  • the QoS flow is either a GBR QoS flow or a Non-GBR QoS flow depending on the QoS profile.
  • the QoS profile of the QoS flow includes, for example, QoS parameters such as 5QI (5G QoS Identifier) and ARP (Allocation and Retention Priority).
  • ARP includes information regarding priority level, preemption capability, and preemption vulnerability.
  • the priority defines the relative importance of a QoS flow, and the smallest priority value indicates the highest priority.
  • Preemption capability is a measure that defines whether a QoS flow is able to usurp resources already allocated to other lower priority QoS flows.
  • Preemption vulnerability is a measure that defines whether a QoS flow is able to yield its allocated resources to other higher priority QoS flows. The preemption capability and preemption vulnerability are set to either "enabled” or "disabled.”
  • the QoS profile includes uplink and downlink GFBR (Guaranteed Flow Bit Rate), uplink and downlink MFBR (Maximum Flow Bit Rate), and uplink and downlink maximum packet loss rate (Maximum Packet Loss Rate). It includes the Delay Critical Resource Type, Notification Control, etc.
  • the QoS profile includes RQA (Reflective QoS Attribute), additional QoS flow information, and the like.
  • the QoS parameter notification control indicates whether notification from the RAN/AN is required when a certain QoS flow cannot satisfy the GFBR. For a certain GBR QoS flow, if the notification control is "enabled" and it is determined that the GFBR cannot be satisfied, the RAN/AN sends a notification to that effect to the SMF.
  • the RAN/AN unless there is a special condition where the RAN/AN requests the release of RAN resources for the relevant GBR QoS flow, such as Radio Link Failure or RAN internal congestion, the RAN /AN shall maintain the QoS flow. Then, when it is determined that the GFBR is satisfied again for the QoS flow, the RAN/AN transmits a new notification to that effect to the SMF.
  • a special condition where the RAN/AN requests the release of RAN resources for the relevant GBR QoS flow such as Radio Link Failure or RAN internal congestion
  • AMBR Average Maximum Bit Rate
  • Session-AMBR limits the Aggregate Bit Rate expected to be provided across all Non-GBR QoS flows for a particular PDU session and is managed by the UPF.
  • UE-AMBR limits the total bit rate expected to be provided across all Non-GBR QoS flows for a given UE and is managed by the RAN/AN.
  • 5QI relates to QoS characteristics and provides guidelines (policies) for setting node-specific parameters for each QoS flow.
  • Standardized or preconfigured 5G QoS characteristics can be known from the 5QI and no explicit signaling is performed.
  • Signaled QoS characteristics can be included as part of a QoS profile.
  • the characteristics of QoS are related to priority, packet delay budget, packet error rate, average window, maximum data burst volume, etc. Contains information.
  • the packet delay tolerance time may include the packet delay tolerance time in the core network.
  • the DRB defines how packets are processed at the air interface (Uu interface). DRB provides the same packet forwarding process for any packet.
  • the RAN/AN maps QoS flows to DRBs based on the QFI and the QoS profile set to the QFI.
  • the RAN/AN may establish different DRBs for packets that require different packet forwarding treatments.
  • the RAN/AN can also multiplex multiple QoS flows belonging to the same PDU session into the same DRB.
  • mapping of QoS flows to DRBs is controlled by mapping rules that are signaled in two different ways.
  • One method is a method called reflective mapping.
  • reflective mapping the UE monitors the QFI of downlink packets and applies the same mapping to uplink packets for each DRB.
  • Another method is called explicit configuration.
  • explicit configuration the QoS flow to DRB mapping rules are explicitly signaled by RRC.
  • QFI is signaled on the Uu interface by the RAN/AN for RQoS (Reflective Quality of Service), but both the RAN/AN and the NAS perform reflective mapping for QoS flows carried in a certain DRB. does not signal the QFI for the DRB on the Uu interface unless it is used.
  • RQoS Reflective Quality of Service
  • the RAN/AN may configure signaling the QFI towards the UE on the Uu interface. Additionally, a default DRB can be set for each PDU session. If an uplink packet does not apply to either explicit configuration or reflective mapping, the UE maps the packet to the default DRB of the PDU session.
  • the core network may add additional QoS associated with any QoS flow to indicate increased frequency of certain traffic compared to other Non-GBR QoS flows within the same PDU session.
  • Flow information parameters may be sent to the RAN/AN.
  • the RAN/AN may map GBR QoS flows and Non-GBR QoS flows to the same DRB or to different DRBs. Further, the RAN/AN may map multiple GBR QoS flows to the same DRB or to separate DRBs.
  • a new SDAP (Service Data Adaptation Protocol) sublayer is introduced for QoS control via QoS flows.
  • the SDAP sublayer maps the traffic of QoS flows to the appropriate DRB.
  • the SDAP sublayer may have multiple SDAP entities, with one SDAP entity for each PDU session on the Uu interface. Establishment or release of SDAP entities is done by RRC.
  • a QoS flow is identified by the QFI in the PDU session container included in the GTP-U header.
  • a PDU session is identified by a GTP-U TEID (Tunnel Endpoint ID).
  • the SDAP sublayer maps each QoS flow to a specific DRB.
  • an AI/ML application including a multi-input type AI/ML model
  • a plurality of input data are input to the AI/ML model
  • different QoS flows are respectively mapped to the plurality of input data. That is, a plurality of different QoS flows corresponding to the plurality of input data are mapped to a PDU session that processes a plurality of input data input to the AI/ML model.
  • the number of QoS flows mapped to one PDU session may be included in a message requesting establishment of a PDU session, or may be set in advance for each S-NSSAI.
  • the RAN/AN can determine the 5QI applied to each QoS flow via the QoS profile for each QoS flow obtained from the core network. Furthermore, the UE obtains information regarding the mapping of user plane traffic and QoS flows in the uplink via QoS rules obtained from the RAN/AN. Based on this mapping information, the UE can determine a QoS flow that maps multiple input data input to the AI/ML model. The RAN/AN allocates, or schedules, radio resources to the UE for each QoS flow.
  • FIG. 24 is a sequence diagram when an in-factory robot performs automatic operation while performing image recognition, as an example of an AI/ML application including an AI/ML model according to the present disclosure.
  • the sending entity 10 is installed in the robot (UE) 31, and the receiving entity 20 is installed in the cloud server 35.
  • the robot 31 acquires original image data (S101), it transmits it as is to the cloud server by single transmission (S102).
  • the cloud server 35 inputs the received image data into a multi-stage input type AI/ML model, and transmits an operation command based on the inference result to the robot 31 (S104).
  • the communication performance suddenly decreased due to the band limit of the wireless communication link between the robot 31 and the RAN/AN 32.
  • the RAN/AN 32 detecting this notifies the robot 31 of the decrease (change/change) in communication performance (S105).
  • the robot 31 changes the image data transmission method from single transmission to multiple transmission (S106), and notifies the cloud server 35 to that effect (S107).
  • the robot 31 Upon acquiring the original image data (S108), the robot 31 generates first input data with reduced resolution based on this (S109), and sends this first input data to the cloud server 35 ( S110). Upon receiving this, the cloud server 35 inputs the first input data to the multi-stage input type AI/ML model and obtains the first inference result (rough recognition result) (S111).
  • the cloud server 35 sends an initial motion command to the robot 31 based on this rough recognition result (S112). For example, based on a rough recognition result that some obstacle exists in front of the robot 31, an avoidance operation is started.
  • the robot 31 that has received the initial movement command from the cloud server 35 starts an avoidance movement in accordance with the initial movement command (S113).
  • the cloud server 35 transmits a request to start transmitting additional input data to the robot 31 (S114). Upon receiving this, the robot 31 generates second input data with a higher resolution than the first input data (S115), and transmits this second input data to the cloud server 35 (S116). Upon receiving this, the cloud server 35 inputs the second input data to the multi-stage input type AI/ML model and obtains the second inference result (detailed recognition result) (S117).
  • the cloud server 35 sends an instruction to update the operation to the robot 31 based on this detailed recognition result (S118). For example, based on the detailed recognition result that the obstacle in front of the robot 31 is a human being, the trajectory of the avoidance operation is corrected so as to ensure sufficient safety.
  • the robot 31 that has received the instruction to update the movement from the cloud server 35 corrects the trajectory of the avoidance movement in accordance with the instruction to update the movement (S119).
  • the cloud server 35 determines that additional input data is not necessary and stops sending the additional input data.
  • the request is sent to the robot 31 (S120). Upon receiving this, the robot 31 stops transmitting additional input data (S121).
  • the transmitting entity 10 generates a plurality of input data whose data amount is reduced from the original input data, and after transmitting the first input data, receives additional input data from the receiving entity 20.
  • transmitting additional input data is started, and when a request to stop transmitting additional input data is received from receiving entity 20, transmitting additional input data is stopped.
  • the receiving entity 20 sequentially inputs the plurality of input data received from the transmitting entity 10 into a multi-stage input type AI/ML model, and sequentially updates the inference results. If additional input data is needed, the receiving entity 20 sends a request to start sending additional input data to the sending entity 10, and then, when the additional input data is no longer needed, starts sending the additional input data. A stop request is sent to the sending entity 10.
  • the transmitting entity 10 and the receiving entity 20 can provide an AI/ML application that updates the inference result step by step until a desired result is obtained. For example, even in an environment where the performance of a wireless communication link varies greatly, the inference results can be updated step by step until the inference results have the desired accuracy.
  • processing procedure described in the present disclosure may be regarded as a method having a series of these procedures. Alternatively, it may be regarded as a program for causing a computer to execute these series of procedures, or a recording medium that stores the program. Further, the processing described above is executed by a processor such as a CPU of a computer. Furthermore, the type of recording medium is not particularly limited because it does not affect the embodiments of the present disclosure.
  • each of the illustrated components of the present disclosure may be realized by software or hardware.
  • each component may be a software module implemented by software such as a microprogram, and each component may be implemented by a processor executing the software module.
  • each component may be realized by a circuit block on a semiconductor chip (die), for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the number of constituent elements and the number of hardware realizing the constituent elements do not need to match.
  • one processor or circuit may implement multiple components.
  • one component may be implemented by multiple processors or circuits.
  • processors described in this disclosure are not limited.
  • it may be a CPU, an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • a sending entity for an AI/ML application comprising: an acquisition unit that acquires original input data; a generation unit that generates a plurality of input data with a reduced amount of data from the original input data; a data transmitter that sequentially transmits the plurality of input data; and a request receiver for receiving feedback information based on whether additional input data is required.
  • the data transmitting unit starts transmitting the additional input data when the request receiving unit receives a request to start transmitting the additional input data after transmitting the first input data, and the request receiving unit starts transmitting the additional input data.
  • a receiving entity for an AI/ML application comprising: a data receiving unit that sequentially receives a plurality of input data; an inference unit that sequentially inputs the plurality of input data to a multi-stage input type AI/ML model and sequentially obtains a plurality of inference values; an output unit that sequentially updates and outputs inference results based on the plurality of inference values; a determination unit that determines whether additional input data is required; and a request transmitting unit that transmits feedback information based on a determination by the determining unit as to whether or not the additional input data is necessary.
  • the request transmission unit transmits a request to start transmitting the additional input data to the transmission entity, and then the determination unit determines that the additional input data is necessary.
  • the receiving entity according to [8] which transmits a request to stop transmitting the additional input data to the transmitting entity when it is determined that the input data is not necessary.
  • the receiving entity according to [8] or [9] wherein the determination unit determines whether the additional input data is necessary based on the accuracy of the inference result.
  • the determining unit determines whether or not the additional input data is necessary based on the difference between the accuracy of the inference result at the current stage and the accuracy of the inference result at the previous stage. ] or the receiving entity described in [9]. [13] The receiving entity according to any one of [8] to [12], wherein the output unit outputs the inference result based on a comparison of the plurality of inference values. [14] The receiving entity according to any one of [8] to [12], wherein the output unit takes the latest inference value among the plurality of inference values as the inference result. [15] The receiving entity according to any one of [8] to [14], wherein the receiving entity is implemented in a server device connected to a cellular network.
  • a data transmission method for an AI/ML application comprising: obtaining original input data; generating a plurality of input data with a reduced amount of data from the original input data; Sequentially transmitting the plurality of input data; receiving feedback information based on whether additional input data is required.
  • a data processing method for an AI/ML application comprising: sequentially receiving a plurality of input data; Sequentially inputting the plurality of input data to a multi-stage input type AI/ML model and sequentially obtaining a plurality of inference values; sequentially updating and outputting inference results based on the plurality of inference values; determining whether additional input data is required; transmitting feedback information based on the determination of whether the additional input data is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

［課題］所望の結果が得られるまで推論結果を段階的に更新していくことができるＡＩ／ＭＬアプリケーションのための送信エンティティおよび受信エンティティを提供する。 ［解決手段］送信エンティティは、オリジナルの入力データから、データ量の削減された複数の入力データを生成する生成部と、複数の入力データを順次送信するデータ送信部と、追加の入力データが必要であるか否かに基づくフィードバック情報を受信する要求受信部とを備える。受信エンティティは、複数の入力データを順次受信するデータ受信部と、複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得する推論部と、複数の推論値に基づいて、推論結果を順次更新して出力する出力部と、追加の入力データが必要であるか否かを判定する判定部と、フィードバック情報を送信する要求送信部とを備える。

Description

ＡＩ／ＭＬアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法
　本開示は、ＡＩ／ＭＬ（Artificial Intelligence／Machine Learning）アプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法に関する。
　５Ｇ、Beyond５Ｇ、６Ｇ等のセルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションの検討が進められている。このようなＡＩ／ＭＬアプリケーションでは、例えば、計算パワーの低い端末装置で取得された入力データをセルラーネットワーク経由でクラウドサーバーに送信し、クラウドサーバーの高い計算パワーにより、ＡＩ／ＭＬモデルによる推論を行うことが考えられる。
　上記のように送信側で取得された入力データをセルラーネットワーク経由で受信側のＡＩ／ＭＬモデルに送信する際に、入力データが大容量である場合には、伝送が完了するまでに長時間を要する可能性がある。この場合、大容量の入力データの伝送が完了するまで、受信側のＡＩ／ＭＬモデルは推論を開始することができない。
　非特許文献１には、送信側で取得された大容量の入力データを細分化し、セルラーネットワーク経由で受信側のＡＩ／ＭＬモデルに送信し、ＡＩ／ＭＬモデルにおける推論処理を並列化することにより、推論結果が得られるまでの時間を短縮する技術が記載されている。
"Edge Assisted Real-time Object Detection for Mobile Augmented Reality", The 25th Annual International Conference on Mobile Computing and Networking, August 2019, Article No.: 25, Pages 1-16.
　非特許文献１の技術では、細分化されたすべてのデータの伝送が完了するまで、推論結果を得ることができない。しかしながら、現実の用途では、最終的な推論結果が得られる前の段階で、粗い推論結果を得られたほうが有利な場合もある。例えば、無人搬送車（ＡＧＶ：Automatic Guided Vehicle）における画像中のオブジェクトの分類では、正確な推論結果が得られる前の段階で、粗い推論結果を得られたほうが有利である。また、所望の精度が得られるまで推論結果を段階的に更新していくことができればさらに有利である。
　本開示は、上記のような課題を解決するためのものであり、所望の結果が得られるまで推論結果を段階的に更新していくことができるＡＩ／ＭＬアプリケーションのための送信エンティティおよび受信エンティティを提供することを目的とする。
　上記の課題を解決するために、本開示に係るＡＩ／ＭＬアプリケーションのための送信エンティティは、オリジナルの入力データを取得する取得部と、オリジナルの入力データから、データ量の削減された複数の入力データを生成する生成部と、複数の入力データを順次送信するデータ送信部と、追加の入力データが必要であるか否かに基づくフィードバック情報を受信する要求受信部とを備える。
　また、本開示に係るＡＩ／ＭＬアプリケーションのための受信エンティティは、複数の入力データを順次受信するデータ受信部と、複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得する推論部と、複数の推論値に基づいて、推論結果を順次更新して出力する出力部と、追加の入力データが必要であるか否かを判定する判定部と、判定部による追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信する要求送信部とを備える。
　また、本開示に係るＡＩ／ＭＬアプリケーションのためのデータ送信方法は、オリジナルの入力データを取得するステップと、オリジナルの入力データから、データ量の削減された複数の入力データを生成するステップと、複数の入力データを順次送信するステップと、追加の入力データが必要であるか否かに基づくフィードバック情報を受信するステップとを含む。
　また、本開示に係るＡＩ／ＭＬアプリケーションのためのデータ処理方法は、複数の入力データを順次受信するステップと、複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得するステップと、複数の推論値に基づいて、推論結果を順次更新して出力するステップと、追加の入力データが必要であるか否かを判定するステップと、追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信するステップとを含む。
セルラーネットワークにおけるＡＩ／ＭＬの２つの活用例を示す図である。 セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションの３つの実行形態を示す図である。 ニューラルネットワークモデルにおけるスプリッティングポイントの例を示す図である。 セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションにおける分散学習の１つの実施例を示す図である。 セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションにおける分散学習の種々の実行形態を示す図である。 多段入力型のＡＩ／ＭＬモデルを含むＡＩ／ＭＬアプリケーションの１つの実施例を示す図である。 本開示の基本コンセプトを説明する図である。 本開示に係る送信エンティティと受信エンティティの構成を示す図である。 ５Ｇシステムの構成の一例を示す図である。 多段入力型のＡＩ／ＭＬモデルの構成の一例を示す図である。 多段入力型のＡＩ／ＭＬモデルに対して、解像度の異なる２つの静止画像データを入力する例を示す図である。 静止画像の解像度に基づく入力データの生成方法の例を示す図である。 多段入力型のＡＩ／ＭＬモデルに対して、領域の異なる２つの静止画像データを入力する例を示す図である。 静止画像の領域に基づく入力データの生成方法の例を示す図である。 静止画像の解像度および領域に基づく入力データの生成方法を示す図である。 動画像データのフレームレートに基づく入力データの生成方法を示す図である。 画像の圧縮・符号化に基づく入力データの生成方法の第１の例を示す図である。 画像の圧縮・符号化に基づく入力データの生成方法の第２の例を示す図である。 誤り訂正符号に基づく入力データの生成方法を示す図である。 Hard-combiningにおける入力データが２つの場合の例を示す図である。 ロボットのユースケースにおけるHard-combiningの動作の詳細を説明するフローチャートである。 Soft-combiningにおける入力データが２つの場合の例を示す図である。 ロボットのユースケースにおけるSoft-combiningの動作の詳細を説明するフローチャートである。 工場内ロボットが画像認識を行いながら自動運転を行う際のシーケンス図である。 工場内ロボットが画像認識を行いながら自動運転を行う際のシーケンス図である。
　以下では、図面を参照しながら、本開示の実施の形態について詳細に説明する。図面において、同一または対応する要素には同じ参照符号を付して、詳細な説明は適宜省略する。
　本開示の構成は、以下に示すとおりである。
　１．　背景
　１－１．セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーション
　１－２．ＡＩ／ＭＬアプリケーションの３つの実行形態
　１－２－１．クラウド学習
　１－２－２．デバイス内学習
　１－２－３．分散学習
　１－３．多段入力型のＡＩ／ＭＬモデル
　２．　本開示の基本コンセプト
　２－１．送信エンティティと受信エンティティ
　２－２．送信エンティティの構成
　２－３．受信エンティティの構成
　３．　本開示に係る多段入力型のＡＩ／ＭＬモデルと入力データ
　３－１．多段入力型のＡＩ／ＭＬモデル
　３－２．入力データの生成方法
　３－２－１．静止画像の解像度に基づく入力データの生成
　３－２－２．静止画像の領域に基づく入力データの生成
　３－２－３．静止画像の解像度および領域に基づく入力データの生成
　３－２－４．動画像のフレームレートに基づく入力データの生成
　３－２－５．画像の圧縮・符号化に基づく入力データの生成
　３－２－６．誤り訂正符号に基づく入力データの生成
　３－２－７．ＡＩ／ＭＬモデルのスプリッティングに基づく入力データの生成
　４．　本開示に係る各種の動作の詳細
　４－１．入力データの送信方法の切り替えタイミング
　４－２．Hard-combining
　４－３．Soft-combining
　４－４．追加の入力データの送信開始要求
　４－５．追加の入力データの送信停止要求
　４－６．フィードバック情報の実現手段
　４－７．フィードバック情報の付随情報
　４－８．付随情報に基づく追加の入力データの変更
　５．　本開示に係るセルラーネットワークの機能拡張
　５－１．５Ｇシステムのネットワークスライス
　５－２．５ＧシステムのＱｏＳ制御
　５－３．５ＧシステムのMulti-ＱｏＳフロー制御
　６．　実施例
　７．　むすび 
　＜１．　背景＞
　３ＧＰＰ ＳＡＩ（Securing Artificial Intelligence）において、セルラーネットワークにおけるＡＩ／ＭＬの活用のスタディ（FS_AMMT）が開始されている。図１は、セルラーネットワークにおけるＡＩ／ＭＬの２つの活用例を示す図である。
　第１の活用例は、セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションである。この場合、ＡＩ／ＭＬアプリケーションをセルラーネットワーク上で快適に動作させることが求められる。今後、ＡＩ／ＭＬアプリケーションが急速に普及することが予想されるため、これらのアプリケーションに対応可能なセルラーネットワークが求められる。
　第２の活用例は、ＡＩ／ＭＬを利用したセルラーネットワークの構築である。セルラーネットワークの機能の一部またはすべてをＡＩ／ＭＬに置き換えることにより、通信の更なる最適化を図ることができる。この場合、アルゴリズムの置き換えのみならず、インプット／アウトプットのパラメータの変更等も必要になることが予想される。
　（１－１．セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーション）
　本開示では、上記の第１の活用例であるセルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションに着目する。今後のセルラーネットワークは、単に通信機能を提供するだけでなく、セルラーネットワークを利用して実行されるアプリケーションに計算パワーを提供する可能性がある。特に、ＡＩ／ＭＬアプリケーションに計算パワーを提供する場合には、ＡＩ／ＭＬモデルにおける推論処理を高速に実行するために高い計算パワーが必要となる。
　セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションの具体例としては、例えば、ＶＲ（Virtual Reality）／ＡＲ（Augmented Reality）／ＭＲ（Mixed Reality）等のＸＲ（Extended Reality）、自動運転、ロボティクス、無人搬送車、画像認識、および音声認識等のアプリケーションが考えられる。
　ＡＩ／ＭＬアプリケーションに対応可能なセルラーネットワークに必要とされる要件としては、低遅延性および高計算パワーの２つがあげられる。これらの要件は、ＡＩ／ＭＬアプリケーションを実行する際の低遅延性および高計算パワーとして定義される。したがって、例えば低遅延性の要件は、単なる端末装置と基地局との間の低遅延性ではなく、端末装置からＡＩ／ＭＬモデルにおける推論処理が実行されるサーバー装置までの間の低遅延性が要求される。
　（１－２．ＡＩ／ＭＬアプリケーションの３つの実行形態）
　図２は、セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションの３つの実行形態を示している。
　（１－２－１．クラウド学習）
　第１の実行形態は、ＡＩ／ＭＬアプリケーションの処理をクラウドサーバー側ですべて実行するクラウド学習（Cloud learning）である。クラウド学習では、ＡＩ／ＭＬアプリケーションの処理は、すべてクラウドサーバー側で実行される。そのため、端末装置の計算パワーは比較的低くても問題はない。しかしながら、ＡＩ／ＭＬアプリケーションの処理に必要な入力データ（ＲＡＷデータ）を端末装置からクラウドサーバーに送信する必要があり、これに伴う帯域の圧迫や遅延の増大が問題になる。
　（１－２－２．デバイス内学習）
　第２の実行形態は、ＡＩ／ＭＬアプリケーションの処理を端末装置ですべて実行するデバイス内学習（In Device Learning）である。デバイス内学習では、端末装置からクラウドサーバーに入力データを送信する必要はない。そのため、低遅延性には優れているが、端末装置が単体でＡＩ／ＭＬアプリケーションの処理をすべて実行することは現実的ではない。
　（１－２－３．分散学習）
　第３の実行形態は、ＡＩ／ＭＬアプリケーションの処理を端末装置からクラウドサーバーまでの各ノードで分散して実行する分散学習（Distributed Leering）である。分散学習では、計算負荷を各ノードに分散させることができる。また、入力データは各ノードにおいて順次処理され、中間データ（Intermediate Data）として次のノードに送信される。そのため、入力データ（ＲＡＷデータ）をクラウドサーバーまで送信する場合と比較して、送信されるデータ量を削減することができる。これにより、帯域の圧迫や遅延の増大が回避され、低遅延性にも優れている。また、ＡＩ／ＭＬアプリケーションの種類によっては、セルラーネットワーク内に配置されるエッジサーバーを活用することにより、低遅延性をさらに向上させることができる。
　分散学習では、どのノードでどこまでの処理を実行するかが問題となる。図３は、ＡＩ／ＭＬモデルの一例であるニューラルネットワークモデルにおけるスプリッティングポイント（Splitting Point）の例を示す図である。この図から分かるように、どのポイントでスプリットを行うかによって、各ノードにおける計算負荷や伝送遅延が変動する。そのため、スプリッティングポイントを適切に設定することが重要となる。
　分散学習では、ＡＩ／ＭＬモデルを分割して学習が行われる。この際、ＡＩ／ＭＬモデルのスプリットの仕方に応じてそれぞれ学習が行われる。学習が完了すると、分割された学習済みのＡＩ／ＭＬモデルが各ノードに割り当てられる。推論時には、各ノードで分散して推論が行われる。
　図４は、セルラーネットワークを利用したＡＩ／ＭＬアプリケーションにおける分散学習の１つの実施例を示す図である。ここでは、ロボットが画像を撮像し、これをＡＩ／ＭＬモデルに入力し、必要な動作を行う例を示している。この例では、ロボットが画像を撮像した後、ニューラルネットワークモデルの一部の推論処理がロボット側で実行される。その後、ニューラルネットワークモデルの中間ノードから出力される中間データがエッジ／クラウドサーバーに送信される。この際、中間データは圧縮されており、伝送遅延は低く抑えられる。エッジ／クラウドサーバー側では、ニューラルネットワークモデルの残りの推論処理が実行され、推論結果に基づく動作命令がロボットに送信される。
　図５は、セルラーネットワークを利用したＡＩ／ＭＬアプリケーションにおける分散学習の種々の実行形態を示す図である。最も基本的な端末装置とクラウドサーバーとの間のスプリットだけでなく、エッジサーバーを活用したスプリットや、端末装置間のスプリット等も考えられる。
　（１－３．多段入力型のＡＩ／ＭＬモデル）
　セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションとして、多段入力（Multi-Input）型のＡＩ／ＭＬモデルを含むものが考えられる。図６は、多段入力型のＡＩ／ＭＬモデルを含むＡＩ／ＭＬアプリケーションの１つの実施例として、工場内で動作するロボットのユースケースを示す図である。
　図６の例では、ロボットは、自身が撮像した画像からデータ量の制約された初期情報（Initial input）を抽出し、先ずはこの初期情報をエッジ／クラウドサーバーに送信する。エッジ／クラウドサーバーは、受信された初期情報を多段入力型のＡＩ／ＭＬモデルに入力し、粗い認識結果を取得する。エッジ／クラウドサーバーは、この粗い認識結果に基づいて初期動作の命令をロボットに送信する。例えば、ロボットの前方に何らかの障害物が存在するという粗い認識結果に基づいて、回避動作を開始させる。エッジ／クラウドサーバーから初期動作の命令を受信したロボットは、当該初期動作の命令に従って回避動作を開始する。
　次に、ロボットは、上記の自身が撮像した画像データから初期情報に含まれていなかった追加情報（Additional Input）を抽出し、この追加情報をエッジ／クラウドサーバーに送信する。エッジ／クラウドサーバーは、受信された追加情報と先の初期情報とを併合して多段入力型のＡＩ／ＭＬモデルに入力し、詳細な認識結果を取得する。エッジ／クラウドサーバーは、詳細な認識結果に基づいて動作更新の命令をロボットに送信する。例えば、ロボットの前方に存在する障害物が人間であるという詳細な認識結果に基づいて、十分な安全が確保されるように回避動作の軌道を修正させる。エッジ／クラウドサーバーから動作更新の命令を受信したロボットは、当該動作更新の命令に従って回避動作の軌道を修正する。
　上記のようなＡＩ／ＭＬアプリケーションでは、所定の時間xx以内にyy以上の精度の推論結果を取得するというような評価指標が重要となる。すなわち、ロボットが初期情報の送信を開始してから、詳細な推論結果に基づく動作更新の命令を受信するまでのエンドツーエンドの遅延が重要となる。また、ロボットがエッジ／クラウドサーバーからの追加情報のリクエストに応じて複数の追加情報を順次送信し、これらに基づく複数の動作更新の命令を順次受信するような場合には、多段入力型のＡＩ／ＭＬモデルにおいて所望の精度が得られるまで推論結果を順次更新していく過程も考慮する必要がある。すなわち、追加情報のリクエストや、追加情報に基づく推論結果の更新の過程も含めて、ＡＩ／ＭＬアプリケーションの遅延を考える必要がある。
　＜２．　本開示の基本コンセプト＞
　本開示では、セルラーネットワークを利用して実行されるＡＩ／ＭＬアプリケーションにおいて、所望の結果が得られるまで推論結果を段階的に更新していくことができる技術を提供することを目的とする。この目的のために、本開示では、多段入力型のＡＩ／ＭＬモデルを利用するとともに、受信側から送信側に向けて追加の入力データを要求するフィードバックの仕組みを設ける。
　詳細には、図７に示されるように、送信エンティティ１０は、オリジナルの入力データからデータ量の削減された複数の入力データを生成し、先ずは１番目の入力データを受信エンティティ２０に送信する。受信エンティティ２０は、多段入力型のＡＩ／ＭＬモデルに１番目の入力データを入力して１番目の推論値を取得し、これを初回の推論結果とする。例えば、ＡＩ／ＭＬモデルが画像中のオブジェクトを分類するニューラルネットワークモデルであり、出力層の各ニューロンがオブジェクトの種類（例えば、人間、荷物、他のロボット等）に対応している場合には、Ｓｏｆｔｍａｘ関数から最大の確率値が出力されるニューロンに対応するオブジェクトの種類を初回の推論結果とする。
　受信エンティティ２０は、初回の推論結果の精度が所定の閾値未満である場合、例えば、Ｓｏｆｔｍａｘ関数から出力される最大の確率値が所定の閾値未満である場合には、追加の入力データの送信開始要求を送信エンティティ１０にフィードバックする。これを受信した送信エンティティ１０は、２番目以降の入力データを受信エンティティ２０に順次送信する。受信エンティティ２０は、２番目以降の入力データをＡＩ／ＭＬモデルに順次入力して２番目以降の推論値を順次取得し、これに基づいて推論結果を順次更新していく。
　受信エンティティ２０は、推論結果の精度が所定の閾値以上になると、例えば、Ｓｏｆｔｍａｘ関数から出力される最大の確率値が所定の閾値以上になると、追加の入力データの送信停止要求を送信エンティティ１０にフィードバックする。これを受信した送信エンティティ１０は、追加の入力データの送信を停止する。
　（２－１．送信エンティティと受信エンティティの構成）
　図８は、本開示に係る送信エンティティ１０と受信エンティティ２０の構成を示す図である。ただし、図８に示されるのは、送信エンティティ１０と受信エンティティ２０の論理的な構成であり、各エンティティの各構成要素は、単一の装置に実装されてもよいし、複数の装置に分散して実装されてもよい。
　例えば、図９の５Ｇシステムは、ＵＥ（User Equipment）３１と、ＲＡＮ／ＡＮ（Radio Access Network／Access Network）３２と、コアネットワーク３３と、クラウドサーバー３５とを備えている。セルラーネットワーク３４は、ＲＡＮ／ＡＮ３２とコアネットワーク３３によって構成されている。この場合、送信エンティティ１０の各構成要素は、例えば、セルラーネットワーク３４に接続されるＵＥ３１に実装されてもよい。また、受信エンティティ２０の各構成要素は、例えば、セルラーネットワーク３４に接続されるクラウドサーバー３５に実装されてもよい。
　あるいは、送信エンティティ１０の各構成要素の一部またはすべては、ＵＥ３１、ＲＡＮ／ＡＮ３２、およびコアネットワーク３３に分散して実装されてもよい。同様に、受信エンティティ２０の各構成要素の一部またはすべては、ＲＡＮ／ＡＮ３２、コアネットワーク３３、およびクラウドサーバー３５に分散して実装されてもよい。
　図９の５Ｇシステムにおいて、ＵＥ３１とＲＡＮ／ＡＮ３２との間は、無線通信リンクによって接続されている。ＲＡＮ／ＡＮ３２とコアネットワーク３３との間は、無線通信リンクまたは有線通信リンクによって接続されている。コアネットワーク３３とクラウドサーバー３４との間は、無線通信リンクまたは有線通信リンクによって接続されている。
　セルラーネットワーク３４の種々の設定（Configuration）は、例えばクラウドサーバー３５からの要求に従って、ＲＡＮ／ＡＮ３２またはコアネットワーク３３によって実行されてもよい。これらの設定は、静的または動的に実行されてもよい。ＵＥ３１がＡＩ／ＭＬアプリケーション専用の端末であり、その用途が限られている場合には、ＵＥ３１は、事前設定（Pre-configuration）されてもよい。
　（２－２．送信エンティティの構成）
　図８に戻って、送信エンティティ１０は、取得部１１と、生成部１２と、データ送信部１３と、要求受信部１４とを備えている。また、送信エンティティ１０には、撮像センサー等の図示しないセンシングデバイスが接続されている。例えば、送信エンティティ１０がＵＥ３１に実装される場合には、センシングデバイスはＵＥ３１に設けられてもよい。あるいは、送信エンティティ１０がＲＡＮ／ＡＮ３２に実装される場合には、センシングデバイスはＲＡＮ／ＡＮ３２に設けられてもよい。
　取得部１１は、図示しないセンシングデバイスによって生成されたオリジナルの入力データを取得する。例えば、センシングデバイスが撮像センサーの場合には、オリジナルの入力データは、静止画像データまたは動画像データである。
　生成部１２は、オリジナルの入力データから、データ量の削減された複数の入力データを生成する。例えば、オリジナルの入力データが静止画像データの場合には、このオリジナルの静止画像データから、データ量の削減された複数の静止画像データ、例えば解像度の低減された複数の静止画像データが生成される。
　例えば、オリジナルの静止画像データから、解像度の低減された３つの静止画像データが生成される場合には、１番目の静止画像データの解像度は最も低く、すなわち最もデータ量が少ない。２番目の静止画像データの解像度は、１番目の静止画像データの解像度よりも高く、すなわち１番目の静止画像データよりもデータ量が多い。３番目の静止画像データの解像度は、２番目の静止画像データの解像度よりも高く、すなわち２番目の静止画像データよりもデータ量が多い。なお、３番目の静止画像データは、オリジナルの静止画像データと同一であってもよい。
　データ送信部１３は、生成部１２によって生成された複数の入力データを受信エンティティ２０に順次送信する。例えば、送信エンティティ１０がＵＥ３１に実装され、受信エンティティ２０がクラウドサーバー３５に実装される場合には、複数の入力データは、ＵＥ３１からセルラーネットワーク３４を経由してクラウドサーバー３５に順次送信される。
　要求受信部１４は、受信エンティティ２０からフィードバック情報を受信する。例えば、送信エンティティ１０がＵＥ３１に実装され、受信エンティティ２０がクラウドサーバー３５に実装される場合には、フィードバック情報は、クラウドサーバー３５からセルラーネットワーク３４を経由してＵＥ３１によって受信される。
　データ送信部１３は、初回の送信において、複数の入力データのうちの１番目の入力データを受信エンティティ２０に送信する。初回の送信の後、要求受信部１４によって受信エンティティ２０から追加の入力データの送信開始要求が受信されると、データ送信部１３は、追加の送信を開始する。追加の送信において、データ送信部１３は、複数の入力データのうちの２番目以降の入力データを受信エンティティ２０に順次送信する。追加の送信中に、要求受信部１４によって受信エンティティ２０から追加の入力データの送信停止要求が受信されると、データ送信部１３は、追加の送信を停止する。
　なお、生成部１２は、１番目の入力データを生成した後、要求受信部１４によって受信エンティティ２０から追加の入力データの送信開始要求が受信されてから、２番目以降の入力データを順次生成してもよい。あるいは、生成部１２は、複数の入力データを一括して生成してもよい。
　（２－３．受信エンティティの構成）
　受信エンティティ２０は、データ受信部２１と、多段入力型のＡＩ／ＭＬモデルを含む推論部２２と、出力部２３と、判定部２４と、要求送信部２５とを備えている。
　データ受信部２１は、送信エンティティ１０から複数の入力データを順次受信する。例えば、送信エンティティ１０がＵＥ３１に実装され、受信エンティティ２０がクラウドサーバー３５に実装される場合には、複数の入力データは、ＵＥ３１からセルラーネットワーク３４を経由してクラウドサーバー３５によって順次受信される。
　推論部２２は、多段入力型のＡＩ／ＭＬモデルを内部に含んでおり、複数の入力データをこのＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得する。例えば、オリジナルの入力データが静止画像データであり、複数の入力データが異なる解像度の静止画像データの場合には、ＡＩ／ＭＬモデルは、例えば、静止画像中のオブジェクトを分類する単一のＣＮＮ（Convolutional Neural Network）モデルである。この際、各静止画像データの解像度に応じて画素数が異なる場合には、各静止画像データの画素数がＣＮＮモデルの入力ニューロンの数と等しくなるように調整する前処理、例えば後述するようなスケーリング関数等を適用する必要がある。あるいは、推論部２２は、各静止画像データの画素数に応じて、入力ニューロンの数が異なる複数のＣＮＮモデルを備えてもよい。
　出力部２３は、推論部２２によって取得された複数の推論値に基づいて、推論結果を順次更新して出力する。出力部２３は、複数の推論結果を比較して最も推論精度が高いものを選択することにより、最終的な推論結果とするか（Hard-combining）、あるいは、先に得られた推論結果を後に得られた推論結果で順次更新していくことにより、最終的な推論結果とする（Soft-combining）。
　判定部２４は、追加の入力データが必要であるか否かを判定する。例えば、判定部２４は、現段階の推論結果の精度に基づいて、追加の入力データが必要であるか否かを判定する。例えば、現段階の推定結果の精度が所定の閾値以上の場合、一例として、Ｓｏｆｔｍａｘ関数から出力される最大の確率値が所定の閾値以上の場合には、判定部２４は、これ以上推論結果を更新する必要はないと判断し、追加の入力データは必要ないと判定する。一方、現段階の推論結果の精度が所定の閾値未満の場合、一例として、Ｓｏｆｔｍａｘ関数から出力される最大の確率値が所定の閾値未満の場合には、判定部２４は、さらに推論結果を更新する必要があると判断し、追加の入力データが必要であると判定する。
　要求送信部２５は、送信エンティティ１０にフィードバック情報を送信する。例えば、送信エンティティ１０がＵＥ３１に実装され、受信エンティティ２０がクラウドサーバー３５に実装される場合には、フィードバック情報は、クラウドサーバー３５からセルラーネットワーク３４を経由してＵＥ３１に送信される。
　データ受信部２１は、初回の受信において、複数の入力データのうちの１番目の入力データを送信エンティティ１０から受信する。初回の受信の後、判定部２４によって追加の入力データが必要であると判定されると、要求送信部２５は、追加の入力データの送信開始要求を送信エンティティ１０に送信する。追加の受信において、データ受信部２１は、複数の入力データのうちの２番目以降の入力データを送信エンティティ１０から順次受信する。追加の受信中に、判定部２４によって追加の入力データが必要ないと判定されると、要求送信部２５は、追加の入力データの送信停止要求を送信エンティティ１０に送信する。
　＜３．本開示に係る多段入力型のＡＩ／ＭＬモデルと入力データ＞
　本開示に係る多段入力型のＡＩ／ＭＬモデルの構成と、当該ＡＩ／ＭＬモデルに入力される各種の入力データについて説明する。
　（３－１．多段入力型のＡＩ／ＭＬモデル）
　図１０は、多段入力型のＡＩ／ＭＬモデルの一例として、２８ピクセル×２８ピクセルの入力を有するＣＮＮ（Convolutional Neural Network）モデルの構成を示す図である。ただし、これ以外にも、例えば、リカレント型のニューラルネットワークモデルを用いて、一度推論が完了したニューラルネットワークモデルに対して追加の入力を行い、推論結果を更新するようなＡＩ／ＭＬモデルを用いることもできる。
　（３－２．入力データの生成方法）
　オリジナルの入力データから複数の入力データを生成する際の種々の方法について説明する。
　（３－２－１．静止画像の解像度に基づく入力データの生成）
　図１１は、図１０のＣＮＮモデルに対して、解像度の異なる２つの静止画像データを入力する例を示す図である。オリジナルの入力データから、画素を間引くことによって解像度が低減された１番目の入力データと、１番目の入力データよりも解像度が高い２番目の入力データとが生成される。ただし、ここでは２番目の入力データの解像度は、オリジナルの入力データの解像度と同一である。
　ＣＮＮモデルに入力される前に、１番目の入力データに対してサイズを拡大するスケーリング関数が適用される。１番目の入力データに基づいて１番目の推論値が取得され、これが初回の推論結果となる。その後、２番目の入力データに基づいて２番目の推論値が取得される。最後に、１番目の推論値と２番目の推論値とに基づいて、初回の推論結果が更新される。例えば、１番目の推論値と２番目の推論値とを比較して精度の高い方を推論結果とするHard-combiningが行われ、最終的な推論結果が出力される。
　図１２は、オリジナルの静止画像データから解像度の異なる２つの入力データを生成する３つの方法を示す図である。
　方法１．１番目の入力データとして低解像度のデータ（図の左側）を生成し、２番目の入力データとして高解像度のデータ（図の右側）を生成する。
　方法２．１番目の入力データとして低解像度のデータの一部（図の左側の領域Ａ）を生成し、２番目の入力データとして高解像度のデータの一部（図の右側の領域Ｂ）を生成する。
　方法３．１番目の入力データとして低解像度のデータの一部（図の左側の領域Ａ）を生成し、２番目の入力データとして低解像度のデータの一部（図の左側の領域Ａ）と高解像度のデータの一部（図の右側の領域Ｂ）とを生成する。
　（３－２－２．静止画像の領域に基づく入力データの生成）
　図１３は、図１０のＣＮＮモデルに対して、領域の異なる２つの静止画像データを入力する例を示す図である。オリジナルの入力データから、画像の中央付近の領域のみを含む１番目の入力データと、画像の周縁付近の領域のみを含む２番目の入力データとが生成される。１番目の入力データに基づいて１番目の推論値が取得され、これが初回の推論結果となる。次に、１番目の入力データと２番目の入力データとが併合され、これを改めて２番目の入力データとして２番目の推論値が取得される。最後に、１番目の推論値と２番目の推論値とに基づいて初回の推論結果が更新される。例えば、最新の推論値を推論結果とするSoft-combiningが行われ、最終的な推論結果が出力される。
　図１４は、オリジナルの静止画像データから領域の異なる２つの入力データを生成する２つの方法を示す図である。
　方法１．１番目の入力データとして一部の領域のデータ（図の左側の領域Ｃ）を生成し、２番目の入力データとして、１番目の入力データの領域を含まない領域のデータ、または１番目の入力データの領域を含む領域のデータ（図の左側の領域Ｄ）を生成する。この際、各入力データの領域は、送信エンティティ１０の側で決定してもよいし、受信エンティティ２０の側で決定して送信エンティティ１０に通知してもよい。また、各入力データの領域は、事前に静的に決定されてもよいし、準静的に決定されてもよい。
　方法２．１番目の入力データとして重要な領域のデータ（図の右側の領域Ｅ）のみを生成し、２番目の入力データとして１番目の入力データの領域を含まない領域のデータ、または１番目の入力データの領域を含む領域のデータ（図の右側の領域Ｆ）を生成する。この際、重要な領域は、送信エンティティ１０の側で決定してもよいし、受信エンティティ２０の側で決定して送信エンティティ１０に通知してもよい。重要な領域は、特徴量に基づいて動的に決定されてもよい。例えば、重要な領域は、フィルター法、ラッパー法、または組み込み法等のアルゴリズムによって抽出される特徴量に基づいて決定されてもよい。また、重要な領域は、送信エンティティ１０に接続されるＡＩ／ＭＬ機能付きのセンシングデバイスによって決定されてもよい。
　（３－２－３．静止画像の解像度および領域に基づく入力データの生成）
　図１５は、オリジナルの静止画像データから解像度および領域の異なる２つの入力データを生成する方法の一例を示す図である。この他にも、オリジナルの入力データから解像度および領域の異なる入力データを生成する際には、上記の２－２－１章の解像度に基づく方法と、上記の３－２－２章の領域に基づく方法とを、任意に組み合わせることができる。
　（３－２－４．動画像のフレームレートに基づく入力データの生成）
　図１６は、オリジナルの動画像データからフレームレート（ＦＰＳ：Frame Per Second）の異なる２つの入力データを生成する２つの方法を示す図である。
　方法１．１番目の入力データとして一部のフレーム（図のBase layer）のみを含むデータを生成し、２番目の入力データとして、１番目の入力データのフレームを除く残りのフレーム（図のEnhancement layer）、すなわち１番目の入力データのフレームと直交しているフレームを含むデータを生成する。
　方法２．１番目の入力データとして一部のフレーム（図のBase layer）のみを含むデータを生成し、２番目の入力データとして、１番目の入力データのフレームを含むすべてのフレーム（図のBase layer＋Enhancement layer）を含むデータを生成する。
　（３－２－５．画像の圧縮・符号化に基づく入力データの生成）
　オリジナルの静止画像データまたは動画像データから、圧縮・符号化の過程で複数のデータセットを生成し、これらを各入力データとする際の３つの方法を示す。
　方法１．ＪＰＥＧ圧縮・符号化において、オリジナルの静止画像データをＤＣＴ（Discrete Cosine Transform）によって周波数領域に変換し、低周波成分の係数を１番目の入力データとし、高周波成分の係数を２番目の入力データとする（図１７）。
　方法２．ＪＰＥＧのプログレッシブ方式において、各ブロックの平均値を１番目の入力データとし、細かい絵柄情報を２番目以降の入力データとする（図１８）。２番目以降の入力データは複数であってもよい。
　方法３．動画像圧縮において、映像としての変化量の多い部分と少ない部分とに分離し、変化量の多い部分を１番目の入力データとし、変化量の少ない部分を２番目の入力データとする。
　（３－２－６．誤り訂正符号に基づく入力データの生成）
　図１９は、誤り訂正符号を用いるパケット通信において、初送のデータを１番目の入力データとし、再送のデータを２番目以降の入力データとする３つの方法を示す図である。
　方法１．初送のデータと再送のデータとで、Ｓｙｓｔｅｍ情報とＰａｒｉｔｙ情報の比率を変更する（図の上段）。
　方法２．初送のデータでＳｙｓｔｅｍ情報を送信し、再送のデータでＰａｒｉｔｙ情報を送信する（図の中段）。
　方法３．Ｓｙｓｔｅｍ情報とＰａｒｉｔｙ情報を混ぜたものを複数のブロックに分割し、それぞれを初送のデータと再送のデータとに割り当てる（図の下段）。この際、分割された各ブロックは、Redundancy versionとしてナンバリングされてもよい。
　（３－２－７．ＡＩ／ＭＬモデルのスプリッティングに基づく入力データの生成）
　オリジナルの入力データから複数の入力データを生成する処理は、ＡＩ／ＭＬモデルのスプリッティングによって生じる中間層データに対して行ってもよい。この場合、中間層データがオリジナルの入力データとなり、中間層データから特定のデータのみを抽出することにより、複数の入力データが生成される。この際、各入力データのデータ量の制約を予め設定しておいてもよい。また、中間層データから特定のデータのみを抽出した後に、データの圧縮を行ってもよい。
　＜４．　本開示に係る各種の動作の詳細＞
　本開示に係る各種の動作の詳細について説明する。
　（４－１．入力データの送信方法の切り替えタイミング）
　送信エンティティ１０と受信エンティティ２０との間の通信リンクのパフォーマンスに余裕がある場合には、送信エンティティ１０は、自身が取得したオリジナルの入力データをそのまま受信エンティティ２０に送信してもよい（単一送信）。単一送信中に、例えば通信リンクの帯域制限等によって通信パフォーマンスが低下した場合には、送信エンティティ１０は、上述したようにオリジナルの入力データからデータ量の削減された複数の入力データを生成し、これら複数の入力データを順次、受信エンティティ２０に送信する（複数送信）。
　送信エンティティ１０が入力データの送信方法を単一送信から複数送信へと切り替える条件としては、例えば、以下のような条件が考えられる。また、この際、送信エンティティ１０は、送信方法を単一送信から複数送信へと切り替える旨を受信エンティティ２０に通知する。
　条件１．送信エンティティ１０がＵＥ３１に実装される場合において、ＲＡＮ／ＡＮ３２から、複数送信への切り替えの指示が受信された場合。
　条件２．ＡＩ／ＭＬアプリケーションから、複数送信への切り替えを指示するアプリケーション要求が受信された場合。
　条件３．送信エンティティ１０がＵＥ３１に実装される場合において、ＲＡＮ／ＡＮ３２から通信パフォーマンスの変化／変更の通知があり、この変化／変更後の通信パフォーマンスでは単一送信を維持できないと判断された場合。この際、通信パフォーマンスを導出するための情報としては、ＲＳＲＰ／ＲＳＲＱ／ＲＳＳＩ等の情報、遅延情報、遅延Ｂｕｄｇｅｔの情報、スループットの情報、割り当てられている無線通信リソースの情報等が挙げられる。
　条件４．送信エンティティ１０が通信パフォーマンスを測定し、測定された通信パフォーマンスでは単一送信を維持できないと判断した場合。
　（４－２．Hard-combining）
　図２０は、受信エンティティ２０の出力部２３で行われるHard-combiningについて、入力データが２つの場合の例を説明する図である。
　Hard-combiningでは、まず１番目の入力データに基づく１番目の推論値を取得し、これを初回の推論結果する。次に、２番目の入力データに基づく２番目の推論値を取得し、この２番目の推論値と１番目の推論値とを比較して、推論精度の高い方を最終的な推論結果とする。
　例えば、ロボットのユースケースでは、初回の推論結果に基づいて何らかの障害物が存在することを認識し、初期動作として障害物を回避する動作を開始する。その後、最終的な推論結果に基づいて、その障害物が別の動き回るロボットであることを認識し、十分な距離が確保されるように回避動作の軌道を修正する。
　図２１は、上記のロボットのユースケースにおけるHard-combiningの動作の詳細を説明するフローチャートである。まず１番目の入力データを受信し（Ｓ１１）、これに基づいて１番目の推論値を取得し（Ｓ１２）、これを初回の推論結果とする（Ｓ１３）。次に、２番目の入力データを受信し（Ｓ１４）、これに基づいて２番目の推論値を取得し（Ｓ１５）、１番目の推論値と２番目の推論値とを比較する（Ｓ１６）。
　２番目の推論値の精度が１番目の推論値の精度よりも高い場合には、２番目の推論値が正（True）であると判定し（Ｓ１７＝ＹＥＳ）、２番目の推論値を最終的な推論結果とする（Ｓ１８）。一方、２番目の推論値の精度が１番目の推論値の精度よりも低い場合には、１番目の推論値が正であると判定し（Ｓ１７＝ＮＯ）、初回の推論結果を維持する（Ｓ１９）。
　（４－３．Soft-combining）
　図２２は、受信エンティティ２０の出力部２３で行われるSoft-combiningについて、入力データが２つの場合の例を説明する図である。
　Soft-combiningでは、まず１番目の入力データに基づく１番目の推論値を取得し、これを初回の推論結果する。次に、２番目の入力データに基づく２番目の推論値を取得し、これを最終的な推論結果とする。この際、２番目の入力データは、１番目の入力データの一部またはすべてを含むものであってもよい。あるいは、１番目の入力データと２番目の入力データとを併合し、これを改めて２番目の入力データとして、これに基づいて２番目の推論値を取得してもよい。
　図２３は、上記のロボットのユースケースにおけるSoft-combiningの動作の詳細を説明するフローチャートである。まず１番目の入力データを受信し（Ｓ２１）、これに基づいて１番目の推論値を取得し（Ｓ２２）、これを初回の推論結果とする（Ｓ２３）。次に、２番目の入力データを受信し（Ｓ２４）、これに基づいて２番目の推論値を取得し（Ｓ２５）、これを最終的な推論結果とする（Ｓ２６）。
　（４－４．追加の入力データの送信開始要求）
　受信エンティティ２０の要求送信部２５は、判定部２４によって追加の入力データが必要であると判定されると、送信エンティティ１０へのフィードバック情報として、追加の入力データの送信開始要求を送信する。追加の入力データが必要であると判定される条件としては、例えば、以下のような条件が考えられる。
　条件１．初回の推論結果の精度（推論精度）が所定の閾値未満の場合。図２２に示されるように、１番目の入力データに基づいて得られる初回の推論結果の精度が所望の精度を達成できていない場合に、追加の入力データの送信開始要求が送信される。なお、推論精度の指標としては、先述したＳｏｆｔｍａｘ関数から出力される最大の確率値の他にも、例えば、ＳＮＲ（Signal to Noise Ratio）、ＰＳＮＲ（Peak Signal to Noise Ratio）、ＳＳＩＭ（Structural SIMirarity）等を用いることができる。なお、推論精度を算出するために、定期的にオリジナル画像の全体もしくは一部分を参照情報として通知してもよい。その結果、例えば推論精度が所望の精度を達成できていない場合、次の参照情報がくるまでの期間、追加の入力データの送信開始要求が送信される。
　条件２．初回の推論結果が得られるまでの遅延（推論遅延）が所定の閾値未満の場合。送信エンティティ１０によって１番目の入力データが送信されてから、受信エンティティ２０によって初回の推論結果が得られるまでの時間に余裕がある場合に、追加の入力データの送信開始要求が送信される。
　（４－５．追加の入力データの送信停止要求）
　受信エンティティ２０の要求送信部２５は、判定部２４によって追加の入力データが必要ないと判定されると、送信エンティティ１０へのフィードバック情報として、追加の入力データの送信開始要求を送信する。追加の入力データが必要ないと判定される条件としては、例えば、以下のような条件が考えられる。
　条件１．推論結果の精度（推論精度）が所定の閾値以上の場合。現段階の推論結果の精度が所望の精度を達成できている場合に、追加の入力データの送信停止要求が送信される。この際の閾値は、上記の送信開始要求の際の閾値とは異なるものであってもよい。
　条件２．推論結果が得られるまでの遅延（推論遅延）が所定の閾値以上の場合。送信エンティティ１０によって入力データが送信されてから、受信エンティティ２０によって推論結果が得られるまでの時間に余裕がない場合に、追加の入力データの送信停止要求が送信される。この際の閾値は、上記の送信開始要求の際の閾値とは異なるものであってもよい。
　条件３．現段階の推論結果の精度と１つ前の段階の推論結果の精度との差分（推論精度の向上量）が所定の閾値未満の場合。推論精度の向上がこれ以上見込めないと判断される場合に、追加の入力データの送信停止要求が送信される。
　なお、上記の条件１～３とは異なり、送信エンティティ１０の側で追加の入力データの送信停止を判断してもよい。例えば、ＸＲナビゲーションのようなユースケースでは、ユーザが装着するゴーグルに送信エンティティ１０が実装され、ユーザの視点を常時トラッキングすることが考えられる。このようなユースケースでは、ユーザの視線が対象物から外れたと判断された場合には、その対象物に関する推論のための追加の入力データの送信を停止してもよい。この場合、送信エンティティ１０から受信エンティティ２０に対して、追加の入力データの送信を停止する旨の通知を行う。
　（４－６．フィードバック情報の実現手段）
　受信エンティティ２０の要求送信部２５から送信されるフィードバック情報、すなわち追加の入力データの送信開始要求および送信停止要求を実現する手段として、例えば、ＡＣＫ／ＮＡＣＫを利用してもよい。例えば、推論結果の精度が所定の閾値以上であり、追加の入力データが必要ないと判定される場合には、ＡＣＫが送信される。一方、推論結果の精度が所定の閾値未満であり、追加の入力データが必要であると判定される場合には、ＮＡＣＫが送信される。
　（４－７．フィードバック情報の付随情報）
　受信エンティティ２０の要求送信部２５は、追加の入力データの送信開始要求および送信停止要求に加えて、例えば以下のような付随情報をフィードバック情報として送信してもよい。
　付随情報１．追加の入力データの送信回数。例えば、追加の入力データの送信は１回でよいのか、それとも複数回の送信が必要であるのか等を、付随情報として通知してもよい。
　付随情報２．追加の入力データの諸元。例えば、追加の入力データのデータ量（xxMB等）、解像度、領域、符号化率、冗長データの比率等の諸元を、付随情報で指定してもよい。また、例えば、ニューラルネットワークモデルにおける特定のニューロンから出力されるデータ等を、付随情報で指定してもよい。
　付随情報３．追加の入力データの遅延。例えば、追加の入力データをxxミリ秒以内に処理する必要がある等の遅延Ｂｕｄｇｅｔの情報を付随情報で通知してもよい。また、追加の入力データをxxミリ秒以内に送信してほしい等の時間指定を付随情報で通知してもよい。
　付随情報４．所望の推論精度とのギャップ。例えば、現段階の推論結果の精度と所望の推論精度とのギャップの情報を付随情報で通知してもよい。
　付随情報５．追加の入力データの優先度。例えば、追加の入力データの優先度（高、中、低等）を付随情報で通知してもよい。送信エンティティ１０は、他のユーザが要求する追加の入力データの優先度と比較して、いずれのユーザからの要求を優先するかを決定する。
　（４－８．付随情報に基づく追加の入力データの変更）
　送信エンティティ１０は、受信エンティティ２０から受信された上記の付随情報に基づいて、追加の入力データの生成方法や送信方法を変更してもよい。例えば、以下のような変更例が考えられる。
　変更例１．追加の入力データの生成タイミングを変更。例えば、送信エンティティ１０の生成部１２は、受信エンティティ２０から追加の入力データの送信開始要求が受信されるのに先立って、追加の入力データを予め複数生成してもよい。あるいは、送信エンティティ１０の生成部１２は、送信開始要求が受信されたタイミングで追加の入力データを順次生成してもよい。送信エンティティ１０は、追加の入力データを予め複数生成する場合には、追加の入力データのバージョン情報を予め受信エンティティ２０に通知してもよい。
　変更例２．追加の入力データの解像度を変更。例えば、送信エンティティ１０の生成部１２は、追加の入力データの解像度を変更してもよい。あるいは、送信エンティティ１０の生成部１２は、追加の入力データの解像度を領域別に変更してもよい。あるいは、送信エンティティ１０の生成部１２は、追加の入力データの解像度を、これまでに生成していない解像度に変更してもよい。
　変更例３．追加の入力データの領域を変更。例えば、送信エンティティ１０の生成部１２は、追加の入力データの領域を変更してもよい。あるいは、送信エンティティ１０の生成部１２は、オリジナルの入力データを予め複数の領域に分割して複数の入力データを生成しておき、領域の入力データを選択して送信してもよい。あるいは、送信エンティティ１０の生成部１２は、追加の入力データの領域を、これまでに生成していない領域に変更してもよい。
　変更例３．追加の入力データの符号化情報の送信。例えば、送信エンティティ１０のデータ送信部１２は、既に送信した追加の入力データのＳｙｓｔｅｍ情報を再送信してもよい。あるいは、送信エンティティ１０のデータ送信部１２は、既に送信した追加の入力データのＰａｒｉｔｙ情報を追加送信してもよい。
　＜５．　本開示に係るセルラーネットワークの機能拡張＞
　本開示では、Multi-Input型のＡＩ／ＭＬモデルを含む１つのＡＩ／ＭＬアプリケーションにおいて、複数の異なる（時間の異なる）トラフィックを送信することが求められる。例えば、異なる解像度の入力データを異なるフローで送信することが必要となる。
　（５－１．５Ｇシステムのネットワークスライス）
　５Ｇシステムでは、上記のようなMulti-Input型のＡＩ／MLモデルをサポートする通信をネットワークスライスとして提供することができる。ＵＥは、ＡＩ／ＭＬアプリケーションを起動すると、Multi-Input型のＡＩ／MLモデルをサポートする通信を提供するネットワークスライスを選択し、選択されたネットワークスライスに対応するＰＤＵ（Protocol Data Unit）セッションの確立要求処理を実行する。
　各ネットワークスライスには、ネットワークスライスの選択をアシストするための情報（ネットワークスライス選択支援情報）としてＳ－ＮＳＳＡＩが割り当てられ、ネットワークスライスはＳ－ＮＳＳＡＩによって識別される。Ｓ－ＮＳＳＡＩは、スライスの型（Slice Type）を識別する８ビットから成る必須（mandatory）のＳＳＴ（Slice/Service Type）と、同一のＳＳＴの中で異なるスライスを区別するための２４ビットから成る任意（optional）のＳＤ（Slice Differentiator）との組で構成される。
　コアネットワークは、Ｓ－ＮＳＳＡＩに基づいて、ネットワークスライスに対応するＰＤＵセッションを提供するために必要なネットワーク機能（ＮＦ：Network Function）を選択することができる。例えば、ＰＤＵセッションの確立を要求するメッセージを受信するＡＭＦ（Access and Mobility Management Function）は、ＳＭＦ（Session Management Function）の複数の候補の中から、Ｓ－ＮＳＳＡＩに基づいて１つのＳＭＦを選択する。選択されたＳＭＦは、ＵＰＦ（User Plane Function）の複数の候補の中から、Ｓ－ＮＳＳＡＩに基づいて１つのＵＰＦを選択する。ここで、ＵＰＦは、ＰＤＵセッションのユーザープレーンのデータを処理するネットワーク機能である。
　ＵＥは、ＡＩ／ＭＬアプリケーションを実行すると、当該ＡＩ／ＭＬアプリケーションを提供するクラウドサーバー３５と接続されるＤＮＮ（Data Network Name）を選択する。上記のＰＤＵセッションの確立を要求するメッセージには、ＤＮＮとＳ－ＮＳＳＡＩが含まれる。そして、確立される１つのＰＤＵセッションには、１つのＤＮＮと１つのＳ－ＮＳＳＡＩが対応付けられる。
　（５－２．５ＧシステムのＱｏＳ制御）
　ＮＡＳ（Non-Access Stratum）レベルにおいて、ＱｏＳフローは、ＰＤＵセッション内で異なるＱｏＳを区別する際の最も細かい粒度である。ＰＤＵセッション内において、ＱｏＳフローは、ＱＦＩ（QoS Flow ID）によって識別される。ＲＡＮ／ＡＮは、各ＵＥとの間で、ＰＤＵセッションと共に少なくとも１つのＤＲＢ（Data Radio Bearer）を確立することができる。ＤＲＢは、データを伝送するための論理的なパスである。５ＧのＱｏＳモデルでは、帯域保証されるＧＢＲ（Guaranteed flow Bit Rate）と、帯域保証されないＮｏｎ―ＧＢＲ（Non-Guaranteed flow Bit Rate）とがサポートされている。
　ＲＡＮ／ＡＮおよびコアネットワークは、各パケットを適切なＱｏＳフローおよびＤＲＢにマッピングすることにより、サービス品質を保証する。すなわち、ＮＡＳにおけるＩＰフローとＱｏＳフローとのマッピング、およびＡＳ（Access Stratum）におけるＱｏＳフローとＤＲＢとのマッピングという、２段階のマッピングが行われる。
　ＮＡＳレベルにおいて、ＱｏＳフローは、コアネットワーク３３からＲＡＮ／ＡＮに提供されるＱｏＳプロファイル（QoS Profile）と、コアネットワークからＵＥに提供されるＱｏＳルール（QoS Rule）とによって特徴付けられる。ＱｏＳプロファイルは、ＲＡＮ／ＡＮが無線インターフェース上の処理方法を決定するために用いられる。ＱｏＳルールは、アップリンクにおけるユーザープレーンのトラフィックとＱｏＳフローとのマッピングをＵＥに指示するために用いられる。
　ＱｏＳプロファイルは、ＳＭＦからＡＭＦおよびリファレンスポイントＮ２を介して、ＲＡＮ／ＡＮに提供されるか、あるいは予めＲＡＮ／ＡＮに設定されている。また、ＳＭＦは、１つ以上のＱｏＳルールと、必要に応じて当該ＱｏＳルールに関連するＱｏＳフローレベルのＱｏＳパラメータとを、ＡＭＦおよびリファレンスポイントＮ１を介して、ＵＥに提供することができる。
　これに加えて、あるいはこれに代えて、ＵＥに対して、リフレクティブＱｏＳ（Reflective QoS）制御を適用することもできる。リフレクティブＱｏＳ制御は、ダウンリンクのパケットのＱＦＩをモニターし、アップリンクのパケットに対して同じマッピングを適用するＱｏＳ制御である。
　ＱｏＳフローは、ＱｏＳプロファイルに依存して、ＧＢＲ ＱｏＳフローとなるか、あるいはＮｏｎ－ＧＢＲ ＱｏＳフローとなる。ＱｏＳフローのＱｏＳプロファイルは、例えば、５ＱＩ（5G QoS Identifier）、およびＡＲＰ（Allocation and Retention Priority）等のＱｏＳパラメータを含んでいる。
　ＡＲＰは、優先度（Priority Level）、プリエンプション能力（Pre-emption Capability）、およびプリエンプション脆弱性（Pre-emption Vulnerability）に関する情報を含んでいる。優先度は、ＱｏＳフローの相対的な重要度を定義するものであり、優先度の最も小さな値が最も優先させることを示す。プリエンプション能力は、あるＱｏＳフローが他のより優先度の低いＱｏＳフローに既に割り当てられているリソースを奪い取ることができるか否かを定義する指標である。プリエンプション脆弱性は、あるＱｏＳフローが自身に割り当てられているリソースを他のより優先度の高いＱｏＳフローに明け渡すことができるか否かを定義する指標である。プリエンプション能力およびプリエンプション脆弱性には、「ｅｎａｂｌｅｄ」または「ｄｉｓａｂｌｅｄ」のいずれかが設定される。
　ＧＢＲ ＱｏＳフローにおいて、ＱｏＳプロファイルは、アップリンクとダウンリンクのＧＦＢＲ（Guaranteed Flow Bit Rate）、アップリンクとダウンリンクのＭＦＢＲ（Maximum Flow Bit Rate）、アップリンクとダウンリンクの最大パケット損失率（Maximum Packet Loss Rate）、遅延クリティカルリソースタイプ（Delay Critical Resource Type）、および通知コントロール（Notification Control）等を含んでいる。
　Ｎｏｎ－ＧＢＲ ＱｏＳフローにおいて、ＱｏＳプロファイルは、ＲＱＡ（Reflective QoS Attribute）、および追加のＱｏＳフロー情報（Additional QoS Flow Information）等を含んでいる。ＱｏＳパラメータの通知コントロールは、あるＱｏＳフローがＧＦＢＲを満たせない時に、ＲＡＮ／ＡＮからの通知が要求されるか否かを示す。あるＧＢＲ ＱｏＳフローについて、通知コントロールが「ｅｎａｂｌｅｄ」であり、かつＧＦＢＲを満たせないと判断された場合には、ＲＡＮ／ＡＮは、その旨の通知をＳＭＦに送信する。
　この際、ＲＡＮ／ＡＮが当該ＧＢＲ ＱｏＳフローのＲＡＮリソースの解放を要求する特別な状態、例えば、無線リンク障害（Radio Link Failure）またはＲＡＮ／ＡＮ内部での輻輳（RAN internal congestion）でない限り、ＲＡＮ／ＡＮは、当該ＱｏＳフローを維持しなければならない。そして、当該ＱｏＳフローについて、再びＧＦＢＲが満たされると判断された場合には、ＲＡＮ／ＡＮは、その旨の新たな通知をＳＭＦに送信する。
　ＡＭＢＲ（Aggregate Maximum Bit Rate）は、各ＰＤＵセッションのＳｅｓｓｉｏｎ－ＡＭＢＲとそれぞれのＵＥのＵＥ－ＡＭＢＲと関係している。Ｓｅｓｓｉｏｎ－ＡＭＢＲは、特定のＰＤＵセッションに対する全てのＮｏｎ－ＧＢＲ ＱｏＳフローにわたって提供されると期待される総ビットレート（Aggregate Bit Rate）を制限し、ＵＰＦによって管理される。ＵＥ－ＡＭＢＲは、あるＵＥに対するすべてのＮｏｎ－ＧＢＲのＱｏＳフローにわたって提供されると期待される総ビットレートを制限し、ＲＡＮ／ＡＮによって管理される。
　５ＱＩは、ＱｏＳの特徴に関するものであり、各ＱｏＳフローに対して、ノード固有のパラメータを設定するための指針（ポリシー）を提供する。標準化または予め設定された５ＧのＱｏＳの特徴は、５ＱＩから知ることができ、明示的なシグナリングは行われない。シグナリングされるＱｏＳの特徴は、ＱｏＳプロファイルの一部として含めることができる。
　ＱｏＳの特徴は、優先度（Priority）、パケット遅延許容時間（Packet Delay Budget）、パケットエラーレート（Packet Error Rate）、平均ウィンドウ（Averaging Window）、および最大データバースト量（Maximum Data Burst Volume）等に関する情報を含んでいる。パケット遅延許容時間は、コアネットワークにおけるパケット遅延許容時間を含んでもよい。
　ＡＳレベルにおいて、ＤＲＢは、無線インターフェース（Ｕｕインターフェース）におけるパケット処理方法を定義する。ＤＲＢは、任意のパケットに対して同一のパケット転送処理を提供する。
　ＲＡＮ／ＡＮは、ＱＦＩと当該ＱＦＩに設定されるＱｏＳプロファイルとに基づいて、ＱｏＳフローをＤＲＢにマッピングする。ＲＡＮ／ＡＮは、異なるパケット転送処理を要求するパケットに対して、異なるＤＲＢを確立することができる。また、ＲＡＮ／ＡＮは、同一のＰＤＵセッションに属する複数のＱｏＳフローを同一のＤＲＢに多重化することもできる。
　アップリンクにおいて、ＱｏＳフローのＤＲＢへのマッピングは、２つの異なる方法でシグナリングされるマッピングルールによって制御される。１つの方法は、リフレクティブマッピング（Reflective Mapping）と呼ばれる方法である。リフレクティブマッピングでは、ＵＥは、各ＤＲＢに対して、ダウンリンクのパケットのＱＦＩをモニターし、アップリンクのパケットに対して同じマッピングを適用する。もう１つの方法は、明示的設定（Explicit Configuration）と呼ばれる方法である。明示的設定では、ＱｏＳフローのＤＲＢへのマッピングルールは、ＲＲＣによって明示的にシグナリングされる。
　ダウンリンクにおいて、ＱＦＩは、ＲＱｏＳ（Reflective Quality of Service）のために、ＲＡＮ／ＡＮによってＵｕインターフェース上でシグナリングされるが、ＲＡＮ／ＡＮもＮＡＳも、あるＤＲＢで運ばれるＱｏＳフローのためにリフレクティブマッピングを使用するのでなければ、Ｕｕインターフェース上で当該ＤＲＢのためのＱＦＩをシグナリングしない。
　アップリンクにおいて、ＲＡＮ／ＡＮは、Ｕｕインターフェース上でＵＥに向けてＱＦＩをシグナリングすることを設定することができる。また、各ＰＤＵセッションについて、デフォルトＤＲＢを設定することができる。アップリンクパケットが、明示的設定にもリフレクティブマッピングにも適応しない場合には、ＵＥは、当該パケットをＰＤＵセッションのデフォルトＤＲＢにマッピングする。
　Ｎｏｎ－ＧＢＲ ＱｏＳフローについて、コアネットワークは、同じＰＤＵセッション内の他のＮｏｎ－ＧＢＲ ＱｏＳフローに比べて、あるトラフィックの頻度を増やすことを指示するために、任意のＱｏＳフローに関連する追加のＱｏＳフロー情報パラメータをＲＡＮ／ＡＮに送信してもよい。
　ＰＤＵセッション内の複数のＱｏＳフローを１つのＤＲＢにどのようにマッピングするかは、ＲＡＮ／ＡＮ次第である。例えば、ＲＡＮ／ＡＮは、ＧＢＲ ＱｏＳフローとＮｏｎ－ＧＢＲ ＱｏＳフローとを、同じＤＲＢにマッピングしてもよいし、別々のＤＲＢにマッピングしてもよい。また、ＲＡＮ／ＡＮは、複数のＧＢＲ ＱｏＳフローを同じＤＲＢにマッピングしてもよいし、別々のＤＲＢにマッピングしてもよい。
　５Ｇ ＮＲでは、ＱｏＳフローを介したＱｏＳ制御のために、ＳＤＡＰ（Service Data Adaptation Protocol）サブレイヤを新たに導入している。ＳＤＡＰサブレイヤによって、ＱｏＳフローのトラフィックが適切なＤＲＢにマッピングされる。ＳＤＡＰサブレイヤは複数のＳＤＡＰエンティティを有することができ、Ｕｕインターフェース上のＰＤＵセッション毎にＳＤＡＰエンティティを有する。ＳＤＡＰエンティティの確立または解放は、ＲＲＣによって行われる。
　ＱｏＳフローは、ＧＴＰ－Ｕヘッダーに含まれるＰＤＵセッションコンテナ中のＱＦＩによって識別される。ＰＤＵセッションは、ＧＴＰ－Ｕ ＴＥＩＤ（Tunnel Endpoint ID）によって識別される。ＳＤＡＰサブレイヤは、各ＱｏＳフローを特定のＤＲＢにマッピングする。 
　（５－３．５ＧシステムのMulti-ＱｏＳフロー制御）
　Multi-Input型のＡＩ／ＭＬモデルを含むＡＩ／ＭＬアプリケーションにおいて、ＡＩ／ＭＬモデルには複数の入力データが入力され、これら複数の入力データに対して異なるＱｏＳフローがそれぞれマッピングされる。すなわち、ＡＩ／ＭＬモデルに入力される複数の入力データを処理するＰＤＵセッションには、複数の入力データに対応する複数の異なるＱｏＳフローがマッピングされる。ここで、１つのＰＤＵセッションにマッピングされるＱｏＳフローの数は、ＰＤＵセッションの確立を要求するメッセージに含めてもよいし、Ｓ－ＮＳＳＡＩ毎に予め設定されもよい。
　ＲＡＮ／ＡＮは、コアネットワークから取得されるＱｏＳフロー毎のＱｏＳプロファイルを介して、各ＱｏＳフローに適用される５ＱＩを決定することができる。さらに、ＵＥは、ＲＡＮ／ＡＮから取得されるＱｏＳルールを介して、アップリンクにおけるユーザープレーンのトラフィックとＱｏＳフローとのマッピングに係る情報を取得する。ＵＥは、このマッピングに係る情報に基づいて、ＡＩ／ＭＬモデルに入力される複数の入力データをマッピングするＱｏＳフローを決定することができる。ＲＡＮ／ＡＮは、各ＱｏＳフローについて、ＵＥに無線リソースを割り当てる、すなわちスケジューリングする。
　＜６．　実施例＞
　図２４は、本開示に係るＡＩ／ＭＬモデルを含むＡＩ／ＭＬアプリケーションの実施例として、工場内ロボットが画像認識を行いながら自動運転を行う際のシーケンス図である。この実施例では般的なクラウド学習を想定し、ロボット（ＵＥ）３１に送信エンティティ１０が実装され、クラウドサーバー３５に受信エンティティ２０が実装される。
　図２４の時刻Ｔ１の時点では、ロボット３１からクラウドサーバー３５までの通信リンクのパフォーマンスに余裕がある。そのため、ロボット３１は、オリジナルの画像データを取得すると（Ｓ１０１）、これを単一送信によってクラウドサーバーにそのまま送信する（Ｓ１０２）。クラウドサーバー３５は、受信された画像データを多段入力型のＡＩ／ＭＬモデルに入力し、推論結果に基づく動作命令をロボット３１に送信する（Ｓ１０４）。
　時刻Ｔ２において、ロボット３１とＲＡＮ／ＡＮ３２との間の無線通信リンクの帯域制限によって通信パフォーマンスが急激に低下した。これを検知したＲＡＮ／ＡＮ３２は、通信パフォーマンスの低下（変化／変更）をロボット３１に通知する（Ｓ１０５）。この通知を受信したロボット３１は、画像データの送信方法を単一送信から複数送信に変更し（Ｓ１０６）、その旨をクラウドサーバー３５に通知する（Ｓ１０７）。
　ロボット３１は、オリジナルの画像データを取得すると（Ｓ１０８）、これに基づいて解像度の低減された１番目の入力データを生成し（Ｓ１０９）、この１番目の入力データをクラウドサーバー３５に送信する（Ｓ１１０）。これを受信したクラウドサーバー３５は、１番目の入力データを多段入力型のＡＩ／ＭＬモデルに入力し、初回の推論結果（粗い認識結果）を取得する（Ｓ１１１）。
　クラウドサーバー３５は、この粗い認識結果に基づいて初期動作の命令をロボット３１に送信する（Ｓ１１２）。例えば、ロボット３１の前方に何らかの障害物が存在するという粗い認識結果に基づいて、回避動作を開始させる。クラウドサーバー３５から初期動作の命令を受信したロボット３１は、当該初期動作の命令に従って回避動作を開始する（Ｓ１１３）。
　次に、クラウドサーバー３５は、上記のステップＳ１１１で得られた初回の推論結果の精度が所定の閾値未満であったため、追加の入力データの送信開始要求をロボット３１に送信する（Ｓ１１４）。これを受信したロボット３１は、１番目の入力データよりも解像度の高い２番目の入力データを生成し（Ｓ１１５）、この２番目の入力データをクラウドサーバー３５に送信する（Ｓ１１６）。これを受信したクラウドサーバー３５は、２番目の入力データを多段入力型のＡＩ／ＭＬモデルに入力し、２回目の推論結果（詳細な認識結果）を取得する（Ｓ１１７）。
　クラウドサーバー３５は、この詳細な認識結果に基づいて動作更新の命令をロボット３１に送信する（Ｓ１１８）。例えば、ロボット３１の前方に存在する障害物が人間であるという詳細な認識結果に基づいて、十分な安全が確保されるように回避動作の軌道を修正させる。クラウドサーバー３５から動作更新の命令を受信したロボット３１は、当該動作更新の命令に従って回避動作の軌道を修正する（Ｓ１１９）。
　次に、クラウドサーバー３５は、上記のステップＳ１１７で得られた２回目の推論結果の精度が所定の閾値以上であったため、追加の入力データは必要ないと判断し、追加の入力データの送信停止要求をロボット３１に送信する（Ｓ１２０）。これを受信したロボット３１は、追加の入力データの送信を停止する（Ｓ１２１）。
　＜７．　むすび＞
　以上説明したように、本開示に係る送信エンティティ１０は、オリジナルの入力データからデータ量の削減された複数の入力データを生成し、１番目の入力データを送信した後、受信エンティティ２０から追加の入力データの送信開始要求が受信されると、追加の入力データの送信を開始し、受信エンティティ２０から追加の入力データの送信停止要求が受信されると、追加の入力データの送信を停止する。
　受信エンティティ２０は、送信エンティティ１０から受信された複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、推論結果を順次更新していく。受信エンティティ２０は、追加の入力データが必要である場合には、追加の入力データの送信開始要求を送信エンティティ１０に送信し、その後、追加の入力データが必要なくなると、追加の入力データの送信停止要求を送信エンティティ１０に送信する。
　上記の特徴により、本開示に係る送信エンティティ１０および受信エンティティ２０によれば、所望の結果が得られるまで推論結果を段階的に更新していくＡＩ／ＭＬアプリケーションを提供することができる。例えば、無線通信リンクのパフォーマンスが大きく変動するような環境でも、所望の精度の推論結果が得られるまで推論結果を段階的に更新していくことができる。
　なお、本開示に係る技術は、特定の規格に限定されるものではなく、例示された設定は、適宜に変更されてよい。なお、上述の各実施例は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略、または組み合わせ等が可能である。そのような変形、置換、省略、または組み合わせ等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　また、本開示において説明された処理の手順は、これら一連の手順を有する方法として捉えてもよい。或いは、これら一連の手順をコンピュータに実施させるためのプログラム、または、当該プログラムを記憶する記録媒体として捉えてもよい。また、上記で説明した処理は、コンピュータのＣＰＵ等のプロセッサによって実行される。また、記録媒体の種類は、本開示の実施例に影響を及ぼすものではないため、特に限定されるものではない。
　なお、本開示の示された各構成要素は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。例えば、各構成要素がマイクロプログラムなどのソフトウェアで実現されるソフトウェアモジュールであり、プロセッサが当該ソフトウェアモジュールを実行することにより、各構成要素が実現されてもよい。或いは、各構成要素が、半導体チップ（ダイ）上の回路ブロック、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）等の集積回路によって実現されてもよい。また、構成要素の数と構成要素を実現するハードウェアの数とは、一致していなくともよい。例えば、１つのプロセッサまたは回路が複数の構成要素を実現していてもよい。逆に、１つの構成要素が複数のプロセッサまたは回路により実現されていてもよい。
　なお、本開示で述べられたプロセッサは、その種類が限られるものではない。例えば、ＣＰＵ、ＭＰＵ（Micro Processing Unit）、またはＧＰＵ（Graphics Processing Unit）等であってもよい。
　なお、本開示は以下のような構成を取ることもできる。
［１］
　ＡＩ／ＭＬアプリケーションのための送信エンティティであって、
　オリジナルの入力データを取得する取得部と、
　前記オリジナルの入力データから、データ量の削減された複数の入力データを生成する生成部と、
　前記複数の入力データを順次送信するデータ送信部と、
　追加の入力データが必要であるか否かに基づくフィードバック情報を受信する要求受信部と
を備える、送信エンティティ。
［２］
　前記データ送信部は、１番目の入力データを送信した後、前記要求受信部によって前記追加の入力データの送信開始要求が受信されると、前記追加の入力データの送信を開始し、前記要求受信部によって前記追加の入力データの送信停止要求が受信されると、前記追加の入力データの送信を停止する、［１］に記載の送信エンティティ。
［３］
　前記生成部は、前記１番目の入力データを生成した後、前記要求受信部によって前記追加の入力データの前記送信開始要求が受信されると、前記追加の入力データを順次生成する、［２］に記載の送信エンティティ。
［４］
　前記オリジナルの入力データは静止画像データであり、前記複数の入力データは解像度の異なる静止画像データである、［１］～［３］のいずれか一項に記載の送信エンティティ。
［５］
　前記オリジナルの入力データは静止画像データであり、前記複数の入力データは領域の一部またはすべてが異なる静止画像データである、［１］～［３］のいずれか一項に記載の送信エンティティ。
［６］
　前記送信エンティティは、セルラーネットワークに接続される端末装置に実装される、［１］～［５］のいずれか一項に記載の送信エンティティ。
［７］
　前記送信エンティティは、セルラーネットワークおよび該セルラーネットワークに接続される端末装置に分散して実装される、［１］～［５］のいずれか一項に記載の送信エンティティ。
［８］
　ＡＩ／ＭＬアプリケーションのための受信エンティティであって、
　複数の入力データを順次受信するデータ受信部と、
　前記複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得する推論部と、
　前記複数の推論値に基づいて、推論結果を順次更新して出力する出力部と、
　追加の入力データが必要であるか否かを判定する判定部と、
　前記判定部による前記追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信する要求送信部と
を備える、受信エンティティ。
［９］
　前記要求送信部は、前記判定部によって前記追加の入力データが必要であると判定されると、前記追加の入力データの送信開始要求を前記送信エンティティに送信し、その後、前記判定部によって前記追加の入力データが必要ないと判定されると、前記追加の入力データの送信停止要求を前記送信エンティティに送信する、［８］に記載の受信エンティティ。
［１０］
　前記判定部は、前記推論結果の精度に基づいて、前記追加の入力データが必要であるか否かを判定する、［８］または［９］に記載の受信エンティティ。
［１１］
　前記判定部は、前記推論結果が得られるまでの遅延に基づいて、前記追加の入力データが必要であるか否かを判定する、［８］または［９］に記載の受信エンティティ。
［１２］
　前記判定部は、現段階の前記推論結果の精度と１つ前の段階の前記推論結果の精度との差分に基づいて、前記追加の入力データが必要であるか否かを判定する、［８］または［９］に記載の受信エンティティ。
［１３］
　前記出力部は、前記複数の推論値の比較に基づいて前記推論結果を出力する、［８］～［１２］のいずれか一項に記載の受信エンティティ。
［１４］
　前記出力部は、前記複数の推論値のうちの最新の推論値を前記推論結果とする、［８］～［１２］のいずれか一項に記載の受信エンティティ。
［１５］
　前記受信エンティティは、セルラーネットワークに接続されるサーバー装置に実装される、［８］～［１４］のいずれか一項に記載の受信エンティティ。
［１６］
　前記受信エンティティは、セルラーネットワークおよび該セルラーネットワークに接続されるサーバー装置に分散して実装される、［８］～［１４］のいずれか一項に記載の受信エンティティ。
［１７］
　ＡＩ／ＭＬアプリケーションのためのデータ送信方法であって、
　オリジナルの入力データを取得するステップと、
　前記オリジナルの入力データから、データ量の削減された複数の入力データを生成するステップと、
　前記複数の入力データを順次送信するステップと、
　追加の入力データが必要であるか否かに基づくフィードバック情報を受信するステップと
を含む、データ送信方法。
［１８］
　ＡＩ／ＭＬアプリケーションのためのデータ処理方法であって、
　複数の入力データを順次受信するステップと、
　前記複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得するステップと、
　前記複数の推論値に基づいて、推論結果を順次更新して出力するステップと、
　追加の入力データが必要であるか否かを判定するステップと、
　前記追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信するステップと
を含む、データ処理方法。
１０　送信エンティティ
１１　取得部
１２　生成部
１３　データ送信部
１４　要求受信部
２０　受信エンティティ
２１　データ受信部
２２　推論部
２３　出力部
２４　判定部
２５　要求送信部
３１　ＵＥ（端末装置）
３２　ＲＡＮ／ＡＮ
３３　コアネットワーク
３４　セルラーネットワーク
３５　クラウドサーバー（サーバー装置） 

Claims (18)

  1. 　ＡＩ／ＭＬアプリケーションのための送信エンティティであって、
    　オリジナルの入力データを取得する取得部と、
    　前記オリジナルの入力データから、データ量の削減された複数の入力データを生成する生成部と、
    　前記複数の入力データを順次送信するデータ送信部と、
    　追加の入力データが必要であるか否かに基づくフィードバック情報を受信する要求受信部と
    を備える、送信エンティティ。
  2. 　前記データ送信部は、１番目の入力データを送信した後、前記要求受信部によって前記追加の入力データの送信開始要求が受信されると、前記追加の入力データの送信を開始し、前記要求受信部によって前記追加の入力データの送信停止要求が受信されると、前記追加の入力データの送信を停止する、請求項１に記載の送信エンティティ。
  3. 　前記生成部は、前記１番目の入力データを生成した後、前記要求受信部によって前記追加の入力データの前記送信開始要求が受信されると、前記追加の入力データを順次生成する、請求項２に記載の送信エンティティ。
  4. 　前記オリジナルの入力データは静止画像データであり、前記複数の入力データは解像度の異なる静止画像データである、請求項１に記載の送信エンティティ。
  5. 　前記オリジナルの入力データは静止画像データであり、前記複数の入力データは領域の一部またはすべてが異なる静止画像データである、請求項１に記載の送信エンティティ。
  6. 　前記送信エンティティは、セルラーネットワークに接続される端末装置に実装される、請求項１に記載の送信エンティティ。
  7. 　前記送信エンティティは、セルラーネットワークおよび該セルラーネットワークに接続される端末装置に分散して実装される、請求項１に記載の送信エンティティ。
  8. 　ＡＩ／ＭＬアプリケーションのための受信エンティティであって、
    　複数の入力データを順次受信するデータ受信部と、
    　前記複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得する推論部と、
    　前記複数の推論値に基づいて、推論結果を順次更新して出力する出力部と、
    　追加の入力データが必要であるか否かを判定する判定部と、
    　前記判定部による前記追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信する要求送信部と
    を備える、受信エンティティ。
  9. 　前記要求送信部は、前記判定部によって前記追加の入力データが必要であると判定されると、前記追加の入力データの送信開始要求を前記送信エンティティに送信し、その後、前記判定部によって前記追加の入力データが必要ないと判定されると、前記追加の入力データの送信停止要求を前記送信エンティティに送信する、請求項８に記載の受信エンティティ。
  10. 　前記判定部は、前記推論結果の精度に基づいて、前記追加の入力データが必要であるか否かを判定する、請求項８に記載の受信エンティティ。
  11. 　前記判定部は、前記推論結果が得られるまでの遅延に基づいて、前記追加の入力データが必要であるか否かを判定する、請求項８に記載の受信エンティティ。
  12. 　前記判定部は、現段階の前記推論結果の精度と１つ前の段階の前記推論結果の精度との差分に基づいて、前記追加の入力データが必要であるか否かを判定する、請求項８に記載の受信エンティティ。
  13. 　前記出力部は、前記複数の推論値の比較に基づいて前記推論結果を出力する、請求項８に記載の受信エンティティ。
  14. 　前記出力部は、前記複数の推論値のうちの最新の推論値を前記推論結果とする、請求項８に記載の受信エンティティ。
  15. 　前記受信エンティティは、セルラーネットワークに接続されるサーバー装置に実装される、請求項８に記載の受信エンティティ。
  16. 　前記受信エンティティは、セルラーネットワークおよび該セルラーネットワークに接続されるサーバー装置に分散して実装される、請求項８に記載の受信エンティティ。
  17. 　ＡＩ／ＭＬアプリケーションのためのデータ送信方法であって、
    　オリジナルの入力データを取得するステップと、
    　前記オリジナルの入力データから、データ量の削減された複数の入力データを生成するステップと、
    　前記複数の入力データを順次送信するステップと、
    　追加の入力データが必要であるか否かに基づくフィードバック情報を受信するステップと
    を含む、データ送信方法。
  18. 　ＡＩ／ＭＬアプリケーションのためのデータ処理方法であって、
    　複数の入力データを順次受信するステップと、
    　前記複数の入力データを多段入力型のＡＩ／ＭＬモデルに順次入力し、複数の推論値を順次取得するステップと、
    　前記複数の推論値に基づいて、推論結果を順次更新して出力するステップと、
    　追加の入力データが必要であるか否かを判定するステップと、
    　前記追加の入力データが必要であるか否かの判定に基づいて、フィードバック情報を送信するステップと
    を含む、データ処理方法。
PCT/JP2023/025014 2022-07-07 2023-07-05 Ａｉ／ｍｌアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法 WO2024010049A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-109834 2022-07-07
JP2022109834 2022-07-07

Publications (1)

Publication Number Publication Date
WO2024010049A1 true WO2024010049A1 (ja) 2024-01-11

Family

ID=89453519

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/025014 WO2024010049A1 (ja) 2022-07-07 2023-07-05 Ａｉ／ｍｌアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法

Country Status (1)

Country Link
WO (1) WO2024010049A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229569A (ja) * 2005-02-17 2006-08-31 Kuriputon:Kk 遠方監視システムおよび遠方監視方法
JP2016163242A (ja) * 2015-03-04 2016-09-05 株式会社日立製作所 データ収集システム、データ収集方法、サーバ及びゲートウェイ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229569A (ja) * 2005-02-17 2006-08-31 Kuriputon:Kk 遠方監視システムおよび遠方監視方法
JP2016163242A (ja) * 2015-03-04 2016-09-05 株式会社日立製作所 データ収集システム、データ収集方法、サーバ及びゲートウェイ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KARRAS TERO, AILA TIMO, LAINE SAMULI, LEHTINEN JAAKKO: "Progressive Growing of GANs for Improved Quality, Stability, and Variation", 26 February 2018 (2018-02-26), XP055851948, Retrieved from the Internet <URL:https://arxiv.org/pdf/1710.10196.pdf> *

Similar Documents

Publication Publication Date Title
CN110120878B (zh) 获取链路质量的方法和装置
US10721754B2 (en) Data transmission method and apparatus
US20210352553A1 (en) Handover methods and apparatus
US11832316B2 (en) Methods and apparatus for testing alternative wireless connections and selecting a wireless connection
US11627619B2 (en) Methods and apparatus for determining a number of connections to use at a given time and/or the level of error correcting coding to use based on connection scores
CN112423340B (zh) 一种用户面信息上报方法及装置
Akshatha et al. A centralized SDN architecture for the 5G cellular network
WO2023046118A1 (zh) 一种通信方法及装置
CN114945926A (zh) 用于传输速率控制的网络实体和用户设备
WO2024010049A1 (ja) Ａｉ／ｍｌアプリケーションのための送信エンティティ、受信エンティティ、データ送信方法およびデータ処理方法
CN115038126A (zh) 一种通信方法及设备
CN115250506A (zh) 一种通信方法及设备
CN115250537A (zh) 一种通信方法及设备
CN107154901B (zh) 数据传输的控制方法及系统、数据传输方法及装置
CN113315648A (zh) 用于执行虚拟化的网络功能的方法及装置
JP2010213013A (ja) 無線送信装置および無線送信方法
US20220086699A1 (en) Client device and network node for indication of quality-of-service (qos) non-fulfillment
WO2023127388A1 (ja) 無線基地局、無線基地局の制御方法、通信制御装置、通信制御装置の制御方法およびプログラム
KR20210049519A (ko) 체감 품질 측정 시스템 및 이를 이용한 실시간 스트리밍 서비스 제공 방법
WO2022056863A1 (zh) 一种切换方法及装置
WO2024032434A1 (zh) 业务控制方法、装置、通信设备及可读存储介质
WO2024029281A1 (ja) 情報処理装置
WO2024060991A1 (zh) 一种多路径的数据流引流方法及装置
WO2024140290A1 (zh) 一种计算任务的处理方法及相关装置
WO2023193579A1 (zh) 数据传输的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835580

Country of ref document: EP

Kind code of ref document: A1