WO2023084632A1 - 通信システム、通信方法及びプログラム - Google Patents

通信システム、通信方法及びプログラム Download PDF

Info

Publication number
WO2023084632A1
WO2023084632A1 PCT/JP2021/041305 JP2021041305W WO2023084632A1 WO 2023084632 A1 WO2023084632 A1 WO 2023084632A1 JP 2021041305 W JP2021041305 W JP 2021041305W WO 2023084632 A1 WO2023084632 A1 WO 2023084632A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
streaming
communication terminal
control
communication
Prior art date
Application number
PCT/JP2021/041305
Other languages
English (en)
French (fr)
Inventor
孝太郎 小野
亮太 石橋
浩明 前田
健太 川上
健 桑原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/041305 priority Critical patent/WO2023084632A1/ja
Priority to JP2023559253A priority patent/JPWO2023084632A1/ja
Publication of WO2023084632A1 publication Critical patent/WO2023084632A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Definitions

  • the content of the present disclosure relates to a communication system, a communication method, and a program.
  • Information on the terminal side that can be acquired by sensors such as cameras and LiDAR (Light Detection and Ranging) is transmitted to the information processing infrastructure on the edge or cloud side via the network, and it is for users of information such as people and AI (Artificial Intelligence).
  • Edge or cloud computing is used in various fields, such as performing information processing and processing, and then transmitting downlink signals from the information processing platform (server) side to control the communication terminal side as necessary. It is
  • Non-Patent Documents 1 and 2 In remote monitoring or control, the quality of images, data, etc. received by the communication terminal fluctuates due to fluctuations in the environment including the network and the subject of monitoring. Therefore, as a conventional technology, in order to maintain a certain level of quality, the bit rate is controlled appropriately according to the state of the network used for transmission and the receiving subject of the image on the information processing platform side (how to use the image). and a method (combination of existing technologies) to change them as appropriate (Non-Patent Documents 1 and 2).
  • the present invention has been made in view of the above points, and aims to maintain the quality of data such as image data required in various situations.
  • the invention according to claim 1 is a communication system constructed by a communication terminal and a server that transmit and receive data, and includes: route information indicating a route plan or a past route of the communication terminal; future position estimation means for estimating a future position of the communication terminal and a predicted time of arrival at the future position based on current position and time information indicating the current position and current time of the communication terminal; network quality according to the position; a network quality prediction means for predicting the network quality at the future location based on the future location and the network quality according to the location; and based on the predicted network quality, the The communication system includes streaming setting means for setting streaming in communication between the communication terminal and the server at a predicted time, and streaming control means for controlling streaming based on the streaming setting.
  • FIG. 1 is a conceptual diagram showing an overall configuration in an embodiment of the present invention
  • FIG. 3 is a hardware configuration diagram of a communication terminal according to an embodiment of the present invention
  • FIG. 4 is a hardware configuration diagram of a server according to the embodiment of the present invention
  • FIG. 1 is a functional block diagram of functional architecture of a communication system in an embodiment of the present invention
  • FIG. 4 is a conceptual diagram of a user request management DB
  • FIG. FIG. 4 is a sequence diagram showing main processing in a communication system;
  • FIG. 1 is a conceptual diagram showing the overall configuration of an embodiment of the present invention.
  • FIG. 1 shows, as an example, a case where the communication system 1 of the present embodiment is used for remote control of automatically traveling agricultural machines (hereinafter referred to as "agricultural machines").
  • a communication system 1 is constructed by a communication terminal 2 and a server 4 .
  • the communication terminal 2 and the server 4 can communicate via any of a plurality of networks (local 5G networks 50a, 50b, carrier network 100).
  • the local 5G networks 50a and 50b are dedicated 5G networks (fifth generation mobile networks) built in some areas or buildings and premises by companies and local governments that are not telecommunications carriers.
  • the carrier network 100 is a dedicated 5G network built in a wide area nationwide by a telecommunications carrier (carrier). Note that the three networks shown in FIG. 1 are an example, and other networks may be used.
  • the communication terminal 2 is a small communication computer mounted on the agricultural machine 3 .
  • FIG. 1 also shows the trajectory of the movement route of the agricultural machine 3 equipped with the communication terminal 2.
  • the agricultural machine 3 sequentially moves as the agricultural machines 3a and 3b in the field A, and then moves along the road Y as the agricultural machine 3c. and move in order within the field B as the agricultural machines 3d and 3e.
  • a reference point transmitter/receiver 8a for performing RTK-GPS Real-Time Kinematic GPS
  • a reference point transmitter/receiver 8b for performing RTK-GPS positioning is installed in field A.
  • the communication terminal 2 can specify a precise current position with an error of several centimeters by bRTK-GPS positioning by GPS (Global Positioning System) satellites 9 and reference point transceivers 8a and 8b.
  • GPS Global Positioning System
  • the network to be used depends on the position of the agricultural machine 3 (communication terminal 2) and the user's request (request) in order to support optimum communication quality according to the position of the agricultural machine 3 (communication terminal 2). Switching is performed, and streaming control (video codec, resolution, frame rate, and bit rate control) is performed.
  • Fig. 1 shows a case where the network to be used is switched.
  • the communication terminal 2 communicates with the server 4 using the carrier 5G network 100.
  • FIG. When the agricultural machine 3 is at the position of the agricultural machine 3b, the communication terminal 2 communicates with the server 4 using the local 5G network 50a.
  • the communication terminal 2 communicates with the server 4 using the carrier 5G network 100.
  • FIG. When the agricultural machine 3 is at the position of the agricultural machine 3d, the communication terminal 2 communicates with the server 4 using the local 5G network 50d.
  • the communication terminal 2 communicates with the server 4 using the carrier 5G network 100.
  • FIG. 2 is a hardware configuration diagram of a communication terminal.
  • the communication terminal 2 has a processor 201, a memory 202, an auxiliary storage device 203, a communication device 204, and a GPS (Global Positioning System) device 205.
  • the communication terminal 2 also has an audio input device 206 , an audio output device 207 , a display device 208 , an imaging device 209 , a connection device 210 and a short-range wireless communication device 211 .
  • Each piece of hardware constituting the communication terminal 2 is interconnected via a bus 220 .
  • the processor 201 plays the role of a control unit that controls the communication terminal 2 as a whole, and has various computing devices such as a CPU (Central Processing Unit).
  • the processor 201 reads various programs onto the memory 202 and executes them.
  • the processor 401 may include a GPGPU (General-purpose computing on graphics processing units).
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read onto the memory 202, thereby realizing various functions of the computer.
  • the auxiliary storage device 203 stores various programs and various information used when the various programs are executed by the processor 201 .
  • the communication device 204 is a communication device for transmitting and receiving various information to and from another device (server).
  • GPS device 205 detects the location information of communication terminal 2 .
  • the voice input device 206 detects voice information such as the user's voice and ambient sounds.
  • the audio output device 207 is, for example, a device that outputs audio of various information received from another device (server).
  • the display device 208 is, for example, a device that displays an image of various information received from another device (server).
  • the image capturing device 209 captures images of the user and surroundings and generates image information.
  • the connection device 210 is a connection device used when connecting various sensors, external memories, etc. to the communication terminal 2 .
  • the short-range wireless communication device 211 is a wireless device for performing short-range wireless communication with another device (communication terminal) near the communication terminal 2 .
  • FIG. 3 is a hardware configuration diagram of the server.
  • the server 4 has a processor 401, a memory 402, an auxiliary storage device 403, a connection device 404, a communication device 405, and a drive device 406.
  • a processor 401 the central processing unit 401
  • a memory 402 the main memory
  • an auxiliary storage device 403 the auxiliary storage device 403
  • a connection device 404 the auxiliary storage device 403
  • a communication device 405 the communication device 405
  • Each piece of hardware constituting the server 4 is interconnected via a bus 407 .
  • the processor 401 serves as a control unit that controls the entire server 4, and has various computing devices such as a CPU (Central Processing Unit).
  • the processor 401 reads various programs onto the memory 402 and executes them.
  • the processor 401 may include a GPGPU (General-purpose computing on graphics processing units).
  • the memory 402 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 401 and the memory 402 form a so-called computer, and the computer implements various functions by the processor 401 executing various programs read onto the memory 402 .
  • the auxiliary storage device 403 stores various programs and various information used when the various programs are executed by the processor 401 .
  • the connection device 404 is a connection device that connects an external device (eg, display device 410, operation device 411) and the server 4.
  • an external device eg, display device 410, operation device 4111
  • the communication device 405 is a communication device for transmitting and receiving various information to and from other devices.
  • a drive device 406 is a device for setting a recording medium 430 .
  • the recording medium 430 here includes media for optically, electrically, or magnetically recording information such as CD-ROMs (Compact Disc Read-Only Memory), flexible discs, and magneto-optical discs.
  • the recording medium 430 may also include a semiconductor memory that electrically records information, such as a ROM (Read Only Memory) and a flash memory.
  • auxiliary storage device 403 Various programs to be installed in the auxiliary storage device 403 are installed by, for example, setting the distributed recording medium 430 in the drive device 406 and reading the various programs recorded in the recording medium 430 by the drive device 406. be done. Alternatively, various programs installed in the auxiliary storage device 403 may be installed by being downloaded from the network via the communication device 405 .
  • FIG. 4 is a functional block diagram showing the functional architecture of the communication system in the embodiment of the invention.
  • the communication terminal 2 and the server 4 have respective units (functions), but this is an example, and the communication terminal 2 and the server 4 may have any units (functions).
  • the communication terminal 2 has a position/time information acquisition unit 11, a position/time information distribution unit 12, a network quality measurement unit 24, a streaming control unit 26, a network switching execution unit 27, and a streaming unit 28.
  • Each of these units is a function that the processor 201 implements in the communication terminal 2 using one or more programs installed in the communication terminal 2 .
  • the server 4 includes a terminal location transition management unit 10, a future location estimation unit 13, a network quality management unit 20, a network quality prediction unit 21, a network switching determination unit 22, a streaming setting unit 23, and a network switching notification unit. 25 and a streaming control result manager 30 .
  • These units are functions that the processor 401 causes the server 4 to implement using one or more programs installed in the server 4 .
  • a user request management DB (Data Base) 40 is constructed in the auxiliary storage device 403 of the server 4 .
  • the user request management DB 40 may be constructed in the auxiliary storage device 203 of the communication terminal 2 .
  • FIG. 5 is a conceptual diagram of the user request management DB.
  • the user request management DB 40 is composed of a user request management table as shown in FIG. ) are managed.
  • the user ID, preferred network, fixed video codec, minimum resolution (dpi), minimum frame rate (fps), and minimum bit rate (bps) are Associated and managed.
  • the user ID is an example of user identification information for identifying the user of the communication terminal 2.
  • the used network is information indicating the type of network that the user prefers to use. For example, in FIG. 1, when the agricultural machine 3 is located in the farm field A, both the local 5G network 51a and the carrier network 100 can be used. Considering only the network quality, it is better to use the carrier 5G network 100 when the farm machine 3 moves to the position of the farm machine 3a, and to use the carrier 5G network 50a when the farm machine 3 moves to the position of the farm machine 3b. Sometimes good. However, some users, even if the network quality is temporarily degraded, actively use the local network due to reasons such as the business relationship between the local network operator and the user, and the communication charges being relatively low. You may want to use The "preferred network" column is set to meet the demands (desires) of each user in this way.
  • the preferential use network may be information indicating a specific network instead of the type of network.
  • the preferential use network may be information indicating a specific network instead of the type of network.
  • the local 5G network 50a and the local 5G network 50b are managed as separate networks, and the user preferentially uses the local 5G network 50a, but preferentially Management without the local 5G network 50b is also possible.
  • the fixed video codec is information indicating the fixed video codec used in communication between the communication terminal 2 and the server 4. For example, it is set to meet the demands of users who only want to use H.264. Note that if the setting is "none", the user does not care about the video codec, so the video codec is subject to automatic network quality control.
  • the minimum resolution is information indicating the minimum resolution of video data used in communication between the communication terminal 2 and the server 4. For example, it is set to meet the user's request for a resolution of FHD (Full High Definition) or higher.
  • FHD Full High Definition
  • the minimum frame rate is information indicating the minimum frame rate of video data used in communication between the communication terminal 2 and the server 4. For example, it is set to meet the user's request for a frame rate of 15 fps or higher.
  • the minimum bit rate is information indicating the minimum bit rate of video data used in communication between the communication terminal 2 and the server 4. For example, it is set to meet the user's request for a bit rate of 100 kbps or higher.
  • the terminal position transition management unit 10 manages the route plan of the communication terminal 2 (agricultural machine 3) and the route information indicating the past route of the communication terminal 2 (agricultural machine 3).
  • This route information is, for example, information regarding a future route plan or a past (for example, last year) route in which the agricultural machine 3 moves in the order of the agricultural machines 3a, 3b, 3c, 3d, and 3e in FIG.
  • the position/time information acquisition unit 11 uses the GPS 9 and the reference point transceivers 8a and 8b to acquire position/time information indicating the current position and current time of the communication terminal 2 (agricultural machine 3) by the GPS device 205.
  • the position/time information distribution unit 12 outputs the current position/time information input from the position/time information acquisition unit 11 to the future position estimation unit 13 .
  • the future position estimation unit 13 estimates the future position of the communication terminal 2 (agricultural machine 3) based on the route information input from the terminal position transition management unit 10 and the current position/time information input from the position/time information distribution unit 12. At the same time, the estimated time of arrival (arrival) at this future position is estimated. For example, in FIG. 1, if the agricultural machine 3 is located at the agricultural machine 3a at 9:00, the future position estimation unit 13 estimates that the agricultural machine 3b will move to the position of the agricultural machine 3b at 9:30 in 30 minutes. Note that the future position may be indicated in a form including not only the absolute position on the earth but also the transition range of movement, the possibility of movement, and the like. The future position estimation unit 13 outputs estimation result information (future movement position, predicted time) indicating the estimation result to the network quality prediction unit 21 .
  • the network quality control unit 20 outputs network quality heat map information to the network quality prediction unit 21 based on a request for network quality heat map information from the network quality prediction unit 21 .
  • the network quality heat map information is information that indicates network quality, which varies according to location, by shading. This network quality heat map information indicates the network quality actually measured in the field such as field A in advance.
  • the network quality prediction unit 21 inputs the estimation result information output by the future position estimation unit 13, and inputs the network quality heat map information from the network quality control unit 20, so that the future position and the above-mentioned position are obtained. Based on the network quality, predict the network quality at the future location. For example, even if the agricultural machine 3 (communication terminal 2) is located at the agricultural machine 3a in FIG. 1, the network quality prediction unit 21 can predict the network quality when it is located at the agricultural machine 3b at the predicted time. The network quality prediction unit 21 then outputs network quality prediction information indicating the predicted network quality to the network switching determination unit 22 and the streaming setting unit 23 .
  • the network quality prediction information is information indicating the predicted communication quality of all networks that the communication terminal 2 may use for data transmission.
  • the network switching determination section 22 determines the specific network to switch to and the time to switch. In this case, the network switching determination unit 22 further considers the user request management DB 40 to finally determine the specific network to switch to. For example, in FIG. 5, when the preferential use network is set to "local", the network switching determination unit 22 determines that the network quality is better when using the carrier 5G network 100 based on the network quality prediction information. However, it is determined to preferentially use the local 5G network 50a (50b).
  • the network switching determination unit 22 outputs network switching determination information indicating the final switching determination result to the streaming setting unit 23 and the network switching notification unit 25 .
  • the network switching determination information output to the network switching notification unit 25 includes the network switching determination information input from the network switching determination unit 22 in addition to the content indicating the specific network to be switched to.
  • output timing information indicating the timing of outputting the network switching instruction to the network switching execution unit 27 may be included (second method). Note that t1 is 5 seconds.
  • the streaming setting unit 23 receives network quality prediction information (predicted network quality) from the network quality prediction unit 21, a network switching instruction from the network switching determination unit 22, network quality measurement information from the network quality measurement unit 24, and streaming. Based on the streaming control result feedback information from the control result management unit 30, the streaming settings (bit rate estimation value, control timing, etc.) in the communication between the communication terminal 2 and the server 4 are executed at the predicted time.
  • network quality prediction information predicted network quality
  • the streaming settings bit rate estimation value, control timing, etc.
  • the streaming setting unit 23 finally executes the streaming setting in consideration of the user instruction management DB 40. For example, in FIG. 5, when the minimum bit rate is set to "10 Mbps", even if the streaming setting unit 23 determines that the bit rate should be 1 Mbps based on the network quality measurement information, Since it cannot be lowered, other streaming parameters (video codec, resolution, frame rate) are changed within the range set by the user.
  • the streaming setting unit 23 not only receives network quality measurement information from the network quality measurement unit 24 but also receives network determination information from the network switching determination unit 22 to control network switching and streaming.
  • Engage control For example, in FIG. 1, when the agricultural machine 3 (communication terminal 2) moves from the position of the agricultural machine 3a to the position of the agricultural machine 3b, the network to be used is switched from the local 5G network 50a to the carrier 5G network 100. At this switching timing Controls streaming (bit rate, etc.). Note that they do not necessarily have to be linked.
  • the functional units (21, 23, 25, 26, 40) surrounded by dashed lines are involved in interlocking of streaming setting and network switching.
  • the streaming setting unit 23 outputs streaming setting information indicating the details of streaming settings to the streaming control unit 26 .
  • the streaming setting information includes the contents of streaming set parameters (video codec, resolution, frame rate, and bit rate) (first method).
  • the streaming setting information includes parameters for streaming to the streaming unit 28 after t2 seconds (waiting for t2 seconds) after the streaming control unit 26 inputs the streaming setting information from the streaming setting unit 23.
  • Output timing information indicating the timing of outputting the setting signal may be included (second method). Note that the above-mentioned t1 and t2 may be the same time.
  • the network quality measurement unit 24 always measures the communication quality of each network.
  • the network switching notification unit 25 outputs a switching instruction for switching to the switching destination determined by the network switching determination unit 22 to the network switching execution unit 27 that performs network switching.
  • the streaming control unit 26 outputs streaming setting signals (video codec, resolution, frame rate, and bit rate control signals) to the streaming unit 28 based on the streaming setting information from the streaming setting unit 23 .
  • the network switching execution unit 27 performs network switching based on the network switching instruction output from the network switching notification unit 25 .
  • the streaming unit 28 performs streaming setting (switching) based on streaming setting signals (video codec, resolution, frame rate, and bit rate control signals) output from the streaming control unit 26 .
  • the streaming control result management unit 30 manages streaming control results, and feeds back the streaming control results to the streaming setting unit 23.
  • FIG. 6 is a sequence diagram showing main processing in the communication system. Note that the network quality prediction unit 21 has input the estimation result information output by the future position estimation unit 13 before the processing shown in FIG. 6 is performed.
  • the network quality prediction unit 21 outputs network quality prediction information to the network switching determination unit 22 (S11). Similarly, the network quality prediction unit 21 outputs network quality prediction information to the streaming setting unit 23 (S12). Thereby, the network switching determination unit 22 and the streaming setting unit 23 each receive network quality prediction information.
  • the network quality measurement unit 24 outputs network quality measurement information to the streaming setting unit 23 (S13). Thereby, the streaming setting unit 23 inputs the network quality measurement information.
  • the network switching determination unit 22 outputs network switching determination information to the network switching notification unit 25 based on the network quality prediction information and the user request management information managed by the user request management DB 40 (S14). . Similarly, the network switching determination unit 22 outputs network switching determination information to the streaming setting unit 23 based on the network quality prediction information and the user request management information managed by the user request management DB (S15).
  • the streaming setting unit 23 outputs streaming setting information (bit rate, etc.) to the streaming control unit 26 (S16). Thereby, the streaming control unit 26 inputs the streaming setting information.
  • the network switching notification unit 25 outputs a network switching instruction to the network switching execution unit 27 (S17).
  • the network switching execution unit 27 inputs a network switching instruction.
  • the network switching notification unit 25 outputs a network switching instruction to the network switching execution unit 27 (S17).
  • the network switching execution unit 27 receives a network switching instruction and performs network switching based on the network switching instruction. For example, in FIG. 1, the network switching execution unit 27 switches from the carrier 5G network 100 to the local 5G network 50a when the agricultural machine 3 (communication terminal 2) moves from the position of the agricultural machine 3a to the position of the agricultural machine 3b.
  • the streaming control unit 26 outputs a streaming setting signal (bit rate control signal, etc.) to the streaming unit 28 (S18).
  • the streaming unit 28 receives the streaming setting signal and changes the streaming setting.
  • the streaming unit 28 switches the bit rate of the image data from 10 Mbps to 1 Mbps when the agricultural machine 3 (communication terminal 2) moves from the position of the agricultural machine 3a to the position of the agricultural machine 3b.
  • the streaming setting unit 23 grasps the timing of network switching in advance, so that optimum control can be continued by control (bit rate control, etc.) based on the predicted quality of the network of the switching destination. Also, even if the streaming setting unit 23 cannot grasp the network switching timing, if the prediction quality of all networks that may be used for transmission is grasped, in addition to the prediction quality of the network in use, the switching destination By controlling communication (bit rate control, etc.) according to the worst value considering the predicted quality of the candidate network, real-time reception of images with a certain quality or more can be continued except when the network quality is absolutely insufficient. It is feasible.
  • the worst value in addition to the case where the worst value is always considered, the absolute value of the predicted quality of the network that is grasped or a sign of the occurrence of network switching is detected from the change, and according to the detection of the sign .
  • communication control control of bit rate, etc.
  • the worst value considering the predicted quality of the network of the switching destination candidate is better than the case where the worst value is always considered. Appropriate control becomes possible.
  • a plurality of information sources eg, network quality prediction unit 21, network switching determination unit 22
  • streaming setting unit 23 may be provided.
  • the linkage is not performed. After extracting the necessary control destination, streaming can be controlled simultaneously or in cooperation based on the proposed method.
  • the streaming setting unit 23 measures and grasps in advance the time t from the network switching determination information until the network is actually switched, and when network switching is involved, the selected settings (bit rate, etc.) Delays application by time t minutes. As a result, it is possible to prevent the control of the bit rate and the like from being preceded by the time t, so that there is no discrepancy between the settings (the bit rate to be set and the bit rate to be set).
  • the streaming control result management unit 30 stores network quality prediction results, network quality measurement results, streaming settings (bit rate estimated value, etc.), control timing, streaming (bit rate, etc.) control results (actual user's subjective quality and the AI image recognition rate) is applied to the streaming setting unit 23, it is possible to improve the accuracy of streaming (bit rate) control.
  • the present invention is not limited to the above-described embodiments, and may be configured or processed (operations) as described below.
  • the communication terminal 2 and server 4 can also be realized by a computer and a program, but it is also possible to record this program on a recording medium or provide it through a network such as the Internet.
  • the communication target is video data, but the communication target is not limited to this.
  • communication targets include five senses data (contact data, smell data, etc.), sound data (uncompressed live sound source data, music data, etc.), game data, data related to rendering for xR (x Reality), etc. good.
  • the movement of the agricultural machine 3 has been described as the moving body, but the movement is not limited to this.
  • the mobile object may be an airplane, a ship, an automobile, a bicycle, or the like.
  • the network switching determination unit 22 determines the switching destination of the network used by the communication terminal 2 and the server 4 based on the network quality predicted by the network quality prediction unit 21. Processing is only an example. Also, the network switching determination unit 22 is merely an example of a network control determination unit. For example, the network control decision unit may decide to increase or decrease the bandwidth of the network, or change the priority of network priority control (see FIG. 5). In this case, a network control notification unit such as the network switching notification unit 25 instructs a network control execution unit such as the network switching execution unit 27 to perform the control determined by the network control determination unit 22. Output.
  • terminal location shift management unit (an example of terminal location shift management means) 11 location and time information acquisition unit (an example of location and time information acquisition means) 12 location and time information delivery unit (an example of location and time information delivery means) 13 future position estimation unit (an example of future position estimation means) 20
  • Network quality control unit (an example of network quality control means) 21 network quality prediction unit (an example of network quality prediction means) 22
  • Network switching determination unit (an example of network switching determination means, an example of network control determination means)
  • Streaming setting unit (an example of streaming setting means) 24
  • Network quality measurement unit (an example of network quality measurement means) 25
  • Network switching notification unit (an example of network switching notification means, an example of network control notification means)
  • Streaming control unit (an example of streaming control means) 27
  • Network switching execution unit (an example of network switching execution means, an example of network control execution means) 28
  • Streaming unit (an example of streaming means) 30 streaming control result management unit 40
  • user request management DB an example of user request management means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本開示内容は、様々な状況で要求される画像データ等のデータの品質を保つことを目的とする。　そこで、本開示内容では、データの送受信を行う通信端末及びサーバによって構築された通信システムであって、通信端末の経路計画又は過去の経路を示す経路情報、及び通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、通信端末の未来位置及び未来位置に到達する予測時刻を推定する手段と、位置に応じたネットワーク品質を管理する手段と、未来位置及び位置に応じたネットワーク品質に基づいて、未来位置におけるネットワーク品質を予測する手段と、予測された前記ネットワーク品質に基づいて、予測時刻に通信端末とサーバの通信におけるストリーミング設定を行う手段と、ストリーミング設定に基づいてストリーミング制御を行う手段とを有する。

Description

通信システム、通信方法及びプログラム
　本開示内容は、通信システム、通信方法及びプログラムに関する。
　カメラやLiDAR(Light Detection and Ranging)等のセンサで取得できる端末側の情報をネットワーク経由でエッジ又はクラウド側の情報処理基盤に伝送し、人やAI(Artificial Intelligence)などの情報の利用者向けに情報処理及び加工を施す、その上で必要に応じて情報処理基盤（サーバ）側から通信端末側を制御するような信号を下り方向に伝送する、といったエッジ又はクラウドコンピューティングが様々な分野で活用されている。
　スマート農業やコネクティッドカー関連では、通信端末側で取得できる情報に基づいて遠隔から監視又は制御するようなユースケースが検討されており、自動運転の安全確保やダイナミックマップの作成を目的とした技術の実用化が進んでいる。
　センサ情報の中で、画像は人やAI(Artificial Intelligence)向けへの活用用途が多岐にわたる、また直感的に目視できる情報としてとっつきやすい一方で比較的大容量であるため、リアルタイムな情報伝送には工夫やある程度のコストがかかる側面から、画像ストリーミングの制御については様々な分野で関連技術が検討されている。
　遠隔からの監視又は制御では、ネットワークを含む環境や監視主体が変動したり、多様だったりすることにより、通信端末が受信する画像やデータ等の品質が変動する。そのため、従来技術として、ある一定以上の品質を保つために、伝送に使用するネットワークの状態と、情報処理基盤側における画像の受信主体（画像の活用方法）に応じて、ビットレートを適切に制御及び適宜変更する方式（既存技術の組み合わせ）が考えられている（非特許文献１，２）。
木村ら、QoEを保ちながらトラヒック量を削減する画像ビットレート選択方式、信学技報、2017.7 若尾ら、複数無線アクセス最適利用のための品質予測技術、NTT技術ジャーナル、2020.4
　しかしながら、これらの従来技術では、通信端末が情報伝送に使用するネットワークの切り替え時など、ネットワークの状態が離散的に変化する場合、同一のネットワークの使用継続を前提とした連続的な状態変化を想定する「ネットワークの状態予測」と情報伝送に使用する「実際のネットワークの状態」に差が生じることで、適切な選択ができずに所望の品質を保つことができないという課題があった。
　本発明は、上記の点に鑑みてなされたものであり、様々な状況で要求される画像データ等のデータの品質を保つことを目的とする。
　上記目的を達成するため、請求項１に係る発明は、データの送受信を行う通信端末及びサーバによって構築された通信システムであって、前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末と前記サーバの通信におけるストリーミング設定を行うストリーミング設定手段と、前記ストリーミング設定に基づいて、ストリーミング制御を行うストリーミング制御手段と、を有する通信システムである。
　以上説明したように本発明によれば、様々な状況で要求されるデータの品質を保つことができるという効果を奏する。
本発明の実施形態における全体構成を示した概念図である。 本発明の実施形態における通信端末のハードウェア構成図である。 本発明の実施形態におけるサーバのハードウェア構成図である。 本発明の実施形態における通信システムの機能アーキテクチャを機能ブロック図である。 ユーザ要求管理ＤＢの概念図である。 通信システムにおける主な処理を示すシーケンス図である。
　〔全体構成の概略〕
　図１は、本発明の実施形態における全体構成を示した概念図である。図１では、本実施形態の通信システム１が、一例として、自動走行する農業機械（以下、農業機械を「農機」と示す）の遠隔制御に利用される場合が示されている。通信システム１は、通信端末２及びサーバ４によって構築されている。
　また、通信端末２及びサーバ４は、複数のネットワーク（ローカル５Ｇネットワーク５０ａ，５０ｂ、キャリアネットワーク１００）のいずれかを介して通信することができる。ローカル５Ｇネットワーク５０ａ，５０ｂは、通信事業者ではない企業や自治体が、一部のエリア又は建物及び敷地内に構築した専用の５Ｇネットワーク（第５世代のモバイルネットワーク）である。キャリアネットワーク１００は、通信事業者（キャリア）が、全国の広範囲のエリアに構築した専用の５Ｇネットワークである。なお、図１に示された３つのネットワークは一例であり、他のネットワークであってもよい。
　また、通信端末２は、農機３に搭載される小型の通信用コンピュータである。
　図１では、圃場Ａと圃場Ｂが示され、圃場Ａと圃場Ｂは道路Ｙによってつながっている。また、図１では、通信端末２を搭載した農機３の移動経路の軌跡が示されており、農機３は、圃場Ａ内で農機３ａ，３ｂとして順に移動した後、農機３ｃとして道路Ｙを移動し、圃場Ｂ内で農機３ｄ，３ｅとして順に移動することを示している。
　また、圃場Ａには、ＲＴＫ－ＧＰＳ(Real-Time Kinematic GPS)測位を行うための基準点送受信機８ａが設置されている。同様に、圃場Ｂには、ＲＴＫ－ＧＰＳ測位を行うための基準点送受信機８ｂが設置されている。通信端末２は、ＧＰＳ(Global Positioning System)衛星９及び基準点送受信機８ａ、８ｂによるｂＲＴＫ－ＧＰＳ測位により、誤差が数ｃｍ程度の精密な現在位置を特定することができる。
　本実施形態では、農機３（通信端末２）の位置に応じて最適な通信品質に対応すべく、農機３（通信端末２）の位置及びユーザの要求（要望）に応じて、使用するネットワークが切り替えられたり、ストリーミング制御（動画コーデック、解像度、フレームレート、及びビットレートの制御）が行われたりする。
　図１では、使用するネットワークが切り替えられる場合が示されている。例えば、農機３が農機３ａの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。農機３が農機３ｂの位置の場合には、通信端末２はローカル５Ｇネットワーク５０ａを使用してサーバ４と通信する。農機３が農機３ｃの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。農機３が農機３ｄの位置の場合には、通信端末２はローカル５Ｇネットワーク５０ｄを使用してサーバ４と通信する。農機３が農機３ｅの位置の場合には、通信端末２はキャリア５Ｇネットワーク１００を使用してサーバ４と通信する。
　〔ハードウェア構成〕
　＜通信端末のハードウェア構成＞
　まずは、図２を用いて、通信端末２のハードウェア構成について説明する。図２は、通信端末のハードウェア構成図である。
　図２に示されているように、通信端末２は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、通信装置２０４、ＧＰＳ（Global Positioning System）装置２０５を有する。また、通信端末２は、音声入力装置２０６、音声出力装置２０７、表示装置２０８、撮像装置２０９、接続装置２１０、近距離無線通信装置２１１を有する。なお、通信端末２を構成する各ハードウェアは、バス２２０を介して相互に接続される。
　プロセッサ２０１は、通信端末２全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラムをメモリ２０２上に読み出して実行する。なお、プロセッサ４０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種情報を格納する。
　通信装置２０４は、他の装置（サーバ）との間で各種情報を送受信するための通信デバイスである。ＧＰＳ装置２０５は、通信端末２の位置情報を検出する。
　音声入力装置２０６は、ユーザの音声や、周囲の音等の音声情報を検出する。音声出力装置２０７は、例えば、他の装置（サーバ）から受信した各種情報等を音声出力するデバイスである。
　表示装置２０８は、例えば、他の装置（サーバ）から受信した各種情報を画像表示するデバイスである。
　撮像装置２０９は、ユーザや周囲を撮影し、画像情報を生成する。
　接続装置２１０は、通信端末２に、各種センサや外付けメモリ等を接続する際に用いる接続デバイスである。
　近距離無線通信装置２１１は、通信端末２の近くの他の装置（通信端末）との間で、近距離無線通信を行うための無線デバイスである。
　＜サーバのハードウェア構成＞
　次に、図３を用いて、サーバ４のハードウェア構成について説明する。図３は、サーバのハードウェア構成図である。
　図３に示されているように、サーバ４は、プロセッサ４０１、メモリ４０２、補助記憶装置４０３、接続装置４０４、通信装置４０５、ドライブ装置４０６を有する。なお、サーバ４を構成する各ハードウェアは、バス４０７を介して相互に接続される。
　プロセッサ４０１は、サーバ４全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ４０１は、各種プログラムをメモリ４０２上に読み出して実行する。なお、プロセッサ４０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。
　メモリ４０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ４０１とメモリ４０２とは、いわゆるコンピュータを形成し、プロセッサ４０１が、メモリ４０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置４０３は、各種プログラムや、各種プログラムがプロセッサ４０１によって実行される際に用いられる各種情報を格納する。
　接続装置４０４は、外部装置（例えば、表示装置４１０、操作装置４１１）とサーバ４とを接続する接続デバイスである。
　通信装置４０５は、他の装置との間で各種情報を送受信するための通信デバイスである。
　ドライブ装置４０６は記録媒体４３０をセットするためのデバイスである。ここでいう記録媒体４３０には、ＣＤ－ＲＯＭ(Compact Disc Read-Only Memory)、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４３０には、ＲＯＭ(Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置４０３にインストールされる各種プログラムは、例えば、配布された記録媒体４３０がドライブ装置４０６にセットされ、該記録媒体４３０に記録された各種プログラムがドライブ装置４０６により読み出されることでインストールされる。あるいは、補助記憶装置４０３にインストールされる各種プログラムは、通信装置４０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　〔通信システムの機能構成〕
　続いて、図４を用いて、通信システムの機能構成について説明する。図４は、本発明の実施形態における通信システムの機能アーキテクチャを示す機能ブロック図である。図４では、通信端末２とサーバ４がそれぞれ各部（機能）を有しているが、これは一例であり、通信端末２とサーバ４は、どの部（機能）を有していてもよい。
　図４では、通信端末２は、位置時刻情報取得部１１、位置時刻情報配信部１２、ネットワーク品質計測部２４、ストリーミング制御部２６、ネットワーク切替実施部２７、及びストリーミング部２８を有している。これら各部は、通信端末２にインストールされた１以上のプログラムを使用して、プロセッサ２０１が通信端末２に実現させる機能である。
　また、図４では、サーバ４が、端末位置遷移管理部１０、未来位置推定部１３、ネットワーク品質管理部２０、ネットワーク品質予測部２１、ネットワーク切替判断部２２、ストリーミング設定部２３、ネットワーク切替通知部２５、及びストリーミング制御結果管理部３０を有している。これら各部は、サーバ４にインストールされた１以上のプログラムを使用して、プロセッサ４０１がサーバ４に実現させる機能である。更に、サーバ４の補助記憶装置４０３には、ユーザ要求管理ＤＢ(Data Base)４０が構築されている。なお、通信端末２の補助記憶装置２０３にユーザ要求管理ＤＢ４０が構築されてもよい。
　＜ユーザ要求管理ＤＢ＞
　次に、図５を用いて、ユーザ要求管理ＤＢ４０について説明する。図５はユーザ要求管理ＤＢの概念図である。ユーザ要求管理ＤＢ４０は、図５に示されるようにユーザ要求管理テーブルによって構成されており、予め通信端末２のユーザとサーバ４の運営者との間で取り決めた、ユーザの要求（優先度の内容）が管理されている。
　図５に示されているように、ユーザ要求管理テーブルでは、ユーザＩＤ、優先使用ネットワーク、固定の動画コーデック、最低限解像度(dpi)、最低フレームレート(fps)、及び最低ビットレート(bps)が関連付けられて管理されている。
　これらのうち、ユーザＩＤは、通信端末２のユーザを識別するためのユーザ識別情報の一例である。
　使用ネットワークは、ユーザが優先して使用したいネットワークの種類を示す情報である。例えば、図１において、農機３が圃場Ａ内に位置する場合、ローカル５Ｇネットワーク５１ａとキャリアネットワーク１００のいずれも使用可能である。ネットワーク品質だけを考慮すると、農機３が農機３ａの位置に移動したときには、キャリア５Ｇのネットワーク１００を使用し、農機３が農機３ｂの位置に移動したときには、キャリア５Ｇのネットワーク５０ａを使用した方が良い場合がある。しかし、ユーザによっては、一時的にネットワーク品質が落ちても、地元のローカルネットワーク運営業者とユーザとの仕事的な関係や、通信料金が比較的低額である等の理由により、積極的にローカルネットワークを使用したい場合がある。「優先使用ネットワーク」のカラムは、このように各ユーザの要求（要望）に応えるように設定されている。
　なお、優先使用ネットワークは、ネットワークの種類ではなく、特定のネットワークを示す情報であってもよい。例えば、図１では、同じローカル５Ｇネットワークであっても、ローカル５Ｇネットワーク５０ａとローカル５Ｇネットワーク５０ｂは、別のネットワークとして管理され、ユーザは、優先的にローカル５Ｇネットワーク５０ａを使用するが、優先的にローカル５Ｇネットワーク５０ｂを使用しない管理も可能である。
　固定の動画コーデックは、通信端末２とサーバ４との通信において使用する固定の動画コーデックを示す情報である。例えば、H.264しか使用したくないユーザの要求に応えるように設定される。なお、設定が「なし」の場合は、ユーザが動画コーデックに拘っていないため、動画コーデックは、ネットワーク品質の自動制御の対象になる。
　最低解像度は、通信端末２とサーバ４との通信において使用する動画データの最低の解像度を示す情報である。例えば、ＦＨＤ(Full High Definition)以上の解像度にしたいというユーザの要求に応えるように設定される。
　最低フレームレートは、通信端末２とサーバ４との通信において使用する動画データの最低のフレームレートを示す情報である。例えば、１５ｆｐｓ以上のフレームレートにしたいというユーザの要求に応えるように設定される。
　最低ビットレートは、通信端末２とサーバ４との通信において使用する動画データの最低のビットレートを示す情報である。例えば、１００ｋｂｐｓ以上のビットレートにしたいというユーザの要求に応えるように設定される。
　＜通信システムの各機能構成＞
　続いて、図４に戻り、各機能部について説明する。なお、以降、「出力」及び「入力」は、ネットワークを介する場合、それぞれ「送信」及び「受信」と表現可能である。
　端末位置遷移管理部１０は、通信端末２（農機３）の経路計画、過去の通信端末２（農機３）の経路を示す経路情報を管理している。この経路情報は、例えば、図１において、農機３は、農機３ａ，３ｂ，３ｃ，３ｄ，３ｅの順番に移動する今後の経路計画又は過去（例えば、昨年）の経路に関する情報である。
　位置時刻情報取得部１１は、ＧＰＳ９と基準点送受信機８ａ，８ｂを利用し、ＧＰＳ装置２０５によって、通信端末２（農機３）の現在位置及び現在時刻を示す位置時刻情報を取得する。
　位置時刻情報配信部１２は、位置時刻情報取得部１１から入力した現在の位置時刻情報を、未来位置推定部１３に出力する。
　未来位置推定部１３は、端末位置遷移管理部１０から入力した経路情報、及び位置時刻情報配信部１２から入力した現在の位置時刻情報に基づいて、通信端末２（農機３）の未来位置を推定すると共に、この未来位置に到達（到着）する予測時刻を推定する。例えば、図１において、9:00現在、農機３が農機３ａ位置する場合、未来位置推定部１３は、３０分後の9:30には農機３ｂの位置に移動すると推定する。なお、未来位置は、地球上の絶対位置だけでなく、移動の遷移範囲や移動の可能性等を含む形式で示されていてもよい。未来位置推定部１３は、ネットワーク品質予測部２１に対して、推定結果を示す推定結果情報（未来の移動位置、予測時刻）を出力する。
　ネットワーク品質管理部２０は、ネットワーク品質予測部２１からのネットワーク品質ヒートマップ情報の要求に基づいて、ネットワーク品質予測部２１に対しネットワーク品質ヒートマップ情報を出力する。ネットワーク品質ヒートマップ情報は、位置に応じて異なるネットワーク品質を濃淡により示す情報である。このネットワーク品質ヒートマップ情報は、予め、圃場Ａ等の現場で実際に計測されたネットワーク品質を示している。
　ネットワーク品質予測部２１は、未来位置推定部１３によって出力された推定結果情報を入力すると共に、ネットワーク品質管理部２０からネットワーク品質ヒートマップ情報を入力することで、未来位置及び上述の位置に応じたネットワーク品質に基づいて、未来位置におけるネットワーク品質を予測する。例えば、ネットワーク品質予測部２１は、図１において、農機３（通信端末２）が農機３ａに位置していても、予測時刻に農機３ｂに位置する場合のネットワーク品質を予測することができる。そして、ネットワーク品質予測部２１は、ネットワーク切替判断部２２及びストリーミング設定部２３に対して、予測したネットワーク品質を示すネットワーク品質予測情報を出力する。ネットワーク品質予測情報は、通信端末２がデータ伝送に使用する可能性がある全てのネットワークの予測した通信品質を示す情報である。
　ネットワーク切替判断部２２は、ネットワーク品質予測部２１からのネットワーク品質予測情報に基づいて、切り替え先の特定のネットワークと切り替える時刻を判断する。この場合、ネットワーク切替判断部２２は、更に、ユーザ要求管理ＤＢ４０を考慮して、最終的に切り替え先の特定のネットワークを判断する。例えば、図５において、優先使用ネットワークが「ローカル」に設定されている場合、ネットワーク切替判断部２２は、ネットワーク品質予測情報に基づいてキャリア５Ｇネットワーク１００を使用した方が、ネットワーク品質が良いと判断しても、ローカル５Ｇネットワーク５０ａ（５０ｂ）を優先的に使用すると判断する。
　そして、ネットワーク切替判断部２２は、ストリーミング設定部２３及びネットワーク切替通知部２５に対して、最終的な切り替えの判断結果を示すネットワーク切替判断情報を出力する。なお、ネットワーク切替通知部２５に出力されるネットワーク切替判断情報には、切り替え先の特定のネットワークを示す内容以外に、ネットワーク切替通知部２５が、ネットワーク切替判断部２２からネットワーク切替判断情報を入力してからｔ１秒後（ｔ１秒待って）、ネットワーク切替実施部２７にネットワーク切替指示を出力するタイミングを示す出力タイミング情報が含まれていてもよい（第２の方式）。なお、ｔ１は５秒である。
　ストリーミング設定部２３は、ネットワーク品質予測部２１からのネットワーク品質予測情報（予測されたネットワーク品質）、ネットワーク切替判断部２２からのネットワーク切替指示、ネットワーク品質計測部２４からのネットワーク品質計測情報、及びストリーミング制御結果管理部３０からのストリーミング制御結果フィードバック情報に基づいて、予測時刻に通信端末２とサーバ４の通信におけるストリーミング設定（ビットレート推定値、制御タイミング等）を実行する。
　更に、ストリーミング設定部２３は、ユーザ指示管理ＤＢ４０を考慮して、最終的にストリーミング設定を実行する。例えば、図５において、最低ビットレートが「１０Ｍｂｐｓ」に設定されている場合、ストリーミング設定部２３は、ネットワーク品質計測情報等に基づいて、ビットレートを１Ｍｂｐｓにすると判断しても、１０Ｍｂｐｓ未満には下げることができないため、他のストリーミングのパラメータ（動画コーデック、解像度、フレームレート）をユーザによる設定範囲内において変更する。
　また、本実施形態では、ストリーミング設定部２３は、ネットワーク品質計測部２４からネットワーク品質計測情報を入力するだけでなく、ネットワーク切替判断部２２からネットワーク判断情報を入力することで、ネットワーク切替制御とストリーミング制御を連動させる。例えば、図１において、農機３（通信端末２）が、農機３ａの位置から農機３ｂの位置に移動した場合、使用するネットワークをローカル５Ｇネットワーク５０ａからキャリア５Ｇネットワーク１００に切り替えるが、この切り替えるタイミングでストリーミング（ビットレート等）制御を行う。なお、必ずしも連動させなくてもよい。なお、図４において、破線で囲まれた機能部（２１，２３，２５，２６，４０）は、ストリーミング設定とネットワーク切替の連動に関与する部分である。
　そして、ストリーミング設定部２３は、ストリーミング制御部２６に、ストリーミング設定内容を示すストリーミング設定情報を出力する。この場合、ストリーミング設定情報には、ストリーミング設定されたパラメータ（動画コーデック、解像度、フレームレート、及びビットレート）の内容が含まれている（第１の方式）。なお、ストリーミング設定情報には、ストリーミング設定されたパラメータ以外に、ストリーミング制御部２６が、ストリーミング設定部２３からストリーミング設定情報を入力してからｔ２秒後（ｔ２秒待って）、ストリーミング部２８にストリーミング設定信号を出力するタイミングを示す出力タイミング情報が含まれていてもよい（第２の方式）。なお、上述のｔ１とｔ２は同じ時間であってもよい。
　ネットワーク品質計測部２４は、常時、各ネットワークの通信品質を計測する。
　ネットワーク切替通知部２５は、ネットワーク切替判断部２２によって判断された切り替え先に切り替える旨の切替指示を、ネットワークの切り替えを実施するネットワーク切替実施部２７に出力する。
　ストリーミング制御部２６は、ストリーミング設定部２３からのストリーミング設定情報に基づき、ストリーミング部２８に対して、ストリーミング設定信号（動画コーデック、解像度、フレームレート、及びビットレートの各制御信号）を出力する。
　ネットワーク切替実施部２７は、ネットワーク切替通知部２５から出力されたネットワーク切替指示に基づいて、ネットワークの切り替えを実施する。
　ストリーミング部２８は、ストリーミング制御部２６から出力されたストリーミング設定信号（動画コーデック、解像度、フレームレート、及びビットレートの各制御信号）に基づいて、ストリーミング設定（切り替え）を実行する。
　ストリーミング制御結果管理部３０は、ストリーミング制御結果を管理しており、ストリーミング設定部２３に対して、ストリーミング制御結果をフィードバックする。
　〔実施形態の処理又は動作〕
　続いて、図６を用いて、通信システム１における主な処理を説明する。図６は、通信システムにおける主な処理を示すシーケンス図である。なお、図６に示される処理に至るまでに、ネットワーク品質予測部２１は、未来位置推定部１３によって出力された推定結果情報を入力している。
　まず、ネットワーク品質予測部２１は、ネットワーク切替判断部２２に対して、ネットワーク品質予測情報を出力する（Ｓ１１）。同様に、ネットワーク品質予測部２１は、ストリーミング設定部２３に対して、ネットワーク品質予測情報を出力する（Ｓ１２）。これにより、ネットワーク切替判断部２２、及びストリーミング設定部２３は、それぞれネットワーク品質予測情報を入力する。
　次に、ネットワーク品質計測部２４は、ストリーミング設定部２３に対して、ネットワーク品質計測情報を出力する（Ｓ１３）。これにより、ストリーミング設定部２３は、ネットワーク品質計測情報を入力する。
　続いて、ネットワーク切替判断部２２は、ネットワーク品質予測情報及びユーザ要求管理ＤＢ４０で管理されているユーザ要求管理情報に基づいて、ネットワーク切替通知部２５に対し、ネットワーク切替判断情報を出力する（Ｓ１４）。同様に、ネットワーク切替判断部２２は、ネットワーク品質予測情報及びユーザ要求管理ＤＢで管理されているユーザ要求管理情報に基づいて、ストリーミング設定部２３に対し、ネットワーク切替判断情報を出力する（Ｓ１５）。
　次に、ストリーミング設定部２３は、ストリーミング制御部２６に対して、ストリーミング設定情報（ビットレート等）を出力する（Ｓ１６）。これにより、ストリーミング制御部２６は、ストリーミング設定情報を入力する。
　また、ネットワーク切替通知部２５は、ネットワーク切替実施部２７に対して、ネットワーク切替指示を出力する（Ｓ１７）。これにより、ネットワーク切替実施部２７は、ネットワーク切替指示を入力する。
　一方、ネットワーク切替通知部２５は、ネットワーク切替実施部２７に対して、ネットワーク切替指示を出力する（Ｓ１７）。これにより、ネットワーク切替実施部２７は、ネットワーク切替指示を入力し、ネットワーク切替指示に基づいて、ネットワークの切り替えを実施する。例えば、図１において、ネットワーク切替実施部２７は、農機３（通信端末２）が農機３ａから農機３ｂの位置に移動した場合に、キャリア５Ｇネットワーク１００からローカル５Ｇネットワーク５０ａに切り替える。
　また、ストリーミング制御部２６は、ストリーミング部２８に対して、ストリーミング設定信号（ビットレート制御信号等）を出力する（Ｓ１８）。これにより、ストリーミング部２８は、ストリーミング設定信号を入力し、ストリーミング設定を変更する。例えば、ストリーミング部２８は、農機３（通信端末２）が農機３ａから農機３ｂの位置に移動した場合に、画像データのビットレートを１０Ｍｂｐｓから１Ｍｂｐｓに切り替える。
　〔実施形態の主な効果〕
　以上のように、ストリーミング設定部２３がネットワーク切替のタイミングを事前把握することで、切り替え先のネットワークの予測品質に基づいた制御（ビットレート制御等）により最適制御を継続可能となる。また、ストリーミング設定部２３がネットワーク切替タイミングを把握できない場合でも、伝送に使用する可能性がある全てのネットワークの予測品質を把握している場合、使用中のネットワークの予測品質に加えて、切り替え先候補のネットワークの予測品質も考慮した最悪値に応じて通信制御（ビットレート制御等）することで、ネットワーク品質が絶対的に不足する場合を除いて、ある一定品質以上の画像のリアルタイム受信継続を実現可能である。
　また、上述のように、常に最悪値を考慮する場合に加えて、把握しているネットワークの予測品質の絶対値又は、その推移からネットワークの切り替え発生の予兆を検知し、予兆の検知に応じて、使用中のネットワークの予測品質に加えて、切り替え先候補のネットワークの予測品質も考慮した最悪値に応じて通信制御（ビットレート等の制御）することで、常に最悪値を考慮する場合よりも適切な制御が可能となる。
　なお、情報ソース（例えば、ネットワーク品質予測部２１、ネットワーク切替判断部２２）やストリーミング設定部２３は複数であってもよい。この場合、例えば、ユーザ（人）の目視向けストリーミング設定部２３とＡＩ学習、及び画像認識向けストリーミング設定部２３の２種類が、ネットワークの切替と連動すべき制御対象として存在する場合でも、連動が必要な制御先を抽出した上で提案方式に基づいて同時に又は連携してストリーミングを制御可能である。
　＜ネットワーク切替の所要時間も考慮した制御＞
　ネットワーク切替指示から実際に特定のネットワークに切り替えられるまでの時間をt（例えば、ｔ＝５秒）とすると、ストリーミング設定（ビットレート等）も時間tを考慮して選択及び制御する必要がある。この場合、ネットワーク切替指示の出力時がネットワーク切替完了であるという前提で、ストリーミング設定（ビットレート等）を選択及び制御すると、時間t分だけ（ビットレート等の）制御が先行してしまい、設定されるビットレート等と設定すべきビットレート等に乖離が生じる可能性がある。そこで、ストリーミング設定部２３は、ネットワーク切替判断情報から実際にネットワークが切り替えられるまでの時間tを予め計測及び把握しておき、ネットワーク切替を伴う場合には、選択された設定（ビットレート等）の適用を時間t分だけ遅延させる。これにより、ビットレート等の制御の時間t分の先行を回避できるため、設定（されるビットレート等と設定すべきビットレート等）に乖離が生じない。
　＜フィードバックループを活用した制御＞
　ストリーミング制御結果管理部３０は、ネットワーク品質予測結果、ネットワーク品質計測結果、ストリーミング設定（ビットレート推定値等）、制御タイミング、ストリーミング（ビットレート等）の制御結果（実際のユーザ（人）の主観品質やＡＩ画像認識率等がどうだったか）を踏まえたフィードバック制御をストリーミング設定部２３に適用することで、ストリーミング（ビットレート）制御の精度向上が可能となる。
　〔補足〕
　本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。
　通信端末２及びサーバ４はコンピュータとプログラムによっても実現できるが、このプログラムを記録媒体に記録することも、インターネット等のネットワークを通して提供することも可能である。
　また、上記実施形態では、通信対象が映像データの場合について説明したが、これに限るものではない。例えば、通信対象として、五感データ（接触データ、匂いデータ等）、音データ（非圧縮のライブ音源データ、音楽データ等）、ゲームデータ、ｘＲ(x Reality)向けのレンダリングに関するデータ等であってもよい。
　更に、上記実施形態では、移動体が農機３の移動について説明したが、これに限るものではない。例えば、移動体として、飛行機、船舶、自動車、自転車等であってもよい。
　また、上記実施形態では、ネットワーク切替判断部２２が、ネットワーク品質予測部２１によって予測されたネットワーク品質に基づいて、通信端末２とサーバ４が使用しているネットワークの切り替え先を判断したが、この処理は一例に過ぎない。また、ネットワーク切替判断部２２は、ネットワーク制御判断部の一例に過ぎない。例えば、ネットワーク制御判断部は、ネットワークの帯域を増減することを判断したり、又はネットワークの優先制御の優先度（図５参照）の変更を行ったりしてもよい。この場合、ネットワーク切替通知部２５を一例とするネットワーク制御通知部が、ネットワーク切替実施部２７を一例とするネットワーク制御実施部に対して、ネットワーク制御判断部２２によって行うと判断された制御の指示を出力する。
１　通信システム
２　通信端末
４　サーバ
１０　端末位置偏移管理部（端末位置偏移管理手段の一例）
１１　位置時刻情報取得部（位置時刻情報取得手段の一例）
１２　位置時刻情報配信部（位置時刻情報配信手段の一例）
１３　未来位置推定部(未来位置推定手段の一例)
２０　ネットワーク品質管理部（ネットワーク品質管理手段の一例）
２１　ネットワーク品質予測部（ネットワーク品質予測手段の一例）
２２　ネットワーク切替判断部（ネットワーク切替判断手段の一例、ネットワーク制御判断手段の一例）
２３　ストリーミング設定部（ストリーミング設定手段の一例）
２４　ネットワーク品質計測部（ネットワーク品質計測手段の一例）
２５　ネットワーク切替通知部（ネットワーク切替通知手段の一例、ネットワーク制御通知手段の一例）
２６　ストリーミング制御部（ストリーミング制御手段の一例）
２７　ネットワーク切替実施部（ネットワーク切替実施手段の一例、ネットワーク制御実施手段の一例）
２８　ストリーミング部（ストリーミング手段の一例）
３０　ストリーミング制御結果管理部
４０　ユーザ要求管理ＤＢ（ユーザ要求管理手段の一例）

Claims (9)

  1. 　データの送受信を行う通信端末及びサーバによって構築された通信システムであって、
    　前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定する未来位置推定手段と、
    　位置に応じたネットワーク品質を管理するネットワーク品質管理手段と、
    　前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測するネットワーク品質予測手段と、
    　予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末と前記サーバの通信におけるストリーミング設定を行うストリーミング設定手段と、
    　前記ストリーミング設定に基づいて、ストリーミング制御を行うストリーミング制御手段と、
    　を有する通信システム。
  2. 　前記ストリーミング設定のパラメータは、前記データのコーデック、解像度、フレームレート、又はビットレートである、請求項１に記載の通信システム。
  3. 　請求項１又は２に記載の通信システムであって、
    　前記ネットワーク品質予測手段によって予測された前記ネットワーク品質に基づいて、前記通信端末と前記サーバが使用しているネットワークの制御を行うかを判断するネットワーク制御判断手段と、
    　前記ネットワーク制御判断手段によって行うと判断された制御の指示を、前記ネットワークの制御を実施するネットワーク制御実施手段に出力するネットワーク制御通知手段と、
    　を有する通信システム。
  4. 　前記ネットワーク制御判断手段による前記ネットワークの制御を行うかを判断することは、前記ネットワークの切り替え先を判断することであり、
    　前記ネットワーク制御通知手段による前記制御の指示は、前記ネットワーク制御判断手段によって判断された切り替え先に切り替える旨の切替指示を、前記ネットワーク制御実施手段に出力することである、
    　請求項３に記載の通信システム。
  5. 　前記ストリーミング設定手段は、前記ネットワーク制御判断手段によって前記ネットワークの制御を行うと判断された場合に、前記ネットワークの制御に連動して、前記ストリーミング設定を行う、請求項３に記載の通信システム。
  6. 　請求項５に記載の通信システムであって、
    　前記ストリーミング制御のパラメータに関し、前記通信端末のユーザの要求を管理するユーザ要求管理手段を有し、
    　前記ストリーミング設定手段は、前記ユーザの要求を優先して、前記ストリーミング設定を行い通信システム。
  7. 　前記ユーザ要求管理手段は、前記ネットワークの切り替え先の特定のネットワークに関し、前記通信端末のユーザの要求を管理し、
    　前記ネットワーク制御判断手段は、前記特定のネットワークに関する前記ユーザの要求を優先して、前記ネットワークの切り替え先を判断する、請求項６に記載の通信システム。
  8. 　データの送受信を行う通信端末及びサーバによって構築された通信システムが実行する通信方法であって、
    　前記通信システムは、位置に応じたネットワーク品質を管理するネットワーク品質管理手段を有し、
    　前記通信システムは、
    　前記通信端末の経路計画又は過去の経路を示す経路情報、及び前記通信端末の現在位置及び現在時刻を示す現在の位置時刻情報に基づいて、前記通信端末の未来位置及び当該未来位置に到達する予測時刻を推定し、
    　前記未来位置及び前記位置に応じたネットワーク品質に基づいて、前記未来位置におけるネットワーク品質を予測し、
    　予測された前記ネットワーク品質に基づいて、前記予測時刻に前記通信端末と前記サーバの通信におけるストリーミング設定を行い、
    　前記ストリーミング設定に基づいて、ストリーミング制御を行う
    　通信方法。
  9. 　コンピュータに、請求項８に記載の方法を実行させるプログラム。
PCT/JP2021/041305 2021-11-10 2021-11-10 通信システム、通信方法及びプログラム WO2023084632A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/041305 WO2023084632A1 (ja) 2021-11-10 2021-11-10 通信システム、通信方法及びプログラム
JP2023559253A JPWO2023084632A1 (ja) 2021-11-10 2021-11-10

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/041305 WO2023084632A1 (ja) 2021-11-10 2021-11-10 通信システム、通信方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023084632A1 true WO2023084632A1 (ja) 2023-05-19

Family

ID=86335332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041305 WO2023084632A1 (ja) 2021-11-10 2021-11-10 通信システム、通信方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023084632A1 (ja)
WO (1) WO2023084632A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195771A (ja) * 2011-03-16 2012-10-11 Fujitsu Ltd 通信制御装置及び方法並びに無線通信システム
WO2019059134A1 (ja) * 2017-09-22 2019-03-28 株式会社Ｎｔｔドコモ 通信品質調整システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012195771A (ja) * 2011-03-16 2012-10-11 Fujitsu Ltd 通信制御装置及び方法並びに無線通信システム
WO2019059134A1 (ja) * 2017-09-22 2019-03-28 株式会社Ｎｔｔドコモ 通信品質調整システム

Also Published As

Publication number Publication date
JPWO2023084632A1 (ja) 2023-05-19

Similar Documents

Publication Publication Date Title
CN101924927B (zh) 联合视频监控方法及系统
US10663977B2 (en) Method for dynamically querying a remote operator for assistance
US20200372791A1 (en) Crowdsourced realtime traffic images and videos
US8620339B2 (en) System and method for providing quality of service mapping
US8160607B2 (en) Mobile terminal apparatus, method, and server for sharing contents
US20220159050A1 (en) Systems and methods for determining portions of media assets for immediate retrieval by multiple devices
GB2585183A (en) Synchronising data streams
JP7013712B2 (ja) データ処理装置、及びデータ処理方法
JP2019129328A (ja) 高精細動画生成装置、高精細動画生成方法、およびプログラム
CN104885441A (zh) 图像处理装置和方法、以及程序
US20220201584A1 (en) Method for predicting a modification of the linkage conditions of a terminal to a cellular network
WO2023084632A1 (ja) 通信システム、通信方法及びプログラム
US9638541B2 (en) Method for calculating paths, method for obtaining paths as well as terminal for same
US9131167B2 (en) Broker service system to acquire location based image data
US20160142745A1 (en) Management system to predict signal strength and bit rate
KR20120040838A (ko) 끊김 없는 영상을 제공하기 위한 멀티 스크린 플레이 서비스 시스템 및 방법
JPWO2010032282A1 (ja) サーバ装置、移動端末装置、交差点案内システム及び交差点案内方法
JP7005846B2 (ja) 映像表示装置、映像表示方法及びプログラム
US11663911B2 (en) Sensor gap analysis
US11670089B2 (en) Image modifications for crowdsourced surveillance
KR20190077803A (ko) 자율주행 드론을 이용한 특정 위치 항공 촬영 영상 요청 및 전달 시스템
JP2023541875A (ja) データキャッシュ方法及び電子デバイス
Tsai et al. Evaluation of the effect of variations in vehicle velocity and channel bandwidth on an image-streaming system in vehicular networks
CN112312218A (zh) 播放速度的控制方法及装置、存储介质和电子装置
JP2020191605A (ja) 接続先サーバの選択装置、それを備えた車載装置、接続先サーバの選択方法、およびサーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21963991

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023559253

Country of ref document: JP