WO2022097303A1 - 情報処理装置及び通信方法 - Google Patents

情報処理装置及び通信方法 Download PDF

Info

Publication number
WO2022097303A1
WO2022097303A1 PCT/JP2020/041758 JP2020041758W WO2022097303A1 WO 2022097303 A1 WO2022097303 A1 WO 2022097303A1 JP 2020041758 W JP2020041758 W JP 2020041758W WO 2022097303 A1 WO2022097303 A1 WO 2022097303A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
unit
information
information processing
characteristic information
Prior art date
Application number
PCT/JP2020/041758
Other languages
English (en)
French (fr)
Inventor
秀和 渡辺
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022560626A priority Critical patent/JPWO2022097303A1/ja
Priority to CN202080106839.7A priority patent/CN116457767A/zh
Priority to PCT/JP2020/041758 priority patent/WO2022097303A1/ja
Priority to US18/251,401 priority patent/US20230405457A1/en
Publication of WO2022097303A1 publication Critical patent/WO2022097303A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction

Definitions

  • This disclosure relates to an information processing device and a communication method.
  • this disclosure proposes a technology that contributes to the realization of the provision of services of more stable quality.
  • an information processing device provides application functions to the client device.
  • the information processing device includes an acquisition unit and a communication unit.
  • the acquisition unit acquires characteristic information related to the application function.
  • the communication unit communicates with the client device.
  • the communication unit changes the processing related to the communication according to the characteristic information.
  • Each of one or more embodiments (including examples and modifications) described below can be implemented independently. On the other hand, at least a part of the plurality of embodiments described below may be carried out in combination with at least a part of other embodiments as appropriate. These plurality of embodiments may contain novel features that differ from each other. Therefore, these plurality of embodiments may contribute to solving different purposes or problems, and may have different effects.
  • FIG. 1 is a diagram for explaining an outline of the proposed technique of the present disclosure.
  • the proposed technique according to the present disclosure is implemented in the information processing system shown in FIG.
  • the information processing system includes an information processing device 10, a terminal device 20, and a base station device 30.
  • the information processing device 10 is, for example, a game server, and provides services such as games to the terminal device 20 via the base station device 30.
  • the information processing device 10 transmits, for example, a moving image such as a game image to the terminal device 20.
  • the terminal device 20 may be, for example, a smartphone, a PC, or a game device.
  • the terminal device 20 displays the moving image acquired from the information processing device 10 on the display unit of the own device or the display device connected to the own device.
  • the base station device 30 is a wireless communication device that wirelessly communicates with the terminal device 20.
  • the base station device 30 is, for example, a device corresponding to a wireless base station (Node B, eNB, gNB, etc.), and provides a cellular communication service such as NR (New Radio) to the terminal device 20.
  • the base station device 30 may be a wireless relay station.
  • the base station device 30 may be a road base station device such as an RSU (Road Side Unit). Further, the base station device 30 may be an optical overhanging device called RRH (Remote Radio Head).
  • RRH Remote Radio Head
  • the base station device 30 connects to the information processing device 10 via a network, for example, and transmits information about services provided by the information processing device 10, such as a moving image of a game, to the terminal device 20. Further, the base station device 30 provides the information processing device 10 with game operation information and the like by the terminal device 20 via a network.
  • the information processing device 10 and the terminal device 20 transmit and receive information via the base station device 30, so that the terminal device 20 receives a service such as a cloud game from the information processing device 10. can.
  • FIG. 1 shows an example in which the terminal device 20 and the information processing device 10 are connected by wireless communication via the base station device 30, but the terminal device 20 and the information processing device 10 are connected to each other. For example, it may be connected by wire via a network.
  • 5G whose service has been partially started, has three features: large capacity, low latency, and multiple access.
  • large capacity a capacity of a network
  • low latency a feature that provides a high-power service.
  • multiple access a feature that provides a high-power service.
  • a certain game is expected to satisfy the low delay characteristic of 5G.
  • another game is expected to satisfy the large capacity (high quality) that is a feature of 5G.
  • it is considered difficult to maintain all the characteristics required for each game at the same time. For example, in all games, it may be difficult to simultaneously meet the low delay and large capacity required for each game.
  • the communication device controls the communication according to the characteristic information of the game (for example, low delay or large capacity).
  • the game server communicates without considering the characteristics required for the game, and communication control is not performed according to the nature of the game.
  • the communication device controls communication according to the characteristic information of the game, so that the communication device satisfies the characteristics required for the game (for example, low delay, large capacity, etc.). Communication is possible. As a result, the communication device can provide a game service of more stable quality, and can further improve the operability and usability of the game.
  • FIG. 2 is a diagram showing an example of the configuration of the information processing system according to the embodiment of the present disclosure.
  • the information processing system includes an information processing device 10 and a terminal device 20.
  • the information processing system may have the base station apparatus 30 as shown in FIG.
  • the information processing device 10 is a MEC (Mobile Edge Computing)
  • the information processing device 10 may be arranged as a server in the base station device 30.
  • the information processing apparatus 10 is a client server that provides an application function to a client device.
  • the information processing device 10 is, for example, a game server (Game Server) that provides a game service as an application function, and displays moving image data as a game screen on the terminal device 20. Further, the information processing device 10 receives information (scene information) about the scene displayed as a game screen from the terminal device 20.
  • the scene information is information indicating a game scene, such as whether the game screen is a menu screen or a play screen.
  • the information processing device 10 includes an application unit 110, a rendering processing unit 120, a coding unit 130, a communication unit 140, a storage unit 150, and a control unit 160.
  • the application unit 110 is one or more applications that provide services to the terminal device 20 based on the information acquired by the control unit 160.
  • the application unit 110 is realized by operating a program on, for example, a CPU (Central Processing Unit), and provides a game service to a user who uses the terminal device 20 by displaying a moving image on the terminal device 20.
  • a CPU Central Processing Unit
  • the application unit 110 controls the operation of the game. For example, the application unit 110 outputs the moving image data to the rendering processing unit 120 based on the acquisition from the terminal device 20.
  • the service provided by the application unit 110 is not limited to the game service, and various services such as a video viewing service may be provided.
  • the rendering processing unit 120 is a drawing unit that performs rendering processing of a moving image to be displayed on the terminal device 20.
  • the rendering processing unit 120 performs a process of generating image data to be displayed as a game screen.
  • the rendering processing unit 120 renders the scene image of the game at a predetermined rendering resolution and frame rate according to the instructions of the application unit 110 and the control unit 160.
  • the rendering processing unit 120 is configured by a processor such as a GPU (Graphics Processing Unit), and the moving image information can be generated by operating the processor according to a predetermined program.
  • a processor such as a GPU (Graphics Processing Unit)
  • the rendering processing unit 120 appropriately divides the information related to image generation and performs image processing in parallel by these plurality of GPUs.
  • the coding unit 130 compresses the image data generated by the rendering processing unit 120 by encoding it, and outputs the compressed bit stream (hereinafter, also referred to as compressed data) to the communication unit 140.
  • the coding unit 130 generates compressed data according to the instructions of the control unit 160.
  • the coding unit 130 shown in FIG. 2 has a buffer 131.
  • the coding unit 130 temporarily stores the compressed data and the like in the buffer 131, and performs the coding process.
  • the communication unit 140 is a communication interface (I / F) that communicates with an external device.
  • the communication unit 140 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 140 communicates with the core network to which the base station device 30 (see FIG. 1) is connected.
  • the communication unit 140 converts the scene image encoded by the coding unit 130 into a transmission signal and transmits it to the terminal device 20. Further, the communication unit 140 receives scene information and service information related to the game service from the terminal device 20, and notifies the control unit 160 of the reception result. Further, the communication unit 140 transmits the characteristic information generated based on the scene information and the service information to the terminal device 20.
  • the communication unit 140 shown in FIG. 2 has a buffer 141.
  • the communication unit 140 temporarily stores communication data and the like in the buffer 141 and performs communication processing.
  • the storage unit 150 is a data-readable / writable storage device such as a DRAM, an SRAM, a flash memory, and a hard disk.
  • the storage unit 150 functions as a storage means for the information processing device 10.
  • the storage unit 150 stores control information and the like used for communication control and buffer control by the control unit 160, which will be described later.
  • FIG. 2 shows a configuration in which the coding unit 130 and the communication unit 140 have buffer memories as buffers 131 and 141, respectively, but the present invention is not limited to this.
  • the coding unit 130 and the communication unit 140 may process a part of the storage unit 150 as buffers 131 and 141.
  • the control unit 160 controls each unit of the information processing apparatus 10.
  • the control unit 160 is realized by, for example, executing a program stored in the information processing apparatus 10 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with a RAM (Random Access Memory) or the like as a work area. Will be done.
  • the control unit 160 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 160 includes an acquisition unit 161, a buffer control unit 162, and a communication control unit 163, and realizes or executes the functions and operations of information processing described below.
  • the internal configuration of the control unit 160 is not limited to the configuration shown in FIG. 2, and may be any other configuration as long as it is configured to perform information processing described later.
  • the connection relationship of each processing unit included in the control unit 160 is not limited to the connection relationship shown in FIG. 2, and may be another connection relationship.
  • the acquisition unit 161 acquires information (characteristic information) regarding the characteristics of the game.
  • the acquisition unit 161 acquires information on the game service and information on the scene of the game service from the terminal device 20, and acquires characteristic information from the storage unit 150 based on the acquired information.
  • the characteristic information is, for example, information related to the characteristics required when providing a game service.
  • the characteristic information includes, for example, information indicating the required characteristics among low latency, large capacity, and multiple access.
  • the characteristic information is set for each service provided by the application unit 110, for example. Further, the characteristic information may be set for each service scene. Details of the characteristic information will be described later.
  • the buffer control unit 162 controls the buffers 131 and 141 of each unit based on the characteristic information acquired by the acquisition unit 161.
  • the buffer control unit 162 controls the buffer amount of the buffers 131 and 141 based on the characteristic information.
  • the communication control unit 163 controls the communication processing performed by the communication unit 140 based on the characteristic information acquired by the acquisition unit 161. Further, the communication control unit 163 controls the processing performed by the coding unit 130 such as the frame rate and the coding rate.
  • the terminal device 20 is a client device (information processing device) that receives application functions from the information processing device 10 that is a client server.
  • the terminal device 20 receives, for example, a game service as an application function.
  • the terminal device 20 receives the moving image data related to the game transmitted from the information processing device 10, and displays the received moving image data.
  • the terminal device 20 determines the game scene according to the operation of the game by the user, and transmits the scene information regarding the determined scene to the information processing device 10.
  • the terminal device 20 has a communication unit 210, a decoding unit 220, a rendering processing unit 230, an input / output unit 240, a storage unit 250, and a control unit 260.
  • the communication unit 210 is a communication interface (I / F) that communicates with an external device.
  • the communication unit 210 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 210 connects to the core network by performing wireless communication with the base station device 30 (see FIG. 1).
  • the communication unit 210 receives the video image data of the game from the information processing device 10.
  • the communication unit 210 transmits scene information and service information related to the game service to the information processing device 10.
  • the communication unit 210 receives the characteristic information from the information processing device 10.
  • the communication unit 210 has a buffer 211, temporarily stores the data received from the information processing device 10 in the buffer, and performs reception processing.
  • the communication unit 210 temporarily stores the data to be transmitted to the information processing apparatus 10 in a buffer and performs the transmission process.
  • the decoding unit 220 decodes the moving image data received by the communication unit 210.
  • the decoding unit 220 has a buffer 221 and temporarily stores moving image data to perform decoding processing.
  • the rendering processing unit 230 renders the moving image data decoded by the decoding unit 220 and displays it on the display (not shown) of the input / output unit 240.
  • the input / output unit 240 has, for example, a display device (not shown) such as a display and an input device (not shown) such as an operator (controller).
  • the input / output unit 240 displays the moving image data rendered by the rendering processing unit 230 on the display.
  • the input / output unit 240 detects an operation on the game by the user via the input device.
  • the storage unit 250 is a data-readable / writable storage device such as a DRAM, an SRAM, a flash memory, and a hard disk.
  • the storage unit 250 functions as a storage means for the terminal device 20.
  • the storage unit 250 stores control information and the like used for communication control and buffer control by the control unit 260 described later.
  • FIG. 2 shows a configuration in which the communication unit 210 and the decoding unit 120 each have, for example, a buffer memory as buffers 211 and 221, but the present invention is not limited to this.
  • the communication unit 210 and the decoding unit 120 may process a part of the storage unit 250 as buffers 211 and 221.
  • the control unit 260 controls each unit of the terminal device 20.
  • the control unit 260 is realized by, for example, executing a program stored in the terminal device 20 by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with a RAM (Random Access Memory) or the like as a work area.
  • the control unit 260 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 260 includes an acquisition unit 261, a buffer control unit 262, and a communication control unit 263, and realizes or executes the functions and operations of information processing described below.
  • the internal configuration of the control unit 260 is not limited to the configuration shown in FIG. 2, and may be any other configuration as long as it is configured to perform information processing described later.
  • the connection relationship of each processing unit of the control unit 260 is not limited to the connection relationship shown in FIG. 2, and may be another connection relationship.
  • the acquisition unit 261 acquires information (characteristic information) related to the application function (characteristics of the game).
  • the acquisition unit 261 acquires service information related to the game service and scene information related to the scene of the game service from the input / output unit 240 and the storage unit 250. By notifying the information processing apparatus 10 of these acquired information, the acquisition unit 261 acquires characteristic information from the information processing apparatus 10.
  • the buffer control unit 262 controls the buffers 211 and 221 of each unit based on the characteristic information acquired by the acquisition unit 261.
  • the buffer control unit 262 controls the buffer amount of the buffers 211 and 221 based on the characteristic information.
  • the communication control unit 263 controls the communication processing performed by the communication unit 210 based on the characteristic information acquired by the acquisition unit 261. Further, the communication control unit 263 controls the processing performed by the decoding unit 220 such as the frame rate and the decoding rate.
  • FIG. 3 is a diagram showing an example of the configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the application unit 110 of the information processing device 10 is, for example, an application that provides a game service.
  • FIG. 4 is a chart for explaining an example of the types of services according to the embodiment of the present disclosure.
  • the type of the game service can be specified by a genre and a sub-genre, for example, as shown in FIG.
  • the genre corresponds to a major classification that divides services such as “shooting” and “action”. Services whose genre is “shooting” are classified into sub-genres such as “bullet shooter” and “FPS (First Person shooter)”.
  • the storage unit 150 stores the game service provided by the application unit 110 in association with the characteristic information.
  • FIG. 5 is a chart for explaining an example of characteristic information stored in the storage unit 150 according to the embodiment of the present disclosure.
  • the storage unit 150 stores the sub-genre of the game service and the priority of the characteristic information in association with each other.
  • the characteristic information includes, for example, information on communication quality (low delay or large capacity) characteristics required for the service, and information on (multiple access) characteristics according to the number of terminals to which the service is provided.
  • the storage unit 150 stores the low delay characteristic and the large capacity characteristic as the characteristic information in association with the sub-genre of the game.
  • the priority of the low delay characteristic is high (High)
  • the priority of the large capacity characteristic is medium (Mid).
  • the priority of the low delay characteristic is low (Low)
  • the priority of the large capacity characteristic is high (High).
  • the storage unit 150 may store the service scene and the characteristic information in association with each other.
  • FIG. 6 is a chart for explaining another example of the characteristic information stored in the storage unit 150 according to the embodiment of the present disclosure. As shown in FIG. 6, the storage unit 150 stores the scene and the priority of the characteristic information in association with each other for each sub-genre of the game service.
  • the storage unit 150 stores characteristic information for each menu scene and play scene as a scene.
  • the "menu" scene of the sub-genre "fighting game” has a low priority for low delay characteristics (Low) and a high capacity characteristic (High). Even in the same sub-genre "fighting game", when the scene is "play", the priority of the low delay characteristic is high (High), and the priority of the large capacity characteristic is medium (Mid).
  • the storage unit 150 may store the characteristic information most required for the game service.
  • the storage unit 150 stores, for example, the sub-genre "FPS" and “low delay” in association with each other, and stores the "strategy game” and “large capacity” in association with each other.
  • the storage unit 150 stores the control information used for the control in the control unit 160.
  • the control information includes communication control information used for communication control and buffer control information used for buffer control.
  • the storage unit 150 stores characteristic information and control information in association with each other.
  • FIG. 7 is a diagram for explaining an example of communication control information stored in the storage unit 150 according to the embodiment of the present disclosure.
  • FIG. 7 shows a case where the storage unit 150 stores information about the network slice as communication control information.
  • the storage unit 150 stores "Slice 5" as the corresponding network slice.
  • the storage unit 150 stores, for example, the frame rate, the coding rate, the coding method, the type of the communication protocol, and the characteristic information in association with each other as the communication control information. Further, the storage unit 150 stores the buffer amount and the characteristic information in association with each other as the buffer control information.
  • the storage unit 150 may store the game service, characteristic information, and control information in association with each other.
  • FIG. 8 is a chart for explaining another example of the characteristic information stored in the storage unit 150 according to the embodiment of the present disclosure.
  • the storage unit 150 stores the sub-genre of the game service, the priority of the characteristic information, the communication control information, and the buffer control information in association with each other.
  • FIG. 8 shows a case where the storage unit 150 stores information about the network slice as communication control information and stores information about the buffer amount as buffer control information.
  • the sub-genre “FPS” has a high low delay characteristic (High), a medium large capacity characteristic (Mid), a network slice of “Slice 2”, and a buffer amount of “Small”. ". Further, the sub-genre "strategy game” has a low low delay characteristic (Low) and a high large capacity characteristic (High). The network slice used in the sub-genre "strategy game” is "Slice 6", and the buffer amount is "large”.
  • the storage unit 150 stores the characteristic information corresponding to the service provided to the terminal device 20. Further, the storage unit 150 stores control information corresponding to the characteristic information. As a result, the information processing apparatus 10 can perform communication control and buffer control according to the characteristic information required for the service.
  • the storage unit 150 stores the low delay characteristic and the large capacity (high image quality) characteristic as the characteristic information, but the present invention is not limited to this.
  • the storage unit 150 may store the multiple access characteristics as characteristic information. For example, a game in which a large number of players participate at the same time has a high priority of the multiple access characteristic.
  • FIG. 9 is a chart for explaining another example of the characteristic information stored in the storage unit 150 according to the embodiment of the present disclosure.
  • the storage unit 150 stores the priority of the characteristic information and the information about the network slice as the communication control information in association with each other. For example, when the low delay characteristic is low (Low), the large capacity characteristic is low (Low), and the multiple access characteristic is high (High), "Slice 10" is used as the network slice.
  • the acquisition unit 161 of the control unit 160 includes a service information acquisition unit 161a, a scene information acquisition unit 161b, and a characteristic information acquisition unit 161c.
  • the service information acquisition unit 161a acquires service information related to the service provided by the application unit 110 from the terminal device 20. For example, when the application unit 110 provides a game service, the service information acquisition unit 161a acquires information about a game subgenre from the terminal device 20 via the communication unit 140.
  • the scene information acquisition unit 161b acquires scene information from the terminal device 20 via the communication unit 140.
  • the scene information acquisition unit 161b acquires, for example, information indicating whether the scene image displayed on the screen of the terminal device 20 is a menu scene which is a menu image or a play scene which is a play image.
  • the characteristic information acquisition unit 161c acquires characteristic information based on the service information and the scene information. For example, when the service information is a "fighting game” and the scene information is "play", the characteristic information acquisition unit 161c refers to the storage unit 150, has a high low delay characteristic (High), and has a large capacity characteristic. The information that is low (Low) is acquired (see FIG. 6).
  • the buffer control unit 162 shown in FIG. 3 controls the buffer amount of the buffers 131 and 141 based on the characteristic information acquired by the characteristic information acquisition unit 161c.
  • the buffer control unit 162 refers to, for example, the storage unit 150, and determines the buffer amount corresponding to the priority of the characteristic information.
  • the buffers 131 and 141 temporarily store data for coding processing and communication processing. Therefore, the longer the data is accumulated, the longer the data transmission is delayed, which leads to the transmission delay. Therefore, in order to reduce the data transmission delay, the buffer amounts of the buffers 131 and 141 may be reduced.
  • the information processing apparatus 10 needs to convert the data into various formats and adjust the timing of sending or receiving the data, so that the buffer amount is to some extent. Buffers 131 and 141 are required.
  • the buffer control unit 162 controls the buffers 131 and 141 to be the first buffer amount B1 having a small buffer amount.
  • the buffer amount B1 having a small buffer amount.
  • the buffer control unit 162 controls the buffers 131 and 141 to be the second buffer amount B2 (B1 ⁇ B2) having a large buffer amount.
  • B1 ⁇ B2 the second buffer amount
  • the buffer control unit 162 increases the buffer amount when the priority of the large capacity characteristic is high as compared with the case where the priority of the low delay characteristic is high. As a result, the information processing apparatus 10 can transmit high-quality image data.
  • the priority of the multiple access characteristic is high, since a large number of players (terminal device 20) play the game, the data to be transmitted is often small, and the buffer amount for data processing may be small. However, it is important to control the communication timing for communicating with a large number of terminal devices 20. Therefore, there is a possibility that a waiting time for adjusting the communication timing may occur, and a certain amount of buffer is required to cope with this waiting time.
  • the buffer control unit 162 controls the buffers 131 and 141 so that the buffer amount is a medium third buffer amount B3 (B1 ⁇ B3 ⁇ B2).
  • the information processing apparatus 10 can transmit small data while controlling the communication timing.
  • the communication units 140 have first to third communication processing units 140a to 140c, and each of the first to third communication processing units 140a to 140c has buffers 141a to 141c, respectively.
  • the buffer control unit 162 controls the buffer amount for each of the buffers 141a to 141c.
  • the communication control unit 163 controls the processing related to the communication performed by the communication unit 140 based on the characteristic information acquired by the characteristic information acquisition unit 161c.
  • the communication control unit 163 refers to the storage unit 150 and selects a network slice to be used for communication according to the characteristic information.
  • the communication control unit 163 selects the bandwidth used for communication. For example, when the priority of the low delay characteristic is high, the communication control unit 163 narrows the bandwidth used for communication so as to be the first bandwidth W1. As a result, the information processing apparatus 10 can easily secure a band and can easily stabilize communication.
  • the communication control unit 163 widens the bandwidth used for communication to be the second bandwidth W2 (W1 ⁇ W2). As a result, the information processing apparatus 10 can increase the amount of data that can be transmitted at one time.
  • the communication control unit 163 narrows the bandwidth used for communication to be the third bandwidth W3 (W1 ⁇ W3). As a result, the information processing apparatus 10 can easily secure a band and can easily stabilize communication.
  • the communication control unit 163 selects the protocol used by the communication unit 140 based on the characteristic information. An example of the protocol used in the communication unit 140 will be described later.
  • the communication control unit 163 can control the coding processing in the coding unit 130 and the rendering processing in the rendering processing unit 120.
  • the coding process takes time and the transmission delay becomes large.
  • the communication control unit 163 reduces the compression rate of the compression process performed by the coding unit 130 to the first compression rate C1. Further, the communication control unit 163 reduces the resolution after the compression process performed by the coding unit 130 to the first resolution R1 (lower resolution). As a result, the information processing apparatus 10 can shorten the time of the compression process performed by the coding unit 130, and can reduce the transmission delay.
  • the communication control unit 163 increases the compression rate of the compression process performed by the coding unit 130 to the second compression rate C2 (C1 ⁇ C2). Further, the communication control unit 163 increases the resolution after the compression process performed by the coding unit 130 to the second resolution R2 (R1 ⁇ R2) (higher resolution). As a result, the information processing apparatus 10 can transmit high-quality image data.
  • the communication control unit 163 sets, for example, the compression rate of the compression process performed by the coding unit 130 to a small or medium third compression rate C3 (C1 ⁇ C3 ⁇ C2). .. Further, the communication control unit 163 sets the resolution after the compression process performed by the coding unit 130 to, for example, a small or medium third resolution R3 (R1 ⁇ R3 ⁇ R2). As a result, the information processing apparatus 10 can transmit image data having a small or medium size, and the transmission delay can be reduced.
  • the communication control unit 163 can control, for example, a frame rate or a bit rate according to the characteristic information.
  • the time interval for each frame becomes shorter and the transmission delay becomes smaller.
  • the bit rate also increases, and it takes time for coding processing and communication processing.
  • the communication control unit 163 increases, for example, the frame rate after the compression process performed by the coding unit 130 to the first frame rate FR1. Further, the communication control unit 163 reduces, for example, the bit rate to the first bit rate BR1. For example, the communication control unit 163 reduces the bit rate by reducing the resolution of the image data.
  • the communication control unit 163 reduces, for example, the frame rate after the compression process performed by the coding unit 130 to the second frame rate FR2 (FR1> FR2). Further, the communication control unit 163 increases, for example, the bit rate to the second bit rate BR2 (BR1 ⁇ BR2). For example, the communication control unit 163 increases the bit rate by increasing the resolution of the image data.
  • the communication control unit 163 sets the frame rate after the compression process performed by the coding unit 130 to a medium or large third frame rate FR3 (FR1 ⁇ FR3> FR2), for example. do. Further, the communication control unit 163 sets the bit rate to, for example, a small or medium third bit rate BR3 (BR1 ⁇ BR3 ⁇ BR2). For example, the communication control unit 163 adjusts the bit rate by adjusting the resolution of the image data.
  • the rendering processing unit 120 generates image data according to the instruction from the control unit 160.
  • the rendering processing unit 120 outputs the generated image data to the coding unit 130.
  • the coding unit 130 is, for example, a video encoder that performs compression processing on the image data generated by the rendering processing unit 120.
  • the coding unit 130 compresses the image data at the compression rate, the frame rate, and the bit rate according to the characteristic information according to the instruction from the control unit 160, and generates the compressed data.
  • the coding unit 130 outputs the generated compressed data to the communication unit 140.
  • the communication unit 140 processes the compressed data according to an appropriate communication protocol for transmitting the compressed data, and generates transmission data.
  • the communication unit 140 has first to third communication processing units 140a to 140c.
  • the first and second communication processing units 140a and 140b perform communication processing for video transmission
  • the third communication processing unit 140c performs communication processing according to the transmission path.
  • the first communication processing unit 140a generates a video transmission stream according to, for example, RTP (Real time Transport Protocol).
  • RTP is a protocol often used for Audio / Video transmission.
  • RTP is often used in combination with other protocols such as RTCP (RTP Control Protocol) that controls communication quality, etc., but here, RTP is used to simplify the explanation. The case will be described.
  • RTP is a protocol that basically organizes video data (compressed data) into a fixed format and converts it into a format that is easy to send.
  • a time stamp indicating the time when the video data was sampled and a sequence number indicating the order of the RTP packets are also included in the format.
  • the time stamp and the sequence number are used, for example, for the receiving side to determine the data loss during transmission and the timing of video reproduction.
  • the first communication processing unit 140a temporarily stores video data and the like using the buffer 141a whose buffer amount has been adjusted by the control unit 160, and generates a video transmission stream (RTP packet).
  • the first communication processing unit 140a outputs the generated first communication data (for example, a video transmission stream) to the second communication processing unit 140b.
  • the second communication processing unit 140b generates transmission data (second communication data) according to the communication protocol.
  • the image data is transmitted to the terminal device 20 via the IP network.
  • the IP network is the so-called Internet.
  • the RTP packet is usually transmitted to the terminal device 20 using IP (Internet Protocol) after using TCP (Transmission Control Protocol) or UDP (User Datagram Protocol).
  • TCP and UDP are designed to reliably transmit data from the sender to the receiver via the Internet, using information such as the source address and recipient address required for Internet communication depending on the IP. It is a protocol. Of TCP and UDP, TCP enables more reliable data transmission. UDP can transmit data with lower delay than TCP. Since UDP is generally used when RTP is used, a case where the second communication processing unit 140b uses UDP to generate transmission data will be described below.
  • FIG. 10 is a diagram for explaining transmission data generated by the communication unit 140 according to the embodiment of the present disclosure.
  • the first communication processing unit 140a performs RTP processing on the compressed data string generated by the coding unit 130, attaches an RTP header to the compressed data string, and generates an RTP packet.
  • the RTP packet is output to the second communication processing unit 140b.
  • the second communication processing unit 140b adds a UDP header to the RTP packet to generate a UDP packet.
  • the UDP header contains information about, for example, a port for internet transmission.
  • the port is a data entry / exit number inside the device (information processing device 10).
  • the second communication processing unit 140b adds an IP header to the UDP packet to generate an IP packet.
  • the IP header includes, for example, a source address and a destination address for Internet transmission.
  • the second communication processing unit 140b temporarily stores each packet or the like using the buffer 141b whose buffer amount has been adjusted by the control unit 160, and generates an IP packet.
  • the second communication processing unit 140b outputs the generated IP packet to the third communication processing unit 140c.
  • the second communication processing unit 140b uses UDP to generate a UDP packet, but the present invention is not limited to this.
  • the second communication processing unit 140b may use TCP to generate a TCP packet.
  • the first communication processing unit 140a may generate the first communication data by using a protocol other than RTP.
  • the second communication processing unit 140b may change the protocol based on the characteristic information. For example, the second communication processing unit 140b may select UDP when the priority of the low delay characteristic is high, and select TCP when the priority of the large capacity characteristic is high. In this case, the first communication processing unit 140a may change the protocol to be used according to the protocol selected by the second communication processing unit 140b.
  • the third communication processing unit 140c performs processing according to the transmission physical medium on the IP packet to generate a transmission signal.
  • the third communication processing unit 140c transmits the generated transmission signal to the terminal device 20.
  • the transmission physical medium is a network to which the information processing device 10 and the terminal device 20 are connected, and examples thereof include Ethernet, 5G, and 4G.
  • the third communication processing unit 140c performs signal processing on the IP packet according to the type of network to generate and transmit a transmission signal. For example, in a 5G network, communication satisfying low delay characteristics and large capacity characteristics is performed by using the network slice technique described above.
  • the third communication processing unit 140c transmits a transmission signal using, for example, a network slice selected by the control unit 160.
  • the third communication processing unit 140c temporarily stores each packet or the like using the buffer 141c whose buffer amount has been adjusted by the control unit 160, and generates a transmission signal.
  • the third communication processing unit 140c transmits the generated transmission signal to the terminal device 20.
  • the information processing device 10 acquires the characteristic information of the service provided from the terminal device 20, and decides to change the processing related to communication based on the acquired characteristic information.
  • the information processing apparatus 10 can perform communication processing according to the characteristic information, and can perform efficient communication control. Therefore, the information processing device 10 can provide a service of stable quality to the terminal device 20.
  • the information processing device 10 also controls the coding processing in the coding unit 130, the buffer amount, and the like based on the characteristic information. For example, even if the information processing apparatus 10 only controls the communication of the communication related to the network, the characteristics caused by the transmission line (network) are improved, but the characteristics caused by, for example, the coding process are not improved. Specifically, even if the information processing apparatus 10 selects a network slice and reduces the delay on the network, if the coding process takes a long time, the delay of the data transmission itself can be reduced. Can not.
  • the information processing apparatus 10 controls the buffer amount, the coding process, and the like in addition to the communication process by the communication unit 140 as the communication control process based on the characteristic information.
  • the information processing apparatus 10 can perform communication satisfying the characteristics required for the service, and can provide the terminal apparatus 20 with a service of stable quality.
  • FIG. 11 is a diagram showing an example of the configuration of the terminal device 20 according to the embodiment of the present disclosure.
  • the storage unit 250 stores the game service provided by the application unit 110.
  • the acquisition unit 261 of the control unit 260 includes a service information acquisition unit 261a, a scene information acquisition unit 261b, and a characteristic information acquisition unit 261c.
  • the service information acquisition unit 261a acquires service information related to the service provided from the application unit 110 from, for example, the storage unit 250. For example, when the application unit 110 provides a game service, the service information acquisition unit 261a acquires information regarding a sub-genre of the game. The service information acquisition unit 261a notifies the information processing apparatus 10 of the acquired service information.
  • the scene information acquisition unit 261b acquires scene information.
  • the scene information acquisition unit 261b acquires scene information from, for example, the input / output unit 240.
  • the scene information acquisition unit 261b notifies the information processing apparatus 10 of the acquired scene information.
  • the characteristic information acquisition unit 261c acquires characteristic information from the information processing apparatus 10.
  • the buffer control unit 262 controls the buffer amount of the buffers 211 and 221 based on the characteristic information acquired by the characteristic information acquisition unit 261c.
  • the buffer control unit 262 refers to, for example, the storage unit 250, and determines the buffer amount corresponding to the priority of the characteristic information. Since the specific buffer control is the same as the control performed by the buffer control unit 162 of the information processing apparatus 10, the description thereof will be omitted.
  • the communication unit 210 has first to third communication processing units 210a to 210c, and each of the first to third communication processing units 210a to 210c has buffers 211a to 211c, respectively.
  • the buffer control unit 262 controls the buffer amount for each of the buffers 211a to 211c.
  • the communication control unit 263 controls the processing related to the communication performed by the communication unit 210 based on the characteristic information acquired by the characteristic information acquisition unit 261c.
  • the communication control unit 263 selects the protocol used by the communication unit 210 based on the characteristic information.
  • the communication control unit 263 selects the protocol used in the information processing apparatus 10.
  • the communication control unit 263 can control the coding processing in the decoding unit 220 and the rendering processing in the rendering processing unit 230.
  • the communication control unit 263 selects the compression rate to be used by the decoding unit 220 based on the characteristic information.
  • the communication control unit 263 selects the compression ratio used in the coding process of the information processing apparatus 10.
  • the communication control unit 263 selects the frame rate and the bit rate used in the coding process of the information processing apparatus 10 based on the characteristic information.
  • the communication unit 210 processes the received signal received from the information processing device 10 according to an appropriate communication protocol to generate compressed data.
  • the communication unit 210 has first to third communication processing units 210a to 210c.
  • the first communication processing unit 210a performs communication processing according to the transmission path
  • the second and third communication processing units 210b and 210c perform communication processing for video transmission.
  • the first communication processing unit 210a processes the received received signal according to the transmission physical medium to generate an IP packet.
  • the first communication processing unit 210a outputs the generated IP packet to the second communication processing unit 210b.
  • the first communication processing unit 210a temporarily stores received signals and the like using the buffer 211a whose buffer amount has been adjusted by the control unit 260, and generates an IP packet.
  • the second communication processing unit 210b generates the first communication data (video stream) from the IP packet according to the communication protocol. As described above, when the information processing apparatus 10 uses IP and UDP to generate an IP packet, the second communication processing unit 210b also generates the first communication data from the IP packet based on the IP and UDP.
  • the second communication processing unit 210b generates a UDP packet based on, for example, an IP header added to the IP packet.
  • the second communication processing unit 210b generates an RTP packet based on the UDP header added to the UDP packet.
  • the second communication processing unit 210b temporarily stores each packet or the like using the buffer 211b whose buffer amount has been adjusted by the control unit 260, and generates an RTP packet.
  • the second communication processing unit 210b outputs the generated RTP packet to the third communication processing unit 210c.
  • the third communication processing unit 210c generates compressed data according to, for example, RTP.
  • the third communication processing unit 210c temporarily stores RTP packets and the like using the buffer 211c whose buffer amount has been adjusted by the control unit 260, and generates compressed data.
  • the decoding unit 220 is a video decoder that generates image data by performing decompression processing for decompressing compressed data generated by, for example, the communication unit 210.
  • the decoding unit 220 decompresses the compressed data at a compression rate, a frame rate, and a bit rate according to the characteristic information according to the instruction from the control unit 160, and generates image data.
  • the decoding unit 220 outputs the generated image data to the rendering processing unit 230.
  • the rendering processing unit 230 performs rendering processing on the image data according to the instruction from the control unit 260, and outputs the image data to the input / output unit 240.
  • the terminal device 20 acquires the characteristic information of the service to be provided, and changes the processing related to communication based on the acquired characteristic information. As a result, the terminal device 20 can perform communication processing according to the characteristic information, and can perform efficient communication control. Therefore, the terminal device 20 can enjoy a service of stable quality.
  • the terminal device 20 controls the buffer amount, the decoding process, and the like in addition to the communication process by the communication unit 210 based on the characteristic information. As a result, the terminal device 20 can perform communication satisfying the characteristics required for the service, and can enjoy the service of stable quality.
  • FIG. 12 is a flowchart showing a flow of communication processing executed by the information processing apparatus 10 according to the embodiment of the present disclosure. While the information processing apparatus 10 is providing the service to the terminal apparatus 20, the information processing apparatus 10 repeatedly executes the communication process shown in FIG. 12 at a predetermined cycle. Alternatively, the information processing apparatus 10 may execute the communication process shown in FIG. 12 at the timing when the scene is switched.
  • the information processing apparatus 10 acquires scene information (step S101).
  • the information processing device 10 acquires scene information regarding a game scene from, for example, the terminal device 20.
  • the information processing device 10 may acquire service information indicating the type of the game from the terminal device 20.
  • the information processing apparatus 10 acquires characteristic information required for service provision based on scene information and service information (step S102).
  • the characteristic information includes, for example, low delay characteristics, large capacity characteristics, and multiple connection characteristics.
  • the characteristic information may be information indicating the priority of these characteristics.
  • the information processing apparatus 10 changes the buffer amount of the buffers 131 and 141 used for data transmission based on the characteristic information (step S103).
  • the information processing apparatus 10 changes the communication process for data transmission (step S104).
  • the information processing apparatus 10 changes parameters used for communication, such as network slices and bandwidth. Further, the information processing apparatus 10 changes parameters related to communication data generation such as compression rate and data rate.
  • the information processing apparatus 10 generates transmission data using the changed buffer, parameters, and the like (step S105), and transmits the generated transmission data (step S106).
  • FIG. 13 is a flowchart showing the flow of communication processing executed by the terminal device 20 according to the embodiment of the present disclosure.
  • the terminal device 20 repeatedly executes the communication process shown in FIG. 13 at a predetermined cycle while receiving the service from the information processing device 10.
  • the terminal device 209 may execute the communication process shown in FIG. 13 at the timing when the scene is switched.
  • the terminal device 20 acquires scene information (step S201).
  • the terminal device 20 acquires scene information regarding a game scene from, for example, the input / output unit 240.
  • the terminal device 20 may acquire service information indicating the type of the game from the storage unit 250.
  • the terminal device 20 acquires characteristic information from the information processing device 10 (step S102).
  • the characteristic information includes, for example, low delay characteristics, large capacity characteristics, and multiple connection characteristics. Alternatively, the characteristic information may be information indicating the priority of these characteristics.
  • the terminal device 20 acquires characteristic information by notifying the information processing apparatus 10 of the scene information and service information acquired in step S201.
  • the terminal device 20 changes the buffer amount of the buffers 131 and 141 used for data reception based on the characteristic information (step S203).
  • the terminal device 20 changes the communication process for receiving data (step S204). Further, the terminal device 20 changes parameters related to data decoding such as compression rate and data rate.
  • the terminal device 20 receives the received data using the changed buffer, parameters, and the like (step S205), and decodes the received received data (step S206).
  • the menu and the play are described as an example of the game scene, but the game scene is not limited to this.
  • the scene of the game may include an "explanatory video" scene for explaining the operation method of the game, the story, and the like.
  • the terminal device 20 transmits the scene information related to the scene to the information processing device 10, but at this time, the terminal device 20 may transmit the scene information using TCP. good.
  • the scene information is also information indicating the progress of the game, and although the amount of data is small, it is information that should be transmitted more reliably. Therefore, the terminal device 20 transmits the scene information using TCP, unlike the moving image transmission using UDP.
  • TCP is a protocol for transmitting data more reliably than UDP. Therefore, the terminal device 20 can more reliably transmit the scene information to the information processing device 10 by IP-transmitting the scene information using TCP.
  • control units 160 and 260 control the buffer amount of each processing unit based on the scene information, but the present invention is not limited to this.
  • Each processing unit may acquire scene information and control the buffer amount.
  • the coding unit 140 and the communication unit 140 may acquire scene information and control the buffer amounts of the buffers 131 and 141, respectively.
  • the terminal device 20 determines the scene based on the image data presented to the user, the operation information performed by the user, and the like, and generates and transmits the scene information.
  • the terminal device 20 may transmit the operation information performed by the user to the information processing device 10.
  • the application unit 110 of the information processing apparatus 10 determines the scene based on the operation information and generates the scene information.
  • the control unit 160 of the information processing device 10 and the control unit 260 of the terminal device 20 acquire scene information from the application unit 110.
  • the information processing device 10 is a game server, and the game service is provided to the user as an application function, but the present invention is not limited to this.
  • the information processing device 10 may be an application server that provides application functions other than games.
  • the information processing device 10 may be a mobile body such as a robot or a drone.
  • the information processing device 10 transmits the image data captured by the moving body to the terminal device 20 that controls the moving body.
  • the user steers the moving body while checking the image displayed on the terminal device 20.
  • the information processing apparatus 10 controls communication separately when the moving body is moving at a predetermined speed or higher (moving scene) and when the moving body is stopped at zero speed or slowly moving at a speed lower than the predetermined speed (stop scene). May be done.
  • the information processing apparatus 10 transmits image data with a high priority of low delay characteristics in a moving scene, and transmits image data with a high priority of a large capacity (high image quality) characteristic in a stopped scene. , Perform communication control.
  • the information processing device 10 generates characteristic information from service information, scene information, and the like acquired from the terminal device 20, but the present invention is not limited to this.
  • the information processing device 10 may acquire information about a service provided to the terminal device 20 such as service information and scene information from the application unit 110.
  • the terminal device 20 may acquire characteristic information from service information, scene information, and the like.
  • the storage unit 250 of the terminal device 20 stores the same characteristic information and the like (see FIGS. 5, 6 and the like) as the storage unit 150 of the information processing device 10.
  • the terminal device 20 refers to the storage unit 250 based on the acquired service information and scene information, and acquires characteristic information.
  • the storage unit 250 may store the correspondence between the service information and the characteristic information in advance, or may acquire and store the service information and the characteristic information from the information processing apparatus 10 via the control unit 260.
  • the control device for controlling the information processing device 10 or the terminal device 20 of the present embodiment may be realized by a dedicated computer system or a general-purpose computer system.
  • a program for executing the above operation is stored and distributed in a computer-readable recording medium such as an optical disk, a semiconductor memory, a magnetic tape, or a flexible disk.
  • the control device is configured by installing the program in a computer and executing the above-mentioned processing.
  • the control device may be an external device (for example, a personal computer) of the information processing device 10 or the terminal device 20.
  • the control device may be an internal device (for example, control unit 160 or control unit 260) of the information processing device 10 or the terminal device 20.
  • the above communication program may be stored in a disk device provided in a server device on a network such as the Internet so that it can be downloaded to a computer or the like.
  • the above-mentioned functions may be realized by cooperation between the OS (Operating System) and the application software.
  • the part other than the OS may be stored in a medium and distributed, or the part other than the OS may be stored in the server device so that it can be downloaded to a computer or the like.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the present embodiment includes a device or any configuration constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, and a unit. It can also be implemented as a set or the like with other functions added (that is, a configuration of a part of the device).
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a unit using a plurality of modules
  • a unit that is, a configuration of a part of the device.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present embodiment can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • the present technology can also have the following configurations.
  • An information processing device that provides application functions to client devices.
  • An acquisition unit that acquires characteristic information related to the application function
  • a communication unit that communicates with the client device, Equipped with The communication unit changes the processing related to the communication according to the characteristic information.
  • Information processing equipment (2) The communication unit The information processing apparatus according to (1), wherein the processing related to the communication is changed based on the characteristic information according to the scene of the application function.
  • the communication unit The information processing apparatus according to (2), wherein the processing related to the communication is changed according to the characteristics of the communication quality required for each scene.
  • the communication unit The information processing apparatus according to (2), wherein the processing related to the communication is changed according to the number of the client devices provided with the application function.
  • the acquisition unit Acquiring the characteristic information from the storage unit, The information processing apparatus according to any one of (1) to (4).
  • the communication unit Based on the characteristic information, when low delay is required, the bandwidth used for the communication is narrowed, and when a large capacity is required, the bandwidth is widened.
  • the communication unit At least one of the frame rate and the bit rate of the data transmitted to the client device is changed according to the characteristic information.
  • the communication unit The buffer amount of the buffer used for the processing related to the communication is changed according to the characteristic information.
  • the communication unit Based on the characteristic information, when low delay is required, the buffer amount is reduced, and when a large capacity is required, the buffer amount is increased.
  • the information processing apparatus according to (8).
  • An information processing device that receives application functions from a client server.
  • An acquisition unit that acquires characteristic information related to the application function
  • a communication unit that communicates with the client server, Equipped with The communication unit changes the processing related to the communication according to the characteristic information.
  • Information processing equipment (11) It is a communication method for communicating in an information processing device that provides an application function to a client device. Acquiring characteristic information about the application function and Communicating with the client device Including In the communication with the client device, the process related to the communication is changed according to the characteristic information. Communication method.
  • Information processing equipment 20 Terminal equipment 30 Base station equipment 110 Application unit 120, 230 Rendering processing unit 130 Coding unit 140, 210 Communication unit 150, 250 Storage unit 160, 260 Control unit 161, 261 Acquisition unit 162, 262 Buffer control unit 163, 263 Communication control unit 220 Decoding unit 240 Input / output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

情報処理装置(10)は、クライアントデバイス(20)にアプリケーション機能を提供する。情報処理装置(10)は、取得部(161)と、通信部(140)と、を備える。取得部(161)は、アプリケーション機能に関する特性情報を取得する。通信部(140)は、クライアントデバイス(20)と通信を行う。通信部(140)は、特性情報に応じて通信に関する処理を変更する。

Description

情報処理装置及び通信方法
 本開示は、情報処理装置及び通信方法に関する。
 従来、無線通信を利用して各種データのやり取りを行う無線通信技術が存在する。例えば、近年、スマートフォンなどの端末装置から無線ネットワークを介してモバイルネットワークゲームにアクセスするアプリケーションが増加している。このようなアプリケーションが端末装置へ画像を伝送する際に、3次元モデルを2次元にレンダリングする技術が知られている。かかる技術では、画面内のユーザによる注視オブジェクトに対して重点的にビットレートを割り振ることで、端末装置の処理負荷を低減しながら、高画質な画像を端末装置に伝送している。
特開2007-79664号公報
 例えばネットワークゲームのサービスを提供する場合、高画質ではなく、低遅延や同時に多数のプレイヤーがゲームに参加する多元接続など、ゲームの種別に応じた品質が求められる。しかしながら、ネットワークゲームでは、遅延やスループットの観点から安定した品質のサービスの提供が難しいという問題があった。通信リソースの使用状況や同時に接続する端末数などによって通信環境が変化する中でも安定した品質のサービスを提供することが望まれる。
 そこで、本開示ではより安定した品質のサービスの提供の実現に寄与する技術を提案する。
 なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の1つに過ぎない。
 本開示によれば、情報処理装置が提供される。情報処理装置は、クライアントデバイスにアプリケーション機能を提供する。情報処理装置は、取得部と、通信部と、を備える。取得部は、前記アプリケーション機能に関する特性情報を取得する。通信部は、前記クライアントデバイスと通信を行う。通信部は、前記特性情報に応じて前記通信に関する処理を変更する。
本開示の提案技術の概要を説明するための図である。 本開示の実施形態に係る情報処理システムの構成の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成の一例を示す図である。 本開示の実施形態に係るサービスの種別の一例を説明するための図表である。 本開示の実施形態に係る記憶部が記憶する特性情報の一例を説明するための図表である。 本開示の実施形態に係る記憶部が記憶する特性情報の他の例を説明するための図表である。 本開示の実施形態に係る記憶部が記憶する通信制御情報の一例を説明するための図表である。 本開示の実施形態に係る記憶部が記憶する特性情報の他の例を説明するための図表である。 本開示の実施形態に係る記憶部が記憶する特性情報の他の例を説明するための図表である。 本開示の実施形態に係る通信部が生成する送信データを説明するための図である。 本開示の実施形態に係る端末装置の構成の一例を示す図である。 本開示の実施形態に係る情報処理装置が実行する通信処理の流れを示すフローチャートである。 本開示の実施形態に係る端末装置20が実行する通信処理の流れを示すフローチャートである。
 以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
 以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
 なお、説明は以下の順序で行うものとする。
  1.はじめに
   1.1.提案技術の概要
  2.情報処理システムの構成例
   2.1.情報処理システム
   2.2.情報処理装置
   2.3.端末装置
  3.通信処理
   3.1.情報処理装置による通信処理
   3.2.端末装置による通信処理
  4.その他の実施形態
  5.補足
 <<1.はじめに>>
 <1.1.提案技術の概要>
 まず、本開示に係る提案技術の概要について説明する。図1は、本開示の提案技術の概要を説明するための図である。本開示に係る提案技術は、図1に示す情報処理システムで実施される。図1に示すように、情報処理システムは、情報処理装置10と、端末装置20と、基地局装置30と、を有する。
 情報処理装置10は、例えばゲームサーバであり、基地局装置30を介して端末装置20にゲーム等のサービスを提供する。情報処理装置10は、例えば端末装置20にゲーム画像等の動画像を送信する。
 端末装置20は、例えばスマートフォンやPC、あるいはゲーム機器であってもよい。端末装置20は、情報処理装置10から取得した動画像を、自装置の表示部又は自装置と接続する表示装置に表示する。
 基地局装置30は、端末装置20と無線通信する無線通信装置である。基地局装置30は、例えば、無線基地局(Node B、eNB、gNB、など)に相当する装置であり、端末装置20にNR(New Radio)などのセルラー通信サービスを提供する。基地局装置30は、無線リレー局であってもよい。基地局装置30は、RSU(Road Side Unit)等の路上基地局装置であってもよい。また、基地局装置30は、RRH(Remote Radio Head)と呼ばれる光張り出し装置であってもよい。
 基地局装置30は、例えばネットワークを介して情報処理装置10と接続し、例えばゲームの動画像など情報処理装置10が提供するサービスに関する情報を端末装置20に送信する。また、基地局装置30は、端末装置20によるゲームの操作情報等を、ネットワークを介して情報処理装置10に提供する。
 このように、情報処理装置10と端末装置20とが、基地局装置30を介して情報を送受信することで、端末装置20は、情報処理装置10から例えばクラウドゲームといったサービスの提供を受けることができる。
 なお、図1では、端末装置20と情報処理装置10との間が、基地局装置30を介した無線通信で接続される例について示しているが、端末装置20と情報処理装置10とが、例えばネットワークを介して有線で接続されていてもよい。
 このように、近年、スマートフォンやPCのゲームでは、端末装置20内で完結するスタンドアロンタイプよりも、ネットワークを介してゲームサーバ(情報処理装置10)に接続するネットワークゲームが多くなっている。
 ネットワークゲームにおいて、ユーザビリティを担保するためには、有線、無線を問わず安定した通信が行われることが重要な要素となる。しかしながら、安定した通信環境を得ることは容易ではない。例えば、ネットワークの使用状況等によっては、突然通信帯域が狭まったり、応答性が悪化してしまったりすることがある。このように、通信状況が変化した場合でも、この変化に追従することが、ゲームの操作性向上やユーザビリティの向上のために重要となる。
 ここで、サービスが一部開始された5Gは、大容量、低遅延及び多元接続という3つの特徴を有する。この3つの特徴を満たすことで、例えばネットワークゲームにおいて、ゲームの操作性やユーザビリティを向上させることができる。
 しかしながら、実際の無線通信環境では、この3つの特徴を全て同時に満たすことは難しい。これは、5Gに限らず、LTE等の無線通信環境や有線通信環境でも同様である。
 例えば、5Gを使用するゲーム通信環境において、あるゲームは、5Gの特徴である低遅延を満たすことが期待される。一方、別のゲームでは、5Gの特徴である大容量(高品質)を満たすことが期待される。このように、数多くのプレイヤーが様々なゲームをプレイするゲーム通信環境において、各ゲームで要求される特徴を全て同時に維持することは困難であると考えられる。例えば、全てのゲームにおいて、各ゲームで要求される低遅延、大容量を同時に満たすことは困難な場合がある。
 そこで、本開示の技術では、ゲームの特性情報(例えば、低遅延又は大容量等)に応じて通信装置(例えば、情報処理装置10や端末装置20)が通信制御を行うこととする。
 通常、ゲームサーバでは、ゲームに要求される特性を考慮せずに通信を行っており、ゲームの性質に依った通信制御は行われていない。
 これに対し、本開示の技術に係る通信装置は、ゲームの特性情報に応じて通信制御を行うことで、通信装置は、ゲームに要求される特性(例えば、低遅延や大容量等)を満たした通信を行うことができる。これにより、通信装置は、より安定した品質のゲームサービスを提供することができ、ゲームの操作性やユーザビリティをより向上させることができる。
 <<2.情報処理システムの構成例>>
 <2.1.情報処理システム>
 図2は、本開示の実施形態に係る情報処理システムの構成の一例を示す図である。上述したように、情報処理システムは、情報処理装置10と、端末装置20と、を有する。なお、図2では図示を省略しているが、図1に示すように、情報処理システムが基地局装置30を有していてもよい。あるいは、情報処理装置10がMEC(Mobile Edge Computing)である場合、情報処理装置10が、基地局装置30内のサーバとして配置されてもよい。
 [情報処理装置10]
 図2に示すように、情報処理装置10は、クライアントデバイスにアプリケーション機能を提供するクライアントサーバである。情報処理装置10は、例えば、アプリケーション機能としてゲームサービスを提供するゲームサーバ(Game Server)であり、端末装置20に対してゲーム画面として表示する動画像データを。また、情報処理装置10は、ゲーム画面として表示しているシーンに関する情報(シーン情報)を端末装置20から受信する。シーン情報は、例えば、ゲーム画面がメニュー画面であるか、プレイ画面であるか等、ゲームのシーンを示す情報である。
 情報処理装置10は、アプリケーション部110と、レンダリング処理部120と、符号化部130と、通信部140と、記憶部150と、制御部160と、を備える。
 (アプリケーション部110)
 アプリケーション部110は、制御部160が取得した情報に基づき、端末装置20にサービスを提供する1または2以上のアプリケーションである。アプリケーション部110は、例えばCPU(Central Processing Unit)上でプログラムが動作することで実現され、端末装置20に動画像を表示させることで、端末装置20を使用するユーザにゲームサービスを提供する。
 より具体的に、アプリケーション部110は、ゲームの動作を制御する。例えば、アプリケーション部110は、端末装置20から取得したに基づき、動画像データをレンダリング処理部120に出力する。
 なお、アプリケーション部110が提供するサービスは、ゲームサービスに限定されず、例えば動画視聴サービスなど種々のサービスを提供してもよい。
 (レンダリング処理部120)
 レンダリング処理部120は、端末装置20に表示させる動画像のレンダリング処理を行う描画部である。レンダリング処理部120は、ゲーム画面として表示する画像データを生成する処理を行う。レンダリング処理部120は、アプリケーション部110及び制御部160の指示に従い、所定のレンダリング解像度及びフレームレートでゲームのシーン画像のレンダリングを行う。
 レンダリング処理部120は、GPU(Graphics Processing Unit)等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、動画像情報の生成が行われ得る。なお、レンダリング処理部120が複数のGPUによって構成される場合には、レンダリング処理部120は、画像生成に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
 (符号化部130)
 符号化部130は、レンダリング処理部120が生成した画像データを符号化することで圧縮し、圧縮したビットストリーム(以下、圧縮データとも記載する)を通信部140に出力する。符号化部130は、制御部160の指示に従い、圧縮データを生成する。
 図2に示す符号化部130は、バッファ131を有する。符号化部130は、バッファ131に圧縮データ等を一時的に保存し、符号化処理を行う。
 (通信部140)
 通信部140は、外部装置との通信を行う通信インタフェース(I/F)である。通信部140は、例えば、NIC(Network Interface Card)等によって実現される。例えば、通信部140は、基地局装置30(図1参照)が接続するコアネットワークと通信を行う。通信部140は、符号化部130が符号化したシーン画像を送信信号に変換して端末装置20に送信する。また、通信部140は、端末装置20からシーン情報やゲームサービスに関するサービス情報を受信し、受信結果を制御部160に通知する。また、通信部140は、シーン情報やサービス情報に基づいて生成された特性情報を端末装置20に送信する。
 図2に示す通信部140は、バッファ141を有する。通信部140は、バッファ141に通信データ等を一時的に保存し、通信処理を行う。
 (記憶部150)
 記憶部150は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部150は、情報処理装置10の記憶手段として機能する。記憶部150は、後述する制御部160による通信制御やバッファ制御に使用する制御情報等を記憶する。
 なお、図2では、符号化部130、通信部140がそれぞれバッファ131、141としてバッファメモリを有する構成を示しているが、これに限定されない。例えば、符号化部130、通信部140が記憶部150の一部をバッファ131、141として処理を行うようにしてもよい。
 (制御部160)
 制御部160は、情報処理装置10の各部を制御する。制御部160は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって情報処理装置10内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部160は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
 制御部160は、取得部161と、バッファ制御部162と、通信制御部163と、を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部160の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部160が有する各処理部の接続関係は、図2に示した接続関係に限られず、他の接続関係であってもよい。
 (取得部161)
 取得部161は、ゲームの特性に関する情報(特性情報)を取得する。取得部161は、端末装置20からゲームサービスに関する情報やゲームサービスのシーンに関する情報を取得し、取得したこれらの情報に基づいて記憶部150から特性情報を取得する。
 特性情報は、例えばゲームサービスを提供するときに要求される特性に関する情報である。特性情報には、例えば低遅延や大容量、多元接続のうち要求される特性を示す情報が含まれる。特性情報は、例えば、アプリケーション部110が提供するサービス単位で設定される。また、特性情報は、サービスのシーンごとに設定されてもよい。特性情報の詳細については後述する。
 (バッファ制御部162)
 バッファ制御部162は、取得部161が取得した特性情報に基づき、各部のバッファ131、141を制御する。バッファ制御部162は、特性情報に基づき、バッファ131、141のバッファ量を制御する。
 (通信制御部163)
 通信制御部163は、取得部161が取得した特性情報に基づき、通信部140が行う通信処理を制御する。また、通信制御部163は、フレームレートや符号化率等、符号化部130が行う処理を制御する。
 [端末装置20]
 端末装置20は、クライアントサーバである情報処理装置10からアプリケーション機能の提供を受けるクライアントデバイス(情報処理装置)である。端末装置20は、例えばアプリケーション機能としてゲームサービスの提供を受ける。
 端末装置20は、情報処理装置10から送信されるゲームに関する動画像データを受信し、受信した動画像データを表示する。端末装置20は、ユーザによるゲームに対する操作に応じてゲームのシーンを判定し判定したシーンに関するシーン情報を情報処理装置10に送信する。
 端末装置20は、通信部210と、復号部220と、レンダリング処理部230と、入出力部240と、記憶部250と、制御部260と、を有する。
 (通信部210)
 通信部210は、外部装置との通信を行う通信インタフェース(I/F)である。通信部210は、例えば、NIC(Network Interface Card)等によって実現される。例えば、通信部210は、基地局装置30(図1参照)と無線通信を行うことでコアネットワークに接続する。通信部210は、情報処理装置10からゲームの動画像データを受信する。通信部210は、情報処理装置10にシーン情報やゲームサービスに関するサービス情報を送信する。通信部210は、特性情報を情報処理装置10から受信する。
 通信部210は、バッファ211を有し、情報処理装置10から受信したデータをバッファに一時的に保存して受信処理を行う。通信部210は、情報処理装置10に送信するデータをバッファに一時的に保存して送信処理を行う。
 (復号部220)
 復号部220は、通信部210が受信した動画像データを復号する。復号部220は、バッファ221を有し、動画像データを一時的に保存して復号処理を行う。
 (レンダリング処理部230)
 レンダリング処理部230は、復号部220が復号した動画像データをレンダリングして入出力部240のディスプレイ(図示省略)に表示させる。
 (入出力部240)
 入出力部240は、例えばディスプレイ等の表示装置(図示省略)や、操作器(コントローラ)等の入力装置(図示省略)を有する。入出力部240は、レンダリング処理部230がレンダリングした動画像データをディスプレイに表示する。入出力部240は、入力装置を介してユーザによるゲームに対する操作を検出する。
 (記憶部250)
 記憶部250は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部250は、端末装置20の記憶手段として機能する。記憶部250は、後述する制御部260による通信制御やバッファ制御に使用する制御情報等を記憶する。
 なお、図2では、通信部210、復号部120がそれぞれバッファ211、221として例えばバッファメモリを有する構成を示しているが、これに限定されない。例えば、通信部210、復号部120が記憶部250の一部をバッファ211、221として処理を行うようにしてもよい。
 (制御部260)
 制御部260は、端末装置20の各部を制御する。制御部260は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって端末装置20内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部260は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
 制御部260は、取得部261と、バッファ制御部262と、通信制御部263と、を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部260の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部260が有する各処理部の接続関係は、図2に示した接続関係に限られず、他の接続関係であってもよい。
 (取得部261)
 取得部261は、アプリケーション機能(ゲームの特性)に関する情報(特性情報)を取得する。取得部261は、ゲームサービスに関するサービス情報やゲームサービスのシーンに関するシーン情報を、入出力部240や記憶部250から取得する。取得したこれらの情報を情報処理装置10に通知することで、取得部261は、情報処理装置10から特性情報を取得する。
 (バッファ制御部262)
 バッファ制御部262は、取得部261が取得した特性情報に基づき、各部のバッファ211、221を制御する。バッファ制御部262は、特性情報に基づき、バッファ211、221のバッファ量を制御する。
 (通信制御部263)
 通信制御部263は、取得部261が取得した特性情報に基づき、通信部210が行う通信処理を制御する。また、通信制御部263は、フレームレートや復号率等、復号部220が行う処理を制御する。
 <2.2.情報処理装置>
 次に、情報処理装置10の詳細について説明する。図3は、本開示の実施形態に係る情報処理装置10の構成の一例を示す図である。
 (アプリケーション部110)
 情報処理装置10のアプリケーション部110は、例えばゲームサービスを提供するアプリケーションである。
 図4は、本開示の実施形態に係るサービスの種別の一例を説明するための図表である。アプリケーション部110がゲームサービスを提供する場合、ゲームサービスの種別は、例えば図4に示すようにジャンルとサブジャンルとによって特定され得る。
 例えばジャンルは、「シューティング」や「アクション」等のサービスを区分する大分類に相当する。ジャンルが「シューティング」であるサービスは、例えばサブジャンルとして「弾幕系シューティング」や「FPS(First Person shooter)」等の小分類で区分される。
 (記憶部150)
 図3に戻る。記憶部150は、アプリケーション部110が提供するゲームサービスと特性情報とを対応付けて記憶する。
 図5は、本開示の実施形態に係る記憶部150が記憶する特性情報の一例を説明するための図表である。図5に示すように、記憶部150は、ゲームサービスのサブジャンルと、特性情報の優先度と、を対応付けて記憶する。特性情報には、例えば、サービスに要求される通信品質(低遅延又は大容量)特性に関する情報や、サービスの提供を受ける端末数に応じた(多元接続)特性に関する情報が含まれる。
 例えば、記憶部150は、特性情報として、低遅延特性及び大容量特性と、ゲームのサブジャンルとを対応付けて記憶する。例えば、サブジャンル「FPS」は、低遅延特性の優先度が高く(High)、大容量特性の優先度が中程度(Mid)である。一方、サブジャンル「戦略ゲーム」は、低遅延特性の優先度が低く(Low)、大容量特性の優先度が高い(High)。
 記憶部150は、サービスのシーンと特性情報とを対応付けて記憶してもよい。図6は、本開示の実施形態に係る記憶部150が記憶する特性情報の他の例を説明するための図表である。図6に示すように、記憶部150は、ゲームサービスのサブジャンルごとに、シーンと特性情報の優先度とを対応付けて記憶する。
 例えば、記憶部150は、シーンとして、メニューシーンとプレイシーンごとに特性情報を記憶する。サブジャンル「対戦型格闘ゲーム」の「メニュー」シーンは、低遅延特性の優先度が低く(Low)、大容量特性が高い(High)。同じサブジャンル「対戦型格闘ゲーム」でもシーンが「プレイ」の場合、低遅延特性の優先度が高く(High)、大容量特性の優先度が中程度(Mid)となる。
 なお、ここでは、記憶部150が、特性情報の優先度を記憶する場合について説明したが、これに限定されない。例えば、記憶部150がゲームサービスに最も要求される特性情報を記憶するようにしてもよい。この場合、記憶部150は、例えばサブジャンル「FPS」と「低遅延」とを対応付けて記憶し、「戦略ゲーム」と「大容量」とを対応付けて記憶する。
 また、記憶部150は、制御部160での制御に使用する制御情報を記憶する。制御情報には、通信制御に使用する通信制御情報と、バッファ制御に使用するバッファ制御情報と、が含まれる。
 記憶部150は、特性情報と制御情報とを対応付けて記憶する。図7は、本開示の実施形態に係る記憶部150が記憶する通信制御情報の一例を説明するための図表である。図7では、記憶部150が、通信制御情報としてネットワーク・スライスに関する情報を記憶する場合について示している。
 例えば、記憶部150は、低遅延特性の優先度が高く(High)、大容量特性の優先度が低い(Low)場合、対応するネットワーク・スライスとして「Slice 5」を記憶する。
 なお、記憶部150は、通信制御情報として、ネットワーク・スライスに関する情報以外にも、例えばフレームレートや符号化率、符号化方法、通信プロトコルの種別等と特性情報とを対応付けて記憶する。また、記憶部150は、バッファ制御情報として、バッファ量と特性情報とを対応付けて記憶する。
 記憶部150は、ゲームサービス、特性情報及び制御情報を対応付けて記憶してもよい。図8は、本開示の実施形態に係る記憶部150が記憶する特性情報の他の例を説明するための図表である。図8に示す例では、記憶部150は、ゲームサービスのサブジャンルと、特性情報の優先度と、通信制御情報と、バッファ制御情報を対応付けて記憶する。図8では、記憶部150が、通信制御情報として、ネットワーク・スライスに関する情報を記憶し、バッファ制御情報として、バッファ量に関する情報を記憶する場合について示している。
 例えば、図8では、サブジャンル「FPS」は、低遅延特性が高く(High)、大容量特性が中程度(Mid)であり、ネットワーク・スライスが「Slice 2」であり、バッファ量は「小」である。また、サブジャンル「戦略ゲーム」は、低遅延特性が低く(Low)、大容量特性が高い(High)。サブジャンル「戦略ゲーム」で使用されるネットワーク・スライスは「Slice 6」であり、バッファ量は「大」となる。
 このように、記憶部150は、端末装置20に提供するサービスに対応する特性情報を記憶する。また、記憶部150は、特性情報に対応する制御情報を記憶する。これにより、情報処理装置10は、サービスに要求される特性情報に合わせた通信制御及びバッファ制御を行うことができる。
 なお、ここでは、記憶部150が、特性情報として、低遅延特性及び大容量(高画質)特性について記憶するものとしたが、これに限定されない。例えば、記憶部150が特性情報として多元接続特性について記憶するようにしてもよい。例えば、多数のプレイヤーが同時に参加するゲームは、多元接続特性の優先度が高くなる。
 図9は、本開示の実施形態に係る記憶部150が記憶する特性情報の他の例を説明するための図表である。図9では、記憶部150は、特性情報の優先度と、通信制御情報としてネットワーク・スライスに関する情報と、を対応付けて記憶する。例えば、低遅延特性が低く(Low)、大容量特性が低く(Low)、多元接続特性が高い(High)場合、ネットワーク・スライスとして「Slice 10」が使用される。
 (制御部160)
 図3に戻る。制御部160の取得部161は、サービス情報取得部161aと、シーン情報取得部161bと、特性情報取得部161cと、を備える。
 サービス情報取得部161aは、端末装置20から、アプリケーション部110が提供するサービスに関するサービス情報を取得する。例えば、アプリケーション部110がゲームサービスを提供する場合、サービス情報取得部161aは、通信部140を介して端末装置20からゲームのサブジャンルに関する情報を取得する。
 シーン情報取得部161bは、通信部140を介して端末装置20からシーン情報を取得する。シーン情報取得部161bは、例えば、端末装置20の画面に表示されているシーン画像がメニュー画像であるメニューシーンか、プレイ画像であるプレイシーンかを示す情報を取得する。
 特性情報取得部161cは、サービス情報及びシーン情報に基づき、特性情報を取得する。例えば、サービス情報が「対戦型格闘ゲーム」であり、シーン情報が「プレイ」である場合、特性情報取得部161cは、記憶部150を参照し、低遅延特性が高く(High)、大容量特性が低い(Low)という情報を取得する(図6参照)。
 図3に示すバッファ制御部162は、特性情報取得部161cが取得した特性情報に基づき、バッファ131、141のバッファ量を制御する。バッファ制御部162は、例えば、記憶部150を参照し、特性情報の優先度に対応するバッファ量を決定する。
 バッファ131、141は、符号化処理や通信処理のために一旦データを蓄積する。そのため、データが蓄積されている時間が長くなるほどデータの送信が遅れ、伝送遅延につながる。そのため、データの伝送遅延を小さくするためには、バッファ131、141のバッファ量を小さくすればよい。
 ただし、実際には、データの送受信のためには、情報処理装置10は、データを様々な形式に変換したり、データの送信又は受信のタイミングを調整したりする必要があり、ある程度のバッファ量のバッファ131、141が必要となる。
 例えば、低遅延特性の優先度が高い場合、バッファ制御部162は、バッファ131、141がバッファ量の小さい第1のバッファ量B1となるよう制御する。バッファ量を小さくすることで、伝送データを細かく分割することができ、バッファ131、141での蓄積時間を短くし、伝送速度をより短くすることができる。
 大容量(高画質)特性の優先度が高い場合、バッファ制御部162は、バッファ131、141がバッファ量の大きい第2のバッファ量B2(B1<B2)となるよう制御する。大容量特性の優先度が高い場合、データを効率的に伝送するためにはある程度データをまとめて処理した方がよい。そこで、バッファ制御部162は、大容量特性の優先度が高い場合、低遅延特性の優先度が高い場合と比較してバッファ量を大きくする。これにより、情報処理装置10は、高画質の画像データを伝送することができる。
 多元接続特性の優先度が高い場合、多数のプレイヤー(端末装置20)がゲームを行うため、伝送するデータ自体は小さい場合が多く、データ処理のためのバッファ量は小さくてもよい。しかしながら、多数の端末装置20と通信を行う通信タイミングの制御が重要になる。そのため、通信タイミングを調整するための待ち時間が発生する恐れがあり、この待ち時間に対応するためにある程度のバッファ量が必要となる。
 そこで、多元接続特性の優先度が高い場合、バッファ制御部162は、バッファ量が中程度の第3バッファ量B3(B1<B3<B2)となるようバッファ131、141を制御する。これにより、情報処理装置10は、通信タイミング制御を行いながら小さいデータを伝送することができる。
 なお、後述するように、通信部140は、第1~第3通信処理部140a~140cを有し、各第1~第3通信処理部140a~140cはそれぞれバッファ141a~141cを有する。バッファ制御部162は、各バッファ141a~141cに対してバッファ量の制御を行う。
 通信制御部163は、特性情報取得部161cが取得した特性情報に基づき、通信部140が行う通信に関する処理を制御する。
 通信制御部163は、記憶部150を参照し、通信に使用するネットワーク・スライスを特性情報に応じて選択する。
 また、通信制御部163は、通信に使用する帯域幅を選択する。通信制御部163は、例えば、低遅延特性の優先度が高い場合は、通信に使用する帯域幅が第1帯域幅W1になるように狭くする。これにより、情報処理装置10は、帯域を確保しやすくなり、通信を安定させやすくなる。
 大容量特性の優先度が高い場合、通信制御部163は、通信に使用する帯域幅が第2帯域幅W2(W1<W2)になるよう広くする。これにより、情報処理装置10は、一度に送信できるデータ量を増加させることができる。
 多元接続特性の優先度が高い場合、通信制御部163は、通信に使用する帯域幅が第3帯域幅W3(W1<W3)になるよう狭くする。これにより、情報処理装置10は、帯域を確保しやすくなり、通信を安定させやすくなる。
 また、通信制御部163は、特性情報に基づき、通信部140で使用するプロトコルを選択する。通信部140で使用するプロトコルの一例については後述する。
 なお、通信制御部163は、通信部140での通信処理に加え、符号化部130での符号化処理の制御や、レンダリング処理部120でのレンダリング処理の制御を行い得る。
 例えば、符号化部130で行うシーン画像の圧縮率が大きかったり、シーン画像の解像度が高く高画質であったりすると、符号化処理に時間がかかり伝送遅延が大きくなる。
 そこで、低遅延特性の優先度が高い場合、通信制御部163は、符号化部130で行う圧縮処理の圧縮率を第1圧縮率C1に小さくする。また、通信制御部163は、符号化部130で行う圧縮処理後の解像度を第1解像度R1に小さく(低解像度化)する。これにより、情報処理装置10は、符号化部130で行う圧縮処理の時間を短縮することができ、伝送遅延を小さくすることができる。
 大容量特性の優先度が高い場合、通信制御部163は、符号化部130で行う圧縮処理の圧縮率を第2圧縮率C2(C1<C2)に大きくする。また、通信制御部163は、符号化部130で行う圧縮処理後の解像度を第2解像度R2(R1<R2)に大きく(高解像度化)する。これにより、情報処理装置10は、高画質な画像データを伝送することができる。
 多元接続特性の優先度が高い場合、通信制御部163は、例えば、符号化部130で行う圧縮処理の圧縮率を小程度又は中程度の第3圧縮率C3(C1≦C3<C2)とする。また、通信制御部163は、符号化部130で行う圧縮処理後の解像度を、例えば小程度又は中程度の第3解像度R3(R1≦R3<R2)とする。これにより、情報処理装置10は、小程度又は中程度のサイズの画像データを伝送することができ、伝送遅延を小さくすることができる。
 なお、上述した圧縮率及び解像度以外にも、通信制御部163は、特性情報に応じて例えばフレームレートやビットレートを制御し得る。
 例えば、フレームレートを増加させると、1フレームごとの時間間隔が短くなり、伝送遅延が小さくなる。一方、フレームレートが増加するとビットレートも増加してしまい、符号化処理や通信処理に時間がかかってしまう。
 そこで、低遅延特性の優先度が高い場合、通信制御部163は、例えば、符号化部130で行う圧縮処理後のフレームレートを第1フレームレートFR1に増加させる。また、通信制御部163は、例えばビットレートを第1ビットレートBR1に低下させる。例えば、通信制御部163は、画像データの解像度を小さくすることで、ビットレートを小さくする。
 大容量特性の優先度が高い場合、通信制御部163は、例えば、符号化部130で行う圧縮処理後のフレームレートを第2フレームレートFR2(FR1>FR2)に小さくする。また、通信制御部163は、例えばビットレートを第2ビットレートBR2(BR1<BR2)に増加させる。例えば、通信制御部163は、画像データの解像度を大きくすることで、ビットレートを大きくする。
 多元接続特性の優先度が高い場合、通信制御部163は、例えば、符号化部130で行う圧縮処理後のフレームレートを中程度又は大程度の第3フレームレートFR3(FR1≧FR3>FR2)にする。また、通信制御部163は、例えばビットレートを小程度又は中程度の第3ビットレートBR3(BR1≦BR3<BR2)にする。例えば、通信制御部163は、画像データの解像度を調整することで、ビットレートを調整する。
 (レンダリング処理部120)
 レンダリング処理部120は、制御部160からの指示に従い、画像データを生成する。レンダリング処理部120は、生成した画像データを符号化部130に出力する。
 (符号化部130)
 符号化部130は、例えばレンダリング処理部120が生成した画像データに対して圧縮処理を行うビデオエンコーダである。符号化部130は、制御部160からの指示に従い、特性情報に応じた圧縮率、フレームレート及びビットレートで画像データを圧縮し、圧縮データを生成する。符号化部130は、生成した圧縮データを通信部140に出力する。
 (通信部140)
 通信部140は、圧縮データを伝送するために適切な通信プロトコルに従って圧縮データを加工し、送信データを生成する。通信部140は、第1~第3通信処理部140a~140cを有する。例えば、第1、第2通信処理部140a、140bは、ビデオ伝送のための通信処理を行い、第3通信処理部140cは、伝送路に応じた通信処理を行う。
 第1通信処理部140aは、例えばRTP(Real time Transport Protocol)に従ってビデオ送信ストリームを生成する。RTPは、Audio/Video伝送に使用されることが多いプロトコルである。実際のビデオ伝送では、RTPは、通信品質制御等を行うRTCP(RTP Control Protocol)等の他のプロトコルと組み合わせて使用されることが多いが、ここでは説明を簡略化するため、RTPを使用する場合について説明する。
 RTPは、基本的にビデオデータ(圧縮データ)を決められたフォーマットにまとめ、送信しやすい形式に変換するプロトコルである。このとき、RTPでは、ビデオデータに加え、ビデオデータがサンプリングされた時間を表すタイムスタンプやRTPパケットの順番を表すシークエンス番号も含んでフォーマットにまとめられる。タイムスタンプやシークエンス番号は、例えば伝送途中でのデータの欠落や動画再生のタイミングを受信側が判断するために使用される。
 第1通信処理部140aは、制御部160によってバッファ量が調整されたバッファ141aを使用してビデオデータ等を一時的に蓄積し、ビデオ送信ストリーム(RTPパケット)を生成する。
 第1通信処理部140aは、生成した第1通信データ(例えばビデオ送信ストリーム)を第2通信処理部140bに出力する。
 第2通信処理部140bは、通信プロトコルに従って、送信データ(第2通信データ)を生成する。例えば画像データは、IPネットワークを介して端末装置20に伝送される。IPネットワークとは、いわゆるインターネットのことである。RTPパケットは、通常TCP(Transmission Control Protocol)またはUDP(User Datagram Protocol)を使用した上で、IP(Internet Protocol)を使用して端末装置20に伝送される。
 TCP及びUDPは、どちらもIPに依りインターネット通信に必要な送信元アドレスや受信先アドレスなどの情報を使用し、確実にデータを送信側から受信側へインターネットを介して送信するために設計されたプロトコルである。TCPとUDPとでは、TCPの方がより信頼性の高いデータ伝送が可能である。UDPは、TCPと比較して低遅延でデータ伝送が可能である。RTPを使用した場合、一般的にUDPが使用されることが多いため、以下、第2通信処理部140bがUDPを使用して送信データを生成する場合について説明する。
 図10は、本開示の実施形態に係る通信部140が生成する送信データを説明するための図である。
 図10に示すように、符号化部130が生成した圧縮データ列に対して、第1通信処理部140aがRTP処理を施し、圧縮データ列にRTPヘッダを付してRTPパケットを生成する。RTPパケットは、第2通信処理部140bに出力される。
 第2通信処理部140bは、RTPパケットにUDPヘッダを付加してUDPパケットを生成する。UDPヘッダには、例えばインターネット伝送用のポートに関する情報が含まれる。ポートは、機器(情報処理装置10)内部でのデータの出入り口番号である。
 次に、第2通信処理部140bは、UDPパケットにIPヘッダを付加してIPパケットを生成する。IPヘッダには、例えばインターネット伝送用の送信元アドレスや受信先アドレスが含まれる。
 第2通信処理部140bは、制御部160によってバッファ量が調整されたバッファ141bを使用して各パケット等を一時的に蓄積し、IPパケットを生成する。第2通信処理部140bは、生成したIPパケットを第3通信処理部140cに出力する。
 なお、ここでは、第2通信処理部140bがUDPを使用してUDPパケットを生成するとしたが、これに限定されない。例えば、第2通信処理部140bがTCPを使用してTCPパケットを生成してもよい。この場合、第1通信処理部140aは、RTP以外のプロトコルを用いて第1通信データを生成するようにしてもよい。
 あるいは、第2通信処理部140bが、特性情報に基づき、プロトコルを変更するようにしてもよい。例えば、第2通信処理部140bが、低遅延特性の優先度が高い場合にUDPを選択し、大容量特性の優先度が高い場合にTCPを選択するようにしてもよい。この場合、第2通信処理部140bが選択したプロトコルに応じて、第1通信処理部140aは、使用するプロトコルを変更するようにしてもよい。
 図3に戻る。第3通信処理部140cは、IPパケットに対して、伝送物理媒体に応じた処理を施し、送信信号を生成する。第3通信処理部140cは、生成した送信信号を端末装置20に送信する。
 ここで、伝送物理媒体は、情報処理装置10及び端末装置20が接続するネットワークであり、例えばイーサネットや5G、4G等が挙げられる。第3通信処理部140cは、IPパケットに対してネットワークの種別に応じた信号処理を施し送信信号を生成、送信する。例えば、5Gネットワークでは、上述したネットワーク・スライス技術を用いることで、低遅延特性や大容量特性を満たす通信が行われる。第3通信処理部140cは、例えば、制御部160によって選択されたネットワーク・スライスを使用して送信信号を送信する。
 第3通信処理部140cは、制御部160によってバッファ量が調整されたバッファ141cを使用して各パケット等を一時的に蓄積し、送信信号を生成する。第3通信処理部140cは、生成した送信信号を端末装置20に送信する。
 従来のアプリケーションサーバでは、提供するサービスの特性を考慮した通信制御が行われていなかったため、サービスの特性に応じた効率のよい通信制御を行うことが難しかった。そのため、通信量が増えたときに輻輳が生じ、データ通信に遅延が生じたり、データが通信途中で消滅したりする恐れがあった。このように、従来のアプリケーションサーバ(情報処理装置)は、安定した品質のサービスを提供することが難しい場合があった。
 そこで、本開示の実施形態に係る情報処理装置10は、端末装置20から提供するサービスの特性情報を取得し、取得した特性情報に基づき、通信に関する処理を変更することとした。これにより、情報処理装置10は、特性情報に応じた通信処理を行うことができ、効率のよい通信制御を行うことができるようになる。そのため、情報処理装置10は、安定した品質のサービスを端末装置20に提供できるようになる。
 また、情報処理装置10は、通信部140の通信処理に加え、符号化部130における符号化処理やバッファ量等も特性情報に基づいた制御を行う。例えば、情報処理装置10がネットワークに関する通信の通信制御のみを行っても、伝送路(ネットワーク)に起因する特性が改善されるが、例えば符号化処理等に起因する特性は改善されない。具体的に、情報処理装置10が、ネットワーク・スライスの選択を行って、ネットワーク上の遅延を小さくしても、符号化処理に時間がかかってしまうと、データ伝送自体の遅延を小さくすることはできない。
 そこで、本開示の実施形態に係る情報処理装置10は、通信制御処理として、通信部140による通信処理に加え、バッファ量や符号化処理等も特性情報に基づき制御を行う。これにより、情報処理装置10は、サービスに要求される特性を満たす通信を行うことができ、安定した品質のサービスを端末装置20に提供できるようになる。
 <2.3.端末装置>
 図11は、本開示の実施形態に係る端末装置20の構成の一例を示す図である。
 (記憶部250)
 記憶部250は、アプリケーション部110から提供を受けるゲームサービスを記憶する。
 (制御部260)
 制御部260の取得部261は、サービス情報取得部261aと、シーン情報取得部261bと、特性情報取得部261cと、を備える。
 サービス情報取得部261aは、アプリケーション部110から提供を受けるサービスに関するサービス情報を、例えば記憶部250から取得する。例えば、アプリケーション部110がゲームサービスを提供する場合、サービス情報取得部261aは、ゲームのサブジャンルに関する情報を取得する。サービス情報取得部261aは、取得したサービス情報を情報処理装置10に通知する。
 シーン情報取得部261bは、シーン情報を取得する。シーン情報取得部261bは、例えば、入出力部240からシーン情報を取得する。シーン情報取得部261bは、取得したシーン情報を情報処理装置10に通知する。特性情報取得部261cは、情報処理装置10から特性情報を取得する。
 バッファ制御部262は、特性情報取得部261cが取得した特性情報に基づき、バッファ211、221のバッファ量を制御する。バッファ制御部262は、例えば、記憶部250を参照し、特性情報の優先度に対応するバッファ量を決定する。なお、具体的なバッファ制御は、情報処理装置10のバッファ制御部162が行う制御と同じであるため説明を省略する。
 なお、後述するように、通信部210は、第1~第3通信処理部210a~210cを有し、各第1~第3通信処理部210a~210cはそれぞれバッファ211a~211cを有する。バッファ制御部262は、各バッファ211a~211cに対してバッファ量の制御を行う。
 通信制御部263は、特性情報取得部261cが取得した特性情報に基づき、通信部210が行う通信に関する処理を制御する。
 通信制御部263は、特性情報に基づき、通信部210で使用するプロトコルを選択する。通信制御部263は、情報処理装置10で使用されたプロトコルを選択する。
 なお、通信制御部263は、通信部210での通信処理に加え、復号部220での符号化処理の制御や、レンダリング処理部230でのレンダリング処理の制御を行い得る。
 例えば、通信制御部263は、特性情報に基づき、復号部220で使用する圧縮率を選択する。通信制御部263は、情報処理装置10の符号化処理で使用された圧縮率を選択する。同様に、通信制御部263は、特性情報に基づき、情報処理装置10の符号化処理で使用されたフレームレートやビットレートを選択する。
 (通信部210)
 通信部210は、情報処理装置10から受信した受信信号を適切な通信プロトコルに従って加工し、圧縮データを生成する。通信部210は、第1~第3通信処理部210a~210cを有する。例えば、第1通信処理部210aは、伝送路に応じた通信処理を行い、第2、第3通信処理部210b、210cは、ビデオ伝送のための通信処理を行う。
 第1通信処理部210aは、受信した受信信号に対して、伝送物理媒体に応じた処理を施し、IPパケットを生成する。第1通信処理部210aは、生成したIPパケットを第2通信処理部210bに出力する。
 第1通信処理部210aは、制御部260によってバッファ量が調整されたバッファ211aを使用して受信信号等を一時的に蓄積し、IPパケットを生成する。
 第2通信処理部210bは、通信プロトコルに従って、IPパケットから第1通信データ(ビデオストリーム)を生成する。上述したように、情報処理装置10がIP及びUDPを使用してIPパケットを生成した場合、第2通信処理部210bもIP及びUDPに基づいてIPパケットから第1通信データを生成する。
 第2通信処理部210bは、例えばIPパケットに付加されたIPヘッダに基づき、UDPパケットを生成する。第2通信処理部210bは、UDPパケットに付加されたUDPヘッダに基づき、RTPパケットを生成する。
 第2通信処理部210bは、制御部260によってバッファ量が調整されたバッファ211bを使用して各パケット等を一時的に蓄積し、RTPパケットを生成する。第2通信処理部210bは、生成したRTPパケットを第3通信処理部210cに出力する。
 第3通信処理部210cは、例えばRTPに従って圧縮データを生成する。第3通信処理部210cは、制御部260によってバッファ量が調整されたバッファ211cを使用してRTPパケット等を一時的に蓄積し、圧縮データを生成する。
 (復号部220)
 復号部220は、例えば通信部210が生成した圧縮データを伸張する伸張処理を行い、画像データを生成するビデオデコーダである。復号部220は、制御部160からの指示に従い、特性情報に応じた圧縮率、フレームレート及びビットレートで圧縮データを伸張し、画像データを生成する。復号部220は、生成した画像データをレンダリング処理部230に出力する。
 (レンダリング処理部230)
 レンダリング処理部230は、制御部260からの指示に従い、画像データに対してレンダリング処理を施し、入出力部240に出力する。
 このように、本開示の実施形態に係る端末装置20は、提供するサービスの特性情報を取得し、取得した特性情報に基づき、通信に関する処理を変更する。これにより、端末装置20は、特性情報に応じた通信処理を行うことができ、効率のよい通信制御を行うことができるようになる。そのため、端末装置20は、安定した品質のサービスを享受することができるようになる。
 また、端末装置20は、通信制御処理として、通信部210による通信処理に加え、バッファ量や復号処理等も特性情報に基づいて制御を行う。これにより、端末装置20は、サービスに要求される特性を満たす通信を行うことができ、安定した品質のサービスを享受することができるようになる。
 <<3.通信処理>>
 <3.1.情報処理装置による通信処理>
 図12は、本開示の実施形態に係る情報処理装置10が実行する通信処理の流れを示すフローチャートである。情報処理装置10は、端末装置20にサービスを提供している間、所定の周期で図12に示す通信処理を繰り返し実行する。あるいは、情報処理装置10は、シーンが切り替わったタイミングで図12に示す通信処理を実行するようにしてもよい。
 図12に示すように、情報処理装置10は、シーン情報を取得する(ステップS101)。情報処理装置10は、例えば端末装置20からゲームのシーンに関するシーン情報を取得する。情報処理装置10は、シーン情報に加え、端末装置20からゲームの種別を示すサービス情報を取得してもよい。
 情報処理装置10は、シーン情報及びサービス情報に基づき、サービス提供に要求される特性情報を取得する(ステップS102)。特性情報は、例えば、低遅延特性や大容量特性、多元接続特性を含む。あるいは、特性情報は、これら特性の優先度を示す情報であってもよい。
 情報処理装置10は、特性情報に基づき、データ伝送に使用するバッファ131、141のバッファ量を変更する(ステップS103)。情報処理装置10は、データ伝送のための通信処理を変更する(ステップS104)。情報処理装置10は、例えばネットワーク・スライスや帯域幅等、通信に使用するパラメータを変更する。また、情報処理装置10は、例えば圧縮率やデータレートなど通信データ生成に関するパラメータを変更する。
 情報処理装置10は、変更後のバッファ及びパラメータ等を使用して送信データを生成し(ステップS105)、生成した送信データを送信する(ステップS106)。
 <3.2.端末装置による通信処理>
 図13は、本開示の実施形態に係る端末装置20が実行する通信処理の流れを示すうフローチャートである。端末装置20は、情報処理装置10からサービスの提供を受けている間、所定の周期で図13に示す通信処理を繰り返し実行する。あるいは、端末装置209は、シーンが切り替わったタイミングで図13に示す通信処理を実行するようにしてもよい。
 図13に示すように、端末装置20は、シーン情報を取得する(ステップS201)。端末装置20は、例えば入出力部240からゲームのシーンに関するシーン情報を取得する。端末装置20は、シーン情報に加え、記憶部250からゲームの種別を示すサービス情報を取得してもよい。
 端末装置20は、情報処理装置10から特性情報を取得する(ステップS102)。特性情報は、例えば、低遅延特性や大容量特性、多元接続特性を含む。あるいは、特性情報は、これら特性の優先度を示す情報であってもよい。端末装置20は、ステップS201で取得したシーン情報やサービス情報を情報処理装置10に通知することで、特性情報を取得する。
 端末装置20は、特性情報に基づき、データ受信に使用するバッファ131、141のバッファ量を変更する(ステップS203)。端末装置20は、データ受信のための通信処理を変更する(ステップS204)。また、端末装置20は、例えば圧縮率やデータレートなどデータ復号に関するパラメータを変更する。
 端末装置20は、変更後のバッファ及びパラメータ等を使用して受信データを受信し(ステップS205)、受信した受信データを復号する(ステップS206)。
 <<4.その他の実施形態>>
 上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
 上述の実施形態では、ゲームのシーンとしてメニュー及びプレイを一例に説明したが、ゲームのシーンはこれに限定されない。例えば、ゲームのシーンとして、ゲームの操作方法やストーリーの説明等を行う「説明動画」シーンなどが含まれていてもよい。
 また、上述の実施形態では、端末装置20が、シーンに関するシーン情報を情報処理装置10に送信するとしたが、このとき、端末装置20は、TCPを使用してシーン情報を送信するようにしてもよい。シーン情報は、ゲームの進行状況を示す情報でもあり、データ量は少ないがより確実に伝送すべき情報である。そこで、端末装置20は、UDPを使用した動画伝送とは異なり、TCPを使用してシーン情報を送信する。上述したように、TCPは、UDPと比較してより確実にデータを伝送するためのプロトコルである。そのため、端末装置20は、TCPを用いてシーン情報をIP伝送することで、より確実にシーン情報を情報処理装置10に送信することができる。
 また、上述の実施形態では、制御部160、260がシーン情報に基づき、各処理部のバッファ量を制御するとしたが、これに限定されない。各処理部が、シーン情報を取得し、バッファ量を制御するようにしてもよい。例えば、情報処理装置10では、符号化部140及び通信部140がそれぞれシーン情報を取得し、バッファ131、141のバッファ量をそれぞれ制御するようにしてもよい。
 また、上述の実施形態では、端末装置20が、ユーザに提示する画像データや、ユーザが行った操作情報等に基づいてシーンを判定してシーン情報の生成、送信を行うとしたが、これに限定されない。例えば、ユーザが行った操作情報を端末装置20が情報処理装置10に送信するようにしてもよい。この場合、例えば情報処理装置10のアプリケーション部110が、操作情報に基づき、シーンを判定し、シーン情報を生成する。情報処理装置10の制御部160及び端末装置20の制御部260は、シーン情報をアプリケーション部110から取得する。
 また、上述の実施形態では、情報処理装置10がゲームサーバであり、アプリケーション機能としてゲームサービスをユーザに提供するとしたが、これに限定されない。情報処理装置10は、ゲーム以外のアプリケーション機能を提供するアプリケーションサーバであってもよい。また、情報処理装置10は、ロボットやドローンのような移動体であってもよい。
 この場合、情報処理装置10は、移動体が撮像した画像データを、移動体を操縦する端末装置20に送信する。ユーザは、端末装置20に表示された画像を確認しながら移動体を操縦する。情報処理装置10は、移動体が所定速度以上で移動している場合(移動シーン)と、速度ゼロで停止又は所定速度未満でゆっくり移動している場合(停止シーン)と、にわけて通信制御を行うようにしてもよい。例えば、情報処理装置10は、移動シーンでは低遅延特性の優先度を高くして画像データを送信し、停止シーンでは大容量(高画質)特性の優先度を高くして画像データを送信するよう、通信制御を行う。
 また、上述の実施形態では、情報処理装置10が、端末装置20から取得したサービス情報やシーン情報等から特性情報を生成するとしたが、これに限定されない。例えば情報処理装置10が、アプリケーション部110からサービス情報やシーン情報など、端末装置20に提供するサービスに関する情報を取得するようにしてもよい。
 また、端末装置20が、サービス情報やシーン情報等から特性情報を取得するようにしてもよい。この場合、端末装置20の記憶部250が、情報処理装置10の記憶部150と同様の特性情報等(図5、図6等参照)を記憶するものとする。端末装置20は、取得したサービス情報やシーン情報に基づいて記憶部250を参照し、特性情報を取得する。
 なお、記憶部250は、あらかじめサービス情報や特性情報の対応付け等を記憶しておいてもよく、あるいは、制御部260を介して情報処理装置10から取得して記憶するようにしてもよい。
 本実施形態の情報処理装置10又は端末装置20を制御する制御装置は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
 例えば、上述の動作を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、情報処理装置10又は端末装置20の外部の装置(例えば、パーソナルコンピュータ)であってもよい。また、制御装置は、情報処理装置10又は端末装置20の内部の装置(例えば、制御部160又は制御部260)であってもよい。
 また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、OS(Operating System)とアプリケーションソフトとの協働により実現してもよい。この場合には、OS以外の部分を媒体に格納して配布してもよいし、OS以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
 また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
 また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
 また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
 なお、本実施形態において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、例えば、本実施形態は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 <<5.補足>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 クライアントデバイスにアプリケーション機能を提供する情報処理装置であって、
 前記アプリケーション機能に関する特性情報を取得する取得部と、
 前記クライアントデバイスと通信を行う通信部と、
 を備え、
 前記通信部は、前記特性情報に応じて前記通信に関する処理を変更する、
 情報処理装置。
(2)
 前記通信部は、
 前記アプリケーション機能のシーンに応じた前記特性情報に基づき、前記通信に関する処理を変更する、(1)に記載の情報処理装置。
(3)
 前記通信部は、
 前記シーンごとに要求される通信品質の特性に応じて前記通信に関する処理を変更する、(2)に記載の情報処理装置。
(4)
 前記通信部は、
 前記アプリケーション機能の提供を受ける前記クライアントデバイスの数に応じて前記通信に関する処理を変更する、(2)に記載の情報処理装置。
(5)
 前記特性情報を記憶する記憶部をさらに備え、
 前記取得部は、
 前記記憶部から前記特性情報を取得する、
 (1)~(4)のいずれか1つに記載の情報処理装置。
(6)
 前記通信部は、
 前記特性情報に基づき、低遅延が要求される場合、前記通信に使用する帯域幅を狭くし、大容量が要求される場合、前記帯域幅を広くする、
 (1)~(5)のいずれか1つに記載の情報処理装置。
(7)
 前記通信部は、
 前記特性情報に応じて、前記クライアントデバイスに送信するデータのフレームレート及びビットレートの少なくとも一方を変更する、
 (1)~(6)のいずれか1つに記載の情報処理装置。
(8)
 前記通信部は、
 前記特性情報に応じて、前記通信に関する処理に使用するバッファのバッファ量を変更する、
 (1)~(7)のいずれか1つに記載の情報処理装置。
(9)
 前記通信部は、
 前記特性情報に基づき、低遅延が要求される場合、前記バッファ量を小さくし、大容量が要求される場合、前記バッファ量を大きくする、
 (8)に記載の情報処理装置。
(10)
 クライアントサーバからアプリケーション機能の提供を受ける情報処理装置であって、
 前記アプリケーション機能に関する特性情報を取得する取得部と、
 前記クライアントサーバと通信を行う通信部と、
 を備え、
 前記通信部は、前記特性情報に応じて前記通信に関する処理を変更する、
 情報処理装置。
(11)
 クライアントデバイスにアプリケーション機能を提供する情報処理装置において通信を行うための通信方法であって、
 前記アプリケーション機能に関する特性情報を取得することと、
 前記クライアントデバイスと通信を行うことと、
 を含み、
 前記クライアントデバイスとの前記通信において、前記特性情報に応じて前記通信に関する処理を変更する、
 通信方法。
(12)
 クライアントサーバからアプリケーション機能の提供を受ける情報処理装置において通信を行うための通信方法であって、
 前記アプリケーション機能に関する特性情報を取得することと、
 前記クライアントサーバと通信を行うことと、
 を含み、
 前記クライアントサーバとの前記通信において、前記特性情報に応じて前記通信に関する処理を変更する、
 通信方法。
 10 情報処理装置
 20 端末装置
 30 基地局装置
 110 アプリケーション部
 120、230 レンダリング処理部
 130 符号化部
 140、210 通信部
 150、250 記憶部
 160、260 制御部
 161、261 取得部
 162、262 バッファ制御部
 163、263 通信制御部
 220 復号部
 240 入出力部

Claims (12)

  1.  クライアントデバイスにアプリケーション機能を提供する情報処理装置であって、
     前記アプリケーション機能に関する特性情報を取得する取得部と、
     前記クライアントデバイスと通信を行う通信部と、
     を備え、
     前記通信部は、前記特性情報に応じて前記通信に関する処理を変更する、
     情報処理装置。
  2.  前記通信部は、
     前記アプリケーション機能のシーンに応じた前記特性情報に基づき、前記通信に関する処理を変更する、請求項1に記載の情報処理装置。
  3.  前記通信部は、
     前記シーンごとに要求される通信品質の特性に応じて前記通信に関する処理を変更する、請求項2に記載の情報処理装置。
  4.  前記通信部は、
     前記アプリケーション機能の提供を受ける前記クライアントデバイスの数に応じて前記通信に関する処理を変更する、請求項2に記載の情報処理装置。
  5.  前記特性情報を記憶する記憶部をさらに備え、
     前記取得部は、
     前記記憶部から前記特性情報を取得する、
     請求項1に記載の情報処理装置。
  6.  前記通信部は、
     前記特性情報に基づき、低遅延が要求される場合、前記通信に使用する帯域幅を狭くし、大容量が要求される場合、前記帯域幅を広くする、
     請求項1に記載の情報処理装置。
  7.  前記通信部は、
     前記特性情報に応じて、前記クライアントデバイスに送信するデータのフレームレート及びビットレートの少なくとも一方を変更する、
     請求項1に記載の情報処理装置。
  8.  前記通信部は、
     前記特性情報に応じて、前記通信に関する処理に使用するバッファのバッファ量を変更する、
     請求項1に記載の情報処理装置。
  9.  前記通信部は、
     前記特性情報に基づき、低遅延が要求される場合、前記バッファ量を小さくし、大容量が要求される場合、前記バッファ量を大きくする、
     請求項8に記載の情報処理装置。
  10.  クライアントサーバからアプリケーション機能の提供を受ける情報処理装置であって、
     前記アプリケーション機能に関する特性情報を取得する取得部と、
     前記クライアントサーバと通信を行う通信部と、
     を備え、
     前記通信部は、前記特性情報に応じて前記通信に関する処理を変更する、
     情報処理装置。
  11.  クライアントデバイスにアプリケーション機能を提供する情報処理装置において通信を行うための通信方法であって、
     前記アプリケーション機能に関する特性情報を取得することと、
     前記クライアントデバイスと通信を行うことと、
     を含み、
     前記クライアントデバイスとの前記通信において、前記特性情報に応じて前記通信に関する処理を変更する、
     通信方法。
  12.  クライアントサーバからアプリケーション機能の提供を受ける情報処理装置において通信を行うための通信方法であって、
     前記アプリケーション機能に関する特性情報を取得することと、
     前記クライアントサーバと通信を行うことと、
     を含み、
     前記クライアントサーバとの前記通信において、前記特性情報に応じて前記通信に関する処理を変更する、
     通信方法。
PCT/JP2020/041758 2020-11-09 2020-11-09 情報処理装置及び通信方法 WO2022097303A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022560626A JPWO2022097303A1 (ja) 2020-11-09 2020-11-09
CN202080106839.7A CN116457767A (zh) 2020-11-09 2020-11-09 信息处理设备和通信方法
PCT/JP2020/041758 WO2022097303A1 (ja) 2020-11-09 2020-11-09 情報処理装置及び通信方法
US18/251,401 US20230405457A1 (en) 2020-11-09 2020-11-09 Information processing device and communication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/041758 WO2022097303A1 (ja) 2020-11-09 2020-11-09 情報処理装置及び通信方法

Publications (1)

Publication Number Publication Date
WO2022097303A1 true WO2022097303A1 (ja) 2022-05-12

Family

ID=81457706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041758 WO2022097303A1 (ja) 2020-11-09 2020-11-09 情報処理装置及び通信方法

Country Status (4)

Country Link
US (1) US20230405457A1 (ja)
JP (1) JPWO2022097303A1 (ja)
CN (1) CN116457767A (ja)
WO (1) WO2022097303A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093406A1 (ja) * 2003-04-16 2004-10-28 Sony Computer Entertainment Inc. データ伝送装置、データ伝送方法、ゲーム機およびゲームシステム
JP2004329300A (ja) * 2003-04-30 2004-11-25 Sony Computer Entertainment Inc 通信方法およびゲーム機
JP2008016974A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc 通信装置、通信中継装置およびゲーム装置
JP2016537914A (ja) * 2013-09-04 2016-12-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated オーディオ/ビデオストリーミングのためのレイテンシバッファリングの動的および自動制御
CN111135569A (zh) * 2019-12-20 2020-05-12 RealMe重庆移动通信有限公司 云游戏处理方法、装置、存储介质与电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093406A1 (ja) * 2003-04-16 2004-10-28 Sony Computer Entertainment Inc. データ伝送装置、データ伝送方法、ゲーム機およびゲームシステム
JP2004329300A (ja) * 2003-04-30 2004-11-25 Sony Computer Entertainment Inc 通信方法およびゲーム機
JP2008016974A (ja) * 2006-07-03 2008-01-24 Sony Computer Entertainment Inc 通信装置、通信中継装置およびゲーム装置
JP2016537914A (ja) * 2013-09-04 2016-12-01 クゥアルコム・インコーポレイテッドQualcomm Incorporated オーディオ/ビデオストリーミングのためのレイテンシバッファリングの動的および自動制御
CN111135569A (zh) * 2019-12-20 2020-05-12 RealMe重庆移动通信有限公司 云游戏处理方法、装置、存储介质与电子设备

Also Published As

Publication number Publication date
CN116457767A (zh) 2023-07-18
JPWO2022097303A1 (ja) 2022-05-12
US20230405457A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
Shi et al. Mobile VR on edge cloud: A latency-driven design
KR101523133B1 (ko) 비디오 디스플레이 시스템을 위한 스트리밍 기술
CN108370580B (zh) 匹配用户装备和网络调度周期
US20240171492A1 (en) Screen projection data transmission method and apparatus, electronic device, and storage medium
US20140187331A1 (en) Latency reduction by sub-frame encoding and transmission
WO2021209034A1 (zh) 一种数据传输的方法及通信装置
CN104618195A (zh) 带宽估测方法和装置
CN114667727A (zh) 用于远程会议的方法和装置
US20140112354A1 (en) Method, apparatus, and system for processing streaming media data
CN104837043A (zh) 多媒体信息处理方法及电子设备
Nyamtiga et al. Edge-computing-assisted virtual reality computation offloading: An empirical study
WO2022097303A1 (ja) 情報処理装置及び通信方法
CN109963106A (zh) 一种视频图像处理方法、装置、存储介质及终端
KR101710011B1 (ko) 영상 데이터 전송 및 수신 방법 및 장치
US20140280692A1 (en) System and method for encoding control commands
EP4391639A1 (en) Communication method and apparatus
US20220182713A1 (en) Device and system for streaming media interaction
US9729867B2 (en) Wireless communication terminal and communication control method
CN115982084A (zh) 数据传输方法及装置、通信设备、及存储介质
WO2022206016A1 (zh) 一种数据分层传输方法、装置及系统
KR101670767B1 (ko) 영상 안정화 서비스를 위한 이중화 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템
US9300979B2 (en) Methods for transmitting and receiving data contents, corresponding source and destination nodes and storage means
KR102279730B1 (ko) 실시간 IoT 기반 메타정보를 갖는 영상의 다중 전송 스트리밍 방법, 이를 수행하기 위한 기록 매체, 장치 및 시스템
WO2022193182A1 (zh) 一种传输参数调整方法及通信装置
WO2021002135A1 (ja) データ送信装置、データ送信システム、及び、データ送信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20960855

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022560626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202080106839.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20960855

Country of ref document: EP

Kind code of ref document: A1