WO2021199134A1 - 情報処理装置及び情報処理システム - Google Patents

情報処理装置及び情報処理システム Download PDF

Info

Publication number
WO2021199134A1
WO2021199134A1 PCT/JP2020/014505 JP2020014505W WO2021199134A1 WO 2021199134 A1 WO2021199134 A1 WO 2021199134A1 JP 2020014505 W JP2020014505 W JP 2020014505W WO 2021199134 A1 WO2021199134 A1 WO 2021199134A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
communication
virtual space
information processing
image
Prior art date
Application number
PCT/JP2020/014505
Other languages
English (en)
French (fr)
Inventor
研冴 田倉
翼 乾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP20928320.9A priority Critical patent/EP4129431A4/en
Priority to US17/906,990 priority patent/US20230118364A1/en
Priority to PCT/JP2020/014505 priority patent/WO2021199134A1/ja
Publication of WO2021199134A1 publication Critical patent/WO2021199134A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0268—Traffic management, e.g. flow control or congestion control using specific QoS parameters for wireless networks, e.g. QoS class identifier [QCI] or guaranteed bit rate [GBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding

Definitions

  • This technology relates to information processing devices and information processing systems related to slicing technology.
  • Patent Document 1 discloses a method of updating a multiplayer game session on a mobile device, which is performed by connecting the mobile device to a communication system.
  • the purpose of this technology is to provide an information processing device and an information processing system that enable smooth game play while using a mobile communication system.
  • the information processing device includes a control unit and a communication unit.
  • the control unit generates a first image of the virtual space viewed from the first viewpoint by rendering in a virtual space to which a plurality of users can connect, and the first image has a higher communication priority than the first image.
  • a second image in which the virtual space is viewed from a second viewpoint different from the first viewpoint is generated by rendering with an identifier indicating that the slice of the above is used for communication, and the second image is used as the second image.
  • An identifier indicating that the second slice, which has a lower communication priority than the first slice, is used for communication is attached.
  • the communication unit transmits the first video and the second video via a communication network.
  • the above virtual space is a virtual space generated by the game
  • the first viewpoint is the viewpoint of the player of the game.
  • the second viewpoint may be the viewpoint of the viewer of the game.
  • the second viewpoint may be the viewpoint of a switcher that generates a video for watching the game.
  • the second viewpoint is a viewpoint of an audience who can view the virtual space from an arbitrary viewpoint, and is a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered. May be good.
  • the control unit further generates a third image of the virtual space viewed from the first viewpoint and a third viewpoint different from the second viewpoint by rendering, and the second viewpoint.
  • An identifier indicating that the third slice, which has a lower communication priority than the slice, is used for communication is attached.
  • the communication unit may further transmit the third video via the communication network.
  • the above virtual space is a virtual space generated by the game
  • the first viewpoint is the viewpoint of the player of the game.
  • the second viewpoint is the viewpoint of the switcher that generates the video for the audience of the game.
  • the third viewpoint may be a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered with respect to the viewpoint of the spectator who can view the virtual space from an arbitrary viewpoint. ..
  • the above virtual space is a virtual space in which images of sports games taken by a plurality of cameras are combined.
  • the first viewpoint is the viewpoint of the switcher that generates the video for the audience of the game.
  • the second viewpoint may be a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered with respect to the viewpoint of the spectator who can view the virtual space from an arbitrary viewpoint. ..
  • the information processing device includes a first terminal, a second terminal, and a server device.
  • the first terminal includes a first control unit and a first communication unit.
  • the second terminal includes a second control unit and a second communication unit.
  • the server device generates a first image of the virtual space viewed from the first viewpoint by rendering in a virtual space to which a plurality of users can connect, and the first image has a higher communication priority than the first image.
  • a second image in which the virtual space is viewed from a second viewpoint different from the first viewpoint is generated by rendering with an identifier indicating that the slice of the above is used for communication, and the second image is used as the second image.
  • a third control unit with an identifier indicating that a second slice having a lower communication priority than the first slice is used for communication, the first communication unit, the second communication unit, and the communication network. It is provided with a third transmission unit that is connected, transmits the first video to the first communication unit, and transmits the second video to the second communication unit.
  • FIG. 1 is a block diagram showing an overall configuration of an information processing system 100 according to an embodiment of the present technology.
  • the information processing system 100 includes a terminal 10, a base station 20, a core network 30, a network 40, and a server device 50.
  • the terminal 10 is a terminal capable of communicating with the base station 20 by 5G (5th Generation: 5th generation mobile communication system), and can be a PC or a smartphone.
  • 5G 5th Generation: 5th generation mobile communication system
  • the three terminals 10 connected to the base station 20 are referred to as terminal 10A, terminal 10B, and terminal 10C, respectively.
  • the terminal 10 is not limited to a PC or a smartphone, and may be a terminal compliant with 5G.
  • the terminal 10 includes a control unit 11 and a communication unit 12, and the communication unit 12 communicates with the communication unit 22 under the control of the control unit 11.
  • the base station 20 forms a RAN (Radio Access Network) and provides a wireless communication service to one or more terminals 10.
  • the base station 20 can perform wireless communication with the terminal 10 in accordance with the wireless communication system of NR (New Radio), which is a successor standard of LTE (Long Term Evolution).
  • the base station 20 includes a control unit 21 and a communication unit 22, and the communication unit 22 communicates with the communication unit 12 under the control of the control unit 21. Further, the communication unit 22 is connected to the network 40 via the core network 30.
  • the core network 30 is a network that connects between an switch connected to the control device of the base station 20 and another switch, and is an MME (Mobility Management Entity), an S-GW (Serving Gateway), and a P-GW ( It is composed of Packet Data Network Gateway) and so on.
  • MME Mobility Management Entity
  • S-GW Serving Gateway
  • P-GW Packet Data Network Gateway
  • the network 40 is a computer network that connects a plurality of information processing devices, for example, the Internet. Further, the network 40 may be configured inside the core network 30.
  • the server device 50 is connected to the terminal 10 via the network 40, the core network 30, and the base station 20, and provides the service to the terminal 10.
  • the server device 50 includes a control unit 51 and a communication unit 52, and the communication unit 52 communicates with the communication unit 22 via the network 40 and the core network 30 under the control of the control unit 51.
  • NR has two characteristics. The first feature is to realize high-speed and large-capacity communication using a frequency band from 6 GHz to 100 GHz, and the second feature is to efficiently perform multiple forms of communication for various use cases. To contain.
  • the plurality of forms of communication include high-speed and large-capacity communication (eMBB: enhanced Mobile Broadband), ultra-reliable and low-latency communication (URLLC: Ultra-Reliable and Low Latency Communications), and ultra-massive terminal communication mMTC (massive Machine Type Communication). ) Etc. are included. In NR, it is considered to accommodate these multiple forms of communication in one network.
  • eMBB enhanced Mobile Broadband
  • URLLC Ultra-Reliable and Low Latency Communications
  • mMTC massive Machine Type Communication
  • EPC Evolved Packet Core
  • LTE Long Term Evolution
  • New Core is being considered as a successor.
  • New Core is required to efficiently accommodate the above-mentioned plurality of forms of communication and to keep CAPEX / OPEX (equipment introduction cost, operation cost) low.
  • each node of the core network (in other words, communication equipment) is implemented as a virtual machine, and the operation of the node according to the target communication form is virtually executed for each logical network. Conceivable. This is because the functions implemented in the virtual machine can be increased or decreased according to the increase or decrease in communication demand, or the computer resources allocated to each function can be increased or decreased.
  • the functions implemented by the virtual machine are connected to other functions and networked by the virtual network technology.
  • a virtual network technology for example, there is a technology called OpenFlow in which a central controller distributes the rules of each switch and the switches operate according to the rules distributed by the controller.
  • OpenFlow flexible network operation is possible by freely switching the switches that connect the functions implemented by the virtual machines.
  • slicing a technology that provides a logical network with different properties by combining a virtual machine and a virtual network technology such as OpenFlow is called slicing.
  • FIG. 2 is a schematic diagram showing slicing in the information processing system 100. As shown in the figure, by using the slicing technique, it is possible to realize a plurality of slices on one physical network between the terminal 10 and the server device 50. Hereinafter, the plurality of slices formed in the information processing system 100 will be referred to as "slice S1", “slice S2", and “slice S3".
  • Slice S1 is a slice having the highest communication priority
  • slice S2 is a slice having a medium communication priority
  • Slice S3 is the slice having the lowest communication priority.
  • the communication priority indicates the degree to which communication is prioritized, and the higher the communication priority, the faster the communication speed.
  • Table 1 is a table showing slice mapping in the information processing system 100.
  • the slice S1 is a logical network for large-capacity and low-delay communication, for example, a logical network for eMBB.
  • the slice S2 is a logical network for low-latency communication, for example, a logical network for URLLC.
  • Slice S3 can be a logical network for best effort communication.
  • the slice mapping is not limited to the one shown in Table 1, and if the slice S1 has the highest communication priority, the slice S2 has a medium communication priority, and the slice S3 has the lowest communication priority. good.
  • a logically independent network that can provide different communication services is realized on one physical network.
  • the slicing technology it is possible to flexibly provide a logical network for different purposes.
  • the capacity of each slice can be flexibly changed by increasing or decreasing the computational resources allocated to the virtual machine or changing the switching.
  • each slice may be formed between the terminal 10 and the server device 50 via the RAN, the core network 30, and the network 40. Further, each slice may be formed only in the RAN and the core network 30, or may be formed only in the core network 30. Further, the number of slices is not limited to three, and may be two or four or more.
  • the data communicated between the terminal 10 and the server device 50 is given an identifier called S-NSSAI (Single-Network Slice Selection Assistance Information), and the terminal 10, RAN and the core network 30 use this identifier. It is possible to determine which slice the data is communicated with.
  • S-NSSAI Single-Network Slice Selection Assistance Information
  • the operation of the information processing system 100 will be described.
  • the information processing system 100 is used in a situation where there is a "player” who plays a game such as an e-sports tournament and a "viewer” who does not play the game but watches the game screen.
  • Viewer includes "switcher” and "audience”.
  • the switcher can distribute a video for watching a game displayed on a large screen display or the like arranged at an e-sports venue. Audiences can connect to the game being played and watch the game from their own desired perspective.
  • the control unit 51 creates a virtual space based on the game data.
  • the player connects to this virtual space by the terminal 10A and plays a game.
  • the player's viewpoint in the virtual space 10 can be arbitrarily operated by the player, and hereinafter, the player's viewpoint in the virtual space is referred to as a "player's viewpoint”.
  • the control unit 51 renders an image of the virtual space viewed from the player's viewpoint based on the 3D data of the game.
  • this video is referred to as a "player video.”
  • the switcher can be connected to this virtual space by the terminal 10B and can independently operate a viewpoint different from that of the player.
  • the viewpoint of the switcher in the virtual space will be referred to as a “switcher viewpoint”.
  • the control unit 51 renders an image of the virtual space viewed from the switcher's viewpoint based on the 3D data of the game.
  • this image will be referred to as a "switcher image”.
  • the spectator can connect to this virtual space by the terminal 10C and operate a unique viewpoint different from that of the player and the switcher.
  • the viewpoint of the audience in the virtual space will be referred to as the “audience viewpoint”.
  • the control unit 51 renders an image of the virtual space viewed from the audience's viewpoint based on the 3D data of the game.
  • this video will be referred to as "audience video”.
  • control unit 51 may perform clustering of spectator viewpoints when the number of spectator viewpoints is a certain number or more. That is, the control unit 51 may consider the viewpoint with the largest number of spectators among the spectator viewpoints within a certain range in the vicinity in the virtual space as a common spectator viewpoint within the range.
  • the control unit 51 maps each of the above images to slices S1 to S3 as shown in [Table 2] below.
  • the control unit 51 maps the player image to the slice S1, the switcher image to the slice S2, and the audience image to the slice S3.
  • the control unit 51 assigns an identifier indicating that the slice S1 is used for communication to the player video, an identifier indicating that the slice S2 is used for communication in the switcher video, and uses the slice S3 for communication in the audience video. Attach the identifier to indicate.
  • These identifiers can be the above-mentioned S-NSSAI and the like.
  • the control unit 51 supplies each video with an identifier to the communication unit 52.
  • the communication unit 52 transmits the player image to the terminal 10A via the RAN provided by the network 40, the core network 30, and the base station 20, the switcher image to the terminal 10B, and the audience image to the terminal 10C.
  • Each piece of information is transmitted by slices indicated by identifiers in all or part of these communication networks.
  • the player image is transmitted to the terminal 10A by the slice S1
  • the switcher image is transmitted to the terminal 10B by the slice S2
  • the audience image is transmitted to the terminal 10C by the slice S3.
  • the mapping of each video and slice may be performed by the terminal 10, the base station 20, or the core network 30 by using an identifier instead of the server device 50.
  • the switcher image Since the player image is transmitted by the slice S1 having the highest communication priority, the influence of the communication on the game play can be minimized. Further, since the switcher image is transmitted by the slice S2 having the next highest communication priority and the audience image is transmitted by the slice S3 having the lowest communication priority, the switcher image viewed by a large number of spectators can be viewed by individual spectators. It is transmitted with priority over the audience video. As a result, viewing of the switcher image is ensured even when the number of people who want to view the audience image is too large.
  • the information processing system 100 it is possible to transmit the video from each viewpoint of the virtual space by the game to the terminal 10 by the slice selected according to the type of the user, and the efficient use of the communication line. And the improvement of the user experience can be realized.
  • control unit 51 can map the player image to the slice S1 and the switcher image to the slice S2. Further, when only the player viewpoint and the spectator viewpoint exist in the virtual space, the control unit 51 can map the player image to the slice S1 and the spectator image to the slice S2.
  • the virtual space created by the game has been described, but the virtual space to which this technology can be applied is realized by synthesizing the images of a real sports game taken by a plurality of cameras, and the viewpoint can be freely moved. It may be a possible virtual space.
  • the switcher viewpoint and the spectator viewpoint can exist in the virtual space, and the control unit 51 can map the switcher image to the slice S1 and the spectator image to the slice S2.
  • FIG. 3 is a schematic diagram showing the hardware configuration of the server device 50.
  • the server device 50 has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 composed of input devices such as a keyboard and a mouse for which the user inputs operation commands, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, a program, and various data.
  • a storage unit 1008 consisting of a hard disk drive or the like for storing, a LAN (Local Area Network) adapter or the like, and a communication unit 1009 for executing communication processing via a network represented by the Internet are connected.
  • a drive 1010 for reading and writing data is connected to a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the server device 50 can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be pre-installed in the ROM 1002 or the storage unit 1008.
  • the program executed by the server device 50 may be a program that is processed in chronological order according to the order described in the present disclosure, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program that is processed by.
  • the hardware configuration of the server device 50 does not have to be all mounted on one device, and the server device 50 may be configured by a plurality of devices. Further, it may be mounted on a part of the hardware configuration of the server device 50 or a plurality of devices connected via a network.
  • a first image of the virtual space viewed from the first viewpoint is generated by rendering, and a first slice having a high communication priority is used for communication with the first image.
  • a second image in which the virtual space is viewed from a second viewpoint different from the first viewpoint is generated by rendering with an identifier indicating that the user is used, and the first slice is added to the second image.
  • a control unit with an identifier indicating that a second slice with a lower communication priority is used for communication, and a control unit.
  • An information processing device including a communication unit that transmits the first video and the second video via a communication network.
  • the above virtual space is a virtual space generated by the game
  • the first viewpoint is the viewpoint of the player of the game.
  • the second viewpoint is an information processing device which is the viewpoint of the viewer of the game.
  • the information processing device according to (2) above is an information processing device that is a viewpoint of a switcher that generates a video for watching the game.
  • the information processing device according to (2) above is a viewpoint of an audience who can view the virtual space from an arbitrary viewpoint, and is a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered. Processing equipment.
  • the control unit further generates a third image of the virtual space viewed from the first viewpoint and a third viewpoint different from the second viewpoint by rendering, and the second viewpoint.
  • An identifier indicating that the third slice, which has a lower communication priority than the slice, is used for communication is attached.
  • the communication unit is an information processing device that further transmits the third video via a communication network. (6)
  • the above virtual space is a virtual space generated by the game,
  • the first viewpoint is the viewpoint of the player of the game.
  • the second viewpoint is the viewpoint of the switcher that generates the video for the audience of the game.
  • the third viewpoint is an information processing device that is a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered with respect to the viewpoint of an audience who can view the virtual space from an arbitrary viewpoint. .. (7)
  • the information processing device according to (1) above is a virtual space in which images of sports games taken by a plurality of cameras are combined.
  • the first viewpoint is the viewpoint of the switcher that generates the video for the audience of the game.
  • the second viewpoint is an information processing device which is a specific viewpoint selected by the number of spectators in which a plurality of viewpoints in the vicinity are clustered with respect to the viewpoint of an audience who can view the virtual space from an arbitrary viewpoint. ..
  • a first terminal including a first control unit and a first communication unit
  • a second terminal having a second control unit and a second communication unit
  • a first image of the virtual space viewed from the first viewpoint is generated by rendering, and a first slice having a high communication priority is used for communication with the first image.
  • a second image in which the virtual space is viewed from a second viewpoint different from the first viewpoint is generated by rendering with an identifier indicating that the information is used, and the first slice is added to the second image.
  • a third control unit with an identifier indicating that a second slice having a lower communication priority is used for communication is connected to the first communication unit and the second communication unit by a communication network, and the first communication unit is connected to the second communication unit.
  • An information processing system including a server device including a third communication unit that transmits the video of 1 to the first communication unit and transmits the second video to the second communication unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】移動通信システムを利用しながら、スムーズにゲームを行うことを可能とする情報処理装置及び情報処理システムを提供すること。 【解決手段】本技術に係る情報処理装置は、制御部と、通信部とを具備する。上記制御部は、複数のユーザが接続可能な仮想空間において、第１の視点から上記仮想空間を見た第１の映像をレンダリングにより生成し、上記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、上記第１の視点とは異なる第２の視点から上記仮想空間を見た第２の映像をレンダリングにより生成し、上記第２の映像に上記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す。上記通信部は、上記第１の映像及び上記第２の映像を通信ネットワークを介して送信する。

Description

情報処理装置及び情報処理システム
　本技術は、スライシング技術に係る情報処理装置及び情報処理システムに関する。
　近年、モバイル機器を移動通信システムによりネットワークに接続して行うゲームが広く普及している。例えば、特許文献１には、移動体装置を通信システムに接続して行う、移動体装置上でのマルチプレーヤーゲームセッションの更新方法が開示されている。
特表２０１０－５３９７６５号公報
　しかしながら、特許文献１に記載されているようなネットワークへの接続はこれまで、ベストエフォート型の通信により行われてきた。ベストエフォート型の通信では、通信条件によってはデータの欠損や遅延等が発生し、スムーズにゲームを行うことができないという問題があった。
　以上のような事情に鑑み、本技術の目的は、移動通信システムを利用しながら、スムーズにゲームを行うことを可能とする情報処理装置及び情報処理システムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、制御部と、通信部とを具備する。
　上記制御部は、複数のユーザが接続可能な仮想空間において、第１の視点から上記仮想空間を見た第１の映像をレンダリングにより生成し、上記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、上記第１の視点とは異なる第２の視点から上記仮想空間を見た第２の映像をレンダリングにより生成し、上記第２の映像に上記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す。
　上記通信部は、上記第１の映像及び上記第２の映像を通信ネットワークを介して送信する。
　上記仮想空間はゲームにより生成された仮想空間であり、
　上記第１の視点は、上記ゲームのプレイヤーの視点であり、
　上記第２の視点は、上記ゲームのビューワーの視点であってもよい。
　上記第２の視点は、上記ゲームの観戦用映像を生成するスイッチャーの視点であってもよい。
　上記第２の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点であって、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点であってもよい。
　上記制御部は、さらに、上記仮想空間において上記第１の視点及び上記第２の視点とは異なる第３の視点から上記仮想空間を見た第３の映像をレンダリングにより生成し、上記第２のスライスより通信優先度が低い第３のスライスを通信に利用することを示す識別子を付し、
　上記通信部はさらに、上記第３の映像を通信ネットワークを介して送信してもよい。
　上記仮想空間はゲームにより生成された仮想空間であり、
　上記第１の視点は、上記ゲームのプレイヤーの視点であり、
　上記第２の視点は、上記ゲームの観客用映像を生成するスイッチャーの視点であり、
　上記第３の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点であってもよい。
　上記仮想空間は、スポーツの試合を複数のカメラによって撮影した映像が合成された仮想空間であり、
　上記第１の視点は、上記ゲームの観客用映像を生成するスイッチャーの視点であり、
　上記第２の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点であってもよい。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、第１の端末と、第２の端末と、サーバ装置とを具備する。
　上記第１の端末は、第１の制御部と第１の通信部とを備える。
　上記第２の端末は、第２の制御部と第２の通信部とを備える。
　上記サーバ装置は、複数のユーザが接続可能な仮想空間において、第１の視点から上記仮想空間を見た第１の映像をレンダリングにより生成し、上記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、上記第１の視点とは異なる第２の視点から上記仮想空間を見た第２の映像をレンダリングにより生成し、上記第２の映像に上記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す第３の制御部と、上記第１の通信部及び上記第２の通信部と通信ネットワークにより接続され、上記第１の映像を上記第１の通信部に送信し、上記第２の映像を上記第２の通信部に送信する第３の送信部とを備える。
本技術の実施形態に係る情報処理システムの模式図である。 上記情報処理システムにより形成されるスライスの模式図である。 上記情報処理システムが備えるサーバ装置のハードウェア構成を示すブロック図である。
　［情報処理システムの全体構成］
　図１は、本技術の実施形態に係る情報処理システム１００の全体構成を示すブロック図である。同図に示すように、情報処理システム１００は、端末１０、基地局２０、コアネットワーク３０、ネットワーク４０及びサーバ装置５０から構成されている。
　端末１０は、基地局２０との間で５Ｇ（5th Generation：第５世代移動通信システム）による通信が可能な端末であり、ＰＣやスマートフォンとすることができる。図１において、基地局２０に接続された３つの端末１０をそれぞれ端末１０Ａ、端末１０Ｂ及び端末１０Ｃとする。端末１０はＰＣやスマートフォンに限られず、５Ｇに準拠した端末であればよい。端末１０は、制御部１１及び通信部１２を備え、制御部１１による制御を受けて通信部１２が通信部２２と通信を行う。
　基地局２０は、ＲＡＮ（Radio Access Network）を形成し、１つ以上の端末１０へ無線通信サービスを提供する。基地局２０は、ＬＴＥ（Long Term Evolution）の後継規格であるＮＲ（New Radio）の無線通信方式にしたがって、端末１０との無線通信を行うものとすることができる。基地局２０は、制御部２１及び通信部２２を備え、制御部２１による制御を受けて通信部２２が通信部１２と通信を行う。また、通信部２２はコアネットワーク３０を介してネットワーク４０に接続されている。
　コアネットワーク３０は、基地局２０の制御装置に接続された交換器と他の交換器の間を接続するネットワークであり、ＭＭＥ(Mobility Management Entity）、Ｓ－ＧＷ(Serving Gateway）及びＰ－ＧＷ（Packet Data Network Gateway）等によって構成されている。
　ネットワーク４０は、複数の情報処理装置間を接続するコンピュータネットワークであり、例えばインターネットである。また、ネットワーク４０は、コアネットワーク３０の内部において構成されているものであってもよい。
　サーバ装置５０は、ネットワーク４０、コアネットワーク３０及び基地局２０を介して端末１０と接続され、端末１０にサービスを提供する。サーバ装置５０は、制御部５１及び通信部５２を備え、制御部５１による制御を受けて通信部５２が、ネットワーク４０及びコアネットワーク３０を介して通信部２２と通信を行う。
　［ＮＲ（New Radio）について］
　ＮＲは、２つの特徴を有する。第１の特徴は、６ＧＨｚ以上１００ＧＨｚまでの周波数帯を用いて、高速大容量の通信を実現することであり、第２の特徴は、様々なユースケースのための複数形態の通信を効率的に収容することである。
　ここで、複数形態の通信とは、高速大容量通信（ｅＭＢＢ：enhanced Mobile Broadband）、超高信頼低遅延通信（ＵＲＬＬＣ：Ultra-Reliable and Low Latency Communications）、超大量端末通信ｍＭＴＣ（massive Machine Type Communication）等を含む。ＮＲでは、これらの複数形態の通信を、ひとつのネットワークで収容することが検討されている。
　コアネットワークにおける通信技術として、ＬＴＥではＥＰＣ（Evolved Packet Core）が採用されていたが、その後継として、Ｎｅｗ Ｃｏｒｅが検討されている。Ｎｅｗ Ｃｏｒｅには、上述した複数形態の通信を効率よく収容すること、及びＣＡＰＥＸ／ＯＰＥＸ（設備導入費用、運用費用）を低く抑えることが求められている。
　しかしながら、ＣＡＰＥＸ／ＯＰＥＸを低く保ちながら、複数形態の通信を提供するために通信形態ごとに物理的にネットワークを分けることは困難である。そこで、物理的には単一のネットワークにおいて複数の通信形態に対応する複数の論理的なネットワークを運用すること、及び通信形態ごとの通信量の需要に応じて柔軟に論理ネットワークのキャパシティを変更することが検討されている。
　そのためには、コアネットワークの各ノード（換言すると、通信設備）を仮想マシン（virtual machine）として実装して、論理ネットワークごとに対象の通信形態に応じたノードの動作を仮想的に実行させることが考えられる。仮想マシンで実装された機能については、通信の需要の増減に応じて機能を増減させたり、機能ごとに割り当てられる計算機リソースを増減させたりすることが可能なためである。
　仮想マシンにより実装された機能は、仮想ネットワーク技術により、他の機能と接続されてネットワーク化される。そのような仮想ネットワーク技術としては、例えば、各スイッチのルールを中央のコントローラが配布して、当該コントローラが配布したルールに従ってスイッチが動作する、オープンフロー（Open Flow）という技術がある。オープンフローによれば、仮想マシンによって実装された機能同士を接続するスイッチを自在に切り替えることで、柔軟なネットワーク運用が可能となる。
　以上のように、仮想マシンとオープンフローのような仮想ネットワーク（virtual network）の技術とを組み合わせて、性質の異なる論理ネットワークを提供する技術は、スライシング（Slicing）と称される。
　［スライシングについて］
　図２は、情報処理システム１００におけるスライシングを示す模式図である。同図に示すように、スライシング技術の利用により、端末１０とサーバ装置５０の間でひとつの物理ネットワーク上で複数のスライスを実現することができる。以下、情報処理システム１００において形成される複数のスライスを「スライスＳ１」、「スライスＳ２」及び「スライスＳ３」とする。
　スライスＳ１は、通信優先度が最も高いスライスであり、スライスＳ２は、通信優先度が中程度のスライスである。スライスＳ３は通信優先度が最も低いスライスである。通信優先度は通信が優先される程度を示し、通信優先度が高いスライスほど通信速度が速いものとすることができる。
　表１は、情報処理システム１００におけるスライスのマッピングを示す表である。表１に示すように、スライスＳ１は、大容量かつ低遅延通信用の論理ネットワークであり、例えばｅＭＢＢ用の論理ネットワークである。スライスＳ２は、低遅延通信用の論理ネットワークであり、例えば、ＵＲＬＬＣ用の論理ネットワークである。スライスＳ３は、はベストエフォート通信用の論理ネットワークとすることができる。
Figure JPOXMLDOC01-appb-T000001
　なお、スライスのマッピングは表１に示すものに限られず、スライスＳ１の通信優先度が最も高く、スライスＳ２の通信優先度が中程度であり、スライスＳ３の通信優先度が最も低いものであればよい。
　このように互いに異なる通信サービスを提供可能な、論理的に独立なネットワークがひとつの物理ネットワーク上で実現される。スライシング技術によれば、用途の異なる論理ネットワークを柔軟に提供することができる。さらに、スライシング技術によれば、仮想マシンに割り当てる計算リソースを増減させたり、スイッチングを変更したりすることにより、各スライスの容量を柔軟に変更可能である。
　なお、各スライスは、ＲＡＮ、コアネットワーク３０及びネットワーク４０を介して端末１０とサーバ装置５０の間で形成されるものであってもよい。また、各スライスは、ＲＡＮとコアネットワーク３０においてのみ形成されるものであってもよく、コアネットワーク３０においてのみ形成されるものであってもよい。また、スライスの数は３つに限られず、２つまたは４つ以上であってもよい。
　また、端末１０とサーバ装置５０間で通信されるデータには、Ｓ－ＮＳＳＡＩ（Single-Network Slice Selection Assistance Information）という識別子が付与され、端末１０、ＲＡＮ及びコアネットワーク３０は、この識別子を用いてデータをいずれのスライスで通信するかを判断することができる。
　［情報処理システムの動作］
　情報処理システム１００の動作について説明する。情報処理システム１００は、ｅスポーツ大会等のゲームをプレイする「プレイヤー」と、ゲームはプレイしないがゲーム画面を視聴する「ビューワー」が存在する状況で利用される。
　ビューワーには、「スイッチャー」と「観客」が含まれる。スイッチャーは、ｅスポーツ会場に配置される大画面ディスプレイ等に表示される観戦用映像を配信することができる。観客は、プレイされているゲームに接続し、自己の希望する視点でゲームを視聴することができる。
　制御部５１は、ゲームのデータに基づいて仮想空間を生成する。プレイヤーは、端末１０Ａによりこの仮想空間に接続し、ゲームをプレイする。仮想空間１０におけるプレイヤーの視点はプレイヤーが任意に操作することが可能であり、以下、仮想空間におけるプレイヤーの視点を「プレイヤー視点」とする。制御部５１は、ゲームの３Ｄデータに基づいてプレイヤー視点から仮想空間を見た映像をレンダリングにより生成する。以下この映像を「プレイヤー映像とする。
　また、スイッチャーは、端末１０Ｂによりこの仮想空間に接続し、プレイヤーとは異なる視点を独自に操作することが可能である。以下、仮想空間におけるスイッチャーの視点を「スイッチャー視点」とする。制御部５１は、ゲームの３Ｄデータに基づいてスイッチャー視点から仮想空間を見た映像をレンダリングにより生成する。以下この映像を「スイッチャー映像」とする。
　さらに、観客は、端末１０Ｃによりこの仮想空間に接続し、プレイヤー及びスイッチャーとは異なる独自の視点を操作することが可能である。以下、仮想空間における観客の視点を「観客視点」とする。制御部５１は、ゲームの３Ｄデータに基づいて観客視点から仮想空間を見た映像をレンダリングにより生成する。以下この映像を「観客映像」とする。
　なお、制御部５１は、観客視点の数が一定以上の場合等には観客視点のクラスタライズを行ってもよい。即ち制御部５１は、仮想空間において近傍の一定範囲内にある観客視点のうち、観客数が最も多い視点を、当該範囲内の共通した観客視点とみなしてもよい。
　制御部５１は、上記各映像を下記［表２］に示すようにスライスＳ１～Ｓ３にマッピングする。
Figure JPOXMLDOC01-appb-T000002
　［表２］に示すように制御部５１は、プレイヤー映像をスライスＳ１にマッピングし、スイッチャー映像をスライスＳ２に、観客映像をスライスＳ３にマッピングする。制御部５１はプレイヤー映像にスライスＳ１を通信に利用することを示す識別子を付し、スイッチャー映像にスライスＳ２を通信に利用することを示す識別子を、観客映像にスライスＳ３を通信に利用することを示す識別子を付する。これらの識別子は上述のＳ－ＮＳＳＡＩ等とすることができる。
　制御部５１は、識別子を付した各映像を通信部５２に供給する。通信部５２は、ネットワーク４０、コアネットワーク３０、基地局２０によるＲＡＮを介して端末１０Ａにプレイヤー映像を送信し、端末１０Ｂにスイッチャー映像を、端末１０Ｃに観客映像を送信する。これらの通信ネットワークの全部又は一部において識別子により示されたスライスにより各情報が送信される。これにより、プレイヤー映像はスライスＳ１によって端末１０Ａに送信され、スイッチャー映像はスライスＳ２によって端末１０Ｂに、観客映像はスライスＳ３によって端末１０Ｃに送信される。なお、各映像とスライスのマッピングは、サーバ装置５０ではなく、識別子を用いて端末１０、基地局２０又はコアネットワーク３０で行ってもよい。
　［情報処理システムによる効果］
　上記のように情報処理システム１００では、プレイヤー視点、スイッチャー視点及び観客視点のそれぞれでレンダリングされた映像が、スライスＳ１～スライスＳ３を用いて送信される。
　プレイヤー映像は最も通信優先度が高いスライスＳ１によって送信されるため、通信によるゲームプレイへの影響を最小限とすることができる。また、スイッチャー映像は次に通信優先度が高いスライスＳ２によって送信され、観客映像は最も通信優先度が低いスライスＳ３によって送信されるため、多数の観客が視聴するスイッチャー映像が、個々の観客が視聴する観客映像より優先して送信される。これにより、観客映像を視聴しようとする人数が多すぎるような場合であってもスイッチャー映像の視聴は確保される。
　このように、情報処理システム１００では、ゲームによる仮想空間の各視点による映像を、ユーザの種類に応じて選択されたスライスによって端末１０に送信することが可能であり、通信回線の効率的な利用とユーザ体験の向上が実現可能である。
　［変形例］
　上記説明では、仮想空間においてプレイヤー視点、スイッチャー視点及び観客視点の３種類の視点が存在する場合について説明したが、スイッチャー視点及び観客視点はいずれか一方のみが存在してもよい。
　仮想空間にプレイヤー視点とスイッチャー視点のみが存在する場合、制御部５１はプレイヤー映像をスライスＳ１にマッピングし、スイッチャー映像をスライスＳ２にマッピングすることができる。また、仮想空間にプレイヤー視点と観客視点のみが存在する場合、制御部５１はプレイヤー映像をスライスＳ１にマッピングし、観客映像をスライスＳ２にマッピングすることができる。
　また、上記説明では、ゲームによる仮想空間について説明したが、本技術を適用可能な仮想空間は、現実のスポーツの試合を複数のカメラによって撮影した映像を合成して実現され、視点の自由移動が可能な仮想空間であってもよい。この場合、仮想空間にはスイッチャー視点及び観客視点が存在することができ、制御部５１はスイッチャー映像をスライスＳ１に、観客映像をスライスＳ２にマッピングすることが可能である。
　［ハードウェア構成］
　サーバ装置５０のハードウェア構成について説明する。図３はサーバ装置５０のハードウェア構成を示す模式図である。
　同図に示すように、サーバ装置５０は、ＣＰＵ(Central Processing Unit)１００１を内蔵している。ＣＰＵ１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ＲＯＭ(Read Only Memory)１００２およびＲＡＭ(Random Access Memory)１００３が接続されている。
　入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、ＬＡＮ（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　ＣＰＵ１００１は、ＲＯＭ１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からＲＡＭ１００３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１００３にはまた、ＣＰＵ１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるサーバ装置５０では、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　サーバ装置５０が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　サーバ装置５０では、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、サーバ装置５０が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、サーバ装置５０のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によってサーバ装置５０が構成されていてもよい。またサーバ装置５０のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。
　なお、本技術は以下のような構成もとることができる。
　（１）
　複数のユーザが接続可能な仮想空間において、第１の視点から上記仮想空間を見た第１の映像をレンダリングにより生成し、上記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、上記第１の視点とは異なる第２の視点から上記仮想空間を見た第２の映像をレンダリングにより生成し、上記第２の映像に上記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す制御部と、
　上記第１の映像及び上記第２の映像を通信ネットワークを介して送信する通信部と
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　上記仮想空間はゲームにより生成された仮想空間であり、
　上記第１の視点は、上記ゲームのプレイヤーの視点であり、
　上記第２の視点は、上記ゲームのビューワーの視点である
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　上記第２の視点は、上記ゲームの観戦用映像を生成するスイッチャーの視点である
　情報処理装置。
　（４）
　上記（２）に記載の情報処理装置であって、
　上記第２の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点であって、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
　情報処理装置。
　（５）
　上記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　上記制御部は、さらに、上記仮想空間において上記第１の視点及び上記第２の視点とは異なる第３の視点から上記仮想空間を見た第３の映像をレンダリングにより生成し、上記第２のスライスより通信優先度が低い第３のスライスを通信に利用することを示す識別子を付し、
　上記通信部はさらに、上記第３の映像を通信ネットワークを介して送信する
　情報処理装置。
　（６）
　上記（５）に記載の情報処理装置であって、
　上記仮想空間はゲームにより生成された仮想空間であり、
　上記第１の視点は、上記ゲームのプレイヤーの視点であり、
　上記第２の視点は、上記ゲームの観客用映像を生成するスイッチャーの視点であり、
　上記第３の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
　情報処理装置。
　（７）
　上記（１）に記載の情報処理装置であって、
　上記仮想空間は、スポーツの試合を複数のカメラによって撮影した映像が合成された仮想空間であり、
　上記第１の視点は、上記ゲームの観客用映像を生成するスイッチャーの視点であり、
　上記第２の視点は、上記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
　情報処理装置。
　（８）
　第１の制御部と第１の通信部とを備える第１の端末と、
　第２の制御部と第２の通信部とを備える第２の端末と、
　複数のユーザが接続可能な仮想空間において、第１の視点から上記仮想空間を見た第１の映像をレンダリングにより生成し、上記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、上記第１の視点とは異なる第２の視点から上記仮想空間を見た第２の映像をレンダリングにより生成し、上記第２の映像に上記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す第３の制御部と、上記第１の通信部及び上記第２の通信部と通信ネットワークにより接続され、上記第１の映像を上記第１の通信部に送信し、上記第２の映像を上記第２の通信部に送信する第３の通信部とを備えるサーバ装置と
　を具備する情報処理システム。
　１０…端末
　１１…制御部
　１２…通信部
　２０…基地局
　２１…制御部
　２２…通信部
　３０…コアネットワーク
　４０…ネットワーク
　５０…サーバ装置
　５１…制御部
　５２…通信部
　１００…情報処理システム

Claims (8)

  1. 　複数のユーザが接続可能な仮想空間において、第１の視点から前記仮想空間を見た第１の映像をレンダリングにより生成し、前記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、前記第１の視点とは異なる第２の視点から前記仮想空間を見た第２の映像をレンダリングにより生成し、前記第２の映像に前記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す制御部と、
    　前記第１の映像及び前記第２の映像を通信ネットワークを介して送信する通信部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記仮想空間はゲームにより生成された仮想空間であり、
    　前記第１の視点は、前記ゲームのプレイヤーの視点であり、
    　前記第２の視点は、前記ゲームのビューワーの視点である
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記第２の視点は、前記ゲームの観戦用映像を生成するスイッチャーの視点である
    　情報処理装置。
  4. 　請求項２に記載の情報処理装置であって、
    　前記第２の視点は、前記仮想空間を任意の視点で視聴することが可能な観客の視点であって、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記制御部は、さらに、前記仮想空間において前記第１の視点及び前記第２の視点とは異なる第３の視点から前記仮想空間を見た第３の映像をレンダリングにより生成し、前記第２のスライスより通信優先度が低い第３のスライスを通信に利用することを示す識別子を付し、
    　前記通信部はさらに、前記第３の映像を通信ネットワークを介して送信する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記仮想空間はゲームにより生成された仮想空間であり、
    　前記第１の視点は、前記ゲームのプレイヤーの視点であり、
    　前記第２の視点は、前記ゲームの観客用映像を生成するスイッチャーの視点であり、
    　前記第３の視点は、前記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記仮想空間は、スポーツの試合を複数のカメラによって撮影した映像が合成された仮想空間であり、
    　前記第１の視点は、前記ゲームの観客用映像を生成するスイッチャーの視点であり、
    　前記第２の視点は、前記仮想空間を任意の視点で視聴することが可能な観客の視点について、近傍の複数の視点がクラスタライズされ、観客数によって選択された特定の視点である
    　情報処理装置。
  8. 　第１の制御部と第１の通信部とを備える第１の端末と、
    　第２の制御部と第２の通信部とを備える第２の端末と、
    　複数のユーザが接続可能な仮想空間において、第１の視点から前記仮想空間を見た第１の映像をレンダリングにより生成し、前記第１の映像に通信優先度が高い第１のスライスを通信に利用することを示す識別子を付し、前記第１の視点とは異なる第２の視点から前記仮想空間を見た第２の映像をレンダリングにより生成し、前記第２の映像に前記第１のスライスより通信優先度が低い第２のスライスを通信に利用することを示す識別子を付す第３の制御部と、前記第１の通信部及び前記第２の通信部と通信ネットワークにより接続され、前記第１の映像を前記第１の通信部に送信し、前記第２の映像を前記第２の通信部に送信する第３の通信部とを備えるサーバ装置と
    　を具備する情報処理システム。
PCT/JP2020/014505 2020-03-30 2020-03-30 情報処理装置及び情報処理システム WO2021199134A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20928320.9A EP4129431A4 (en) 2020-03-30 2020-03-30 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING SYSTEM
US17/906,990 US20230118364A1 (en) 2020-03-30 2020-03-30 Information processing apparatus and information processing system
PCT/JP2020/014505 WO2021199134A1 (ja) 2020-03-30 2020-03-30 情報処理装置及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014505 WO2021199134A1 (ja) 2020-03-30 2020-03-30 情報処理装置及び情報処理システム

Publications (1)

Publication Number Publication Date
WO2021199134A1 true WO2021199134A1 (ja) 2021-10-07

Family

ID=77927824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014505 WO2021199134A1 (ja) 2020-03-30 2020-03-30 情報処理装置及び情報処理システム

Country Status (3)

Country Link
US (1) US20230118364A1 (ja)
EP (1) EP4129431A4 (ja)
WO (1) WO2021199134A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267525A (ja) * 2008-04-22 2009-11-12 Ntt Docomo Inc 伝送装置、管理装置、方法及び通信システム
JP2010539765A (ja) 2007-09-14 2010-12-16 ソニー エリクソン モバイル コミュニケーションズ， エービー 移動体装置上でのマルチプレーヤ・ゲーム・セッションの更新方法
CN104010179A (zh) * 2014-06-12 2014-08-27 山东大学 基于立体多画的多用户聚类与视点计算系统及方法
JP2015077291A (ja) * 2013-10-17 2015-04-23 株式会社ソニー・コンピュータエンタテインメント ゲームシステム、ゲーム制御方法、及びゲーム制御プログラム
WO2016152587A1 (ja) * 2015-03-20 2016-09-29 株式会社Ｎｔｔドコモ スライス管理システム及びスライス管理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2915582A1 (en) * 2013-06-17 2014-12-24 Square Enix Holdings Co., Ltd. Image processing apparatus, image processing system, image processing method and storage medium
US10792576B2 (en) * 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
US10898802B2 (en) * 2018-05-31 2021-01-26 Sony Interactive Entertainment LLC Bifurcation of shared controls and passing controls in a video game

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010539765A (ja) 2007-09-14 2010-12-16 ソニー エリクソン モバイル コミュニケーションズ， エービー 移動体装置上でのマルチプレーヤ・ゲーム・セッションの更新方法
JP2009267525A (ja) * 2008-04-22 2009-11-12 Ntt Docomo Inc 伝送装置、管理装置、方法及び通信システム
JP2015077291A (ja) * 2013-10-17 2015-04-23 株式会社ソニー・コンピュータエンタテインメント ゲームシステム、ゲーム制御方法、及びゲーム制御プログラム
CN104010179A (zh) * 2014-06-12 2014-08-27 山东大学 基于立体多画的多用户聚类与视点计算系统及方法
WO2016152587A1 (ja) * 2015-03-20 2016-09-29 株式会社Ｎｔｔドコモ スライス管理システム及びスライス管理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONMA, SHUNSUKE ET AL.: "How will the game change with 5G?", THE 5G FOREFRONT THAT YOU WANT TO KEEP IN MIND-[UPDATED VERSION, 9 September 2019 (2019-09-09), Retrieved from the Internet <URL:https://www.slideshare.net/5ginnovation/5g5g-170219938> [retrieved on 20200518] *
KOYAMA, TAKAYOSHI; MUKAIGAWA, YASUHIRO; KAMEDA, YOSHINARI; OHTA, YUICHI: "I-054 Real Time Transmission of 3D Video via Network", 3RD FORUM ON INFORMATION TECHNOLOGY (FIT2004), vol. 3, 3 March 2004 (2004-03-03), pages 125 - 126, XP009537156 *
See also references of EP4129431A4

Also Published As

Publication number Publication date
EP4129431A4 (en) 2023-07-19
EP4129431A1 (en) 2023-02-08
US20230118364A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
KR102418756B1 (ko) 멀티-플레이어 게임에서 라이브 게임 플레이를 위한 사용자-중심 관중 채널
US11052313B2 (en) Using connection quality history to optimize user experience
JP6878014B2 (ja) 画像処理装置及びその方法、プログラム、画像処理システム
US8522160B2 (en) Information processing device, contents processing method and program
US9609383B1 (en) Directional audio for virtual environments
US7176920B1 (en) Computer games apparatus
US9814979B2 (en) Data provision system, provision apparatus, execution apparatus, control method, and recording medium
JP2023547646A (ja) 動画再生方法、装置、端末および記憶媒体
EP4009644A1 (en) Method for providing and method for acquiring immersive media, apparatus, device, and storage medium
CN114816308B (zh) 信息分区显示方法及相关设备
KR20210087918A (ko) 멀티뷰 제공을 위한 스트리밍 플레이어 장치 및 그 방법
US7382381B2 (en) Graphics to video encoder
CN111381787A (zh) 一种投屏方法以及设备
WO2021199134A1 (ja) 情報処理装置及び情報処理システム
WO2019100631A1 (zh) 视频播放方法、装置、系统及存储介质
CN113453035A (zh) 一种基于增强现实的直播方法和相关装置以及存储介质
CN106604085A (zh) 一种视频分享方法及装置
CN107105317A (zh) 一种视频播放方法及装置
CN113827953B (zh) 游戏控制系统
US11431770B2 (en) Method, system, apparatus, and electronic device for managing data streams in a multi-user instant messaging system
WO2021199133A1 (ja) 情報処理装置及び情報処理システム
CN115738295A (zh) 在线游戏中的观众系统
WO2021199131A1 (ja) 情報処理装置及び情報処理システム
US20210144419A1 (en) Video insertion apparatus and video display terminal apparatus
EP3012998B1 (en) Multi-content media communication method, device and system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20928320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020928320

Country of ref document: EP

Effective date: 20221031

NENP Non-entry into the national phase

Ref country code: JP