WO2017002414A1 - プログラム - Google Patents

プログラム Download PDF

Info

Publication number
WO2017002414A1
WO2017002414A1 PCT/JP2016/060118 JP2016060118W WO2017002414A1 WO 2017002414 A1 WO2017002414 A1 WO 2017002414A1 JP 2016060118 W JP2016060118 W JP 2016060118W WO 2017002414 A1 WO2017002414 A1 WO 2017002414A1
Authority
WO
WIPO (PCT)
Prior art keywords
player
video content
content
unit
movement
Prior art date
Application number
PCT/JP2016/060118
Other languages
English (en)
French (fr)
Inventor
卓也 豊田
Original Assignee
株式会社セガゲームス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社セガゲームス filed Critical 株式会社セガゲームス
Publication of WO2017002414A1 publication Critical patent/WO2017002414A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/792—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for payment purposes, e.g. monthly subscriptions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to a program.
  • VR virtual reality
  • a technique is known in which a shooting object is shot with a camera, and a third-person viewpoint and a first-person viewpoint are switched based on the video data (see, for example, Patent Document 1).
  • a shooting object is shot with a plurality of cameras, and the shot images are combined to switch to a first-person viewpoint for a predetermined shooting object. Content cannot be generated easily.
  • an object of the present invention is to easily generate content from the viewpoint of a large number of objects while responding to various movements of objects in VR.
  • a program according to the present invention is stored in a computer.
  • the present invention it is possible to easily generate content from the viewpoint of a large number of objects while responding to various movements of objects in the VR.
  • FIG. 1 is a conceptual diagram illustrating an example of a content sales system 1 according to the embodiment.
  • the content sales system 1 includes, for example, a server device (information processing device) 50 provided by a company that distributes content, an information processing device 10 operated by each user, and one or a plurality of objects.
  • a server device information processing device
  • an information processing device 10 operated by each user and one or a plurality of objects.
  • imaging devices 60A, 60B and 60C In the following description, reference numeral 60 is used when it is not necessary to distinguish the imaging devices one by one.
  • a plurality of information processing apparatuses 10 may be connected to the network N.
  • Objects include moving creatures such as players and animals.
  • the player includes a person who is playing sports or a person who is playing music.
  • the information processing apparatus 10 is connected to a head mounted display (hereinafter also referred to as HMD) 70.
  • HMD head mounted display
  • a user wearing the HMD 70 can experience VR.
  • the network N may be connected to other settlement servers.
  • FIG. 2 is a diagram for explaining an example of a state of imaging by the imaging device 60 in the embodiment.
  • a plurality of players P1 to P3 are playing sports in the field F1.
  • the imaging device 60 images the state of each player who is playing sports from various angles.
  • the imaging device 60 is desirably a high-performance imaging device such as an 8K camera in order to facilitate operation analysis.
  • the number of installed image pickup apparatuses 60 is eight in the example illustrated in FIG. 2, but an appropriate number may be installed according to the size of the field F1.
  • Each imaging data imaged by the imaging device 60 is transmitted to the server device 50 directly or indirectly through a processing device such as a personal computer.
  • the server device 50 generates a three-dimensional virtual space including each player and field based on each imaging data, and performs image processing on the imaging data, or uses a technique such as motion capture, so that the operation of each object Analyze. Note that if the field F1 is known, the server device 50 generates a three-dimensional virtual space in advance, arranges objects based on landscapes, players, and the like based on the respective imaging data, and obtains a final three-dimensional virtual space. A space may be generated.
  • a known technique of markerless method may be used.
  • techniques such as Motion Capture from Capture Studio and Motion Capture from Organic Motion are applicable. As a result, there is no need to provide a camera for the object, and the object is not burdened.
  • the server device 50 generates video content that reproduces the motion of each object by performing the above-described motion analysis on one or more objects.
  • This video content uses computer graphics (hereinafter also referred to as CG), and is video content from the viewpoint of each player. Based on a 3D virtual space that includes virtual objects that model each player and all fields, it is more difficult to generate video content using CG than to create complex video content using real video. The processing load can be reduced.
  • the server device 50 may store a plurality of video contents generated in this way.
  • the information processing apparatus 10 accesses the server apparatus 50 using a predetermined application, selects video content or an object based on a user operation, and downloads video content from the viewpoint of the selected video content or object.
  • FIG. 3 is a diagram illustrating an example of the HMD 70 to which the information processing apparatus 10 according to the embodiment is connected.
  • the information processing apparatus 10 is connected to the HMD 70 using a micro USB terminal or the like.
  • the HMD 70 displays video content acquired from the information processing apparatus 10 using a micro USB terminal or the like on the display unit.
  • the user wearing the HMD 70 can experience VR by viewing this video content.
  • the HMD 70 may acquire and display the video content from the information processing apparatus 10 or may allow the video content displayed on the information processing apparatus 10 to be viewed.
  • the server device 50 can easily generate content from the viewpoints of a large number of objects while responding to various movements of the objects in the VR. Further, the information processing apparatus 10 can acquire the content generated in the server apparatus 50 by using a predetermined application.
  • the VR experience means that VR content can be displayed on the display of the information processing apparatus 10 or the like, and the user can view the VR by wearing the HMD 70 as shown in FIG. 3 and experiencing VR. Including experiencing.
  • the information processing apparatus 10 uses a mobile terminal as an example. Moreover, the various programs which concern on embodiment are performed by a server apparatus, a portable terminal, etc., for example.
  • FIG. 4 is a diagram illustrating an example of a hardware configuration of the server device 50 according to the embodiment.
  • the server device 50 includes a control unit 51, a communication interface 53, a storage unit 54, a display unit 57, and an input unit 58, and each unit is connected via a bus line 59.
  • the control unit 51 includes a CPU, a ROM, a RAM 52, and the like.
  • the control unit 51 is configured to execute a control program 55 and the like stored in the storage unit 54, thereby realizing, for example, processing related to generation of video content in addition to a function as a general information processing apparatus.
  • the RAM 52 temporarily stores various information and is used as a work area when the CPU executes various processes.
  • the communication interface 53 controls communication with the imaging device 60, the portable terminal 10, a charging server (not shown), and the like via the network N.
  • the storage unit 54 is composed of an HDD, for example, and stores a control program 55 in addition to storing an application and data (not shown) for realizing a function as a general information processing apparatus.
  • the storage unit 54 has an information storage unit 56.
  • the control program 55 generates a three-dimensional virtual space based on the imaging data, analyzes the motion of each player, and reproduces the motion of each player based on the three-dimensional virtual space and the motion analysis result. It is a program that generates video content.
  • the control program 55 may be stored in a computer-readable recording medium, read from the recording medium, and stored in the storage unit 54.
  • the information storage unit 56 stores, for example, imaging data, 3D virtual space, intermediate data generated by motion analysis processing, and the like, and CG video content based on the 3D virtual space and motion analysis results. Or remember.
  • the display unit 57 displays video content and the like to the administrator.
  • the input unit 58 receives input from the administrator or receives instructions from the administrator.
  • the server device 50 does not necessarily include the display unit 57 and the input unit 58, and the display unit 57 and the input unit 58 may be connected to the server device 50 from the outside.
  • FIG. 5 is a front view of a mobile terminal illustrating an example of an external configuration of the mobile terminal 10 according to the embodiment.
  • the mobile terminal 10 includes a rectangular thin housing 12, and one surface of the thin housing 12 is configured such that the touch panel 14 occupies a large part.
  • a speaker 16, a microphone 18, and a hard button 20 are provided on the surface (front surface) on which the touch panel 14 is mounted.
  • external interfaces such as a hard key 22 and an audio output terminal 24 (see FIG. 6) are provided on the side surface and the bottom surface of the mobile terminal 10.
  • a camera 26 is provided on the back surface of the mobile terminal 10.
  • FIG. 6 is a block diagram schematically illustrating a hardware configuration of the mobile terminal 10 according to the embodiment.
  • the mobile terminal 10 includes a mobile communication antenna 30, a mobile communication unit 32, a wireless LAN communication antenna 34, a wireless LAN communication unit 36, a storage unit 38, and a main control unit 40.
  • the touch panel 14 has functions of both a display device and an input device, and includes a display (display screen) 14A that bears the display function and a touch sensor 14B that bears the input function.
  • the display 14A is configured by a general display device such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the touch sensor 14B includes an element for detecting a touch operation arranged on the upper surface of the display 14A and a transparent operation surface stacked on the element.
  • a contact detection method of the touch sensor 14B any of known methods such as a capacitance type, a resistance film type (pressure sensitive type), and an electromagnetic induction type can be adopted.
  • the touch panel 14 displays video content generated by executing the program 44 stored in the storage unit 38 by the main control unit 40.
  • the touch panel 14 as an input device detects an operation of a contact object (including a player's finger, a touch pen, etc., which will be described as a representative example hereinafter) in contact with the operation surface.
  • the operation input is received, and information on the contact position is given to the main control unit 40.
  • the movement of the finger is detected as coordinate information indicating the position or region of the contact point, and the coordinate information is expressed as, for example, coordinate values on two axes of the short side direction and the long side direction of the touch panel 14.
  • the portable terminal 10 is connected to the network (Internet) N through the mobile communication antenna 30 and the wireless LAN communication antenna 34 and can perform data communication with the server device 50.
  • the server device 50 receives a download request for the player or the like selected on the mobile terminal 10 via the network N.
  • the 6-axis sensor 23 can measure the acceleration and angular velocity of the mobile terminal 10. For predetermined data sensed by the 6-axis sensor 23, processing such as changing the player viewpoint in the video content or changing the player itself may be assigned. As a result, the operation relating to the video content can be performed only by moving the mobile terminal 10.
  • FIG. 7 is a block diagram schematically showing a hardware configuration of the HMD 70 in the embodiment. 7 includes a communication unit 72, a display unit 74, a storage unit 76, an operation unit 78, and a control unit 80.
  • the communication unit 72 performs data communication with the mobile terminal 10.
  • the communication unit 72 performs data communication using a micro USB terminal, or performs data communication using a communication function such as Bluetooth (registered trademark).
  • the communication unit 72 receives video content and the like from the mobile terminal 10.
  • the display unit 74 displays video content received from the mobile terminal 10.
  • the video content is a two-dimensional video or a three-dimensional video.
  • the display unit 74 may not be provided in the HMD 70 when the HMD 70 is of a type for viewing the video displayed on the mobile terminal 10.
  • the storage unit 76 is, for example, a RAM, a ROM, an HDD, or the like, and stores video content.
  • the operation unit 78 includes various buttons such as a volume control button and a power button, and operates the HMD 70 based on pressing of the various buttons.
  • the control unit 80 is, for example, a CPU or a RAM, and controls each unit of the HMD 70 described above.
  • FIG. 8 is a diagram illustrating an example of a functional configuration of the server device 50 according to the embodiment.
  • the server device 50 includes a first transmission unit 102, a first reception unit 104, a generation unit 106, and a first storage unit 108.
  • Each unit other than the first storage unit 108 functions when, for example, the control program 55 is executed by the control unit 51.
  • the first transmission unit 102 can be realized by the communication interface 53, the control unit 51, and the like, for example.
  • the first transmission unit 102 transmits the requested video content or the like to each mobile terminal 10 that has issued the download request.
  • the first receiving unit 104 can be realized by the communication interface 53, the control unit 51, and the like, for example.
  • the first receiving unit 104 receives a download request from each mobile terminal 10 together with information for identifying video content and a player.
  • the first receiving unit 104 receives each imaging data from the imaging device 60.
  • the generation unit 106 can be realized by the control unit 51 or the like, for example.
  • the generation unit 106 generates video content that reproduces each player's movement, partial content that indicates a part of the player's movement, and the like based on each imaging data obtained by imaging each player's movement.
  • video content, partial content, and the like are also referred to as content.
  • the generation unit 106 includes a motion analysis unit 110, a virtual space generation unit 112, a content generation unit 114, a request acquisition unit 116, and a classification unit 118 in order to generate content.
  • the motion analysis unit 110 performs motion analysis on the movement of at least one player in the imaging data using, for example, motion capture technology for each imaging data captured from the plurality of imaging devices 60.
  • the motion capture technique a known technique may be used.
  • a markerless type technique is preferable.
  • the motion analysis result output by the motion analysis unit 110 includes player motion information for reproducing the motion of the player whose motion has been analyzed.
  • An estimation unit (not shown) included in the motion analysis unit 110 estimates the player's viewpoint coordinates and the gaze direction from the viewpoint based on the player's face position, orientation, and angle. (See FIG. 12).
  • the estimation unit may associate the gaze direction information including the viewpoint coordinates and the gaze direction in accordance with the movement information of the player.
  • the virtual space generation unit 112 generates a three-dimensional virtual space including virtual objects for each player and field based on each imaging data. For example, the virtual space generation unit 112 calculates which object is in which coordinate position in the imaging data based on the installation position and installation angle of each imaging device 60 using, for example, three-dimensional image analysis, and the object A virtual object corresponding to is placed at the coordinate position. For example, the virtual space generation unit 112 may hold polygon data of various virtual objects arranged in the three-dimensional virtual space.
  • the virtual space generation unit 112 generates a three-dimensional virtual space in advance, arranges virtual objects based on landscapes, players, and the like based on the respective imaging data, and final tertiary An original virtual space may be generated.
  • the content generation unit 114 generates video content that reproduces the movement of at least one player, which is a dynamic object, by CG based on the three-dimensional virtual space and the motion analysis result. For example, the content generation unit 114 gives the actual movement of each player analyzed by the motion analysis to the virtual object (character) of each player moving in the field of the three-dimensional virtual space, and according to the movement
  • the video content viewed from the viewpoint of each player is generated by using CG to generate a video of viewing the three-dimensional virtual space in the direction of the line of sight from the viewpoint of the character.
  • the video content from the player's viewpoint represents the video in the three-dimensional virtual space drawn in the direction of the line of sight from the player's viewpoint.
  • the server device 50 can provide video content from the viewpoint of each player in the field.
  • the content generation unit 114 may generate a video from the player's viewpoint each time based on the player's line-of-sight direction information.
  • the content generation unit 114 generates video content from each player's viewpoint in advance as necessary, or gives a predetermined player's viewpoint to the three-dimensional virtual space each time, and video from this player's viewpoint. Or generate content.
  • the content generation unit 114 may generate each character corresponding to each player for the video content, and generate the video content so that the character reproduces the movement of the corresponding player.
  • the content generation unit 114 can generate more realistic video content by making a more realistic character using a photograph of the player or the like.
  • the content generation unit 114 assigns one piece of identification information (event ID) to video content generated within one event (for example, one game of sports), and enables the video content to be identified for each event.
  • the content generation unit 114 also gives identification information (player ID) to the player, and associates the video content from the viewpoint of the player with the identification information of the player. Thereby, it becomes possible to receive a download request from the portable terminal 10 for each event or each player.
  • the content generation unit 114 stores the generated video content in the first storage unit 108.
  • the first storage unit 108 may store virtual space data including a three-dimensional virtual space, a static virtual object, a dynamic virtual object, and motion information thereof in association with an event ID.
  • virtual space data including a three-dimensional virtual space, a static virtual object, a dynamic virtual object, and motion information thereof in association with an event ID.
  • the player's line-of-sight direction information is associated with the player ID.
  • the request acquisition unit 116 receives a request transmitted from the mobile terminal 10.
  • the request from the mobile terminal 10 is, for example, a download request accompanied by an event ID, a player ID, or the like.
  • the request acquisition unit 116 Upon receiving the download request, the request acquisition unit 116 specifies the event ID and / or player ID included in the download request, and acquires the corresponding video content from the storage unit 108. The request acquisition unit 116 transmits the acquired video content to the mobile terminal 10 via the first transmission unit 102.
  • the request acquisition unit 116 may acquire virtual space data corresponding to the event ID from the first storage unit 108, and may acquire gaze direction information of the player corresponding to the player ID from the first storage unit 108. .
  • the request acquisition unit 116 transmits video content from the viewpoint of the player corresponding to the player ID generated by the content generation unit 114 to the portable terminal 10 via the first transmission unit 102 each time.
  • the classification unit 118 classifies the partial content indicating the movement of a part of the player in the video content into a plurality of categories according to the movement. For example, if the event is a soccer game, the classification unit 118 determines that the dribbling operation is successful if the opponent removes the ball without taking the ball, and determines that the operation is a failure operation if the opponent takes the ball. .
  • the classification unit 118 may automatically detect the partial content of the failure operation and the success operation, or the administrator detects the partial content of the success operation or the failure operation while watching the video content. You may do it.
  • the classification unit 118 automatically detects these movements, if the player moves and the ball is within a predetermined distance from the player, the classification unit 118 determines that it is dribbling, and if the ball crosses the opponent during the dribbling, the classification unit 118 fails. Judged as an action. Further, the classification unit 118 determines that the movement is successful if the ball has crossed or shoots after the dribbling.
  • the classification unit 118 may determine that the ball is a shot if the ball moves near the opponent goal frame.
  • the ally player and the opponent player can be identified by the color of the uniform.
  • the classification unit 118 may cut out the classified partial content from the video content and store the segmented content in the first storage unit 108.
  • the classification unit 118 uses the metadata or the like as a category. May be given.
  • the request acquisition unit 116 When the request acquisition unit 116 receives the category identification information together with the download request, the request acquisition unit 116 acquires one or more partial contents corresponding to the category from the first storage unit 108 or acquires from the video content. The request acquisition unit 116 transmits the acquired one or more partial contents to the mobile terminal 10 that has transmitted the download request via the first transmission unit 102.
  • the first storage unit 108 can be realized by the storage unit 54, for example.
  • the first storage unit 108 stores, as necessary, video content based on CG subjected to motion analysis, partial content classified into categories, virtual space data, line-of-sight direction information, and the like.
  • FIG. 9 is a diagram showing an example of content information.
  • the content information is associated with an event ID, virtual space data, player ID, and line-of-sight direction information.
  • the content information shown in FIG. 9 indicates a data structure used when the line-of-sight direction and the movement direction of the player who is experiencing the VR are changed based on a user operation, as will be described later.
  • the virtual space data “C0001” and the player IDs “PA001” to “PA022” are associated with the event ID “G0001”, and the line-of-sight direction information is associated with each player ID. It is done.
  • the gaze direction information includes trajectory data of viewpoint coordinates in accordance with the movement of the player's face and head, and vector data of the gaze direction at that viewpoint.
  • the content information shown in FIG. 9 is suitable when the gaze direction and the movement direction of the player who is experiencing the VR are changed on the mobile terminal 10 side.
  • the server device 50 sends the virtual space data and the line-of-sight direction information of the specific player to the mobile terminal 10. Send.
  • the mobile terminal 10 can generate the changed video content by CG by changing the line-of-sight direction based on the line-of-sight direction information or changing the movement direction of the player character in its own device. it can.
  • the line-of-sight direction and movement direction of the player who is experiencing the VR can be changed by real-time bidirectional communication between the server device 50 and the mobile terminal 10.
  • the mobile terminal 10 transmits change information indicating a change in the line-of-sight direction or the movement direction to the server device 50, and the server device 50 displays the video content after the change in the line-of-sight direction or the movement direction based on the change information.
  • the server device 50 transmits the changed video content to the mobile terminal 10 each time, and the mobile terminal 110 displays the received video content. Thereby, the line-of-sight direction and the movement direction of the player character can be changed.
  • the content information shown in FIG. 9 is associated with each player ID for each event ID, and the player ID is generated from the viewpoint of the player generated in advance.
  • a data structure for associating contents may be used. According to this data structure, if the user selects an event ID, the video content from the viewpoint of each player can be acquired collectively. In addition, if the user selects an event ID and a player ID, the user can acquire video content from the viewpoint of a specific player of the event. For example, when the event is a soccer game, the user selects the World Cup final game as the event ID, or selects the user's favorite player as the player ID, and the game from the viewpoint of the favorite player. You will be able to experience
  • FIG. 10 is a diagram showing an example of partial contents classified for each category.
  • the partial contents of each category are associated with each player ID.
  • the player ID “PA001” is associated with partial contents such as “10:10 to 10:35” and “34:23 to 34:30” as category 1 and “5:43 to 5: as category 2”.
  • 55 ”,“ 6:32 to 6:49 ”, and the like are associated with each other.
  • the notation such as “10:10 to 10:35” indicates line-of-sight direction information from 10 minutes 10 seconds to 10 minutes 35 seconds or partial content in the video content.
  • the user designates a category, it is possible to acquire partial contents of each player in that category. Moreover, if the user selects a category and a player ID, the partial content of a specific player in that category can be acquired. For example, if the event is a soccer game and the category is dribbling success and dribbling success, the user can select only the partial content of the favorite player's dribbling success and experience the world view of the favorite player's dribbling success. Will be able to.
  • FIG. 11 is a diagram illustrating an example of a functional configuration of the mobile terminal 10 according to the embodiment.
  • the mobile terminal 10 includes a second transmission unit 202, a second reception unit 204, a content control unit 206, and a second storage unit 208.
  • Each unit other than the second storage unit 208 functions, for example, when the program 44 is executed by the main control unit 40.
  • the second transmission unit 202 can be realized by the main control unit 40, the mobile communication unit 32, the wireless LAN communication unit 36, and the like, for example.
  • the second transmission unit 202 transmits a download request or the like based on a user operation to the server device 50.
  • the second receiving unit 204 can be realized by, for example, the main control unit 40, the mobile communication unit 32, the wireless LAN communication unit 36, and the like.
  • the second receiving unit 204 receives the video content requested for download from the server device 50.
  • the content control unit 206 can be realized by the main control unit 40, for example.
  • the content control unit 206 acquires the video content by the CG that reproduces the movement of each player received by the second reception unit 204, and performs control such as reproduction.
  • the content control unit 206 includes a reception unit 210, an acquisition unit 212, a display control unit 214, a charging unit 216, a change unit 218, and a notification unit 220 in order to control video content.
  • the accepting unit 210 accepts a player's selection by the user through a button operation of the user displayed on the display screen. Further, the reception unit 210 may receive user operations such as event selection, category selection, partial content selection, and display instruction. The reception unit 210 transmits a download request including information indicating the received various selections to the server device 50 via the second transmission unit 202. Note that the reception unit 210 may receive a user operation from the connected HMD 70.
  • the acquisition unit 212 acquires the video content or partial content requested to be downloaded via the second reception unit 204 or acquires it from the second storage unit 208.
  • the video content is video content in which the motion analysis of each player is performed based on the respective image data obtained by capturing the motion of one or a plurality of players by the plurality of image capturing devices 60, and the motion of each player is reproduced by CG.
  • the display control unit 214 controls display of video content or partial content acquired by the acquisition unit 212, for example, by an operation indicating display from the user received by the reception unit 210. As the display control, the display control unit 214 transmits video content or partial content to the HMD 70 or displays video content on the touch panel 14 according to the type of the HMD 70.
  • the charging unit 216 performs a charging process based on a user operation. For example, in the application executed by the program 44, it is assumed that the user selects a predetermined player and performs a billing process for paying a predetermined amount. At this time, the charging unit 216 transmits a charging request including the user ID and the selected player ID to the charging server (not shown) via the second transmission unit 202.
  • the billing server is a server that performs billing processing during application execution in response to a billing request from the mobile terminal 10 or the like.
  • the billing server may associate information such as a bank account and a credit number with the user ID in advance.
  • the accepting unit 210 may be able to accept event selection, player selection, and the like when the billing unit 216 performs billing processing. Thereby, the user can select a player or the like that he / she wants to experience by paying money.
  • the changing unit 218 changes the first direction indicating the movement direction or the line-of-sight direction of the selected player based on a user operation.
  • the user operation refers to, for example, an operation of moving the head while wearing the HMD 70 or an operation using an external controller.
  • the movement of the head is detected by the 6-axis sensor 23 of the mobile terminal 10.
  • the mobile terminal 10 acquires the virtual space data and the line-of-sight direction information of the specific player from the server device 50, or by streaming or the like of the specific player each time. What is necessary is just to acquire the video content from a viewpoint.
  • the changing unit 218 moves the line of sight of the player who is experiencing the VR based on the virtual space data to the right, and draws the line of sight after the movement. What is necessary is just to display the image
  • the change unit 218 transmits change information indicating the amount of change in the line-of-sight direction to the server device 50 via the second transmission unit 202, and the line-of-sight from the server device 50 What is necessary is just to display the image
  • the changing unit 218 moves the player character that is experiencing the VR to the right. Move.
  • the changing unit 218 may change the amount of movement in the direction according to the amount of head movement. For example, the amount of movement may increase as the head is moved more greatly.
  • the processing for generating video content after movement in the movement direction is the same as the processing for movement in the line-of-sight direction.
  • the change unit 218 may return to the actual movement of the player when a predetermined operation (for example, shaking his / her head twice) is performed. Thereby, it is possible to prevent the event from proceeding while the first direction and the second direction are deviated.
  • a predetermined operation for example, shaking his / her head twice
  • the changing unit 218 may switch between a mode for changing the movement direction and a mode for changing the line-of-sight direction by a predetermined operation (for example, shaking the head three times up and down). Thereby, the user can change the line of sight, change the movement itself, and broaden the VR experience.
  • a predetermined operation for example, shaking the head three times up and down.
  • the notification unit 220 notifies the user of the difference between the second direction indicating the actual movement direction or line-of-sight direction of the player based on the video content or the partial content under display control, and the first direction changed by the change unit 218.
  • the first direction and / or the second direction are represented by arrows, and both arrows can be distinguished, or areas indicating the second direction are provided in four directions in the screen, and the areas are set to a predetermined color. By doing so, the second direction may be indicated, and the difference in angle between the second direction and the first direction may be expressed using color shading.
  • an evaluation unit may be provided in the notification unit 220, and the evaluation unit may perform evaluation based on the difference in both directions. For example, the evaluation unit gives a better evaluation as the difference is smaller, or gives a better evaluation as the time during which the difference is within a predetermined difference is longer.
  • the notification unit 220 notifies the user of the evaluation result.
  • the method of notification is not particularly limited. Thereby, for example, the user can learn the movement according to the situation of the player who is experiencing.
  • the user can compare the movement direction or line-of-sight direction intended by the user with the actual movement direction or line-of-sight direction of the player on the spot.
  • the judgment power of a famous athlete at that time it is possible to know the judgment power of a famous athlete at that time, and it can be used for sports education.
  • the notification unit 220 may display the blind spot of the opponent player when, for example, display control of the video content of the sport that competes with the opponent.
  • the notification unit 220 may estimate the field of view of one or more opponent players 'characters in a three-dimensional virtual space, and determine an area where the opponent players' views do not overlap as blind spots. Thereby, for example, when experiencing soccer in VR, the user under attack can grasp where to pass or where to dribble breakthrough. As a result, variations in sports education can be increased.
  • the second storage unit 208 stores video content, partial content, virtual space data, etc. received by the second receiving unit 204.
  • the content control unit 206 can switch the viewpoint of the player who experiences the VR during the VR experience. .
  • the content control unit 206 may display a viewpoint switching screen or the like and select the viewpoint of the player that the user wants to view.
  • the content control unit 206 acquires the line-of-sight direction information of the selected player, and uses the line-of-sight direction information to display an image from the viewpoint of the player from the beginning or when the switching operation is performed. To control. Thereby, since there is three-dimensional virtual space data, it is possible to easily switch the player's viewpoint only by acquiring the line-of-sight direction information.
  • each device of the content distribution system 1 has the above functions, it is possible to easily generate content from the viewpoint of a large number of objects while responding to various movements of objects in the VR. Further, the content distribution system 1 can provide the user with the content generated by the method described above.
  • FIG. 12 is a diagram for explaining the line-of-sight direction and field of view of the player character.
  • FIG. 12A shows the player character's head H, line-of-sight direction EL1, and field of view ⁇ 1 when viewed from above and below in the vertical direction in the three-dimensional virtual space.
  • the character's line-of-sight direction EL1 is the vertical direction of the line segment from the center of the line segment connecting the eyes.
  • the viewing angle ⁇ 1 in the horizontal direction is 60 degrees to the left and right of the line-of-sight direction EL1 with respect to the Y direction, for a total of 120 degrees.
  • this viewing angle ⁇ 1 is merely an example, and an appropriate value may be set.
  • FIG. 12B shows the player character's head H, line-of-sight direction EL2, and viewing angle ⁇ 2 when viewing from the left in the horizontal direction in the three-dimensional virtual space to the right (from the Y side to the + side).
  • the line-of-sight direction EL2 of this character is the vertical direction of the line segment from the position of the eye of the line segment connecting the vertex T to the lower point B of the head.
  • the line-of-sight direction EL1 shown in FIG. 12A and the line-of-sight direction EL2 shown in FIG. 12B represent the same direction. Therefore, the line-of-sight direction of the player character can be estimated from the position of the player character's head and the like.
  • the viewpoint coordinates are, for example, the contact coordinates between the line-of-sight direction EL1 and the face.
  • the viewing angle ⁇ 2 in the vertical direction is 60 degrees above and 70 degrees below the line-of-sight direction EL2 with respect to the Z direction, for a total of 130 degrees.
  • this viewing angle ⁇ 2 is merely an example, and an appropriate value may be set.
  • the line-of-sight direction is estimated by the method shown in FIG. 12, but the line-of-sight direction may be estimated from the actual movement of the black eye as long as the movement of the black eye can be detected from the actual imaging data. Thereby, it is possible to experience VR as a player.
  • Example of display screen> an example of a display screen when the present invention is applied will be described by taking a soccer game as an event and a soccer player as an object.
  • FIG. 13 is a diagram illustrating an example of the display screen A in the embodiment.
  • Screen A shown in FIG. 13 shows a screen example when the player selected by the user is defending. As shown in FIG. 13, the user can enjoy the game from the viewpoint of the player who is defending in VR for experiencing an actual soccer game.
  • the player character P11 is currently kicking the ball B1
  • the player characters P12 to P14 represent the ally of the player character P11.
  • the player character P21 represents a friend of the player who is experiencing the user.
  • FIG. 14 is a diagram illustrating an example of the display screen B in the embodiment.
  • a screen B shown in FIG. 14 shows a screen example when the player selected by the user is in an offense (for example, dribbling).
  • the user can enjoy the game from the viewpoint of a player who is playing an offense in VR in which an actual soccer game is experienced.
  • FIG. 15 is a diagram illustrating an example of the display screen C in the embodiment.
  • a screen C illustrated in FIG. 15 illustrates a screen example in which the line-of-sight direction is changed, for example, when the user moves his / her head from the screen B illustrated in FIG. 14.
  • the user can view a scene in which the line-of-sight direction is generally directed to the right by operating the line-of-sight direction to the right.
  • an arrow A1 indicating the line-of-sight direction (first direction) during the VR experience is displayed on the screen C.
  • an arrow A2 indicating the actual line-of-sight direction (second direction) of the player is also displayed on the screen C.
  • the user can compare his judgment at this time with the judgment of the experienced player.
  • the arrow A1 is not necessarily displayed.
  • FIG. 16 is a diagram illustrating an example of the display screen D in the embodiment.
  • the screen D shown in FIG. 16 differs from the screen C shown in FIG. 15 in the manner of notifying the difference between the first direction and the second direction.
  • the areas B1 to B4 arranged in the four directions in the screen D are areas for informing the second direction.
  • the user can know that the actual line-of-sight direction of the player is the left direction by changing the color of the left-side area B1.
  • it shows that the difference of the angle of a 1st direction and a 2nd direction becomes large, so that the color of area
  • FIG. 17 is a diagram illustrating an example of the display screen E in the embodiment.
  • the notification of the difference between the first direction and the second direction is erased and the blind spot area D2 is displayed as compared with the screen C shown in FIG.
  • a screen E shown in FIG. 17 displays a blind spot area D2 of each of the characters P23 to P25 that are opponents of the player character that the user is experiencing.
  • the blind spot area D2 can be calculated based on information indicating the field of view of the opponent character, as described in FIG. Thereby, the user can grasp
  • FIG. 18 is a diagram for explaining the blind spot area D2.
  • the area AR2 is an area displayed on the screen E in FIG.
  • the area that does not enter the field of view of the opponent characters P23 to P25 is the blind spot area D2.
  • This blind spot area D2 is displayed on the screen E shown in FIG.
  • the top view shown in FIG. 18 may be mounted on the screen shown in FIG. 17 so that display and non-display of the top view can be switched by a predetermined user operation.
  • the images shown in FIGS. 13 to 17 are screens that are display-controlled by the display control unit 214.
  • the line-of-sight change described with reference to FIGS. 15 to 16 is changed by the changing unit 218 based on a user operation.
  • the notification of the difference between the first direction and the second direction described with reference to FIGS. also, the blind spot area D2 described with reference to FIG.
  • the blind spot area D2 may be detected by the content control unit 206, the content generation unit 114 of the server device 50, or the like.
  • FIGS. 13 to 17 are merely examples, and by using an actual player's face or uniform as the player character, a VR full of realism and realism can be realized.
  • FIG. 19 is a flowchart illustrating an example of content generation processing according to the embodiment.
  • the first reception unit 104 receives, from each imaging device 60, each imaging data obtained by capturing an image of one or more players moving.
  • Each imaging device 60 images each player from various angles.
  • step S104 when the motion analysis unit 110 obtains each imaging data from the second reception unit 104, the motion analysis unit 110 performs motion analysis on a motion of at least one player using a known motion capture technique.
  • the motion capture technology is preferably a markerless method.
  • step S106 the virtual space generation unit 112, when acquiring each imaging data from the second reception unit 104, generates a three-dimensional virtual space including virtual objects indicating each player and field.
  • step S108 the content generation unit 114 generates video content that reproduces the motion of the player whose motion has been analyzed by CG based on the three-dimensional virtual space and the result of the motion analysis.
  • the classification unit 118 may generate partial content indicating a part of the movement of the player in the content, and classify the partial content into a plurality of categories according to the movement.
  • step S110 the content generation unit 114 stores the generated video content and / or partial content in the first storage unit 108.
  • FIG. 20 is a flowchart illustrating an example of content distribution processing according to the embodiment.
  • step S ⁇ b> 202 illustrated in FIG. 20 the request acquisition unit 116 acquires a download request from each mobile terminal 10 via the first reception unit 104.
  • step S204 the request acquisition unit 116 acquires video content corresponding to these IDs based on the content ID and / or player ID included in the download request.
  • the request acquisition unit 116 may acquire partial content.
  • step S206 the request acquisition unit 116 distributes the acquired video content or partial content to the mobile terminal 10 that has transmitted the download request.
  • the server apparatus 50 can distribute various contents according to the download request.
  • the request acquisition unit 116 may acquire the virtual space data and the line-of-sight direction information of the player corresponding to the player ID and distribute them. Thereby, on the mobile terminal 10 side, it becomes possible to change the line-of-sight direction and movement direction of the player who is experiencing the VR.
  • FIG. 21 is a flowchart illustrating an example of content display processing in the embodiment.
  • the reception unit 210 receives an event selection based on a user operation. For example, the user selects a predetermined event from a plurality of events on the application screen, and the reception unit 210 receives this selection.
  • the reception unit 210 may enable event reception processing when billing processing is performed.
  • the accepting unit 210 accepts a player selection based on a user operation. For example, the user selects a predetermined player from the players who participated in the event on the application screen, and the reception unit 210 receives this selection. Further, the accepting unit 210 may enable the accepting process of the player when the charging process is performed.
  • step S302 may be omitted, and if there is one player, step S304 may be omitted.
  • the reception unit 210 transmits a download request including the received event ID and / or player ID to the server device 50 via the second transmission unit 202.
  • the reception unit 210 receives a category selection, the reception unit 210 includes information indicating the category in the download request.
  • step S306 the acquisition unit 212 acquires content corresponding to the download request.
  • the acquired content includes at least one of virtual space data and line-of-sight direction information, video content, and partial content.
  • step S308 the display control unit 214 controls to display the acquired content.
  • the display control unit 214 transmits the content to the HMD 70 so that the video content is displayed or the video content is displayed on the touch panel 14 so that the content can be viewed on the HMD 70.
  • the user can be experienced as a VR player in the event selected by the user.
  • FIG. 22 is a flowchart illustrating an example of display control processing according to the embodiment. The process shown in FIG. 22 is a process included in the display control process of step S308 shown in FIG.
  • step S402 shown in FIG. 22 the changing unit 218 determines whether a signal indicating a predetermined operation for changing the line of sight of the player who is experiencing the VR is received during the display of the video content.
  • the predetermined operation is to move the head in a predetermined direction (for example, at least one of an upward direction, a downward direction, a forward direction, a backward direction, a left direction, and a right direction). If a signal indicating a predetermined operation is accepted (step S402—YES), the process proceeds to step S404. If a signal indicating a predetermined operation is not accepted (step S402—NO), the process returns to step S402.
  • step S404 when the change unit 218 receives a signal indicating a predetermined operation from the reception unit 210, the change unit 218 changes the line-of-sight direction of the player who is experiencing the VR. For example, if the head moves to the left, the viewing direction is changed to the left, and if the head moves to the right, the viewing direction is changed to the right.
  • step S406 the notification unit 220 notifies the difference between the viewing direction (first direction) changed by the changing unit 218 and the actual viewing direction (second direction) of the player who is experiencing.
  • the notification unit 220 There are various notification methods, and any one of the methods described above may be applied. A plurality of notification methods may be selected by the user.
  • step S408 the display control unit 214 determines whether the display is finished. If the display of the content is finished (step S408-YES), the display control process is finished, and if the display of the content is not finished (step S408-NO), the process returns to step S402.
  • the user can not only watch the VR but also participate in the event in the virtual space, and can compare the difference with the actual player's gaze direction.
  • the viewing direction described with reference to FIG. 22 may be replaced with the movement of the player. Thereby, the user can participate in the event and experience a VR like operating the player with his / her will.
  • the player may move back to the time when the difference between the movement of the player and the actual movement of the player occurs, and then the VR may be viewed with the actual movement of the player. .
  • FIG. 23 is a flowchart illustrating an example of a player switching process according to the embodiment. The process illustrated in FIG. 23 will be described as a process performed during display control in step S308 illustrated in FIG.
  • step S502 shown in FIG. 23 the receiving unit 210 determines whether or not there is a player switching instruction. When the user performs a predetermined operation preset as a player switching instruction, the receiving unit 210 determines that the player switching instruction. If there is a switching instruction (step S502—YES), the process proceeds to step S504, and if there is no switching instruction (step S502—NO), the process returns to step S502.
  • step S504 when the switching instruction is received from the reception unit 210, the display control unit 214 temporarily stops the display of the video content.
  • step S506 the content control unit 206 presents to the user which player to switch to through the application screen.
  • the content control unit 206 may set the player character being displayed as a switching candidate.
  • the accepting unit 210 specifies the ID of the player selected by the user.
  • step S508 the acquisition unit 212 acquires the content corresponding to the player ID from the second storage unit 208 or the server device 50. At this time, if there is no video content corresponding to the player ID in the second storage unit 208, the acquisition unit 212 returns an error. In addition, when this video content is acquired from the server device 50 by a charging process, a charging screen may be displayed. In addition, if the virtual space data or the line-of-sight information of the player ID after switching is in the second storage unit 208 or the like, the acquisition unit 212 can switch the video after switching the player based on the virtual space data and the line-of-sight direction information Content is generated and this video content is acquired.
  • step S510 the display control unit 214 controls to display the acquired content.
  • the user can switch the player to experience while viewing VR.
  • the display control unit 214 may control to display the content after switching from a predetermined time before the viewing time of the previously displayed content. This is because switching the player during viewing requires a user's request to see the player who is experiencing at that time from another player, and responds to the request.
  • Each processing step included in the processing flow described with reference to FIGS. 19 to 23 can be executed in any order or in parallel as long as the processing contents do not contradict each other. Other steps may be added in between. Further, a step described as one step for convenience can be executed by being divided into a plurality of steps, while a step described as being divided into a plurality of steps for convenience can be grasped as one step.
  • the content distribution system 1 in the embodiment it is possible to easily generate content from the viewpoints of a large number of objects while responding to various movements of the objects in the VR. Further, the content distribution system 1 can provide the user with the content generated by the method described above.
  • the present embodiment can be used for sports education by setting the captured event to sports. For example, by letting children experience the world view from the viewpoint of a famous player, or by explaining the movement of the player by a coach, it is possible to improve play for the sport.
  • the user downloads the program 44 free of charge, and charges the video content or partial content to be acquired by using the application of the program 44, thereby charging the content. You may be able to download it.
  • a second content provision model may be provided by providing virtual space data for a predetermined event and gaze direction information of each player by a monthly lease contract.
  • the video content does not necessarily have to be generated by the CG.
  • the above-described notification processing can be applied to VR video content in actual video using the free viewpoint video generation technology disclosed in Japanese Patent Application Laid-Open No. 2006-211531.
  • a gaze movement or the like when a gaze movement or the like can be performed by a player's operation, a difference between the gaze direction moved by the user and the actual gaze direction is notified. be able to.
  • the notification process can be executed even when the mobile terminal 10 acquires the video content from the viewpoint of each player from the server device 50.
  • the notification unit 220 may notify the first direction indicating the line-of-sight direction and the movement direction based on the user operation. That is, the notification unit 220 can express the difference between the two directions only by displaying the first direction or the second direction on the video.
  • the content includes a live video and a sports video
  • the sports video is not limited to soccer but may be a game such as baseball, tennis, or boxing.
  • “part”, “means”, “apparatus”, and “system” do not simply mean physical means, but “part”, “means”, “apparatus”, “system”. This includes the case where the functions possessed by "are realized by software. Further, even if the functions of one “unit”, “means”, “apparatus”, and “system” are realized by two or more physical means or devices, two or more “parts” or “means”, The functions of “device” and “system” may be realized by a single physical means or device.
  • Information processing apparatus 50 Server apparatus (information processing apparatus) 70 HMD 106 generation unit 110 behavior analysis unit 112 content generation unit 114 request acquisition unit 116 classification unit 206 content control unit 210 reception unit 212 acquisition unit 214 display control unit 216 charging unit 218 change unit 220 notification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ＶＲにおいて、オブジェクトの様々な動きに対応すること及び多数のオブジェクトの視点からのコンテンツを生成することを容易にする。　コンピュータに、１又は複数のプレイヤの動きを撮像した複数の撮像装置から各撮像データを受信する受信ステップと、各撮像データに基づいて、三次元仮想空間を生成する第１生成ステップと、各撮像データに基づいて、少なくとも１の前記プレイヤの動作解析を行う解析ステップと、三次元仮想空間及び動作解析の結果に基づき、少なくとも１の前記プレイヤの視点からの映像コンテンツを、コンピュータグラフィックスを用いて生成する第２生成ステップと、を実行させるプログラム。

Description

プログラム
　本発明は、プログラムに関する。
　近年、コンピュータなどによって作り出された世界を現実であるかのようにユーザに知覚させるバーチャルリアリティ（以下、ＶＲとも称する。）が盛んに研究されている。このＶＲについて、カメラで撮影オブジェクトを撮影し、その映像データに基づいて、三人称視点と、一人称視点とを切り替える技術が知られている（例えば、特許文献１参照）。
特開２０１４－１２７９８７号公報
　しかしながら、従来技術では、複数のカメラで撮影オブジェクトを撮影し、撮影した画像を合成することで、所定の撮影オブジェクトに対する一人称視点に切り替えるが、画像合成にかかる処理の負荷が大きく、一人称視点における映像コンテンツを容易に生成することはできない。
　また、従来のＶＲを提供する技術では、撮影オブジェクトの様々な動きに対応することや、多数の撮影オブジェクトの視点からの映像コンテンツを生成することは想定されていない。
　そこで、本発明は、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することを目的の一つとする。
　本発明に係るプログラムは、コンピュータに、
　１又は複数のプレイヤの動きを撮像した複数の撮像装置から各撮像データを受信する受信ステップと、
　前記各撮像データに基づいて、三次元仮想空間を生成する第１生成ステップと、
　前記各撮像データに基づいて、少なくとも１の前記プレイヤの動作解析を行う解析ステップと、
　前記三次元仮想空間及び前記動作解析の結果に基づき、少なくとも１の前記プレイヤの視点からの映像コンテンツを、コンピュータグラフィックスを用いて生成する第２生成ステップと、
　を実行させる。
　本発明によれば、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを生成することを容易にすることができる。
実施形態におけるコンテンツ販売システムの一例を示す概念図である。 実施形態における撮像装置による撮像の様子の一例を説明するための図である。 実施形態における情報処理装置が接続されたＨＭＤの一例を示す図である。 実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。 実施形態における携帯端末の外観構成の一例を示す携帯端末正面図である。 実施形態における携帯端末のハードウェア構成を概略的に示すブロック図である。 実施形態におけるＨＭＤのハードウェア構成を概略的に示すブロック図である。 実施形態におけるサーバ装置の機能構成の一例を示す図である。 コンテンツ情報の一例を示す図である。 カテゴリごとに分類された部分コンテンツの一例を示す図である。 実施形態における携帯端末の機能構成の一例を示す図である。 プレイヤキャラクタの視線方向及び視野を説明するための図である。 実施形態における表示画面Ａの一例を示す図である。 実施形態における表示画面Ｂの一例を示す図である。 実施形態における表示画面Ｃの一例を示す図である。 実施形態における表示画面Ｄの一例を示す図である。 実施形態における表示画面Ｅの一例を示す図である。 死角領域を説明するための図である。 実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。 実施形態におけるコンテンツ配信処理の一例を示すフローチャートである。 実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。 実施形態における表示制御処理の一例を示すフローチャートである。 実施形態におけるプレイヤ切替処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態］
以下、本発明の実施形態におけるコンテンツ配信システムを、図面を用いて説明する。
　＜コンテンツ配信システムの概要＞
図１は、実施形態におけるコンテンツ販売システム１の一例を示す概念図である。図１に示す例において、コンテンツ販売システム１は、例えばコンテンツを配信する会社等により提供されるサーバ装置（情報処理装置）５０と、各ユーザが操作する情報処理装置１０と、１又は複数のオブジェクトを撮像する撮像装置６０Ａ、６０Ｂ、６０Ｃと、がネットワークＮを介して接続される。以下、撮像装置を１つ１つ区別する必要がない場合は、符号６０を用いる。また、情報処理装置１０は、ネットワークＮに複数接続されてもよい。
　オブジェクトは、例えばプレイヤや動物などの動く生物を含む。プレイヤは、スポーツをしている人や音楽ライブをしている人などを含む。
　また、情報処理装置１０は、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する。）７０に接続される。ＨＭＤ７０を装着したユーザは、ＶＲを体験することができる。なお、ネットワークＮには、その他決済サーバなどが接続されてもよい。
　図２は、実施形態における撮像装置６０による撮像の様子の一例を説明するための図である。図２に示す例では、フィールドＦ１内で複数のプレイヤＰ１～Ｐ３がスポーツをしている。撮像装置６０は、スポーツをしている各プレイヤの様子を様々な角度から撮像する。撮像装置６０は、動作解析を容易にするため、高性能の撮像装置、例えば８Ｋカメラなどが望ましい。また、撮像装置６０の設置台数は、図２に示す例では８台であるが、フィールドＦ１の大きさに応じて適切な台数が設置されればよい。
　撮像装置６０により撮像された各撮像データは、直接的又はパーソナルコンピュータなどの処理装置を介して間接的に、サーバ装置５０に送信される。サーバ装置５０は、各撮像データに基づき、各プレイヤやフィールドを含む三次元仮想空間を生成し、また、撮像データを画像処理すること、又はモーションキャプチャなどの技術を用いることで、各オブジェクトの動作解析を行う。なお、サーバ装置５０は、フィールドＦ１が既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて風景やプレイヤ等に基づくオブジェクトを配置し、最終的な三次元仮想空間を生成してもよい。また、これらの処理の一部または全ては、サーバ装置５０ではなく、撮像装置６０に接続された前述のパーソナルコンピュータなどの処理装置で行い、生成されたオブジェクトや三次元仮想空間をサーバ装置５０に送信して記憶させるようにしても良い。
　モーションキャプチャは、マーカーレス方式の公知の技術を用いるとよい。例えば、Ｃａｐｔｕｒｙ　Ｓｔｕｄｉｏ社のモーションキャプチャや、Ｏｒｇａｎｉｃ　Ｍｏｔｉｏｎ社のモーションキャプチャなどの技術が適用可能である。これにより、オブジェクトに対してカメラを設ける必要がなくなり、オブジェクトに負担をかけずに済む。
　サーバ装置５０は、１又は複数のオブジェクトについて、上述した動作解析を行うことにより、各オブジェクトの動きを再現する映像コンテンツを生成する。この映像コンテンツは、コンピュータグラフィックス（以下、ＣＧとも称する。）を用いており、また、各プレイヤの視点からの映像コンテンツである。各プレイヤや全フィールドをモデリングした仮想オブジェクトを含む三次元仮想空間に基づき、ＣＧによる映像コンテンツを生成する方が、実映像による複雑な映像コンテンツを生成するよりも、オブジェクトの様々な動きや視点変更にも柔軟に対応することができ、処理負荷を軽減することができる。サーバ装置５０は、このようにして生成された映像コンテンツを複数記憶しておいてもよい。
　情報処理装置１０は、所定のアプリケーションを用いてサーバ装置５０にアクセスし、ユーザ操作に基づいて、映像コンテンツやオブジェクトを選択し、選択された映像コンテンツやオブジェクトの視点からの映像コンテンツをダウンロードする。
　図３は、実施形態における情報処理装置１０が接続されたＨＭＤ７０の一例を示す図である。図３に示す例では、情報処理装置１０は、マイクロＵＳＢ端子等を用いてＨＭＤ７０に接続される。ＨＭＤ７０は、情報処理装置１０から、マイクロＵＳＢ端子等を用いて取得した映像コンテンツを表示部に表示する。
　ＨＭＤ７０を装着したユーザは、この映像コンテンツを視聴することで、ＶＲを体験することができる。なお、ＨＭＤ７０は、上述したように、情報処理装置１０から映像コンテンツを取得して表示してもよいし、情報処理装置１０に表示される映像コンテンツを視聴できるようにしてもよい。
　これにより、サーバ装置５０は、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを生成することを容易にすることができる。また、情報処理装置１０は、所定のアプリケーションを用いることにより、サーバ装置５０において生成されたコンテンツをユーザに取得することができる。なお、ＶＲの体験とは、図３に示すようなＨＭＤ７０を装着してＶＲを体験する以外にも、情報処理装置１０等のディスプレイに映像コンテンツを表示し、ユーザがそのディスプレイを見ることでＶＲを体験することも含む。
　以下で説明する実施形態に係る情報処理装置１０は、携帯端末を一例に挙げている。また、実施形態に係る各種プログラムは、例えばサーバ装置や携帯端末等で実行される。
　＜ハードウェア構成＞
次に、コンテンツ販売システム１内の各装置のハードウェアについて説明する。以下、サーバ装置５０、携帯端末１０、ＨＭＤ７０の順に説明する。
　≪サーバ装置５０≫
まず、サーバ装置（情報処理装置）５０のハードウェア構成について説明する。図４は、実施形態におけるサーバ装置５０のハードウェア構成の一例を示す図である。図４に示すように、サーバ装置５０は、制御部５１、通信インターフェース５３、記憶部５４、表示部５７、及び入力部５８を有し、各部はバスライン５９を介して接続される。
　制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭ５２等を含む。制御部５１は、記憶部５４に記憶される制御プログラム５５等を実行することにより、一般的な情報処理装置としての機能に加え、例えば映像コンテンツの生成に関する処理を実現するように構成される。
　また、ＲＡＭ５２は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。
　通信インターフェース５３は、ネットワークＮを介した撮像装置６０、携帯端末１０、及び課金サーバ（不図示）等との通信を制御する。
　記憶部５４は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、制御プログラム５５を記憶する。また、記憶部５４は、情報記憶部５６を有している。
　制御プログラム５５は、撮像データに基づき、三次元仮想空間を生成したり、各プレイヤの動きを動作解析したり、三次元仮想空間や動作解析結果に基づいて、各プレイヤの動きを再現するＣＧの映像コンテンツを生成したりするプログラムである。制御プログラム５５は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部５４に記憶されてもよい。
　情報記憶部５６は、例えば撮像データを記憶したり、三次元仮想空間や、動作解析処理で生成される中間データ等を記憶したり、三次元仮想空間や動作解析結果に基づくＣＧの映像コンテンツを記憶したりする。
　表示部５７は、管理者に対して、映像コンテンツ等を表示する。入力部５８は、管理者からの入力を受け付けたり、管理者からの指示を受け付けたりする。また、サーバ装置５０は、表示部５７と入力部５８とを必ずしも設ける必要はなく、表示部５７及び入力部５８は、外部からサーバ装置５０に接続されるようにしてもよい。
　≪携帯端末１０≫
まず、実施形態における携帯端末１０の外観構成について説明する。図５は、実施形態における携帯端末１０の外観構成の一例を示す携帯端末正面図である。
　図５に示すように、携帯端末１０は、矩形の薄形筐体１２を備え、その薄形筐体１２の一方の面は、タッチパネル１４が多くの部分を占めるように構成されている。該タッチパネル１４が搭載されている面（正面）には、スピーカ１６、マイクロフォン１８およびハードボタン２０が設けられている。また、携帯端末１０の側面や底面には、ハードキー２２、及び音声出力端子２４（図６参照）などの外部インターフェースが設けられる。さらに、携帯端末１０の背面には、カメラ２６（図６参照）が設けられている。
　図６は、実施形態における携帯端末１０のハードウェア構成を概略的に示すブロック図である。携帯端末１０は、図５に示す各構成要素に加えて、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０、６軸センサ２３を少なくとも有し、さらに、スピーカ１６、カメラ２６や音声出力端子２４を含む外部インターフェース４２などを有する。
　タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａの上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
　タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラム４４の実行により生成される映像コンテンツを表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（遊技者の指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。
　携帯端末１０は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、サーバ装置５０との間でデータ通信をすることが可能である。サーバ装置５０は、携帯端末１０において選択されたプレイヤなどのダウンロード要求を、ネットワークＮを介して受信する。
　６軸センサ２３は、携帯端末１０の加速度及び角速度を計測可能である。６軸センサ２３によりセンシングされた所定のデータに対して、映像コンテンツ内のプレイヤ視点の変更や、プレイヤ自体の変更などの処理を割り当ててもよい。これにより、携帯端末１０を移動させるだけで、映像コンテンツに関する操作が可能になる。
　≪ＨＭＤ７０≫
次に、実施形態におけるＨＭＤ７０のハードウェアについて説明する。図７は、実施形態におけるＨＭＤ７０のハードウェア構成を概略的に示すブロック図である。図７に示すＨＭＤ７０は、通信部７２、表示部７４、記憶部７６、操作部７８、及び制御部８０を有する。
　通信部７２は、携帯端末１０とデータ通信を行う。例えば、通信部７２は、マイクロＵＳＢ端子を用いてデータ通信を行ったり、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を用いてデータ通信を行ったりする。例えば、通信部７２は、携帯端末１０から映像コンテンツ等を受信する。
　表示部７４は、携帯端末１０から受信した映像コンテンツ等を表示する。映像コンテンツは、２次元映像、又は３次元映像である。表示部７４は、ＨＭＤ７０が携帯端末１０に表示される映像を視聴するタイプの場合は、ＨＭＤ７０に設けられなくてもよい。
　記憶部７６は、例えばＲＡＭやＲＯＭやＨＤＤなどであり、映像コンテンツを記憶する。操作部７８は、音量調節ボタンや電源ボタン等の各種ボタンを含み、各種ボタンの押下に基づきＨＭＤ７０を操作する。
　制御部８０は、例えばＣＰＵやＲＡＭなどであり、上述したＨＭＤ７０の各部を制御する。
　＜機能的構成＞
次に、コンテンツ販売システム１内のサーバ装置５０、携帯端末１０の機能について説明する。
　≪サーバ装置５０≫
図８は、実施形態におけるサーバ装置５０の機能構成の一例を示す図である。図８に示す例では、サーバ装置５０は、第１送信部１０２、第１受信部１０４、生成部１０６、及び第１記憶部１０８を有する。第１記憶部１０８以外の各部は、例えば制御プログラム５５が制御部５１により実行されることで機能する。
　第１送信部１０２は、例えば通信インターフェース５３や制御部５１等により実現されうる。第１送信部１０２は、ダウンロード要求を出した各携帯端末１０に、要求された映像コンテンツ等を送信する。
　第１受信部１０４は、例えば通信インターフェース５３や制御部５１等により実現されうる。第１受信部１０４は、各携帯端末１０から、映像コンテンツやプレイヤを識別する情報とともにダウンロード要求を受信する。また、第１受信部１０４は、撮像装置６０から各撮像データを受信する。
　生成部１０６は、例えば制御部５１等により実現されうる。生成部１０６は、各プレイヤの動きが撮像された各撮像データに基づいて、各プレイヤの動きを再現する映像コンテンツや、プレイヤの動きの一部を示す部分コンテンツ等を生成する。以下、映像コンテンツや部分コンテンツ等を含めてコンテンツとも称する。生成部１０６は、コンテンツを生成するため、動作解析部１１０、仮想空間生成部１１２、コンテンツ生成部１１４、要求取得部１１６、及び分類部１１８を有する。
　動作解析部１１０は、例えば複数の撮像装置６０から撮像された各撮像データに対し、モーションキャプチャ技術を用いて、撮像データ内の少なくとも１のプレイヤの動きを動作解析する。このモーションキャプチャ技術は、公知の技術を用いればよく、例えばマーカーレスタイプの技術が好ましい。動作解析技術を適用することにより、撮像データ内の各プレイヤの動きが再現可能になる。これにより、三次元仮想空間内をどのように動いたかを、プレイヤごとに求めることができる。
　なお、動作解析部１１０により出力される動作解析結果は、動作解析したプレイヤの動きを再現するためのプレイヤの動き情報を含む。また、動作解析部１１０に含まれる推定部（不図示）は、プレイヤの動きに基づいて、プレイヤの顔の位置、向き、及び角度からプレイヤの視点座標、及びその視点からの視線方向を推定する（図１２参照）。推定部は、プレイヤの動き情報に合わせて、視点座標及び視線方向を含む視線方向情報を対応付けておくとよい。
　仮想空間生成部１１２は、各撮像データに基づいて、各プレイヤやフィールドの仮想オブジェクトを含む三次元仮想空間を生成する。例えば、仮想空間生成部１１２は、各撮像装置６０の設置位置や設置角度に基づいて、撮像データ内のどのオブジェクトがどの座標位置にあるかを、例えば三次元画像解析を用いて算出し、オブジェクトに対応する仮想オブジェクトを、その座標位置に配置する。例えば、仮想空間生成部１１２は、三次元仮想空間に配置される、各種仮想オブジェクトのポリゴンデータを保持しておくとよい。
　また、仮想空間生成部１１２は、フィールドが既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて風景やプレイヤ等に基づく仮想オブジェクトを配置し、最終的な三次元仮想空間を生成してもよい。
　コンテンツ生成部１１４は、三次元仮想空間及び動作解析結果に基づいて、動的オブジェクトである少なくとも１のプレイヤの動きをＣＧにより再現する映像コンテンツを生成する。例えば、コンテンツ生成部１１４は、三次元仮想空間のフィールド内を移動する各プレイヤの仮想オブジェクト（キャラクタ）に対して、動作解析により解析された各プレイヤの実際の動きを与え、その動きに応じたキャラクタの視点からの視線方向に三次元仮想空間を眺めた映像をＣＧにより生成することで、各プレイヤの視点からの映像コンテンツをそれぞれ生成する。プレイヤの視点からの映像コンテンツとは、そのプレイヤの視点からの視線方向に描画される３次元仮想空間内の映像を表す。これにより、サーバ装置５０は、フィールド内の各プレイヤの視点からの映像コンテンツを提供することが可能になる。
　また、コンテンツ生成部１１４は、三次元仮想空間に対して、プレイヤが決定されると、そのプレイヤの視線方向情報に基づいて、このプレイヤの視点からの映像をその都度生成してもよい。コンテンツ生成部１１４は、必要に応じて、事前に各プレイヤの視点からの映像コンテンツを生成したり、三次元仮想空間に対し、その都度所定のプレイヤの視点を与え、このプレイヤの視点からの映像コンテンツを生成したりする。
　なお、コンテンツ生成部１１４は、映像コンテンツについて、各プレイヤに対応する各キャラクタを生成し、このキャラクタが、対応するプレイヤの動きを再現するように映像コンテンツを生成するとよい。コンテンツ生成部１１４は、プレイヤの写真等を用いてよりリアルなキャラクタにすることで、より現実味を増した映像コンテンツを生成することができる。
　コンテンツ生成部１１４は、１つのイベント（例えばスポーツの１試合）内で生成した映像コンテンツに対し、１つの識別情報（イベントＩＤ）を付与し、イベントごとに映像コンテンツの識別を可能にしておく。また、コンテンツ生成部１１４は、プレイヤにも識別情報（プレイヤＩＤ）を付与し、このプレイヤの視点からの映像コンテンツを、プレイヤの識別情報に対応付けておく。これにより、イベントや、プレイヤごとに携帯端末１０からダウンロード要求を受けることが可能になる。コンテンツ生成部１１４は、生成された映像コンテンツを第１記憶部１０８に記憶する。
　また、第１記憶部１０８は、三次元仮想空間、静的な仮想オブジェクト、及び動的な仮想オブジェクト及びその動き情報を含む仮想空間データを、イベントＩＤに対応付けて記憶してもよい。このとき、仮想空間データに基づき、プレイヤの視点からの映像コンテンツを生成可能にするため、プレイヤＩＤには、プレイヤの視線方向情報が対応付けられる。
　要求取得部１１６は、携帯端末１０から送信される要求を受け付ける。携帯端末１０の要求とは、例えば、イベントＩＤや、プレイヤＩＤなどを伴うダウンロード要求などである。
　要求取得部１１６は、ダウンロード要求を受けると、ダウンロード要求に含まれるイベントＩＤ及び／又はプレイヤＩＤを特定し、記憶部１０８から該当する映像コンテンツを取得する。要求取得部１１６は、取得した映像コンテンツを、第１送信部１０２を介して携帯端末１０に送信する。
　また、要求取得部１１６は、イベントＩＤに対応する仮想空間データを第１記憶部１０８から取得し、また、プレイヤＩＤに対応するプレイヤの視線方向情報を第１記憶部１０８から取得してもよい。このとき、要求取得部１１６は、コンテンツ生成部１１４において生成されるプレイヤＩＤに対応するプレイヤの視点からの映像コンテンツを、その都度第１送信部１０２を介して携帯端末１０に送信する。
　分類部１１８は、映像コンテンツ内のプレイヤの一部の動きを示す部分コンテンツを、動きに応じて複数のカテゴリに分類する。例えば、イベントがサッカーの試合の場合、分類部１１８は、ドリブルについて相手にボールを取られずにディフェンダーを抜いた場合、成功動作と判定し、相手にボールを取られた場合、失敗動作と判定する。
　具体的には、分類部１１８は、失敗動作及び成功動作の部分コンテンツを自動で検出するようにしてもよいし、管理者が映像コンテンツを見ながら、成功動作又は失敗動作の部分コンテンツを検出するようにしてもよい。分類部１１８は、これらの動作を自動で検出する場合、プレイヤが移動しつつボールがプレイヤから所定距離以内にあれば、それはドリブルと判定し、このドリブル中に相手にボールが渡った場合、失敗動作と判定する。また、分類部１１８は、ドリブル後に味方にボールが渡ったり、シュートをしたりしていれば成功動作と判定する。
　シュートについて、分類部１１８は、相手方ゴール枠付近にボールが移動すれば、シュートと判定してもよい。なお、味方のプレイヤ及び相手のプレイヤについては、ユニフォームの色などで識別することができる。分類部１１８は、分類された部分コンテンツを映像コンテンツから切り出して、第１記憶部１０８に記憶してもよいし、映像コンテンツ内のプレイヤの一部の動きに対し、メタデータ等を用いてカテゴリを付与してもよい。
　要求取得部１１６は、カテゴリの識別情報をダウンロード要求とともに受けた場合、このカテゴリに対応する１又は複数の部分コンテンツを第１記憶部１０８から取得したり、映像コンテンツから取得したりする。要求取得部１１６は、取得した１又は複数の部分コンテンツを、このダウンロード要求を送信した携帯端末１０に、第１送信部１０２を介して送信する。
　第１記憶部１０８は、例えば記憶部５４から実現されうる。第１記憶部１０８は、動作解析されたＣＧによる映像コンテンツや、カテゴリに分類された部分コンテンツや、仮想空間データや、視線方向情報等を必要に応じて記憶する。
　図９は、コンテンツ情報の一例を示す図である。図９に示す例において、コンテンツ情報は、イベントＩＤ、仮想空間データ、プレイヤＩＤ、視線方向情報が対応付けられている。図９に示すコンテンツ情報は、後述するように、ユーザ操作に基づき、ＶＲ体験中のプレイヤの視線方向や動き方向が変更される際に用いられるデータ構造を示す。
　図９に示す例では、イベントＩＤ「Ｇ０００１」に対し、仮想空間データ「Ｃ０００１」と、プレイヤＩＤ「ＰＡ００１」～「ＰＡ０２２」とが対応付けられ、各プレイヤＩＤに、それぞれ視線方向情報が対応付けられる。視線方向情報は、プレイヤの顔や頭の動きに合わせた視点座標の軌跡データと、その視点における視線方向のベクトルデータとを含む。
　なお、図９に示すコンテンツ情報は、携帯端末１０側で、ＶＲ体験中のプレイヤの視線方向や動き方向が変更される場合に好適である。
　例えば、サーバ装置５０は、ユーザの操作に基づき、ＶＲ体験中のプレイヤの視線方向や動き方向の変更可能性が有る場合、仮想空間データと、特定のプレイヤの視線方向情報とを携帯端末１０に送信する。これにより、携帯端末１０は、自身の装置において、視線方向情報に基づいて視線方向を変更したり、プレイヤキャラクタの動き方向を変更したりして、変更後の映像コンテンツをＣＧにより生成することができる。
　また、サーバ装置５０と、携帯端末１０とのリアルタイムの双方向通信により、ＶＲ体験中のプレイヤの視線方向や動き方向を変更することもできる。例えば、携帯端末１０は、視線方向や動き方向の変更を示す変更情報をサーバ装置５０に送信し、サーバ装置５０は、その変更情報に基づいて、視線方向や動き方向の変更後の映像コンテンツを生成する。サーバ装置５０は、変更後の映像コンテンツをその都度携帯端末１０に送信し、携帯端末１１０は、受信した映像コンテンツを表示する。これにより、プレイヤキャラクタの視線方向や動き方向を変更することができる。
　また、携帯端末１０側で、視聴だけが許容される場合、図９に示すコンテンツ情報は、イベントＩＤごとに各プレイヤＩＤを対応付け、そのプレイヤＩＤに、予め生成されたプレイヤの視点からの映像コンテンツを対応付けるデータ構造でもよい。このデータ構造によれば、ユーザは、イベントＩＤを選択すれば、各プレイヤの視点からの映像コンテンツをまとめて取得することができる。また、ユーザは、イベントＩＤとプレイヤＩＤとを選択すれば、そのイベントの特定のプレイヤの視点からの映像コンテンツを取得することができる。例えば、イベントがサッカーの試合である場合、ユーザは、イベントＩＤとしてワールドカップの決勝の試合を選択したり、プレイヤＩＤとしてユーザの好きな選手を選択したりし、好きな選手の視点からその試合を体験することができるようになる。
　図１０は、カテゴリごとに分類された部分コンテンツの一例を示す図である。図１０に示す例では、プレイヤＩＤ毎に、各カテゴリの部分コンテンツが対応付けられている。例えば、プレイヤＩＤ「ＰＡ００１」は、カテゴリ１として「１０：１０～１０：３５」、「３４：２３～３４：３０」などの部分コンテンツが対応付けられ、カテゴリ２として「５：４３～５：５５」、「６：３２～６：４９」などの部分コンテンツが対応付けられている。なお、「１０：１０～１０：３５」等の表記は、映像コンテンツ内の１０分１０秒から１０分３５秒までの視線方向情報、又は部分コンテンツであることを示す。
　これにより、ユーザは、カテゴリを指定すれば、各プレイヤのそのカテゴリでの部分コンテンツを取得することができる。また、ユーザは、カテゴリとプレイヤＩＤとを選択すれば、そのカテゴリでの特定のプレイヤの部分コンテンツを取得することができる。例えば、イベントがサッカーの試合で、カテゴリがドリブル成功及びドリブル失敗である場合、ユーザは、好きな選手のドリブル成功の部分コンテンツのみを選択し、好きな選手のドリブル成功の世界観を体験することができるようになる。
　≪携帯端末１０≫
図１１は、実施形態における携帯端末１０の機能構成の一例を示す図である。図１１に示す例では、携帯端末１０は、第２送信部２０２、第２受信部２０４、コンテンツ制御部２０６、及び第２記憶部２０８を有する。第２記憶部２０８以外の各部は、例えばプログラム４４が主制御部４０により実行されることで機能する。
　第２送信部２０２は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第２送信部２０２は、ユーザ操作に基づくダウンロード要求等をサーバ装置５０に送信する。
　第２受信部２０４は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第２受信部２０４は、サーバ装置５０から、ダウンロード要求した映像コンテンツ等を受信する。
　コンテンツ制御部２０６は、例えば主制御部４０等により実現されうる。コンテンツ制御部２０６は、第２受信部２０４により受信された、各プレイヤの動きを再現するＣＧによる映像コンテンツを取得し、再生などの制御を行う。コンテンツ制御部２０６は、映像コンテンツを制御するため、受付部２１０、取得部２１２、表示制御部２１４、課金部２１６、変更部２１８、及び報知部２２０を有する。
　受付部２１０は、表示画面に表示されたユーザのボタン操作などにより、ユーザによるプレイヤの選択を受け付ける。また、受付部２１０は、イベントの選択や、カテゴリの選択や、部分コンテンツの選択や、表示指示などのユーザ操作を受け付けてもよい。受付部２１０は、受け付けた各種選択を示す情報を含むダウンロード要求を、第２送信部２０２を介してサーバ装置５０に送信する。なお、受付部２１０は、接続されたＨＭＤ７０からのユーザ操作を受け付けてもよい。
　取得部２１２は、ダウンロード要求がされた映像コンテンツ又は部分コンテンツを、第２受信部２０４を介して取得したり、第２記憶部２０８から取得したりする。映像コンテンツは、１又は複数のプレイヤの動きを複数の撮像装置６０が撮像した各撮像データに基づき各プレイヤの動作解析が行われた映像コンテンツであり、各プレイヤの動きをＣＧにより再現し、ユーザにより選択されたプレイヤの視点からの映像コンテンツである。
　表示制御部２１４は、例えば受付部２１０が受け付けたユーザからの表示を示す操作により、取得部２１２により取得された映像コンテンツ又は部分コンテンツの表示を制御する。表示制御部２１４は、表示制御として、ＨＭＤ７０のタイプに応じて、映像コンテンツや部分コンテンツをＨＭＤ７０に送信したり、タッチパネル１４に映像コンテンツを表示したりする。
　課金部２１６は、ユーザ操作に基づき課金処理を行う。例えば、プログラム４４により実行されるアプリケーション内で、ユーザが、所定のプレイヤを選択し、所定金額を支払うための課金処理を行ったとする。このとき、課金部２１６は、ユーザＩＤなどや、選択されたプレイヤＩＤ等を含む課金要求を、第２送信部２０２を介して課金サーバ（不図示）に送信する。
　課金サーバは、携帯端末１０等からの課金要求に応じて、アプリケーション実行中に課金処理を行うサーバである。課金サーバは、事前にユーザＩＤに関連付けて銀行口座やクレジット番号などの情報を対応づけておくとよい。
　このとき、受付部２１０は、課金部２１６において課金処理が行われた場合に、イベントの選択や、プレイヤの選択等を受け付け可能にしてもよい。これにより、ユーザは、お金を支払うことで、自分が体験したいプレイヤ等を選択することができる。
　変更部２１８は、ユーザ操作に基づき、選択されたプレイヤの動き方向又は視線方向を示す第１方向を変更する。ユーザ操作とは、例えば、ＨＭＤ７０を装着した状態で、頭を動かしたりする操作、又は外付けのコントローラを用いた操作のことをいう。頭の動きは、携帯端末１０の６軸センサ２３が検知する。この場合、携帯端末１０は、第１方向を変更可能にするため、サーバ装置５０から仮想空間データと、特定のプレイヤの視線方向情報とを取得したり、又はストリーミング等によりその都度特定のプレイヤの視点からの映像コンテンツを取得したりすればよい。
　例えば、ＶＲ体験中のプレイヤ（選択されたプレイヤ）の視線方向が変更される場合、６軸センサ２３により右方向に頭が動いたことが検知されれば、変更部２１８は、ＶＲ体験中のプレイヤの視線方向を右方向に移動させる。より具体的には、変更部２１８は、仮想空間データが取得されている場合、仮想空間データに基づくＶＲ体験中のプレイヤの視線方向を右方向に移動させ、移動後の視線方向に描画される三次元仮想空間内の映像を表示させればよい。
　また、変更部２１８は、ストリーミング等により映像コンテンツを取得している場合、視線方向の変更量を示す変更情報を、第２送信部２０２を介してサーバ装置５０に送信し、サーバ装置５０から視線変更後の映像コンテンツを取得することで、移動後の視線方向に描画される三次元仮想空間内の映像を表示させればよい。
　また、ＶＲ体験中のプレイヤの動き方向が変更される場合、６軸センサ２３により右方向に頭が動いたことが検知されれば、変更部２１８は、ＶＲ体験中のプレイヤキャラクタを右方向に移動させる。変更部２１８は、方向の移動量について、頭の動き量に応じて変更してもよい。例えば、頭が大きく動かされるほど、移動量が大きくなってもよい。動き方向の移動後の映像コンテンツの生成処理は、視線方向の移動の際の処理と同様である。
　なお、ＶＲ体験中のプレイヤキャラクタの動き方向が変更される場合、ＶＲ体験中のプレイヤの実際の動きを示す第２方向と異なる方向に動くことがありうるので、その場合、実際の動きに戻ることができるようにしておくとよい。例えば、変更部２１８は、所定操作（例えば頭を二回上下に振るなど）が行われた場合には、実際のプレイヤの動きに戻るようにすればよい。これにより、第１方向と第２方向とが乖離したままイベントが進行することを防止することができる。
　また、変更部２１８は、動き方向を変更するモードと、視線方向を変更するモードとを所定操作（例えば頭を三回上下に振るなど）により切り替えるようにしてもよい。これにより、ユーザは、視線を変えたり、動き自体を変えたり、ＶＲの体験の幅を広げることができる。
　報知部２２０は、表示制御中の映像コンテンツ又は部分コンテンツに基づくプレイヤの実際の動き方向又は視線方向を示す第２方向と、変更部２１８により変更される第１方向との差異をユーザに報知する。報知の仕方としては、例えば、第１方向及び／又は第２方向を矢印で表し、両矢印を区別可能にしたり、画面内の四方に第２方向を示す領域を設け、当該領域を所定色にすることで、第２方向を示し、色の濃淡を用いて第２方向と第１方向との角度の違いを表したりしてもよい。また、報知部２２０は、第１方向と第２方向との差異を、音声や、その他の表示の仕方で報知するようにしてもよい。また、報知部２２０内に評価部を設け、この評価部が、両方向の差異に基づく評価を行ってもよい。例えば、評価部は、この差異が小さいほど良い評価を与えたり、この差異が所定差以内である時間が長いほど良い評価を与えたりする。報知部２２０は、評価結果をユーザに報知する。報知の仕方は特に問わない。これにより、例えば、ユーザは、体験中のプレイヤの状況に応じた動きを習得することができる。
　これにより、ユーザは、その場その場で、自分が意図した動き方向又は視線方向と、実際のプレイヤの動き方向又は視線方向とを比べることができる。その結果、例えば、有名スポーツ選手のその時の判断力を知ることができ、スポーツ教育に活用することができる。
　また、報知部２２０は、例えば相手と対戦するスポーツの映像コンテンツが表示制御される場合、相手のプレイヤの死角を表示可能にしてもよい。例えば、報知部２２０は、１又は複数の相手のプレイヤのキャラクタの視野を三次元仮想空間内で推定し、相手プレイヤの視野が重ならない領域を死角と判定すればよい。これにより、例えばサッカーをＶＲで体験する場合、攻撃中のユーザは、どこにパスを出すべきか又はどこにドリブル突破すべきかを把握することができる。その結果、スポーツ教育のバリエーションを増やすことができる。
　第２記憶部２０８は、第２受信部２０４により受信された映像コンテンツ、部分コンテンツ、仮想空間データ等を記憶する。
　携帯端末１０は、自装置内に、仮想空間データや、各プレイヤの視線方向情報を保持していれば、コンテンツ制御部２０６により、ＶＲ体験中にＶＲを体験するプレイヤの視点を切り替えることができる。例えば、コンテンツ制御部２０６は、視点を切り替えるために設定された操作が行われた場合、視点切替画面等を表示し、ユーザが視聴したいプレイヤの視点を選択させればよい。コンテンツ制御部２０６は、選択されたプレイヤの視線方向情報を取得し、その視線方向情報を用いて、初めから、又は切替操作が行われた時点から、そのプレイヤの視点からの映像を表示するように制御する。これにより、三次元仮想空間データが有るので、視線方向情報を取得するだけで、プレイヤの視点切替を容易に行うことができる。
　以上の機能をコンテンツ配信システム１の各装置が有することで、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。また、コンテンツ配信システム１は、上述した方法で生成されたコンテンツをユーザに提供することができる。
　＜視線方向及び視野＞
次に、ＣＧにより生成されるプレイヤキャラクタの視線方向及び視野について説明する。図１２は、プレイヤキャラクタの視線方向及び視野を説明するための図である。図１２（Ａ）は、三次元仮想空間内の鉛直方向の上から下を見た場合のプレイヤキャラクタの頭Ｈ、視線方向ＥＬ１、視野θ１を示す。このキャラクタの視線方向ＥＬ１は、眼を結ぶ線分の中央から、この線分の垂直方向とする。
　また、水平方向の視野角θ１については、Ｙ方向に対し、視線方向ＥＬ１から左右それぞれ６０度とし、合計１２０度とする。ただし、この視野角θ１は、あくまでも一例であり、適切な値が設定されればよい。
　図１２（Ｂ）は、三次元仮想空間内の水平方向の左から右（Ｙ方向の－側から＋側）を見た場合のプレイヤキャラクタの頭Ｈ、視線方向ＥＬ２、視野角θ２を示す。このキャラクタの視線方向ＥＬ２は、頭の頂点Ｔから下点Ｂを結ぶ線分の眼の位置から、この線分の垂直方向とする。なお、図１２（Ａ）に示す視線方向ＥＬ１と、図１２（Ｂ）に示す視線方向ＥＬ２とは、同一の方向を表す。よって、プレイヤキャラクタの視線方向は、プレイヤキャラクタの頭の位置等により推定することができる。また、視点座標は、例えば、視線方向ＥＬ１と顔との接点座標とする。
　また、鉛直方向の視野角θ２については、Ｚ方向に対し、視線方向ＥＬ２から上６０度、下７０度とし、合計１３０度とする。ただし、この視野角θ２は、あくまでも一例であり、適切な値が設定されればよい。
　なお、視線方向については、図１２に示す方法で推定するようにしたが、実際の撮像データから黒目の動きを検出することができれば、実際の黒目の動きから視線方向を推定してもよい。これにより、プレイヤになりきってＶＲを体験することができる。
　＜表示画面例＞
次に、イベントとしてサッカーの試合、オブジェクトとしてサッカー選手を例に挙げて、本発明を適用する場合の表示画面例について説明する。
　図１３は、実施形態における表示画面Ａの一例を示す図である。図１３に示す画面Ａは、ユーザが選択したプレイヤが、ディフェンスをしている場合の画面例を示す。図１３に示すように、ユーザは、実際のサッカーの試合を体験するＶＲにて、ディフェンスをしているプレイヤ目線で試合を楽しむことができる。
　図１３に示す例では、プレイヤキャラクタＰ１１が現在ボールＢ１を蹴っており、プレイヤキャラクタＰ１２～Ｐ１４が、プレイヤキャラクタのＰ１１の味方を表す。また、プレイヤキャラクタＰ２１は、ユーザが体験しているプレイヤの味方を表す。
　図１４は、実施形態における表示画面Ｂの一例を示す図である。図１４に示す画面Ｂは、ユーザが選択したプレイヤが、オフェンスをしている（例えばドリブルをしている）場合の画面例を示す。図１４に示すように、ユーザは、実際のサッカーの試合を体験するＶＲにて、オフェンスをしているプレイヤ目線で試合を楽しむことができる。
　図１５は、実施形態における表示画面Ｃの一例を示す図である。図１５に示す画面Ｃは、図１４に示す画面Ｂから、例えばユーザが頭を動かすことで、視線方向が変更された画面例を示す。図１５に示すように、ユーザは、視線方向を右方向に動かすよう操作することで、視線方向が全体的に右方向に向いたシーンを視聴することができる。
　また、図１５に示す画面Ｃでは、ＶＲ体験中の視線方向（第１方向）を示す矢印Ａ１が画面Ｃ上に表示される。このとき、実際のプレイヤの視線方向（第２方向）を示す矢印Ａ２も画面Ｃ上に表示される。これにより、ユーザは、この時の自分の判断と、体験しているプレイヤの判断とを比べることができる。なお、矢印Ａ１は、必ずしも表示されなくてもよい。
　図１６は、実施形態における表示画面Ｄの一例を示す図である。図１６に示す画面Ｄは、図１５に示す画面Ｃと比べて、第１方向と第２方向との差異の報知の仕方が異なる。図１６に示す画面Ｄは、画面Ｄ内の四方に配置された各領域Ｂ１～Ｂ４が、第２方向を知らせるための領域である。ユーザは、左方向の領域Ｂ１の色が変更されることで、プレイヤの実際の視線方向は左方向であったと知ることができる。なお、領域Ｂ１の色が濃くなるほど、第１方向と第２方向との角度の差が大きくなることを示す。
　図１７は、実施形態における表示画面Ｅの一例を示す図である。図１７に示す画面Ｅは、図１５に示す画面Ｃと比べて、第１方向と第２方向との差異の報知が消去され、死角領域Ｄ２が表示されている。図１７に示す画面Ｅは、ユーザが体験しているプレイヤキャラクタの相手となる各キャラクタＰ２３～Ｐ２５の死角領域Ｄ２が表示される。死角領域Ｄ２は、図１８で説明するように、相手キャラクタの視野を示す情報に基づいて算出できる。これにより、ユーザは、この時点で、死角領域Ｄ２についてはパスやドリブル突破がしやすい領域であることを把握することができる。なお、死角領域が表示される場合でも、上述した報知処理がなされてもよい。
　図１８は、死角領域Ｄ２を説明するための図である。図１８に示す例では、三次元仮想空間のサッカーフィールドを上面から表している。領域ＡＲ２は、図１７における画面Ｅで表示されている領域である。領域ＡＲ２内で、相手のキャラクタＰ２３～Ｐ２５の視野に入らない領域が死角領域Ｄ２である。この死角領域Ｄ２が、図１７に示す画面Ｅにおいて表示されている。なお、図１８に示す上面図が、図１７に示す画面に重畳され、所定のユーザ操作により、この上面図の表示と非表示とが切り替えられるように実装されてもよい。
　以上の図１３～１７に示す画像は、表示制御部２１４により表示制御される画面である。また、図１５～１６で説明した視線変更は、ユーザ操作に基づき、変更部２１８により変更される。また、図１５～１６で説明した第１方向と第２方向との差異の報知は、報知部２２０により実行される。また、図１７で説明した死角領域Ｄ２は、報知部２２０により報知される。死角領域Ｄ２の検出は、コンテンツ制御部２０６やサーバ装置５０のコンテンツ生成部１１４等が行えばよい。
　なお、図１３～１７に示すプレイヤキャラクタは一例であって、実際のプレイヤの顔やユニフォームをプレイヤキャラクタに用いることで、臨場感と現実味とが溢れるＶＲを実現することができる。
　＜動作＞
次に、実施形態におけるコンテンツ配信システム１の各装置の動作について説明する。以下、サーバ装置５０におけるコンテンツ生成処理、及びコンテンツ配信処理、並びに、携帯端末１０におけるコンテンツ表示処理、視線変更処理、及びプレイヤ切替処理の順で説明する。
　≪コンテンツ生成処理≫
図１９は、実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。図１９に示すステップＳ１０２で、第１受信部１０４は、各撮像装置６０から、１又は複数のプレイヤが動いている様子を撮像した各撮像データを受信する。各撮像装置６０は、様々な角度から各プレイヤを撮像する。
　ステップＳ１０４で、動作解析部１１０は、第２受信部１０４から各撮像データを取得すると、少なくとも１のプレイヤの動きに対し、公知のモーションキャプチャ技術を用いて動作解析を行う。モーションキャプチャ技術は、マーカーレス方式が好ましい。
　ステップＳ１０６で、仮想空間生成部１１２は、第２受信部１０４から各撮像データを取得すると、各プレイヤやフィールドを示す仮想オブジェクトを含む三次元仮想空間を生成する。
　ステップＳ１０８で、コンテンツ生成部１１４は、三次元仮想空間及び動作解析の結果に基づいて、動作解析されたプレイヤの動きをＣＧにより再現する映像コンテンツを生成する。
　このとき、分類部１１８は、コンテンツ内のプレイヤの一部の動きを示す部分コンテンツを生成し、部分コンテンツをこの動きに応じて複数のカテゴリに分類してもよい。
　ステップＳ１１０で、コンテンツ生成部１１４は、生成された映像コンテンツ及び／又は部分コンテンツを第１記憶部１０８に記憶する。
　これにより、ＶＲにおいて、ＣＧを用いることにより、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。
　≪コンテンツ配信処理≫
図２０は、実施形態におけるコンテンツ配信処理の一例を示すフローチャートである。図２０に示すステップＳ２０２で、要求取得部１１６は、各携帯端末１０からのダウンロード要求を、第１受信部１０４を介して取得する。
　ステップＳ２０４で、要求取得部１１６は、ダウンロード要求に含まれるコンテンツＩＤ及び／又はプレイヤＩＤを基に、これらのＩＤに対応する映像コンテンツを取得する。また、ダウンロード要求にカテゴリを示す情報が含まれる場合、要求取得部１１６は、部分コンテンツを取得してもよい。
　ステップＳ２０６で、要求取得部１１６は、取得した映像コンテンツ又は部分コンテンツを、ダウンロード要求を送信した携帯端末１０に配信する。これにより、サーバ装置５０は、ダウンロード要求に応じて様々なコンテンツを配信することができる。また、要求取得部１１６は、仮想空間データと、プレイヤＩＤに対応するプレイヤの視線方向情報とを取得し、これらが配信されるようにしてもよい。これにより、携帯端末１０側で、ＶＲ体験中のプレイヤの視線方向や動き方向の変更が可能になる。
　≪コンテンツ表示処理≫
図２１は、実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。図２１に示すステップＳ３０２で、受付部２１０は、ユーザ操作に基づくイベントの選択を受け付ける。例えば、ユーザは、アプリケーション画面から、複数のイベントの中から所定のイベントを選択して、受付部２１０は、この選択を受け付ける。また、受付部２１０は、課金処理が行われた場合に、イベントの受付処理を可能にしてもよい。
　ステップＳ３０４で、受付部２１０は、ユーザ操作に基づくプレイヤの選択を受け付ける。例えば、ユーザは、アプリケーション画面から、イベントに参加したプレイヤの中から、所定のプレイヤを選択して、受付部２１０は、この選択を受け付ける。また、受付部２１０は、課金処理が行われた場合に、プレイヤの受付処理を可能にしてもよい。
　なお、イベントが１つである場合は、ステップＳ３０２を省略してもよく、プレイヤが１人の場合は、ステップＳ３０４を省略してもよい。受付部２１０は、受け付けたイベントのＩＤ及び／又はプレイヤのＩＤを含むダウンロード要求を、第２送信部２０２を介してサーバ装置５０に送信する。また、受付部２１０は、カテゴリの選択を受け付けた場合は、このカテゴリを示す情報をダウンロード要求に含める。
　ステップＳ３０６で、取得部２１２は、ダウンロード要求に対応するコンテンツを取得する。取得されるコンテンツは、仮想空間データ及び視線方向情報と、映像コンテンツと、部分コンテンツとのうち、少なくとも１つを含む。
　ステップＳ３０８で、表示制御部２１４は、取得されたコンテンツを表示するよう制御する。例えば、表示制御部２１４は、コンテンツをＨＭＤ７０に送信することで映像コンテンツが表示されるようにしたり、タッチパネル１４に映像コンテンツを表示したりすることで、ＨＭＤ７０で視聴できるようにする。これにより、ユーザに対し、自身が選択したイベント内でのプレイヤになりきってＶＲを体験させることができる。
　≪視線変更処理≫
図２２は、実施形態における表示制御処理の一例を示すフローチャートである。図２２に示す処理は、図２１に示すステップＳ３０８の表示制御処理内に含まれる処理である。
　図２２に示すステップＳ４０２で、変更部２１８は、映像コンテンツ表示中に、ＶＲ体験中のプレイヤの視線変更をするための所定の操作を示す信号を受け付けたか否かを判定する。所定の操作とは、頭を所定方向（例えば、上方向、下方向、前方向、後方向、左方向、右方向の少なくとも１方向）に動かすことである。所定の操作を示す信号が受け付けられれば（ステップＳ４０２－ＹＥＳ）、処理はステップＳ４０４に進み、所定の操作を示す信号が受け付けられていなければ（ステップＳ４０２－ＮＯ）、処理はステップＳ４０２に戻る。
　ステップＳ４０４で、変更部２１８は、受付部２１０から所定の操作を示す信号を受け付けると、ＶＲ体験中のプレイヤの視線方向を変更する。例えば、頭が左に動けば、視線方向が左に変更され、頭が右に動けば、視線方向は右に変更される。視線変更後の映像の生成については、上述したように携帯端末１０側で処理する場合と、サーバ装置５０が処理する場合と２通りがあり、いずれの方法が用いられてもよい。
　ステップＳ４０６で、報知部２２０は、変更部２１８により変更される視線方向（第１方向）と、体験中のプレイヤの実際の視線方向（第２方向）との差異を報知する。報知の方法は様々であり、上述した方法のいずれか１つが適用されればよい。複数の報知方法は、ユーザにより選択されてもよい。
　ステップＳ４０８で、表示制御部２１４は、表示が終了したか否かを判定する。コンテンツの表示が終了すれば（ステップＳ４０８－ＹＥＳ）、表示制御処理は終了し、コンテンツの表示が終了していなければ（ステップＳ４０８－ＮＯ）、処理はステップＳ４０２に戻る。これにより、ユーザは、単にＶＲを視聴するだけでなく、自分も仮想空間内のイベントに参加することができ、さらに、実際のプレイヤの視線方向との差異を比べることができる。
　なお、図２２で説明した視線方向は、プレイヤの動きに置き換えてもよい。これにより、ユーザ自身がイベントに参加し、自分の意志でプレイヤを操作しているようなＶＲの体験をさせることができる。
　しかし、この場合、ユーザが移動させたプレイヤの動きと、実際のプレイヤの動きとの差異が生じると、実際のイベントの内容とはかけ離れることになるので、いずれかのタイミングで、実際のプレイヤの動きに戻るようにすればよい。例えば、所定時間経過すると、ユーザが移動させたプレイヤの動きと、実際のプレイヤの動きとの差異が生じる時点に戻り、あとは、実際のプレイヤの動きでＶＲが視聴されるようにしてもよい。
　≪プレイヤ切替処理≫
図２３は、実施形態におけるプレイヤ切替処理の一例を示すフローチャートである。図２３に示す処理は、図２１に示すステップＳ３０８の表示制御中に行われる処理として説明する。
　図２３に示すステップＳ５０２で、受付部２１０は、プレイヤの切替指示が有ったか否かを判定する。プレイヤの切替指示として予め設定した所定の操作をユーザが行った場合、受付部２１０は、プレイヤの切替指示と判断する。切替指示が有れば（ステップＳ５０２－ＹＥＳ）、処理はステップＳ５０４に進み、切替指示がなければ（ステップＳ５０２－ＮＯ）、処理はステップＳ５０２に戻る。
　ステップＳ５０４で、表示制御部２１４は、受付部２１０から切替指示が通知されると、映像コンテンツの表示を一時停止する。
　ステップＳ５０６で、コンテンツ制御部２０６は、アプリケーション画面を通じて、どのプレイヤに切り替えるかをユーザに提示する。例えば、コンテンツ制御部２０６は、表示中のプレイヤキャラクタを切替候補にするとよい。受付部２１０は、ユーザに選択されたプレイヤのＩＤを特定する。
　ステップＳ５０８で、取得部２１２は、プレイヤＩＤに対応するコンテンツを第２記憶部２０８又はサーバ装置５０から取得する。このとき、第２記憶部２０８に、プレイヤＩＤに対応する映像コンテンツがない場合、取得部２１２は、エラーを返すようにする。また、サーバ装置５０から課金処理により、この映像コンテンツが取得される場合は、課金画面が表示されるようにすればよい。また、取得部２１２は、仮想空間データや、切替後のプレイヤＩＤの視線方向情報が第２記憶部２０８等にあれば、仮想空間データと、視線方向情報とに基づいて、プレイヤ切替後の映像コンテンツを生成し、この映像コンテンツを取得する。
　ステップＳ５１０で、表示制御部２１４は、取得されたコンテンツを表示するよう制御する。これにより、ユーザは、ＶＲを視聴中に、体験するプレイヤを切り替えることができる。なお、表示制御部２１４は、以前に表示していたコンテンツの視聴時間の所定時間前から、切替後のコンテンツを表示するように制御してもよい。これは、視聴中にプレイヤを切り替えるということは、その時の体験中のプレイヤを他のプレイヤから見てみたいというユーザの要求があり、その要求に応えるためである。
　なお、図１９～２３で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾が生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。
　以上より、実施形態におけるコンテンツ配信システム１によれば、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。また、コンテンツ配信システム１は、上述した方法で生成されたコンテンツをユーザに提供することができる。
　また、撮像されるイベントをスポーツにすることで、本実施形態をスポーツ教育に用いることができる。例えば、子供たちに、有名な選手の視点からの世界観を体験させたり、コーチによる選手の動きの解説を入れたりすることで、そのスポーツに対するプレイを向上させることが可能になる。
　また、上記実施形態において、第１のコンテンツ提供モデルとして、ユーザは、プログラム４４を無償でダウンロードし、プログラム４４によるアプリケーションを用いて、取得したい映像コンテンツや部分コンテンツに課金することで、そのコンテンツをダウンロードすることができるようにしてもよい。
　また、上記実施形態において、上記モデルに限らず、第２のコンテンツ提供モデルとして、月額のリース契約により、所定のイベントに対する仮想空間データ、及び各プレイヤの視線方向情報を提供することも考えられる。
　［変形例］
以上、本願の開示する技術の実施形態について説明したが、本願の開示する技術は、上記例に限定されるものではない。
　報知部２２０による報知処理について、この処理を行う場合は、映像コンテンツは、必ずしもＣＧにより生成される必要はない。例えば、特開２００６－２１１５３１号公報で開示されている自由視点映像生成技術を用いた実映像でのＶＲの映像コンテンツにおいて、上述した報知処理を適用することができる。例えば、自由視点映像生成技術を用いた実映像でのＶＲにおいて、プレイヤの操作により視線移動等が行える場合、ユーザにより移動される視線方向と、実際の視線方向との差異を報知するようにすることができる。
　また、報知処理について、携帯端末１０が、サーバ装置５０から、各プレイヤの視点からの映像コンテンツを取得する場合でも実行可能である。この場合、映像として、プレイヤキャラクタの視点からの映像が表示されるため、報知部２２０は、ユーザ操作に基づく視線方向や動き方向を示す第１方向を報知するようにすればよい。すなわち、報知部２２０は、第１方向又は第２方向を映像に表示するだけでも、両方向の違いを表現することが可能である。
　また、上述した実施形態において、コンテンツは、ライブ映像や、スポーツ映像を含み、スポーツ映像は、サッカーに限らず、野球、テニス、ボクシング等の試合でもよい。
　なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
１０　情報処理装置
５０　サーバ装置（情報処理装置）
７０　ＨＭＤ
１０６　生成部
１１０　動作解析部
１１２　コンテンツ生成部
１１４　要求取得部
１１６　分類部
２０６　コンテンツ制御部
２１０　受付部
２１２　取得部
２１４　表示制御部
２１６　課金部
２１８　変更部
２２０　報知部

Claims (9)

  1. 　コンピュータに、
    　１又は複数のプレイヤの動きを撮像した複数の撮像装置から各撮像データを受信する受信ステップと、
    　前記各撮像データに基づいて、三次元仮想空間を生成する第１生成ステップと、
    　前記各撮像データに基づいて、少なくとも１の前記プレイヤの動作解析を行う解析ステップと、
    　前記三次元仮想空間及び前記動作解析の結果に基づき、少なくとも１の前記プレイヤの視点からの映像コンテンツを、コンピュータグラフィックスを用いて生成する第２生成ステップと、
    　を実行させるプログラム。
  2. 　前記映像コンテンツ内の前記プレイヤの一部の動きを示す部分コンテンツを、当該動きに応じて複数のカテゴリに分類する分類ステップを、さらにコンピュータに実行させる請求項１に記載のプログラム。
  3. 　コンピュータに、
    　ユーザによるプレイヤの選択を受け付ける受付ステップと、
    　１又は複数のプレイヤの動きを複数の撮像装置が撮像した各撮像データに基づき、三次元仮想空間が生成され、かつ、少なくとも１の前記プレイヤの動作解析が行われ、当該三次元仮想空間及び当該動作解析の結果に基づきコンピュータグラフィックスを用いて生成された映像コンテンツであって、選択されたプレイヤの視点からの映像コンテンツを取得する取得ステップと、
    　取得された映像コンテンツの表示を制御する表示制御ステップと、
    　を実行させるプログラム。
  4. 　前記各撮像データは、スポーツをしている１又は複数のプレイヤが撮像された撮像データを含む、請求項３に記載のプログラム。
  5. 　ユーザ操作に基づき、前記選択されたプレイヤの動き方向又は視線方向を示す第１方向を変更する変更ステップと、
    　前記映像コンテンツに基づく前記選択されたプレイヤの実際の動き方向又は視線方向を示す第２方向と、前記第１方向との差異をユーザに報知する報知ステップと、
    　をコンピュータにさらに実行させる、請求項３又は４に記載のプログラム。
  6. 　ユーザ操作に基づき課金処理を行う課金ステップをさらにコンピュータに実行させ、
    　前記受付ステップは、
    　前記課金処理により前記プレイヤの選択を受け付け可能にする、請求項３乃至５いずれか一項に記載のプログラム。
  7. 　前記映像コンテンツ内の前記プレイヤの一部の動きを示す部分コンテンツが、当該動きに応じて複数のカテゴリに分類される場合、
    　前記受付ステップは、
    　前記カテゴリの選択をさらに受け付け、
    　前記取得ステップは、
    　前記カテゴリに含まれるプレイヤの動きを示す部分コンテンツを取得し、
    　前記表示制御ステップは、
    　取得された部分コンテンツの表示を制御する、請求項３乃至６いずれか一項に記載のプログラム。
  8. 　前記スポーツは、相手と対戦するスポーツを含む場合、
    　前記映像コンテンツは、前記相手のプレイヤの視野に基づいて検出される死角を表示可能である、請求項４に記載のプログラム。
  9. 　コンピュータに、
    　ユーザによるプレイヤの選択を受け付ける受付ステップと、
    　１又は複数のプレイヤの動きを複数の撮像装置が撮像した各撮像データに基づき、三次元仮想空間が生成され、かつ、少なくとも１の前記プレイヤの動作解析が行われ、当該三次元仮想空間及び当該動作解析の結果に基づき生成された映像コンテンツであって、選択されたプレイヤの視点からの映像コンテンツを取得する取得ステップと、
    　取得された映像コンテンツの表示を制御する表示制御ステップと、
    　ユーザ操作に基づき、前記選択されたプレイヤの動き方向又は視線方向を示す第１方向を変更する変更ステップと、
    　前記映像コンテンツに基づく前記選択されたプレイヤの実際の動き方向又は視線方向を示す第２方向と、前記第１方向との差異をユーザに報知する報知ステップと、
    　を実行させるプログラム。
PCT/JP2016/060118 2015-06-30 2016-03-29 プログラム WO2017002414A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-131751 2015-06-30
JP2015131751A JP6555513B2 (ja) 2015-06-30 2015-06-30 プログラム

Publications (1)

Publication Number Publication Date
WO2017002414A1 true WO2017002414A1 (ja) 2017-01-05

Family

ID=57608432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/060118 WO2017002414A1 (ja) 2015-06-30 2016-03-29 プログラム

Country Status (2)

Country Link
JP (1) JP6555513B2 (ja)
WO (1) WO2017002414A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654294A4 (en) * 2017-07-14 2020-06-03 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6526731B2 (ja) * 2017-02-27 2019-06-05 Kddi株式会社 情報配信装置
US11082725B2 (en) 2017-02-27 2021-08-03 Kddi Corporation Video distribution system, terminal device, and video data distribution device
JP6248219B1 (ja) * 2017-03-08 2017-12-13 株式会社コロプラ 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
US10365784B2 (en) 2017-03-08 2019-07-30 Colopl, Inc. Information processing method and apparatus for executing the information processing method
WO2018190327A1 (ja) * 2017-04-11 2018-10-18 株式会社バスキュール 仮想現実提供システム、３次元表示データ提供装置、仮想空間提供システム及びプログラム
JP6509938B2 (ja) * 2017-05-02 2019-05-08 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP6901217B2 (ja) * 2017-06-21 2021-07-14 株式会社コロプラ コンテンツ提供方法、当該方法をコンピュータに実行させるプログラム、およびコンテンツ提供装置
JP6878177B2 (ja) * 2017-07-04 2021-05-26 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6991768B2 (ja) 2017-07-28 2022-01-13 キヤノン株式会社 表示制御装置および表示制御方法
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
CN107832366A (zh) * 2017-10-25 2018-03-23 重庆虚拟实境科技有限公司 视频分享方法及装置、终端装置及计算机可读存储介质
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
JP7279452B2 (ja) * 2018-03-30 2023-05-23 株式会社リコー Ｖｒ端末、ｖｒシステム、表示方法、及びプログラム
JP2020013470A (ja) 2018-07-20 2020-01-23 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7313811B2 (ja) * 2018-10-26 2023-07-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7339740B2 (ja) * 2019-02-14 2023-09-06 キヤノン株式会社 画像表示装置、画像表示装置の制御方法及びプログラム
US10978019B2 (en) * 2019-04-15 2021-04-13 XRSpace CO., LTD. Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
JP7291224B2 (ja) * 2019-07-26 2023-06-14 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
JP7427468B2 (ja) 2020-02-18 2024-02-05 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7029189B2 (ja) * 2020-03-06 2022-03-03 株式会社コナミデジタルエンタテインメント 視点確認システム
JP2020123990A (ja) * 2020-05-16 2020-08-13 株式会社Ｄａｐリアライズ 多重映像配信システム
KR20230067790A (ko) * 2021-11-09 2023-05-17 한국전자기술연구원 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271733A (ja) * 2001-03-08 2002-09-20 Jisedai Joho Hoso System Kenkyusho:Kk サッカー映像ダイジェスト作成方法
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5044129B2 (ja) * 2006-03-27 2012-10-10 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271733A (ja) * 2001-03-08 2002-09-20 Jisedai Joho Hoso System Kenkyusho:Kk サッカー映像ダイジェスト作成方法
JP2003244728A (ja) * 2002-02-15 2003-08-29 Mitsubishi Heavy Ind Ltd 仮想映像作成装置及び仮想映像作成方法
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Jiyu Shiten Eizo de Sports Kansen o Customize", TSUKUBA FUTURE, 22 May 2015 (2015-05-22) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3654294A4 (en) * 2017-07-14 2020-06-03 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD FOR IMAGE PROCESSING DEVICE, AND PROGRAM

Also Published As

Publication number Publication date
JP6555513B2 (ja) 2019-08-07
JP2017012397A (ja) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6555513B2 (ja) プログラム
US10430018B2 (en) Systems and methods for providing user tagging of content within a virtual scene
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
EP3687644B1 (en) Venue mapping for virtual reality spectating of electronic sports
JP6708689B2 (ja) 三次元ゲームプレイの共有
JP6663505B2 (ja) Ｖｒ環境における観客ビュー視点
US10296086B2 (en) Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
CN105392538B (zh) 响应于头戴式显示器中的用户动作的图像渲染
CN105378596B (zh) 用于头戴式显示器中在透明模式与非透明模式之间转变的系统和方法
CN105188867B (zh) 远程游戏环境中角色交互的客户端侧处理
CN109475774A (zh) 虚拟现实环境中的视图位置处的观众管理
JP6470356B2 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
CN105279795B (zh) 基于3d标记的增强现实系统
CN110536726A (zh) Vr环境的第二屏幕虚拟窗口
CN109069932A (zh) 观看与虚拟现实(vr)用户互动性相关联的vr环境
CN107735152A (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
CN107683166A (zh) 用于限制头戴式显示器上的视觉活动的过滤和父母控制方法
US11278810B1 (en) Menu placement dictated by user ability and modes of feedback
WO2017112133A1 (en) Game controller with lights visible inside and outside the game controller
US20120278904A1 (en) Content distribution regulation by viewing user
TW201903565A (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
KR101962578B1 (ko) Vr을 이용한 피트니스 운동 서비스 제공 시스템
CN109314800B (zh) 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和系统
CN110891659A (zh) 对注视点渲染系统中的粒子和模拟模型的优化的延迟照明和中心凹调适
JP6566209B2 (ja) プログラム及びアイウエア

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817524

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16817524

Country of ref document: EP

Kind code of ref document: A1