WO2025257918A1 - 情報処理装置、ゲーム動画表示方法およびプログラム - Google Patents

情報処理装置、ゲーム動画表示方法およびプログラム

Info

Publication number
WO2025257918A1
WO2025257918A1 PCT/JP2024/021142 JP2024021142W WO2025257918A1 WO 2025257918 A1 WO2025257918 A1 WO 2025257918A1 JP 2024021142 W JP2024021142 W JP 2024021142W WO 2025257918 A1 WO2025257918 A1 WO 2025257918A1
Authority
WO
WIPO (PCT)
Prior art keywords
game
information processing
image analysis
unit
numbers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/021142
Other languages
English (en)
French (fr)
Inventor
宣之 中村
達紀 網本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to PCT/JP2024/021142 priority Critical patent/WO2025257918A1/ja
Publication of WO2025257918A1 publication Critical patent/WO2025257918A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Definitions

  • This disclosure relates to technology for displaying game videos.
  • a seek bar When playing a video, a seek bar is used to indicate the playback position of the video to the user.
  • the length of the bar represents the duration of the video
  • the position of the slider on the bar represents the playback position of the video.
  • Patent Document 1 discloses a seek bar that displays event marks representing events that occur in a game according to the time information included in the event information.
  • the purpose of this disclosure is to provide technology that presents scene-related information to the user when playing a video.
  • An information processing device includes a video display unit that displays game video in a first display area, and a state value display unit that displays information indicating the progression of state values in the game in a second display area different from the first display area.
  • Another aspect of the present disclosure is a game video display method for displaying game video on an information processing device, which includes the steps of displaying the game video in a first display area and displaying information indicating changes in a state value in the game in a second display area different from the first display area.
  • FIG. 1 is a diagram illustrating an information processing system according to an embodiment.
  • FIG. 1 is a diagram illustrating a hardware configuration of an information processing device.
  • FIG. 2 is a diagram illustrating an example of functional blocks of an information processing device.
  • FIG. 10 is a diagram illustrating an example of a game screen.
  • FIG. 10 is a diagram showing an example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is a diagram showing another example of numbers extracted from a game image.
  • FIG. 10 is
  • FIG. 10 is a diagram illustrating an example of extracted time-series data of numbers.
  • FIG. 10 is a diagram showing another example of a game screen.
  • FIG. 10 is a diagram showing examples of letters and numbers extracted from a game image.
  • FIG. 10 is a diagram showing an example of a content playback screen.
  • the information processing device executes a game program based on user operations, outputs game video from an output device, and performs image analysis of the game video to extract state values in the game and identify the transitions of the state values.
  • State values are values that indicate the state of a scene in the game, the state of a game object, etc.
  • the information processing device of the embodiment extracts numbers representing the number of combos achieved in a battle scene and the player character's HP (hit points) from the game video and saves them as metadata.
  • the information processing device also displays information indicating the transitions of the state values based on the metadata, allowing the user to recognize scenes included in the game video by looking at the information indicating the transitions of the state values.
  • FIG. 1 shows an information processing system 1 according to an embodiment of the present disclosure.
  • the information processing system 1 of the embodiment is a system in which a user watches game videos, and includes an information processing device 10 operated by the user and a server device 5.
  • An access point (hereinafter referred to as "AP") 8 functions as a wireless access point and a router, and the information processing device 10 connects to the AP 8 wirelessly or via a wired connection to communicate with the server device 5 on the network 3.
  • FIG. 1 shows one user and one information processing device 10, in the information processing system 1, multiple information processing devices 10 operated by multiple users are connected to the server device 5 via the network 3.
  • the information processing device 10 is connected wirelessly or via a wire to an input device 6 operated by a user, and the input device 6 outputs information operated by the user to the information processing device 10.
  • the information processing device 10 receives operation information from the input device 6, it reflects the information in the processing of the system software and game software, and outputs the processing results from the output device 4.
  • the information processing device 10 is a game device (game console) that executes games
  • the input device 6 is a device such as a game controller that supplies user operation information to the information processing device 10.
  • the input device 6 may also be an input interface such as a keyboard or mouse.
  • the auxiliary storage device 2 is a large-capacity storage device such as an HDD (hard disk drive) or SSD (solid state drive), and may be an internal storage device, or an external storage device connected to the information processing device 10 via a USB (universal serial bus) or the like.
  • the output device 4 may be a television having a display for outputting images and speakers for outputting sound.
  • the output device 4 may be connected to the information processing device 10 via a wired cable, or may be connected wirelessly.
  • the server device 5 provides network services to users of the information processing system 1.
  • the server device 5 manages network accounts (user accounts) that identify each user, and each user signs in to the network service provided by the server device 5 using their network account.
  • network accounts user accounts
  • users can register game save data and trophies, which are virtual rewards acquired during game play, on the server device 5.
  • users can synchronize save data and trophies even if they use an information processing device other than the information processing device 10.
  • FIG. 2 shows the hardware configuration of the information processing device 10.
  • the information processing device 10 is composed of a main power button 20, a power ON LED 21, a standby LED 22, a system controller 24, a clock 26, a device controller 30, a media drive 32, a USB module 34, a flash memory 36, a wireless communication module 38, a wired communication module 40, a subsystem 50, and a main system 60.
  • the main system 60 comprises a main CPU (Central Processing Unit), memory and memory controller as main storage devices, a GPU (Graphics Processing Unit), etc.
  • the GPU is primarily used for processing game programs.
  • the main CPU has the function of starting up the system software and executing game programs installed on the auxiliary storage device 2 in the environment provided by the system software.
  • the subsystem 50 comprises a sub-CPU, memory and memory controller as main storage devices, etc., but does not comprise a GPU.
  • the sub-CPU While the main CPU has the function of executing game programs installed on the auxiliary storage device 2, the sub-CPU does not have such a function. However, the sub-CPU does have the function of accessing the auxiliary storage device 2 and the function of sending and receiving data with the server device 5.
  • the sub-CPU is configured with only these limited processing functions, and therefore can operate with less power consumption than the main CPU. These functions of the sub-CPU are executed when the main CPU is in standby mode.
  • the main power button 20 is an input unit that receives operational input from the user. It is located on the front of the housing of the information processing device 10 and is operated to turn on or off the power supply to the main system 60 of the information processing device 10.
  • the power ON LED 21 lights up when the main power button 20 is turned on, and the standby LED 22 lights up when the main power button 20 is turned off.
  • the system controller 24 detects when the main power button 20 is pressed by the user.
  • the clock 26 is a real-time clock that generates current date and time information and supplies it to the system controller 24, subsystem 50, and main system 60.
  • the device controller 30 is configured as an LSI (Large-Scale Integrated Circuit) that, like a southbridge, transfers information between devices. As shown in the figure, devices such as the system controller 24, media drive 32, USB module 34, flash memory 36, wireless communication module 38, wired communication module 40, subsystem 50, and main system 60 are connected to the device controller 30.
  • the device controller 30 absorbs differences in the electrical characteristics and data transfer speeds of each device and controls the timing of data transfer.
  • the media drive 32 is a drive device that operates by loading a ROM medium 44 that stores application software such as games and license information, and reads programs, data, and the like from the ROM medium 44.
  • the ROM medium 44 is a read-only recording medium such as an optical disc, magneto-optical disc, or Blu-ray disc.
  • the USB module 34 is a module that connects to external devices via a USB cable.
  • the USB module 34 may also be connected to the auxiliary storage device 2 and camera 7 via USB cables.
  • the flash memory 36 is an auxiliary storage device that constitutes internal storage.
  • the wireless communication module 38 communicates wirelessly with the input device 6 using a communication protocol such as the Bluetooth (registered trademark) protocol or the IEEE802.11 protocol.
  • the wired communication module 40 communicates wired with external devices and connects to the network 3 via the AP 8.
  • the information processing device 10 executes a game program based on user operations, outputs game video and game sound to the output device 4, and has the function of temporarily recording the game video and game sound in buffer memory.
  • the information processing device 10 performs image analysis of the game video temporarily recorded in the buffer memory to extract state values in the game and identify the transition of the state values in the game video.
  • FIG. 3 shows an example of functional blocks of the information processing device 10.
  • the information processing device 10 of the embodiment includes a processing unit 100 and a communication unit 102.
  • the processing unit 100 includes a game execution unit 110, a game image generation unit 112, a recording control unit 114, a recording unit 116, a content generation unit 118, an image analysis unit 120, an output processing unit 122, and a playback processing unit 130.
  • the playback processing unit 130 includes a video display unit 132, a seek bar display unit 134, and a state value display unit 136.
  • the storage device 140 includes a metadata storage unit 142 that stores metadata obtained by image analysis of game videos, and a content storage unit 144 that stores user-generated content generated by the user.
  • the storage device 140 may be the auxiliary storage device 2.
  • the functions of the components in the information processing device 10 may be implemented in circuitry or processing circuitry, including general-purpose processors, application-specific processors, integrated circuits, ASICs (Application Specific Integrated Circuits), CPUs (Central Processing Units), conventional circuits, and/or combinations thereof, configured or programmed to implement the functions described herein.
  • a processor is considered to be a circuitry or processing circuitry that includes transistors and other circuits.
  • a processor may also be a programmed processor that executes a program stored in memory.
  • a circuit, unit, or means is hardware that is programmed to realize or executes the described functions.
  • the hardware may be any hardware disclosed in this specification or any hardware known to be programmed to realize or execute the described functions.
  • the hardware is a processor, which is considered to be a type of circuitry
  • the circuitry, means, or unit may be a combination of hardware and software used to configure the hardware and/or processor.
  • the communication unit 102 combines the functions of the wireless communication module 38 and the wired communication module 40. While the user is playing a game, the communication unit 102 receives information (game operation information) about the user's operation of the operation members of the input device 6 and provides this information to the game execution unit 110.
  • information game operation information
  • the game execution unit 110 executes game software based on game operation information.
  • the game software includes at least a game program, image data, and sound data. While the user is playing the game, the game execution unit 110 performs calculations to move the player character within the virtual space based on the user's operation information.
  • the game image generation unit 112 includes a GPU (Graphics Processing Unit), and receives the results of calculations in the virtual space, generating game images from a viewpoint position (virtual camera) within the virtual space. The game image generation unit 112 also generates game sounds from the viewpoint position within the virtual space.
  • the output processing unit 122 outputs the game images and game sounds generated by the game image generation unit 112 from the output device 4.
  • Figure 4 shows an example of a game screen displayed on the output device 4.
  • the user operates the input device 6 while viewing the game images and sounds output from the output device 4 to progress through the game.
  • the information processing device 10 of the embodiment has a function for background recording of game images and game sounds generated by the game image generation unit 112, and the recording control unit 114 automatically records the game images and game sounds in the recording unit 116.
  • the game images and game sounds may be simply referred to as "game images.”
  • the recording unit 116 is a buffer for temporarily storing game images and may be provided in a storage area of the auxiliary storage device 2.
  • the recording unit 116 may be a ring buffer, which may be configured by setting a start address and an end address in a storage area of the auxiliary storage device 2.
  • the start address and end address of the ring buffer area may be set before shipping the information processing device 10, or may be freely set by the user.
  • the recording control unit 114 temporarily records the game images in the recording unit 116 together with time information (timestamp).
  • the recording control unit 114 records game images generated based on user operations in real time, starting from a start address in a predetermined address order. Once it has recorded up to the end address, it returns to the start address and overwrites the images, repeating this process.
  • the capacity of the recording unit 116 is set so that it can record a maximum of 60 minutes (1 hour) of game images, and therefore the recording unit 116 automatically records game images played by the user over the last 60 minutes.
  • a user can extract at least a portion of game video recorded in the recording unit 116 to generate user-generated content and save it in the storage device 140.
  • a content generation screen is displayed, and the user can select the time period for saving the most recent gameplay from multiple options (e.g., the last 30 seconds, the last minute, the last 5 minutes, etc.).
  • the content generation unit 118 extracts game video for the most recent period selected by the user from the recording unit 116 and saves the extracted game video as user-generated content in the content storage unit 144.
  • the user may also specify the start point of the content in real time during gameplay, and then specify the end point of the content in real time.
  • the content generation unit 118 extracts game video from the recording unit 116 from the start point to the end point specified by the user, and saves the extracted game video as user-generated content in the content storage unit 144. In this way, the user can save their own gameplay video as content in the content storage unit 144.
  • Image analysis unit 120 has AI (artificial intelligence) with image analysis capabilities, and performs image analysis of user-generated content using a trained model.
  • image analysis unit 120 has the function of extracting game state values from user-generated content and generating metadata for the user-generated content.
  • image analysis unit 120 may perform image analysis of content when a user saves the content in content storage unit 144.
  • the game state value may be a value indicating the state of a scene in the game, or a value indicating the state of a game object.
  • image analysis unit 120 may have an optical character recognition (OCR) function, and may recognize text contained in game video and convert it into character data.
  • OCR optical character recognition
  • the image analysis unit 120 uses a character recognition function to extract the numbers included in the game screen shown in Fig. 4.
  • 5 shows an example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 sets a coordinate system for the game image with the horizontal axis as the X axis and the vertical axis as the Y axis, and identifies the coordinates of the recognized numbers.
  • the image analysis unit 120 extracts the number "150" at position ( x1 , y1 ) and the number "13" at position ( x2 , y2 ) at time ta .
  • the image analysis unit 120 derives the center of gravity of the numbers as the coordinates of the numbers.
  • Figure 6 shows another example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 extracts the number "150" at the position ( x1 , y1 ) and the number "14" at the position ( x2 , y2 ) at time tb .
  • Fig. 7 shows another example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 extracts the number "150" at the position ( x1 , y1 ) and the number "15" at the position ( x2 , y2 ) at time tc .
  • Figure 8 shows another example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 extracts the number "150" at the position ( x1 , y1 ) and the number "36" at the position ( x2 , y2 ) at time td .
  • Fig. 9 shows another example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 extracts the number "120" at position ( x1 , y1 ) at time te .
  • Fig. 10 shows another example of numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 extracts the number "90" at position ( x1 , y1 ) at time tf .
  • Figure 11 shows an example of time-series data of numbers extracted by the image analysis unit 120.
  • the image analysis unit 120 extracts game state values from the game video and identifies the transition of the state values.
  • the image analysis unit 120 performs character recognition processing, extracts numbers included in the game video, identifies the transition of the numbers, and records this as metadata for the game video in the metadata storage unit 142.
  • the image analysis unit 120 preferably performs character recognition processing at a predetermined cycle, and may perform character recognition processing on all frame images of the game video.
  • the image analysis unit 120 determines whether the numbers extracted in time series indicate the status value of the same object (e.g., a parameter) based on the position at which the numbers are displayed.
  • numbers are extracted from the game image at positions ( x1 , y1 ) and ( x2 , y2 ).
  • the image analysis unit 120 may determine that numbers displayed at the same position in the game image indicate the status value of the same object. Therefore, the image analysis unit 120 may determine that the number displayed at position ( x1 , y1 ) is the status value of one object, and that the number displayed at position ( x2 , y2 ) is the status value of another object.
  • the image analysis unit 120 may determine whether the numbers extracted in chronological order indicate the status value of the same object based on the font of the numbers. In game images, the same font is often used for status values indicating a single object, so the image analysis unit 120 may determine that status values using the same font indicate the status value of a single object.
  • the image analysis unit 120 may also determine whether the numbers extracted in chronological order indicate the status value of the same object, based on the color of the numbers. In game images, the same color is often used for status values indicating a single object, so the image analysis unit 120 may determine that status values using the same color indicate the status value of a single object.
  • the image analysis unit 120 may determine that the numbers extracted in time series indicate the state value of one object based on at least one of the font, color, size, and display position of the numbers, and identify the transition of the numbers of one object. In an embodiment, the image analysis unit 120 determines that the number displayed at the position ( x1 , y1 ) is the state value of one object, and that the number displayed at the position ( x2 , y2 ) is the state value of another object, based on the time series data shown in FIG.
  • the image analysis unit 120 may have a trained model that has learned the progression of HP in many past game videos, and may input a time series of numbers displayed at the position (x 1 , y 1 ) into the trained model to identify that the numbers represent HP.
  • the image analysis unit 120 also analyzes the time series of numbers displayed at the position (x 2 , y 2 ) to identify the object represented by these numbers.
  • the image analysis unit 120 analyzes the time series of numbers displayed at the position (x 2 , y 2 ) to identify the characteristics of these numbers, for example, as follows: ⁇ There may be cases where no number is displayed at the (x 2 , y 2 ) position. ⁇ The numbers increase continuously. In other words, the numbers increase by one. The numbers never decrease. From the above characteristics, image analysis unit 120 may identify that the number displayed at position (x 2 , y 2 ) is a combo number.
  • Image analysis unit 120 records information indicating that the number is a combo number, along with the number displayed at position (x 2 , y 2 ) and time information, as metadata of the user-generated content in metadata storage unit 142.
  • the time information may be a timestamp indicating the time, or may be the elapsed time from the start time of the user-generated content.
  • the image analysis unit 120 may have a trained model that has learned the progress of combo counts in many past game videos, and may input a time series of numbers displayed at the position (x 2 , y 2 ) into the trained model to determine that the numbers represent the combo count.
  • FIG. 12 shows another example of a game screen displayed on the output device 4. Letters and numbers are displayed in the upper left corner of the game screen shown in FIG. 12.
  • the image analysis unit 120 uses its character recognition function to extract the letters and numbers contained in the game screen.
  • FIG. 13 shows examples of letters and numbers extracted from a game image by the image analysis unit 120.
  • the image analysis unit 120 sets a coordinate system for the game image with the horizontal axis as the X axis and the vertical axis as the Y axis, and identifies the coordinates of the recognized letters and numbers.
  • the image analysis unit 120 extracts the number "150" at position ( x1 , y1 ), the number "13" at position ( x2 , y2 ), the letters “HP” at position ( x1 , y3 ), and the letters "combo” at position ( x2 , y4 ).
  • the image analysis unit 120 derives the center of gravity of the letters or numbers as the coordinates of the letters or numbers.
  • Image analysis unit 120 may identify the object indicated by the number from the relative positions of the letters and numbers.
  • "HP” is displayed near the number displayed at position ( x1 , y1 )
  • "Combo” is displayed near the number displayed at position ( x2 , y2 ).
  • image analysis unit 120 may determine that the number displayed at position ( x1 , y1 ) represents "HP" and the number displayed at position ( x2 , y2 ) represents the "Combo number.”
  • Image analysis unit 120 records information indicating that the number displayed at position ( x1 , y1 ) is HP, along with time information, as metadata for the user-generated content in metadata storage unit 142, and records information indicating that the number displayed at position ( x2 , y2 ) is a Combo number, along with time information, as metadata for the user-generated content in metadata storage unit 142.
  • user-generated content is recorded in content storage unit 144, and metadata of the user-generated content is recorded in metadata storage unit 142.
  • the playback processing unit 130 performs playback processing of the saved user-generated content. After finishing game play, the user can play back the saved user-generated content and review their game play.
  • the playback processing unit 130 displays a seek bar on the content playback screen to support the user in viewing the content.
  • Figure 14 shows an example of a content playback screen.
  • the video display unit 132 displays user-generated content (game video) in the first display area 150.
  • the seek bar display unit 134 displays a seek bar 154 that represents the overall time length of the user-generated content as the length of the bar and the playback position of the user-generated content as the slider position on the bar.
  • the seek bar display unit 134 displays the seek bar 154 superimposed on the user-generated content, but it may also be displayed outside the first display area 150.
  • the state value display unit 136 displays information showing the progression of state values in the game in a second display area 152, which is different from the first display area 150.
  • the image analysis unit 120 extracts "HP" and "combo count” as state values from the user-generated content, and the state value display unit 136 displays information showing the progression of state values in the second display area 152 based on the time information for each state value and its state value (number).
  • the state value display unit 136 displays the information showing the progression of state values in association with the bars in the seek bar 154; specifically, it plots the state values so that the time indicated by the time information for the state values matches the time in the content indicated by the position of the bar, and displays the information showing the progression of the state values.
  • the status value display unit 136 displays information indicating the progression of HP, as well as information identifying the target as HP.
  • the information indicating the progression of HP shows a relative height, not a specific numerical value, but a scale may be set on the vertical axis in the HP display area 152a to show specific HP numerical values.
  • the state value display unit 136 displays, in the combo number display area 152b, information indicating the progress of the combo number, as well as information identifying the target as a combo number.
  • the information indicating the progress of the combo number shows relative height, not specific numerical values, but a scale may be set on the vertical axis in the combo number display area 152b to show specific numerical values for the combo number.
  • the image analysis unit 120 performed character recognition processing on the game video, but it may also have an object detection function and detect objects in game images. For example, the image analysis unit 120 identifies the number of enemy characters included in the game video and records the number of enemy characters together with time information in the metadata storage unit 142 as metadata for the game video.
  • the state value display unit 136 may display information indicating the change in the number of enemy characters in the second display area 152, in association with a bar in the seek bar 154.
  • the image analysis unit 120 may identify the player character and record the identified player character together with time information in the metadata storage unit 142 as metadata for the game video.
  • the image analysis unit 120 may also have an action recognition function and detect the actions of the player character in the game video.
  • the image analysis unit 120 may use a recurrent neural network (RNN).
  • RNN recurrent neural network
  • the image analysis unit 120 detects the actions of the player character and records the player character's actions together with time information in the metadata storage unit 142 as metadata for the game video.
  • the image analysis unit 120 may identify the player character's actions such as "punch,” “kick,” “guard,” “jump,” and “run,” and record these as metadata in the metadata storage unit 142.
  • the action modes such as “punch,” “kick,” “guard,” “jump,” and “run” are state values that represent the actions of the game character
  • the state value display unit 136 may display information indicating the progression of the player character's action mode in the second display area 152, associated with a bar in the seek bar 154.
  • the image analysis unit 120 may use its behavior recognition function to identify whether an image is a battle scene or a non-battle scene, and record this as metadata for the game video in the metadata storage unit 142.
  • the image analysis unit 120 may have a VLM (Vision and Language Model) and generate text that serves as metadata from game images. Instead of or in addition to the behavior recognition function described above, the image analysis unit 120 may use the VLM to convert the actions of the player character in the game video into text, and record the player character's actions together with time information in the metadata storage unit 142 as metadata for the game video.
  • VLM Vision and Language Model
  • the image analysis unit 120 performs image analysis of the game video using AI technology that realizes various recognition functions, generates metadata for the game video, and records it in the metadata storage unit 142.
  • the state value display unit 136 displays the progression of state values in the game in a display area separate from the game video, allowing the user to imagine the situation in the game video and easily view scenes of interest.
  • HP and combo number are shown as objects expressed numerically, but various other objects can be considered, such as the player character's level, the distance to the destination, damage inflicted on an enemy, or the progress of scores in a sports game.
  • the information processing device 10 played back content generated by the user himself, but it may also play back content generated by another user.
  • the information processing device 10 may obtain the game video and its metadata generated by the other user from an external server such as the management server 5, and the playback processing unit 130 may display the game video and information indicating the progress of the state values, along with the seek bar 154, on a content playback screen such as that shown in FIG. 14.
  • the game server may have the functionality of the image analysis unit 120 in the embodiment.
  • the information processing device 10 may not have the image analysis unit 120.
  • the information processing device 10 may acquire game videos and their metadata, which are user-generated content, from the game server, and the playback processing unit 130 may display the game videos and information indicating the progress of state values on the content playback screen, along with the seek bar 154. Note that even if the information processing device 10 is not a cloud gaming system, it may send user-generated content to an external server having the image analysis unit 120, and the external server may perform image analysis of the user-generated content to extract state values in the game.
  • the image analysis unit 120 performed image analysis of the user-generated content at the time the content was generated, but it may also perform image analysis of the game images generated by the game image generation unit 112 in real time.
  • An information processing device comprising a circuit configured to: The circuitry comprises: Displaying a game video in the first display area; displaying information indicating a transition of a state value in the game in a second display area different from the first display area; Information processing device.
  • the circuit comprises: The length of the bar represents the total time of the game video, and a seek bar is displayed, which represents the playback position of the game video with the slider position on the bar. Display information showing the transition of the state value in association with the bar.
  • the information processing device according to item 1.
  • the circuit comprises: By performing image analysis on the game video, the state values in the game are extracted from the game video, and the transition of the state values is identified. Item 1.
  • the circuit comprises: Extract numbers contained in game videos and identify the trends of the numbers. Display information showing the progress of numbers, Item 4.
  • the circuit comprises: Display information that identifies the object that the number indicates along with information showing the trend of the number. Item 5.
  • the circuit comprises: Identifying a transition of a number of the target based on at least one of font, color, size, or display position of the number; Item 5.
  • a method for displaying a game video on an information processing device comprising: Displaying a game video in the first display area; displaying information indicating a transition of a state value in the game in a second display area different from the first display area; How to display game videos.
  • This disclosure can be used in the technical field of displaying game videos.
  • Information processing system 10: Information processing device, 100: Processing unit, 102: Communication unit, 110: Game execution unit, 112: Game image generation unit, 114: Recording control unit, 116: Recording unit, 118: Content generation unit, 120: Image analysis unit, 122: Output processing unit, 130: Playback processing unit, 132: Video display unit, 134: Seek bar display unit, 136: Status value display unit, 140: Storage device, 142: Metadata storage unit, 144: Content storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

動画表示部１３２は、ゲーム動画を第１表示領域に表示する。状態値表示部１３６は、ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する。シークバー表示部１３４は、ゲーム動画全体の時間長をバーの長さで表現し、ゲーム動画の再生位置をバー上のスライダ位置で表現するシークバーを表示する。状態値表示部１３６は、は、状態値の推移を示す情報を、バーに関連付けて表示する。

Description

情報処理装置、ゲーム動画表示方法およびプログラム
　本開示は、ゲーム動画を表示する技術に関する。
　動画を再生する際、動画の再生位置をユーザに提示するためにシークバーが利用される。シークバーでは、棒状のバーの長さが動画の時間長を表現し、バー上のスライダの位置が、動画の再生位置を表現する。特許文献１は、ゲームにおいて発生したイベントを表現するイベントマークを、イベント情報に含まれる時刻情報にしたがって表示するシークバーを開示する。
国際公開第２０２０／０７５５９３号
　動画再生時、ユーザはシークバーにおけるスライダの位置を動かすことで、動画の再生位置を変更できるが、興味のあるシーンがどこに存在しているかは分からない。ユーザが効率的に動画を視聴できるようにするために、動画内のシーンに関する情報をユーザに提示できることが好ましい。
　そこで本開示は、動画再生時に、シーンに関する情報をユーザに提示する技術を提供することを目的とする。
　本開示のある態様の情報処理装置は、ゲーム動画を第１表示領域に表示する動画表示部と、ゲームにおける状態値の推移を示す情報を第１表示領域とは異なる第２表示領域に表示する状態値表示部とを備える。
　本開示の別の態様のゲーム動画表示方法は、情報処理装置においてゲーム動画を表示する方法であって、ゲーム動画を第１表示領域に表示するステップと、ゲームにおける状態値の推移を示す情報を第１表示領域とは異なる第２表示領域に表示するステップとを有する。
　なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
実施例にかかる情報処理システムを示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能ブロックの一例を示す図である。 ゲーム画面の例を示す図である。 ゲーム画像から抽出された数字の例を示す図である。 ゲーム画像から抽出された数字の別の例を示す図である。 ゲーム画像から抽出された数字の別の例を示す図である。 ゲーム画像から抽出された数字の別の例を示す図である。 ゲーム画像から抽出された数字の別の例を示す図である。 ゲーム画像から抽出された数字の別の例を示す図である。 抽出された数字の時系列データの例を示す図である。 ゲーム画面の別の例を示す図である。 ゲーム画像から抽出された文字および数字の例を示す図である。 コンテンツ再生画面の例を示す図である。
　実施例の情報処理システムでは、情報処理装置がユーザの操作にもとづいてゲームプログラムを実行し、ゲーム動画を出力装置から出力するとともに、ゲーム動画を画像解析してゲームにおける状態値を抽出し、状態値の推移を特定する。状態値は、ゲームにおけるシーンの状態や、ゲームオブジェクトの状態などを示す値である。実施例の情報処理装置は、戦闘シーンで達成したコンボ数や、プレイヤキャラクタのＨＰ（ヒットポイント）を表現する数字をゲーム動画から抽出して、メタデータとして保存する。情報処理装置はゲーム動画を再生する際、メタデータにもとづいて状態値の推移を示す情報をあわせて表示することで、ユーザは、状態値の推移を示す情報を見て、ゲーム動画に含まれるシーンを認識することができる。
　図１は、本開示の実施例にかかる情報処理システム１を示す。実施例の情報処理システム１は、ユーザがゲーム動画を視聴するシステムであり、ユーザが操作する情報処理装置１０とサーバ装置５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ装置５と通信可能に接続する。図１には、１人のユーザおよび１台の情報処理装置１０が示されているが、情報処理システム１においては、複数のユーザが操作する複数の情報処理装置１０が、サーバ装置５とネットワーク３を介して接続している。
　情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザが操作した情報を情報処理装置１０に出力する。情報処理装置１０は入力装置６から操作情報を受け付けるとシステムソフトウェアやゲームソフトウェアの処理に反映し、出力装置４から処理結果を出力する。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置（ゲームコンソール）であり、入力装置６はゲームコントローラなどのユーザの操作情報を情報処理装置１０に供給する機器である。なお入力装置６は、キーボードやマウスなどの入力インタフェースであってもよい。
　補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）などの大容量記録装置であり、内蔵型記録装置であってよく、またＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記録装置であってもよい。出力装置４は画像を出力するディスプレイおよび音を出力するスピーカを有するテレビであってよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、また無線接続されてもよい。
　撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部または下部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７はステレオカメラであってもよい。
　サーバ装置５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ装置５は、各ユーザを識別するネットワークアカウント（ユーザアカウント）を管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ装置５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ装置５に、ゲームのセーブデータや、ゲームプレイ中に獲得した仮想的な褒賞であるトロフィを登録できる。サーバ装置５にセーブデータやトロフィが登録されることで、ユーザが情報処理装置１０とは別の情報処理装置を使用しても、セーブデータやトロフィを同期できるようになる。
　図２は、情報処理装置１０のハードウェア構成を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。
　メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。メインＣＰＵはシステムソフトウェアを起動し、システムソフトウェアが提供する環境下において、補助記憶装置２にインストールされたゲームプログラムを実行する機能をもつ。サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。
　メインＣＰＵは補助記憶装置２にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能や、サーバ装置５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。
　メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。
　クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。
　デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
　メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
　ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、入力装置６と無線通信する。有線通信モジュール４０は、外部機器と有線通信し、ＡＰ８を介してネットワーク３に接続する。
　実施例の情報処理装置１０は、ユーザの操作にもとづいてゲームプログラムを実行し、ゲーム動画およびゲーム音を出力装置４に出力するとともに、ゲーム動画およびゲーム音を、バッファメモリに一時記録する機能を備える。情報処理装置１０は、バッファメモリに一時記録したゲーム動画を画像解析してゲームにおける状態値を抽出し、ゲーム動画における状態値の推移を特定する。
　図３は、情報処理装置１０の機能ブロックの一例を示す。実施例の情報処理装置１０は、処理部１００および通信部１０２を備え、処理部１００は、ゲーム実行部１１０、ゲーム画像生成部１１２、記録制御部１１４、記録部１１６、コンテンツ生成部１１８、画像解析部１２０、出力処理部１２２および再生処理部１３０を備える。再生処理部１３０は、動画表示部１３２、シークバー表示部１３４および状態値表示部１３６を有する。記憶装置１４０は、ゲーム動画を画像解析して得られたメタデータを記憶するメタデータ記憶部１４２と、ユーザが生成したユーザ生成コンテンツを記憶するコンテンツ記憶部１４４とを有する。記憶装置１４０は、補助記憶装置２であってよい。
　情報処理装置１０における構成要素の機能は、本明細書にて記載された機能を実現するように構成された又はプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、および／又はそれらの組合せを含む、回路（circuitry）又は処理回路（processing circuitry）において実現されてよい。プロセッサは、トランジスタやその他の回路を含む回路（circuitry）又は処理回路（processing circuitry）とみなされる。プロセッサは、メモリに格納されたプログラムを実行する、プログラムされたプロセッサ（programmed processor）であってもよい。
　本明細書において、回路（circuitry）、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
　当該ハードウェアが回路（circuitry）のタイプであるとみなされるプロセッサである場合、当該回路（circuitry）、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアとの組合せであってよい。
　通信部１０２は、無線通信モジュール３８および有線通信モジュール４０の機能を併せ持つ。ユーザのゲームプレイ中、通信部１０２は、ユーザが入力装置６の操作部材を操作した情報（ゲーム操作情報）を受信して、ゲーム実行部１１０に提供する。
　ゲーム実行部１１０は、ゲーム操作情報にもとづいてゲームソフトウェアを実行する。ゲームソフトウェアは、少なくともゲームプログラム、画像データおよび音データを含む。ユーザによるゲームプレイ中、ゲーム実行部１１０は、ユーザの操作情報をもとに、仮想空間内でプレイヤキャラクタを動かす演算処理を行う。ゲーム画像生成部１１２はＧＰＵ（Graphics Processing Unit）を含み、仮想空間における演算処理結果を受けて、仮想空間内の視点位置（仮想カメラ）からのゲーム画像を生成する。またゲーム画像生成部１１２は、仮想空間内の視点位置におけるゲーム音を生成する。出力処理部１２２は、ゲーム画像生成部１１２が生成したゲーム画像およびゲーム音を、出力装置４から出力させる。
　図４は、出力装置４に表示されるゲーム画面の例を示す。ユーザは、出力装置４から出力されるゲーム画像およびゲーム音を視聴しながら入力装置６を操作して、ゲームを進行させる。
　実施例の情報処理装置１０は、ゲーム画像生成部１１２が生成したゲーム画像およびゲーム音をバックグランド記録する機能を有し、記録制御部１１４は、ゲーム画像およびゲーム音を記録部１１６に自動で記録する。以下、ゲーム画像およびゲーム音を、説明の便宜上、単に「ゲーム画像」と呼ぶこともある。
　記録部１１６は、ゲーム画像を一時的に保持するためのバッファであり、補助記憶装置２の記憶領域に設けられてよい。記録部１１６はリングバッファであってよく、リングバッファは、補助記憶装置２の記憶領域に開始アドレスおよび終了アドレスを設定することで構成されてよい。リングバッファ領域の開始アドレスおよび終了アドレスは、情報処理装置１０の出荷前に設定されてよいが、ユーザが自由に設定できてもよい。記録制御部１１４は、ゲーム画像を時刻情報（タイムスタンプ）とともに記録部１１６に一時記録する。
　記録制御部１１４は、ユーザの操作にもとづいて生成されたゲーム画像を、予め定められたアドレス順に開始アドレスからリアルタイムで記録していき、終了アドレスまで記録すると、開始アドレスに戻って上書き記録し、それを繰り返す。たとえば記録部１１６の容量は、最大で６０分間（１時間）分のゲーム画像を記録できるように設定され、したがって記録部１１６には、ユーザが直近の６０分間にプレイしたゲーム画像が自動的に記録されることになる。
　実施例において、ユーザはゲームプレイ中に、記録部１１６に記録されたゲーム動画の少なくとも一部を切り出してユーザ生成コンテンツを生成し、記憶装置１４０に保存できる。ゲームプレイ中、ユーザが入力装置６の所定のボタンを操作すると、コンテンツの生成画面が表示されて、ユーザは、直前のゲームプレイを保存する時間を複数の選択肢（たとえば直近の３０秒、直近の１分、直近の５分など）の中から選択できる。コンテンツ生成部１１８は、記録部１１６から、ユーザが選択した直近の時間分のゲーム動画を切り出し、切り出したゲーム動画をユーザ生成コンテンツとしてコンテンツ記憶部１４４に保存する。またユーザはゲームプレイ中に、コンテンツの開始点をリアルタイムで指定し、その後、コンテンツの終了点をリアルタイムで指定してよい。このときコンテンツ生成部１１８は、記録部１１６から、ユーザが指定した開始点から終了点までのゲーム動画を切り出し、切り出したゲーム動画をユーザ生成コンテンツとしてコンテンツ記憶部１４４に保存する。このようにしてユーザは、自身のプレイ動画を、コンテンツとしてコンテンツ記憶部１４４に保存できる。
　画像解析部１２０は、画像解析機能を有するＡＩ（人工知能）を有し、学習済みモデルを用いてユーザ生成コンテンツを画像解析する。実施例の画像解析部１２０は、ユーザ生成コンテンツからゲームにおける状態値を抽出して、ユーザ生成コンテンツのメタデータを生成する機能を有する。たとえば画像解析部１２０は、ユーザがコンテンツをコンテンツ記憶部１４４に保存したタイミングで、コンテンツの画像解析を行ってよい。ここでゲームにおける状態値とは、ゲームにおけるシーンの状態を示す値や、ゲームオブジェクトの状態を示す値などであってよい。たとえば画像解析部１２０は、光学文字認識（ＯＣＲ）機能を有して、ゲーム動画に含まれるテキストを認識して、文字データに変換してよい。
　図４に示すゲーム画面の左上には、数字が表示されている。画像解析部１２０は、文字認識機能により、図４に示すゲーム画面に含まれる数字を抽出する。
　図５は、画像解析部１２０によりゲーム画像から抽出された数字の例を示す。画像解析部１２０は、横軸をＸ軸、縦軸をＹ軸とする座標系をゲーム画像に設定し、認識した数字の座標を特定する。図５に示す例では画像解析部１２０が、時間ｔａのタイミングで、（ｘ１，ｙ１）の位置に数字「１５０」を、（ｘ２，ｙ２）の位置に数字「１３」を抽出している。この例で画像解析部１２０は、数字の重心位置を、数字の座標として導出している。
　図６は、画像解析部１２０によりゲーム画像から抽出された数字の別の例を示す。図６に示す例で画像解析部１２０は、時間ｔｂのタイミングで、（ｘ１，ｙ１）の位置に数字「１５０」を、（ｘ２，ｙ２）の位置に数字「１４」を抽出している。
　図７は、画像解析部１２０によりゲーム画像から抽出された数字の別の例を示す。図７に示す例で画像解析部１２０は、時間ｔｃのタイミングで、（ｘ１，ｙ１）の位置に数字「１５０」を、（ｘ２，ｙ２）の位置に数字「１５」を抽出している。
　図８は、画像解析部１２０によりゲーム画像から抽出された数字の別の例を示す。図８に示す例で画像解析部１２０は、時間ｔｄのタイミングで、（ｘ１，ｙ１）の位置に数字「１５０」を、（ｘ２，ｙ２）の位置に数字「３６」を抽出している。
　図９は、画像解析部１２０によりゲーム画像から抽出された数字の別の例を示す。図９に示す例で画像解析部１２０は、時間ｔｅのタイミングで、（ｘ１，ｙ１）の位置に数字「１２０」を抽出している。
　図１０は、画像解析部１２０によりゲーム画像から抽出された数字の別の例を示す。図１０に示す例で画像解析部１２０は、時間ｔｆのタイミングで、（ｘ１，ｙ１）の位置に数字「９０」を抽出している。
　図１１は、画像解析部１２０により抽出された数字の時系列データの例を示す。画像解析部１２０は、ゲーム動画からゲームにおける状態値を抽出して、状態値の推移を特定する。実施例で画像解析部１２０は、文字認識処理を行い、ゲーム動画に含まれる数字を抽出して数字の推移を特定し、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録する。画像解析部１２０は所定の周期で文字認識処理を行うことが好ましく、ゲーム動画の全てのフレーム画像に対して文字認識処理を行ってよい。
　画像解析部１２０は、数字が表示される位置にもとづいて、時系列で抽出した数字が同じ対象（たとえばパラメータ）の状態値を示すものであるか否かを判定する。この例では、ゲーム画像において、（ｘ１，ｙ１）の位置と（ｘ２，ｙ２）の位置で、数字が抽出されている。画像解析部１２０は、ゲーム画像内で同じ位置に表示される数字は、同じ対象の状態値を示すものであると判定してよい。したがって画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字は、１つの対象の状態値であると判定し、（ｘ２，ｙ２）の位置に表示される数字は、別の１つの対象の状態値であると判定してよい。
　なお画像解析部１２０は、数字のフォントにもとづいて、時系列で抽出した数字が同じ対象の状態値を示すものであるか否かを判定してよい。ゲーム画像において、１つの対象を示す状態値には、同じフォントが用いられることが多いため、画像解析部１２０は、同じフォントが用いられる状態値については、１つの対象の状態値を示すものであると判定してよい。
　また画像解析部１２０は、数字の色にもとづいて、時系列で抽出した数字が同じ対象の状態値を示すものであるか否かを判定してよい。ゲーム画像において、１つの対象を示す状態値には、同じ色が用いられることが多いため、画像解析部１２０は、同じ色が用いられる状態値については、１つの対象の状態値を示すものであると判定してよい。
　また画像解析部１２０は、数字の大きさにもとづいて、時系列で抽出した数字が同じ対象の状態値を示すものであるか否かを判定してよい。ゲーム画像において、１つの対象を示す状態値は、同じ大きさで表示されることが多いため、画像解析部１２０は、同じ大きさで表示される状態値については、１つの対象の状態値を示すものであると判定してよい。
　以上のように画像解析部１２０は、数字のフォント、色、大きさ、または表示位置の少なくとも１つにもとづいて、時系列で抽出した数字が１つの対象の状態値を示すものであることを判定し、１つの対象の数字の推移を特定してよい。実施例で画像解析部１２０は、図１１に示す時系列データにもとづいて、（ｘ１，ｙ１）の位置に表示される数字が１つの対象の状態値であることを判定し、（ｘ２，ｙ２）の位置に表示される数字は別の１つの対象の状態値であることを判定する。
　画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字の時系列を解析して、この数字によって表現されている対象を特定する。画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字の時系列を解析し、この数字の特徴を、たとえば以下のように特定する。
・基本的に変化しない。
・数字が減少する場合、連続的ではなく、段階的に減る。
・数字が増加する場合、連続的ではなく、段階的に増える。
・上限値が存在する。
　以上の特徴から、画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字が、ＨＰ（ヒットポイント）であることを特定してよい。画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字および時刻情報とともに、当該数字がＨＰであることを示す情報を、ユーザ生成コンテンツのメタデータとしてメタデータ記憶部１４２に記録する。ここで時刻情報は、時刻を示すタイムスタンプであってよいが、ユーザ生成コンテンツの開始時刻からの経過時間であってもよい。
　なお画像解析部１２０は、過去の多数のゲーム動画におけるＨＰの推移を学習した学習済みモデルを備え、学習済みモデルに（ｘ１，ｙ１）の位置に表示される数字の時系列を入力することで、当該数字がＨＰを表現していることを特定してもよい。
　また画像解析部１２０は、（ｘ２，ｙ２）の位置に表示される数字の時系列を解析して、この数字によって表現されている対象を特定する。画像解析部１２０は、（ｘ２，ｙ２）の位置に表示される数字の時系列を解析し、この数字の特徴を、たとえば以下のように特定する。
・（ｘ２，ｙ２）の位置に数字が表示されていないことがある。
・数字が連続的に増加する。つまり数字が１ずつ増える。
・数字が減少することがない。
　以上の特徴から、画像解析部１２０は、（ｘ２，ｙ２）の位置に表示される数字が、コンボ数であることを特定してよい。画像解析部１２０は、（ｘ２，ｙ２）の位置に表示される数字および時刻情報とともに、当該数字がコンボ数であることを示す情報を、ユーザ生成コンテンツのメタデータとしてメタデータ記憶部１４２に記録する。時刻情報は、時刻を示すタイムスタンプであってよいが、ユーザ生成コンテンツの開始時刻からの経過時間であってもよい。
　なお画像解析部１２０は、過去の多数のゲーム動画におけるコンボ数の推移を学習した学習済みモデルを備え、学習済みモデルに（ｘ２，ｙ２）の位置に表示される数字の時系列を入力することで、当該数字がコンボ数を表現していることを特定してもよい。
　図１２は、出力装置４に表示されるゲーム画面の別の例を示す。図１２に示すゲーム画面の左上には、文字と数字が表示されている。画像解析部１２０は、文字認識機能により、ゲーム画面に含まれる文字および数字を抽出する。
　図１３は、画像解析部１２０によりゲーム画像から抽出された文字および数字の例を示す。画像解析部１２０は、横軸をＸ軸、縦軸をＹ軸とする座標系をゲーム画像に設定し、認識した文字および数字の座標を特定する。図１３に示す例では、画像解析部１２０が、時間ｔａのタイミングで、（ｘ１，ｙ１）の位置に数字「１５０」を、（ｘ２，ｙ２）の位置に数字「１３」を、（ｘ１，ｙ３）の位置に文字「ＨＰ」を、（ｘ２，ｙ４）の位置に文字「コンボ」を抽出している。なお画像解析部１２０は、文字ないしは数字の重心位置を、文字ないしは数字の座標として導出している。
　画像解析部１２０は、文字および数字の位置関係から、数字が示す対象を特定してよい。この例では、（ｘ１，ｙ１）の位置に表示される数字の近傍に「ＨＰ」と表示され、（ｘ２，ｙ２）の位置に表示される数字の近傍に「コンボ」と表示されている。したがって画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字が「ＨＰ」を表現し、（ｘ２，ｙ２）の位置に表示される数字が「コンボ数」を表現していることを特定してよい。画像解析部１２０は、（ｘ１，ｙ１）の位置に表示される数字および時刻情報とともに、当該数字がＨＰであることを示す情報を、ユーザ生成コンテンツのメタデータとしてメタデータ記憶部１４２に記録し、（ｘ２，ｙ２）の位置に表示される数字および時刻情報とともに、当該数字がコンボ数であることを示す情報を、ユーザ生成コンテンツのメタデータとしてメタデータ記憶部１４２に記録する。以上のようにして、コンテンツ記憶部１４４には、ユーザ生成コンテンツが記録され、メタデータ記憶部１４２には、ユーザ生成コンテンツのメタデータが記録される。
＜ユーザ生成コンテンツの再生処理＞
　再生処理部１３０は、保存したユーザ生成コンテンツの再生処理を実施する。ゲームプレイの終了後、ユーザは、保存したユーザ生成コンテンツを再生して、自身のゲームプレイを振り返ることができる。再生処理部１３０は、コンテンツ再生画面においてシークバーを表示して、ユーザによるコンテンツ視聴をサポートする。
　図１４は、コンテンツ再生画面の例を示す。動画表示部１３２は、ユーザ生成コンテンツ（ゲーム動画）を第１表示領域１５０に表示する。シークバー表示部１３４は、ユーザ生成コンテンツ全体の時間長をバーの長さで表現し、ユーザ生成コンテンツの再生位置をバー上のスライダ位置で表現するシークバー１５４を表示する。この例でシークバー表示部１３４は、シークバー１５４をユーザ生成コンテンツに重畳表示しているが、第１表示領域１５０の外側に表示してもよい。
　状態値表示部１３６は、ゲームにおける状態値の推移を示す情報を、第１表示領域１５０とは異なる第２表示領域１５２に表示する。実施例において画像解析部１２０は、ユーザ生成コンテンツから状態値として「ＨＰ」と「コンボ数」を抽出しており、状態値表示部１３６は、各状態値の時刻情報と、その状態値（数字）にもとづいて第２表示領域１５２に状態値の推移を示す情報を表示する。状態値表示部１３６は、状態値の推移を示す情報を、シークバー１５４におけるバーに関連付けて表示し、具体的にはバーの位置で示されるコンテンツ内の時刻に、状態値の時刻情報で示される時刻を合わせるように状態値をプロットして、状態値の推移を示す情報を表示する。
　状態値表示部１３６は、ＨＰ表示領域１５２ａにおいて、ＨＰの推移を示す情報とともに、当該対象がＨＰであることを特定する情報を表示する。この例ではＨＰの推移を示す情報として、相対的な高さを示し、具体的な数値を示していないが、ＨＰ表示領域１５２ａにおける縦軸に目盛りを設定して、具体的なＨＰの数値を示してもよい。ユーザは、ＨＰ表示領域１５２ａにおけるＨＰの推移情報をみることで、ユーザ生成コンテンツにおいてどのタイミングでダメージを受けたかを容易に知ることができる。
　状態値表示部１３６は、コンボ数表示領域１５２ｂに、コンボ数の推移を示す情報とともに、当該対象がコンボ数であることを特定する情報を表示する。この例ではコンボ数の推移を示す情報として、相対的な高さを示し、具体的な数値を示していないが、コンボ数表示領域１５２ｂにおける縦軸に目盛りを設定して、具体的なコンボ数の数値を示してもよい。ユーザは、コンボ数表示領域１５２ｂにおけるコンボ数の推移情報をみることで、ユーザ生成コンテンツにおいてどのタイミングでコンボがうまくいったかを容易に知ることができる。
　上記の例で画像解析部１２０はゲーム動画に対して文字認識処理を実施したが、物体検出機能を有して、ゲーム画像における物体（オブジェクト）を検出してよい。たとえば画像解析部１２０はゲーム動画に含まれる敵キャラクタの人数を特定し、敵キャラクタの人数を時刻情報とともに、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録する。ユーザ生成コンテンツの再生時、状態値表示部１３６は、敵キャラクタの人数の推移を示す情報を、シークバー１５４におけるバーに関連付けて第２表示領域１５２に表示してよい。またゲームにおいて、ユーザが操作するプレイヤキャラクタが切り替わるような場合、画像解析部１２０は、プレイヤキャラクタを特定し、特定したプレイヤキャラクタを時刻情報とともに、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録してよい。
　また画像解析部１２０は行動認識機能を有して、ゲーム動画におけるプレイヤキャラクタの行動を検出してよい。このとき画像解析部１２０は、リカレントニューラルネットワーク（ＲＮＮ）を用いてよい。たとえば格闘ゲームにおいて、画像解析部１２０は、プレイヤキャラクタの行動を検出して、プレイヤキャラクタの行動を時刻情報とともに、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録する。画像解析部１２０は、プレイヤキャラクタの「パンチ」、「キック」、「ガード」、「ジャンプ」、「ラン」などの行動を特定し、メタデータとしてメタデータ記憶部１４２に記録してよい。この例において、「パンチ」、「キック」、「ガード」、「ジャンプ」、「ラン」などの行動態様は、ゲームキャラクタの行動を表現する状態値であり、ユーザ生成コンテンツの再生時、状態値表示部１３６は、プレイヤキャラクタの行動態様の推移を示す情報を、シークバー１５４におけるバーに関連付けて第２表示領域１５２に表示してよい。なお画像解析部１２０は行動認識機能により、戦闘シーンであるのか、または非戦闘シーンであるかを特定して、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録してもよい。
　画像解析部１２０は、ＶＬＭ（Vision and Language Model）を有して、ゲーム画像からメタデータとなるテキストを生成してもよい。上記した行動認識機能に代えて、または上記した行動認識機能と併用して、画像解析部１２０はＶＬＭを用いて、ゲーム動画におけるプレイヤキャラクタの行動をテキスト化し、プレイヤキャラクタの行動を時刻情報とともに、ゲーム動画のメタデータとしてメタデータ記憶部１４２に記録してよい。
　以上のように画像解析部１２０は、様々な認識機能を実現するＡＩ技術によりゲーム動画を画像解析して、ゲーム動画のメタデータを生成し、メタデータ記憶部１４２に記録する。再生処理部１３０がゲーム動画を再生する際、状態値表示部１３６が、ゲーム動画とは異なる表示領域に、ゲームにおける状態値の推移を表示することで、ユーザは、ゲーム動画における状況を想像することができ、興味のあるシーンを容易に視聴することが可能となる。
　以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。実施例では、数字により表現される対象として、ＨＰとコンボ数を示したが、たとえばプレイヤキャラクタのレベル値、目的地までの距離、敵に与えたダメージ、スポーツゲームにおける得点推移など、様々な対象が考えられる。
　実施例で情報処理装置１０は、ユーザ自身が生成したコンテンツを再生したが、別のユーザが生成したコンテンツを再生してもよい。この場合、情報処理装置１０は、管理サーバ５などの外部サーバから、別のユーザが生成したゲーム動画およびそのメタデータを取得し、再生処理部１３０が、図１４に示すようなコンテンツ再生画面に、ゲーム動画および状態値の推移を示す情報を、シークバー１５４とともに表示してよい。
　変形例で情報処理システム１は、ユーザの操作にもとづいてゲームプログラムを実行するクラウドゲームサーバ（図示せず）を備えてよい。この変形例において情報処理装置１０は、ゲームサーバに対してユーザが入力装置６を操作した情報（ゲーム操作情報）を送信する。ゲームサーバは、ゲーム操作情報にもとづいてゲーム画像およびゲーム音を生成し、ゲーム画像およびゲーム音を情報処理装置１０にストリーミングする。この変形例で情報処理装置１０はゲームプログラムの実行機能を有しなくてよく、ゲーム画像およびゲーム音を出力装置４から出力する端末装置であってよい。
　クラウドゲームシステムにおいて、ゲームサーバは、実施例における画像解析部１２０の機能を備えてよい。この場合、情報処理装置１０は、画像解析部１２０を有しなくてよい。情報処理装置１０は、ゲームサーバから、ユーザ生成コンテンツであるゲーム動画およびそのメタデータを取得し、再生処理部１３０が、コンテンツ再生画面に、ゲーム動画および状態値の推移を示す情報を、シークバー１５４とともに表示してよい。なおクラウドゲームシステムでなくても、情報処理装置１０は、画像解析部１２０を有する外部のサーバにユーザ生成コンテンツを送信し、外部のサーバがユーザ生成コンテンツを画像解析して、ゲームにおける状態値を抽出してもよい。
　実施例で画像解析部１２０は、コンテンツが生成されたタイミングでユーザ生成コンテンツを画像解析したが、ゲーム画像生成部１１２により生成されたゲーム画像をリアルタイムで画像解析してもよい。
　本開示は、以下の態様を含んでよい。
［項目１］
　情報処理装置であって、以下のように構成された回路（circuitry configured to）を備え、
　前記回路（circuitry）は、
　ゲーム動画を第１表示領域に表示し、
　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する、
　情報処理装置。
［項目２］
　前記回路は、
　ゲーム動画全体の時間長をバーの長さで表現し、ゲーム動画の再生位置をバー上のスライダ位置で表現するシークバーを表示し、
　状態値の推移を示す情報を、バーに関連付けて表示する、
　項目１に記載の情報処理装置。
［項目３］
　前記回路は、
　ゲーム動画を画像解析することで、ゲーム動画からゲームにおける状態値を抽出して、状態値の推移を特定する、
　項目１に記載の情報処理装置。
［項目４］
　前記回路は、
　ゲーム動画に含まれる数字を抽出して、数字の推移を特定し、
　数字の推移を示す情報を表示する、
　項目３に記載の情報処理装置。
［項目５］
　前記回路は、
　数字の推移を示す情報とともに、数字が示す対象を特定する情報を表示する、
　項目４に記載の情報処理装置。
［項目６］
　前記回路は、
　数字のフォント、色、大きさ、または表示位置の少なくとも１つにもとづいて、１つの対象の数字の推移を特定する、
　項目４に記載の情報処理装置。
［項目７］
　情報処理装置においてゲーム動画を表示する方法であって、
　ゲーム動画を第１表示領域に表示し、
　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する、
　ゲーム動画表示方法。
［項目８］
　コンピュータにおいて実行されるプログラムを記録した記録媒体であって、前記プログラムは前記コンピュータに、
　ゲーム動画を第１表示領域に表示する機能と、
　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する機能と、
　を実現させる。
　本開示は、ゲーム動画を表示する技術分野に利用できる。
１・・・情報処理システム、１０・・・情報処理装置、１００・・・処理部、１０２・・・通信部、１１０・・・ゲーム実行部、１１２・・・ゲーム画像生成部、１１４・・・記録制御部、１１６・・・記録部、１１８・・・コンテンツ生成部、１２０・・・画像解析部、１２２・・・出力処理部、１３０・・・再生処理部、１３２・・・動画表示部、１３４・・・シークバー表示部、１３６・・・状態値表示部、１４０・・・記憶装置、１４２・・・メタデータ記憶部、１４４・・・コンテンツ記憶部。

Claims (8)

  1. 　ゲーム動画を第１表示領域に表示する動画表示部と、
    　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する状態値表示部と、
    　を備えることを特徴とする情報処理装置。
  2. 　ゲーム動画全体の時間長をバーの長さで表現し、ゲーム動画の再生位置をバー上のスライダ位置で表現するシークバーを表示するシークバー表示部をさらに備え、
    　前記状態値表示部は、状態値の推移を示す情報を、バーに関連付けて表示する、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　ゲーム動画を生成する画像生成部と、
    　ゲーム動画を画像解析することで、ゲーム動画からゲームにおける状態値を抽出して、状態値の推移を特定する画像解析部と、
    　を備えることを特徴とする請求項１に記載の情報処理装置。
  4. 　前記画像解析部は、ゲーム動画に含まれる数字を抽出して、数字の推移を特定し、
    　前記状態値表示部は、数字の推移を示す情報を表示する、
    　ことを特徴とする請求項３に記載の情報処理装置。
  5. 　前記状態値表示部は、数字の推移を示す情報とともに、数字が示す対象を特定する情報を表示する、
    　ことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記画像解析部は、数字のフォント、色、大きさ、または表示位置の少なくとも１つにもとづいて、１つの対象の数字の推移を特定する、
    　ことを特徴とする請求項４に記載の情報処理装置。
  7. 　情報処理装置においてゲーム動画を表示する方法であって、
    　ゲーム動画を第１表示領域に表示するステップと、
    　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示するステップと、
    　を有することを特徴とするゲーム動画表示方法。
  8. 　コンピュータに、
    　ゲーム動画を第１表示領域に表示する機能と、
    　ゲームにおける状態値の推移を示す情報を、第１表示領域とは異なる第２表示領域に表示する機能と、
    　を実現させるためのプログラム。
PCT/JP2024/021142 2024-06-11 2024-06-11 情報処理装置、ゲーム動画表示方法およびプログラム Pending WO2025257918A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021142 WO2025257918A1 (ja) 2024-06-11 2024-06-11 情報処理装置、ゲーム動画表示方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/021142 WO2025257918A1 (ja) 2024-06-11 2024-06-11 情報処理装置、ゲーム動画表示方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025257918A1 true WO2025257918A1 (ja) 2025-12-18

Family

ID=98050313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/021142 Pending WO2025257918A1 (ja) 2024-06-11 2024-06-11 情報処理装置、ゲーム動画表示方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2025257918A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022286A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
JP2019144826A (ja) * 2018-02-20 2019-08-29 ヤフー株式会社 表示処理プログラム、表示処理装置、および表示処理方法
WO2020196414A1 (ja) * 2019-03-25 2020-10-01 健樹 坂田 動画再生システム、動画再生方法および動画再生プログラム
JP2021013176A (ja) * 2020-10-06 2021-02-04 株式会社 ディー・エヌ・エー ライブ動画を配信するためのシステム、方法、及びプログラム
JP2021030060A (ja) * 2020-06-03 2021-03-01 株式会社ドワンゴ ゲーム支援装置および動画配信装置
JP2022034509A (ja) * 2020-08-18 2022-03-03 株式会社カプコン 応援支援システムおよび応援支援方法
JP2022190730A (ja) * 2021-06-15 2022-12-27 株式会社カプコン システム、およびコンピュータプログラム
JP2023129418A (ja) * 2018-07-25 2023-09-14 株式会社Mixi 情報処理装置、動画配信方法及び動画配信プログラム
JP2023162234A (ja) * 2019-03-29 2023-11-08 株式会社バンダイナムコエンターテインメント プログラムおよびコンピュータシステム
JP2024047848A (ja) * 2022-09-27 2024-04-08 株式会社 ディー・エヌ・エー コンテンツを配信するためのシステム、方法、及びプログラム
JP7469769B1 (ja) * 2023-07-31 2024-04-17 １７Ｌｉｖｅ株式会社 ストリーマーが視聴者とインタラクトするのを支援する方法、コンピュータ機器及びコンピュータ読み取り可能な記録媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017022286A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
JP2019144826A (ja) * 2018-02-20 2019-08-29 ヤフー株式会社 表示処理プログラム、表示処理装置、および表示処理方法
JP2023129418A (ja) * 2018-07-25 2023-09-14 株式会社Mixi 情報処理装置、動画配信方法及び動画配信プログラム
WO2020196414A1 (ja) * 2019-03-25 2020-10-01 健樹 坂田 動画再生システム、動画再生方法および動画再生プログラム
JP2023162234A (ja) * 2019-03-29 2023-11-08 株式会社バンダイナムコエンターテインメント プログラムおよびコンピュータシステム
JP2021030060A (ja) * 2020-06-03 2021-03-01 株式会社ドワンゴ ゲーム支援装置および動画配信装置
JP2022034509A (ja) * 2020-08-18 2022-03-03 株式会社カプコン 応援支援システムおよび応援支援方法
JP2021013176A (ja) * 2020-10-06 2021-02-04 株式会社 ディー・エヌ・エー ライブ動画を配信するためのシステム、方法、及びプログラム
JP2022190730A (ja) * 2021-06-15 2022-12-27 株式会社カプコン システム、およびコンピュータプログラム
JP2024047848A (ja) * 2022-09-27 2024-04-08 株式会社 ディー・エヌ・エー コンテンツを配信するためのシステム、方法、及びプログラム
JP7469769B1 (ja) * 2023-07-31 2024-04-17 １７Ｌｉｖｅ株式会社 ストリーマーが視聴者とインタラクトするのを支援する方法、コンピュータ機器及びコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
EP3662982A2 (en) System and method for obtaining image content
EP2969078B1 (en) User-generated recordings of skeletal animations
US12409390B2 (en) Online somatosensory dance competition method and apparatus, computer device, and storage medium
US11992765B2 (en) Computer system and game system
US20240399253A1 (en) Game trainer using mobile device
US9289682B2 (en) Game device, control method for a game device, and information storage medium
JP2020162880A (ja) プログラムおよびコンピュータシステム
US20070126874A1 (en) Image processing device, image processing method, and information storage medium
JP7553507B2 (ja) サーバ装置、情報処理装置、プレイ動画提供方法および情報提供方法
WO2026018405A1 (ja) 情報処理装置およびゲーム動画表示方法
JP7634085B2 (ja) 情報処理装置およびゲーム画像表示方法
JPH1153570A (ja) 画像処理装置及び画像処理方法並びに記録媒体
WO2026013855A1 (ja) 情報処理装置およびハイライト動画生成方法
JP7633969B2 (ja) サーバ装置、情報処理装置および情報提供方法
WO2026018406A1 (ja) 情報処理装置および動画表示方法
WO2026018295A1 (ja) 情報処理装置および回答提示方法
JP4091643B2 (ja) ゲームプログラム、ゲーム装置及びゲーム制御方法
JP7660259B2 (ja) 情報処理装置および情報提供方法
WO2025154220A1 (ja) 情報処理システムおよびゲーム画像共有方法
WO2025154219A1 (ja) 情報処理システムおよびコンテンツ保存方法
WO2022224426A1 (ja) 情報処理装置およびコメント生成方法
WO2024180581A1 (ja) 情報処理装置および情報表示方法
WO2024166255A1 (ja) サーバ装置および情報処理装置
WO2024185119A1 (ja) サーバ装置および情報処理装置
WO2025191712A1 (ja) 情報処理システムおよびメタデータ付加方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24943283

Country of ref document: EP

Kind code of ref document: A1