WO2023106040A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023106040A1
WO2023106040A1 PCT/JP2022/042182 JP2022042182W WO2023106040A1 WO 2023106040 A1 WO2023106040 A1 WO 2023106040A1 JP 2022042182 W JP2022042182 W JP 2022042182W WO 2023106040 A1 WO2023106040 A1 WO 2023106040A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
input
information processing
game
learning
Prior art date
Application number
PCT/JP2022/042182
Other languages
English (en)
French (fr)
Inventor
宏一郎 高島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023106040A1 publication Critical patent/WO2023106040A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • game application such as Role-Playing Game
  • the present disclosure proposes an information processing device, an information processing method, and a program that can improve convenience in user's application operation regardless of the application.
  • an information processing apparatus includes a learning unit that learns a user's behavior with respect to an application by machine learning; and a support unit that executes an operation support process for assisting the user's input to the application using the learning result of.
  • FIG. 1 is a schematic explanatory diagram (1) of an information processing method according to an existing technique
  • FIG. FIG. 2 is a schematic explanatory diagram (part 2) of an information processing method according to an existing technique
  • 1 is a schematic explanatory diagram (1) of an information processing method according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a schematic explanatory diagram (Part 2) of an information processing method according to an embodiment of the present disclosure
  • 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present disclosure
  • FIG. FIG. 11 is a diagram (part 1) showing a specific example in the case of a shooting game
  • FIG. 10 is a diagram (part 2) showing a specific example in the case of a shooting game
  • FIG. 13 is a diagram (part 3) showing a specific example in the case of a shooting game;
  • FIG. 10 is an explanatory diagram of temporarily invalidating user input;
  • FIG. 11 is a diagram (part 1) showing a specific example in the case of a soccer game;
  • FIG. 11 is a diagram (part 2) showing a specific example in the case of a soccer game;
  • FIG. 13 is a diagram (part 3) showing a specific example in the case of a soccer game;
  • FIG. 11 is an explanatory diagram of pattern detection (in the case of a shooting game);
  • FIG. 10 is an explanatory diagram of pattern detection (in the case of a soccer game);
  • FIG. 10 is a diagram showing an example of coaching according to user's skill;
  • FIG. 10 is a diagram showing an example of a setting screen for real-time coaching; It is a figure which shows the specific example of real-time coaching.
  • FIG. 10 is a diagram showing an example of guidance for replay coaching; It is a figure which shows the specific example of replay coaching.
  • FIG. 10 is an explanatory diagram of a change in the coaching method according to the surrounding environment;
  • FIG. 10 is an explanatory diagram of an example of notification to another information processing apparatus;
  • 1 is a hardware configuration diagram showing an example of a computer that implements functions of an information processing apparatus;
  • FIG. 1 is a schematic explanatory diagram (Part 1) of an information processing method according to the existing technology.
  • FIG. 2 is a schematic explanatory diagram (part 2) of an information processing method according to the existing technology.
  • FIG. 3 is a schematic explanatory diagram (Part 1) of the information processing method according to the embodiment of the present disclosure.
  • FIG. 4 is a schematic explanatory diagram (part 2) of the information processing method according to the embodiment of the present disclosure.
  • the existing technology is based on the premise that the user directly plays one game application on a one-to-one basis. Also, at this time, even if the game application has an auto-play function, the user can only use the auto-play as part of the function of the game application. The contents of autoplay are usually different and limited for each game application.
  • Auto-play functions include those that allow the user to play the game completely on behalf of the user for specific game content, and those that basically allow the user to play the game himself, but also allow the user to partially input the game. There are things that assist.
  • the former is used for monotonous leveling work called so-called "leveling up”.
  • leveling up The latter is used, for example, to improve the user's play accuracy.
  • the behavior of the user with respect to the game application is learned by machine learning, and the learning result of the machine learning is used across one or more game applications.
  • the information processing device has a game play support function.
  • the "game play support application” that executes such functions supports the user to become stronger, in other words, to improve the accuracy of the user's play.
  • the game play support application provides an auto-play function in a form that integrates multiple game applications, in other words, across multiple game applications. Therefore, the game play support application can provide the auto-play function that supports the user to become strong even for the game application #2 that originally does not have the auto-play function. Also, the game play support application can provide the auto-play function that supports the user to become stronger for the game applications #1 and #3 that originally have individual auto-play functions.
  • the game play support application provides an autoplay function that assists user input based on an AI (Artificial Intelligence) model 15a that constantly learns the user's behavior during play.
  • AI Artificial Intelligence
  • the AI model 15a is, for example, a DNN (Deep Neutral Network) or the like.
  • information about the behavior of the user when playing each game application is acquired, and based on the characteristics of the behavior of the user when playing the game learned using such information, Assist input.
  • the information about the user's behavior during play includes, for example, the user's "pre-input operation” up to a specific input during play and the "post-input result" of the aforementioned specific input.
  • AI game play support application
  • AI for example, in the next and subsequent user's game play, by detecting the pattern of the operation before the user's input, identifies the input pattern that succeeds in machine learning, and detects the user's input.
  • FIG. 6 A specific example of this point will be described later with reference to FIGS. 6 to 14.
  • the AI according to the embodiment of the present disclosure provides, for example, an auto-play function that performs on-demand coaching by voice or the like when the user is playing.
  • AI for example, performs coaching according to the user's skill, coaches in real time according to the detected pattern of the user's operation before input, and coaches while replaying the video of the play scene during or after the play.
  • You can do AI can also change the way of coaching, for example, according to the user's surrounding environment. Specific examples of such points will be described later with reference to FIGS. 15 to 20.
  • AI according to the embodiment of the present disclosure, as shown in FIG. 4, for a game application that exchanges information with another information processing device 10 via the network N, such as game application #3 can notify other information processing apparatuses 10 that the autoplay function is being used.
  • game application #3 can notify other information processing apparatuses 10 that the autoplay function is being used.
  • the behavior of the user with respect to the game application is learned by machine learning, and the learning result of the machine learning is used across one or more game applications.
  • the information processing method according to the embodiment of the present disclosure the user's convenience in playing the game can be improved regardless of the game application.
  • a configuration example of the information processing apparatus 10 to which the information processing method according to the embodiment of the present disclosure is applied will be described more specifically.
  • FIG. 5 is a block diagram showing a configuration example of the information processing device 10 according to the embodiment of the present disclosure. It should be noted that FIG. 5 shows only the components necessary for describing the features of the embodiment of the present disclosure, and omits the description of general components.
  • each component illustrated in FIG. 5 is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution/integration of each block is not limited to the one shown in the figure. It is possible to integrate and configure.
  • the information processing device 10 is a computer used by the user to use game applications and other various applications, and is, for example, a smartphone or a tablet terminal.
  • the information processing apparatus 10 may be a PC (Personal Computer), a wearable device, or a dedicated game machine as long as it is limited to a game application.
  • the information processing device 10 includes a sensor section 11, an input section 12, an output section 13, a communication section 14, a storage section 15, and a control section 16.
  • the sensor unit 11 is a group of various sensors, and includes, for example, a camera 11a and a GPS sensor 11d.
  • the camera 11a is, for example, an out-camera or an in-camera of a smartphone, and is provided so as to capture image data capable of detecting the surrounding environment of the user playing the game.
  • the GPS sensor 11d measures the GPS position of the user playing the game.
  • the sensor unit 11 may of course include various sensors other than those described above, such as an inertial sensor and a microphone, as appropriate.
  • the input unit 12 is an input component through which the user inputs various operations.
  • the input unit 12 may be configured integrally with the output unit 13, which will be described later, using a touch panel or the like. Therefore, the input unit 12 may be a software component, such as a GUI (Graphical User Interface) for operating a game application.
  • GUI Graphic User Interface
  • the output unit 13 is, for example, a display device that displays visual information, and under the control of the control unit 16, displays visual information such as moving images and text regarding the entire system and game applications.
  • Examples of the above display devices include LCDs (Liquid Crystal Displays) and OLEDs (Organic Light Emitting Diodes).
  • the output unit 13 is, for example, a sounding device that pronounces voice information, and under the control of the control unit 16, sounds voice information such as voices related to the entire system and game applications.
  • the sounding device include a speaker and the like.
  • the communication unit 14 is implemented by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 14 is connected wirelessly or by wire to a network N such as the Internet or a mobile phone network, and exchanges information with other information processing devices 10 and game servers 100 (see FIG. 20) via the network N. send and receive
  • the storage unit 15 is implemented, for example, by semiconductor memory devices such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory. In the example shown in FIG. 5, the storage unit 15 stores an AI model 15a and application information 15b.
  • the AI model 15a already shown in FIG. 4 is a learning model learned by a learning unit 16b, which will be described later.
  • the AI model 15a is a DNN or the like, as already described, and learns the correlation of each element in a multi-dimensional feature amount space in which each dimension is each element indicating the content of the game and the user's behavior during the play as described above. .
  • each element includes the user's “pre-input operation” up to a specific input during play, the "post-input result” of the above-mentioned specific input, and the like.
  • the application information 15b is information including programs of various applications executed by the information processing device 10, such as game application programs, various parameters used during execution of the game applications, and the like.
  • the control unit 16 is a controller. For example, various programs stored in the storage unit 15 are executed by a CPU (Central Processing Unit), MPU (Micro Processing Unit), etc., using the RAM as a work area. It is realized by Also, the control unit 16 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 16 includes an acquisition unit 16a, a learning unit 16b, a game play support unit 16c, an application execution unit 16d, and a transmission/reception unit 16e, and realizes or executes information processing functions and actions described below. do.
  • the acquisition unit 16a acquires data indicating the surrounding environment of the user via the sensor unit 11.
  • the acquiring unit 16a also outputs the acquired data indicating the surrounding environment to the learning unit 16b as needed.
  • the acquisition unit 16a may acquire data indicating the surrounding environment (eg, temperature, weather, traffic conditions, latency, etc.) via the network N not only from the sensor unit 11, but also from, for example, a transmission/reception unit 16e described later. can.
  • the learning unit 16b trains the AI model 15a based on the "pre-input operation" from the input unit 12 input via the later-described game play support unit 16c and the "post-input result” output to the output unit 13. to learn.
  • the learning unit 16b learns the AI model 15a using deep learning when the AI model 15a is a DNN.
  • the learning unit 16b can learn the AI model 15a by adding the data indicating the surrounding environment acquired by the acquisition unit 16a to each of the elements described above.
  • the game play support unit 16c executes game play support processing that implements the functions of the game play support application described using FIGS. That is, the game play support unit 16c provides an auto-play function that supports the user to become stronger in each game application in a form in which a plurality of game applications are integrated.
  • the game play support unit 16c machine-learns the user's "pre-input operation” and "post-input result” to obtain success or failure results and pre-input results for each of these results.
  • the AI model 15a which is the learning result obtained by taking the correlation of the operations of , an input method that can make all cases successful is calculated.
  • the game play support unit 16c identifies a successful input pattern from among the calculated input methods by detecting the pattern of the operation before the user's input in the subsequent game play of the user.
  • the game play support unit 16c temporarily invalidates the user's input and replaces it with the identified input pattern that should succeed.
  • the game play support unit 16c executes a game play support process for on-demand coaching by voice or the like when the user plays the game. Regarding such coaching, the game play support unit 16c executes game play support processing so as to perform coaching according to the skill of the user, for example.
  • the game play support unit 16c executes the game play support process so as to perform real-time coaching for the pattern-detected user's operation before input. Also, the game play support unit 16c executes the game play support process so as to change the coaching method according to the surrounding environment of the user.
  • the game play support unit 16c notifies other information processing devices 10 with which the application execution unit 16d exchanges information about the game application being executed via the network N that the auto-play function is being used.
  • game play support unit 16c executes game play support processing while being resident in the control unit 16, for example, as middleware.
  • the application executing unit 16d executes the game application started by the user based on the application information 15b. In addition, the application executing unit 16d receives input from the user through the input unit 12 or input by autoplay on behalf of the user from the game play support unit 16c. The application execution unit 16d also causes the output unit 13 to output the content of the game that progresses according to the received input as an output result via the game play support unit 16c.
  • the transmission/reception unit 16e transmits the information to the other information processing apparatus 10 via the communication unit 14. Send and receive to and from 10. Although illustration is omitted, the transmitting/receiving unit 16e can receive data indicating an obtainable surrounding environment via the network N and cause the obtaining unit 16a to obtain the data.
  • FIG. 6 is a diagram (Part 1) showing a specific example in the case of a shooting game.
  • FIG. 7 is a diagram (part 2) showing a specific example in the case of a shooting game.
  • FIG. 8 is a diagram (part 3) showing a specific example in the case of a shooting game. Also, it is an explanatory diagram for temporarily invalidating the user's input.
  • a shooting game is assumed in which the target enemy is aimed through a sight and sniped.
  • user actions in game play include “finding a target”, “aiming”, and “sniping”. If the user's “sniping” operation is the above-mentioned “specific input”, each operation leading up to “sniping”, “finding the target”, “aiming”, and actually “sniping” is the above-mentioned corresponds to the "pre-input operation" of
  • the learning unit 16b learns the correlation between the "pre-input operation” and the "result” of each case. Then, using the AI model 15a that is the learning result, the game play support unit 16c, that is, the AI, calculates an input method that can make all cases successful.
  • the AI identifies a successful input pattern from among the calculated input methods by detecting the pattern of the user's operation before the input.
  • the AI then temporarily disables the user's input in game play and replaces it with the identified input pattern that should succeed.
  • the AI sets the aiming position in the “aim” operation and the sniping timing in the “sniping” operation according to the user's input so that the input pattern is the same as in the successful case "Case #3", for example. Correct automatically.
  • the AI even if the AI detects a pattern of "Case #2" similar to that in FIG. 7 for the operation before the user's input, the AI automatically corrects the input pattern so that it becomes the same input pattern as "Case #3".
  • the AI game play support unit 16c temporarily disables the user's input at the time of intervention, and uses the AI model 15a to identify the input pattern that should be successful, and the application execution unit 16d (game application).
  • FIG. 10 is a diagram (part 1) showing a specific example of a soccer game.
  • FIG. 11 is a diagram (part 2) showing a specific example in the case of a soccer game.
  • FIG. 12 is a diagram (part 3) showing a specific example in the case of a soccer game.
  • user actions in game play include, for example, inward “dribble” and "shoot". If the user's “shooting” operation is the above-mentioned “specific input”, the inward “dribble” leading up to the “shoot” and each operation to actually “shoot” are the above-mentioned “pre-input Equivalent to "operation”.
  • the learning unit 16b learns the correlation between the "pre-input operation” and the "result” of each case. Then, using the AI model 15a that is the learning result, the game play support unit 16c, that is, the AI, calculates an input method that can make all cases successful.
  • the AI identifies a successful input pattern from among the calculated input methods by detecting the pattern of the user's operation before the input.
  • the AI then temporarily disables the user's input in game play and replaces it with the identified input pattern that should succeed.
  • the AI determines the amount of movement to the shoot position in the "dribble” operation and the shot timing in the "shoot” operation based on the user's input, for example, with the same input pattern as in "Case #2", which is a successful example. automatically corrected to
  • the AI automatically corrects the input pattern so that it becomes the same input pattern as "Case #2".
  • FIG. 13 is an explanatory diagram of pattern detection (for a shooting game).
  • FIG. 14 is an explanatory diagram of pattern detection (in the case of a soccer game).
  • the pre-input operation may be learned over a wider range throughout the game play, and the AI model 15a may be able to estimate, for example, the user's play style pattern.
  • the user's play style is estimated in a pattern such as "secret action type” or "reckless rush type". For example, if the user's play style is a "covert action type” or a "reckless action type", the AI intervenes so that the user's input is replaced with an input pattern that should succeed, while corresponding to each play style. It is also possible to
  • the user's play style may be inferred, for example, in a pattern such as "pass-heavy side development type” or "dribble center breakthrough type".
  • the AI replaces the user's input with an input pattern that should succeed while corresponding to each play style. may also intervene.
  • FIG. 15 is a diagram showing an example of coaching according to user's skill.
  • FIG. 16 is a diagram showing an example of a setting screen for real-time coaching.
  • FIG. 17 is a diagram showing a specific example of real-time coaching.
  • FIG. 18 is a diagram showing an example of replay coaching guidance.
  • FIG. 19 is a diagram showing a specific example of replay coaching.
  • FIG. 20 is an explanatory diagram of how to change the coaching method according to the surrounding environment.
  • the AI according to the embodiment of the present disclosure can provide on-demand coaching by voice or the like when the user is playing. As shown in FIG. 15, AI can perform coaching according to the user's skill, for example.
  • the example in FIG. 15 is for a shooting game.
  • the AI “shoots stationary” if the skill is low, and “shoots while moving” if the skill is high.
  • Coaching can be performed so that the difficulty level is higher when the user's skill is high than when the user's skill is low.
  • the AI will "aim at the opponent's place", and if the skill is high, “aim at the opponent's head”.
  • Coaching can be performed so that the difficulty level is higher when the level is high than when the level is low.
  • AI can perform coaching in real time according to, for example, the pattern-detected user's operation before input.
  • coaching is hereinafter referred to as "real-time coaching”.
  • Real-time coaching can be provided by the user turning on real-time coaching on the setting screen shown in FIG. 16, for example.
  • FIG. 17 shows cases in which the same user operation as shown in FIG. 7 is performed in a shooting game.
  • the AI instructs the user to "aim" more left by uttering, for example, "a little more left!” when case #1 is pattern detected. You can do real-time coaching to get you tuned in.
  • the AI provides real-time coaching to have the user adjust the "aim” maneuver more to the right when Case #2 is pattern detected, e.g., by uttering "A little more right! It can be carried out.
  • the user can improve the playing accuracy while receiving coaching from AI in real time while playing.
  • the AI can perform coaching while replaying the video of the play scene during or after the play, for example.
  • Such coaching is hereinafter referred to as "replay coaching”.
  • Replay coaching is started when the AI displays a dialog that guides replay coaching, for example, as shown in FIG. 18, and the user performs an operation in response to this.
  • FIG. 18 is merely an example, and for example, the user may arbitrarily select a scene that the user wants to replay during or after playing, and replay coaching may be started according to the selection.
  • the AI may extract scenes to be replay-coached during the user's play, and display such scenes in a pop-up after the user's play.
  • the AI may replay all scenes after playing, and replay coaching may be started when a scene to be replay coached is reached.
  • FIG. 19 shows a specific example of replay coaching.
  • the play scenes that the user has played in the past include “breaking the wall”, “finding the opponent”, and “aiming the opponent”. , and "attack the opponent”.
  • the AI for example, triggers the scene of "discovering the opponent” at time T1, and responds to the operation up to “aim at the opponent” at time T2 by speaking “opponent It is better to check the opponent well before aiming for ”, coaching.
  • the AI provides voice coaching such as "fast! or "slow!”.
  • coaching such as, for example, "Good timing!” is provided.
  • the user can improve the precision of his/her own play by receiving coaching according to the play actually performed by the user while actually confirming the scene that the user wants to reproduce.
  • voice coaching may not be appropriate depending on the environment in which the user is playing the game.
  • voice coaching is inappropriate, for example, when the user is playing a game in public transportation while commuting to work or school, or when silent mode is set on the information processing device 10. is.
  • the AI game play support unit 16c detects the surrounding environment via the sensor unit 11 and changes the support method, that is, the coaching method, according to the detected surrounding environment. For example, AI changes the coaching method from voice to chat or the like when the detected surrounding environment is inappropriate for voice coaching.
  • the latency through the game server 100 and the network N may be detected as the ambient environment, and the input timing may be adjusted in consideration of the latency.
  • the game server 100 is provided with an AI according to the embodiment of the present disclosure, and the AI of the game server 100 is provided to each information processing device 10
  • a game play support function may be provided by the game play support processing described so far.
  • FIG. 21 is an explanatory diagram of an example of notification to other information processing apparatuses 10. As shown in FIG. 21 shows a game screen displayed on another information processing apparatus 10. FIG.
  • the game play support unit 16c when another user uses another information processing device 10 via the network N to confirm the user who is playing auto-play from a third-person viewpoint, , other information processing apparatuses 10 are notified that the corresponding user is in auto play.
  • the other information processing device 10 that has received this notification is displayed.
  • FIG. in the example of FIG. 21, "AI coaching in progress"
  • FIG. in online games such as TPS and MMORPG, other participants can easily distinguish whether or not the corresponding user is in auto play, prevent unnecessary chatting, etc. You can easily understand even if you receive a reaction that is not like the person in question, and you can easily understand that your skills are extremely high.
  • the AI model 15a is a DNN, but the configuration of the AI model 15a learned by machine learning is not limited.
  • the AI model 15a may be VAE (Variational Auto Encoder) or GAN (Generative Adversarial Network). Algorithms other than deep learning may also be used as machine learning algorithms.
  • the AI model 15a may be learned by executing machine learning by a regression analysis method such as support vector regression using a pattern classifier such as SVM (Support Vector Machine).
  • the pattern classifier is not limited to SVM, and may be AdaBoost or the like. Random forest, deep forest, or the like may also be used.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 22 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the information processing apparatus 10.
  • Computer 1000 has CPU 1100 , RAM 1200 , ROM 1300 , HDD (Hard Disk Drive) 1400 , communication interface 1500 and input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • the HDD 1400 is a recording medium that records the program according to the embodiment of the present disclosure, which is an example of the program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 16 by executing a program loaded on the RAM 1200.
  • the HDD 1400 stores programs according to the present disclosure and data in the storage unit 15 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the information processing device 10 includes the learning unit 16b that learns user behavior with respect to a game application (equivalent to an example of an “application”) by machine learning, and one or more A game play support unit 16c that executes a game play support process (equivalent to an example of "operation support process") for assisting a user's input to the game application using the learning result of the learning unit 16b across the game applications. (corresponding to an example of a “support unit”).
  • a game play support process equivalent to an example of "operation support process
  • the present technology can also take the following configuration.
  • a learning unit that learns user behavior with respect to the application by machine learning; a support unit that performs support processing for assisting the user's input to the app using the learning result of the learning unit across the one or more apps; Information processing device.
  • the app is a game app, The learning unit Learning the correlation between the pre-input operation for a specific input in the game application and the result of the specific input, The support unit Using the learning result of the correlation, assisting the user's input so that the specific input by the user results in success; The information processing device according to (1) above.
  • the support unit Using the learning result of the correlation, calculating an input value that makes the result of the specific input successful for each pattern of the operation before the input, and when the pattern of the operation by the user before the input is detected, Identifying the input value according to the operation before the input in which the pattern is detected; The information processing device according to (2) above.
  • the support unit temporarily disabling the user's input and substituting the identified input value for the user's input; The information processing device according to (3) above.
  • the support unit further executing the support process for coaching the input of the user;
  • (6) The support unit executing the support process so as to perform the coaching according to the skill of the user;
  • the information processing device according to (5) above.
  • the support unit When a pattern of the operation before the input by the user is detected, the support process is performed so as to perform the coaching according to the detected operation before the input in real time.
  • the information processing apparatus according to (5) or (6).
  • the support unit executing the support process so as to change the coaching method according to the user's surrounding environment;
  • the information processing apparatus according to (5), (6) or (7).
  • the support unit Notifying users other than the user via a network that the user is receiving support for the support process; The information processing apparatus according to any one of (2) to (8) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置（１０）は、ゲームアプリ（「アプリ」の一例に相当）に対するユーザの行動を機械学習によって学習する学習部（１６ｂ）と、１以上のゲームアプリに対し横断的に、学習部（１６ｂ）の学習結果を用いてゲームアプリに対するユーザの入力を補助するゲームプレイ支援処理（「操作支援処理」の一例に相当）を実行するゲームプレイ支援部（１６ｃ）（「支援部」の一例に相当）と、を備える。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、スマートフォンやタブレット端末といった携帯型の情報処理装置の普及が目覚ましい。また、これら情報処理装置は、画像処理や通信処理についての高性能化も急速に進んでおり、ユーザは、これら情報処理装置を用いて、例えばＴＰＳ（Third-person　shooter）やＭＭＯＲＰＧ（Massively　Multiplayer　Online　Role-Playing　Game）といった多様なゲームアプリケーションソフトウェア（以下、「ゲームアプリ」という）を手軽に楽しむことができる。
　また、こうした状況において、ユーザの利便性をより向上させるために、ゲームアプリの中には、例えば予め設定された所定のゲーム内容を自動的に実行するオートプレイ機能を有するものがある。低スキルのユーザや、忙しいユーザなどは、かかるオートプレイ機能を利用することによって、自身のゲームプレイをアシストしてもらうことができる。同様に、ＭＭＯＲＰＧのようなチーム環境において、チームの編成や戦略をアシストする技術も提案されている（例えば、特許文献１参照）。
特開２０２１－０４１２２５号公報
　しかしながら、上述した従来技術には、ゲームアプリを問わず、ユーザのゲームプレイにおける利便性を向上させるうえで、さらなる改善の余地がある。
　例えば、上述した従来技術を用いた場合、オートプレイ機能を有する特定のゲームアプリを利用するユーザしか、ゲームプレイをアシストしてもらうことができない。
　なお、かかる課題は、ユーザが、オートプレイ機能に相当する自動操作機能を有するまたは有していない、ゲームアプリ以外のアプリを操作する場合にも共通する課題である。
　そこで、本開示では、アプリを問わず、ユーザのアプリ操作における利便性を向上させることができる情報処理装置、情報処理方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、アプリに対するユーザの行動を機械学習によって学習する学習部と、１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリに対する前記ユーザの入力を補助する操作支援処理を実行する支援部と、を備える。
既存技術に係る情報処理方法の概要説明図（その１）である。 既存技術に係る情報処理方法の概要説明図（その２）である。 本開示の実施形態に係る情報処理方法の概要説明図（その１）である。 本開示の実施形態に係る情報処理方法の概要説明図（その２）である。 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。 シューティングゲームの場合の具体例を示す図（その１）である。 シューティングゲームの場合の具体例を示す図（その２）である。 シューティングゲームの場合の具体例を示す図（その３）である。 ユーザの入力を一時的に無効化する説明図である。 サッカーゲームの場合の具体例を示す図（その１）である。 サッカーゲームの場合の具体例を示す図（その２）である。 サッカーゲームの場合の具体例を示す図（その３）である。 パターン検出の説明図（シューティングゲームの場合）である。 パターン検出の説明図（サッカーゲームの場合）である。 ユーザのスキルに応じたコーチングの例を示す図である。 リアルタイム・コーチングの設定画面例を示す図である。 リアルタイム・コーチングの具体例を示す図である。 リプレイ・コーチングの案内例を示す図である。 リプレイ・コーチングの具体例を示す図である。 周囲環境に応じたコーチングの仕方の変更の説明図である。 他の情報処理装置への通知例の説明図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下では、ユーザが操作するアプリが、ゲームアプリである場合を主たる例に挙げて説明する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．概要
　　２．情報処理装置の構成
　　３．ゲームプレイ支援処理の具体例
　　　３－１．シューティングゲームの例
　　　３－２．サッカーゲームの例
　　　３－３．コーチングの例
　　４．他の情報処理装置への通知例
　　５．変形例
　　６．ハードウェア構成
　　７．むすび
＜＜１．概要＞＞
　図１は、既存技術に係る情報処理方法の概要説明図（その１）である。また、図２は、既存技術に係る情報処理方法の概要説明図（その２）である。また、図３は、本開示の実施形態に係る情報処理方法の概要説明図（その１）である。また、図４は、本開示の実施形態に係る情報処理方法の概要説明図（その２）である。
　ユーザがスマートフォンやタブレット端末といった携帯型の情報処理装置を用いて、例えばＴＰＳやＭＭＯＲＰＧといった多様なゲームアプリを手軽に楽しめる昨今、ゲームアプリの中には、機能の一部としてオートプレイ機能を有するものがある。
　低スキルのユーザや、忙しいユーザなどは、かかるオートプレイ機能を利用することによって、自身のゲームプレイをアシストしてもらうことができる。その一方で、オートプレイ機能を有していないゲームアプリを利用するユーザは無論、オートプレイ機能によりゲームプレイをアシストしてもらうことはできない。
　具体的には、図１に示すように、既存技術は、１つのゲームアプリに対し、１対１でユーザが直接プレイするという関係性が前提となっている。また、この時、ゲームアプリがオートプレイ機能を有していても、ユーザは、ゲームアプリの機能の一部としてのオートプレイを利用できるに過ぎない。オートプレイの内容は通常、ゲームアプリごとに異なっており、また限定的である。
　このため、図２に示すように、ユーザが１台の情報処理装置を用いて複数のゲームアプリを利用する場合、既存技術では、ユーザは、オートプレイの利用に関し、各ゲームアプリのゲームセッションごとに異なる操作を行う必要がある。
　すなわち、既存技術ではまず、ユーザは、オートプレイ機能を有していないゲームアプリについては、当然オートプレイを利用することができない。したがって、図２の例では、ユーザは、ゲームアプリ＃２についてはオートプレイを利用することができない。
　その一方で、ユーザは、オートプレイ機能を有するゲームアプリ、図２の例では、ゲームアプリ＃１，＃３についてはオートプレイを利用することができるものの、設定できるオートプレイの内容はゲームアプリごとに異なるものとなる。
　なお、オートプレイ機能には、特定のゲーム内容については完全にユーザに代わってゲームをプレイすることが可能なものや、基本的にはユーザ自身がゲームをプレイするが、部分的にユーザの入力を補助するものなどがある。前者は、いわゆる「レベル上げ」と呼ばれる単調なレベリング作業などに利用される。後者は、ユーザのプレイ精度を向上させる場合などに利用される。
　しかし、こうしたオートプレイの内容はゲームアプリごとに異なるため、例えばユーザがゲームアプリ＃１のプレイ精度を向上させてスキルを上げたくとも、ゲームアプリ＃１がかかるプレイ精度を向上させるためのオートプレイ機能を有していなければ、ユーザのニーズを満たすことができない。同様に、例えばユーザがゲームアプリ＃２のプレイ精度を向上させてスキルを上げたくとも、そもそもゲームアプリ＃２はオートプレイ機能を有していないため、やはりユーザのニーズを満たすことはできない。
　そこで、本開示の実施形態に係る情報処理方法では、ゲームアプリに対するユーザの行動を機械学習によって学習し、１以上のゲームアプリに対し横断的に、機械学習の学習結果を用いてゲームアプリに対するユーザの入力を補助するゲームプレイ支援処理を実行することとした。
　具体的には、本開示の実施形態に係る情報処理装置は、ゲームプレイ支援の機能を有する。図３に示すように、かかる機能を実行する「ゲームプレイ支援アプリ」は、ゲームアプリに対し、イメージ的にユーザに付き添って、ユーザが強くなるようにサポートする、言い換えればユーザのプレイ精度が向上するようにユーザの入力を補助するオートプレイ機能を提供する。
　また、図４に示すように、ゲームプレイ支援アプリは、複数のゲームアプリを統合した形で、言い換えれば複数のゲームアプリに対し横断的に、オートプレイ機能を提供する。したがって、ゲームプレイ支援アプリは、元々オートプレイ機能のないゲームアプリ＃２についても、ユーザが強くなるようにサポートするオートプレイ機能を提供することが可能である。また、ゲームプレイ支援アプリは、元々個別のオートプレイ機能を有するゲームアプリ＃１，＃３についても、ユーザが強くなるようにサポートするオートプレイ機能を提供することができる。
　例えば、ゲームプレイ支援アプリは、図４に示すように、プレイ時のユーザの行動を随時学習するＡＩ（Artificial　Intelligence）モデル１５ａに基づいてユーザの入力を補助するオートプレイ機能を提供する。ＡＩモデル１５ａは、例えばＤＮＮ（Deep　Neutral　Network）等である。
　すなわち、本開示の実施形態に係る情報処理方法では、各ゲームアプリをプレイ時のユーザの行動に関する情報を取得し、かかる情報を用いて学習したプレイ時のユーザの行動の特徴に沿ってユーザの入力を補助する。プレイ時のユーザの行動に関する情報は、例えばプレイ中の特定の入力に至るまでのユーザの「入力前の操作」と前述の特定の入力の「入力後の結果」とを含む。
　具体的には、本開示の実施形態に係る情報処理方法では、ユーザの「入力前の操作」と「入力後の結果」を機械学習することにより、成功または失敗の各結果と、かかる結果それぞれに対するユーザの入力前の操作の相関をとる。そのうえで、前述の相関をとることの学習結果であるＡＩモデル１５ａを用いて、すべてのケースを成功にできる入力方法を算出する。そして、次回以降のユーザのゲームプレイにおいて、ユーザの入力前の操作をパターン検出することにより、算出した入力方法のうちから成功する入力パターンを特定する。
　なお、以下では、ＡＩモデル１５ａを用いるという意味において、「ゲームプレイ支援アプリ」のことを適宜「ＡＩ」という。また、上記入力パターンは、「入力値」の一例に相当する。
　本開示の実施形態に係るＡＩは、例えば、次回以降のユーザのゲームプレイにおいて、ユーザの入力前の操作をパターン検出することにより、機械学習での成功する入力パターンを特定し、ユーザの入力を一時的に無効化して、成功すべき入力パターンに代替えするオートプレイ機能を提供する。かかる点の具体例については、図６～図１４を用いた説明で後述する。
　また、本開示の実施形態に係るＡＩは、例えば、ユーザのプレイ時などに、音声などによるオンデマンドでのコーチングを行うオートプレイ機能を提供する。ＡＩは、例えば、ユーザのスキルに応じたコーチングを行ったり、パターン検出されたユーザの入力前の操作にリアルタイムに応じたコーチングを行ったり、プレイ中またはプレイ後にプレイシーンの映像をリプレイしつつコーチングを行ったりすることができる。また、ＡＩは、例えばユーザの周囲環境に応じて、コーチングの仕方を変更することもできる。こうした点の具体例については、図１５～図２０を用いた説明で後述する。
　また、本開示の実施形態に係るＡＩは、図４に示すように、例えばゲームアプリ＃３のように、ネットワークＮを介して他の情報処理装置１０との間で情報をやり取りするゲームアプリについては、他の情報処理装置１０に対し、オートプレイ機能を用いていることを通知することができる。かかる具体例については、図２１を用いた説明で後述する。
　このように、本開示の実施形態に係る情報処理方法では、ゲームアプリに対するユーザの行動を機械学習によって学習し、１以上のゲームアプリに対し横断的に、機械学習の学習結果を用いてゲームアプリに対するユーザの入力を補助するゲームプレイ支援処理を実行することとした。
　したがって、本開示の実施形態に係る情報処理方法によれば、ゲームアプリを問わず、ユーザのゲームプレイにおける利便性を向上させることができる。特に、本開示の実施形態に係る情報処理方法によれば、ゲームアプリを問わず、ユーザのゲームプレイにおけるプレイ精度を向上させることができる。以下、本開示の実施形態に係る情報処理方法を適用した情報処理装置１０の構成例について、より具体的に説明する。
＜＜２．情報処理装置の構成＞＞
　図５は、本開示の実施形態に係る情報処理装置１０の構成例を示すブロック図である。なお、図５では、本開示の実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
　換言すれば、図５に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
　また、図５を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
　情報処理装置１０は、ユーザがゲームアプリやその他の各種アプリを利用するために用いるコンピュータであり、例えばスマートフォンやタブレット端末である。なお、情報処理装置１０は、ＰＣ（Personal　Computer）や、ウェアラブルデバイス、ゲームアプリに限定すればゲーム専用機などであってもよい。
　図５に示すように、情報処理装置１０は、センサ部１１と、入力部１２と、出力部１３と、通信部１４と、記憶部１５と、制御部１６とを有する。
　センサ部１１は、各種のセンサ群であり、例えば、カメラ１１ａと、ＧＰＳセンサ１１ｄとを含む。
　カメラ１１ａは、例えばスマートフォンのアウトカメラやインカメラなどであって、ゲームをプレイ中のユーザの周囲環境を検知可能な画像データを撮像可能に設けられる。ＧＰＳセンサ１１ｄは、ゲームをプレイ中のユーザのＧＰＳ位置を測位する。なお、センサ部１１には無論、これまで説明した以外の各種のセンサ、例えば慣性センサやマイクなどが適宜含まれてもよい。
　入力部１２は、ユーザが各種の操作を入力する入力部品である。なお、入力部１２は、タッチパネル等によって後述する出力部１３と一体に構成されてもよい。したがって、入力部１２は、ソフトウェア部品であってもよく、例えばゲームアプリを操作するためのＧＵＩ（Graphical　User　Interface）であってもよい。
　出力部１３は、例えば視覚情報を表示する表示デバイスであって、制御部１６の制御の下で、システム全体やゲームアプリに関する動画像やテキストなどの視覚情報を表示する。上記の表示デバイスには、例えばＬＣＤ（Liquid　Crystal　Display）や、ＯＬＥＤ（Organic　Light　Emitting　Diode）等が挙げられる。
　また、出力部１３は、例えば音声情報を発音する発音デバイスであって、制御部１６の制御の下で、システム全体やゲームアプリに関する音声などの音声情報を発音する。上記の発音デバイスには、例えばスピーカー等が挙げられる。
　通信部１４は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１４は、インターネットや携帯電話回線網等であるネットワークＮと無線または有線で接続され、ネットワークＮを介して、他の情報処理装置１０やゲームサーバ１００（図２０参照）との間で情報の送受信を行う。
　記憶部１５は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子などによって実現される。図５に示す例では、記憶部１５は、ＡＩモデル１５ａと、アプリ情報１５ｂとを記憶する。
　既に図４にも示したＡＩモデル１５ａは、後述する学習部１６ｂによって学習される学習モデルである。ＡＩモデル１５ａは、既に述べたがＤＮＮ等であり、ゲームの内容および前述のプレイ時のユーザの行動を示す各要素を各次元とする多次元の特徴量空間における各要素の相関を随時学習する。
　各要素としては、既に述べたが、プレイ中の特定の入力に至るまでのユーザの「入力前の操作」、前述の特定の入力の「入力後の結果」、等が挙げられる。
　アプリ情報１５ｂは、情報処理装置１０で実行される各種のアプリ、例えばゲームアプリのプログラムや、ゲームアプリの実行中に用いられる各種のパラメータ等を含む情報である。
　制御部１６は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１５に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１６は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することができる。
　制御部１６は、取得部１６ａと、学習部１６ｂと、ゲームプレイ支援部１６ｃと、アプリ実行部１６ｄと、送受信部１６ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　取得部１６ａは、センサ部１１を介してユーザの周囲環境を示すデータを取得する。また、取得部１６ａは、取得した周囲環境を示すデータを学習部１６ｂへ随時出力する。なお、取得部１６ａは、センサ部１１に限らず、例えば後述する送受信部１６ｅから、ネットワークＮを介した周囲環境を示すデータ（例えば、温度や天候、交通状況、レイテンシなど）を取得することもできる。
　学習部１６ｂは、後述するゲームプレイ支援部１６ｃを介して入力される入力部１２からの「入力前の操作」および出力部１３に出力される「入力後の結果」に基づいて、ＡＩモデル１５ａを学習する。
　なお、学習部１６ｂは、ＡＩモデル１５ａがＤＮＮである場合、ディープラーニングを用いてＡＩモデル１５ａを学習する。また、学習部１６ｂは、取得部１６ａによって取得された周囲環境を示すデータを前述の各要素に加味してＡＩモデル１５ａを学習することができる。
　ゲームプレイ支援部１６ｃは、図３および図４を用いて説明したゲームプレイ支援アプリの機能を実現するゲームプレイ支援処理を実行する。すなわち、ゲームプレイ支援部１６ｃは、複数のゲームアプリを統合した形で、各ゲームアプリにおいてユーザが強くなるようにサポートするオートプレイ機能を提供する。
　具体的には、ゲームプレイ支援部１６ｃは、ユーザの「入力前の操作」と「入力後の結果」を機械学習することにより、成功または失敗の各結果と、かかる結果それぞれに対するユーザの入力前の操作の相関をとった学習結果であるＡＩモデル１５ａを用いて、すべてのケースを成功にできる入力方法を算出する。
　また、ゲームプレイ支援部１６ｃは、次回以降のユーザのゲームプレイにおいて、ユーザの入力前の操作をパターン検出することにより、算出した入力方法のうちから成功する入力パターンを特定する。
　また、ゲームプレイ支援部１６ｃは、ユーザの入力を一次的に無効化して、特定した成功すべき入力パターンに代替えする。
　また、ゲームプレイ支援部１６ｃは、ユーザのプレイ時などに、音声などによるオンデマンドでのコーチングを行うゲームプレイ支援処理を実行する。ゲームプレイ支援部１６ｃは、かかるコーチングに関し、例えば、ユーザのスキルに応じたコーチングを行うようにゲームプレイ支援処理を実行する。
　また、ゲームプレイ支援部１６ｃは、パターン検出されたユーザの入力前の操作にリアルタイムに応じたコーチングを行うようにゲームプレイ支援処理を実行する。また、ゲームプレイ支援部１６ｃは、ユーザの周囲環境に応じて、コーチングの仕方を変更するようにゲームプレイ支援処理を実行する。
　また、ゲームプレイ支援部１６ｃは、実行中のゲームアプリに関する情報をアプリ実行部１６ｄがネットワークＮを介してやり取りする他の情報処理装置１０に対し、オートプレイ機能を用いていることを通知する。
　なお、ゲームプレイ支援部１６ｃは、制御部１６に例えばミドルウェアとして常駐しつつ、ゲームプレイ支援処理を実行する。
　アプリ実行部１６ｄは、ユーザによって起動されたゲームアプリをアプリ情報１５ｂに基づいて実行する。また、アプリ実行部１６ｄは、ゲームプレイ支援部１６ｃから、入力部１２を介したユーザの入力またはユーザに代わるオートプレイによる入力を受け付ける。また、アプリ実行部１６ｄは、受け付けた入力に応じて進行するゲームの内容を、ゲームプレイ支援部１６ｃを介し、出力結果として出力部１３に出力させる。
　送受信部１６ｅは、アプリ実行部１６ｄが実行中のゲームアプリに関する情報を他の情報処理装置１０との間でやり取りする必要がある場合に、通信部１４を介し、かかる情報を他の情報処理装置１０との間で送受信する。なお、図示は略しているが、送受信部１６ｅは、ネットワークＮを介して取得可能な周囲環境を示すデータを受信し、取得部１６ａに取得させることができる。
＜＜３．ゲームプレイ支援処理の具体例＞＞
　次に、本開示の実施形態に係るゲームプレイ支援処理の具体例について、図６～図２１を用いて説明する。
＜３－１．シューティングゲームの例＞
　まず、ＴＰＳのようなシューティングゲームを例に挙げて説明する。図６は、シューティングゲームの場合の具体例を示す図（その１）である。また、図７は、シューティングゲームの場合の具体例を示す図（その２）である。また、図８は、シューティングゲームの場合の具体例を示す図（その３）である。また、ユーザの入力を一時的に無効化する説明図である。
　図６に示すように、ここでは、例えば標的となる敵に対し、照準器越しに照準を合わせて狙撃するシューティングゲームを想定する。
　かかる場合、図７に示すように、ゲームプレイにおけるユーザの行動としては、「標的を見つける」、「照準を合わせる」、「狙撃」が挙げられる。ユーザの「狙撃」する操作が前述の「特定の入力」とすれば、「狙撃」に至るまでの「標的を見つける」、「照準を合わせる」、そして実際に「狙撃」する各操作が、前述の「入力前の操作」に相当する。
　ここで、図７に示すように、過去にユーザがプレイしたケース＃１～ケース＃３があり、ケース＃１では狙撃の結果は「失敗」し、ケース＃２でも「失敗」し、ケース＃３では「成功」していたものとする。
　学習部１６ｂは、これら各ケースの「入力前の操作」および「結果」の相関を学習する。そして、その学習結果であるＡＩモデル１５ａを用いて、ゲームプレイ支援部１６ｃ、すなわちＡＩは、すべてのケースを成功にできる入力方法を算出する。
　そして、ＡＩは、次回以降のユーザのゲームプレイにおいて、ユーザの入力前の操作をパターン検出することにより、算出した入力方法のうちから成功する入力パターンを特定する。そして、ＡＩは、ゲームプレイにおいて、ユーザの入力を一時的に無効化して、特定した成功すべき入力パターンに代替えする。
　具体的には、図８に示すように、ＡＩは、ユーザの入力前の操作を図７と同様の「ケース＃１」とパターン検出した場合、ユーザによる「照準を合わせる」操作および「狙撃」する操作を、自動的に成功すべき入力パターンに代替えする。
　すなわち、ＡＩは、ユーザの入力による「照準を合わせる」操作における照準位置、および、「狙撃」する操作における狙撃タイミングを、例えば成功例である「ケース＃３」と同様の入力パターンとなるように自動的に補正する。
　また、ＡＩは、ユーザの入力前の操作を図７と同様の「ケース＃２」とパターン検出した場合も、「ケース＃３」と同様の入力パターンとなるように自動的に補正する。
　また、ＡＩは、ユーザの入力前の操作を図７と同様の「ケース＃３」とパターン検出した場合も、従前の「ケース＃３」と同様の入力パターンとなるように自動的に補正する。なお、「ケース＃３」をパターン検出した場合、ＡＩは、ユーザによる入力のままでも成功する可能性が高いとして、あえて補正を行わなくともよい。
　すなわち、図９に示すように、ＡＩ（ゲームプレイ支援部１６ｃ）は、介入時、ユーザの入力を一時的に無効化して、ＡＩモデル１５ａを用いて特定した成功すべき入力パターンをアプリ実行部１６ｄ（ゲームアプリ）に入力することとなる。
＜３－２．サッカーゲームの例＞
　次に、サッカーゲームを例に挙げて説明する。図１０は、サッカーゲームの場合の具体例を示す図（その１）である。また、図１１は、サッカーゲームの場合の具体例を示す図（その２）である。また、図１２は、サッカーゲームの場合の具体例を示す図（その３）である。
　図１０に示すように、ここでは、サッカーゲームにおいて、例えばユーザの操作対象プレイヤーが敵陣のゴール近くでボールを保持しており、「外側へドリブル」、「内側へドリブル」、「後ろ側へドリブル」、「パス」の選択肢のうちから、「内側へドリブル」を選択したものとする。
　かかる場合、図１１に示すように、ゲームプレイにおけるユーザの行動としては例えば、内側への「ドリブル」、「シュート」が挙げられる。ユーザの「シュート」する操作が前述の「特定の入力」とすれば、「シュート」に至るまでの内側への「ドリブル」、そして実際に「シュート」する各操作が、前述の「入力前の操作」に相当する。
　ここで、図１１に示すように、過去にユーザがプレイしたケース＃１～ケース＃３があり、ケース＃１，＃３ではディフェンダーＤＦとゴールキーパーＧＫにシュートエリアが塞がれており、シュートの結果は「失敗」し、ケース＃２では「成功」していたものとする。
　学習部１６ｂは、これら各ケースの「入力前の操作」および「結果」の相関を学習する。そして、その学習結果であるＡＩモデル１５ａを用いて、ゲームプレイ支援部１６ｃ、すなわちＡＩは、すべてのケースを成功にできる入力方法を算出する。
　そして、ＡＩは、次回以降のユーザのゲームプレイにおいて、ユーザの入力前の操作をパターン検出することにより、算出した入力方法のうちから成功する入力パターンを特定する。そして、ＡＩは、ゲームプレイにおいて、ユーザの入力を一時的に無効化して、特定した成功すべき入力パターンに代替えする。
　具体的には、図１２に示すように、ＡＩは、ユーザの入力前の操作を図１１と同様の「ケース＃１」とパターン検出した場合、ユーザによる「ドリブル」の操作および「シュート」の操作を、自動的に成功すべき入力パターンに代替えする。
　すなわち、ＡＩは、ユーザの入力による「ドリブル」の操作におけるシュート位置までの移動量、および、「シュート」の操作におけるシュートタイミングを、例えば成功例である「ケース＃２」と同様の入力パターンとなるように自動的に補正する。
　また、ＡＩは、ユーザの入力前の操作を図１１と同様の「ケース＃３」とパターン検出した場合も、「ケース＃２」と同様の入力パターンとなるように自動的に補正する。
　また、ＡＩは、ユーザの入力前の操作を図１１と同様の「ケース＃２」とパターン検出した場合も、従前の「ケース＃２」と同様の入力パターンとなるように自動的に補正する。なお、「ケース＃２」をパターン検出した場合、ＡＩは、ユーザによる入力のままでも成功する可能性が高いとして、あえて補正を行わなくともよい。
　なお、これまでは、シューティングゲームの場合は、「相手を見つける」、「照準を合わせる」、「狙撃」を入力前の操作とし、サッカーゲームの場合は、「ドリブル」、「シュート」を入力前の操作とする例を挙げた。そして、そのうえで、ＡＩがゲームプレイにおけるケース＃１～ケース＃３のパターン検出を行う例を挙げたが、パターン検出のいわばクエリとなる入力前の操作は、特定の入力に対し、例えばゲームプレイの全体を通じてより広範囲に渡るものであってもよい。
　図１３は、パターン検出の説明図（シューティングゲームの場合）である。また、図１４は、パターン検出の説明図（サッカーゲームの場合）である。すなわち、入力前の操作は、ゲームプレイの全体を通じてより広範囲に渡るものとして学習され、ＡＩモデル１５ａによって、例えばユーザのプレイスタイルのパターンが推定可能となるようにしてもよい。
　かかる場合、シューティングゲームであれば、図１３に示すように、ユーザのプレイスタイルが、例えば「隠密行動型」や「猪突猛進型」といったパターンで推定されることが考えられる。ＡＩは、例えばユーザのプレイスタイルが「隠密行動型」や「猪突猛進型」であれば、かかる各プレイスタイルにそれぞれ応じつつ、ユーザの入力が成功すべき入力パターンに代替えされるように、介入することとしてもよい。
　同様に、サッカーゲームであれば、図１４に示すように、ユーザのプレイスタイルが、例えば「パス多用サイド展開型」や「ドリブル中央突破型」といったパターンで推定されることが考えられる。ＡＩは、例えばユーザのプレイスタイルが「パス多用サイド展開型」や「ドリブル中央突破型」であれば、かかる各プレイスタイルにそれぞれ応じつつ、ユーザの入力が成功すべき入力パターンに代替えされるように、介入することとしてもよい。
＜３－３．コーチングの例＞
　次に、上述したコーチングを行う場合の例について説明する。図１５は、ユーザのスキルに応じたコーチングの例を示す図である。また、図１６は、リアルタイム・コーチングの設定画面例を示す図である。また、図１７は、リアルタイム・コーチングの具体例を示す図である。
　また、図１８は、リプレイ・コーチングの案内例を示す図である。また、図１９は、リプレイ・コーチングの具体例を示す図である。また、図２０は、周囲環境に応じたコーチングの仕方の変更の説明図である。
　既に述べた通り、本開示の実施形態に係るＡＩは、ユーザのプレイ時などに、音声などによるオンデマンドでのコーチングを行うことができる。図１５に示すように、ＡＩは、例えばユーザのスキルに応じたコーチングを行うことができる。
　図１５の例はシューティングゲームの場合であるが、ＡＩは、例えば前述の「狙撃」の操作であれば、スキルが低ければ「静止して撃つ」、高ければ「動きながら撃つ」といったように、ユーザのスキルが低い場合よりも高い場合の方が高難度になるようにコーチングを行うことができる。
　同様に、ＡＩは、例えば前述の「照準を合わせる」操作であれば、スキルが低ければ「相手のどこかを狙う」、高ければ「相手の頭を狙う」といったように、やはりユーザのスキルが低い場合よりも高い場合の方が高難度になるようにコーチングを行うことができる。
　また、ＡＩは、例えば、パターン検出されたユーザの入力前の操作にリアルタイムに応じたコーチングを行うことができる。以下、かかるコーチングを「リアルタイム・コーチング」という。リアルタイム・コーチングは、例えば図１６に示すような設定画面上において、ユーザがリアルタイム・コーチングをオンに設定することによって提供可能となる。
　図１７には、シューティングゲームにおいて、図７に示したのと同様のユーザの操作が行われた場合の各ケースを示している。かかる場合に、図１７に示すように、ＡＩは、ケース＃１がパターン検出された場合に、例えば「もうちょっと左！」と音声を発することによって、ユーザに「照準を合わせる」操作をより左方に調整させるリアルタイム・コーチングを行うことができる。
　同様に、ＡＩは、ケース＃２がパターン検出された場合に、例えば「もうちょっと右！」と音声を発することによって、ユーザに「照準を合わせる」操作をより右方に調整させるリアルタイム・コーチングを行うことができる。
　同様に、ＡＩは、ケース＃３と同様の入力前の操作がパターン検出された場合に、例えば「今だ！」と音声を発することによって、ユーザに「狙撃」のタイミングを指示するリアルタイム・コーチングを行うことができる。
　これにより、ユーザは、プレイ中にＡＩによるコーチングをリアルタイムに受けながら、プレイ精度を向上させることができる。
　また、ＡＩは、例えば、プレイ中またはプレイ後にプレイシーンの映像をリプレイしつつコーチングを行うことができる。以下、かかるコーチングを「リプレイ・コーチング」という。
　リプレイ・コーチングは、ＡＩが、例えば図１８に示すようなリプレイ・コーチングを案内するダイアログを表示し、ユーザがこれに応じる操作を行うことによって開始される。なお、図１８は、あくまで一例であって、例えばユーザがプレイ中またはプレイ後にリプレイしたいシーンを任意に選択し、かかる選択に従ってリプレイ・コーチングが開始されてもよい。
　また、ＡＩが、リプレイ・コーチングすべきシーンをユーザのプレイ中に抽出しておき、ユーザのプレイ後にかかるシーンをポップアップ表示などさせるようにしてもよい。また、ＡＩが、プレイ後にすべてのシーンをリプレイし、リプレイ・コーチングすべきシーン到達した時にリプレイ・コーチングが開始されてもよい。
　次に、図１９にリプレイ・コーチングの具体例を示す。図１９に示すように、ゲームアプリがＴＰＳのようなシューティングゲームである場合に、ユーザが過去にプレイしたプレイシーンの中に、「壁を壊す」、「相手を発見」、「相手を狙う」、「相手を攻撃」の各シーンの一連の流れがあったものとする。
　すると、ＡＩは、これら一連のプレイシーンの映像をリプレイしつつ、例えば、時点Ｔ１の「相手を発見」のシーンをトリガとして、時点Ｔ２の「相手を狙う」までの操作につき、音声による「相手を狙う前に相手をよく確認したほうがいいですよ」といったコーチングを行う。
　また、ＡＩは、例えば、時点Ｔ３の「相手を攻撃」の操作につき、ユーザの失敗時には、音声による例えば「早い！」や「遅い！」といったコーチングを行う。一方、ユーザの成功時には、例えば「いいタイミングです！」といったコーチングを行う。これにより、ユーザは、再現したいシーンを実際に確かめつつ、自身が実際に行ったプレイに応じたコーチングを受けることで、自身のプレイ精度を高めることが可能となる。
　なお、これまでは、ＡＩが音声によるコーチングを行う場合を例に挙げたが、ユーザがゲームをプレイ中の周囲環境によっては、音声によるコーチングが不適当な場合もありうる。音声によるコーチングが不適当な場合は、例えばユーザが、通勤中や通学中などに公共交通機関の中でゲームをプレイしている場合や、情報処理装置１０にマナーモードが設定されている場合などである。
　かかる場合、図２０に示すように、ＡＩ（ゲームプレイ支援部１６ｃ）は、センサ部１１を介して周囲環境を検知し、検知した周囲環境に応じてサポート方法、すなわちコーチングの仕方を変更する。例えば、ＡＩは、検知した周囲環境が、音声によるコーチングが不適当な場合は、コーチングの仕方を音声からチャット等を介した方法へと変更する。
　なお、図２０に示すように、周囲環境としてゲームサーバ１００およびネットワークＮを介したレイテンシを検知し、かかるレイテンシを加味した入力タイミング調整を行うようにしてもよい。また、これまでは、各情報処理装置１０がＡＩを備える例を挙げてきたが、ゲームサーバ１００が本開示の実施形態に係るＡＩを備え、ゲームサーバ１００のＡＩが、各情報処理装置１０に対し、これまで説明したゲームプレイ支援処理によるゲームプレイ支援機能を提供するようにしてもよい。
＜＜４．他の情報処理装置への通知例＞＞
　次に、他の情報処理装置１０への通知例について、図２１を用いて説明する。図２１は、他の情報処理装置１０への通知例の説明図である。なお、図２１は、他の情報処理装置１０に表示されたゲーム画面を表すものである。
　図２１に示すように、ゲームプレイ支援部１６ｃは、ネットワークＮを経由して他のユーザが他の情報処理装置１０を用いて、オートプレイ中であるユーザを第三者視点で確認した場合に、該当のユーザがオートプレイ中であることが分かるように他の情報処理装置１０に対し通知する。
　かかる通知を受けた他の情報処理装置１０は、図２１に示すように、該当のユーザのユーザ名とともに、かかるユーザがオートプレイ中であり、ＡＩによるコーチングを受けている最中であることを示す情報（図２１の例では、「ＡＩコーチング中」の表記）を表示させる。これにより、ＴＰＳやＭＭＯＲＰＧなどのオンラインゲームにおいて、他の参加者が、該当のユーザがオートプレイ中であるか否かを容易に見分けたり、無用にチャットなどで話しかけるのを防止したり、チャットなどで本人らしくない反応が返ってきても容易に理解したり、極めてスキルが高いことを容易に理解したりすることができる。
＜＜５．変形例＞＞
　ところで、上述してきた本開示の実施形態には、いくつかの変形例を挙げることができる。
　例えば、本開示の実施形態では、ＡＩモデル１５ａがＤＮＮであることとしたが、機械学習によって学習されるＡＩモデル１５ａの構成を限定するものではない。例えば、ＡＩモデル１５ａは、ＶＡＥ（Variational　Auto　Encoder）やＧＡＮ（Generative　Adversarial　Network）などであってもよい。また、機械学習のアルゴリズムとして、ディープラーニング以外のアルゴリズムを用いてもよい。たとえば、ＳＶＭ（Support　Vector　Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、ＡＩモデル１５ａを学習してもよい。また、ここで、パターン識別器はＳＶＭに限らず、たとえばアダブースト（AdaBoost）などであってもよい。また、ランダムフォレストやディープ・フォレストなどを用いてもよい。
　また、上述した本開示の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上述した本開示の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
＜＜６．ハードウェア構成＞＞
　また、上述してきた本開示の実施形態に係る情報処理装置１０は、例えば図２２に示すような構成のコンピュータ１０００によって実現される。図２２は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示の実施形態に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１６の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１５内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜７．むすび＞＞
　以上説明したように、本開示の一実施形態によれば、情報処理装置１０は、ゲームアプリ（「アプリ」の一例に相当）に対するユーザの行動を機械学習によって学習する学習部１６ｂと、１以上のゲームアプリに対し横断的に、学習部１６ｂの学習結果を用いてゲームアプリに対するユーザの入力を補助するゲームプレイ支援処理（「操作支援処理」の一例に相当）を実行するゲームプレイ支援部１６ｃ（「支援部」の一例に相当）と、を備える。これにより、ゲームアプリを問わず、ユーザのゲームプレイ（「アプリ操作」の一例に相当）における利便性を向上させることができる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　アプリに対するユーザの行動を機械学習によって学習する学習部と、
　１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリに対する前記ユーザの入力を補助する支援処理を実行する支援部と、
　を備える情報処理装置。
（２）
　前記アプリは、ゲームアプリであって、
　前記学習部は、
　前記ゲームアプリにおける特定の入力に対する入力前の操作と、前記特定の入力の結果の相関を学習し、
　前記支援部は、
　前記相関の学習結果を用いて、前記ユーザによる前記特定の入力の結果が成功となるように前記ユーザの入力を補助する、
　前記（１）に記載の情報処理装置。
（３）
　前記支援部は、
　前記相関の学習結果を用いて、前記入力前の操作のパターンごとに前記特定の入力の結果を成功にする入力値を算出し、前記ユーザによる前記入力前の操作がパターン検出された場合に、当該パターン検出された前記入力前の操作に応じた前記入力値を特定する、
　前記（２）に記載の情報処理装置。
（４）
　前記支援部は、
　一時的に前記ユーザの入力を無効化し、特定された前記入力値によって前記ユーザの入力を代替えする、
　前記（３）に記載の情報処理装置。
（５）
　前記支援部はさらに、
　前記ユーザの入力に対するコーチングを行う前記支援処理を実行する、
　前記（２）、（３）または（４）に記載の情報処理装置。
（６）
　前記支援部は、
　前記ユーザのスキルに応じた前記コーチングを行うように前記支援処理を実行する、
　前記（５）に記載の情報処理装置。
（７）
　前記支援部は、
　前記ユーザによる前記入力前の操作がパターン検出された場合に、当該パターン検出された前記入力前の操作にリアルタイムに応じた前記コーチングを行うように前記支援処理を実行する、
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記支援部は、
　前記ユーザの周囲環境に応じて、前記コーチングの仕方を変更するように前記支援処理を実行する、
　前記（５）、（６）または（７）に記載の情報処理装置。
（９）
　前記支援部は、
　前記ユーザ以外の他のユーザに対し、前記ユーザが前記支援処理の支援を受けていることを、ネットワークを介して通知する、
　前記（２）～（８）のいずれか一つに記載の情報処理装置。
（１０）
　アプリに対するユーザの行動を機械学習によって学習することと、
　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリに対する前記ユーザの入力を補助する支援処理を実行することと、
　を含む情報処理方法。
（１１）
　アプリに対するユーザの行動を機械学習によって学習すること、
　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリに対する前記ユーザの入力を補助する支援処理を実行すること、
　をコンピュータに実現させるためのプログラム。
　１０　情報処理装置
　１１　センサ部
　１２　入力部
　１３　出力部
　１４　通信部
　１５　記憶部
　１５ａ　ＡＩモデル
　１５ｂ　アプリ情報
　１６　制御部
　１６ａ　取得部
　１６ｂ　学習部
　１６ｃ　ゲームプレイ支援部
　１６ｄ　アプリ実行部
　１６ｅ　送受信部
　１００　ゲームサーバ
　Ｎ　ネットワーク

Claims (11)

  1. 　アプリに対するユーザの行動を機械学習によって学習する学習部と、
    　１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリに対する前記ユーザの入力を補助する操作支援処理を実行する支援部と、
    　を備える情報処理装置。
  2. 　前記アプリは、ゲームアプリであって、
    　前記学習部は、
    　前記ゲームアプリにおける特定の入力に対する入力前の操作と、前記特定の入力の結果の相関を学習し、
    　前記支援部は、
    　前記相関の学習結果を用いて、前記ユーザによる前記特定の入力の結果が成功となるように前記ユーザの入力を補助する、
    　請求項１に記載の情報処理装置。
  3. 　前記支援部は、
    　前記相関の学習結果を用いて、前記入力前の操作のパターンごとに前記特定の入力の結果を成功にする入力値を算出し、前記ユーザによる前記入力前の操作がパターン検出された場合に、当該パターン検出された前記入力前の操作に応じた前記入力値を特定する、
    　請求項２に記載の情報処理装置。
  4. 　前記支援部は、
    　一時的に前記ユーザの入力を無効化し、特定された前記入力値によって前記ユーザの入力を代替えする、
    　請求項３に記載の情報処理装置。
  5. 　前記支援部はさらに、
    　前記ユーザの入力に対するコーチングを行う前記操作支援処理を実行する、
    　請求項２に記載の情報処理装置。
  6. 　前記支援部は、
    　前記ユーザのスキルに応じた前記コーチングを行うように前記操作支援処理を実行する、
    　請求項５に記載の情報処理装置。
  7. 　前記支援部は、
    　前記ユーザによる前記入力前の操作がパターン検出された場合に、当該パターン検出された前記入力前の操作にリアルタイムに応じた前記コーチングを行うように前記操作支援処理を実行する、
    　請求項５に記載の情報処理装置。
  8. 　前記支援部は、
    　前記ユーザの周囲環境に応じて、前記コーチングの仕方を変更するように前記操作支援処理を実行する、
    　請求項５に記載の情報処理装置。
  9. 　前記支援部は、
    　前記ユーザ以外の他のユーザに対し、前記ユーザが前記操作支援処理の支援を受けていることを、ネットワークを介して通知する、
    　請求項２に記載の情報処理装置。
  10. 　アプリに対するユーザの行動を機械学習によって学習することと、
    　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリに対する前記ユーザの入力を補助する操作支援処理を実行することと、
    　を含む情報処理方法。
  11. 　アプリに対するユーザの行動を機械学習によって学習すること、
    　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリに対する前記ユーザの入力を補助する操作支援処理を実行すること、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2022/042182 2021-12-09 2022-11-14 情報処理装置、情報処理方法およびプログラム WO2023106040A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021200084 2021-12-09
JP2021-200084 2021-12-09

Publications (1)

Publication Number Publication Date
WO2023106040A1 true WO2023106040A1 (ja) 2023-06-15

Family

ID=86730269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042182 WO2023106040A1 (ja) 2021-12-09 2022-11-14 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023106040A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143408A (ja) * 2011-01-12 2012-08-02 Square Enix Co Ltd ネットワークゲームシステム、ゲーム装置、及びプログラム
JP2015132951A (ja) * 2014-01-10 2015-07-23 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2016526952A (ja) * 2013-05-30 2016-09-08 エンパイア テクノロジー ディベロップメント エルエルシー 多人数同時参加型オンラインロールプレイングゲームをコントロールすること
JP2019520154A (ja) * 2016-06-30 2019-07-18 株式会社ソニー・インタラクティブエンタテインメント ゲーミングアプリケーション中に特定のタスクをプレイするための制御モード
US20190270014A1 (en) * 2018-03-01 2019-09-05 Primax Electronics Ltd. Ai-assisted operating system
US10576380B1 (en) * 2018-11-05 2020-03-03 Sony Interactive Entertainment LLC Artificial intelligence (AI) model training using cloud gaming network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143408A (ja) * 2011-01-12 2012-08-02 Square Enix Co Ltd ネットワークゲームシステム、ゲーム装置、及びプログラム
JP2016526952A (ja) * 2013-05-30 2016-09-08 エンパイア テクノロジー ディベロップメント エルエルシー 多人数同時参加型オンラインロールプレイングゲームをコントロールすること
JP2015132951A (ja) * 2014-01-10 2015-07-23 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP2019520154A (ja) * 2016-06-30 2019-07-18 株式会社ソニー・インタラクティブエンタテインメント ゲーミングアプリケーション中に特定のタスクをプレイするための制御モード
US20190270014A1 (en) * 2018-03-01 2019-09-05 Primax Electronics Ltd. Ai-assisted operating system
US10576380B1 (en) * 2018-11-05 2020-03-03 Sony Interactive Entertainment LLC Artificial intelligence (AI) model training using cloud gaming network

Similar Documents

Publication Publication Date Title
US11484802B2 (en) Interactive gameplay playback system
US11065539B2 (en) Method and system for sharing video game content
CN107029429B (zh) 用于实现云游戏系统的时移辅导的系统、方法及可读媒体
JP6144738B2 (ja) ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
US10569163B2 (en) Server and method for providing interaction in virtual reality multiplayer board game
US11327708B2 (en) Integrating audience participation content into virtual reality content
JP6166324B2 (ja) ゲームプログラム及びゲームシステム
US20200376380A1 (en) Information processing apparatus, information processing method, and recording medium
KR20210137127A (ko) 조작 제어 방법 및 장치, 저장 매체 및 디바이스
WO2023106040A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20200376378A1 (en) Game system, terminal apparatus, and recording medium
TWI775714B (zh) 視訊遊戲指導系統
JP6813558B2 (ja) ゲームプログラムならびにゲームシステム
WO2023106058A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11117051B2 (en) Video game program and game system
JP6907148B2 (ja) 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6526101B2 (ja) ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
JP7093590B1 (ja) ゲームシステム、コンピュータプログラム及び制御方法
JP2018030029A (ja) サーバシステム及びプログラム
US20230381652A1 (en) Cooperative and coached gameplay
JP6813324B2 (ja) 画面制御プログラム
JP2021178183A (ja) 情報処理方法、装置、及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2021151336A (ja) 情報処理装置、出力音決定方法及び出力音決定プログラム
CN114968427A (zh) 一种数据处理方法、装置及计算机可读存储介质
JP2014166567A (ja) ビデオゲーム処理装置、ビデオゲーム処理プログラムおよび端末用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903971

Country of ref document: EP

Kind code of ref document: A1