WO2023106058A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023106058A1
WO2023106058A1 PCT/JP2022/042647 JP2022042647W WO2023106058A1 WO 2023106058 A1 WO2023106058 A1 WO 2023106058A1 JP 2022042647 W JP2022042647 W JP 2022042647W WO 2023106058 A1 WO2023106058 A1 WO 2023106058A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information processing
play
game
learning
Prior art date
Application number
PCT/JP2022/042647
Other languages
English (en)
French (fr)
Inventor
宏一郎 高島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023106058A1 publication Critical patent/WO2023106058A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • game application such as Role-Playing Game
  • the present disclosure proposes an information processing device, an information processing method, and a program that can improve convenience in user's application operation regardless of the application.
  • an information processing apparatus includes a learning unit that learns a situation when a user operates an app by machine learning, and across one or more apps, and a support unit that executes operation support processing for automatically operating the application using a learning result of the learning unit.
  • FIG. 1 is a schematic explanatory diagram (1) of an information processing method according to an existing technique
  • FIG. FIG. 2 is a schematic explanatory diagram (part 2) of an information processing method according to an existing technique
  • 1 is a schematic explanatory diagram (1) of an information processing method according to an embodiment of the present disclosure
  • FIG. FIG. 2 is a schematic explanatory diagram (Part 2) of an information processing method according to an embodiment of the present disclosure
  • 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present disclosure
  • FIG. FIG. 11 is a diagram showing an example of an autoplay on/off setting screen
  • FIG. 10 is an explanatory diagram (part 1) of an example of auto-play settings according to the situation at the time of play
  • FIG. 12 is an explanatory diagram (part 2) of an example of auto-play settings according to the situation at the time of play;
  • FIG. 10 is an explanatory diagram (part 1) of an example of auto-play setting in an interactive format using scene replay;
  • FIG. 12 is an explanatory diagram (part 2) of an example of auto-play setting in an interactive format using scene replay;
  • FIG. 11 is an explanatory diagram of a setting example of semi-auto play;
  • FIG. 10 is an explanatory diagram of an example of notification to another information processing apparatus;
  • 1 is a processing sequence (Part 1) of a learning algorithm in an information processing apparatus;
  • 2 is a processing sequence (part 2) of a learning algorithm in an information processing apparatus;
  • 1 is a hardware configuration diagram showing an example of a computer that implements functions of an information processing apparatus;
  • FIG. 1 is a schematic explanatory diagram (Part 1) of an information processing method according to the existing technology.
  • FIG. 2 is a schematic explanatory diagram (part 2) of an information processing method according to the existing technology.
  • FIG. 3 is a schematic explanatory diagram (Part 1) of the information processing method according to the embodiment of the present disclosure.
  • FIG. 4 is a schematic explanatory diagram (part 2) of the information processing method according to the embodiment of the present disclosure.
  • the existing technology is based on the premise that the user directly plays one game application on a one-to-one basis. Also, at this time, even if the game application has an auto-play function, the user can only use the auto-play as part of the function of the game application. The contents of autoplay are usually different and limited for each game application.
  • the user can use auto-play for game apps having an auto-play function, game apps #1 and #3 in the example of FIG.
  • game apps #1 and #3 for example, some allow leveling as described above, while others do not.
  • the user's playing situation for the game application is learned by machine learning, and the learning result of machine learning is used across one or more game applications. We decided to execute an operation support process for auto-playing the application.
  • the information processing device has a game play support function.
  • the "game play support application” that executes such functions intervenes, so to speak, between the game application and the user, and provides an auto-play function that automatically plays the game on behalf of the user.
  • the game play support application provides an auto-play function in a form that integrates multiple game applications, in other words, across multiple game applications. Therefore, the game play support application can provide the auto-play function even for the game application #2 which originally does not have the auto-play function.
  • the game play support application can integrally set auto play for game applications #1 and #3, which originally have individual auto play functions, including game application #2.
  • the game play support application includes the user's "mental and physical condition” based on vital data, "surrounding situation” such as GPS (Global Positioning System) position, temperature, etc. "Situation during play” Autoplay settings are made based on an AI (Artificial Intelligence) model 15a that learns from time to time.
  • the AI model 15a is, for example, a DNN (Deep Neutral Network) or the like.
  • the game play support application replays video of play scenes that the user has played in the past, and proposes to the user the content of autoplay according to each scene and in line with the characteristics of the user's play. Then, the content of the autoplay is set by the interactive form with the user in response to the proposal. Then, the game-play support application executes auto-play according to the content of auto-play that has been set.
  • a semi-automatic application that allows the user to intervene interruptively and only when the user intervenes in the game play support application that plays on behalf of the user. It can provide a play function.
  • a specific example of such a semi-auto play function will be described later with reference to FIG.
  • the game play support application communicates with the other information processing device 10 via the network N, such as game application #3.
  • the network N such as game application #3.
  • the user's playing situation for the game application is learned by machine learning, and the learning result of machine learning is used across one or more game applications. We decided to execute operation support processing for auto-playing the game application.
  • the user's convenience in playing the game can be improved regardless of the game application.
  • the information processing method according to the embodiment of the present disclosure regardless of the game application, it is possible to automatically perform monotonous work such as leveling instead of the user, thereby reducing the burden on the user.
  • the second is to use the accumulated experience points to improve the character's ability values.
  • the experience points needed to go up to the next level are accumulated, a "level up" will automatically occur due to processing on the game side. In many cases, the user does not need to perform the operation.
  • sports games have an auto-play function, but in the auto-play function, practice and games are repeated, but in many cases experience points are accumulated and not consumed.
  • the user needs to temporarily stop autoplay and manually increase the character's ability. That is, in this case, the user uses the accumulated experience value to select and improve a specific ability value to be improved from among the character's ability values such as attack power, defense power, running power, and dribbling. Operation must be done manually.
  • the information processing method according to the embodiment of the present disclosure realizes to automatically perform these monotonous leveling work on behalf of the user.
  • a configuration example of the information processing apparatus 10 to which the information processing method according to the embodiment of the present disclosure is applied will be described more specifically.
  • FIG. 5 is a block diagram showing a configuration example of the information processing device 10 according to the embodiment of the present disclosure. It should be noted that FIG. 5 shows only the components necessary for describing the features of the embodiment of the present disclosure, and omits the description of general components.
  • each component illustrated in FIG. 5 is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution/integration of each block is not limited to the one shown in the figure. It is possible to integrate and configure.
  • the information processing device 10 is a computer used by the user to use game applications and other various applications, and is, for example, a smartphone or a tablet terminal.
  • the information processing apparatus 10 may be a PC (Personal Computer), a wearable device, or a dedicated game machine as long as it is limited to a game application.
  • the information processing device 10 includes a sensor section 11, an input section 12, an output section 13, a communication section 14, a storage section 15, and a control section 16.
  • the sensor unit 11 is a group of various sensors, and includes, for example, a camera 11a, a vital sensor 11b, a GPS sensor 11c, and a microphone 11d.
  • the camera 11a is, for example, an in-camera of a smartphone, and is provided so as to be able to capture image data capable of detecting the user's expression, line of sight, pupil reaction, etc. during game play.
  • the vital sensor 11b is a sensor that detects the user's mental and physical condition. to measure.
  • the GPS sensor 11c measures the GPS position of the user playing the game.
  • the microphone 11d picks up the voice of the user playing the game.
  • the sensor unit 11 may, of course, include various sensors other than those described above, such as an inertial sensor, as appropriate.
  • the input unit 12 is an input component through which the user inputs various operations.
  • the input unit 12 may be configured integrally with the output unit 13, which will be described later, using a touch panel or the like. Therefore, the input unit 12 may be a software component, such as a GUI (Graphical User Interface) for operating a game application.
  • GUI Graphic User Interface
  • the output unit 13 is, for example, a display device that displays visual information, and under the control of the control unit 16, displays visual information such as moving images and text regarding the entire system and game applications.
  • Examples of the above display devices include LCDs (Liquid Crystal Displays) and OLEDs (Organic Light Emitting Diodes).
  • the output unit 13 is, for example, a sounding device that pronounces voice information, and under the control of the control unit 16, sounds voice information such as voices related to the entire system and game applications.
  • the sounding device include a speaker and the like.
  • the communication unit 14 is implemented by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 14 is connected wirelessly or by wire to a network N such as the Internet or a mobile phone network, and transmits and receives information to and from other information processing devices 10 and a game server (not shown) via the network N. conduct.
  • a network N such as the Internet or a mobile phone network
  • the storage unit 15 is implemented, for example, by semiconductor memory devices such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory. In the example shown in FIG. 5, the storage unit 15 stores an AI model 15a and application information 15b.
  • the AI model 15a already shown in FIG. 4 is a learning model learned by a learning unit 16b, which will be described later.
  • the AI model 15a is a DNN or the like, as already described, and learns the correlation of each element in a multi-dimensional feature amount space in which each dimension is each element indicating the content of the game and the above-described play situation.
  • Each element includes the game title, the user's input to the content of the game being played and the corresponding output, the physical and mental state of the user in response to these inputs or outputs, the surrounding conditions such as GPS position and temperature during play, and changes in the event of erroneous input. operation, and the like.
  • the application information 15b is information including programs of various applications executed by the information processing device 10, such as game application programs, various parameters used during execution of the game applications, and the like.
  • the control unit 16 is a controller. For example, various programs stored in the storage unit 15 are executed by a CPU (Central Processing Unit), MPU (Micro Processing Unit), etc., using the RAM as a work area. It is realized by Also, the control unit 16 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 16 includes an acquisition unit 16a, a learning unit 16b, a game play support unit 16c, an application execution unit 16d, and a transmission/reception unit 16e, and realizes or executes information processing functions and actions described below. do.
  • the acquisition unit 16a acquires the above-described situation during play, including the user's mental and physical condition and surroundings, via the sensor unit 11. In addition, the acquiring unit 16a outputs the acquired situation during play to the learning unit 16b at any time. Note that the acquisition unit 16a can also acquire conditions during play (for example, temperature, weather, traffic conditions, etc.) via the network N not only from the sensor unit 11, but also from, for example, a transmission/reception unit 16e, which will be described later.
  • conditions during play for example, temperature, weather, traffic conditions, etc.
  • the learning unit 16b learns the AI model 15a based on the play situation acquired by the acquisition unit 16a and the game content input from the game play support unit 16c, which will be described later.
  • An example of the learning algorithm executed by the learning unit 16b will be described later with reference to FIGS. 13 and 14.
  • the game play support unit 16c executes game play support processing that implements the functions of the game play support application described using FIGS. That is, the game play support unit 16c provides an auto-play function by integrating a plurality of game applications.
  • the game play support unit 16c provides the user with the content of the auto-play output from the AI model 15a in accordance with the user's playing characteristics in response to the inputted play situation and game content. to propose. Then, the game play support unit 16c sets the content of the autoplay through an interactive format with the user using the input unit 12 and the output unit 13 in response to the proposal. Then, the game play support unit 16c causes the application execution unit 16d, which will be described later, to execute the game application, to perform auto play on behalf of the user in accordance with the content of the set auto play.
  • the game play support unit 16c provides a semi-auto play function that reflects the user's operation only when the user intervenes via the input unit 12 as an interruption to the auto play on behalf of the user.
  • the game play support unit 16c notifies other information processing devices 10 with which the application execution unit 16d exchanges information about the game application being executed via the network N that the auto-play function is being used.
  • game play support unit 16c executes game play support processing while being resident in the control unit 16, for example, as middleware.
  • the application executing unit 16d executes the game application started by the user based on the application information 15b. In addition, the application executing unit 16d receives input from the user through the input unit 12 or input by autoplay on behalf of the user from the game play support unit 16c. The application execution unit 16d also causes the output unit 13 to output the content of the game that progresses according to the received input as an output result via the game play support unit 16c.
  • the transmission/reception unit 16e transmits the information to the other information processing apparatus 10 via the communication unit 14. Send and receive to/from 10. Further, the transmitting/receiving unit 16e receives the play status that can be obtained via the network N, and causes the obtaining unit 16a to obtain the information.
  • FIG. 6 is a diagram showing an example of an autoplay on/off setting screen.
  • the information processing device 10 displays an auto-play on/off setting screen as shown in FIG. 6, for example.
  • a setting screen is displayed by the game play support unit 16c, for example, when the user selects an item corresponding to auto play from the system setting screen of the information processing device 10 or the like.
  • any game session may be selectable for "all game sessions”.
  • the user can arbitrarily select each item indicating the content of each auto-play, such as "leveling in field” and "item search in field”. can be done.
  • These items can be presented as options by the game play support unit 16c based on each scene determined as a result of past AI learning.
  • FIG. 6 shows an example of "autoplay content” that can be set for MMORPGs and the like.
  • a game application such as a shooting game or a sports game
  • the "autoplay content” items corresponding to such other game applications are also displayed.
  • AI learning using these data learns the correlation between the game application and the situation at the time of play, for example, calculates the autoplay compatibility rate, and calculates the compatibility rate. You can set the auto play based on.
  • FIG. 7 is an explanatory diagram (Part 1) of an example of auto-play settings according to the situation at the time of play.
  • FIG. 8 is an explanatory diagram (part 2) of an example of auto-play settings according to the situation at the time of play.
  • the user's vital data, GPS position, ambient temperature, time of day, environmental sounds, etc. are acquired as conditions during play.
  • Each of these data can be used to identify situations in which it is difficult for the user to concentrate on playing the game app, such as when commuting to work or school, at work or during class, or situations in which it is not suitable for playing in the first place. may indicate.
  • these data are used to learn the AI model 15a, and for example, when a real-time play situation is input, the AI model 15a determines whether the situation is suitable for auto play. You may make it output the autoplay compatibility rate which shows the degree of.
  • FIG. 9 is an explanatory diagram (part 1) of an example of autoplay settings in an interactive format using scene replay.
  • FIG. 10 is an explanatory diagram (part 2) of a setting example of autoplay in an interactive format using scene replay.
  • the play scenes that the user has played in the past include “break the wall”, “discover the opponent”, “aim at the opponent”, “attack the opponent”, and so on. It is assumed that there is a series of flows of each scene.
  • the game play support unit 16c uses, for example, the scene of "discovering an opponent" at time T1 as a trigger, and from time T2 to time T3, from “aim at the opponent” to time T3.
  • a dialog asking the user, "Is this operation OK?" is displayed for the operation up to "attack the opponent".
  • the game play support unit 16c proposes another operation.
  • another operation is, for example, an operation of attacking the opponent with another weapon or not attacking.
  • the game play support unit 16c replays scenes corresponding to such other triggers, presents operations corresponding to the scenes, and interactively auto-plays. Set the content of the play.
  • FIG. 11 is an explanatory diagram of a setting example of semi-auto play.
  • the game play support unit 16c can set semi-auto play triggered by the user's utterance of a predetermined wake word, for example.
  • a wake word as shown in FIG. 11, reminds the user of temporarily stopping auto play, such as "Wait” or "Oh!.
  • wake words for resuming autoplay are, as shown in FIG. 11, e.g.
  • the game play support unit 16c further provides setting items for semi-auto play on the setting screen for auto play shown in FIG. Semi-auto play can be set by registering through 11d.
  • the contents of the auto play shown in FIG. It becomes possible for the user to intervene such as "Don't aim at the opponent" and "Don't attack the opponent". Further, the auto play can be restarted by the user's voice indicating cancellation of the semi-auto play at time T3.
  • the present invention is not limited to this.
  • the semi-auto play start/stop trigger may be based on the user's vital data.
  • Such examples include changes in line of sight, gestures, changes in brain waves, and the like.
  • FIG. 12 is an explanatory diagram of an example of notification to other information processing apparatuses 10. As shown in FIG. 12 shows a game screen displayed on another information processing apparatus 10. FIG. 12
  • the game play support unit 16c when another user uses another information processing device 10 via the network N to confirm the user who is in the auto play from a third person's point of view, , other information processing apparatuses 10 are notified that the corresponding user is in auto play.
  • the other information processing apparatus 10 that has received such a notification displays the user name of the user and a symbol indicating that auto play is being performed ("Auto Play” in the example of FIG. 12). "A") and icons are displayed.
  • an online game such as TPS or MMORPG, it is possible for other participants to easily distinguish whether or not the corresponding user is in auto play, and to prevent unnecessary chatting. It becomes possible.
  • FIG. 13 is a processing sequence (Part 1) of the learning algorithm in the information processing apparatus 10 .
  • FIG. 14 is a processing sequence (part 2) of the learning algorithm in the information processing apparatus 10. As shown in FIG.
  • FIG. 13 shows the processing sequence when the game application is a sports game
  • FIG. 14 shows the processing sequence when the game application is an RPG game.
  • the acquisition unit 16a first acquires the playing situation including the user's mental and physical condition at any time (step S101). Then, the AI model 15a uses the learning unit 16b to learn the situation during play, the content of the game, the correlation between the input and the output as needed (step S102).
  • step S103 the user confirms whether or not there are action points. If there are action points (step S103, Yes), a match within the game is played (step S104).
  • the AI model 15a uses the learning unit 16b to learn the behavior at the start of input in step S104 and the state difference before and after the start of input (step S105).
  • the difference in state before and after the start of input refers to the difference in action points between before the match starts and when the match starts.
  • the AI model 15a learns the behavior of stopping the match at the end of step S104 and the difference between the states before and after the stop by the learning unit 16b (step S106).
  • the difference in state before and after stopping here refers to the difference in player level in the game before and after the match.
  • step S103 is repeated until action points are accumulated.
  • step S107 the user confirms whether or not there is a player whose level is MAX (step S107). If there is a player whose level is MAX (step S107, Yes), the target player is awakened (step S108).
  • step S109 the user confirms whether or not there is an input error regarding the player's awakening. If there is an input error (step S109, Yes), the input content is corrected (step S110).
  • the AI model 15a learns the content of correction in step S110 by the learning unit 16b (step S111).
  • the learning unit 16b can learn the AI model 15a related to an input error using, for example, the user's utterance of "ah” or changes in brain waves as a trigger.
  • step S112 the user confirms whether or not there are action points (step S112). If there are action points (step S112, No), the user repeats the actions from step S104.
  • Action point recovery measures include, for example, billing and waiting for recovery over time. Then, the user repeats the action from step S103.
  • the acquisition unit 16a acquires the playing situation including the user's mental and physical condition at any time (step S201). Then, the AI model 15a uses the learning unit 16b to learn the situation during play, the content of the game, the correlation between the input and the output as needed (step S202).
  • step S203 the user checks whether there are HP (health points)/MP (magic points)/recovery items. If there are any of these (step S203, Yes), there is an enemy that can be subjugated at the current level, and the player moves to a place where the current experience value or an item that is important in the current state is present, and subjugates the enemy (step S204).
  • the AI model 15a uses the learning unit 16b to learn the behavior at the start of input in step S204 and the state difference before and after the start of input (step S205).
  • the states before and after the start of input herein refer to HP/MP/recovery items, levels, enemies at subjugation locations, items, and the like.
  • the AI model 15a learns the action of stopping subjugation at the end of step S204 and the difference between the state before and after stopping by the learning unit 16b (step S206).
  • the states before and after stopping indicate, for example, the remaining number of recovery items.
  • step S203 is repeated until they are accumulated due to recovery over time.
  • step S207 After defeating the enemy, the user confirms whether or not there are recovery items (step S207), and if there are no recovery items (step S207, Yes), obtains the item (step S208). If there is a recovery item (step S207, No), the process proceeds to step S209.
  • the user confirms whether or not there is an input error regarding the subjugation of the enemy (step S209). If there is an input error (step S209, Yes), the input content is corrected (step S210).
  • the AI model 15a learns the correction content in step S210 by the learning unit 16b (step S211).
  • the learning unit 16b can learn the AI model 15a regarding an input error using, for example, the user's utterance of "Ah" or changes in brain waves as a trigger.
  • step S212 the user confirms whether or not the stage has been cleared.
  • the stage indicates, for example, the current subjugation place. If the stage has not been cleared (step S212, No), the user repeats the actions from step S204.
  • step S212 When the stage is cleared (step S212, Yes), the user moves to the next stage (step S213) and repeats the actions from step S203.
  • the AI model 15a is a DNN, but the configuration of the AI model 15a learned by machine learning is not limited.
  • the AI model 15a may be VAE (Variational Auto Encoder) or GAN (Generative Adversarial Network). Algorithms other than deep learning may also be used as machine learning algorithms.
  • the AI model 15a may be learned by executing machine learning by a regression analysis method such as support vector regression using a pattern classifier such as SVM (Support Vector Machine).
  • the pattern classifier is not limited to SVM, and may be AdaBoost or the like. Random forest, deep forest, or the like may also be used.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • FIG. 15 is a hardware configuration diagram showing an example of a computer 1000 that implements the functions of the information processing apparatus 10.
  • Computer 1000 has CPU 1100 , RAM 1200 , ROM 1300 , HDD (Hard Disk Drive) 1400 , communication interface 1500 and input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • the HDD 1400 is a recording medium that records the program according to the embodiment of the present disclosure, which is an example of the program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 16 by executing a program loaded on the RAM 1200.
  • the HDD 1400 stores programs according to the present disclosure and data in the storage unit 15 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the information processing device 10 includes the learning unit 16b that learns the situation when the user operates a game application (equivalent to an example of an “application”) by machine learning.
  • game play support unit 16c (corresponding to an example of a “support unit”).
  • the present technology can also take the following configuration.
  • a learning unit that learns the situation when the user operates the application by machine learning; a support unit that cross-cuts one or more of the apps and executes an operation support process for automatically operating the apps using the learning result of the learning unit;
  • Information processing device (2) the app is a game app, The state at the time of operation includes information regarding the state at the time of play of the user indicated by a device other than the game application, The learning unit Learning the correlation between each element of the information about the situation at the time of playing and the information about the game application, The support unit Performing the automatic operation on behalf of the user using the learning result of the correlation; The information processing device according to (1) above.
  • Each element is The game title of the game application, the user's input during play, the output according to the input, the user's mental and physical state with respect to the input or the output, the user's location information, the user's ambient temperature, and errors including change operations on input,
  • the information processing device according to (2) above.
  • the support unit setting the content of the automatic operation according to the user's playing characteristics indicated by the learning result of the correlation;
  • the information processing apparatus according to (2) or (3).
  • the support unit replaying the user's play scene, proposing the content of the automatic operation to the user according to the replayed scene and in line with the characteristics of the play, and communicating with the user in an interactive manner the content of the automatic operation; to set the The information processing device according to (4) above.
  • the support unit provided so that the user's operation can intervene interruptively during the execution of the automatic operation according to the set content; The information processing apparatus according to (4) or (5).
  • the support unit Triggered by the user's utterance of a predetermined wake word, the user's operation can be intervened or cancelled, The information processing device according to (6) above.
  • the support unit Notifying other users other than the user via a network that the user is receiving support for the operation support process; The information processing apparatus according to any one of (2) to (7) above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置（１０）は、ゲームアプリ（「アプリ」の一例に相当）に対するユーザの操作時の状況を機械学習によって学習する学習部（１６ｂ）と、１以上のゲームアプリに対し横断的に、学習部（１６ｂ）の学習結果を用いてゲームアプリのオートプレイ（「自動操作」の一例に相当）を行う操作支援処理を実行するゲームプレイ支援部（１６ｃ）（「支援部」の一例に相当）と、を備える。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、スマートフォンやタブレット端末といった携帯型の情報処理装置の普及が目覚ましい。また、これら情報処理装置は、画像処理や通信処理についての高性能化も急速に進んでおり、ユーザは、これら情報処理装置を用いて、例えばＴＰＳ（Third-person　shooter）やＭＭＯＲＰＧ（Massively　Multiplayer　Online　Role-Playing　Game）といった多様なゲームアプリケーションソフトウェア（以下、「ゲームアプリ」という）を手軽に楽しむことができる。
　また、こうした状況において、ユーザの利便性をより向上させるために、ゲームアプリの中には、例えば予め設定された所定のゲーム内容を自動的に実行するオートプレイ機能を有するものがある。低スキルのユーザや、忙しいユーザなどは、かかるオートプレイ機能を利用することによって、自身のゲームプレイをアシストしてもらうことができる。同様に、ＭＭＯＲＰＧのようなチーム環境において、チームの編成や戦略をアシストする技術も提案されている（例えば、特許文献１参照）。
特開２０２１－０４１２２５号公報
　しかしながら、上述した従来技術には、ゲームアプリを問わず、ユーザのゲームプレイにおける利便性を向上させるうえで、さらなる改善の余地がある。
　例えば、上述した従来技術を用いた場合、オートプレイ機能を有する特定のゲームアプリを利用するユーザしか、ゲームプレイをアシストしてもらうことができない。
　なお、かかる課題は、ユーザが、オートプレイ機能に相当する自動操作機能を有するまたは有していない、ゲームアプリ以外のアプリを操作する場合にも共通する課題である。
　そこで、本開示では、アプリを問わず、ユーザのアプリ操作における利便性を向上させることができる情報処理装置、情報処理方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、アプリに対するユーザの操作時の状況を機械学習によって学習する学習部と、１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行する支援部と、を備える。
既存技術に係る情報処理方法の概要説明図（その１）である。 既存技術に係る情報処理方法の概要説明図（その２）である。 本開示の実施形態に係る情報処理方法の概要説明図（その１）である。 本開示の実施形態に係る情報処理方法の概要説明図（その２）である。 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。 オートプレイのオン／オフ設定画面の一例を示す図である。 プレイ時の状況に応じたオートプレイの設定例の説明図（その１）である。 プレイ時の状況に応じたオートプレイの設定例の説明図（その２）である。 シーンのリプレイを利用した対話形式でのオートプレイの設定例の説明図（その１）である。 シーンのリプレイを利用した対話形式でのオートプレイの設定例の説明図（その２）である。 セミオートプレイの設定例の説明図である。 他の情報処理装置への通知例の説明図である。 情報処理装置における学習アルゴリズムの処理シーケンス（その１）である。 情報処理装置における学習アルゴリズムの処理シーケンス（その２）である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下では、ユーザが操作するアプリが、ゲームアプリである場合を主たる例に挙げて説明する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．概要
　　２．情報処理装置の構成
　　３．オートプレイの設定例
　　　３－１．オートプレイ
　　　３－２．セミオートプレイ
　　４．他の情報処理装置への通知例
　　５．学習アルゴリズムの処理シーケンス
　　６．変形例
　　７．ハードウェア構成
　　８．むすび
＜＜１．概要＞＞
　図１は、既存技術に係る情報処理方法の概要説明図（その１）である。また、図２は、既存技術に係る情報処理方法の概要説明図（その２）である。また、図３は、本開示の実施形態に係る情報処理方法の概要説明図（その１）である。また、図４は、本開示の実施形態に係る情報処理方法の概要説明図（その２）である。
　ユーザがスマートフォンやタブレット端末といった携帯型の情報処理装置を用いて、例えばＴＰＳやＭＭＯＲＰＧといった多様なゲームアプリを手軽に楽しめる昨今、ゲームアプリの中には、機能の一部としてオートプレイ機能を有するものがある。
　低スキルのユーザや、忙しいユーザなどは、かかるオートプレイ機能を利用することによって、自身のゲームプレイをアシストしてもらうことができる。その一方で、オートプレイ機能を有していないゲームアプリを利用するユーザは無論、オートプレイ機能によりゲームプレイをアシストしてもらうことはできない。
　具体的には、図１に示すように、既存技術は、１つのゲームアプリに対し、１対１でユーザが直接プレイするという関係性が前提となっている。また、この時、ゲームアプリがオートプレイ機能を有していても、ユーザは、ゲームアプリの機能の一部としてのオートプレイを利用できるに過ぎない。オートプレイの内容は通常、ゲームアプリごとに異なっており、また限定的である。
　このため、図２に示すように、ユーザが１台の情報処理装置を用いて複数のゲームアプリを利用する場合、既存技術では、ユーザは、オートプレイの利用に関し、各ゲームアプリのゲームセッションごとに異なる操作を行う必要がある。
　すなわち、既存技術ではまず、ユーザは、オートプレイ機能を有していないゲームアプリについては、当然オートプレイを利用することができない。したがって、図２の例では、ユーザは、ゲームアプリ＃２についてはオートプレイを利用することができず、例えばいわゆる「レベル上げ」と呼ばれる単調なレベリング（level　grinding）作業も、自身の手で地道に繰り返す必要がある。
　その一方で、ユーザは、オートプレイ機能を有するゲームアプリ、図２の例では、ゲームアプリ＃１，＃３についてはオートプレイを利用することができるものの、設定できるオートプレイの内容はゲームアプリごとに異なっており、例えば前述のレベリングが行えるものもあれば、そうでないものもある。
　したがって、既存技術では、ユーザは、オートプレイを利用できる場合でも、ゲームセッションごとに異なるオートプレイの設定を行う必要があったり、オートプレイの内容が限定的であったりと、不便な場合が多かった。
　そこで、本開示の実施形態に係る情報処理方法では、ゲームアプリに対するユーザのプレイ時の状況を機械学習によって学習し、１以上のゲームアプリに対し横断的に、機械学習の学習結果を用いてゲームアプリのオートプレイを行う操作支援処理を実行することとした。
　具体的には、本開示の実施形態に係る情報処理装置は、ゲームプレイ支援の機能を有する。図３に示すように、かかる機能を実行する「ゲームプレイ支援アプリ」は、いわばゲームアプリとユーザの間に介在し、ユーザに代わって自動的にゲームをプレイするオートプレイ機能を提供する。
　また、図４に示すように、ゲームプレイ支援アプリは、複数のゲームアプリを統合した形で、言い換えれば複数のゲームアプリに対し横断的に、オートプレイ機能を提供する。したがって、ゲームプレイ支援アプリは、元々オートプレイ機能のないゲームアプリ＃２についてもオートプレイ機能を提供することが可能である。また、ゲームプレイ支援アプリは、元々個別のオートプレイ機能を有するゲームアプリ＃１，＃３についても、ゲームアプリ＃２を含め、統合的にオートプレイの設定を行うことが可能である。
　例えば、ゲームプレイ支援アプリは、図４に示すように、バイタルデータに基づくユーザの「心身状態」や、ＧＰＳ（Global　Positioning　System）位置、温度といった「周囲状況」などを含む「プレイ時の状況」を随時学習するＡＩ（Artificial　Intelligence）モデル１５ａに基づいてオートプレイの設定を行う。ＡＩモデル１５ａは、例えばＤＮＮ（Deep　Neutral　Network）等である。
　すなわち、本開示の実施形態に係る情報処理方法では、ゲームアプリだけでなく、ゲームアプリ以外が示すユーザのプレイ時の状況に関する情報を取得し、かかる情報を用いて学習したユーザのプレイ時の特徴に沿ってオートプレイの内容を設定する。
　例えば、ゲームプレイ支援アプリは、ユーザが過去にプレイしたプレイシーンの映像をリプレイし、各シーンに応じ、かつ、ユーザのプレイ時の特徴に沿ったオートプレイの内容をユーザに対して提案する。そして、かかる提案に対するユーザとの対話形式により、オートプレイの内容を設定する。そして、ゲームプレイ支援アプリは、設定されたオートプレイの内容に沿ってオートプレイを実行する。
　こうした本開示の実施形態に係る情報処理方法におけるオートプレイの設定および実行に関する具体例については、図６～図１０を用いた説明で後述する。
　また、本開示の実施形態に係る情報処理方法では、図３に示すように、ユーザに代わってプレイするゲームプレイ支援アプリに対し、割り込み的に、ユーザは介入した時だけ介入することができるセミオートプレイ機能を提供することができる。かかるセミオートプレイ機能の具体例については、図１１を用いた説明で後述する。
　また、図４に示すように、本開示の実施形態に係る情報処理方法では、ゲームプレイ支援アプリは、例えばゲームアプリ＃３のように、ネットワークＮを介して他の情報処理装置１０との間で情報をやり取りするゲームアプリについては、他の情報処理装置１０に対し、オートプレイ機能を用いていることを通知することができる。かかる具体例については、図１２を用いた説明で後述する。
　このように、本開示の実施形態に係る情報処理方法では、ゲームアプリに対するユーザのプレイ時の状況を機械学習によって学習し、１以上のゲームアプリに対し横断的に、機械学習の学習結果を用いてゲームアプリのオートプレイを行う操作支援処理を実行することとした。
　したがって、本開示の実施形態に係る情報処理方法によれば、ゲームアプリを問わず、ユーザのゲームプレイにおける利便性を向上させることができる。特に、本開示の実施形態に係る情報処理方法によれば、ゲームアプリを問わず、レベリングのような単調な作業をユーザに代わって自動的に行い、ユーザの負担を減らすことができる。
　なお、「レベリング」について補足しておくと、既存技術でユーザが地道に行う必要のある単調なレベリング作業には２つの意味が含まれる。１つ目は、ＲＰＧ系のゲームであれば、モンスターなどを繰り返し倒して経験値を溜める作業である。スポーツ系のゲームであれば、練習や試合を繰り返し行い、経験値を溜める作業である。
　２つ目は、溜まった経験値を利用して、キャラクタの能力値を向上させる作業である。この２つ目については、ＲＰＧ系のゲームであれば、次のレベルに上がるための経験値が溜まれば、ゲーム側の処理により自動的に「レベルアップ」が発生し、わざわざレベルアップのための操作をユーザ自身が行う必要はない場合が多い。これに対し、スポーツ系のゲームでは、オートプレイ機能は備わっているものの、そのオートプレイ機能では、練習や試合を繰り返し行いはするが、経験値は溜まっていくままで消費されない場合が多い。
　したがって、この場合には、ユーザは一旦オートプレイを止めて、手動操作でキャラクタの能力を上げる操作をする必要がある。すなわち、この場合には、ユーザは、溜まった経験値を使って、キャラクタの攻撃力、守備力、走力、ドリブルなどの各能力値のうち、向上させたい特定の能力値を選んで向上させる操作を手動で行う必要がある。
　本開示の実施形態に係る情報処理方法は、これら単調なレベリング作業をユーザに代わって自動的に行うことを実現するものである。以下、本開示の実施形態に係る情報処理方法を適用した情報処理装置１０の構成例について、より具体的に説明する。
＜＜２．情報処理装置の構成＞＞
　図５は、本開示の実施形態に係る情報処理装置１０の構成例を示すブロック図である。なお、図５では、本開示の実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
　換言すれば、図５に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
　また、図５を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
　情報処理装置１０は、ユーザがゲームアプリやその他の各種アプリを利用するために用いるコンピュータであり、例えばスマートフォンやタブレット端末である。なお、情報処理装置１０は、ＰＣ（Personal　Computer）や、ウェアラブルデバイス、ゲームアプリに限定すればゲーム専用機などであってもよい。
　図５に示すように、情報処理装置１０は、センサ部１１と、入力部１２と、出力部１３と、通信部１４と、記憶部１５と、制御部１６とを有する。
　センサ部１１は、各種のセンサ群であり、例えば、カメラ１１ａと、バイタルセンサ１１ｂと、ＧＰＳセンサ１１ｃと、マイク１１ｄとを含む。
　カメラ１１ａは、例えばスマートフォンのインカメラなどであって、ゲームをプレイ中のユーザの表情や視線、瞳孔反応などを検知可能な画像データを撮像可能に設けられる。バイタルセンサ１１ｂは、ユーザの心身状態を検知するセンサであって、例えばユーザに装着され、ユーザの心拍や脳波、血中酸素濃度、発汗といった、ゲームをプレイ中のユーザの心身状態を示すバイタルデータを測定する。
　ＧＰＳセンサ１１ｃは、ゲームをプレイ中のユーザのＧＰＳ位置を測位する。マイク１１ｄは、ゲームをプレイ中のユーザの発声を集音する。なお、センサ部１１には無論、これまで説明した以外の各種のセンサ、例えば慣性センサなどが適宜含まれてもよい。
　入力部１２は、ユーザが各種の操作を入力する入力部品である。なお、入力部１２は、タッチパネル等によって後述する出力部１３と一体に構成されてもよい。したがって、入力部１２は、ソフトウェア部品であってもよく、例えばゲームアプリを操作するためのＧＵＩ（Graphical　User　Interface）であってもよい。
　出力部１３は、例えば視覚情報を表示する表示デバイスであって、制御部１６の制御の下で、システム全体やゲームアプリに関する動画像やテキストなどの視覚情報を表示する。上記の表示デバイスには、例えばＬＣＤ（Liquid　Crystal　Display）や、ＯＬＥＤ（Organic　Light　Emitting　Diode）等が挙げられる。
　また、出力部１３は、例えば音声情報を発音する発音デバイスであって、制御部１６の制御の下で、システム全体やゲームアプリに関する音声などの音声情報を発音する。上記の発音デバイスには、例えばスピーカー等が挙げられる。
　通信部１４は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１４は、インターネットや携帯電話回線網等であるネットワークＮと無線または有線で接続され、ネットワークＮを介して、他の情報処理装置１０や図示略のゲームサーバとの間で情報の送受信を行う。
　記憶部１５は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子などによって実現される。図５に示す例では、記憶部１５は、ＡＩモデル１５ａと、アプリ情報１５ｂとを記憶する。
　既に図４にも示したＡＩモデル１５ａは、後述する学習部１６ｂによって学習される学習モデルである。ＡＩモデル１５ａは、既に述べたがＤＮＮ等であり、ゲームの内容および前述のプレイ時の状況を示す各要素を各次元とする多次元の特徴量空間における各要素の相関を随時学習する。
　各要素としては、ゲームタイトル、プレイ中のゲーム内容に対するユーザの入力とこれに応じた出力、これら入力または出力に対するユーザの心身状態、プレイ中のＧＰＳ位置や温度といった周囲状況、誤入力時の変更操作、等が挙げられる。
　アプリ情報１５ｂは、情報処理装置１０で実行される各種のアプリ、例えばゲームアプリのプログラムや、ゲームアプリの実行中に用いられる各種のパラメータ等を含む情報である。
　制御部１６は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１５に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１６は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することができる。
　制御部１６は、取得部１６ａと、学習部１６ｂと、ゲームプレイ支援部１６ｃと、アプリ実行部１６ｄと、送受信部１６ｅとを有し、以下に説明する情報処理の機能や作用を実現または実行する。
　取得部１６ａは、センサ部１１を介してユーザの心身状態や周囲状況を含む前述のプレイ時の状況を取得する。また、取得部１６ａは、取得したプレイ時の状況を学習部１６ｂへ随時出力する。なお、取得部１６ａは、センサ部１１に限らず、例えば後述する送受信部１６ｅから、ネットワークＮを介したプレイ時の状況（例えば、温度や天候、交通状況など）を取得することもできる。
　学習部１６ｂは、取得部１６ａによって取得されたプレイ時の状況、および、後述するゲームプレイ支援部１６ｃから入力されるゲームの内容に基づいて、ＡＩモデル１５ａを学習する。学習部１６ｂが実行する学習アルゴリズムの一例については、図１３および図１４を用いて後述する。なお、学習部１６ｂは、ＡＩモデル１５ａがＤＮＮである場合、ディープラーニングを用いてＡＩモデル１５ａを学習する。
　ゲームプレイ支援部１６ｃは、図３および図４を用いて説明したゲームプレイ支援アプリの機能を実現するゲームプレイ支援処理を実行する。すなわち、ゲームプレイ支援部１６ｃは、複数のゲームアプリを統合した形でオートプレイ機能を提供する。
　具体的には、ゲームプレイ支援部１６ｃは、入力されるプレイ時の状況およびゲームの内容に対し、ＡＩモデル１５ａから出力されるユーザのプレイ時の特徴に沿ったオートプレイの内容をユーザに対して提案する。そして、ゲームプレイ支援部１６ｃは、かかる提案に対する入力部１２および出力部１３を用いたユーザとの対話形式により、オートプレイの内容を設定する。そして、ゲームプレイ支援部１６ｃは、ゲームアプリを実行する後述のアプリ実行部１６ｄに対し、設定されたオートプレイの内容に沿ってユーザに代わるオートプレイを実行する。
　また、ゲームプレイ支援部１６ｃは、ユーザに代わるオートプレイに対し、割り込み的に、ユーザが入力部１２を介して介入した時だけユーザの操作を反映させるセミオートプレイ機能を提供する。
　また、ゲームプレイ支援部１６ｃは、実行中のゲームアプリに関する情報をアプリ実行部１６ｄがネットワークＮを介してやり取りする他の情報処理装置１０に対し、オートプレイ機能を用いていることを通知する。
　なお、ゲームプレイ支援部１６ｃは、制御部１６に例えばミドルウェアとして常駐しつつ、ゲームプレイ支援処理を実行する。
　アプリ実行部１６ｄは、ユーザによって起動されたゲームアプリをアプリ情報１５ｂに基づいて実行する。また、アプリ実行部１６ｄは、ゲームプレイ支援部１６ｃから、入力部１２を介したユーザの入力またはユーザに代わるオートプレイによる入力を受け付ける。また、アプリ実行部１６ｄは、受け付けた入力に応じて進行するゲームの内容を、ゲームプレイ支援部１６ｃを介し、出力結果として出力部１３に出力させる。
　送受信部１６ｅは、アプリ実行部１６ｄが実行中のゲームアプリに関する情報を他の情報処理装置１０との間でやり取りする必要がある場合に、通信部１４を介し、かかる情報を他の情報処理装置１０との間で送受信する。また、送受信部１６ｅは、ネットワークＮを介して取得可能なプレイ時の状況を受信し、取得部１６ａに取得させる。
＜＜３．オートプレイの設定例＞＞
＜３－１．オートプレイ＞
　次に、本開示の実施形態に係る情報処理におけるオートプレイの設定例について、図６～図１０を用いて説明する。まず、図６は、オートプレイのオン／オフ設定画面の一例を示す図である。
　ユーザがオートプレイのオン／オフの設定を行う場合、情報処理装置１０には、例えば図６に示すようなオートプレイのオン／オフ設定画面が表示される。かかる設定画面は、例えばユーザが情報処理装置１０のシステム設定画面等からオートプレイに該当する項目を選択した場合に、ゲームプレイ支援部１６ｃによって表示される。
　そして、ユーザが、かかる設定画面からオートプレイをオンに設定すると、図６に示す「オートプレイ設定」以下の項目が入力可能に有効化される。
　そして、有効化された項目のうち、「オートプレイ対象範囲」としてユーザは、「すべてのゲームセッション」を選択することができる。かかる「すべてのゲームセッション」を選択した場合、図６に示すように、「すべてのゲームプレイをＡＩ学習し、すべてのプレイシーンでオートプレイを提案」することが可能となる。
　なお、図示は略しているが、「すべてのゲームセッション」に対し、任意のゲームセッションが選択可能であってもよい。
　また、「オートプレイ内容」については、図６に示すように、「フィールドでのレベリング」や「フィールドでのアイテム検索」といった各オートプレイの内容を示す各項目を、ユーザが任意に選択することができる。かかる各項目は、過去のＡＩ学習の結果、判別された各シーンに基づき、ゲームプレイ支援部１６ｃが選択肢として提示することができる。
　なお、図６では、ＭＭＯＲＰＧなどについての設定可能な「オートプレイ内容」の例を示している。ユーザが、例えば情報処理装置１０を用いて他のシューティングゲームやスポーツゲームなどのゲームアプリを利用するのであれば、すなわち、こうした他のゲームアプリがインストールされているのであれば、「オートプレイ内容」には、かかる他のゲームアプリに応じた項目が併せて表示されることとなる。
　ところで、ゲームアプリのプレイ時の状況として、ユーザのバイタルデータや、ＧＰＳ位置、温度などを含む周囲状況を取得する点については既に述べた。本開示の実施形態に係る情報処理では、これらのデータを用いたＡＩ学習によって、ゲームアプリとプレイ時の状況との相関を学習し、例えばオートプレイの適合率を算出して、かかる適合率に基づくオートプレイの設定を行うことができる。
　かかる場合の例について、図７および図８を用いて説明する。図７は、プレイ時の状況に応じたオートプレイの設定例の説明図（その１）である。また、図８は、プレイ時の状況に応じたオートプレイの設定例の説明図（その２）である。
　図７に示すように、プレイ時の状況としては、ユーザのバイタルデータや、ＧＰＳ位置、周囲温度、時間帯、環境音などが取得される。これらの各データは、例えば、通勤時や通学時、勤務中や授業中といった、ユーザが自身でゲームアプリをプレイにするにはプレイに集中しにくい状況や、そもそもプレイするには向かない状況を示す場合がある。
　そこで、図７に示すように、これらのデータを用いてＡＩモデル１５ａを学習し、例えばリアルタイムのプレイ時の状況が入力された場合に、ＡＩモデル１５ａが、オートプレイに適した状況であるかの度合いを示すオートプレイ適合率を出力するようにしてもよい。
　そして、図８に示すように、かかるオートプレイ適合率が高い場合、すなわちユーザがプレイに集中しにくい状況である場合、スポーツゲームであれば例えば「試合をスキップしますか？」のようなダイアログを表示し、そのダイアログに対する応答に応じたオートプレイの設定が可能となるようにしてもよい。これにより、ユーザの置かれているリアルタイムな状況に応じて、動的にオートプレイの設定を行うことが可能となる。
　また、既に述べたが、ゲームプレイ支援処理では、例えば、ユーザが過去にプレイしたプレイシーンの映像をリプレイし、各シーンに応じ、かつ、ユーザのプレイ時の特徴に沿ったオートプレイの内容をユーザに対して提案することが可能である。そして、かかる提案に対するユーザとの対話形式により、インタラクティブにオートプレイの内容を設定するが可能である。
　かかる場合の例について、図９および図１０を用いて説明する。図９は、シーンのリプレイを利用した対話形式でのオートプレイの設定例の説明図（その１）である。また、図１０は、シーンのリプレイを利用した対話形式でのオートプレイの設定例の説明図（その２）である。
　図９に示すように、ゲームアプリがＴＰＳである場合に、ユーザが過去にプレイしたプレイシーンの中に、「壁を壊す」、「相手を発見」、「相手を狙う」、「相手を攻撃」の各シーンの一連の流れがあったものとする。
　すると、ゲームプレイ支援部１６ｃは、これら一連のプレイシーンの映像をリプレイしつつ、例えば、時点Ｔ１の「相手を発見」のシーンをトリガとして、時点Ｔ２～時点Ｔ３に示す「相手を狙う」から「相手を攻撃」までの操作を、「この操作でよいですか？」とユーザに問うダイアログを表示する。
　ここで、ユーザが「はい」を選択すれば、時点Ｔ１をトリガとする一連のシーンにおいて、時点Ｔ２～時点Ｔ３までの操作が、オートプレイ内容として設定され、図１０に示すように、ユーザが過去にプレイしたプレイシーンを再現するオートプレイが実行されることとなる。
　一方、図９に示すように、「この操作でよいですか？」と問うダイアログに対し、ユーザが「いいえ」を選択すれば、ゲームプレイ支援部１６ｃは、他の操作を提案する。図９の例では、他の操作は、例えば、相手を他の武器で攻撃したり、攻撃しなかったりといった操作である。
　また、「相手を発見」以外の他のトリガの場合については、ゲームプレイ支援部１６ｃは、かかる他のトリガに応じたシーンをリプレイして、シーンに応じた操作を提示し、対話形式でオートプレイの内容を設定することとなる。
　こうした設定および確認を繰り返すことにより、例えば「相手を発見」した場合に、弱い相手の場合にはすぐに攻撃したり、手強い相手の場合には違う武器で攻撃したり、さらに手強い相手の場合には逃げたり、相手が味方の場合や自身のレベルがＭＡＸの場合には攻撃しなかったりといった、ユーザのプレイ時の特徴に沿った再現性の高いオートプレイ内容の設定が可能となる。
＜３－２．セミオートプレイ＞
　次に、上述したセミオートプレイ機能の設定例について、図１１を用いて説明する。図１１は、セミオートプレイの設定例の説明図である。
　ゲームプレイ支援部１６ｃは、例えばユーザによる所定のウェイクワードの発声をトリガとするセミオートプレイを設定することができる。かかるウェイクワードは、図１１に示すように、例えば「待て」や「あっ」といった、ユーザに代わるオートプレイを一旦停止させることを想起させるものである。
　逆に、オートプレイを再開させるウェイクワードは、図１１に示すように、例えば「よし」や「戻れ」といった、オートプレイを再開させることを想起させるものである。
　ゲームプレイ支援部１６ｃは、例えば図６に示したオートプレイの設定画面にさらにセミオートプレイの設定項目を設けておき、かかるセミオートプレイの設定項目において、セミオートプレイを開始／解除するウェイクワードを、マイク１１ｄを通じて登録することで、セミオートプレイの設定を行うことができる。
　このようにセミオートプレイの設定を行っておくことにより、図１０に示したオートプレイの内容に対し、図１１に示すように、例えば時点Ｔ１でのセミオートプレイの開始を示すユーザの発声により、「相手を狙わない」および「相手を攻撃しない」といったユーザが介入する操作が可能となる。また、時点Ｔ３でのセミオートプレイの解除を示すユーザの発声により、オートプレイを再開させることが可能となる。
　なお、図１０および図１１を用いた説明では、ユーザの所定のウェイクワードの発声をセミオートプレイの開始／解除のトリガとする例を挙げたが、これに限られるものではない。例えば、セミオートプレイの開始／解除のトリガは、ユーザのバイタルデータに基づくものであってもよい。かかる例としては、視線の変化や、ジェスチャ、脳波の変化等を挙げることができる。
＜＜４．他の情報処理装置への通知例＞＞
　次に、他の情報処理装置１０への通知例について、図１２を用いて説明する。図１２は、他の情報処理装置１０への通知例の説明図である。なお、図１２は、他の情報処理装置１０に表示されたゲーム画面を表すものである。
　図１２に示すように、ゲームプレイ支援部１６ｃは、ネットワークＮを経由して他のユーザが他の情報処理装置１０を用いて、オートプレイ中であるユーザを第三者視点で確認した場合に、該当のユーザがオートプレイ中であることが分かるように他の情報処理装置１０に対し通知する。
　かかる通知を受けた他の情報処理装置１０は、図１２に示すように、該当のユーザのユーザ名とともに、オートプレイ中であることを示すシンボル（図１２の例では、「Ａｕｔｏ　Ｐｌａｙ」を示す「Ａ」）やアイコンなどを表示させる。これにより、ＴＰＳやＭＭＯＲＰＧなどのオンラインゲームにおいて、他の参加者が、該当のユーザがオートプレイ中であるか否かを容易に見分けたり、無用にチャットなどで話しかけるのを防止したりすることが可能となる。
＜＜５．学習アルゴリズムの処理シーケンス＞＞
　次に、情報処理装置１０における学習アルゴリズムの処理シーケンスについて、図１３および図１４を用いて説明する。図１３は、情報処理装置１０における学習アルゴリズムの処理シーケンス（その１）である。また、図１４は、情報処理装置１０における学習アルゴリズムの処理シーケンス（その２）である。
　なお、図１３には、ゲームアプリがスポーツゲームである場合の処理シーケンスを、図１４にはゲームアプリがＲＰＧゲームである場合の処理シーケンスを、それぞれ示している。
　図１３に示すように、まず取得部１６ａは、ユーザの心身状態を含むプレイ時の状況を随時取得する（ステップＳ１０１）。そして、ＡＩモデル１５ａは、学習部１６ｂによって、かかるプレイ時の状況、ゲームの内容、入力、出力の相関を随時学習する（ステップＳ１０２）。
　一方、ユーザは、スポーツゲームをプレイする中で、行動ポイントがあるか否かを確認する（ステップＳ１０３）。行動ポイントがある場合（ステップＳ１０３，Ｙｅｓ）、ゲーム内の試合を行う（ステップＳ１０４）。
　すると、ＡＩモデル１５ａは、学習部１６ｂにより、ステップＳ１０４における入力開始の行動と入力開始前後のステートの違いとを学習する（ステップＳ１０５）。入力開始前後のステートの違いは、ここでは、試合が行われる前と試合開始時との行動ポイントの違いを指す。
　また、ＡＩモデル１５ａは、学習部１６ｂにより、かかるステップＳ１０４の終了における試合を止めた行動と止める前後のステートの違いとを学習する（ステップＳ１０６）。止める前後のステートの違いは、ここでは、試合の前後のゲーム内の選手のレベルの違いを指す。
　なお、行動ポイントがない場合（ステップＳ１０３，Ｎｏ）、行動ポイントが蓄積されるまでステップＳ１０３を繰り返す。
　そして、ユーザは、試合を行った後、レベルがＭＡＸの選手がいるか否かを確認する（ステップＳ１０７）。レベルがＭＡＸの選手がいる場合（ステップＳ１０７，Ｙｅｓ）、対象選手を覚醒させる（ステップＳ１０８）。
　また、ユーザは、選手の覚醒に関し、入力ミスがあるか否かを確認する（ステップＳ１０９）。入力ミスがある場合（ステップＳ１０９，Ｙｅｓ）、入力内容を修正する（ステップＳ１１０）。
　すると、ＡＩモデル１５ａは、学習部１６ｂにより、ステップＳ１１０における修正内容を学習する（ステップＳ１１１）。なお、学習部１６ｂは、例えばユーザの「あっ」という発声や脳波の変化などをトリガとして、入力ミスに関するＡＩモデル１５ａの学習を行うことができる。
　そして、ユーザは、行動ポイントがないか否かを確認する（ステップＳ１１２）。行動ポイントがある場合（ステップＳ１１２，Ｎｏ）、ユーザは、ステップＳ１０４からの行動を繰り返す。
　行動ポイントがない場合（ステップＳ１１２，Ｙｅｓ）、ユーザは、行動ポイントの回復対応を行う。行動ポイントの回復対応は、例えば課金や、経時回復待ちなどである。そして、ユーザは、ステップＳ１０３からの行動を繰り返すこととなる。
　また、ゲームアプリがＲＰＧゲームである場合も、図１４に示すように、取得部１６ａは、ユーザの心身状態を含むプレイ時の状況を随時取得する（ステップＳ２０１）。そして、ＡＩモデル１５ａは、学習部１６ｂによって、かかるプレイ時の状況、ゲームの内容、入力、出力の相関を随時学習する（ステップＳ２０２）。
　一方、ユーザは、ＲＰＧゲームをプレイする中で、ＨＰ（helth　point）／ＭＰ（magic　point）／回復アイテムがあるか否かを確認する（ステップＳ２０３）。これらがある場合（ステップＳ２０３，Ｙｅｓ）、現レベルで討伐可能な敵がおり、現経験値または現状態で重要となるアイテムがある場所に移動し、敵を討伐する（ステップＳ２０４）。
　すると、ＡＩモデル１５ａは、学習部１６ｂにより、ステップＳ２０４における入力開始の行動と入力開始前後のステートの違いとを学習する（ステップＳ２０５）。入力開始前後のステートは、ここでは、ＨＰ／ＭＰ／回復アイテム、レベル、討伐場所での敵、アイテム等を指す。
　また、ＡＩモデル１５ａは、学習部１６ｂにより、かかるステップＳ２０４の終了における討伐を止めた行動と止める前後のステートの違いとを学習する（ステップＳ２０６）。止める前後のステートは、ここでは、例えば回復アイテムの残数などを指す。
　なお、ＨＰ／ＭＰ／回復アイテムがない場合（ステップＳ２０３，Ｎｏ）、これらが経時回復などにより蓄積されるまでステップＳ２０３を繰り返す。
　そして、ユーザは、敵を討伐した後、回復アイテムがないか否かを確認する（ステップＳ２０７）回復アイテムがない場合（ステップＳ２０７，Ｙｅｓ）、アイテムを入手する（ステップＳ２０８）。回復アイテムがある場合（ステップＳ２０７，Ｎｏ）、ステップＳ２０９へ移行する。
　また、ユーザは、敵の討伐に関し、入力ミスがあるか否かを確認する（ステップＳ２０９）。入力ミスがある場合（ステップＳ２０９，Ｙｅｓ）、入力内容を修正する（ステップＳ２１０）。
　すると、ＡＩモデル１５ａは、学習部１６ｂにより、ステップＳ２１０における修正内容を学習する（ステップＳ２１１）。なお、既に述べた通り、学習部１６ｂは、例えばユーザの「あっ」という発声や脳波の変化などをトリガとして、入力ミスに関するＡＩモデル１５ａの学習を行うことができる。
　そして、ユーザは、ステージをクリアしたか否かを確認する（ステップＳ２１２）。ステージは、例えば現在の討伐場所などを指す。ステージをクリアしていない場合（ステップＳ２１２，Ｎｏ）、ユーザは、ステップＳ２０４からの行動を繰り返す。
　ステージをクリアした場合（ステップＳ２１２，Ｙｅｓ）、ユーザは、次のステージへ移動し（ステップＳ２１３）、ステップＳ２０３からの行動を繰り返すこととなる。
＜＜６．変形例＞＞
　ところで、上述してきた本開示の実施形態には、いくつかの変形例を挙げることができる。
　例えば、本開示の実施形態では、ＡＩモデル１５ａがＤＮＮであることとしたが、機械学習によって学習されるＡＩモデル１５ａの構成を限定するものではない。例えば、ＡＩモデル１５ａは、ＶＡＥ（Variational　Auto　Encoder）やＧＡＮ（Generative　Adversarial　Network）などであってもよい。また、機械学習のアルゴリズムとして、ディープラーニング以外のアルゴリズムを用いてもよい。例えば、ＳＶＭ（Support　Vector　Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、ＡＩモデル１５ａを学習してもよい。また、ここで、パターン識別器はＳＶＭに限らず、例えばアダブースト（AdaBoost）などであってもよい。また、ランダムフォレストやディープ・フォレストなどを用いてもよい。
　また、上述した本開示の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上述した本開示の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。
＜＜７．ハードウェア構成＞＞
　また、上述してきた本開示の実施形態に係る情報処理装置１０は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示の実施形態に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１６の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部１５内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜８．むすび＞＞
　以上説明したように、本開示の一実施形態によれば、情報処理装置１０は、ゲームアプリ（「アプリ」の一例に相当）に対するユーザの操作時の状況を機械学習によって学習する学習部１６ｂと、１以上のゲームアプリに対し横断的に、学習部１６ｂの学習結果を用いてゲームアプリのオートプレイ（「自動操作」の一例に相当）を行う操作支援処理を実行するゲームプレイ支援部１６ｃ（「支援部」の一例に相当）と、を備える。これにより、ゲームアプリを問わず、ユーザのゲームプレイ（「アプリ操作」の一例に相当）における利便性を向上させることができる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　アプリに対するユーザの操作時の状況を機械学習によって学習する学習部と、
　１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行する支援部と、
　を備える情報処理装置。
（２）
　前記アプリは、ゲームアプリであり、
　前記操作時の状況は、前記ゲームアプリ以外が示す前記ユーザのプレイ時の状況に関する情報を含み、
　前記学習部は、
　前記プレイ時の状況に関する情報および前記ゲームアプリに関する情報の各要素の相関を学習し、
　前記支援部は、
　前記相関の学習結果を用いて、前記ユーザに代わる前記自動操作を行う、
　前記（１）に記載の情報処理装置。
（３）
　前記各要素は、
　前記ゲームアプリのゲームタイトル、プレイ中の前記ユーザの入力、前記入力に応じた出力、前記入力または前記出力に対する前記ユーザの心身状態、前記ユーザの位置情報、前記ユーザの周囲の温度、および、誤入力時の変更操作を含む、
　前記（２）に記載の情報処理装置。
（４）
　前記支援部は、
　前記相関の学習結果が示す前記ユーザのプレイ時の特徴に沿って前記自動操作の内容を設定する、
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記支援部は、
　前記ユーザのプレイシーンをリプレイし、リプレイしたシーンに応じかつ前記プレイ時の特徴に沿った前記自動操作の内容を前記ユーザに対して提案し、前記ユーザとの対話形式により、前記自動操作の内容を設定する、
　前記（４）に記載の情報処理装置。
（６）
　前記支援部は、
　設定した内容に沿った前記自動操作の実行中に、割り込み的に前記ユーザの操作を介入可能に設けられる、
　前記（４）または（５）に記載の情報処理装置。
（７）
　前記支援部は、
　前記ユーザによる所定のウェイクワードの発声をトリガとして、前記ユーザの操作を介入可能または解除可能に設けられる、
　前記（６）に記載の情報処理装置。
（８）
　前記支援部は、
　前記ユーザ以外の他のユーザに対し、前記ユーザが前記操作支援処理の支援を受けていることを、ネットワークを介して通知する、
　前記（２）～（７）のいずれか一つに記載の情報処理装置。
（９）
　アプリに対するユーザの操作時の状況を機械学習によって学習することと、
　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行することと、
　を含む情報処理方法。
（１０）
　アプリに対するユーザの操作時の状況を機械学習によって学習すること、
　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行すること、
　をコンピュータに実現させるためのプログラム。
　１０　情報処理装置
　１１　センサ部
　１１ａ　カメラ
　１１ｂ　バイタルセンサ
　１１ｃ　ＧＰＳセンサ
　１１ｄ　マイク
　１２　入力部
　１３　出力部
　１４　通信部
　１５　記憶部
　１５ａ　ＡＩモデル
　１５ｂ　アプリ情報
　１６　制御部
　１６ａ　取得部
　１６ｂ　学習部
　１６ｃ　ゲームプレイ支援部
　１６ｄ　アプリ実行部
　１６ｅ　送受信部
　Ｎ　ネットワーク

Claims (10)

  1. 　アプリに対するユーザの操作時の状況を機械学習によって学習する学習部と、
    　１以上の前記アプリに対し横断的に、前記学習部の学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行する支援部と、
    　を備える情報処理装置。
  2. 　前記アプリは、ゲームアプリであり、
    　前記操作時の状況は、前記ゲームアプリ以外が示す前記ユーザのプレイ時の状況に関する情報を含み、
    　前記学習部は、
    　前記プレイ時の状況に関する情報および前記ゲームアプリに関する情報の各要素の相関を学習し、
    　前記支援部は、
    　前記相関の学習結果を用いて、前記ユーザに代わる前記自動操作を行う、
    　請求項１に記載の情報処理装置。
  3. 　前記各要素は、
    　前記ゲームアプリのゲームタイトル、プレイ中の前記ユーザの入力、前記入力に応じた出力、前記入力または前記出力に対する前記ユーザの心身状態、前記ユーザの位置情報、前記ユーザの周囲の温度、および、誤入力時の変更操作を含む、
    　請求項２に記載の情報処理装置。
  4. 　前記支援部は、
    　前記相関の学習結果が示す前記ユーザのプレイ時の特徴に沿って前記自動操作の内容を設定する、
    　請求項２に記載の情報処理装置。
  5. 　前記支援部は、
    　前記ユーザのプレイシーンをリプレイし、リプレイしたシーンに応じかつ前記プレイ時の特徴に沿った前記自動操作の内容を前記ユーザに対して提案し、前記ユーザとの対話形式により、前記自動操作の内容を設定する、
    　請求項４に記載の情報処理装置。
  6. 　前記支援部は、
    　設定した内容に沿った前記自動操作の実行中に、割り込み的に前記ユーザの操作を介入可能に設けられる、
    　請求項４に記載の情報処理装置。
  7. 　前記支援部は、
    　前記ユーザによる所定のウェイクワードの発声をトリガとして、前記ユーザの操作を介入可能または解除可能に設けられる、
    　請求項６に記載の情報処理装置。
  8. 　前記支援部は、
    　前記ユーザ以外の他のユーザに対し、前記ユーザが前記操作支援処理の支援を受けていることを、ネットワークを介して通知する、
    　請求項２に記載の情報処理装置。
  9. 　アプリに対するユーザの操作時の状況を機械学習によって学習することと、
    　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行することと、
    　を含む情報処理方法。
  10. 　アプリに対するユーザの操作時の状況を機械学習によって学習すること、
    　１以上の前記アプリに対し横断的に、前記学習することの学習結果を用いて前記アプリの自動操作を行う操作支援処理を実行すること、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2022/042647 2021-12-09 2022-11-17 情報処理装置、情報処理方法およびプログラム WO2023106058A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-200110 2021-12-09
JP2021200110 2021-12-09

Publications (1)

Publication Number Publication Date
WO2023106058A1 true WO2023106058A1 (ja) 2023-06-15

Family

ID=86730372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042647 WO2023106058A1 (ja) 2021-12-09 2022-11-17 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023106058A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096680A1 (en) * 2018-11-05 2020-05-14 Sony Interactive Entertainment LLC Artificial intelligence (ai) model training using cloud gaming network
US20200324206A1 (en) * 2019-04-09 2020-10-15 FalconAI Technologies, Inc. Method and system for assisting game-play of a user using artificial intelligence (ai)
JP2020168539A (ja) * 2020-07-16 2020-10-15 株式会社コナミデジタルエンタテインメント ゲーム管理装置、ゲームシステム及びプログラム
JP6843410B1 (ja) * 2020-07-31 2021-03-17 株式会社ＧａｍｉｎｇＤ プログラム、情報処理装置、方法
WO2021080793A1 (en) * 2019-10-22 2021-04-29 Microsoft Technology Licensing, Llc Providing automated user input to an application during a disruption

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096680A1 (en) * 2018-11-05 2020-05-14 Sony Interactive Entertainment LLC Artificial intelligence (ai) model training using cloud gaming network
US20200324206A1 (en) * 2019-04-09 2020-10-15 FalconAI Technologies, Inc. Method and system for assisting game-play of a user using artificial intelligence (ai)
WO2021080793A1 (en) * 2019-10-22 2021-04-29 Microsoft Technology Licensing, Llc Providing automated user input to an application during a disruption
JP2020168539A (ja) * 2020-07-16 2020-10-15 株式会社コナミデジタルエンタテインメント ゲーム管理装置、ゲームシステム及びプログラム
JP6843410B1 (ja) * 2020-07-31 2021-03-17 株式会社ＧａｍｉｎｇＤ プログラム、情報処理装置、方法

Similar Documents

Publication Publication Date Title
JP6894813B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6144738B2 (ja) ビデオゲーム処理プログラム、ビデオゲーム処理システム及びビデオゲーム処理方法
US9433865B2 (en) Game system, game control method, and information storage medium for distributing a game picture played by a given user to another user for game play
CN111228811B (zh) 虚拟对象的控制方法、装置、设备及介质
US20180095708A1 (en) Integrating Audience Participation Content into Virtual Reality Content
CN111318026B (zh) 竞技对局的组队方法、装置、设备及存储介质
US20150231496A1 (en) Non-transitory computer-readable medium storing a program and a server
CN112675547B (zh) 竞技对局的竞赛方法、装置、设备及存储介质
JP2004337305A (ja) ゲーム装置、ゲーム制御プログラムおよびそのプログラムが記録された記録媒体
EP2969078A2 (en) User-generated recordings of skeletal animations
JP2012045422A (ja) プログラム、情報記憶媒体およびゲームシステム
CN111265867B (zh) 对局画面的显示方法、装置、终端及存储介质
WO2022006118A1 (en) Modifying computer simulation video template based on feedback
CN111651616B (zh) 多媒体资源的生成方法、装置、设备及介质
WO2023106058A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2017108817A (ja) プログラム、及びシステム
JP2022524096A (ja) ビデオゲームガイダンスシステム
WO2023106040A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022006124A1 (en) Generating video clip of computer simulation from multiple views
JP6999723B2 (ja) プログラム、端末、及びゲームシステム
JP2015008879A (ja) ゲームシステムおよびゲームシステムの制御方法
JP7071308B2 (ja) プログラム、情報処理装置、ゲームサーバおよびゲームシステム
JP6608493B1 (ja) コンピュータプログラムおよび端末装置
CN112138373B (zh) 互动结果确定方法、装置、计算机设备及存储介质
WO2021187309A1 (ja) ゲームシステム、プログラム、端末及びゲーム管理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22903989

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023566196

Country of ref document: JP

Kind code of ref document: A