WO2023234019A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2023234019A1
WO2023234019A1 PCT/JP2023/018372 JP2023018372W WO2023234019A1 WO 2023234019 A1 WO2023234019 A1 WO 2023234019A1 JP 2023018372 W JP2023018372 W JP 2023018372W WO 2023234019 A1 WO2023234019 A1 WO 2023234019A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
information
unit
evaluation
image
Prior art date
Application number
PCT/JP2023/018372
Other languages
English (en)
French (fr)
Inventor
悠 朽木
賢次 森田
保乃花 尾崎
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023234019A1 publication Critical patent/WO2023234019A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and an information processing program.
  • training is only evaluated based on whether or not skeletal information extracted from the user's actual training video satisfies the training evaluation conditions, and the training is evaluated based on whether or not the skeletal information extracted from the user's actual training video satisfies the training evaluation conditions. No consideration is given to properly communicating the instructional content so that the students can learn it, or updating the instructional content according to the learning situation.
  • the present disclosure proposes an information processing device, an information processing method, and an information processing program that can effectively guide users to acquire target skills.
  • an information processing device provides a scene that is associated with the user in order to induce a performance goal, which is a target action that the user should achieve.
  • a presentation unit that presents the reproduced perceptual information in a state linked to the user's movements, and physical information indicating the physical state of the user when the perceptual information is presented, to achieve the performance goal.
  • an acquisition unit that acquires an evaluation result in which a predetermined evaluation item that is an index for evaluating the achievement status of the performance goal is evaluated; and a control unit that executes predetermined control to modify the aspect of the scene that is displayed according to the evaluation result.
  • FIG. 1 is a diagram illustrating an example of a system according to an embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of an information processing apparatus according to an embodiment.
  • FIG. 3 is a flowchart showing the overall flow of information processing procedures according to the first embodiment.
  • FIG. 4 is a list of examples of information processing according to the first embodiment.
  • FIG. 5 is a diagram showing a specific method of information processing performed in Example 1-1.
  • FIG. 6 is a diagram showing a specific example on the executor side according to Example 1-1.
  • FIG. 7 is a diagram showing a specific example on the instructor's side according to Example 1-1.
  • FIG. 8 is a diagram showing a specific method of information processing performed in Example 1-2.
  • FIG. 9 is a diagram showing a specific example on the executor side according to Example 1-2.
  • FIG. 10 is a diagram showing a specific example on the instructor side according to Example 1-2.
  • FIG. 11 is a diagram showing a specific method of information processing performed in Example 1-3.
  • FIG. 12 is a diagram showing a specific example on the executor side according to Example 1-3.
  • FIG. 13 is a diagram showing a specific method of information processing performed in Example 1-4.
  • FIG. 14 is a diagram showing a specific method of information processing performed in Example 1-5.
  • FIG. 15 is a diagram showing a specific example on the executor side according to the embodiment 1-5.
  • FIG. 16 is a diagram showing a specific example on the instructor side according to the embodiment 1-5.
  • FIG. 17 is a flowchart showing the overall flow of information processing procedures according to the second embodiment.
  • FIG. 18 is a list of examples of information processing according to the second embodiment.
  • FIG. 19 is a diagram showing a specific method of information processing performed in Example 2-1.
  • FIG. 20 is a diagram showing a specific method of information processing performed in Example 2-2.
  • FIG. 21 is a diagram showing a specific method of information processing performed in Example 2-3.
  • FIG. 22 is a diagram showing a specific example on the executor side according to Example 2-3.
  • FIG. 23 is a diagram showing a specific method of information processing performed in Example 2-4.
  • FIG. 24 is a diagram showing a specific example on the executor side according to Example 2-4.
  • FIG. 25 is a block diagram illustrating an example hardware configuration of a computer corresponding to the information processing device 100 according to the embodiment of the present disclosure.
  • the latter is a method of teaching the result of an action as an image, such as ⁇ sing as if you are bursting a balloon above your head.''
  • sharing the image is an issue, and it is also necessary to properly communicate the results.
  • the problem is that it is difficult to
  • the present disclosure aims to make the image transmission more effective by embodying perceptual information and presenting it to the lecturer, and in addition, a method in which the image to be presented is linked to body movements.
  • This technology has two points: it encourages actual behavior by presenting the information as
  • the information processing device transmits perceptual information in which a situation that the user is made to imagine is shown in an image in order to induce a performance goal, which is a behavior that the user should achieve. , presented in a state linked to the user's actions.
  • the information processing device also uses physical information indicating the physical condition of the user when the perceptual information is presented to obtain evaluation results of predetermined evaluation items that serve as indicators for evaluating the achievement status of the performance goal. get.
  • the information processing device executes predetermined control to modify the situation shown in the image in the perceptual information according to the evaluation result.
  • the effect of solving the first problem described above can be expected in that even complex tasks can be easily performed by providing an image that encourages action.
  • FIG. 1 is a diagram illustrating an example of a system according to an embodiment.
  • FIG. 1 shows an information processing system 1 as an example of a system according to an embodiment.
  • the information processing system 1 may include an input device 10, an output device 30, and an information processing device 100. Further, the input device 10, the output device 30, and the information processing device 100 may be communicably connected via a network N by wire or wirelessly.
  • the input device 10 is a device used by a user to input information, and can be used for inputting information such as a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, or a PDA (Personal Digital Assistant). Examples include devices. Furthermore, as another example, the input device 10 may be a peripheral device such as a camera or a microphone. Furthermore, the input device 10 may be a sensing device that detects (senses) the physical condition of the user.
  • the input device 10 may be a smartphone with an imaging function, a sound collection function, and a sensing function.
  • the output device 30 is a device that outputs information to be presented to the user, and is, for example, a VR device, an AR device, a smart mirror, a smartphone, a tablet terminal, a notebook PC, a desktop PC, or a mobile device. Examples include output devices such as a telephone and a PDA.
  • Predetermined application software that realizes transmission and reception of information with the information processing device 100 may be installed in the input device 10 and the output device 30. Furthermore, although the input device 10 and the output device 30 are shown as separate devices in the information processing system 1, they may be the same device.
  • information received from a user's touch operation or voice operation can be input to the information processing device 100, and information presented from the information processing device 100 can be outputted via the screen or speaker. You can also do that.
  • the smartphone can be interpreted as either the input device 10 or the output device 30.
  • the information processing device 100 is an example of an information processing device according to the proposed technology of the present disclosure, and is a central device that performs information processing according to the embodiment.
  • the information processing device 100 may be, for example, a cloud computer that performs processing on the cloud side, that is, a server device.
  • the input device 10 and the output device 30 can be said to be edge computers that perform edge processing near the user.
  • the information processing apparatus 100 provides a skill acquisition support service (hereinafter referred to as "service SA") to the user through information processing according to the embodiment.
  • service SA skill acquisition support service
  • a user is a person who utilizes the service SA.
  • a user can use service SA to acquire a specific skill by actually taking action (attempting) with the goal of acquiring a specific skill, and a user can use service SA to provide guidance to help the practitioner get closer to acquiring the skill. It can be divided into For example, a student-professor relationship is established between the executor and the instructor.
  • the executor can also aim to acquire skills on his own using the service SA, and in this case, the system side (information processing device 100) can perform information processing corresponding to the role of an instructor. Therefore, as a person involved in the information processing system 1, a person whose role is to instruct the executor is not essential.
  • perceptual information is image information that reproduces a scene that is associated (imaged) to the performer in order to induce a performance goal, which is a target action (skill) that the performer should achieve.
  • image image perceptual information
  • scenes that can be reminded of when giving instructions include ⁇ imagine being suspended from the sky and assume the correct posture,'' and ⁇ imagine popping a balloon above your head.''
  • An example is an abstract scene that is often used but is difficult to convey.
  • Examples of relationships between performance goals and evaluation items include the following.
  • “singing with a crisp singing voice” “sound of voice” may be used as an evaluation item that serves as an index for evaluating the achievement status.
  • “size of movement” may be used as an evaluation item that serves as an index for evaluating the achievement status.
  • parameters related to the scene are set so that the instructor or the system side can modify the aspect of the scene.
  • the parameters referred to here are parameters for inducing a performance goal, and are based on the current scene from the perspective of how to inflate the image in order to guide the performer toward the performance goal. Parameters that cause the aspect to be changed for image modification.
  • the information processing according to the embodiment is not, for example, to present an ideal motion as a model, but to present information that affects a performance goal.
  • FIG. 2 is a diagram illustrating a configuration example of the information processing device 100 according to the embodiment.
  • the information processing device 100 includes a communication section 110, a user information database 120, and a control section 130.
  • the communication unit 110 is realized by, for example, a NIC (Network Interface Card).
  • the communication unit 110 is wirelessly connected to the network N, and transmits and receives information to and from the input device 10 and the output device 30, for example.
  • the user information database 120 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk.
  • a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory
  • a storage device such as a hard disk or an optical disk.
  • the user information database 120 may store, for example, data related to information processing according to the embodiment. Specifically, the user information database 120 may store various types of information regarding users. Further, the user information database 120 may also store an information processing program according to the embodiment.
  • the control unit 130 allows a CPU (Central Processing Unit), an MPU (Micro Processing Unit), etc. to execute various programs (for example, information processing programs) stored in a storage device inside the information processing device 100 using the RAM as a work area.
  • the control unit 130 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • control unit 130 includes a data acquisition unit 131, a data analysis unit 132, a generation unit 133, and a presentation unit 134, and implements or implements information processing functions and operations described below. Execute. Note that the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 2, and may be any other configuration as long as it performs information processing to be described later. Further, the connection relationship between the respective processing units included in the control unit 130 is not limited to the connection relationship shown in FIG. 2, and may be other connection relationships.
  • the data acquisition unit 131 acquires various information used in information processing according to the embodiment.
  • the data acquisition unit 131 acquires information input from the input device 10.
  • the input device 10 may include a sensing device that detects the physical condition of the user. Therefore, the data acquisition unit 131 may acquire physical information indicating the physical condition from the input device 10 as a detection result that the physical condition has been detected.
  • the data acquisition unit 131 may store physical information in the user information database 120, acquire physical information from there as needed, and output it to an appropriate processing unit.
  • the physical condition detected by the sensing device includes posture, facial orientation, voice, skeletal condition, finger movements, mouth opening, etc.
  • the physical condition to be detected is not limited to this example.
  • the data acquisition unit 131 may also acquire evaluation results of evaluation items that serve as indicators for evaluating the achievement status of performance goals.
  • the achievement status of the performance goal for example, there are cases where the instructor for the performer evaluates based on his/her own feelings, and cases where the information processing device 100 dynamically evaluates.
  • the data acquisition unit 131 may acquire the evaluation results from the input device 10.
  • the data acquisition unit 131 may acquire the evaluation results from the data analysis unit 132, which is a processing unit that performs the evaluation.
  • the data acquisition unit 131 may store the evaluation results in the user information database 120, acquire physical information from there as needed, and output it to an appropriate processing unit.
  • the data analysis unit 132 evaluates the behavior of the executor based on the information acquired by the data acquisition unit 131. For example, the data analysis unit 132 evaluates various physical conditions such as posture, facial expression, voice, and muscle tension in order to understand the physical condition of the performer before the image is presented. For example, the data analysis unit 132 may perform the evaluation based on the physical condition detected by the sensing device, or may perform the evaluation based on the evaluation results of the performer's movements by a person with expertise such as a professional trainer. It may be evaluated comprehensively.
  • the data analysis unit 132 may perform an evaluation process of calculating an evaluation value in which the situation specified by the evaluation item is quantified, based on physical information indicating the physical condition of the performer. Further, the data analysis unit 132 may further calculate an adjustment value for optimizing the parameter based on the difference between the evaluation value and a threshold value set in advance for the parameter. For example, the data analysis unit 132 may calculate the adjustment value so as to minimize the difference between the evaluation value and the threshold value.
  • the data analysis unit 132 also performs a process of determining the presentation timing for presenting the image based on the development of the trial movement performed to achieve the performance goal and the relationship between the scene reproduced in the image. You can go.
  • the presentation timing differs depending on the scene.
  • the data analysis unit 132 determines one of the presentation timing candidates as the actual presentation timing. For example, the data analysis unit 132 analyzes the context of the image by applying object recognition technology to the image, and based on the estimated value and situation indicated by the analysis result, the data analysis unit 132 applies object recognition technology to the image. Either one can be set as a preset. On the other hand, "before” or “during” may be preset by a person with expertise such as a trainer.
  • the data analysis unit 132 may also determine, as the presentation timing, the timing at which the aspect of the scene reproduced in the image is switched from a specific aspect to another aspect.
  • the data analysis unit 132 may also perform a process of extracting parameters that are estimated to be useful for users (especially instructors). Specifically, the data analysis unit 132 may extract parameters based on emotional expressions that tend to be used in instruction for achieving performance goals and elements included in images. It should be noted that emotional expressions here include sensuous language expressions.
  • instruction may be given using emotional adjectives such as “more gorgeously” or “more transparently.”
  • the instructor can input into the information processing device 100 emotional expression language that he or she tends to use in instruction, such as "be more colorful” or “be more transparent.”
  • the information processing device 100 generates an image that reproduces such emotional expression by utilizing machine learning technology that outputs highly relevant images by inputting language. Therefore, the data analysis unit 132 separates a specific element from this image, compares the separated element with the emotional expression input by the instructor, and determines which element is suitable for controlling the emotional expression. Elements may be extracted as parameters. As a result, the information processing device 100 can arbitrarily generate parameters that the instructor wants to obtain, and thus can improve the usability of the instruction method using the service SA.
  • the parameters generated according to the instructor's instructions may be stored in the user information database 120 in association with the instructor's identification ID.
  • the generation unit 133 generates an image.
  • the generation unit 133 can generate an image using machine learning technology that outputs highly relevant images by inputting a language.
  • the generation unit 133 receives text and audio input from the instructor that expresses a scene that the performer wants to associate with it, and applies the received information to a machine learning model to generate an image that reproduces this scene. may be generated.
  • the generation unit 133 may generate an image that can induce the target body movement by utilizing academic knowledge, know-how of professional musicians, athletes, trainers, etc.
  • an image is not just image information, but can be said to be something that can stimulate a person's sense organs such as audiovisual, tactile and pressure sense, and taste and smell.
  • the generation unit 133 may further perform a process of generating an image that reflects the modified scene in response to the modification of the aspect of the scene according to the evaluation result. For example, when the adjustment value is calculated by the data analysis unit 132, the generation unit 133 corrects the scene by readjusting the parameters based on the adjustment value. The generation unit 133 then generates an image that reflects the modified scene.
  • the presentation unit 134 presents predetermined information to the user. For example, in order to induce a performance goal, which is a goal action that the performer should achieve, the presentation unit 134 links an image that reproduces a scene that the performer associates with the performer's actions. Presented in condition.
  • the presentation unit 134 displays an operation screen whose parameters are controlled to a predetermined value registered in advance. may be presented to the registrant (e.g., instructor to the performer).
  • the presentation unit 134 may also receive parameter adjustment details via the operation screen.
  • the presentation unit 134 may receive adjustment details for individually adjusting a plurality of different types of parameters.
  • the generation unit 133 modifies the scene by readjusting the parameters based on the adjustment details, and generates an image that reflects the modified scene.
  • the presentation unit 134 presents to the user an image in which the scene is reproduced after the aspect is modified according to the control over the parameters.
  • the first embodiment describes information processing in a situation where an executor attempts to achieve a performance goal while receiving guidance from a specific person. That is, in the first embodiment, there are two types of users in the information processing system 1: executors and instructors.
  • the second embodiment describes information processing in a situation where an executor attempts to achieve a performance goal while receiving support from the system. That is, in the second embodiment, there is only one type of user, the executor, in the information processing system 1.
  • the executor can request the information processing device 100 to provide content that will become a practice environment according to the executor's performance goals.
  • the performer can request music content that will be a practice task according to the goal.
  • This music content may be associated in advance with an image to be presented according to the action of the performer.
  • the executor wants to practice singing for the performance goal of "singing dynamically," he or she can request music content that serves as a practice task according to the goal.
  • This music content may be associated in advance with an image to be presented according to the action of the performer.
  • the performer can request choreography content that will be a practice task according to the goal.
  • This choreography content may be associated in advance with images to be presented according to the movements of the performer.
  • the performer can request music content that will serve as a practice task according to the goal. .
  • This music content may be associated in advance with an image to be presented according to the action of the performer.
  • vocal practice content may be associated in advance with images to be presented according to the actions of the performer.
  • the performer can request exercise content that is a practice task corresponding to the goal.
  • This exercise content may be associated in advance with an image to be presented according to the action of the performer.
  • the executor wants to practice tennis for the performance goal of "performing a stable rally," he or she can request exercise content that is a practice task corresponding to the goal.
  • This exercise content may be associated in advance with an image to be presented according to the action of the performer.
  • the image associated with each content may be generated in advance by the generation unit 133.
  • the first embodiment will be described in detail using FIGS. 3 to 16.
  • the subject who evaluates the achievement status of a performance goal is a person (for example, a leader). Therefore, in the information processing system 1 according to the first embodiment, there may be two types of input devices 10: a device used by an executor and a device used by an instructor.
  • FIG. 3 is a flowchart showing the overall flow of information processing procedures according to the first embodiment.
  • the data acquisition unit 131 acquires physical information indicating the physical condition of the executor in real time (step S301). For example, the data acquisition unit 131 may periodically acquire physical information in response to the sensing device (input device 10) of the executor periodically detecting the physical condition.
  • the data analysis unit 132 determines the presentation timing for presenting the image based on the development of the trial movement (practice movement) and the scene reproduced in the image (step S302).
  • the presentation unit 134 determines whether the timing has come to present the image associated with the content corresponding to the practice task of the performer (step S303). While the presentation unit 134 determines that it is not the timing to present (step S303; No), it waits until it can be determined that the timing to present has arrived.
  • the presenting unit 134 determines that the timing to present has come (step S303; Yes), it presents the image to the executor (step S304). Specifically, the presentation unit 134 displays the image by transmitting the image to the output device 30 owned by the executor. Note that the image presented at the presentation timing is a pure image before the aspect of the scene is modified.
  • the practitioner actually practices while referring to the image via the output device 30.
  • the physical condition of the executor is being detected in real time, and physical information indicating the detected physical condition is presented to the registrant who has been registered in advance (in this case, the instructor corresponding to the executor).
  • the evaluation results by the data analysis unit 132 may also be reflected in the physical information presented here.
  • the presentation unit 134 may display the physical information by transmitting the physical information to the output device 30 owned by the instructor. Then, the instructor refers to the presented physical information and makes use of his or her own experience and senses to evaluate the evaluation items that serve as indicators for evaluating the achievement status of the performance goals set for the performer. The instructor also inputs the evaluation results into the information processing device 100 via his/her own input device 10 .
  • the data acquisition unit 131 determines whether the evaluation results for the evaluation items have been acquired (step S305). If the input of the evaluation results is not received from the instructor, the data acquisition unit 131 determines that the evaluation results have not been acquired (step S305; No), and waits until it can be determined that the evaluation results have been acquired.
  • the data acquisition unit 131 determines that the evaluation results have been acquired (step S305; Yes).
  • the data analysis unit 132 determines whether the executor has not achieved the performance goal based on the evaluation result acquired by the data acquisition unit 131 (step S306). If the data analysis unit 132 determines that the executor has not yet achieved the performance goal (that is, achieved it) (step S306; No), the process ends.
  • the presentation unit 134 provides a parameter for inducing the performance goal, and a scene to be reproduced in the image.
  • An operation screen in which the parameters corresponding to the program can be adjusted is presented to the registrant who has been registered in advance (in this case, the instructor corresponding to the executor) (step S307).
  • the presentation unit 134 determines whether or not parameter adjustment details have been received via the operation screen (step S308). While determining that the parameter adjustment details have not been accepted (step S308; No), the presentation unit 134 waits until it can be determined that the parameter adjustment details have been accepted.
  • the generation unit 133 corrects the aspect of the scene by readjusting the parameters based on the adjustment details (step S309). For example, the generation unit 133 corrects the aspect of the scene by readjusting the parameters, and generates an image that reproduces the modified scene with the aspect corrected.
  • the presentation unit 134 presents the image generated in step S309 to the executor (step S310). Specifically, the presentation unit 134 displays the image by transmitting the image to the output device 30 owned by the executor.
  • the presentation unit 134 determines whether or not the presentation of the images has ended at all of the presentation timings determined in step S302 (step S311). If the presentation unit 134 determines that presentations at all presentation timings have not been completed (step S311; No), the process proceeds to step S303.
  • step S311 determines that presentations at all presentation timings have been completed.
  • FIG. 3 shows a list of combinations of "application scenes", “performance goals", and “evaluation items”.
  • FIG. 4 is a list of examples of information processing according to the first embodiment.
  • Example 1-1 by providing an environment for singing practice in virtual reality space, it is possible to achieve the performance goal of "singing with a crisp singing voice" in such an environment.
  • a specific example of information processing executed in this example is shown below.
  • the parameter used here is the "position in the depth direction.”
  • Example 1-2 by providing an environment for singing practice in a virtual reality space, it is possible to achieve the two performance goals of "singing with a spacious singing voice/singing dynamically" in such an environment.
  • a specific example of information processing to be executed is shown. The parameters used here are “horizontal range” and “expected tension.”
  • Example 1-3 a specific example of information processing performed in a singing practice to achieve the performance goal of "singing with a crisp singing voice" while utilizing the mirroring effect is shown.
  • the parameter used here is "an impression regarding the magnitude of the force virtually applied in the vertical direction.”
  • Example 1-4 provides an environment for dance practice in a virtual reality space, and describes the specific information processing performed to achieve the performance goal of "dancing with dynamic movements" in such an environment. An example is shown. The parameter used here is the "position in the depth direction.”
  • Example 1-5 is implemented in order to achieve the performance goal of ⁇ playing with a dynamic touch'' by visualizing and focusing the operation points through an AR device etc. in a piano practice setting.
  • a specific example of information processing is shown below.
  • the parameters used here are "target ring superimposition position/target ring size”.
  • Example 1-1 From now on, a specific method of information processing performed in Example 1-1 will be explained using FIG. 5.
  • FIG. 5 a specific method will be explained in association with the information processing procedure shown in FIG.
  • the performer P1 practices singing a task song in a virtual reality space realized by the information processing device 100 in order to achieve the performance goal of "singing with a strong singing voice.”
  • the example shown in FIG. 5 uses environment reproduction using VR as a method of presenting an image.
  • the performer P1 practices singing using the input device 10 (microphone) toward the audience seats that are virtually developed in the output device 30 (VR goggles). Note that details will be explained with reference to FIG. Furthermore, in the example of FIG. 5, the instructor L1 is observing the executor P1 and evaluates the evaluation item "Hardness of voice.”
  • the data acquisition unit 131 acquires physical information indicating the posture, face orientation, and detection result of voice as the physical condition of the executor P1 (specific example of step S301 in FIG. 3). .
  • the physical information acquired here may be used for calibration to set initial values.
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S302 in FIG. 3) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents the performer P1 with an image G11 in which the audience seats divided into front row, middle row, and back row, and the audience in each audience seat are virtually reproduced (step S304 in FIG. 3). Concrete example).
  • the image G11 will be explained using FIG. 6.
  • FIG. 6 is a diagram showing a specific example on the executor side according to Example 1-1.
  • the presentation unit 134 controls the audience to whom the song is to be targeted for each development of the song. For example, the presentation unit 134 performs control to set a target audience for singing among the audience members present in the audience seats where the music is being played virtually, and to change the target audience according to the development of the song.
  • variable variable here is the "depth position" of the target audience, which is distinguished from the others by color coding among the front row audience group AG111, middle row audience group AG112, and back row audience group AG113.
  • the presentation unit 134 switches the target audience depending on the development of the song.
  • the presentation unit 134 targets the audience at a specific position in the middle row for the A melody, targets the audience at a specific position in the front row for the B melody, and targets the audience at a specific position in the back row for the chorus.
  • the image G11 is presented by switching the audience to whom the song is to be targeted. In the example of FIG.
  • the performer P1 is singing the melody A
  • the presentation unit 134 designates the audience near the center of the middle row as the target for the melody A
  • the presentation unit 134 designates the audience near the center of the middle row as the target
  • the performer P1 is singing the melody.
  • An example is shown in which this target audience is displayed to be distinguished from other audiences.
  • a change in the direction of the face is induced as the action of the executor P1. Changes in the direction of the face are thought to affect the opening and closing of the throat and airways, which are involved in producing a crisp singing voice, and the ease with which these movements themselves are performed. Furthermore, if the target to be sung to is located far away, the need to vary the loudness of the voice will be more likely to be recognized, and as a result, the firmness of the voice will be affected.
  • the instructor L1 evaluates the evaluation item "Hardness of voice” based on the sense of hearing.
  • the data acquisition unit 131 acquires the evaluation result of the evaluation item "Hardness of voice" evaluated by the instructor L1 via the input device 10 of the instructor L1 (specifically in step S305 in FIG. 3). example).
  • the presenting unit 134 sets a parameter to start singing.
  • the instructor L1 is presented with an operation screen C11 that can adjust the "position in the depth direction" of the target audience (specific example of step S307 in FIG. 3).
  • FIG. 7 is a diagram showing a specific example on the instructor's side according to Example 1-1.
  • the operation screen C11 is provided with an operation unit OP111 and an operation unit OP112 that can adjust the parameter by using the “position in the depth direction” of the audience member who is the target of singing as a parameter.
  • the instructor L1 For example, if the instructor L1 thinks that it is important to have an image of singing to the audience in the back row in order to sing with a "singing voice with a strong feeling," the instructor L1 operates the operation unit OP111 to move the audience seats from the current middle row.
  • the target audience member can be designated by moving the user to the back row and operating the operation unit OP112.
  • the generation unit 133 readjusts the position of the audience member who is the target of singing based on the adjustment content (FIG. 3 (Specific example of step S309). For example, the generation unit 133 regenerates the image G11 by readjusting the parameters and causes it to be presented.
  • Example 1-2 Example 1-1 showed a specific example of information processing when a single performance goal was set, but as an application, multiple performance goals were set, so multiple indicators could be processed at the same time. Information processing when such information exists will be explained.
  • Example 1-2 corresponds to information processing that is an application of Example 1-1.
  • Example 1-2 A specific method of information processing performed in Example 1-2 will be explained using FIG. 8. Similarly, in FIG. 8, a specific method will be explained in association with the information processing procedure of FIG. 3.
  • the performer P1 sings the task song in the virtual reality space realized by the information processing device 100 in order to achieve the two performance goals of "singing with a spacious singing voice/singing dynamically.” Let me give you an example of a situation where practice takes place. That is, the example shown in FIG. 8 uses environment reproduction using VR as a method of presenting images.
  • the performer P1 practices singing using the input device 10 (microphone) toward the audience seats that are virtually developed in the output device 30 (VR goggles). Note that details will be explained with reference to FIG. 9. Further, in the example of FIG. 8, the instructor L1 is observing the executor P1, and evaluates the evaluation items "spreadness of voice” and "intonation (dynamicity) of voice.”
  • the data acquisition unit 131 acquires physical information indicating the posture, face direction, and detection result of voice as the physical condition of the executor P1 (specific example of step S301 in FIG. 3). .
  • the physical information acquired here may be used for calibration to set initial values.
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S302 in FIG. 3) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents to the executor P1 an image G12 in which the audience seats divided into front row, middle row, and back row, lighting, and motion of the audience in each audience seat are virtually reproduced (Fig. (Specific example of step S304 of 3).
  • the image G12 will be explained using FIG. 9.
  • FIG. 9 is a diagram showing a specific example on the executor side according to Example 1-2.
  • the presentation unit 134 controls the spread of the lighting and the motion of the audience illuminated for each song development. For example, the presentation unit 134 sets the target audience for singing, and controls the spread of the lighting and the state of the audience to which the lighting is applied to change according to the development of the song, starting from the set target audience. .
  • the parameters that are variable here are the “horizontal range” of the lighting (narrow/wide/full lights, etc.) and the “motion” of the audience to whom the lighting is applied (calmness/rolling/excitement, etc.) . That is, in the image G12, the presentation unit 134 expresses the “spread of the singing voice” using the spread of the lighting, and the “dynamicity of the singing voice” using the type of motion of the audience. In the example of FIG.
  • the performer P1 is singing the chorus
  • the presentation unit 134 designates the audience near the center of the middle row as the target for the chorus, shines a light on the target audience, and
  • An example is shown in which a state in which the audience is excited along with the music is expressed using the image G12.
  • the instructor L1 evaluates the evaluation item "spreadness of voice/intonation of voice” based on his/her sense of hearing.
  • the data acquisition unit 131 acquires, via the input device 10 of the instructor L1, the evaluation result of the evaluation item "spreadness of voice/inflection of voice" evaluated by the instructor L1 (steps in FIG. 3). Specific example of S305).
  • the presentation unit 134 determines that the two performance goals of "singing with a spacious singing voice/singing dynamically" are not achieved based on the evaluation results obtained from the instructor L1, As parameters, the instructor L1 is presented with an operation screen C12 that allows adjustment of the "horizontal range” to be illuminated and the "motion" of the audience to be illuminated (specific example of step S307 in FIG. 3).
  • FIG. 10 is a diagram showing a specific example on the instructor side according to Example 1-2.
  • the operation screen C12 is provided with an operation unit OP121 that can adjust the parameter by using a "horizontal range" of illumination starting from the audience as the target of singing.
  • the operation screen C12 is provided with an operation section OP122 that allows the user to select the type of parameter using the "motion" of the audience illuminated with the light as a parameter.
  • the leader L1 may select the operation part OP121. can be used to expand the range of illumination, and the operation unit OP122 can be used to select the motion type to which "exite" is associated.
  • the generation unit 133 when the generation unit 133 receives the adjustment details resulting from adjusting the parameters using the operation screen C12, the generation unit 133 re-creates the horizontal range to be illuminated and the motion of the audience based on the adjustment details. Adjust (specific example of step S309 in FIG. 3). For example, the generation unit 133 regenerates the image G12 by readjusting the parameters and causes it to be presented.
  • Example 1-3 Next, a specific method of information processing performed in Example 1-3 will be described using FIG. 11. Similarly, in FIG. 11, a specific method will be explained in association with the information processing procedure of FIG. 3.
  • performer P2 cites a scene in which performer P2 practices singing a task song in a place where the mirroring effect is utilized in order to achieve the performance goal of ⁇ singing with a strong singing voice.'' . That is, the example shown in FIG. 11 uses a mirroring effect as a method of presenting an image.
  • Embodiment 1-3 corresponds to information processing that induces a state of preparation for such behavior and actions associated with it, and improves performance.
  • the executor P2 practices singing to himself reflected on the output device 30 (smart mirror) using the input device 10 (microphone). Note that details will be explained with reference to FIG. 12.
  • the instructor L2 is observing the executor P2 and evaluates the evaluation item "Hardness of voice.”
  • the output device 30 may be AR glasses, and in such an example, the executor P2 may sing facing a general full-length mirror or the like while wearing the AR glasses.
  • the data acquisition unit 131 acquires physical information indicating the detection result of the posture, face direction, and voice detected as the physical condition of the executor P2 (specific example of step S301 in FIG. 3). .
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S302 in FIG. 3) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents an image G2 of a string hoisting a person up via the output device 30 (smart mirror) at the presentation timing in accordance with the teaching method of "image of a person being suspended from the sky" (Fig. (Specific example of step S304 of 3). Specifically, the presentation unit 134 causes the image G2 of the thread to be lifted to be displayed superimposed on the image displayed on the output device 30. The image G2 will be explained using FIG. 12.
  • FIG. 12 is a diagram showing a specific example on the executor side according to Example 1-3.
  • the presentation unit 134 provides the smart mirror as the output device 30 with an image of the character CH trying to lift his head from the sky using a string.
  • Image G2 is displayed in a superimposed manner.
  • the presentation unit 134 controls the magnitude of the force that the character CH virtually applies for each song development. For example, the presentation unit 134 controls the character CH to perform a motion of lightly pulling up the string during the A and B verses, and controls the character CH to perform a motion of pulling up the string forcefully all at once during the chorus.
  • imagery guidance may be given such as ⁇ imagine being suspended from the sky and assume the correct posture.'' Therefore, the variable parameter in this example is "an impression regarding the magnitude of the force virtually applied in the vertical direction.”
  • visual guidance may be given, such as ⁇ imagine bursting a balloon above your head.'' Therefore, in such an example, the "amount of air blown into the balloon" is the parameter.
  • the instructor L2 evaluates the evaluation item "Hardness of voice” based on the auditory sense.
  • the data acquisition unit 131 acquires the evaluation result of the evaluation item "Hardness of voice" evaluated by the instructor L2 via the input device 10 of the instructor L2 (specifically in step S305 in FIG. 3). example).
  • the instructor L2 can input the evaluation results into the smart mirror by voice, and in such an example, the output device 30 of the smart mirror can be interpreted as the input device 10 from the instructor L2's perspective.
  • the presenting unit 134 sets "vertical" as a parameter.
  • the instructor L2 is presented with an operation screen that can adjust the impression regarding the magnitude of the force virtually applied in the direction (a specific example of step S307 in FIG. 3).
  • the operation screen may be the image G2 itself, and controls so that the scene reproduced in the image G2 can be adjusted from the outside.
  • the parameters can be adjusted using a predetermined method using an "impression regarding the magnitude of the force virtually applied in the vertical direction" as a parameter.
  • Instructor L2 believes that in order to sing with a ⁇ singing voice with a sense of crispness,'' it is important to have the image of the head being lifted lightly and continuously, the instructor L2 may have the character CH lightly pull up the string several times.
  • An operation can be added to the image G2 to adjust the parameters so as to make the image G2.
  • the instructor L2 can adjust the parameters by directly touching the image G2 or by voice operation.
  • instructor L2 believes that in order to sing with a "singing voice with a strong feel," it is important to have the image of the character's head being lifted up strongly, he/she adjusts the parameters so that the character CH pulls up the string forcefully all at once.
  • This operation can be added to the image G2.
  • the instructor L2 can adjust the parameters by directly touching the image G2 or by voice operation.
  • the generation unit 133 when the generation unit 133 receives the adjustment content resulting from the adjustment of the parameters by the operation on the image G2, the generation unit 133 readjusts the aspect of the pulling motion by the character CH based on the adjustment content (see FIG. 3). Specific example of step S309).
  • the generation unit 133 For example, if the parameters are adjusted so that the character CH lightly pulls up the thread several times, the generation unit 133 generates the image G2 based on the adjustment details, as shown in FIG. 12(a). , readjust the aspect of the pulling-up motion by character CH. In this way, the presentation unit 134 regenerates the image G2 through readjustment and causes it to be presented.
  • the generation unit 133 when the parameters are adjusted so that the character CH pulls up the string forcefully all at once, the generation unit 133 generates in the image G2 based on the adjustment details as shown in FIG. 12(b). Readjust the manner of pulling up by character CH. In this way, the presentation unit 134 regenerates the image G2 through readjustment and causes it to be presented.
  • Example 1-4 Next, a specific method of information processing performed in Example 1-4 will be described using FIG. 13. Similarly, in FIG. 13, a specific method will be explained in association with the information processing procedure of FIG. 3.
  • a scene is shown in which performer P1 practices dancing to a task song in a virtual reality space realized by information processing device 100 in order to achieve the performance goal of "dancing with dynamic movements.”
  • FIG. 13 uses environment reproduction using VR as a method of presenting an image.
  • Example 1-4 differs only in whether it is a singing practice or a dance practice, and the presentation method is the same. Therefore, the explanation of the points that overlap with those of Example 1-4 will be omitted.
  • the instructor L1 is observing the performer P1 and evaluates the evaluation item "size of movement.”
  • the data acquisition unit 131 acquires physical information indicating the detection results of the posture, face orientation, and skeletal condition as the physical condition of the executor P1 (specific example of step S301 in FIG. 3). ).
  • the physical information acquired here may be used for calibration to set initial values.
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S302 in FIG. 3) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents the performer P1 with an image G11 in which the audience seats divided into front row, middle row, and back row, and the audience in each audience seat are virtually reproduced (step S304 in FIG. 3). Concrete example).
  • the image G11 is as described in FIG. 6.
  • the presentation unit 134 controls the target audience to whom the dance is delivered for each song development. For example, the presentation unit 134 controls to set the target audience to which the dance will be delivered among the audience present in the audience seats where the music is being played virtually, and to change the target audience according to the development of the song.
  • variable variable here is the "depth position" of the target audience, which is distinguished from the others by color coding among the front row audience group AG111, middle row audience group AG112, and back row audience group AG113.
  • the presentation unit 134 switches the target audience depending on the development of the song.
  • the presentation unit 134 targets the audience at a specific position in the middle row in the beginning, targets the audience in a specific position in the front row in the middle, and targets the audience in a specific position in the back row in the Kimepause. , etc., the image G11 is presented by switching the target audience to which the dance is delivered.
  • the instructor L1 evaluates the evaluation item "size of movement” based on visual observation and recorded video.
  • the data acquisition unit 131 acquires the evaluation result of the evaluation item "size of movement” evaluated by the instructor L1 via the input device 10 of the instructor L1 (specifically in step S305 in FIG. 3). example).
  • the presentation unit 134 sets the target to which the dance is to be delivered as a parameter.
  • the instructor L1 is presented with an operation screen C11 on which the "position in the depth direction" of the audience can be adjusted (specific example of step S307 in FIG. 3).
  • the operation screen C11 includes an operation unit OP111 and an operation unit OP112 that can adjust the parameter by using the “position in the depth direction” of the audience who is the target of the dance performance as a parameter. will be provided.
  • the instructor L1 believes that it is important to have an image of reaching the audience in the back row in order to dance with "dynamic movements," he may move the audience seats from the current middle row to the back row by operating the operation unit OP111. It is possible to move the target audience and specify the target audience by operating the operation unit OP112.
  • the generation unit 133 readjusts the position of the audience, which is the target of the dance delivery, based on the adjustment content (see FIG. (Specific example of step S309 of 3). For example, the generation unit 133 regenerates the image G11 by readjusting the parameters and causes it to be presented.
  • Example 1-5 Next, a specific method of information processing performed in Examples 1-5 will be described using FIG. 14. Similarly, in FIG. 14, a specific method will be explained in association with the information processing procedure of FIG. 3.
  • a scene in which the performer P3 practices playing a task piece is shown using augmented reality realized by the information processing device 100 in order to achieve the performance goal of "playing with a touch with varying dynamics.”
  • the example shown in FIG. 14 uses AR to visualize and focus the operation location as a method of presenting the image.
  • the executor P3 practices the task piece on an existing piano while wearing the output device 30 (AR glasses). Note that details will be explained with reference to FIG. 15. Furthermore, in the example of FIG. 14, the instructor L3 is observing the executor P3 and evaluates the evaluation item "voice intonation and resonance.”
  • the data acquisition unit 131 acquires physical information indicating the detection result of the detected posture, face orientation, skeletal condition, and finger movement as the physical condition of the executor P3 (steps in FIG. 3). Specific example of S301).
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S302 in FIG. 3) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents information that superimposes a ring that tells the user to "think that the sound comes from a specific part of the piano.”
  • the presentation unit 134 displays an image G3 indicating the location where the sound is produced via the output device 30 in accordance with the teaching method that states, "If you pay attention to the location where the piano sound is produced, the sound will resonate.” (Specific example of step S304 in FIG. 3).
  • the presentation unit 134 displays the image G3 in a superimposed manner on a place that is desired to be imagined as a place where sound is produced on a piano. Image 3 will be explained using FIG. 15.
  • FIG. 15 is a diagram showing a specific example on the executor side according to the embodiment 1-5.
  • the presentation unit 134 uses an augmented reality to target a ring-shaped image G3 through the AR glasses of the output device 30 so as to target a place where the sound is produced on the piano. (Target ring) is displayed superimposed.
  • the presentation unit 134 controls the position where the image G3 is superimposed and displayed in accordance with the development of the song, in order to express the change in the location where the sound is produced in accordance with the development of the song. For example, the presentation unit 134 controls the image G3 so that the target ring moves from the first melody to the second melody and then to the chorus.
  • the presentation unit 134 may control the image G3 to change the size of the target ring according to the strength of the sound. For example, the presentation unit 134 controls the image G3 so that the size of the target ring becomes smaller from the melody A to the melody B, while controlling the image G3 so that the size of the target ring becomes larger from the melody B to the chorus. You can control it.
  • the parameters that are variable here are "the position of the image G3 presented as the target ring (that is, the superimposed position)" and "the size of the target ring.”
  • the position of the image G3 is defined as being close/middle/far from the body of the performer P3, and the size of the ring of the image G is narrow/middle/wide. It may be defined.
  • instructor L3 evaluates the evaluation item "voice intonation and resonance" based on his/her sense of hearing.
  • the data acquisition unit 131 acquires the evaluation result of the evaluation item "voice intonation and sound" evaluated by the instructor L3 via the input device 10 of the instructor L3 (step S305 in FIG. 3). Concrete example).
  • the presentation unit 134 sets " The instructor L3 is presented with an operation screen C3 that allows adjustment of the "overlapping position of the target ring” and the "size of the target ring” (specific example of step S307 in FIG. 3).
  • FIG. 16 is a diagram showing a specific example on the instructor side according to the embodiment 1-5.
  • the operation screen C3 is provided with an operation unit OP31 that can adjust the parameter using the "overlapping position of the target ring" as a parameter.
  • the operation screen C3 is provided with an operation unit OP32 that can adjust the parameter using the "size of the target ring" as a parameter.
  • Instructor L3 says that to "play with a dynamic touch," he plays with the image of gradually increasing the volume of the sound coming from the piano while changing the location where the sound comes from from the back to the front of the piano. If you think this is important, you can increase the size of the ring by operating the operating unit OP32 while moving the image by operating the operating unit OP31.
  • the generation unit 133 readjusts the superimposition position of the target ring and the size of the target ring based on the adjustment content. (Specific example of step S309 in FIG. 3). For example, the generation unit 133 regenerates the image G3 by readjusting the parameters and causes it to be presented.
  • the system (information processing device 100) is the entity that evaluates the achievement status of performance goals.
  • FIG. 17 is a flowchart showing the overall flow of information processing procedures according to the second embodiment.
  • the data acquisition unit 131 acquires physical information indicating the physical condition of the executor in real time (step S1701). For example, the data acquisition unit 131 may periodically acquire physical information in response to the sensing device (input device 10) of the executor periodically detecting the physical condition.
  • the data analysis unit 132 determines the presentation timing for presenting the image based on the development of the trial movement (practice movement) and the scene reproduced in the image (step S1702).
  • the presentation unit 134 determines whether the timing has come to present the image associated with the content corresponding to the practice task of the performer (step S1703). While the presentation unit 134 determines that it is not the timing to present (step S1703; No), it waits until it can be determined that the timing to present has arrived.
  • the presenting unit 134 determines that the timing to present has come (step S1703; Yes), it presents the image to the executor (step S1704). Specifically, the presentation unit 134 displays the image by transmitting the image to the output device 30 owned by the executor. Note that the image presented at the presentation timing is a pure image before the aspect of the scene is modified.
  • the practitioner actually practices while referring to the image via the output device 30.
  • the physical condition of the performer is being detected in real time, and physical information indicating the detected physical condition is acquired by the data acquisition section 131 and output to the data analysis section 132.
  • the data analysis unit 132 determines whether it is time to evaluate the evaluation items that serve as indicators for evaluating the achievement status of the performance goal (step S1705). While the data analysis unit 132 determines that it is not time to perform evaluation (step S1705; No), it waits until it can be determined that it is time to perform evaluation.
  • step S1705 determines that it is time to perform evaluation (step S1705; Yes)
  • the data analysis unit 132 determines whether the executor has not achieved the performance goal based on the evaluation value obtained as the evaluation result (step S1707). If the data analysis unit 132 determines that the executor has not yet achieved the performance goal (that is, achieved it) (step S1707; No), the process ends.
  • the generation unit 133 modifies the aspect of the scene based on the evaluation value and the parameters (step S1708). ). For example, the generation unit 133 calculates an adjustment value for optimizing the parameter based on the difference between the evaluation value and the threshold value, and readjusts the parameter based on the calculated adjustment value. Then, the generation unit 133 generates an image in which the scene after the aspect has been corrected is reproduced by readjusting the parameters.
  • the presentation unit 134 presents the image generated in step S1708 to the executor (step S1709). Specifically, the presentation unit 134 displays the image by transmitting the image to the output device 30 owned by the executor.
  • the presentation unit 134 determines whether presentation of the images has been completed at all of the presentation timings determined in step S1702 (step S1710). If the presentation unit 134 determines that presentations at all presentation timings have not been completed (step S1710; No), the process moves to step S1703.
  • step S1710 determines that the presentation at all presentation timings has ended (step S1710; Yes).
  • FIG. 17 shows a list of combinations of "application scenes", “performance goals", and “evaluation items”.
  • FIG. 18 is a list of examples of information processing according to the second embodiment.
  • Example 2-1 by providing an environment for singing practice in virtual reality space, it is possible to achieve the performance goal of ⁇ singing with a crisp singing voice'' in such an environment.
  • a specific example of information processing executed in this example is shown below.
  • the parameter used here is the "position in the depth direction.”
  • Example 2-2 by providing an environment for practicing narration in a virtual reality space, the information processing performed to achieve the performance goal of ⁇ performing clear vocalizations'' in such an environment will be improved.
  • the parameter used here is the "position in the depth direction.”
  • Example 2-3 shows a specific example of information processing performed in a tennis practice setting to achieve the performance goal of "swinging using the trunk” while utilizing metaphor operations. .
  • the parameter used here is the "impression regarding rotational motion.”
  • Example 2-4 by providing a tennis practice environment in a virtual reality space, information processing performed in order to achieve the performance goal of "conducting a stable rally" in such an environment will be improved.
  • the parameter used here is the "ball trajectory.”
  • Example 2-1 From now on, a specific method of information processing performed in Example 2-1 will be explained using FIG. 19.
  • FIG. 19 a specific method will be explained in association with the information processing procedure in FIG. 17.
  • FIG. 19 a scene in which performer P1 practices singing a task song in a virtual reality space realized by information processing device 100 in order to achieve the performance goal of "singing with a strong singing voice" is shown.
  • FIG. 19 uses environment reproduction using VR as a method of presenting images.
  • Example 2-1 differs from Example 1-1 in that the subject to be evaluated is a system, but some information processing is the same. Therefore, similar to Example 1-1, the example of FIG. 6 will be used for explanation.
  • the data acquisition unit 131 acquires physical information indicating the detection result of the posture, face direction, and voice detected as the physical condition of the executor P1 (specific example of step S1701 in FIG. 17).
  • the physical information acquired here may be used for calibration to set initial values.
  • the data analysis unit 132 determines the presentation timing for switching the presentation of the images according to the development of the task song (for example, A melody/B melody/chorus, etc.) (Specific example of step S1702 in FIG. 17) ). For this reason, for example, tags for song development such as A melody/B melody/chorus are preset in the assigned song, and the presentation is switched during singing (during movement) in accordance with changes in song development. .
  • the presentation unit 134 presents the performer P1 with an image G11 in which the audience seats divided into the front row, middle row, and back row and the audience in each audience seat are virtually reproduced (step S1704 in FIG. 17). Concrete example).
  • the presentation of the image G11 is as described in FIG. 6.
  • the presentation unit 134 controls the target audience for each song development.
  • the presentation unit 134 performs control to set a target audience for singing among the audience members present in the audience seats where the music is being played virtually, and to change the target audience according to the development of the song.
  • variable parameter is the "position in the depth direction" of the target audience, which is distinguished from the others by color coding among the front row audience group AG111, the middle row audience group AG112, and the back row audience group AG113.
  • the presentation unit 134 switches the target audience depending on the development of the song.
  • the presentation unit 134 targets the audience at a specific position in the middle row for the A melody, targets the audience at a specific position in the front row for the B melody, and targets the audience at a specific position in the back row for the chorus.
  • the image G11 is presented by switching the audience to whom the song is to be targeted.
  • Example 2-1 the voice data is analyzed using a voice analysis algorithm, and the "soundness of the voice" is indexed, and the system side evaluates the firmness of the singing voice based on the index value. Ru. Specifically, the data analysis unit 132 uses the analysis results of the average volume of each development unit corresponding to the firmness, the formant of the singing voice, etc. as the evaluation value (a specific example of step S1706 in FIG. 17).
  • the data analysis unit 132 calculates the standard deviation of the fundamental frequency (pitch), the average value of the first formant, and the rising speed of the spoken neologism with respect to the musical score, based on the acoustic features obtained from the voice data of the executor P1. By calculating the magnitude and average value of the vibrato, and the standard deviation of the second formant, the calculation results are used to index the "soundness of the voice.” For example, the data analysis unit 132 synthesizes the standard deviation of the fundamental frequency (pitch), the average value of the first formant, the rising speed of the new phonetic word relative to the musical score, the magnitude/average value of vibrato, and the standard deviation of the second formant. The obtained value is taken as the evaluation value for the evaluation item "Hardness of voice".
  • the generation unit 133 generates a "depth direction" of the audience who is the target to sing as a parameter. 'position' is corrected based on the evaluation value (specific example of step S1708 in FIG. 17).
  • the generation unit 133 calculates the difference between the evaluation value and a threshold value that is preset for the parameter. Then, the generation unit 133 adjusts the difference downward when the difference is above the threshold value, and adjusts it upward when the difference is below the threshold value. The adjustment value of the parameter is calculated so as to minimize the difference per unit time. Then, the generation unit 133 readjusts the position of the audience member to whom the song is to be targeted based on the adjustment value. Furthermore, the generation unit 133 regenerates the image G11 by readjusting the parameters, and causes the image G11 to be presented.
  • Example 2-2 Next, a specific method of information processing performed in Example 2-2 will be described using FIG. 20. Similarly, in FIG. 20, a specific method will be explained in association with the information processing procedure of FIG. 17.
  • FIG. 120 a scene is taken in which performer P1 practices narrating a task manuscript in a virtual reality space realized by information processing device 100 in order to achieve the performance goal of "performing clearly". List. That is, the example of FIG. 20 uses environment reproduction using VR as a method of presenting images.
  • Example 2-2 differs only in whether it is a singing practice or a narration practice, and the presentation method is the same. Therefore, descriptions of points that overlap with Example 2-1 will be omitted.
  • the data acquisition unit 131 acquires physical information indicating the detection results of the posture, head orientation, mouth opening, and skeletal condition as the physical condition of the executor P1 (specific example of step S1701 in FIG. 17). .
  • the physical information acquired here may be used for calibration to set initial values.
  • the data analysis unit 132 determines the presentation timing for switching the presentation of images according to the story development of the assigned manuscript (specific example of step S1702 in FIG. 17). For this reason, for example, tags for the story development such as beginning/success/transition/conclusion are preset in the task, and the presentation is switched while the story is being told (during the action) in accordance with changes in the story development.
  • the presentation unit 134 presents the performer P1 with an image G11 in which the audience seats divided into the front row, middle row, and back row and the audience in each audience seat are virtually reproduced (step S1704 in FIG. 17). Concrete example).
  • the presentation unit 134 controls the target audience to whom the story is to be addressed for each story development.
  • the presentation unit 134 performs control to set the target audience to whom the story is to be addressed from among the audiences present in the audience seats where the story is to be unfolded virtually, and to change the target audience according to the development of the story.
  • variable variable here is the "depth position" of the target audience, which is distinguished from the others by color coding among the front row audience group AG111, middle row audience group AG112, and back row audience group AG113.
  • the presentation unit 134 switches the target audience depending on the development of the story.
  • the presentation unit 134 switches the target audience to which it speaks, such as targeting the audience at a specific position in the middle row in the beginning of the story, and targeting the audience in a specific position in the front row in the middle of the story. This presents the image G11.
  • Example 2-2 the "clarity of speech" is indexed by analyzing speech data using a speech analysis algorithm, and the clarity of speech is evaluated on the system side based on the index value.
  • Ru the data analysis unit 132 uses analysis results such as the average volume in a development unit corresponding to clarity and the formant of a singing voice as an evaluation value (a specific example of step S1706 in FIG. 17). Further, the data analysis unit 132 may use the matching rate between the recognition result using the voice recognition technology and the manuscript as an evaluation value.
  • the generation unit 133 when it is determined based on the evaluation value that the performance goal of "performing clear vocalizations" has not been achieved, the generation unit 133 generates the "depth position of the target audience" as a parameter. is corrected based on the evaluation value (specific example of step S1708 in FIG. 17).
  • the generation unit 133 calculates the difference between the evaluation value and a threshold value that is preset for the parameter. Then, the generation unit 133 adjusts the difference downward when the difference is above the threshold value, and adjusts it upward when the difference is below the threshold value. The adjustment value of the parameter is calculated so as to minimize the difference per unit time. Then, the generation unit 133 readjusts the position of the audience member who is the target of the conversation based on the adjustment value. Furthermore, the generation unit 133 regenerates the image G11 by readjusting the parameters, and causes the image G11 to be presented.
  • Example 2-3 Next, a specific method of information processing performed in Example 2-3 will be described using FIG. 21. Similarly, in FIG. 21, a specific method will be explained in association with the information processing procedure of FIG. 17.
  • FIG. 121 a scene is exemplified in which the performer P4 practices a tennis swing in a place where a metaphor operation is utilized in order to achieve the performance goal of "performing a swing using the trunk.” That is, the example shown in FIG. 21 uses metaphor manipulation as a method of presenting images.
  • Embodiment 2-3 corresponds to information processing in which the image of the Denden Taiko is presented as a metaphor in order to teach how to beat using the trunk in conjunction with the whole body.
  • the executor P4 practices a swing by hitting a ball released from a ball machine while an image of a tennis court is being projected on the screen SC by the output device 30 (projector). Note that details will be explained with reference to FIG. 22.
  • the data acquisition unit 131 acquires physical information indicating the detection result of whole body movement and skeletal condition as the physical condition of the executor P4 (specific example of step S1701 in FIG. 17).
  • the data analysis unit 132 determines the timing before the start of the trial as the presentation timing for the purpose of imagining the action to be performed. Specifically, the data analysis unit 132 determines the presentation timing of presenting the image as a confirmation of the swing image before the ball machine releases the ball (a specific example of step S1702 in FIG. 17). For example, the data analysis unit 132 may determine the presentation timing based on the moment when the ball is released from the ball machine or the predicted time when the ball will hit the racket.
  • the presentation unit 134 presents, at the presentation timing, an image image G4 that is a model of a swing using Denden Taiko as a metaphor for the trunk and arms (specific example of step S1704 in FIG. 17). Specifically, the presentation unit 134 displays the image G2 in a superimposed manner on a specific position on the screen SC displayed by the output device 30. For example, the presentation unit 134 may control the output device 30 to display the image G4 in a superimposed manner on a specific position on the screen SC. For this reason, Example 2-3 can be said to be a presentation that utilizes the mirroring effect, similar to Example 1-3.
  • FIG. 22 is a diagram showing a specific example on the executor side according to Example 2-3.
  • the presentation unit 134 displays the image G4 in a superimposed manner on a specific position on the screen SC via the output device 30.
  • the presenting unit 134 may present the image G4 as a model of the swing before the ball is released from the ball machine.
  • the variable parameter in this example is the "impression regarding the rotational movement" of the Denden Taiko. More specifically, the parameters may be "timing to rotate the Denden Taiko", “rotation speed of the Denden Taiko", “size (weight) of the tip of the Denden Taiko", and "length of the Denden Taiko string". Therefore, for example, the presenting unit 134 presents an image G4 in which these parameters are adjusted to a specific state. In the image G4, a scene in which the Denden Taiko moves according to the parameters is reproduced.
  • the data analysis unit 132 uses the analysis result of the movement of the ball using existing technology such as a speed gun or tennis sensor as an evaluation value (a specific example of step S1706 in FIG. 17). For example, the data analysis unit 132 calculates the value obtained comprehensively from the measurement results of the speed of the ball hit back by the executor P4 and the amount of rotation of this ball measured by a speed gun or a tennis sensor using the evaluation item " This is the evaluation value for the ball's operating condition.
  • the generation unit 133 generates "impression regarding rotational motion" of Denden Taiko as a parameter. , is corrected based on the evaluation value (specific example of step S1708 in FIG. 17).
  • the generation unit 133 calculates the difference between the evaluation value and a threshold value that is preset for the parameter. Then, the generation unit 133 adjusts the difference downward when the difference is above the threshold value, and adjusts it upward when the difference is below the threshold value. The adjustment value of the parameter is calculated so as to minimize the difference per unit time. Then, the generation unit 133 readjusts the movement of the Denden Taiko based on the adjustment value. Furthermore, the generation unit 133 regenerates the image G4 by readjusting the parameters and causes it to be presented.
  • Example 2-4 Next, a specific method of information processing performed in Example 2-4 will be described using FIG. 23. Similarly, in FIG. 23, a specific method will be explained in association with the information processing procedure of FIG. 17.
  • FIG. 123 a scene is shown in which executor P5 practices a tennis rally while receiving support from augmented reality realized by the information processing device 100 in order to achieve the performance goal of "conducting a stable rally.” Take an example. That is, the example shown in FIG. 23 uses AR to present a performance goal as a method of presenting an image.
  • the executor P5 practices a rally with a practice partner on an actual court while wearing the output device 30 (AR glasses). Note that details will be explained with reference to FIG. 22.
  • the data acquisition unit 131 acquires physical information indicating the detection result of whole body movement and skeletal condition as the physical condition of the executor P5 (specific example of step S1701 in FIG. 17).
  • an image showing the trajectory of the ball is presented for the purpose of imagining the trajectory of the ball one by one during the rally.
  • the data analysis unit 132 determines the presentation timing of sequentially updating the images using, for example, the moment when the ball is hit as a trigger (a specific example of step S1702 in FIG. 17). For example, the data analysis unit 132 detects the moment when the opponent hits the ball based on the video analysis results, the sound of the ball, etc., and measures the several seconds between the opponent's hit and the executor P5's return, which corresponds to the performance goal.
  • the presentation timing may be determined to continue presenting images showing the trajectory of the ball.
  • the presentation unit 134 presents an image G5 showing the trajectory of the ball corresponding to the performance goal at the presentation timing.
  • the presentation unit 134 presents an image G5 of the desired trajectory via the output device 30 in accordance with the instructional method that says, "It is good to hit the ball while keeping the trajectory in mind.” Specific example of S1704).
  • the presentation unit 134 causes the image G5 to be displayed superimposed on the position of the viewpoint on the actual court via the output device 30.
  • Image 5 will be explained using FIG. 24.
  • FIG. 24 is a diagram showing a specific example on the executor side according to Example 2-4.
  • the presentation unit 134 superimposes and displays an image G5 showing the trajectory of the ball in augmented reality at the viewpoint position on the actual court via the AR glasses of the output device 30.
  • the body is prepared, and there is no need for movement guidance, which reduces the cognitive load and allows for image presentation that does not interfere with the player's concentration on the play. becomes.
  • the variable parameter in this example is the "trajectory of the ball.”
  • the data analysis unit 132 uses an existing technology such as a speed gun, video image analysis, and Hawkeye (registered trademark) to analyze the trajectory of the ball, and uses the analysis result as an evaluation value (step S1706 in FIG. 17). specific example).
  • the data analysis unit 132 can comprehensively obtain the ball speed of the ball hit back by the executor P5, the rotation amount and trajectory of the ball from the measurement results measured by a speed gun, video image analysis, Hawkeye, etc. Let the value be the evaluation value for the evaluation item "ball trajectory".
  • the generation unit 133 generates ⁇ ball trajectory'' as a parameter based on the evaluation value. (Specific example of step S1708 in FIG. 17).
  • the generation unit 133 calculates the difference between the evaluation value and a threshold value that is preset for the parameter. Then, the generation unit 133 adjusts the difference downward when the difference is above the threshold value, and adjusts it upward when the difference is below the threshold value. The adjustment value of the parameter is calculated so as to minimize the difference per unit time. The generation unit 133 then readjusts the trajectory of the ball based on the adjustment value. Furthermore, the generation unit 133 regenerates the image G5 by readjusting the parameters, and causes the image G5 to be presented.
  • the information processing device 100 may generate an image using the machine learning technique described above. Further, when the information processing device 100 receives a speech input by speech, the information processing device 100 may generate an image by analyzing the content of the speech using speech recognition technology.
  • the user can use operations such as mouse operations and pointing using touch operations in the following situations. For example, when controlling which audience in a theater to target, if you change the slide bar by touch operation, or if you indicate the position directly by pointing with a mouse or touch operation, you can change the range of the spotlight itself. It can be used when changing by dragging/dropping or pinching. It can also be used to draw the trajectory of a tennis rally.
  • drawing performed in the above example of mouse operation/touch operation may be realized by drawing input using a pen-type physical device.
  • a trajectory may be generated that presents a message to the player by moving his fingertips or hand to draw a mountain.
  • the target for singing may be moved further away, spread out more widely, etc., using body movements as input.
  • the audience target is operated using a slide bar on the screen
  • the user may also input a numerical value to provide a distance in order to perform even more fine control in such a case, for example.
  • FIG. 25 is a block diagram illustrating an example hardware configuration of a computer corresponding to the information processing device 100 according to the embodiment of the present disclosure. Note that FIG. 25 shows an example of the hardware configuration of a computer corresponding to the information processing apparatus 100 according to the embodiment of the present disclosure, and the configuration is not limited to that shown in FIG. 25.
  • the computer 1000 includes a CPU (Central Processing Unit) 1100, a RAM (Random Access Memory) 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input/output It has an interface 1600.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400 and controls each part. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200, and executes processes corresponding to various programs.
  • the ROM 1300 stores boot programs such as BIOS (Basic Input Output System) that are executed by the CPU 1100 when the computer 1000 is started, programs that depend on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by the programs. Specifically, HDD 1400 records program data 1450.
  • the program data 1450 is an example of an information processing program for realizing the information processing method according to the embodiment of the present disclosure, and data used by the information processing program.
  • Communication interface 1500 is an interface for connecting computer 1000 to external network 1550 (eg, the Internet).
  • CPU 1100 receives data from other devices or transmits data generated by CPU 1100 to other devices via communication interface 1500.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000.
  • CPU 1100 receives data from an input device such as a keyboard or mouse via input/output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display device, a speaker, or a printer via the input/output interface 1600.
  • the input/output interface 1600 may function as a media interface that reads programs and the like recorded on a predetermined recording medium. Examples of media include optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memory, etc. It is.
  • the CPU 1100 of the computer 1000 controls the control shown in FIG. 2 by executing the information processing program loaded on the RAM 1200.
  • Various processing functions executed by each part of the unit 130 are realized. That is, the CPU 1100, the RAM 1200, and the like realize the information processing method by the information processing apparatus 100 according to the embodiment of the present disclosure in cooperation with software (information processing program loaded onto the RAM 1200).
  • Information processing device is configured to modify the aspect of the scene reproduced by the perceptual information in accordance with the evaluation result, if the evaluation result indicates that the performance goal has not been achieved.
  • (2) further comprising a determining unit that determines a presentation timing for presenting the perceptual information based on the development of trial movements performed to achieve the performance goal and the relationship with the scene;
  • the information processing device according to (1) wherein the presentation unit presents the perceptual information based on presentation timing.
  • the determining unit determines, as the presentation timing, a timing at which the mode of the scene is switched from a specific mode to another mode.
  • the control unit modifies an aspect of the scene according to control of a parameter corresponding to the scene, which is a parameter for inducing the performance goal.
  • the control unit extracts the parameters based on emotional linguistic expressions that tend to be used in instruction to achieve the performance goal and elements included in the perceptual information.
  • information processing equipment (6)
  • the acquisition unit acquires, as the evaluation result, an evaluation result in which a specific person evaluates the predetermined evaluation item with reference to the physical information,
  • the control unit displays an operation screen in which the parameters can be adjusted to a predetermined registrant registered in advance.
  • the information processing device according to (4) above.
  • (7) further comprising a reception unit that receives adjustment details of the parameters from the registrant via the operation screen,
  • the information processing device receives, as the adjustment content, adjustment content in which a plurality of different types of parameters are individually adjusted.
  • receives as the adjustment content, adjustment content in which a plurality of different types of parameters are individually adjusted.
  • receives as the adjustment content, adjustment content in which a plurality of different types of parameters are individually adjusted.
  • receives as the adjustment content, adjustment content in which a plurality of different types of parameters are individually adjusted.
  • the acquisition unit acquires the evaluation result by the evaluation unit as the evaluation result
  • the control unit according to (4) above, when the evaluation result indicates that the performance target has not been achieved, modifies the aspect of the scene based on the evaluation value and the parameter.
  • Information processing device modifies the aspect of the scene based on the evaluation value and the parameter.
  • the control unit calculates an adjustment value for optimizing the parameter based on the evaluation value and a difference between a threshold value set in advance for the parameter, and adjusts the adjustment value of the scene according to the calculated adjustment value.
  • the information processing device in which the aspect is modified.
  • the control unit calculates the adjustment value so as to minimize the difference between the evaluation value and the threshold value.
  • the presentation unit presents to the user perceptual information in which a scene after being modified according to the control on the parameters is reproduced.
  • An information processing method executed by an information processing device comprising: A presentation that presents perceptual information that reproduces a scene that is associated with the user in a state that is linked to the user's actions in order to induce a performance goal that is a target action that the user should achieve.
  • Information processing system 10
  • Input device 30
  • Output device 100
  • Information processing device 110
  • Communication unit 120
  • User information database 130
  • Control unit 131
  • Data acquisition unit 132
  • Data analysis unit 133
  • Generation unit 134 Presentation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

実施形態に係る情報処理装置は、利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示部と、前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得部と、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御部とを備える。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本開示は、情報処理装置、情報処理方法、情報処理プログラムに関する。
　従来、ユーザの動きを客観的に評価することで、ユーザのトレーニングを支援する技術が知られている。
特開２０２０－１９５５７３号公報
　しかしながら、従来技術では、目標とする技能を習得できるよう利用者を効果的に誘導することができるとは限らない。
　例えば、従来技術では、ユーザの実際のトレーニング映像から抽出された骨格情報が、トレーニング評価条件を満たすか否かに基づいて、トレーニングを評価しているに過ぎず、利用者が目標とする技能を習得できるよう、指導内容を適切に伝達する点や、習得状況に合わせて指導内容を更新してゆく点等が考慮されていない。
　このようなことから、目標とする技能を習得できるよう利用者を効果的に誘導することが望まれている。
　そこで、本開示では、目標とする技能を習得できるよう利用者を効果的に誘導することができる情報処理装置、情報処理方法、情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示部と、前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得部と、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御部とを備える。
図１は、実施形態に係るシステムの一例を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示す図である。 図３は、第１の実施形態に係る情報処理手順の全体的な流れを示すフローチャートである。 図４は、第１の実施形態に係る情報処理の一例となる実施例の一覧表である。 図５は、実施例１－１で行われる情報処理の具体的手法を示す図である。 図６は、実施例１－１に係る実行者側の具体例を示す図である。 図７は、実施例１－１に係る指導者側の具体例を示す図である。 図８は、実施例１－２で行われる情報処理の具体的手法を示す図である。 図９は、実施例１－２に係る実行者側の具体例を示す図である。 図１０は、実施例１－２に係る指導者側の具体例を示す図である。 図１１は、実施例１－３で行われる情報処理の具体的手法を示す図である。 図１２は、実施例１－３に係る実行者側の具体例を示す図である。 図１３は、実施例１－４で行われる情報処理の具体的手法を示す図である。 図１４は、実施例１－５で行われる情報処理の具体的手法を示す図である。 図１５は、実施例１－５に係る実行者側の具体例を示す図である。 図１６は、実施例１－５に係る指導者側の具体例を示す図である。 図１７は、第２の実施形態に係る情報処理手順の全体的な流れを示すフローチャートである。 図１８は、第２の実施形態に係る情報処理の一例となる実施例の一覧表である。 図１９は、実施例２－１で行われる情報処理の具体的手法を示す図である。 図２０は、実施例２－２で行われる情報処理の具体的手法を示す図である。 図２１は、実施例２－３で行われる情報処理の具体的手法を示す図である。 図２２は、実施例２－３に係る実行者側の具体例を示す図である。 図２３は、実施例２－４で行われる情報処理の具体的手法を示す図である。 図２４は、実施例２－４に係る実行者側の具体例を示す図である。 図２５は、本開示の実施形態に係る情報処理装置１００に対応するコンピュータのハードウェア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る情報処理装置、情報処理方法、情報処理プログラムが限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
＜実施形態＞
〔１．はじめに〕
　楽器演奏や歌、演技、ゴルフ、テニス、ダンスなど、種々の技能を習得することのニーズは高く、市場には多くの教室が存在している。これらの教室で生徒（被教授者）が教わる技能は初歩的なものから高度なものまでまちまちであるが、中でも高度な技能になるほど様々な要因から習得が難しいことが知られている。歌唱を例に挙げると、リズムや音程のような初歩的なものは教示が簡単であり被教授者も教示の内容が分かりやすいが、歌声の抜け感やハリ感のような表現力の領域に関しては教える側も教わる側もコミュニケーションが難しく、習得が難しいといったかたちである。
　このような場面において、従来は歌声の抜け感やハリ感を指導するために大きく２種類の指導法が行われていた。１つは、動作をタスクとして指導する、もう１つは、パフォーマンスの結果をイメージとして伝えて指導する、というものである。前者は、例えば「横隔膜をしっかり使って、喉を開いて声を出して」のように動作をタスクとして教示する方法であるが、この方法の場合には喉を開閉するという身体の内部の操作を要求されることになり、動作タスクの適切な伝達が困難であるという課題が存在する。後者は、例えば「頭の上の風船を割るように歌って」のように動作結果をイメージとして教示する方法であるが、この方法の場合にはイメージの共有が課題となり、同様に適切な伝達が困難であるという課題が存在する。
　上記の課題に対して本開示は、知覚情報を具体化して被教授者に対して提示することでイメージの伝達を効果的にすること、加えて、提示するイメージが身体連動に紐づいた手法で提示されることで実際の動作を促すことの２点を備えた技術である。
　例えば、本開示の提案技術に係る情報処理装置は、利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、利用者に対してイメージさせる状況が画像で示された知覚情報を、利用者の動作に紐付けた状態で提示する。また、情報処理装置は、知覚情報が提示された場合における利用者の身体状態を示す身体情報を用いて、パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する。
　そして、情報処理装置は、評価結果がパフォーマンス目標を未達成であることを示す場合には、知覚情報において画像で示される状況を評価結果に応じて修正する所定の制御を実行する。
　このような情報処理装置によれば、上記の１つ目の課題に対して、複雑なタスクであっても動作が促されるイメージによって遂行が簡単になるという効果が期待できる。また、もう１つの課題に対して、抽象的なイメージを具体化して提示することで教授者－被教授者間のコミュニケーションが簡単となること、の２つの効果を期待できる。
〔２．システム構成〕
　次に、図１を用いて、実施形態に係るシステムの構成を説明する。図１は、実施形態に係るシステムの一例を示す図である。図１には、実施形態に係るシステムの一例として、情報処理システム１が示される。
　図１に示すように、情報処理システム１は、入力装置１０と、出力装置３０と、情報処理装置１００とを含んでよい。また、入力装置１０と、出力装置３０と、情報処理装置１００とは、ネットワークＮを介して、有線または無線により通信可能に接続されてよい。
　入力装置１０は、利用者が情報入力に用いる装置であり、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal　Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）等の入力デバイスが挙げられる。また、他の例として、入力装置１０は、カメラやマイクの周辺機器であってもよい。また、入力装置１０は、利用者の身体状態を検出（センシング）するセンシング機器であってもよい。
　なお、入力デバイスと、周辺機器と、センシング機器とは一体化されていてもよい。一例として、入力装置１０は、撮像機能、集音機能、センシング機能を備えたスマートフォンであってよい。
　出力装置３０は、利用者に提示する情報を出力する装置であり、例えば、ＶＲ機器や、ＡＲ機器や、スマートミラーや、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等の出力デバイスが挙げられる。
　入力装置１０および出力装置３０には、情報処理装置１００との間で情報の送受信を実現する所定のアプリケーションソフトウェア（端末プログラム）が導入されてよい。また、情報処理システム１では、入力装置１０と出力装置３０とが別々の装置として示されているが、これらは同一の装置であってもよい。
　スマートフォンを例に挙げると、利用者によるタッチ操作や音声操作から受け付けた情報を情報処理装置１００に入力することもできるし、情報処理装置１００から提示された情報を画面やスピーカーを介して出力することもできる。係る例では、スマートフォンは、入力装置１０、出力装置３０のいずれにも解釈できる。
　情報処理装置１００は、本開示の提案技術に係る情報処理装置の一例であり、実施形態に係る情報処理を行う中心的な装置である。情報処理装置１００は、例えば、クラウド側で処理を行うクラウドコンピュータすなわちサーバ装置であってよい。これに対し、入力装置１０および出力装置３０は、利用者の近くでエッジ処理を行うエッジコンピュータといえる。例えば、情報処理装置１００は、実施形態に係る情報処理により、技能習得支援サービス（以下、「サービスＳＡ」と表記する）を利用者に提供する。
　ここで、利用者についても説明しておく。利用者は、サービスＳＡを活用する人物である。例えば、利用者は、サービスＳＡを活用して特定の技能習得を目標として、実際に行動する（試行する）実行者と、実行者が技能習得に近づけるようサービスＳＡを活用して指導を行う指導者とに分けることができる。実行者と指導者との間には、例えば、被教授者－教授者という関係が成立している。
　なお、実行者は、サービスＳＡを用いて自力で技能習得を目指すこともでき、この場合にはシステム側（情報処理装置１００）が指導者としての役割に相当する情報処理を行うことができる。したがって、情報処理システム１に関わる人物として、実行者を指導する役割の人物は必須ではない。
　以下の実施形態において、実行者と指導者とを区別して説明する必要がない場合には、これらの総称として「利用者」を用いることにする。
〔３．知覚情報／パフォーマンス目標／評価項目〕
　続いて、知覚情報について説明する。知覚情報は、実行者が達成すべき目標となる行動（技能）であるパフォーマンス目標を誘発するため、実行者に対して連想（イメージ）させるシーンが再現された画像情報である。以下、知覚情報を「イメージ画像」と表記する場合がある。
　また、実行者に対して連想させるシーンとしては、「空から吊られたイメージで正しい姿勢を取って」、「頭の上の風船を割るようなイメージで」等のような、指導の際に使われがちな抽象的シーンでありながら、伝達が難いとされるシーンが一例として挙げられる。
　また、詳細については後述するが、パフォーマンス目標と評価項目との関係性については一例として次のようなものが挙げられる。例えば、「ハリ感のある歌声で歌う」というパフォーマンス目標については、「音声のハリ感」がその達成状況を評価するための指標となる評価項目として当てられてよい。また、「ダイナミックな動きで踊る」というパフォーマンス目標については、「動作の大きさ」がその達成状況を評価するための指標となる評価項目として当てられてよい。
　また、指導者あるいはシステム側がシーンの態様を修正できるよう、実施形態に係る情報処理においては、シーンに関するパラメータが設定される。ここでいうパラメータとは、パフォーマンス目標を誘発するためのパラメータであって、パフォーマンス目標へと実行者を誘導するためには、どのようにイメージを膨らませればよいかといった観点から、現在のシーンの態様をイメージ修正のために変更させるパラメータである。
　例えば、歌唱における表現力のような領域は、単純なトレーニングと比較して身体操作が難解で定量化が難しいこと、表現力自体の評価も難しいことが特徴であるが、このような定量化の困難性を補う点でパラメータを用いたイメージ画像の修正が有効となる。また、このようなことから、実施形態に係る情報処理は、例えば、理想的な動作をお手本として提示するといったものではなく、パフォーマンス目標に影響を与える情報提示を行うものである。
〔４．情報処理装置の構成〕
　次に、図２を用いて、実施形態に係る情報処理装置１００について説明する。図２は、実施形態に係る情報処理装置１００の構成例を示す図である。図２に示すように、情報処理装置１００は、通信部１１０と、利用者情報データベース１２０と、制御部１３０とを有する。
（通信部１１０について）
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。例えば、通信部１１０は、ネットワークＮと無線で接続され、例えば、入力装置１０や出力装置３０との間で情報の送受信を行う。
（利用者情報データベース１２０について）
　利用者情報データベース１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。
　利用者情報データベース１２０には、例えば、実施形態に係る情報処理に関するデータが記憶されてよい。具体的には、利用者情報データベース１２０には、利用者に関する各種情報が記憶されてよい。また、利用者情報データベース１２０には、実施形態に係る情報処理プログラムも記憶されてよい。
（制御部１３０について）
　制御部１３０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　図２に示すように、制御部１３０は、データ取得部１３１と、データ解析部１３２と、生成部１３３と、提示部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。
（データ取得部１３１について）
　データ取得部１３１は、実施形態に係る情報処理に用いられる各種情報を取得する。例えば、データ取得部１３１は、入力装置１０から入力された情報を取得する。上述した通り、入力装置１０は、利用者の身体状態を検出するセンシング機器を有してよい。したがって、データ取得部１３１は、身体状態が検出された検出結果として、身体状態を示す身体情報を入力装置１０から取得してよい。
　また、データ取得部１３１は、身体情報を利用者情報データベース１２０に格納しておき、必要に応じてここから身体情報を取得し、適切な処理部へと出力してよい。
　ここで、センシング機器により検出される身体状態としては、姿勢、顔の向き、音声、骨格状況、指の動き、口の開き具合等である。もちろん、検出対象の身体状態は、係る例に限定されない。
　また、データ取得部１３１は、パフォーマンス目標の達成状況を評価する指標となる評価項目について評価された評価結果も取得してよい。パフォーマンス目標の達成状況については、例えば、実行者に対する指導者が自身の感覚を頼りに評価する場合と、情報処理装置１００が動的に評価する場合とがある。前者の場合、例えば、指導者は自身の入力装置１０を用いて、評価結果を情報処理装置１００に入力することが想定される。したがって、係る場合には、データ取得部１３１は、評価結果を入力装置１０から取得してよい。後者の場合、データ取得部１３１は、評価を行う処理部であるデータ解析部１３２から評価結果を取得してよい。
　また、データ取得部１３１は、評価結果を利用者情報データベース１２０に格納しておき、必要に応じてここから身体情報を取得し、適切な処理部へと出力してよい。
（データ解析部１３２について）
　データ解析部１３２は、データ取得部１３１により取得された情報に基づいて、実行者の行動を評価する。例えば、データ解析部１３２は、イメージ画像の提示が行われる前の実行者の身体状態を把握する目的で、姿勢、表情、音声、筋肉の緊張等の各種身体状態の評価を行う。例えば、データ解析部１３２は、センシング機器により検出された身体状態に基づき評価を行ってもよいし、プロのトレーナー等の専門性を持った人物が実行者の動作に関して評価した評価結果を組み合わせて総合的に評価してもよい。
　また、データ解析部１３２は、実行者の身体状態を示す身体情報に基づいて、評価項目で規定される状況が数値化された評価値を算出するという評価処理を行ってもよい。また、データ解析部１３２は、評価値と、パラメータに関して予め設定される閾値との差分とに基づいて、パラメータを最適化するための調整値をさらに算出してもよい。例えば、データ解析部１３２は、評価値と閾値との差分を最小化するように調整値を算出してよい。
　また、データ解析部１３２は、パフォーマンス目標を達成するため行われる試行動作の展開と、イメージ画像で再現されるシーンとの関係性とに基づいて、イメージ画像を提示させる提示タイミングを決定する処理も行ってよい。
　実施形態に係る情報処理では、イメージ画像の提示が身体連動に紐づくという性質上、提示するタイミングがシーンごとに異なるケースがある。例えば、予期される身体連動に対して、動作前の事前準備としてイメージ画像を提示する場合と、動作中にイメージ画像を提示する場合という、提示タイミングの候補が２つ存在する。
　このため、データ解析部１３２は、提示タイミングの候補のうちのいずれかを実際の提示タイミングとして決定する。例えば、データ解析部１３２は、イメージ画像に対して物体認識技術を適用することで、イメージ画像のコンテキストを解析し、解析結果が示す推定値や状況に基づき、「事前」または「最中」のいずれかをプリセットとして定めておくことができる。一方、トレーナー等の専門性を持った人物による判断で、「事前」または「最中」がプリセットされていてもよい。
　また、データ解析部１３２は、提示タイミングとして、イメージ画像で再現されるシーンの態様を、特定の態様から他の態様へと切り替えるタイミングも決定してよい。
　また、パフォーマンス目標を誘発するためのパラメータについて上記説明したが、係るパラメータもプリセットとして定められていてよい。一方で、データ解析部１３２は、利用者（特に、指導者）にとって有用と推定されるパラメータを抽出する処理も行ってよい。具体的には、データ解析部１３２は、パフォーマンス目標を達成させるための指導において用いられる傾向にある感情表現と、イメージ画像に含まれる要素とに基づいて、パラメータを抽出してよい。なお、ここでいう感情表現には、感性的な言語表現も含まれるものとする。
　例えば、歌唱の指導を例に挙げると、「もっと華やかに」あるいは「もっと透き通るように」等の感性形容詞を用いた指導が行われる場合がある。このような場合、指導者は、「もっと華やかに」や「もっと透き通るように」等のような、自身が指導に用いる傾向にある感情表現の言語を情報処理装置１００に入力することができる。
　情報処理装置１００は、言語を入力として与えることで関連度の高い画像を出力する機械学習技術を活用して、このような感情表現が再現されたイメージ画像を生成する。そこで、データ解析部１３２は、このイメージ画像から特定の要素を分離し、分離した要素と、指導者により入力された感情表現とを比較して、感情表現の制御に適していると推定される要素をパラメータとして抽出してよい。この結果、情報処理装置１００は、指導者が手に入れたいパラメータを任意に生成することができるため、サービスＳＡを活用した指導方法の使い勝手を向上させることができるようになる。
　また、指導者の指示に応じて生成されたパラメータは、利用者情報データベース１２０において指導者の識別ＩＤに対応付けて記憶されてよい。
（生成部１３３について）
　生成部１３３は、イメージ画像の生成を行う。例えば、生成部１３３は、言語を入力として与えることで関連度の高い画像を出力する機械学習技術を活用して、イメージ画像を生成することができる。生成部１３３は、実行者に対して連想させたいシーンが表現されたテキストや音声の入力を指導者から受け付け、受け付けた情報を機械学習モデルに適用することで、このシーンが再現されたイメージ画像を生成してよい。
　なお、生成部１３３は、学術知見、プロの演奏家、アスリート、トレーナー等のノウハウなどを活用して、目標となる身体連動を誘発し得るイメージ画像を生成してもよい。
　また、上記によれば、イメージ画像は、単なる画像情報ではなく、例えば、人物の視聴覚、触圧覚、味嗅覚等の感覚器に対して刺激を与え得るものであるといえる。
　生成部１３３は、さらに、評価結果に応じてシーンの態様が修正されることに応じて、修正後のシーンが反映されたイメージ画像を生成する処理も行ってよい。例えば、生成部１３３は、データ解析部１３２により調整値が算出された場合には、調整値に基づきパラメータを再調整することでシーンを修正する。そして、生成部１３３は、修正後のシーンが反映されたイメージ画像を生成する。
（提示部１３４について）
　提示部１３４は、利用者に所定の情報を提示する。例えば、提示部１３４は、実行者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、実行者に対して連想させるシーンが再現されたイメージ画像を、実行者の動作に紐付けた状態で提示する。
　また、提示部１３４は、データ取得部１３１により取得された評価結果が、パフォーマンス目標を未達成であることを示す場合には、パラメータを調整可能に制御された操作画面が、予め登録された所定の登録者（例えば、実行者に対する指導者）に提示してよい。また、提示部１３４は、操作画面を介して、パラメータの調整内容も受け付けてよい。例えば、提示部１３４は、複数の異なる種別のパラメータを個別に調整する調整内容を受け付けてよい。また、この場合、生成部１３３は、調整内容に基づきパラメータを再調整することでシーンを修正し、修正後のシーンが反映されたイメージ画像を生成する。
　そして、提示部１３４は、パラメータに対する制御に応じて態様が修正された後のシーンが再現されたイメージ画像を利用者に提示する。
〔５．実施形態について〕
　以下では、実施形態に係る情報処理を、第１の実施形態と、第２の実施形態とに分けてそれぞれ詳細に説明する。第１の実施形態は、実行者が特定の人物から指導を受けながら、パフォーマンス目標を達成すべく試行を行うというシチュエーションでの情報処理を説明するものである。すなわち、第１の実施形態では、情報処理システム１において、実行者と指導者という関係にある２種類の利用者が存在する。
　一方、第２の実施形態は、実行者がシステムからのサポートを受けながら、パフォーマンス目標を達成すべく試行を行うというシチュエーションでの情報処理を説明するものである。すなわち、第２の実施形態では、情報処理システム１において、実行者という１種類の利用者のみ存在する。
　なお、実行者は、自身のパフォーマンス目標に応じた練習環境となるコンテンツを提供するよう情報処理装置１００に要求することができる。
　例えば、実行者は、「ハリ感のある歌声で歌う」というパフォーマンス目標のため歌の練習を行いたいと考える場合には、係る目標に応じた練習課題となる楽曲コンテンツを要求することができる。この楽曲コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「ダイナミックに歌う」というパフォーマンス目標のため歌の練習を行いたいと考える場合には、係る目標に応じた練習課題となる楽曲コンテンツを要求することができる。この楽曲コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「ダイナミックな動きで踊る」というパフォーマンス目標のためダンスの練習を行いたいと考える場合には、係る目標に応じた練習課題となる振り付けコンテンツを要求することができる。この振り付けコンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「強弱のついたタッチで演奏する」というパフォーマンス目標のためピアノの練習を行いたいと考える場合には、係る目標に応じた練習課題となる楽曲コンテンツを要求することができる。この楽曲コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「明瞭な発生を行う」というパフォーマンス目標のためナレーションの練習を行いたいと考える場合には、係る目標に応じた練習課題となる発声練習コンテンツを要求することができる。この発声練習コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「体幹を用いたスイングを行う」というパフォーマンス目標のためテニスの練習を行いたいと考える場合には、係る目標に応じた練習課題となる運動コンテンツを要求することができる。この運動コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、実行者は、「安定したラリーを行う」というパフォーマンス目標のためテニスの練習を行いたいと考える場合には、係る目標に応じた練習課題となる運動コンテンツを要求することができる。この運動コンテンツには、実行者の動作に応じて提示すべきイメージ画像が予め対応付けられていてよい。
　また、各コンテンツに対応付けられるイメージ画像は、生成部１３３によって予め生成されていてよい。
＜第１の実施形態＞
　まず、第１の実施形態について、図３～図１６を用いて詳細に説明する。第１の実施形態では、パフォーマンス目標の達成状況を評価する主体が人物（例えば、指導者）である。したがって、第１の実施形態に係る情報処理システム１において、入力装置１０には、実行者により使用される装置、および、指導者により使用される装置の２種類が存在してよい。
〔１．第１の実施形態に係る情報処理の手順〕
　はじめに、図３を用いて、第１の実施形態に係る情報処理の手法について説明する。図３は、第１の実施形態に係る情報処理手順の全体的な流れを示すフローチャートである。
　まず、データ取得部１３１は、実行者の身体状態を示す身体情報をリアルタイムに取得する（ステップＳ３０１）。例えば、データ取得部１３１は、実行者が有するセンシング機器（入力装置１０）が定期的に身体状態を検出することに応じて、定期的に身体情報を取得してよい。
　データ解析部１３２は、試行動作（練習動作）の展開と、イメージ画像で再現されるシーンとに基づいて、イメージ画像を提示させる提示タイミングを決定する（ステップＳ３０２）。
　提示部１３４は、提示タイミングに基づいて、実行者の練習課題に対応するコンテンツに対応付けられるイメージ画像を提示するタイミングとなったか否かを判定する（ステップＳ３０３）。提示部１３４は、提示するタイミングとなっていないと判定している間は（ステップＳ３０３；Ｎｏ）、提示するタイミングとなったと判定できるまで待機する。
　一方、提示部１３４は、提示するタイミングになったと判定した場合には（ステップＳ３０３；Ｙｅｓ）、イメージ画像を実行者に提示する（ステップＳ３０４）。具体的には、提示部１３４は、実行者が有する出力装置３０にイメージ画像を送信することで、このイメージ画像を表示させる。なお、提示タイミングで提示されるイメージ画像は、シーンの態様が修正される前の純粋な画像である。
　ここで、実行者は、出力装置３０を介して、イメージ画像を参照しながら実際に練習を行う。この間にも実行者の身体状態はリアルタイムに検出されており、検出された身体状態を示す身体情報は、予め登録されている登録者（ここでは、実行者に対応する指導者）に提示される。また、ここで提示される身体情報には、データ解析部１３２による評価結果も反映されていてよい。
　例えば、提示部１３４は、指導者が有する出力装置３０に身体情報を送信することで、この身体情報を表示させてよい。そうすると、指導者は、提示された身体情報を参照しながら、自身の経験や感覚を生かして、実行者に定められたパフォーマンス目標の達成状況を評価する指標となる評価項目について評価を行う。また、指導者は、自身の入力装置１０を介して、評価結果を情報処理装置１００に入力する。
　データ取得部１３１は、評価項目に対する評価結果を取得できたか否かを判定する（ステップＳ３０５）。データ取得部１３１は、指導者から評価結果の入力が受け付けられていない場合には、評価結果を取得できていない判定し（ステップＳ３０５；Ｎｏ）、取得できたと判定できるまで待機する。
　一方、データ取得部１３１は、指導者から評価結果の入力が受け付けられた場合には、評価結果を取得できたと判定する（ステップＳ３０５；Ｙｅｓ）。
　データ解析部１３２は、データ取得部１３１により取得された評価結果に基づいて、実行者がパフォーマンス目標を未達成であるか否かを判定する（ステップＳ３０６）。データ解析部１３２は、実行者がパフォーマンス目標を未達成でない（すなわち達成できた）と判定した場合には（ステップＳ３０６；Ｎｏ）、処理を終了とする。
　一方、提示部１３４は、実行者がパフォーマンス目標を未達成であると判定された場合には（ステップＳ３０６；Ｙｅｓ）、パフォーマンス目標を誘発するためのパラメータであって、イメージ画像で再現されるシーンに対応するパラメータを調整可能に制御された操作画面を、予め登録されている登録者（ここでは、実行者に対応する指導者）に提示する（ステップＳ３０７）。
　提示部１３４は、操作画面を介してパラメータの調整内容を受け付けたか否かを判定する（ステップＳ３０８）。提示部１３４は、パラメータの調整内容を受け付けていないと判定している間は（ステップＳ３０８；Ｎｏ）、パラメータの調整内容を受け付けたと判定できるまで待機する。
　一方、生成部１３３は、パラメータの調整内容を受け付けたと判定された場合には（ステップＳ３０８；Ｙｅｓ）、調整内容に基づきパラメータを再調整することで、シーンの態様を修正する（ステップＳ３０９）。例えば、生成部１３３は、パラメータの再調整によりシーンの態様を修正し、態様が修正された修正後のシーンが再現されたイメージ画像を生成する。
　提示部１３４は、ステップＳ３０９で生成されたイメージ画像を実行者に提示する（ステップＳ３１０）。具体的には、提示部１３４は、実行者が有する出力装置３０にイメージ画像を送信することで、このイメージ画像を表示させる。
　また、提示部１３４は、ステップＳ３０２で決定された提示タイミングの全てにおいて、イメージ画像の提示が終了したか否かを判定する（ステップＳ３１１）。提示部１３４は、全ての提示タイミングでの提示が終了していないと判定した場合には（ステップＳ３１１；Ｎｏ）、処理をステップＳ３０３へと移行させる。
　一方、提示部１３４は、全ての提示タイミングでの提示が終了したと判定した場合には（ステップＳ３１１；Ｙｅｓ）、処理を終了とする。
　さて、図３では、第１の実施形態に係る情報処理の全体的な流れを説明した。以降は、サービスＳＡが適用される適用場面の具体例を用いて、「適用場面」と、「パフォーマンス目標」と、「評価項目」との組合せごとに、実施例を分けてより詳細に説明する。第１の実施形態に係る情報処理の一例を実施例ごとに説明するに先立って、図４では、「適用場面」と、「パフォーマンス目標」と、「評価項目」との組合せの一覧を示す。図４は、第１の実施形態に係る情報処理の一例となる実施例の一覧表である。
　図４によれば、実施例１－１では、歌唱練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「ハリ感のある歌声で歌う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「奥行方向の位置」となる。
　実施例１－２では、歌唱練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「広がりのある歌声で歌う／ダイナミックに歌う」という２つのパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「水平方向の範囲」および「期待されるテンション」となる。
　実施例１－３では、歌唱練習の場において、ミラーリング効果を活用しながら、「ハリ感のある歌声で歌う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「垂直方向に仮想的に加わる力の大小に関する印象」となる。
　実施例１－４は、ダンス練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「ダイナミックな動きで踊る」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「奥行方向の位置」となる。
　実施例１－５は、ピアノ練習の場において、ＡＲ機器等を介して操作箇所の可視化・焦点化を行うことで、「強弱のついたタッチで演奏する」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「ターゲットリングの重畳位置／ターゲットリングのサイズ」となる。
〔１－１．実施例１－１〕
　ここからは、実施例１－１で行われる情報処理の具体的手法について、図５を用いて説明する。図５では、図３の情報処理手順と対応付けて具体的手法を説明する。図５の例では、実行者Ｐ１が、「ハリ感のある歌声で歌う」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された仮想現実空間において、課題曲の歌唱練習が行われる場面を例に挙げる。すなわち、図５の例は、イメージ画像の提示手法としてＶＲによる環境再現を用いるものである。
　例えば、実行者Ｐ１は、出力装置３０（ＶＲゴーグル）の中で仮想的に展開される観客席に向かって、入力装置１０（マイク）を用いて歌唱練習する。なお、詳細は図６で説明する。また、図５の例では、指導者Ｌ１が、実行者Ｐ１の様子を観察しており、評価項目「音声のハリ感」を評価する。
　このような状態において、データ取得部１３１は、実行者Ｐ１の身体状態として、姿勢、顔の向き、音声が検出された検出結果を示す身体情報を取得する（図３のステップＳ３０１の具体例）。図５の例では、仮想現実空間においてイメージ画像が提示されるため、ここで取得された身体情報は、初期値を設定するためのキャリブレーションのために用いられてよい。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図３のステップＳ３０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　提示部１３４は、前列、中列、後列に分けられた観客席と、各観客席での観客とが仮想的に再現されたイメージ画像Ｇ１１を実行者Ｐ１に提示する（図３のステップＳ３０４の具体例）。イメージ画像Ｇ１１について図６を用いて説明する。図６は、実施例１－１に係る実行者側の具体例を示す図である。
　図６の例によれば、提示部１３４は、歌いかけるターゲットとなる観客を曲展開ごとに制御する。例えば、提示部１３４は、仮想的に展開される観客席に居る観客のうち、歌いかけるターゲットとなる観客を設定し、曲展開に応じてターゲットの観客を変化させるという制御を行う。
　したがって、ここで可変となるパラメータは、前列の観客群ＡＧ１１１、中列の観客群ＡＧ１１２、後列の観客群ＡＧ１１３のうち、色分けにより他とは区別表示されたターゲット観客の「奥行方向の位置」である。例えば、提示部１３４は、曲展開に応じて、ターゲット観客を切り替える。一例として、提示部１３４は、Ａメロでは中列の特定の位置の観客をターゲットとする、Ｂメロでは前列の特定の位置の観客をターゲットとする、サビでは後列の特定の位置の観客をターゲットとする、といった具合に、歌いかけるターゲットとなる観客を切り替えることでイメージ画像Ｇ１１を提示する。図６の例は、実行者Ｐ１がＡメロを歌っている最中であり、提示部１３４が、Ａメロでは、中列の中央付近の観客をターゲットと指定し、イメージ画像Ｇ１１において、色分けによりこのターゲット観客を他の観客と区別表示している例が示される。
　このような提示によれば、実行者Ｐ１の動作として、例えば、顔の向きの変化が誘発される。顔の向きが変化することで、ハリ感のある歌声の発生に関係する喉や気道の開閉や、これらの動作自体のしやすさに影響が及ぼされると考えられる。また、歌いかけるターゲットが距離的に遠方に付置された場合には、声の大小に変化をつける必要があることが認知されやすくなり、結果として声のハリ感に影響が及ぶことになる。
　図５に戻り、例えば、指導者Ｌ１は、評価項目「音声のハリ感」について聴感を頼りに評価している。係る例では、データ取得部１３１は、指導者Ｌ１の入力装置１０を介して、指導者Ｌ１によって評価項目「音声のハリ感」が評価された評価結果を取得する（図３のステップＳ３０５の具体例）。
　ここで、提示部１３４は、指導者Ｌ１から取得された評価結果に基づき、「ハリ感のある歌声で歌う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、歌いかけるターゲットとなる観客の「奥行方向の位置」を調整可能な操作画面Ｃ１１を指導者Ｌ１に提示する（図３のステップＳ３０７の具体例）。
　操作画面Ｃ１１について、図７を用いて説明する。図７は、実施例１－１に係る指導者側の具体例を示す図である。図７の例によれば、操作画面Ｃ１１には、歌いかけるターゲットとなる観客の「奥行方向の位置」をパラメータとして、係るパラメータを調整できる操作部ＯＰ１１１や操作部ＯＰ１１２が設けられる。
　指導者Ｌ１は、例えば、「ハリ感のある歌声」で歌うには、後列の観客に歌いかけるイメージをもつことが重要と考える場合、操作部ＯＰ１１１を操作して観客席を現在の中列から後列へと移動させ、また、操作部ＯＰ１１２を操作してターゲットとなる観客を指定することができる。
　図５に戻り、生成部１３３は、操作画面Ｃ１１を用いてパラメータが調整されたことによる調整内容が受け付けられると、調整内容に基づき、歌いかけるターゲットとなる観客の位置を再調整する（図３のステップＳ３０９の具体例）。例えば、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ１１を生成し直し、これを提示させる。
〔１－２．実施例１－２〕
　実施例１－１では、単一のパフォーマンス目標が定められた場合における情報処理の具体例を示すものであったが、応用として、複数のパフォーマンス目標が定められたことで、複数の指標が同時に存在する場合における情報処理について説明する。実施例１－２は、実施例１－１に対する応用形の情報処理に対応する。
　実施例１－２で行われる情報処理の具体的手法について、図８を用いて説明する。図８でも同様に、図３の情報処理手順と対応付けて具体的手法を説明する。図８の例では、実行者Ｐ１が、「広がりのある歌声で歌う／ダイナミックに歌う」という２つのパフォーマンス目標を達成するため、情報処理装置１００によって実現された仮想現実空間において、課題曲の歌唱練習が行われる場面を例に挙げる。すなわち、図８の例は、イメージ画像の提示手法としてＶＲによる環境再現を用いるものである。
　例えば、実行者Ｐ１は、出力装置３０（ＶＲゴーグル）の中で仮想的に展開される観客席に向かって、入力装置１０（マイク）を用いて歌唱練習する。なお、詳細は図９で説明する。また、図８の例では、指導者Ｌ１が、実行者Ｐ１の様子を観察しており、評価項目「音声の広がり」と「音声の抑揚（ダイナミックさ）」を評価する。
　このような状態において、データ取得部１３１は、実行者Ｐ１の身体状態として、姿勢、顔の向き、音声が検出された検出結果を示す身体情報を取得する（図３のステップＳ３０１の具体例）。図８の例では、仮想現実空間においてイメージ画像が提示されるため、ここで取得された身体情報は、初期値を設定するためのキャリブレーションのために用いられてよい。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図３のステップＳ３０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　提示部１３４は、前列、中列、後列に分けられた観客席と、照明と、各観客席での観客のモーションとが仮想的に再現されたイメージ画像Ｇ１２を実行者Ｐ１に提示する（図３のステップＳ３０４の具体例）。イメージ画像Ｇ１２について図９を用いて説明する。図９は、実施例１－２に係る実行者側の具体例を示す図である。
　図９の例によれば、提示部１３４は、照明の広がりと、照明が当てられる観客のモーションを曲展開ごとに制御する。例えば、提示部１３４は、歌いかけるターゲットとなる観客を設定し、設定したターゲット観客を起点として、照明の広がりと、照明が当てられる観客の状態とを曲展開に応じて変化させるという制御を行う。
　したがって、ここで可変となるパラメータは、照明を当てる「水平方向の範囲」（狭い／広い／全灯等）と、照明が当てられる観客の「モーション」（平静／横揺れ／興奮等）である。すなわち、提示部１３４は、イメージ画像Ｇ１２において、「歌声の広がり」を照明の広がりを用いて表現し、「歌声のダイナミックさ」を観客のモーションの種類を用いて表現する。図９の例は、実行者Ｐ１がサビを歌っている最中であり、提示部１３４が、サビでは、中列の中央付近の観客をターゲットと指定し、ターゲット観客に照明を当てるとともに、ターゲット観客が楽曲に合わせてエキサイトしている状態をイメージ画像Ｇ１２で表現している例が示される。
　例えば、タスク教示型の指導項目が複数に渡る場合、ひとつを意識すると他への意識がおろそかになる問題がある。しかしながら、このような提示によれば、認知的な負荷がタスク教示型の指導に対して小さいかたちで複数の指標を変化させる情報提示を共存させることが可能となる。
　図８に戻り、例えば、指導者Ｌ１は、評価項目「音声の広がり／音声の抑揚」について聴感を頼りに評価している。係る例では、データ取得部１３１は、指導者Ｌ１の入力装置１０を介して、指導者Ｌ１によって評価項目「音声の広がり／音声の抑揚」が評価された評価結果を取得する（図３のステップＳ３０５の具体例）。
　ここで、提示部１３４は、指導者Ｌ１から取得された評価結果に基づき、「広がりのある歌声で歌う／ダイナミックに歌う」という２つのパフォーマンス目標が未達成であると判定された場合には、パラメータとして、照明を当てる「水平方向の範囲」、および、照明が当てられる観客の「モーション」を調整可能な操作画面Ｃ１２を指導者Ｌ１に提示する（図３のステップＳ３０７の具体例）。
　操作画面Ｃ１２について、図１０を用いて説明する。図１０は、実施例１－２に係る指導者側の具体例を示す図である。図１０の例によれば、操作画面Ｃ１２には、歌いかけるターゲットとなる観客を起点とした照明を当てる「水平方向の範囲」をパラメータとして、係るパラメータを調整できる操作部ＯＰ１２１が設けられる。また、操作画面Ｃ１２には、照明が当てられる観客の「モーション」をパラメータとして、係るパラメータの種別を選択できる操作部ＯＰ１２２が設けられる。
　指導者Ｌ１は、例えば、「広がりのある歌声で、かつ、ダイナミックに」歌うには、広がりのある照明の元で観客がよりエキサイトしているイメージをもつことが重要と考える場合、操作部ＯＰ１２１を用いて照明の範囲を広げ、操作部ＯＰ１２２を用いて「ｅｘｉｔｅ」が対応付けられるモーション種別を選択することができる。
　図８に戻り、生成部１３３は、操作画面Ｃ１２を用いてパラメータが調整されたことによる調整内容を受け付けられると、調整内容に基づき、照明を当てる水平方向の範囲と、観客のモーションとを再調整する（図３のステップＳ３０９の具体例）。例えば、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ１２を生成し直し、これを提示させる。
〔１－３．実施例１－３〕
　次に、実施例１－３で行われる情報処理の具体的手法について、図１１を用いて説明する。図１１でも同様に、図３の情報処理手順と対応付けて具体的手法を説明する。図１１の例では、実行者Ｐ２が、「ハリ感のある歌声で歌う」というパフォーマンス目標を達成するため、ミラーリング効果を活用された場において、課題曲の歌唱練習が行われる場面を例に挙げる。すなわち、図１１の例は、イメージ画像の提示手法としてミラーリング効果を用いるものである。
　例えば、人間特性の知見として、他者が運動をしている様を眺めるとき、眺めている主体にも同じ運動と関連する脳反応が起きるミラーリングという現象が知られている。運動に関わる脳活動が生起するとき、身体はアロスタシスと呼ばれる運動を行うための身体の準備状態を形成する反応を起こすことが研究によって明らかとなっている。実施例１－３は、こうした行動の準備状態やそれに付随する動作を誘発し、パフォーマンスの向上を図る情報処理に対応する。
　例えば、実行者Ｐ２は、出力装置３０（スマートミラー）に映される自身に向かって、入力装置１０（マイク）を用いて歌唱練習する。なお、詳細は図１２で説明する。また、図１１の例では、指導者Ｌ２が、実行者Ｐ２の様子を観察しており、評価項目「音声のハリ感」を評価する。なお、出力装置３０は、ＡＲグラスであってもよく、係る例では、実行者Ｐ２は、ＡＲグラスを装着した状態で、一般的な全身鏡等に向かって歌えばよい。
　このような状態において、データ取得部１３１は、実行者Ｐ２の身体状態として、姿勢、顔の向き、音声が検出された検出結果を示す身体情報を取得する（図３のステップＳ３０１の具体例）。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図３のステップＳ３０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　提示部１３４は、「空から吊られたイメージで」、という指導法に即して、提示タイミングで出力装置３０（スマートミラー）を介して、人物を吊り上げる糸のイメージ画像Ｇ２を提示する（図３のステップＳ３０４の具体例）。具体的には、提示部１３４は、出力装置３０に映った像に対して吊り上げる糸のイメージ画像Ｇ２を重畳表示させる。イメージ画像Ｇ２について、図１２を用いて説明する。図１２は、実施例１－３に係る実行者側の具体例を示す図である。
　図１２（特に、図１２の左）の例によれば、提示部１３４は、出力装置３０としてのスマートミラーに対して、キャラクターＣＨが糸を使って上空から頭を吊り上げようとしている態様のイメージ画像Ｇ２を重畳表示させる。
　また、図１２の例によれば、提示部１３４は、キャラクターＣＨが仮想的に加える力の大小を曲展開ごとに制御する。例えば、提示部１３４は、ＡメロやＢメロではキャラクターＣＨが糸を軽く引き上げる動作をしているように制御し、サビではキャラクターＣＨが糸を力強く一気に引き上げる動作をしているように制御する。
　例えば、ハリ感のある声を出すよう歌唱指導する場合、「上空から吊られたイメージで正しい姿勢を取って」といったイメージ指導が行われる場合がある。したがって、係る例で可変となるパラメータは、「垂直方向に仮想的に加わる力の大小に関する印象」である。他の例として、「頭の上の風船を割るようなイメージで」といったイメージ指導が行われる場合もある。したがって、係る例では、「風船に吹き込まれる空気の量」がパラメータとなる。
　図１１に戻り、例えば、指導者Ｌ２は、評価項目「音声のハリ感」について聴感を頼りに評価している。係る例では、データ取得部１３１は、指導者Ｌ２の入力装置１０を介して、指導者Ｌ２によって評価項目「音声のハリ感」が評価された評価結果を取得する（図３のステップＳ３０５の具体例）。
　指導者Ｌ２は、スマートミラーに対して、音声で評価結果を入力することができ、係る例では、スマートミラーの出力装置３０は、指導者Ｌ２目線では入力装置１０と解することができる。
　ここで、提示部１３４は、指導者Ｌ２から取得された評価結果に基づき、「ハリ感のある歌声で歌う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、「垂直方向に仮想的に加わる力の大小に関する印象」を調整可能な操作画面を指導者Ｌ２に提示する（図３のステップＳ３０７の具体例）。図１１の例では、操作画面は、イメージ画像Ｇ２そのものであってよく、イメージ画像Ｇ２で再現されるシーンを外部から調整できるよう制御する。
　イメージ画像Ｇ２（操作画面）では、「垂直方向に仮想的に加わる力の大小に関する印象」をパラメータとして、所定の手法により係るパラメータを調整できる。
　例えば、指導者Ｌ２は、「ハリ感のある歌声」で歌うには、頭を軽めに連続して吊り上げられるイメージをもつことが重要と考える場合、キャラクターＣＨが糸を数回軽く引き上げる動作をするようパラメータを調整する操作をイメージ画像Ｇ２に加えることができる。例えば、指導者Ｌ２は、イメージ画像Ｇ２に対して直接タッチする操作や音声操作により、パラメータを調整することができる。
　一方、指導者Ｌ２は、「ハリ感のある歌声」で歌うには、頭を強めに吊り上げられるイメージをもつことが重要と考える場合、キャラクターＣＨが糸を力強く一気に引き上げる動作をするようパラメータを調整する操作をイメージ画像Ｇ２に加えることができる。例えば、指導者Ｌ２は、イメージ画像Ｇ２に対して直接タッチする操作や音声操作により、パラメータを調整することができる。
　図１１に戻り、生成部１３３は、イメージ画像Ｇ２に対する操作によりパラメータが調整されたことによる調整内容が受け付けられると、調整内容に基づき、キャラクターＣＨによる引き上げ動作の態様を再調整する（図３のステップＳ３０９の具体例）。
　例えば、生成部１３３は、キャラクターＣＨが糸を数回軽く引き上げる動作をするようパラメータを調整された場合には、係る調整内容に基づいて、図１２（ａ）に示すように、イメージ画像Ｇ２において、キャラクターＣＨによる引き上げ動作の態様を再調整する。このように、提示部１３４は、再調整によりイメージ画像Ｇ２を生成し直し、これを提示させる。
　また、生成部１３３は、キャラクターＣＨが糸を力強く一気に引き上げる動作をするようパラメータを調整された場合には、係る調整内容に基づいて、図１２（ｂ）に示すように、イメージ画像Ｇ２において、キャラクターＣＨによる引き上げ動作の態様を再調整する。このように、提示部１３４は、再調整によりイメージ画像Ｇ２を生成し直し、これを提示させる。
〔１－４．実施例１－４〕
　次に、実施例１－４で行われる情報処理の具体的手法について、図１３を用いて説明する。図１３でも同様に、図３の情報処理手順と対応付けて具体的手法を説明する。図１３の例では、実行者Ｐ１が、「ダイナミックな動きで踊る」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された仮想現実空間において、課題曲のダンス練習が行われる場面を例に挙げる。すなわち、図１３の例は、イメージ画像の提示手法としてＶＲによる環境再現を用いるものである。
　例えば、実行者Ｐ１は、出力装置３０（ＶＲゴーグル）の中で仮想的に展開される観客席に向かって、ダンス練習する。なお、実施例１－４は、実施例１－１と比較して、歌唱練習かダンス練習かだけの違いであり、提示の手法は共通している。したがって、実施例１－４と重複する点については説明を省略する。
　図１３の例では、指導者Ｌ１が、実行者Ｐ１の様子を観察しており、評価項目「動作の大きさ」を評価する。
　このような状態において、データ取得部１３１は、実行者Ｐ１の身体状態として、姿勢、顔の向き、骨格状況が検出された検出結果を示す身体情報を取得する（図３のステップＳ３０１の具体例）。図１３の例では、仮想現実空間においてイメージ画像が提示されるため、ここで取得された身体情報は、初期値を設定するためのキャリブレーションのために用いられてよい。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図３のステップＳ３０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　提示部１３４は、前列、中列、後列に分けられた観客席と、各観客席での観客とが仮想的に再現されたイメージ画像Ｇ１１を実行者Ｐ１に提示する（図３のステップＳ３０４の具体例）。イメージ画像Ｇ１１については図６で説明した通りである。
　ここで、実施例１－４では、提示部１３４は、ダンスを届けるターゲットとなる観客を曲展開ごとに制御する。例えば、提示部１３４は、仮想的に展開される観客席に居る観客のうち、ダンスを届けるターゲットとなる観客を設定し、曲展開に応じてターゲットの観客を変化させるという制御を行う。
　したがって、ここで可変となるパラメータは、前列の観客群ＡＧ１１１、中列の観客群ＡＧ１１２、後列の観客群ＡＧ１１３のうち、色分けにより他とは区別表示されたターゲット観客の「奥行方向の位置」である。例えば、提示部１３４は、曲展開に応じて、ターゲット観客を切り替える。一例として、提示部１３４は、序盤では中列の特定の位置の観客をターゲットとする、中盤では前列の特定の位置の観客をターゲットとする、キメポーズでは後列の特定の位置の観客をターゲットとする、といった具合に、ダンスを届けるターゲットとなる観客を切り替えることでイメージ画像Ｇ１１を提示する。
　また、指導者Ｌ１は、評価項目「動作の大きさ」について目視や録画映像を頼りに評価している。係る例では、データ取得部１３１は、指導者Ｌ１の入力装置１０を介して、指導者Ｌ１によって評価項目「動作の大きさ」が評価された評価結果を取得する（図３のステップＳ３０５の具体例）。
　ここで、提示部１３４は、指導者Ｌ１から取得された評価結果に基づき、「ダイナミックな動きで踊る」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、ダンスを届けるターゲットとなる観客の「奥行方向の位置」を調整可能な操作画面Ｃ１１を指導者Ｌ１に提示する（図３のステップＳ３０７の具体例）。
　実施例１－４の例を図７に適用すると、操作画面Ｃ１１には、ダンスを届けるターゲットとなる観客の「奥行方向の位置」をパラメータとして、係るパラメータを調整できる操作部ＯＰ１１１や操作部ＯＰ１１２が設けられる。
　指導者Ｌ１は、例えば、「ダイナミックな動き」で踊るには、後列の観客に届けるイメージをもつことが重要と考える場合、操作部ＯＰ１１１を操作して観客席を現在の中列から後列へと移動させ、また、操作部ＯＰ１１２を操作してターゲットとなる観客を指定することができる。
　図１３に戻り、生成部１３３は、操作画面Ｃ１１を用いてパラメータが調整されたことによる調整内容が受け付けられると、調整内容に基づき、ダンスを届けるターゲットとなる観客の位置を再調整する（図３のステップＳ３０９の具体例）。例えば、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ１１を生成し直し、これを提示させる。
〔１－５．実施例１－５〕
　次に、実施例１－５で行われる情報処理の具体的手法について、図１４を用いて説明する。図１４でも同様に、図３の情報処理手順と対応付けて具体的手法を説明する。図１４の例では、実行者Ｐ３が、「強弱のついたタッチで演奏する」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された拡張現実により、課題曲の演奏練習を行う場面を例に挙げる。すなわち、図１４の例は、イメージ画像の提示手法としてＡＲによる操作箇所の可視化・焦点化を用いるものである。
　例えば、実行者Ｐ３は、出力装置３０（ＡＲグラス）を装着した状態で、実在するピアノで課題曲を練習する。なお、詳細は図１５で説明する。また、図１４の例では、指導者Ｌ３が、実行者Ｐ３の様子を観察しており、評価項目「音声の抑揚と響き」を評価する。
　このような状態において、データ取得部１３１は、実行者Ｐ３の身体状態として、姿勢、顔の向き、骨格状況、指の動きが検出された検出結果を示す身体情報を取得する（図３のステップＳ３０１の具体例）。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図３のステップＳ３０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　例えば、ピアノ演奏において、ピアノの音が出る場所を意識しながら引くと響く音が出るという指導方法があるが、物性的に音が出る場所は既定されており、脳内でのイメージ処理と演奏を両立させることは認知負荷が大きい。したがって、上述したように、提示部１３４は、「ピアノの特定の部分から音が出ると思うように」と教示されたリングを重畳する情報提示を行う。
　具体的には、提示部１３４は、「ピアノの音が出る場所を意識すると響く音が出る」、という指導法に即して、出力装置３０を介して、音が出る場所を指し示すイメージ画像Ｇ３を提示する（図３のステップＳ３０４の具体例）。例えば、提示部１３４は、ピアノにおいて音が出る個所としてイメージさせたい場所に対して、イメージ画像Ｇ３を重畳表示させる。イメージ画像３について、図１５を用いて説明する。図１５は、実施例１－５に係る実行者側の具体例を示す図である。
　図１５の例によれば、提示部１３４は、出力装置３０のＡＲグラスを介して、ピアノにおいて音が出る個所としてイメージさせたい場所をターゲットするように、拡張現実的にリング形状のイメージ画像Ｇ３（ターゲットリング）を重畳表示させる。
　また、図１５の例によれば、提示部１３４は、曲展開に応じて音が出る個所の移り変わりを表現するために、イメージ画像Ｇ３を重畳表示させる位置を曲展開に応じて制御する。例えば、提示部１３４は、ＡメロからＢメロ、そしてサビにかけて、ターゲットリングが移動するようにイメージ画像Ｇ３を制御する。
　さらに、提示部１３４は、音の強弱に合わせてターゲットリングのサイズ変えるようにイメージ画像Ｇ３を制御してよい。例えば、提示部１３４は、ＡメロからＢメロにかけてはターゲットリングのサイズが小さくなるようにイメージ画像Ｇ３を制御する一方、Ｂメロからサビにかけてはターゲットリングのサイズが大きくなるようにイメージ画像Ｇ３を制御してよい。
　また、ここで可変となるパラメータは、「ターゲットリングとして提示されるイメージ画像Ｇ３の位置（すなわち重畳位置）」と、「ターゲットリングのサイズ」である。例えば、曲展開に応じてイメージ画像Ｇ３の位置は、実行者Ｐ３の身体から近い／中間／遠い等が定義されており、イメージ画像Ｇが有するリングのサイズは、狭い／中間／広いという状態が定義されていてよい。
　図１４に戻り、例えば、指導者Ｌ３は、評価項目「音声の抑揚と響き」について聴感を頼りに評価している。係る例では、データ取得部１３１は、指導者Ｌ３の入力装置１０を介して、指導者Ｌ３によって評価項目「音声の抑揚と響き」が評価された評価結果を取得する（図３のステップＳ３０５の具体例）。
　ここで、提示部１３４は、指導者Ｌ３から取得された評価結果に基づき、「強弱のついたタッチで演奏する」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、「ターゲットリングの重畳位置」と「ターゲットリングのサイズ」を調整可能な操作画面Ｃ３を指導者Ｌ３に提示する（図３のステップＳ３０７の具体例）。
　操作画面Ｃ３について、図１６を用いて説明する。図１６は、実施例１－５に係る指導者側の具体例を示す図である。図１６の例によれば、操作画面Ｃ３には、「ターゲットリングの重畳位置」をパラメータとして、係るパラメータを調整できる操作部ＯＰ３１が設けられる。また、操作画面Ｃ３には、「ターゲットリングのサイズ」をパラメータとして、係るパラメータを調整できる操作部ＯＰ３２が設けられる。
　指導者Ｌ３は、例えば、「強弱のついたタッチで演奏する」には、ピアノの後方から前方にかけて音が出る個所を変化させつつ、ピアノから出る音を徐々に大きくしてゆくイメージで演奏することが重要であると考える場合、操作部ＯＰ３１を操作してイメージ画像を移動させつつ、操作部ＯＰ３２を操作してリングのサイズを大きくすることができる。
　図１４に戻り、生成部１３３は、操作画面Ｃ３を用いてパラメータが調整されたことによる調整内容が受け付けられると、調整内容に基づき、ターゲットリングの重畳位置と、ターゲットリングのサイズとを再調整する（図３のステップＳ３０９の具体例）。例えば、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ３を生成し直し、これを提示させる。
＜第２の実施形態＞
　ここからは、第２の実施形態について、図１７～図２４を用いて詳細に説明する。第２の実施形態では、パフォーマンス目標の達成状況を評価する主体がシステム（情報処理装置１００）である。
〔２．第１の実施形態に係る情報処理の手順〕
　はじめに、図１７を用いて、第２の実施形態に係る情報処理の手法について説明する。図１７は、第２の実施形態に係る情報処理手順の全体的な流れを示すフローチャートである。
　まず、データ取得部１３１は、実行者の身体状態を示す身体情報をリアルタイムに取得する（ステップＳ１７０１）。例えば、データ取得部１３１は、実行者が有するセンシング機器（入力装置１０）が定期的に身体状態を検出することに応じて、定期的に身体情報を取得してよい。
　データ解析部１３２は、試行動作（練習動作）の展開と、イメージ画像で再現されるシーンとに基づいて、イメージ画像を提示させる提示タイミングを決定する（ステップＳ１７０２）。
　提示部１３４は、提示タイミングに基づいて、実行者の練習課題に対応するコンテンツに対応付けられるイメージ画像を提示するタイミングとなったか否かを判定する（ステップＳ１７０３）。提示部１３４は、提示するタイミングとなっていないと判定している間は（ステップＳ１７０３；Ｎｏ）、提示するタイミングとなったと判定できるまで待機する。
　一方、提示部１３４は、提示するタイミングになったと判定した場合には（ステップＳ１７０３；Ｙｅｓ）、イメージ画像を実行者に提示する（ステップＳ１７０４）。具体的には、提示部１３４は、実行者が有する出力装置３０にイメージ画像を送信することで、このイメージ画像を表示させる。なお、提示タイミングで提示されるイメージ画像は、シーンの態様が修正される前の純粋な画像である。
　ここで、実行者は、出力装置３０を介して、イメージ画像を参照しながら実際に練習を行う。この間にも実行者の身体状態はリアルタイムに検出されており、検出された身体状態を示す身体情報は、データ取得部１３１により取得され、そして、データ解析部１３２へと出力されている。
　このような状態において、データ解析部１３２は、パフォーマンス目標の達成状況を評価する指標となる評価項目について評価を行うタイミングになったか否かを判定する（ステップＳ１７０５）。データ解析部１３２は、評価を行うタイミングとなっていないと判定している間は（ステップＳ１７０５；Ｎｏ）、評価を行うタイミングとなったと判定できるまで待機する。
　一方、データ解析部１３２は、評価を行うタイミングになったと判定した場合には（ステップＳ１７０５；Ｙｅｓ）、評価項目で規定される状況の数値化により評価値を算出する（ステップＳ１７０６）。
　また、データ解析部１３２は、評価結果として取得した評価値に基づいて、実行者がパフォーマンス目標を未達成であるか否かを判定する（ステップＳ１７０７）。データ解析部１３２は、実行者がパフォーマンス目標を未達成でない（すなわち達成できた）と判定した場合には（ステップＳ１７０７；Ｎｏ）、処理を終了とする。
　一方、生成部１３３は、実行者がパフォーマンス目標を未達成であると判定された場合には（ステップＳ１７０７；Ｙｅｓ）、評価値と、パラメータとに基づいて、シーンの態様を修正する（ステップＳ１７０８）。例えば、生成部１３３は、評価値と閾値との差分とに基づいて、パラメータを最適化するための調整値を算出し、算出した調整値に基づきパラメータを再調整する。そして、生成部１３３は、パラメータの再調整により、態様が修正された後のシーンが再現されたイメージ画像を生成する。
　提示部１３４は、ステップＳ１７０８で生成されたイメージ画像を実行者に提示する（ステップＳ１７０９）。具体的には、提示部１３４は、実行者が有する出力装置３０にイメージ画像を送信することで、このイメージ画像を表示させる。
　また、提示部１３４は、ステップＳ１７０２で決定された提示タイミングの全てにおいて、イメージ画像の提示が終了したか否かを判定する（ステップＳ１７１０）。提示部１３４は、全ての提示タイミングでの提示が終了していないと判定した場合には（ステップＳ１７１０；Ｎｏ）、処理をステップＳ１７０３へと移行させる。
　一方、提示部１３４は、全ての提示タイミングでの提示が終了したと判定した場合には（ステップＳ１７１０；Ｙｅｓ）、処理を終了とする。
　さて、図１７では、第２の実施形態に係る情報処理の全体的な流れを説明した。以降は、サービスＳＡが適用される適用場面の具体例を用いて、「適用場面」と、「パフォーマンス目標」と、「評価項目」との組合せごとに、実施例を分けてより詳細に説明する。第２の実施形態に係る情報処理の一例を実施例ごとに説明するに先立って、図１８では、「適用場面」と、「パフォーマンス目標」と、「評価項目」との組合せの一覧を示す。図１８は、第２の実施形態に係る情報処理の一例となる実施例の一覧表である。
　図１８によれば、実施例２－１では、歌唱練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「ハリ感のある歌声で歌う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「奥行方向の位置」となる。
　実施例２－２では、ナレーションの練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「明瞭な発声を行う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「奥行方向の位置」となる。
　実施例２－３では、テニスの練習の場において、メタファー操作を活用しながら、「体幹を用いたスイングを行う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「回転運動に関する印象」となる。
　実施例２－４では、テニスの練習の場となる環境を仮想現実空間で提供することにより、係る環境下において、「安定したラリーを行う」というパフォーマンス目標達成のために実行される情報処理の具体的一例が示される。ここで用いられるパラメータは「ボールの軌道」となる。
〔２－１．実施例２－１〕
　ここからは、実施例２－１で行われる情報処理の具体的手法について、図１９を用いて説明する。図１９では、図１７の情報処理手順と対応付けて具体的手法を説明する。図１９の例では、実行者Ｐ１が、「ハリ感のある歌声で歌う」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された仮想現実空間において、課題曲の歌唱練習を行う場面を例に挙げる。すなわち、図１９の例は、イメージ画像の提示手法としてＶＲによる環境再現を用いるものである。
　例えば、実行者Ｐ１は、出力装置３０（ＶＲゴーグル）の中で仮想的に展開される観客席に向かって、入力装置１０（マイク）を用いて歌唱練習する。なお、実施例２－１は、実施例１－１と比較して、評価する主体がシステムである点で異なるが、情報処理の一部は共通している。したがって、実施例１－１と同様に、図６の例を用いて説明する。
　データ取得部１３１は、実行者Ｐ１の身体状態として、姿勢、顔の向き、音声が検出された検出結果を示す身体情報を取得する（図１７のステップＳ１７０１の具体例）。図１９の例では、仮想現実空間においてイメージ画像が提示されるため、ここで取得された身体情報は、初期値を設定するためのキャリブレーションのために用いられてよい。
　また、データ解析部１３２は、課題曲の曲展開（例えば、Ａメロ／Ｂメロ／サビ等）に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図１７のステップＳ１７０２の具体例）。このため、例えば、課題曲には、Ａメロ／Ｂメロ／サビといった曲展開のタグが予めプリセットされ、曲展開の変化に付随して、歌っている最中（動作中）に提示が切り替えられる。
　提示部１３４は、前列、中列、後列に分けられた観客席と、各観客席での観客とが仮想的に再現されたイメージ画像Ｇ１１を実行者Ｐ１に提示する（図１７のステップＳ１７０４の具体例）。
　イメージ画像Ｇ１１の提示については図６で説明した通りである。例えば、提示部１３４は、歌いかけるターゲットとなる観客を曲展開ごとに制御する。例えば、提示部１３４は、仮想的に展開される観客席に居る観客のうち、歌いかけるターゲットとなる観客を設定し、曲展開に応じてターゲットの観客を変化させるという制御を行う。
　つまり、可変となるパラメータは、前列の観客群ＡＧ１１１、中列の観客群ＡＧ１１２、後列の観客群ＡＧ１１３のうち、色分けにより他とは区別表示されたターゲット観客の「奥行方向の位置」である。例えば、提示部１３４は、曲展開に応じて、ターゲット観客を切り替える。一例として、提示部１３４は、Ａメロでは中列の特定の位置の観客をターゲットとする、Ｂメロでは前列の特定の位置の観客をターゲットとする、サビでは後列の特定の位置の観客をターゲットとする、といった具合に、歌いかけるターゲットとなる観客を切り替えることでイメージ画像Ｇ１１を提示する。
　ここで、実施例２－１では、音声解析アルゴリズムを用いて、音声データが分析されることで「音声のハリ感」が指標化され、指標値に基づきシステム側で歌声のハリ感が評価される。具体的には、データ解析部１３２は、ハリ感に相当する展開単位での平均的音量や、歌声のフォルマント等の解析結果を評価値とする（図１７のステップＳ１７０６の具体例）。
　例えば、データ解析部１３２は、実行者Ｐ１の音声データから得られた音響特徴量に基づいて、基本周波数（ピッチ）の標準偏差、第１フォルマントの平均値、譜面に対する音声新語の立ち上がりの速さ、ビブラートの大きさ・平均値、第２フォルマントの標準偏差を算出することで、算出結果を用いて「音声のハリ感」を指標化する。例えば、データ解析部１３２は、基本周波数（ピッチ）の標準偏差、第１フォルマントの平均値、譜面に対する音声新語の立ち上がりの速さ、ビブラートの大きさ・平均値、第２フォルマントの標準偏差から総合的に得られる値を、評価項目「音声のハリ感」に対する評価値とする。
　また、生成部１３３は、評価値に基づき、「ハリ感のある歌声で歌う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、歌いかけるターゲットとなる観客の「奥行方向の位置」を、評価値に基づいて修正する（図１７のステップＳ１７０８の具体例）。
　例えば、生成部１３３は、評価値と、パラメータに関して予め設定される閾値との差分を求める。そして、生成部１３３は、閾値に対して差分が上振れしている場合には下方修正し、一方、閾値に対して差分が下振れしている場合には上方修正するかたちで、例えば、任意の単位時間あたりの差分を最小化するようにパラメータの調整値を算出する。そして、生成部１３３は、調整値に基づき、歌いかけるターゲットとなる観客の位置を再調整する。また、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ１１を生成し直し、これを提示させる。
〔２－２．実施例２－２〕
　次に、実施例２－２で行われる情報処理の具体的手法について、図２０を用いて説明する。図２０でも同様に、図１７の情報処理手順と対応付けて具体的手法を説明する。図１２０の例では、実行者Ｐ１が、「明瞭な発声を行う」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された仮想現実空間において、課題原稿のナレーション練習を行う場面を例に挙げる。すなわち、図２０の例は、イメージ画像の提示手法としてＶＲによる環境再現を用いるものである。
　例えば、実行者Ｐ１は、出力装置３０（ＶＲゴーグル）の中で仮想的に展開される観客席に向かって、入力装置１０（マイク）を用いてナレーションの練習を行う。なお、実施例２－２は、実施例２－１と比較して、歌唱練習かナレーション練習かだけの違いであり、提示の手法は共通している。したがって、実施例２－１と重複する点については説明を省略する。
　データ取得部１３１は、実行者Ｐ１の身体状態として、姿勢、頭の向き、口の開き具合、骨格状況が検出された検出結果を示す身体情報を取得する（図１７のステップＳ１７０１の具体例）。図２０の例では、仮想現実空間においてイメージ画像が提示されるため、ここで取得された身体情報は、初期値を設定するためのキャリブレーションのために用いられてよい。
　また、データ解析部１３２は、課題原稿のストーリー展開に応じて、イメージ画像の提示を切り替えるという提示タイミングを決定する（図１７のステップＳ１７０２の具体例）。このため、例えば、課題には、起／承／転／結といったストーリー展開のタグが予めプリセットされ、ストーリー展開の変化に付随して、語りかけている最中（動作中）に提示が切り替えられる。
　提示部１３４は、前列、中列、後列に分けられた観客席と、各観客席での観客とが仮想的に再現されたイメージ画像Ｇ１１を実行者Ｐ１に提示する（図１７のステップＳ１７０４の具体例）。例えば、提示部１３４は、語りかけるターゲットとなる観客をストーリー展開ごとに制御する。例えば、提示部１３４は、仮想的に展開される観客席に居る観客のうち、語りかけるターゲットとなる観客を設定し、ストーリー展開に応じてターゲットの観客を変化させるという制御を行う。
　したがって、ここで可変となるパラメータは、前列の観客群ＡＧ１１１、中列の観客群ＡＧ１１２、後列の観客群ＡＧ１１３のうち、色分けにより他とは区別表示されたターゲット観客の「奥行方向の位置」である。例えば、提示部１３４は、ストーリー展開に応じて、ターゲット観客を切り替える。一例として、提示部１３４は、ストーリー序盤では中列の特定の位置の観客をターゲットとする、ストーリー中盤では前列の特定の位置の観客をターゲットとする、といった具合に、語りかけるターゲットとなる観客を切り替えることでイメージ画像Ｇ１１を提示する。
　ここで、実施例２－２では、音声解析アルゴリズムを用いて、音声データが分析されることで「音声の明瞭さ」が指標化され、指標値に基づきシステム側で発声の明瞭さが評価される。具体的には、データ解析部１３２は、明瞭さに相当する展開単位での平均的音量や、歌声のフォルマント等の解析結果を評価値とする（図１７のステップＳ１７０６の具体例）。また、データ解析部１３２は、音声認識技術を用いた認識結果と、原稿との一致率を評価値としてもよい。
　また、生成部１３３は、評価値に基づき、「明瞭な発声を行う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、語りかけるターゲットとなる観客の「奥行方向の位置」を、評価値に基づいて修正する（図１７のステップＳ１７０８の具体例）。
　例えば、生成部１３３は、評価値と、パラメータに関して予め設定される閾値との差分を求める。そして、生成部１３３は、閾値に対して差分が上振れしている場合には下方修正し、一方、閾値に対して差分が下振れしている場合には上方修正するかたちで、例えば、任意の単位時間あたりの差分を最小化するようにパラメータの調整値を算出する。そして、生成部１３３は、調整値に基づき、語りかけるターゲットとなる観客の位置を再調整する。また、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ１１を生成し直し、これを提示させる。
〔２－３．実施例２－３〕
　次に、実施例２－３で行われる情報処理の具体的手法について、図２１を用いて説明する。図２１でも同様に、図１７の情報処理手順と対応付けて具体的手法を説明する。図１２１の例では、実行者Ｐ４が、「体幹を用いたスイングを行う」というパフォーマンス目標を達成するため、メタファー操作を活用された場において、テニスのスイング練習を行う場面を例に挙げる。すなわち、図２１の例は、イメージ画像の提示手法としてメタファー操作を用いるものである。
　例えば、テニス、野球あるいはゴルフのようなスイングを行う競技においては、手打ちと呼ばれる腕の腕力だけでボールを打つ動作は一般に避けるべき打法であるとされており、足で地面を蹴り、肩甲骨や肩を使って、ラケットヘッドが遅れて出てくるようなかたちで全身の運動を連動させながら打つことが好ましいとされている。一方でこのような教示は多数の箇所を同時に駆動し、本来の目的であるボールを打つ動作も行わなければいけないため困難度が高い。例えば、プレー中にコーチが声掛けで指導を行う様子がテニススクールでは頻繁にみられるが、プレイヤーは既定の打数の間にうまく修正できないことがある。実施例２－３は、こうした問題点に鑑みて、体幹を用いて全身を連動させて打つことを教示するためにでんでん太鼓のイメージをメタファーをとして提示する情報処理に対応する。
　例えば、実行者Ｐ４は、出力装置３０（プロジェクター）によってスクリーンＳＣにテニスコートの画像が映し出されている状態で、ボールマシンから放たれたボールを打ち返すことでスイングの練習を行う。なお、詳細は図２２で説明する。
　このような状態において、データ取得部１３１は、実行者Ｐ４の身体状態として、全身の動きや骨格状況が検出された検出結果を示す身体情報を取得する（図１７のステップＳ１７０１の具体例）。
　また、本実施例では、データ解析部１３２は、これから行う動作をイメージさせる目的で、試行が始められる事前のタイミングを提示タイミングとして決定する。具体的には、データ解析部１３２は、ボールマシンによって球出しが行われる前にスイングイメージの確認としてイメージ画像を提示するという提示タイミングを決定する（図１７のステップＳ１７０２の具体例）。例えば、データ解析部１３２は、ボールマシンからボールが放たれた瞬間、あるいは、ラケットにボールが当たるであろう予測時間に基づいて、提示タイミングを決定してよい。
　提示部１３４は、でんでん太鼓を体幹と腕のメタファーに用いたスイングの手本となるイメージ画像Ｇ４を提示タイミングにおいて提示する（図１７のステップＳ１７０４の具体例）。具体的には、提示部１３４は、出力装置３０により映し出されたスクリーンＳＣ上の特定の位置に対して、イメージ画像Ｇ２を重畳表示させる。例えば、提示部１３４は、スクリーンＳＣ上の特定の位置に対して、イメージ画像Ｇ４を重畳表示するよう出力装置３０を制御してよい。このようなことから、実施例２－３は、実施例１－３と同様、ミラーリング効果を活用した提示ともいえる。
　イメージ画像Ｇ４について、図２２を用いて説明する。図２２は、実施例２－３に係る実行者側の具体例を示す図である。図２２に示すように、提示部１３４は、出力装置３０を介して、スクリーンＳＣ上の特定の位置に対して、イメージ画像Ｇ４を重畳表示させる。例えば、提示部１３４は、図２２に示すように、ボールマシンからボールが放たれる事前において、スイングのお手本としてイメージ画像Ｇ４を提示してよい。
　ここで、上記の通り、スイングでは、全身の運動を連動させながら打つ動作が重要とされており、でんでん太鼓の動きは、この動作の例えとなるものである。したがって、係る例で可変となるパラメータは、でんでん太鼓の「回転運動に関する印象」である。より具体的には、パラメータは、「でんでん太鼓を回すタイミング」、「でんでん太鼓の回転速度」、「でんでん太鼓の先端部の大きさ（重量）」、「でんでん太鼓の紐の長さ」であってよい。したがって、例えば、提示部１３４は、これらのパラメータを特定の状態に調整した状態のイメージ画像Ｇ４を提示する。イメージ画像Ｇ４の中では、でんでん太鼓がパラメータに応じて動作するシーンが再現される。
　図２１に戻り、データ解析部１３２は、スピードガンやテニスセンサ等の既存技術を用いてボールの動きが解析された解析結果を評価値とする（図１７のステップＳ１７０６の具体例）。例えば、データ解析部１３２は、実行者Ｐ４により打ち返されたボールの球速や、このボールの回転量が、スピードガンやテニスセンサによって測定された測定結果から総合的に得られる値を、評価項目「ボールの動作状態」に対する評価値とする。
　また、生成部１３３は、評価値に基づき、「体幹を用いたスイングを行う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、でんでん太鼓の「回転運動に関する印象」を、評価値に基づいて修正する（図１７のステップＳ１７０８の具体例）。
　例えば、生成部１３３は、評価値と、パラメータに関して予め設定される閾値との差分を求める。そして、生成部１３３は、閾値に対して差分が上振れしている場合には下方修正し、一方、閾値に対して差分が下振れしている場合には上方修正するかたちで、例えば、任意の単位時間あたりの差分を最小化するようにパラメータの調整値を算出する。そして、生成部１３３は、調整値に基づき、でんでん太鼓の動きを再調整する。また、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ４を生成し直し、これを提示させる。
〔２－４．実施例２－４〕
　次に、実施例２－４で行われる情報処理の具体的手法について、図２３を用いて説明する。図２３でも同様に、図１７の情報処理手順と対応付けて具体的手法を説明する。図１２３の例では、実行者Ｐ５が、「安定したラリーを行う」というパフォーマンス目標を達成するため、情報処理装置１００によって実現された拡張現実の支援を受けながら、テニスラリーの練習を行う場面を例に挙げる。すなわち、図２３の例は、イメージ画像の提示手法としてＡＲによるパフォーマンス目標の提示を用いるものである。
　例えば、実行者Ｐ５は、出力装置３０（ＡＲグラス）を装着した状態で、実在するコートにおいて練習相手との間でラリーを練習する。なお、詳細は図２２で説明する。
　このような状態において、データ取得部１３１は、実行者Ｐ５の身体状態として、全身の動きや骨格状況が検出された検出結果を示す身体情報を取得する（図１７のステップＳ１７０１の具体例）。
　また、本実施例では、ラリーが行われる中で逐一ボールの軌道をイメージさせる目的で、ボールの軌道を示すイメージ画像が提示される。このような提示を行う場合、プレーの動作中に適宜イメージ画像を更新する必要がある。このため、データ解析部１３２は、例えば、ボールが打たれる瞬間をトリガーにして逐次イメージ画像を更新するという提示タイミングを決定する（図１７のステップＳ１７０２の具体例）。例えば、データ解析部１３２は、映像解析結果や打球音等に基づきを、相手が打った瞬間を検知し、相手が打ってから実行者Ｐ５が打ち返すまでの間の数秒間、パフォーマンス目標に相当するボールの軌道を示すイメージ画像を提示し続けるという提示タイミングを決定してよい。
　提示部１３４は、パフォーマンス目標に相当するボールの軌道を示すイメージ画像Ｇ５を提示タイミングにおいて提示する。つまり、提示部１３４は、「軌道を意識してボールを打つとよい」、という指導法に即して、出力装置３０を介して、通したい軌道のイメージ画像Ｇ５を提示する（図１７のステップＳ１７０４の具体例）。具体的には、提示部１３４は、出力装置３０を介して、現実のコート上の視点の位置に対して、イメージ画像Ｇ５を重畳表示させる。イメージ画像５について、図２４を用いて説明する。図２４は、実施例２－４に係る実行者側の具体例を示す図である。
　図２４の例によれば、提示部１３４は、出力装置３０のＡＲグラスを介して、現実のコート上の視点の位置に、拡張現実的にボールの軌道を示すイメージ画像Ｇ５を重畳表示させる。このように、軌道を可視化して提示することで、身体の準備状態が形成され、かつ、動作の指導も不要となるため認知的負荷を軽減してプレーへの集中を妨げないイメージ提示が可能となる。また、このようなことから、係る例で可変となるパラメータは、「ボールの軌道」である。
　図２３に戻り、データ解析部１３２は、スピードガン、ビデオ映像解析、ホークアイ（登録商標）等の既存技術を用いてボールの軌道が解析された解析結果を評価値とする（図１７のステップＳ１７０６の具体例）。例えば、データ解析部１３２は、実行者Ｐ５により打ち返されたボールの球速や、このボールの回転量および軌道が、スピードガン、ビデオ映像解析、ホークアイ等によって測定された測定結果から総合的に得られる値を、評価項目「ボールの軌道」に対する評価値とする。
　また、生成部１３３は、評価値に基づき、「安定したラリーを行う」というパフォーマンス目標が未達成であると判定された場合には、パラメータとして、「ボールの軌道」を、評価値に基づいて修正する（図１７のステップＳ１７０８の具体例）。
　例えば、生成部１３３は、評価値と、パラメータに関して予め設定される閾値との差分を求める。そして、生成部１３３は、閾値に対して差分が上振れしている場合には下方修正し、一方、閾値に対して差分が下振れしている場合には上方修正するかたちで、例えば、任意の単位時間あたりの差分を最小化するようにパラメータの調整値を算出する。そして、生成部１３３は、調整値に基づき、ボールの軌道を再調整する。また、生成部１３３は、パラメータの再調整により、イメージ画像Ｇ５を生成し直し、これを提示させる。
＜実施形態に係る限定解除＞
　上記実施形態では、イメージ画像の生成および提示において、イメージをゼロから生成する場合、既にプリセットで存在しているイメージを用いる場合、生成方法を問わず既に存在しているイメージを操作する場合、という３つのパターンが存在する。
　いずれのパターンにおいても共通して、テキスト、音声入力、マウス操作によるポインティング・ドラッグ、タッチ操作によるポインティング、ペン描画、ボディジェスチャー、ハンドジェスチャー、数値、音声の音響特徴量といった入力・操作方法を用いることが可能である。さらに、これらの手法のいくつかを組み合わせた入力・操作方法を用いることも可能である。
　例えば、情報処理装置１００は、「でんでん太鼓が回るような暗喩を使って」といった自然文での入力を受け付けた場合には、既述の機械学習技術を用いてイメージ画像を生成してよい。また、情報処理装置１００は、発話による音声入力を受け付けた場合には、音声認識技術用いて発話内容を解析することでイメージ画像を生成してよい。
　また、利用者は、マウス操作、タッチ操作によるポインティング等の操作を以下のシチュエーションに用いることができる。劇場の中のどの観客をターゲットとするか操作する場合を例に挙げると、スライドバーをタッチ操作で変更する場合や、位置を直接マウスやタッチ操作のポインティングで示す場合、スポットライトの範囲自体をドラッグ・ドロップやピンチ操作で変更する場合等に用いることができる。また、テニスのラリーにおける軌跡を描画する際にも用いることができる。
　また、上記のマウス操作・タッチ操作の例のような場合に行われる描画を、ペン型の物理デバイスを用いた描画による入力で実現してもよい。
　また、利用者は、ボディジェスチャーやハンドジェスチャーを以下のシチュエーションに用いることができる。テニスのラリー中のイメージ操作する場合を例に挙げると、もっと山なりにというメッセージを指先や手を動かして山を描いた軌跡から提示する軌道を生成してもよい。他の例では、歌唱における歌いかけるターゲットをもっと遠く、もっと広がりを出して、等を身体の動きを入力として操作してもよい。
　また、観客ターゲットの操作を画面内のスライドバーで行う例を示したが、利用者は、例えばこのような場合にさらに微細なコントロールを行うために距離を数値で入力して与えてもよい。
　また、利用者は、例えば歌唱の例において「もっと明るく」という教示からイメージを操作するとき、発話の内容を用いて単純な上げ下げを操作することもできるが、発話の明瞭さなどを音響特徴量から定義し、それを用いてもっと明るくの程度を調節するような操作を実現してもよい。
＜ハードウェア構成例＞
　図２５を用いて、上述した実施形態に係る情報処理装置１００に対応するコンピュータのハードウェア構成例について説明する。図２５は、本開示の実施形態に係る情報処理装置１００に対応するコンピュータのハードウェア構成例を示すブロック図である。なお、図２５は、本開示の実施形態に係る情報処理装置１００に対応するコンピュータのハードウェア構成の一例を示すものであり、図２５に示す構成には限定される必要はない。
　図２５に示すように、コンピュータ１０００は、ＣＰＵ（Central　Processing　Unit）１１００、ＲＡＭ（Random　Access　Memory）１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、係るプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０を記録する。プログラムデータ１４５０は、本開示の実施形態に係る情報処理方法を実現するための情報処理プログラム、および、係る情報処理プログラムによって使用されるデータの一例である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（たとえばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。たとえば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、表示装置やスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、たとえばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が、本開示の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、図２に示された制御部１３０の各部が実行する各種処理機能を実現する。すなわち、ＣＰＵ１１００およびＲＡＭ１２００等は、ソフトウェア（ＲＡＭ１２００上にロードされた情報処理プログラム）との協働により、本開示の実施形態に係る情報処理装置１００による情報処理方法を実現する。
＜まとめ＞
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示部と、
　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得部と、
　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御部と
　を備える情報処理装置。
（２）
　前記パフォーマンス目標を達成するため行われる試行動作の展開と、前記シーンとの関係性とに基づいて、前記知覚情報を提示させる提示タイミングを決定する
決定部をさらに備え、
　前記提示部は、提示タイミングに基づいて、前記知覚情報を提示する
　前記（１）に記載の情報処理装置。
（３）
　前記決定部は、前記提示タイミングとして、前記シーンの態様を特定の態様から他の態様へと切り替えるタイミングを決定する
　前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記パフォーマンス目標を誘発するためのパラメータであって、前記シーンに対応するパラメータに対する制御に応じて、前記シーンの態様を修正する
　前記（１）に記載の情報処理装置。
（５）
　前記制御部は、前記パフォーマンス目標を達成させるための指導において用いられる傾向にある感性的な言語表現と、前記知覚情報に含まれる要素とに基づいて、前記パラメータを抽出する
　前記（４）に記載の情報処理装置。
（６）
　前記取得部は、前記評価結果として、特定の人物が前記身体情報を参照して前記所定の評価項目を評価した評価結果を取得し、
　前記制御部は、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記パラメータを調整可能に制御された操作画面が、予め登録された所定の登録者に提示されるよう制御する
　前記（４）に記載の情報処理装置。
（７）
　前記操作画面を介して、前記パラメータの調整内容を前記登録者から受け付ける受付部をさらに備え、
　前記制御部は、前記調整内容に基づいて、前記シーンの態様を修正する
　前記（６）に記載の情報処理装置。
（８）
　前記受付部は、前記調整内容として、複数の異なる種別のパラメータを個別に調整する調整内容を受け付ける
　前記（７）に記載の情報処理装置。
（９）
　前記身体情報に基づいて、前記所定の評価項目で規定される状況が数値化された評価値を算出する評価部をさらに有し、
　前記取得部は、前記評価結果として、前記評価部による評価結果を取得し、
　前記制御部は、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記評価値と、前記パラメータとに基づいて、前記シーンの態様を修正する
　前記（４）に記載の情報処理装置。
（１０）
　前記制御部は、前記評価値と、前記パラメータに関して予め設定される閾値との差分とに基づいて、前記パラメータを最適化するための調整値を算出し、算出した調整値に応じて前記シーンの態様を修正する
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、前記評価値と前記閾値との差分を最小化するように前記調整値を算出する
　前記（１０）に記載の情報処理装置。
（１２）
　前記提示部は、前記パラメータに対する制御に応じて修正された後のシーンが再現された知覚情報を前記利用者に提示する
　前記（４）に記載の情報処理装置。
（１３）
　情報処理装置が実行する情報処理方法であって、
　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示工程と、
　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得工程と、
　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御工程と
　を含む情報処理方法。
（１４）
　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示手順と、
　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得手順と、
　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御手順と
　を情報処理装置に実行させるための情報処理プログラム。
　　　１　情報処理システム
　　１０　入力装置
　　３０　出力装置
　１００　情報処理装置
　１１０　通信部
　１２０　利用者情報データベース
　１３０　制御部
　１３１　データ取得部
　１３２　データ解析部
　１３３　生成部
　１３４　提示部

Claims (14)

  1. 　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示部と、
    　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得部と、
    　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御部と
    　を備える情報処理装置。
  2. 　前記パフォーマンス目標を達成するため行われる試行動作の展開と、前記シーンとの関係性とに基づいて、前記知覚情報を提示させる提示タイミングを決定する
    決定部をさらに備え、
    　前記提示部は、提示タイミングに基づいて、前記知覚情報を提示する
    　請求項１に記載の情報処理装置。
  3. 　前記決定部は、前記提示タイミングとして、前記シーンの態様を特定の態様から他の態様へと切り替えるタイミングを決定する
    　請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記パフォーマンス目標を誘発するためのパラメータであって、前記シーンに対応するパラメータに対する制御に応じて、前記シーンの態様を修正する
    　請求項１に記載の情報処理装置。
  5. 　前記制御部は、前記パフォーマンス目標を達成させるための指導において用いられる傾向にある感性的な言語表現と、前記知覚情報に含まれる要素とに基づいて、前記パラメータを抽出する
    　請求項４に記載の情報処理装置。
  6. 　前記取得部は、前記評価結果として、特定の人物が前記身体情報を参照して前記所定の評価項目を評価した評価結果を取得し、
    　前記制御部は、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記パラメータを調整可能に制御された操作画面が、予め登録された所定の登録者に提示されるよう制御する
    　請求項４に記載の情報処理装置。
  7. 　前記操作画面を介して、前記パラメータの調整内容を前記登録者から受け付ける受付部をさらに備え、
    　前記制御部は、前記調整内容に基づいて、前記シーンの態様を修正する
    　請求項６に記載の情報処理装置。
  8. 　前記受付部は、前記調整内容として、複数の異なる種別のパラメータを個別に調整する調整内容を受け付ける
    　請求項７に記載の情報処理装置。
  9. 　前記身体情報に基づいて、前記所定の評価項目で規定される状況が数値化された評価値を算出する評価部をさらに有し、
    　前記取得部は、前記評価結果として、前記評価部による評価結果を取得し、
    　前記制御部は、前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記評価値と、前記パラメータとに基づいて、前記シーンの態様を修正する
    　請求項４に記載の情報処理装置。
  10. 　前記制御部は、前記評価値と、前記パラメータに関して予め設定される閾値との差分とに基づいて、前記パラメータを最適化するための調整値を算出し、算出した調整値に応じて前記シーンの態様を修正する
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、前記評価値と前記閾値との差分を最小化するように前記調整値を算出する
    　請求項１０に記載の情報処理装置。
  12. 　前記提示部は、前記パラメータに対する制御に応じて修正された後のシーンが再現された知覚情報を前記利用者に提示する
    　請求項４に記載の情報処理装置。
  13. 　情報処理装置が実行する情報処理方法であって、
    　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示工程と、
    　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得工程と、
    　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御工程と
    　を含む情報処理方法。
  14. 　利用者が達成すべき目標となる行動であるパフォーマンス目標を誘発するため、前記利用者に対して連想させるシーンが再現された知覚情報を、前記利用者の動作に紐付けた状態で提示する提示手順と、
    　前記知覚情報が提示された場合における前記利用者の身体状態を示す身体情報を用いて、前記パフォーマンス目標の達成状況を評価する指標となる所定の評価項目が評価された評価結果を取得する取得手順と、
    　前記評価結果が前記パフォーマンス目標を未達成であることを示す場合には、前記知覚情報で再現される前記シーンの態様を前記評価結果に応じて修正する所定の制御を実行する制御手順と
    　を情報処理装置に実行させるための情報処理プログラム。
PCT/JP2023/018372 2022-05-31 2023-05-17 情報処理装置、情報処理方法、情報処理プログラム WO2023234019A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-088750 2022-05-31
JP2022088750 2022-05-31

Publications (1)

Publication Number Publication Date
WO2023234019A1 true WO2023234019A1 (ja) 2023-12-07

Family

ID=89026557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018372 WO2023234019A1 (ja) 2022-05-31 2023-05-17 情報処理装置、情報処理方法、情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023234019A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259970A (ja) * 2001-03-02 2002-09-13 Atr Media Integration & Communications Res Lab 感性表現システムおよびその感性表現方法
JP2012203343A (ja) * 2011-03-28 2012-10-22 Yamaha Corp 歌唱支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259970A (ja) * 2001-03-02 2002-09-13 Atr Media Integration & Communications Res Lab 感性表現システムおよびその感性表現方法
JP2012203343A (ja) * 2011-03-28 2012-10-22 Yamaha Corp 歌唱支援装置

Similar Documents

Publication Publication Date Title
Blades A spectrum of voices: Prominent American voice teachers discuss the teaching of singing
Luck et al. An investigation of conductors' temporal gestures and conductor—musician synchronization, and a first experiment
Davidson Movement and collaboration in musical performance
WO2020100671A1 (ja) 情報処理装置、情報処理方法及びプログラム
Chagnon A comparison of five choral directors' use of movement to facilitate learning in rehearsals
CN117541444B (zh) 一种互动虚拟现实口才表达训练方法、装置、设备及介质
US11640767B1 (en) System and method for vocal training
WO2023234019A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US11594147B2 (en) Interactive training tool for use in vocal training
McLean A Study in Effective Teaching Methods for Jazz Voice Technique in Higher Education
Fonteles et al. User experience in a kinect-based conducting system for visualization of musical structure
Chapman An investigation of current instruction practices for the undergraduate instrumental conducting student concerning left hand technique and facial gestures
Lebon The Versatile Vocalist: Singing Authentically in Contrasting Styles and Idioms
Brown et al. A case study in collaborative learning via participatory music interactive systems: Interactive Tango Milonga
CN111695777A (zh) 教学方法、装置、电子设备以及存储介质
Gumm Making More Sense of How to Sing: Multisensory techniques for voice lessons and choir rehearsals
Brown Interactive Tango Milonga an interactive dance system for Argentine tango social dance
Hanlon Reviewing commercial music resources: A guide for aspiring singers and vocal professionals
Nair The Tongue as a Gateway to Voice, Resonance, Style, and Intelligibility
US20230386155A1 (en) Virtual, augmented or mixed reality instrument teaching system and method
Li et al. Orpheus: A Voice-Controlled Game to Train Pitch Matching
Murray et al. Advanced vocal technique: middle voice, placement & style
Hoffman The Band Teacher's Percussion Guide: Insights into Playing and Teaching Percussion
Li Developing timbre on the piano: Interactions between sound, body, and concepts
Tagab Laban Movement in Piano: An Introductory Guide to Incorporating Laban Choral Conducting Gestures Into Piano Performance and Pedagogy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23815778

Country of ref document: EP

Kind code of ref document: A1