WO2019188076A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019188076A1
WO2019188076A1 PCT/JP2019/008979 JP2019008979W WO2019188076A1 WO 2019188076 A1 WO2019188076 A1 WO 2019188076A1 JP 2019008979 W JP2019008979 W JP 2019008979W WO 2019188076 A1 WO2019188076 A1 WO 2019188076A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
information processing
control unit
mode
Prior art date
Application number
PCT/JP2019/008979
Other languages
English (en)
French (fr)
Inventor
辰志 梨子田
真範 三上
孝太 南澤
稲見　昌彦
帝聡 黒木
港 武田
一也 柳原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/040,508 priority Critical patent/US11315599B2/en
Publication of WO2019188076A1 publication Critical patent/WO2019188076A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G11B27/007—Reproducing at a different information rate from the information rate of recording reproducing continuously a part of the information, i.e. repeating
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a system that displays a virtual object serving as a model for work such as cooking on a head-mounted display worn by a user.
  • a playback mode is selected from playback mode candidates including a user-dependent mode for performing playback output depending on a user's operation and a user-independent mode for performing playback output without depending on the user's operation.
  • information processing comprising a mode control unit for determining the output and an output control unit for controlling the reproduction output of the image based on the reproduction mode.
  • reproduction mode candidates including a user dependent mode for performing reproduction output depending on a user operation and a user independent mode for performing reproduction output without depending on the user operation
  • Information processing including determining a reproduction mode and controlling reproduction output of an image based on the reproduction mode is provided.
  • a reproduction mode candidate including a user-dependent mode in which reproduction output is performed depending on a user's operation and a user-independent mode in which reproduction output is performed regardless of the user's operation.
  • a program for realizing a function for determining a playback mode and a function for controlling the playback output of an image based on the playback mode is provided.
  • FIG. 1 is an explanatory diagram for describing an overview of a display system 1000 according to an embodiment of the present disclosure.
  • FIG. It is a block diagram showing an example of composition of information processor 10 concerning the embodiment. It is a figure which shows the example in the case of reproducing and outputting the example image V so that a teacher's operation
  • FIG. 2 is a block diagram illustrating an example of a hardware configuration of an information processing apparatus 10 according to an embodiment of the present disclosure.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration only the same reference numerals are given.
  • the user When an existing display device or display system is used, the user performs such an operation. For example, the user touches a touch panel, a mouse, a keyboard, etc., or performs a gesture that is unrelated to the user's work. Had to do. For this reason, the work performed by the user is interrupted, and it may be difficult for the user to proceed with the work comfortably. Further, when the user's hand is soiled with ingredients, seasonings or the like like cooking, it is more inconvenient for the user to touch the touch panel, mouse, keyboard, and the like.
  • the display system recognizes the user's operation related to the work performed by the user, and controls the reproduction output (display) of the model image depending on the operation. Realizes playback output that allows you to work more comfortably.
  • FIG. 1 is an explanatory diagram for describing an overview of a display system 1000 according to an embodiment of the present disclosure.
  • the display system 1000 according to the present embodiment is an information processing system including an information processing device 10, a display device 20, a speaker 30, a lighting device 40, and a sensor device 50.
  • the display system 1000 can be used, for example, for the user U shown in FIG. 1 to perform cooking or sports or musical instrument practice using the model image V displayed on the display device 20 as a model.
  • the information processing apparatus 10 controls the entire display system 1000.
  • the information processing apparatus 10 may control reproduction output (display) by the display device 20, sound reproduction output by the speaker 30, ON (lighting state), and OFF (light-off state) of the lighting device 40.
  • the information processing apparatus 10 recognizes the operation of the user U based on the sensing of the sensor device 50, and depending on the operation, the sample image V displayed on the display device 20 and the sound of the speaker 30.
  • the playback output may be controlled.
  • the recognized operation of the user U is an operation related to the work performed by the user U.
  • the operation related to the operation performed by the user U may be an operation having some meaning in the operation, for example, when the operation performed by the user U is cooking, cutting the ingredients or frying the ingredients.
  • the user U does not need to perform an operation (for example, a gesture or the like) unrelated to the operation performed by the user U for operation, and can perform the operation more comfortably.
  • the information processing apparatus 10 selects a reproduction mode candidate including a user-dependent mode for performing reproduction output depending on the operation of the user U and a user-independent mode for performing reproduction output without depending on the operation of the user U
  • the playback mode may be determined.
  • the information processing apparatus 10 controls the reproduction image output by the speaker 30 and the model image V displayed on the display device 20 based on the reproduction mode and, for example, the lighting device 40 according to the reproduction mode. It may be controlled to notify the user of the current playback mode. With this configuration, the user U can grasp the current reproduction mode and proceed with work, and can proceed with work more comfortably.
  • the display device 20 reproduces and outputs (displays) the model image V according to the control of the information processing device 10.
  • the display device 20 is regarded as a mirror for the user U.
  • the model image V displayed on the display device 20 by the user U is it a mirror image of himself (user U) that reflects a person who performs a model operation (hereinafter referred to as a teacher) in the mirror?
  • the display device 20 is configured so as to make an illusion as described above.
  • the display device 20 may have a size that can display the teacher in the model image V in a life-size manner, for example, and may be disposed facing the user U.
  • the user U illusions that the teacher in the model image V is a mirror image of the user U himself, for example, if the teacher in the model image V starts to move, the user U will unintentionally move accordingly. It is expected to be able to work more comfortably.
  • the model image V displayed on the display device 20 is that the user U reflects the instructor in the model image V in the mirror (user U). It is desirable that the image be easy to cause an illusion as if it were a mirror image of the above.
  • the teacher's dominant hand in the model image V may be a hand opposite to the left and right of the user U's dominant hand.
  • the teacher's face area is displayed, the user U is likely to have an illusion that the teacher is a person other than himself / herself, and therefore, the model image V displayed on the display device 20 is displayed. Preferably does not include the teacher's face area. Such a configuration makes it easier for the user U to make the illusion that the teacher is a mirror image of the teacher.
  • the speaker 30 reproduces and outputs sound according to the control of the information processing apparatus 10.
  • an acoustic signal associated with the model image V may be supplied from the information processing apparatus 10 to the speaker 30, and the speaker 30 may reproduce and output the sound based on the acoustic signal.
  • the lighting device 40 is turned on or off according to the control of the information processing device 10.
  • the lighting device 40 may be turned on while the playback mode is the user-dependent mode, and the lighting device 40 may be turned off while the playback mode is the user-independent mode.
  • the present technology is not limited to such an example.
  • the current playback mode may be notified to the user by a method that does not use the lighting device 40, and may be notified by, for example, an acoustic output from the speaker 30.
  • the sensor device 50 provides the information processing device 10 with sensor information acquired by sensing the user U and the environment around the user U.
  • the sensor device 50 acquires sensor information related to the movement of the user U by sensing, for example.
  • a marker may be attached to the user U or a tool (for example, a cooking utensil or a musical instrument) supported by the user U.
  • the acquisition method of the sensor information regarding the movement of the user U by the sensor device 50 is not limited to such an example, and various motion sensor technologies can be used.
  • a sensor device such as an acceleration sensor may be incorporated in a tool supported by the user U, and sensor information regarding the movement of the user U may be acquired.
  • the sensor device 50 may include a camera, and the sensor device may include an image acquired by imaging of the camera, and the information processing device 10 may be based on the image without requiring a marker or an acceleration sensor. It may be possible to recognize the action of U.
  • the sensor information that can be acquired by the sensor device 50 is not limited to this example, and the sensor device 50 may be able to acquire more various sensor information.
  • the sensor device 50 may be able to acquire sensor information related to the position of the user U, sensor information related to the user U's line of sight, and the like.
  • FIG. 2 is a block diagram illustrating a configuration example of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 according to the present embodiment includes an interface unit 11, a control unit 13, and a storage unit 15.
  • the interface unit 11 is an interface for connecting the information processing device 10 to an external device (for example, the display device 20, the speaker 30, the lighting device 40, and the sensor device 50 illustrated in FIG. 1) or a network (not illustrated). .
  • the interface unit 11 provides information received from an external device or a network (not shown) to the control unit 13, and information (including control information and the like) provided from the control unit 13 is supplied to the external device or not shown. Send to the network.
  • the control unit 13 controls each component of the information processing apparatus 10.
  • the control unit 13 also functions as a mode control unit 131, a recognition unit 133, and an output control unit 135, as shown in FIG.
  • the mode control unit 131 determines a playback mode related to playback output by the output control unit 135 described later.
  • the mode control unit 131 may determine a playback mode from among playback mode candidates prepared in advance.
  • the playback mode candidate includes a user-dependent mode for performing playback output depending on the operation of the user U, and a user operation. And a user-independent mode in which reproduction output is performed without depending on.
  • Candidates may include other modes.
  • the mode control unit 131 may receive information on the current frame in the model image V from the output control unit 135, which will be described later, and may switch the playback mode according to the current frame. When the current frame reaches a predetermined scene in the model image V, the mode control unit 131 may determine the playback mode so that the playback mode is switched from the user-independent mode to the user-dependent mode. . Further, the mode control unit 131 may determine the playback mode so that the playback mode is switched from the user-dependent mode to the user-independent mode when the playback of the predetermined scene is completed.
  • the predetermined scene may be a scene that the user U should pay more attention to in the model image V, or a scene related to a process that requires more skill in the work performed by the user U.
  • the sample image V is reproduced and output depending on the operation of the user U as will be described later, so that the user U can proceed more comfortably.
  • a scene that the user U should pay more attention to or a scene that is related to a process that requires more skill in the work performed by the user U depends on, for example, the work related to the model image V, that is, the type of work performed by the user U. Can be different. For example, when the work performed by the user U is cooking, the action of washing ingredients and the action of mixing ingredients need not pay much attention compared to the action of cutting ingredients and the action of frying in a frying pan. It is considered unnecessary.
  • the mode control unit 131 determines the playback mode as the user-independent mode in the scene of the operation of washing ingredients or the operation of mixing ingredients, and in the scene of the action of cutting the ingredients or frying in the frying pan.
  • the playback mode may be determined as a user-independent mode.
  • the mode control unit 131 may determine the playback mode based on the mode control information. As described above, a predetermined scene such as a scene that the user U should pay more attention to or a scene related to a process that requires more skill in the work performed by the user U may differ depending on the type of work performed by the user U. Therefore, the mode control information may be associated with the model image V in advance and stored in the storage unit 15. The mode control unit 131 refers to the mode control information associated with the current frame. The playback mode may be determined.
  • mode control information indicating the start frame and end frame of the predetermined scene is included in each of the start frame and end frame of the predetermined scene to be determined as the user-dependent mode in the model image V. It may be associated. If mode control information indicating that the current frame is the start frame of the predetermined scene is associated, the mode control unit 131 switches the playback mode from the user-independent mode to the user-dependent mode. The playback mode may be determined. Similarly, when mode control information indicating that the current frame is the end frame of the predetermined scene is associated, the mode control unit 131 switches the playback mode from the user-dependent mode to the user-independent mode. The playback mode may be determined so as to switch.
  • each frame of the model image V may be associated with mode control information indicating either the user-dependent mode or the user-independent mode. Even in such a case, the mode control unit 131 can determine the playback mode with reference to the mode control information associated with the current frame.
  • the mode control unit 131 may determine the reproduction mode by analyzing the model image V.
  • the mode control unit 131 may determine the playback mode by analyzing the model image V using a discriminator obtained by machine learning using a large number of images.
  • the mode control information can be generated in advance by analyzing the model image V.
  • the mode control unit 131 provides information on the determined reproduction mode to the recognition unit 133 and the output control unit 135.
  • the recognition unit 133 recognizes the user U based on the sensor information acquired from the sensor device 50 described with reference to FIG. For example, the recognition unit 133 may recognize the operation of the user U based on the sensor information.
  • the type of operation recognized by the recognition unit 133 may be determined in advance according to the model image V, for example. For example, when the model image V is an image that serves as an example of cooking, the recognition unit 133 may recognize an operation of cutting ingredients or an operation of frying in a frying pan.
  • the operation of the user U recognized by the recognition unit 133 is an operation related to the work performed by the user U as described above.
  • the operation of the user U recognized by the recognition unit 133 may be any of the operations of the teacher in the model image V.
  • teaching motion information information regarding the teacher's motion (hereinafter also referred to as teaching motion information) may be stored in the storage unit 15 to be described later, and the recognizing unit 133 performs the motion of the teacher based on the teaching motion information. The same type of operation may be recognized.
  • the recognition unit 133 provides the operation information of the recognized user U to the output control unit 135. As will be described later, the operation information of the user U provided from the recognition unit 133 is used by the output control unit 135 when the playback mode is the user-dependent mode. Therefore, the recognition unit 133 may recognize the operation of the user U according to the playback mode. For example, the recognition unit 133 recognizes the operation of the user U only when the playback mode is the user-independent mode. In some cases, the user U's motion need not be recognized. With this configuration, the processing amount can be suppressed.
  • recognition unit 133 recognizes is not limited to the operation of the user U, and the recognition unit 133 may recognize more diverse information. Other examples will be described as modified examples.
  • the output control unit 135 controls the reproduction output of the model image V by the display device 20 shown in FIG. 1 based on the reproduction mode determined by the mode control unit 131. Further, the output control unit 135 outputs the sound signal associated with the model image V to the speaker 30 shown in FIG. 1 so as to synchronize with the reproduction output of the model image V, thereby reproducing and outputting the sound. May be controlled.
  • the output control unit 135 controls the playback output of the model image V without depending on the operation of the user U.
  • the output control unit 135 may reproduce and output the model image V according to a preset frame rate or the like. According to such a configuration, for example, in a scene of an operation that does not require high skill, the model image V is smoothly reproduced and output, so that the user U can work more comfortably.
  • the output control unit 135 determines the model based on the teaching operation information regarding the teacher's operation in the model image and the user U's operation recognized by the recognition unit 133. Controls playback output of image V.
  • the teaching motion information related to the teacher's motion may be associated with the model image V and stored in the storage unit 15 described later. Further, the teaching motion information may be information indicating a teacher's motion in each frame, and may be associated with each frame of the model image V.
  • the output control unit 135 may pause the reproduction output of the model image V until a predetermined operation is recognized by the recognition unit 133. Then, the output control unit 135 reproduces the model image V based on the recognized predetermined operation of the user U when the reproduction mode is the user-dependent mode and the predetermined operation is recognized by the recognition unit 133. The output may be resumed.
  • the predetermined operation may be, for example, an operation performed by a teacher on the model image V. According to such a configuration, for example, it is possible to avoid a situation in which a scene in which the teacher performs the predetermined operation is reproduced and output even though the user U is not ready to perform the predetermined operation. .
  • the output control unit 135 may reproduce and output the model image V so that the operation of the teacher and the operation of the user U are synchronized. According to this configuration, the user U can easily perceive the instructor as if it was a mirror image of himself / herself.
  • the output control unit 135 may reproduce and output the model image V so that the operation of the instructor precedes the operation of the user U.
  • FIGS. 3 and 4 an example in which the model image V is reproduced and output so that the teacher's operation precedes the user U's operation will be described.
  • FIGS. 3 and 4 are diagrams illustrating an example in which the model image V is reproduced and output so that the teacher's operation precedes the user U's operation.
  • the output control unit 135 reproduces and outputs the model image V so that the teacher's action precedes the user U's action for a certain period of time.
  • the user U can perform the operation while imitating the operation of the instructor, for example, while exercising the operation of the preceding instructor, and can proceed with work comfortably.
  • the output control unit 135 reproduces and outputs the model image V so that the operation of the instructor precedes the operation of the user U as time elapses. . According to such a configuration, it is expected that the user U feels the operation lighter.
  • the output control unit 135 is configured so that the teacher's operation matches the user's operation at the start point (start timing) and end point (end timing) of the operation.
  • the model image V may be reproduced and output. According to such a configuration, the discomfort given to the user U is reduced particularly in a scene where the same operation is repeated.
  • the output control unit 135 may reproduce and output the model image V in accordance with the progress of the operation of the user U between the start point and the end point of the operation.
  • the output control unit 135 may reproduce and output the model image V so that the operation speed of the teacher corresponds to the operation speed of the user U.
  • the output control unit 135 may rewind and reproduce the example image V so that the operation of the instructor is in the opposite direction when the operation of the user U is in the opposite direction of the original operation. Good.
  • the user U can control playback output based on the progress of his / her own operation.
  • the output control unit 135 may reproduce and output the model image V so that the operation of the teacher is delayed with respect to the operation of the user U.
  • FIG. 5 is a diagram illustrating an example in which the model image V is reproduced and output so that the teacher's operation is delayed with respect to the user U's operation. As shown in FIG. 5, by reproducing and outputting the model image V so that the operation of the instructor is delayed with respect to the operation of the user U, it is expected that the user U feels the operation heavier.
  • the According to such a configuration for example, when a training operation for raising and lowering the dumbbell is performed, the effect of the training can be improved.
  • the output control unit 135 may reproduce and output the model image V so that the time difference between the teacher's operation and the user U's operation is reduced every time the same operation is repeated.
  • FIG. 6 is a diagram illustrating an example in which the model image V is reproduced and output so that the temporal difference between the teacher's operation and the user U's operation is reduced each time the same operation is repeated. .
  • the teacher's action precedes the user U's action. Therefore, when the reproduction output is controlled as shown in FIG. 6, when the user U first performs an operation, an effect that the operation is felt lighter is expected.
  • the time difference between the teacher's action and the user U's action gradually becomes smaller, the user U can, for example, more smoothly operate (becomes better). Expected effect.
  • the teacher's action is delayed with respect to the user U's action. It is possible to control the reproduction output so that the time difference between the two operations becomes small.
  • the output control unit 135 reproduces the model image V in various ways based on the recognized operation of the user U when the reproduction mode is the user-dependent mode. It may be output.
  • the output control unit 135 may notify the user U of the current playback mode determined by the mode control unit 131.
  • the output control unit 135 may control the lighting device 40 to notify the user of the current playback mode.
  • the output control unit 135 turns on the lighting device 40 when the current playback mode is the user-dependent mode, and turns the lighting device 40 on when the current playback mode is the user-independent mode. You may make it OFF (light extinction state).
  • the method of notifying the user U is not limited to such an example, and the output control unit 135 may notify the user U of the current reproduction mode by, for example, sound output from the speaker 30.
  • the output control unit 135 provides the mode control unit 131 with information on the current frame (for example, a frame number).
  • the storage unit 15 stores programs and parameters for the functions of the control unit 13 described above to function.
  • the storage unit 15 stores the model image V, an acoustic signal associated with the model image V, mode control information associated with the model image V, and a teaching operation associated with the model image V. Store information and so on.
  • the configuration example of the information processing apparatus 10 according to the present embodiment has been described with reference to FIG. 2, but the configuration of the information processing apparatus 10 is not limited to the example illustrated in FIG. 2.
  • some or all of the functions of the control unit 13 illustrated in FIG. 2 may be realized by another device connected via the interface unit 11.
  • some or all of the information described to be stored in the storage unit 15 is provided to the information processing apparatus 10 from another device or network connected via the interface unit 11. May be.
  • FIG. 7 is a flowchart illustrating an example of a process flow of the information processing apparatus 10 according to the present embodiment. It is assumed that the playback mode is a user-independent mode at the time of starting the processing in FIG.
  • the output control unit 135 first reproduces and outputs the model image V without depending on the operation of the user U (S102). Subsequently, the mode control unit 131 refers to the mode control information associated with the current frame to determine whether or not the current frame has reached a predetermined scene in the model image V (S104). . If it is determined that the predetermined scene has not been reached (NO in S104), the process returns to step S102.
  • the mode control unit 131 determines the playback mode so as to switch the playback mode from the user-independent mode to the user-dependent mode (S106). . Subsequently, the output control unit 135 temporarily stops the reproduction output of the model image V according to the switching of the reproduction mode in step S106 (S108), and also turns on the lighting device 40 (lighted state) to reproduce the reproduction mode. Is notified to the user U (S110).
  • step S112 the process of step S112 is repeated while the reproduction output of the model image V is paused until the recognition unit 133 recognizes a predetermined operation by the user U.
  • the recognition unit 133 recognizes a predetermined operation by the user U (YES in S112)
  • the output control unit 135 resumes reproduction output of the model image V, and the model image is based on the recognized user U operation. V is reproduced and output (S114).
  • the mode control unit 131 refers to the mode control information associated with the current frame and determines whether or not a predetermined scene in the model image V has ended (S116). If it is determined that the predetermined scene has not ended (NO in S116), the process returns to step S112.
  • mode controller 131 determines the playback mode so as to switch the playback mode from the user-dependent mode to the user-independent mode (S118). . If the current frame has reached the last frame of the model image V (YES in S120), the process ends. On the other hand, if the current frame has not reached the final frame of the model image V (NO in S120), the process returns to step S102.
  • Table 1 below is a table showing specific examples according to the present embodiment. Table 1 shows a specific example when the user U cooks. In Table 1 below, the scene number is given for explanation, and the scene number does not have to be assigned to the model image V for the processing of this embodiment.
  • the reproduction output may be controlled so that the operation of cutting Chinese cabbage with the teacher's knife is preceded by the user's operation for a certain period of time.
  • the pause may be released by bringing the container containing pork to the same place as the container containing pork in the model image V.
  • the reproduction output is paused while the teacher lifts the container containing the salt kelp in the sample image V, and the user U matches the container containing the salt kelp with the teacher.
  • the temporary stop may be released.
  • the operation of shaking the frying pan once is regarded as one operation, and reproduction output is performed so that the teacher's operation matches the user's operation at the start point and end point of the operation of shaking the frying pan once. May be controlled.
  • This embodiment is not limited to this example, It can be used in various scenes. For example, this embodiment can be learned not only by cooking but also by exercising sports such as dance, karate, and gymnastics, or practice of instruments such as guitars, wind instruments, drums, etc. As long as it is a simple task, it can be applied to any task.
  • the display device 20 is provided in the back splash part of the kitchen along the entire kitchen.
  • a plurality of sensor devices 50 are provided on the upper portion of the display device 20 at substantially equal intervals.
  • the recognition part 133 with which the information processing apparatus 10 not shown concerning this modification is provided can recognize not only the operation
  • the recognition part 133 should just be able to recognize the position of the user U, and the number and arrangement
  • the output control unit 135 included in the information processing apparatus 10 can display the display device 20 based on the recognized position of the user U as illustrated in FIGS. 8 and 9.
  • the display position of the model image V may be moved within the range. More preferably, the output control unit 135 may move the display position of the model image V so that the teacher in the model image V is positioned in front of the user U. With such a configuration, even when the user U moves during work, the teacher in the model image V is located in front of the user U, so that the model image V can be viewed comfortably. At the same time, it is felt that the user U is the mirror image of the teacher.
  • the output control unit 135 moves the display position of the model image V so that the teacher in the model image V is positioned in front of the user U, information on the position of the teacher in the model image V is provided. May be previously associated with the model image V and stored in the storage unit 15. Alternatively, the output control unit 135 may acquire information on the position of the teacher in the model image V by analyzing the model image V.
  • the display position of the model image V is moved within the displayable range of the display device 20, but the present modification is not limited to such an example.
  • the output control unit 135 is based on the position of the user U, and the display device 20 that is closer to the position of the user U from the plurality of display devices 20. May be determined as the display device 20 that reproduces and outputs the model image V.
  • the example image V has been described as an image that makes it easy for the user U to make an illusion as if the user U was a mirror image of the user U himself in the mirror reflected in the mirror.
  • the model image stored in the storage unit 15 is an image in which it is difficult for the user to make an illusion as if the user is a mirror image of the user U himself who reflected the teacher in the model image, for example, the image It is possible to make it easy for the user U to make an illusion as if the user U is a mirror image of the user U reflected in the mirror by performing reproduction and outputting after processing.
  • this example is demonstrated as the modification 2.
  • the output control unit 135 may perform horizontal reversal processing on the model image when the dominant hand of the teacher in the model image is the same as the dominant hand of the user.
  • the user's dominant hand may be recognized by the recognition unit 133, for example.
  • the output control unit 135 displays a model image so that the teacher is displayed in a life-size manner based on the size of the teacher in the model image and the screen size of the display device 20. Enlargement or reduction processing may be performed.
  • the output control unit 135 when the model image stored in the storage unit 15 includes the teacher's face area, the user may easily recognize that the teacher is a person other than himself / herself. Therefore, when the model image includes the teacher's face area, the output control unit 135 according to the present modification performs image processing for preventing the model image from including the teacher's face area. You may give it.
  • the image processing for preventing the model image from including the teacher's face area may include partial area of the model image so that the model image does not include the teacher's face area.
  • a trimming process for cutting out may be included.
  • the image processing for preventing the model image from including the teacher's face area may include processing for replacing the teacher's face area in the model image with the user's face image.
  • the user's face image may be acquired in advance or may be acquired in real time by imaging with a camera. The camera may be included in the sensor device 50, for example.
  • the output control unit 135 may perform image processing for bringing the teacher in the model image closer to the user.
  • the recognition unit 133 recognizes the user's clothes area from the user's image acquired by imaging with the camera, and the output control unit 135 converts the teacher's clothes to the user's clothes based on the recognized user's clothes area.
  • the sample image may be subjected to image processing such as approaching (for example, replacing).
  • the recognition unit 133 recognizes the user's gender, race, and the like from the user's image acquired by imaging with the camera, and the output control unit 135 determines the user's gender and race based on the recognized user's gender, race, and the like.
  • Image processing that reflects gender, race, and the like may be performed on the model image. Such a configuration makes it easier for the user to have the illusion that the teacher is a mirror image of the teacher.
  • the output control unit 135 may generate a model image based on the motion data of a teacher prepared in advance.
  • the output control unit 135 uses a 3D model resembling a user that is prepared in advance or generated based on the user's face and clothes recognized from an image captured by the camera.
  • a model image may be generated by moving based on the motion data.
  • the output control unit 135 may generate not only the teacher but also the background of the model image based on the information of the space where the user exists. With this configuration, the user can easily have the illusion that the entire space is a mirror image as well as the teacher included in the model image.
  • the output control unit 135 may further control output based on the difference between the user's operation and the teacher's operation in the model image.
  • the difference between the user's motion and the teacher's motion in the model image may be a difference regarding the position of the user's hand, the position of the tool, the size of the food material cut by the user, or the like. Further, such a difference may be recognized by the recognition unit 133, for example.
  • this example will be described as a third modification.
  • the output control unit 135 may notify the user based on the difference between the user's action and the teacher's action in the model image. For example, if the difference is large, the user is notified that the difference is large. May be notified.
  • the notification method to a user is not specifically limited,
  • the output control part 135 may output the audio
  • the output control unit 135 causes the user to notify the warning. Is desirable.
  • the warning notification method is not particularly limited, for example, a warning sound may be output from the speaker 30.
  • the output control unit 135 may control the output to the real space.
  • the output to the real space may be realized by, for example, projection using the illumination device 40 or a projector (not shown).
  • the output control unit 135 may cause the real space to output information on more correct action and position.
  • the hand image may be superimposed and displayed at a position in the real space corresponding to the position of the teacher's hand in the model image.
  • a red light or flame image may be output at the position of the stove in the real space.
  • the output control unit 135 may notify the user of a warning.
  • the method for notifying such warning is not particularly limited.
  • the warning may be notified by outputting a warning sound from the speaker 30, or a model image that causes the teacher to be injured first is reproduced and output.
  • a warning may be notified by.
  • FIG. 10 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • Information processing by the information processing apparatus 10 according to the embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the information processing apparatus 10 includes a bridge 904, an external bus 904 b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 10 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can form the control unit 13, for example.
  • the CPU 901, ROM 902, and RAM 903 are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904 a is connected to an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904 b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 10.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the CPU 901.
  • the user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 906.
  • the output device 907 is formed of a device that can notify the user of the acquired information visually or audibly. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as lamps, audio output devices such as speakers and headphones, printer devices, and the like.
  • the output device 907 outputs results obtained by various processes performed by the information processing device 10, for example. Specifically, the display device visually displays results obtained by various processes performed by the information processing device 10 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the storage device 908 is a data storage device formed as an example of a storage unit of the information processing device 10.
  • the storage apparatus 908 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 can form the storage unit 15, for example.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 10.
  • the drive 909 reads information recorded on a removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is a communication interface formed by a communication device or the like for connecting to the network 920, for example.
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet and other communication devices.
  • the communication device 913 can form the interface unit 11, for example.
  • the sensor 915 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 10 itself, such as the posture and movement speed of the information processing apparatus 10, and information on the surrounding environment of the information processing apparatus 10, such as brightness and noise around the information processing apparatus 10.
  • Sensor 915 may also include a GPS sensor that receives GPS signals and measures the latitude, longitude, and altitude of the device.
  • the network 920 is a wired or wireless transmission path for information transmitted from a device connected to the network 920.
  • the network 920 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 920 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • a computer program for realizing each function of the information processing apparatus 10 according to the embodiment of the present disclosure as described above can be produced and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each step in the above-described embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • An output control unit for controlling reproduction output of an image based on the reproduction mode An information processing apparatus comprising: (2) The output control unit controls the reproduction output of the image based on teaching operation information related to a teacher's operation in the image and the user's operation when the reproduction mode is the user-dependent mode.
  • the information processing apparatus further includes a recognition unit that recognizes the operation of the user, The information processing apparatus according to (2), wherein the output control unit stops reproduction output of the image until a predetermined operation performed by the teacher in the image is recognized by the recognition unit.
  • the information processing apparatus (11) The information processing apparatus according to (2) or (3), wherein the output control unit reproduces and outputs the image so that the operation of the instructor and the operation of the user are synchronized. (12) The information according to any one of (2) to (11), wherein the output control unit performs image processing on the image according to a dominant hand of the user and a dominant hand of the teacher in the image. Processing equipment. (13) When the face area of the teacher is included in the image, the output control unit performs image processing for preventing the face area of the teacher from being included in the image. The information processing apparatus according to any one of (12). (14) The output control unit according to any one of (2) to (13), wherein the output control unit further controls output based on a difference between the operation of the user and the operation of the teacher in the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定するモード制御部と、前記再生モードに基づいて、画像の再生出力を制御する出力制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　料理、あるいはスポーツや楽器の練習等の作業を行う際に、作業の手本となる画像を再生させ、当該画像を見ながら作業することが広く行われている。また、下記特許文献１には、ユーザにより装着されたヘッドマウントディスプレイに、料理等の作業の手本となる仮想オブジェクトを表示させるシステムが開示されている。
国際公開第２０１７／０３０１９３号
　このように、ユーザに作業の手本を提示する技術において、ユーザがより快適に作業を進めることを可能にするための仕組みが望まれていた。
　本開示によれば、ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定するモード制御部と、前記再生モードに基づいて、画像の再生出力を制御する出力制御部と、を備える情報処理が提供される。
　また、本開示によれば、ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定することと、前記再生モードに基づいて、画像の再生出力を制御することと、を含む情報処理が提供される。
　また、本開示によれば、コンピュータに、ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定する機能と、前記再生モードに基づいて、画像の再生出力を制御する機能と、を実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザに作業の手本となる画像を提示する技術において、ユーザがより快適に作業を進めることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態にかかる表示システム１０００の概要を説明するための説明図である。 同実施形態にかかる情報処理装置１０の構成例を示すブロック図である。 教示者の動作がユーザＵの動作に対して先行するように手本画像Ｖを再生出力させる場合の例を示す図である。 教示者の動作がユーザＵの動作に対して先行するように手本画像Ｖを再生出力させる場合の例を示す図である。 教示者の動作がユーザＵの動作に対して遅延するように手本画像Ｖを再生出力させる場合の例を示す図である。 同一の動作が繰り返される度に、教示者の動作とユーザＵの動作との間の時間的差異が小さくなるように手本画像Ｖを再生出力させる場合の例を示す図である。 同実施形態に係る情報処理装置１０の処理の流れの一例を示すフローチャート図である。 変形例１を説明するための説明図である。 変形例１を説明するための説明図である。 本開示の実施形態にかかる情報処理装置１０のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．はじめに＞＞
　　＜１－１．背景＞
　　＜１－２．概要＞
　＜＜２．情報処理装置の構成＞＞
　＜＜３．情報処理装置の動作＞＞
　　＜３－１．処理の流れ＞
　　＜３－２．具体例＞
　＜＜４．変形例＞＞
　　＜４－１．変形例１＞
　　＜４－２．変形例２＞
　　＜４－３．変形例３＞
　　＜４－４．変形例４＞
　＜＜５．ハードウェア構成例＞＞
　＜＜６．むすび＞＞
　＜＜１．はじめに＞＞
　　＜１－１．背景＞
　料理、あるいはスポーツや楽器の練習等の作業を行う際に、作業の手本となる画像（以下手本画像と呼ぶ場合がある）を再生させ、当該画像を見ながら作業することが広く行われている。なお、本開示において、画像とは、静止画像だけでなく動画像を含む表現として用いられる。
　このように、手本画像を見ながら作業を行っている状況において、ユーザが手本画像の再生に関する操作を行いたい場合が考えられる。例えば、このような場合として、手本画像における作業が、ユーザが現在行っている作業よりも先の作業に進んでしまった場合や、その逆の場合、あるいは現在の設定とは異なる速度で手本画像を再生させたい場合等が考えられる。
　既存の表示装置や表示システムを用いた場合、このような操作を行うため、ユーザは、例えばタッチパネルやマウス、キーボード等に触れる、あるいはジェスチャをするといった、ユーザが行っている作業とは無関係な動作を行う必要があった。そのため、ユーザが行っている作業が中断されてしまい、ユーザが快適に作業を進めることが困難となる恐れがあった。また、料理のようにユーザの手が食材や調味料等で汚れている場合には、タッチパネルやマウス、キーボード等に触れることはユーザにとってより不都合であった。
　また、音声認識技術を用いて音声により操作することも考えられるが、認識精度は周囲の環境に影響されるため、誤認識される恐れもあった。特に例えば楽器の練習等のようにユーザが行う作業によって音が発生する場合には、操作のための音声を認識させるためにやはり作業を中断することが必要となり、ユーザが快適に作業を進めることが困難となる恐れがあった。
　そこで、上記事情を一着眼点にして本開示の一実施形態を創作するに至った。本開示の一実施形態による表示システムは、ユーザが行っている作業に関する当該ユーザの動作を認識し、当該動作に依存して、手本画像の再生出力（表示）を制御することで、ユーザにとって、より快適に作業を進めることが出来るような再生出力を実現する。以下、このような本開示の一実施形態による表示システムの概要について、図１を参照して説明を行う。
　　＜１－２．概要＞
　図１は、本開示の一実施形態にかかる表示システム１０００の概要を説明するための説明図である。図１に示すように、本実施形態にかかる表示システム１０００は、情報処理装置１０、表示装置２０、スピーカ３０、照明装置４０、及びセンサ装置５０を含む情報処理システムである。表示システム１０００は、例えば図１に示すユーザＵが、表示装置２０に表示された手本画像Ｖを手本として、料理、あるいはスポーツや楽器の練習等の作業を行うために用いられ得る。
　情報処理装置１０は、表示システム１０００の全体を制御する。例えば、情報処理装置１０は、表示装置２０による再生出力（表示）や、スピーカ３０による音響の再生出力、照明装置４０のＯＮ（点灯状態）、ＯＦＦ（消灯状態）を制御してもよい。
　また、情報処理装置１０は、センサ装置５０のセンシングに基づいて、ユーザＵの動作を認識し、当該動作に依存して、表示装置２０に表示される手本画像Ｖ、及びスピーカ３０による音響の再生出力を制御してもよい。ここで、認識されるユーザＵの動作は、ユーザＵが行う作業に関係する動作であることが望ましい。ユーザＵが行う作業に関係する動作とは、例えばユーザＵが行う作業が料理である場合、食材を切る、食材を炒めるといった、当該作業において何らかの意味を持つ動作であってもよい。かかる構成により、ユーザＵは操作のために、ユーザＵが行う作業と無関係な動作（例えばジェスチャ等）を行うこと必要がなく、より快適に作業を進めることが可能となる。
　また、情報処理装置１０は、ユーザＵの動作に依存して再生出力を行うユーザ依存モードと、ユーザＵの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定してもよい。そして、情報処理装置１０は、当該再生モードに基づいて表示装置２０に表示される手本画像Ｖ、及びスピーカ３０による音響の再生出力を制御すると共に、当該再生モードに応じて例えば照明装置４０を制御して、現在の再生モードをユーザに通知させてもよい。かかる構成により、ユーザＵは現在の再生モードを把握して作業を進めることが可能であり、より快適に作業を進めることが可能となる。
　なお、情報処理装置１０のより詳細な構成については、図２を参照して後述する。
　表示装置２０は、情報処理装置１０の制御に従い、手本画像Ｖを再生出力（表示）する。なお、本実施形態において、表示装置２０は、ユーザＵにとっての鏡であるとみなされる。そして、ユーザＵが表示装置２０に表示される手本画像Ｖおいて、手本となる動作を行う人物（以下、教示者と呼ぶ）を鏡に映った自身（ユーザＵ）の鏡像であるかのように錯覚するように表示装置２０が構成されることが望ましい。表示装置２０は、例えば手本画像Ｖにおける教示者を等身大で表示可能な大きさを有し、ユーザＵと向かい合って配置されてもよい。
　ユーザＵが、手本画像Ｖにおける教示者をユーザＵ自身の鏡像であるかのように錯覚することで、例えば手本画像Ｖにおける教示者が動き出したら、ユーザＵも思わずそれに合わせて動いてしまい、より快適に作業を進めることが可能になると期待される。
　なお、表示装置２０が上述のように構成されることに加え、表示装置２０に表示される手本画像Ｖは、ユーザＵが手本画像Ｖにおける教示者を鏡に映った自身（ユーザＵ）の鏡像であるかのように錯覚させやすい画像であることが望ましい。例えば、手本画像Ｖにおける教示者の利き手は、ユーザＵの利き手とは左右反対の手であってもよい。かかる手本画像Ｖが表示されることにより、ユーザＵは、教示者の動作を真似やすくなると共に、教示者を自身の鏡像であるかのように錯覚しやすくなる。また、教示者の顔領域が表示されてしまうと、ユーザＵは、教示者が自身とは別の人物であると錯覚しやすくなる恐れがあるため、表示装置２０に表示される手本画像Ｖには、教示者の顔領域が含まれていないことが望ましい。かかる構成により、ユーザＵは、より教示者を自身の鏡像であるかのように錯覚しやすくなる。
　スピーカ３０は、情報処理装置１０の制御に従い、音響を再生出力する。スピーカ３０には、例えば手本画像Ｖと対応付けられた音響信号が情報処理装置１０から供給され、スピーカ３０は当該音響信号に基づいて音響を再生出力してもよい。
　照明装置４０は、情報処理装置１０の制御に従い、点灯あるいは消灯する。例えば、再生モードがユーザ依存モードである間に照明装置４０が点灯し、再生モードがユーザ非依存モードである間に照明装置４０が消灯してもよい。なお、本技術はかかる例に限定されない。また、現在の再生モードは、照明装置４０を用いない方法でユーザに通知されてもよく、例えばスピーカ３０からの音響出力等により通知されてもよい。
　センサ装置５０は、ユーザＵ、及びユーザＵの周囲の環境をセンシングして取得したセンサ情報を情報処理装置１０へ提供する。情報処理装置１０がユーザＵの動作を認識するため、センサ装置５０は、例えばユーザＵの動きに関するセンサ情報をセンシングにより取得する。なお、センサ装置５０がユーザＵの動きに関するセンサ情報を取得するため、ユーザＵ、あるいはユーザＵが支持する道具（例えば調理器具や楽器等）にマーカが取り付けられていてもよい。ただし、センサ装置５０によるユーザＵの動きに関するセンサ情報の取得方法はかかる例に限定されず、多様なモーションセンサ技術が用いられ得る。例えば、加速度センサのようなセンサ装置が、ユーザＵが支持する道具に組み込まれて、ユーザＵの動きに関するセンサ情報が取得されてもよい。あるいは、センサ装置５０はカメラを含んでよく、センサ装置は、当該カメラの撮像により取得された画像を含んでもよく、そしてマーカや加速度センサを要することなく、情報処理装置１０が画像に基づいてユーザＵの動作を認識可能であってもよい。
　また、センサ装置５０が取得可能なセンサ情報はかかる例に限定されず、センサ装置５０は、より多様なセンサ情報を取得可能であってもよい。例えば、センサ装置５０は、ユーザＵの位置に関するセンサ情報、ユーザＵの視線に関するセンサ情報等を取得可能であってもよい。
　＜＜２．構成例＞＞
　以上、本実施形態による表示システム１０００の概要について説明した。続いて、図１に示した本実施形態にかかる情報処理装置１０の構成例について、図２を参照してより詳細に説明する。図２は、本実施形態にかかる情報処理装置１０の構成例を示すブロック図である。図２に示すように、本実施形態にかかる情報処理装置１０は、インタフェース部１１、制御部１３、及び記憶部１５を備える。
　インタフェース部１１は、情報処理装置１０と、外部装置（例えば図１に示した表示装置２０、スピーカ３０、照明装置４０、センサ装置５０）、あるいは不図示のネットワークとを接続するためのインタフェースである。インタフェース部１１は、外部装置、あるいは不図示のネットワークから受信した情報を制御部１３へ提供し、また制御部１３から提供される情報（制御情報等を含む）を、外部装置、あるいは不図示のネットワークへ送信する。
　制御部１３は、情報処理装置１０の各構成を制御する。また、制御部１３は、図２に示すように、モード制御部１３１、認識部１３３、及び出力制御部１３５としても機能する。
　モード制御部１３１は、後述する出力制御部１３５による再生出力に関する再生モードを決定する。モード制御部１３１は、予め用意された再生モード候補の中から再生モードを決定してもよく、再生モード候補は、ユーザＵの動作に依存して再生出力を行うユーザ依存モードと、ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含んでよい。なお、以下では、モード制御部１３１が、ユーザ依存モードとユーザ非依存モードとの間で再生モードを切り替えるように、再生モードを決定する例を説明するが、かかる例に限定されず、再生モード候補は他のモードを含んでもよい。
　モード制御部１３１は、後述する出力制御部１３５から、手本画像Ｖのうち、現在のフレームの情報を受け取り、現在のフレームに応じて、再生モードを切り替えてもよい。モード制御部１３１は、現在のフレームが、手本画像Ｖにおける所定のシーンに到達した場合に、ユーザ非依存モードからユーザ依存モードへ、再生モードを切り替えるように、再生モードを決定してもよい。また、モード制御部１３１は、当該所定のシーンの再生が終了した場合に、ユーザ依存モードからユーザ非依存モードへ、再生モードを切り替えるように、再生モードを決定してもよい。
　当該所定のシーンは、手本画像Ｖにおいて、ユーザＵがより注目すべきシーンや、ユーザＵが行っている作業においてより技能を要する工程にかかるシーンであってもよい。かかる構成により、ユーザＵが注目すべきシーンでは、後述するように手本画像ＶがユーザＵの動作に依存して再生出力されるため、ユーザＵはより快適に作業を進めることが可能である。
　手本画像Ｖにおいて、ユーザＵがより注目すべきシーンや、ユーザＵが行う作業においてより技能を要する工程にかかるシーンは、例えば手本画像Ｖにかかる作業、つまりユーザＵが行う作業の種類によって異なり得る。例えば、ユーザＵが行う作業が料理である場合、食材を洗う動作や食材を混ぜる動作は、食材を切る動作やフライパンで炒める動作と比べると、あまり注目しなくてもよく、また、高い技能を要しないと考えられる。そこで、モード制御部１３１は、例えば手本画像Ｖにおいて、食材を洗う動作や食材を混ぜる動作のシーンでは再生モードをユーザ非依存モードに決定し、食材を切る動作やフライパンで炒める動作のシーンでは、再生モードをユーザ非依存モードに決定してもよい。
　上記のように再生モードを切り替えるため、モード制御部１３１は、モード制御情報に基づいて、再生モードを決定してもよい。上述した通り、ユーザＵがより注目すべきシーンや、ユーザＵが行う作業においてより技能を要する工程にかかるシーン等の所定のシーンはユーザＵが行う作業の種類によって異なり得る。そのため、モード制御情報は、手本画像Ｖに予め対応付けられて、記憶部１５に記憶されていてもよく、モード制御部１３１は、現在のフレームに対応付けられたモード制御情報を参照して、再生モードを決定してもよい。
　例えば、手本画像Ｖのうち、ユーザ依存モードと決定すべき所定のシーンの開始フレーム、及び終了フレームの各々に、当該所定のシーンの開始フレーム、及び終了フレームであることを示すモード制御情報が対応付けられていてもよい。そして、現在のフレームに所定のシーンの開始フレームであることを示すモード制御情報が対応付けられていた場合、モード制御部１３１は、ユーザ非依存モードからユーザ依存モードへ、再生モードを切り替えるように、再生モードを決定してもよい。また、同様に、現在のフレームに所定のシーンの終了フレームであることを示すモード制御情報が対応付けられていた場合、モード制御部１３１は、ユーザ依存モードからユーザ非依存モードへ、再生モードを切り替えるように、再生モードを決定してもよい。
　あるいは、手本画像Ｖの各フレームにユーザ依存モード、あるいはユーザ非依存モードのいずれかを示すモード制御情報が対応付けられていてもよい。かかる場合であっても、モード制御部１３１は、現在のフレームに対応付けられたモード制御情報を参照して、再生モードを決定し得る。
　なお、本技術は上述した例に限定されず、モード制御部１３１は手本画像Ｖを解析して、再生モードを決定してもよい。例えば、モード制御部１３１は、大量の画像を用いた機械学習により得られた識別器を用いて、手本画像Ｖを解析して、再生モードを決定してもよい。また、同様に、手本画像Ｖの解析によりモード制御情報を予め生成することも可能である。
　モード制御部１３１は、決定した再生モードの情報を認識部１３３、及び出力制御部１３５へ提供する。
　認識部１３３は、図１を参照して説明したセンサ装置５０からインタフェース部１１を介して取得したセンサ情報に基づいて、ユーザＵに関する認識を行う。例えば、認識部１３３は、センサ情報に基づいて、ユーザＵの動作を認識してもよい。認識部１３３が認識する動作の種別は、例えば手本画像Ｖに応じて予め決められていてもよい。例えば、手本画像Ｖが料理の手本となる画像である場合、認識部１３３は、食材を切る動作やフライパンで炒める動作を認識してもよい。
　また、認識部１３３が認識するユーザＵの動作は、上述したように、ユーザＵが行う作業に関係する動作であることが望ましい。例えば、認識部１３３が認識するユーザＵの動作は、手本画像Ｖにおける教示者の動作のうちのいずれかの動作であってよい。なお、教示者の動作に関する情報（以下、教示動作情報と呼ぶ場合がある）が後述する記憶部１５に記憶されていてもよく、認識部１３３は、教示動作情報に基づいて、教示者の動作と同一の種別の動作を認識してもよい。
　認識部１３３は、認識したユーザＵの動作の情報を、出力制御部１３５へ提供する。なお、後述するように、認識部１３３から提供されるユーザＵの動作の情報が出力制御部１３５によって用いられるのは、再生モードがユーザ依存モードの場合である。そこで、認識部１３３は、再生モードに応じてユーザＵの動作の認識を行ってもよく、例えば再生モードがユーザ非依存モードの場合にのみユーザＵの動作の認識を行い、ユーザ非依存モードの場合にはユーザＵの動作の認識を行わなくてもよい。かかる構成により、処理量を抑制することが可能となる。
　また、認識部１３３が認識するのは、ユーザＵの動作に限定されず、認識部１３３は、より多様な情報を認識してもよい。他の例については、変形例として説明する。
　出力制御部１３５は、モード制御部１３１によって決定された再生モードに基づいて、図１に示した表示装置２０による手本画像Ｖの再生出力を制御する。また、出力制御部１３５は、手本画像Ｖに対応付けられた音響信号を、手本画像Ｖの再生出力に同期させるように図１に示したスピーカ３０へ出力させることで、音響の再生出力を制御してもよい。
　再生モードがユーザ非依存モードである場合、出力制御部１３５は、ユーザＵの動作に依存せず、手本画像Ｖの再生出力を制御する。例えば、出力制御部１３５は、再生モードがユーザ非依存モードである場合に、予め設定されたフレームレートなどに従って手本画像Ｖを再生出力させてもよい。かかる構成によれば、例えば高い技能を要しない動作のシーンでは、スムーズに手本画像Ｖが再生出力されるため、ユーザＵがより快適に作業を進めることが可能となる。
　一方、再生モードがユーザ依存モードである場合、出力制御部１３５は、手本画像における教示者の動作に関する教示動作情報と、認識部１３３により認識されるユーザＵの動作とに基づいて、手本画像Ｖの再生出力を制御する。上述したように、教示者の動作に関する教示動作情報は、手本画像Ｖと対応付けられて後述する記憶部１５に記憶されていてもよい。また、教示動作情報は、各フレームにおける教示者の動作を示す情報であってもよく、手本画像Ｖの各フレームに対応付けられていてもよい。
　例えば、出力制御部１３５は、再生モードがユーザ依存モードである場合に、所定の動作が認識部１３３により認識されるまで、手本画像Ｖの再生出力を一時停止させてもよい。そして、出力制御部１３５は、再生モードがユーザ依存モードであり、かつ所定の動作が認識部１３３により認識された場合に、認識されたユーザＵの所定の動作に基づいて手本画像Ｖの再生出力を再開させてもよい。ここで、所定の動作は、例えば、手本画像Ｖにおいて教示者が行う動作であってもよい。かかる構成によれば、例えば、ユーザＵが当該所定の動作を行う準備ができていないにも関わらず、教示者が当該所定の動作を行うシーンが再生出力されてしまう、といった事態が避けられ得る。
　なお、認識されたユーザＵの動作に基づいて手本画像Ｖを再生出力させる方法は、多様であり得る。例えば、出力制御部１３５は、教示者の動作とユーザＵの動作とが、同期するように手本画像Ｖを再生出力させてもよい。かかる構成によれば、ユーザＵは、より教示者を自身の鏡像であるかのように錯覚しやすくなる。
　あるいは、出力制御部１３５は、教示者の動作がユーザＵの動作に対して先行するように手本画像Ｖを再生出力させてもよい。図３、図４を参照して、教示者の動作が、ユーザＵの動作に対して先行するように手本画像Ｖを再生出力させる場合の例について説明する。図３、図４は、教示者の動作がユーザＵの動作に対して先行するように手本画像Ｖを再生出力させる場合の例を示す図である。
　図３に示すグラフＧ１１の例において、出力制御部１３５は、教示者の動作がユーザＵの動作に対して一定時間先行するように手本画像Ｖを再生出力させる。かかる構成によれば、ユーザＵは、先行する教示者の動作を手本としながら、例えば教示者の動作を真似て動作を行うことが可能であり、快適に作業を進めることが可能である。
　一方、図３に示すグラフＧ１２の例において、出力制御部１３５は、より時間が経過するほど、教示者の動作がユーザＵの動作に対してより先行するように手本画像Ｖを再生出力させる。かかる構成によれば、ユーザＵが、動作をより軽く感じるようになるという効果が期待される。
　ただし、同じ動作が繰り返されるシーンにおいて、図３に示すグラフＧ１２のように再生出力を制御すると、当該動作が繰り返されるにつれ、教示者の動作とユーザＵとの動作のずれが大きくなり、徐々にユーザＵに違和感を与えてしまう恐れがある。そこで、出力制御部１３５は、図４に示すグラフＧ１３の例のように、動作の始点（開始タイミング）と終点（終了タイミング）において、教示者の動作とユーザの動作とが一致するように、手本画像Ｖを再生出力させてもよい。かかる構成によれば、特に同じ動作が繰り返されるシーンにおいて、ユーザＵに与えられる違和感が軽減される。
　なお、動作の始点と終点の間において、出力制御部１３５は、ユーザＵの動作の進度に応じて手本画像Ｖを再生出力させてもよい。例えば、教示者の動作速度がユーザＵの動作速度に応じるように、出力制御部１３５は、手本画像Ｖを再生出力させてもよい。また、
出力制御部１３５は、ユーザＵの動作が本来の動作の方向とは逆方向である場合に、教示者の動作も逆方向となるように、手本画像Ｖを巻き戻して再生出力させてもよい。かかる構成により、ユーザＵは再生出力の制御を自身の動作の進度でコントロールすることが可能である。
　また、出力制御部１３５は、教示者の動作がユーザＵの動作に対して遅延するように手本画像Ｖを再生出力させてもよい。図５は、教示者の動作がユーザＵの動作に対して遅延するように手本画像Ｖを再生出力させる場合の例を示す図である。図５に示すように教示者の動作がユーザＵの動作に対して遅延するように手本画像Ｖを再生出力させることで、ユーザＵは、動作をより重く感じるようになるという効果が期待される。かかる構成によれば、例えば、ダンベルを上げ下げするようなトレーニングの動作が行われる場合に、トレーニングの効果が向上し得る。
　さらに、出力制御部１３５は、同一の動作が繰り返される度に、教示者の動作とユーザＵの動作との間の時間的差異が小さくなるように手本画像Ｖを再生出力させてもよい。図６は、同一の動作が繰り返される度に、教示者の動作とユーザＵの動作との間の時間的差異が小さくなるように手本画像Ｖを再生出力させる場合の例を示す図である。図６に示す例では、ユーザＵが最初に動作を行う際には、教示者の動作がユーザＵの動作に対して先行している。したがって、図６に示すように再生出力が制御されると、ユーザＵが最初に動作を行う際には、動作がより軽く感じられる効果が期待される。さらに、徐々に教示者の動作とユーザＵの動作との間の時間的差異が小さくなっていくため、ユーザＵは、例えば自身がよりスムーズに動作を行えるようになった（上手くなった）と感じられる効果が期待される。
　なお、ユーザＵが最初に動作を行う際に教示者の動作がユーザＵの動作に対して遅延する場合であっても同様に、同一の動作が繰り返される度に、教示者の動作とユーザＵの動作との間の時間的差異が小さくなるように再生出力を制御することが可能である。
　以上、認識されたユーザＵの動作に基づいて手本画像Ｖを再生出力させる方法の例について説明した。ただし、本実施形態は上述した例に限定されず、出力制御部１３５は、再生モードがユーザ依存モードである場合に、認識されたユーザＵの動作に基づいて、多様に手本画像Ｖを再生出力させてよい。
　また、出力制御部１３５は、モード制御部１３１により決定された現在の再生モードを、ユーザＵへ通知させてもよい。例えば、出力制御部１３５は、照明装置４０を制御して、現在の再生モードをユーザへ通知させてもよい。かかる場合、出力制御部１３５は、現在の再生モードがユーザ依存モードである場合に照明装置４０をＯＮ（点灯状態）にさせ、現在の再生モードがユーザ非依存モードである場合に照明装置４０をＯＦＦ（消灯状態）にさせてもよい。なお、ユーザＵへの通知方法はかかる例に限定されず、出力制御部１３５は、例えばスピーカ３０から出力される音響により、現在の再生モードを、ユーザＵへ通知させてもよい。
　また、出力制御部１３５は、現在のフレームの情報（例えばフレーム番号等）をモード制御部１３１へ提供する。
　記憶部１５は、上述した制御部１３の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１５は、手本画像Ｖ、手本画像Ｖに対応付けられた音響信号、当該手本画像Ｖに対応付けられたモード制御情報、及び手本画像Ｖに対応付けられた教示動作情報等を記憶する。
　以上、本実施形態に係る情報処理装置１０の構成例について、図２を参照して説明したが、情報処理装置１０の構成は図２に示した例に限定されない。例えば、図２に示す制御部１３の一部、またはすべての機能が、インタフェース部１１を介して接続された他の装置により実現されてもよい。また、上記において記憶部１５に記憶されると説明された情報のうち、一部、またはすべての情報が、インタフェース部１１を介して接続された他の装置やネットワークから、情報処理装置１０へ提供されてもよい。
　＜＜３．情報処理装置の動作＞＞
　　＜３－１．処理の流れ＞
　続いて、本実施形態に係る情報処理装置１０の処理の流れについて、図７を参照して説明する。図７は、本実施形態に係る情報処理装置１０の処理の流れの一例を示すフローチャート図である。なお、図７の処理開始時点では、再生モードはユーザ非依存モードであるものとする。
　図７に示すように、まず出力制御部１３５は、ユーザＵの動作に依存せず、手本画像Ｖを再生出力させる（Ｓ１０２）。続いて、モード制御部１３１は、現在のフレームに対応付けられたモード制御情報を参照して、現在のフレームが、手本画像Ｖにおける所定のシーンに到達したか否かを判定する（Ｓ１０４）。所定のシーンに到達していないと判定された場合（Ｓ１０４においてＮＯ）、処理はステップＳ１０２へ戻る。
　一方、所定のシーンに到達したと判定された場合（Ｓ１０４においてＹＥＳ）、モード制御部１３１は、ユーザ非依存モードからユーザ依存モードへ、再生モードを切り替えるように、再生モードを決定する（Ｓ１０６）。続いて、出力制御部１３５は、ステップＳ１０６における再生モードの切り替えに応じて、手本画像Ｖの再生出力を一時停止させる（Ｓ１０８）と共に、照明装置４０をＯＮ（点灯状態）にして、再生モードをユーザＵへ通知させる（Ｓ１１０）。
　そして、ステップＳ１１２において、認識部１３３が、ユーザＵによる所定の動作を認識するまで、手本画像Ｖの再生出力が一時停止されたまま、ステップＳ１１２の処理が繰り返される。
　認識部１３３が、ユーザＵによる所定の動作を認識すると（Ｓ１１２においてＹＥＳ）、出力制御部１３５は、手本画像Ｖの再生出力を再開し、認識されたユーザＵの動作に基づいて手本画像Ｖを再生出力させる（Ｓ１１４）。続いて、モード制御部１３１は、現在のフレームに対応付けられたモード制御情報を参照して、手本画像Ｖにおける所定のシーンが終了したか否かを判定する（Ｓ１１６）。所定のシーンが終了していないと判定された場合（Ｓ１１６においてＮＯ）、処理はステップＳ１１２へ戻る。
　一方、所定のシーンが終了したと判定された場合（Ｓ１１６においてＹＥＳ）、モード制御部１３１は、ユーザ依存モードからユーザ非依存モードへ、再生モードを切り替えるように、再生モードを決定する（Ｓ１１８）。ここで、現在のフレームが手本画像Ｖの最終フレームに到達した場合（Ｓ１２０においてＹＥＳ）、処理は終了する。一方、現在のフレームが手本画像Ｖの最終フレームに到達していない場合（Ｓ１２０においてＮＯ）、処理はステップＳ１０２へ戻る。
　　＜３－２．具体例＞
　以下の表１は、本実施形態に係る具体例を示す表である。なお、表１はユーザＵが料理を行う場合の具体例を示している。また、以下の表１において、シーン番号は説明のために付されたものであり、本実施形態の処理のためには、手本画像Ｖにシーン番号が付されていなくてもよい。
Figure JPOXMLDOC01-appb-T000001
　例えば、表１のシーン＃２では、教示者の包丁で白菜を切る動作がユーザの動作に対して一定時間先行するように再生出力が制御されてもよい。また、表１のシーン＃４では、豚肉の入った容器を手本画像Ｖにおける豚肉の入った容器と同じ場所に持っていくことで、一時停止が解除されてもよい。また、表１のシーン＃６では、手本画像Ｖにおいて塩昆布が入った容器を教示者が持ち上げた状態で再生出力が一時停止され、塩昆布が入った容器をユーザＵが教示者と同じように持ち上げることで、一時停止が解除されてもよい。また、シーン＃７では、フライパンを１回振る動作が１つの動作としてみなされ、フライパンを１回振る動作の始点と終点において、教示者の動作とユーザの動作とが一致するように、再生出力が制御されてもよい。
　なお、表１に示したのは一例であって、本実施形態はかかる例に限定されず、多様なシーンで用いられ得る。例えば、本実施形態は、料理だけでなく、ダンス、空手、体操などの身体を用いたスポーツの練習、あるいはギターや管楽器、ドラム等の楽器の練習など、手本を見ながら習得することが可能な作業であれば、あらゆる作業に応用が可能である。
　＜＜４．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜４－１．変形例１＞
　上記実施形態では、認識部１３３がユーザＵの動作を認識し、認識部１３３により認識されたユーザＵの動作に基づいて再生出力が制御される例を説明したが、認識部１３３が認識するのはユーザＵの動作に限定されない。例えば、認識部１３３は、センサ装置５０からインタフェース部１１を介して取得したセンサ情報に基づいて、ユーザＵの位置を認識してもよく、出力制御部１３５は、ユーザＵの位置に基づいて、手本画像Ｖの表示位置を制御してもよい。以下では、かかる例について、変形例１として図８、図９を参照して説明する。図８、図９は、変形例１を説明するための説明図である。
　図８、図９に示す例では、キッチン全体に沿って、キッチンのバックスプラッシュ部分に表示装置２０が設けられている。また、図８、図９に示す例では、複数のセンサ装置５０が略等間隔で表示装置２０の上部に設けられている。そして、本変形例にかかる不図示の情報処理装置１０が備える認識部１３３は、当該複数のセンサ装置５０から取得したセンサ情報に基づいて、ユーザＵの動作だけでなくユーザＵの位置を認識可能となっている。なお、認識部１３３がユーザＵの位置を認識可能であればよく、センサ装置５０の数や配置は、図８、及び図９に示した例に限定されない。
　また、本変形例にかかる不図示の情報処理装置１０が備える出力制御部１３５は、図８、及び図９に示すように、認識されたユーザＵの位置に基づいて、表示装置２０の表示可能範囲内で、手本画像Ｖの表示位置を移動させてよい。より望ましくは、出力制御部１３５は、手本画像Ｖにおける教示者が、ユーザＵの正面に位置するように、手本画像Ｖの表示位置を移動させてもよい。かかる構成により、作業中にユーザＵが移動するような場合であっても、手本画像Ｖにおける教示者がユーザＵの正面に位置するため、手本画像Ｖを快適に見ることが可能であると共に、ユーザＵが当該教示者を自身の鏡像であるかのように感じられる。
　なお、出力制御部１３５が、手本画像Ｖにおける教示者が、ユーザＵの正面に位置するように、手本画像Ｖの表示位置を移動させるため、手本画像Ｖにおける教示者の位置の情報が予め手本画像Ｖに対応付けられて記憶部１５に記憶されていてもよい。あるいは、出力制御部１３５が、手本画像Ｖを解析することで、手本画像Ｖにおける教示者の位置の情報を取得してもよい。
　また、図８、及び図９に示す例では、表示装置２０の表示可能範囲内で、手本画像Ｖの表示位置が移動したが、本変形例はかかる例に限定されない。例えば、複数の表示装置２０が配置される場合、出力制御部１３５は、ユーザＵの位置に基づいて、当該複数の表示装置２０の中から、よりユーザＵの位置の近傍に存在する表示装置２０を、手本画像Ｖを再生出力させる表示装置２０として決定してもよい。
　＜４－２．変形例２＞
　上記実施形態では、手本画像Ｖは、ユーザＵが手本画像Ｖにおける教示者を鏡に映ったユーザＵ自身の鏡像であるかのように錯覚させやすい画像である例を説明した。しかし、例えば記憶部１５に記憶された手本画像が、ユーザが手本画像における教示者を鏡に映ったユーザＵ自身の鏡像であるかのように錯覚させにくい画像であっても、例えば画像処理等を施してから再生出力させることにより、ユーザＵが手本画像Ｖにおける教示者を鏡に映ったユーザＵ自身の鏡像であるかのように錯覚させやすくすることが可能である。以下では、かかる例について、変形例２として説明する。
　例えば、記憶部１５に記憶された手本画像における教示者の利き手が、ユーザの利き手と同一である場合、ユーザは、教示者を自身の鏡像であるかのように錯覚しにくく、さらに教示者の動作を真似しにくい恐れがある。そこで、本変形例に係る出力制御部１３５は、手本画像における教示者の利き手が、ユーザの利き手と同一である場合、手本画像に水平方向の反転処理を施してもよい。なお、ユーザの利き手は、例えば認識部１３３により認識されてもよい。
　また、教示者が等身大に表示されない場合、ユーザは、教示者を自身の鏡像であるかのように錯覚しにくくなる恐れがある。そこで、本変形例に係る出力制御部１３５は、手本画像における教示者の大きさと、表示装置２０の画面サイズとに基づいて、教示者が等身大に表示されるように、手本画像に拡大、あるいは縮小処理を施してもよい。
　また、記憶部１５に記憶された手本画像に、教示者の顔領域が含まれている場合、ユーザは、教示者が自身とは別の人物であると認識しやすくなる恐れがある。そこで、手本画像に教示者の顔領域が含まれている場合、本変形例にかかる出力制御部１３５は、手本画像に教示者の顔領域が含まれないようにするための画像処理を施してもよい。
　ここで、手本画像に教示者の顔領域が含まれないようにするための画像処理は、例えば、手本画像に教示者の顔領域が含まれないように手本画像の一部領域を切り出すトリミング処理を含んでもよい。あるいは、手本画像に教示者の顔領域が含まれないようにするための画像処理は、手本画像における教示者の顔領域を、ユーザの顔画像と置き換える処理を含んでもよい。なお、ユーザの顔画像は、予め取得されてもよいし、リアルタイムにカメラの撮像により取得されてもよい。なお、カメラは、例えばセンサ装置５０に含まれてもよい。
　また、本変形例にかかる出力制御部１３５は、手本画像における教示者を、よりユーザに近づけるための画像処理を施してもよい。例えば、認識部１３３がカメラの撮像により取得されたユーザの画像からユーザの服領域を認識し、出力制御部１３５は、認識されたユーザの服領域に基づいて、教示者の服をユーザの服に近づける（例えば置き換える）ような画像処理を手本画像に施してもよい。また、認識部１３３がカメラの撮像により取得されたユーザの画像からユーザの性別や人種等を認識し、出力制御部１３５は、認識されたユーザの性別や人種等に基づいて、ユーザの性別や人種等を反映させるような画像処理を手本画像に施してもよい。かかる構成により、ユーザは、より教示者を自身の鏡像であるかのように錯覚しやすくなる。
　また、出力制御部１３５は、予め用意された教示者のモーションデータに基づいて、手本画像を生成してもよい。かかる場合、出力制御部１３５は、予め用意された、あるいは、カメラの撮像により取得された画像から認識されたユーザの顔や服に基づいて生成されたユーザに似せた３Ｄモデルを、教示者のモーションデータに基づいて動かすことで、手本画像を生成してもよい。また、出力制御部１３５は、教示者だけでなく、手本画像の背景についても、ユーザが存在する空間の情報に基づいて生成してもよい。かかる構成により、ユーザは手本画像に含まれる教示者のみならず、空間全体が鏡像であるかのように錯覚しやすくなる。
　　＜４－３．変形例３＞
　また、出力制御部１３５は、ユーザの動作と、手本画像における教示者の動作との差分に基づいて、さらなる出力の制御を行ってもよい。ユーザの動作と、手本画像における教示者の動作との差分とは、ユーザの手の位置や、道具の位置、あるいはユーザが切った食材のサイズ等に関する差分であってもよい。また、かかる差分は例えば認識部１３３により認識されてもよい。以下では、かかる例について、変形例３として説明を行う。
　例えば、出力制御部１３５はユーザの動作と、手本画像における教示者の動作との差分に基づいてユーザへの通知を行ってもよく、例えば当該差分が大きい場合、当該差分が大きいことをユーザへ通知させてもよい。なお、ユーザへの通知方法は特に限定されないが、例えば出力制御部１３５はスピーカ３０から当該差分が大きいことをユーザへ通知する音声を出力させてもよい。かかる構成により、ユーザは教示者の動作と自身の動作との差分が大きいことを把握することが可能である。
　特に、ユーザが行う作業が危険を伴い、教示者の動作とユーザの動作との差分により危険度が増す場合、かかる通知はより有効であり、出力制御部１３５は、ユーザへ警告を通知させることが望ましい。警告の通知方法は特に限定されないが、例えば、スピーカ３０から警告音が出力されてもよい。
　また、ユーザの動作と、手本画像における教示者の動作との差分が大きい場合、出力制御部１３５は、実空間に対する出力の制御を行ってもよい。当該実空間に対する出力は、例えば照明装置４０や不図示のプロジェクタを用いたプロジェクションにより実現されてもよい。
　例えば、ユーザの動作と、手本画像における教示者の動作との差分が大きい場合、出力制御部１３５は、実空間に対して、より正しい動作や位置に関する情報を出力させてもよい。例えば、手本画像における教示者の手の位置に対応する実空間における位置に、手の画像が重畳表示されてもよい。また、手本画像において、コンロに火が付けられた場合、実空間におけるコンロの位置に赤い光や炎の画像が出力されてもよい。かかる構成により、ユーザは容易に正しい動作や位置を把握することが可能である。
　　＜４－４．変形例４＞
　上記変形例３では、教示者の動作とユーザの動作との差分により危険度が増す場合に、ユーザへ警告を通知させる例を説明したが、他にも、ユーザへ警告を通知させることが望ましい場合がある。
　例えば、包丁を用いた料理など作業において、ユーザが手本画像を注視し過ぎるとユーザに危険が及ぶ恐れがある。そこで、例えば、認識部１３３によりユーザの視線が認識され、ユーザが手元を見ずに包丁を扱っている場合に、出力制御部１３５は、ユーザへ警告を通知させてもよい。
　かかる警告の通知方法は特に限定されないが、例えば、スピーカ３０から警告音を出力させることにより警告が通知されてもよいし、教示者が先に怪我をするような手本画像を再生出力させることにより警告が通知されてもよい。
　かかる構成により、ユーザはより安全に作業を進めることが可能となる。
　＜＜５．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図１０を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図１０は、本開示の実施形態にかかる情報処理装置１０のハードウェア構成の一例を示すブロック図である。本開示の実施形態にかかる情報処理装置１０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１０に示すように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１０は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１０は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１３を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置１０のユーザは、この入力装置９０６を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置１０の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１５を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、インタフェース部１１を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置１０の姿勢、移動速度等、情報処理装置１０自身の状態に関する情報や、情報処理装置１０の周辺の明るさや騒音等、情報処理装置１０の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本開示の実施形態にかかる情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。したがって、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本開示の実施形態にかかる情報処理装置１０の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜６．むすび＞＞
　以上説明したように、本開示の実施形態によれば、手本画像の再生出力を、ユーザの動作に依存して制御することで、ユーザがより快適に作業を進めることが可能である。また、本開示の実施形態によれば手本画像における教示者がユーザ自身の鏡像であるかのように感じられるため、ユーザは鏡を見ているような感覚で作業の練習を行うことが可能である。その結果、例えば当該作業に関するユーザのスキルが向上し得る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定するモード制御部と、
　前記再生モードに基づいて、画像の再生出力を制御する出力制御部と、
　を備える情報処理装置。
（２）
　前記出力制御部は、前記再生モードが前記ユーザ依存モードである場合に、前記画像における教示者の動作に関する教示動作情報と、前記ユーザの動作とに基づいて、前記画像の再生出力を制御する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記ユーザの動作を認識する認識部をさらに備え、
　前記出力制御部は、前記画像において前記教示者が行う所定の動作が、前記認識部により認識されるまで、前記画像の再生出力を停止させる、前記（２）に記載の情報処理装置。
（４）
　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して先行するように前記画像を再生出力させる、前記（２）または（３）に記載の情報処理装置。
（５）
　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して一定時間先行するように前記画像を再生出力させる、前記（４）に記載の情報処理装置。
（６）
　前記出力制御部は、より時間が経過するほど、前記教示者の動作が、前記ユーザの動作に対してより先行するように前記画像を再生出力させる、前記（４）に記載の情報処理装置。
（７）
　前記出力制御部は、動作の開始タイミングと終了タイミングにおいて、前記教示者の動作と、前記ユーザの動作とが一致するように、前記画像を再生出力させる、前記（４）に記載の情報処理装置。
（８）
　出力制御部は、前記ユーザの動作の進度に応じて、前記画像を再生出力させる、前記（７）に記載の情報処理装置。
（９）
　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して遅延するように前記画像を再生出力させる、前記（４）に記載の情報処理装置。
（１０）
　前記出力制御部は、同一の動作が繰り返される度に、前記教示者の動作と前記ユーザの動作との間の時間的差異が小さくなるように前記画像を再生出力させる、前記（４）、７～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記出力制御部は、前記教示者の動作と、前記ユーザの動作とが、同期するように前記画像を再生出力させる、前記（２）または（３）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記ユーザの利き手と、前記画像における前記教示者の利き手とに応じて、前記画像に画像処理を施す、前記（２）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記画像に前記教示者の顔領域が含まれている場合、前記出力制御部は、前記画像に前記教示者の顔領域が含まれないようにするための画像処理を施す、前記（２）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記出力制御部は、前記ユーザの動作と、前記画像における前記教示者の動作との差分に基づいて、さらなる出力の制御を行う、前記（２）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記出力制御部は、前記ユーザの位置に応じて、前記画像の表示位置を制御する、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記出力制御部は、前記再生モードをユーザへ通知させる、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記ユーザの動作は、前記ユーザが行う作業に関係する動作である、前記（１）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定することと、
　前記再生モードに基づいて、画像の再生出力を制御することと、
　を含む情報処理方法。
（１９）
　コンピュータに、
　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定する機能と、
　前記再生モードに基づいて、画像の再生出力を制御する機能と、
　を実現させるためのプログラム。
　１０　情報処理装置
　１１　インタフェース部
　１３　制御部
　１５　記憶部
　２０　表示装置
　３０　スピーカ
　４０　照明装置
　５０　センサ装置
　１３１　モード制御部
　１３３　認識部
　１３５　出力制御部
　１０００　表示システム

Claims (19)

  1. 　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定するモード制御部と、
    　前記再生モードに基づいて、画像の再生出力を制御する出力制御部と、
    　を備える情報処理装置。
  2. 　前記出力制御部は、前記再生モードが前記ユーザ依存モードである場合に、前記画像における教示者の動作に関する教示動作情報と、前記ユーザの動作とに基づいて、前記画像の再生出力を制御する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記ユーザの動作を認識する認識部をさらに備え、
    　前記出力制御部は、前記画像において前記教示者が行う所定の動作が、前記認識部により認識されるまで、前記画像の再生出力を停止させる、請求項２に記載の情報処理装置。
  4. 　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して先行するように前記画像を再生出力させる、請求項２に記載の情報処理装置。
  5. 　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して一定時間先行するように前記画像を再生出力させる、請求項４に記載の情報処理装置。
  6. 　前記出力制御部は、より時間が経過するほど、前記教示者の動作が、前記ユーザの動作に対してより先行するように前記画像を再生出力させる、請求項４に記載の情報処理装置。
  7. 　前記出力制御部は、動作の開始タイミングと終了タイミングにおいて、前記教示者の動作と、前記ユーザの動作とが一致するように、前記画像を再生出力させる、請求項４に記載の情報処理装置。
  8. 　出力制御部は、前記ユーザの動作の進度に応じて、前記画像を再生出力させる、請求項７に記載の情報処理装置。
  9. 　前記出力制御部は、前記教示者の動作が、前記ユーザの動作に対して遅延するように前記画像を再生出力させる、請求項４に記載の情報処理装置。
  10. 　前記出力制御部は、同一の動作が繰り返される度に、前記教示者の動作と前記ユーザの動作との間の時間的差異が小さくなるように前記画像を再生出力させる、請求項４のいずれか一項に記載の情報処理装置。
  11. 　前記出力制御部は、前記教示者の動作と、前記ユーザの動作とが、同期するように前記画像を再生出力させる、請求項２に記載の情報処理装置。
  12. 　前記出力制御部は、前記ユーザの利き手と、前記画像における前記教示者の利き手とに応じて、前記画像に画像処理を施す、請求項２に記載の情報処理装置。
  13. 　前記画像に前記教示者の顔領域が含まれている場合、前記出力制御部は、前記画像に前記教示者の顔領域が含まれないようにするための画像処理を施す、請求項２に記載の情報処理装置。
  14. 　前記出力制御部は、前記ユーザの動作と、前記画像における前記教示者の動作との差分に基づいて、さらなる出力の制御を行う、請求項２に記載の情報処理装置。
  15. 　前記出力制御部は、前記ユーザの位置に応じて、前記画像の表示位置を制御する、請求項１に記載の情報処理装置。
  16. 　前記出力制御部は、前記再生モードをユーザへ通知させる、請求項１に記載の情報処理装置。
  17. 　前記ユーザの動作は、前記ユーザが行う作業に関係する動作である、請求項１に記載の情報処理装置。
  18. 　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定することと、
    　前記再生モードに基づいて、画像の再生出力を制御することと、
    　を含む情報処理方法。
  19. 　コンピュータに、
    　ユーザの動作に依存して再生出力を行うユーザ依存モードと、前記ユーザの動作に依存せず再生出力を行うユーザ非依存モードとを含む再生モード候補の中から、再生モードを決定する機能と、
    　前記再生モードに基づいて、画像の再生出力を制御する機能と、
    　を実現させるためのプログラム。
PCT/JP2019/008979 2018-03-30 2019-03-07 情報処理装置、情報処理方法、及びプログラム WO2019188076A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/040,508 US11315599B2 (en) 2018-03-30 2019-03-07 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018066735A JP2021096272A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、及びプログラム
JP2018-066735 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019188076A1 true WO2019188076A1 (ja) 2019-10-03

Family

ID=68060454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008979 WO2019188076A1 (ja) 2018-03-30 2019-03-07 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11315599B2 (ja)
JP (1) JP2021096272A (ja)
WO (1) WO2019188076A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6959462B1 (ja) * 2020-09-15 2021-11-02 Kddi株式会社 画像表示装置、プログラム及び画像表示システム
WO2023203806A1 (ja) * 2022-04-19 2023-10-26 株式会社Ｎｔｔドコモ 作業支援装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019126830A1 (de) * 2019-10-07 2021-04-08 Miele & Cie. Kg Aufstellgerät für ein Kochfeld mit einem Griff

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030513A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd 教育支援装置及び教育情報管理サーバ
JP2007026090A (ja) * 2005-07-15 2007-02-01 Oki Electric Ind Co Ltd 映像作成装置
JP2009045245A (ja) * 2007-08-21 2009-03-05 Kawai Musical Instr Mfg Co Ltd 画像表示装置
JP2009136606A (ja) * 2007-12-10 2009-06-25 Hitachi Systems & Services Ltd 映像再生システム
JP2009213782A (ja) * 2008-03-12 2009-09-24 Xing Inc 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム
JP2013146511A (ja) * 2012-01-19 2013-08-01 Mobadai Inc 人体の動作の変移を記録、解析し、表示する電子機器
JP2014217627A (ja) * 2013-05-09 2014-11-20 株式会社振付著作権協会 身体動作評価装置、カラオケシステム、及びプログラム
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
JP2015132678A (ja) * 2014-01-10 2015-07-23 ソフトバンクモバイル株式会社 プログラム及び表示制御装置
JP2015146642A (ja) * 2015-04-15 2015-08-13 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
JP2016025523A (ja) * 2014-07-22 2016-02-08 日本電信電話株式会社 ビデオフィードバック装置、ビデオフィードバック方法及びプログラム
JP2016174637A (ja) * 2015-03-18 2016-10-06 株式会社タイトー ダンス装置
EP3226229A1 (en) * 2016-03-31 2017-10-04 MEDIACLINICS S.r.l. Motion evaluation method and system in a sport context

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197342A1 (en) 2015-08-20 2018-07-12 Sony Corporation Information processing apparatus, information processing method, and program

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030513A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd 教育支援装置及び教育情報管理サーバ
JP2007026090A (ja) * 2005-07-15 2007-02-01 Oki Electric Ind Co Ltd 映像作成装置
JP2009045245A (ja) * 2007-08-21 2009-03-05 Kawai Musical Instr Mfg Co Ltd 画像表示装置
JP2009136606A (ja) * 2007-12-10 2009-06-25 Hitachi Systems & Services Ltd 映像再生システム
JP2009213782A (ja) * 2008-03-12 2009-09-24 Xing Inc 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム
JP2013146511A (ja) * 2012-01-19 2013-08-01 Mobadai Inc 人体の動作の変移を記録、解析し、表示する電子機器
JP2014217627A (ja) * 2013-05-09 2014-11-20 株式会社振付著作権協会 身体動作評価装置、カラオケシステム、及びプログラム
US20150099252A1 (en) * 2013-10-03 2015-04-09 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
JP2015132678A (ja) * 2014-01-10 2015-07-23 ソフトバンクモバイル株式会社 プログラム及び表示制御装置
JP2016025523A (ja) * 2014-07-22 2016-02-08 日本電信電話株式会社 ビデオフィードバック装置、ビデオフィードバック方法及びプログラム
JP2016174637A (ja) * 2015-03-18 2016-10-06 株式会社タイトー ダンス装置
JP2015146642A (ja) * 2015-04-15 2015-08-13 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム
EP3226229A1 (en) * 2016-03-31 2017-10-04 MEDIACLINICS S.r.l. Motion evaluation method and system in a sport context

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIKAMI,DA ET AL: "A Video Feedback System Providing Motions Synchroized with Refernce Examples for Motor Learning", IPSJ TRANSACTIONS (CDS), vol. 4, no. 1, 23 April 2014 (2014-04-23), pages 22 - 31 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6959462B1 (ja) * 2020-09-15 2021-11-02 Kddi株式会社 画像表示装置、プログラム及び画像表示システム
JP2022048724A (ja) * 2020-09-15 2022-03-28 Kddi株式会社 画像表示装置、プログラム及び画像表示システム
JP2022048957A (ja) * 2020-09-15 2022-03-28 Kddi株式会社 画像表示装置、プログラム及び画像表示システム
WO2023203806A1 (ja) * 2022-04-19 2023-10-26 株式会社Ｎｔｔドコモ 作業支援装置

Also Published As

Publication number Publication date
JP2021096272A (ja) 2021-06-24
US20210012807A1 (en) 2021-01-14
US11315599B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2019188076A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20180300037A1 (en) Information processing device, information processing method, and program
CN110381388A (zh) 一种基于人工智能的字幕生成方法和装置
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017030193A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2017061149A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018163637A1 (ja) 情報処理装置、情報処理方法及び記録媒体
GB2441434A (en) AUDIOTACTILE VISION SUBSTITUTION SYSTEM e.g. FOR THE BLIND
US20100287510A1 (en) Assistive group setting management in a virtual world
US10564712B2 (en) Information processing device, information processing method, and program
KR101792715B1 (ko) 실제 환경 구현 운동 관리 시스템
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11173375B2 (en) Information processing apparatus and information processing method
JP2021176111A (ja) 出力制御装置、出力制御方法およびプログラム
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020090223A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN106937156A (zh) 一种实现多资源同步播放的方法及装置和媒体播放器
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020235307A1 (ja) コンテンツ提供システム、出力装置、及び情報処理方法
JP6640595B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20170246534A1 (en) System and Method for Enhanced Immersion Gaming Room
JP7444060B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11134300B2 (en) Information processing device
US11826648B2 (en) Information processing apparatus, information processing method, and recording medium on which a program is written
WO2023188904A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775949

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19775949

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP