WO2025258569A1 - 動作学習支援装置、動作学習支援方法、およびプログラム - Google Patents

動作学習支援装置、動作学習支援方法、およびプログラム

Info

Publication number
WO2025258569A1
WO2025258569A1 PCT/JP2025/020873 JP2025020873W WO2025258569A1 WO 2025258569 A1 WO2025258569 A1 WO 2025258569A1 JP 2025020873 W JP2025020873 W JP 2025020873W WO 2025258569 A1 WO2025258569 A1 WO 2025258569A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
sequence data
data
movement
learning support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/020873
Other languages
English (en)
French (fr)
Inventor
▲イウ▼正 許
吉田 成朗 門村
敦史 橋本
祥孝 牛久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2025258569A1 publication Critical patent/WO2025258569A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00—Teaching hand-writing, shorthand, drawing, or painting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • This disclosure relates to a movement learning support device, a movement learning support method, and a program.
  • movement learning support technology it is common to present a model movement to the user, then acquire the user's movement and provide feedback on the differences between the model movement and the user's movement. In such cases, a support method that can effectively learn the correct movement is desirable.
  • Non-Patent Document 1 when it comes to assisting the learning of handwritten characters, there are two methods: copying, in which the user writes by hand in a different place from the model character, and tracing, in which the user writes by hand over the model character. Copying has the advantage of being good at remembering the shape of characters, while tracing allows for immediate and accurate feedback, but it has been reported that there is no significant difference in the long-term learning effects of the two methods (Non-Patent Document 1).
  • the purpose of this disclosure is to provide a movement learning support technology that can effectively support movement learning.
  • One aspect of the present disclosure is a movement learning support device comprising: a first presentation means for presenting first sequence data, which is sequence data representing a model movement, to a user; an acquisition means for acquiring second sequence data, which is sequence data representing the user's movement; and a second presentation means for presenting feedback based on the first sequence data and the second sequence data to the user after acquiring the second sequence data, wherein the first presentation means is configured so that the first sequence data is not visible to the user while the second sequence data is being acquired by the acquisition means.
  • the first presentation means is configured so that the first sequence data is not visible to the user while the user is performing the action to be learned, in other words, while the second sequence data is being acquired by the acquisition means.
  • "presenting data to the user” means “making the data visible to the user.” Therefore, it can also be expressed that the first presentation means in this aspect does not present the first sequence data while the second sequence data is being acquired by the acquisition means.
  • the period while the second sequence data is being acquired by the acquisition means is the period during which the user is performing the action to be learned, and so can also be rephrased as "while the user is executing the action.”
  • the first presentation means presents the first series data to the user by displaying it on a display device, and stops displaying the first series data on the display device while the second series data is being acquired by the acquisition means. In this way, the user cannot see the first series data while the user is performing an action.
  • the user instead of stopping the display device, the user may be prevented from viewing the display device, and therefore the first series data, by placing an obstruction between the user and the display device or by changing the orientation of the display device.
  • the first presentation means presents the first series data to the user by displaying it on a display device, and the display device is positioned so that it is not visible to the user while the acquisition means is performing the operation so that it can acquire the second series data. Even in this case, the user cannot recognize the first series data while the user is performing the operation.
  • the first presentation means may continue to display the first series data on the display device while the user is performing the operation, i.e., while the acquisition means is acquiring the second series data, or may stop displaying it.
  • the action learning support device enables effective learning support from two perspectives: memorization of the action and correction to the correct action.
  • the motion to be learned is any movement of the user's body and/or an implement controlled by the user.
  • Examples include mastering handwriting, mastering a form in sports, and mastering a task.
  • the sequence data can be, for example, sequence data representing the trajectory of a part of the user's body or an implement that moves in response to the user's motion.
  • Examples of implements that move in response to the user's motion include implements attached to or fixed to a part of the user's body, implements held by the user, implements that the user holds for part of the motion period and detaches from the user's body for the rest of the time, but whose movement is controllable by the user as a whole, and implements whose movement is controlled by the user.
  • Implements that are fixed to a part of the user's body include accessories such as hats and accessories, and markers.
  • Implements held by the user include pens (styluses), golf clubs, bats, etc.
  • Implements that the user holds for part of the time and detaches from the user's body for the rest of the time, but whose movement is controllable as a whole, include ribbons and balls in rhythmic gymnastics and implements used in juggling.
  • Implements whose movement is controlled by the user include bicycles and skateboards ridden by the user.
  • the second series of data may be, for example, series of data on the position of the tip of a pen (including a stylus) in the case of handwriting characters, series of data on posture information or series of data on the position of equipment (golf club, bat, etc.) in the case of sports, or series of data on behavior in the case of work.
  • the "first series data” can be referred to as "model movement data.”
  • the “second series data” can be referred to as "user movement data.”
  • the first presentation means can, for example, visually present the first series data to the user using a display device, but it may also present visually by moving a doll model, or it may present audio or tactilely.
  • the second presentation means may present feedback based on the first and second series data using the same device or in the same manner as the first presentation means, or may do so using a different device or in a different manner.
  • Feedback based on the first and second series data is, for example, information indicating how the second series data, which is the user's action, can be modified to bring it closer to the first series data.
  • the second presentation means may present the deviation between the first and second series data so that the user can recognize it by displaying the first and second series data side by side or superimposing them.
  • the second presentation means may present as feedback an animation display in which the second series data transforms into the first series data.
  • the motion learning support device may further include a calculation means for calculating the degree of deviation between the first series data and the second series data, and the second presentation means may present the first series data together with the degree of deviation to the user.
  • the degree of deviation is, for example, a measure of the deviation or distance between the first series data and the second series data.
  • the degree of deviation can be calculated for each of the first series data and the second series data at each point in time.
  • the deviation between the two series data may be calculated using any existing method, such as the Coherent Point Drift algorithm or graph matching.
  • the second presentation means may present the first series data and the degree of deviation to the user using the same device or in the same manner as the first presentation means, or may do so using a different device or in a different manner.
  • the second presentation means may, for example, display the first series data in a color and/or brightness according to the degree of deviation, change additional displays such as background color or icons according to the degree of deviation, or play audio according to the degree of deviation.
  • the second presentation means may display not only the first series data but also the second series data so that the user can recognize it. By comparing the user's own movements with the model movements, the user can easily understand which parts of the movements are out of sync and how they should be corrected.
  • the second presentation means may display the first series data and the second series data superimposed or side by side, or may display an animation of the second series data transforming into the first series data.
  • the calculation means may calculate the degree of deviation after performing a normalization process on at least one of the first series of data and the second series of data to adjust the spatial or temporal scale of the model's movements and the user's movements.
  • the normalization process may include at least one of spatial expansion, contraction, rotation, translation, and temporal extension of at least one of the user movement data and the model movement data.
  • the first series of data (model movement data) and the second series of data (user movement data) may have different spatial distributions due to differences in physique or the direction in which sensor data is acquired. In such cases, it is preferable to perform spatial normalization using normalization.
  • a temporal normalization process may be performed to compare them within the same phase.
  • the normalization process may be any of the following: adjusting the first series of data to match the second series of data; adjusting the second series of data to match the first series of data; or adjusting the first and second series of data to match the third series of data.
  • the acquisition means includes a touch panel device
  • the second series of data may be a movement representing the trajectory of the user's body (e.g., fingertip) or a stylus held by the user touching the touch panel device.
  • the second series of data may be a movement representing the trajectory of the user's body (e.g., fingertip) or a stylus held by the user touching the touch panel device.
  • Such an embodiment is effective in assisting users in learning handwriting movements such as writing characters or figures.
  • the movement of the user's hand or pen may be photographed with a camera and the position of the hand or pen tip may be detected through image processing, or the characters or figures drawn by the user may be acquired and used as the second series of data.
  • the acquisition means includes an imaging device and image recognition means
  • the second series of data may be movements representing the user's posture obtained by performing image recognition processing on video images of the user's movements captured by the imaging device.
  • Such an embodiment is effective for supporting the learning of movements that use at least a part of the user's body, such as sports, dance, or work.
  • acquisition of body movements is not limited to image processing, and may also be performed by motion capture or the like.
  • the present disclosure can be understood as a movement learning support device that includes at least some of the above means.
  • the present disclosure can also be understood as a method that includes at least some of the above processing, or a program for implementing such a method, or a recording medium on which such a program is non-temporarily recorded.
  • the present disclosure also includes devices or methods in which the above means and processing are combined with each other to the greatest extent possible.
  • This disclosure makes it possible to effectively support movement learning.
  • FIG. 1A is a first diagram illustrating an overview of an action learning assistance device according to the present disclosure.
  • FIG. 1B is a second diagram illustrating an overview of the action learning assistance device according to the present disclosure.
  • FIG. 1C is a third diagram illustrating an overview of the action learning assistance device according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the action learning assistance device according to the present disclosure.
  • FIG. 3 is a flowchart showing the flow of the action learning assistance process performed by the action learning assistance device according to the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a user interface provided by the action learning assistance device according to the present disclosure.
  • FIG. 5A is a first diagram showing an example of a feedback display by the action learning assistance device according to the present disclosure.
  • FIG. 5B is a second diagram showing an example of a feedback display by the action learning assistance device according to the present disclosure.
  • FIG. 6A is a first diagram illustrating the layout relationship of the action learning support device according to the present disclosure.
  • FIG. 6B is a second diagram illustrating the layout relationship of the action learning support device according to the present disclosure.
  • FIG. 7 is a diagram showing an unusual example of functional blocks of the action learning support device according to the present disclosure.
  • FIG. 8 is a flowchart showing the flow of the action learning assistance process performed by the action learning assistance device according to the present disclosure.
  • FIG. 9A is a first diagram illustrating an example of model difference data and user action data according to the present disclosure.
  • FIG. 9B is a second diagram illustrating an example of model difference data and user action data according to the present disclosure.
  • FIG. 10A is a first diagram showing an example of a feedback display by the action learning assistance device according to the present disclosure.
  • FIG. 10B is a second diagram showing an example of a feedback display
  • the motion learning support device has a function of presenting a model motion to a user, a function of acquiring the user's motion, and a function of providing feedback to the user on any discrepancies between the model motion and the user's motion.
  • the motion learning support device prevents the user from seeing the model motion while the user is performing the motion.
  • the motion learning support device also provides feedback by presenting the trajectory of the model motion to the user in a manner corresponding to the degree of discrepancy.
  • the motion learning support device 1 includes a model motion data storage unit 10, a model presentation unit 11, a user motion data acquisition unit 12, a deviation calculation unit 14, and a feedback presentation unit 15.
  • the model motion data storage unit 10 stores model motion data, which is the correct handwriting of characters (series data of pen tip coordinates).
  • the model presentation unit 11 has a function of presenting the model motion data (first series data) to the user, for example, by displaying the model motion data on a display device.
  • the user motion data acquisition unit 12 has a function of acquiring user motion data (second series data), for example, by acquiring stylus coordinate data using a touch panel device. While the user motion data acquisition unit 12 is acquiring user motion data, the model presentation unit 11 stops displaying the model motion data. The deviation calculation unit 14 calculates the degree of deviation between the model motion data and the user motion data. After acquiring the user motion data, the feedback presentation unit 15 provides feedback to the user by displaying the model motion in a format corresponding to the degree of deviation.
  • FIGS. 1B and 1C are examples of a user interface.
  • FIG. 1B shows an example of a screen when model motion data is presented to the user.
  • the user interface has a model display window 21 and an input window 22 arranged adjacent to each other.
  • the model presentation unit 11 displays model motion data (here, handwritten characters) in the model display window 21.
  • the input window 22 is a window in which the user inputs characters by hand using a stylus or fingertip while referring to the model.
  • the model presentation unit 11 stops displaying the model in the model display window 21 while the user is inputting into the input window 22.
  • the trajectory (handwriting) of the input coordinates is displayed in the input window 22.
  • the trigger for hiding the model may be, for example, an explicit instruction from the user to the motion learning support device 1 to start handwriting input (for example, pressing the input start button), or it may be detection of input into the input window 22 by the user motion data acquisition unit 12.
  • Figure 1C is a diagram showing an example of feedback display after user action data input.
  • the feedback display window 23 is assumed to be the same window as the input window 22, but it may be a different window.
  • the feedback presentation unit 15 displays a model 25 in the feedback display window 23, with the user input 24, which is the handwriting entered by the user, superimposed on the display.
  • Each part of the handwriting of the model 25 is displayed in a color corresponding to the degree of deviation calculated by the deviation degree calculation unit 14.
  • the handwriting of the model 25 is displayed in a color closer to red as the degree of deviation increases, and in a color closer to green as the degree of deviation decreases.
  • model presentation unit 11 may, for example, first display the handwriting of the user input 24 in a color corresponding to the degree of deviation, and then provide feedback by displaying an animation in which the handwriting of the user input 24 transforms into the handwriting of the model 25.
  • the technique of displaying each part of the handwriting in a color corresponding to the degree of deviation is one example of feedback, and feedback can also be provided by changing the brightness or line thickness instead of color. It is also possible to add annotations to parts with a large degree of deviation, change the color or brightness of the feedback display window 23 when displaying parts with a large degree of deviation, or display an icon to notify that the degree of deviation is large.
  • the movement learning support device disclosed herein can be used for learning any movement other than handwritten character input.
  • handwritten character input the time series data of a single piece of data, the pen tip position, is the target, but in learning physical movements, time series data of multiple parts of the body is displayed.
  • the trajectory of the movement in three-dimensional space may also be presented.
  • the time series data is not limited to the coordinate trajectory, but may also be series data of attributes at each point in time of the movement. Even in such cases, it is possible to define the difference between the model and the user's movement, and by presenting the time series data in a manner that corresponds to the difference, it is possible to provide effective feedback to the user.
  • ⁇ Configuration> 2 is a schematic diagram showing an example of the hardware configuration of the motion learning support device 1 according to this embodiment.
  • the motion learning support device 1 according to this embodiment is a computer (information processing device) in which a control unit 201, a storage unit 202, an input device 205, an output device 206, a communication interface 207, and a drive 208 are electrically connected.
  • the control unit 201 includes a hardware processor such as a CPU (Central Processing Unit), RAM (Random Access Memory), and ROM (Read Only Memory), and is configured to execute information processing based on programs and various data.
  • the control unit 201 (CPU) is an example of a processor resource.
  • the storage unit 202 is an example of a memory resource, and is configured, for example, by a hard disk drive or solid state drive. In this embodiment, the storage unit 202 stores various information such as a movement learning assistance program 203 and model data 204.
  • the movement learning assistance program 203 is a program that causes the movement learning assistance device 1 to execute information processing for movement learning assistance.
  • the movement learning assistance program 203 includes a series of instructions for this information processing.
  • the model data 204 is a series of data that represents a model movement.
  • the input device 205 is a device for inputting, such as a mouse, keyboard, keypad, or touch panel device.
  • the output device 206 is a device for outputting, such as a display or speaker.
  • the user can operate the movement learning assistance device 1 by using the input device 205 and output device 206.
  • the input device 205 and output device 206 may be integrated into one device, such as a touch panel display.
  • the communication interface 207 is, for example, a wired LAN (Local Area Network) module or a wireless LAN module, and is an interface for performing wired or wireless communication over a network.
  • the movement learning support device 1 can perform data communication with other computers via the communication interface 207.
  • the drive 208 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading various information such as programs stored in the storage medium 209. At least one of the movement learning assistance program 203 and the model data 204 may be stored in the storage medium 209.
  • the storage medium 209 is a medium that stores information such as stored programs electrically, magnetically, optically, mechanically, or chemically so that the various information can be read by a computer or other device or machine.
  • the movement learning assistance device 1 may acquire at least one of the movement learning assistance program 203 and model data 204 from this storage medium 209.
  • Sensor 210 is a sensor for acquiring series data related to the user's movements.
  • Examples of sensor 210 include a camera (image capture device), an acceleration sensor, a motion capture sensor, and a touch panel device.
  • a disk-type storage medium such as a CD or DVD is shown as an example of the storage medium 209.
  • the type of storage medium 209 is not limited to disk-type, and may be other than disk-type.
  • Examples of storage media other than disk-type include semiconductor memory such as flash memory.
  • the type of drive 208 may be selected appropriately depending on the type of storage medium 209.
  • the control unit 201 may include multiple hardware processors.
  • the hardware processor may be composed of a microprocessor, an FPGA (field-programmable gate array), a DSP (digital signal processor), etc.
  • the memory unit 202 may be composed of RAM and ROM included in the control unit 201. At least one of the input device 205, the output device 206, the communication interface 207, and the drive 208 may be omitted.
  • the movement learning support device 1 may be composed of multiple computers. In this case, the hardware configuration of each computer may or may not be the same.
  • the movement learning support device 1 may be an information processing device designed specifically for the services provided, as well as a general-purpose server device, a general-purpose PC (Personal Computer), an industrial PC, etc.
  • the movement learning support device 1 realizes the model presentation unit 11, normalization unit 13, deviation degree calculation unit 14, and feedback presentation unit 15 shown in FIG. 1A by having the control unit 201 execute the movement learning support program 203. These functional units will be described below in conjunction with the explanation of the movement learning support process using a flowchart.
  • the motion learning support device 1 supports learning to handwrite characters.
  • the motion learning support device 1 according to the present embodiment includes a touch panel display, and provides information to a user and receives input including handwriting actions from the user via the touch panel display.
  • FIG. 3 is a flowchart showing the flow of the movement learning support process performed by the movement learning support device 1 according to this embodiment.
  • step S101 the model presentation unit 11 reads model movement data from the model movement data storage unit 10 and presents it to the user.
  • Figure 4 shows an example of a user interface.
  • the user interface has a model display window 401, an input window 402, an input start button 403, and an evaluation button 404, and is displayed on a touch panel display.
  • the model presentation unit 11 displays the model movement data in the model display window 401.
  • step S102 the control unit 201 determines whether the user has pressed the input start button 403 to start input. If the input start button 403 has been pressed, the process proceeds to step S103; if the input start button 403 has not been pressed, the process waits until it is pressed. Note that the determination that the user has started input does not necessarily have to be based on the pressing of the input start button 403; for example, it may be determined that input has started when input into the input window 402 is detected.
  • step S103 the model presentation unit 11 hides the model that was displayed in the model display window 401.
  • step S104 the user action data acquisition unit 12 acquires, as user action data, series data of touch position coordinates entered into the input window 402.
  • the user must memorize the model shape and input by hand based on that memory, which allows for effective learning (memorization) of character shapes.
  • the input window 402 may be made unavailable for a predetermined period of time (for example, about 2 seconds). When making the input unavailable, it is advisable to gray out the input window 402 to notify the user that input is unavailable.
  • a predetermined period of time for example, about 2 seconds.
  • step S105 the control unit 201 determines whether the user has pressed the rating button 404 to end input. If the rating button 404 has been pressed, processing proceeds to step S106; if the rating button 404 has not been pressed, acquisition of user action data continues until it is pressed. Note that the determination that the user has ended input does not necessarily have to be based on the pressing of the rating button 404; for example, it may be determined that input has ended when no input into the input window 402 is detected for a certain period of time or more.
  • the deviation calculation unit 14 calculates the deviation at each point in time between the trajectories indicated by the model data and the user movement data. Specifically, the deviation calculation unit 14 can find corresponding points in the model data and the user movement data, and calculate the distance between the corresponding points as the deviation.
  • the character trajectory is regarded as a set of data (point cloud) of two-dimensional coordinates, and the deviation between the model and the user input can be calculated using the Coherent Point Drift algorithm (see Non-Patent Document 2).
  • the deviation may also be calculated, for example, by regarding the character trajectory as graph data of two-dimensional coordinates and applying a graph matching algorithm.
  • the feedback presentation unit 15 presents the difference between the user input and the model as feedback. More specifically, the feedback presentation unit 15 displays the trajectory of the model data in a display mode that corresponds to the degree of deviation of each position. For example, the feedback presentation unit 15 displays the model data superimposed on the input window 402 in which the user input is displayed.
  • the model data may be displayed in its original form from the beginning, or the model may be displayed using an animation display that changes from the trajectory of the user input to the trajectory of the model.
  • the animation display can be obtained by gradually moving each point in the user action data to the corresponding point in the model data.
  • Figure 5A is a diagram illustrating an example of feedback presentation using an animation display.
  • Figure 5A shows the change over time in the display of the input window 402 after the user has finished inputting.
  • Screen 501 shows the state immediately after the user has completed inputting, with only the user input 510 displayed in the input window 402.
  • Screen 502 displays a feedback trajectory 511a superimposed on the user input, displayed in a color corresponding to the degree of deviation at each point. Note that because feedback trajectory 511a and user input 510 are the same trajectory, this process can also be considered as a process of applying a color to user input 510 according to the degree of deviation.
  • feedback trajectories 511b-511c gradually deform to approach the model data, as shown on screens 503-504, and finally, as shown on screen 505, the feedback trajectories take on the shape of model data 512.
  • a display may be provided in which the user input 510, model data 512 colored according to the degree of deviation, and a correction instruction arrow 513 indicating what corrections should be made to match the user input to the model, are superimposed, as shown on screen 506 in Figure 5B.
  • the correction instruction arrow 513 is generated as an arrow pointing from a point included in the user input 510 to the corresponding model data 512. This also allows the user to understand what corrections should be made.
  • the movement learning support device supports learning of movements that move a part or the whole of a user's body in sports, dance, etc. Examples of movements in sports include, but are not limited to, swinging in golf, pitching and batting in baseball, and kicking in soccer.
  • the movement learning support device comprises a display device 61 that displays model data and a camera 62 that captures the user's movements.
  • Figures 6A and 6B show the relative positions of the display device 61 and camera 62.
  • Figure 6A shows the state in which the user is looking at the model data displayed on the display device 61
  • Figure 6B shows the state in which the user is performing a movement while facing the camera 62. Because the display device 61 and camera 62 are positioned facing in opposite directions (facing each other), while the user is performing the movement to be learned while facing the camera 62 and the camera 62 is capturing the user's movement, the user cannot see the model data displayed on the display device 61.
  • the display of model data on the display device 61 may be stopped while the user is performing the action for which learning assistance is required.
  • the relative positions of the display device 61 and the camera 62 are not particularly limited, and the display device 61 and the camera 62 may be positioned so that the user can view the display device 61 while performing the action for which learning assistance is required.
  • Figure 7 is a functional block diagram of a movement learning support device 71 according to this embodiment. Compared to the first embodiment ( Figure 1A), it differs in that a normalization unit 72 has been added. The normalization unit 72 normalizes the model movement data to match the user movement data. The other functional units are the same as those in the first embodiment.
  • FIG. 8 is a flowchart showing the processing flow in this embodiment.
  • step S101 the model presentation unit 11 displays the model movement on the display. Since the model movement is a three-dimensional movement, it is preferable to make the viewpoint adjustable.
  • Figure 9A is an example of the model movement displayed on the display device 61, where an animation of the movement of raising the arm is displayed as an example.
  • the figure shows an example of displaying the movement as a wireframe human body, but it may also be displayed as a more realistic human body movement.
  • step S104 the user movement data acquisition unit 12 acquires user movement data.
  • the user movement data acquisition unit 12 acquires, for example, a video of the user's movements captured by the camera 62, and performs image recognition processing on this video to obtain a series of posture data, which serves as the user movement data.
  • the posture data may be data indicating the positions of the user's feature points (for example, the head, shoulders, elbows, hands, torso, waist, knees, feet, etc.).
  • the model presentation unit 11 while the user is inputting a movement, the model presentation unit 11 does not stop displaying the model data on the display device 61, but keeps it displayed.
  • the display device 61 and the camera 62 are positioned so that they face in opposite directions, so while the user is performing a movement, the user cannot see the model data displayed on the display device 61.
  • step S201 the normalization unit 72 normalizes the model movement data to match the user movement data.
  • the normalization process is a process of adjusting the spatial or temporal scale between the user movement data and the model data. If the physique of the person performing the model movement is different from that of the user, the spatial scale of the posture will not match. Therefore, the normalization unit 13 performs normalization processes such as enlarging or reducing so that the spatial scale of the model and user movement match. Furthermore, if the gaze direction when presenting the model data is different from the gaze direction when acquiring the user movement, normalization processes such as rotation and translation are performed so that the gaze directions are the same.
  • the normalization process to align the gaze may be omitted. Furthermore, if the time from the start to the end of the model and user movement is not the same, temporal extension processing is performed so that they match. For example, the normalization process may be performed only on the model motion data, only on the user motion data, or on both.
  • step S106 the deviation calculation unit 14 calculates the deviation between the normalized model movement data and the user movement data. The deviation is calculated for each time point of the movement and for each piece of posture data (feature point).
  • step S107 the feedback presentation unit 15 presents the differences between the user input and the model as feedback. More specifically, the feedback presentation unit 15 displays the trajectory of the model data in a display mode that corresponds to the degree of deviation of each position.
  • Figure 9B a user's movement as shown in Figure 9B is input to model data as shown in Figure 9A.
  • Figures 9A and 9B show the trajectory of one elbow and hand being acquired, but the trajectory of another body part may also be acquired.
  • the deviation calculation unit 14 calculates the degree of deviation based on the magnitude of the deviation between the position of each feature point in the model movement data and that of each feature point in the user movement data.
  • Figure 10A is an example of a feedback display, in which model movement data and user movement data are displayed side by side in a model window 1001 and a user movement window 1002.
  • each feature point or the trajectory of each feature point is displayed in a display mode corresponding to the degree of deviation.
  • the feature points or their trajectories may be displayed in a color corresponding to the degree of deviation, or the entire model movement data may be displayed in a color or tone corresponding to the degree of deviation.
  • This embodiment allows for efficient learning of movements that involve moving part or the whole of the body, such as in sports or dance. Specifically, learning efficiency is improved by achieving both the benefits of memorizing the movements and receiving immediate feedback.
  • user motion data is not limited to these examples, as long as it is sequential data representing the user's motion.
  • User motion data may be sequential data representing the trajectory of a part of the user's body or an implement that moves in response to the user's motion.
  • Examples of implements that move in response to the user's motion include implements that are attached to or fixed to a part of the user's body, implements held by the user, implements that are held by the user for part of their operating period and detached from the user's body for the rest of the time, but whose movement is controllable by the user as a whole, and implements whose movement is controlled by the user.
  • Implements that are attached to or fixed to a part of the user's body include accessories such as hats and jewelry, and markers.
  • Implements held by the user include pens (styluses), golf clubs, and bats.
  • Implements that are held by the user for part of the time and detached from the user's body for the rest of the time, but whose movement is controllable as a whole, include ribbons and balls in rhythmic gymnastics, and implements used in juggling.
  • Implements whose movement is controllable by the user include bicycles and skateboards ridden by the user. Additionally, the movement of an avatar in a virtual space that moves in response to the user's movements also falls under the category of second series data representing the user's movements.
  • a first presentation means (11, 21) for presenting first sequence data, which is sequence data representing a model movement, to a user; acquisition means (12, 22) for acquiring second sequence data which is sequence data representing the user's actions; second presentation means (15, 23) for presenting feedback to the user based on the first sequence data and the second sequence data after the second sequence data is acquired; Equipped with The first presentation means is configured so that the first sequence data is not recognized by the user while the second sequence data is being acquired by the acquisition means (S103).
  • a motion learning support device characterized by:
  • Motion learning support device 10 Model motion data storage unit 11: Model presentation unit 12: User motion data acquisition unit 14: Deviation degree calculation unit 15: Feedback presentation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

動作の学習を効果的に支援可能な動作学習支援技術を提供する。お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示手段と、前記ユーザの動作を表す系列データである第２系列データを取得する取得手段と、前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示手段と、を備え、前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データは前記ユーザに認識されないように前記第１提示手段が構成される、ことを特徴とする動作学習支援装置。

Description

動作学習支援装置、動作学習支援方法、およびプログラム
　本開示は、動作学習支援装置、動作学習支援方法、およびプログラムに関する。
　動作の学習支援技術においては、お手本の動作をユーザに提示した後に、ユーザの動作を取得し、お手本動作とユーザ動作の異なる点をフィードバックすることが一般的である。このとき、正しい動作を効果的に学習できる支援方法が望まれる。
　例えば、手書き文字の学習支援については、お手本の文字とは異なる箇所に手書きする写し書き（copying）と、お手本の文字の上に手書きをするなぞり書き（tracing）がある。写し書きは文字の形状記憶に優れ、なぞり書きは即時的かつ正確なフィードバックが可能であるというそれぞれの長所があるが、２つの手法の長期的な学習効果には大きな違いが無いことが報告されている（非特許文献１）。
Gonzalez C, Anderson J, Culmer P, et al. Is tracing or copying better when learning to reproduce a pattern?. Experimental Brain Research, 2011, 208: 459-465.<URL: https://www.researchgate.net/publication/47743450_Is_tracing_or_copying_better_when_learning_to_reproduce_a_pattern> Myronenko A, Song X. Point set registration: Coherent point drift. IEEE transactions on pattern analysis and machine intelligence, 2010, 32(12): 2262-2275. <URL: https://www.researchgate.net/publication/47544556_Point_Set_Registration_Coherent_Point_Drift>
　なぞり書きと写し書きの長所を組み合わせた学習支援が実現することができれば、より効果的な学習支援が可能となる。なお、これは手書き文字の学習に限られず、任意の動作の学習について当てはまる課題である。
　そこで、本開示は、動作の学習を効果的に支援可能な動作学習支援技術を提供することを目的とする。
　本開示の一態様は、お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示手段と、前記ユーザの動作を表す系列データである第２系列データを取得する取得手段と、前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示手段と、を備え、前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データは前記ユーザに認識されないように前記第１提示手段が構成される、ことを特徴とする動作学習支援装置である。
　本態様において、第１提示手段は、ユーザが学習対象の動作を行っている間、言い換えると、取得手段によって第２系列データが取得されている間は、第１系列データがユーザに認識されないように構成される。なお、本開示において、「データをユーザに提示する」とは「ユーザが当該データを認識可能な状態にする」ことを意味するものとする。したがって、本態様の第１提示手段は、前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データを提示しないと表現することも可能である。また、取得手段によって第２系列データが取得されている間とは、ユーザが学習対象の動作を行っている期間であるので、ユーザが動作を実行している間と言い換えてもよい。
　一実施形態では、第１提示手段は、表示装置への表示により前記第１系列データの前記ユーザへの提示を行い、前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データの前記表示装置への表示を停止する。このようにすれば、ユーザが動作を行っている間に、ユーザは第１系列データを認識できない。また、表示装置への表示を停止する代わりに、ユーザと表示装置の間に遮蔽物を配置したり表示装置の向きを変えたりすることにより、ユーザが表示装置ひいては第１系列データを視認できないようにしてもよい。
　他の実施形態では、第１提示手段は、表示装置への表示により前記第１系列データの前記ユーザへの提示を行い、表示装置は、前記取得手段が前記第２系列データを取得可能なように前記動作を行っている際に前記ユーザによって視認できない位置に配置されている。このようにしても、ユーザが動作を行っている間に、ユーザは第１系列データを認識できない。なお、第１提示手段は、ユーザが動作を行っている間、すなわち、前記取得手段が第２系列データを取得している間に、表示装置への第１系列データの表示を継続してもよいし、表示を停止してもよい。
　本態様によれば、ユーザは第１系列データの提示を受けた後に、第１系列データを視認できない状態で学習対象の動作を行うため、動作の記憶に関する学習効果が高まる。また、学習対象動作の終了後に、フィードバックが提示されることにより、即時的なフィードバックが行える。本態様に係る動作学習支援装置によれば、動作の記憶と、正しい動作への修正という２つの観点で効果的な学習支援が可能となる。
　本態様において、学習の対象となる動作はユーザの身体および／またはユーザが制御する器具の任意の動きである。例えば、文字の手書きの習熟、スポーツ等におけるフォームの体得、作業の習熟などが挙げられる。系列データは、例えば、ユーザの身体の一部またはユーザの動作に応じて動く器具の軌跡を表す系列データであり得る。ユーザの動作に応じて動く器具の一例として、ユーザの身体の一部に装着あるいは固定される器具、ユーザが保持する器具、動作期間の一部においてユーザが保持しその他の期間でユーザの身体から離れるが全体としてその動きをユーザが制御可能な器具、ユーザがその動きを制御する器具がある。ユーザの身体の一部に固定される器具として、帽子やアクセサリなどの装身具、マーカなどが含まれるユーザが保持する器具として、ペン（スタイラス）、ゴルフクラブ、バットなどが含まれる。一部の期間でユーザが保持しその他の期間でユーザの身体から離れるが全体としてその動きを制御可能な器具として、新体操におけるリボンやボール、ジャグリングに使用する器具などが挙げられる。ユーザがその動きを制御する器具として、ユーザが乗る自転車やスケートボードなどが含まれる。第２系列データは、例えば、文字の手書きの場合はペン（スタイラスを含む）先の位置の系列データ、スポーツの場合は姿勢情報の系列データあるいは器具（ゴルフクラブ、バットなど）の位置の系列データ、作業の場合は行動の系列データである。
　「第１系列データ」は「お手本動作データ」と称することができる。「第２系列データ」は「ユーザ動作データ」と称することができる。
　第１提示手段は、例えば、表示装置を用いて視覚的に第１系列データをユーザに提示することができるが、人形模型を動かすことにより視覚的に提示してもよいし、あるいは音声あるいは触覚により提示してもよい。
　第２提示手段は、第１系列データと第２系列データに基づくフィードバックの提示を、第１提示手段と同じ装置あるいは同じ態様で行ってもよいし、異なる装置あるいは異なる態様で行ってもよい。第１系列データと第２系列データに基づくフィードバックとは、例えば、ユーザの動作である第２系列データをどのように修正すれば第１系列データに近づけることができるかを表す情報である。例えば、第２提示手段は、第１系列データと第２系列データを並べて表示したり重畳して表示したりすることで、第１系列データと第２系列データのズレをユーザが認識可能なように提示する。また、例えば、第２提示手段は、第２系列データから第１系列データへと変形するアニメーション表示をフィードバックとして提示してもよい。
　本態様に係る動作学習支援装置は、前記第１系列データと前記第２系列データとの間のズレ度を算出する算出手段をさら備えと、前記第２提示手段は、前記第１系列データを前記ズレ度とともに前記ユーザに提示してもよい。ズレ度は、例えば、第１系列データと第２系列データの間のズレあるいは距離を表す尺度である。ズレ度は、第１系列データと第２系列データの各時点におけるそれぞれに対して求められることができる。２つの系列データの間のズレを計算は、Coherent Point Driftアルゴリズムやグラフマッチングなど任意の既存の手法を用いて行えばよい。
　第２提示手段は、第１系列データとズレ度のユーザへの提示を、第１提示手段と同じ装置あるいは同じ態様で行ってもよいし、異なる装置あるいは異なる態様で行ってもよい。第２提示手段は、例えば、第１系列データを提示する際に、第１系列データをズレ度に応じた色および／または明るさで表示したり、背景色やアイコンなどの追加的表示をズレ度に応じて変更したり、ズレ度に応じた音声を再生することなどで行うことができる。第１系列データと併せてズレ度をユーザに提示することで、第１系列データのどの部分の動作がお手本からずれており修正が必要であるかを、ユーザが直感的に認識できる。これにより効果的な動作学習が実現できる。
　第２提示手段は、第１系列データだけでなく、第２系列データもユーザが認識可能なように表示してもよい。ユーザ自身の動作とお手本の動作を比較することで、どの部分の動作がずれておりどのように修正すればよいかが容易に把握できる。例えば、第２提示手段は、第１系列データと第２系列データを重畳して表示したり並べて表示したりしてもよいし、第２系列データから第１系列データに変形するアニメーション表示を行ってもよい。
　算出手段は、前記第１系列データと前記第２系列データの少なくともいずれかに対して、前記お手本の動作と前記ユーザの動作の空間的または時間的なスケールを調整する正規化処理を行ってから前記ズレ度を算出してもよい。前記正規化処理は、前記ユーザ動作データと前記お手本動作データの少なくともいずれかに対する、空間的な拡大、縮小、回転、平行移動、および時間的な伸長処理の少なくともいずれかを含むことができる。第１系列データ（お手本動作データ）と第２系列データ（ユーザ動作データ）は、体格の違いやセンサのデータ取得方向の違いなどにより系列データの空間的な分布が異なる場合があるので、そのような場合には正規化処理により空間的な正規化処理を行うことが好ましい。また、動作開始から動作終了までの時間がお手本とユーザ動作で異なる場合には、同一フェーズでの比較を行うために時間的な正規化処理を行ってもよい。正規化処理は、第１系列データを調整して第２系列データに合わせる処理、第２系列データを調整して第１系列データに合わせる処理、第１系列データと第２系列データを調整して第３系列データに合わせる処理のいずれであってもよい。
　本態様において、取得手段はタッチパネル装置を含み、第２系列データはタッチパネル装置に接触するユーザの身体（例えば指先）またはユーザが保持するスタイラスの軌跡を表す動作であってよい。このような実施形態は、ユーザによる文字や図形などの手書き動作の学習支援に有効である。なお、手書き動作の学習支援においては、ペンあるいはスタイラスまたは手の動作またはユーザが描いた文字または図形が取得可能であればよいので、例えば、カメラによってユーザの手またはペンの動きを撮影して画像処理により手あるいはペン先の位置を検出したり、ユーザによって描かれた文字または図形を取得して第２系列データとしてもよい。
　本態様において、取得手段は撮像装置と画像認識手段を含み、第２系列データは、撮像装置によってユーザの動作を撮像した動画像に対して画像認識処理を施して得られるユーザの姿勢を表す動作であってもよい。このような実施形態は、スポーツやダンス、あるいは作業などのユーザの身体の少なくとも一部を使った動作の学習支援に有効である。なお、身体動作の取得は、画像処理に限られずモーションキャプチャなどにより行われてもよい。
　本開示は、上記手段の少なくとも一部を備える動作学習支援装置として捉えることができる。本開示は、上記処理の少なくとも一部を含む方法、または、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。また、本開示は、上記手段および処理の各々は可能な限り互いに組み合わせ装置または方法を含む。
　本開示によれば、動作学習を効果的に支援可能である。
図１Ａは、本開示に係る動作学習支援装置の概要を説明する第１の図である。 図１Ｂは、本開示に係る動作学習支援装置の概要を説明する第２の図である。 図１Ｃは、本開示に係る動作学習支援装置の概要を説明する第３の図である。 図２は、本開示に係る動作学習支援装置のハードウェア構成の一例を示す図である。 図３は、本開示に係る動作学習支援装置が行う動作学習支援処理の流れを示すフローチャートである。 図４は、本開示に係る動作学習支援装置が提供するユーザインタフェースの一例を示す図である。 図５Ａは、本開示に係る動作学習支援装置によるフィードバック表示の例を示す第１の図である。 図５Ｂは、本開示に係る動作学習支援装置によるフィードバック表示の例を示す第２の図である。 図６Ａは、本開示に係る動作学習支援装置の配置関係を説明する第１の図である。 図６Ｂは、本開示に係る動作学習支援装置の配置関係を説明する第２の図である。 図７は、本開示係る動作学習支援装置の機能ブロックの異例例を示す図である。 図８は、本開示に係る動作学習支援装置が行う動作学習支援処理の流れを示すフローチャートである。 図９Ａは、本開示にお手本土差データおよびユーザ動作データの例を説明する第１の図である。 図９Ｂは、本開示にお手本土差データおよびユーザ動作データの例を説明する第２の図である。 図１０Ａは、本開示に係る動作学習支援装置によるフィードバック表示の例を示す第１の図である。 図１０Ｂは、本開示に係る動作学習支援装置によるフィードバック表示の例を示す第２の図である。
　＜適用例＞
　まず、本開示を適用した動作学習支援装置の一例について説明する。動作学習支援装置は、お手本動作をユーザに提示する機能と、ユーザの動作を取得する機能と、お手本動作とユーザ動作のズレをユーザにフィードバックする機能を有する。動作学習支援装置は、ユーザが動作を行っている間はお手本動作をユーザに視認できないようにする。また、動作学習支援装置は、お手本動作の軌跡をズレ度に応じた態様でユーザに提示することによりフィードバックを行う。
　図１Ａは、本開示に係る動作学習支援装置１の概要を説明する図である。学習する動作は特に限定されないが、ここでは、動作学習支援装置１が文字の手書きの学習支援をする場合を例に説明する。図１Ａに示すように、動作学習支援装置１は、お手本動作データ記憶部１０、お手本提示部１１、ユーザ動作データ取得部１２、ズレ度算出部１４、およびフィードバック提示部１５を備える。お手本動作データ記憶部１０は、正しい文字の筆跡（ペン先の座標の系列データ）であるお手本動作データを記憶する。お手本提示部１１は、お手本動作データ（第１系列データ）をユーザに提示する機能を有し、例えば表示装置にお手本動作データを表示する。ユーザ動作データ取得部１２は、ユーザ動作データ（第２系列データ）を取得する機能を有し、例えば、タッチパネル装置によりスタイラスの座標データを取得する。ユーザ動作データ取得部１２がユーザ動作データを取得している間は，お手本提示部１１はお手本動作データの表示を停止する。ズレ度算出部１４は、お手本動作データとユーザ動作データの間のズレ度を算出する。フィードバック提示部１５は、ユーザ動作データの取得後に、お手本動作をズレ度に応じた態様で表示することにより、ユーザに対してフィードバックを行う。
　図１Ｂおよび図１Ｃはユーザインタフェースの例である。図１Ｂは、お手本動作データをユーザに提示する際の画面の例を示す。図に示すように、ユーザインタフェースは、互いに隣接して配置されたお手本表示ウィンドウ２１および入力ウィンドウ２２を有する。お手本提示部１１はお手本動作データ（ここでは手書き文字の筆跡）をお手本表示ウィンドウ２１に表示する。入力ウィンドウ２２は、ユーザがスタイラスまたは指先によりお手本に参考にして文字を手書き入力するウィンドウである。本実施形態では、例えば、お手本提示部１１は、入力ウィンドウ２２に対してユーザが入力を行っている間はお手本表示ウィンドウ２１でのお手本の表示を停止する。また、ユーザが入力ウィンドウ２２に対して手書き入力を行うと、入力座標の軌跡（筆跡）が入力ウィンドウ２２に表示される。
　ユーザが入力ウィンドウ２２に対して手書きを行っている間は、お手本表示ウィンドウ２１でのお手本は非表示にされる。お手本を非表示とするトリガは、例えば、ユーザが手書き入力の開始することの動作学習支援装置１への明示的な指示（例えば、入力開始ボタンの押下）であってもよいし、ユーザ動作データ取得部１２による入力ウィンドウ２２内への入力検知であってもよい。
　図１Ｃは、ユーザ動作データ入力後のフィードバックの表示例を示す図である。フィードバック表示ウィンドウ２３は、入力ウィンドウ２２と同じウィンドウであることを想定するが、異なるウィンドウであっても構わない。フィードバック提示部１５は、フィードバック表示ウィンドウ２３に、ユーザが入力した筆跡であるユーザ入力２４が表示に重畳して、お手本２５を表示する。お手本２５の筆跡のそれぞれの箇所は、ズレ度算出部１４が算出したズレ度に応じた色で表示される。お手本２５の筆跡は、例えば、ズレ度が大きいほど赤に近い色で表示され、ズレ度が小さいほど緑に近い色で表示される。なお、お手本提示部１１は、例えば、まずユーザ入力２４の筆跡をズレ度に応じた色で表示し、その後ユーザ入力２４の筆跡からお手本２５の筆跡へと変形するアニメーション表示によりフィードバックを行ってもよい。
　筆跡の各箇所をズレ度に応じた色で表示するという手法は、フィードバックの一例であり、色の代わりに明るさや線の太さを変えることでフィードバックを行ってもよい。また、ズレ度の大きい箇所にアノテーション表示を付したり、ズレ度の大きい箇所を表示する際に、フィードバック表示ウィンドウ２３の色や明るさを変更したり、ズレ度が大きいことを通知するアイコン表示を行ったりしてもよい。
　本開示の動作学習支援装置は、手書き文字入力以外の任意の動作学習に用いることができる。手書き文字入力の場合にはペン先位置という１つのデータの時系列データが対象となるが、身体動作の学習においては身体の複数の箇所の時系列データを表示することになる。また、身体動作では３次元空間内での動作の軌跡を提示する場合もある。また、時系列データは、座標の軌跡に限定されず、動作の各時点における属性の系列データであってもよい。このような場合であってもお手本とユーザ動作のズレを定義可能であり、ズレに応じた態様で時系列データを提示すればユーザに効果的なフィードバックが可能となる。
＜構成＞
　図２は、本実施形態に係る動作学習支援装置１のハードウェア構成の一例を模式的に示す。図２に示されるとおり、本実施形態にかかる動作学習支援装置１は、制御部２０１、記憶部２０２、入力装置２０５、出力装置２０６、通信インタフェース２０７、およびドライブ２０８が電気的に接続されたコンピュータ（情報処理装置）である。
　制御部２０１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラムおよび各種データに基づいて情報処理を実行するように構成される。制御部２０１（ＣＰＵ）は、プロセッサ・リソースの一例である。
　記憶部２０２は、メモリ・リソースの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部２０２は、動作学習支援プログラム２０３、お手本データ２０４等の各種情報を記憶する。
　動作学習支援プログラム２０３は、動作学習支援のための情報処理を動作学習支援装置１に実行させるためのプログラムである。動作学習支援プログラム２０３は、当該情報処理の一連の命令を含む。お手本データ２０４は、お手本動作を表す系列データである。
　入力装置２０５は、例えば、マウス、キーボード、キーパッド、タッチパネル装置等の入力を行うための装置である。出力装置２０６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置２０５及び出力装置２０６を利用することで、動作学習支援装置１を操作することができる。入力装置２０５及び出力装置２０６は、例えば、タッチパネルディスプレイ等により一体的に構成されてもよい。
　通信インタフェース２０７は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。動作学習支援装置１は、通信インタフェース２０７を介して、他のコンピュータとの間でデータ通信を行うことができる。
　ドライブ２０８は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体２０９に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。上記動作学習支援プログラム２０３及びお手本データ２０４の少なくともいずれかは、記憶媒体２０９に記憶されていてもよい。
　記憶媒体２０９は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。動作学習支援装置１は、この記憶媒体２０９から、上記動作学習支援プログラム２０３およびお手本データ２０４の少なくともいずれかを取得してよい。
　センサ２１０は、ユーザの動作に係る系列データを取得するためのセンサである。センサ２１０の一例は、カメラ（撮像装置）、加速度センサ、モーションキャプチャセンサ、タッチパネル装置などが挙げられる。
　ここで、図２では、記憶媒体２０９の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体２０９の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ２０８の種類は、記憶媒体２０９の種類に応じて適宜選択されてよい。
　なお、動作学習支援装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２０１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部２０２は、制御部２０１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。入力装置２０５、出力装置２０６、通信インタフェース２０７、及びドライブ２０８の少なくともいずれかは省略されてもよい。動作学習支援装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、動作学習支援装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ（Personal Computer）、産業用ＰＣ等であってもよい。
　動作学習支援装置１は、動作学習支援プログラム２０３を制御部２０１が実行することにより、図１Ａに示すお手本提示部１１、正規化部１３、ズレ度算出部１４、およびフィードバック提示部１５を実現する。これらの機能部については、以下でフローチャートを用いた動作学習支援処理の説明の中で併せて行う。
＜第１実施形態＞
　本開示の第１実施形態に係る動作学習支援装置１は、文字の手書き学習を支援する。本実施形態に係る動作学習支援装置１は、タッチパネルディスプレイを備え、当該タッチパネルディスプレイを介してユーザへの情報提供およびユーザからの文字の手書き動作を含む入力を行う。
　図３は、本実施形態に係る動作学習支援装置１が行う動作学習支援処理の流れを示すフローチャートである。
　ステップＳ１０１において、お手本提示部１１はお手本動作データをお手本動作データ記憶部１０から読み出して、ユーザに提示する。図４は、ユーザインタフェースの一例を示す。ユーザインタフェースは、お手本表示ウィンドウ４０１、入力ウィンドウ４０２、入力開始ボタン４０３、評価ボタン４０４を有し、タッチパネルディスプレイに表示される。ステップＳ１０１において、お手本提示部１１は、お手本表示ウィンドウ４０１にお手本動作データを表示する。
　ステップＳ１０２において、制御部２０１は、ユーザが入力開始ボタン４０３を押下して入力を開始したか否かを判定する。入力開始ボタン４０３が押下された場合には、処理はステップＳ１０３に進み、押下されていない場合には押下されるまで待機する。なお、ユーザが入力を開始したことの判断は、入力開始ボタン４０３の押下を判断基準とする必要はなく、例えば、入力ウィンドウ４０２に対する入力が検知されたことをもって入力が開始されたと判断してもよい。
　ステップＳ１０３において、お手本提示部１１はお手本表示ウィンドウ４０１に表示していたお手本を非表示にする。
　ステップＳ１０４において、ユーザ動作データ取得部１２は入力ウィンドウ４０２に入力されるタッチ位置座標の系列データをユーザ動作データとして取得する。ユーザは、お手本の形状を記憶し、記憶を元に手書き入力する必要があるので文字形状の学習（記憶）が効果的に行える。なお、ユーザが入力開始ボタン４０３を押下してお手本表示ウィンドウ４０１のお手本が非表示とされた後、入力ウィンドウ４０２を所定時間（例えば、２秒程度）受付不可としてもよい。受付不可にする場合には入力ウィンドウ４０２をグレー表示することで、入力受付不可であることをユーザに通知するとよい。このようにお手本が見えない状態が所定時間続いた後に入力を開始することで、文字形状の記憶に対する学習効果が高まることが想定される。
　ステップ１０５において、制御部２０１は、ユーザが評価ボタン４０４を押下して入力を終了したか否かを判定する。評価ボタン４０４が押下された場合には、処理はステップＳ１０６に進み、押下されていない場合には押下されるまでユーザ動作データの取得を継続する。なお、ユーザが入力を終了したことの判断は、評価ボタン４０４の押下を判断基準とする必要はなく、例えば、入力ウィンドウ４０２に対する入力が一定時間以上検知されないことをもって入力が終了されたと判断してもよい。
　ステップＳ１０６において、ズレ度算出部１４は、お手本データとユーザ動作データが示す軌跡の各時点におけるズレ度を算出する。ズレ度算出部１４は、具体的には、お手本データとユーザ動作データにおいて対応する点を求め、対応する点同士の間の距離をズレ度として算出することができる。手書き文字学習では、文字の軌跡を２次元座標の集合データ（点群）とみなし、お手本とユーザ入力の間のズレをCoherent Point Driftアルゴリズム（非特許文献２参照）によって算出することができる。なお、ズレ度は、上記の手法以外に、例えば、文字軌跡を２次元座標のグラフデータとみなしてグラフマッチングのアルゴリズムを適用することにより算出してもよい。
　ステップＳ１０７において、フィードバック提示部１５は、ユーザ入力とお手本の間の相違をフィードバックとして提示する。より具体的には、フィードバック提示部１５は、お手本データの軌跡をそれぞれの位置のズレ度に応じた表示態様で表示する。例えば、フィードバック提示部１５は、ユーザ入力が表示されている入力ウィンドウ４０２に重畳して、お手本データを表示する。この際、最初からお手本データをそのままの形状で表示してもよいし、ユーザ入力の軌跡からお手本の軌跡へと変更するアニメーション表示により、お手本を表示してもよい。アニメーション表示は、ユーザ動作データにおける各点を、対応するお手本データの点に徐々に移動することにより得ることができる。
　図５Ａはアニメーション表示によるフィードバック提示の例を説明する図である。図５Ａはユーザ入力終了後の、入力ウィンドウ４０２の表示の時間変化を示す。画面５０１はユーザ入力が完了した直後の状態であり、入力ウィンドウ４０２にはユーザ入力５１０のみが表示されている。画面５０２では、ユーザ入力に対して各点でのズレ度に応じた色で表示されたフィードバック用軌跡５１１ａが重畳して表示されている。なお、フィードバック用軌跡５１１ａとユーザ入力５１０は同じ軌跡であるので、この処理はユーザ入力５１０に対してズレ度に応じた色を付す処理と捉えることもできる。
　続いて、時間の経過とともに画面５０３～５０４に示すようにフィードバック用軌跡５１１ｂ～５１１ｃは徐々にお手本データに近づくように変形して、最終的に画面５０５に示すようにフィードバック用軌跡はお手本データ５１２の形状となる。
　このように、フィードバックとしてユーザ入力と、ズレ度に応じた色で表示されたお手本とを重畳して表示することでユーザはどの部分を誤って入力しているか容易に把握可能である。また、ユーザ入力からお手本へと変形するアニメーション表示を採用することにより、どのように修正すればよいかを容易に把握可能である。
　なお、フィードバックとしてアニメーション表示をする代わりに、図５Ｂに示す画面５０６のように、ユーザ入力５１０とズレ度に応じた色つきのお手本データ５１２と、ユーザ入力をお手本に合わせるためにどのような修正を行えばよいかを示す修正指示矢印５１３を重畳した表示を行ってもよい。修正指示矢印５１３は、ユーザ入力５１０に含まれる点から対応するお手本データ５１２へ向かう矢印として生成される。このようにしても、ユーザはどのような修正をすればよいかを把握可能である。
＜第２実施形態＞
　本実施形態に係る動作学習支援装置は、スポーツやダンスなどユーザの身体の一部または全体を動かす動作の学習を支援する。スポーツにおける動作とは、例えば、ゴルフのスウィング、野球の投球およびバッティング、サッカーのキックなどが含まれるがこれに限定されない。
　本実施形態に係る動作学習支援装置は、お手本データを表示する表示装置６１とユーザの動作を撮影するカメラ６２を備える。図６Ａおよび図６Ｂは表示装置６１とカメラ６２の配置関係を示す。図６Ａは表示装置６１に表示されているお手本データをユーザが見ている状態、図６Ｂはユーザがカメラ６２に向かって動作を行っている状態である。表示装置６１とカメラ６２は互いに反対方向に向かって（向かい合うように）配置されているので、ユーザがカメラ６２に向かって学習対象の動作を行い、カメラ６２がユーザの動作を撮影している間は、ユーザは表示装置６１に表示されているお手本データを視認できない。
　なお、本態様においても、第１実施形態と同様に、ユーザが学習支援対象の動作を行っている間は、表示装置６１へのお手本データの表示を停止してもよい。その場合、表示装置６１とカメラ６２の配置関係は特に限定されず、ユーザ学習支援対象の動作を行っている間にユーザが表示装置６１を視認可能なように、表示装置６１とカメラ６２が配置されてもよい。
　図７は、本実施形態に係る動作学習支援装置７１の機能ブロック図である。第１実施形態（図１Ａ）と比較して、正規化部７２が追加されている点が異なる。正規化部７２は、お手本動作データをユーザ動作データに併せて正規化する。その他の機能部は第１実施形態と同様である。
　図８は本実施形態における処理の流れを示すフローチャートである。
　ステップＳ１０１において、お手本提示部１１は、お手本動作をディスプレイに表示する。お手本の動作は３次元的な動きであるため、視点を調整可能とするとよい。図９Ａは表示装置６１におけるお手本動作の表示例であり、ここでは例として腕を上げる動作がアニメーション表示されている。図ではワイヤーフレームの人体として表示する例を記載しているが、より現実に近い人体の動きとして表示してもよい。
　ステップＳ１０２においてユーザが動作の入力を開始すると判定されたら、ステップＳ１０４において、ユーザ動作データ取得部１２は、ユーザ動作データを取得する。ユーザ動作データ取得部１２は、例えば、ユーザの動作をカメラ６２によって撮像した動画像を取得し、この動画像に対して画像認識処理を施すことで得られる姿勢データの系列データを、ユーザ動作データとする。姿勢データは、ユーザの特徴点（例えば、頭部、肩、肘、手、胴、腰、膝、足など）の位置を示すデータであり得る。
　なお、本実施形態では、ユーザの動作入力中に、お手本提示部１１は表示装置６１へのお手本データの表示を停止せずに、表示したままとしている。上述したように、表示装置６１とカメラ６２が反対方向を向くように配置されているので、ユーザが動作をしている間は、ユーザは表示装置６１に表示されているお手本データを視認できない。
　ステップＳ１０５においてユーザによる動作の入力が終了したと判定されたら、ステップＳ２０１において、正規化部７２は、お手本動作データをユーザ動作データに併せて正規化する。正規化処理は、ユーザ動作データとお手本データの間の空間的または時間的なスケールを調整する処理である。お手本動作を行う人物の体格とユーザの体格が異なる場合、姿勢の空間的なスケールが一致しない。したがって、正規化部１３は、お手本とユーザ動作の空間的なスケールが一致するように拡大、縮小などの正規化処理を行う。また、お手本データを提示する際の視線向きと、ユーザ動作を取得する際の視線向きが異なる場合には、視線向きが同じとなるように回転、平行移動などの正規化処理を行う。なお、ユーザ動作データおよびお手本データが３次元空間の座標データとして得られる場合には、視線を合わせる正規化処理は省略してもよい。また、お手本とユーザ動作において動作開始から終了までの時間が同じではない場合には、これらが一致するように時間的な伸長処理を行う。正規化処理は、例えば、お手本動作データに対してのみ行ってもよいし、ユーザ動作データのみに対して行ってもよいし、これらの両方に対して行ってもよい。
　ステップＳ１０６において、ズレ度算出部１４は、正規化後のお手本動作データとユーザ動作データの間のズレ度を算出する。ズレ度は、動作の各時点について算出され、また、姿勢データ（特徴点）のそれぞれに対して算出される。
　ステップＳ１０７において、フィードバック提示部１５は、ユーザ入力とお手本の間の相違をフィードバックとして提示する。より具体的には、フィードバック提示部１５は、お手本データの軌跡をそれぞれの位置のズレ度に応じた表示態様で表示する。
　図９Ａに示すようなお手本データに対して、図９Ｂに示すようなユーザの動作が入力されたとする。なお、図９Ａ、図９Ｂでは図面の簡略化のために一方の肘および手の軌跡を取得するように記載されているが、その他の身体部位の軌跡を取得してもよい。ズレ度算出部１４は、お手本動作データの各特徴点とユーザ動作データの各特徴点の位置のズレの大きさに基づくズレ度を算出する。
　図１０Ａはフィードバック表示の一例であり、お手本ウィンドウ１００１とユーザ動作ウィンドウ１００２にお手本動作データとユーザ動作データが並べて表示される。この際、各特徴点あるいは各特徴点の軌跡は、それぞれのズレ度に応じた表示態様で表示される。一例として、特徴点あるいはその軌跡をズレ度に応じた色で表示したり、お手本動作データ全体をズレ度に応じた色または色調で表示してもよい。例えば、ズレ度が小さいほど緑に近い色または色調で、ズレ度が大きいほど赤に近い色または色調で、特徴点あるいはその軌跡もしくはお手本動作データ全体を表示することが考えられる。
　図１０Ｂはフィードバック表示の他の例であり、フィードバックウィンドウにお手本動作データとユーザ動作データが重畳して表示される。この場合も、各特徴点あるいは各特徴点の軌跡は、それぞれズレ度に応じた表示態様（例えば、色）で表示される。フィードバックウィンドウはユーザ動作ウィンドウ１００２と同じウィンドウであってもよい。
　本実施形態によれば、スポーツやダンスのような身体の一部または全体を動かす動作についての学習を効率的に実施できる。具体的には、動作の記憶と、即時的にフィードバックという両方の効果が得られるため、学習効率が向上する。
＜その他の実施形態＞
　上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
　上記の説明では、ユーザ動作データ（第２系列データ）として、スタイラスあるいはユーザの身体の位置の系列データを用いる例を説明したが、ユーザ動作データはユーザの動きを表す系列データであればよくこれらの例に限定されない。ユーザ動作データは、ユーザの身体の一部またはユーザの動作に応じて動く器具の軌跡を表す系列データであればよい。ユーザの動作に応じて動く器具の一例として、ユーザの身体の一部に装着あるいは固定される器具、ユーザが保持する器具、動作期間の一部においてユーザが保持しその他の期間でユーザの身体から離れるが全体としてその動きをユーザが制御可能な器具、ユーザがその動きを制御する器具がある。ユーザの身体の一部に装着あるいは固定される器具として、帽子やアクセサリなどの装身具、マーカなどが含まれる。ユーザが保持する器具として、ペン（スタイラス）、ゴルフクラブ、バットなどが含まれる。一部の期間でユーザが保持しその他の期間でユーザの身体から離れるが全体としてその動きを制御可能な器具として、新体操におけるリボンやボール、ジャグリングに使用する器具などが挙げられる。ユーザがその動きを制御する器具として、ユーザが乗る自転車やスケートボードなどが含まれる。また、ユーザの動きに応じて動く仮想空間上のアバターの動きも、ユーザの動きを表す第２系列データに該当する。
＜付記＞
　お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示手段（１１，２１）と、
　前記ユーザの動作を表す系列データである第２系列データを取得する取得手段（１２，２２）と、
　前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示手段（１５、２３）と、
　を備え、
　前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データは前記ユーザに認識されないように前記第１提示手段が構成される（Ｓ１０３）、
　ことを特徴とする動作学習支援装置。
１：動作学習支援装置
１０：お手本動作データ記憶部　　１１：お手本提示部　　１２：ユーザ動作データ取得部
１４：ズレ度算出部　　１５：フィードバック提示部

Claims (15)

  1. 　お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示手段と、
    　前記ユーザの動作を表す系列データである第２系列データを取得する取得手段と、
    　前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示手段と、
    　を備え、
    　前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データが前記ユーザに認識されないように前記第１提示手段が構成される、
    　ことを特徴とする動作学習支援装置。
  2. 　前記第１提示手段は、表示装置への表示により前記第１系列データの前記ユーザへの提示を行い、前記取得手段によって前記第２系列データが取得されている間は、前記第１系列データの前記表示装置への表示を停止する、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  3. 　前記第１提示手段は、表示装置への表示により前記第１系列データの前記ユーザへの提示を行い、
    　前記表示装置は、前記取得手段が前記第２系列データを取得可能なように前記動作を行っているユーザが、前記第１系列データを視認できない位置に配置されている、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  4. 　前記第２提示手段は、前記フィードバックとして、前記第１系列データと前記第２系列データを並べて、または重畳して表示装置に表示する、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  5. 　前記第２提示手段は、前記フィードバックとして、前記第２系列データから前記第１系列データに変形するアニメーション表示を表示装置に表示する、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  6. 　前記第１系列データと前記第２系列データとの間のズレ度を算出する算出手段をさら備え
    　前記第２提示手段は、前記第１系列データを前記ズレ度とともに前記ユーザに提示する、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  7. 　前記算出手段は、前記第１系列データと前記第２系列データの各時点におけるズレ度を算出する、
    　ことを特徴とする請求項６に記載の動作学習支援装置。
  8. 　前記第２提示手段は、前記第１系列データを、前記ズレ度に応じた表示態様で表示する、
    　ことを特徴とする請求項７に記載の動作学習支援装置。
  9. 　前記算出手段は、前記第１系列データと前記第２系列データの少なくともいずれかに対して、前記お手本の動作と前記ユーザの動作の空間的または時間的なスケールを調整する正規化処理を行ってから前記ズレ度を算出する、
    　ことを特徴とする請求項６に記載の動作学習支援装置。
  10. 　前記正規化処理は、前記第１系列データと前記第２系列データの少なくともいずれかに対する、空間的な拡大、縮小、回転、平行移動、および時間的な伸長処理の少なくともいずれかを含む、
    　ことを特徴とする請求項９に記載の動作学習支援装置。
  11. 　前記第２系列データは、前記ユーザの身体または前記ユーザの動作に応じて動く器具の軌跡を表すデータである、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  12. 　前記取得手段はタッチパネル装置を含み、
    　前記第２系列データは、前記タッチパネル装置に接触する前記ユーザの身体または前記ユーザが保持するスタイラスの軌跡を表すデータである、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  13. 　前記取得手段は、撮像装置と画像認識手段を含み、
    　前記第２系列データは、前記撮像装置によって前記ユーザの動作を撮像した動画像に対して画像認識処理を施して得られる前記ユーザの姿勢を表すデータである、
    　ことを特徴とする請求項１に記載の動作学習支援装置。
  14. 　動作学習支援装置によって行われる動作学習支援方法であって、
    　お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示ステップと、
    　前記ユーザの動作を表す系列データである第２系列データを取得する取得ステップと、
    　前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示ステップと、
    　を備え、
    　前記取得ステップにおいて前記第２系列データが取得されている間は、前記第１系列データは前記ユーザに認識されないように構成される、
    　ことを特徴とする動作学習支援方法。
  15. 　コンピュータに対して、
    　お手本の動作を表す系列データである第１系列データをユーザに提示する第１提示ステップと、
    　前記ユーザの動作を表す系列データである第２系列データを取得する取得ステップと、
    　前記第２系列データの取得後に、前記第１系列データと前記第２系列データに基づくフィードバックを前記ユーザに提示する第２提示ステップと、
    　を実行させ、
    　前記取得ステップにおいて前記第２系列データが取得されている間は、前記第１系列データは前記ユーザに認識されないように構成される、
    　ことを特徴とするプログラム。
PCT/JP2025/020873 2024-06-11 2025-06-10 動作学習支援装置、動作学習支援方法、およびプログラム Pending WO2025258569A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024094672A JP2025186086A (ja) 2024-06-11 2024-06-11 動作学習支援装置、動作学習支援方法、およびプログラム
JP2024-094672 2024-06-11

Publications (1)

Publication Number Publication Date
WO2025258569A1 true WO2025258569A1 (ja) 2025-12-18

Family

ID=98050615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/020873 Pending WO2025258569A1 (ja) 2024-06-11 2025-06-10 動作学習支援装置、動作学習支援方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2025186086A (ja)
WO (1) WO2025258569A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
US20130089844A1 (en) * 2011-10-07 2013-04-11 Ikkos, Llc Motion training using body stimulations
JP2015049353A (ja) * 2013-08-30 2015-03-16 株式会社ベネッセコーポレーション 情報処理装置、情報処理方法、及びプログラム
JP2018180090A (ja) * 2017-04-05 2018-11-15 コニカミノルタ株式会社 作業教育システム
US20220245880A1 (en) * 2015-01-07 2022-08-04 Visyn Inc. Holographic multi avatar training system interface and sonification associative training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011062352A (ja) * 2009-09-17 2011-03-31 Koki Hashimoto 運動モーション教示装置および遊戯施設
US20130089844A1 (en) * 2011-10-07 2013-04-11 Ikkos, Llc Motion training using body stimulations
JP2015049353A (ja) * 2013-08-30 2015-03-16 株式会社ベネッセコーポレーション 情報処理装置、情報処理方法、及びプログラム
US20220245880A1 (en) * 2015-01-07 2022-08-04 Visyn Inc. Holographic multi avatar training system interface and sonification associative training
JP2018180090A (ja) * 2017-04-05 2018-11-15 コニカミノルタ株式会社 作業教育システム

Also Published As

Publication number Publication date
JP2025186086A (ja) 2025-12-23

Similar Documents

Publication Publication Date Title
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN107368183B (zh) 用于提供输入的手套
Rautaray Real time hand gesture recognition system for dynamic applications
Lv Wearable smartphone: Wearable hybrid framework for hand and foot gesture interaction on smartphone
US10481689B1 (en) Motion capture glove
Aliprantis et al. Natural Interaction in Augmented Reality Context.
TWI377055B (en) Interactive rehabilitation method and system for upper and lower extremities
Chun et al. Real-time hand interaction for augmented reality on mobile phones
JP6078719B2 (ja) 移動制御装置及びプログラム
CN117472189B (zh) 具有实物感的打字或触控的实现方法
Singla et al. Visual rendering of shapes on 2D display devices guided by hand gestures
Shen et al. A novel approach in rehabilitation of hand-eye coordination and finger dexterity
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
CN109448131B (zh) 一种基于Kinect的虚拟钢琴弹奏系统的构建方法
CN112837339A (zh) 基于运动捕捉技术的轨迹绘制方法及装置
Zestas et al. Realizing computer vision rehabilitation assessment tests & evaluation applications for mobile devices
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
JP2021178103A (ja) ゴルフレッスンシステム、ゴルフレッスン方法、およびプログラム
JP7513262B2 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
JP2025186086A (ja) 動作学習支援装置、動作学習支援方法、およびプログラム
Liu et al. COMTIS: Customizable touchless interaction system for large screen visualization
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
Sarang et al. Air drum using Kinect and Arduino
US9727138B2 (en) Nanotechnology clothing for human-computer interaction
Tu et al. ArmMenu: command input on distant displays with proprioception based lateral arm movements

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25821915

Country of ref document: EP

Kind code of ref document: A1