WO2025004271A1 - 運動促進装置、運動促進方法、及び、記録媒体 - Google Patents

運動促進装置、運動促進方法、及び、記録媒体 Download PDF

Info

Publication number
WO2025004271A1
WO2025004271A1 PCT/JP2023/024198 JP2023024198W WO2025004271A1 WO 2025004271 A1 WO2025004271 A1 WO 2025004271A1 JP 2023024198 W JP2023024198 W JP 2023024198W WO 2025004271 A1 WO2025004271 A1 WO 2025004271A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
data
exercise
avatar
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/024198
Other languages
English (en)
French (fr)
Inventor
典子 具呂
慎一 徳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/024198 priority Critical patent/WO2025004271A1/ja
Publication of WO2025004271A1 publication Critical patent/WO2025004271A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a device that promotes exercise for the user.
  • Patent Document 1 describes a device that supports the physical condition management of evaluation subjects who perform exercises.
  • One of the objectives of the present invention is to motivate users and encourage them to exercise by displaying videos of exercises optimized for each user with simple operations.
  • an exercise promotion device includes: An avatar data acquisition means for acquiring avatar data relating to an avatar to be used for exercise example video data; A skeleton motion picture acquiring means for acquiring skeleton motion picture data which is a motion picture related to the skeleton motion of the exercise performed by the user; a generating means for generating model video data of the avatar performing an exercise by combining an avatar generated from the avatar data with the skeleton video data; A model video output means for outputting the model video data; a play video acquisition means for acquiring play video data which is a video obtained by capturing a user's movements in accordance with the model video data; a skeleton extraction means for extracting user skeleton data representing a skeleton movement of the user from the play video data; a score calculation means for calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; and a result output means for outputting the score as a result
  • a method for promoting exercise includes: Acquire avatar data regarding an avatar to be used in exercise example video data; Acquire skeletal video data, which is a video relating to skeletal movements of an exercise performed by a user; generating model video data of the avatar performing an exercise by synthesizing the avatar generated from the avatar data with the skeleton video data; Output the model video data, Acquire play video data, which is a video capturing a user's movements in accordance with the model video data; extracting user skeletal data representing skeletal movements of the user from the play video data; Calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; The score is output as a result.
  • a recording medium comprises: Acquire avatar data regarding an avatar to be used in exercise example video data; Acquire skeletal video data, which is a video relating to skeletal movements of an exercise performed by a user; generating model video data of the avatar performing an exercise by synthesizing the avatar generated from the avatar data with the skeleton video data; Output the model video data, Acquire play video data, which is a video capturing a user's movements in accordance with the model video data; extracting user skeletal data representing skeletal movements of the user from the play video data; Calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; A program for causing a computer to execute a process for outputting the score as a result is recorded.
  • the server comprises: An avatar data acquisition means for acquiring avatar data relating to an avatar to be used for exercise example video data;
  • a skeleton motion picture acquiring means for acquiring skeleton motion picture data which is a motion picture related to the skeleton motion of the exercise performed by the user;
  • a generating means for generating model video data of the avatar performing an exercise by combining an avatar generated from the avatar data with the skeleton video data; and
  • a model video output means for outputting the model video data.
  • the configuration of the exercise promotion system is shown.
  • the hardware configuration of the exercise promotion device and the server is shown.
  • 2 shows a functional configuration of the exercise promotion device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a skeletal model and the coordinates of each part.
  • 11 is a flowchart of an exercise promotion process in the first embodiment.
  • 13 shows the configuration of an exercise promotion system in a sixth modified example.
  • 13 shows a functional configuration of a server in the second embodiment.
  • 13 is a flowchart of an exercise promotion process in the second embodiment.
  • 13 shows functional configurations of an exercise promotion device and a server according to a third embodiment.
  • 13 is a flowchart of an exercise promotion process according to a third embodiment.
  • FIG. 1 shows the configuration of an exercise promotion system to which the exercise promotion device of the present invention is applied.
  • the exercise promotion system 100 is a system that promotes exercise by a user by using a video in which the user's "favorite" avatar appears.
  • “favorite” refers to a person or character that is attractive and that the user likes so much that the user wants to recommend them to others, and in the present invention, it also includes children, grandchildren, deceased spouses, pets, and the like that are familiar to the user.
  • the video is a video of a specific avatar performing gymnastics, fitness, dance, and the like, and the exercise promotion system 100 allows the user to play an exercise game in which the user imitates the avatar's movements while watching the video.
  • the user is an elderly person, but the present invention is not limited to this and can be applied to people of all ages and genders.
  • the exercise promotion system 100 is connected to a display device 3 by wireless or wired means, and to a server 20, which are communicatively connected to each other via a network 5 such as the Internet.
  • the exercise promotion device 1 is an information processing device that processes, stores, and transmits/receives various types of data. Specifically, the exercise promotion device 1 obtains skeletal video data relating to the skeletal movements of the exercise performed by the user from the server 20, and generates model video data by synthesizing it with the avatar data of the user's favorite idol. The exercise promotion device 1 then transmits the generated model video data to the display device 3 for display. This allows the user to play an exercise game in which they imitate the movements of the avatar of their favorite idol while watching the model video played on the display device 3.
  • the exercise promotion device 1 also acquires play video data, which is a video of the user's movements in accordance with the model video. The exercise promotion device 1 then calculates a score for the user's movements based on the play video data and the skeletal video data, and displays the results on the display device 3.
  • a suitable example of the display device 3 is a television, but it may also be a smartphone, a personal computer, or a general-purpose tablet PC (personal computer) as long as it is capable of displaying the model video and the results.
  • the server 20 is composed of one or more information processing devices, and is an information processing device that processes, stores, transmits and receives various data related to the exercise performed by the user.
  • the server 20 has a user database (hereinafter, the database is also referred to as "DB") 27, a skeleton video DB 28, and a play history DB 29.
  • DB user database
  • FIG. 2(a) is a block diagram showing the hardware configuration of the exercise promotion device 1.
  • the exercise promotion device 1 includes an interface 11, a processor 12, a memory 13, a recording medium 14, an input unit 15, and an imaging unit 16.
  • the interface 11 transmits and receives data to and from the display device 3 and the server 20 via the network 5.
  • the interface 11 is used to send various data to the display device 3 for display, and to receive various data from the server 20.
  • the processor 12 is a computer such as a CPU (Central Processing Unit), and controls the entire exercise promotion device 1 by executing a program prepared in advance.
  • the memory 13 is composed of a ROM (Read Only Memory), a RAM (Random Access Memory), etc.
  • the memory 13 stores the programs executed by the processor 12.
  • the memory 13 is also used as a working memory while the processor 12 is executing various processes.
  • the recording medium 14 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be detachable from the exercise promotion device 1.
  • the recording medium 14 records various programs executed by the processor 12.
  • the programs recorded in the recording medium 14 are loaded into the memory 13 and executed by the processor 12.
  • the input unit 15 has a microphone and recognizes user instructions based on user voice data, which is the user's voice input. Note that in this embodiment, the input unit 15 recognizes user instructions based on user voice data, but the present invention is not limited to this, and the input unit 15 may recognize user instructions based on data input by a keyboard, mouse, touch panel, etc.
  • the imaging unit 16 has a camera and acquires captured still image data and video data.
  • FIG. 2(b) is a block diagram showing the hardware configuration of the server 20.
  • the server 20 comprises an interface 21, a processor 22, a memory 23, a recording medium 24, a display unit 25, and an input unit 26.
  • These components, a user DB 27, a skeleton video DB 28, and a play history DB 29 are interconnected via a bus.
  • the interface 21 transmits and receives data to and from the exercise promotion device 1 via the network 5.
  • the processor 22 is a computer such as a CPU, and controls the entire server 20 by executing a program prepared in advance.
  • the memory 23 is composed of a ROM, a RAM, etc. The memory 23 stores the programs executed by the processor 22. The memory 23 is also used as a working memory while the processor 22 is executing various processes.
  • the recording medium 24 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be detachable from the exercise promotion device 1.
  • the recording medium 24 records various programs executed by the processor 22.
  • the display unit 25 is, for example, an LCD (Liquid Crystal Display) and displays a predetermined image.
  • the input unit 26 is a keyboard, mouse, touch panel, etc., and is used by an operator who manages the server 20.
  • User DB27 stores information about users in association with a user ID that identifies the user. Specifically, user DB27 stores, in association with each other, the user ID, range of motion data indicating the range of motion of the user's body, avatar data generated at the user's instruction, contact information of recipients to whom matters related to the user are to be sent, relationships of recipients, etc.
  • Movement range data is data that indicates the range of motion of the user's body that is input as a pre-setting before the user exercises.
  • the data format of the motion range data can be set arbitrarily as long as it can recognize the range of motion of the user's body, such as "upper body,” “lower body,” “excluding right shoulder over 90 degrees,” etc.
  • Avatar data is data that can be used to generate an avatar of your favorite idol.
  • the recipients of the transmission are those to whom links related to avatar selection, the degree of physical deterioration or risk of the user recognized by the exercise promotion device 1, etc. are transmitted, and specifically include the user himself/herself, family members, care managers, and family doctors.
  • the contact information is the telephone number, email address, etc. of the recipient, and the relationship is "self", “child”, “grandchild”, “care manager”, "family doctor”, etc.
  • the skeletal video DB 28 stores information related to skeletal video data in association with a video ID that identifies the skeletal video data, which is a video related to the skeletal movement of the exercise performed by the user. Specifically, the skeletal video DB 28 stores, in association with each other, the video ID, range of motion data indicating the range of motion of the exercise performed by the skeletal video data, strengthening areas which are the parts of the body trained by the skeletal video data, and exercise intensity indicating the load of the exercise performed by the skeletal video data.
  • the play history DB29 stores information about the exercises (hereinafter also referred to as "play") performed by the user in accordance with the model video as play history. Specifically, the play history DB29 stores the play date and time, play video data which is a video of the play, user skeletal data extracted from the play video data which represents the movement of the user's skeleton, scores, etc. in association with each other.
  • the server 20 has a user DB 27, a skeleton video DB 28, and a play history DB 29, but the present invention is not limited to this, and the type of DB and the data structure of the DB are arbitrary as long as the necessary data can be acquired.
  • the user DB 27 and the play history DB 29 may be included in the exercise promotion device 1.
  • FIG. 3 is a block diagram showing the functional configuration of the exercise promotion device 1.
  • the exercise promotion device 1 includes a voice instruction acquisition unit 30, a presettings acceptance unit 31, an avatar data acquisition unit 32, a skeleton video acquisition unit 33, a generation unit 34, a model video output unit 35, a play video acquisition unit 36, a skeleton extraction unit 37, a score calculation unit 38, a reward calculation unit 39, a result output unit 40, and a transmission unit 41, and is realized by the processor 12 executing a program.
  • the exercise promotion device 1 generates model video data by combining skeletal video data obtained from the server 20 with avatar data of the user's favorite character in response to voice instructions from the user, and displays the generated model video data on the display device 3.
  • the exercise promotion device 1 also calculates a score for the user's movements and a reward related to play based on the captured play video data and skeletal video data, and displays the results on the display device 3.
  • the exercise promotion device 1 also transmits to the transmission target the user's degree of decline and dangerous state, which have been recognized based on the play video data and user skeletal data.
  • the voice instruction acquisition unit 30 recognizes and acquires instructions from the user based on user voice data, which is the user's voice.
  • user instructions specifically include starting and stopping the exercise promotion device 1, inputting the user's body range of motion, selecting an avatar, selecting a model video, specifying the exercise time, playing and stopping the model video, etc.
  • the pre-settings receiving unit 31 receives motion range data indicating the range of motion of the user's body as a pre-setting. Any method can be applied to set the motion range data, such as a method in which the user inputs the motion range by voice, a method in which the user selects a model video for each motion range, or a method in which the motion range is specified based on video data capturing basic movements by the user.
  • the user's motion range data is sent to the server 20 with the user ID tagged by the pre-settings receiving unit 31, and is stored in the user DB 27.
  • the avatar data acquisition unit 32 acquires avatar data for generating an avatar of the favorite idol. Specifically, the avatar data acquisition unit 32 acquires facial image data of the favorite idol's face from multiple viewpoints (hereinafter also referred to as "avatar facial image data") and multiple pieces of audio data of the favorite idol's voice (hereinafter also referred to as "avatar audio data") via a link previously sent to the transmission target. The avatar data acquisition unit 32 then acquires avatar data for generating an avatar of the favorite idol by generating a 3D model based on the avatar facial image data and a synthetic voice based on the avatar audio data. The avatar data is sent to the server 20 with the user ID tagged by the avatar data acquisition unit 32, and is stored in the user DB 27.
  • avatar facial image data multiple viewpoints
  • avatar audio data multiple pieces of audio data of the favorite idol's voice
  • the sending unit 41 sends a link for selecting an avatar to the contacts of a smartphone or the like used by the user's children or grandchildren, which have been set in advance as a recipient.
  • the exercise promotion device 1 can obtain the avatar face image data and avatar voice data.
  • the skeletal video acquisition unit 33 acquires skeletal video data stored in the skeletal video DB 28 from the server 20.
  • the skeletal video acquisition unit 33 acquires skeletal video data corresponding to exercise within the user's range of motion from the skeletal video DB 28 based on the user's range of motion data.
  • the priority of the skeletal video data acquired by the skeletal video acquisition unit 33 may be set in advance based on strengthened body parts and exercise intensity. In this case, the skeletal video acquisition unit 33 acquires specified skeletal video data from the skeletal video DB 28 taking into consideration the priority and the user's range of motion data.
  • the generation unit 34 generates model video data in which the avatar of the favorite person performs the exercise movements of the user by combining the avatar of the favorite person generated from the avatar data with the skeletal video data.
  • the model video output unit 35 transmits model video data to the display device 3 and plays it, thereby displaying the model video.
  • the play video acquisition unit 36 acquires play video data capturing the movements of the user who moves in accordance with the model video displayed on the display device 3.
  • the user moves in accordance with the movements of the avatar of their favorite player who appears in the model video while watching the display device 3, and the camera of the exercise promotion device 1 is installed in a position where it can capture the user's movements.
  • the play video data is sent to the server 20 by the play video acquisition unit 36 with the user ID tagged, and is stored in the play history DB 29 in association with the user ID and the play date and time.
  • the skeleton extraction unit 37 extracts user skeleton data representing the movement of the user's skeleton from the gameplay video data. Specifically, the skeleton extraction unit 37 uses a known skeleton detection method to extract the coordinates of each part of the user's skeleton from the image of each frame of the gameplay video data, and extracts the user skeleton data based on the time series data of the coordinates of each part.
  • Figure 4(a) shows an example of modeling the user's skeleton by recognizing the coordinates of the parts of the user's skeleton, such as the head, neck, and hands, and connecting them together. In this embodiment, the body parts are classified into 15 locations and the coordinates of each part are recognized. Furthermore, the coordinates of each part of the modeled skeleton are composed of numerical values on the X, Y, and Z coordinates, as shown in Figure 4(b). In this case, the center of gravity of the user's body may be set as the origin.
  • the user skeleton data is sent to the server 20 with the user ID and identification information of the gameplay video data tagged by the skeleton extraction unit 37, and is stored in the play history DB 29 in association with the user ID and the gameplay video data.
  • the score calculation unit 38 calculates the similarity based on the model skeletal data and the user skeletal data, and calculates a play score according to the calculated similarity.
  • the model skeletal data is skeletal data that represents the movements of the skeleton contained in the skeletal video data used to generate the model video data.
  • the score calculation unit 38 calculates the similarity by comparing the coordinates of each part of the model skeletal data with the coordinates of each part of the user skeletal data based on time-series data. The score calculation unit 38 determines that the higher the similarity, the higher the score calculated, as the user is making the same movements as their favorite avatar in the model video.
  • the model skeleton data may be stored in the skeleton video DB 28 in association with the skeleton video data, or may be extracted from the skeleton video data or the model video data using a known skeleton detection method.
  • the similarity is calculated by comparing the coordinates of each part, but the present invention is not limited to this, and any method can be applied, such as calculation based on the feature quantities of the coordinates of each part using machine learning.
  • the score is sent to the server 20 by the score calculation unit 38 with the user ID and identification information of the play video data tagged therewith, and is stored in the play history DB 29 in association with the user ID and the play video data.
  • the reward calculation unit 39 obtains the play history stored in the play history DB 29 from the server 20, calculates the user's growth level based on the play history, and calculates a reward from the growth level. Specifically, the reward calculation unit 39 calculates the growth level, which indicates the growth of exercise strength, etc., from the difference in the user's skeletal data based on a time series. The reward calculation unit 39 calculates a higher reward as the growth level is higher.
  • the reward is, for example, points that can be exchanged for a privilege such as changing the costume of the favorite avatar.
  • the reward is sent to the server 20 tagged with the user ID and identification information of the play video data by the reward calculation unit 39, and is stored in the play history DB 29 in association with the user ID and the play video data.
  • the result output unit 40 transmits data related to the score and reward to the display device 3 and displays it at any timing, such as when the playback of the model video ends, i.e., when the user finishes exercising.
  • the display device 3 displays the score and reward as results based on the received data.
  • the transmission unit 41 acquires in advance the contact information of the transmission target stored in the user DB 27 from the server 20. Then, the transmission unit 41 transmits a link for selecting an avatar to the transmission target at a predetermined timing. The transmission unit 41 also acquires the play history stored in the play history DB 29 from the server 20, and transmits the user's degree of decline calculated based on the play history to the transmission target at a predetermined timing. Specifically, the transmission unit 41 calculates the degree of decline indicating the decline in physical strength from the difference in the user skeleton data based on a time series. The transmission unit 41 also transmits the user's dangerous state identified based on the play video data and the user skeleton data to the transmission target.
  • the transmission unit 41 identifies a dangerous state when it detects a fall from the user skeleton data or when the play video data contains voice data indicating danger such as "help," and transmits text data, video data, etc. indicating the dangerous state to the transmission target. It is desirable to transmit the dangerous state to the transmission target immediately after it is identified.
  • Fig. 5 is a flowchart of the exercise promotion process performed by the exercise promotion device 1. This process is realized by the processor 12 shown in Fig. 2(a) executing a program prepared in advance.
  • the exercise promotion device 1 accepts the user's range of motion data as a pre-set using a predetermined method. Then, based on the user's range of motion data, the exercise promotion device 1 acquires skeletal video data corresponding to the movements within the user's range of motion from the server 20 (step S101). The exercise promotion device 1 also transmits a link for avatar selection to a preset transmission target, and acquires the avatar face image data and avatar voice data of the favorite person via the link. In this way, the exercise promotion device 1 acquires avatar data for generating an avatar of the favorite person (step S102).
  • the exercise promotion device 1 generates model video data by combining the avatar generated from the avatar data with the skeleton video data, and transmits the model video data to the display device 3 for playback, thereby displaying the model video (step S103).
  • the user performs exercises in accordance with the movements of the avatar of their favorite person that appears in the model video.
  • the exercise promotion device 1 captures the user's movements in accordance with the model video and acquires the captured image as play video data (step S104).
  • the acquired play video data is stored in the play history DB 29.
  • the exercise promotion device 1 also extracts user skeletal data, which is the movement of the user's skeletal structure, from the play video data (step S105).
  • the extracted user skeletal data is stored in the play history DB 29.
  • the exercise promotion device 1 determines whether the user is in a dangerous state based on the gameplay video data and the user skeletal data (step S106). If a dangerous state such as the user falling is identified (step S106; Yes), the exercise promotion device 1 acquires the contact information of the preset transmission target from the server 20, transmits text data or the like indicating the dangerous state, and ends the exercise promotion process (step S107).
  • step S106 the exercise promotion device 1 calculates a score and reward when the user finishes exercising, and transmits them to the display device 3 to display the results (step S108).
  • the exercise promotion device 1 also obtains a play history from the server 20 and calculates the user's degree of decline.
  • the exercise promotion device 1 then obtains the contact details of a preset transmission target from the server 20 and transmits the degree of decline (step S109). This ends the exercise promotion process.
  • the user's desired exercise time may be set in advance.
  • the exercise promotion device 1 asks the user a question such as "How long do you want to exercise?" using voice data or text data via the display device 3.
  • the user can specify the desired exercise time by stating the time, such as "30 minutes.”
  • the exercise promotion device 1 can stimulate the motivation to exercise by having the avatar of each user's favorite person appear in the model video.
  • the avatar of the favorite person can be set to a familiar presence such as the user's child, grandchild, or deceased spouse, so the user can exercise with the feeling that a loved one is nearby and cheering them on.
  • the motivation to exercise can be maintained by displaying scores and rewards according to the user's play.
  • the exercise promotion device 1 recognizes the degree of decline or a dangerous state based on the user's play, it can contact the user's family, care manager, family doctor, etc. Therefore, the user's family and family doctor can provide health care according to the degree of decline and dangerous state.
  • the user can give instructions to the exercise promotion device 1 by voice.
  • the transmission destination in advance, the data required to generate an avatar of the user's favorite person can be registered by the user's child or grandchild via a link. Therefore, even elderly users can easily exercise without having to perform complex operations using a controller.
  • the exercise promotion device 1 generates model video data using skeletal video data corresponding to the user motion range data, but the present invention is not limited to this, and the score may be calculated based on the user motion range data. Specifically, when the user motion range data is "excluding the right shoulder 90 degrees or more," even if the avatar of the favorite in the model video raises his/her arm high at a predetermined score calculation point, but the user in the play video only raises his/her arm to about half the height, the exercise promotion device 1 calculates the maximum score without deducting points. According to this, even if the model video is a movement outside the user's motion range, a score that takes the user's motion range into consideration is displayed, so that the user can exercise without losing motivation.
  • the exercise performed by the user in the model video is performed by a favorite avatar.
  • This allows the favorite avatar to become a trainer and cheer on the user's movements or motivate the user.
  • the present invention is not limited to this, and the trainer avatar that performs the exercise performed by the user may be selected from a plurality of avatar candidates based on preset characters.
  • the exercise promotion device 1 displays images of multiple avatar candidates along with numbers on the display device 3, and asks the user questions such as "Which character would you like to play with today?" using voice data or text data.
  • the user can select a trainer avatar by reading out the number aloud.
  • avatar data for each character is stored in a specified DB or the like of the server 20, and the exercise promotion device 1 obtains from the server 20 the avatar data of the character selected by the user as the avatar selection result.
  • avatar data is generated, it is stored in user DB 27, so the user's favorite avatar may be a candidate for the trainer's avatar.
  • the present invention is not limited to this.
  • the screen of the display device 3 may be divided into two, with the model video displayed on one side and the play video displayed on the other.
  • the exercise promotion device 1 may combine the favorite avatar with the play video data to generate avatar play video data in which the favorite avatar performs the movements of the user, and display the generated data on the screen.
  • the avatar of a specified trainer rather than the favorite avatar, performs the model movements.
  • a specific trainer's avatar can perform model movements in the model video, while a favorite avatar can perform the user's own movements in the avatar play video.
  • the favorite avatar can perform the user's own movements, stimulating the user's motivation to exercise.
  • the favorite avatar created uniquely for each user can be used as the trainer's avatar in the model video, and can also be used as the user's own avatar in the avatar play video.
  • the exercise promotion device 1 may construct a skeletal video output model that outputs one or more skeletal video data optimized for training a strengthened part when the strengthened part is input.
  • Teacher data is used to construct (generate) the skeletal video output model.
  • the teacher data is data in which input data input in learning the skeletal video output model is associated with correct answer data corresponding to the input data.
  • the input data is the strengthened part
  • the correct answer data is skeletal video data for training the strengthened part.
  • the exercise promotion device 1 trains the skeletal video output model to output skeletal video data for training the strengthened part based on the strengthened part input as input data.
  • a machine learning method for example, deep learning such as CNN can be mentioned.
  • the exercise promotion device 1 may also have, as functions, a weak exercise identification unit that identifies exercises that the user is weak at by referring to the skeletal video DB 28 and play history DB 29 via the server 20, and a strengthening part identification unit that identifies strengthening parts of the body that should be trained to compensate for the weak exercise.
  • the weak part identification unit refers to the strengthening parts and play history that correspond to the skeletal video data, and identifies, for example, "squats" as an exercise that the user is weak at, based on the user's skeletal data and score.
  • the strengthening part identification unit identifies the "gluteus maximus" as an exercise that should be strengthened to compensate for the weak exercise.
  • the exercise promotion device 1 inputs the strengthened parts identified by the strengthened part identification unit, and outputs skeletal video data from the skeletal video output model.
  • the skeletal video data output here can be said to be skeletal exercise data optimized to supplement the exercises that the user is weak at.
  • the result output unit 40 of the exercise promotion device 1 generates a service list that recommends model video data that combines the skeletal video data output by the skeletal video output model with the favorite avatar, along with text data indicating the weak exercise "squats" and the strengthened part "gluteus maximus".
  • the result output unit 40 transmits data related to the service list to the display device 3, thereby displaying the service list.
  • the result output unit 40 displays the multiple model videos on the display device 3 along with their numbers, and asks the user questions such as "Which exercise would you like to do? Or leave it to me?” using audio data or text data. In response, the user can select the type of exercise they would like to do by saying “leave it to me” or reading out the number aloud.
  • the model video data recommended as a service list is not limited to those corresponding to exercises that the user is not good at, and may be those corresponding to the exercise time desired by the user.
  • the exercise promotion device 1 can provide the user with a list of services tailored to each user, and recommend exercises using model videos optimized to supplement exercises that the user is not good at, or model videos that fit the desired exercise time.
  • the skeletal video output model may be a machine learning model that has been trained to output skeletal video data optimized to supplement a difficult exercise when the difficult exercise is input.
  • the exercise promotion device 1 does not include a display unit and is connected to a display device 3 such as a television.
  • a display device 3 such as a television.
  • the display unit is, for example, an LCD or the like, which displays a predetermined screen.
  • the exercise promotion device including a display unit is an information processing device that processes, stores, and transmits/receives various data, similar to the exercise promotion device 1, and is, for example, a smartphone or a general-purpose tablet on which an application that executes the exercise promotion process is installed.
  • the exercise promotion device including a display unit can generate model video data by executing the exercise promotion process, and display the model video on the display unit.
  • the exercise promotion device including a display unit can calculate a score based on the play video data, and display the result on the display unit.
  • the exercise promotion device 1 and the server 20 are two terminals communicably connected via the network 5, and the exercise promotion device 1 executes the exercise promotion process, but the present invention is not limited to this, and the exercise promotion device 120 having the functions of the server 20 may execute the exercise promotion process.
  • the exercise promotion device 120 is an information processing device that processes, stores, and transmits/receives various data, similar to the exercise promotion device 1.
  • FIG. 6 shows an example of the configuration of the exercise promotion system 200 in this case.
  • the exercise promotion device 120 is connected to a user DB 127, a skeleton video DB 128, and a play history DB 129.
  • the exercise promotion device 120 executes exercise promotion processing, and can generate and output model video data, and calculate and output a score based on the play video data.
  • the exercise promotion device 1 executes the exercise promotion process to generate and output model video data, and calculate and output a score based on the play video data.
  • the server 20x may execute the exercise promotion process to generate and output model video data, and calculate and output a score based on the play video data. Note that, for convenience, in the second embodiment, explanations similar to those in the first embodiment will be omitted.
  • FIG. 7 is a block diagram showing the functional configuration of the server 20x in the second embodiment.
  • the exercise promotion device 1x is an information processing device that processes, stores, and transmits/receives various data related to the exercise performed by the user. Specifically, the exercise promotion device 1x transmits instructions recognized based on user voice data, which is the user's voice, to the server 20x. Furthermore, when the exercise promotion device 1x acquires user's range of motion data as a pre-setting, it transmits the user's range of motion data to the server 20x. Furthermore, when the exercise promotion device 1x captures play video data, it transmits the data to the server 20x.
  • the server 20x functionally comprises a voice instruction acquisition unit 50, a pre-settings acceptance unit 51, an avatar data acquisition unit 52, a skeleton video acquisition unit 53, a generation unit 54, a model video output unit 55, a play video acquisition unit 56, a skeleton extraction unit 57, a score calculation unit 58, a reward calculation unit 59, a result output unit 60, and a transmission unit 61, and is realized by the processor 22 executing a program.
  • the server 20x generates model video data by combining the skeleton video data with the avatar data of the user's favorite character in response to the user's instructions obtained from the exercise promotion device 1x.
  • the generated model video data is transmitted by the server 20x to the display device 3 via the exercise promotion device 1x, and is displayed as a model video.
  • the server 20x also calculates a score and reward for the user's movements based on the play video data and skeleton video data obtained from the exercise promotion device 1x.
  • the calculated score and data related to the reward are transmitted by the server 20x to the display device 3 via the exercise promotion device 1x, and displayed as a result.
  • the server 20x also calculates the user's degree of decline and identifies a dangerous state based on the play video data and user skeleton data, and transmits the degree of decline and the dangerous state to the transmission target as necessary.
  • the voice instruction acquisition unit 50 acquires user instructions from the exercise promotion device 1x.
  • user instructions include starting the exercise promotion device 1x to start exercising, inputting the user's body range of motion, selecting an avatar, specifying the exercise time, playing or stopping the model video, etc., and the voice instruction acquisition unit 50 can acquire these instructions in real time from the exercise promotion device 1x via the network 5.
  • the pre-settings receiving unit 51 receives, as pre-settings, range of motion data indicating the range of motion of the user's body from the exercise promotion device 1x.
  • the user's range of motion data is stored in the user DB 27 in association with the user ID.
  • the avatar data acquisition unit 52 acquires avatar data related to the avatar of the favorite person to be used in the exercise example video data.
  • the avatar data is stored in the user DB 27 in association with the user ID.
  • the transmitting unit 61 which will be described later, transmits a link for selecting an avatar to the transmission target in advance, and registers the avatar face image data and avatar voice data via the link so that the server 20x can receive them. This allows the avatar data acquiring unit 52 to acquire avatar data based on the avatar face image data and avatar voice data.
  • the skeletal video acquisition unit 53 acquires skeletal video data stored in the skeletal video DB 28.
  • the skeletal video acquisition unit 53 acquires skeletal video data corresponding to the movement within the user's range of motion from the skeletal video DB 28 based on the user's range of motion data.
  • the generation unit 54 generates model video data in which the avatar of the favorite person performs the exercise movements of the user by combining the avatar of the favorite person generated from the avatar data with the skeletal video data.
  • the model video output unit 55 transmits model video data to the display device 3 via the exercise promotion device 1x and plays the model video to display the model video.
  • the exercise promotion device 1x receives model video data from the server 20x, it transmits the model video data to the display device 3 to play it, and displays the model video on the display device 3.
  • the play video acquisition unit 56 acquires play video data captured by the exercise promotion device 1x from the exercise promotion device 1x.
  • the timing for acquiring the play video data is arbitrary, and it may be acquired in real time.
  • the play video data is stored in the play history DB 29 in association with the user ID and the play date and time.
  • the skeleton extraction unit 57 extracts user skeleton data that represents the movement of the user's skeleton from the gameplay video data.
  • the user skeleton data is stored in the play history DB 29 in association with the user ID and the gameplay video data.
  • the score calculation unit 58 calculates the similarity based on the model skeleton data and the user skeleton data, and calculates a play score according to the calculated similarity.
  • the score is stored in the play history DB 29 in association with the user ID and the play video data.
  • the reward calculation unit 59 calculates the user's growth level based on the play history stored in the play history DB 29, and calculates a reward from the growth level.
  • the reward is stored in the play history DB 29 in association with the user ID and the play video data.
  • the result output unit 60 transmits data related to the score and reward to the display device 3 via the exercise promotion device 1x at any timing, and displays the score and reward as results.
  • the exercise promotion device 1x receives data related to the score and reward from the server 20x, it transmits the data to the display device 3 and displays the score and reward on the display device 3.
  • the transmission unit 61 refers to the user DB 27 and transmits a link for selecting an avatar to the transmission target.
  • the transmission unit 61 also refers to the user DB 27 and transmits to the transmission target the degree of decline of the user calculated based on the play history stored in the play history DB 29.
  • the transmission unit 61 also refers to the user DB 27 and transmits to the transmission target the user's dangerous state identified based on the play video data and the user skeletal data.
  • Fig. 8 is a flowchart of the exercise promotion process by the server 20x. This process is realized by the processor 22 shown in Fig. 2(b) executing a program prepared in advance.
  • the server 20x accepts the user's range of motion data as a pre-setting via the exercise promotion device 1x. Then, based on the user's range of motion data, the server 20x acquires skeletal video data corresponding to the movements within the user's range of motion from the skeletal video DB 28 (step S201). The server 20x also transmits a link for avatar selection to a preset transmission target, and acquires the avatar face image data and avatar voice data of the favorite via the link. As a result, the server 20x acquires avatar data for generating an avatar of the favorite (step S202).
  • the server 20x generates model video data by combining the avatar generated from the avatar data with the skeleton video data, and transmits the model video data to the display device 3 via the exercise promotion device 1x (step S203).
  • the display device 3 can display the model video by playing back the received model video data. The user performs exercises in accordance with the movements of the avatar of their favorite person that appears in the model video.
  • the exercise promotion device 1x captures the user's movements in accordance with the model video and transmits the captured images to the server 20x as play video data.
  • the server 20x acquires the play video data (step S204).
  • the acquired play video data is stored in the play history DB 29.
  • the server 20x also extracts user skeletal data, which is the movement of the user's skeleton, from the play video data (step S205).
  • the extracted user skeletal data is stored in the play history DB 29.
  • the server 20x determines whether the user is in a dangerous state based on the play video data and the user skeletal data (step S206). If a dangerous state such as the user falling is identified (step S206; Yes), the server 20x obtains the contact information of the preset transmission target from the user DB 27, transmits text data or the like indicating the dangerous state, and ends the exercise promotion process.
  • step S206 the server 20x calculates a score and a reward when the user finishes exercising, and transmits data on the score and reward to the display device 3 via the exercise promotion device 1x (step S208).
  • the display device 3 displays the score and reward as results based on the received data.
  • the server 20x also calculates the user's degree of decline based on the play history stored in the play history DB 29.
  • the server 20x acquires the contact information of a preset transmission target from the user DB 27, transmits the degree of decline (step S209), and ends the exercise promotion process.
  • the server 20x can stimulate the motivation of each user to exercise by having the avatar of the user's favorite character appear in the model video, similar to the first embodiment. Furthermore, even elderly users can easily exercise without having to perform complex operations using a controller.
  • first to fourth modified examples of the first embodiment can also be applied to the second embodiment by replacing the processing of the exercise promotion device 1 with the server 20x.
  • the exercise promotion device 1 executes the exercise promotion process
  • the server 20x executes the exercise promotion process
  • the present invention is not limited to this, and the exercise promotion device 1y and the server 20y may cooperate to execute the exercise promotion process.
  • the same description as in the first embodiment will be omitted.
  • FIG. 9 is a block diagram showing the functional configuration of the exercise promotion device 1y and the server 20y of the third embodiment.
  • the server 20y functionally comprises a voice instruction acquisition unit 70, a pre-settings acceptance unit 71, an avatar data acquisition unit 72, a skeleton video acquisition unit 73, a generation unit 74, and a model video output unit 75, and is realized by the processor 22 executing a program.
  • the server 20y generates model video data by combining the skeleton video data with the avatar data of the favorite person in response to the user's instructions obtained from the exercise promotion device 1y.
  • the generated model video data is transmitted by the server 20y to the display device 3 via the exercise promotion device 1y, and is displayed as a model video.
  • the voice instruction acquisition unit 70 acquires user instructions from the exercise promotion device 1y. Note that the voice instruction acquisition unit 70 can acquire instructions from the exercise promotion device 1y in real time via the network 5.
  • the pre-settings receiving unit 71 acquires motion range data indicating the range of motion of the user's body from the exercise promotion device 1y and accepts it as a pre-setting.
  • the exercise promotion device 1y acquires the user's motion range data as a pre-setting, it transmits the user's motion range data to the server 20y.
  • the user's motion range data is stored in the user DB 27 in association with the user ID.
  • the avatar data acquisition unit 72 acquires avatar data related to the avatar of the favorite person to be used in the exercise example video data.
  • the avatar data is stored in the user DB 27 in association with the user ID.
  • the transmitting unit 91 of the exercise promotion device 1y which will be described later, transmits a link for selecting an avatar to the transmission target in advance, and registers the avatar face image data and avatar voice data via the link so that the server 20y can receive them.
  • the skeletal video acquisition unit 73 acquires skeletal video data stored in the skeletal video DB 28.
  • the skeletal video acquisition unit 73 acquires skeletal video data corresponding to the movement within the user's range of motion from the skeletal video DB 28 based on the user's range of motion data.
  • the generation unit 74 generates model video data in which the avatar of the favorite person performs the exercise movements of the user by combining the avatar of the favorite person generated from the avatar data with the skeletal video data.
  • the model video output unit 75 transmits model video data to the display device 3 via the exercise promotion device 1y and plays the model video to display the model video.
  • the exercise promotion device 1y receives model video data from the server 20y, it transmits the model video data to the display device 3 to play it, and causes the display device 3 to display the model video.
  • the exercise promotion device 1y functionally comprises an audio instruction acquisition unit 85, a play video acquisition unit 86, a skeleton extraction unit 87, a score calculation unit 88, a reward calculation unit 89, a result output unit 90, and a transmission unit 91, and is realized by the processor 22 executing a program.
  • the exercise promotion device 1y calculates a score and reward for the user's movements based on the captured play video data and the model video data acquired from the server 20y. The calculated score and data related to the reward are transmitted to the display device 3 and displayed as a result. The exercise promotion device 1y also calculates the user's degree of decline and identifies dangerous conditions based on the play video data and the user's skeletal data, and transmits the degree of decline and dangerous conditions to a transmission target as necessary.
  • the voice instruction acquisition unit 85 recognizes and acquires instructions from the user based on user voice data, which is the user's voice.
  • the gameplay video acquisition unit 86 acquires the captured gameplay video data.
  • the gameplay video data is tagged with the user ID by the gameplay video acquisition unit 86 and transmitted to the server 20y, and is stored in the play history DB 29 in association with the user ID and the play date and time.
  • the skeleton extraction unit 87 extracts user skeleton data that represents the movement of the user's skeleton from the gameplay video data.
  • the user skeleton data is sent to the server 20y in a state where it is tagged with the user ID and identification information of the gameplay video data by the skeleton extraction unit 87, and is stored in the play history DB 29 in association with the user ID and the gameplay video data.
  • the score calculation unit 88 calculates the similarity based on the model skeleton data and the user skeleton data, and calculates a play score according to the calculated similarity.
  • the score is sent to the server 20y with the user ID and identification information of the play video data tagged by the score calculation unit 88, and is stored in the play history DB 29 in association with the user ID and the play video data.
  • the reward calculation unit 89 obtains the play history stored in the play history DB 29 from the server 20y, calculates the user's growth level based on the play history, and calculates a reward from the growth level.
  • the reward is sent to the server 20y tagged with the user ID and identification information of the play video data by the reward calculation unit 89, and is stored in the play history DB 29 in association with the user ID and the play video data.
  • the result output unit 90 transmits data related to the score and reward to the display device 3 at any timing, and displays the score and reward as the results.
  • the transmission unit 91 acquires in advance the contact information of the transmission target stored in the user DB 27 from the server 20y. The transmission unit 91 then transmits a link for selecting an avatar to the transmission target. The transmission unit 91 also acquires the play history stored in the play history DB 29 from the server 20y, and transmits the user's degree of decline calculated based on the play history to the transmission target. The transmission unit 91 also transmits the user's dangerous state identified based on the play video data and the user skeletal data to the transmission target.
  • Fig. 10 is a flowchart of the exercise promotion process performed by the exercise promotion device 1y and the server 20y in cooperation with each other. This process is realized by the processor 12 shown in Fig. 2(a) and the processor 22 shown in Fig. 2(b) executing their respective programs prepared in advance.
  • the server 20y accepts the user's range of motion data as a pre-setting via the exercise promotion device 1y. Then, based on the user's range of motion data, the server 20y acquires skeletal video data corresponding to the movements within the user's range of motion from the skeletal video DB 28 (step S301). The server 20y also acquires the avatar face image data and avatar voice data of the favorite via a link related to avatar selection that was previously transmitted to the transmission target. As a result, the server 20y acquires avatar data for generating an avatar of the favorite (step 302).
  • the server 20y generates model video data by combining the avatar generated from the avatar data with the skeleton video data, and transmits the model video data to the display device 3 via the exercise promotion device 1y (step S303).
  • the display device 3 can display the model video by playing back the received model video data. The user performs exercises in accordance with the movements of the avatar of their favorite person that appears in the model video.
  • the exercise promotion device 1y captures the user's movements in accordance with the model video and acquires the captured image as play video data (step S304).
  • the acquired play video data is stored in the play history DB29.
  • the exercise promotion device 1y also extracts user skeletal data, which is the movement of the user's skeleton, from the play video data (step S305).
  • the extracted user skeletal data is stored in the play history DB29.
  • the exercise promotion device 1y determines whether the user is in a dangerous state based on the play video data and the user skeletal data (step S306). If a dangerous state such as the user falling is identified (step S306; Yes), the exercise promotion device 1y acquires the contact information of the preset transmission target from the server 20y, transmits text data or the like indicating the dangerous state, and ends the exercise promotion process (step S307).
  • step S306 the exercise promotion device 1y calculates a score and reward when the user finishes exercising, and transmits them to the display device 3 to display the results (step S308).
  • the exercise promotion device 1y also obtains a play history from the server 20y and calculates the degree of decline of the user.
  • the exercise promotion device 1 then obtains the contact information of a preset transmission target from the server 20y and transmits the degree of decline (step S309). This ends the exercise promotion process.
  • the functional configuration is not limited to that shown in FIG. 9, and it is possible to arbitrarily set which of the functions of the exercise promotion device 1y and the server 20y the voice instruction acquisition unit, the advance setting acceptance unit, the avatar data acquisition unit, the skeleton video acquisition unit, the generation unit, the model video output unit, the play video acquisition unit, the skeleton extraction unit, the score calculation unit, the reward calculation unit, the result output unit, and the transmission unit are.
  • first to fourth modified examples of the first embodiment can also be applied to the third embodiment by replacing the processing of the exercise promotion device 1 with processing performed in cooperation between the exercise promotion device 1y and the server 20y.
  • the motivation to exercise can be stimulated by having the avatar of each user's favorite appear in the model video. Furthermore, even if the user is elderly, they can easily exercise without having to perform complex operations using a controller.
  • An avatar data acquisition means for acquiring avatar data relating to an avatar to be used for exercise example video data;
  • a skeleton motion picture acquiring means for acquiring skeleton motion picture data which is a motion picture related to the skeleton motion of the exercise performed by the user;
  • a generating means for generating model video data of the avatar performing an exercise by combining an avatar generated from the avatar data with the skeleton video data;
  • a model video output means for outputting the model video data;
  • a play video acquisition means for acquiring play video data which is a video obtained by capturing a user's movements in accordance with the model video data;
  • a skeleton extraction means for extracting user skeleton data representing a skeleton movement of the user from the play video data;
  • a score calculation means for calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data;
  • a result output means for outputting the score as a result;
  • An exercise promotion device compris
  • Appendix 2 a transmission means for transmitting a link related to the selection of the avatar to a preset recipient;
  • the exercise promotion device described in Appendix 1 wherein the avatar data acquisition means acquires avatar face image data and avatar voice data via the link, and acquires the avatar data by generating a 3D model based on the avatar face image data and a synthetic voice based on the avatar voice data.
  • the robot further includes a preset setting receiving means for receiving a preset setting of the user's range of motion, 2.
  • the exercise promotion device according to claim 1, wherein the score calculation means calculates the score taking into account a range of motion of the user.
  • the robot further includes a preset setting receiving means for receiving a preset setting of the user's range of motion,
  • the exercise promotion device according to claim 1, wherein the skeletal video acquisition means acquires skeletal video data corresponding to exercise within the user's range of motion.
  • (Appendix 5) a play history storage means for storing the play video data and the user skeleton data as a play history relating to the user's movements; a reward calculation means for calculating a growth level of the user based on the play history and calculating a reward from the growth level, 2.
  • the exercise promotion device according to claim 1, wherein the result output means outputs the reward as a result.
  • (Appendix 6) a play history storage means for storing the user's skeleton data and the score as a play history relating to the user's movements; and a transmission means for calculating the degree of decline of the user based on the play history and transmitting the degree of decline of the user to a predetermined transmission target.
  • (Appendix 7) a play history storage means for storing the play video data and the user skeleton data as a play history relating to the user's movements; and a weak exercise specification means for specifying a weak exercise of the user based on the play history, the skeletal video acquisition means acquires skeletal video data optimized to supplement the exercise that the user is not good at, using a machine learning model trained to output the skeletal video data in response to an input of the exercise that the user is not good at;
  • the exercise promotion device according to claim 1, wherein the result output means outputs a list of services that recommend skeletal animation data optimized to supplement exercises that the user is not good at.
  • Appendix 8 An exercise promotion device as described in Appendix 1, comprising a transmission means for transmitting the user's dangerous state to a predetermined transmission target when a dangerous state of the user is identified based on the play video data and the user skeletal data.
  • the exercise promotion device includes a display device,
  • the model video output means displays a model video based on the model video data on the display device, 2.
  • the exercise promotion device (Appendix 10) 2.
  • the exercise promotion device according to claim 1, further comprising a voice instruction acquisition means for recognizing and acquiring a user's instruction to the exercise promotion device based on user voice data which is the user's voice.
  • (Appendix 11) Acquire avatar data regarding an avatar to be used in exercise example video data; Acquire skeletal video data, which is a video relating to skeletal movements of an exercise performed by a user; generating model video data of the avatar performing an exercise by synthesizing the avatar generated from the avatar data with the skeleton video data; Output the model video data, Acquire play video data, which is a video capturing a user's movements in accordance with the model video data; extracting user skeletal data representing skeletal movements of the user from the play video data; Calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; The exercise promotion method outputs the score as a result.
  • (Appendix 12) Acquire avatar data regarding an avatar to be used in exercise example video data; Acquire skeletal video data, which is a video relating to skeletal movements of an exercise performed by a user; generating model video data of the avatar performing an exercise by synthesizing the avatar generated from the avatar data with the skeleton video data; Output the model video data, Acquire play video data, which is a video capturing a user's movements in accordance with the model video data; extracting user skeletal data representing skeletal movements of the user from the play video data; Calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; A recording medium having recorded thereon a program for causing a computer to execute a process for outputting the score as a result.
  • An avatar data acquisition means for acquiring avatar data relating to an avatar to be used for exercise example video data
  • a skeleton motion picture acquiring means for acquiring skeleton motion picture data which is a motion picture related to the skeleton motion of the exercise performed by the user
  • a generating means for generating model video data of the avatar performing an exercise by combining an avatar generated from the avatar data with the skeleton video data
  • a model video output means for outputting the model video data
  • a server comprising:
  • a system comprising the server according to claim 13 and an exercise promotion device,
  • the exercise promotion device includes: A model video output means for outputting the model video data; a play video acquisition means for acquiring play video data which is a video obtained by capturing a user's movements in accordance with the output model video data; a skeleton extraction means for extracting user skeleton data representing a skeleton movement of the user from the play video data; a score calculation means for calculating a score based on model skeleton data representing skeleton movements included in the skeleton video data and the user skeleton data; a result output means for outputting the score as a result;
  • a system comprising:

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

運動促進装置において、アバターデータ取得手段は、運動のお手本動画データに使用するアバターに関するアバターデータを取得する。骨格動画取得手段は、ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する。生成手段は、アバターデータにより生成したアバターと、骨格動画データとを合成することで、当該アバターが運動を行うお手本動画データを生成する。お手本動画出力手段は、お手本動画データを出力する。プレイ動画取得手段は、お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得する。骨格抽出手段は、プレイ動画データからユーザの骨格の動きを表すユーザ骨格データを抽出する。スコア算出手段は、骨格動画データに含まれる骨格の動きを表すお手本骨格データと、ユーザ骨格データとに基づいてスコアを算出する。結果出力手段は、スコアを結果として出力する。

Description

運動促進装置、運動促進方法、及び、記録媒体
 本発明は、ユーザの運動を促進する装置に関する。
 高齢化社会に伴い、運動不足の高齢者が増えている。人は、運動不足による疾患等で体が不自由になると、できないことが増えて自信がなくなり、精神的にも弱くなってしまう。そのため、高齢者が健康な心と体を維持するためには、体調管理を心がけ、適度に運動することが望ましい。特許文献1には、体操を行う評価対象者の体調管理を支援する装置が記載されている。
特開2023-55313号公報
 近年では、運動を促進する様々なゲームが存在している。しかし、ゲームの設定や操作は複雑で難易度が高い。また、ゲーム機が身近ではない高齢者にとっては、コントローラを持つことさえ大きなハードルとなっている。
 本発明の目的の1つは、簡単な操作でユーザ毎に最適化された運動の動画を表示することで、ユーザの意欲を喚起して運動を促進することにある。
 上記の課題を解決するため、本発明の一つの観点では、運動促進装置は、
 運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
 前記お手本動画データを出力するお手本動画出力手段と、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得するプレイ動画取得手段と、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出する骨格抽出手段と、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出するスコア算出手段と、
 前記スコアを結果として出力する結果出力手段と、を備える。
 本発明の他の観点では、運動促進方法は、
 運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
 前記お手本動画データを出力し、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
 前記スコアを結果として出力する。
 本発明の他の観点では、記録媒体は、
 運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
 前記お手本動画データを出力し、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
 前記スコアを結果として出力する処理をコンピュータに実行させるプログラムを記録する。
 本発明のさらに他の観点では、サーバは、
 運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
 前記お手本動画データを出力するお手本動画出力手段と、を備える。
 本発明によれば、簡単な操作でユーザ毎に最適化された運動の動画を表示することで、ユーザの意欲を喚起して運動を促進することができる。
運動促進システムの構成を示す。 運動促進装置とサーバのハードウェア構成を示す。 第1実施形態における運動促進装置の機能構成を示す。 骨格のモデルと各部位の座標を説明する図である。 第1実施形態における運動促進処理のフローチャートである。 第6変形例における運動促進システムの構成を示す。 第2実施形態におけるサーバの機能構成を示す。 第2実施形態における運動促進処理のフローチャートである。 第3実施形態における運動促進装置及びサーバの機能構成を示す。 第3実施形態における運動促進処理のフローチャートである。
 以下、図面を参照しながら、本発明の実施の形態について説明する。
 [第1実施形態]
 (構成)
 図1は、本発明の運動促進装置を適用した運動促進システムの構成を示す。運動促進システム100は、ユーザの「推し」のアバターが登場する動画を用いて、ユーザの運動を促進するシステムである。ここで、「推し」とは、存在が魅力的で人に薦めたいと思うほどに好感を持っている人物やキャラクターのことであり、本発明では、ユーザにとって身近な存在である子供、孫、亡くなった配偶者、ペット等も含むものとする。また、動画は、体操、フィットネス、ダンス等を所定のアバターが行う映像であり、運動促進システム100により、ユーザは、動画を見ながらアバターの動きを真似する運動ゲームを行うことができる。
 なお、本実施形態では、ユーザを高齢者としているが、本発明はこれに限定されるものではなく、老若男女に適用することができる。
 運動促進システム100は、表示装置3に無線又は有線により接続された運動促進装置1と、サーバ20とがインターネット等のネットワーク5を介してそれぞれ通信可能に接続されている。
 運動促進装置1は、種々のデータに対する処理、記憶及び送受信を行う情報処理装置である。具体的に、運動促進装置1は、サーバ20からユーザが行う運動の骨格の動きに関する骨格動画データを取得し、推しのアバターデータと合成することでお手本動画データを生成する。そして、運動促進装置1は、生成したお手本動画データを表示装置3に送信して表示させる。これにより、ユーザは、表示装置3で再生されるお手本動画を見ながら、推しのアバターの動きを真似する運動ゲームを行うことができる。
 また、運動促進装置1は、お手本動画に合わせて動いたユーザの動きに関する動画であるプレイ動画データを取得する。そして、運動促進装置1は、プレイ動画データと骨格動画データに基づいてユーザの動きに対するスコアを算出し、表示装置3に結果として表示させる。
 本実施形態において、表示装置3の好適な例は、テレビであるが、お手本動画や結果を表示させることができれば、スマートフォン、パーソナルコンピュータ、汎用のタブレットPC(パソコン)であってもよい。
 サーバ20は、1つ以上の情報処理装置から構成されており、ユーザが行う運動に関する種々のデータに対する処理、記憶及び送受信を行う情報処理装置である。詳細は後述するが、サーバ20は、ユーザデータベース(以下、データベースを「DB」ともいう。)27、骨格動画DB28及びプレイ履歴DB29を有する。
 図2(a)は、運動促進装置1のハードウェア構成を示すブロック図である。図示のように、運動促進装置1は、インタフェース(Interface)11と、プロセッサ12と、メモリ13と、記録媒体14と、入力部15と、撮像部16を備える。
 インタフェース11は、表示装置3やネットワーク5を介したサーバ20との間でデータの授受を行う。インタフェース11は、表示装置3に種々のデータを送信して表示させたり、サーバ20から種々のデータを受信したりする際に使用される。
 プロセッサ12は、CPU(Central Processing Unit)などのコンピュータであり、予め用意されたプログラムを実行することにより、運動促進装置1の全体を制御する。メモリ13は、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。メモリ13は、プロセッサ12により実行されるプログラムを記憶する。また、メモリ13は、プロセッサ12による各種の処理の実行中に作業メモリとしても使用される。
 記録媒体14は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、運動促進装置1に対して着脱可能に構成される。記録媒体14は、プロセッサ12が実行する各種のプログラムを記録している。運動促進装置1が運動促進処理を実行する際には、記録媒体14に記録されているプログラムがメモリ13にロードされ、プロセッサ12により実行される。入力部15は、マイクを備え、入力されたユーザの音声であるユーザ音声データにより、ユーザの指示を認識する。なお、本実施形態では、入力部15は、ユーザ音声データに基づいてユーザの指示を認識することとしているが、本発明はこれに限定されるものではなく、キーボード、マウス、タッチパネルなどにより入力されたデータに基づいてユーザの指示を認識することとしてもよい。撮像部16は、カメラを備え、撮像された静止画データや動画データを取得する。
 図2(b)は、サーバ20のハードウェア構成を示すブロック図である。図示のように、サーバ20は、インタフェース(Interface)21と、プロセッサ22と、メモリ23と、記録媒体24と、表示部25と、入力部26と、を備える。なお、これらの構成要素と、ユーザDB27、骨格動画DB28及びプレイ履歴DB29とは、バスを介して相互に接続されている。
 インタフェース21は、ネットワーク5を介して運動促進装置1との間でデータの授受を行う。プロセッサ22は、CPUなどのコンピュータであり、予め用意されたプログラムを実行することにより、サーバ20の全体を制御する。メモリ23は、ROM、RAMなどにより構成される。メモリ23は、プロセッサ22により実行されるプログラムを記憶する。また、メモリ23は、プロセッサ22による各種の処理の実行中に作業メモリとしても使用される。
 記録媒体24は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、運動促進装置1に対して着脱可能に構成される。記録媒体24は、プロセッサ22が実行する各種のプログラムを記録している。
 表示部25は、例えばLCD(Liquid Crystal Display)などで、所定の画像を表示する。入力部26は、キーボード、マウス、タッチパネルなどで、サーバ20を管理するオペレータが使用する。
 ユーザDB27は、ユーザを識別するユーザIDに対応付けてユーザに関する情報を記憶している。具体的に、ユーザDB27は、ユーザID、ユーザの体の可動範囲を示す可動範囲データ、ユーザの指示により生成されたアバターデータ、ユーザに関する事項を送信する送信対象の連絡先、送信対象の関係性等を対応付けて記憶している。
 可動範囲データは、ユーザが運動する前に事前設定として入力したユーザの体の可動範囲を示すデータである。具体的に、可動範囲データは、「上半身」、「下半身」、「右肩90度以上を除く」等、ユーザの体の可動範囲を認識することができれば、そのデータ形式は任意に設定することができる。アバターデータは、推しのアバターを生成することができるデータである。
 送信対象とは、アバターの選択に関するリンク、運動促進装置1が認識したユーザの体の衰え度や危険度等を送信する対象であって、具体的には、ユーザ本人、家族、ケアマネージャー、かかりつけの医師などが挙げられる。連絡先は送信対象の電話番号、メールアドレス等であり、関係性は「本人」、「子」、「孫」、「ケアマネージャー」、「かかりつけ医」等となる。
 骨格動画DB28は、ユーザが行う運動の骨格の動きに関する動画である骨格動画データを識別する動画IDに対応付けて、骨格動画データに関する情報を記憶している。具体的に、骨格動画DB28は、動画ID、骨格動画データによる運動の可動範囲を示す可動範囲データ、骨格動画データにより鍛えられる体の部位である強化部位、骨格動画データによる運動の負荷を示す運動強度等を対応付けて記憶している。
 プレイ履歴DB29は、お手本動画に合わせてユーザが行った運動(以下、「プレイ」ともいう。)に関する情報をプレイ履歴として記憶している。具体的に、プレイ履歴DB29は、プレイ日時、プレイを撮像した動画であるプレイ動画データ、プレイ動画データから抽出したユーザの骨格の動きを表すユーザ骨格データ、スコア等を対応付けて記憶している。
 なお、サーバ20は、説明の便宜上、ユーザDB27、骨格動画DB28及びプレイ履歴DB29を有しているが、本発明はこれに限定されるものではなく、必要なデータを取得可能であれば、DBの種類やDBのデータ構成は任意である。例えば、ユーザDB27やプレイ履歴DB29は、運動促進装置1が有することとしてもよい。
 図3は、運動促進装置1の機能構成を示すブロック図である。運動促進装置1は、機能的には、音声指示取得部30と、事前設定受付部31と、アバターデータ取得部32と、骨格動画取得部33と、生成部34と、お手本動画出力部35と、プレイ動画取得部36と、骨格抽出部37と、スコア算出部38と、報酬算出部39と、結果出力部40と、送信部41と、を備え、プロセッサ12がプログラムを実行することにより実現される。
 運動促進装置1は、ユーザの音声による指示に応じて、サーバ20から取得した骨格動画データと、推しのアバターデータと合成することでお手本動画データを生成し、生成したお手本動画データを表示装置3に表示させる。また、運動促進装置1は、撮像したプレイ動画データと骨格動画データに基づいて、ユーザの動きに対するスコアやプレイに関連する報酬を算出し、表示装置3に結果として表示させる。また、運動促進装置1は、プレイ動画データやユーザ骨格データに基づいて認識した、ユーザの衰え度や危険状態を送信対象に送信する。
 音声指示取得部30は、ユーザによる指示を、ユーザの音声であるユーザ音声データに基づいて認識し、取得する。ここで、ユーザによる指示とは、具体的に、運動促進装置1の起動及び終了、ユーザの体の可動範囲の入力、アバターの選択、お手本動画の選択、運動時間の指定、お手本動画の再生及び停止等を含むものとする。
 事前設定受付部31は、ユーザの体の可動範囲を示す可動範囲データを事前設定として受け付ける。可動範囲データの設定方法は、ユーザが音声により可動範囲を入力する方法、可動範囲別のお手本動画をユーザが選択する方法、ユーザによる基本動作を撮像した動画データに基づいて可動範囲を特定する方法等、任意の方法を適用することができる。なお、ユーザの可動範囲データは、事前設定受付部31によりユーザIDがタグ付けされた状態でサーバ20に送信され、ユーザDB27に記憶される。
 アバターデータ取得部32は、推しのアバターを生成するためのアバターデータを取得する。具体的に、アバターデータ取得部32は、予め送信対象に送信されたリンクを介して、推しの顔に関する複数視点からの顔画像データ(以下、「アバター顔画像データ」ともいう。)と、推しの声に関する複数の音声データ(以下、「アバター音声データ」ともいう。)と、を取得する。そして、アバターデータ取得部32は、アバター顔画像データに基づく3Dモデルと、アバター音声データに基づく合成音声とを生成することで、推しのアバターを生成するアバターデータを取得する。なお、アバターデータは、アバターデータ取得部32によりユーザIDがタグ付けされた状態でサーバ20に送信され、ユーザDB27に記憶される。
 ユーザが高齢者の場合、アバター顔画像データやアバター音声データを入力することが難しいため、後述する送信部41は、予め送信対象として設定されたユーザの子供や孫が使用するスマートフォン等の連絡先に、アバターの選択に関するリンクを送信しておく。ユーザの子供や孫がリンクを介してアバター顔画像データ及びアバター音声データを登録することで、運動促進装置1は、アバター顔画像データ及びアバター音声データを取得することができる。
 骨格動画取得部33は、骨格動画DB28に記憶された骨格動画データをサーバ20から取得する。事前設定受付部31によりユーザの可動範囲データを受け付けている場合、骨格動画取得部33は、ユーザの可動範囲データに基づいて骨格動画DB28から、ユーザの可動範囲内の運動に対応する骨格動画データを取得する。なお、骨格動画取得部33が取得する骨格動画データの優先順位は、強化部位や運動強度に基づいて予め設定されていてもよい。この場合、骨格動画取得部33は、優先順位と、ユーザの可動範囲データとを考慮して骨格動画DB28から所定の骨格動画データを取得する。
 生成部34は、アバターデータにより生成した推しのアバターと、骨格動画データとを合成することで、ユーザが行う運動の動きを推しのアバターが行うお手本動画データを生成する。
 お手本動画出力部35は、お手本動画データを表示装置3に送信して再生させることで、お手本動画を表示させる。
 プレイ動画取得部36は、表示装置3に表示されたお手本動画に合わせて動いたユーザの動きを撮像したプレイ動画データを取得する。なお、ユーザは、表示装置3を見ながらお手本動画に登場する推しのアバターの動きに合わせて動くものであり、運動促進装置1のカメラは、ユーザの動きを撮像可能な位置に設置されているものとする。また、プレイ動画データは、プレイ動画取得部36によりユーザIDがタグ付けされた状態でサーバ20に送信され、ユーザID及びプレイ日時に対応付けてプレイ履歴DB29に記憶される。
 骨格抽出部37は、プレイ動画データからユーザの骨格の動きを表すユーザ骨格データを抽出する。具体的に、骨格抽出部37は、公知の骨格検出方法を用いて、プレイ動画データの各フレームの画像からユーザの骨格を構成する各部位の座標を抽出し、各部位の座標の時系列データに基づいてユーザ骨格データを抽出する。図4(a)は、ユーザの骨格を構成する頭、首、手等の部位の座標を認識し、それらをつなぎ合わせることでユーザの骨格をモデル化した例である。本実施形態では、体の部位を15か所に分類して各部位の座標を認識している。また、モデル化した骨格を構成する各部位の座標は、図4(b)に示すように、X、Y及びZ座標上のそれぞれの数値で構成される。このとき、ユーザの体の重心位置を原点としてもよい。
 なお、ユーザ骨格データは、骨格抽出部37によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20に送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 スコア算出部38は、おお手本骨格データと、ユーザ骨格データとに基づいて類似度を算出し、算出した類似度に応じたプレイのスコアを算出する。お手本骨格データは、お手本動画データの生成に使用した骨格動画データに含まれる骨格の動きを表す骨格データである。具体的に、スコア算出部38は、お手本骨格データの各部位の座標と、ユーザ骨格データの各部位の座標とを時系列データに基づいて比較することで類似度を算出する。スコア算出部38は、類似度が高いほどユーザがお手本動画の推しのアバターと同じ動きをしていると判断しスコアを高く算出する。
 なお、お手本骨格データは、骨格動画データに対応付けて骨格動画DB28に記憶されていてもよいし、骨格動画データやお手本動画データから公知の骨格検出方法を用いて抽出することとしてもよい。また、本実施形態では、類似度を、各部位の座標の比較により算出しているが、本発明はこれに限定されるものではなく、機械学習を用いて各部位の座標の特徴量に基づき算出する等、任意の方法を適用することができる。
 また、スコアは、スコア算出部38によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20に送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 報酬算出部39は、プレイ履歴DB29に記憶されたプレイ履歴をサーバ20から取得し、プレイ履歴に基づいてユーザの成長度を算出し、成長度から報酬を算出する。具体的に、報酬算出部39は、時系列に基づくユーザ骨格データの差分から運動強度等の成長を表す成長度を算出する。報酬算出部39は、成長度が高いほど、報酬を高く算出する。ここで、報酬とは、例えば、推しのアバターの衣装を着せ替えられるといった特典と交換できるポイント等である。なお、報酬は、報酬算出部39によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20に送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 結果出力部40は、お手本動画の再生が終了、すなわちユーザによる運動が終了等、任意のタイミングで、表示装置3にスコアや報酬に関するデータを送信し、表示させる。表示装置3は、受信したデータに基づいて、結果としてスコアや報酬を表示する。
 送信部41は、サーバ20から、ユーザDB27に記憶された送信対象の連絡先を予め取得しておく。そして、送信部41は、所定のタイミングで、アバターの選択に関するリンクを送信対象に送信する。また、送信部41は、プレイ履歴DB29に記憶されたプレイ履歴をサーバ20から取得し、所定のタイミングで、プレイ履歴に基づいて算出したユーザの衰え度を送信対象に送信する。具体的に、送信部41は、時系列に基づくユーザ骨格データの差分から体力の衰えを表す衰え度を算出する。また、送信部41は、プレイ動画データやユーザ骨格データに基づいて特定したユーザの危険状態を送信対象に送信する。具体的に、送信部41は、ユーザ骨格データから転倒を検知した場合や、プレイ動画データに「助けて」といった危険を表す音声データが含まれている場合に危険状態を特定し、送信対象に危険状態を表すテキストデータや動画データ等を送信する。危険状態は特定されたら直ちに送信対象に送信されることが望ましい。
 (運動促進処理)
 次に運動促進装置1による運動促進処理について説明する。図5は、運動促進装置1による運動促進処理のフローチャートである。この処理は、図2(a)に示すプロセッサ12が予め用意されたプログラムを実行することにより実現される。
 まず、運動促進装置1は、所定の方法により、ユーザの可動範囲データを事前設定として受け付ける。そして、運動促進装置1は、ユーザの可動範囲データに基づき、ユーザの可動範囲内の運動に対応する骨格動画データをサーバ20から取得する(ステップS101)。また、運動促進装置1は、予め設定された送信対象にアバターの選択に関するリンクを送信し、リンクを介して、推しのアバター顔画像データ及びアバター音声データを取得する。これにより、運動促進装置1は、推しのアバターを生成するためのアバターデータを取得する(ステップS102)。
 そして、運動促進装置1は、アバターデータにより生成したアバターと、骨格動画データとを合成することでお手本動画データを生成し、表示装置3に送信して再生させることでお手本動画を表示させる(ステップS103)。ユーザは、お手本動画に登場する推しのアバターの動きに合わせた運動を行う。
 運動促進装置1は、お手本動画に合わせて動いたユーザの動きを撮像し、プレイ動画データとして取得する(ステップS104)。取得したプレイ動画データは、プレイ履歴DB29に記憶される。また、運動促進装置1は、プレイ動画データから、ユーザの骨格の動きであるユーザ骨格データを抽出する(ステップS105)。抽出したユーザ骨格データは、プレイ履歴DB29に記憶される。
 運動促進装置1は、プレイ動画データやユーザ骨格データに基づいて、ユーザが危険状態であるか否かを判定する(ステップS106)。ユーザの転倒といった危険状態を特定した場合(ステップS106;Yes)、運動促進装置1は、サーバ20から予め設定された送信対象の連絡先を取得して危険状態を示すテキストデータ等を送信し、運動促進処理を終了する(ステップS107)。
 一方、危険状態を特定しなかった場合(ステップS106;No)、運動促進装置1は、ユーザによる運動が終了したタイミングでスコア及び報酬を算出し、表示装置3に送信して結果として表示させる(ステップS108)。また、運動促進装置1は、サーバ20からプレイ履歴を取得し、ユーザの衰え度を算出する。そして、運動促進装置1は、サーバ20から予め設定された送信対象の連絡先を取得し、衰え度を送信する(ステップS109)。これにより、運動促進処理を終了する。
 なお、本実施形態には記載されていないが、ユーザの希望運動時間を予め設定することとしてもよい。この場合、具体的に、運動促進装置1は、起動後に音声データ又は表示装置3を介したテキストデータにより「どのくらいの時間運動する?」といった質問をユーザに投げかける。これに対し、ユーザは「30分」といった時間を声に出すことで希望の運動時間を指定することができる。
 以上のように、運動促進装置1は、各ユーザの推しのアバターをお手本動画に登場させることで、運動意欲を喚起することができる。また、推しのアバターは、ユーザの子、孫、亡くなった配偶者など身近な存在を設定することができるため、ユーザは、大切な人に近くで応援されている気持ちで運動を行うことができる。また、ユーザのプレイに応じてスコアや報酬を表示させることで、運動意欲を継続させることができる。また、運動促進装置1は、ユーザのプレイに基づいて衰え度や危険状態を認識すると、ユーザの家族、ケアマネージャー、かかりつけ医等に連絡することができる。そのため、ユーザの家族やかかりつけ医は、衰え度や危険状態に応じたヘルスケアをすることができる。
 ユーザは、運動促進装置1に対する指示を音声により行うことができる。また、推しのアバターを生成するために必要なデータも、予め送信対象を設定することで、ユーザの子や孫がリンクを介して登録することができる。そのため、ユーザが高齢者であってもコントローラを使用した複雑な操作を行うことなく、容易に運動を行うことができる。
 [第1変形例]
 上記の第1実施形態では、運動促進装置1は、ユーザ可動範囲データに対応する骨格動画データによりお手本動画データを生成することとしているが、本発明はこれに限定されるものではなく、ユーザ可動範囲データに基づいてスコアを算出することとしてもよい。具体的に、ユーザ可動範囲データが「右肩90度以上を除く」である場合、所定のスコア算出時点において、お手本動画の推しのアバターが腕を高く上げているにも関わらず、プレイ動画のユーザが腕を半分程度の高さにしか上げていなかったとしても、運動促進装置1は減点することなく最大スコアを算出する。これによれば、ユーザの可動範囲外の動きを行うお手本動画であっても、ユーザの可動範囲を考慮したスコアが表示されるため、ユーザはやる気を失うことなく運動を行うことができる。
 [第2変形例]
 上記の第1実施形態では、お手本動画において、ユーザが行う運動を推しのアバターが行うこととしている。これにより、推しのアバターがトレーナーとなってユーザの動きを応援したり、ユーザのやる気を喚起したりすることができる。しかし、本発明はこれに限定されるものではなく、ユーザが行う運動を行うトレーナーのアバターは、予め設定されたキャラクターによる複数のアバター候補から選択することとしてもよい。
 具体的に、運動促進装置1は、複数のアバター候補の画像を番号とともに表示装置3に表示させ、音声データ又はテキストデータにより「今日はどのキャラと遊ぶ?」といった質問をユーザに投げかける。これに対し、ユーザは番号を声に出して読み上げることで、トレーナーのアバターを選択することができる。この場合、サーバ20の所定のDB等に各キャラクターのアバターデータが記憶されており、運動促進装置1は、アバターの選択結果としてユーザが選択したキャラクターのアバターデータをサーバ20から取得する。
 これによれば、ユーザは、アバター顔画像データ及びアバター音声データを登録する手間がなくなり、容易に好きなキャラクターのアバターをトレーナーとして運動を行うことができる。
 なお、1度生成したアバターデータはユーザDB27に記憶されているため、ユーザの推しのアバターをトレーナーのアバター候補としてもよい。
 [第3変形例]
 上記の第1実施形態では、表示装置3にお手本動画のみが表示されることとしているが、本発明はこれに限定されるものではなく、表示装置3の画面を2分割し、一方にお手本動画、他方にプレイ動画が表示されることとしてもよい。このとき、運動促進装置1は、推しのアバターとプレイ動画データとを合成することで、推しのアバターがユーザの動きを行うアバタープレイ動画データを生成して画面に表示することとしてもよい。この場合、お手本動画では、推しのアバターではなく、所定のトレーナーのアバターがお手本となる動きを行う。
 つまり、1つの画面上で、お手本動画では所定のトレーナーのアバターがお手本となる動きを行い、アバタープレイ動画では推しのアバターがユーザ自身の動きを行うようにすることができる。これによれば、推しのアバターがユーザ自身の動きをすることで、ユーザの運動に対する意欲を喚起することができる。このように、ユーザに応じて独自に生成した推しのアバターは、お手本動画におけるトレーナーのアバターとして用いることもできるし、アバタープレイ動画におけるユーザ自身のアバターとして用いることもできる。
 [第4変形例]
 上記の第1実施形態には記載されていないが、運動促進装置1は、強化部位を入力すると、当該強化部位を鍛えるために最適化された1つ以上の骨格動画データを出力する骨格動画出力モデルを構築することとしてもよい。骨格動画出力モデルの構築(生成)には、教師用データを用いる。教師用データは、骨格動画出力モデルの学習において入力される入力データと、当該入力データに対応する正解データとを対応付けたデータである。本変形例において、入力データは強化部位であり、正解データは当該強化部位を鍛える骨格動画データである。運動促進装置1は、入力データとして入力された強化部位に基づいて、当該強化部位を鍛える骨格動画データを出力するように骨格動画出力モデルを学習させる。機械学習の方法としては、例えば、CNN等のディープラーニングが挙げられる。
 また、運動促進装置1は、機能として、サーバ20を介して骨格動画DB28やプレイ履歴DB29を参照することでユーザの苦手運動を特定する苦手運動特定部と、苦手運動を補足するために鍛えるべき体の部位である強化部位を特定する強化部位特定部とを有することとしてもよい。具体的に、苦手部位特定部は、骨格動画データに対応する強化部位やプレイ履歴を参照し、ユーザ骨格データとスコアから、例えば、「スクワット」が苦手運動であることを特定する。また、強化部位特定部は、苦手運動を補足するために「大臀筋」が強化部位であることを特定する。
 そして、運動促進装置1は、強化部位特定部により特定された強化部位を入力することで、骨格動画出力モデルから骨格動画データを出力させる。ここで出力される骨格動画データは、ユーザの苦手運動を補足するために最適化された骨格運動データといえる。具体的に、運動促進装置1の結果出力部40は、苦手運動「スクワット」、強化部位「大臀筋」を示すテキストデータとともに、骨格動画出力モデルが出力した骨格動画データと推しのアバターを合成したお手本動画データを推奨するサービス一覧を生成する。そして、結果出力部40は、サービス一覧に関するデータを表示装置3に送信することで、サービス一覧を表示させる。
 なお、推奨するお手本動画データが複数ある場合、結果出力部40は、複数のお手本動画を番号とともに表示装置3に表示させ、音声データ又はテキストデータにより「どの運動をしたい?それともおまかせ?」といった質問をユーザに投げかける。これに対し、ユーザは「おまかせ」又は番号を声に出して読み上げることで、どのような運動がしたいかを任意に選択することができる。また、サービス一覧として推奨するお手本動画データは苦手運動に対応するものに限らず、ユーザが希望する運動時間に対応するものであってもよい。
 これによれば、運動促進装置1は、ユーザに対して各ユーザに応じたサービス一覧を提供し、苦手運動を補足するために最適化されたお手本動画や希望運動時間通りのお手本動画による運動を推奨することができる。
 なお、骨格動画出力モデルは、苦手運動を入力すると、苦手運動を補足するために最適化された骨格動画データを出力するように学習された機械学習モデルであってもよい。
 [第5変形例]
 上記の第1実施形態において、運動促進装置1は表示部を備えておらず、テレビ等の表示装置3に接続されている。しかし、本発明はこれに限定されるものではなく、表示部を備える運動促進装置を適用してもよい。表示部は、例えばLCDなどで、所定の画面を表示する。表示部を備える運動促進装置は、運動促進装置1と同様に、種々のデータに対する処理、記憶及び送受信を行う情報処理装置であって、例えば、運動促進処理を実行するアプリをインストールしたスマートフォンや汎用のタブレット等である。表示部を備える運動促進装置は、運動促進処理を実行することで、お手本動画データの生成し、当該表示部にお手本動画を表示することができる。また、表示部を備える運動促進装置は、プレイ動画データに基づくスコアを算出し、当該表示部に結果として表示することができる。
 [第6変形例]
 上記の第1実施形態において、運動促進装置1とサーバ20はネットワーク5を介して通信可能に接続された2台の端末であり、運動促進装置1が運動促進処理を実行しているが、本発明はこれに限定されるものではなく、サーバ20の機能を有する運動促進装置120が運動促進処理を実行することとしてもよい。運動促進装置120は、運動促進装置1と同様に、種々のデータに対する処理、記憶及び送受信を行う情報処理装置である。
 図6は、この場合の運動促進システム200の構成例を示す。運動促進装置120は、ユーザDB127、骨格動画DB128及びプレイ履歴DB129が接続されている。運動促進装置120は、運動促進処理を実行し、お手本動画データの生成及び出力と、プレイ動画データに基づくスコアの算出及び出力とを行うことができる。
 [第2実施形態]
 上記の第1実施形態では、運動促進装置1が運動促進処理を実行することで、お手本動画データの生成及び出力と、プレイ動画データに基づくスコアの算出及び出力とを行う。しかし、本発明はこれに限定されるものではなく、サーバ20xが運動促進処理を実行することで、お手本動画データの生成及び出力と、プレイ動画データに基づくスコアの算出及び出力とを行うこととしてもよい。なお、第2実施形態では、便宜上、第1実施形態と同様の説明は省略する。
 図7は、第2実施形態のサーバ20xの機能構成を示すブロック図である。なお、第2実施形態において、運動促進装置1xは、ユーザが行う運動に関する種々のデータに対する処理、記憶及び送受信を行う情報処理装置である。具体的に、運動促進装置1xは、ユーザの音声であるユーザ音声データに基づいて認識した指示をサーバ20xに送信する。また、運動促進装置1xは、事前設定としてユーザの可動範囲データを取得すると、当該ユーザの可動範囲データをサーバ20xに送信する。また、運動促進装置1xは、プレイ動画データを撮像すると、サーバ20xに送信する。
 サーバ20xは、機能的には、音声指示取得部50と、事前設定受付部51と、アバターデータ取得部52と、骨格動画取得部53と、生成部54と、お手本動画出力部55と、プレイ動画取得部56と、骨格抽出部57と、スコア算出部58と、報酬算出部59と、結果出力部60と、送信部61と、を備え、プロセッサ22がプログラムを実行することにより実現される。
 サーバ20xは、運動促進装置1xから取得したユーザの指示に応じて、骨格動画データと、推しのアバターデータと合成することでお手本動画データを生成する。生成したお手本動画データは、サーバ20xにより運動促進装置1xを介して表示装置3に送信され、お手本動画として表示される。また、サーバ20xは、運動促進装置1xから取得したプレイ動画データと骨格動画データに基づいて、ユーザの動きに対するスコアや報酬を算出する。算出したスコアや報酬に関するデータは、サーバ20xにより運動促進装置1xを介して表示装置3に送信され、結果として表示される。また、サーバ20xは、プレイ動画データやユーザ骨格データに基づいて、ユーザの衰え度の算出や危険状態の特定を行い、必要に応じて衰え度や危険状態を送信対象に送信する。
 音声指示取得部50は、運動促進装置1xからユーザの指示を取得する。ここで、ユーザによる指示とは、運動を開始するための運動促進装置1xの起動、ユーザの体の可動範囲の入力、アバターの選択、運動時間の指定、お手本動画の再生や停止等を含み、音声指示取得部50は、ネットワーク5を介してリアルタイムに運動促進装置1xから取得できるものとする。
 事前設定受付部51は、運動促進装置1xからユーザの体の可動範囲を示す可動範囲データを事前設定として受け付ける。なお、ユーザの可動範囲データは、ユーザIDと対応付けてユーザDB27に記憶される。
 アバターデータ取得部52は、運動のお手本動画データに使用する推しのアバターに関するアバターデータを取得する。なお、アバターデータは、ユーザIDと対応付けてユーザDB27に記憶される。
 なお、後述する送信部61は、予め送信対象にアバターの選択に関するリンクを送信し、リンクを介してアバター顔画像データ及びアバター音声データを登録することでサーバ20xが受信できるようにしておく。これにより、アバターデータ取得部52は、アバター顔画像データ及びアバター音声データに基づいてアバターデータを取得することができる。
 骨格動画取得部53は、骨格動画DB28に記憶された骨格動画データを取得する。事前設定受付部51によりユーザの可動範囲データを受け付けている場合、骨格動画取得部53は、ユーザの可動範囲データに基づいて骨格動画DB28から、ユーザの可動範囲内の運動に対応する骨格動画データを取得する。
 生成部54は、アバターデータにより生成した推しのアバターと、骨格動画データとを合成することで、ユーザが行う運動の動きを推しのアバターが行うお手本動画データを生成する。
 お手本動画出力部55は、運動促進装置1xを介して、お手本動画データを表示装置3に送信し、再生させることでお手本動画を表示させる。つまり、運動促進装置1xは、サーバ20xからお手本動画データを受信すると、当該お手本動画データを表示装置3に送信して再生させ、表示装置3上にお手本動画を表示させる。
 プレイ動画取得部56は、運動促進装置1xから、運動促進装置1xが撮像したプレイ動画データを取得する。プレイ動画データを取得するタイミングは任意であり、リアルタイムで取得することとしてもよい。なお、プレイ動画データは、ユーザID及びプレイ日時に対応付けてプレイ履歴DB29に記憶される。
 骨格抽出部57は、プレイ動画データからユーザの骨格の動きを表すユーザ骨格データを抽出する。なお、ユーザ骨格データは、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 スコア算出部58は、お手本骨格データと、ユーザ骨格データとに基づいて類似度を算出し、算出した類似度に応じたプレイのスコアを算出する。なお、スコアは、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 報酬算出部59は、プレイ履歴DB29に記憶されたプレイ履歴に基づいてユーザの成長度を算出し、成長度から報酬を算出する。なお、報酬は、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 結果出力部60は、任意のタイミングで、運動促進装置1xを介して、スコアや報酬に関するデータを表示装置3に送信し、スコアや報酬を結果として表示させる。つまり、運動促進装置1xは、サーバ20xからスコアや報酬に関するデータを受信すると、当該データを表示装置3に送信し、表示装置3上にスコアや報酬を表示させる。
 送信部61は、ユーザDB27を参照し、アバターの選択に関するリンクを送信対象に送信する。また、送信部61は、プレイ履歴DB29に記憶されたプレイ履歴に基づいて算出したユーザの衰え度を、ユーザDB27を参照して送信対象に送信する。また、送信部61は、プレイ動画データやユーザ骨格データに基づいて特定したユーザの危険状態を、ユーザDB27を参照して送信対象に送信する。
 (運動促進処理)
 次にサーバ20xによる運動促進処理について説明する。図8は、サーバ20xによる運動促進処理のフローチャートである。この処理は、図2(b)に示すプロセッサ22が予め用意されたプログラムを実行することにより実現される。
 まず、サーバ20xは、運動促進装置1xを介して、ユーザの可動範囲データを事前設定として受け付ける。そして、サーバ20xは、ユーザの可動範囲データに基づき、ユーザの可動範囲内の運動に対応する骨格動画データを骨格動画DB28から取得する(ステップS201)。また、サーバ20xは、予め設定された送信対象にアバターの選択に関するリンクを送信し、リンクを介して、推しのアバター顔画像データ及びアバター音声データを取得する。これにより、サーバ20xは、推しのアバターを生成するためのアバターデータを取得する(ステップS202)。
 そして、サーバ20xは、アバターデータにより生成したアバターと、骨格動画データとを合成することでお手本動画データを生成し、運動促進装置1xを介して、表示装置3に送信する(ステップS203)。表示装置3は、受信したお手本動画データを再生することでお手本動画を表示することができる。ユーザは、お手本動画に登場する推しのアバターの動きに合わせた運動を行う。
 運動促進装置1xは、お手本動画に合わせて動いたユーザの動きを撮像し、プレイ動画データとしてサーバ20xに送信する。これにより、サーバ20xは、プレイ動画データを取得する(ステップS204)。取得したプレイ動画データは、プレイ履歴DB29に記憶される。また、サーバ20xは、プレイ動画データから、ユーザの骨格の動きであるユーザ骨格データを抽出する(ステップS205)。抽出したユーザ骨格データは、プレイ履歴DB29に記憶される。
 サーバ20xは、プレイ動画データやユーザ骨格データに基づいて、ユーザが危険状態であるか否かを判定する(ステップS206)。ユーザの転倒といった危険状態を特定した場合(ステップS206;Yes)、サーバ20xは、ユーザDB27から予め設定された送信対象の連絡先を取得して危険状態を示すテキストデータ等を送信し、運動促進処理を終了する。
 一方、危険状態を特定しなかった場合(ステップS206;No)、サーバ20xは、ユーザによる運動が終了したタイミングでスコア及び報酬を算出し、運動促進装置1xを介して、表示装置3にスコア及び報酬に関するデータを送信する(ステップS208)。表示装置3は、受信したデータに基づいて、スコア及び報酬を結果として表示させる。また、サーバ20xは、プレイ履歴DB29に記憶されたプレイ履歴に基づいて、ユーザの衰え度を算出する。そして、サーバ20xは、ユーザDB27から予め設定された送信対象の連絡先を取得して衰え度を送信し(ステップS209)、運動促進処理を終了する。
 以上のように、サーバ20xは、第1実施形態と同様に、各ユーザの推しのアバターをお手本動画に登場させることで、運動意欲を喚起することができる。また、ユーザが高齢者であってもコントローラを使用した複雑な操作を行うことなく、容易に運動を行うことができる。
 なお、第1実施形態における第1変形例~第4変形例は、運動促進装置1の処理をサーバ20xに置き換えることで第2実施形態においても同様に適用することができる。
 [第3実施形態]
 第1実施形態では運動促進装置1が運動促進処理を実行し、第2実施形態ではサーバ20xが運動促進処理を実行している。しかし、本発明はこれに限定されるものではなく、運動促進装置1y及びサーバ20yが連携して運動促進処理を実行してもよい。なお、第3実施形態では、便宜上、第1実施形態と同様の説明は省略する。
 図9は、第3実施形態の運動促進装置1y、及び、サーバ20yの機能構成を示すブロック図である。
 サーバ20yは、機能的には、音声指示取得部70と、事前設定受付部71と、アバターデータ取得部72と、骨格動画取得部73と、生成部74と、お手本動画出力部75と、を備え、プロセッサ22がプログラムを実行することにより実現される。
 サーバ20yは、運動促進装置1yから取得したユーザの指示に応じて、骨格動画データと、推しのアバターデータと合成することでお手本動画データを生成する。生成したお手本動画データは、サーバ20yにより運動促進装置1yを介して表示装置3に送信され、お手本動画として表示される。
 音声指示取得部70は、運動促進装置1yからユーザの指示を取得する。なお、音声指示取得部70は、ネットワーク5を介してリアルタイムに運動促進装置1yから取得できるものとする。
 事前設定受付部71は、運動促進装置1yからユーザの体の可動範囲を示す可動範囲データを取得し、事前設定として受け付ける。なお、運動促進装置1yは、事前設定としてユーザの可動範囲データを取得すると、当該ユーザの可動範囲データをサーバ20yに送信する。また、ユーザの可動範囲データは、ユーザIDと対応付けてユーザDB27に記憶される。
 アバターデータ取得部72は、運動のお手本動画データに使用する推しのアバターに関するアバターデータを取得する。なお、アバターデータは、ユーザIDと対応付けてユーザDB27に記憶される。
 なお、後述する運動促進装置1yの送信部91は、予め送信対象にアバターの選択に関するリンクを送信し、リンクを介してアバター顔画像データ及びアバター音声データを登録することでサーバ20yが受信できるようにしておく。これにより、アバターデータ取得部72は、アバター顔画像データ及びアバター音声データに基づいてアバターデータを取得することができる。
 骨格動画取得部73は、骨格動画DB28に記憶された骨格動画データを取得する。事前設定受付部71によりユーザの可動範囲データを受け付けている場合、骨格動画取得部73は、ユーザの可動範囲データに基づいて骨格動画DB28から、ユーザの可動範囲内の運動に対応する骨格動画データを取得する。
 生成部74は、アバターデータにより生成した推しのアバターと、骨格動画データとを合成することで、ユーザが行う運動の動きを推しのアバターが行うお手本動画データを生成する。
 お手本動画出力部75は、運動促進装置1yを介して、お手本動画データを表示装置3に送信し、再生させることでお手本動画を表示させる。つまり、運動促進装置1yは、サーバ20yからお手本動画データを受信すると、当該お手本動画データを表示装置3に送信して再生させ、表示装置3にお手本動画を表示させる。
 運動促進装置1yは、機能的には、音声指示取得部85と、プレイ動画取得部86と、骨格抽出部87と、スコア算出部88と、報酬算出部89と、結果出力部90と、送信部91と、を備え、プロセッサ22がプログラムを実行することにより実現される。
 運動促進装置1yは、撮像したプレイ動画データと、サーバ20yから取得したお手本動画データに基づいて、ユーザの動きに対するスコアや報酬を算出する。算出したスコアや報酬に関するデータは、表示装置3に送信され、結果として表示される。また、運動促進装置1yは、プレイ動画データやユーザ骨格データに基づいて、ユーザの衰え度の算出や危険状態の特定を行い、必要に応じて衰え度や危険状態を送信対象に送信する。
 音声指示取得部85は、ユーザによる指示を、ユーザの音声であるユーザ音声データに基づいて認識し、取得する。
 プレイ動画取得部86は、撮像したプレイ動画データを取得する。なお、プレイ動画データは、プレイ動画取得部86によりユーザIDがタグ付けされた状態でサーバ20yに送信され、ユーザID及びプレイ日時に対応付けてプレイ履歴DB29に記憶される。
 骨格抽出部87は、プレイ動画データからユーザの骨格の動きを表すユーザ骨格データを抽出する。なお、ユーザ骨格データは、骨格抽出部87によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20yに送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 スコア算出部88は、お手本骨格データと、ユーザ骨格データとに基づいて類似度を算出し、算出した類似度に応じたプレイのスコアを算出する。なお、スコアは、スコア算出部88によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20yに送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 報酬算出部89は、プレイ履歴DB29に記憶されたプレイ履歴をサーバ20yから取得し、プレイ履歴に基づいてユーザの成長度を算出し、成長度から報酬を算出する。なお、報酬は、報酬算出部89によりユーザID及びプレイ動画データの識別情報がタグ付けされた状態でサーバ20yに送信され、ユーザID及びプレイ動画データに対応付けてプレイ履歴DB29に記憶される。
 結果出力部90は、任意のタイミングで、表示装置3にスコアや報酬に関するデータを送信し、結果としてスコアや報酬を表示させる。
 送信部91は、サーバ20yから、ユーザDB27に記憶された送信対象の連絡先を予め取得しておく。そして、送信部91は、アバターの選択に関するリンクを送信対象に送信する。また、送信部91は、プレイ履歴DB29に記憶されたプレイ履歴をサーバ20yから取得し、プレイ履歴に基づいて算出したユーザの衰え度を送信対象に送信する。また、送信部91は、プレイ動画データやユーザ骨格データに基づいて特定したユーザの危険状態を送信対象に送信する。
 (運動促進処理)
 次に運動促進装置1y及びサーバ20yの連携による運動促進処理について説明する。図10は、運動促進装置1y及びサーバ20yの連携による運動促進処理のフローチャートである。この処理は、図2(a)に示すプロセッサ12と、図2(b)に示すプロセッサ22とが予め用意されたそれぞれのプログラムを実行することにより実現される。
 まず、サーバ20yは、運動促進装置1yを介して、ユーザの可動範囲データを事前設定として受け付ける。そして、サーバ20yは、ユーザの可動範囲データに基づき、ユーザの可動範囲内の運動に対応する骨格動画データを骨格動画DB28から取得する(ステップS301)。また、サーバ20yは、予め送信対象に送信されたアバターの選択に関するリンクを介して、推しのアバター顔画像データ及びアバター音声データを取得する。これにより、サーバ20yは、推しのアバターを生成するためのアバターデータを取得する(ステップ302)。
 そして、サーバ20yは、アバターデータにより生成したアバターと、骨格動画データとを合成することでお手本動画データを生成し、運動促進装置1yを介して、表示装置3に送信する(ステップS303)。表示装置3は、受信したお手本動画データを再生することでお手本動画を表示することができる。ユーザは、お手本動画に登場する推しのアバターの動きに合わせた運動を行う。
 運動促進装置1yは、お手本動画に合わせて動いたユーザの動きを撮像し、プレイ動画データとして取得する(ステップS304)。取得したプレイ動画データは、プレイ履歴DB29に記憶される。また、運動促進装置1yは、プレイ動画データから、ユーザの骨格の動きであるユーザ骨格データを抽出する(ステップS305)。抽出したユーザ骨格データは、プレイ履歴DB29に記憶される。
 運動促進装置1yは、プレイ動画データやユーザ骨格データに基づいて、ユーザが危険状態であるか否かを判定する(ステップS306)。ユーザの転倒といった危険状態を特定した場合(ステップS306;Yes)、運動促進装置1yは、サーバ20yから予め設定された送信対象の連絡先を取得して危険状態を示すテキストデータ等を送信し、運動促進処理を終了する(ステップS307)。
 一方、危険状態を特定しなかった場合(ステップS306;No)、運動促進装置1yは、ユーザによる運動が終了したタイミングでスコア及び報酬を算出し、表示装置3に送信して結果として表示させる(ステップS308)。また、運動促進装置1yは、サーバ20yからプレイ履歴を取得し、ユーザの衰え度を算出する。そして、運動促進装置1は、サーバ20yから予め設定された送信対象の連絡先を取得して衰え度を送信する(ステップS309)。これにより、運動促進処理を終了する。
 なお、本実施形態のように、運動促進装置1yとサーバ20yが連携して運動促進処理を実行する場合、図9に示すような機能構成に限らず、音声指示取得部、事前設定受付部、アバターデータ取得部、骨格動画取得部、生成部、お手本動画出力部、プレイ動画取得部、骨格抽出部、スコア算出部、報酬算出部、結果出力部及び送信部が運動促進装置1y及びサーバ20yのいずれの機能であるかは任意に設定することができる。
 また、第1実施形態の第1変形例~第4変形例は、運動促進装置1の処理を、運動促進装置1y及びサーバ20yの連携による処理に置き換えることで、第3実施形態においても同様に適用することができる。
 以上のように、運動促進装置1y及びサーバ20yによれば、第1実施形態と同様に、各ユーザの推しのアバターをお手本動画に登場させることで、運動意欲を喚起することができる。また、ユーザが高齢者であってもコントローラを使用した複雑な操作を行うことなく、容易に運動を行うことができる。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
 前記お手本動画データを出力するお手本動画出力手段と、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得するプレイ動画取得手段と、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出する骨格抽出手段と、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出するスコア算出手段と、
 前記スコアを結果として出力する結果出力手段と、
を備えた運動促進装置。
 (付記2)
 予め設定した送信対象に前記アバターの選択に関するリンクを送信する送信手段を備え、
 前記アバターデータ取得手段は、前記リンクを介してアバター顔画像データ及びアバター音声データを取得し、前記アバター顔画像データに基づく3Dモデルと、前記アバター音声データに基づく合成音声とを生成することで前記アバターデータを取得する付記1に記載の運動促進装置。
 (付記3)
 前記ユーザの可動範囲の事前設定を受け付ける事前設定受付手段をさらに備え、
 前記スコア算出手段は、前記ユーザの可動範囲を考慮して前記スコアを算出する付記1に記載の運動促進装置。
 (付記4)
 前記ユーザの可動範囲の事前設定を受け付ける事前設定受付手段をさらに備え、
 前記骨格動画取得手段は、前記ユーザの可動範囲内の運動に対応する骨格動画データを取得する付記1に記載の運動促進装置。
 (付記5)
 前記プレイ動画データ及び前記ユーザ骨格データを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
 前記プレイ履歴に基づいて前記ユーザの成長度を算出し、前記成長度から報酬を算出する報酬算出手段と、を備え、
 前記結果出力手段は、前記報酬を結果として出力する付記1に記載の運動促進装置。
 (付記6)
 前記ユーザ骨格データ及び前記スコアを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
 前記プレイ履歴に基づいて前記ユーザの衰え度を算出し、予め設定した送信対象に前記ユーザの衰え度を送信する送信手段と、を備える付記1に記載の運動促進装置。
 (付記7)
 前記プレイ動画データ及び前記ユーザ骨格データを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
 前記プレイ履歴に基づいて前記ユーザの苦手運動を特定する苦手運動特定手段と、を備え、
 前記骨格動画取得手段は、前記苦手運動の入力に応じ、前記骨格動画データを出力するように学習された機械学習モデルを用いて、前記ユーザの苦手運動を補足するために最適化された骨格動画データを取得し、
 前記結果出力手段は、前記ユーザの苦手運動を補足するために最適化された骨格動画データを推奨するサービス一覧を出力する付記1に記載の運動促進装置。
 (付記8)
 前記プレイ動画データ及び前記ユーザ骨格データに基づいて、前記ユーザの危険状態を特定した場合、予め設定した送信対象に前記ユーザの危険状態を送信する送信手段を備える付記1に記載の運動促進装置。
 (付記9)
 前記運動促進装置は、表示装置を備え、
 前記お手本動画出力手段は、前記お手本動画データに基づくお手本動画を前記表示装置に表示し、
 前記結果出力手段は、前記結果を前記表示装置に表示する付記1に記載の運動促進装置。
 (付記10)
 前記運動促進装置に対するユーザの指示を、前記ユーザの音声であるユーザ音声データに基づいて認識し、取得する音声指示取得手段を備える付記1に記載の運動促進装置。
 (付記11)
 運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
 前記お手本動画データを出力し、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
 前記スコアを結果として出力する運動促進方法。
 (付記12)
 運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
 前記お手本動画データを出力し、
 前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
 前記スコアを結果として出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
 (付記13)
 運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
 ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
 前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
 前記お手本動画データを出力するお手本動画出力手段と、
 を備えるサーバ。
 (付記14)
 請求項13に記載のサーバと、運動促進装置と、を備えるシステムであって、
 前記運動促進装置は、
 前記お手本動画データを出力するお手本動画出力手段と、
 出力された前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得するプレイ動画取得手段と、
 前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出する骨格抽出手段と、
 前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出するスコア算出手段と、
 前記スコアを結果として出力する結果出力手段と、
 を備えるシステム。
 以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 1、1x、1y、1z、120 運動促進装置
 3 表示装置
 5 ネットワーク
 11、21 インタフェース
 12、22 プロセッサ
 13、23 メモリ
 14、24 記録媒体
 15、26 入力部
 16 撮像部
 25 表示部
 27、127 ユーザDB
 28、128 骨格動画DB
 29、129 プレイ履歴DB

Claims (14)

  1.  運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
     ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
     前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
     前記お手本動画データを出力するお手本動画出力手段と、
     前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得するプレイ動画取得手段と、
     前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出する骨格抽出手段と、
     前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出するスコア算出手段と、
     前記スコアを結果として出力する結果出力手段と、
    を備えた運動促進装置。
  2.  予め設定した送信対象に前記アバターの選択に関するリンクを送信する送信手段を備え、
     前記アバターデータ取得手段は、前記リンクを介してアバター顔画像データ及びアバター音声データを取得し、前記アバター顔画像データに基づく3Dモデルと、前記アバター音声データに基づく合成音声とを生成することで前記アバターデータを取得する請求項1に記載の運動促進装置。
  3.  前記ユーザの可動範囲の事前設定を受け付ける事前設定受付手段をさらに備え、
     前記スコア算出手段は、前記ユーザの可動範囲を考慮して前記スコアを算出する請求項1に記載の運動促進装置。
  4.  前記ユーザの可動範囲の事前設定を受け付ける事前設定受付手段をさらに備え、
     前記骨格動画取得手段は、前記ユーザの可動範囲内の運動に対応する骨格動画データを取得する請求項1に記載の運動促進装置。
  5.  前記プレイ動画データ及び前記ユーザ骨格データを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
     前記プレイ履歴に基づいて前記ユーザの成長度を算出し、前記成長度から報酬を算出する報酬算出手段と、を備え、
     前記結果出力手段は、前記報酬を結果として出力する請求項1に記載の運動促進装置。
  6.  前記ユーザ骨格データ及び前記スコアを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
     前記プレイ履歴に基づいて前記ユーザの衰え度を算出し、予め設定した送信対象に前記ユーザの衰え度を送信する送信手段と、を備える請求項1に記載の運動促進装置。
  7.  前記プレイ動画データ及び前記ユーザ骨格データを、前記ユーザの動きに関するプレイ履歴として記憶するプレイ履歴記憶手段と、
     前記プレイ履歴に基づいて前記ユーザの苦手運動を特定する苦手運動特定手段と、を備え、
     前記骨格動画取得手段は、前記苦手運動の入力に応じ、前記骨格動画データを出力するように学習された機械学習モデルを用いて、前記ユーザの苦手運動を補足するために最適化された骨格動画データを取得し、
     前記結果出力手段は、前記ユーザの苦手運動を補足するために最適化された骨格動画データを推奨するサービス一覧を出力する請求項1に記載の運動促進装置。
  8.  前記プレイ動画データ及び前記ユーザ骨格データに基づいて、前記ユーザの危険状態を特定した場合、予め設定した送信対象に前記ユーザの危険状態を送信する送信手段を備える請求項1に記載の運動促進装置。
  9.  前記運動促進装置は、表示装置を備え、
     前記お手本動画出力手段は、前記お手本動画データに基づくお手本動画を前記表示装置に表示し、
     前記結果出力手段は、前記結果を前記表示装置に表示する請求項1に記載の運動促進装置。
  10.  前記運動促進装置に対するユーザの指示を、前記ユーザの音声であるユーザ音声データに基づいて認識し、取得する音声指示取得手段を備える請求項1に記載の運動促進装置。
  11.  運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
     ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
     前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
     前記お手本動画データを出力し、
     前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
     前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
     前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
     前記スコアを結果として出力する運動促進方法。
  12.  運動のお手本動画データに使用するアバターに関するアバターデータを取得し、
     ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得し、
     前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成し、
     前記お手本動画データを出力し、
     前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得し、
     前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出し、
     前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出し、
     前記スコアを結果として出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
  13.  運動のお手本動画データに使用するアバターに関するアバターデータを取得するアバターデータ取得手段と、
     ユーザが行う運動の骨格の動きに関する動画である骨格動画データを取得する骨格動画取得手段と、
     前記アバターデータにより生成したアバターと、前記骨格動画データとを合成することで、前記アバターが運動を行うお手本動画データを生成する生成手段と、
     前記お手本動画データを出力するお手本動画出力手段と、
     を備えるサーバ。
  14.  請求項13に記載のサーバと、運動促進装置と、を備えるシステムであって、
     前記運動促進装置は、
     前記お手本動画データを出力するお手本動画出力手段と、
     出力された前記お手本動画データに合わせて動いたユーザの動きを撮像した動画であるプレイ動画データを取得するプレイ動画取得手段と、
     前記プレイ動画データから前記ユーザの骨格の動きを表すユーザ骨格データを抽出する骨格抽出手段と、
     前記骨格動画データに含まれる骨格の動きを表すお手本骨格データと、前記ユーザ骨格データとに基づいてスコアを算出するスコア算出手段と、
     前記スコアを結果として出力する結果出力手段と、
     を備えるシステム。
PCT/JP2023/024198 2023-06-29 2023-06-29 運動促進装置、運動促進方法、及び、記録媒体 Ceased WO2025004271A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024198 WO2025004271A1 (ja) 2023-06-29 2023-06-29 運動促進装置、運動促進方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024198 WO2025004271A1 (ja) 2023-06-29 2023-06-29 運動促進装置、運動促進方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2025004271A1 true WO2025004271A1 (ja) 2025-01-02

Family

ID=93937997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024198 Ceased WO2025004271A1 (ja) 2023-06-29 2023-06-29 運動促進装置、運動促進方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2025004271A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297156A (ja) * 2000-04-14 2001-10-26 Poritekku:Kk インターネットを利用した老化度チェック及びリハビリテーションシステム
JP2013111449A (ja) * 2011-12-01 2013-06-10 Canon Inc 映像生成装置、映像生成方法及びプログラム
JP2014128409A (ja) * 2012-12-28 2014-07-10 Brother Ind Ltd 情報処理装置、情報処理方法及びプログラム
JP2015097639A (ja) * 2013-11-19 2015-05-28 日本コントロールシステム株式会社 カラオケ装置、ダンス採点方法、およびプログラム
JP2020062163A (ja) * 2018-10-16 2020-04-23 株式会社ジェイテクト 歩行支援システム
WO2023074022A1 (ja) * 2021-10-29 2023-05-04 凸版印刷株式会社 アバター管理システム、アバター管理方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001297156A (ja) * 2000-04-14 2001-10-26 Poritekku:Kk インターネットを利用した老化度チェック及びリハビリテーションシステム
JP2013111449A (ja) * 2011-12-01 2013-06-10 Canon Inc 映像生成装置、映像生成方法及びプログラム
JP2014128409A (ja) * 2012-12-28 2014-07-10 Brother Ind Ltd 情報処理装置、情報処理方法及びプログラム
JP2015097639A (ja) * 2013-11-19 2015-05-28 日本コントロールシステム株式会社 カラオケ装置、ダンス採点方法、およびプログラム
JP2020062163A (ja) * 2018-10-16 2020-04-23 株式会社ジェイテクト 歩行支援システム
WO2023074022A1 (ja) * 2021-10-29 2023-05-04 凸版印刷株式会社 アバター管理システム、アバター管理方法、プログラム、及びコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
Eun et al. Artificial intelligence-based personalized serious game for enhancing the physical and cognitive abilities of the elderly
Psaltis et al. Multimodal student engagement recognition in prosocial games
Fasola et al. A socially assistive robot exercise coach for the elderly
Roy et al. Enhancing effectiveness of motor rehabilitation using kinect motion sensing technology
Furley The nature and culture of nonverbal behavior in sports: Theory, methodology, and a review of the literature
Rodriguez et al. A VR-based serious game for studying emotional regulation in adolescents
KR102423849B1 (ko) 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템
Linares-Vargas et al. Interactive virtual reality environments and emotions: a systematic review
JP7741729B2 (ja) 映像生成装置
CN108919950A (zh) 基于Kinect的孤独症儿童互动影像装置及方法
JP7390640B2 (ja) 運動教育システム、サーバ装置、運動教育支援サービス提供方法及びプログラム
Peña et al. Circus in Motion: a multimodal exergame supporting vestibular therapy for children with autism
Chartomatsidis et al. A Balance Training Game Tool for Seniors using Microsoft Kinect and 3D Worlds.
Postolache et al. Tailored virtual reality for smart physiotherapy
Fu et al. User experience of a serious game for physical rehabilitation using wearable motion capture technology
Oliveira et al. Collaborative virtual reality serious games as a therapeutic medium for stroke survivors at a rehabilitation center
Karkar et al. KinFit: A factual aerobic sport game with stimulation support
Smith et al. None in Three: The design and development of a low-cost violence prevention game for the Caribbean region
WO2024159402A1 (en) An activity tracking apparatus and system
Power et al. A systematic literature review of XR interventions to improve motor skills development among autistic children
Chartomatsidis et al. Development and evaluation of a motion-based exercise game for balance improvement
CN117115901B (zh) 基于虚拟角色的运动数据显示方法
Araya et al. Creative Coding for Dance Movement Therapy in Children with Autism.
Roxo Studying serious games for the therapy of children with disabilities following a co-design process
Guzmán et al. Virtual Reality Game for Cognitive Training: A Usability and Qualitative Evaluation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23943666

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE