WO2020241735A1 - 身体活動支援システム、方法、及び、プログラム - Google Patents

身体活動支援システム、方法、及び、プログラム Download PDF

Info

Publication number
WO2020241735A1
WO2020241735A1 PCT/JP2020/021074 JP2020021074W WO2020241735A1 WO 2020241735 A1 WO2020241735 A1 WO 2020241735A1 JP 2020021074 W JP2020021074 W JP 2020021074W WO 2020241735 A1 WO2020241735 A1 WO 2020241735A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
physical activity
information
partner
Prior art date
Application number
PCT/JP2020/021074
Other languages
English (en)
French (fr)
Inventor
仁史 川崎
Original Assignee
イマクリエイト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イマクリエイト株式会社 filed Critical イマクリエイト株式会社
Publication of WO2020241735A1 publication Critical patent/WO2020241735A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities

Definitions

  • An embodiment of the present invention relates to a technique for supporting a user's physical activity by using an avatar.
  • the user may practice movements such as dance choreography and martial arts patterns while watching the video displayed on the display.
  • Patent Document 1 the image pickup device images a user facing the projection surface from diagonally above, and the captured image of the user's movement is superimposed on the sample image of the instructor's model movement, and the superimposed image is superimposed on the projection surface.
  • the technology to be displayed on is disclosed.
  • the size of the image captured by the user and the size of the sample image of the instructor are the same.
  • the technology for determining the degree of deviation of the user's movement from the instructor's model movement (hereinafter referred to as the degree of deviation) and displaying the degree of deviation on the projection surface is also disclosed.
  • the user can simultaneously view the captured image of the user, the sample image of the instructor, and the degree of deviation on the projection surface, and the degree of deviation can be easily grasped.
  • Patent Document 1 a sample image of an instructor who quickly performs a series of operations is displayed. Therefore, even if the user tries to imitate the movement while observing the movement of the sample so as to reduce the degree of divergence, he / she cannot keep up with the movement and it is difficult to obtain the training effect.
  • the present invention has been intensively researched and completed by paying attention to such a problem, and an object of the present invention is to provide a technique for effectively supporting a user's physical activity.
  • the present invention is a physical activity support system using a generation unit that generates a user's avatar, and calculates operation information of the user's avatar based on the information from the generation unit. Based on the information from the first calculation unit and the generation unit, the second calculation unit that calculates the operation information of the partner avatar that is the partner of the physical activity of the user, and the motion information of the user avatar are added to the partner. It is a physical activity support system equipped with an interlocking part that interlocks the movement information of the avatar.
  • Another invention is a physical activity support system using a generation unit that generates a user's avatar, and includes a first calculation unit that calculates motion information of the user's avatar based on information from the generation unit. Based on the information from the generation unit, the second calculation unit that calculates the operation information of the partner avatar that is the partner of the physical activity of the user, the operation information of the user avatar, and the operation information of the partner avatar It is a physical activity support system provided with a virtual object motion adjusting unit that calculates the interaction with the virtual object accordingly.
  • Another invention is a physical activity support method using a generation unit that generates a user's avatar, and calculates motion information of the user avatar based on the information from the generation unit, and obtains the operation information of the user avatar from the generation unit.
  • This is a physical activity support method that calculates the motion information of the partner avatar that is the partner of the physical activity of the user based on the information, and links the motion information of the partner avatar with the motion information of the user avatar.
  • Another invention is a physical activity support method using a generation unit that generates a user's avatar, and calculates motion information of the user avatar based on the information from the generation unit, and obtains the operation information of the user avatar from the generation unit. Based on the information, the motion information of the partner avatar that is the partner of the physical activity of the user is calculated, and the interaction with the virtual object is calculated according to the motion information of the user avatar and the motion information of the partner avatar. It is a physical activity support method.
  • Another invention is a physical activity support program using a generation unit that generates a user's avatar, and includes a step of calculating motion information of the user avatar based on information from the generation unit, and the generation unit. Based on the information from, the computer performs a step of calculating the motion information of the partner avatar that is the partner of the physical activity of the user and a step of linking the motion information of the partner avatar with the motion information of the user avatar. It is a physical activity support program to be executed by the computer.
  • Another invention is a physical activity support program using a generation unit that generates a user's avatar, and includes a step of calculating motion information of the user avatar based on information from the generation unit, and the generation unit.
  • a virtual object according to the step of calculating the motion information of the partner avatar that is the partner of the physical activity of the user, the motion information of the user avatar, and the motion information of the partner avatar based on the information from It is a physical activity support program that causes a computer to execute the steps of calculating the interaction of.
  • FIG. 1 is a functional block diagram of a physical activity support system according to an embodiment of the present invention.
  • the physical activity support system 100 can be roughly divided into a functional block group that generates and reproduces a user avatar, an opponent avatar, and an image of a real object, and a functional block group that generates and reproduces a virtual object.
  • the user motion detection device 111 is a device that detects the motion of the user (also referred to as the first user), and is a motion sensor attached to the user, a video camera that captures the motion of the user, or the like.
  • the other party motion detection device 121 is a device that detects the movement of the other party (also referred to as the second user) of the physical activity of the user (first user), and is a motion sensor attached to the other party or a video for capturing the movement of the other party. Such as a camera.
  • the real object motion detection device 131 is a device that detects the movement of an object (referred to as an object or a real object) actually used in the real space when the user or the other party performs physical activity, and is attached to the real object.
  • An object referred to as an object or a real object
  • the motion sensor worn by humans can acquire the position, speed, acceleration, and angle.
  • the positions where the motion sensor is attached to the body are, for example, near the elbows of the left and right forearms, near the left and right toes, near the knees of the left and right thighs, near the center of the back, near the center of the back of the waist belt, and the left and right temporal regions. It is in the vicinity.
  • the position, speed, acceleration, and angle of the person may be acquired by image analysis of the moving image taken without attaching the motion capture marker to the person.
  • a motion sensor or a motion capture marker may be attached to an object (for example, a grip of a golf club) actually used in a real space when a person performs physical activity.
  • the first data recording unit 112 records the user's movement detected by the user movement detection device 111.
  • the second data recording unit 122 records the movement of the other party detected by the other party motion detection device 121.
  • the third data recording unit 132 records the movement of the real object detected by the real object motion detection device 131.
  • the movement of the user, the other party, or a real object is also referred to as each motion information.
  • the user avatar generation unit 113 can generate a user avatar from the user's operation information recorded by the first data recording unit 112.
  • the avatar is a virtual person who acts as a human alter ego in the computer graphics space.
  • the user avatar generation unit 113 can also generate a user avatar by processing the user's movement detected by the user motion detection device 111 in real time.
  • the generation unit that generates the user's avatar is composed of hardware called the user motion detection device 111 and software called the first data recording unit 112 and the user avatar generation unit 113.
  • the generation unit that generates the user's avatar may be delivered to the user together with the physical activity support system 100, or may be delivered to the user without being included in the physical activity support system 100, and the user side. You may prepare at. That is, the generation unit that generates the user's avatar is not necessarily an essential configuration for the physical activity support system 100. The same is true for opponent avatars and real objects.
  • the opponent avatar generation unit 123 can generate the opponent avatar from the operation information of the opponent recorded by the second data recording unit 122. Further, the opponent avatar generation unit 123 can also generate the opponent avatar by processing the movement of the opponent detected by the opponent motion detection device 121 in real time.
  • the real object image generation unit 133 can generate a real object image from the motion information of the real object recorded by the third data recording unit 132.
  • the real object image means an image in the computer graphics space corresponding to the real object in the real space.
  • the real object image generation unit 133 can also process the movement of the real object detected by the real object motion detection device 131 in real time to generate the real object image.
  • the generated user avatar, partner avatar, and real object image are input to the user interlocking processing unit 140.
  • the user interlocking processing unit 140 can link the movement of the other avatar and / or the movement of the real object image with the movement of the user avatar.
  • the user interlocking processing unit 140 includes a first calculation unit 141, a second calculation unit 142, and a third calculation unit 143.
  • the first calculation unit 141 calculates the operation information of the user avatar based on the information generated by the user avatar.
  • the second calculation unit 142 calculates the operation information of the partner avatar based on the information generated by the user avatar.
  • the third calculation unit 143 calculates the motion information of the real object image based on the information generated by the user avatar. Then, the user interlocking processing unit 140 links the operation information of the other avatar with the operation information of the user avatar.
  • the movements of the user avatar, the opponent avatar, and the real object image linked by the user interlocking processing unit 140 are reproduced by the user avatar reproduction unit 114, the opponent avatar reproduction unit 124, and the real object reproduction unit 134, respectively.
  • the reproduced user avatar, opponent avatar, and real object are displayed on the display device 150.
  • the display device 150 is a head-mounted display (HMD) worn by the user, a flat display installed so that the user can see while practicing, or the like, and is a three-dimensional display even in a two-dimensional display. It may be.
  • HMD head-mounted display
  • the virtual object is an image displayed only in the computer graphics space, unlike the real object described above. That is, the virtual object is an image that does not exist and is virtually created by a computer.
  • the virtual object information input device 161 is an input device that sets the position of the virtual object and the speed and / or acceleration according to the contact with the real object. You can input from the keyboard of your computer.
  • the virtual object setting recording unit 162 records the speed, acceleration, etc. input from the virtual object information input device 161.
  • the virtual object generation unit 163 generates an image of the virtual object and outputs it to the virtual object motion adjustment unit 164.
  • the virtual object motion adjusting unit 164 sets the movement in advance in the virtual object setting recording unit 162 according to the movement of at least one of the user avatar, the opponent avatar, and the real object image linked to the user interlocking processing unit 140. It is possible to adjust the behavior of the virtual object.
  • the virtual object reproduction unit 165 reproduces the movement of the virtual object adjusted by the virtual object motion adjustment unit 164.
  • the reproduced virtual object is displayed on the display device 150.
  • the physical activity support system 100 composed of the above-mentioned functional block group may be implemented in a computer as software, and the implementation form thereof is not limited. For example, it may be implemented as a physical activity support program installed on a dedicated server connected to a client terminal such as a personal computer and a wired or wireless communication line (Internet line, etc.), or by using a so-called cloud service. It may be implemented.
  • FIG. 2 is a flowchart of a case where the other party is a skilled person in physical activity performed by the user (No. 1; a movement practice mode in which the user receives a movement practice from the skilled person).
  • FIG. 3 is a flowchart when the user practices movement alone or when the user competes with the opponent through physical activity (No. 2; one person or battle mode). The difference between FIGS. 2 and 3 is that S130 (obtaining the time i from the user's movement data) in FIG. 2 is not in FIG.
  • S110 is a step of acquiring a sensor or motion data of a user or the like to be displayed in real time from the user motion detection device 111 or the like. Further, it may be recorded in the first data recording unit 112 or the like.
  • the first calculation unit 141 and the second calculation unit of the user interlocking processing unit 140 are used for the user avatar, the other party avatar, and the real object image generated by each generation unit based on the information from each detection device and each recording unit.
  • the third calculation unit 143 is a step of calculating the movement data of the user avatar, the movement data of the opponent avatar, and the movement data of the actual object image, respectively.
  • the motion data refers to position, velocity, acceleration, and / or angle data (also referred to as motion information) at a predetermined time interval (time 1 to time n). From the position data and the angle data, it is possible to calculate whether the user avatar or the like is moving all the time or is paused.
  • S130 is a step of obtaining the time i corresponding to the movement of any user that the user wants to know.
  • the motion sensor corresponding to the user motion detection device 111 in FIG. 1
  • the user interlocking processing unit 140 determines that the user wants to know the movement of the partner (lesson pro) avatar at the time of the pause. Then, the user interlocking processing unit 140 obtains the paused time i.
  • the movement data of the opponent (lesson pro) avatar at that time i is obtained.
  • the movement data of the opponent (lesson pro) avatar at the time i corresponds to the movement data of the user avatar at the time i.
  • motion data of a real object image (a golf club used by a user and a golf club used by an opponent) may be obtained.
  • S150 is a step of determining whether or not there is a mode for adjusting the speed / acceleration of the virtual object.
  • the physical activity support system of the present embodiment can be used as a virtual object as a result of a) selecting the swing of the golf club and b) swinging the golf club. It is possible to select either one when you want to check how the ball flies in the virtual space. The user can make such a selection using the virtual object information input device of FIG.
  • the user interlocking processing unit 140 can interlock the movement of the other avatar with the movement of the user avatar from the time i. Further, the movements of the golf club (image of the real object) in which the user avatar swings and the golf club (image of the real object) in which the opponent avatar swings can also be linked.
  • S180 is a step in which the display device 150 displays an image of a user avatar, a partner avatar, and / or a real object reproduced by each reproduction unit.
  • the virtual object motion adjusting unit 164 of FIG. 1 acquires the position data of the virtual object and the data related to the contact with the real object (S160).
  • the virtual object motion adjusting unit 164 determines the velocity and acceleration of the virtual object (S170).
  • the virtual object reproduction unit 165 reproduces the virtual object according to the determined speed and acceleration, and displays it on the display device 150 (S180).
  • S210 is a step of acquiring sensors and motion data of the user or the like to be displayed in real time from the user motion detection device 111 or the like. Further, it may be recorded in the first data recording unit 112 or the like.
  • S220 is a step in which each generation unit generates motion data for each of the user avatar, the other party avatar, and the real object image based on the information from each detection device and each recording unit. Please note that it is not essential to generate the movement data of the opponent avatar in S220.
  • S230 does not have S130 in FIG. 2, and unlike S140 in FIG. 2, obtains motion data of the user avatar and / or the opponent (opponent) avatar at time i.
  • the motion data of the real object image (the real object used by the user and / or the real object used by the opponent in the battle) may be obtained.
  • S240 is a step of determining whether or not there is a mode for adjusting the speed / acceleration of the virtual object.
  • S250 is a step of acquiring the position data of the virtual object and the data related to the contact with the real object.
  • S260 is a step of determining the velocity and acceleration of the virtual object.
  • S270 is a step of regenerating the virtual object and displaying it on the display device 150 according to the determined speed and acceleration.
  • the first and second embodiments relate to the flowchart of FIG. 2 (No. 1; operation practice mode).
  • the third and fourth embodiments relate to the flowchart of FIG. 3 (No. 2; one person or battle mode).
  • FIG. 4 is a diagram showing a display example of the user avatar and the partner avatar according to the first embodiment.
  • the x-axis is the foot width direction from the left foot to the right foot of the person
  • the y-axis is the height direction of the person
  • the z-axis is the direction from the back to the ventral side of the person.
  • the image 411 of the user avatar 410 and the real object (golf club) on the user side is displayed by a dotted line
  • the image 421 of the opponent avatar 420 and the real object (golf club) on the other side is displayed by a solid line.
  • the user avatar 410 operates in real time according to the motion sensor attached to the user. Further, the image 411 of the real object (golf club) on the user side also operates in real time according to the motion sensor attached to the grip of the golf club that the user swings.
  • the image 411 of the real object (golf club) on the user side also operates in real time according to the motion sensor attached to the grip of the golf club that the user swings.
  • the movement of the opponent is recorded in advance by the motion sensor attached to the grip of the opponent (expert such as a golf lesson professional) and the real object (golf club) of the opponent. Then, the opponent avatar 420 and the image 421 of the opponent's real object (golf club) move in conjunction with the user avatar 410 that operates in real time.
  • FIG. 5 is a diagram for explaining a method of calculating the position data of a partner and / or a real object corresponding to the position data of the user.
  • FIG. 5a is an example of numerical data when measuring the position, angle, and speed of the user's left hand in real time.
  • p represents position (position)
  • r represents rotation (angle)
  • v represents velocity (velocity).
  • FIG. 5b) is data in which the position group, the angle group, and the speed group of the left hand of the opponent (expert) are recorded for t (time; time) of 1 to n. The interval between each time is 0.01 seconds.
  • the one whose x-axis is positive or negative is the same as the x-axis of the user's left hand in the speed group of the expert's left hand.
  • the mathematical formula shown in c-1) of FIG. 5 is the smallest, or the mathematical formula shown in c-2) (the angle between the user and the expert's left hand) is the most. Find the near time i.
  • the movement of the partner (expert) avatar recorded in advance is reproduced by superimposing it on the movement of the user avatar by a predetermined time interval before or after. You can also do it.
  • an adjustment unit capable of adjusting a predetermined time interval may be provided so that the opponent (expert) avatar moves several frames before or after the movement of the user avatar 410 (delayed). One frame is about 0.01 seconds.
  • the virtual object adjusting unit 164 of FIG. 1 has an image 411 of a real object (golf club) on the user side, an image 421 of a real object (golf club) of an opponent (expert), and each virtual object (golf). By calculating the interaction with the ball), it is possible to adjust the difference in the trajectory of the virtual object (golf ball) for the user and the opponent (expert), and display the reproduction.
  • the user avatar 410 is displayed without transmitting the opponent avatar 420.
  • the present invention is not limited to this, and if the opponent avatar 420 is displayed semi-transparently, the user avatar 410 can be displayed without being hidden.
  • FIG. 6 is a diagram showing a display example of the user avatar and the partner avatar according to the first embodiment.
  • FIG. 6a shows the user avatar 610, the image 611 of the real object (Kendama Ken) on the user side, and the virtual object (Kendama ball) 621 on the user side.
  • FIG. 6b shows the opponent (expert) avatar 620, the image 621 of the opponent's real object (Kendama's ken), and the opponent's virtual object (Kendama's ball) 622.
  • the kendama ball of the user and the opponent (expert) is a virtual object, so it is not the one actually used in the real space when the user and the opponent (expert) perform the kendama. I want to.
  • the partner when the user performs physical activity (practice of kendama), the partner (skilled) recorded in advance in conjunction with the movement of the user avatar 610 processed in real time. Person)
  • the movement of the avatar 620 is reproduced by superimposing it on the movement of the user avatar.
  • the interaction with the image 611 of the real object (Kendama Ken) on the user side, the image 621 of the real object (Kendama Ken) on the other side, and the virtual objects (Kendama Tama) 612 and 622, respectively, is calculated.
  • the difference in whether the virtual object (Kendama ball) lands well on the real object (Kendama Ken) is calculated for each of the user case and the opponent (expert) case, and is reproduced and displayed.
  • the movement of the user avatar processed in real time is linked with the movement of the partner (expert) avatar recorded in advance, and further. It can be played back in layers. Alternatively, it may be reproduced and displayed side by side. Therefore, the user has the effect of being able to easily follow the movement of the opponent (expert) and perform effective training while practicing continuous movements such as kendama practice.
  • the third embodiment describes a case where the user practices kendama alone (without displaying the opponent's avatar).
  • the display example in this case corresponds to the case where only a) of FIG. 6 is displayed and b) is not displayed.
  • the flowchart of the third embodiment corresponds to the flowchart of FIG. 3 (No. 2; one person or battle mode). Then, regarding the processing of S220, S230, and S270, the processing may be performed on the user avatar, the user's real object (Kendama Ken), and the user's virtual object (Kendama Tama) without processing the other party's avatar. ..
  • the speed of the user's virtual object (Kendama no Tama). For example, if "after hit by user: 1/2" is recorded in the virtual object setting recording unit 162 of FIG. 1, the virtual object motion adjustment unit 164 of FIG. 1 is the user's virtual object (Kendama no Tama). The speed can be set to 1/2.
  • the user when practicing kendama, the user can adjust (slow down) the falling speed of the kendama, unlike the actual kendama, and can practice without rushing. Has. Therefore, while checking the movement, the user can naturally learn that it is important to move the knee at the same time as the hand, instead of simply moving the hand.
  • FIG. 7 is a diagram showing a display example of the user avatar and the partner avatar according to the fourth embodiment.
  • 610 represents a user avatar
  • 611 represents an image of a real object (table tennis racket) on the user side.
  • 620 represents the opponent's (opponent) avatar
  • 621 represents the image of the opponent's real object (table tennis racket).
  • 630 represents a table tennis ball which is a virtual object
  • 631 represents a table tennis table which is a virtual object
  • 632 represents a net of a table tennis table which is a virtual object
  • 633 represents a boundary surface which is a virtual object.
  • the x-axis is the longitudinal direction of the table tennis table 631 which is a virtual object
  • the y-axis is the lateral direction
  • the z-axis is the height direction.
  • the speed of the virtual object is adjusted to a plurality of values depending on the position and state of the virtual object.
  • the speed of the virtual object 630 (table tennis ball) is set to 1/6 on the user avatar 610 side (front side of the paper) from the boundary surface 633, and virtual on the opponent avatar 620 side (back side of the paper) from the boundary surface 633.
  • the speed of the object 630 (table tennis ball) is set to 1/2.
  • Such a setting is made by the virtual object motion adjusting unit 164 of FIG. Specifically, in the virtual object setting recording unit 162 of FIG.
  • PositionX (Boundary): 1/6" are displayed in advance.
  • Set by recording Immediately after the opponent avatar hits the virtual object (table tennis ball), the speed of the virtual object 630 (table tennis ball) is set to 1/6, and immediately after the user avatar hits the virtual object (table tennis ball). May set the speed of the virtual object 630 (table tennis ball) to 1/2.
  • the virtual object setting recording unit 162 of FIG. 1 is set by recording "after hit by competitor: 1/6" and "after hit by user: 1/2" in advance.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの身体活動を効果的に支援する技術を提供する。　ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる連動部を備える身体活動支援システム。

Description

身体活動支援システム、方法、及び、プログラム
　本発明の実施形態は、アバターを用いてユーザの身体活動を支援する技術に関する。
　ユーザは、ディスプレイに表示された映像を見ながら、ダンスの振り付け、武道の型などの動作練習を行う場合がある。
　特許文献１は、撮像装置が投写面に対向するユーザを斜め上方から撮像し、ユーザの動作を撮像した撮像映像と、インストラクターの模範動作を撮像した見本映像を重畳し、重畳した映像を投写面に表示する技術を開示している。ここで、ユーザの撮像映像のサイズと、インストラクターの見本映像のサイズが揃っている。
　そして、ユーザの動作がインストラクターの模範動作から乖離している度合い（以下、乖離度という）を判定し、乖離度も投写面に表示する技術も開示している。このような技術は、ユーザが、ユーザ自身の撮像映像、インストラクターの見本映像、及び、乖離度を同時に投写面で見ることができ、乖離度を容易に把握することが可能である。
特開２００９－２７９０４１号公報
　しかしながら、特許文献１では一連の動作を素早く行うインストラクターの見本映像が表示される。このため、ユーザは見本の動きを見ながら、乖離度が小さくなるように真似をして動こうとしても、そもそもついて行けず、トレーニング効果を得られにくい。
　本発明は、このような課題に着目して鋭意研究され完成されたものであり、その目的は、ユーザの身体活動を効果的に支援する技術を提供することにある。
　上記課題を解決するために、本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる連動部を備える身体活動支援システムである。
　他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する仮想物体動作調整部を備える身体活動支援システムである。
　他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる身体活動支援方法である。
　他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する身体活動支援方法である。
　他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させるステップと、をコンピュータに実行させる身体活動支援プログラムである。
　他の本発明は、ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算するステップと、をコンピュータに実行させる身体活動支援プログラムである。
　本発明によれば、ユーザの身体活動を効果的に支援する技術を提供することができる。
本発明の実施形態に係る身体活動支援システムの機能ブロック図ある。 本発明の実施形態に係る身体活動支援システムのフローチャート（その１；動作練習モード）である。 本発明の実施形態に係る身体活動支援システムのフローチャート（その２；一人又は対戦モード）である。 本発明の第１の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。 本発明の第１の実施形態に係るユーザの位置データ等に対応する相手・実在物体の位置データ等を算出する方法を説明するための図である。 本発明の第２の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。 本発明の第４の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。
　図面を参照しながら本発明の実施の形態を説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明は省略する。
（身体活動支援システムの機能ブロック図）
　図１は、本発明の実施形態に係る身体活動支援システムの機能ブロック図ある。身体活動支援システム１００は、ユーザ・アバター、相手アバター、及び、実在物体画像を生成し、再生する機能ブロック群と、仮想物体を生成し、再生する機能ブロック群に大きく分けることができる。
　まず、ユーザ・アバター、相手アバター、及び、実在物体画像を生成し、再生する機能ブロック群について説明する。ユーザ動作検知装置１１１は、ユーザ（第１ユーザともいう）の動きを検知する装置であり、ユーザに装着した動きセンサ、又は、ユーザの動きを撮影するビデオカメラなどである。相手動作検知装置１２１は、ユーザ（第１ユーザ）の身体活動の相手（第２ユーザともいう）の動きを検知する装置であり、相手に装着した動きセンサ、又は、相手の動きを撮影するビデオカメラなどである。実在物体動作検知装置１３１は、ユーザ又は相手が身体活動を行う際に現実空間で実際に使用する物（対象物、又は、実在物体という）の動きを検知する装置であり、実在物体に装着した動きセンサ、又は、実在物体の動きを撮影するビデオカメラなどである。
　人間が装着する動きセンサは、位置、速度、加速度、及び、角度を取得することができる。動きセンサを身体に装着する位置は、例えば、左右の前腕部の肘付近、左右のつま先付近、左右の大腿部の膝付近、背中の中央付近、腰ベルトの背中中央付近、左右の側頭付近である。また、動きセンサの代りに、モーションキャプチャのマーカーを身体に装着して、ビデオカメラで撮影することによっても、人の位置、速度、加速度、及び、角度を取得することができる。また、モーションキャプチャのマーカーを人に装着しないで撮影した動画を画像解析することによって、人の位置、速度、加速度、及び、角度を取得してもよい。さらに、人が身体活動を行う際に現実空間で実際に使用する物（例えば、ゴルフクラブのグリップ）に、動きセンサ、又は、モーションキャプチャのマーカーを装着してもよい。
　第１データ記録部１１２は、ユーザ動作検知装置１１１が検知したユーザの動きを記録する。第２データ記録部１２２は、相手動作検知装置１２１が検知した相手の動きを記録する。第３データ記録部１３２は、実在物体動作検知装置１３１が検知した実在物体の動きを記録する。ここで、ユーザ、相手、又は実在物体の動きは、それぞれの動作情報ともいう。
　ユーザ・アバター生成部１１３は、第１データ記録部１１２が記録したユーザの動作情報から、ユーザ・アバターを生成することが可能である。ここで、アバターとは、コンピュータ・グラフィックス空間で人間の分身として動作する仮想的な人物をいう。また、ユーザ・アバター生成部１１３は、ユーザ動作検知装置１１１が検知したユーザの動きをリアルタイムに処理し、ユーザ・アバターを生成することも可能である。ここで、ユーザのアバターを生成する生成部は、ユーザ動作検知装置１１１というハードウェアと、第１データ記録部１１２及びユーザ・アバター生成部１１３というソフトウェアで構成されている。そして、ユーザのアバターを生成する生成部は、身体活動支援システム１００と一緒に利用者に納品してもよいし、身体活動支援システム１００には含めない状態で利用者に納品し、利用者側で用意してもよい。すなわち、ユーザのアバターを生成する生成部は身体活動支援システム１００にとって必須の構成とは限らない。同様のことは、相手アバター及び実在物体についてもいえる。
　相手アバター生成部１２３は、第２データ記録部１２２が記録した相手の動作情報から、相手アバターを生成することが可能である。また、相手アバター生成部１２３は、相手動作検知装置１２１が検知した相手の動きをリアルタイムに処理し、相手アバターを生成することも可能である。
　実在物体画像生成部１３３は、第３データ記録部１３２が記録した実在物体の動作情報から、実在物体画像を生成することが可能である。ここで、実在物体画像とは、現実空間での実在物体に対応するコンピュータ・グラフィックス空間での画像をいう。また、実在物体画像生成部１３３は、実在物体動作検知装置１３１が検知した実在物体の動きをリアルタイムに処理し、実在物体画像を生成することも可能である。
　生成されたユーザ・アバター、相手アバター、及び、実在物体画像は、ユーザ連動処理部１４０に入力される。ユーザ連動処理部１４０は、相手アバターの動き、及び／又は、実在物体画像の動きをユーザ・アバターの動きに連動させることが可能である。具体的には、ユーザ連動処理部１４０は、第１計算部１４１と、第２計算部１４２と、第３計算部１４３を備える。第１計算部１４１は、ユーザ・アバターが生成された情報に基づいて、ユーザ・アバターの動作情報を計算する。第２計算部１４２は、ユーザ・アバターが生成された情報に基づいて、相手アバターの動作情報を計算する。第３計算部１４３は、ユーザ・アバターが生成された情報に基づいて、実在物体画像の動作情報を計算する。そして、ユーザ連動処理部１４０は、ユーザ・アバターの動作情報に、相手アバターの動作情報を連動させる。
　ユーザ連動処理部１４０によって連動されたユーザ・アバター、相手アバター、及び、実在物体画像それぞれの動きは、ユーザ・アバター再生部１１４、相手アバター再生部１２４、及び、実在物体再生部１３４でそれぞれ再生される。再生されたユーザ・アバター、相手アバター、及び、実在物体は表示装置１５０に表示される。表示装置１５０は、ユーザが装着するヘッド・マウント・ディスプレイ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ；ＨＭＤ）、または、ユーザが練習をしながら見られるように設置された平面ディスプレイ等であり、二次元表示でも三次元表示でもよい。
　次に、仮想物体を生成し、再生する機能ブロック群について説明する。仮想物体とは、上述した実在物体とは異なり、コンピュータ・グラフィックス空間のみに表示される画像である。すなわち、仮想物体は、実在せず、コンピュータが仮想的に作成した画像である。
　仮想物体情報入力装置１６１は、仮想物体の位置や、実在物体との接触に応じた速度及び／又は加速度を設定する入力デバイスである。コンピュータのキーボード等から入力すればよい。
　仮想物体設定記録部１６２は、仮想物体情報入力装置１６１から入力された速度・加速度などを記録しておく。仮想物体生成部１６３は、仮想物体の画像を生成し、仮想物体動作調整部１６４へ出力する。
　仮想物体動作調整部１６４は、ユーザ連動処理部１４０に連動されたユーザ・アバター、相手アバター、及び、実在物体画像のうち少なくとも１つの動きに応じて、予め仮想物体設定記録部１６２で動きを設定された仮想物体の動作を調整することが可能である。
　仮想物体再生部１６５は、仮想物体動作調整部１６４によって調整された仮想物体の動きを再生する。再生された仮想物体は、表示装置１５０に表示される。
　上述した機能ブロック群で構成される身体活動支援システム１００は、ソフトウェアとしてコンピュータに実装されていてもよく、その実装形態は限定されない。例えば、パーソナルコンピュータ等のクライアント端末と有線又は無線の通信回線（インターネット回線など）に接続された専用サーバにインストールされた身体活動支援プログラムとして実装されていてもよいし、いわゆるクラウドサービスを利用して実装されていてもよい。
（身体活動支援システムのフローチャート）
　図２及び図３は、本発明の実施形態に係る身体活動支援システムについて２種類のフローチャートである。図２は、相手が、ユーザが行う身体活動の熟練者である場合（その１；ユーザが熟練者から動作練習を受ける動作練習モード）のフローチャートである。図３は、ユーザが一人で動作練習をする場合、又はユーザが身体活動を通して相手と競い合う場合（その２；一人又は対戦モード）のフローチャートである。図２と図３の相違点は、図２のＳ１３０（ユーザの動きデータから時刻iを求める）が図３には無い点である。
（フローチャートその１；動作練習モード）
　まず、図２について説明する。Ｓ１１０は、リアルタイムに表示するユーザ等のセンサやモーションデータをユーザ動作検知装置１１１等から取得するステップである。また、第１データ記録部１１２等に記録しておいてもよい。
　Ｓ１２０は、各生成部が各検知装置や各記録部からの情報に基づいて生成したユーザ・アバター、相手アバター、実在物体画像について、ユーザ連動処理部１４０の第１計算部１４１、第２計算部１４２、第３計算部１４３がそれぞれユーザ・アバターの動きデータ、相手アバターの動きデータ、実在物体画像の動きデータを計算するするステップである。ここで、動きデータとは、所定の時間間隔（時刻１から時刻ｎまで）の位置、速度、加速度、及び／又は角度のデータ（動作情報ともいう）をいう。位置データと角度データの２つから、ユーザ・アバター等がずっと動いているか、又は、一時停止をしているかを計算することができる。
　Ｓ１３０は、ユーザ自身が知りたい任意のユーザの動きに相当する時刻ｉを求めるステップである。例えば、ユーザがゴルフクラブを持ってスイングを練習しており、相手がゴルフのレッスンプロ、実在物体がゴルフクラブの場合、ユーザが装着した動きセンサ（図１のユーザ動作検知装置１１１に相当）が、ユーザの動きが一時停止したことを検知すると、ユーザ連動処理部１４０は、ユーザがその一時停止した時の相手（レッスンプロ）アバターの動きを知りたいと判断する。そして、ユーザ連動処理部１４０は、一時停止した時刻ｉを求める。
　Ｓ１４０では、その時刻ｉの時の相手（レッスンプロ）アバターの動きデータを求める。この時刻ｉの時の相手（レッスンプロ）アバターの動きデータが、ユーザ・アバターの時刻ｉの時の動きデータに対応する。また、実在物体画像（ユーザが使用しているゴルフクラブ及び相手が使用しているゴルフクラブ）の動きデータを求めてもよい。
　Ｓ１５０は、仮想物体の速度・加速度を調整するモードの有無を判断するステップである。例えば、ユーザがゴルフクラブのスイングを練習している場合でも、本実施形態の身体活動支援システムは、ａ）ゴルフクラブの素振りを選択する場合と、ｂ）ゴルフクラブをスイングした結果、仮想物体としてのボールがどのように飛ぶかを仮想空間で確認したい場合のどちらかを選択することが可能である。ユーザは、図１の仮想物体情報入力装置を用いて、このような選択をすることができる。
　ａ）素振りの場合は、Ｓ１５０のＮｏに該当する。このため、ユーザ連動処理部１４０は、時刻ｉからのユーザ・アバターの動きに、相手アバターの動きを連動させることができる。また、ユーザ・アバターがスイングするゴルフクラブ（実在物体の画像）、及び、相手アバターがスイングするゴルフクラブ（実在物体の画像）の動きも連動させることができる。
　Ｓ１８０は、各再生部によって再生されたユーザ・アバター、相手アバター、及び／又は実在物体の画像を表示装置１５０が表示するステップである。
　一方、ｂ）ゴルフクラブをスイングした結果、仮想物体としてのボールがどのように飛ぶかを仮想空間で確認したい場合は、Ｓ１５０のＹｅｓに該当する。この場合、図１の仮想物体動作調整部１６４は、仮想物体の位置データ、及び、実在物体との接触に関するデータを取得する（Ｓ１６０）。
　そして、仮想物体動作調整部１６４は、仮想物体の速度及び加速度を決定する（Ｓ１７０）。仮想物体再生部１６５は、決定された速度及び加速度に応じて、仮想物体を再生し、表示装置１５０に表示する（Ｓ１８０）。
（フローチャートその２；一人又は対戦モード）
　次に、図３について説明する。Ｓ２１０は、図２のＳ１１０と同様、リアルタイムに表示するユーザ等のセンサやモーションデータをユーザ動作検知装置１１１等から取得するステップである。また、第１データ記録部１１２等に記録しておいてもよい。
　Ｓ２２０は、図２のＳ１２０と同様、各生成部が、各検知装置や各記録部からの情報に基づいて、ユーザ・アバター、相手アバター、実在物体画像それぞれの動きデータを生成するステップである。Ｓ２２０では、相手アバターの動きデータを生成することは必須ではない点に留意していただきたい。
　Ｓ２３０は、図２のＳ１３０が無く、図２のＳ１４０と異なり、時刻ｉの時のユーザ・アバター及び／又は相手（対戦者）アバターの動きデータを求める。実在物体画像（ユーザが使用している実在物体、及び／又は、相手が対戦に使用している実在物体）の動きデータを求めてもよい。
　Ｓ２４０は、図２のＳ１５０と同様、仮想物体の速度・加速度を調整するモードの有無を判断するステップである。Ｓ２５０は、図２のＳ１６０と同様、仮想物体の位置データ、及び、実在物体との接触に関するデータを取得するステップである。Ｓ２６０は、Ｓ１７０と同様、仮想物体の速度及び加速度を決定するステップである。Ｓ２７０は、Ｓ１８０と同様、決定された速度及び加速度に応じて、仮想物体を再生し、表示装置１５０に表示するステップである。
　以下では、４つの実施形態を説明する。第１及び第２の実施形態は、図２のフローチャート（その１；動作練習モード）に関する。第３及び第４の実施形態は、図３のフローチャート（その２；一人又は対戦モード）に関する。
　（第１の実施形態の構成）
　第１の実施形態は、ユーザがゴルフのスイングを練習する場合について説明する。図４は、第１の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。ここで、ｘ軸は人の左足から右足にかけての足幅方向であり、ｙ軸は人の高さ方向であり、ｚ軸は人の背中から腹側への方向である。ユーザ・アバター４１０及びユーザ側の実在物体（ゴルフクラブ）の画像４１１を点線で表示し、相手アバター４２０、及び、相手側の実在物体（ゴルフクラブ）の画像４２１を実線で表示している。
　ユーザ・アバター４１０は、ユーザに装着された動きセンサに応じてリアルタイムに動作する。また、ユーザ側の実在物体（ゴルフクラブ）の画像４１１も、ユーザがスイングするゴルフクラブのグリップに装着された動きセンサに応じてリアルタイムに動作する。
　一方、相手（ゴルフのレッスンプロ等の熟練者）、及び、相手側の実在物体（ゴルフクラブ）のグリップに装着された動きセンサによって相手の動きは予め記録されている。そして、相手アバター４２０、及び、相手側の実在物体（ゴルフクラブ）の画像４２１は、リアルタイムに動作するユーザ・アバター４１０に連動して動く。
　相手アバター４２０がどのようにユーザ・アバター４１０に連動するかについて説明する。図５は、ユーザの位置データ等に対応する相手、及び／又は、実在物体の位置データ等を算出する方法を説明するための図である。
　図５のａ）は、ユーザの左手の位置、角度、及び、速度をリアルタイムで測定する場合の数値データの一例である。ｐはｐｏｓｉｔｉｏｎ（位置）、ｒはｒｏｔａｔｉｏｎ（角度）、ｖはｖｅｌｏｃｉｔｙ（速度）を表す。図５のｂ）は、相手（熟練者）の左手の位置群、角度群、及び、速度群をｔ（ｔｉｍｅ；時刻）が１～ｎまでについて記録されたデータである。各時間の間隔は０．０１秒である。
　ゴルフのスイングの場合、熟練者の左手の速度群の中で、ｘ軸の正負が、ユーザの左手のｘ軸と同じものを抜き出す。その中で、図５のｃ－１）で示す数式（ユーザと熟練者の左手の距離）が最小になる、又は、ｃ－２）で示す数式（ユーザと熟練者の左手の角度）が最も近い時刻ｉを求める。
　次に、その時刻ｉの時の熟練者の状態（腕の位置や角度など）を求める。これが図２のＳ１４０に相当する。ここで、手だけでなく、体の他の部位や、実在物体との組合せを求めてもよい。
　このようにして求めた時刻ｉの時の相手（熟練者）アバターをユーザ・アバター４１０の時刻ｉの時の動きに連動させることが、図１のユーザ連動処理部１４０である。
　（第１の実施形態の作用効果）
　第１の実施形態によれば、ユーザが身体活動（ゴルフのスイング練習）をする際に、リアルタイムに処理したユーザ・アバターの動きに予め記録した相手（熟練者）アバターの動きを連動して、さらに重ねて再生することができる。このため、ユーザは、ゴルフのスイング練習などの連続的な動作を練習している際に、相手（熟練者）の動きについていきやすく、効果的なトレーニングを行えるという作用効果を有する。
　また、ユーザがゴルフのスイング練習をしている最中に、ユーザが好きな所で止めたり、動かしたりするだけで、相手（熟練者）アバターの動きを確認しやすくなるという作用効果も有する。例えば、ユーザが相手（熟練者）のある腕の角度のフォームを確認したいとき、自分の腕をその角度にまで動かすだけで、その腕の角度の相手（熟練者）のフォームを確認することができる。
　また、リアルタイムに処理したユーザ・アバターの動きに連動して、所定の時間間隔だけ先に、又は、後に、予め記録した相手（熟練者）アバターの動きをユーザ・アバターの動きに重ねて再生することもできる。この場合、ユーザ・アバター４１０の動きから数フレーム程度先に、又は、後に（遅れて）相手（熟練者）アバターが動くように、所定の時間間隔を調整可能な調整部を設ければ良い。１フレームは約０．０１秒である。
　第１の実施形態は、ユーザ・アバター４１０と相手（熟練者）アバター４２０だけを再生表示すれば、ゴルフボールを飛ばさない状態での素振りの練習になる。また、図１の仮想物体調整部１６４が、ユーザ側の実在物体（ゴルフクラブ）の画像４１１、及び、相手（熟練者）の実在物体（ゴルフクラブ）の画像４２１と、それぞれの仮想物体（ゴルフボール）へのインタラクションを計算すれば、仮想物体（ゴルフボール）が飛ぶ弾道の違いをユーザの場合及び相手（熟練者）の場合それぞれについて調整し、再生表示することも可能になる。
　また、図４では、ユーザ・アバター４１０は相手アバター４２０を透過せずに、表示している。しかし、これに限られることはなく、相手アバター４２０を半透明に表示すれば、ユーザ・アバター４１０は隠れることなく表示することが可能になる。
　（第２の実施形態の構成）
　第２の実施形態は、ユーザがけん玉を練習する場合について説明する。図６は、第１の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。図６のａ）はユーザ・アバター６１０、ユーザ側の実在物体（けん玉のけん）の画像６１１、及び、ーザ側の仮想物体（けん玉の玉）６２１を表している。図６のｂ）は相手（熟練者）アバター６２０、相手側の実在物体（けん玉のけん）の画像６２１、及び、相手側の仮想物体（けん玉の玉）６２２を表している。ここで、ユーザ及び相手（熟練者）のけん玉の玉は仮想物体であるため、ユーザ及び相手（熟練者）がけん玉を行う際の現実空間で実際に使用する物ではない点に留意していただきたい。
　第２の実施形態も、第１の実施形態と同様、ユーザが身体活動（けん玉の練習）をする際に、リアルタイムに処理したユーザ・アバター６１０の動きに連動して、予め記録した相手（熟練者）アバター６２０の動きをユーザ・アバターの動きに重ねて再生している。さらに、ユーザ側の実在物体（けん玉のけん）の画像６１１、及び、相手側の実在物体（けん玉のけん）の画像６２１と、それぞれの仮想物体（けん玉のたま）６１２及び６２２へのインタラクションを計算すれば、仮想物体（けん玉の玉）が実在物体（けん玉のけん）にうまく着地するかの違いをユーザの場合及び相手（熟練者）の場合それぞれについて計算し、再生表示している。
　（第２の実施形態の作用効果）
　第２の実施形態によれば、ユーザが身体活動（けん玉の練習）をする際に、リアルタイムに処理したユーザ・アバターの動きに予め記録した相手（熟練者）アバターの動きを連動して、さらに重ねて再生することができる。又は、横に並べて再生表示してもよい。このため、ユーザは、けん玉練習などの連続的な動作を練習している際に、相手（熟練者）の動きについていきやすく、効果的なトレーニングを行えるという作用効果を有する。
　また、けん玉の練習の場合、けん玉を単に手だけで動かすのではなく、手と同時に膝も動かすことが重要であることをユーザは自然に学ぶことができる。
（第３の実施形態の構成）
　第３の実施形態は、ユーザが一人で（相手アバターを表示せずに）けん玉を練習する場合について説明する。この場合の表示例は、図６のａ）のみを表示し、ｂ）を表示しない場合に相当する。
　第３の実施形態のフローチャートは、図３のフローチャート（その２；一人又は対戦モード）に相当する。そして、Ｓ２２０、Ｓ２３０，Ｓ２７０の処理については、相手アバターに関する処理はせずに、ユーザ・アバター、ユーザの実在物体（けん玉のけん）、ユーザの仮想物体（けん玉のたま）について処理を行えばよい。
　また、一人で練習するため、ユーザの仮想物体（けん玉のたま）の速度を調整してもよい。例えば、図１の仮想物体設定記録部１６２に「ａｆｔｅｒ　ｈｉｔ　ｂｙ　ｕｓｅｒ：　１／２」と記録しておけば、図１の仮想物体動作調整部１６４は、ユーザの仮想物体（けん玉のたま）の速度を１／２に設定することができる。
（第３の実施形態の作用効果）
　第３の実施形態によれば、ユーザはけん玉を練習する際に、実際のけん玉とは異なり、玉の落下速度を調整（遅く）することができ、慌てずに練習することができるという作用効果を有する。このため、動作を確認しながら、単に手だけで動かすのではなく、手と同時に膝も動かすことが重要であることをユーザは自然に学ぶことができる。
（第４の実施形態の構成）
　第４の実施形態は、ユーザが卓球の試合をする場合について説明する。図７は、第４の実施形態に係るユーザ・アバター及び相手アバターの表示例を示す図である。６１０はユーザ・アバターを表し、６１１はユーザ側の実在物体（卓球のラケット）の画像を表す。６２０は相手（対戦者）アバターを表し、６２１は相手側の実在物体（卓球のラケット）の画像を表す。６３０は仮想物体である卓球のボールを表し、６３１は仮想物体である卓球台を表し、６３２は仮想物体である卓球台のネットを表し、６３３は仮想物体である境界面を表す。ここで、ｘ軸は仮想物体である卓球台６３１の長手方向であり、ｙ軸は短手方向であり、ｚ軸は高さ方向である。
　第４の実施形態では、仮想物体の速度を、仮想物体の位置や状態などによって複数の値に調整される。境界面６３３よりユーザ・アバター６１０側（紙面手前側）では、仮想物体６３０（卓球のボール）の速度は１／６に設定され、境界面６３３より相手アバター６２０側（紙面奥側）では、仮想物体６３０（卓球のボール）の速度は１／２に設定される。このような設定は、図１の仮想物体動作調整部１６４で行われる。具体的には、図１の仮想物体設定記録部１６２に、予め「ＰｏｓｉｔｉｏｎＸ（Ｂａｌｌ）＜ＰｏｓｉｔｉｏｎＸ（Ｂｏｕｎｄａｒｙ）：　１／２」、「ＰｏｓｉｔｉｏｎＸ（Ｂａｌｌ）＞＝ＰｏｓｉｔｉｏｎＸ（Ｂｏｕｎｄａｒｙ）：　１／６」と記録することによって設定する。また、相手アバターが仮想物体（卓球のボール）を打った直後は仮想物体６３０（卓球のボール）の速度を１／６に設定され、ユーザ・アバターが仮想物体（卓球のボール）を打った直後は仮想物体６３０（卓球のボール）の速度を１／２に設定される場合もある。この場合は、図１の仮想物体設定記録部１６２に、予め「ａｆｔｅｒ　ｈｉｔ　ｂｙ　ｃｏｍｐｅｔｉｔｏｒ：　１／６」、「ａｆｔｅｒ　ｈｉｔ　ｂｙ　ｕｓｅｒ：　１／２」と記録することによって設定する。
（第４の実施形態の作用効果）
　第４の実施形態によれば、ユーザと対戦者の身体活動（卓球）への習熟度が異なる場合であっても、仮想物体６３０（卓球のボール）の速度調整が容易であるため、互角の試合をすることが可能になるという作用効果を有する。
　また、仮想物体６３０（卓球のボール）の速度調整をすることによって、高齢者や若者など世代が異なる人が試合をできたり、また、体の不自由な人と体の健康な人とが試合をできる等、現実空間では難しい対戦競技をすることが可能になるという作用効果も有する。
　以上、本発明の実施例（変形例を含む）について説明してきたが、これらのうち、２つ以上の実施例を組み合わせて実施しても構わない。あるいは、これらのうち、１つの実施例を部分的に実施しても構わない。さらには、これらのうち、２つ以上の実施例を部分的に組み合わせて実施しても構わない。例えば、第１の実施形態の場合、相手の動作を予め記録しておく記録部がある。一方、第２の実施形態の場合、記録部が有るケース（予め記録してある熟練者データとの練習）と、無いケース（実人間とのリアルタイム対戦）がある。実人間とのリアルタイム対戦の場合、相手アバターの動作情報を計算すればよい。
　また、本発明は、上記発明の実施例の説明に何ら限定されるものではない。特許請求の範囲の記載を逸脱せず、当業者が容易に想到できる範囲で種々の変形態様もこの発明に含まれる。
　１００　身体活動支援システム
　１４０　ユーザ連動処理部
　１６４　仮想物体動作調整部

Claims (9)

  1. 　ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、
    　前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる連動部を備える身体活動支援システム。
  2. 　前記ユーザ・アバターの動作情報と、前記ユーザ・アバターの動作情報に連動した前記相手アバターの動作情報を再生する再生部を備える請求項１に記載の身体活動支援システム。
  3. 　前記ユーザ・アバターの動作情報に基づいて、前記ユーザ・アバターから仮想物体へのインタラクションを計算する仮想物体動作調整部を備える請求項１に記載の身体活動支援システム。
  4. 　前記仮想物体動作調整部は、前記相手アバターの動作情報に基づいて、前記相手アバターから前記仮想物体へのインタラクションを計算する請求項３に記載の身体活動支援システム。
  5. 　ユーザのアバターを生成する生成部を用いた身体活動支援システムであって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算する第１計算部と、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算する第２計算部と、
    　前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する仮想物体動作調整部を備える身体活動支援システム。
  6. 　ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、
    　前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させる身体活動支援方法。
  7. 　ユーザのアバターを生成する生成部を用いた身体活動支援方法であって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算し、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算し、
    　前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算する身体活動支援方法。
  8. 　ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、
    　前記ユーザ・アバターの動作情報に、前記相手アバターの動作情報を連動させるステップと、
    をコンピュータに実行させる身体活動支援プログラム。
  9. 　ユーザのアバターを生成する生成部を用いた身体活動支援プログラムであって、
    　前記生成部からの情報に基づいて、ユーザ・アバターの動作情報を計算するステップと、
    　前記生成部からの情報に基づいて、前記ユーザの身体活動の相手となる相手アバターの動作情報を計算するステップと、
    　前記ユーザ・アバターの動作情報、及び、前記相手アバターの動作情報に応じて、仮想物体へのインタラクションを計算するステップと、
    をコンピュータに実行させる身体活動支援プログラム。
PCT/JP2020/021074 2019-05-31 2020-05-28 身体活動支援システム、方法、及び、プログラム WO2020241735A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-103324 2019-05-31
JP2019103324A JP2020195551A (ja) 2019-05-31 2019-05-31 身体活動支援システム、方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2020241735A1 true WO2020241735A1 (ja) 2020-12-03

Family

ID=73552583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021074 WO2020241735A1 (ja) 2019-05-31 2020-05-28 身体活動支援システム、方法、及び、プログラム

Country Status (2)

Country Link
JP (2) JP2020195551A (ja)
WO (1) WO2020241735A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2023276215A1 (ja) * 2021-06-29 2023-01-05

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017060891A (ja) * 2010-11-05 2017-03-30 ナイキ イノベイト セー． フェー． 自動化個人トレーニングのための方法およびシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846086A (en) * 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US20130178960A1 (en) * 2012-01-10 2013-07-11 University Of Washington Through Its Center For Commercialization Systems and methods for remote monitoring of exercise performance metrics
JP6601136B2 (ja) * 2015-10-13 2019-11-06 富士通株式会社 反応出力システム、反応出力プログラム、反応出力方法
US20180261120A1 (en) * 2015-12-01 2018-09-13 Sharp Kabushiki Kaisha Video generating device, method of controlling video generating device, display system, video generation control program, and computer-readable storage medium
JP2019012965A (ja) * 2017-06-30 2019-01-24 富士通株式会社 映像制御方法、映像制御装置、及び映像制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017060891A (ja) * 2010-11-05 2017-03-30 ナイキ イノベイト セー． フェー． 自動化個人トレーニングのための方法およびシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Freely walk around the gymnasium for another competition! ?? HTC VIVE table tennis game "Ping Pong League", HTC VIVE, STEAM, NEWS, 28 February 2017 (2017-02-28), XP055767020, Retrieved from the Internet <URL:http://panora.tokyo/21892> [retrieved on 20200710] *

Also Published As

Publication number Publication date
JP2020195551A (ja) 2020-12-10
JP7054276B2 (ja) 2022-04-13
JP2021142345A (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
Miles et al. A review of virtual environments for training in ball sports
US10821347B2 (en) Virtual reality sports training systems and methods
Gray Virtual environments and their role in developing perceptual-cognitive skills in sports
Hämäläinen et al. Martial arts in artificial reality
Vignais et al. Which technology to investigate visual perception in sport: Video vs. virtual reality
Mueller et al. Designing for bodily interplay in social exertion games
JP5943913B2 (ja) ユーザー追跡フィードバック
JP5965089B1 (ja) スクリーン野球システム競技方法
JP2552427B2 (ja) テレビ遊戯システム
US8979710B2 (en) Adaptable exercise system and method
JP6088087B2 (ja) スクリーン野球システム運営方法
WO2019130527A1 (ja) 抽出プログラム、抽出方法および情報処理装置
JP2000033184A (ja) 全身動作入力型のゲ―ム及びイベント装置
US11130063B2 (en) Gaming system for sports-based biomechanical feedback
Dhawan et al. Development of a novel immersive interactive virtual reality cricket simulator for cricket batting
US20240245975A1 (en) Mixed reality simulation and training system
JP7054276B2 (ja) 身体活動支援システム、方法、及び、プログラム
JP2002123840A (ja) 臨場感型仮想現実提供処理方法および装置
Saint-Louis et al. Survey of haptic technology and entertainment applications
Saiki et al. A Large-Scale Mixed Reality Stadium for Training Combination Tactics in Basketball
US20240286005A1 (en) Exercise apparatus with integrated holographic display
JP7502957B2 (ja) 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
Higuchi et al. Scarecrow: Avatar representation using biological information feedback
Bogdanovych et al. A novel approach to sports oriented video games with real-time motion streaming
JP2019083996A (ja) 動体反応確認システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814004

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20814004

Country of ref document: EP

Kind code of ref document: A1