WO2023127203A1 - 活動量算出装置及び活動量算出方法 - Google Patents

活動量算出装置及び活動量算出方法 Download PDF

Info

Publication number
WO2023127203A1
WO2023127203A1 PCT/JP2022/034070 JP2022034070W WO2023127203A1 WO 2023127203 A1 WO2023127203 A1 WO 2023127203A1 JP 2022034070 W JP2022034070 W JP 2022034070W WO 2023127203 A1 WO2023127203 A1 WO 2023127203A1
Authority
WO
WIPO (PCT)
Prior art keywords
exercise
user
activity
energy consumption
whole
Prior art date
Application number
PCT/JP2022/034070
Other languages
English (en)
French (fr)
Inventor
佑子 沖野
亜希子 中嶌
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2023127203A1 publication Critical patent/WO2023127203A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities

Definitions

  • the present invention relates to an activity mass calculation device and an activity mass calculation method.
  • Physical activity refers to all movements that consume more energy than a resting state, and the amount of physical activity that is quantified (hereinafter referred to as "amount of activity"). ) can be measured in various ways. In recent years, in order to evaluate (measure) the amount of activity in daily life, the amount of activity has been measured using a small device worn on the body, such as a pedometer or an activity meter. The amount of activity can be represented by parameters that quantify physical activity such as energy consumption (consumed energy), METs, exercise (METs x exercise time), and calorie consumption.
  • Patent Document 1 discloses a muscle activity visualization system (hereinafter referred to as "conventional system") that estimates the amount of muscle activity of a subject (user) from data measured by a range image camera that measures the three-dimensional posture of the subject (user). ) is disclosed.
  • one of the objects of the present invention is to provide an activity amount calculation device and an activity amount calculation method that can calculate an activity amount, which is a parameter that quantifies a user's physical activity, based on a moving image of the user.
  • An activity amount calculation device of the present invention is an activity amount calculation device including an information processing device that processes data based on a captured moving image of a user, wherein the information processing device processes based on the captured moving image of the user during a calculation target period.
  • Angular velocities of each of a plurality of calculation reference joint points among the plurality of joint points are calculated based on the acquired skeletal data of the user. It is the length between the calculation reference joint point and the center of gravity of the corresponding body part in the rotation direction component of the estimated gravity acting on the corresponding body part obtained by multiplying the estimated mass of the surrounding corresponding body part by the gravitational acceleration.
  • the torque arm length By multiplying the torque arm length to calculate the torque, and by multiplying the calculated torque and the angular velocity in the rotational direction, the corresponding body part around the joint point in the calculation target period calculating the muscle power during exercise; calculating an integral value of the total muscle power during exercise over the calculation target period as the energy consumption during whole-body exercise; and calculating at least one of the whole-body energy consumption and a parameter derived from the whole-body energy consumption as an activity amount, which is a parameter that quantifies the physical activity of the user.
  • An activity amount calculation method of the present invention is an activity amount calculation method using an information processing device that processes data based on a captured moving image of a user, wherein the information processing device calculates calculating the angular velocities of each of a plurality of calculation reference joint points among the plurality of joint points based on the skeletal data of the user obtained by
  • the rotation direction component of the estimated gravity acting on the corresponding body part obtained by multiplying the estimated mass of the corresponding body part around by the gravitational acceleration is the length between the calculation reference joint point and the center of gravity of the corresponding body part
  • a torque calculation that calculates torque by multiplying a certain torque arm length, and the corresponding body part around the joint point in the calculation target period by multiplying the calculated torque and the angular velocity in the rotational direction and calculating the muscle power during exercise to calculate the muscle power during exercise, calculating the integral value of the total muscle power during exercise for the calculation target period as the energy consumption during whole-body exercise, and calculating at least the energy consumption during whole-body exercise Based on this, the
  • the amount of activity which is a parameter that quantifies the user's physical activity, can be calculated based on the user's video.
  • FIG. 1 is a schematic diagram showing a schematic configuration example of a system including an activity amount calculation device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration example of the active mass calculation device.
  • FIG. 3 is a diagram for explaining user information.
  • FIG. 4 is a diagram for explaining exercise menu data.
  • FIG. 5 is a diagram showing skeleton data as an image.
  • FIG. 6 is a diagram for explaining the result data.
  • FIG. 7 is a block diagram showing a specific configuration example of the terminal device.
  • FIG. 8 is a diagram showing an example of a GUI screen displayed on the terminal device.
  • FIG. 9 is a flow chart showing a processing flow executed by the active mass calculation device.
  • FIG. 1 is a schematic diagram showing a schematic configuration example of a system including an activity amount calculation device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration example of the active mass calculation device.
  • FIG. 3 is
  • FIG. 10 is a diagram for explaining a method of calculating torque applied to joint points and a method of calculating angular velocity.
  • FIG. 11A is a diagram for explaining calculation formulas.
  • FIG. 11B is a diagram for explaining the calculation formula.
  • FIG. 12 is a diagram showing an example of the measurement screen.
  • FIG. 13 is a diagram showing an example of a result screen.
  • FIG. 14 is a diagram showing an example of the activity amount presentation screen for this week.
  • FIG. 15 is a diagram for explaining an example of time-series data of joint torque, angular velocity, muscle power during exercise, and muscle power during rest for the period from the start time ts of the exercise menu (abdominal muscle) to a certain time t2. is.
  • FIG. 16 is a diagram for explaining the calculation formula.
  • FIG. 16 is a diagram for explaining the calculation formula.
  • FIG. 17 is a flow chart showing a processing flow executed by the activity amount calculation device according to the second embodiment of the present invention.
  • FIG. 18 is a flow chart showing a processing flow executed by the activity amount calculation device according to the third embodiment of the present invention.
  • FIG. 19 is a diagram for explaining the calculation formula.
  • FIG. 20 is a flow chart showing a processing flow executed by the activity amount calculation device according to the fourth embodiment of the present invention.
  • FIG. 21 is a diagram for explaining the calculation formula.
  • FIG. 22 is a diagram for explaining calculation reference joint points corresponding to trunk muscles.
  • FIG. 23 is a diagram showing an example of an activity amount calculation method setting screen.
  • FIG. 24 is a diagram for explaining an example of a method of calculating the mass (estimated mass) of the corresponding body part and the length of the torque arm.
  • FIG. 25 is a diagram for explaining an example of a method of calculating the mass (estimated mass) of the corresponding body part.
  • FIG. 26 is a schematic configuration diagram
  • FIG. 1 is a schematic diagram showing a schematic configuration example of a system including an activity amount calculation device 100 according to the first embodiment of the present invention.
  • the system includes an activity amount calculation device 100 and a terminal device 200.
  • the terminal device 200 is, for example, a tablet-type terminal device equipped with an imaging device, and displays an image (moving image) for teaching exercise to the user Us1, and quantifies the physical activity of the user Us1. It functions as an exercise teaching/measuring device that acquires an image (exercise execution video) necessary for measuring the amount of activity (amount of physical activity) that is a parameter.
  • the activity amount calculation device 100 and the terminal device 200 are communicably connected to each other via the network NW1.
  • the amount of activity is a parameter that quantifies the physical activity of user Us1, and includes whole body energy consumption E, METs A (METs), exercise Aw, whole body calorie consumption Ec, and the like.
  • the whole-body energy consumption E is a parameter (index) that expresses the energy consumed by the physical activity of the user Us1 in joules.
  • the whole-body calorie consumption Ec is a parameter (index) that expresses the energy consumed by the physical activity of the user Us1 in units of calories (kcal).
  • METs A is a parameter (index) that represents the intensity of physical activity based on a sitting and resting state, and is expressed in units called METs.
  • Exercise Aw is the product of METs A and exercise time, is a parameter (index) that represents the amount of physical activity, and is expressed as "METs/hour”.
  • Whole-body calorie consumption Ec, METs A, exercise Aw, and the like can be derived from whole-body energy consumption E, and are also referred to as "parameters derived from whole-body energy consumption E" for convenience.
  • FIG. 2 is a block diagram showing a specific configuration example of the activity amount calculation device 100.
  • the active mass calculation device 100 includes a data readable and writable nonvolatile storage device 110, a processor 120 (eg, CPU), a memory 130 (eg, RAM), and an input interface 140. , an output interface 150 and a communication interface 160 . These are connected via bus 170 .
  • the device including the bus 170 connecting the storage device 110, the processor 120, the memory 130, the input interface 140, the output interface 150, the communication interface 160, etc. is also called an "information processing device.”
  • the information processing device may be a plurality of information processing devices or a virtual information processing device constructed on a cloud.
  • the storage device 110 holds (stores, stores) a database 111 .
  • the database 111 includes user information 112 , exercise menu data 113 , skeleton data 114 , motion/still determination data 115 , activity amount data 116 and result data 117 . Details of these data stored in the database 111 will be described later.
  • the processor 120 operates as a data processing unit 121.
  • the data processing unit 121 includes a user information management unit 122 , an exercise menu instruction unit 123 , a skeleton data extraction unit 124 , a still motion determination unit 125 , an activity amount calculation unit 126 and a result processing unit 127 .
  • the user information management unit 122 updates (registers) the user information 112 stored in the database 111 by executing the user information registration process.
  • the user information management unit 122 refers to the user information 112 . Details of the user information registration process will be described later.
  • the exercise menu instruction unit 123 refers to the exercise menu data 113 stored in the database 111 and provides (instructs) the terminal device 200 with an exercise menu and an exercise instruction video.
  • the skeletal data extraction unit 124 extracts the skeletal data 114 based on the exercise video of the user Us1 captured by the terminal device 200 and stores the skeletal data 114 in the database 111 .
  • the motion/stillness determination unit 125 stores in the database 111 motion/stillness determination data 115 that indicates whether each joint point (joint) of the user Us1 is in a motion state or a rest state.
  • the activity amount calculation unit 126 calculates the activity amount data 116 based on the skeleton data 114 and motion stillness determination data 115 by executing the activity amount calculation process described later, and stores the activity amount data 116 in the database 111 .
  • the result processing unit 127 calculates result data 117 based on the skeleton data 114 and the activity amount data 116 and stores the result data 117 in the database 111 .
  • the processor 120 loads the program stored in the storage device 110 into the memory 130 .
  • the processor 120 executes a program loaded in the memory 130 to perform a data processing unit 121 (user information management unit 122, exercise menu instruction unit 123, skeleton data extraction unit 124, movement/stationary determination unit 125, activity amount calculation unit 126 and result processing unit 127).
  • a data processing unit 121 user information management unit 122, exercise menu instruction unit 123, skeleton data extraction unit 124, movement/stationary determination unit 125, activity amount calculation unit 126 and result processing unit 127.
  • the input interface 140 is an interface for connecting operating devices such as keyboards and mice.
  • the output interface 150 is an interface for connecting a display device (display) or the like.
  • the communication interface 160 is an interface for connecting the activity amount calculation device 100 to the network NW1.
  • the details of the user information 112, the exercise menu data 113, the skeleton data 114, the still motion determination data 115, the activity amount data 116, and the result data 117 will be described.
  • the user information 112 includes personal attribute values, usage history information, user setting information, and the like.
  • FIG. 3 is a diagram for explaining the user information 112 represented by a table.
  • the user information 112 includes user ID 112a, facility ID 112b, in-facility user ID 112c, gender 112d, age 112e, height 112f, weight 112g, and exercise habits as columns for storing information (values). 112h, exercise awareness 112i, shoulder stiffness 112j, low back pain 112k, and history information 112l.
  • information corresponding to each column regarding the user Us1 is associated with each other and stored as information (record) in units of one row.
  • the user ID 112a stores an identification number for identifying the user Us1.
  • the facility ID 112b stores identification information for identifying the facility.
  • the in-facility user ID 112c stores an identification number for identifying the in-facility user Us1.
  • the gender 112d stores information indicating the gender of the user Us1 (male or female).
  • the age 112e stores information indicating the age of the user Us1.
  • Information indicating the height of the user Us1 is stored in the height 112f.
  • Information indicating the weight of the user Us1 is stored in the weight 112g.
  • Information indicating the frequency of exercise is stored in the exercise habit 112h.
  • Information representing the movement consciousness is stored in the movement consciousness 112i.
  • the stiff shoulder 112j stores information indicating whether or not there is stiff shoulder.
  • the low back pain 112k stores information indicating whether or not there is low back pain.
  • the history information 112l stores exercise history information of the user Us1.
  • the exercise history information includes identification information of the exercise history of the user Us1 and details of the exercise (exercise menu data, execution time data during exercise, skeleton data, activity amount data, etc.).
  • FIG. 4 is a diagram for explaining the exercise menu data 113 represented by a table.
  • the exercise menu data 113 includes an exercise ID 113a, an exercise name 113b, and an exercise instruction video 113c as columns for storing information (values).
  • pieces of information corresponding to each column regarding the exercise menu are associated with each other and stored as one line of information (record).
  • the exercise ID 113a stores identification information for identifying the exercise menu.
  • the exercise name 113b stores the name of the exercise executed in the exercise menu.
  • the exercise instruction animation 113c stores an exercise instruction animation.
  • the skeleton data 114 is information relating to the skeleton and joints (joint points) of the user Us1 extracted (recognized) based on the image of the user Us1.
  • FIG. 5 is a diagram showing an image of the skeleton data 114 at a certain time.
  • the skeleton data 114 at a certain time is information representing the skeleton and joints of the user Us1 acquired (extracted) based on an image (moving image) of the user Us1 (for example, positional information of the skeleton represented by the line L10). , position information of each joint point Ji represented by black dots Pt, position information indicating the outline of the body, etc.).
  • Each joint point is referred to as "joint point Ji" when there is no need to distinguish between them.
  • corresponding body part BJi Each corresponding body part defined when calculating a joint torque Ti, which will be described later, applied to each joint point Ji is referred to as a "corresponding body part BJi" when there is no particular need to distinguish between them.
  • Skeletal data 114 at a certain time is acquired each time a predetermined time elapses, and the skeleton data 114 as time-series data is stored in the database 111 .
  • the motion/stationary determination data 115 is information indicating whether each joint point Ji is in a moving state or a stationary state. For example, when the angular velocity wi of the joint point Ji is not "zero", the motion/stillness determination unit 125 determines that the joint point Ji is in motion. When the angular velocity wi of the joint point Ji is "zero", the motion stillness determination unit 125 determines that the joint point Ji is in the static state.
  • the motion/stationary determination unit 125 determines that the joint point Ji is in a motion state, and the absolute value of the angular velocity wi of the joint point Ji is If it is smaller than a predetermined threshold value, the motion stillness determination unit 125 may determine that the joint point Ji is in the still state.
  • the activity amount data 116 includes data necessary for calculating the amount of activity, the calculated amount of activity, and the like in an activity amount calculation process that is executed each time a predetermined period of time, which will be described later, elapses.
  • the active mass data 116 includes the following information.
  • ⁇ Torque Ti applied to each calculation reference joint point Ji based on skeletal data also referred to as “joint torque Ti”
  • the calculation reference joint points Ji are the bending joint points Ji (joints) such as the right elbow, right shoulder, left shoulder, left elbow, shoulder center, back, waist center, right hip, left hip, right knee, and is the left knee.
  • ⁇ Angular velocity wi of each calculation reference joint point Ji The angular velocity wi is defined as positive in the clockwise rotation direction and negative in the counterclockwise rotation direction.
  • ⁇ Mass (estimated mass) of the following corresponding body part BJi corresponding to each calculation reference joint point Ji ⁇ Right elbow: The part between the right elbow and the tip of the right hand ⁇ Left elbow: The part between the left elbow and the tip of the left hand ⁇ Right shoulder: The part between the right shoulder and the tip of the right hand ⁇ Left shoulder: From the left shoulder Area between the tip of the left hand ⁇ Shoulder center: head ⁇ Back: part between the back and waist center ⁇ Waist center: lower body and upper body ⁇ Right waist: lower left body ⁇ Left waist: lower right body ⁇ Right knee: right Parts from the knee to the tip of the right leg ⁇ Left knee: the part from the left knee to the tip of the left leg ⁇ Center of gravity position of each corresponding body part BJi ⁇ For each
  • FIG. 6 is a diagram for explaining the result data 117 represented by a table. As shown in FIG. 6, the result data 117 includes first result data 117a and second result data 117b. These are created based on the activity amount data 116 and the like.
  • the first result data 117a includes an exercise ID 117a1, an exercise name 117a2, and a joint 117a6 as columns for storing information (values).
  • Joint 117a6 includes shoulder center 117a3, right shoulder 117a4, right knee 117a5, and the like.
  • the exercise ID 117a1 stores identification information for identifying the exercise.
  • the name of exercise (exercise menu) is stored in the exercise name 117a2.
  • the joint 117a6 includes a shoulder center 117a3, a right shoulder 117a4, a right knee 117a5, etc. as columns for storing information (values).
  • Each row (column) included in the joint 117a6 stores the amount of activity (exercise Aw in this example) for each calculation reference joint point Ji when the user Us1 executes the corresponding exercise menu.
  • the first result data 117a may store an activity amount other than the exercise Aw.
  • the second result data 117b includes an execution date 117b1, an exercise ID 117b2, an exercise name 117b3, a time 117b4, and an activity amount 117b5 as columns for storing information (values).
  • pieces of information corresponding to each column regarding exercise results are stored in association with each other.
  • the implementation date and time 117b1 stores the date and time when the exercise menu was implemented.
  • the exercise ID 117b2 stores identification information for identifying exercise.
  • the name of exercise (exercise menu) is stored in the exercise name 117b3.
  • the time 117b4 stores the execution time of the corresponding exercise menu.
  • the amount of activity (exercise Aw in this example) calculated as a result of executing the corresponding exercise menu is stored in the amount of activity 117b5.
  • the second result data 117b may store an activity amount other than the exercise Aw.
  • FIG. 7 is a block diagram showing a specific configuration example of the terminal device 200.
  • the terminal device 200 includes a data readable and writable nonvolatile storage device 210, a memory 220 (for example, RAM), a processor 230, a camera 240, a display device 250, and a communication device. and an interface 260 . They are connected by bus 270 .
  • the processor 230 operates as an exercise application execution unit 231 and a measurement unit 232.
  • the exercise application executing unit 231 presents an exercise menu for displaying an exercise menu on the display screen 251, plays an exercise instruction video for reproducing an exercise instruction video, records an exercise implementation video (stores it in the storage device 210), Skeletal data presentation for displaying an image representing the skeleton data 114 on the display screen 251, activity amount data presentation for displaying the result data 117 based on the activity amount data on the display screen 251, and the like are executed.
  • the measurement unit 232 includes an exercise video measurement unit 232a.
  • the exercise video measurement unit 232 a acquires an exercise video (exercise implementation video) of the user acquired (captured) by the camera 240 . Furthermore, the exercise video measurement unit 232 a stores the exercise video captured by the camera 240 in the storage device 210 . Furthermore, the exercise video measurement unit 232 a transmits the exercise performance video acquired by the camera 240 to the active mass calculation device 100 .
  • the processor 230 loads a program (not shown) stored in the storage device 210 into the memory 220 .
  • the processor 230 implements various functions of an exercise application execution unit 231 and a measurement unit 232 (exercise video measurement unit 232a) by executing programs loaded in the memory 220 .
  • the storage device 210 holds (stores, stores) data 211 and the like used when the exercise application execution unit 231 executes each process.
  • the data 211 includes exercise menu data, exercise instruction video data, exercise implementation video data, skeleton data, and activity amount data. These are transmitted from the processor 230 and the active mass calculation device 100 .
  • the camera 240 is an imaging device capable of capturing moving images, and captures (photographs) the user Us1 existing within the imaging range of the camera 240 .
  • Display device 250 includes display screen 251 and touch sensor 252 . An example of the display device 250 is, for example, a touch panel.
  • the communication interface 260 is an interface for connecting the terminal device 200 to the network NW1.
  • the operation of the active mass calculation device 100 will be described.
  • the active mass calculation device 100 executes a user information registration process and an active mass calculation service process.
  • the user Us1 registers user information in the activity amount calculation device 100 via the terminal device 200 when receiving the activity amount calculation service.
  • the active mass calculation device 100 displays a GUI screen on the display screen 251 of the display device 250 of the terminal device 200 as a GUI (Graphical User Interface) used when registering user information.
  • FIG. 8 shows an example of a GUI screen displayed on the terminal device 200. As shown in FIG.
  • the terminal device 200 displays the subject registration screen GM10 on the display screen 251 of the display device 250 as a GUI screen.
  • the user Us1 operates the subject registration screen GM10 (inputs information to the subject registration screen GM10) via the operation device (in this example, the touch panel including the display screen 251 and the touch sensor 252).
  • the subject registration screen GM10 includes a user ID input field 801, a facility ID input field 802, an in-facility user ID input field 803, a gender input field 804, an age input field 805, an exercise habit input field 806, an exercise awareness input field 807, and a stiff neck input.
  • Field 808, low back pain input field 809, height input field 810, weight input field 811, first pull-down button 812, second pull-down button 813, third pull-down button 814, fourth pull-down button 815, fifth pull-down button 816, sixth A pull-down button 817, a seventh pull-down button 818, an eighth pull-down button 819 and a register button Bt11 are included.
  • the input field 809, the height input field 810, and the weight input field 811 are called “input fields” when there is no particular need to distinguish them.
  • the first pull-down button 812, the second pull-down button 813, the third pull-down button 814, the fourth pull-down button 815, the fifth pull-down button 816, the sixth pull-down button 817, the seventh pull-down button 818 and the eighth pull-down button 819 are referred to as "pull-down buttons" when there is no particular need to distinguish between them.
  • a pull-down list (not shown) showing options for information to be entered in the input field is displayed. Information is entered in the entry field by selecting an information option.
  • a user ID is entered in the user ID entry field 801 .
  • "0001" is entered as the user ID.
  • a facility ID (identification information (name)) is entered in the facility ID input field 802 .
  • "H001 (XXX Corporation)” is entered as the facility ID.
  • An in-facility user ID (identification number) is entered in the in-facility user ID input field 803 .
  • "HU0001" is entered as the in-facility user ID.
  • Gender is entered in the gender input field 804 .
  • “male” is entered as the gender.
  • An age is entered in the age entry field 805 .
  • "55" is entered as the age.
  • An exercise habit (information indicating the frequency of exercise) is entered in the exercise habit entry field 806 .
  • "once a week” is input as the exercise habit.
  • Information representing the exercise consciousness is entered in the exercise consciousness input field 807 .
  • “execution” is input as the information representing exercise consciousness.
  • Information indicating whether or not the user has stiff shoulders is entered in the stiff neck input field 808 .
  • "none” is entered as the information indicating whether or not there is stiff neck.
  • the low back pain input field 809 information indicating whether or not the user has low back pain is input.
  • "none” is entered as the information indicating whether or not there is lumbago.
  • Height is entered in the height entry field 810 .
  • "160 cm” is entered as the height.
  • a body weight is entered in the body weight input field 811 .
  • ⁇ 60 kg'' is input as the weight.
  • the activity amount calculation device 100 associates these pieces of information input in each input field with each other, and registers the user information 112 (row-by-line information (record) of the user information 112). ) in the database 111 of the storage device 110 (storage, storage).
  • Activity calculation service processing An overview of the activity amount calculation service process (service provided to the user) executed by the activity amount calculation device 100 will be described.
  • the activity amount calculation device 100 displays an exercise menu selection screen (not shown) as a GUI screen on the display screen 251 of the terminal device 200 .
  • the exercise menu selection screen (not shown) includes a list of exercise menus (a list of exercise names of the exercise menu) that can be provided by the activity amount calculation device 100 corresponding to the exercise menu data 113 .
  • the user Us1 selects an exercise menu to be performed from a list of exercise menus by operating an exercise menu selection screen (not shown). At this time, the user Us1 can select one exercise menu, or select a plurality of exercise menus to be performed continuously.
  • the activity amount calculation device 100 refers to the exercise menu data 113 by the exercise menu instructing unit 123 to select a row corresponding to the selected exercise menu (associated row units). (hereinafter also referred to as “exercise menu information”)), and transmits the exercise menu information to the terminal device 200 .
  • the terminal device 200 uses the exercise menu information and other necessary information to display an exercise start instruction screen (not shown) as a GUI screen.
  • the exercise start instruction screen includes, for example, an exercise menu start button (not shown) and an exercise name of the selected exercise menu (not shown).
  • a measurement screen GM12 (see FIG. 12 to be described later) including an exercise instruction video and the like is displayed. The details of this measurement screen GM12 will be described later. Furthermore, when the start button (not shown) of the exercise menu is operated, the terminal device 200 starts imaging the user Us1 with the camera 240, and transmits the captured video (exercise execution video) of the user Us1 to the activity amount calculation device 100. Send.
  • the active mass calculation device 100 executes the active mass calculation process based on the exercise video. The details of this activity amount calculation process will be described later.
  • the activity amount calculation device 100 stores the calculation result of the activity amount calculation process as the result data 117 in the database 111 of the storage device 110 .
  • the terminal device 200 transmits the exercise execution record (exercise execution status, exercise execution date and time, etc.) of the user Us1 who is exercising to the activity amount calculation device 100. .
  • the active mass calculation device 100 stores the exercise execution record as the result data 117 in the database 111 of the storage device 110 .
  • the activity amount calculation device 100 displays the result screen GM13 reflecting the result data 117 on the terminal device 200.
  • the data necessary for the determination is transmitted to the terminal device 200, and the result screen GM13 is displayed on the display screen 251 of the terminal device 200.
  • FIG. Details of the result screen G13 will be described later. The above is the outline of the activity amount calculation service process executed by the activity amount calculation device 100 .
  • FIG. 9 is a flowchart showing the processing flow of the activity amount calculation process executed by the activity amount calculation device 100.
  • the activity amount calculation device 100 starts the process from step 900, sequentially executes the processes of steps 901 to 906 described below, and then proceeds to step 995 to temporarily end this process flow.
  • the active mass calculation device 100 executes this processing flow every time a predetermined time elapses from the exercise menu start time tst (also referred to as “start time tst”) to the exercise menu end time tend.
  • start time tst is, for example, the time when an exercise menu start button (not shown) is operated, and the exercise menu end time tend is, for example, the time when one or more selected exercise menus end. be.
  • Step 901 The activity amount calculation device 100 uses the skeleton data extraction unit 124 to extract (acquire) the skeleton data 114 from the user Us1's exercise execution video (image during exercise).
  • Step 902 The activity amount calculation device 100 uses the activity amount calculation unit 126 to calculate the joint torque Ti and the rotational angular velocity wi at the current time tp for a plurality of calculation reference joint points Ji among the joint points Ji.
  • FIG. 10 is a diagram for explaining a method of calculating joint torque Ti and angular velocity wi.
  • the activity amount calculation device 100 calculates the angular velocity wi in the rotation direction of the joint point Ji from the skeleton data 114 acquired based on the exercise execution video.
  • the activity amount calculation device 100 acquires the angle ⁇ i between the vertical direction of the position of the center of gravity of the body part BJi corresponding to the calculation reference joint point Ji and the rotational direction (the tangential direction of the rotating center of gravity) based on the skeleton data 114. do.
  • the activity amount calculation device 100 multiplies the gravitational force F acting on the corresponding body part BJi by the mass Mi (estimated mass Mi) of the corresponding body part BJi and the gravitational acceleration g [m/s 2 ] (calculation formula in FIG. 10 (1) is applied).
  • the estimated mass Mi uses a predetermined value preset for each corresponding body part BJi.
  • the activity amount calculation device 100 calculates the rotational direction component F Ri of gravity acting on the corresponding body part BJi using the calculation formula (2) in FIG. 10 .
  • the active mass calculation device 100 calculates the joint torque Ti applied to the joint point Ji using the formula (3) in FIG. Note that the torque arm length Li is the length from the calculation reference joint point Ji to the position of the center of gravity ci.
  • the activity amount calculation device 100 calculates the joint torque Ti and the rotational angular velocity wi at the current time tp for each calculation reference joint point Ji of the user Us1 by performing the above calculations for all the calculation reference joint points Ji.
  • Step 903 The activity amount calculation device 100 calculates the exercise muscle power Pmi(tp) of each corresponding body part BJi of each calculation reference joint point Ji determined to be in an exercise state at the current time tp by the activity amount calculation unit 126. Calculate and store in memory 130 . That is, the activity amount calculation device 100 applies the joint torque Ti and the rotational angular velocity wi calculated in step 902 to the calculation formula (4) in FIG. The exercise muscle power Pmi(tp) of the corresponding body part BJi is calculated and stored in the memory 130 .
  • Step 904 The activity amount calculation device 100 calculates each calculation reference joint point Ji calculated by the activity amount calculation unit 126 during the period from the start time ts to the current time tp stored in the calculation formula (5) and the memory 130. Based on the muscle power during exercise Pmi(t) of each corresponding body part BJi, the energy consumption during whole body exercise Em during a period from the start time ts to the current time tp (also referred to as a "calculation target period") is calculated. . That is, when the activity amount calculation unit 126 calculates the energy consumption during whole-body exercise Em for the period from the time tst to the current time tp, the activity amount calculation device 100 calculates each calculation reference joint point Ji in the calculation target period. The integrated value of the total muscle power Pmi(t) during exercise is calculated as energy consumption Em during whole-body exercise.
  • Step 905 The active mass calculation device 100 uses the active mass calculation unit 126 to calculate the energy consumption Em during whole-body exercise calculated in step 904 as the whole-body energy consumption E for the period from the start time ts to the current time tp. .
  • METs A whole-body activity amount A per hour is calculated from the whole-body energy consumption E by applying to . That is, the activity amount calculation device 100 multiplies the whole-body energy consumption E by the first conversion factor (0.000239) to convert the whole-body energy consumption E into the whole-body calorie consumption Ec, and converts the whole-body calorie consumption Ec into the second conversion factor.
  • the active mass calculation device 100 calculates the exercise Aw by applying the METs A and H to the calculation formula (7B) in FIG. 11B. That is, the active mass calculation device 100 multiplies METs A and H to calculate exercise Aw.
  • the parameters calculated in the activity amount calculation process are stored in the database 111 as result data 117 .
  • the activity amount calculation device 100 causes the activity amount calculation unit 126 to integrate the exercise muscle power Pmi during the calculation target period of the corresponding body part BJi of each calculation reference joint point Ji. Consumed energy for the calculation reference joint point Ji may be further calculated. Further, the active mass calculation device 100 may calculate METs, calories burned, exercises, etc. for each calculation reference joint point Ji based on the energy consumption for each calculation reference joint point Ji.
  • FIG. 12 shows an example of the measurement screen GM12.
  • the activity amount calculation device 100 outputs the exercise menu information, the skeleton data 114, and A measurement screen GM12 reflecting the calculated exercise Aw is displayed.
  • the measurement screen GM12 includes an exercise menu display area MN1, a user ID display field 1201, an energy consumption display field 1202, a progress display bar 1203, an exercise instruction video 1204, a user skeleton video 1205, a stop button Bt21, and a next button. button Bt22.
  • the name of the exercise menu (exercise) is displayed in the exercise menu display portion MN1.
  • the user ID display field 1201 displays the user ID of the user Us1.
  • the energy consumption display field 1202 displays the current amount of activity.
  • As the activity amount the value of the exercise Aw calculated in the activity amount calculation process described above is displayed.
  • the exercise teaching video 1204 is a sample video of an exercise menu (in this example, a video in which a picture representing a trainer (also called a “trainer icon”) executes an exercise menu (squat)).
  • the user skeleton moving image 1205 includes a picture representing the user Us1 corresponding to the captured moving image of the user Us1 (a picture of the outline of the user Us1) and a thick line representing the skeleton corresponding to the skeleton data 114 of the user Us1.
  • the exercise teaching video 1204 may be a captured video of a person (trainer) who executes a sample exercise menu.
  • the user skeleton moving image 1205 may be a captured moving image of the user Us1.
  • FIG. 13 shows an example of the result screen G13.
  • the active mass calculation device 100 displays the result screen GM13 reflecting the result data 117 on the display device 250 of the terminal device 200 when one or more selected exercise menus are completed.
  • the result screen GM13 includes a user ID display field 1301, an exercise list 1302, an energy consumption image 1303 for each muscle, an activity amount presentation screen display button Bt31 for this week, and a display end button Bt32.
  • the performed exercise list 1302 includes an exercise menu (exercise menu name) performed by the user Us1, the time when the exercise menu was performed, and the amount of activity (exercise Aw). Furthermore, the exercise list 1302 includes the exercise execution time for each exercise menu, the total exercise execution time, and the total amount of activity.
  • Each muscle consumption energy image 1303 includes a picture of a human outline and a thick line indicating the skeleton.
  • the thickness of the thick line indicating the skeleton changes according to the amount of activity for the corresponding body part BJi corresponding to the skeleton. More specifically, the thicker the thicker line indicating the skeleton, the greater the amount of activity of the corresponding body part BJi corresponding to the skeleton. As the activity amount of the corresponding body part BJi becomes smaller, the thickness of the thick line indicating the skeleton corresponding to the corresponding body part BJi becomes smaller.
  • the activity amount calculation device 100 displays this week's activity amount presentation screen GM14 in FIG.
  • the display end button Bt32 is operated by the user Us1
  • the activity amount calculation device 100 ends the display of the result screen GM13.
  • FIG. 14 shows an example of this week's activity amount presentation screen GM14.
  • this week's activity amount presentation screen GM14 includes this week's activity amount list 1401, this week's activity amount target value 1402, this week's remaining activity amount 1403, and a return button Bt41.
  • the activity amount list 1401 for this week includes the details of the exercise performed within this week (one week), and the cumulative total of the corresponding exercise time and activity amount. Note that these values are displayed based on the result data 117 .
  • the return button Bt41 is a button operated to switch the activity amount presentation screen GM14 for this week to the result screen GM13. Therefore, when the return button Bt41 is operated by the user Us1, the activity amount calculation device 100 switches the activity amount presentation screen GM14 for this week to the result screen GM13, and displays the result screen GM13 on the display device 250 of the terminal device 200. .
  • the activity amount calculation device 100 calculates the torque Ti applied to each joint point Ji and the corresponding body part based on the torque Ti, based on the exercise execution video (image) of the user Us1.
  • a muscle power during exercise is calculated for each BJi.
  • the active mass calculation device 100 according to the first embodiment calculates the consumed energy Em during whole-body exercise based on the muscle power during exercise for each corresponding body part BJi.
  • the activity amount calculation device 100 according to the first embodiment calculates the physical activity of the user Us1 such as the whole-body energy consumption E during exercise (measurement target period), mets A, and exercise Aw based on the energy consumption during whole-body exercise Em.
  • the active mass calculation device 100 can accurately measure (estimate) the active mass, which is a parameter that quantifies the physical activity of the user Us1, from the exercise performance video (image) of the user Us1.
  • the active mass calculation device 100 according to a second embodiment of the present invention calculates the energy consumption Es during whole-body rest in addition to the energy consumption Em during whole-body exercise in the active mass calculation process. Furthermore, the active mass calculation device 100 according to the second embodiment calculates the whole-body energy consumption E by adding up the energy consumption Em during whole-body exercise and the energy consumption Es during whole-body rest.
  • the active mass calculation device 100 according to the second embodiment differs from the activity mass calculation device 100 according to the first embodiment only in the points described above. Therefore, the following description will focus on this point of difference.
  • FIG. 15 shows the joint torque Ti, the angular velocity wi, the muscle power during exercise Pmi, and the muscle power at rest during the period from the start time ts to a certain time t2 when the user Us1 is executing the exercise menu (abdominal muscles).
  • An example of time-series data of muscle power Psi is shown.
  • the motion stillness determination unit 125 determines that the center of the waist is in an exercise state. , the angular velocity wi in the rotational direction of the waist center is not zero (the absolute value of the angular velocity wi is greater than zero), and the joint torque Ti applied to the waist center (the absolute value of the joint torque Ti) is greater than zero.
  • the active mass calculation device 100 calculates the muscle power during exercise Pmi(t) and the energy consumption during whole body exercise Em in the same manner as in the first embodiment.
  • the motion stillness determining unit 125 determines that the center of the waist is in a still state.
  • the angular velocity wi in the rotational direction of the waist center is zero. Therefore, if the muscle power during exercise Pmi(t) is calculated using the formula (4) in FIG. 11A, the muscle power during exercise Pmi(t) will be zero.
  • the user Us1 uses the muscles of the corresponding body part BJi at the joint point (at the center of the waist) in order to maintain this state, it is conceivable that muscle power is generated during this period as well.
  • the active mass calculation device 100 uses the formula (8) in FIG. Psi(t)).
  • Ci in the formula (8) is a coefficient for converting the joint torque Ti (torque at rest) to the muscle power at rest Psi.
  • Ci is set in advance and is, for example, a constant value obtained by performing an experiment or the like in advance.
  • the energy expended at rest measured by another technique e.g., a measurement method based on maximal oxygen uptake obtained from an activity meter or exhaled gas analysis
  • each calculation reference joint at rest measured by this technique Ci may be obtained based on the ratio to the total sum of torques Ti applied to points Ji.
  • the active mass calculation device 100 uses the calculation formula (9) in FIG. to calculate the energy consumption Es when the whole body is at rest. That is, for example, when calculating the whole-body resting energy expenditure Es for a period from time tst to a certain time, the integrated value of the total resting muscle power Psi(t) for each calculation reference joint point Ji in that period is , is calculated as the energy consumption Es when the whole body is at rest.
  • the active mass calculation device 100 uses the calculation formula (10) in FIG. Calculate as By calculating the whole-body energy consumption E in this way, the activity amount calculation device 100 can calculate the amount of activity in which physical activity at rest is also reflected.
  • FIG. 17 is a flow chart showing a processing flow executed by the active mass calculation device 100 according to the second embodiment. It should be noted that the active mass calculation device 100 executes this processing flow every time a predetermined time elapses from the exercise menu start time tst to the exercise menu end time tend.
  • the activity amount calculation device 100 starts processing from step 1700, sequentially executes the processing of steps 1701 to 1708 described below, and then proceeds to step 1795 to end this processing flow.
  • Step 1701 The active mass calculation device 100 executes the same process as step 901 in FIG. 9 described above.
  • Step 1702 The active mass calculation device 100 executes the same process as the process of step 902 in FIG. 9 described above.
  • Step 1703 The activity amount calculation device 100 uses the activity amount calculation unit 126 to calculate the exercise muscle power Pmi(tp) of each corresponding body part BJi of the calculation reference joint point Ji determined to be in the exercise state at the current time tp. and store it in the memory 130.
  • the activity amount calculation device 100 applies the torque Ti and the angular velocity wi calculated in step 1702 to the calculation formula (4) in FIG. Time muscle power Pmi(tp) is calculated.
  • Step 1704 The activity amount calculation device 100 uses the calculation formula (5) in FIG. Based on the muscle power during exercise Pmi(t) of each body part BJi corresponding to the point Ji, the energy consumption during whole body exercise Em during the period from the start time ts to the current time tp is calculated.
  • Step 1705 The activity amount calculation device 100 calculates, by the activity amount calculation unit 126, the resting muscle power Psi(tp) of each corresponding body part BJi of the calculation reference joint point Ji determined to be stationary at the current time tp. and store it in the memory 130. That is, the activity amount calculation device 100 applies the torque Ti calculated in step 1702 to the calculation formula (8) in FIG. A resting muscle power Psi(tp) is calculated and stored in the memory 130 .
  • Step 1706 The activity amount calculation device 100 calculates each calculation reference joint point Ji calculated by the activity amount calculation unit 126 during the period from the start time ts to the current time tp stored in the calculation formula (9) and the memory 130. Based on the resting muscle power Psi(tp) of each corresponding body part BJi, the whole-body resting energy consumption Es during the period from the start time ts to the current time tp is calculated. That is, when the activity amount calculation unit 126 calculates the whole-body static consumption energy Es for the period from the time tst to the current time tp, the activity amount calculation device 100 calculates each calculation reference joint point Ji in the calculation target period. An integrated value of the total resting muscle power Psi(t) is calculated as energy consumption Em during whole-body exercise.
  • Step 1707 The activity amount calculation device 100 causes the activity amount calculation unit 126 to calculate the sum (total energy) of the energy consumption Em during whole-body exercise and the energy consumption Es during whole-body rest using the calculation formula (10) in FIG. , whole-body energy consumption E.
  • the activity amount calculation device 100 causes the activity amount calculation unit 126 to integrate the exercise muscle power Pmi during the calculation target period of the corresponding body part BJi of each calculation reference joint point Ji.
  • the consumed energy for each calculation reference joint point Ji is calculated by adding the consumed energy and the consumed energy obtained by integrating the resting muscle power Psi for the calculation target period of the corresponding body part BJi of each calculation reference joint point Ji. may be further calculated.
  • the active mass calculation device 100 may calculate METs, calories burned, exercises, etc. for each calculation reference joint point Ji based on the energy consumption for each calculation reference joint point Ji.
  • the activity amount calculation device 100 according to the second embodiment of the present invention calculates the torque Ti applied to each joint point Ji and corresponding body part The muscle power during exercise and the muscle power during rest for each BJi are calculated. Furthermore, the active mass calculation device 100 according to the second embodiment calculates the whole-body energy consumption Em during exercise and the whole-body rest energy consumption Es based on the muscle power during exercise and the muscle power during rest for each corresponding body part BJi. . Then, the active mass calculation device 100 according to the second embodiment calculates the whole-body energy consumption E, mets A, and exercise Aw during exercise (measurement target period) based on the energy consumption Em during whole-body exercise and the energy consumption Es during whole-body rest.
  • the amount of activity which is a parameter that quantifies the physical activity of the user Us1 is calculated.
  • the activity amount calculation device 100 can more accurately measure (estimate) the activity amount, which is a parameter obtained by quantifying the physical activity of the user Us1, from the exercise performance video (image) of the user Us1. .
  • the activity amount calculation device 100 according to the third embodiment calculates the acceleration of the representative joint point Ji (also referred to as “representative joint point Ji”) in addition to the energy consumption Em during whole-body exercise.
  • the active mass calculation device 100 according to the first embodiment only in that the whole body acceleration reference energy consumption Eacc is calculated based on the whole body exercise energy consumption Em and the whole body acceleration reference energy consumption Eacc. and have differences. Therefore, the following description will focus on this point of difference.
  • FIG. 18 is a flow chart showing a processing flow executed by the activity amount calculation device 100 according to the third embodiment. It should be noted that the active mass calculation device 100 executes this processing flow every time a predetermined time elapses from the exercise menu start time tst to the exercise menu end time tend.
  • the activity amount calculation device 100 starts processing from step 1800, sequentially executes the processing of steps 1801 to 1807 described below, and then proceeds to step 1895 to temporarily end this processing flow.
  • Step 1801 The active mass calculation device 100 executes the same process as step 901 in FIG. 9 described above.
  • Step 1802 The active mass calculation device 100 executes the same process as the process of step 902 in FIG. 9 described above.
  • Step 1803 The active mass calculation device 100 executes the same process as the process of step 903 in FIG. 9 described above.
  • Step 1804 The active mass calculation device 100 executes the same process as the process of step 904 in FIG. 9 described above.
  • Step 1805 The activity amount calculation device 100 uses the activity amount calculation unit 126 to calculate the whole body acceleration reference energy consumption Eacc for the period from the start time ts to the current time tp based on the acceleration of a predetermined joint point (representative joint point). calculate.
  • the representative joint point Ji is the waist center. More specifically, the active mass calculation device 100 calculates the whole-body acceleration-based energy consumption Eacc by applying a well-known calculation algorithm to the acceleration at the waist center.
  • the representative joint point Ji may be a joint point Ji other than the waist center, or may be a plurality of joint points Ji.
  • Step 1806 The activity amount calculation device 100 causes the activity amount calculation unit 126 to calculate the sum (total energy) of the energy consumption Em during whole body exercise and the energy consumption Eacc based on whole body acceleration using the calculation formula (11) in FIG. , whole-body energy consumption E.
  • the activity amount calculation device 100 according to the third embodiment of the present invention calculates the torque Ti applied to each joint point Ji and corresponding body part A muscle power during exercise is calculated for each BJi. Furthermore, the active mass calculation device 100 according to the third embodiment calculates the consumed energy Em during exercise based on the muscle power during exercise for each corresponding body part BJi, and further, based on the acceleration of the representative joint point, A whole-body acceleration reference energy consumption Eacc is calculated. Then, the active mass calculation device 100 according to the third embodiment calculates the whole-body energy consumption E, mets A, and exercise Aw during exercise (measurement target period) based on the whole-body exercise energy consumption Em and the whole-body acceleration reference energy consumption Eacc.
  • the amount of activity which is a parameter that quantifies the physical activity of the user Us1 is calculated.
  • the activity amount calculation device 100 can more accurately measure (estimate) the activity amount, which is a parameter obtained by quantifying the physical activity of the user Us1, from the exercise performance video (image) of the user Us1. .
  • an active mass calculation device 100 according to a fourth embodiment of the present invention will be described.
  • the active mass calculation device 100 according to the fourth embodiment calculates the energy consumption Es during whole-body rest in addition to the energy consumption Em during whole-body exercise.
  • the activity according to the first embodiment is only in that the reference energy consumption Eacc is calculated, and the whole body energy consumption E is calculated based on the whole body exercise energy consumption Em, the whole body resting energy consumption Es, and the whole body acceleration reference energy consumption Eacc. It has a difference from the quantity calculation device 100 . Therefore, the following description will focus on this point of difference.
  • FIG. 20 is a flow chart showing a processing flow executed by the activity amount calculation device 100 according to the fourth embodiment. It should be noted that the active mass calculation device 100 executes this processing flow every time a predetermined time elapses from the exercise menu start time tst to the exercise menu end time tend.
  • the activity amount calculation device 100 starts the process from step 2000, sequentially executes the processes of steps 2001 to 2009 described below, and then proceeds to step 2095 to temporarily end this process flow.
  • Step 2001 The active mass calculation device 100 executes the same process as step 901 in FIG. 9 described above.
  • Step 2002 The active mass calculation device 100 executes the same process as the process of step 902 in FIG. 9 described above.
  • Step 2003 The active mass calculation device 100 executes the same process as the process of step 1703 in FIG. 17 described above.
  • Step 2004 The active mass calculation device 100 executes the same process as the process of step 1704 in FIG. 17 described above.
  • Step 2005 The active mass calculation device 100 executes the same process as the process of step 1705 in FIG. 17 described above.
  • Step 2006 the active mass calculation device 100 executes the same process as the process of step 1706 in FIG. 17 described above.
  • Step 2007 The active mass calculation device 100 executes the same process as the process of step 1805 in FIG. 18 described above.
  • Step 2008 The activity amount calculation device 100 causes the activity amount calculation unit 126 to use the calculation formula (12) in FIG. (total energy) is calculated as whole-body energy consumption E.
  • the activity amount calculation device 100 according to the fourth embodiment of the present invention calculates the torque Ti applied to each joint point Ji and corresponding body part The muscle power during exercise and the muscle power during rest for each BJi are calculated. Furthermore, the active mass calculation device 100 according to the fourth embodiment calculates the energy consumption Em during whole body exercise and the energy consumption Es during whole body rest based on the muscle power during exercise and the muscle power during rest for each corresponding body part BJi. Furthermore, based on the acceleration of the representative joint point, the whole body acceleration reference energy consumption Eacc is calculated.
  • the active mass calculation device 100 calculates the whole-body energy consumption during exercise (measurement target period) based on the energy consumption during whole-body exercise Em, the energy consumption during whole-body resting Es, and the whole-body acceleration reference energy consumption Eacc.
  • An activity amount which is a parameter that quantifies the physical activity of the user Us1 such as E, Mets A, and Exercise Aw, is calculated.
  • the activity amount calculation device 100 according to the fourth embodiment can more accurately measure (estimate) the activity amount, which is a parameter obtained by quantifying the physical activity of the user Us1, from the exercise performance video (image) of the user Us1. .
  • Step A The activity amount calculation device 100 uses the activity amount calculation unit 126 to calculate the joint torque Ti and the angular velocity wi at the current time tp for a part of the calculation reference joint points Ji among the calculation reference joint points Ji of the user Us1. do.
  • the user Us1's body It is possible to measure (estimate) the amount of activity, which is a parameter that quantifies activity.
  • FIG. 23 shows an example of the activity amount calculation method setting screen GM24.
  • the activity amount calculation method setting screen GM24 includes an exercise motion evaluation setting field 2301, a rest motion evaluation setting field 2302, a trunk muscle setting field 2303, a representative joint point acceleration consideration setting field 2304, an activity amount unit setting field 2305, A ninth pull-down button 2306, a tenth pull-down button 2307, an eleventh pull-down button 2308, a twelfth pull-down button 2309 and a thirteenth pull-down button 2310 are included.
  • the motion evaluation setting column 2301 at exercise, the motion evaluation setting column 2302 at rest, the trunk muscle setting column 2303, the representative joint point acceleration consideration setting column 2304, and the activity amount unit setting column 2305 need not be distinguished from each other. In this case, these are referred to as "setting fields”.
  • the registration button Bt51 is operated.
  • the activity amount in the unit set in the activity amount unit setting field 2305 is calculated by the activity amount calculation process shown in FIG.
  • the calculated amount of activity is displayed, for example, in the consumed energy display field 1202 of the measurement screen GM12 in FIG.
  • the registration button Bt51 When the registration button Bt51 is operated when both the motion evaluation setting column 2301 and the motion evaluation setting column 2302 of the motion evaluation setting column 2301 when exercising and the motion evaluation setting column 2302 when stationary are set to "Yes". , the activity amount in the unit set in the activity amount unit setting field 2305 is calculated by the activity amount calculation process shown in FIG. Then, the calculated amount of activity is displayed, for example, in the consumed energy display field 1202 of the measurement screen GM12 in FIG.
  • the representative joint point is determined according to the input information in the exercise motion evaluation setting field 2301 and the static motion evaluation setting field 2302. of the unit set in the activity amount unit setting field 2305 by the process (for example, the activity amount calculation process shown in either FIG. 18 or FIG. 20) in consideration of the acceleration reference energy calculated based on the acceleration of An activity amount is calculated. Then, the calculated amount of activity is displayed, for example, in the consumed energy display field 1202 of the measurement screen GM12 in FIG.
  • the estimated mass Mi and torque arm length Li of the corresponding body part BJi may be calculated as described below.
  • FIG. 24 is a diagram for explaining a method of calculating the estimated mass Mi and the torque arm length Li of the corresponding body part BJi in the third modified example.
  • a reference mass Mib of each corresponding body part BJi is set in advance with respect to a reference height D of a standard figure.
  • a reference torque arm length Lib for each corresponding body part BJi is set in advance with respect to a reference height D of a standard figure.
  • the third modification calculates the torque arm length Li of each corresponding body part BJi based on the height D' of the user Us1 using the formula (14) in FIG. That is, in the third modification, the torque arm length Li is obtained by multiplying a preset reference torque arm length Lib by a ratio obtained by dividing the height D′ of the user Us1 by a preset reference height D. calculate, ⁇ Fourth Modification>>>
  • the estimated mass Mi of the corresponding body part BJi may be calculated as described below.
  • FIG. 25 is a diagram for explaining a method of calculating the estimated mass Mi of the corresponding body part BJi according to the fourth modification. A reference area Sb of the contour of the body of the standard figure is set in advance.
  • the estimated mass Mi of each corresponding body part BJi is calculated based on the contour area S' of the user Us1, using the formula (15) in FIG. That is, in the fourth modification, the area S' of the contour of the user Us1 is acquired based on the exercise performing video, and the area S' of the contour of the user Us1 is set in advance to the preset reference mass Mib.
  • the estimated mass Mi of the corresponding body part is calculated by multiplying the ratio, which is the value of the square of the value divided by .
  • User Us1 may exercise using equipment (for example, dumbbells).
  • equipment for example, dumbbells.
  • the amount of activity may be calculated.
  • the mass of the appliance the estimated mass based on the exercise video or the mass of the appliance previously input to the activity amount calculation device 100 can be used.
  • a sixth modification performs calibration measurements for calibration.
  • energy consumption for user Us1's exercise is measured by both the method based on the above-described exercise execution video (image) and the method using a well-known activity meter.
  • the output value of METs (activity) measured by a method using an activity meter is P
  • the METs (activity quantity) is Q.
  • a seventh modification performs calibration measurements for calibration.
  • the energy consumption for user Us1's exercise is measured by both the method based on the above-described exercise-execution moving image (image) and the method using the heart rate.
  • the output value of METs (activity) measured by a method using a known heart rate is P
  • the METs (activity) calculated from the image is Q
  • FIG. 26 is a diagram for explaining a system as an application example of the active mass calculation device 100.
  • the system includes a health management system 2600, a terminal device 200, and a wearable device 2700 (for example, smartwatch) that functions as an activity meter. These are communicably connected to each other via a network NW1.
  • Health management system 2600 is configured on the cloud and includes activity amount calculation device 100 .
  • the active mass calculation device 100 can acquire and calculate data related to exercise of the user Us1.
  • the activity amount calculation device 100 can acquire and calculate data on walking, running, and other actions of the user Us1 collected by the wearable device 2700 .
  • the activity amount calculation device 100 stores an activity amount based on data related to exercise of the user Us1 and an activity amount based on data related to walking, running and other actions of the user Us1 collected by the wearable device 2700 .
  • the health management system 2600 provides services (for example, an activity amount calculation service, a service that calculates and provides the total amount of activity of the user Us1 for one week, etc.) based on the data calculated and collected by the activity amount calculation device 100. is provided to the user Us1 (the terminal device 200 and/or the wearable device 2700).
  • the present invention is not limited to the above-described embodiments, modifications and application examples, and various modifications can be adopted within the scope of the present invention. Furthermore, the above embodiments, modifications and applications can be combined with each other without departing from the scope of the present invention.
  • the joint point Ji, the calculation reference joint point Ji, and the corresponding body part BJi are not limited to the above.
  • the torque arm length Li of each corresponding body part BJi was calculated for each calculation reference joint point Ji based on the exercise execution video, but the torque arm length Li of each corresponding body part BJi is A preset torque arm length Li may be used.
  • part of the processing executed by the activity amount calculation device 100 may be executed by the terminal device 200 .
  • skeleton data may be extracted on the terminal device 200 side based on the exercise video.
  • DESCRIPTION OF SYMBOLS 100... Active mass calculation apparatus, 110... Storage device, 111... Database, 112... User information, 113... Exercise menu data, 114... Skeleton data, 115... Movement/rest determination data, 116... Activity amount data, 117... Result data, Reference Signs List 120 Processor 121 Data processing unit 122 User information management unit 123 Exercise menu instruction unit 124 Skeleton data extraction unit 125 Motion/still determination unit 127 Result processing unit 200 Terminal device Us1 ...A user

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

活動量算出装置は、計算対象期間のユーザの撮像動画に基づいて取得された運動状態にある計算基準関節点のそれぞれについて、計算対象期間における関節点の周囲の対応身体部位の運動時筋パワーを算出し、運動時筋パワーの合計の計算対象期間の積分値を運動時消費エネルギーとして算出し、運動時消費エネルギーに基づいて、全身消費エネルギーを算出する。

Description

活動量算出装置及び活動量算出方法
　本発明は、活動量算出装置及び活動量算出方法に関する。
　身体活動とは、安静にしている状態よりも多くエネルギーを消費する全ての動きのことをいい、身体活動を定量化（数値化）した身体活動量（以下、「活動量」と称呼される。）を測定する手法には、様々な方法がある。日常生活の活動量を評価（測定）するために、近年、歩数計や活動量計など、身体に装着して用いられる小型デバイスによって、活動量を測定することが行われている。活動量は、エネルギー消費量（消費エネルギー）、メッツ、エクササイズ（メッツ×運動時間）、消費カロリー等の身体活動を定量化したパラメータで表すことができる。
　一方で、このような小型デバイスを装着しなくても、活動量を算出するために、ユーザを撮像した画像を利用することが検討されている。例えば、特許文献１は、被験者（ユーザ）の３次元的な姿勢を計測する距離画像カメラで計測したデータから被験者（ユーザ）の筋活動量を推定する筋活動可視化システム（以下、「従来システム」と称呼される。）を開示する。
特開２０１７－８６１８４号公報
　しかし、従来システムは、各筋活動量の推定にとどまり、ユーザの活動量を測定することができない。本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、ユーザの動画に基づいて、ユーザの身体活動を定量化したパラメータである活動量を算出できる活動量算出装置及び活動量算出方法を提供することにある。
　本発明の活動量算出装置は、ユーザの撮像動画に基づくデータを処理する情報処理装置を含む活動量算出装置であって、前記情報処理装置は、計算対象期間の前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、複数の関節点の中の複数の計算基準関節点のそれぞれの角速度を算出し、運動状態にある前記計算基準関節点のそれぞれについて、前記関節点の周囲の対応身体部位の推定質量に重力加速度を乗じた前記対応身体部位に作用する推定重力の回転方向の成分に、前記計算基準関節点と前記対応身体部位の重心との間の長さであるトルクアーム長を乗じることにより、トルクを算出するトルク算出と、算出した前記トルクと、前記回転方向の前記角速度とを乗じることにより、前記計算対象期間における前記関節点の周囲の前記対応身体部位の運動時筋パワーを算出する運動時筋パワー算出とを行い、前記運動時筋パワーの合計の前記計算対象期間の積分値を全身運動時消費エネルギーとして算出し、少なくとも前記全身運動時消費エネルギーに基づいて、全身消費エネルギーを算出し、前記全身消費エネルギー及び前記全身消費エネルギーから導出されるパラメータの少なくとも一つを、前記ユーザの身体活動を定量化したパラメータである活動量として算出する、ように構成されている。
　本発明の活動量算出方法は、ユーザの撮像動画に基づくデータを処理する情報処理装置を用いた活動量算出方法であって、前記情報処理装置によって、計算対象期間の前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、複数の関節点の中の複数の計算基準関節点のそれぞれの角速度を算出し、運動状態にある前記計算基準関節点のそれぞれについて、前記関節点の周囲の対応身体部位の推定質量に重力加速度を乗じた前記対応身体部位に作用する推定重力の回転方向の成分に、前記計算基準関節点と前記対応身体部位の重心との間の長さであるトルクアーム長を乗じることにより、トルクを算出するトルク算出と、算出した前記トルクと、前記回転方向の前記角速度とを乗じることにより、前記計算対象期間における前記関節点の周囲の前記対応身体部位の運動時筋パワーを算出する運動時筋パワー算出とを行い、前記運動時筋パワーの合計の前記計算対象期間の積分値を全身運動時消費エネルギーとして算出し、少なくとも前記全身運動時消費エネルギーに基づいて、全身消費エネルギーを算出し、前記全身消費エネルギー及び前記全身消費エネルギーから導出されるパラメータの少なくとも一つを、前記ユーザの身体活動を定量化したパラメータである活動量として算出する。
　本発明によれば、ユーザの動画に基づいて、ユーザの身体活動を定量化したパラメータである活動量を算出できる。
図１は本発明の第１実施形態に係る活動量算出装置を含むシステムの概略構成例を示す概略図である。 図２は活動量算出装置の具体的な構成例を示すブロック図である。 図３はユーザ情報を説明するための図である。 図４は運動メニューデータを説明するための図である。 図５は骨格データを画像で表した図である。 図６は結果データを説明するための図である。 図７は端末装置の具体的な構成例を示すブロック図である。 図８は端末装置に表示されるＧＵＩ画面の一例を示す図である。 図９は活動量算出装置が実行する処理フローを示すフローチャートである。 図１０は関節点にかかるトルクの算出方法及び角速度の算出方法を説明するための図である。 図１１Ａは計算式を説明するための図である。 図１１Ｂは計算式を説明するための図である。 図１２は計測画面の一例を示す図である。 図１３は結果画面の一例を示す図である。 図１４は今週分活動量提示画面の一例を示す図である。 図１５は運動メニュー（腹筋）の開始時刻ｔｓからある時刻ｔ２までの期間の腰中心についての関節トルク、角速度、運動時筋パワー及び静止時筋パワーの時系列データの一例を説明するための図である。 図１６は計算式を説明するための図である。 図１７は本発明の第２実施形態に係る活動量算出装置が実行する処理フローを示すフローチャートである。 図１８は本発明の第３実施形態に係る活動量算出装置が実行する処理フローを示すフローチャートである。 図１９は計算式を説明するための図である。 図２０は本発明の第４実施形態に係る活動量算出装置が実行する処理フローを示すフローチャートである。 図２１は計算式を説明するための図である。 図２２は体幹筋に対応する計算基準関節点を説明するための図である。 図２３は活動量算出方法設定画面の一例を示す図である。 図２４は対応身体部位の質量（推定質量）及びトルクアーム長の計算方法の一例を説明するための図である。 図２５は対応身体部位の質量（推定質量）の計算方法の一例を説明するための図である。 図２６は応用例としての活動量算出装置を含むシステムの概略構成図である。
　以下、本発明の各実施形態について図面を参照しながら説明する。なお、以下の説明では、「テーブル」、「行」、「レコード」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されてもよい。更に、以下の説明では、識別情報について説明する際、「識別番号」、「識別情報」、「名称」等の表現を用いるが、これらについてはお互いに置換が可能であり、更に、識別情報は、これら以外の表現を用いてもよい。
　<<第１実施形態>>
　＜構成＞
　図１は本発明の第１実施形態に係る活動量算出装置１００を含むシステムの概略構成例を示す概略図である。図１に示すように、システムは、活動量算出装置１００と、端末装置２００とを含む。本例では、端末装置２００は、例えば、撮像装置を備えたタブレット型端末装置であり、ユーザＵｓ１に運動を教示するための画像（動画）を表示すると共に、ユーザＵｓ１の身体活動を定量化したパラメータである活動量（身体活動量）を計測するために必要な画像（運動実施動画）を取得する運動教示・計測装置として機能する。活動量算出装置１００と、端末装置２００とは、ネットワークＮＷ１を介して、互いに通信可能に接続されている。
　なお、活動量は、上述したように、ユーザＵｓ１の身体活動を定量化したパラメータであり、全身消費エネルギーＥ、メッツＡ（ＭＥＴｓ）、エクササイズＡｗ、全身消費カロリーＥｃ等である。
　全身消費エネルギーＥは、ユーザＵｓ１の身体活動によって消費されるエネルギーをジュール単位で表したパラメータ（指標）である。
　全身消費カロリーＥｃは、ユーザＵｓ１の身体活動によって消費されるエネルギーをカロリー（キロカロリー）単位で表したパラメータ（指標）である。
　メッツＡは、座って安静にしている状態を基準とした身体活動の強さを表すパラメータ（指標）であり、メッツ（ＭＥＴｓ）と称呼される単位によって表される。
　エクササイズＡｗは、メッツＡと運動時間との積であり、身体活動の量を表すパラメータ（指標）であり、「メッツ・時間（hour）」で表される。
　これらは、周知の換算式により互いに換算することが可能である。全身消費カロリーＥｃ、メッツＡ及びエクササイズＡｗ等は、全身消費エネルギーＥから導出することができ、便宜上、「全身消費エネルギーＥから導出されるパラメータ」とも称呼される。
　図２は活動量算出装置１００の具体的な構成例を示すブロック図である。図２に示すように、活動量算出装置１００は、データの読み出し及び書き込み可能な不揮発性の記憶装置１１０と、プロセッサ１２０（例えば、ＣＰＵ）と、メモリ１３０（例えば、ＲＡＭ）と、入力インターフェース１４０と、出力インターフェース１５０と、通信インターフェース１６０と、を含む。これらは、バス１７０を介して接続されている。記憶装置１１０、プロセッサ１２０、メモリ１３０、入力インターフェース１４０、出力インターフェース１５０及び通信インターフェース１６０等を接続するバス１７０を含む装置は、便宜上、「情報処理装置」とも称呼される。情報処理装置は、複数の情報処理装置やクラウド上に構築される仮想的な情報処理装置であってもよい。
　記憶装置１１０は、データベース１１１を保持（記憶、格納）している。データベース１１１は、ユーザ情報１１２、運動メニューデータ１１３、骨格データ１１４、動作静止判定データ１１５、活動量データ１１６及び結果データ１１７を含む。なお、データベース１１１に格納されているこれらのデータの詳細は詳述する。
　プロセッサ１２０は、データ処理部１２１として動作する。データ処理部１２１は、ユーザ情報管理部１２２、運動メニュー指示部１２３、骨格データ抽出部１２４、動作静止判定部１２５、活動量算出部１２６及び結果処理部１２７を含む。
　ユーザ情報管理部１２２は、ユーザ情報登録処理を実行することによって、データベース１１１に格納されたユーザ情報１１２を更新（登録）する。ユーザ情報管理部１２２は、ユーザ情報１１２を参照する。なお、ユーザ情報登録処理の詳細は、後述する。
　運動メニュー指示部１２３は、データベース１１１に格納された運動メニューデータ１１３を参照し、端末装置２００に運動メニュー及び運動教示動画を提供（指示）する。
　骨格データ抽出部１２４は、端末装置２００によって撮像されたユーザＵｓ１の運動実施動画に基づいて骨格データ１１４を抽出し、骨格データ１１４をデータベース１１１に格納する。
　動作静止判定部１２５は、骨格データ１１４に基づいて、ユーザＵｓ１の各関節点（関節）が運動状態及び静止状態の何れにあるか否かを示す動作静止判定データ１１５をデータベース１１１に格納する。
　活動量算出部１２６は、後述する活動量算出処理を実行することによって、骨格データ１１４及び動作静止判定データ１１５に基づき、活動量データ１１６を算出し、活動量データ１１６をデータベース１１１に格納する。結果処理部１２７は、骨格データ１１４及び活動量データ１１６に基づき、結果データ１１７を算出し、結果データ１１７をデータベース１１１に格納する。
　プロセッサ１２０は、記憶装置１１０に格納されたプログラムをメモリ１３０にロードする。プロセッサ１２０は、メモリ１３０にロードされたプログラムを実行することによって、データ処理部１２１（ユーザ情報管理部１２２、運動メニュー指示部１２３、骨格データ抽出部１２４、動作静止判定部１２５、活動量算出部１２６及び結果処理部１２７）の各種機能を実現する。
　入力インターフェース１４０は、キーボード及びマウス等の操作デバイス等を接続するためのインターフェースである。
　出力インターフェース１５０は、表示装置（ディスプレイ）等を接続するためのインターフェースである。
　通信インターフェース１６０は、活動量算出装置１００をネットワークＮＷ１に接続するためのインターフェースである。
　上述したユーザ情報１１２、運動メニューデータ１１３、骨格データ１１４、動作静止判定データ１１５、活動量データ１１６及び結果データ１１７の詳細について説明する。
　ユーザ情報１１２は、個人の属性値、利用履歴情報、ユーザ設定情報等を有する。図３はテーブルで表されたユーザ情報１１２を説明するための図である。図３に示すように、ユーザ情報１１２は、情報（値）を格納する列（カラム）として、ユーザＩＤ１１２ａ、施設ＩＤ１１２ｂ、施設内ユーザＩＤ１１２ｃ、性別１１２ｄ、年齢１１２ｅ、身長１１２ｆ、体重１１２ｇ、運動習慣１１２ｈ、運動意識１１２ｉ、肩こり１１２ｊ、腰痛１１２ｋ及び履歴情報１１２ｌを含む。ユーザ情報１１２には、ユーザＵｓ１に関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。
　具体的に述べると、ユーザＩＤ１１２ａには、ユーザＵｓ１を識別するための識別番号が格納される。施設ＩＤ１１２ｂには、施設を識別するための識別情報が格納される。施設内ユーザＩＤ１１２ｃには、施設内のユーザＵｓ１を識別するための識別番号が格納される。性別１１２ｄには、ユーザＵｓ１の性別を示す情報（男性又は女性）が格納される。年齢１１２ｅには、ユーザＵｓ１の年齢を示す情報が格納される。身長１１２ｆには、ユーザＵｓ１の身長を示す情報が格納される。体重１１２ｇには、ユーザＵｓ１の体重を示す情報が格納される、
　運動習慣１１２ｈには、運動の頻度を表す情報が格納される。運動意識１１２ｉには、運動意識を表す情報が格納される。肩こり１１２ｊには、肩こりがあるかないかを示す情報が格納される。腰痛１１２ｋには、腰痛があるかないかを示す情報が格納される。履歴情報１１２ｌには、ユーザＵｓ１の運動履歴情報が格納される。運動履歴情報は、ユーザＵｓ１の運動履歴の識別情報、運動内容（運動メニューデータ、運動時実施時間データ、骨格データ及び活動量データ等）を含む。
　図４はテーブルで表された運動メニューデータ１１３を説明するための図である。図４に示すように、運動メニューデータ１１３は、情報（値）を格納する列（カラム）として、運動ＩＤ１１３ａ、運動名称１１３ｂ及び運動教示動画１１３ｃを含む。運動メニューデータ１１３には、運動メニューに関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。具体的に述べると、運動ＩＤ１１３ａには、運動メニューを識別するための識別情報が格納される。運動名称１１３ｂには、運動メニューで実行される運動の名称が格納される。運動教示動画１１３ｃには、運動教示動画が格納される。
　骨格データ１１４は、ユーザＵｓ１の画像に基づいて抽出（認識）されるユーザＵｓ１の骨格及び関節（関節点）等に関する情報である。図５はある時刻での骨格データ１１４を画像で表した図である。ある時刻での骨格データ１１４は、ユーザＵｓ１を撮像した画像（動画）に基づいて取得（抽出）されたユーザＵｓ１の骨格及び関節等を表す情報（例えば、線Ｌ１０で表された骨格の位置情報、黒点Ｐｔで表された各関節点Ｊｉの位置情報、身体の輪郭を示す位置情報等）を含む。各関節点は、これらを特に区別する必要がない場合、「関節点Ｊｉ」と称呼される。各関節点Ｊｉにかかる後述の関節トルクＴｉを算出するときに定義される各対応身体部位は、これらを特に区別する必要がない場合、「対応身体部位ＢＪｉ」と称呼される。なお、位置情報は、例えば、所定の３次元座標空間におけるｘｙｚ座標（値）（＝ｘ、ｙ、ｚ）で表される。所定時間が経過する毎にある時刻の骨格データ１１４が取得され、時系列データとしての骨格データ１１４が、データベース１１１に格納される。
　動作静止判定データ１１５は、各関節点Ｊｉが運動状態及び静止状態の何れの状態であるかを示す情報である。例えば、関節点Ｊｉの角速度ｗｉが「ゼロ」ではない場合、動作静止判定部１２５によって、その関節点Ｊｉは、運動状態であると判定される。関節点Ｊｉの角速度ｗｉが「ゼロ」である場合、動作静止判定部１２５によって、その関節点Ｊｉは静止状態であると判定される。なお、関節点Ｊｉの角速度ｗｉの絶対値が所定の閾値以上である場合、動作静止判定部１２５によって、その関節点Ｊｉは運動状態であると判定され、関節点Ｊｉの角速度ｗｉの絶対値が所定の閾値より小さい場合、動作静止判定部１２５によって、その関節点Ｊｉは静止状態であると判定されるようにしてもよい。
　活動量データ１１６は、後述の所定時間が経過する毎に実行される活動量算出処理において、活動量の算出に必要なデータ及び算出した活動量等を含む。具体的には、例えば、活動量データ１１６は、以下の情報を含む。
・骨格データに基づく各計算基準関節点ＪｉにかかるトルクＴｉ（「関節トルクＴｉ」とも称呼される。）
　なお、本例において、計算基準関節点Ｊｉは、曲がる関節点Ｊｉ（関節）である右肘、右肩、左肩、左肘、肩中心、背中、腰中心、右腰、左腰、右膝及び左膝である。
・各計算基準関節点Ｊｉの角速度ｗｉ
　なお、角速度ｗｉは時計回り回転方向を正とし、反時計周り回転方向を負として定義されている。
・各計算基準関節点Ｊｉに対応する下記の対応身体部位ＢＪｉの質量（推定質量）
・右肘：右肘から右手の先端までの間の部位
・左肘：左肘から左手の先端までの間の部位
・右肩：右肩から右手の先端までの間の部位
・左肩：左肩から左手の先端までの間の部位
・肩中心：頭部
・背中：背中から腰中心までの間の部位
・腰中心：下半身及び上半身
・右腰：左下半身
・左腰：右下半身
・右膝：右膝から右足の先端までの部位
・左膝：左膝から左足の先端までの間の部位
・各対応身体部位ＢＪｉの重心位置
・各計算基準関節点Ｊｉについての、計算基準関節点Ｊｉから対応身体部位ＢＪｉの重心位置までの間のトルクアーム長Ｌｉ
・各計算基準関節点Ｊｉに対応する対応身体部位ＢＪｉの筋肉の筋パワー（運動時筋パワー）
・全身運動時消費エネルギーＥｍ
・全身消費エネルギーＥ
・全身消費エネルギーＥから導出されるパラメータ（メッツＡ、全身消費カロリーＥｃ、エクササイズＡｗ等）
　なお、これらのパラメータの詳細は、後述する。
　図６はテーブルで表された結果データ１１７を説明するための図である。図６に示すように、結果データ１１７は、第１結果データ１１７ａ及び第２結果データ１１７ｂを含む。これらは、活動量データ１１６等に基づいて作成される。
　第１結果データ１１７ａは、情報（値）を格納する列（カラム）として、運動ＩＤ１１７ａ１、運動名称１１７ａ２及び関節１１７ａ６を含む。関節１１７ａ６は、肩中心１１７ａ３、右肩１１７ａ４及び右膝１１７ａ５等を含む。
　第１結果データ１１７ａには、運動結果に関する各列に対応する情報が互いに対応付けられて、一つの行単位の情報（レコード）として、格納される。具体的に述べると、運動ＩＤ１１７ａ１には、運動を識別するための識別情報が格納される。運動名称１１７ａ２には、運動（運動メニュー）の名称が格納される。関節１１７ａ６は、情報（値）を格納する列（カラム）として、肩中心１１７ａ３、右肩１１７ａ４及び右膝１１７ａ５等を含む。関節１１７ａ６に含まれる各列（カラム）には、ユーザＵｓ１が対応する運動メニューを実施した場合の各計算基準関節点Ｊｉ毎の活動量（本例において、エクササイズＡｗ）が格納される。なお、第１結果データ１１７ａには、エクササイズＡｗ以外の活動量が格納されていてもよい。
　第２結果データ１１７ｂは、情報（値）を格納する列（カラム）として、実施日時１１７ｂ１、運動ＩＤ１１７ｂ２、運動名称１１７ｂ３、時間１１７ｂ４及び活動量１１７ｂ５を含む。第２結果データ１１７ｂには、運動結果に関する各列に対応する情報が互いに対応付けられて格納される。具体的述べると、実施日時１１７ｂ１には、運動メニューを実施した日時が格納される。運動ＩＤ１１７ｂ２には、運動を識別するための識別情報が格納される。運動名称１１７ｂ３には、運動（運動メニュー）の名称が格納される。時間１１７ｂ４は、対応する運動メニューの実施時間が格納される。活動量１１７ｂ５には、対応する運動メニューを実施した結果、算出された活動量（本例において、エクササイズＡｗ）が格納される。なお、第２結果データ１１７ｂには、エクササイズＡｗ以外の活動量が格納されていてもよい。
　図７は端末装置２００の具体的な構成例を示すブロック図である。図７に示すように、端末装置２００は、データの読み出し及び書き込み可能な不揮発性の記憶装置２１０と、メモリ２２０（例えば、ＲＡＭ）と、プロセッサ２３０と、カメラ２４０と、表示機器２５０と、通信インターフェース２６０と、を含む。これらはバス２７０によって接続されている。
　プロセッサ２３０は、運動アプリ実行部２３１及び計測部２３２として動作する。運動アプリ実行部２３１は、運動メニューを表示画面２５１に表示する運動メニュー提示、運動教示動画を再生する運動教示動画再生、運動実施動画を記録する（記憶装置２１０に記憶する）運動実施動画記録、骨格データ１１４を表す画像を表示画面２５１に表示する骨格データ提示及び活動量データに基づく結果データ１１７を表示画面２５１に表示する活動量データ提示等を実行する。
　計測部２３２は、運動動画計測部２３２ａを含む。運動動画計測部２３２ａは、カメラ２４０によって取得された（撮像された）ユーザの運動動画（運動実施動画）を取得する。更に、運動動画計測部２３２ａは、カメラ２４０によって取得された運動実施動画を記憶装置２１０に記憶する。更に、運動動画計測部２３２ａは、カメラ２４０によって取得された運動実施動画を活動量算出装置１００に送信する。
　プロセッサ２３０は、記憶装置２１０に格納されたプログラム（不図示）をメモリ２２０にロードする。プロセッサ２３０は、メモリ２２０にロードされたプログラムを実行することによって、運動アプリ実行部２３１及び計測部２３２（運動動画計測部２３２ａ）の各種機能を実現する。
　記憶装置２１０は、運動アプリ実行部２３１が各処理を実行するときに使用するデータ２１１等を保持（記憶、格納）している。データ２１１は、運動メニューデータ、運動教示動画データ、運動実施動画データ、骨格データ及び活動量データを含む。これらは、プロセッサ２３０及び活動量算出装置１００から送信される。カメラ２４０は、動画を撮像可能な撮像装置であり、カメラ２４０の撮像範囲内に存在するユーザＵｓ１を撮像（撮影）する。表示機器２５０は、表示画面２５１及びタッチセンサ２５２を含む。表示機器２５０の一例は、例えば、タッチパネルである。通信インターフェース２６０は、端末装置２００をネットワークＮＷ１に接続するためのインターフェースである。
　＜活動量算出装置１００の作動＞
　活動量算出装置１００の作動について説明する。活動量算出装置１００は、ユーザ情報登録処理と、活動量算出サービス処理と、を実行する。
　（ユーザ情報登録処理）
　ユーザ情報登録処理について説明する。ユーザＵｓ１は、活動量算出サービスの提供を受けるにあたり、端末装置２００を介して活動量算出装置１００にユーザ情報を登録する。活動量算出装置１００は、ユーザ情報を登録するときに使用されるＧＵＩ（Graphical User Interface）としてＧＵＩ画面を端末装置２００の表示機器２５０の表示画面２５１に表示する。図８は端末装置２００に表示されるＧＵＩ画面の一例を示す。
　端末装置２００は、ＧＵＩ画面として、表示機器２５０の表示画面２５１に被験者登録画面ＧＭ１０を表示する。ユーザＵｓ１は、操作装置（本例では、表示画面２５１及びタッチセンサ２５２を含むタッチパネル）を介して、被験者登録画面ＧＭ１０を操作する（被験者登録画面ＧＭ１０に情報を入力する。）。
　被験者登録画面ＧＭ１０は、ユーザＩＤ入力欄８０１、施設ＩＤ入力欄８０２、施設内ユーザＩＤ入力欄８０３、性別入力欄８０４、年齢入力欄８０５、運動習慣入力欄８０６、運動意識入力欄８０７、肩こり入力欄８０８、腰痛入力欄８０９、身長入力欄８１０、体重入力欄８１１、第１プルダウンボタン８１２、第２プルダウンボタン８１３、第３プルダウンボタン８１４、第４プルダウンボタン８１５、第５プルダウンボタン８１６、第６プルダウンボタン８１７、第７プルダウンボタン８１８、第８プルダウンボタン８１９及び登録ボタンＢｔ１１を含む。
　なお、ユーザＩＤ入力欄８０１、施設ＩＤ入力欄８０２、施設内ユーザＩＤ入力欄８０３、性別入力欄８０４、年齢入力欄８０５、運動習慣入力欄８０６、運動意識入力欄８０７、肩こり入力欄８０８、腰痛入力欄８０９、身長入力欄８１０及び体重入力欄８１１は、これらを特に区別する必要がない場合、「入力欄」と称呼される。第１プルダウンボタン８１２、第２プルダウンボタン８１３、第３プルダウンボタン８１４、第４プルダウンボタン８１５、第５プルダウンボタン８１６、第６プルダウンボタン８１７、第７プルダウンボタン８１８及び第８プルダウンボタン８１９は、これらを特に区別する必要がない場合、「プルダウンボタン」と称呼される。プルダウンボタンが操作されると、入力欄に入力される情報の選択肢を示すプルダウンリスト（不図示）が表示される。情報の選択肢が選択されることにより、入力欄に情報が入力される。
　ユーザＩＤ入力欄８０１には、ユーザＩＤが入力される。本例では、ユーザＩＤとして「０００１」が入力されている。施設ＩＤ入力欄８０２には、施設ＩＤ（識別情報（名称））が入力される。本例では、施設ＩＤとして、「Ｈ００１（XXX株式会社）」が入力されている。施設内ユーザＩＤ入力欄８０３には、施設内ユーザＩＤ（識別番号）が入力される。本例では、施設内ユーザＩＤとして、「ＨＵ０００１」が入力されている。性別入力欄８０４には、性別が入力される。本例では、性別として、「男性」が入力されている。年齢入力欄８０５には、年齢が入力される。本例では、年齢として、「５５」が入力されている。運動習慣入力欄８０６には、運動習慣（運動の頻度を示す情報）が入力される。本例では、運動習慣として、「週１回」が入力されている。運動意識入力欄８０７には、運動意識を表す情報が入力される。本例では、運動意識を表す情報として、「実行」が入力されている。肩こり入力欄８０８には、肩こりがあるか否かを示す情報が入力される。本例では、肩こりがあるか否かを示す情報として、「なし」が入力されている。腰痛入力欄８０９には、腰痛があるか否かを示す情報が入力される。本例では、腰痛があるか否かを示す情報として、「なし」が入力されている。身長入力欄８１０には、身長が入力される。本例では、身長として、「１６０ｃｍ」が入力されている。体重入力欄８１１には、体重が入力される。本例では、体重として、`「６０ｋｇ」が入力されている。
　ユーザＵｓ１によって登録ボタンＢｔ１１が操作されると、活動量算出装置１００は、各入力欄に入力されたこれらの情報を互いに対応付けて、ユーザ情報１１２（ユーザ情報１１２の行単位の情報（レコード））として、記憶装置１１０のデータベース１１１に登録する（格納、記憶）する。
　（活動算出サービス処理）
　活動量算出装置１００が実行する活動量算出サービス処理（ユーザに提供するサービス）の概要について説明する。
　端末装置２００から活動算出サービス処理の実行が要求されると、活動量算出装置１００は、端末装置２００の表示画面２５１に、ＧＵＩ画面としての運動メニュー選択画面（不図示）を表示する。運動メニュー選択画面（不図示）は、運動メニューデータ１１３に対応する活動量算出装置１００が提供可能な運動メニューの一覧（運動メニューの運動名称の一覧）を含む。
　ユーザＵｓ１は、運動メニュー選択画面（不図示）を操作することによって、運動メニューの一覧の中から実施する運動メニューを選択する。なお、このときユーザＵｓ１は、一つの運動メニューを選択することも可能であり、連続して実施する複数の運動メニューを選択することも可能である。
　活動量算出装置１００は、運動メニューが選択されると、運動メニュー指示部１２３によって、運動メニューデータ１１３を参照することにより、選択された運動メニューに対応する、行（互いに対応付けられた行単位の運動ＩＤ、運動名称及び運動教示動画（以下、「運動メニュー情報」とも称呼される。））を取得し、運動メニュー情報を端末装置２００に送信する。
　端末装置２００は、運動メニュー情報及びその他必要な情報を用いて、ＧＵＩ画面としての運動開始指示画面（不図示）を表示する。運動開始指示画面（不図示）は、例えば、運動メニューのスタートボタン（不図示）及び選択された運動メニューの運動名称等（不図示）を含む。
　ユーザＵｓ１によって、運動メニューのスタートボタン（不図示）が操作されると、運動教示動画等を含む計測画面ＧＭ１２（後述の図１２を参照。）が表示される。なお、この計測画面ＧＭ１２の詳細は後述する。更に、運動メニューのスタートボタン（不図示）が操作されると、端末装置２００は、カメラ２４０によるユーザＵｓ１の撮像を開始し、ユーザＵｓ１の撮像動画（運動実施動画）を活動量算出装置１００に送信する。
　活動量算出装置１００は、運動実施動画に基づいて、活動量算出処理を実行する。なお、この活動量算出処理の詳細は後述する。
　選択された一つ又は複数の運動メニューが終了すると、活動量算出装置１００は、活動量算出処理の計算結果を、結果データ１１７として記憶装置１１０のデータベース１１１に格納する。
　選択された一つ又は複数の運動メニューが終了すると、端末装置２００は、運動を実施しているユーザＵｓ１の運動実施記録（運動実施状況、運動実施日時等）を活動量算出装置１００に送信する。活動量算出装置１００は、運動実施記録を、結果データ１１７として、記憶装置１１０のデータベース１１１に格納する。
　活動量算出装置１００は、端末装置２００から活動量算出結果の結果画面ＧＭ１３（後述の図１３を参照）の表示要求があると、結果データ１１７が反映された結果画面ＧＭ１３を端末装置２００に表示させるために必要なデータを端末装置２００に送信し、端末装置２００の表示画面２５１に結果画面ＧＭ１３を表示する。なお、この結果画面Ｇ１３の詳細は、後述する。以上が、活動量算出装置１００が実行する活動量算出サービス処理の概要である。
　（活動算出処理）
　上述した活動量算出処理の詳細について説明する。図９は活動量算出装置１００が実行する活動量算出処理の処理フローを示すフローチャートである。活動量算出装置１００は、ステップ９００から処理を開始して以下に述べるステップ９０１乃至ステップ９０６の処理を順に実行した後、ステップ９９５に進んで本処理フローを一旦終了する。なお、活動量算出装置１００は、本処理フローを運動メニュー開始時刻ｔst（「開始時刻ｔst」とも称呼される。）から運動メニュー終了時刻ｔendまでの間、所定時間が経過する毎に実行する。運動メニュー開始時刻ｔstは、例えば、運動メニューのスタートボタン（不図示）が操作された時刻であり、運動メニュー終了時刻ｔendは、例えば、選択された一つ又は複数の運動メニューが終了する時刻である。
　ステップ９０１：活動量算出装置１００は、骨格データ抽出部１２４によって、ユーザＵｓ１の運動実施動画（運動中の画像）から骨格データ１１４を抽出する（取得する。）。
　ステップ９０２：活動量算出装置１００は、活動量算出部１２６によって、関節点Ｊｉのうちの複数の計算基準関節点Ｊｉについて、現在時刻ｔｐにおける関節トルクＴｉ及び回転方向の角速度ｗｉを算出する。
　図１０は関節トルクＴｉ及び角速度ｗｉの算出方法を説明するための図である。活動量算出装置１００は、関節点Ｊｉの回転方向の角速度ｗｉを、運動実施動画に基づいて取得した骨格データ１１４から算出する。活動量算出装置１００は、計算基準関節点Ｊｉの対応身体部位ＢＪｉの重心の位置の鉛直方向と回転方向（回転する重心の接線方向）との間の角度θｉを、骨格データ１１４に基づいて取得する。
　活動量算出装置１００は、対応身体部位ＢＪｉに作用する重力Ｆを、対応身体部位ＢＪｉの質量Ｍｉ（推定質量Ｍｉ）と重力加速度ｇ[ｍ／ｓ２]とを乗算する（図１０の計算式（１）に適用する）ことにより、取得する。なお、本例では、推定質量Ｍｉは、各対応身体部位ＢＪｉに対して予め設定された所定の値が使用される。
　活動量算出装置１００は、図１０の計算式（２）を用いて、対応身体部位ＢＪｉに作用する重力の回転方向の成分ＦＲiを計算する。活動量算出装置１００は、図１０の計算式（３）を用いて、関節点Ｊｉにかかる関節トルクＴｉを計算する。なお、トルクアーム長Ｌｉは、計算基準関節点Ｊｉから重心ｃｉ位置までの長さである。
　活動量算出装置１００は、以上の計算を全ての計算基準関節点Ｊｉについて行うことにより、ユーザＵｓ１の各計算基準関節点Ｊｉについて現在時刻ｔｐにおける関節トルクＴｉ及び回転方向の角速度ｗｉを算出する。
　ステップ９０３：活動量算出装置１００は、活動量算出部１２６によって、現在時刻ｔｐにて運動状態と判定された各計算基準関節点Ｊｉの各対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔｐ）を算出して、メモリ１３０に記憶する。即ち、活動量算出装置１００は、ステップ９０２にて算出した関節トルクＴｉ及び回転方向の角速度ｗｉを図１１Ａの計算式（４）に適用することにより、運動状態にある各計算基準関節点Ｊｉの対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔｐ）を算出して、メモリ１３０に記憶する。
　ステップ９０４：活動量算出装置１００は、活動量算出部１２６によって、計算式（５）及びメモリ１３０に格納された開始時刻ｔｓから現在時刻ｔｐまでの期間に算出された各計算基準関節点Ｊｉの各対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔ）に基づいて、開始時刻ｔｓから現在時刻ｔｐまでの期間（「計算対象期間」とも称呼される。）の全身運動時消費エネルギーＥｍを算出する。即ち、活動量算出装置１００は、活動量算出部１２６によって、時刻ｔstから現在時刻ｔｐまでの期間について、全身運動時消費エネルギーＥｍを計算する場合、計算対象期間の各計算基準関節点Ｊｉについての運動時筋パワーＰｍｉ（ｔ）の合計の積分値を、全身運動時消費エネルギーＥｍとして算出する。
　ステップ９０５：活動量算出装置１００は、活動量算出部１２６によって、ステップ９０４にて算出された全身運動時消費エネルギーＥｍを、開始時刻ｔｓから現在時刻ｔｐまでの期間の全身消費エネルギーＥとして算出する。
　ステップ９０６：活動量算出装置１００は、活動量算出部１２６によって、全身消費エネルギーＥを図１１Ａの計算式（６）に適用することにより、全身消費カロリーＥｃを算出し、全身消費カロリーＥｃ、「Ｈ（＝開始時刻ｔstと現在時刻ｔｐとの間の時間（時間（ｈｏｕｒ）））」及び「Ｗ（＝ユーザＵｓ１の体重（ユーザ情報１１２より取得））」を図１１Ｂの計算式（７Ａ）に適用することにより、全身消費エネルギーＥからメッツＡ（時間当たり全身活動量Ａ）を算出する。即ち、活動量算出装置１００は、全身消費エネルギーＥに、第１換算係数（０．０００２３９）を乗じることにより、全身消費エネルギーＥを全身消費カロリーＥｃに変換し、全身消費カロリーＥｃを、第２換算係数（１．０５）と計算対象期間に対応する時間（Ｈ）とユーザＵｓ１の体重（Ｗ）とを乗じた値により除した値に対して、「１」を加算することにより、全身消費エネルギーＥから導出されるパラメータとして、メッツＡを算出する。更に、活動量算出装置１００は、メッツＡとＨとを図１１Ｂの計算式（７Ｂ）に適用することにより、エクササイズＡｗを算出する。即ち、活動量算出装置１００は、メッツＡとＨとを乗じることによりエクササイズＡｗを算出する。なお、活動量算出処理において計算されたパラメータは、結果データ１１７として、データベース１１１に格納される。
　更に、活動量算出処理において、活動量算出装置１００は、活動量算出部１２６によって、各計算基準関節点Ｊｉの対応身体部位ＢＪｉの計算対象期間の運動時筋パワーＰｍｉを積分することにより、各計算基準関節点Ｊｉについての消費エネルギーを更に算出してもよい。更に、活動量算出装置１００は、各計算基準関節点Ｊｉについての消費エネルギーに基づき、各計算基準関節点Ｊｉについてのメッツ、消費カロリー、エクササイズ等を算出してもよい。
　（計測画面の表示）
　図１２は計測画面ＧＭ１２の一例を示す。上述したように、ユーザＵｓ１によって運動開始指示画面（不図示）のスタートボタン（不図示）が操作されると、活動量算出装置１００は、運動メニュー情報、骨格データ１１４及び活動量算出処理にて算出されたエクササイズＡｗを反映させた計測画面ＧＭ１２を表示する。
　計測画面ＧＭ１２は、運動メニュー表示部ＭＮ１と、ユーザＩＤ表示欄１２０１と、消費エネルギー表示欄１２０２と、進捗表示バー１２０３と、運動教示動画１２０４と、ユーザ骨格動画１２０５と、中止ボタンＢｔ２１と、次へボタンＢｔ２２とを含む。
　運動メニュー表示部ＭＮ１には、運動メニュー（運動）の名称が表示される。ユーザＩＤ表示欄１２０１には、ユーザＵｓ１のユーザＩＤが表示される。消費エネルギー表示欄１２０２には、現時点の活動量が表示される。なお、活動量としては、上述した活動量算出処理にて算出されたエクササイズＡｗの値が表示される。運動教示動画１２０４は、運動メニューの見本動画（本例では、トレーナを表す絵（「トレーナアイコン」とも称呼される。）が運動メニュー（スクワット）を実行する動画）である。ユーザ骨格動画１２０５は、ユーザＵｓ１の撮像動画に対応するユーザＵｓ１を表す絵（ユーザＵｓ１の輪郭の絵）と、ユーザＵｓ１の骨格データ１１４に対応する骨格を表す太線とを含む。なお、運動教示動画１２０４は、運動メニューの見本を実行する人間（トレーナ）を撮像した撮像動画であってもよい。ユーザ骨格動画１２０５は、ユーザＵｓ１を撮像した撮像動画であってもよい。
　（結果画面及び今週分活動量提示画面の表示）
　図１３は結果画面Ｇ１３の一例を示す。上述したように、活動量算出装置１００は、選択された１又は複数の運動メニューが終了すると、結果データ１１７を反映させた結果画面ＧＭ１３を端末装置２００の表示機器２５０に表示する。
　図１３に示すように、結果画面ＧＭ１３はユーザＩＤ表示欄１３０１、実施運動一覧１３０２、各筋肉消費エネルギー画像１３０３、今週分活動量提示画面表示ボタンＢｔ３１及び表示終了ボタンＢｔ３２を含む。実施運動一覧１３０２はユーザＵｓ１が実施した運動メニュー（運動メニューの名称）と、その運動メニューを実施した時間と、活動量（エクササイズＡｗ）とを含む。更に、実施運動一覧１３０２は、運動メニュー毎の運動実施時間と、運動実施時間の合計時間と、活動量の合計量とを含む。
　各筋肉消費エネルギー画像１３０３は、人間の輪郭の絵と、骨格を示す太線とを含む。骨格を示す太線は、骨格に対応する対応身体部位ＢＪｉについての活動量に応じて太さが変化するようになっている。具体的に述べると、骨格を示す太線は、骨格に対応する対応身体部位ＢＪｉの活動量が大きくなるほど、その対応身体部位ＢＪｉに対応する骨格を示す太線の太さが大きくなり、骨格に対応する対応身体部位ＢＪｉの活動量が小さくなるほど、その対応身体部位ＢＪｉに対応する骨格を示す太線の太さが小さくなる。
　今週分活動量提示画面表示ボタンＢｔ３１がユーザＵｓ１によって操作されると、活動量算出装置１００は、後述の図１４の今週分活動量提示画面ＧＭ１４を端末装置２００の表示機器２５０に表示する。表示終了ボタンＢｔ３２がユーザＵｓ１によって操作されると、活動量算出装置１００は、結果画面ＧＭ１３の表示を終了する。
　図１４は今週分活動量提示画面ＧＭ１４の一例を示す。図１４に示すように、今週分活動量提示画面ＧＭ１４は、今週分の活動量一覧１４０１、今週の活動量目標値１４０２、今週の残り活動量１４０３及び戻るボタンＢｔ４１を含む。今週分の活動量一覧１４０１は、今週（１週間）内に実施した運動の内容と、それぞれに対応する運動時間及び活動量の累計とを含む。なお、これらの値は結果データ１１７に基づく値が表示される。戻るボタンＢｔ４１は、今週分活動量提示画面ＧＭ１４を結果画面ＧＭ１３に切り替えるために操作されるボタンである。従って、戻るボタンＢｔ４１がユーザＵｓ１によって操作されると、活動量算出装置１００は、今週分活動量提示画面ＧＭ１４を結果画面ＧＭ１３に切り替えて、結果画面ＧＭ１３を端末装置２００の表示機器２５０に表示する。
　＜効果＞
　以上説明したように、本発明の第１実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）に基づいて、各関節点ＪｉにかかるトルクＴｉ及びこれに基づく対応身体部位ＢＪｉ毎の運動時筋パワーを算出する。更に、第１実施形態に係る活動量算出装置１００は、対応身体部位ＢＪｉ毎の運動時筋パワーに基づいて、全身運動時消費エネルギーＥｍを算出する。そして、第１実施形態に係る活動量算出装置１００は、全身運動時消費エネルギーＥｍ基づいて、運動時（計測対象期間）の全身消費エネルギーＥ、メッツＡ及びエクササイズＡｗ等のユーザＵｓ１の身体活動を定量化したパラメータである活動量を算出する。これにより、第１実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）からユーザＵｓ１の身体活動を定量化したパラメータである活動量を精度よく測定（推定）できる。
　なお、従来技術として、加速度センサを腰や胸部に装着して、全身消費エネルギーを算出する活動量計の技術がある。この従来技術では、XYZの3軸方向の加速度データから、加速度ベクトルの大きさを算出する。しかし、この従来技術では、装着部位以外の腕や上半身などの動きは検出されないため、全身消費エネルギーが近似値とならざるを得ないのが課題である。また、装着部位によっても、計測値が異なってしまう。更に、加速度センサによって測定される加速度データは、ノイズが多いため、積分によって速度や距離に直すことは困難である。このため、従来技術は、加速度データのみからしか、メッツを算出できない。
　<<第２実施形態>>
　本発明の第２実施形態に係る活動量算出装置１００について説明する。第２実施形態に係る活動量算出装置１００は、活動量算出処理において、全身運動時消費エネルギーＥｍに加えて、全身静止時消費エネルギーＥｓを算出する。更に、第２実施形態に係る活動量算出装置１００は、全身運動時消費エネルギーＥｍ及び全身静止時消費エネルギーＥｓを合算することにより、全身消費エネルギーＥを算出する。第２実施形態に係る活動量算出装置１００は、以上述べた点のみにおいて、第１実施形態に係る活動量算出装置１００と相違点を有する。従って、以下ではこの相違点を中心として説明する。
　（活動量算出処理の概要）
　図１５は、ユーザＵｓ１が運動メニュー（腹筋）を実行している場合の、開始時刻ｔｓからある時刻ｔ２までの期間の腰中心についての関節トルクＴｉ、角速度ｗｉ、運動時筋パワーＰｍｉ及び静止時筋パワーＰｓｉの時系列データの一例を示す。
　図１５に示すように時刻ｔｓからある時刻ｔ２までの期間にて、ユーザＵｓ１が背中を持ち上げる動作（運動）を行っている間、動作静止判定部１２５によって腰中心は運動状態にあると判定され、腰中心の回転方向の角速度ｗｉはゼロではなく（角速度ｗｉの絶対値がゼロより大きく）、腰中心にかかる関節トルクＴｉ（関節トルクＴｉの絶対値）がゼロより大きくなっている。活動量算出装置１００は、この期間において、第１実施形態と同様にして、運動時筋パワーＰｍｉ（ｔ）を算出し、全身運動時消費エネルギーＥｍを算出する。
　時刻ｔ１の直後の時点から時刻ｔ２までの期間、ユーザＵｓ１が背中を持ち上げた状態を維持しているとき、動作静止判定部１２５によって腰中心は静止状態にあると判定される。腰中心の回転方向の角速度ｗｉはゼロになっている。従って、仮に図１１Ａの計算式（４）を用いて、運動時筋パワーＰｍｉ（ｔ）が算出された場合、運動時筋パワーＰｍｉ（ｔ）がゼロになる。しかし、ユーザＵｓ１はこの状態を維持するために、関節点（腰中心）の対応身体部位ＢＪｉの筋肉を使用しているので、この間においても、筋パワーが発生していることが考えられる。
　そこで、第２実施形態に係る活動量算出装置１００は、図１６の計算式（８）を用いて、静止状態であると判定された計算基準関節点Ｊｉの筋パワーを静止時筋パワーＰｓｉ（Ｐｓｉ（ｔ））として算出する。なお、計算式（８）中のＣｉは、関節トルクＴｉ（静止時トルク）から静止時筋パワーＰｓｉに変換するための係数である。Ｃｉは予め設定されており、例えば、予め実験等を行うことにより求められた定数値である。例えば、別の手法（例えば、活動量計又は呼気ガス分析から得られる最大酸素摂取量に基づく測定方法）で測定した静止時の消費エネルギーと、本手法で測定した静止状態にある各計算基準関節点ＪｉにかかるトルクＴｉの総和との比に基づいて、Ｃｉが求められてもよい。
　更に、活動量算出装置１００は、図１６の計算式（９）を用いて、静止時筋パワーＰｓｉ（ｔ）（各計算基準関節点Ｊｉについて算出した静止時筋パワーＰｓｉ（ｔ））に基づいて、全身静止時消費エネルギーＥｓを計算する。即ち、例えば、時刻ｔstからある時刻までの期間について、全身静止時消費エネルギーＥｓを計算する場合、その期間の各計算基準関節点Ｊｉについての静止時筋パワーＰｓｉ（ｔ）の合計の積分値を、全身静止時消費エネルギーＥｓとして算出する。
　そして、活動量算出装置１００は、図１６の計算式（１０）を用いて、全身運動時消費エネルギーＥｍと、全身静止時消費エネルギーＥｓとを合算したエネルギー（合計エネルギー）を、全身消費エネルギーＥとして、算出する。活動量算出装置１００は、このように全身消費エネルギーＥを算出することにより、静止時の身体活動も反映された活動量を算出することができる。
　（活動量算出処理）
　図１７は第２実施形態に係る活動量算出装置１００が実行する処理フローを示すフローチャートである。なお、活動量算出装置１００は、本処理フローを運動メニュー開始時刻ｔstから運動メニュー終了時刻ｔendまでの間、所定時間が経過する毎に実行する。
　活動量算出装置１００は、ステップ１７００から処理を開始し、以下に述べるステップ１７０１乃至ステップ１７０８の処理を順に実行した後、ステップ１７９５に進んで本処理フローを一旦終了する。
　ステップ１７０１：活動量算出装置１００は、既述の図９のステップ９０１と同様の処理を実行する。
　ステップ１７０２：活動量算出装置１００は、既述の図９のステップ９０２の処理と同様の処理を実行する。
　ステップ１７０３：活動量算出装置１００は、活動量算出部１２６によって、現在時刻ｔｐにて運動状態と判定された計算基準関節点Ｊｉの各対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔｐ）を算出して、メモリ１３０に記憶する。活動量算出装置１００は、ステップ１７０２にて算出したトルクＴｉ及び角速度ｗｉを図１１Ａの計算式（４）に適用することにより、運動状態にある各計算基準関節点Ｊｉの対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔｐ）を算出する。
　ステップ１７０４：活動量算出装置１００は、活動量算出部１２６によって、図１１Ａの計算式（５）及びメモリ１３０に格納された開始時刻ｔｓから現在時刻ｔｐまでの期間に算出された各計算基準関節点Ｊｉの各対応身体部位ＢＪｉの運動時筋パワーＰｍｉ（ｔ）に基づいて、開始時刻ｔｓから現在時刻ｔｐまでの期間の全身運動時消費エネルギーＥｍを算出する。
　ステップ１７０５：活動量算出装置１００は、活動量算出部１２６によって、現在時刻ｔｐにて静止状態と判定された計算基準関節点Ｊｉの各対応身体部位ＢＪｉの静止時筋パワーＰｓｉ（ｔｐ）を算出して、メモリ１３０に記憶する。即ち、活動量算出装置１００は、ステップ１７０２にて算出したトルクＴｉを図１６の計算式（８）に適用することにより、静止状態にある各計算基準関節点Ｊｉ（対応身体部位ＢＪｉ）の各静止時筋パワーＰｓｉ（ｔｐ）を算出して、メモリ１３０に記憶する。
　ステップ１７０６：活動量算出装置１００は、活動量算出部１２６によって、計算式（９）及びメモリ１３０に格納された開始時刻ｔｓから現在時刻ｔｐまでの期間に算出された各計算基準関節点Ｊｉの各対応身体部位ＢＪｉの静止時筋パワーＰｓｉ（ｔｐ）に基づいて、開始時刻ｔｓから現在時刻ｔｐまでの期間の全身静止時消費エネルギーＥｓを算出する。即ち、活動量算出装置１００は、活動量算出部１２６によって、時刻ｔstから現在時刻ｔｐまでの期間について、全身静止時消費エネルギーＥｓを計算する場合、計算対象期間の各計算基準関節点Ｊｉについての静止時筋パワーＰｓｉ（ｔ）の合計の積分値を、全身運動時消費エネルギーＥｍとして算出する。
　ステップ１７０７：活動量算出装置１００は、活動量算出部１２６によって、図１６の計算式（１０）を用いて、全身運動時消費エネルギーＥｍと全身静止時消費エネルギーＥｓとの和（合計エネルギー）を、全身消費エネルギーＥとして、算出する。
　ステップ１７０８：活動量算出装置１００は、活動量算出部１２６によって、全身消費エネルギーＥを図１１Ａの計算式（６）に適用することにより全身消費カロリーＥｃを算出し、全身消費カロリーＥｃ、「Ｈ（＝開始時刻と現在時刻との間の時間（時間（ｈｏｕｒ）））」及び「Ｗ（＝ユーザＵｓ１の体重）」を図１１Ｂの計算式（７Ａ）に適用することにより、全身消費エネルギーＥからメッツＡ（時間当たり全身活動量Ａ）を算出する。更に、活動量算出装置１００は、メッツＡとＨとを図１１Ｂの計算式（７Ｂ）に適用することにより、エクササイズＡｗを算出する。なお、活動量算出処理において計算されたパラメータは、結果データ１１７として、データベース１１１に格納される。更に、活動量算出処理において、活動量算出装置１００は、活動量算出部１２６によって、各計算基準関節点Ｊｉの対応身体部位ＢＪｉの計算対象期間の運動時筋パワーＰｍｉを積分することにより求めた消費エネルギーと、各計算基準関節点Ｊｉの対応身体部位ＢＪｉの計算対象期間の静止時筋パワーＰｓｉを積分することにより求めた消費エネルギーを合算することにより、各計算基準関節点Ｊｉについての消費エネルギーを更に算出してもよい。更に、活動量算出装置１００は、各計算基準関節点Ｊｉについての消費エネルギーに基づき、各計算基準関節点Ｊｉについてのメッツ、消費カロリー、エクササイズ等を算出してもよい。
　＜効果＞
　以上説明したように、本発明の第２実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）に基づいて、各関節点ＪｉにかかるトルクＴｉ及びこれに基づく対応身体部位ＢＪｉ毎の運動時筋パワー及び静止時筋パワーを算出する。更に、第２実施形態に係る活動量算出装置１００は、対応身体部位ＢＪｉ毎の運動時筋パワー及び静止時筋パワーに基づいて、全身運動時消費エネルギーＥｍ及び全身静止時消費エネルギーＥｓを算出する。そして、第２実施形態に係る活動量算出装置１００は、全身運動時消費エネルギーＥｍ及び全身静止時消費エネルギーＥｓに基づいて、運動時（計測対象期間）の全身消費エネルギーＥ、メッツＡ及びエクササイズＡｗ等のユーザＵｓ１の身体活動を定量化したパラメータである活動量を算出する。これにより、第２実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）からユーザＵｓ１の身体活動を定量化したパラメータである活動量を、より精度よく測定（推定）できる。
　<<第３実施形態>>
　本発明の第３実施形態に係る活動量算出装置１００について説明する。第３実施形態に係る活動量算出装置１００は、活動量算出処理において、全身運動時消費エネルギーＥｍに加えて、代表となる関節点Ｊｉ（「代表関節点Ｊｉ」とも称呼される。）の加速度から全身加速度基準消費エネルギーＥａｃｃを算出し、全身運動時消費エネルギーＥｍ及び全身加速度基準消費エネルギーＥａｃｃに基づいて、全身消費エネルギーＥを算出する点のみにおいて、第１実施形態に係る活動量算出装置１００と相違点を有する。従って、以下ではこの相違点を中心として説明する。
　（活動量算出処理）
　図１８は第３実施形態に係る活動量算出装置１００が実行する処理フローを示すフローチャートである。なお、活動量算出装置１００は、本処理フローを運動メニュー開始時刻ｔstから運動メニュー終了時刻ｔendまでの間、所定時間が経過する毎に実行する。
　活動量算出装置１００は、ステップ１８００から処理を開始し、以下に述べるステップ１８０１乃至ステップ１８０７の処理を順に実行した後、ステップ１８９５に進んで本処理フローを一旦終了する。
　ステップ１８０１：活動量算出装置１００は、既述の図９のステップ９０１と同様の処理を実行する。
　ステップ１８０２：活動量算出装置１００は、既述の図９のステップ９０２の処理と同様の処理を実行する。
　ステップ１８０３：活動量算出装置１００は、既述の図９のステップ９０３の処理と同様の処理を実行する。
　ステップ１８０４：活動量算出装置１００は、既述の図９のステップ９０４の処理と同様の処理を実行する。
　ステップ１８０５：活動量算出装置１００は、活動量算出部１２６によって、所定の関節点（代表関節点）の加速度に基づいて、開始時刻ｔｓから現在時刻ｔｐまでの期間の全身加速度基準消費エネルギーＥａｃｃを算出する。本例において、代表関節点Ｊｉは、腰中心である。より具体的に述べると、活動量算出装置１００は、全身加速度基準消費エネルギーＥａｃｃを、腰中心の加速度を周知の算出アルゴリズムに適用することにより、算出する。なお、代表関節点Ｊｉは、腰中心以外の関節点Ｊｉであってもよく、複数の関節点Ｊｉであってもよい。
　ステップ１８０６：活動量算出装置１００は、活動量算出部１２６によって、図１９の計算式（１１）を用いて、全身運動時消費エネルギーＥｍと全身加速度基準消費エネルギーＥａｃｃとの和（合計エネルギー）を、全身消費エネルギーＥとして、算出する。
　ステップ１８０７：活動量算出装置１００は、全身消費エネルギーＥを図１１Ａの計算式（６）に適用することにより全身消費カロリーＥｃを算出し、全身消費カロリーＥｃ、「Ｈ（＝開始時刻と現在時刻との間の時間（時間（ｈｏｕｒ）））」及び「Ｗ（＝ユーザＵｓ１の体重）」を図１１Ｂの計算式（７Ａ）に適用することにより、全身消費エネルギーＥからメッツＡ（時間当たり全身活動量Ａ）を算出する。更に、活動量算出装置１００は、メッツＡとＨとを図１１Ｂの計算式（７Ｂ）に適用することにより、エクササイズＡｗを算出する。なお、活動量算出処理において計算されたパラメータは、結果データ１１７として、データベース１１１に格納される。
　＜効果＞
　以上説明したように、本発明の第３実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）に基づいて、各関節点ＪｉにかかるトルクＴｉ及びこれに基づく対応身体部位ＢＪｉ毎の運動時筋パワーを算出する。更に、第３実施形態に係る活動量算出装置１００は、対応身体部位ＢＪｉ毎の運動時筋パワーに基づいて、全身運動時消費エネルギーＥｍを算出し、更に、代表関節点の加速度に基づいて、全身加速度基準消費エネルギーＥａｃｃを算出する。そして、第３実施形態に係る活動量算出装置１００は、全身運動時消費エネルギーＥｍ及び全身加速度基準消費エネルギーＥａｃｃに基づいて、運動時（計測対象期間）の全身消費エネルギーＥ、メッツＡ及びエクササイズＡｗ等のユーザＵｓ１の身体活動を定量化したパラメータである活動量を算出する。これにより、第３実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）からユーザＵｓ１の身体活動を定量化したパラメータである活動量を、より精度よく測定（推定）できる。
　<<第４実施形態>>
　本発明の第４実施形態に係る活動量算出装置１００について説明する。第４実施形態に係る活動量算出装置１００は、活動量算出処理において、全身運動時消費エネルギーＥｍに加えて、全身静止時消費エネルギーＥｓを算出し、更に、代表関節点Ｊｉの加速度から全身加速度基準消費エネルギーＥａｃｃを算出し、全身運動時消費エネルギーＥｍ、全身静止時消費エネルギーＥｓ及び全身加速度基準消費エネルギーＥａｃｃに基づいて、全身消費エネルギーＥを算出する点のみにおいて、第１実施形態に係る活動量算出装置１００と相違点を有する。従って、以下ではこの相違点を中心として説明する。
　（活動量算出処理）
　図２０は第４実施形態に係る活動量算出装置１００が実行する処理フローを示すフローチャートである。なお、活動量算出装置１００は、本処理フローを運動メニュー開始時刻ｔstから運動メニュー終了時刻ｔendまでの間、所定時間が経過する毎に実行する。
　活動量算出装置１００は、ステップ２０００から処理を開始し、以下に述べるステップ２００１乃至ステップ２００９の処理を順に実行した後、ステップ２０９５に進んで本処理フローを一旦終了する。
　ステップ２００１：活動量算出装置１００は、既述の図９のステップ９０１と同様の処理を実行する。
　ステップ２００２：活動量算出装置１００は、既述の図９のステップ９０２の処理と同様の処理を実行する。
　ステップ２００３：活動量算出装置１００は、既述の図１７のステップ１７０３の処理と同様の処理を実行する。
　ステップ２００４：活動量算出装置１００は、既述の図１７のステップ１７０４の処理と同様の処理を実行する。
　ステップ２００５：活動量算出装置１００は、既述の図１７のステップ１７０５の処理と同様の処理を実行する。
　ステップ２００６；活動量算出装置１００は、既述の図１７のステップ１７０６の処理と同様の処理を実行する。
　ステップ２００７：活動量算出装置１００は、既述の図１８のステップ１８０５の処理と同様の処理を実行する。
　ステップ２００８：活動量算出装置１００は、活動量算出部１２６によって、図２１の計算式（１２）を用いて、全身運動時消費エネルギーＥｍと全身静止時消費エネルギーＥｓと全身加速度基準消費エネルギーＥａｃｃとの和（合計エネルギー）を、全身消費エネルギーＥとして、算出する。
　ステップ２００９：活動量算出装置１００は、活動量算出部１２６によって、全身消費エネルギーＥを図１１Ａの計算式（６）に適用することにより全身消費カロリーＥｃを算出し、全身消費カロリーＥｃ、「Ｈ（＝開始時刻と現在時刻との間の時間（時間（ｈｏｕｒ）））」及び「Ｗ（＝ユーザＵｓ１の体重）」を図１１Ｂの計算式（７Ａ）に適用することにより、全身消費エネルギーＥからメッツＡ（時間当たり全身活動量Ａ）を算出する。更に、活動量算出装置１００は、メッツＡとＨとを図１１Ｂの計算式（７Ｂ）に適用することにより、エクササイズＡｗを算出する。なお、活動量算出処理において計算されたパラメータは、結果データ１１７として、データベース１１１に格納される。
　＜効果＞
　以上説明したように、本発明の第４実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）に基づいて、各関節点ＪｉにかかるトルクＴｉ及びこれに基づく対応身体部位ＢＪｉ毎の運動時筋パワー及び静止時筋パワーを算出する。更に、第４実施形態に係る活動量算出装置１００は、対応身体部位ＢＪｉ毎の運動時筋パワー及び静止時筋パワーに基づいて、全身運動時消費エネルギーＥｍ及び全身静止時消費エネルギーＥｓを算出し、更に、代表関節点の加速度に基づいて、全身加速度基準消費エネルギーＥａｃｃを算出する。そして、第４実施形態に係る活動量算出装置１００は、全身運動時消費エネルギーＥｍ、全身静止時消費エネルギーＥｓ及び全身加速度基準消費エネルギーＥａｃｃに基づいて、運動時（計測対象期間）の全身消費エネルギーＥ、メッツＡ及びエクササイズＡｗ等のユーザＵｓ１の身体活動を定量化したパラメータである活動量を算出する。これにより、第４実施形態に係る活動量算出装置１００は、ユーザＵｓ１の運動実施動画（画像）からユーザＵｓ１の身体活動を定量化したパラメータである活動量を、より精度よく測定（推定）できる。
　<<第１変形例>>
　上記各実施形態において、活動量算出処理において、全ての計算基準関節点Ｊｉのうちの一部の計算基準関節点Ｊｉのみについて関節トルクＴｉ及び角速度ｗｉを算出することにより、全身消費エネルギーＥ等を算出してもよい。一部の計算基準関節点Ｊｉとしては、例えば、図２２に示す太線で示した骨格に対応する体幹筋に対応する黒点で示した計算基準関節点Ｊｉ（右肩、肩中心、左肩、背中、腰中心、右腰及び左腰）が挙げられる。この場合、第１変形例は、上記各実施形態のステップ９０２、ステップ１７０２、ステップ１８０２及びステップ２００２のそれぞれに代えて、以下に述べるステップＡを実行する。
　ステップＡ：活動量算出装置１００は、活動量算出部１２６によって、ユーザＵｓ１の各計算基準関節点Ｊｉのうちの一部の計算基準関節点Ｊｉについて現在時刻ｔｐにおける関節トルクＴｉ及び角速度ｗｉを算出する。
　第１変形例によれば、身体の一部分（例えば、腕の一部、足の一部等）が画像として認識されない場合であっても、ユーザＵｓ１の運動実施動画（画像）からユーザＵｓ１の身体活動を定量化したパラメータである活動量を測定（推定）できる。
　<<第２変形例>>
　活動量算出装置１００の第２変形例は、活動量算出処理の算出処理方法及び活動量の単位等を、設定画面の入力情報に基づいて、変更する。図２３は活動量算出方法設定画面ＧＭ２４の一例を示す。活動量算出方法設定画面ＧＭ２４は、運動時動作評価設定欄２３０１、静止時動作評価設定欄２３０２、体幹筋設定欄２３０３、代表関節点の加速度考慮設定欄２３０４、活動量の単位設定欄２３０５、第９プルダウンボタン２３０６、第１０プルダウンボタン２３０７、第１１プルダウンボタン２３０８、第１２プルダウンボタン２３０９及び第１３プルダウンボタン２３１０を含む。
　運動時動作評価設定欄２３０１、静止時動作評価設定欄２３０２、体幹筋設定欄２３０３、代表関節点の加速度考慮設定欄２３０４及び活動量の単位設定欄２３０５は、これらを特に区別する必要がない場合、これらを「設定欄」と称呼される。
　第９プルダウンボタン２３０６、第１０プルダウンボタン２３０７、第１１プルダウンボタン２３０８及び第１２プルダウンボタン２３０９のそれぞれが操作されると、それぞれの設定欄に入力される「あり」及び「なし」を含むプルダウンリストが表示される。第１３プルダウンボタン２３１０が操作されると、活動量の単位設定欄２３０５に入力される活動量の単位「ＭＥＴｓ」、「ｋｃａｌ」及び「Ｊ」（又は「ｋＪ」）を含むプルダウンリストが表示される。登録ボタンＢｔ５１が操作されると、それぞれの設定欄に入力された情報に基づいて、活動量算出方法が設定される。
　具体的に述べると、例えば、運動時動作評価設定欄２３０１及び静止時動作評価設定欄２３０２のうち、運動時動作評価設定欄２３０１のみが「あり」の状態で、登録ボタンＢｔ５１が操作されると、図９に示した活動量算出処理によって、活動量の単位設定欄２３０５に設定された単位の活動量が算出される。そして、算出された活動量が、例えば、図１２の計測画面ＧＭ１２の消費エネルギー表示欄１２０２に表示される。
　運動時動作評価設定欄２３０１及び静止時動作評価設定欄２３０２のうち、運動時動作評価設定欄２３０１及び静止時動作評価設定欄２３０２の両方が「あり」の状態で登録ボタンＢｔ５１が操作されると、図１７に示した活動量算出処理によって、活動量の単位設定欄２３０５に設定された単位の活動量が算出される。そして、算出された活動量が、例えば、図１２の計測画面ＧＭ１２の消費エネルギー表示欄１２０２に表示される。
　代表関節点の加速度考慮設定欄２３０４が「あり」の状態で登録ボタンＢｔ５１が操作されると、運動時動作評価設定欄２３０１及び静止時動作評価設定欄２３０２の入力情報に応じて、代表関節点の加速度に基づいて算出された加速度基準エネルギーが考慮された処理（例えば、図１８及び図２０の何れかに示した活動量算出処理）によって、活動量の単位設定欄２３０５に設定された単位の活動量が、算出される。そして、算出された活動量が、例えば、図１２の計測画面ＧＭ１２の消費エネルギー表示欄１２０２に表示される。
　<<第３変形例>>
　上記各実施形態において、対応身体部位ＢＪｉの推定質量Ｍｉ及びトルクアーム長Ｌｉは、以下に述べるように、算出されてもよい。図２４は、第３変形例の対応身体部位ＢＪｉの推定質量Ｍｉ及びトルクアーム長Ｌｉの算出方法を説明するための図である。標準体型の基準身長Ｄに対して各対応身体部位ＢＪｉの基準質量Ｍｉｂが予め設定されている。同様に、標準体型の基準身長Ｄに対して各対応身体部位ＢＪｉの基準トルクアーム長Ｌｉｂが予め設定されている。
　第３変形例は、ユーザＵｓ１の身長Ｄ’に基づいて、図２４の計算式（１３）を用いて、各対応身体部位ＢＪｉの推定質量Ｍｉを計算する。即ち、第３変形例は、予め設定された基準質量Ｍｉｂに、ユーザＵｓ１の身長Ｄ’を予め設定された基準身長Ｄ（本例ではＤ（＝１７０ｃｍ））により除した値の３乗の値である比率を乗じることにより、対応身体部位ＢＪｉの推定質量Ｍｉを算出する。
　第３変形例は、ユーザＵｓ１の身長Ｄ’に基づいて、図２４の計算式（１４）を用いて、各対応身体部位ＢＪｉのトルクアーム長Ｌｉを計算する。即ち、第３変形例は、予め設定された基準トルクアーム長Ｌｉｂに、ユーザＵｓ１の身長Ｄ’を予め設定された基準身長Ｄにより除した値である比率を乗じることにより、トルクアーム長Ｌｉを算出する、
　<<第４変形例>>
　上記各実施形態において、対応身体部位ＢＪｉの推定質量Ｍｉは、以下に述べるように、算出されてもよい。図２５は第４変形例の対応身体部位ＢＪｉの推定質量Ｍｉの算出方法を説明するための図である。標準体型の身体の輪郭の基準面積Ｓｂが予め設定されている。
　第４変形例は、ユーザＵｓ１の輪郭の面積Ｓ’に基づいて、図２５の計算式（１５）を用いて、各対応身体部位ＢＪｉの推定質量Ｍｉを計算する。即ち、第４変形例は、運動実施動画に基づきユーザＵｓ１の輪郭の面積Ｓ’を取得し、予め設定された基準質量Ｍｉｂに、ユーザＵｓ１の輪郭の面積Ｓ’を予め設定された基準面積Ｓｂにより除した値の２乗の値である比率を乗じることにより、対応身体部位の推定質量Ｍｉを算出する。
　<<第５変形例>>
　ユーザＵｓ１が器具（例えば、ダンベル）を用いて、運動する場合がある。その場合、上記各実施形態において、各対応身体部位ＢＪｉの質量Ｍｉのうち、器具の質量が作用する対応身体部位ＢＪｉの質量Ｍｉを、質量Ｍｉに器具の質量を加えた質量（Ｍｉ＝Ｍｉ＋器具の質量）に代えて、活動量を算出するようにしてもよい。なお、器具の質量としては、運動実施動画に基づく推定質量や予め活動量算出装置１００に入力された器具の質量を使用できる。
　<<第６変形例>>
　第６変形例は、キャリブレーションのためのキャリブレーション測定を実行する。キャリブレーションのため、ユーザＵｓ１の運動についての消費エネルギーを、上述した運動実施動画（画像）に基づく方法と、周知の活動量計を用いる方法との両方で、計測する。例えば、キャリブレーション測定（あるキャリブレーション測定期間）において、活動量計を用いる方法で計測されたメッツ（活動量）の出力値がＰであり、運動実施動画（画像）から算出されたメッツ（活動量）がＱであると仮定する。その場合、第６変形例は、運動実施動画（画像）から算出されたメッツ（活動量）に、補正値（＝Ｐ／Ｑ）を乗算することにより、最終的なメッツ（活動量）を算出する。
　<<第７変形例>>
　第７変形例は、キャリブレーションのためのキャリブレーション測定を実行する。キャリブレーションのため、ユーザＵｓ１の運動についての消費エネルギーを、上述した運動実施動画（画像）に基づく方法と、心拍数を用いる方法との両方で、計測する。例えば、キャリブレーション測定（あるキャリブレーション測定期間）において、周知の心拍数を用いる方法で計測されたメッツ（活動量）の出力値がＰであり、画像から算出されたメッツ（活動量）がＱであると仮定する。その場合、第７変形例は、運動実施動画（画像）から算出されたメッツ（活動量）に、補正値（＝Ｐ／Ｑ）を乗算することにより、最終的なメッツ（活動量）を算出する。
　<<応用例>>
　図２６は活動量算出装置１００の応用例としてのシステムを説明するための図である。図２６に示すように、システムは、健康管理システム２６００と、端末装置２００と、活動量計としての機能を有するウェアラブルデバイス２７００（例えば、スマートウォッチ）と、を含む。これらは、ネットワークＮＷ１を介して互いに通信可能に接続されている。健康管理システム２６００は、クラウド上に構成され、活動量算出装置１００を含む。活動量算出装置１００は、上述したように、ユーザＵｓ１の運動に関するデータ等を取得及び算出できる。更に、活動量算出装置１００は、ウェアラブルデバイス２７００により収集されたユーザＵｓ１の歩行、走行及びその他の動作に関するデータ等を取得及び算出できる。活動量算出装置１００は、ユーザＵｓ１の運動に関するデータ等に基づく活動量と、ウェアラブルデバイス２７００により収集されたユーザＵｓ１の歩行、走行及びその他の動作に関するデータ等に基づく活動量と、を記憶する。健康管理システム２６００は、活動量算出装置１００によって、算出及び収集したデータに基づいて、サービス（例えば、活動量算出サービス、ユーザＵｓ１の１週間の活動量の総和を計算して提供するサービス等）をユーザＵｓ１（端末装置２００及び／又はウェアラブルデバイス２７００）に提供する。
　<<他の変形例>>
　本発明は上記各実施形態、各変形例及び応用例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施形態、各変形例及び応用例は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。例えば、上記各実施形態において、関節点Ｊｉ、計算基準関節点Ｊｉ、対応身体部位ＢＪｉは、上記に限定されるものではない。例えば、上記各実施形態において、各対応身体部位ＢＪｉのトルクアーム長Ｌｉは、運動実施動画に基づいて各計算基準関節点Ｊｉについて、算出したが、各対応身体部位ＢＪｉのトルクアーム長Ｌｉは、予め設定されたトルクアーム長Ｌｉであってもよい。例えば、上記各実施形態において、活動量算出装置１００で実行される処理の一部が、端末装置２００で実行されるようにしてもよい。例えば、上記各実施形態において、端末装置２００側で運動実施動画に基づいて骨格データが抽出されてもよい。
　１００…活動量算出装置、１１０…記憶装置、１１１…データベース、１１２…ユーザ情報、１１３…運動メニューデータ、１１４…骨格データ、１１５…動作静止判定データ、１１６…活動量データ、１１７…結果データ、１２０…プロセッサ、１２１…データ処理部、１２２…ユーザ情報管理部、１２３…運動メニュー指示部、１２４…骨格データ抽出部、１２５…動作静止判定部、１２７…結果処理部、２００…端末装置、Ｕｓ１…ユーザ

Claims (14)

  1. 　ユーザの撮像動画に基づくデータを処理する情報処理装置を含む活動量算出装置であって、
    　前記情報処理装置は、
    　計算対象期間の前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、複数の関節点の中の複数の計算基準関節点のそれぞれの角速度を算出し、
    　運動状態にある前記計算基準関節点のそれぞれについて、
    　前記関節点の周囲の対応身体部位の推定質量に重力加速度を乗じた前記対応身体部位に作用する推定重力の回転方向の成分に、前記計算基準関節点と前記対応身体部位の重心との間の長さであるトルクアーム長を乗じることにより、トルクを算出するトルク算出と、算出した前記トルクと、前記回転方向の前記角速度とを乗じることにより、前記計算対象期間における前記関節点の周囲の前記対応身体部位の運動時筋パワーを算出する運動時筋パワー算出とを行い、
    　前記運動時筋パワーの合計の前記計算対象期間の積分値を全身運動時消費エネルギーとして算出し、
    　少なくとも前記全身運動時消費エネルギーに基づいて、全身消費エネルギーを算出し、
    　前記全身消費エネルギー及び前記全身消費エネルギーから導出されるパラメータの少なくとも一つを、前記ユーザの身体活動を定量化したパラメータである活動量として算出する、
    　ように構成された、
    　活動量算出装置。
  2. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　静止状態にある前記計算基準関節点のそれぞれについて、
    　前記トルク算出と、算出した前記トルクと所定の係数とを乗じることにより、前記関節点の周囲の前記対応身体部位の静止時筋パワーを算出する静止時筋パワー算出とを行い、
    　前記静止時筋パワーの合計の前記計算対象期間の積分値を全身静止時消費エネルギーとして算出し、
    　前記全身運動時消費エネルギーと前記全身静止時消費エネルギーとを合算することにより、前記全身消費エネルギーを算出する、
    　ように構成された、
    　活動量算出装置。
  3. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　複数の前記関節点のうちの、代表となる１又は複数の前記関節点である代表関節点の加速度に基づいて、前記計算対象期間の加速度基準の全身加速度基準消費エネルギーを更に算出し、
    　前記全身運動時消費エネルギーと前記全身加速度基準消費エネルギーとを合算することにより、前記全身消費エネルギーを算出する、
    　ように構成された、
    　活動量算出装置。
  4. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　静止状態にある前記計算基準関節点のそれぞれについて、
    　前記トルク算出と、算出した前記トルクと所定の係数とを乗じることにより、前記関節点の周囲の前記対応身体部位の静止時筋パワーを算出する静止時筋パワー算出とを行い、
    　前記静止時筋パワーの合計の前記計算対象期間の積分値を全身静止時消費エネルギーとして算出し、
    　複数の前記関節点のうちの、代表となる１又は複数の前記関節点である代表関節点の加速度に基づいて、前記計算対象期間の加速度基準の全身加速度基準消費エネルギーを更に算出し、
    　前記全身運動時消費エネルギーと前記全身静止時消費エネルギーと前記全身加速度基準消費エネルギーとを合算することにより、前記全身消費エネルギーを算出する、
    　ように構成された、
    　活動量算出装置。
  5. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　前記全身消費エネルギーに、第１換算係数を乗じることにより、前記全身消費エネルギーを全身消費カロリーに変換し、
    　前記全身消費カロリーを、第２換算係数と前記計算対象期間に対応する時間と前記ユーザの体重とを乗じた値により除した値に対して、「１」を加算することにより、
    　前記全身消費エネルギーから導出されるパラメータとして、メッツを算出する、
    　ように構成された、
    　活動量算出装置。
  6. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　複数の前記関節点のうちの、前記ユーザの体幹筋に対応する前記関節点のみを、前記計算基準関節点とする、
    　ように構成された、
    　活動量算出装置。
  7. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、前記ユーザの身長を取得し、
    　予め設定された基準質量に、前記ユーザの身長を予め設定された基準身長により除した値の３乗の値である比率を乗じることにより、前記対応身体部位の前記推定質量を算出する、
    　ように構成された、
    　活動量算出装置。
  8. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、前記ユーザの身長を取得し、
    　予め設定された基準トルクアーム長に、前記ユーザの身長を予め設定された基準身長により除した値である比率を乗じることにより、前記トルクアーム長を算出する、
    　ように構成された、
    　活動量算出装置。
  9. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、前記撮像動画に基づき前記ユーザの輪郭の面積を取得し、
    　予め設定された基準質量に、前記ユーザの輪郭の面積を予め設定された基準面積により除した値の２乗の値である比率を乗じることにより、前記対応身体部位の前記推定質量を算出する、
    　ように構成された、
    　活動量算出装置。
  10. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　前記ユーザが器具を使用している場合、前記対応身体部位の推定質量に代えて、前記ユーザが使用している器具の質量を前記対応身体部位の推定質量に加算した質量を使用して、前記活動量を算出する、
    　ように構成された、
    　活動量算出装置。
  11. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　所定のキャリブレーション測定期間において、
    　前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、前記活動量の算出と同様にして算出したキャリブレーション用活動量と、前記ユーザの運動を活動量計によって測定した場合の活動量計測定活動量とを取得し、
    　前記キャリブレーション用活動量と、前記活動量計測定活動量とに基づいて、補正値を算出し、
    　前記活動量に前記補正値を適用することにより、前記活動量をキャリブレーションする、
    　ように構成された、
    　活動量算出装置。
  12. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、
    　所定のキャリブレーション測定期間において、
    　前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、前記活動量の算出と同様にして算出したキャリブレーション用活動量と、前記ユーザの心拍数に基づいて測定した場合の心拍数基準活動量とを取得し、
    　前記キャリブレーション用活動量と、前記心拍数基準活動量とに基づいて、補正値を算出し、
    　前記活動量に前記補正値を適用することにより、前記活動量をキャリブレーションする、
    　ように構成された、
    　活動量算出装置。
  13. 　請求項１に記載の活動量算出装置において、
    　前記情報処理装置は、外部の撮像装置を備えた端末装置から通信によって前記ユーザの前記撮像動画又は前記ユーザの骨格データを取得し、
    　前記ユーザの前記撮像動画又は前記骨格データに基づいて前記活動量を算出し、
    　算出した前記活動量を前記端末装置に送信する、
    　ように構成された、
    　活動量算出装置。
  14. 　ユーザの撮像動画に基づくデータを処理する情報処理装置を用いた活動量算出方法であって、
    　前記情報処理装置によって、
    　計算対象期間の前記ユーザの撮像動画に基づいて取得された前記ユーザの骨格データに基づいて、複数の関節点の中の複数の計算基準関節点のそれぞれの角速度を算出し、
    　運動状態にある前記計算基準関節点のそれぞれについて、
    　前記関節点の周囲の対応身体部位の推定質量に重力加速度を乗じた前記対応身体部位に作用する推定重力の回転方向の成分に、前記計算基準関節点と前記対応身体部位の重心との間の長さであるトルクアーム長を乗じることにより、トルクを算出するトルク算出と、算出した前記トルクと、前記回転方向の前記角速度とを乗じることにより、前記計算対象期間における前記関節点の周囲の前記対応身体部位の運動時筋パワーを算出する運動時筋パワー算出とを行い、
    　前記運動時筋パワーの合計の前記計算対象期間の積分値を全身運動時消費エネルギーとして算出し、
    　少なくとも前記全身運動時消費エネルギーに基づいて、全身消費エネルギーを算出し、
    　前記全身消費エネルギー及び前記全身消費エネルギーから導出されるパラメータの少なくとも一つを、前記ユーザの身体活動を定量化したパラメータである活動量として算出する、
    　活動量算出方法。
PCT/JP2022/034070 2021-12-27 2022-09-12 活動量算出装置及び活動量算出方法 WO2023127203A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-212834 2021-12-27
JP2021212834A JP2023096823A (ja) 2021-12-27 2021-12-27 活動量算出装置及び活動量算出方法

Publications (1)

Publication Number Publication Date
WO2023127203A1 true WO2023127203A1 (ja) 2023-07-06

Family

ID=86998602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034070 WO2023127203A1 (ja) 2021-12-27 2022-09-12 活動量算出装置及び活動量算出方法

Country Status (2)

Country Link
JP (1) JP2023096823A (ja)
WO (1) WO2023127203A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014076113A (ja) * 2012-10-09 2014-05-01 Lets Sports Co Ltd 健康支援タイプ別に重力への順応性とエネルギー消費量を算定し、最適な健康支援プログラムを提供するための方法及びシステム
JP2014113225A (ja) * 2012-12-07 2014-06-26 Hiroshima Univ 人体運動評価装置、方法、およびプログラム
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
US20200121987A1 (en) * 2019-12-19 2020-04-23 Intel Corporation Smart gym

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014076113A (ja) * 2012-10-09 2014-05-01 Lets Sports Co Ltd 健康支援タイプ別に重力への順応性とエネルギー消費量を算定し、最適な健康支援プログラムを提供するための方法及びシステム
JP2014113225A (ja) * 2012-12-07 2014-06-26 Hiroshima Univ 人体運動評価装置、方法、およびプログラム
JP2017086184A (ja) * 2015-11-02 2017-05-25 国立大学法人埼玉大学 筋活動可視化システムと筋活動可視化方法
US20200121987A1 (en) * 2019-12-19 2020-04-23 Intel Corporation Smart gym

Also Published As

Publication number Publication date
JP2023096823A (ja) 2023-07-07

Similar Documents

Publication Publication Date Title
US10194837B2 (en) Devices for measuring human gait and related methods of use
Slade et al. An open-source and wearable system for measuring 3D human motion in real-time
JP5641222B2 (ja) 演算処理装置、運動解析装置、表示方法及びプログラム
CA2834833C (en) Running form diagnostic system and method for scoring running form
Sasaki et al. Measurement of physical activity using accelerometers
JP5676630B2 (ja) フィットネステストシステム
JP2011078728A (ja) 身体状態評価装置、状態推測装置、歩幅推測装置、及び、健康管理システム
CN104126184A (zh) 用于包括训练计划的自动个人训练的方法和系统
JP6914896B2 (ja) 健康状態診断システム
WO2013184679A1 (en) Combinatory score having a fitness sub-score and an athleticism sub-score
JP7133779B2 (ja) 疲労推定システム、推定装置、及び疲労推定方法
US20210307650A1 (en) Mobile device avatar generation for biofeedback to customize movement control
JP7492722B2 (ja) 運動評価システム
Gauthier et al. Human movement quantification using Kinect for in-home physical exercise monitoring
JP2016035651A (ja) 在宅リハビリテーションシステム
WO2023127203A1 (ja) 活動量算出装置及び活動量算出方法
JP2005230068A (ja) 運動支援方法と、その装置
Wilmes et al. New training load metrics in field hockey using inertial measurement units
JP6552875B2 (ja) 移動運動解析装置、方法及びプログラム
KR102556863B1 (ko) 사용자 맞춤형 운동 훈련 방법 및 시스템
JP7326802B2 (ja) 測定促進装置、方法及びプログラム
Guida et al. WEIGHTBIT: An advancement in wearable technology
WO2023120064A1 (ja) 疲労推定装置、疲労推定システム、及び疲労推定方法
WO2023223880A1 (ja) 姿勢評価装置、個室ブース、及び姿勢評価方法
Bartlett et al. An RGB-D sensor-based instrument for sitting balance assessment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22915438

Country of ref document: EP

Kind code of ref document: A1