WO2023275940A1 - 姿勢推定装置、姿勢推定システム、姿勢推定方法 - Google Patents

姿勢推定装置、姿勢推定システム、姿勢推定方法 Download PDF

Info

Publication number
WO2023275940A1
WO2023275940A1 PCT/JP2021/024378 JP2021024378W WO2023275940A1 WO 2023275940 A1 WO2023275940 A1 WO 2023275940A1 JP 2021024378 W JP2021024378 W JP 2021024378W WO 2023275940 A1 WO2023275940 A1 WO 2023275940A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
evaluation
rotation
unit
Prior art date
Application number
PCT/JP2021/024378
Other languages
English (en)
French (fr)
Inventor
侑也 ▲高▼久
Original Assignee
株式会社Sportip
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Sportip filed Critical 株式会社Sportip
Priority to JP2023531156A priority Critical patent/JPWO2023275940A1/ja
Priority to PCT/JP2021/024378 priority patent/WO2023275940A1/ja
Publication of WO2023275940A1 publication Critical patent/WO2023275940A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to a posture estimation device, a posture estimation system, and a posture estimation method.
  • the above-mentioned technology aims to easily identify, from among a large number of video image data, video image data representing motions including forms that tend to produce predetermined results. Images are taken and analyzed. However, since the actual body motion is three-dimensional, it is difficult to grasp the rotation of the joints even if the two-dimensional motion is analyzed. I can't catch it and use it for training.
  • the present disclosure has been made in view of the above problems, and its purpose is to provide a technique that can easily and accurately analyze body movements.
  • a posture estimation device for estimating a posture of a user, comprising: an analysis unit that identifies a part of the body from a moving image including a motion of the user and analyzes rotation of the part; A reference value storage unit that stores a reference value related to rotation of a part, and an evaluation unit that compares the rotation of the part in the image and the reference value to determine the evaluation value of the movement.
  • Posture estimation device is provided.
  • the motion of the body can be analyzed accurately.
  • FIG. 4 is a diagram showing a configuration example of information stored in an evaluation condition information storage unit 135 according to the same embodiment;
  • FIG. 11 is another diagram showing an example of lines arranged for the user according to the same embodiment; It is a figure which shows the marker arranged to the user, and the example of pre-processing which concerns on the same embodiment.
  • 4 is a flowchart of a series of controls in the server device 1 according to the same embodiment; FIG.
  • a posture estimation device for estimating a posture of a user, an analysis unit that identifies a part of the body from a moving image including user's motion and analyzes the rotation of the part; a reference value storage unit that stores a reference value related to the rotation of at least one of the parts; an evaluation unit that determines an evaluation value of the movement by comparing the rotation of the part in the image and the reference value.
  • the site includes a joint; a preprocessing unit that generates a bone that connects the joints, takes a midpoint between the joints, and generates a plurality of virtual coordinate points on a plane that passes through the midpoint and is perpendicular to the bone; with the analysis unit deriving the three-dimensional rotation coordinates of the bone by analyzing the positions of the virtual coordinate points;
  • the posture estimation device according to claim 1, characterized by: [Item 3] The analysis unit analyzes an image including a series of actions including a sign placed on the user's body, said sign comprises a line, The analysis unit analyzes the line and analyzes the twist of the part;
  • the posture estimation device according to claim 1 or 2 characterized by: [Item 4]
  • the preprocessing unit generates four virtual coordinate points,
  • the posture estimation device according to claim 2 characterized by: [Item 5]
  • a posture estimation system for estimating a posture of a user, an analysis function that identifies a part of the user's body from a moving image that includes
  • a posture estimation method for estimating a posture of a user comprising: an analysis step of identifying a part of the user's body from a moving image including the user's motion and analyzing the rotation of the part; a reference value storage step of storing a reference value relating to the rotation of at least one of the parts; and an evaluation step of comparing the rotation of the part in the image and the reference value to determine an evaluation value of the motion.
  • the server device 1 analyzes the user's motions, generates advice to be used in training and rehabilitation to improve skills and obtain correct effects, and presents it to the user.
  • the server device 1 of the present embodiment uses six-dimensional coordinates obtained by motion capture or the like for images including a series of actions of the user, such as images obtained using a device that the user can shoot at an affordable price, as training data.
  • a prediction model is generated by performing machine learning, and this prediction model is used to provide a model that six-dimensionally analyzes the user's motion from an image that simply captures the user's motion.
  • machine learning uses a convolutional neural network (CNN) and a gradient boosting tree algorithm, but is not limited to these.
  • CNN convolutional neural network
  • gradient boosting tree algorithm but is not limited to these.
  • FIG. 1 is a diagram showing the overall configuration of a motion analysis system.
  • the motion analysis system includes a server device 1, a user terminal 3, and a photographing terminal 4.
  • FIG. A server device 1 is connected to a user terminal 3 and a photographing terminal 4 via a network 2 .
  • a network 2 a network that provides a network for a user terminal 3 and a photographing terminal 4 .
  • specific devices of the user terminal 3 and the photographing terminal 4 are not limited to mobile terminals and personal computers, and may be, for example, smart phones, tablet computers, wearable terminals, and other electronic devices.
  • the server device 1 is a computer that evaluates physical exercise.
  • the server device 1 is, for example, a workstation, a personal computer, a virtual computer that is logically realized by cloud computing, or the like.
  • the server device 1 receives moving images captured by the user terminal 3, analyzes the received moving images, and evaluates body exercise.
  • the server device 1 also makes suggestions related to improvement measures for physical exercise. Details of evaluation of physical exercise and proposal of improvement measures will be described later.
  • the user terminal 3 is a computer operated by a user who performs physical exercise or a supporter thereof.
  • the user terminal 3 is, for example, a smart phone, a tablet computer, a personal computer, or the like.
  • the user terminal 3 is equipped with an imaging device such as a camera, which can capture an image of the user's body during exercise. In this embodiment, it is assumed that a moving image of the user's body during exercise is transmitted from the user terminal 3 to the server device 1 .
  • a user can access the server device 1 using an application or a web browser executed on the user terminal 3, for example.
  • the photographing terminal 4 is a device that acquires the user's motion in detail.
  • the photographing terminal 4 is, for example, motion capture, and may be optical, magnetic, mechanical, inertial sensor, or the like, but is not limited to these.
  • the photographing terminal 4 of the present embodiment is an optical type, uses a plurality of cameras and reflective markers as trackers, and uses the cameras installed around the photographing and measurement space.
  • the configuration of the server device 1 will be described below.
  • FIG. 2 is a diagram showing a hardware configuration example of the server device 1 of this embodiment.
  • the server device 1 includes a processor 101 , memory 102 , storage device 103 , communication interface 104 , input device 105 and output device 106 .
  • the processor 101 is an arithmetic device that controls the overall operation of the server device 1, controls transmission and reception of data between elements, executes applications, and performs information processing necessary for authentication processing.
  • the processor 101 is a processor such as a CPU (Central Processing Unit), and executes a program or the like stored in the storage device 103 and developed in the memory 102 to carry out each information process.
  • CPU Central Processing Unit
  • the memory 102 includes a main memory composed of a volatile memory device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory composed of a non-volatile memory device such as a flash memory or a HDD (Hard Disc Drive). .
  • the memory 102 is used as a work area or the like for the processor 101, and stores a BIOS (Basic Input/Output System) executed when the server device 1 is started, various setting information, and the like.
  • the storage device 103 is, for example, a hard disk drive, solid state drive, flash memory, etc., which stores various data and programs.
  • the communication interface 104 is an interface for connecting to the network 2.
  • an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone network, a wireless communication device for wireless communication, Examples include a USB (Universal Serial Bus) connector and an RS232C connector for serial communication.
  • the input device 105 is a device that accepts data input through a keyboard, mouse, touch panel, button, microphone, or the like, for example.
  • the output device 106 includes, for example, a display, printer, speaker, etc. for outputting data.
  • FIG. 3 is a block diagram showing the functional configuration of the server device 1.
  • the server device 1 includes a user information acquisition unit 111, an image information acquisition unit 112, a preprocessing unit 113, an analysis unit 114, an evaluation unit 115, an evaluation information presentation unit 116, a learning a user information storage unit 131; an image information storage unit 132; a preprocess data storage unit 133; a reference value information storage unit 134; an evaluation condition information storage unit 135; The storage unit 136 and each storage unit are included.
  • Each of the above processing units is implemented by the processor 101 of the server device 1 reading a program stored in the storage device 103 into the memory 102 and executing the program. 102 and a part of the storage area provided by the storage device 103 .
  • user information storage unit 131 image information storage unit 132, preprocess data storage unit 133, reference value information storage unit 134, evaluation condition information storage unit 135, improvement condition storage
  • image information storage unit 132 preprocess data storage unit 133
  • reference value information storage unit 134 reference value information storage unit 134
  • evaluation condition information storage unit 135 improvement condition storage
  • improvement condition storage The data structure of each storage unit 136 and 136 will be shown.
  • the user information storage unit 131 stores user information, an example of which is shown in FIG. 4, received by the user information acquisition unit 111.
  • the user information is information indicating the user's attributes and desired state. It consists of information such as needs (skill improvement, effect verification, etc.).
  • the image information storage unit 132 stores information of images that capture a series of user actions received by the image information acquisition unit 112 .
  • the preprocessed data storage unit 133 stores data obtained by preprocessing the image stored in the image information storage unit 132 by the preprocessing unit 113 for learning.
  • the reference value information storage unit 134 stores information (hereinafter referred to as reference information) that includes reference values related to the positions, movements, rotations, twists, postures, etc. of parts of the body, and the relationships derived from the relationships between parts. memorize FIG. 5 is a diagram showing a configuration example of reference information stored in the reference value information storage unit 134. As shown in FIG. As shown in the figure, the reference information includes the absolute positions of body parts and information on how the body parts move (moving speed, moving distance, moving direction, etc.) when a body exercise is performed.
  • position reference information regarding the absolute position of the part or relative position to another part or other reference object (hereinafter referred to as position reference information), and three parts including the joint part, each of the two parts and the joint part Reference information of the angle formed by a straight line connecting the Rotation information such as the relationship between when and the part starts or ends rotation, combination of rotation such as rotating and returning after rotation, and twist reference information of the part, but not limited to this.
  • a reference value is prepared for each physical exercise (each mode), and for each physical exercise (mode), each purpose, each feature of the physical information, each feature of the evaluation information, and a specific individual (constant).
  • the position reference information includes a part of the body and a reference position for that part in association with the mode and checkpoint ID. There may be multiple sites.
  • the vertical position may be, for example, the height from the ground or the distance from either foot.
  • the distance from the line connecting the body parts or the body parts such as the distance between the line connecting both shoulders and the shaft, may be used.
  • the horizontal position of the part may be the distance from a predetermined reference object (for example, a mound plate or a mark on the floor) or the distance from the reference part such as the shoulder, chest, or leg. It is assumed that the position reference information is registered in advance.
  • the movement reference information includes reference values for information such as the movement speed and movement distance of a part, the direction of movement at a certain point in time, and the trajectory of movement in a certain period of time, in association with the mode and checkpoint ID.
  • the angle reference information includes two parts (part 1 and part 2), one joint part, a straight line connecting the part 1 and the joint part, and the part 2 and the joint in association with the mode and the checkpoint ID. and the reference value of the angle between the straight line connecting the part.
  • the rotation reference information includes a body part and reference rotation information for that part in association with the mode and checkpoint ID.
  • reference values such as the angle of rotation about the bone as the axis of rotation, the speed of rotation, and the rotation time (information on the time between the start point and the end point of rotation) are included.
  • the twist reference information includes a body part and twist information that serves as a reference for that part in association with a mode and a checkpoint ID.
  • the torsion includes reference values such as the angle of rotation about the bone as the axis of rotation, the speed of rotation, and the rotation time (information on the time between the start point and the end point of rotation).
  • the reference value information storage unit 134 stores information (hereinafter referred to as reference information ) is stored.
  • reference information information
  • the content described as body parts may be replaced with the content described in all paragraphs.
  • the relational reference information includes information on the reference represented by the relation between the part of the tool and the part of the body in association with the mode and checkpoint ID.
  • the relational reference information includes information obtained from movement speed, movement distance, angle, etc. in one or more parts and regions in association with the mode and checkpoint ID. For example, when the mode is batting, the reference information includes the movement speed of the tip of the bat at the time of contact with the ball, the angle formed by the bat and the dominant arm holding the bat, and the like.
  • the evaluation condition information storage unit 135 stores information for evaluation (hereinafter referred to as evaluation condition information).
  • FIG. 6 is a diagram showing a configuration example of evaluation condition information stored in the evaluation condition information storage unit 135.
  • the evaluation condition information includes categories, conditions, evaluation ranks, and comments.
  • Category is the category of evaluation. Categories may include, for example, "strength,” "ball speed,” and "control.”
  • the conditions include the position, orientation, or movement of each part of the tool in the image (change in position in time series), or the position or movement of each part of the body (change in position in time series).
  • condition information For example, when analyzing a weightlifting movement, checkpoints at the moment of lifting the barbell, conditions such as elbow angle and arm extension speed, and shaft movement and up and down speed during the period of lifting and lowering the barbell. can be set in the evaluation condition information. Also, when analyzing a pitching form, it is possible to set conditions such as the angle of the elbow and the line speed of the arm in the evaluation condition information for check points for releasing the ball.
  • the evaluation rank is an evaluation value when the above conditions are satisfied.
  • the comment is a description of the body's posture and movement when the above conditions are met.
  • the improvement condition storage unit 136 stores information related to improvement measures (hereinafter referred to as improvement measure information).
  • FIG. 7 is a diagram showing a configuration example of improvement plan information stored in the improvement condition storage unit 136.
  • the improvement plan information includes advice in association with purposes, categories and conditions.
  • Conditions may be conditions for the tool itself (weight of the barbell, etc.), how to use the tool, conditions for the body (flexibility, etc.), or conditions for the position, movement, angle, rotation, and twist of body parts. may be
  • user information acquisition unit 111 image information acquisition unit 112, preprocessing unit 113, analysis unit 114, evaluation unit 115, evaluation information presentation unit 116, and learning unit 117 , the function of each processing unit.
  • the user information acquisition unit 111 acquires information about the user from the user terminal 3 via the network 2. Communication in the transmission and reception may be wired or wireless, and any communication protocol may be used as long as mutual communication can be performed.
  • the user information is input to the server device 1 via the network 2 from the terminal of the business operator, which is collected by the business operator who conducts business using the server device 1 through interviews, questionnaires, etc. for the user. Alternatively, the business operator may directly input it to the server device 1 .
  • the image information acquisition unit 112 receives information on images obtained by photographing a series of actions of the user from the user terminal 3 or the photographing terminal 4 via the network 2 .
  • Communication in the transmission and reception may be wired or wireless, and any communication protocol may be used as long as mutual communication can be performed.
  • a business operator using the server device 1 may move the image information from the user terminal 3 or the photographing terminal 4 to the server device 1 through a removable storage medium.
  • the preprocessing unit 113 performs preprocessing for the analysis unit 114 to analyze the image acquired by the photographing terminal 4 .
  • the preprocessed data may be used by learning section 117 to generate a posture prediction model.
  • the photographing terminal 4 places markers as signatures on the user's joints or the like, and photographs a series of actions of the user with a plurality of cameras provided in the photographing terminal 4 .
  • the imaging terminal 4 detects the position of the marker and identifies the position of each joint (part with the marker).
  • the data is transmitted to the server device 1 .
  • the motion capture system may include a depth sensor and a color camera, may automatically extract the position information of the user's joint points from the video, and may detect the motion of the subject. In this case, the user does not need to place markers on the body.
  • the image captured by the imaging terminal 4 may include a series of actions taken by the user with a plurality of cameras provided in the imaging terminal 4, with the lines described below arranged on the user's body.
  • the lines are arranged on the user's arms, legs, torso, etc., and used as a signature, as shown in an example in FIG.
  • the line may be directly attached to the skin, or the line may be arranged by wearing tights or the like with the line, but the method is not limited to these methods.
  • the tights, etc. are preferably sized to fit the user's body so that the movement of the wearer's epidermis can be transmitted, and furthermore, a material such as silicone that has a certain degree of adhesion and stickiness is arranged on the inside.
  • the place on the body where the line is placed is the place where the twist of the part is observed, for example, between joints (in terms of arms, the upper arm, forearm, and the part beyond the wrist joint, including the fingers), the neck Around, around the waist, etc., but not limited to these parts.
  • the line color can be any color as long as it is easy to recognize with general image processing technology. good too. Lines are desirably placed at least four locations, i.e., the outside, inside, and intermediate points of the site, but are not limited to these.
  • a plurality of cameras included in the photographing terminal 4 photograph a series of actions of the user who arranged the line.
  • FIG. 8 shows, as an example, how the line looks when the arm is bent and FIG.
  • FIG. 9 shows how the line looks when the bicep is made.
  • the surface of the palm faces forward
  • the surface of the palm faces the user's body to create a bicep.
  • the imaging terminal 4 detects the position of the line and identifies the twist of each part.
  • the data is transmitted to the server device 1 .
  • the image captured by the imaging terminal 4 may include an image of a series of actions of the user with markers and lines placed on the body.
  • the preprocessing unit 113 generates bones that connect joints based on data that is transmitted from the imaging terminal 4 and stored in the image information storage unit 132 and includes information on the coordinates of each marker in a series of user actions. .
  • the preprocessing unit 113 takes the midpoints (1003a, 1003b) of the bones (1002a, 1002b) connecting the joints (1001a, 1001b, 1001c), passes through the midpoints,
  • a plurality of virtual coordinate points (1004a, 1004b, 1004c, 1004d, 1004e, 1004f, 1004g, 1004h) are generated on a plane perpendicular to the bone.
  • four virtual coordinate points are generated as an example.
  • the analysis unit 114 analyzes the image information stored in the image information storage unit 132 or the preprocessed data stored in the preprocessed data storage unit 133 to analyze the posture of the user.
  • the analysis unit 114 analyzes the image information, extracts the feature amount of each part of the body, and identifies the position of each part in the image. It should be noted that the image analysis method by the analysis unit 114 employs a general method, and detailed description thereof is omitted here.
  • the analysis unit 114 may analyze image information for each frame or key frame, may analyze image information for each checkpoint, or may analyze image information at random timing. good. Thereby, the analysis unit 114 three-dimensionally analyzes the movement of each part.
  • the analysis unit 114 also compares the position of each part extracted from the image information with the position reference information stored in the reference value information storage unit 134 for each checkpoint ID, and selects the closest time point as the checkpoint. Specify as a point in time.
  • the analysis unit 114 analyzes the positions of the virtual coordinate points preprocessed by the preprocessing unit 113 to analyze the three-dimensional rotation coordinates (Roll, Pitch, Yaw) of the body part, and the image From the information, the posture of the user is analyzed. For example, the analysis unit 114 analyzes how the part from the elbow to the wrist rotates immediately before and after the ball leaves the hand in pitching. This makes it possible to analyze the rotational movement (three-dimensional rotation) of each part when each part is regarded as a rigid body.
  • the analysis unit 114 may derive the twist of each part by analyzing the line. For example, the analysis unit 114 analyzes how the portion near the elbow and the portion near the wrist are twisted in the region from the elbow to the wrist immediately before and after the ball leaves the hand in pitching. As a result, each part is analyzed not as a simple rigid body, but as a part of the body consisting of muscles and bones.
  • the analysis unit 114 uses image information captured by the user terminal 3 as input information, and performs three-dimensional rotation or twisting of each part. may be analyzed.
  • the analysis unit 114 may identify the position coordinates of the part and analyze the three-dimensional rotation coordinates from the image acquired by the image information acquisition unit 112 without going through the processing of the preprocessing unit 113 .
  • the analysis unit 114 analyzes the image information captured by the user terminal 3, extracts the feature amount of each part of the body, The position coordinates in the image of each part are specified.
  • the analysis unit 114 calibrates the position coordinate information of the part concerned by the position coordinate information of the part analyzed from the image obtained from the imaging terminal 4, derives the depth of each part in the image coordinate system, and calculates the three-dimensional Parse rotation coordinates.
  • the evaluation unit 115 evaluates the movement of the user's body part based on the image information.
  • the evaluation unit 115 determines a condition that any of the position of each part of the body part specified from the image information, the movement of the part, the angle formed by the parts, the rotation of the part, and the twist of the part is satisfied.
  • the included evaluation condition information is searched from the evaluation condition information storage unit 135, and if there is evaluation condition information that satisfies the condition, the evaluation rank and comment included in it are acquired.
  • the evaluation unit 115 may count the number of body movements by evaluating the movement of the part, the rotation of the part, the twist of the part, and the like.
  • the evaluation unit 115 evaluates the movement of the user's body part based on the image information.
  • the evaluation unit 115 determines the position of each part of the body or each part of the tool specified from the image information, the movement of the part, the movement of the part, the angle between the parts, the parts, the angle formed by the parts, the parts,
  • the evaluation condition information storage unit 135 is searched for evaluation condition information including conditions satisfied by any of the rotation of the part, the part, the part, and the twist in the relationship between the part and the part. Get the rating rank and comments given.
  • the evaluation information presentation unit 116 transmits the evaluation information to the user terminal 3.
  • the evaluation information presenting unit 116 displays the time point on the time axis of the moving image specified by the analyzing unit 114, the position of each part, the movement of each part, the angle formed by each part, the rotation of each part, and the twist of each part.
  • Generate location information including
  • Evaluation information presenting section 116 generates posture information including the evaluation rank and comment obtained by evaluating section 115, including the time point, the site and posture values, and the evaluation rank and comment if the position of the body part satisfies the condition. .
  • the evaluation information presenting unit 116 if the movement of the part (change in position in time series) satisfies the conditions, presents a list of the points in time, the parts and the posture values, and the evaluation ranks. and comments.
  • the evaluation information presenting unit 116 determines the time point, the part, and the posture value if the movement of the angle formed by the parts (change in position in time series) satisfies the condition. Generate angular information including listings, rating, and comments. Evaluation information presenting unit 116 presents rotation information including a list of points in time, parts, and posture values, evaluation ranks, and comments when the rotation of parts satisfies the conditions for the evaluation ranks and comments acquired by evaluation unit 115 . Generate. Evaluation information presenting unit 116 presents twist information including a list of points in time, parts, and posture values, evaluation ranks, and comments, if the twist of the body part satisfies the condition regarding the evaluation rank and comment acquired by evaluation module 115. Generate.
  • the evaluation information presenting unit 116 generates checkpoint information including the point in time corresponding to each checkpoint analyzed by the analysis unit 114 and the checkpoint ID indicating the checkpoint.
  • the evaluation information presentation unit 116 creates evaluation information including the generated position information, posture information, motion information, angle information, store opening information, evaluation information, and checkpoint information, and transmits the evaluation information to the user terminal 3 .
  • the evaluation unit 115 and the evaluation information presentation unit 116 can correspond to the comment output unit of the present invention.
  • the evaluation information presentation unit 116 transmits either or both of the evaluation information and the improvement plan information to the user terminal 3.
  • the evaluation information presentation unit 116 receives a request for either or both of the evaluation information and the improvement measure information from the user terminal 3, and among the improvement measure information corresponding to the mode and purpose included in the request, the user information A search is made for items that satisfy conditions such as the included physical information of the user and the position, orientation, movement, etc. of each part or part specified by the analysis unit 114 .
  • the evaluation information presenting unit 116 acquires advice of the retrieved improvement plan information, creates improvement plan information in which the purpose and advice are set, and responds to the user terminal 3 with the created improvement plan information.
  • the evaluation information presenting unit 116 also includes the position, direction, speed, angle, etc.
  • the evaluation information presentation unit 116 may search for an improvement measure based on the evaluation information and the reference value even without the request, and the evaluation information presentation unit 116 transmits the improvement measure to the user terminal 3. good too.
  • the evaluation information presentation unit 116 transmits the evaluation information to the user terminal 3.
  • the evaluation information presenting unit 116 generates position information including the time point on the time axis of the moving image specified by the analyzing unit 114 and the position of each part.
  • position information including the time point on the time axis of the moving image specified by the analyzing unit 114 and the position of each part.
  • posture information including the time point, the part and posture values, the evaluation rank and the comment is generated, and the movement of the part (time series) is generated. position change) satisfies the conditions, generate motion information including a list of time points, part and posture values, evaluation ranks and comments.
  • the evaluation information presenting unit 116 generates checkpoint information including the point in time corresponding to each checkpoint analyzed by the analysis unit 114 and the checkpoint ID indicating the checkpoint.
  • the evaluation information presenting unit 116 creates evaluation information including the generated position information, posture information, motion information, and checkpoint information, and transmits the evaluation information to the user terminal 3 .
  • the evaluation unit 115 and the evaluation information presentation unit 116 may correspond to the comment output unit of the present disclosure.
  • the learning unit 117 generates a learning model for estimating the user's posture.
  • the learning unit 117 sets the video including the series of actions of the user captured by the imaging terminal 4 and the position, movement, angle, rotation, and twist data of each part analyzed by the analysis unit 114 as teacher data.
  • a learning model that takes as input information images containing a series of user actions captured by the user terminal 3, and outputs values related to the user's posture (position, movement, angle, rotation, and twist of each part). Generate.
  • User information acquisition unit 111 receives user information (1001).
  • the image information acquisition unit 112 receives image information (1003).
  • the preprocessing unit 113 generates virtual coordinate points by preprocessing the image information (1004).
  • the analysis unit 114 identifies the part from the image information and analyzes the movement of the part (1004). Furthermore, the analysis unit 114 analyzes the rotation of the part based on the information of the coordinate points of the lower layer (1005). Furthermore, the analysis unit 114 analyzes the twist of the part from the image information (1006).
  • the evaluation unit 115 evaluates the position, movement, rotation, twist, etc. of the part by comparing them with reference values (1007).
  • the evaluation information presentation unit 116 presents the evaluation result to the user (1008).
  • the server device 1 analyzes the image
  • the present invention is not limited to this, and the user terminal 3 analyzes the image to specify the positional relationship, angle, rotation, and twist of each part. You may do so.
  • the positions of body parts are positions on a two-dimensional image, but the position is not limited to this, and may be three-dimensional positions.
  • the server device 1 calculates the three-dimensional position of the body part based on the image from the camera and the depth map from the depth camera. can be specified. Further, for example, the server device 1 may estimate the three-dimensional image from the two-dimensional image and specify the three-dimensional position of the body part.
  • a depth camera may be provided instead of the camera provided in the user terminal 3, and the server device 1 may specify a three-dimensional position only from the depth map from the depth camera.
  • the depth map may be transmitted from the user terminal 3 together with the image data or instead of the image data to the server device 1, and the analysis unit 114 of the server device 1 may analyze the three-dimensional position. .
  • an image obtained by imaging the user's body during exercise is transmitted from the user terminal 3 to the server device 1.
  • the feature amount may be transmitted to the server device 1, or the user terminal 3 may estimate the body part based on the feature amount, and determine the absolute position of the part (also as the position on the XY coordinates of the image).
  • it may be the actual size distance from a reference position (e.g. ground, toes, head, center of gravity of the body, etc.), or it may be a position in any other coordinate system.) or multiple parts. It is also possible to acquire the relative positional relationship between them and transmit these absolute positions and relative positional relationships to the server device 1 .
  • content prepared by the server device 1 is provided as the improvement measure information.
  • the present invention is not limited to this. Marks and bones that represent correct movements and postures (positions, angles, rotations, twists, etc. of each part) based on reference values may be displayed superimposed on moving images or still images extracted from moving images. This makes it possible to easily grasp what kind of movement and posture should be taken.
  • the server device 1 evaluates the position or movement of body parts (change in position over time), angles formed by parts, rotation, twist, and the like.
  • the server device 1 can determine the position or movement of parts of a tool used for exercise (change in position over time), the angle formed by the parts of the tool or between the parts of the body and the part of the tool, the rotation of the part of the tool, Twisting or the like may be evaluated, and the position of the tool worn by the user may be identified and evaluated.
  • the server device 1 stores the tool and the reference value of the size (length, etc.) of the tool in association with the physical information (height, weight, etc.) of the user, and uses the image data to determine the size of the tool used by the user.
  • the shape of the tool is specified by extracting the feature value of the tool that is being used, and the size of the tool is estimated based on the shape and the size of the user (such as height) included in the physical information. , if the difference from the reference value is equal to or greater than a predetermined threshold, a tool having the size of the reference value can be recommended.
  • content such as advice is provided as an improvement measure, but for example, the server device 1 may interrupt the physical exercise that is being performed.
  • the server device 1 stores a reference value at which physical exercise should be interrupted in association with the user's physical information (purpose, height, weight, etc.). If the number of repetitions, speed, etc. (for example, the speed of lifting the barbell is extremely slow, or the number of repetitions is too many at one time, etc.) are outside the standard values, the physical exercise is discontinued.
  • a comment may be issued to the user terminal 3 to stop the operation, the user may be notified by changing the display such as turning off the screen, or a sound such as an alert sound may be emitted. Alternatively, the user may be notified by vibration.
  • the server device 1 may determine illness or injury and present physical exercises for improvement.
  • the server device 1 extracts candidates for a disease or injury that the user is assumed to have developed from the symptoms input by the user in the physical information and the evaluation information, and presents a screening test for narrowing down. do.
  • the server device 1 allows the user to receive a medical examination by a doctor, exercise for improvement, or use a tool or device for performing the exercise. , recommendations of articles such as meals may be performed.
  • the server device 1 can estimate the speed, acceleration, movement distance, trajectory, etc. of the tool.
  • the server device 1 can estimate the number of patterns as the number of actions using the tool by extracting patterns of changes in the position of the tool in time series.
  • the server device 1 may store assignments in association with one or a series of postures or movements, instead of evaluation comments, and output the assignments.
  • the server device 1 is not limited to this. Contents for improving physical exercise may be presented according to the purpose, such as physical training, rehabilitation, performance, or preparatory stages such as stretching, strength training, and posture.
  • the server device 1 associates the movement of one or a series of parts of the tool, the orientation of the part of the tool, the posture of the body, or the movement of the part of the body, and instead of the evaluation comment, the server device 1 provides the content of training or the like. It is sufficient to store the content and output the content.
  • the server device 1 can also automatically detect actions performed by the user.
  • the server device 1 stores, as reference information, the positions and postures (positions of each part of the body) of each part of a tool that performs a predetermined action such as a shoot or a pass. The position of the part or body part can be compared with the reference information to identify the actions performed by the user in the image.
  • the server apparatus 1 analyzes the image captured in the past and evaluates the exercise, but the present invention is not limited to this, and the analysis process is performed in real time, and the predetermined motion is detected. In addition, it may recommend the next tactic to be taken. In this case, the server apparatus 1 may store tactics instead of evaluation comments in association with postures or movements, and output the tactics in real time.
  • the evaluation information presenting unit 116 presents the results of the evaluation by the evaluating unit 115 to the user's supporter (a trainer, coach, or leader regarding training, or a caregiver, physical therapist, medical worker, etc.). (including people involved in rehabilitation, etc.).
  • the user terminal 3 and the supporter's terminal may be in the form of glasses, contact lenses, hats, HMDs (head-mounted displays), or the like.
  • a range close to the user's or supporter's visual field is imaged, and the imaged image is sent to the server device 1 via the communication network 2 .
  • the evaluation unit 115 processes the image, and the result is sent to the terminal of the supporter or the user terminal 3 via the communication network 2 .
  • the supporter's terminal uses a virtual image projection method, a retinal projection method, other methods, and brain activity such as brain waves to directly stimulate the brain with characters, images, videos, etc. without passing through the sensory organs.
  • Information is output to a support person or a user via an interface such as BMI (Brain Machine Interface) input to.
  • BMI Brain Machine Interface
  • the user's body movement is seen as a real image, and the result of the processing performed by the evaluation unit 115 is superimposed on the field of view that the supporter sees with the naked eye through the terminal of the supporter. , may be visible to the supporter.
  • the terminal of the supporter is an HMD or the like, the image captured by the terminal of the supporter may be presented to the supporter in a form in which the result of the processing performed by the evaluation unit 115 is superimposed.
  • the reference value may include values created based on physical exercises (including those performed using tools) by skilled players such as professional athletes.
  • the user terminal 3, the photographing terminal 4, and the terminal of the supporter may be wearable terminals such as glasses type, and the results of imaging, analysis, and evaluation performed by the wearable terminal are output to the wearable terminal.
  • the user terminal 3 that is not wearable such as a mobile terminal, the shooting terminal 4, and the terminal of the supporter may exist at the same time, and the results of analysis and evaluation are displayed on the terminal that is not wearable.
  • the device described in this specification may be realized as a single device, or may be realized by a plurality of devices (for example, cloud servers) or the like, all or part of which are connected via a network.
  • the processor 101 and the storage device 103 of the server device 1 may be implemented by different servers connected to each other via a network.
  • a series of processes by the device described in this specification may be implemented using software, hardware, or a combination of software and hardware. It is possible to prepare a computer program for realizing each function of the server device 1 according to the present embodiment and to implement it in a PC or the like.
  • a computer-readable recording medium storing such a computer program can also be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network without using a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】 【解決手段】ユーザの姿勢を推定する姿勢推定装置であって、ユーザの動作を含む動画像から前記身体の部位を特定し、当該部位の回転を解析する解析部と、少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶部と、前記画像における前記部位の回転および前記基準値を比較して前記運動の評価値を決定する評価部とを備えることを特徴とする、姿勢推定装置、を提供する。

Description

姿勢推定装置、姿勢推定システム、姿勢推定方法
　本開示は、姿勢推定装置、姿勢推定システム、姿勢推定方法に関する。
　姿勢を解析する技術が知られている。
特願２０１８－５５８５６１
　上述した技術は、多くの動画の画像データの中から、所定の結果が生じやすいフォームを含む動作を表す動画の画像データを容易に特定することを目的とし、選手の一連の動作をビデオカメラで撮像して解析を行っている。しかしながら、実際の身体の動作は３次元的なものであり、平面的な動作を解析しても、関節の回転を捉えることが難しく、特許文献１に記載の技術ではこの点で動作を正確に捉えてトレーニングに活かすことができない。
　そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、身体の動作を容易かつ正確に解析することのできる技術を提供することである。
　本開示によれば、ユーザの姿勢を推定する姿勢推定装置であって、ユーザの動作を含む動画像から前記身体の部位を特定し、当該部位の回転を解析する解析部と、少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶部と、前記画像における前記部位の回転および前記基準値を比較して前記運動の評価値を決定する評価部とを備えることを特徴とする、姿勢推定装置。が提供される。
　本開示によれば、身体の動作を正確に解析することができる。
本実施形態に係る動作解析装置の全体構成例を示す図である。 同実施形態に係るサーバ装置１を実現するコンピュータのハードウェア構成例を示す図である。 同実施形態に係るサーバ装置１のソフトウェア構成例を示す図である。 同実施形態に係るユーザ情報記憶部１３１に記憶される情報の構成例を示す図である。 同実施形態に係る基準値情報記憶部１３４に記憶される情報の構成例を示す図である。 同実施形態に係る評価条件情報記憶部１３５に記憶される情報の構成例を示す図である。 同実施形態に係る改善条件情報記憶部１３６に記憶される情報の構成例を示す図である。 同実施形態に係るユーザに配したラインの例を示す図である。 同実施形態に係るユーザに配したラインの例を示す他の図である。 同実施形態に係るユーザに配したマーカと、前処理の例を示す図である。 同実施形態に係るサーバ装置１における一連の制御に係るフローチャート図である。
　本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
　［項目１］
　ユーザの姿勢を推定する姿勢推定装置であって、
　ユーザの動作を含む動画像から前記身体の部位を特定し、当該部位の回転を解析する解析部と、
　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶部と、
　前記画像における前記部位の回転および前記基準値を比較して前記運動の評価値を決定する評価部と
を備えることを特徴とする、姿勢推定装置。
　［項目２］
　前記部位は関節を含み、
　前記関節を繋ぐボーンを生成し、前記関節の間の中点を取り、前記中点を通り、前記ボーンと垂直に直行する面において、仮想の座標点を複数点生成する前処理部と、
を備え、
　前記解析部は、前記仮想の座標点の位置を解析することで、前記ボーンの３次元回転座標を導出すること、
を特徴とする、請求項１に記載の姿勢推定装置。
　［項目３］
　前記解析部は前記ユーザの身体に配したサインを含む一連の動作を含む画像を解析し、
　前記サインはラインを含み、
　前記解析部は前記ラインを解析し、前記部位のねじれを解析すること、
を特徴とする、請求項１または２に記載の姿勢推定装置。
　［項目４］
　前記前処理部は、前記仮想の座標点を４点生成すること、
を特徴とする、請求項２に記載の姿勢推定装置。
　［項目５］
　ユーザの姿勢を推定する姿勢推定システムであって、
　ユーザの動作を含む動画像から当該ユーザの身体の部位を特定し、当該部位の回転を解析する解析機能と、
　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶機能と、
　前記画像における前記部位の回転および前記基準値を比較して前記動作の評価値を決定する評価機能と
を備えることを特徴とする、姿勢推定システム。
　［項目６］
　ユーザの姿勢を推定する姿勢推定方法であって、
　ユーザの動作を含む動画像から当該ユーザの身体の部位を特定し、当該部位の回転を解析する解析ステップと、
　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶ステップと、
　前記画像における前記部位の回転および前記基準値を比較して前記動作の評価値を決定する評価ステップと
を備えることを特徴とする、姿勢推定方法。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　サーバ装置１は、ユーザの動作を解析し、技能の向上、正しい効果を得るトレーニングやリハビリなどに活かすアドバイスを生成し、ユーザに提示する。本実施形態のサーバ装置１は、ユーザの一連の動作を含む画像において、ユーザが手頃に撮影できる装置を用いて取得した画像などを、モーションキャプチャなどを用いて取得した６次元座標を教師データとして機械学習を行うことにより予測モデルを生成し、この予測モデルを用いて、ユーザの動作を簡易的に捉えた画像から、ユーザの動作を６次元的に解析するモデルを提供しようとするものである。本実施形態では、機械学習には畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ；ＣＮＮ）および勾配ブースティングツリーアルゴリズムを用いるものとするが、これらに限定するものではない。
＝＝概要＝＝
　図１は動作解析システムの全体構成を示す図である。図１に示すように、動作解析システムは、サーバ装置１、ユーザ端末３、撮影端末４を含む。サーバ装置１は、ネットワーク２を介してユーザ端末３、撮影端末４と接続される。ユーザ端末３、撮影端末４は１台だけ示してあるが、これ以上存在してもよいことは言うまでもない。また、ユーザ端末３、撮影端末４の具体的な機器は、携帯端末およびパーソナルコンピュータに限定されず、例えば、スマートフォン、タブレットコンピュータ、ウェアラブル端末、その他の電子機器であってもよい。
＝＝サーバ装置１＝＝
　サーバ装置１は、身体運動を評価するコンピュータである。サーバ装置１は、たとえば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータなどである。サーバ装置１は、ユーザ端末３が撮影した動画像を受信し、受信した動画像を解析して身体運動の評価を行う。また、サーバ装置１は、身体運動の改善策に係る提案も行う。身体運動の評価および改善策の提案の詳細については後述する。
＝＝ユーザ端末３＝＝
　ユーザ端末３は、身体運動を行うユーザまたはその支援者が操作するコンピュータである。ユーザ端末３は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。ユーザ端末３はカメラ等の撮像装置を備えており、これにより運動中におけるユーザの身体を撮像することができる。本実施形態では、運動中のユーザの身体を撮像した動画像はユーザ端末３からサーバ装置１に送信されるものとする。ユーザは、たとえばユーザ端末３で実行されるアプリケーションやＷｅｂブラウザによりサーバ装置１にアクセスすることができる。
＝＝撮影端末４＝＝
　撮影端末４は、ユーザの動作を詳細に取得する装置である。撮影端末４は、たとえば、モーションキャプチャなどであり、光学式、磁気式、機械式及び慣性センサ式などの方式でよいが、これらに限定されない。本実施形態の撮影端末４は、光学式であり、複数のカメラと反射マーカをトラッカとして用い、撮影および計測空間周囲にカメラを設置して利用する。
　以下、サーバ装置１の構成について説明する。
　図２は、本実施形態のサーバ装置１のハードウェア構成例を示す図である。サーバ装置１は、プロセッサ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。プロセッサ１０１は、サーバ装置１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサであり、記憶装置１０３に格納されメモリ１０２に展開されたプログラム等を実行して各情報処理を実施する。メモリ１０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１０２は、プロセッサ１０１のワークエリア等として使用され、また、サーバ装置１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、ネットワーク２に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置１０５は、たとえばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどを通じてデータの入力を受け付ける装置である。出力装置１０６は、データを出力する、たとえばディスプレイやプリンタ、スピーカなどを備える。
　図３は、サーバ装置１の機能構成を示すブロック図である。図３に示すように、サーバ装置１は、ユーザ情報取得部１１１と、画像情報取得部１１２と、前処理部１１３と、解析部１１４と、評価部１１５と、評価情報提示部１１６と、学習部１１７と、の各処理部と、ユーザ情報記憶部１３１と、画像情報記憶部１３２と、前処理データ記憶部１３３と、基準値情報記憶部１３４と、評価条件情報記憶部１３５と、改善条件記憶部１３６と、の各記憶部と、を含んで構成される。
　なお、上記各処理部は、サーバ装置１が備えるプロセッサ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置１が備えるメモリ１０２および記憶装置１０３が提供する記憶領域の一部として実現される。
　ここで、本実施の形態において、ユーザ情報記憶部１３１と、画像情報記憶部１３２と、前処理データ記憶部１３３と、基準値情報記憶部１３４と、評価条件情報記憶部１３５と、改善条件記憶部１３６と、の各記憶部のデータ構成について示す。
　ユーザ情報記憶部１３１は、ユーザ情報取得部１１１が受け付けた、図４に一例を示すユーザ情報を記憶する。図４に示すように、当該ユーザ情報は、ユーザの属性や目指している状態を示す情報であり、例えば、ユーザＩＤに紐づけて、氏名、生年月日、性別、身長、体重、運動歴、ニーズ（技能向上、効果検証など）などの情報から構成される。
　画像情報記憶部１３２は、画像情報取得部１１２が受け付けた、ユーザの一連の動作を捉えた画像の情報を記憶する。画像には２種類あり、ユーザがユーザ端末３で撮像した画像と、撮影端末４で取得した画像が含まれる。
　前処理データ記憶部１３３は、画像情報記憶部１３２に記憶された画像を、前処理部１１３が学習用に前処理したデータが記憶される。
　基準値情報記憶部１３４は、身体運動に係る、身体の部位の位置、動き、回転、ねじれ、姿勢等、また部位同士の関係から導き出す関係に関する基準値を含む情報（以下、基準情報という。）を記憶する。図５は、基準値情報記憶部１３４が記憶する基準情報の構成例を示す図である。同図に示すように、基準情報には、身体運動を行った際に、身体の部位の絶対位置や、身体の部位がどのように動いたのかという情報（移動速度や移動距離、移動の方向など）、部位の絶対位置または他の部位もしくは他の基準物に対する相対位置に関する基準情報（以下、位置基準情報という。）と、関節部位を含む３つの部位について、２つの部位のそれぞれと関節部位とを結ぶ直線により形成される角度の基準情報（以下、角度基準情報という。）、部位自体が骨などを中心に回転する角度や、回転の速度、回転に要する時間や、部位の動き出しの時点と部位が回転を始める、または終わる時点の関係、回転した後に戻る回転をするなどの回転の組み合わせなどの回転情報と、部位のねじれ基準情報と、が含まれるが、これに限定されない。また、基準値は身体運動ごと（モードごと）に準備され、各身体運動（モード）に対して、目的ごと、前記身体情報の特徴ごと、前記評価情報の特徴ごと、更には特定の個人（一定の成果を上げた選手やプロ選手、有段者、経験者などの熟練者等を想定しているが、これに限らない）の身体運動を基準値化したものなどの複数の基準値が存在していてもよい。
　位置基準情報には、モードとチェックポイントＩＤとに対応付けて、身体の部位と、当該部位の基準となる位置が含まれる。部位は複数あってもよい。当該位置について、鉛直方向の位置は、たとえば、地面からの高さとしてもよいし、いずれかの足先からの距離とすることができる。また、たとえばモードが「ウェイトリフティング」の場合は、両肩を結ぶ線とシャフトの間の距離など、身体の部位や部位と部位を繋ぐ線からの距離としてもよい。部位の水平方向の位置は、所定の基準物（たとえば、マウンドプレートや床上のマークなど）からの距離としてもよいし、肩や胸、足などの基準部位からの距離としてもよい。位置基準情報は、予め登録されているものとする。
　動き基準情報には、モードとチェックポイントＩＤとに対応付けて、部位の移動速度や移動距離、ある時点での移動の方向やある期間での移動の軌跡などの情報の基準値等とが含まれる。
　角度基準情報には、モードとチェックポイントＩＤとに対応付けて、２つの部位（部位１および部位２）と、１つの関節部位と、部位１と関節部位とを結ぶ直線と、部位２と関節部位とを結ぶ直線との間の角度の基準値とが含まれる。
　回転基準情報には、モードとチェックポイントＩＤとに対応付けて、身体の部位と、当該部位の基準となる回転の情報が含まれる。当該部位の回転について、ボーンを回転の軸とする回転の角度、回転の速度、回転時間（回転の始点と終点の時間の情報）などの基準値とが含まれる。
　ねじれ基準情報には、モードとチェックポイントＩＤとに対応付けて、身体の部位と、当該部位の基準となるねじれの情報が含まれる。当該ねじれについて、ボーンを回転の軸とする回転の角度、回転の速度、回転時間（回転の始点と終点の時間の情報）などの基準値とが含まれる。
　なお、ここまで身体の部位と記載した内容は、道具の部分と置き換えてもよい。例えば、基準値情報記憶部１３４は、道具を用いた身体運動に係る、道具の部分の位置、動き、回転、ねじれ、また部分同士の関係から導き出す関係に関する基準値を含む情報（以下、基準情報という。）を記憶する。本開示において、身体の部位と記載した内容は、道具の部分と置き換えることは、全ての段落に、記載する内容に適用してよい。
　関係基準情報には、モードとチェックポイントＩＤとに対応付けて、道具の部分と身体の部位との関係で表される基準に関する情報が含まれる。関係基準情報には、モードとチェックポイントＩＤとに対応付けて、一つ以上の部分と部位において、移動速度、移動距離、角度等から得られる情報が含まれる。関係基準情報には、たとえば、モードがバッティングの場合、ボールをミートした時点でのバットの先端の移動速度と、バットとバットを持つ利き腕からなる角度など、が基準情報として含まれる。
　評価条件情報記憶部１３５は、評価を行うための情報（以下、評価条件情報という。）を記憶する。図６は、評価条件情報記憶部１３５に記憶されている評価条件情報の構成例を示す図である。評価条件情報には、カテゴリ、条件、評価ランク、コメントが含まれている。カテゴリは、評価のカテゴリである。カテゴリとしては、たとえば、「筋力」、「球速」、「コントロール」などとすることができる。条件は、画像における道具の各部分の位置、向きまたは動き（時系列における位置の変化）など、また、身体の各部位の位置または動き（時系列における位置の変化）に対する条件である。たとえば、ウェイトリフティングの動きを分析する場合、バーベルを持ち上げる瞬間のチェックポイントについて、肘の角度や腕を伸ばす速度などに対する条件、また、バーベルを持ち上げて下ろす期間中のシャフトの動きや上下する速度などに対する条件を評価条件情報に設定することができる。また、ピッチングフォームを分析する場合、ボールをリリースするチェックポイントについて、肘の角度や腕の回線速度などに対する条件を評価条件情報に設定することができる。評価ランクは、上記条件が満たされた場合の評価値である。コメントは、上記条件が満たされた場合における、身体の姿勢や動きについての説明である。
　改善条件記憶部１３６は、改善策に係る情報（以下、改善策情報という。）を記憶する。図７は、改善条件記憶部１３６に記憶される改善策情報の構成例を示す図である。同図に示すように、改善策情報には、目的、カテゴリおよび条件に対応付けてアドバイスが含まれる。条件は、道具自体への条件（バーベルの重量等）、道具の使い方、身体条件（柔軟性など）に対する条件であってもよいし、身体の部位の位置や動き、角度、回転、ねじれに対する条件であってもよい。
　以上がサーバ装置１のデータ構成についての説明である。
　ここで、本実施の形態において、ユーザ情報取得部１１１と、画像情報取得部１１２と、前処理部１１３と、解析部１１４と、評価部１１５と、評価情報提示部１１６と、学習部１１７と、の各処理部の機能について示す。
　ユーザ情報取得部１１１は、ネットワーク２を介して、ユーザ端末３から、ユーザに関する情報を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。なお、ユーザ情報は、前記サーバ装置１を用いて事業を行う事業者が、当該ユーザへのヒアリングやアンケート等で回収した情報を、事業者の端末からネットワーク２を介して、サーバ装置１に入力してもよいし、当該事業者がサーバ装置１に直接入力してもよい。
　画像情報取得部１１２は、ネットワーク２を介して、ユーザ端末３または撮影端末４から、ユーザの一連の動作を撮影した画像の情報を受け付ける。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。また、サーバ装置１を用いる事業者が、ユーザ端末３または撮影端末４から、取り外し可能な記憶媒体を通じて、サーバ装置１に当該画像情報を移動させてもよい。
　前処理部１１３は、撮影端末４が取得した画像を、解析部１１４が解析するための前処理を行う。なお、当該前処理データは、学習部１１７が姿勢予測モデルを生成するために用いてもよい。
　ここで、撮影端末４で撮影する画像について説明する。撮影端末４は、ユーザの関節等にサインとしてマーカを配し、撮影端末４が備える複数のカメラで、当該ユーザの一連の動作を撮影する。撮影端末４は、当該マーカの位置を検出し、各関節（マーカを付けた部位）の位置を特定する。当該データはサーバ装置１に送信される。なお、モーションキャプチャシステムは、深度センサ及びカラーカメラを備えてもよく、映像からユーザの関節点の位置情報を自動的に抽出し、被験者の動作を検出してもよい。この場合、ユーザは、身体にマーカを配する必要はない。
　また、撮影端末４で撮影する画像には、以下に説明するラインをユーザの身体に配し、撮影端末４が備える複数のカメラで、当該ユーザの一連の動作を撮影したものを含んでもよい。当該ラインは、図８に一例を示すように、ユーザの腕や足、胴体などに配され、サインとして用いられる。当該ラインは直接肌に張り付けてもよいし、当該ラインの付いたタイツ等を着用することで、当該ラインを配してもよいが、これらの方法に限定されない。当該タイツ等は、着用するユーザの表皮の動きが伝わるように、身体にフィットするサイズであることが望ましく、更に、内側に一定の密着性や粘着性などを持つシリコン等の素材を配しておくとよい。ラインを配する身体の場所は、部位のねじれを観察する場所であり、例えば、関節と関節の間（腕で言えば、上腕、前腕、手関節より先の部分で手指を含む）や、首回り、腰回りなどであるが、これらの部位に限定されない。ラインの色は一般的な画像処理技術で認識しやすい色であれば何色でもよく、ラインの色を１本おきに変更したり、ライン自体の太さを１本おきに変更したりしてもよい。ラインは、部位の外側、内側、またそれらの中間地点の少なくとも４か所に配することが望ましいが、これらに限定されない。撮影端末４に含まれる複数のカメラで、当該ラインを配したユーザの一連の動作を撮影する。図８は、一例として、腕を曲げた状態、図９は、力こぶを作った状態で、ラインがどのように見えるかを示した図である。図８では、図示はしていないが、手のひらの面が手前を向いており、また、図９では力こぶを作るために手のひらの面がユーザの身体の方を向いているため、手首をひねる動作が加わり、その様子をラインのねじれとして観察（手首付近のライン１５１、ライン１５２、ライン１５３は裏側に回るため画像から消え、新たにこれまで画像に表れていなかったライン１５４が現れる）することができるようになる。撮影端末４は、当該ラインの位置を検出し、各部位のねじれを特定する。当該データはサーバ装置１に送信される。
　更に、撮影端末４で撮影する画像には、身体にマーカとラインを併せて配したユーザの一連の動作の画像を含んでいてもよい。
　前処理部１１３は、撮影端末４から送信され、画像情報記憶部１３２が記憶する、ユーザの一連の動作における各マーカの座標の情報を含むデータをもとに、各関節を繋ぐボーンを生成する。次に、前処理部１１３は、図１０に示すように、各関節（１００１ａ、１００１ｂ、１００１ｃ）を繋ぐボーン（１００２ａ、１００２ｂ）の中点（１００３ａ、１００３ｂ）を取り、当該中点を通り、当該ボーンと垂直に直行する面において、仮想の座標点（１００４ａ、１００４ｂ、１００４ｃ、１００４ｄ、１００４ｅ、１００４ｆ、１００４ｇ、１００４ｈ）を複数点生成する。図１０では、一例として仮想の座標点を４点ずつ生成している。
　解析部１１４は、画像情報記憶部１３２に記憶される画像情報または、前処理データ記憶部１３３に記憶される前処理データを解析し、ユーザの姿勢を解析する。
　解析部１１４は、画像情報を解析して、身体の各部位の特徴量を抽出し、各部位の、画像における位置を特定する。なお、解析部１１４による画像解析の手法については一般的なものを採用するものとして、ここでは詳細な説明を省略する。解析部１１４は、フレームごとまたはキーフレームごとに画像情報を解析するようにしてもよいし、チェックポイントごとに画像情報を解析するようにしてもよいし、ランダムなタイミングで解析するようにしてもよい。このことにより、解析部１１４は、各部位の動きを３次元的に解析する。
　解析部１１４はまた、チェックポイントＩＤごとに、画像情報から抽出した各部位の位置と、基準値情報記憶部１３４に記憶されている位置基準情報などとを比較し、最も近い時点をチェックポイントの時点として特定する。
　また、解析部１１４は、前処理部１１３が前処理をした、前記仮想の座標点の位置を解析することで、身体部位の３次元回転座標（Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ）を解析し、前記画像情報から、ユーザの姿勢を解析する。例えば、解析部１１４は、投球においてボールが手から離れる直前と直後で、肘から手首にかけての部位がどのように回転するか、などを解析する。これにより、各部位を剛体と見做した場合の、各部位の回転の動き（３次元回転）を解析することができる。
　また、解析部１１４は、前記ラインを解析することで、各部位のねじれを導出してもよい。例えば、解析部１１４は、投球においてボールが手から離れる直前と直後で、肘から手首にかけての部位において、肘に近い部分と手首に近い部分がどのようにねじれるか、などを解析する。これにより、各部位は単なる剛体ではなく、筋肉と骨格からなる身体の部位として解析することとなる。
　また、解析部１１４は、後述する学習部１１７によって生成された姿勢予測モデルをもとに、ユーザ端末３で撮影された画像情報を入力情報とし、各部位の３次元回転、または各部位のねじれを解析してもよい。
　また、解析部１１４は、画像情報取得部１１２が取得した画像から、前処理部１１３の処理を介さず、部位の位置座標の特定と３次元回転座標を解析してもよい。たとえば、ユーザ端末３がＲＧＢカメラであり、撮影端末４がモーションキャプチャである場合に、解析部１１４はユーザ端末３で撮像した画像情報を解析して、身体の各部位の特徴量を抽出し、各部位の、画像における位置座標を特定する。解析部１１４は、当該部位の位置座標情報を、撮影端末４から得られた画像から解析した当該部位の位置座標情報によってキャリブレーションを行い、画像座標系における各部位の奥行きを導出し、３次元回転座標を解析する。
　評価部１１５は、画像情報に基づいてユーザの身体部位の動きを評価する。本実施形態では、評価部１１５は、画像情報から特定された身体の部位の各部分の位置、部位の動き、部位同士が形成する角度、部位の回転、部位のねじれのいずれかが満たす条件を含む評価条件情報を評価条件情報記憶部１３５から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。なお、評価部１１５は、当該部位の動き、部位の回転、部位のねじれ等を評価して、身体運動の回数をカウントしてもよい。
　評価部１１５は、画像情報に基づいてユーザの身体部位の動きを評価する。本実施形態では、評価部１１５は、画像情報から特定された身体の各部位または道具の各部分の位置、部位、部分の動き、部位同士、部分同士、部位と部分が形成する角度、部位、部分の回転、部位、部分、部位と部分の関係におけるねじれのいずれかが満たす条件を含む評価条件情報を評価条件情報記憶部１３５から検索し、条件が満たされた評価条件情報があればそれに含まれる評価ランクおよびコメントを取得する。
　評価情報提示部１１６は、評価情報をユーザ端末３に送信する。評価情報提示部１１６は、解析部１１４が特定した動画の時間軸における時点と各部位の位置と、各部位の動きと、部位同士が形成する角度と、各部位の回転と、各部位のねじれを含む、位置情報を生成する。
　評価情報提示部１１６は、評価部１１５が取得した評価ランクおよびコメントについて、部位の位置が条件を満たす場合には、時点、部位および姿勢値と、評価ランクおよびコメントとを含む姿勢情報を生成する。評価情報提示部１１６は、評価部１１５が取得した評価ランクおよびコメントについて、部位の動き（時系列における位置の変化）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む動き情報を生成する。評価情報提示部１１６は、評価部１１５が取得した評価ランクおよびコメントについて、部位同士が形成する角度の動き（時系列における位置の変化）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む角度情報を生成する。評価情報提示部１１６は、評価部１１５が取得した評価ランクおよびコメントについて、部位の回転が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む回転情報を生成する。評価情報提示部１１６は、評価部１１５が取得した評価ランクおよびコメントについて、部位のねじれが条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含むねじれ情報を生成する。
　また、評価情報提示部１１６は、解析部１１４が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。評価情報提示部１１６は、生成した位置情報、姿勢情報、動き情報、角度情報、開店情報、評価情報およびチェックポイント情報を含む評価情報を作成してユーザ端末３に送信する。なお、評価部１１５および評価情報提示部１１６は、本発明のコメント出力部に該当しうる。
　評価情報提示部１１６は、評価情報と改善策情報のいずれかまたは両方を、ユーザ端末３に送信する。評価情報提示部１１６は、ユーザ端末３から評価情報、改善策情報のいずれかまたは両方のリクエストを受信し、それらリクエストに含まれているモードおよび目的に対応する改善策情報のうち、ユーザ情報に含まれているユーザの身体情報や、解析部１１４が特定した各部分や各部位の位置や向き、動き等が条件を満たされるものを検索する。評価情報提示部１１６は、検索した改善策情報のアドバイスを取得し、目的およびアドバイスを設定した改善策情報を作成し、作成した改善策情報をユーザ端末３に応答する。評価情報提示部１１６は、また、基準情報に含まれている各部分や各部位の位置や向き、速度、角度等を改善策情報に含めて送信する。なお、評価情報提示部１１６は、当該リクエストが無くても、評価情報と基準値を基に改善策を検索してもよく、当該改善策を評価情報提示部１１６がユーザ端末３に送信してもよい。
　評価情報提示部１１６は、評価情報をユーザ端末３に送信する。評価情報提示部１１６は、解析部１１４が特定した動画の時間軸における時点と各部位の位置とを含む位置情報を生成する。評価部２１３が取得した評価ランクおよびコメントについて、部位の位置が条件を満たす場合には、時点、部位および姿勢値と、評価ランクおよびコメントとを含む姿勢情報を生成し、部位の動き（時系列における位置の変化）が条件を満たす場合には、時点、部位および姿勢値のリストと、評価ランクおよびコメントとを含む動き情報を生成する。また、評価情報提示部１１６は、解析部１１４が解析した、各チェックポイントに対応する時点と、当該チェックポイントを示すチェックポイントＩＤとを含むチェックポイント情報を生成する。評価情報提示部１１６は、生成した位置情報、姿勢情報、動き情報およびチェックポイント情報を含む評価情報を作成してユーザ端末３に送信する。なお、評価部１１５および評価情報提示部１１６は、本開示のコメント出力部に該当しうる。
　学習部１１７は、ユーザの姿勢を推測する学習モデルを生成する。学習部１１７は、撮影端末４で撮像したユーザの一連の動作を含む映像と、解析部１１４が解析した、各部位の位置、動き、角度、回転、ねじれのデータを教師データとし、当該教師データを用いて、ユーザ端末３で撮影した、ユーザの一連の動作を含む画像を入力情報とし、ユーザの姿勢（各部位の位置、動き、角度、回転、ねじれ）に関する値を出力とする学習モデルを生成する。
　図１１を用いて、本実施形態の代表的な処理の流れを説明する。ユーザ情報取得部１１１がユーザ情報を受け付ける（１００１）。画像情報取得部１１２が画像情報を受け付ける（１００３）。前処理部１１３が、当該画像情報を前処理することにより、仮想の座標点を生成する（１００４）。解析部１１４が、画像情報から部位を特定し、部位の動きを解析する（１００４）。更に、解析部１１４は、当該下層の座標点の情報をもとに、部位の回転を解析する（１００５）。更に、解析部１１４は、当該画像情報から、部位のねじれを解析する（１００６）。評価部１１５は、部位の位置、動き、回転、ねじれ等を、基準値と比較して評価する（１００７）。評価情報提示部１１６は、評価結果をユーザに提示する（１００８）。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
　たとえば、本実施形態では、サーバ装置１において画像の解析を行うものとしたが、これに限らず、ユーザ端末３において画像の解析を行い、各部位の位置関係、角度、回転、ねじれを特定するようにしてもよい。
　また、本実施形態では、身体の部位の位置は２次元の画像上の位置であることを想定したが、これに限らず、３次元の位置としてもよい。たとえば、ユーザ端末３が、カメラに加えてデプスカメラを備えている場合に、サーバ装置１は、カメラからの画像と、デプスカメラからの深度マップとに基づいて、身体の部位の３次元の位置を特定することができる。また、たとえば、サーバ装置１は、２次元画像から３次元を推定して、身体の部位の３次元の位置を特定してもよい。なお、ユーザ端末３が備えるカメラに代えてデプスカメラを設けるようにし、サーバ装置１は、デプスカメラからの深度マップのみから３次元の位置を特定することも可能である。この場合、ユーザ端末３から画像データとともに、または画像データに代えて深度マップをサーバ装置１に送信するようにし、サーバ装置１の解析部１１４が３次元の位置を解析するようにすることができる。
　また、本実施形態では、運動中のユーザの身体を撮像した画像がユーザ端末３からサーバ装置１に送信されるものとしたが、これに限らず、ユーザ端末３において画像から特徴量を抽出し、特徴量をサーバ装置１に送信するようにしてもよいし、ユーザ端末３が特徴量に基づいて身体の部位を推定し、当該部位の絶対的な位置（画像のＸＹ座標上の位置としてもよいし、基準位置（たとえば、地面や足先、頭、身体の重心など）からの実寸での距離としてもよいし、その他の任意の座標系での位置とすることもできる。）または複数部位間の相対的な位置関係を取得し、これらの絶対的な位置や相対的な位置関係をサーバ装置１に送信するようにしてもよい。
　また、本実施形態では、改善策情報にはサーバ装置１側で準備されたコンテンツが提供されるものとしたが、これに限らず、たとえば、サーバ装置１は、基準値を含めるようにして、基準値に基づく正しい動きや姿勢（各部位の位置や角度、回転、ねじれなど）となる印やボーンを動画または動画から抽出した静止画に重畳して表示するようにしてもよい。これにより、どのような動きや姿勢とするべきかを容易に把握することができる。
　また、本実施形態では、サーバ装置１は、身体の部位の位置または動き（経時的な位置の変化）、部位同士が形成する角度、回転、ねじれ等について評価するものとしたが、これに限らず、サーバ装置１は、運動に用いる道具の部分の位置又は動き（経時的な位置の変化）、道具の部分同士、または身体の部位と道具の部位が形成する角度、道具の部分の回転、ねじれ等を評価してもよく、更に、ユーザが装着している道具の位置を特定して評価するようにしてもよい。
　また、本実施形態では、改善策については動作の改善の方策や、トレーニング方法に関するアドバイス等のコンテンツを提供するものとしたが、たとえば、サーバ装置１は、道具のレコメンデーションを行うようにしてもよい。この場合、サーバ装置１は、ユーザの身体情報（身長、体重等）に対応付けて、道具と当該道具のサイズ（長さ等）の基準値を記憶しておき、画像データからユーザが使用している道具の特徴量を抽出して道具の形状を特定し、当該形状と身体情報に含まれるユーザのサイズ（たとえば身長等）に基づいて道具の大きさを推定し、推定した道具の大きさと、基準値との差が所定の閾値以上であれば、基準値のサイズの道具をレコメンドすることができる。さらに、道具自体への条件（バーベルの重量等）、道具の使い方、身体条件（柔軟性など）、道具の部位の位置や向き、動きなどの情報から、目的に応じた道具をレコメンドしてもよい。
　また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、サーバ装置１は、行っている身体運動を中断させてもよい。この場合、サーバ装置１は、ユーザの身体情報（目的、身長、体重等）に対応付けて、身体運動を中断すべき基準値を記憶しておき、画像データからユーザが行っている身体運動の回数や速度など（例えば、バーベルを持ち上げるスピードが極端に落ちてしまう、また、一度に行う回数が多すぎるなど）が基準値から外れた場合に、身体運動を中断させる。この場合、ユーザ端末３に対して中止するようにコメントを出してもよいし、画面を消すなどディスプレイの表示を変化させることによってユーザに知らせてもよいし、アラート音などの音を出してもよいし、バイブレーションによってユーザに知らせてもよい。
　また、本実施形態では、改善策についてはアドバイス等のコンテンツを提供するものとしたが、たとえば、サーバ装置１は、病気や怪我の判定やその改善に向けた身体運動を提示してもよい。この場合、サーバ装置１は、前記身体情報にユーザが入力した症状や、評価情報から、ユーザが発症していると想定される病気や怪我の候補を抽出し、絞り込みのためのスクリーニングテストを提示する。ユーザがスクリーニングテストを行い、病名や怪我の場所や程度が絞り込めた段階で、サーバ装置１は、医師の診察を受けることや、改善に向けた身体運動、または身体運動を行うための道具や、食事などの物品のレコメンドなどを行ってもよい。
　また、道具の部分の位置を推定することにより、サーバ装置１は、道具のスピード、加速度、移動距離、軌道等を推定することができる。また、サーバ装置１は、時系列での道具の位置の変化のパターンを抽出することにより、パターンの回数を、道具を使った動作の回数として推定することができる。
　また、本実施形態では、運動の評価を行うものとしたが、これに限らず、ある姿勢または動きを検出した場合に、その動作に対する課題を提案するようにしてもよい。この場合、サーバ装置１は、ひとつまたは一連の姿勢または動きに対応付けて、評価コメントに代えて、課題を記憶しておき、当該課題を出力すればよい。
　また、本実施形態では、運動の評価を行うものとしたが、これに限らず、サーバ装置１は、ある道具の動き、道具の向き、姿勢または身体の部位の動きを検出した場合に、行うべきトレーニング、リハビリ、演奏、またはその準備段階であるストレッチや筋力トレーニング、姿勢など、目的等に応じて身体運動を改善する内容を提示するようにしてもよい。この場合、サーバ装置１は、ひとつまたは一連の道具の部分の動き、道具の部分の向き、身体の姿勢または身体の部位の動きに対応付けて、評価コメントに代えて、トレーニング等の実施内容を記憶しておき、当該内容を出力すればよい。
　また、本実施形態では、運動の評価を行うものとしたが、これに限らず、サーバ装置１は、ユーザが行った動作を自動検出するようにすることもできる。この場合、サーバ装置１は、たとえばシュートやパスなどの所定の動作を行う道具の各部分の位置や姿勢（身体の各部位の位置）を基準情報として記憶しておき、画像から解析した道具の部分や身体の部位の位置と基準情報とを比較して、画像中のユーザが行った動作を特定することができる。
　また、本実施形態では、サーバ装置１は、過去に撮像した画像を解析して運動の評価を行うものとしたが、これに限らず、リアルタイムに解析処理を行い、所定の動作を検出した場合に、次にとるべき戦術をレコメンドするようにしてもよい。この場合、サーバ装置１は、姿勢または動きに対応付けて、評価コメントに代えて戦術を記憶しておき、リアルタイムに戦術を出力すればよい。
　また、本実施形態では、評価部１１５が評価した結果を、評価情報提示部１１６は、ユーザの支援者（訓練に関するトレーナ、コーチ、指導者でもよいし、介護者、理学療法士、医療従事者等のリハビリ関係者等も含む）が使用する支援者端末に提示してもよい。ユーザ端末３および支援者の端末は、例えば眼鏡型、コンタクトレンズ型、帽子型、ＨＭＤ（ヘッドマウントディスプレイ）などの形をしていてもよく、ユーザ端末３または支援者の端末が備える撮像機能によりユーザまたは支援者の視野に近い範囲を撮像し、撮像した画像は通信ネットワーク２を介してサーバ装置１に送られる。評価部１１５が、当該画像の処理を行い、その結果は、通信ネットワーク２を介して支援者の端末またはユーザ端末３に送られる。支援者の端末は、例えば、虚像投影方式、網膜投影方式、その他の方式、更に、脳波などの脳活動を利用して、文字・画像・映像等を脳への直接刺激によって感覚器を介さずに入力するＢＭＩ（ブレインマシンインターフェース）等のインタフェースを介して、情報を支援者またはユーザに対して出力する。この通信と処理を高速で行うことにより、支援者がユーザの身体運動を見ると、ほぼリアルタイムでユーザの身体運動の評価を確認することができる。また、ユーザもほぼリアルタイムに自身の身体運動の評価やグループ内評価を確認することができる。なお、支援者の視野においては、ユーザの身体運動は実像を見ており、評価部１１５が処理を行った結果が、支援者の端末を通じて、支援者が肉眼で見ている視野に重ねる形で、支援者が視認できる状態となってよい。さらに、支援者の端末がＨＭＤなどの場合は、支援者の端末が撮像した画像に、評価部１１５が処理を行った結果が重なる形で、支援者に提示されてもよい。
　また、本実施形態では、基準値は複数存在してよく、ユーザはその基準値を有償で選択してもよい。
　また、本実施形態では、基準値はプロ選手などの熟練者等の身体運動（道具を用いて行うものを含む）を基に作成したものを含んでもよい。
　また、本実施形態では、ユーザ端末３、撮影端末４、前記支援者の端末は眼鏡型などウェアラブル端末でもよく、当該ウェアラブル端末で撮像し、解析、評価を行った結果を、ウェアラブル端末に出力してもよいが、モバイル端末等のウェアラブルではないユーザ端末３、撮影端末４，前記支援者の端末が同時に存在してもよく、当該ウェアラブルではない端末にも解析、評価を行った結果を表示してもよい。
　本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバ装置１のプロセッサ１０１および記憶装置１０３は、互いにネットワークで接続された異なるサーバにより実現されてもよい。
　本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、およびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るサーバ装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　１　　　　サーバ装置
　２　　　　ネットワーク
　３　　　　ユーザ端末
　４　　　　撮影端末
　１０１　　プロセッサ
　１０２　　メモリ
　１０３　　記憶装置
　１０４　　通信インタフェース
　１０５　　入力装置
　１０６　　出力装置
　１１１　　ユーザ情報取得部
　１１２　　画像情報取得部
　１１３　　前処理部
　１１４　　解析部
　１１５　　評価部
　１１６　　評価情報提示部
　１１７　　学習部
　１３１　　ユーザ情報記憶部
　１３２　　画像情報記憶部
　１３３　　学習用データ記憶部
 

 

Claims (6)

  1. 　ユーザの姿勢を推定する姿勢推定装置であって、
    　ユーザの動作を含む動画像から当該ユーザの身体の部位を特定し、当該部位の回転を解析する解析部と、
    　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶部と、
    　前記画像における前記部位の回転および前記基準値を比較して前記動作の評価値を決定する評価部と
    を備えることを特徴とする、姿勢推定装置。
  2. 　前記部位は関節を含み、
    　前記関節を繋ぐボーンを生成し、前記関節の間の中点を取り、前記中点を通り、前記ボーンと垂直に直行する面において、仮想の座標点を複数点生成する前処理部と、
    を備え、
    　前記解析部は、前記仮想の座標点の位置を解析することで、前記ボーンの３次元回転座標を導出すること、
    を特徴とする、請求項１に記載の姿勢推定装置。
  3. 　前記解析部は前記ユーザの身体に配したサインを含む一連の動作を含む画像を解析し、
    　前記サインはラインを含み、
    　前記解析部は前記ラインを解析し、前記部位のねじれを解析すること、
    を特徴とする、請求項１または２に記載の姿勢推定装置。
  4. 　前記前処理部は、前記仮想の座標点を４点生成すること、
    を特徴とする、請求項２に記載の姿勢推定装置。
  5. 　ユーザの姿勢を推定する姿勢推定システムであって、
    　ユーザの動作を含む動画像から当該ユーザの身体の部位を特定し、当該部位の回転を解析する解析機能と、
    　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶機能と、
    　前記画像における前記部位の回転および前記基準値を比較して前記動作の評価値を決定する評価機能と
    を備えることを特徴とする、姿勢推定システム。
  6. 　ユーザの姿勢を推定する姿勢推定方法であって、
    　ユーザの動作を含む動画像から当該ユーザの身体の部位を特定し、当該部位の回転を解析する解析ステップと、
    　少なくとも１つの前記部位の回転に係る基準値を記憶する基準値記憶ステップと、
    　前記画像における前記部位の回転および前記基準値を比較して前記動作の評価値を決定する評価ステップと
    を備えることを特徴とする、姿勢推定方法。

     
PCT/JP2021/024378 2021-06-28 2021-06-28 姿勢推定装置、姿勢推定システム、姿勢推定方法 WO2023275940A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023531156A JPWO2023275940A1 (ja) 2021-06-28 2021-06-28
PCT/JP2021/024378 WO2023275940A1 (ja) 2021-06-28 2021-06-28 姿勢推定装置、姿勢推定システム、姿勢推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/024378 WO2023275940A1 (ja) 2021-06-28 2021-06-28 姿勢推定装置、姿勢推定システム、姿勢推定方法

Publications (1)

Publication Number Publication Date
WO2023275940A1 true WO2023275940A1 (ja) 2023-01-05

Family

ID=84691009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/024378 WO2023275940A1 (ja) 2021-06-28 2021-06-28 姿勢推定装置、姿勢推定システム、姿勢推定方法

Country Status (2)

Country Link
JP (1) JPWO2023275940A1 (ja)
WO (1) WO2023275940A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170605A (ja) * 2015-03-12 2016-09-23 セコム株式会社 姿勢推定装置
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170605A (ja) * 2015-03-12 2016-09-23 セコム株式会社 姿勢推定装置
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Also Published As

Publication number Publication date
JPWO2023275940A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US11803241B2 (en) Wearable joint tracking device with muscle activity and methods thereof
KR100772497B1 (ko) 골프 클리닉 시스템 및 그것의 운용방법
US11037369B2 (en) Virtual or augmented reality rehabilitation
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
CA2731775C (en) 3d monocular visual tracking therapy system for the rehabilitation of human upper limbs
Velloso et al. Qualitative activity recognition of weight lifting exercises
Ghasemzadeh et al. Wearable coach for sport training: A quantitative model to evaluate wrist-rotation in golf
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
Olugbade et al. Human observer and automatic assessment of movement related self-efficacy in chronic pain: from exercise to functional activity
JP7492722B2 (ja) 運動評価システム
JP2020174910A (ja) 運動支援システム
JP7008342B2 (ja) 運動評価システム
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
CN115240247A (zh) 一种用于进行动作和姿态检测的识别方法及系统
US20230240594A1 (en) Posture assessment program, posture assessment apparatus, posture assessment method, and posture assessment system
JP2016035651A (ja) 在宅リハビリテーションシステム
WO2023275940A1 (ja) 姿勢推定装置、姿勢推定システム、姿勢推定方法
WO2022030619A1 (ja) 指導支援システム
WO2021261529A1 (ja) 身体運動支援システム
Seong et al. MultiSenseBadminton: Wearable Sensor–Based Biomechanical Dataset for Evaluation of Badminton Performance
JP2021099666A (ja) 学習モデルの生成方法
WO2023127870A1 (ja) 介護支援装置、介護支援プログラム、介護支援方法
Gaber et al. A comparison of virtual rehabilitation techniques
JP6465419B2 (ja) 測定装置及び測定方法
TWI681360B (zh) 應用於巴金森氏病的復健監控系統及其方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21948252

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023531156

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE