WO2016208290A1 - 測定装置及び測定方法 - Google Patents

測定装置及び測定方法 Download PDF

Info

Publication number
WO2016208290A1
WO2016208290A1 PCT/JP2016/064138 JP2016064138W WO2016208290A1 WO 2016208290 A1 WO2016208290 A1 WO 2016208290A1 JP 2016064138 W JP2016064138 W JP 2016064138W WO 2016208290 A1 WO2016208290 A1 WO 2016208290A1
Authority
WO
WIPO (PCT)
Prior art keywords
limb
measurement period
information
time
measurement
Prior art date
Application number
PCT/JP2016/064138
Other languages
English (en)
French (fr)
Inventor
尚志 野田
克幸 永井
友見 木下
宏紀 寺島
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2017524728A priority Critical patent/JP6465419B2/ja
Publication of WO2016208290A1 publication Critical patent/WO2016208290A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to a technique for measuring human limb physical ability.
  • a motion capture method there is a method in which a plurality of markers and sensors are attached to a human body, and human motion is converted into three-dimensional data by detecting each marker and sensing each sensor.
  • a human motion is converted into three-dimensional data without attaching a marker or a sensor to the human body by estimating the posture of the human body using three-dimensional information obtained from the three-dimensional sensor.
  • human body posture estimation each part (head, hand, arm, leg, etc.) of a human limb is recognized from three-dimensional information, and the movement of each part is recorded.
  • Patent Document 1 an index serving as an index for evaluating rehabilitation every time human motion information (color image information, distance image information, skeleton information, etc.) is acquired based on information obtained from Kinect (registered trademark) Devices for measuring values have been proposed.
  • This proposal includes shoulder flexion extension, shoulder horizontal flexion extension, scapular flexion extension, crotch flexion extension, head forward flexion and back flexion, thoracolumbar forward flexion and back flexion and thoracolumbar rotation. At least one index value is measured.
  • Non-Patent Document 1 below defines a correct method for measuring the range of motion of the joint.
  • Non-Patent Document 2 a method for measuring the joint range of motion in real time using skeletal information obtained from KINECT (registered trademark) is proposed.
  • skeleton information is displayed, and when a mouse is placed on a joint that can be measured, measurement items at that joint are displayed. Then, measurement is started by selecting a desired measurement item.
  • this document does not disclose a specific measurement method.
  • the subject needs to perform a predetermined action for measurement.
  • the test subject must learn the operation for the measurement and needs to perform the operation only for the measurement.
  • the measurement itself can be costly for the subject.
  • the present invention has been made in view of such circumstances, and provides a technique for improving the convenience of measurement of limb physical ability.
  • the first aspect relates to a measuring device.
  • the measurement apparatus includes an acquisition unit that acquires position information or orientation information in a part of the measurement period within the exercise period, and the acquired position information regarding a predetermined part of the limb of the subject who is performing the exercise Alternatively, based on the orientation information, the calculation means for calculating the angle or distance of the limb of the subject corresponding to the measurement period, and the output processing means for outputting the calculated angle or distance,
  • an acquisition unit that acquires position information or orientation information in a part of the measurement period within the exercise period, and the acquired position information regarding a predetermined part of the limb of the subject who is performing the exercise Alternatively, based on the orientation information, the calculation means for calculating the angle or distance of the limb of the subject corresponding to the measurement period, and the output processing means for outputting the calculated angle or distance,
  • the second aspect relates to a measurement method executed by at least one computer.
  • the measurement method according to the second aspect obtains position information or orientation information in a part of the measurement period within the exercise period regarding the predetermined part of the limb of the subject who is doing the exercise, and the obtained position information or orientation information And calculating an angle or distance of the limb of the subject as an index of the limb ability type corresponding to the measurement period, and outputting the calculated angle or distance.
  • Another aspect of the present invention is a program that causes at least one computer to execute the method of the second aspect.
  • Another aspect may be a computer-readable recording medium that records such a program.
  • This recording medium includes a non-transitory tangible medium.
  • the convenience of measuring the limb physical ability can be improved.
  • FIG. 1 is a diagram conceptually illustrating a hardware configuration example of a measurement apparatus 10 in the first embodiment.
  • the measurement apparatus 10 in the first embodiment is a so-called computer, and includes, for example, a CPU (Central Processing Unit) 1, a memory 2, an input / output interface (I / F) 3, a communication unit 4 and the like that are connected to each other via a bus.
  • a CPU Central Processing Unit
  • I / F input / output interface
  • the CPU 1 includes an application specific integrated circuit (ASIC), a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), and the like.
  • the memory 2 is a RAM (Random Access Memory), a ROM (Read Only Memory), or an auxiliary storage device (such as a hard disk).
  • the input / output I / F 3 can be connected to user interface devices such as the display device 5 and the input device 6.
  • the display device 5 is a device that displays a screen corresponding to drawing data processed by the CPU 1 or the like, such as an LCD (Liquid Crystal Display) or a CRT (Cathode Ray Tube) display.
  • the input device 6 is a device that receives an input of a user operation such as a keyboard and a mouse.
  • the display device 5 and the input device 6 may be integrated and realized as a touch panel.
  • the input device 6 may be a microphone unit that acquires sound.
  • Another output device such as a speaker unit may be connected to the input / output I / F 3.
  • the communication unit 4 communicates with other computers via a communication network (not shown) and exchanges signals with other devices such as printers.
  • the communication unit 4 is connected to the three-dimensional sensor 7 by USB (Universal Serial Bus) or the like.
  • USB Universal Serial Bus
  • the communication form between the communication unit 4 and the three-dimensional sensor 7 is not limited.
  • a portable recording medium or the like can be connected to the communication unit 4.
  • the 3D sensor 7 detects 3D information.
  • the three-dimensional sensor 7 is realized as a sensor in which a visible light camera and a depth sensor are integrated, such as a Kinect (registered trademark) or a 3D camera.
  • a depth sensor also called a distance image sensor, irradiates a subject with a near-infrared light pattern from a laser and captures the pattern with a camera that detects the near-infrared light. The distance to the person is calculated.
  • the three-dimensional sensor 7 can detect the three-dimensional position of the predetermined part of the subject in the field of view, the realization method is not limited.
  • the three-dimensional sensor 7 may be realized by a three-dimensional scanner method using a plurality of visible light cameras. In the following description, for the sake of easy understanding, it is assumed that the three-dimensional sensor 7 is a sensor in which a visible light camera and a depth sensor are integrated.
  • the subject exercises within the field of view of the three-dimensional sensor 7.
  • the gymnastics performed by the subject is not limited at all.
  • the subject performs radio exercises.
  • the measuring apparatus 10 can acquire the three-dimensional position or orientation of the predetermined part of the limb of the subject who is performing radio exercises based on the information obtained from the three-dimensional sensor 7.
  • the hardware configuration of the measuring apparatus 10 is not limited to the example shown in FIG.
  • the measuring device 10 may include other hardware elements not shown.
  • the number of hardware elements is not limited to the example of FIG.
  • the measuring device 10 may have a plurality of CPUs 1.
  • the measuring device 10 may be connected to a plurality of three-dimensional sensors 7. In this case, each of the three-dimensional sensors 7 is desirably installed at different positions and directions so that the subject can be sensed from a plurality of directions.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the measurement apparatus 10 in the first embodiment.
  • the measurement apparatus 10 in the first embodiment includes an acquisition unit 11, a calculation unit 12, an output processing unit 13, and the like.
  • Each of these processing modules is realized, for example, by executing a program stored in the memory 2 by the CPU 1. Further, the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 2.
  • a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the communication unit 4 and stored in the memory 2.
  • CD Compact Disc
  • the acquisition unit 11 Based on the information obtained from the three-dimensional sensor 7, the acquisition unit 11 obtains position information, orientation information, or both information in a part of the measurement period within the gymnastic period regarding a predetermined part of the limb of the subject who is performing the gymnastic exercise. get.
  • the acquisition unit 11 may further acquire information other than the position information and the orientation information.
  • the information on the predetermined part of the limb of the subject in the measurement period acquired by the acquisition unit 11 may be collectively referred to as “limb data”.
  • the predetermined part of the limb represented by the limb body data may be determined according to the ability type that can be measured by the exercises, and limb body data of as many predetermined parts as possible may be acquired.
  • “Gymnastic period” means the entire period from the beginning to the end of the gymnastics performed by the subject. For example, when the subject is performing radio exercises first, the “gym exercise period” means the entire period from the beginning to the end of the first radio exercises.
  • “Radio Gymnastics First” is a well-known exercise consisting of 13 types of predetermined exercises from “stretching exercise” to “deep breathing”.
  • the “measurement period” is a part of the whole period of the gymnastics performed by the subject, and means a period during which a movement capable of measuring a certain kind of limb physical ability is performed. That is, the “measurement period” is provided for each ability type to be measured.
  • the “measurement period” is not limited as long as it is a part of the gymnastic period.
  • the limb physical ability types to be measured are, for example, all items specified in Non-Patent Document 1 or a part of the items.
  • FIG. 3 and 4 are diagrams illustrating an example of setting the measurement period.
  • FIG. 3 illustrates a measurement period set to measure the ability of shoulder flexion.
  • the measurement periods M ⁇ b> 11 and M ⁇ b> 12 are set between the movements of raising the arm from the bottom to the top in front of the body in the “elongation exercise” which is the first exercise in the first radio exercise.
  • the “elongation exercise” since the same operation is repeated twice, two measurement periods M11 and M12 are set. That is, in the example of FIG. 3, two measurement periods M11 and M12 are provided for the ability to flex the shoulder.
  • FIG. 4 exemplifies a measurement period set to measure each ability of abduction and adduction of the shoulder.
  • the measurement period M21 is set between the movements of raising the arms from the bottom to the top of the side of the body, which is the third exercise in the first exercise of the radio exercises, “Rotating Arms”.
  • the measurement period M22 is set between the movement of lowering the arm from the upper side to the lower side on the side of the body in the “movement of turning the arm”.
  • the measurement period M21 is provided for measuring the ability of the shoulder abduction movement
  • the measurement period M22 is provided for measuring the ability of the shoulder adduction movement.
  • the acquisition unit 11 can acquire one or more frames representing the measurement period in the two-dimensional image frame and the depth image (distance image) frame that can be acquired from the three-dimensional sensor 7. Based on the respective frame rates of the two-dimensional image and the depth image that can be acquired from the three-dimensional sensor 7, the acquisition unit 11 can selectively acquire a frame after a predetermined time from a certain frame. For example, when the frame rate is set to 30 frames per second, a frame 30 seconds after a certain frame can be acquired from the certain frame to the 900th frame.
  • each frame of the two-dimensional image and the depth image (distance image) is abbreviated as a two-dimensional image and a depth image.
  • the acquisition unit 11 recognizes a plurality of predetermined parts of the subject's limb located within the field of view of the three-dimensional sensor 7 from the acquired two-dimensional image and depth image using posture estimation technology, and the three-dimensional of each part. Specify the position (world coordinate system).
  • the acquisition unit 11 can use various existing posture estimation techniques.
  • the acquisition unit 11 includes a left shoulder, a left elbow, a left wrist, a left hand, a right shoulder, a right elbow, a right wrist, a right hand, a head, a shoulder center, a spine, a waist center, a right waist, a left waist, a right knee, and a right heel.
  • Position information of a plurality of parts of the limb such as the right foot, the left knee, the left heel, and the left foot can be acquired.
  • the position information acquired by the acquisition unit 11 is expressed in a world coordinate system corresponding to a three-dimensional space where the subject actually exists.
  • the acquired position information includes the center of the field of view of the three-dimensional sensor 7 as the origin, the horizontal direction as the x axis (right direction is positive), the vertical direction as the y axis (upward direction is positive), and the depth direction (depth direction). Is expressed in a world coordinate system with the z-axis as the positive).
  • description will be made using an example of this world coordinate system.
  • the arrangement of the three axes and the origin of the world coordinate system is not limited to such an example.
  • the position information of the predetermined part of the subject's limb obtained by the obtaining unit 11 may be referred to as skeleton data.
  • the acquisition unit 11 can also acquire position information of a predetermined part of the limb of the subject and position information of the floor surface using only the depth image of the measurement period. For example, the acquisition unit 11 identifies the contour of the subject by applying an existing pattern matching technique to the depth image of the measurement period, and based on the identified contour, the position information and floor of the subject's fingertips Surface position information can be acquired.
  • the position information acquired in this way is represented by the x coordinate and y coordinate of the image coordinate system of the depth image, and the z coordinate (depth) of the world coordinate system.
  • the acquisition unit 11 recognizes a human face from the two-dimensional image and the depth image obtained from the three-dimensional sensor 7 by using an existing image recognition technique, and determines the position based on the positional relationship of each part of the recognized face.
  • the orientation of a person's face can be specified.
  • Various existing image recognition methods can be used as a method for recognizing a human face and each part in the face.
  • the face orientation information acquired by the acquisition unit 11 is represented by an angle from the z axis.
  • the acquired depth information of the subject is information based on the depth image, and indicates the depth of one point of the limb of the subject such as the center of the face or the depth of the central position of a plurality of points of the limb of the subject.
  • the acquisition part 11 can also specify the direction of a test subject's body using the skeleton data acquired as mentioned above.
  • the acquisition unit 11 may calculate an angle formed on a plane perpendicular to the y-axis between a line segment connecting both the shoulders and the x-axis direction based on the position information of both shoulders as the body orientation. it can.
  • the calculated body orientation can also be expressed as a shoulder opening angle.
  • the acquisition unit 11 can calculate the orientation of the face with respect to the body by combining the calculated orientation of the body and the orientation of the face specified as described above.
  • the acquisition unit 11 specifies a measurement period as follows using time information that is predetermined and held for a certain exercise, and acquires limb body data in the specified measurement period.
  • the acquisition unit 11 holds in advance information on the first predetermined time and information on the second predetermined time.
  • the acquisition unit 11 specifies a time after the first predetermined time has elapsed from the start of the gymnastics as a start time of the measurement period, and determines a time after the second predetermined time has elapsed from the start of the gymnastics or the start of the measurement period. Identified as the end of the measurement period. That is, the second predetermined time indicates the time length from the start of gymnastic exercise to the end of the measurement period, or indicates the time length of the measurement period. Based on the start time point and end time point specified in this way, the acquisition unit 11 acquires position information or orientation information after the start time point of the measurement period and before the end time point of the measurement period. For example, the acquisition unit 11 acquires a two-dimensional image and a depth image from the start time of the measurement period to the end time of the measurement period, and acquires limb body data in the measurement period based on the acquired image information. To do.
  • the acquiring unit 11 holds at least one pair of information on the first predetermined time and information on the second predetermined time for each limb physical ability type. .
  • the acquisition unit 11 may hold a plurality of pairs for one limb ability type.
  • the acquisition part 11 calculates an index value from the acquired limb body data while acquiring limb body data as mentioned above about each of the some measurement period specified using the some pair hold
  • the identification information of the limb physical ability type is passed to the calculation unit 12.
  • the acquisition unit 11 needs to recognize the start time of gymnastics. For example, when it is possible to acquire information from the three-dimensional sensor 7 after the gymnastic exercise start time, the acquisition unit 11 recognizes the timing at which information is first acquired from the three-dimensional sensor 7 as the gymnastic exercise start time. Can do. In this case, for example, the measuring apparatus 10 starts sensing of the three-dimensional sensor 7 simultaneously with the start of gymnastics. Further, the acquisition unit 11 may recognize a time point after a predetermined time has elapsed from the timing at which information is first acquired from the three-dimensional sensor 7 as a gymnastic exercise start time point. In this case, the acquisition part 11 should just hold
  • the acquisition unit 11 can further acquire the voice information collected by the microphone via the input / output I / F 3 and recognize the start time of the gymnastics from the voice information.
  • the acquisition unit 11 may recognize the start time of gymnastics based on the detection timing of the user operation using the input device 6.
  • the acquisition unit 11 displays a screen that allows the user to perform a predetermined operation at the start of gymnastics on the display device 5, and recognizes the time point when the predetermined operation on the screen is detected as the start time of the gymnastics.
  • the acquisition part 11 performs the recognition process of the predetermined
  • the acquisition unit 11 recognizes a predetermined posture of a subject from a two-dimensional image acquired periodically using an existing image recognition technique. Gymnastics are often started in an upright position with both arms lowered. Therefore, the acquisition unit 11 may specify the time when the upright posture with both arms lowered is recognized as the start time of the gymnastic exercise.
  • the acquisition unit 11 can also recognize an upright posture from the acquired skeleton data.
  • the calculation unit 12 calculates an angle or distance serving as an index of the limb physical ability type corresponding to the measurement period of the subject's limb based on the limb body data of the measurement period acquired by the acquisition unit 11. When a plurality of limb body data are acquired for the measurement period, the calculation unit 12 calculates an angle or a distance for each limb body data. When a plurality of limb / body ability types are to be measured, the calculation unit 12 calculates an angle or a distance using a technique for calculating an ability index corresponding to each limb / body ability type.
  • the calculation unit 12 acquires the identification information of the limb physical ability type together with the limb body data from the acquisition unit 11, and based on the identification information of the limb physical ability type, among the plurality of calculation methods corresponding to the plurality of limb physical ability types. From this, the calculation method to be executed is selected.
  • the ability index calculation method Various known methods may be used as the ability index calculation method, and the calculation method itself is not limited. It is desirable that the ability index calculation method corresponding to each limb ability type conforms to the provisions shown in Non-Patent Document 1.
  • the calculation unit 12 calculates an angle or distance as an ability index corresponding to each limb physical ability type as follows.
  • FIG. 5 is a diagram illustrating a method for calculating a shoulder ability index.
  • the calculation unit 12 includes a plane (yz plane, yz plane) of a line segment L1 in the y-axis negative direction with the shoulder position P1 as an end point, and a line segment L2 connecting the shoulder position P1 and the hand position P2.
  • An angle A1 formed on the paper surface of FIG. 3 is calculated as an ability index for shoulder flexion.
  • the calculation unit 12 calculates an angle A2 formed between the line segment L1 and the line segment L2 on a plane orthogonal to the x-axis (yz plane, the paper surface of FIG. 3) as an ability index for shoulder extension movement.
  • the calculation unit 12 includes a plane (xy plane, xy plane) of a line segment L3 in the y-axis negative direction with the shoulder position P3 as an end point and a line segment L4 connecting the shoulder position P3 and the hand position P4.
  • the angle A3 formed on the paper surface of FIG. 3 is calculated as an ability index for shoulder abduction or adduction.
  • the calculation unit 12 uses a plane perpendicular to the y-axis (xz plane, x5) of the line segment L5 in the negative z-axis direction with the elbow position P5 as an end point and the elbow position P5 and the hand position P6.
  • the angle A5 formed on the paper surface of FIG. 3 is calculated as a capability index for the external rotation of the shoulder.
  • the calculation unit 12 calculates an angle A6 formed on a plane (xz plane, the paper surface of FIG. 3) perpendicular to the y-axis between the line segment L5 and the line segment L6 as an ability index for the internal rotation of the shoulder.
  • the calculation unit 12 has a plane (xz plane, xz plane) of a line segment L7 in the negative x-axis direction with the shoulder position P7 as an end point and a line segment L8 connecting the shoulder position P7 and the hand position P8.
  • the angle A7 formed on the paper surface of FIG. 3 is calculated as an ability index of the shoulder horizontal bending motion.
  • the calculation unit 12 calculates an angle A8 formed by a line segment L7 and a line segment L8 on a plane orthogonal to the y-axis (xz plane, the paper surface of FIG. 3) as a capability index for horizontal shoulder movement.
  • FIG. 6 is a diagram illustrating a method for calculating a capability index related to the flexion movement of the thoracolumbar region.
  • the calculating unit 12 calculates the distance between the fingertip P9 of the subject and the intersection P10 between the fingertip P9 and the line segment in the negative y-axis direction and the floor surface. For example, the calculation unit 12 calculates the number of pixels PX1 from the fingertip to the floor surface on the depth image based on the y coordinate of the fingertip of the hand and the y coordinate of the floor surface acquired by the acquisition unit 11.
  • the calculation unit 12 calculates the calculated number of pixels PX1, the depth DPT of the identified fingertip P9 of the subject, the number of pixels PX2 that is half the height of the two-dimensional image, and the three-dimensional sensor 7 (captures a two-dimensional image).
  • the distance between the subject's fingertip and the floor surface in the world coordinate system can be calculated by the following formula using half the vertical viewing angle (for example, 30 degrees) of a visible light camera or the like. .
  • World coordinate system distance (PX1, DPT, tan30) / PX2
  • the method for calculating the distance between the fingertip of the subject and the floor is not limited to this formula.
  • PX2 may be the number of pixels that is half the height of the depth image
  • the vertical viewing angle may be the vertical viewing angle of the depth sensor.
  • PX1 may be the number of pixels on the two-dimensional image.
  • the output processing unit 13 outputs the angle or distance calculated by the calculation unit 12. Multiple angles or multiple distances may be calculated for a measurement period. In this case, the output processing unit 13 may output the maximum value or the minimum value among the calculated plurality of angles or the plurality of distances as the index value of the limb ability type corresponding to the measurement period. Further, when a plurality of limb / body ability types are to be measured, the output processing unit 13 outputs the calculated angles or distances in association with each identification information for identifying the plurality of limb / body ability types, respectively. It is also possible to output a maximum value or a minimum value, respectively.
  • the identification information for identifying the limb ability type may be a numerical value or a character string such as “shoulder flexion motion”.
  • the output processing unit 13 may output every time the angle or distance is calculated by the calculation unit 12, or may be output every time the maximum value or the minimum value is determined as the index value of the limb physical ability type. Further, the output processing unit 13 may collectively output at the time when the calculation of the angle or the distance is completed for all the measurement periods. Further, the output method of the output processing unit 13 is not limited.
  • the output processing unit 13 may display the index value of the limb / body ability type on the display device 5 or may cause the printer device connected to the communication unit 4 to print the index value. Further, the output processing unit 13 may store the index value of the limb physical ability type in a portable recording medium via the communication unit 4 or may transmit it to another computer via the communication unit 4. .
  • the output processing unit 13 can also accumulate the index value as a file.
  • FIG. 7 is a diagram illustrating a specific example of output by the output processing unit 13.
  • the angle or distance calculated as the name of the limb ability type and the ability index value is output in a table format divided for each limb ability type.
  • the output processing unit 13 outputs the table shown in FIG. 7 when the calculation of angles or distances is completed for all measurement periods.
  • FIG. 8 is a flowchart showing an operation example of the measurement apparatus 10 in the first embodiment.
  • the measurement method in the first embodiment is executed by at least one computer such as the measurement apparatus 10. Since each processing step shown in FIG. 8 is the same as the processing content of each processing module described above that the measurement apparatus 10 has, details of each processing step are omitted as appropriate.
  • the measuring device 10 holds at least one pair of information of the first predetermined time and information of the second predetermined time for each limb physical ability type.
  • the pair of time information to be held is information for specifying one measurement period.
  • the measuring apparatus 10 acquires a pair of the first predetermined time and the second predetermined time in order from the earliest in time (S81). At this time, the measuring apparatus 10 specifies the limb physical ability type to be measured based on the acquired time pair (S82). For example, the measuring device 10 holds the time pair in advance in association with the identification information of the limb / body ability type, and acquires the identification information of the limb / body ability type associated with the pair together with the time pair.
  • the measuring apparatus 10 specifies the start time point and end time point of the measurement period based on the time pair acquired in (S81) (S83). Specifically, the measuring device 10 specifies a time after the first predetermined time has elapsed from the start of gymnastics as the start of the measurement period, and the second predetermined time from the start of gymnastics or the start of the measurement period. The time point after the elapse is specified as the end point of the measurement period. For example, the start time of the measurement period is set 15 seconds after the start of gymnastics, and the end time of the measurement period is set 20 seconds after the start of gymnastics or 5 seconds after the start of the measurement period.
  • the measurement period in which the start point and the end point are specified in (S82) will be referred to as a target measurement period.
  • the measuring device 10 acquires limb body data in the measurement period related to a predetermined part of the limb of the subject who is performing the exercise based on the start time point and the end time point of the measurement period specified in (S83) (S84). For example, the measuring apparatus 10 counts the number of two-dimensional images and depth images acquired from the three-dimensional sensor 7 after the start of gymnastics according to the set frame rate, so that it is after the start of the measurement period and A two-dimensional image and a depth image before the end point are acquired. And the measuring apparatus 10 acquires the positional information regarding the predetermined site
  • acquisition unit 11 The method for acquiring limb body data from the two-dimensional image and the depth image or only from the depth image is as described above (acquisition unit 11).
  • the measuring device 10 calculates an angle or a distance for each limb body data after the start time of the measurement period and before the end time of the measurement period (S85; NO, S86). At this time, the measuring apparatus 10 selects a calculation method corresponding to the limb / body ability type specified in (S82) from a plurality of calculation methods corresponding to the plurality of limb / body ability types. The measuring apparatus 10 holds the calculated angle or distance so that it can be distinguished for each limb ability type specified in (S82).
  • the measuring apparatus 10 determines whether another time pair exists (S87). In other words, the measurement apparatus 10 determines whether another measurement period is set.
  • the passage of the end point of the measurement period is determined, for example, by whether or not a two-dimensional image and a depth image after the end point of the measurement period have been acquired.
  • the measuring apparatus 10 acquires a new first predetermined time and a new second predetermined time pair (S81), and sets the newly acquired time pair as the new time pair. Based on this, (S82) and subsequent steps are executed.
  • the measuring device 10 When there is no other time (S87; NO), the measuring device 10 totals the plurality of angles or the plurality of distances calculated and held in (S86) for each limb physical ability type, and for each limb physical ability type. Are determined respectively (S88). Specifically, the measuring apparatus 10 determines the maximum angle, the minimum angle, the maximum distance, or the minimum distance for each limb / body ability type, and sets the determined maximum value or minimum value as the ability index value of each limb / body ability type. Decide each.
  • the measuring apparatus 10 outputs the ability index value for each limb ability type determined in (S88) (S89). As described above, the output method of the capability index value is not limited (output processing unit 13).
  • the measurement method of the present embodiment is not limited to the example of FIG.
  • the measurement method of the present embodiment may not include one or more processing steps shown in FIG.
  • the execution order of each process process can be changed in the range which does not have trouble in content.
  • (S88) may be executed after (S86).
  • the measuring apparatus 10 determines the ability index value related to the limb physical ability type indicated by the calculated angle or distance.
  • (S89) may be executed after (S88). According to this, whenever the calculation is completed for one measurement period, the ability index value of the corresponding limb physical ability type is output. Further, (S88) may not be executed, and the angle or distance calculated in (S86) may be output as it is.
  • time information for specifying the measurement period of the limb physical ability is held in advance by the measurement device 10 and is specified by this time information.
  • the angle or distance of the limb body of the subject serving as an index of the limb ability type corresponding to the measurement period is calculated.
  • a movement period in which a subject's limb physical ability can be measured is automatically specified as a measurement period in an exercise constituting a certain gymnastic exercise, and a predetermined period of the subject's limb within the measurement period is determined.
  • An index value of a certain limb physical ability type is calculated from the position or orientation of the part.
  • the subject can obtain an index value of his / her limb ability by performing a certain gymnastic exercise instead of a dedicated movement for measurement, so that the subject's resistance to the measurement of the limb ability can be relieved. Can do.
  • the measurement frequency can be increased and the subject can be encouraged to actively manage his / her body.
  • the subject's original ability can be measured without the subject being too conscious of the measurement.
  • FIG. 3 and FIG. 4 there is a gymnastic that can measure multiple types of limb physical ability.
  • a measurement period is provided for each limb ability type, time information for specifying each measurement period is held, and ability index values are determined for a plurality of limb ability types.
  • the subject can obtain index values of a plurality of limb physical ability types by performing one exercise.
  • the measuring device 10 (acquiring unit 11) holds a pair of time information for each type of limb physical ability that can be measured by the type of physical exercise for each type of physical exercise. Specifically, the measuring apparatus 10 holds in advance associations between gymnastics type identification information, limb physical ability type identification information, and time information pairs.
  • the measurement device 10 (acquisition unit 11) specifies the type of gymnastic exercise being performed by the subject, and acquires a pair of time information for each limb physical ability type associated with the specified type of physical exercise. Each measurement period can be specified.
  • the gymnastic type may be specified by a user operation using the input device 6, or may be automatically specified by recognizing the movement of the subject for a certain period after the start of the gymnastic exercise.
  • the index value of the limb physical ability is calculated in real time from the movement of the subject who is doing the gymnastics.
  • the index value of the limb physical ability can also be calculated based on the information in which the three-dimensional movement of the subject who is performing the exercise is recorded (stored).
  • the measurement apparatus 10 can distinguish the timing when the two-dimensional image and the depth image acquired at predetermined intervals from the three-dimensional sensor 7 that senses the subject while performing exercises. Alternatively, it is temporarily stored in another device.
  • the measurement apparatus 10 acquires the stored two-dimensional image group and depth image group by communication or the like, and acquires limb body data of the measurement period from the acquired two-dimensional image group and depth image group. . Since the acquired two-dimensional image group and depth image group can be distinguished at the acquisition timing, the measurement apparatus 10 uses the limb body data of the measurement period based on each acquisition timing corresponding to the start time point and the end time point of the measurement period. Can be obtained.
  • the first predetermined time for specifying the start time of the second and subsequent measurement periods is the time length from the start time of the gymnastics. Alternatively, it may be the time length from the start point or end point of the immediately preceding measurement period.
  • the time information (first predetermined time and second predetermined time) for specifying the measurement period of the limb physical ability is held in advance by the measuring device 10.
  • the measurement apparatus 10 and the measurement method in the second embodiment do not use time information as in the first embodiment, based on the recorded information in which the three-dimensional movement of the subject who is performing the exercise is recorded (stored). Automatically specify the measurement period.
  • the measurement apparatus and the measurement method in the second embodiment will be described focusing on the content different from the first embodiment. In the following description, the same contents as those in the first embodiment are omitted as appropriate.
  • the measuring device 10 may generate this recorded information.
  • the measurement device 10 periodically acquires a two-dimensional image and a depth image from the three-dimensional sensor 7 that senses the subject while the subject is performing gymnastic exercises, and the acquired two-dimensional image and depth image are acquired.
  • the measuring apparatus 10 may store skeleton data as recorded information. Further, this record information may be generated by another device. In this case, the measuring device 10 does not need to be connected to the three-dimensional sensor 7, and the recording information may be acquired from another device or a portable recording medium via the communication unit 4.
  • the acquisition unit 11 identifies the measurement period in the recorded information by the recognition process of a predetermined limb movement corresponding to the measurement period for the recorded information acquired as described above.
  • the acquisition unit 11 holds in advance limb movement information that can measure the ability index of each limb ability type for each limb ability ability type.
  • the information to be held is, for example, a skeleton data pattern representing a plurality of postures constituting the limb movement or a contour (silhouette) pattern of a depth image.
  • the skeleton data pattern is a set of skeleton data representing each posture.
  • the skeleton data forming the skeleton data pattern is positional information of a plurality of predetermined parts in a limb with a certain posture.
  • a posture in which both hands are raised is represented by skeleton data indicating the positions of both hands, head, both shoulders, waist center, both knees, and both feet.
  • the skeleton data forming the skeleton data pattern may be data indicating a relative position between predetermined parts such as the position of the left hand with respect to the head.
  • a contour pattern is a set of contours representing each posture of a person in a depth image.
  • the acquisition unit 11 performs matching processing on the skeleton data pattern or depth image contour pattern held for each skeleton data or depth image acquired as recording information, thereby representing the pattern information. Try to recognize certain limb movements. Specifically, the acquisition unit 11 compares each skeleton data acquired as recording information with the skeleton data pattern to be stored, and whether or not a predetermined limb movement is included in each acquired skeleton data. Determine whether. Moreover, the acquisition part 11 determines whether each depth image acquired as recording information contains the some outline contained in an outline pattern.
  • the acquisition unit 11 includes a plurality of two-dimensional images and a plurality of depths acquired at temporally consecutive acquisition timings, including a skeleton data pattern or contour pattern similar to the skeleton data pattern or contour pattern held for the limb ability type.
  • An image is specified as information of a measurement period in the recorded information.
  • the acquisition unit 11 acquires limb body data in the measurement period based on the plurality of two-dimensional images and the plurality of depth images specified as the measurement period information, as in the first embodiment.
  • the acquisition unit 11 can also use pattern matching of a two-dimensional image for recognition of a predetermined limb motion.
  • the acquisition unit 11 holds a plurality of pattern images representing a plurality of postures constituting a predetermined limb movement, and each held pattern for each two-dimensional image acquired as recording information. What is necessary is just to perform the pattern matching process using an image, respectively.
  • FIG. 9 is a diagram conceptually showing recognition processing of limb movements.
  • the acquisition unit 11 holds in advance a contour (silhouette) pattern of a depth image representing the three postures of the person indicated by PT1, PT2, and PT3.
  • the acquisition unit 11 performs pattern matching processing with the contour information PT1 in time order on the depth image group acquired as the recording information.
  • the acquisition unit 11 detects a depth image including a contour similar to the contour information PT1
  • the acquisition unit 11 performs pattern matching processing with the contour information PT2 on the depth image acquired after the depth image.
  • the acquisition unit 11 When the acquisition unit 11 includes a contour similar to the contour information PT2 and detects a depth image temporally close to the previously detected depth image, the acquisition unit 11 performs contour information on the depth image acquired after the depth image. Perform pattern matching with PT3. When the acquisition unit 11 includes a contour similar to the contour information PT3 and detects a depth image temporally close to the previously detected depth image, the acquisition unit 11 obtains the depth image detected from the first to the last detected depth image. The interval is specified as the measurement period. In the example of FIG. 9, the measurement periods M11 and M12 are specified.
  • the predetermined limb movement is recognized by pattern matching with the contour pattern of the depth image.
  • the skeleton data pattern or the two-dimensional image pattern is used for the recognition of the predetermined limb movement. May be.
  • the acquisition unit 11 may hold in advance three skeleton data representing the three postures of the person indicated by PT1, PT2, and PT3.
  • the acquisition unit 11 may hold in advance three pattern images corresponding to PT1, PT2, and PT3.
  • FIG. 10 is a flowchart illustrating an operation example of the measurement apparatus 10 according to the second embodiment.
  • the measurement method in the second embodiment is executed by at least one computer such as the measurement apparatus 10. Since each processing step shown in FIG. 10 is the same as the processing content of each processing module described above included in the measurement apparatus 10, details of each processing step are omitted as appropriate.
  • the measuring apparatus 10 acquires recorded information in which the three-dimensional movement of the subject who is doing the gymnastics is recorded (stored) (S91).
  • the measuring device 10 may acquire the recording information from the memory 2 or may acquire the recording information from another device or a portable recording medium via the communication unit 4.
  • This recorded information is stored so that, for example, two-dimensional images and depth images periodically acquired from the three-dimensional sensor 7 that senses the subject while the subject is performing exercises can distinguish the acquisition timing. It has been done.
  • the measuring apparatus 10 performs a recognition process of a predetermined limb motion corresponding to a certain limb physical ability type with respect to the acquired record information.
  • the measurement apparatus 10 holds information indicating a predetermined limb motion for specifying a measurement period corresponding to each limb physical capability type for each of the plurality of limb physical capability types.
  • the information indicating the predetermined limb motion and the recognition processing of the limb motion are as described above (acquisition unit 11).
  • the period representing the limb movement in the recorded information acquired in (S91) is a measurement period corresponding to the limb physical ability type.
  • the measuring device 10 acquires the limb body data of the measurement period based on the information of the specified measurement period in the recorded information (S95). This method of acquiring limb body data is also as described above (acquiring unit 11).
  • the measuring apparatus 10 calculates an angle or a distance for each limb body data after the start time of the measurement period and before the end time of the measurement period (S95, S96). At this time, the measuring apparatus 10 selects a calculation method corresponding to the limb / body ability type selected in (S92) from among a plurality of calculation methods corresponding to the plurality of limb / body ability types. The measuring device 10 holds the calculated angle or distance so that it can be distinguished for each limb ability type selected in (S92).
  • the measuring apparatus 10 determines whether or not there is another limb ability type to be measured (S97). .
  • the measuring apparatus 10 tries to recognize a predetermined limb physical action corresponding to the new limb physical ability type with respect to the record information acquired in (S91) ( S92).
  • the measuring apparatus 10 executes (S92) and subsequent steps regarding this new limb physical ability type.
  • the measuring apparatus 10 aggregates the plurality of angles or the plurality of distances calculated and held in (S96) for each limb physical ability species.
  • the ability index value for each limb physical ability type is determined (S98). Specifically, the measuring apparatus 10 determines the maximum angle, the minimum angle, the maximum distance, or the minimum distance for each limb / body ability type, and sets the determined maximum value or minimum value as the ability index value of each limb / body ability type. Decide each.
  • the measuring device 10 outputs the ability index value for each limb ability type determined in (S98) (S99). As described above, the output method of the capability index value is not limited (output processing unit 13).
  • the measurement method of the present embodiment is not limited to the example of FIG.
  • the measurement method of this embodiment may not include one or more processing steps illustrated in FIG.
  • the execution order of each process process can be changed in the range which does not have trouble in content.
  • (S98) may be executed after (S96) and before (S97).
  • the measurement apparatus 10 determines the ability index value related to the limb physical ability type corresponding to the measurement period.
  • (S99) may be executed after (S98). According to this, whenever the calculation is completed for one measurement period, the ability index value of the corresponding limb physical ability type is output. Further, (S98) may not be executed, and the angle or distance calculated in (S96) may be output as it is.
  • the second embodiment there is recorded information in which the three-dimensional movement of the subject who is performing the gymnastic exercise is recorded, and the predetermined limb movement recognition process for the recorded information includes the recorded information.
  • the measurement period is specified automatically.
  • the measurement period can be specified by the limb movement recognition process. Therefore, even if the subject performs a gymnastic exercise that is unknown to the measuring apparatus 10, the limb physical ability of the subject can be measured if there is recorded information on the movement of the subject performing the gymnastic exercise. That is, according to the second embodiment, although the measurement cannot be performed in real time when the exercise is performed, the type of exercise to be performed by the subject is not limited, and the limb physical ability is measured no matter what exercise is performed. be able to.
  • the start time of gymnastics is specified for specifying the measurement period.
  • the start point of gymnastics may not be specified.
  • the same exercise is repeated several times. Specifically, in the first radio exercise, the same movement is repeated twice in the stretching exercise, and the same movement is repeated four times in the exercise of turning the arm. Therefore, when measurement is performed in a motion that is repeated a plurality of times, the measurement period may be specified by the time relationship between the repeated motions instead of the start time of the gymnastic exercise.
  • the acquisition unit 11 performs the period of the first exercise that is one of the repetitions by the recognition process of a predetermined limb movement for the two-dimensional image and the depth image periodically acquired from the three-dimensional sensor 7.
  • a temporary measurement period is detected within the.
  • the predetermined limb movement is a predetermined movement performed in the measurement period, and the recognition process is as described in the second embodiment.
  • the acquisition unit 11 detects the measurement period M11 as a temporary measurement period in order to specify the measurement period M12.
  • the first movement corresponds to the first movement among the stretching movements in which the same movement is repeated twice.
  • the acquisition unit 11 automatically uses the three contour patterns representing the three postures of the person indicated by PT1, PT2, and PT3, for example, and automatically uses the measurement period M11 as a temporary measurement period within the period of the first exercise. Detect with.
  • the acquisition unit 11 specifies the time after the elapse of the first predetermined time held from the start or end of the detected temporary measurement period as the start of the measurement period, and the start of the temporary measurement period Alternatively, the time point after the elapse of the second predetermined time held from the end time point, or the time point after the elapse of the second predetermined time from the start time point of the measurement period is specified as the end time point of the measurement period.
  • the first predetermined time held in advance in the acquisition unit 11 indicates the time length from the start time or end time of the temporary measurement period M11 to the start time of the measurement period M12.
  • the second predetermined time indicates a time length from the start time or end time of the provisional measurement period M11 to the end time of the measurement period M12, or a time length from the start time of the measurement period M12 to the end time of the measurement period M12.
  • the acquisition unit 11 acquires position information or orientation information after the start time of the measurement period automatically specified in this way and before the end time of the measurement period as limb body data.
  • the measurement period can be specified by the recognition processing of the limb movement, and the limb ability of the subject can be measured.
  • the three-dimensional sensor 7 is connected to the measurement apparatus 10 and the limb body data is acquired based on the two-dimensional image and the depth image acquired from the three-dimensional sensor 7 or only the depth image.
  • the information that is the basis of the limb body data is not limited to the two-dimensional image and the depth image. That is, the measuring apparatus 10 (acquisition unit 11) uses time-series information representing the three-dimensional movement of the subject who is performing the gymnastics or recorded information in which the three-dimensional movement of the subject who is performing the gymnastics is recorded. Limb body data can be acquired.
  • a specific example of the time series information and the recording information is a two-dimensional image and a depth image.
  • the measurement device 10 acquires position information or orientation information regarding a predetermined part of the limb of the subject by detecting a marker attached to a human body or communicating with a sensor, and acquires the acquired position. You may acquire the positional information or orientation information in a measurement period from information or orientation information.
  • the depth information may be expressed in any format as long as it is information indicating the depth for each two-dimensional position.
  • the third embodiment may be a program that causes at least one computer to execute this measurement method, or may be a recording medium that can be read by at least one computer that records such a program. .
  • the hardware configuration of the measurement apparatus in the third embodiment may be the same as that in each of the above-described embodiments (see FIG. 1). However, the display device 5, the input device 6, and the three-dimensional sensor 7 do not have to be connected to the measurement device in the third embodiment.
  • the processing configuration of the measurement apparatus in the third embodiment is the same as that in each of the above-described embodiments (see FIG. 2).
  • the processing content of each processing module may differ from the above-described embodiments in the following points.
  • the acquisition unit 11 acquires position information or orientation information in a part of the measurement period within the gymnastic period regarding a predetermined part of the limb of the subject who is performing the gymnastics.
  • the “predetermined part of the limb”, “gymnastic period”, and “measurement period” are as described above.
  • the acquisition unit 11 may acquire position information or orientation information of a subject who is performing gymnastics in real time, or may acquire recorded position information or orientation information at an arbitrary timing.
  • the position information or the orientation information may be recorded by the measuring device 10 itself, or may be recorded by another device.
  • the acquisition unit 11 may acquire the recorded position information or orientation information from a portable recording medium or another device.
  • a depth sensor (not shown) is connected to the measurement device 10, and the measurement device 10 (acquisition unit 11) periodically obtains depth information from the depth sensor. You may get it.
  • the acquired depth information may be expressed in any format as long as the information indicates the depth for each two-dimensional position.
  • the measuring apparatus 10 (acquisition part 11) can also acquire the positional information or orientation information regarding the predetermined site
  • the calculation unit 12 calculates an angle or distance that serves as an index of the limb physical ability type corresponding to the measurement period of the limb of the subject based on the position information or the orientation information acquired by the acquisition unit 11.
  • the example of the specific calculation method by the calculation part 12 is as above-mentioned.
  • the calculation method of the angle or distance by the calculation unit 12 is not limited.
  • the output processing unit 13 outputs the angle or distance calculated by the calculation unit 12.
  • An output example by the output processing unit 13 is as described above.
  • the output timing and output method of the angle or distance by the output processing unit 13 are not limited.
  • FIG. 11 is a flowchart showing an operation example of the measuring apparatus 10 in the third embodiment.
  • the measurement method in the third embodiment is executed by at least one computer such as the measurement apparatus 10.
  • each process shown in the figure is executed by each processing module included in the measurement apparatus 10.
  • the measurement method in this embodiment includes (S111), (S112), and (S113).
  • the measuring apparatus 10 acquires position information or orientation information in a part of the measurement period within the gymnastic period regarding a predetermined part of the limb of the subject who is performing the gymnastic exercise.
  • the measurement apparatus 10 calculates an angle or distance that is an index of the limb physical ability type corresponding to the measurement period of the limb of the subject based on the position information or orientation information acquired in (S111).
  • the measuring apparatus 10 outputs the angle or distance calculated in (S112).
  • position information or orientation information of a predetermined part of the limb of the subject in a part of a period of gymnastics performed by the subject (denoted as a measurement period) is acquired, and the acquired information Based on this, an angle or distance that is an index of the limb physical ability type corresponding to the measurement period of the subject is calculated and output.
  • An acquisition means for acquiring position information or orientation information in a part of the measurement period within the exercise period regarding a predetermined part of the limb of the subject who is performing the exercise; Based on the acquired position information or orientation information, a calculation means for calculating an angle or a distance of the limb of the subject as an index of a limb ability type corresponding to the measurement period; Output processing means for outputting the calculated angle or distance;
  • a measuring apparatus comprising: 2. The output processing means uses a maximum value or a minimum value among a plurality of angles or a plurality of distances calculated based on a plurality of position information or a plurality of orientation information in the measurement period, and the limb body ability corresponding to the measurement period Output as a seed index value, 1. The measuring device described in 1. 3.
  • the measurement period is provided for each limb ability type to be measured,
  • the output processing means outputs the calculated angle or distance in association with each identification information for identifying a plurality of limb ability types, respectively.
  • the acquisition means includes The information of the first predetermined time and the information of the second predetermined time are stored in advance, Specify the time after the first predetermined time from the start of the gymnastics as the start of the measurement period, Specify the time point after the elapse of the second predetermined time from the start time of the gymnastics or the start time of the measurement period as the end time of the measurement period, Obtaining position information or orientation information after the start of the measurement period and before the end of the measurement period; 1. To 3. The measuring apparatus as described in any one of these. 5.
  • the acquisition means identifies the start time of the gymnastics by a recognition process of a predetermined limb posture corresponding to the start time of the gymnastics with respect to time-series information representing the three-dimensional movement of the subject performing the gymnastics. , 4).
  • the gymnastics includes repetition of the same movement,
  • the acquisition means includes The information of the first predetermined time and the information of the second predetermined time are stored in advance, By performing a predetermined limb movement recognition process for time-series information representing the three-dimensional movement of the subject performing the exercise, a temporary measurement period is obtained within the period of the first movement which is one of the repetitions.
  • the end of the measurement period is the time after the second predetermined time has elapsed from the start or end of the detected temporary measurement period, or the time after the second predetermined time has elapsed from the start of the measurement period.
  • Identified as a point in time Obtaining position information or orientation information after the start of the measurement period and before the end of the measurement period; 1. To 3. The measuring apparatus as described in any one of these. 7).
  • the acquisition means includes A pair of information of the first predetermined time and information of the second predetermined time is held for each limb ability type, For each of a plurality of measurement periods specified using a plurality of held pairs, position information or orientation information is acquired, The output processing means outputs the calculated angle or distance in association with each identification information for identifying a plurality of limb physical ability types corresponding to the plurality of measurement periods, respectively. 4). To 6. The measuring apparatus as described in any one of these. 8). The acquisition means is configured to recognize the predetermined limb movement corresponding to the measurement period with respect to the record information in which the three-dimensional movement of the subject who is performing the exercise is recorded, and the measurement period in the record information. Identify 1. To 3. The measuring apparatus as described in any one of these.
  • the measurement period is provided for each limb ability type to be measured,
  • the output is associated with each identification information for identifying a plurality of limb physical ability types, and outputs the calculated angle or distance, respectively.
  • 9. Or 10. The measuring method as described in. 12
  • the acquisition is Specify the time point after the elapse of the first predetermined time held in advance from the start time of the gymnastics as the start time of the measurement period, Specify the time point after the elapse of a second predetermined time held in advance from the start time of the gymnastics or the start time of the measurement period as the end time of the measurement period, Obtaining position information or orientation information after the start of the measurement period and before the end of the measurement period; Including To 11.
  • the measuring method as described in any one of these.
  • the acquisition is The start time of the gymnastics is identified by a recognition process of a predetermined limb posture corresponding to the start time of the gymnastics with respect to time-series information representing the three-dimensional movement of the subject doing the gymnastics, Further includes: The measuring method as described in. 14
  • the gymnastics includes repetition of the same movement,
  • the acquisition is By performing a predetermined limb movement recognition process for time-series information representing the three-dimensional movement of the subject performing the exercise, a temporary measurement period is obtained within the period of the first movement which is one of the repetitions.
  • the acquisition is performed for each of a plurality of measurement periods specified by using a plurality of pairs of information of a first predetermined time and information of a second predetermined time, which is held for each limb ability type.
  • Get The output is associated with each identification information for identifying a plurality of limb ability types corresponding to the plurality of measurement periods, and outputs the calculated angle or distance, respectively. 12 To 14.
  • the measuring method as described in any one of these. 16.
  • the measurement period in the recorded information is obtained by a recognition process of a predetermined limb movement corresponding to the measurement period with respect to the recorded information in which the three-dimensional movement of the subject who is performing the exercise is recorded. Identify, Including To 11.
  • the measuring method as described in any one of these.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

測定装置は、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する取得部と、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の、当該測定期間に対応する肢体能力種の指標となる角度又は距離を算出する算出部と、算出された角度又は距離を出力する出力処理部と、を有する。

Description

測定装置及び測定方法
　本発明は、人の肢体能力の測定技術に関する。
　現在、モーションキャプチャ技術や三次元センシング技術を用いて、人の動きを三次元で捉え、デジタルデータ化する様々なアプリケーションが存在する。映画やゲームにおけるＣＧ（Computer Graphics）キャラクタの生成やスポーツ分析を行うアプリケーションや、ジェスチャ操作を認識するアプリケーション等が例示される。モーションキャプチャの方式には、人の体に複数のマーカやセンサを取り付け、各マーカの検出や各センサのセンシングにより、人の動きを三次元データ化する方式が存在する。また、三次元センサから得られる三次元情報を用いて人体の姿勢推定を行うことで、人体にマーカやセンサを付すことなく、人の動きを三次元データ化する方式も存在する。人体の姿勢推定では、三次元情報から人の肢体の各部位（頭、手、腕、脚など）が認識され、各部位の動きが記録される。
　下記特許文献１では、Ｋｉｎｅｃｔ（登録商標）から得られる情報に基づいて人物の動作情報（カラー画像情報、距離画像情報、骨格情報等）が取得される度に、リハビリテーションの評価の指標となる指標値を測定する装置が提案されている。この提案では、肩の屈曲伸展、肩の水平屈曲伸展、肩甲帯の屈曲伸展、股の屈曲伸展、頭部の前屈後屈、胸腰部の前屈後屈及び胸腰部の回旋のうちの少なくとも一つの指標値が測定される。下記非特許文献１には、関節可動域の正しい測定方法が規定されている。
　また、下記非特許文献２では、ＫＩＮＥＣＴ（登録商標）から得られる骨格情報を用いて、関節可動域をリアルタイムに測定する手法が提案されている。この手法では、骨格情報が表示され、マウスを測定対象となり得る関節に重ねると、その関節での計測項目が表示される。そして、希望する計測項目を選択することで、計測が開始される。但し、この文献には、具体的な計測手法については開示されていない。
特開２０１５－６１５７９号公報
"関節可動域表示ならびに測定法"，日本整形外科学会・日本リハビリテーション医学会，リハビリテーション医学３２，２０７－２１７，１９９５年 狐崎 直文ほか，"ＫＩＮＥＣＴのリハビリテーション用アプリケーションの実用化"，電子情報通信学会，信学技法，ＩＥ２０１２‐８９（２０１２‐１１）
　しかしながら、上記各提案手法では、被験者は、測定のために決められた動作をする必要がある。被験者は、測定のための動作を覚えなければならず、また、測定のためだけにわざわざその動作を行う必要がある。これにより、測定自体が被験者にとって億劫なものとなってしまう可能性がある。
　本発明は、このような事情に鑑みてなされたものであり、肢体能力の測定の利便性を向上させる技術を提供する。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第１の側面は、測定装置に関する。第１の側面に係る測定装置は、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する取得手段と、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の、当該測定期間に対応する肢体能力種の指標となる角度又は距離を算出する算出手段と、算出された角度又は距離を出力する出力処理手段と、を有する。
　第２の側面は、少なくとも一つのコンピュータにより実行される測定方法に関する。第２の側面に係る測定方法は、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得し、取得された位置情報又は向き情報に基づいて、当該被験者の肢体の、当該測定期間に対応する肢体能力種の指標となる角度又は距離を算出し、算出された角度又は距離を出力する、ことを含む。
　なお、本発明の他の側面は、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムである。また、他の側面は、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　上記各側面によれば、肢体能力の測定の利便性を向上させることができる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第一実施形態における測定装置のハードウェア構成例を概念的に示す図である。 第一実施形態における測定装置の処理構成例を概念的に示す図である。 肩の屈曲運動の能力を測定するために設定された測定期間の例を示す図である。 肩の外転運動及び内転運動の各能力をそれぞれ測定するために設定された測定期間の例を示す図である。 肩の能力指標の算出手法を示す図である。 胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。 出力処理部による出力の具体例を示す図である。 第一実施形態における測定装置の動作例を示すフローチャートである。 肢体動作の認識処理を概念的に示す図である。 第二実施形態における測定装置の動作例を示すフローチャートである。 第三実施形態における測定装置の動作例を示すフローチャートである。
　以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
［第一実施形態］
〔装置構成〕
　図１は、第一実施形態における測定装置１０のハードウェア構成例を概念的に示す図である。第一実施形態における測定装置１０は、いわゆるコンピュータであり、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１、メモリ２、入出力インタフェース（Ｉ／Ｆ）３、通信ユニット４等を有する。
　ＣＰＵ１には、一般的なＣＰＵに加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれる。
　メモリ２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
　入出力Ｉ／Ｆ３は、表示装置５、入力装置６等のユーザインタフェース装置と接続可能である。表示装置５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１等により処理された描画データに対応する画面を表示する装置である。入力装置６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置５及び入力装置６は一体化され、タッチパネルとして実現されてもよい。また、入力装置６は、音声を取得するマイクロフォンユニットであってもよい。入出力Ｉ／Ｆ３には、スピーカユニット等のような他の出力装置が接続されてもよい。
　通信ユニット４は、他のコンピュータとの通信網（図示せず）を介した通信や、プリンタ等のような他の機器との信号のやりとり等を行う。通信ユニット４には、ＵＳＢ（Universal Serial Bus）等により三次元センサ７と接続される。但し、通信ユニット４と三次元センサ７との通信形態は制限されない。また、通信ユニット４には、可搬型記録媒体等も接続され得る。
　三次元センサ７は、三次元情報を検出する。三次元センサ７は、例えば、Ｋｉｎｅｃｔ（登録商標）や３Ｄカメラのように、可視光カメラ及び深度センサが統合されたセンサとして実現される。深度センサは、距離画像センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離が算出される。三次元センサ７は、視野内の被験者の所定部位の三次元位置を検出することができれば、その実現手法は制限されない。例えば、三次元センサ７は、複数の可視光カメラを用いる三次元スキャナ方式で実現されてもよい。以下の説明では、説明を分かり易くするために、三次元センサ７は、可視光カメラ及び深度センサが統合されたセンサであると仮定する。
　被験者は、三次元センサ７の視野内で体操を行う。被験者により行われる体操自体は何ら制限されない。例えば、被験者は、ラジオ体操を行う。これにより、測定装置１０は、三次元センサ７から得られる情報に基づいて、ラジオ体操をしている被験者の肢体の所定部位の三次元位置又は向きを取得することができる。
　測定装置１０のハードウェア構成は、図１に示される例に限定されない。測定装置１０は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、測定装置１０は、複数のＣＰＵ１を有していてもよい。また、測定装置１０は、複数の三次元センサ７に接続されていてもよい。この場合、各三次元センサ７は、被験者を複数の方向からセンシングできるように、異なる位置及び方向でそれぞれ設置されることが望ましい。
〔処理構成〕
　図２は、第一実施形態における測定装置１０の処理構成例を概念的に示す図である。第一実施形態における測定装置１０は、取得部１１、算出部１２、出力処理部１３等を有する。これら各処理モジュールは、例えば、ＣＰＵ１によりメモリ２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット４を介してインストールされ、メモリ２に格納されてもよい。
　取得部１１は、三次元センサ７から得られる情報に基づいて、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報、向き情報、又は両情報を取得する。取得部１１は、位置情報及び向き情報以外の情報を更に取得してもよい。以降、取得部１１により取得される、当該測定期間における被験者の肢体の所定部位に関する情報を総称して「肢体データ」と表記する場合もある。肢体データにより表される肢体の所定部位は、当該体操で測定可能な能力種に応じて決められてもよいし、出来る限り多くの所定部位の肢体データが取得されてもよい。
　「体操期間」とは、被験者により行われている体操の最初から最後までの全期間を意味する。例えば、被験者がラジオ体操第一を行っている場合、「体操期間」は、ラジオ体操第一の最初から最後までの全期間を意味する。「ラジオ体操第一」は、「伸びの運動」から「深呼吸」までの１３種の所定運動からなる周知の運動である。
　「測定期間」とは、被験者により行われる体操の全期間内の一部の期間であり、或る一つの肢体能力種を測定できる動きが行われる期間を意味する。即ち、「測定期間」は、測定される能力種毎にそれぞれ設けられる。「測定期間」は、体操期間の一部の期間であれば、その時間長は制限されない。測定対象となる肢体能力種は、例えば、上記非特許文献１で規定されている全ての項目又はその一部の項目である。
　図３及び図４は、測定期間の設定例を示す図である。
　図３は、肩の屈曲運動の能力を測定するために設定された測定期間を例示する。図３では、ラジオ体操第一における最初の運動である「伸びの運動」の中の、腕を体の正面で下から上に上げる動きの間が測定期間Ｍ１１及びＭ１２に設定されている。「伸びの運動」では、同じ動作が２回繰り返されるため、２つの測定期間Ｍ１１及びＭ１２が設定されている。即ち、図３の例では、肩の屈曲運動の能力に関し２つの測定期間Ｍ１１及びＭ１２が設けられている。
　図４は、肩の外転運動及び内転運動の各能力をそれぞれ測定するために設定された測定期間を例示する。図４では、ラジオ体操第一における３つ目の運動である「腕を回す運動」の中の腕を体の側面で下から上に上げる動きの間が測定期間Ｍ２１に設定されており、「腕を回す運動」の中の腕を体の側面で上から下に下げる動きの間が測定期間Ｍ２２に設定されている。測定期間Ｍ２１は、肩の外転運動の能力の測定のために設けられ、測定期間Ｍ２２は、肩の内転運動の能力の測定のために設けられている。
　取得部１１は、三次元センサ７から取得可能な二次元画像のフレーム及び深度画像（距離画像）のフレームの中で、当該測定期間を表す１以上のフレームを取得することができる。三次元センサ７から取得可能な二次元画像及び深度画像の各フレームレートに基づいて、取得部１１は、或るフレームから所定時間後のフレームを選択的に取得することができる。例えば、フレームレートが毎秒３０フレームに設定される場合、或るフレームから３０秒後のフレームは、当該或るフレームから９００フレーム目に取得できる。以降、二次元画像及び深度画像（距離画像）の各フレームは、二次元画像及び深度画像と略称される。
　取得部１１は、姿勢推定技術を用いて、取得された二次元画像及び深度画像から、三次元センサ７の視野内に位置する被験者の肢体の複数の所定部位を認識し、各部位の三次元位置（世界座標系）を特定する。取得部１１は、既存の様々な姿勢推定技術を用いることができる。例えば、取得部１１は、左肩、左肘、左手首、左手、右肩、右肘、右手首、右手、頭、肩中央、背骨、腰中央、右腰、左腰、右膝、右かかと、右足、左膝、左かかと、左足のような、肢体の複数部位の位置情報を取得することができる。取得部１１により取得される位置情報は、被験者が実際に存在する三次元空間に相当する世界座標系で表される。例えば、取得される位置情報は、三次元センサ７の視野の中心を原点として、左右方向をｘ軸（右方向を正）、上下方向をｙ軸（上方向を正）、深度方向（奥行方向を正）をｚ軸とする世界座標系により表される。以下、この世界座標系の例を用いて説明される。但し、世界座標系の三軸及び原点の配置は、このような例に限定されない。以降、取得部１１により取得される、被験者の肢体の所定部位の位置情報を骨格データと表記する場合もある。
　また、取得部１１は、測定期間の深度画像のみを用いて、被験者の肢体の所定部位の位置情報や床面の位置情報を取得することもできる。例えば、取得部１１は、測定期間の深度画像に対して既存のパターンマッチング技術を適用することにより、被験者の輪郭を特定し、その特定された輪郭に基づいて、被験者の指先の位置情報や床面の位置情報を取得することができる。このように取得される位置情報は、深度画像の画像座標系のｘ座標及びｙ座標、並びに世界座標系のｚ座標（深度）により表される。
　更に、取得部１１は、既存の画像認識技術を用いることにより、三次元センサ７から得られる二次元画像及び深度画像から人の顔を認識し、認識された顔の各部位の位置関係からその人の顔の向きを特定することができる。人の顔及び顔内の各部位の認識手法には、様々な既存の画像認識手法を用いることができる。取得部１１により取得される顔の向き情報は、ｚ軸からの角度で表される。取得される被験者の深度情報は、深度画像に基づく情報であり、顔の中心等のような被験者の肢体の或る一点の深度、又は被験者の肢体の複数点の中心位置の深度を示す。また、取得部１１は、上述のように取得された骨格データを用いて、被験者の体の向きを特定することもできる。例えば、取得部１１は、両肩の位置情報に基づいて、両肩を結ぶ線分と、ｘ軸方向との、ｙ軸に直交する平面上になす角度を、体の向きとして算出することができる。算出される体の向きは、肩の開き角度と表記することもできる。取得部１１は、算出された体の向きと上述のように特定された顔の向きとを合わせることで、体に対する顔の向きを算出することができる。
　本実施形態では、取得部１１は、或る体操に関し予め決められ保持される時間情報を用いて、次のように測定期間を特定し、その特定された測定期間における肢体データを取得する。
　取得部１１は、第一所定時間の情報及び第二所定時間の情報を予め保持する。取得部１１は、体操の開始時点から第一所定時間の経過後の時点を測定期間の開始時点として特定し、体操の開始時点又は測定期間の開始時点から第二所定時間の経過後の時点を測定期間の終了時点として特定する。即ち、第二所定時間は、体操の開始時点から測定期間の終了時点までの時間長を示すか、又は測定期間の時間長を示す。このように特定された開始時点及び終了時点に基づいて、取得部１１は、測定期間の開始時点の後かつ測定期間の終了時点の前の、位置情報又は向き情報を取得する。例えば、取得部１１は、測定期間の開始時点から測定期間の終了時点までの間の二次元画像及び深度画像を取得し、その取得された画像情報に基づいて、当該測定期間における肢体データを取得する。
　一つの体操に関して複数の肢体能力種が測定対象とされる場合、取得部１１は、第一所定時間の情報と第二所定時間の情報との少なくとも一つのペアを肢体能力種毎にそれぞれ保持する。取得部１１は、一つの肢体能力種について複数のペアを保持してもよい。そして、取得部１１は、保持される複数のペアを用いて特定された複数の測定期間の各々について、上述のように肢体データを取得すると共に、その取得された肢体データから指標値を算出すべき肢体能力種の識別情報を算出部１２に渡す。
　上述のように測定期間を特定するためには、取得部１１は、体操の開始時点を認識する必要がある。例えば、体操開始時点以降、三次元センサ７からの情報の取得が可能となる場合には、取得部１１は、三次元センサ７から最初に情報が取得されたタイミングを体操開始時点と認識することができる。この場合、例えば、測定装置１０は、体操開始と同時に、三次元センサ７のセンシングを開始させる。また、取得部１１は、三次元センサ７から最初に情報が取得されたタイミングから所定時間経過後の時点を体操開始時点として認識してもよい。この場合、取得部１１は、その所定時間の情報を予め保持していればよい。
　また、取得部１１は、マイクロフォンにより集音された音声情報を入出力Ｉ／Ｆ３を介して更に取得し、その音声情報で体操の開始時点を認識することもできる。取得部１１は、入力装置６を用いたユーザ操作の検出タイミングにより、体操の開始時点を認識してもよい。この場合、取得部１１は、体操開始時にユーザに所定操作を行わせる画面を表示装置５に表示し、その画面に対する所定操作が検出された時点を体操の開始時点として認識する。
　また、取得部１１は、三次元センサ７から得られる情報に対して、体操の開始時点に対応する所定の肢体姿勢の認識処理を行い、この認識結果に基づいて、体操の開始時点を特定することもできる。例えば、取得部１１は、既存の画像認識技術を用いて、周期的に取得される二次元画像から被験者の所定姿勢を認識する。体操は、両腕を下げた直立の姿勢で開始されることが多い。よって、取得部１１は、両腕を下げた直立の姿勢を認識した時点を体操の開始時点として特定してもよい。また、取得部１１は、取得される骨格データから直立の姿勢を認識することもできる。
　算出部１２は、取得部１１により取得される測定期間の肢体データに基づいて、被験者の肢体の、その測定期間に対応する肢体能力種の指標となる角度又は距離を算出する。測定期間について複数の肢体データが取得される場合、算出部１２は、各肢体データについて、角度又は距離をそれぞれ算出する。複数の肢体能力種が測定対象とされる場合には、算出部１２は、各肢体能力種に対応する能力指標の計算手法を用いて、角度又は距離を算出する。このとき、算出部１２は、取得部１１から肢体データと共に肢体能力種の識別情報を取得し、その肢体能力種の識別情報に基づいて、複数の肢体能力種に対応する複数の計算手法の中から、実行すべき計算手法を選択する。能力指標の計算手法には、既知の様々な手法が利用されればよく、その計算手法自体は制限されない。各肢体能力種に対応する能力指標の計算手法は、非特許文献１で示される規定に準拠していることが望ましい。
　例えば、算出部１２は、次のようにして、各肢体能力種に対応する能力指標となる角度又は距離を算出する。
　図５は、肩の能力指標の算出手法を示す図である。
　算出部１２は、肩の位置Ｐ１を端点としｙ軸負方向の線分Ｌ１と、肩の位置Ｐ１と手の位置Ｐ２とを結ぶ線分Ｌ２との、ｘ軸に直交する平面（ｙｚ平面、図３の紙面）上になす角度Ａ１を肩の屈曲運動の能力指標として算出する。
　算出部１２は、線分Ｌ１と、線分Ｌ２との、ｘ軸に直交する平面（ｙｚ平面、図３の紙面）上になす角度Ａ２を肩の伸展運動の能力指標として算出する。
　算出部１２は、肩の位置Ｐ３を端点としｙ軸負方向の線分Ｌ３と、肩の位置Ｐ３と手の位置Ｐ４とを結ぶ線分Ｌ４との、ｚ軸に直交する平面（ｘｙ平面、図３の紙面）上になす角度Ａ３を肩の外転運動又は内転運動の能力指標として算出する。
　算出部１２は、肘の位置Ｐ５を端点としｚ軸負方向の線分Ｌ５と、肘の位置Ｐ５と手の位置Ｐ６とを結ぶ線分Ｌ６との、ｙ軸に直交する平面（ｘｚ平面、図３の紙面）上になす角度Ａ５を、肩の外旋運動の能力指標として算出する。
　算出部１２は、線分Ｌ５と、線分Ｌ６との、ｙ軸に直交する平面（ｘｚ平面、図３の紙面）上になす角度Ａ６を、肩の内旋運動の能力指標として算出する。
　算出部１２は、肩の位置Ｐ７を端点としｘ軸負方向の線分Ｌ７と、肩の位置Ｐ７と手の位置Ｐ８とを結ぶ線分Ｌ８との、ｙ軸に直交する平面（ｘｚ平面、図３の紙面）上になす角度Ａ７を、肩の水平屈曲運動の能力指標として算出する。
　算出部１２は、線分Ｌ７と、線分Ｌ８との、ｙ軸に直交する平面（ｘｚ平面、図３の紙面）上になす角度Ａ８を、肩の水平伸展運動の能力指標として算出する。
　図６は、胸腰部の屈曲運動に関する能力指標の算出方法を示す図である。算出部１２は、被験者の指先Ｐ９と、その指先Ｐ９からｙ軸負方向の線分と床面との交点Ｐ１０との間の距離を算出する。例えば、算出部１２は、取得部１１により取得された、手の指先のｙ座標及び床面のｙ座標に基づいて、深度画像上における指先から床面までの画素数ＰＸ１を算出する。算出部１２は、算出された画素数ＰＸ１と、特定された被験者の指先Ｐ９の深度ＤＰＴと、二次元画像の高さの半分の画素数ＰＸ２と、三次元センサ７（二次元画像を撮像する可視光カメラ等）の垂直視野角の半分（例えば、３０度）とを用いて、次のような式により、世界座標系における被験者の指先と床面との間の距離を算出することができる。
　世界座標系の距離＝（ＰＸ１・ＤＰＴ・ｔａｎ３０）／ＰＸ２
　但し、被験者の指先と床面との間の距離の算出手法は、この式に限定されない。例えば、ＰＸ２は、深度画像の高さの半分の画素数とし、垂直視野角は、深度センサの垂直視野角としてもよい。また、ＰＸ１は、二次元画像上における画素数としてもよい。
　出力処理部１３は、算出部１２により算出された角度又は距離を出力する。或る測定期間に関して複数の角度又は複数の距離が算出される場合がある。この場合には、出力処理部１３は、算出された複数の角度又は複数の距離の中の最大値又は最小値を、その測定期間に対応する肢体能力種の指標値として出力してもよい。また、複数の肢体能力種が測定対象とされる場合には、出力処理部１３は、複数の肢体能力種をそれぞれ識別する各識別情報と関連付けた状態で、算出された角度又は距離をそれぞれ出力することもできるし、最大値又は最小値をそれぞれ出力することもできる。肢体能力種を識別する識別情報は、数値であってもよいし、「肩の屈曲運動」のように文字列であってもよい。
　出力処理部１３は、算出部１２により角度又は距離が算出される度に出力してもよいし、肢体能力種の指標値として最大値又は最小値が決定される度に出力してもよい。また、出力処理部１３は、全ての測定期間について角度又は距離の算出が完了した時点で一括に出力してもよい。また、出力処理部１３の出力方法は制限されない。出力処理部１３は、肢体能力種の指標値を表示装置５に表示してもよいし、通信ユニット４に接続されるプリンタ装置に印刷させてもよい。また、出力処理部１３は、肢体能力種の指標値を、通信ユニット４を経由して可搬型記録媒体に格納してもよいし、通信ユニット４を介して他のコンピュータに送信してもよい。また、出力処理部１３は、当該指標値をファイルとして蓄積することもできる。
　図７は、出力処理部１３による出力の具体例を示す図である。図７の例では、肢体能力種毎に区分けされた表形式で、肢体能力種の名称及び能力指標値として算出された角度又は距離が出力されている。例えば、出力処理部１３は、全ての測定期間について角度又は距離の算出が完了した時点で、図７に示される表を出力する。
〔動作例／測定方法〕
　以下、第一実施形態における測定方法について図８を用いて説明する。
　図８は、第一実施形態における測定装置１０の動作例を示すフローチャートである。図８に示されるように、第一実施形態における測定方法は、測定装置１０のような少なくとも一つのコンピュータにより実行される。図８に示される各処理工程は、測定装置１０が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
　測定装置１０は、肢体能力種毎に、第一所定時間の情報と第二所定時間の情報との少なくとも一つのペアを保持する。保持される時間情報のペアは、一つの測定期間を特定するための情報である。以下、或る体操について複数の肢体能力種が測定対象とされる場合が例示される。
　測定装置１０は、時間的に早いものから順に、第一所定時間及び第二所定時間のペアを取得する（Ｓ８１）。このとき、測定装置１０は、取得された時間ペアに基づいて測定すべき肢体能力種を特定する（Ｓ８２）。例えば、測定装置１０は、時間ペアを肢体能力種の識別情報と関連付けて予め保持しており、当該時間ペアと共に、そのペアに関連付けられた肢体能力種の識別情報を取得する。
　測定装置１０は、（Ｓ８１）で取得された時間ペアに基づいて、測定期間の開始時点及び終了時点を特定する（Ｓ８３）。具体的には、測定装置１０は、体操の開始時点から第一所定時間の経過後の時点を測定期間の開始時点として特定し、体操の開始時点又は測定期間の開始時点から第二所定時間の経過後の時点を測定期間の終了時点として特定する。例えば、測定期間の開始時点は、体操の開始時点から１５秒後に設定され、測定期間の終了時点は、体操の開始時点から２０秒後又は測定期間の開始時点から５秒後に設定される。以降、（Ｓ８２）で開始時点及び終了時点が特定された測定期間は、対象測定期間と表記される。
　測定装置１０は、（Ｓ８３）で特定された測定期間の開始時点及び終了時点に基づいて、体操をしている被験者の肢体の所定部位に関する、当該測定期間における肢体データを取得する（Ｓ８４）。例えば、測定装置１０は、設定されているフレームレートに従って体操開始時点以降に三次元センサ７から取得される二次元画像及び深度画像の数をカウントすることにより、測定期間の開始時点より後でかつ終了時点より前の二次元画像及び深度画像を取得する。そして、測定装置１０は、取得された二次元画像及び深度画像から、被験者の肢体の所定部位に関する位置情報、向き情報、又はその両方（肢体データ）を取得する。但し、測定装置１０は、深度画像のみからその位置情報を取得することもできる。二次元画像及び深度画像、又は深度画像のみからの肢体データの取得手法については、上述したとおりである（取得部１１）。
　測定装置１０は、測定期間の開始時点の後かつ測定期間の終了時点の前の各肢体データについて、角度又は距離をそれぞれ算出する（Ｓ８５；ＮＯ、Ｓ８６）。このとき、測定装置１０は、複数の肢体能力種に対応する複数の計算手法の中から、（Ｓ８２）で特定されている肢体能力種に対応する算出手法を選択する。測定装置１０は、算出された角度又は距離を、（Ｓ８２）で特定されている肢体能力種毎に区別できるように、保持する。
　測定装置１０は、測定期間の終了時点が経過すると（Ｓ８５；ＹＥＳ）、他の時間ペアが存在するか否かを判定する（Ｓ８７）。言い換えれば、測定装置１０は、他の測定期間が設定されているか否かを判定する。ここで、測定期間の終了時点の経過は、例えば、測定期間の終了時点より後の二次元画像及び深度画像が取得されたか否かで判断される。測定装置１０は、他の時間ペアが存在する場合（Ｓ８７；ＹＥＳ）、新たな第一所定時間及び新たな第二所定時間のペアを取得し（Ｓ８１）、この新たに取得された時間ペアに基づいて、（Ｓ８２）以降を実行する。
　測定装置１０は、他の時間が存在しない場合（Ｓ８７；ＮＯ）、（Ｓ８６）で算出され保持されている複数の角度又は複数の距離を、肢体能力種毎に集計し、各肢体能力種についての能力指標値をそれぞれ決定する（Ｓ８８）。具体的には、測定装置１０は、肢体能力種毎に、最大角度、最小角度、最大距離、又は最小距離を決定し、決定された最大値又は最小値を各肢体能力種の能力指標値にそれぞれ決定する。
　測定装置１０は、（Ｓ８８）で決定された、肢体能力種毎の能力指標値を出力する（Ｓ８９）。上述したとおり、能力指標値の出力方法は制限されない（出力処理部１３）。
　本実施形態の測定方法は、図８の例に限定されない。本実施形態の測定方法は、図８に示される１以上の処理工程を含まなくてもよい。また、各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、（Ｓ８８）は、（Ｓ８６）の後に実行されてもよい。この場合、測定装置１０は、（Ｓ８６）で角度又は距離が算出される度に、その算出された角度又は距離が示す肢体能力種に関する能力指標値を決定することになる。この場合、（Ｓ８８）の後に（Ｓ８９）が実行されてもよい。これによれば、一つの測定期間について計算が終了する度に、対応する肢体能力種の能力指標値が出力される。また、（Ｓ８８）は、実行されず、（Ｓ８６）で算出された角度又は距離がそのまま出力されてもよい。
〔第一実施形態の作用及び効果〕
　上述したとおり、第一実施形態では、肢体能力の測定期間を特定するための時間情報（第一所定時間及び第二所定時間）が測定装置１０で予め保持されており、この時間情報で特定された測定期間における肢体データに基づいて、被験者の肢体の、その測定期間に対応する肢体能力種の指標となる角度又は距離が算出される。このように、第一実施形態では、或る体操を構成する運動の中で、被験者の肢体能力を測定できる動きの期間が測定期間として自動で特定され、その測定期間内の被験者の肢体の所定部位の位置又は向きから、或る肢体能力種の指標値が算出される。
　これにより、被験者は、測定のための専用の動きではなく或る体操を行えば、自身の肢体能力の指標値を得ることができるため、肢体能力の測定自体への被験者の抵抗感を和らげることができる。結果、測定頻度を上げさせ、被験者に自身の体の積極的な管理を促すことができる。更に、専用の動きを被験者に要求しなくてすむため、被験者が測定を意識し過ぎることもなく、被験者本来の能力を測定することができる。
　また、図３及び図４に例示したように、複数種の肢体能力を測定できる体操がある。第一実施形態では、肢体能力種毎に測定期間がそれぞれ設けられ、各測定期間を特定するための時間情報がそれぞれ保持され、複数の肢体能力種に関し、能力指標値がそれぞれ決定される。これにより、被験者は、一つの体操を行うことで、複数の肢体能力種の指標値を得ることができる。
［第一実施形態の補足］
　第一実施形態は、ラジオ体操第一及びラジオ体操第二のように複数種の体操に対応することもできる。即ち、測定装置１０（取得部１１）は、各体操種について、その体操種で測定可能な肢体能力種毎の時間情報のペアをそれぞれ保持する。具体的には、測定装置１０は、体操種の識別情報、肢体能力種の識別情報、及び時間情報のペアの対応付けを予め保持する。測定装置１０（取得部１１）は、被験者により行われている体操種を特定し、その特定された体操種に対応付けられた、肢体能力種毎の時間情報のペアを取得することで、各測定期間をそれぞれ特定することができる。体操種は、入力装置６を用いたユーザ操作により指定されてもよいし、体操の開始後一定期間の被験者の動作を認識することで、自動で特定されてもよい。
　また、上述の説明では、体操をしている被験者の動きからリアルタイムに肢体能力の指標値が算出された。しかしながら、上述の第一実施形態は、体操をしている被験者の三次元的な動きが記録（格納）された情報に基づいて、肢体能力の指標値を算出することもできる。この場合、被験者が体操をしている間に、その被験者をセンシングする三次元センサ７から所定周期で取得される二次元画像及び深度画像が、取得されたタイミングを区別できるように、測定装置１０又は他の装置に一旦格納される。測定装置１０（取得部１１）は、この格納された二次元画像群及び深度画像群を通信等により取得し、取得された二次元画像群及び深度画像群から、測定期間の肢体データを取得する。取得される二次元画像群及び深度画像群は、取得タイミングで区別可能であるため、測定装置１０は、測定期間の開始時点及び終了時点に対応する各取得タイミングに基づいて、測定期間の肢体データを取得することができる。
　上述の説明では特に言及されなかったが、複数の測定期間が設けられる場合、二番目以降の測定期間の開始時点を特定するための第一所定時間は、体操の開始時点からの時間長であってもよいし、直前の測定期間の開始時点又は終了時点からの時間長であってもよい。
［第二実施形態］
　上述の第一実施形態では、肢体能力の測定期間を特定するための時間情報（第一所定時間及び第二所定時間）が測定装置１０で予め保持されていた。第二実施形態における測定装置１０及び測定方法は、体操をしている被験者の三次元的な動きが記録（格納）された記録情報に基づいて、第一実施形態のような時間情報を用いず、自動的に測定期間を特定する。以下、第二実施形態における測定装置及び測定方法について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。
　第二実施形態では、上述のように、体操をしている被験者の三次元的な動きが記録（格納）された記録情報が存在することが前提となる。測定装置１０がこの記録情報を生成してもよい。この場合、測定装置１０は、被験者が体操をしている間に、その被験者をセンシングする三次元センサ７から二次元画像及び深度画像を周期的に取得し、取得された二次元画像及び深度画像を、取得タイミングを区別できるように、メモリ２に格納する。測定装置１０は、記録情報として、骨格データを格納してもよい。また、この記録情報は他の装置により生成されてもよい。この場合、測定装置１０は、三次元センサ７に接続されている必要はなく、その記録情報を通信ユニット４を介して他の装置又は可搬型記録媒体から取得すればよい。
〔処理構成〕
　取得部１１は、上述のように取得された記録情報に対する測定期間に対応する所定の肢体動作の認識処理により、その記録情報の中のその測定期間を特定する。取得部１１は、肢体能力種毎に、その肢体能力種の能力指標を測定できる肢体動作の情報を予め保持しておく。保持される情報は、例えば、その肢体動作を構成する複数の姿勢を表す骨格データパターン又は深度画像の輪郭（シルエット）パターンである。骨格データパターンは、各姿勢をそれぞれ表す骨格データの集合である。骨格データパターンを形成する骨格データは、或る姿勢の肢体における複数の所定部位の位置情報である。例えば、両手を挙げた姿勢は、両手、頭、両肩、腰中央、両膝、及び両足の位置を示す骨格データにより表される。骨格データパターンを形成する骨格データは、頭に対する左手の位置のように、所定部位間の相対位置を示すデータであってもよい。輪郭パターンは、深度画像における人の各姿勢をそれぞれ表す輪郭の集合である。
　取得部１１は、記録情報として取得される各骨格データ又は各深度画像に対して、その保持される骨格データパターン又は深度画像の輪郭パターンのマッチング処理をそれぞれ行うことにより、そのパターン情報で表される所定の肢体動作の認識を試みる。具体的には、取得部１１は、記録情報として取得される各骨格データと、保持される骨格データパターンとの比較を行い、取得される各骨格データに所定の肢体動作が含まれているか否かを判定する。また、取得部１１は、記録情報として取得される各深度画像に、輪郭パターンに含まれる複数の輪郭が含まれているか否かを判定する。
　取得部１１は、肢体能力種に関して保持される骨格データパターン又は輪郭パターンと類似する骨格データパターン又は輪郭パターンを含む、時間的に連続した取得タイミングで取得された複数の二次元画像及び複数の深度画像を、当該記録情報の中の測定期間の情報として特定する。取得部１１は、測定期間の情報として特定された複数の二次元画像及び複数の深度画像に基づいて、第一実施形態と同様に、測定期間の肢体データを取得する。但し、取得部１１は、所定の肢体動作の認識のために、二次元画像のパターンマッチングを用いることもできる。この場合、取得部１１は、所定の肢体動作を構成する複数の姿勢を表す複数のパターン画像を保持しており、記録情報として取得される各二次元画像に対して、その保持される各パターン画像を用いたパターンマッチング処理をそれぞれ行えばよい。
　図９は、肢体動作の認識処理を概念的に示す図である。図９の例では、取得部１１は、ＰＴ１、ＰＴ２、及びＰＴ３で示される人の３つの姿勢を表す深度画像の輪郭（シルエット）パターンを予め保持する。取得部１１は、記録情報として取得された深度画像群に対して、時間順に、輪郭情報ＰＴ１とのパターンマッチング処理を行う。取得部１１は、輪郭情報ＰＴ１と類似する輪郭を含む深度画像を検出すると、その深度画像よりも後に取得された深度画像に対して、輪郭情報ＰＴ２とのパターンマッチング処理を行う。取得部１１は、輪郭情報ＰＴ２と類似する輪郭を含み、先に検出された深度画像に時間的に近い深度画像を検出すると、その深度画像よりも後に取得された深度画像に対して、輪郭情報ＰＴ３とのパターンマッチング処理を行う。取得部１１は、輪郭情報ＰＴ３と類似する輪郭を含み、先に検出された深度画像に時間的に近い深度画像を検出すると、最初に検出された深度画像から最後に検出された深度画像までの間を測定期間として特定する。図９の例では、測定期間Ｍ１１及びＭ１２が特定される。
　図９では、深度画像の輪郭パターンとのパターンマッチングにより、所定の肢体動作が認識されたが、上述したとおり、所定の肢体動作の認識のために、骨格データパターン又は二次元画像パターンが利用されてもよい。骨格データパターンが利用される場合、取得部１１は、ＰＴ１、ＰＴ２、及びＰＴ３で示される人の３つの姿勢を表す３つの骨格データを予め保持していればよい。また、二次元画像パターンが利用される場合、取得部１１は、ＰＴ１、ＰＴ２、及びＰＴ３に対応する３つのパターン画像を予め保持していればよい。
〔動作例／測定方法〕
　以下、第二実施形態における測定方法について図１０を用いて説明する。
　図１０は、第二実施形態における測定装置１０の動作例を示すフローチャートである。図１０に示されるように、第二実施形態における測定方法は、測定装置１０のような少なくとも一つのコンピュータにより実行される。図１０に示される各処理工程は、測定装置１０が有する上述の各処理モジュールの処理内容と同様であるため、各処理工程の詳細は、適宜省略される。
　測定装置１０は、体操をしている被験者の三次元的な動きが記録（格納）された記録情報を取得する（Ｓ９１）。測定装置１０は、メモリ２からその記録情報を取得してもよいし、他の装置又は可搬型記録媒体からその記録情報を通信ユニット４を介して取得してもよい。この記録情報は、例えば、被験者が体操をしている間に、その被験者をセンシングする三次元センサ７から周期的に取得された二次元画像及び深度画像が、取得タイミングを区別できるように、格納されたものである。
　測定装置１０は、取得された記録情報に対して或る肢体能力種に対応する所定の肢体動作の認識処理を行う。上述したとおり、測定装置１０は、複数の肢体能力種の各々について、その肢体能力種に対応する測定期間を特定するための所定の肢体動作を示す情報をそれぞれ保持している。所定の肢体動作を示す情報及びその肢体動作の認識処理については、上述したとおりである（取得部１１）。
　測定装置１０は、当該所定の肢体動作の認識に成功すると（Ｓ９３；ＹＥＳ）、（Ｓ９１）で取得された記録情報の中のその肢体動作を表す期間を、その肢体能力種に対応する測定期間として特定する（Ｓ９４）。測定装置１０は、記録情報の中のその特定された測定期間の情報に基づいて、当該測定期間の肢体データを取得する（Ｓ９５）。この肢体データの取得手法についても上述したとおりである（取得部１１）。
　測定装置１０は、測定期間の開始時点の後かつ測定期間の終了時点の前の各肢体データについて、角度又は距離をそれぞれ算出する（Ｓ９５、Ｓ９６）。このとき、測定装置１０は、複数の肢体能力種に対応する複数の計算手法の中から、（Ｓ９２）で選択されている肢体能力種に対応する算出手法を選択する。測定装置１０は、算出された角度又は距離を、（Ｓ９２）で選択されている肢体能力種毎に区別できるように、保持する。
　測定装置１０は、（Ｓ９６）の後、又は当該所定の肢体動作の認識に失敗した場合に（Ｓ９３；ＮＯ）、測定すべき他の肢体能力種が存在するか否かを判定する（Ｓ９７）。測定装置１０は、他の肢体能力種が存在する場合（Ｓ９７；ＹＥＳ）、（Ｓ９１）で取得された記録情報に対して、新たな肢体能力種に対応する所定の肢体動作の認識を試みる（Ｓ９２）。測定装置１０は、この新たな肢体能力種に関して、（Ｓ９２）以降を実行する。
　測定装置１０は、測定すべき他の肢体能力種が存在しなくなると（Ｓ９７；ＮＯ）、（Ｓ９６）で算出され保持されている複数の角度又は複数の距離を、肢体能力種毎に集計し、各肢体能力種についての能力指標値をそれぞれ決定する（Ｓ９８）。具体的には、測定装置１０は、肢体能力種毎に、最大角度、最小角度、最大距離、又は最小距離を決定し、決定された最大値又は最小値を各肢体能力種の能力指標値にそれぞれ決定する。
　測定装置１０は、（Ｓ９８）で決定された、肢体能力種毎の能力指標値を出力する（Ｓ９９）。上述したとおり、能力指標値の出力方法は制限されない（出力処理部１３）。
　本実施形態の測定方法は、図１０の例に限定されない。本実施形態の測定方法は、図１０に示される１以上の処理工程を含まなくてもよい。また、各処理工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、（Ｓ９８）は、（Ｓ９６）の後かつ（Ｓ９７）の前に実行されてもよい。この場合、測定装置１０は、或る測定期間についての角度又は距離の算出が完了する度に、その測定期間に対応する肢体能力種に関する能力指標値を決定することになる。この場合、（Ｓ９８）の後に（Ｓ９９）が実行されてもよい。これによれば、一つの測定期間について計算が終了する度に、対応する肢体能力種の能力指標値が出力される。また、（Ｓ９８）は、実行されず、（Ｓ９６）で算出された角度又は距離がそのまま出力されてもよい。
〔第二実施形態の作用及び効果〕
　上述のように、第二実施形態では、体操をしている被験者の三次元的な動きが記録された記録情報が存在し、この記録情報に対する所定の肢体動作の認識処理により記録情報の中の測定期間が自動で特定される。このように、第二実施形態によれば、測定期間を特定するための時間情報が予め保持されていなくても、肢体動作の認識処理により測定期間を特定することができる。従って、測定装置１０にとって知らない体操が被験者により行われたとしても、その体操を行う被験者の動きの記録情報があれば、被験者の肢体能力を測定することができる。即ち、第二実施形態によれば、体操が行われるリアルタイムな時間での測定はできないものの、被験者に行わせる体操の種類を限定せず、どんな体操が行われたとしても、肢体能力を測定することができる。
［変形例］
　上述の第一実施形態では、測定期間の特定のために体操の開始時点が特定された。しかしながら、体操の開始時点が特定されなくてもよい。ラジオ体操第一やラジオ体操第二等では、同じ運動が複数回繰り返される。具体的には、ラジオ体操第一において、伸びの運動では、同じ動きが２回繰り返され、腕を回す運動では、同じ動きが４回繰り返される。そこで、複数回繰り返される運動において測定が行われる場合、体操の開始時点の代わりに、繰り返される運動間の時間関係により、測定期間が特定されてもよい。
　具体的には、取得部１１は、三次元センサ７から周期的に取得される二次元画像及び深度画像に対する所定の肢体動作の認識処理により、繰り返しの中の一つである第一運動の期間内で仮の測定期間を検出する。所定の肢体動作は、測定期間で行われる予め決められた動きであり、その認識処理は、第二実施形態で述べたとおりである。図９の例によれば、取得部１１は、測定期間Ｍ１２を特定するために、測定期間Ｍ１１を仮の測定期間として検出する。この場合、同じ運動が２回繰り返される伸びの運動の中の、１回目の運動が第一運動に該当する。取得部１１は、例えば、ＰＴ１、ＰＴ２、及びＰＴ３で示される人の３つの姿勢を表す３つの輪郭パターンを用いて、その一回目の運動の期間内で測定期間Ｍ１１を仮の測定期間として自動で検出する。
　取得部１１は、検出された仮の測定期間の開始時点又は終了時点から、保持される第一所定時間の経過後の時点を測定期間の開始時点として特定し、当該仮の測定期間の開始時点又は終了時点から、保持される第二所定時間の経過後の時点、若しくは測定期間の開始時点からその第二所定時間の経過後の時点を測定期間の終了時点として特定する。図９の例では、取得部１１に予め保持される第一所定時間は、仮の測定期間Ｍ１１の開始時点又は終了時点から測定期間Ｍ１２の開始時点までの時間長を示す。第二所定時間は、仮の測定期間Ｍ１１の開始時点又は終了時点から測定期間Ｍ１２の終了時点までの時間長、若しくは測定期間Ｍ１２の開始時点から測定期間Ｍ１２の終了時点までの時間長を示す。取得部１１は、このように自動で特定された測定期間の開始時点の後かつ測定期間の終了時点の前の、位置情報又は向き情報を肢体データとして取得する。
　この構成によれば、体操の開始時点の特定が難しい場合でも、肢体動作の認識処理により測定期間を特定することができ、被験者の肢体能力を測定することができる。
［各実施形態の補足］
　上述の説明では、測定装置１０には三次元センサ７が接続され、三次元センサ７から取得される、二次元画像及び深度画像、又は深度画像のみに基づいて、肢体データが取得される例が示された。しかしながら、肢体データの元となる情報は、二次元画像及び深度画像のみに制限されない。即ち、測定装置１０（取得部１１）は、体操をしている被験者の三次元的な動きを表す時系列情報、又は体操をしている被験者の三次元的な動きが記録された記録情報から肢体データを取得することができる。この時系列情報及び記録情報の一具体例が、二次元画像、深度画像である。例えば、測定装置１０（取得部１１）は、人の体に取り付けられたマーカの検出又はセンサとの通信により、被験者の肢体の所定部位に関する位置情報又は向き情報を取得し、この取得された位置情報又は向き情報の中から、測定期間における位置情報又は向き情報を取得してもよい。また、深度情報は、二次元位置毎の深度を示す情報であれば、どのような形式で表されていてもよい。
［第三実施形態］
　以下、第三実施形態における測定装置及び測定方法について図１、図２、及び図１１を用いて説明する。また、第三実施形態は、この測定方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。
　第三実施形態における測定装置のハードウェア構成は、上述の各実施形態と同様であってもよい（図１参照）。但し、第三実施形態における測定装置には、表示装置５、入力装置６、及び三次元センサ７が接続されていなくてもよい。
　第三実施形態における測定装置の処理構成は、上述の各実施形態と同様である（図２参照）。但し、次のような点で、各処理モジュールの処理内容は、上述の各実施形態と異なっていてもよい。
　取得部１１は、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する。「肢体の所定部位」、「体操期間」及び「測定期間」については、上述のとおりである。取得部１１は、体操をしている被験者の位置情報又は向き情報をリアルタイムに取得してもよいし、記録された位置情報又は向き情報を任意のタイミングで取得してもよい。位置情報又は向き情報は、測定装置１０自身により記録されてもよいし、他の装置により記録されてもよい。取得部１１は、記録された位置情報又は向き情報を可搬型記録媒体又は他の装置から取得してもよい。
　例えば、深度情報のみが必要とされる場合には、測定装置１０には深度センサ（図示せず）が接続され、測定装置１０（取得部１１）は、深度センサから、深度情報を周期的に取得してもよい。取得される深度情報は、二次元位置毎の深度を示す情報であれば、どのような形式で表されていてもよい。また、測定装置１０（取得部１１）は、人の体に取り付けられたマーカの検出又はセンサとの通信により、被験者の肢体の所定部位に関する位置情報又は向き情報を取得することもできる。即ち、測定装置１０（取得部１１）は、体操をしている被験者の三次元的な動きを表す時系列情報、又は体操をしている被験者の三次元的な動きが記録された記録情報から、測定期間における位置情報又は向き情報を取得する。
　算出部１２は、取得部１１により取得された位置情報又は向き情報に基づいて、被験者の肢体の、測定期間に対応する肢体能力種の指標となる角度又は距離を算出する。算出部１２による具体的な算出手法の例は、上述のとおりである。算出部１２による角度又は距離の算出手法は制限されない。
　出力処理部１３は、算出部１２により算出された角度又は距離を出力する。出力処理部１３による出力例は、上述のとおりである。出力処理部１３による角度又は距離の出力タイミング及び出力方法は制限されない。
　図１１は、第三実施形態における測定装置１０の動作例を示すフローチャートである。図１１に示されるように、第三実施形態における測定方法は、測定装置１０のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、測定装置１０が有する各処理モジュールにより実行される。
　本実施形態における測定方法は、（Ｓ１１１）、（Ｓ１１２）、及び（Ｓ１１３）を含む。（Ｓ１１１）では、測定装置１０は、体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する。（Ｓ１１２）では、測定装置１０は、（Ｓ１１１）で取得された位置情報又は向き情報に基づいて、被験者の肢体の、測定期間に対応する肢体能力種の指標となる角度又は距離を算出する。（Ｓ１１３）では、測定装置１０は、（Ｓ１１２）で算出された角度又は距離を出力する。
　第三実施形態では、被験者が行っている体操の一部の期間（測定期間と表記される）における、その被験者の肢体の所定部位の位置情報又は向き情報が取得され、その取得された情報に基づいて、その被験者のその測定期間に対応する肢体能力種の指標となる角度又は距離が算出及び出力される。これにより、被験者は、或る体操を行っていれば、その体操内の或る期間に対応する能力種の指標を得ることができる。従って、第三実施形態によれば、測定のための専用の動きを要求する必要もなく、肢体能力測定の利便性を向上させることができる。
　体操自体は、本来、肢体能力の測定を主目的とするものではない。本発明者らは、このような肢体能力の測定とは一見、無関係に見える体操に着目し、各種体操には肢体能力を測定可能な動きが含まれており、その動きの期間を用いることで肢体能力の測定の利便性を向上できるという新たな着想を得た。そして、上述の各実施形態は、このような新たな着想を具現化するものである。現在、ダンス採点システムやダンスゲーム等のように、音楽やリズムに合わせて動く人の動作を判定するシステムが存在する。このシステムでは、ポーズの一致度、又は一部の部位の動きの一致度により動作の良し悪しが判定される。各実施形態で具現化されている上述のような技術思想は、このシステムのように予め決められた動きや姿勢と一致するか否かを単に判定するものとは相違するものである。
　なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
　上記の各実施形態及び各変形例の一部又は全部は、以下のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
１．　体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する取得手段と、
　前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の、前記測定期間に対応する肢体能力種の指標となる角度又は距離を算出する算出手段と、
　前記算出された角度又は距離を出力する出力処理手段と、
　を備える測定装置。
２．　前記出力処理手段は、前記測定期間における複数の位置情報又は複数の向き情報に基づいて算出された複数の角度又は複数の距離の中の最大値又は最小値を、前記測定期間に対応する肢体能力種の指標値として出力する、
　１．に記載の測定装置。
３．　前記測定期間は、測定される肢体能力種毎にそれぞれ設けられ、
　前記出力処理手段は、複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
　１．又は２．に記載の測定装置。
４．　前記取得手段は、
　　第一所定時間の情報及び第二所定時間の情報を予め保持し、
　　前記体操の開始時点から前記第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
　　前記体操の開始時点又は前記測定期間の開始時点から前記第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
　１．から３．のいずれか１つに記載の測定装置。
５．　前記取得手段は、前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する前記体操の開始時点に対応する所定の肢体姿勢の認識処理により、前記体操の開始時点を特定する、
　４．に記載の測定装置。
６．　前記体操は、同一運動の繰り返しを含み、
　前記取得手段は、
　　第一所定時間の情報及び第二所定時間の情報を予め保持し、
　　前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する所定の肢体動作の認識処理により、前記繰り返しの中の一つである第一運動の期間内で仮の測定期間を検出し、
　　前記検出された仮の測定期間の開始時点又は終了時点から前記第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
　　前記検出された仮の測定期間の開始時点又は終了時点から前記第二所定時間の経過後の時点、若しくは前記測定期間の開始時点から前記第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
　１．から３．のいずれか１つに記載の測定装置。
７．　前記取得手段は、
　　第一所定時間の情報と第二所定時間の情報とのペアを肢体能力種毎にそれぞれ保持し、
　　保持される複数のペアを用いて特定された複数の測定期間の各々について、位置情報又は向き情報を取得し、
　前記出力処理手段は、前記複数の測定期間に対応する複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
　４．から６．のいずれか１つに記載の測定装置。
８．　前記取得手段は、前記体操をしている前記被験者の三次元的な動きが記録された記録情報に対する前記測定期間に対応する所定の肢体動作の認識処理により、その記録情報の中の前記測定期間を特定する、
　１．から３．のいずれか１つに記載の測定装置。
９．　少なくとも一つのコンピュータにより実行される測定方法において、
　体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得し、
　前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の、前記測定期間に対応する肢体能力種の指標となる角度又は距離を算出し、
　前記算出された角度又は距離を出力する、
　ことを含む測定方法。
１０．　前記測定期間における複数の位置情報又は複数の向き情報に基づいて算出された複数の角度又は複数の距離の中の最大値又は最小値を、前記測定期間に対応する肢体能力種の指標値として決定する、
　ことを更に含む９．に記載の測定方法。
１１．　前記測定期間は、測定される肢体能力種毎にそれぞれ設けられ、
　前記出力は、複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
　９．又は１０．に記載の測定方法。
１２．　前記取得は、
　　前記体操の開始時点から予め保持される第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
　　前記体操の開始時点又は前記測定期間の開始時点から予め保持される第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
　ことを含む９．から１１．のいずれか１つに記載の測定方法。
１３．　前記取得は、
　　前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する前記体操の開始時点に対応する所定の肢体姿勢の認識処理により、前記体操の開始時点を特定する、
　ことを更に含む１２．に記載の測定方法。
１４．　前記体操は、同一運動の繰り返しを含み、
　前記取得は、
　　前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する所定の肢体動作の認識処理により、前記繰り返しの中の一つである第一運動の期間内で仮の測定期間を検出し、
　　前記検出された仮の測定期間の開始時点又は終了時点から予め保持される第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
　　前記検出された仮の測定期間の開始時点又は終了時点から予め保持される第二所定時間の経過後の時点、若しくは前記測定期間の開始時点からその第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
　ことを含む９．から１１．のいずれか１つに記載の測定方法。
１５．　前記取得は、肢体能力種毎に保持される、第一所定時間の情報と第二所定時間の情報との複数のペアを用いて特定された複数の測定期間の各々について、位置情報又は向き情報を取得し、
　前記出力は、前記複数の測定期間に対応する複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
　１２．から１４．のいずれか１つに記載の測定方法。
１６．　前記取得は、前記体操をしている前記被験者の三次元的な動きが記録された記録情報に対する前記測定期間に対応する所定の肢体動作の認識処理により、その記録情報の中の前記測定期間を特定する、
　ことを含む９．から１１．のいずれか１つに記載の測定方法。
１７．　９．から１６．のいずれか１つに記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
　この出願は、２０１５年６月２６日に出願された日本出願特願２０１５－１２９０１８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得する取得手段と、
    　前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の、前記測定期間に対応する肢体能力種の指標となる角度又は距離を算出する算出手段と、
    　前記算出された角度又は距離を出力する出力処理手段と、
    　を備える測定装置。
  2. 　前記出力処理手段は、前記測定期間における複数の位置情報又は複数の向き情報に基づいて算出された複数の角度又は複数の距離の中の最大値又は最小値を、前記測定期間に対応する肢体能力種の指標値として出力する、
    　請求項１に記載の測定装置。
  3. 　前記測定期間は、測定される肢体能力種毎にそれぞれ設けられ、
    　前記出力処理手段は、複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
    　請求項１又は２に記載の測定装置。
  4. 　前記取得手段は、
    　　第一所定時間の情報及び第二所定時間の情報を予め保持し、
    　　前記体操の開始時点から前記第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
    　　前記体操の開始時点又は前記測定期間の開始時点から前記第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
    　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
    　請求項１から３のいずれか１項に記載の測定装置。
  5. 　前記取得手段は、前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する前記体操の開始時点に対応する所定の肢体姿勢の認識処理により、前記体操の開始時点を特定する、
    　請求項４に記載の測定装置。
  6. 　前記体操は、同一運動の繰り返しを含み、
    　前記取得手段は、
    　　第一所定時間の情報及び第二所定時間の情報を予め保持し、
    　　前記体操をしている前記被験者の三次元的な動きを表す時系列情報に対する所定の肢体動作の認識処理により、前記繰り返しの中の一つである第一運動の期間内で仮の測定期間を検出し、
    　　前記検出された仮の測定期間の開始時点又は終了時点から前記第一所定時間の経過後の時点を前記測定期間の開始時点として特定し、
    　　前記検出された仮の測定期間の開始時点又は終了時点から前記第二所定時間の経過後の時点、若しくは前記測定期間の開始時点から前記第二所定時間の経過後の時点を前記測定期間の終了時点として特定し、
    　　前記測定期間の開始時点の後かつ前記測定期間の終了時点の前の、位置情報又は向き情報を取得する、
    　請求項１から３のいずれか１項に記載の測定装置。
  7. 　前記取得手段は、
    　　第一所定時間の情報と第二所定時間の情報とのペアを肢体能力種毎にそれぞれ保持し、
    　　保持される複数のペアを用いて特定された複数の測定期間の各々について、位置情報又は向き情報を取得し、
    　前記出力処理手段は、前記複数の測定期間に対応する複数の肢体能力種をそれぞれ識別する各識別情報と関連付けて、前記算出された角度又は距離をそれぞれ出力する、
    　請求項４から６のいずれか１項に記載の測定装置。
  8. 　前記取得手段は、前記体操をしている前記被験者の三次元的な動きが記録された記録情報に対する前記測定期間に対応する所定の肢体動作の認識処理により、その記録情報の中の前記測定期間を特定する、
    　請求項１から３のいずれか１項に記載の測定装置。
  9. 　少なくとも一つのコンピュータにより実行される測定方法において、
    　体操をしている被験者の肢体の所定部位に関する、体操期間内の一部の測定期間における位置情報又は向き情報を取得し、
    　前記取得された位置情報又は向き情報に基づいて、前記被験者の肢体の、前記測定期間に対応する肢体能力種の指標となる角度又は距離を算出し、
    　前記算出された角度又は距離を出力する、
    　ことを含む測定方法。
  10. 　請求項９に記載の測定方法を少なくとも一つのコンピュータに実行させるプログラム。
PCT/JP2016/064138 2015-06-26 2016-05-12 測定装置及び測定方法 WO2016208290A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017524728A JP6465419B2 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015129018 2015-06-26
JP2015-129018 2015-06-26

Publications (1)

Publication Number Publication Date
WO2016208290A1 true WO2016208290A1 (ja) 2016-12-29

Family

ID=57584823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064138 WO2016208290A1 (ja) 2015-06-26 2016-05-12 測定装置及び測定方法

Country Status (2)

Country Link
JP (1) JP6465419B2 (ja)
WO (1) WO2016208290A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230355163A1 (en) 2020-09-29 2023-11-09 Mitsubishi Tanabe Pharma Corp Neuromuscular disease evaluation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
JP2013240467A (ja) * 2012-05-21 2013-12-05 Hitachi-Ge Nuclear Energy Ltd 災害防止支援システム
JP2014138873A (ja) * 2014-02-26 2014-07-31 Yunimekku:Kk 三次元加速度計を備えた脳・神経系疾患の病状診断システム
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5359414B2 (ja) * 2009-03-13 2013-12-04 沖電気工業株式会社 行動認識方法、装置及びプログラム
KR101214227B1 (ko) * 2011-05-25 2012-12-20 한국과학기술연구원 동작 추적 방법.
JP5870656B2 (ja) * 2011-11-30 2016-03-01 富士通株式会社 軌跡演算装置および軌跡演算方法
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002000584A (ja) * 2000-06-16 2002-01-08 Matsushita Electric Ind Co Ltd 関節可動域検査訓練システム
JP2013240467A (ja) * 2012-05-21 2013-12-05 Hitachi-Ge Nuclear Energy Ltd 災害防止支援システム
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム
JP2014138873A (ja) * 2014-02-26 2014-07-31 Yunimekku:Kk 三次元加速度計を備えた脳・神経系疾患の病状診断システム

Also Published As

Publication number Publication date
JP6465419B2 (ja) 2019-02-06
JPWO2016208290A1 (ja) 2017-11-09

Similar Documents

Publication Publication Date Title
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
EP3459061B1 (en) Multi -joint tracking combining embedded sensors and an external
JP6482103B2 (ja) 測定装置及び測定方法
CN105688396B (zh) 运动信息显示系统和运动信息显示方法
JP6207510B2 (ja) ゴルフ・スイングを分析するための装置および方法
TWI638280B (zh) 自動配置感測器的方法、電子設備及記錄媒體
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
JP2020174910A (ja) 運動支援システム
TWI652039B (zh) Simple detection method and system for sarcopenia
JP7008342B2 (ja) 運動評価システム
JP6465419B2 (ja) 測定装置及び測定方法
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
CN108885087A (zh) 测量装置、测量方法和计算机可读记录介质
JP6259301B2 (ja) 移動運動解析装置、方法及びシステム並びにプログラム
JP7482471B2 (ja) 学習モデルの生成方法
JP2015139669A (ja) 移動運動解析装置、方法及びシステム並びにプログラム
Wu et al. Seamless vision-assisted placement calibration for wearable inertial sensors
Li et al. Fitness coach: Design and implementation of a smart mirror based on automatic image recognition and action model comparison
JP6482102B2 (ja) 測定装置及び測定方法
JP6486200B2 (ja) 移動運動解析装置及びシステム並びにプログラム
WO2023275940A1 (ja) 姿勢推定装置、姿勢推定システム、姿勢推定方法
JP6378491B2 (ja) 移動運動解析装置、方法及びシステム並びにプログラム
JP2017213175A (ja) 移動運動解析装置及びシステム並びにプログラム
CN115910310A (zh) 一种心肺复苏按压姿势标准阈值的确定方法及处理器
TW201546618A (zh) 音階引導式肢體復健系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814061

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524728

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814061

Country of ref document: EP

Kind code of ref document: A1