WO2021166294A1 - 情報処理装置、および判断結果出力方法 - Google Patents

情報処理装置、および判断結果出力方法 Download PDF

Info

Publication number
WO2021166294A1
WO2021166294A1 PCT/JP2020/034224 JP2020034224W WO2021166294A1 WO 2021166294 A1 WO2021166294 A1 WO 2021166294A1 JP 2020034224 W JP2020034224 W JP 2020034224W WO 2021166294 A1 WO2021166294 A1 WO 2021166294A1
Authority
WO
WIPO (PCT)
Prior art keywords
skeleton
unit
user
result
imaging result
Prior art date
Application number
PCT/JP2020/034224
Other languages
English (en)
French (fr)
Inventor
崇 豊村
田中　毅
大輔 福井
弘充 中川
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to US17/793,993 priority Critical patent/US20230005161A1/en
Priority to CN202080094172.3A priority patent/CN115004265A/zh
Priority to EP20919513.0A priority patent/EP4109399A4/en
Publication of WO2021166294A1 publication Critical patent/WO2021166294A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an information processing device and a judgment result output method.
  • the average life expectancy of Japanese people continues to extend and exceeds 80 years for both men and women, but the healthy life expectancy, which indicates an unlimited period of daily life, is 72 years for men and 75 years for women, which is different from the average life expectancy.
  • locomotive syndrome A condition in which locomotive function is impaired due to locomotor disorders is called locomotive syndrome (hereinafter, also referred to as locomotive syndrome), and its prevention has been attracting attention in recent years.
  • Patent Document 1 a movement such as a golf swing is recognized by a depth camera such as "Kinect (registered trademark)", and an index extracted from the movement of a skeleton feature point is compared with a reference data to swing. A method for evaluating the appropriateness of is described.
  • a method is described in which a walking identification model is constructed in advance based on three-dimensional skeleton coordinates, and at the time of identification, conversion is added so that two-dimensional skeleton coordinates taken at an arbitrary angle can be input.
  • Patent Document 2 even when key point data such as skeletal joint data is given as two-dimensional data, it is possible to obtain information related to a predetermined posture in a three-dimensional space. Describes the device related to.
  • Patent Document 2 makes it possible to use it as an input as it is by converting it so that it becomes close to the original condition even when the device is changed. However, when the input condition is changed, the model is originally reconstructed. In the method of Patent Document 2, there is a limit to the identification accuracy.
  • an object of the present invention is to enable efficient data analysis.
  • An information processing device that processes information acquired from a device capable of imaging a user according to a typical embodiment of the present invention, and is a first imaging result obtained by an imaging of a user's motion state.
  • the first imaging result acquisition unit that acquires the results
  • the second imaging result acquisition unit that acquires the second imaging result that is the result of imaging by the second device that images the user's motion state
  • the first imaging result acquisition unit The skeleton recognition unit and the skeleton recognition unit that recognize the user's skeleton position using the first imaging result acquired by the above and recognize the user's skeleton position using the second imaging result acquired by the second imaging result acquisition unit.
  • the unit Based on the result recognized by the unit, it is recognized by the skeleton recognition unit using the first imaging result in the exercise period specifying unit that specifies the predetermined exercise period of the user and the exercise period specified by the exercise period specifying unit.
  • Calculated by the similarity calculation unit and the similarity calculation unit that calculate the similarity between the change in the skeleton position of the user and the change in the skeleton position of the user recognized by the skeleton recognition unit using the second imaging result. It is provided with a judgment result output unit that outputs a judgment result based on the degree of similarity.
  • FIG. It is a figure which shows an example of the screen example which shows the table which listed the correspondence between the skeletal feature point and the degree of similarity. It is a figure which showed the structure of the system which performs measurement using the motion analysis apparatus which concerns on 2nd Example. It is a figure which showed an example of the structure of the motion analysis apparatus which concerns on this Example which concerns on Example 2.
  • FIG. It is a figure which shows the input screen of a walking type. It is a figure which shows an example of the screen of the determination result.
  • This is a flowchart in which the motion analysis device estimates the correspondence between the skeleton feature points of the first measuring means and the second measuring means and generates a skeleton correspondence table. It is a figure which showed the structure of the motion analysis apparatus which concerns on Example 4.
  • FIG. It is a flowchart which specifies the skeletal feature point of the 1st measuring means which is similar with respect to the skeletal feature point (target feature point) of the 1st measuring means which does not exist in the 2nd measuring means.
  • FIG. 1 is a diagram showing an outline of a system configuration including the motion analysis device 101 according to the present embodiment.
  • the motion analysis device 101 is an information processing device that processes information acquired from a device (for example, a depth camera 102), and is a server device or the like.
  • the motion analysis device 101 is connected to the depth camera 102 (first device) by a USB cable or the like. As a result, the motion analysis device 101 can acquire information from the depth camera 102.
  • the motion analysis device 101 may send and receive information to and from the depth camera 102 via a network such as wireless or wired.
  • the depth camera 102 is a known depth camera, and as a result of imaging, information (depth information) in the X-axis direction, the Y-axis direction, and the Z-axis direction of the imaging target is generated, and the depth information is stored.
  • the depth camera 102 can capture a state when the subject 103 (user) is walking (for example, a state of walking toward the depth camera 102). That is, the depth camera 102 is a device capable of capturing an image of the user, and is a device capable of capturing the motion state of the user.
  • the motion analysis device 101 is a device that acquires information from a device (depth camera 102, etc.) capable of photographing a user and processes the information. Specifically, the motion analysis device 101 acquires depth information based on the result of imaging the state in which the subject 103 is walking. The motion analysis device 101 identifies the skeletal position of the subject 103 (for example, the skeletal position of the left elbow) from the depth information, identifies the change in the specified skeletal position, and determines whether or not the subject is locomotive based on the change. to decide. In this way, the motion analysis device 101 measures how the subject 103 walks.
  • a device depth camera 102, etc.
  • FIG. 2 is a diagram showing an example of the configuration of the motion analysis device 101 according to this embodiment.
  • the motion analysis device 101 identifies the operation input unit 201, the display unit 202, the control unit 203, the memory 204, the data input unit 205, the skeleton recognition unit 206, the feature amount generation unit 207, and the model 208.
  • a unit 209 is provided, and each unit is connected by a common bus (including a data bus and an address bus).
  • the operation input unit 201 is a part that receives instructions from a user (for example, the administrator of the motion analysis device 101) by operating a mouse or touch panel.
  • the display unit 202 is a display or the like, and is a part that displays and outputs various information.
  • the control unit 203 is a CPU (Central Processing Unit) or the like, and is a part that controls the operation of each unit.
  • Memory 204 is a part that stores various information such as memory.
  • the memory 204 temporarily holds data related to operation control by the control unit 203, for example.
  • the data input unit 205 is a part that acquires depth information and image data, which are the results captured by the depth camera 102 that captures the motion state of the subject 103, from the depth camera 102.
  • the skeleton recognition unit 206 is a part that recognizes the position of the skeleton feature point of the human body (subject 103) from the depth information. That is, the skeleton recognition unit 206 is a part that recognizes the skeleton position of the subject 103 using the depth information acquired by the data input unit 205.
  • the skeleton recognition unit 206 extracts position information (information on skeleton feature point positions) of each skeleton position specified from the depth information.
  • the feature amount generation unit 207 is a part that extracts a pre-designed index (feature amount) from the time transition of the skeleton feature point position (skeleton feature point coordinates). That is, the feature amount generation unit 207 is a portion that generates the feature amount (for example, left stride) of the skeleton from the skeleton position recognized by the skeleton recognition unit 206.
  • the model 208 is a part that stores a model in which the correspondence relationship has been learned in advance in order to identify the walking type from the feature quantity condition. That is, the model 208 is a database that stores model information in which the feature amount of the movement of the skeleton portion and the walking state corresponding to the feature amount are determined, and functions as a storage unit.
  • the identification unit 209 is a unit that identifies the walking type of the subject 103 by using the feature amount generated by the feature amount generation unit 207 and the model stored in the model 208.
  • the motion analysis device 101 generates feature quantities such as stride length and walking speed from the coordinate changes of the skeleton when the subject 103 walks, and identifies the walking type by combining a plurality of feature quantities.
  • the walking type corresponds to the classification of walking that is clinically abnormal such as pain avoidance walking and chicken walking, and the classification of walking by age group such as young people and elderly people.
  • these walking types are judged by looking at the characteristics of walking such as stride length and walking speed.
  • the motion analysis device 101 quantifies these features from the measurement data of the depth camera 102, and identifies them using a model in which the relationship with the walking type is learned by machine learning or the like.
  • FIG. 3 is a schematic diagram of a system including a motion analysis device that compares imaging results by a plurality of skeleton measuring means (devices).
  • the RGB camera 301 and the RGB camera 302 are further provided.
  • the depth camera 102 functions as the first skeleton measuring means
  • the RGB camera 301 and the RGB camera 302 function as the second skeleton measuring means.
  • the motion analysis device 101 is connected to the RGB camera 301 and the RGB camera 302 by a USB cable or the like. Further, the motion analysis device 101 may send and receive information to and from the RGB camera 301 and the RGB camera 302 via a network such as wireless or wired.
  • the RGB camera 301 and the RGB camera 302 are stereo cameras and can capture the motion state of the user.
  • the method of estimating the depth using a stereo camera composed of an RGB camera 301 and an RGB camera 302 is a method of estimating the depth of an object by using the parallax of two-dimensional images taken from two different directions. This is a known method.
  • the skeleton coordinate recognition by the depth camera 102 and the skeleton coordinate recognition by the RGB camera 301 and the RGB camera 302 can be accurately compared by performing the same walking of the same subject 103.
  • Exercises such as walking differ depending on the subject 103, and even for the same subject 103, the movement of the skeleton differs slightly each time the subject 103 walks. Therefore, the same walking of the same subject 103 is simultaneously measured and compared and evaluated. It is desirable to do.
  • the motion analysis device 101 acquires depth information from the depth camera 102, and acquires image data from the RGB camera 301 and the RGB camera 302.
  • the motion analysis device 101 identifies the operating state of the skeleton of the subject 103 based on the depth information acquired from the depth camera 102.
  • the motion analysis device 101 identifies the operating state (position change) of the skeleton of the subject 103 based on the image data acquired from the RGB camera 301 and the RGB camera 302. Then, the motion analysis device 101 determines whether or not the operating states of the skeletons are similar. As a result, whether or not the motion analysis device 101 may determine the motion state using the same model for the results imaged by the two skeleton coordinate acquisition means (first skeleton measuring means and second skeleton measuring means). Can be clarified.
  • FIG. 4 is a diagram showing an example of the configuration of the motion analysis device 101 according to this embodiment.
  • a similarity calculation unit 401 As shown in FIG. 4, in addition to the configuration of the motion analysis device 101 shown in FIG. 2, a similarity calculation unit 401, a skeleton correspondence table 402, and an exercise period extraction unit 403 are provided.
  • the data input unit 205 acquires image data from the RGB camera 301 and the RGB camera 302. That is, the data input unit 205 acquires the second imaging result, which is the result of imaging by the second device.
  • the skeleton recognition unit 206 recognizes the skeleton position of the subject 103 using the second imaging result (image data acquired from the RGB camera 301 and the RGB camera 302) acquired by the data input unit 205. Specifically, the skeleton recognition unit 206 extracts position information (information on skeleton feature point positions) of each skeleton position specified from the image data acquired from the RGB camera 301 and the RGB camera 302.
  • the similarity calculation unit 401 calculates the similarity by comparing the skeletal feature points recognized for the inputs from the depth cameras 102 with the skeletal feature points recognized for the inputs from the RGB cameras 301 and 302. do.
  • the similarity calculation unit 401 outputs a determination result based on the similarity calculated by itself to the display unit 202.
  • the correspondence between the skeletal feature points recognized by both is known in advance. Need to keep.
  • FIG. 5 shows an input screen for allowing the user to specify this correspondence.
  • FIG. 5 is a diagram showing an example of an input screen for inputting the correspondence of skeletal feature points.
  • the positions of the recognized skeletal feature points are superimposed and displayed as black circles on the subject image acquired by the first measuring means.
  • the position of the recognized skeletal feature point is superimposed on the subject image acquired by the second measuring means on the image 502.
  • the data input unit 205 acquires image data and depth data from the depth camera 102, the RGB camera 301, and the RGB camera 302, and the skeleton recognition unit 206 extracts the position information of each skeleton position, and then the display unit 202.
  • the screen shown in FIG. 5 is output to.
  • the skeleton recognition unit 206 associates and saves each skeleton feature point.
  • the name 503 of the skeletal feature point such as "left elbow” may be given.
  • the skeleton correspondence table 402 is obtained by associating all the skeleton feature points and saving them.
  • the skeleton recognition unit 206 includes the user's skeleton position recognized from the image data and depth information of the depth camera 102 acquired by the data input unit 205, and the RGB camera 301 and the RGB camera acquired by the data input unit 205.
  • the correspondence relationship with the user's skeleton position recognized from the image data of 302 is specified.
  • the motion analysis device 101 can compare the same or corresponding skeleton parts by associating the skeleton positions specified from the information acquired from both devices.
  • the skeleton recognition unit 206 can recognize the skeleton position more accurately by recognizing the skeleton position according to the user operation on the screen as shown in FIG.
  • the exercise period extraction unit 403 extracts from the start to the end of the exercise as a range of data for comparing the skeletal feature points recognized by the skeleton recognition unit 206.
  • one walking cycle from the landing of the right foot to the landing of the right foot again is set as the comparison range.
  • the Y-axis coordinate value of the right ankle may be observed, and the timing at which this takes the minimum value may be regarded as landing to determine the start or end.
  • the exercise period extraction unit 403 performs one walking cycle from the change in the position of the skeletal feature point based on the depth information of the depth camera 102 recognized by the skeleton recognition unit 206 to the landing of the right foot. Identify. Further, the exercise period extraction unit 403 walks from the change in the position of the skeleton feature point based on the image data of the RGB camera 301 and the RGB camera 302 recognized by the skeleton recognition unit 206 from the landing of the right foot to the landing of the right foot 1. Identify the cycle.
  • the exercise period extraction unit 403 specifies the predetermined exercise period of the user based on the result recognized by the skeleton recognition unit 206. Further, the exercise period extraction unit 403 identifies the walking cycle of the subject 103 based on the result recognized by the skeleton recognition unit 206. As a result, the motion analysis device 101 can be compared only during the same exercise period.
  • the similarity calculation unit 401 changes the skeleton position of the subject 103 recognized by the skeleton recognition unit 206 using the first imaging result during the exercise period specified by the exercise period extraction unit 403, and the skeleton recognition unit 206.
  • the degree of similarity with the change in the skeleton position of the subject 103 recognized using the second imaging result is calculated.
  • FIG. 6 is a flowchart showing a processing procedure for calculating the similarity of skeletal feature points in the similarity calculation unit 401.
  • step S01 the similarity calculation unit 401 performs a process of selecting an arbitrary skeleton.
  • the similarity calculation unit 401 selects one skeleton for which the similarity is to be calculated, such as the left shoulder, the right shoulder, the left ankle, and the right ankle.
  • the subsequent processing will be described.
  • step S02 the similarity calculation unit 401 is a process of acquiring the coordinate data of the skeletal feature points selected in step S01 from each of the first measuring means and the second measuring means.
  • the coordinate data of the skeleton feature points (data of the first measuring means and the second measuring means) referred to here are data extracted and output by the skeleton recognition unit 206.
  • the skeletal coordinates are recognized in three dimensions, and there is data acquired at specific sampling intervals for each of the X-axis, Y-axis, and Z-axis.
  • the subsequent processing will be described.
  • Step S03 is a process of acquiring data of one specific coordinate axis from the skeleton coordinate data acquired in step S02. Specifically, the similarity calculation unit 401 selects one from the X-axis, the Y-axis, and the Z-axis, and uses the skeleton data of the coordinate axes as the skeleton recognition unit corresponding to the first measurement means and the second measurement means. Obtained from the data extracted and output by 206.
  • Step S04 is a process of calculating the cross-correlation function using the data of the first measuring means and the second measuring means for the axis selected in step S03.
  • the cross-correlation function is a calculation used to confirm the similarity between two signals, and is obtained by multiplying and integrating the first signal with the second signal shifted by time t.
  • the cross-correlation function is obtained by plotting the integrated value on the vertical axis with the shift time t on the horizontal axis.
  • Step S05 is a process of determining whether the calculation of the cross-correlation function has been completed for all the coordinate axes. If it is not completed, the process returns to step S03 and a new axis is selected. Specifically, the similarity calculation unit 401 selects either the Y-axis or the Z-axis, except for the X-axis for which the cross-correlation function was calculated earlier. When the calculation is completed for all the axes, the process proceeds to step S06.
  • Step S06 is a process of calculating the similarity of the left ankle using the cross-correlation function calculated for each of the three axes of the left ankle.
  • the degree of similarity is obtained by adding three cross-correlation functions on the same time axis and taking the maximum value thereof.
  • the Z-axis coordinate value of the left ankle changes in a large range, but the values that the X-axis and Y-axis coordinate values can take are smaller than those of the Z-axis. If the cross-correlation function is calculated and added as it is, the influence of the Z-axis becomes large depending on the magnitude of the original value.
  • Step S07 is a process of determining the similarity calculated in step S06 with a specific threshold value.
  • the similarity calculation unit 401 determines that the characteristics of the first measuring means and the second measuring means are the same for the left ankle.
  • the similarity calculation unit 401 determines that the characteristics of the two are different.
  • This threshold value may be determined in advance by the designer as an initial setting, or an arbitrary value may be set by the user.
  • Step S08 is a process of determining whether the similarity calculation has been completed for all the skeletal feature points. If not completed, the similarity calculation unit 401 returns to step S01 and selects a new skeletal feature point. Specifically, except for the left ankle for which the similarity was calculated earlier, skeletal feature points such as the right ankle are selected. When the similarity calculation unit 401 has completed the calculation for all the skeletal feature points, the similarity calculation unit 401 proceeds to step S09. It is not always necessary to calculate the similarity for all the skeletons, and the skeleton feature points for which the similarity is calculated may be selected by the user's specification.
  • Step S09 is a process of presenting the result to the user by outputting the result of the similarity determined for each skeletal feature point to the display unit 202.
  • FIG. 7 is a diagram showing an example of a screen configuration that presents the degree of similarity to the user.
  • a skeleton model 701 (human body part) schematically showing the skeleton position of the human body is displayed.
  • each circle (for example, skeleton portion C1 and skeleton portion C2) indicates the position of a skeletal feature point such as the head, neck, left shoulder, and right shoulder.
  • Each circle indicating the skeletal feature points is highlighted according to the degree of similarity for each skeletal feature point calculated in step S06.
  • the similarity calculation unit 401 displays and outputs the left wrist (skeleton portion C1) determined to have a small similarity and different characteristics between the first measuring means and the second measuring means with a black circle to call attention to the user.
  • the similarity calculation unit 401 displays the left wrist (skeleton portion C2), which is determined to have a high degree of similarity and the characteristics of the first measuring means and the second measuring means to be similar, with a display color different from black (for example, gray). Display and output with.
  • the similarity calculation unit 401 can easily make the user understand the similarity of each skeleton portion by outputting the display color by changing the display color according to the similarity.
  • the similarity calculation unit 401 may stepwise change the color and size for emphasizing the circle according to the magnitude of the similarity value in the similarity calculation unit.
  • the similarity calculation unit 401 detects that a circle of a specific skeleton feature point (for example, the skeleton portion C2) is instructed to be selected as a result of the user operating a pointer or the like, the skeleton feature point is displayed on the right side of the screen. Display the measurement data.
  • a circle of a specific skeleton feature point for example, the skeleton portion C2
  • the similarity calculation unit 401 displays the measurement data of the X-axis, the Y-axis, and the Z-axis, respectively. do.
  • the similarity calculation unit 401 also displays the similarity plot 705 obtained by adding the cross-correlation function. In this way, the similarity calculation unit 401 outputs information indicating the similarity between the skeleton model 701 and the skeleton portion (for example, the skeleton portion C2) of the skeleton model 701 as a determination result of the similarity.
  • the user can easily confirm the characteristics of the first measuring means and the second measuring means, and the work of reconstructing the model can be streamlined.
  • the similarity is displayed as a graph for the time lag, but the maximum value may be directly displayed numerically.
  • the similarity calculation unit 401 may display and output Table 801 which lists the correspondence between the skeletal feature points and the similarity as shown in FIG.
  • FIG. 8 is a diagram showing an example of a screen example showing a table listing the correspondence between the skeletal feature points and the similarity.
  • Table 801 shown in FIG. 8 calculates a "feature amount name” indicating the content of the feature amount and a “feature amount name” indicating the order of the proportions contributing to the identification of the walking type, and the feature amount. It includes a "skeleton feature point name” indicating the name of the skeleton used for the purpose and a “similarity” indicating the degree of similarity. The order that contributes to the above identification is predetermined by the model constructed by the first measuring means.
  • the features that contribute to identification when the model is constructed by the first measuring means have been clarified, and if there is a large difference in the characteristics between the first measuring means and the second measuring means, the model will be regenerated. It needs to be built.
  • the right stride that contributes most to identification is generated from the data of the right ankle, and the similarity of the right ankle is as high as 0.9. Therefore, the data of the right ankle does not need to be reanalyzed, and it can be judged that there is no problem even if the model constructed by the first measuring means is used as it is.
  • the swing width of the left hand which contributes second to the identification, is generated from the data of the left wrist, and the similarity of the left wrist is as low as 0.3. Therefore, it is not always possible to use the model constructed by the first measuring means as it is for the data of the left wrist, and it is necessary to reanalyze it. As described above, by presenting Table 801 the user can easily grasp the necessity of reanalysis, and can quickly determine which skeletal feature point data should be reanalyzed.
  • the data input unit 205 acquires the first imaging result and the second imaging result. Further, in the motion analysis device 101, the skeleton recognition unit 206 recognizes the skeleton position of the subject 103 using the first imaging result acquired by the data input unit 205, and the second imaging acquired by the data input unit 205. The result is used to recognize the skeletal position of subject 103.
  • the exercise period extraction unit 403 extracts from the start to the end of the exercise as a range of data for comparing the skeletal feature points recognized by the skeleton recognition unit 206.
  • the similarity calculation unit 401 calculates the similarity by comparing the skeletal feature points recognized for the inputs from the depth cameras 102 with the skeletal feature points recognized for the inputs from the RGB cameras 301 and 302. Then, the judgment result based on the similarity is output.
  • the motion analysis device 101 outputs the result of calculating the similarity of the change in the skeleton position of the user based on the imaging results of different devices as described above, so that the second device can be used for the first device. It is possible to judge whether the model is applicable or not, and it is possible to analyze the data efficiently.
  • Example 2 In Example 1, when the second measuring means is introduced for the first time, an example is shown in which the model reconstruction work is made more efficient by visualizing the difference in characteristics, but the second measuring means alone is used in the actual environment for further measurement. Measurements may be made and the model may be final adjusted.
  • FIG. 9 is a diagram showing a configuration of a system for performing measurement using the motion analysis device according to the second embodiment.
  • RGB cameras 301 and 302 are connected to the motion analysis device 101, and the place where the subject 103 walks toward them is measured.
  • the motion analysis device 101 holds in advance a model based on the shooting result acquired from the first device (depth camera 102) described in the first embodiment.
  • FIG. 10 is a diagram showing the internal configuration of the motion analysis device 101 that makes final adjustments of the model in the field measurement environment (environment in which the RGB camera 301 and the RGB camera 302 are actually operated).
  • the identification result determination unit 1001 is a block that determines whether or not the result of identification using the model matches the known walking type when the walking of the subject, which is a known walking type, is measured.
  • FIG. 11 is a diagram showing a walking type input screen (walking type input screen). It is desirable to display the walking type that can identify the model as a candidate on the walking type input screen 1101 and let the user select it.
  • the motion analysis device 101 measures the walking and determines whether or not the result identified by the model is normal walking.
  • the data input unit 205 accepts the walking type input. Further, the data input unit 205 acquires a verification imaging result (verification imaging result) from the RGB camera 301 and the RGB camera 302 separately from the image data from the RGB camera 301 and the RGB camera 302 described in the first embodiment. ..
  • the skeleton recognition unit 206 recognizes the skeleton position of the subject 103 using the imaging result for the verification. Then, the feature amount generation unit 207 generates a feature amount from the user's skeleton position based on the verification imaging result recognized by the skeleton recognition unit 206.
  • the identification result determination unit 1001 uses the feature amount generated by the feature amount generation unit 207 and the model information corresponding to the walking type received by the data input unit 205, and the walking type received by the data input unit 205. Verify whether it corresponds to.
  • the identification result determination unit 1001 displays and outputs the verified result to the display unit 202.
  • the walking type input screen 1101 includes a start button 1102 and a cancel button 1103.
  • FIG. 12 is a diagram showing an example of a screen of the determination result.
  • the user is notified on the screen 1201 as shown in FIG. 12A that the identification model of the measurement device is consistent. As a result, the user can determine that adjustment of the measurement device and model reconstruction are unnecessary.
  • the end button 1202 and the remeasurement button 1203 are displayed on the screen 1201. When the user selects the end button 1202, the process of this embodiment ends, and when the remeasurement button 1203 is selected, the gait measurement process is performed again.
  • screen 1204 as shown in FIG. 12B is presented to indicate to the user that the measurement device or identification model needs to be adjusted. That is, when it is shown that the verification result by the identification result determination unit 1001 does not correspond to the walking type accepted by the data input unit 205, the identification result determination unit 1001 outputs information indicating a warning. As a result, the user can determine that it is necessary to change the installation environment of the measurement device or rebuild the model, and the walking is measured again and this process is repeated until the identification results match.
  • the coordinate data of the skeletal feature points obtained from the measurement device may be corrected so that the identification results match.
  • representative data of known walking types are stored in advance, and the range in which the coordinate data changes is scaled so that the degree of similarity with the coordinate data of the skeletal feature points increases. If the identification results do not match after the correction, the process of further correcting and confirming the identification result may be repeated.
  • Example 3 In the first embodiment, the user is made to specify the correspondence relationship between the first measuring means and the skeletal feature points obtained by the second measuring means, but the corresponding skeletal feature points may be estimated from the acquired skeletal coordinate data.
  • FIG. 13 is a flowchart in which the motion analysis device 101 estimates the correspondence between the skeleton feature points of the first measuring means and the second measuring means and generates a skeleton correspondence table.
  • Step S21 is a process of selecting one skeletal feature point from the depth data of the first measuring means.
  • the skeleton recognition unit 206 selects an arbitrary skeleton feature point (also referred to as skeleton feature point 1-1 for convenience) extracted from the depth data.
  • Step S22 is a process of selecting a specified skeletal feature point from image data captured from a plurality of directions of the second measuring means.
  • the skeleton recognition unit 206 selects an arbitrary skeleton feature point specified from the image data captured from a plurality of directions of the second measuring means.
  • Step S23 is a process of calculating the similarity with respect to the combination of skeletal feature points selected in step S21 and step S22.
  • the similarity is obtained by calculating the cross-correlation functions of the X-axis, Y-axis, and Z-axis for each of the two skeletal feature points as described in Example 1, and adding them to obtain the maximum value of the similarity function. can get.
  • Step S24 is a process of determining whether or not the calculation of similarity is completed using all the skeletal feature points of the second measuring means. If it is not completed, the process returns to step S22 and another skeletal feature point is selected. When completed, the process proceeds to step S25.
  • step S25 the maximum combination of skeletal feature points is extracted from the similarity calculated comprehensively for any skeletal feature points extracted from the depth data. For example, if the degree of similarity between the skeletal feature points 1-1 and the skeletal feature points 2-1 is maximum, it is determined that this combination has a correspondence relationship, and the combination is stored in the skeleton correspondence table 402.
  • Step S26 determines whether or not the process of finding a combination that corresponds to all the skeletal feature points of the first measuring means is completed. If it is not completed, the process returns to step S21 and another skeletal feature point 1-2 is selected. When it is completed, it means that the correspondence relationship can be generated for all the skeletal feature points, and the processing of this embodiment ends.
  • Example 4 In Examples 1 and 3, the case where the types of skeletal feature points obtained by the first measuring means and the second measuring means are the same has been described, but when the skeletal feature points of both are different, the skeletons having similar coordinate changes are described. It may be replaced by a feature point.
  • FIG. 14 is a diagram showing the configuration of the motion analysis device according to the fourth embodiment.
  • the motion analysis device 101 includes a skeleton feature point interpolation unit 1401 (skeleton position interpolation unit) in addition to the configuration of the first embodiment.
  • the skeleton feature point interpolation unit 1401 interpolates the data of the skeleton feature points that exist in the skeleton feature points recognized by the first measuring means and do not exist in the skeleton feature points recognized by the second measuring means. That is, the skeleton feature point interpolation unit 1401 is the first when the skeleton of the user recognized by the skeleton recognition unit 206 using the first imaging result is not in the skeleton of the user recognized using the second imaging result. This is a part that specifies a position corresponding to the position of the user's skeleton recognized using the imaging result.
  • FIG. 15 is a flowchart for identifying similar skeletal feature points of the first measuring means with respect to the skeletal feature points (target feature points) of the first measuring means that do not exist in the second measuring means.
  • Step S31 is a process of selecting one skeletal feature point of the first measurement method adjacent to the target feature point. Since the skeletal feature point interpolation unit 1401 shows coordinate changes in which adjacent skeletal feature points are similar due to the characteristics of the human body, for example, when the target feature point is the right elbow, the adjacent skeletal feature points include the right wrist and the right shoulder. There is, and select one from these.
  • Step S32 is a process of calculating the similarity using the target feature points and the skeletal feature points selected in step S31.
  • the similarity is obtained by calculating the cross-correlation functions of the X-axis, Y-axis, and Z-axis for each of the two skeletal feature points as described in Example 1, and adding them to obtain the maximum value of the similarity function. can get.
  • Step S33 is a process of determining whether or not the calculation of the similarity is completed for all the skeletal feature points adjacent to the target feature points. If it is not completed, the process returns to step S31 and another skeletal feature point is selected. When completed, the process proceeds to step S34.
  • the skeleton feature point interpolation unit 1401 is a process of extracting the maximum combination from the similarity calculated for the target feature point. For example, if the target feature point is the right elbow and the similarity with the right elbow is the maximum, it is judged that the coordinate change of the right elbow can be replaced by the right elbow, and for the second measuring means, the data of the right elbow is used as the right wrist. Substitute with.
  • data of the target feature point may be generated by interpolation or extrapolation from a plurality of adjacent skeletal feature points.
  • the arm In the case of walking, the arm is often swung with the elbow extended, so if the right elbow is the target feature point, the coordinate change can be obtained by interpolation from the right wrist and right shoulder.
  • the similarity calculation unit 401 performs the skeleton recognition unit 206.
  • the motion analysis device 101 can calculate the degree of similarity to each other from the first imaging result and the second imaging result even if there is no information on the same skeleton position.
  • each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
  • each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the present invention can be used in a system that processes information acquired from a device capable of imaging a user.
  • 101 motion analysis device, 201 ... operation input unit, 202 ... display unit, 203 ... control unit, 204 ... memory, 205 ... data input unit, 206 ... skeleton recognition unit, 207 ... feature amount generation unit, 208 ... model, 401 ... similarity calculation unit, 402 ... skeleton correspondence table, 403 ... exercise period extraction unit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

運動解析装置１０１では、データ入力部２０５が、第１撮像結果および第２撮像結果を取得する。また、運動解析装置１０１では、骨格認識部２０６は、データ入力部２０５により取得された第１撮像結果を用いて被験者の骨格位置を認識すると共に、データ入力部２０５により取得された第２撮像結果を用いて被験者の骨格位置を認識する。運動期間抽出部４０３は、骨格認識部２０６が認識した骨格特徴点を比較するデータの範囲として運動開始から終了までを抽出する。類似度算出部４０１は、深度カメラからの入力に対して認識された骨格特徴点と、ＲＧＢカメラからの入力に対して認識された骨格特徴点を比較して、類似度を算出し、当該類似度に基づいた判断結果を出力する。

Description

情報処理装置、および判断結果出力方法
　本発明は、情報処理装置、および判断結果出力方法に関する。
　日本人の平均寿命は、延伸を続け男女ともに８０歳を超えているが、日常生活に制限のない期間を示す健康寿命は男性で７２歳、女性で７５歳と平均寿命との乖離がある。
　これは高齢者が寝たきりなどの要介護状態になることに起因している。介護が必要となった原因でもっとも多いものは運動器障害である。運動器障害のために移動機能の低下をきたした状態はロコモティブシンドローム（以下、ロコモともいう）と呼ばれ、近年その予防に注目が集まっている。
　ロコモの兆候は歩行に現れることが知られており、医師などの専門家が患者の歩行を様々な角度から見て診断している。
　一方、加速度センサのウェアラブル化やカメラ画像解析の技術向上が進んできたことで、人間の動作をセンシングしてデジタル解析できるような環境が整ってきている。歩行解析に関しても、手足に加速度センサを取り付けて歩行パターンを定量化したり、カメラ画像認識により手足の挙動を追跡したりすることで、従来専門家が手間をかけて行っていた診断を効率化する試みがなされている。
　例えば、特許文献１には、ゴルフスイングなどの運動を「Ｋｉｎｅｃｔ（登録商標）」などの深度カメラを用いて骨格認識し、骨格特徴点の動きから抽出した指標を基準データと比較することでスイングの適切度を評価する手法が記載されている。
　また、あらかじめ三次元の骨格座標をもとに歩行識別モデルを構築しておいて、識別時には任意の角度で撮影した二次元骨格座標を入力できるよう変換を加える手法が記載されている。
　また、特許文献２には、骨格関節データといったようなキーポイントデータが二次元データとして与えられている場合であっても三次元空間における所定姿勢に関連した情報を得ることが可能なキーポイントデータに関する装置について記載されている。
特開２０１４－１８８１４６号公報 特開２０１９－９６１１３号公報
　ところで、近年センシングデバイスがコモディティ化する中で、コスト削減のために加速度センサやカメラは同等の機能をもつより低コストであるデバイスで柔軟にシステム構築したいというニーズが高まっている。
　特許文献２は、デバイスを変えた場合にもとの条件に近くなるよう変換することでそのまま入力として使えるようにしたものであるが、入力の条件が変わった場合には本来はモデルを再構築する必要があり、特許文献２の手法では識別精度に限界がある。
　すなわち、十分な精度を確保するためには、新たな入力データを分析しモデルを再構築する手間を要するので、効率的にデータ分析をすることができないという課題がある。
　そこで本発明の目的は、効率的にデータ分析をすることを可能とすることにある。
　本発明の代表的な実施の形態によるユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置であって、ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得部と、ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得部と、第１撮像結果取得部により取得された第１撮像結果を用いてユーザの骨格位置を認識し、第２撮像結果取得部により取得された第２撮像結果を用いてユーザの骨格位置を認識する骨格認識部と、骨格認識部により認識された結果に基づいて、ユーザの所定運動期間を特定する運動期間特定部と、運動期間特定部により特定された運動期間における、骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格位置の変化と、骨格認識部により前記第２撮像結果を用いて認識されたユーザの骨格位置の変化との類似度を算出する類似度算出部と、類似度算出部により算出された類似度に基づいた判断結果を出力する判断結果出力部と、を備える。
　本発明によれば、効率的にデータ分析をすることができる。
運動解析装置を含むシステム構成の概要を示す図である。 本実施例にかかる運動解析装置の構成の一例を示した図である。 複数の骨格計測手段による撮影結果を比較する運動解析装置を含むシステムの概要図である。 本実施例にかかる運動解析装置の構成の一例を示した図である。 骨格特徴点の対応関係を入力するための入力画面の一例を示す図である。 類似度算出部において骨格特徴点の類似度を算出する処理手順を示すフローチャートである。 類似度をユーザに提示する画面構成の一例を示す図である。 骨格特徴点と類似度の対応を一覧にした表を示す画面例の一例を示す図である。 第２実施例にかかる運動解析装置を用いて計測を行うシステムの構成を示した図である。 実施例２にかかる本実施例にかかる運動解析装置の構成の一例を示した図である。 歩行タイプの入力画面を示す図である。 判定結果の画面の一例を示す図である。 運動解析装置が、第１計測手段と第２計測手段の骨格特徴点の対応関係を推定し、骨格対応テーブルを生成するフローチャートである。 実施例４にかかる運動解析装置の構成を示した図である。 第２計測手段には存在しない第１計測手段の骨格特徴点（対象特徴点）について、類似する第１計測手段の骨格特徴点を特定するフローチャートである。
　以下、本発明の実施例について図面を用いて説明する。
　（実施例１）
　図１は、本実施例にかかる運動解析装置１０１を含むシステム構成の概要を示す図である。運動解析装置１０１は、デバイス（例えば、深度カメラ１０２）から取得した情報を処理する情報処理装置であり、サーバ装置等である。運動解析装置１０１は、ＵＳＢケーブル等により深度カメラ１０２（第１デバイス）と接続している。これにより、運動解析装置１０１は、深度カメラ１０２から情報を取得することができる。
　なお、運動解析装置１０１は、無線・有線等のネットワークにより深度カメラ１０２と情報の送受信をするようにしてもよい。
　深度カメラ１０２は、公知の深度カメラであり、撮像した結果として、撮像対象のＸ軸方向、Ｙ軸方向、およびＺ軸方向の情報（深度情報）を生成し、当該深度情報を記憶する。
　深度カメラ１０２は、被験者１０３（ユーザ）が歩行している時の状態（例えば、深度カメラ１０２へ向かって歩行している状態）を撮像することができる。すなわち、深度カメラ１０２は、ユーザを撮像可能なデバイスであり、ユーザの運動状態を撮像することが可能なデバイスである。
　この運動解析装置１０１は、ユーザを撮像可能なデバイス（深度カメラ１０２等）から情報を取得して、当該情報を処理する装置である。具体的に、運動解析装置１０１は、被験者１０３が歩行している状態を撮像した結果に基づく深度情報を取得する。運動解析装置１０１は、当該深度情報から被験者１０３の骨格位置（例えば、左ひじの骨格位置）を特定し、特定した骨格位置の変化を特定し、当該変化に基づいてロコモであるか否かを判断する。このように、運動解析装置１０１は、被験者１０３が歩く様子を計測する。
　図２は、本実施例にかかる運動解析装置１０１の構成の一例を示した図である。運動解析装置１０１は、操作入力部２０１と、表示部２０２と、制御部２０３と、メモリ２０４と、データ入力部２０５と、骨格認識部２０６と、特徴量生成部２０７と、モデル２０８と、識別部２０９とを備え、各部が共通バス（データバス、アドレスバスを含む）により接続されて構成されている。
　操作入力部２０１は、マウス操作やタッチパネル操作などでユーザ（例えば、運動解析装置１０１の管理者など）からの指示を受け付ける部分である。
　表示部２０２は、ディスプレイなどであり、各種情報を表示出力する部分である。制御部２０３は、ＣＰＵ（Central　Processing　Unit）などであり、各部を動作制御する部分である。
　メモリ２０４は、メモリなど、各種情報を記憶する部分である。メモリ２０４は、例えば、制御部２０３での動作制御に関するデータを一時的に保持する。
　データ入力部２０５は、被験者１０３の運動状態を撮像する深度カメラ１０２により撮像された結果である深度情報や画像データを深度カメラ１０２から取得する部分である。
　骨格認識部２０６は、当該深度情報から人体（被験者１０３）の骨格特徴点位置を認識する部分である。すなわち、骨格認識部２０６は、データ入力部２０５により取得された深度情報を用いて被験者１０３の骨格位置を認識する部分である。
　骨格認識部２０６は、上記深度情報から特定される各骨格位置の位置情報（骨格特徴点位置の情報）を抽出する。
　特徴量生成部２０７は、骨格特徴点位置（骨格特徴点座標）の時間推移からあらかじめ設計した指標（特徴量）を抽出する部分である。すなわち、特徴量生成部２０７は、骨格認識部２０６で認識された骨格位置から当該骨格の特徴量（例えば、左歩幅等）を生成する部分である。
　モデル２０８は、特徴量の条件から歩行タイプを識別するためにあらかじめ対応関係を学習したモデルを記憶する部分である。すなわち、モデル２０８は、骨格部分の動作の特徴量と、当該特徴量に対応する歩行状態とが定められたモデル情報を記憶するデータベースであり、記憶部として機能する。
　識別部２０９は、特徴量生成部２０７により生成された特徴量と、モデル２０８で記憶しているモデルとを用いて、被験者１０３の歩行タイプを識別する部分である。
　このように、運動解析装置１０１は、被験者１０３が歩くときの骨格の座標変化から歩幅や歩行速度などの特徴量を生成し、複数の特徴量を組み合わせて歩行タイプを識別する。
　ここで、歩行タイプは、疼痛回避歩行や鶏歩など臨床的に異常歩行とされる歩行の区分けや、若年者と高齢者など年代ごとの歩行の区分けなどが該当する。
　これらの歩行タイプは医師などの専門家によれば歩幅や歩行速度など歩き方の特徴を見て判断されるものである。
　運動解析装置１０１はこれらの特徴を深度カメラ１０２の計測データから定量化し、機械学習等で歩行タイプとの関係性を学習させたモデルを用いて識別を行うものである。
　続いて、図３を用いて、複数のデバイス（骨格計測手段）が、同一のユーザを撮影した結果により得られた深度情報を比較するシステムを説明する。
　図３は、複数の骨格計測手段（デバイス）による撮影結果を比較する運動解析装置を含むシステムの概要図である。
　図３に示すように、図１で説明した運動解析装置１０１および深度カメラ１０２（第１デバイス）以外に、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２（第２デバイス）をさらに備える構成となる。深度カメラ１０２が、第１骨格計測手段として機能し、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２が、第２骨格計測手段として機能する。
　なお、運動解析装置１０１は、ＵＳＢケーブル等によりＲＧＢカメラ３０１およびＲＧＢカメラ３０２と接続している。また、運動解析装置１０１は、無線・有線等のネットワークによりＲＧＢカメラ３０１およびＲＧＢカメラ３０２と情報の送受信をするようにしてもよい。
　ＲＧＢカメラ３０１およびＲＧＢカメラ３０２は、ステレオカメラであり、ユーザの運動状態を撮像することができる。
　ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から構成されるステレオカメラを用いて深度を推定する方法は、異なる２方向から撮影した二次元画像の視差を利用して、対象物の深度を推定する手法であり、公知の手法である。
　図３に示したシステム構成で深度カメラ１０２による骨格座標認識とＲＧＢカメラ３０１およびＲＧＢカメラ３０２による骨格座標認識とを同一被験者１０３の同一歩行に対して行うことで正確に比較することができる。
　歩行などの運動は、被験者１０３によって動きが異なり、さらには同一被験者１０３であっても歩行のたびに骨格の動き方が、微小に異なるため、同一被験者１０３の同一歩行を同時計測して比較評価することが望ましい。
　運動解析装置１０１は、深度カメラ１０２から深度情報を取得して、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データを取得する。運動解析装置１０１は、深度カメラ１０２から取得した深度情報に基づいて、被験者１０３の骨格の動作状態を特定する。
　また、運動解析装置１０１は、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データに基づいて、被験者１０３の骨格の動作状態（位置変化）を特定する。そして、運動解析装置１０１は、それぞれの骨格の動作状態が類似しているか否かを判断する。これにより、運動解析装置１０１は、二つの骨格座標取得手段（第１骨格計測手段および第２骨格計測手段）により撮像した結果について、同一のモデルを用いて運動状態を判断してもよいか否かを明らかにすることができる。
　続いて、図４を用いて、運動解析装置１０１の機能詳細を説明する。図４は、本実施例にかかる運動解析装置１０１の構成の一例を示した図である。
　図４に示すように、図２に示した運動解析装置１０１の構成に加えて、類似度算出部４０１、骨格対応テーブル４０２および運動期間抽出部４０３を備えている。
　また、データ入力部２０５は、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データを取得する。すなわち、データ入力部２０５は、第２デバイスにより撮像された結果である第２撮像結果を取得する。
　また、骨格認識部２０６は、データ入力部２０５により取得された第２撮像結果（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データ）を用いて被験者１０３の骨格位置を認識する。具体的に、骨格認識部２０６は、上記ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から取得した画像データから特定される各骨格位置の位置情報（骨格特徴点位置の情報）を抽出する。
　類似度算出部４０１は、深度カメラ１０２からの入力に対して認識された骨格特徴点と、ＲＧＢカメラ３０１および３０２からの入力に対して認識された骨格特徴点を比較して、類似度を算出する。
　また、類似度算出部４０１は、自身が算出した類似度に基づいた判断結果を表示部２０２へ出力する。
　ところで、第１計測手段（深度カメラ１０２）と第２計測手段（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２）の骨格特徴点を比較するためには、両者が認識する骨格特徴点の対応関係をあらかじめ知っておく必要がある。
　この対応関係をユーザに指定させるための入力画面を図５に示す。図５は、骨格特徴点の対応関係を入力するための入力画面の一例を示す図である。画像５０１には、第１計測手段で取得した被験者画像に、認識された骨格特徴点の位置が黒丸で重畳表示されている。
　同様に、画像５０２には、第２計測手段で取得した被験者画像に認識された骨格特徴点の位置が重畳されている。
　なお、データ入力部２０５が、深度カメラ１０２、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データや深度データを取得して、骨格認識部２０６が、各骨格位置の位置情報を抽出した後に、表示部２０２へ図５に示す画面を出力する。
　ユーザが画像５０１と画像５０２のそれぞれから骨格特徴点を一つずつ選択すると、骨格認識部２０６は、それぞれの骨格特徴点を対応づけて保存する。このときに「左肘」など骨格特徴点の名称５０３を付与するとよい。すべての骨格特徴点を対応付けて保存したものが骨格対応テーブル４０２となる。
　このように、骨格認識部２０６は、データ入力部２０５により取得された深度カメラ１０２の画像データや深度情報から認識したユーザの骨格位置と、データ入力部２０５により取得されたＲＧＢカメラ３０１およびＲＧＢカメラ３０２の画像データから認識したユーザの骨格位置との対応関係を特定する。
　これにより、運動解析装置１０１は、双方のデバイスから取得した情報から特定した骨格位置を対応付けることにより、同一または対応する骨格部分を比較することができる。
　また、骨格認識部２０６は、図５に示したような画面に対するユーザ操作に応じて、骨格位置を認識することにより、より正確に骨格位置を認識することができる。
　運動期間抽出部４０３は、骨格認識部２０６が認識した骨格特徴点を比較するデータの範囲として運動開始から終了までを抽出する。歩行の場合は、例えば右足を着地してから次に再度右足を着地するまでの歩行１周期を比較範囲とする。歩行１周期を抽出するためには、例えば右足首のＹ軸座標値を観測して、これが最小値をとるタイミングを着地とみなして開始終了を判定すればよい。
　具体的に、運動期間抽出部４０３は、骨格認識部２０６が認識した深度カメラ１０２の深度情報に基づく骨格特徴点位置の変化から、右足を着地してから右足を着地するまでの歩行１周期を特定する。また、運動期間抽出部４０３は、骨格認識部２０６が認識したＲＧＢカメラ３０１およびＲＧＢカメラ３０２の画像データに基づく骨格特徴点位置の変化から、右足を着地してから右足を着地するまでの歩行１周期を特定する。
　このように、運動期間抽出部４０３は、骨格認識部２０６により認識された結果に基づいて、ユーザの所定運動期間を特定する。また、運動期間抽出部４０３は、骨格認識部２０６により認識された結果に基づき、被験者１０３の歩行の周期を特定する。これにより、運動解析装置１０１は、同一運動の期間に絞って比較することができる。
　なお、類似度算出部４０１は、運動期間抽出部４０３により特定された運動期間における、骨格認識部２０６により第１撮像結果を用いて認識された被験者１０３の骨格位置の変化と、骨格認識部２０６により第２撮像結果を用いて認識された被験者１０３の骨格位置の変化との類似度を算出する。
　ここで、類似度算出部４０１が、骨格特徴点の類似度を算出する処理手順を図６に示すフローチャートを用いて説明する。
　図６は、類似度算出部４０１において骨格特徴点の類似度を算出する処理手順を示すフローチャートである。
　ステップＳ０１において、類似度算出部４０１は、任意の骨格を選択する処理を行う。例えば、類似度算出部４０１は、左肩や右肩、左足首、右足首などこれから類似度を算出する対象の骨格を一つ選択する。ここでは左足首を選択したとして、以降の処理を説明する。
　ステップＳ０２において、類似度算出部４０１は、第１計測手段と第２計測手段のそれぞれからステップＳ０１で選択した骨格特徴点の座標データを取得する処理である。ここでいう骨格特徴点の座標データ（第１計測手段と第２計測手段のデータ）は、骨格認識部２０６によって抽出・出力されたデータである。
　骨格座標は三次元で認識されており、Ｘ軸、Ｙ軸、Ｚ軸それぞれについて特定のサンプリング間隔で取得されたデータがある。ここでは、例えば、Ｘ軸を選択したとして、以降の処理を説明する。
　ステップＳ０３は、ステップＳ０２で取得した骨格座標データから、特定の一つの座標軸のデータを取得する処理である。具体的に、類似度算出部４０１は、Ｘ軸、Ｙ軸、Ｚ軸の中から一つを選択して、その座標軸の骨格データを第１計測手段および第２計測手段に対応する骨格認識部２０６によって抽出・出力されたデータから取得する。
　ステップＳ０４は、ステップＳ０３で選択した軸について第１計測手段、第２計測手段のデータを用いて相互相関関数を計算する処理である。ここで、相互相関関数は二つの信号の類似性を確認するために用いる計算で、第１の信号に対して第２の信号を時間ｔだけずらしたものを乗算、積分して得られる。ずらす時間ｔを横軸にとり、縦軸に積分値をプロットしたものが相互相関関数となる。
　ステップＳ０５は、すべての座標軸に対して相互相関関数の算出が終了したか判定する処理である。終了していなければステップＳ０３に戻って、新たな軸を選択する。具体的には、類似度算出部４０１は、先ほど相互相関関数を算出したＸ軸を除き、Ｙ軸またはＺ軸のいずれかを選択する。すべての軸について算出が終了した場合は、ステップＳ０６に進む。
　ステップＳ０６は、左足首の３軸それぞれについて算出した相互相関関数を用いて、左足首の類似度を算出する処理である。類似度は、３つの相互相関関数を同じ時間軸で加算し、その最大値をとることで得られる。被験者１０３が深度カメラ１０２に向かって歩く場合、左足首のＺ軸座標値は大きな範囲で変化するが、Ｘ軸およびＹ軸の座標値が取りうる値はＺ軸に比べると小さい。これをそのまま相互相関関数を算出して加算すると、もとの値の大きさによりＺ軸の影響が大きくなる。
　これを防ぐため、第１計測手段で得た座標値と第２計測手段で得た座標値とを、それぞれ最小値０、最大値１になるように正規化しておくことが望ましい。
　ステップＳ０７は、ステップＳ０６で算出した類似度を特定の閾値で判定する処理である。類似度算出部４０１は、類似度が特定の閾値より大きい場合は、左足首について第１計測手段と第２計測手段の特性は同じであると判断する。
　類似度算出部４０１は、反対に閾値より小さい場合（または、閾値以下の場合）は、両者の特性は異なると判断する。この閾値は初期設定としてあらかじめ設計者が決定しておいてもよいし、ユーザが任意の値を設定できるようにしてもかまわない。
　ステップＳ０８は、すべての骨格特徴点について類似度算出が終了したか判定する処理である。類似度算出部４０１は、終了していなければステップＳ０１に戻って、新たな骨格特徴点を選択する。具体的には、先ほど類似度を算出した左足首を除き、右足首等の骨格特徴点を選択する。類似度算出部４０１は、すべての骨格特徴点について算出が終了した場合は、ステップＳ０９に進む。なお、必ずしもすべての骨格について類似度を算出する必要はなく、ユーザの指定により類似度を算出する骨格特徴点を選択できるようにしてもよい。
　ステップＳ０９は、各骨格特徴点について判定した類似度の結果を表示部２０２へ出力することによって、ユーザに当該結果を提示する処理である。
　図７は、類似度をユーザに提示する画面構成の一例を示す図である。画面左側には人体の骨格位置を模式的に示した骨格モデル７０１（人体部分）が表示されている。
　当該骨格モデル７０１では、一つ一つの丸（例えば、骨格部分Ｃ１や骨格部分Ｃ２）が頭、首、左肩、右肩などの骨格特徴点の位置を示している。骨格特徴点を示すそれぞれの丸は、ステップＳ０６で算出した骨格特徴点ごとの類似度に応じて強調表示がなされる。例えば、類似度算出部４０１は、類似度が小さく第１計測手段と第２計測手段の特性が異なると判定した左手首（骨格部分Ｃ１）を黒丸で表示出力し、ユーザに注意を促す。
　また、類似度算出部４０１は、類似度が大きく第１計測手段と第２計測手段の特性が同様であると判定した左手首（骨格部分Ｃ２）を黒色とは異なる表示色（例えば、灰色）で表示出力する。
　このように、類似度算出部４０１は、類似度により、表示色を変えて出力することにより、ユーザに各骨格部分の類似度を容易に理解させることができる。
　また、類似度算出部４０１は、類似度算出部類似度の値の大きさに応じて丸を強調する色や大きさを段階的に変えてもよい。
　また、類似度算出部４０１は、ユーザがポインタ等を操作した結果、特定の骨格特徴点の丸（例えば、骨格部分Ｃ２）が選択指示されたことを検出すると、画面右側にその骨格特徴点の計測データを表示する。
　第１計測手段の計測データプロット７０２、第２計測手段の計測データプロット７０３、および相互相関関数のプロット７０４において、類似度算出部４０１は、それぞれＸ軸、Ｙ軸、Ｚ軸の計測データを表示する。
　また、類似度算出部４０１は、相互相関関数を加算して得られる類似度のプロット７０５も合わせて表示する。このように、類似度算出部４０１は、類似度の判断結果として、骨格モデル７０１と、当該骨格モデル７０１の骨格部分（例えば、骨格部分Ｃ２）の類似度を示す情報とを出力する。
　ユーザは、この画面を見ることで、ユーザは第１計測手段と第２計測手段の特性を容易に確認することができ、モデル再構築の作業を効率化することができる。ここでは類似度を時間のずれに対するグラフとして表示したが、最大値を直接数値表示しても良い。
　この結果、ユーザがグラフを読み取る必要がなくなり、より簡潔に類似度を把握することができる。
　また、類似度算出部４０１は、図８に示すような骨格特徴点と類似度の対応を一覧にした表８０１を表示出力してもよい。図８は、骨格特徴点と類似度の対応を一覧にした表を示す画面例の一例を示す図である。
　図８に示す表８０１は、歩行タイプを識別する際に寄与する割合の順位を示す「識別に寄与する順位」と、特徴量の内容を示す「特徴量名」と、当該特徴量を算出するために用いた骨格の名称を示す「骨格特徴点名」と、類似度を示す「類似度」とを含む。なお、上記の識別に寄与する順位は、第１計測手段で構築したモデルによりあらかじめ定まっている。
　第１計測手段でモデルを構築した際に識別に寄与する特徴量は明らかになっており、この特徴量が第１計測手段と第２計測手段の間で特性に大きな差があるとモデルの再構築が必要になる。
　それをユーザが確認しやすくなるよう、識別に寄与する順位が高いほうから特徴量名を列挙する。また、その特徴量を生成するために使用している元データの骨格特徴点名と、その類似度を表示する。
　例えば、識別にもっとも寄与する右歩幅は右足首のデータから生成されており、右足首の類似度は０．９と高い。したがって、右足首のデータは再分析の必要がなく、第１計測手段で構築したモデルをそのまま使っても問題ないと判断できる。
　一方、識別に２番目に寄与する左手の振り幅は左手首のデータから生成されており、左手首の類似度は０．３と低い。したがって、左手首のデータは第１計測手段で構築したモデルをそのまま使えるとは限らず、再分析を行う必要がある。以上のように、表８０１を提示することでユーザは再分析の必要性を容易に把握することができ、またどの骨格特徴点のデータを再分析すべきかを素早く判断することができる。
　上述の実施例によれば、運動解析装置１０１では、データ入力部２０５が、第１撮像結果および第２撮像結果を取得する。また、運動解析装置１０１では、骨格認識部２０６は、データ入力部２０５により取得された第１撮像結果を用いて被験者１０３の骨格位置を認識すると共に、データ入力部２０５により取得された第２撮像結果を用いて被験者１０３の骨格位置を認識する。
　運動期間抽出部４０３は、骨格認識部２０６が認識した骨格特徴点を比較するデータの範囲として運動開始から終了までを抽出する。類似度算出部４０１は、深度カメラ１０２からの入力に対して認識された骨格特徴点と、ＲＧＢカメラ３０１および３０２からの入力に対して認識された骨格特徴点を比較して、類似度を算出し、当該類似度に基づいた判断結果を出力する。
　運動解析装置１０１は、上記のように異なるデバイスの撮像結果に基づいた、ユーザの骨格位置の変化の類似度を算出した結果を出力することで、第２デバイスに対して、第１デバイス用のモデルを適用可能か否かを判断することができ、効率的にデータ分析をすることを可能とする。
　（実施例２）
　実施例１では第２計測手段を初めて導入する際に、特性の違いを可視化することでモデル再構築作業を効率化する例を示したが、さらに計測を行う実環境で第２計測手段単体で計測を行い、モデルの最終調整を行ってもよい。
　図９は、第２実施例にかかる運動解析装置を用いて計測を行うシステムの構成を示した図である。運動解析装置１０１にはＲＧＢカメラ３０１および３０２が接続され、これらに向かって被験者１０３が歩行するところを計測する。本実施例では、実施例１で説明した第１デバイス（深度カメラ１０２）から取得した撮影結果に基づいたモデルを運動解析装置１０１が予め保持しているものとする。
　図１０は、現地計測環境（ＲＧＢカメラ３０１およびＲＧＢカメラ３０２を実際に運用する環境）でモデルの最終調整を行う運動解析装置１０１の内部構成を示した図である。
　図２と同じ番号を付したブロックは、図２と同等の働きをする。識別結果判定部１００１は、既知の歩行タイプである被験者の歩行を計測した際に、モデルを用いて識別した結果が既知の歩行タイプと一致するか否かを判定するブロックである。
　既知の歩行タイプは図１１に示すような画面であらかじめユーザに入力させる。図１１は、歩行タイプの入力画面（歩行タイプ入力画面）を示す図である。歩行タイプ入力画面１１０１にはモデルが識別できる歩行タイプを候補として表示しておき、ユーザに選択させることが望ましい。
　例えば、ユーザが画面で正常歩行を選択された場合は、運動解析装置１０１は、歩行を計測してモデルで識別した結果が正常歩行であるか否かを判定する。
　すなわち、操作入力部２０１により、上記選択操作がなされると、データ入力部２０５が、歩行タイプの入力を受け付ける。また、データ入力部２０５は、実施例１で述べたＲＧＢカメラ３０１およびＲＧＢカメラ３０２から画像データとは別に、ＲＧＢカメラ３０１およびＲＧＢカメラ３０２から検証用の撮像結果（検証用撮像結果）を取得する。
　骨格認識部２０６は、当該検証用の撮像結果を用いて、被験者１０３の骨格位置を認識する。そして、特徴量生成部２０７は、骨格認識部２０６により認識された検証用撮像結果に基づいたユーザの骨格位置から特徴量を生成する。識別結果判定部１００１は、特徴量生成部２０７により生成された特徴量と、データ入力部２０５により受け付けられた歩行タイプに対応するモデル情報とを用いて、データ入力部２０５により受け付けられた歩行タイプに対応するか否かを検証する。識別結果判定部１００１は、当該検証した結果を表示部２０２へ表示出力する。
　歩行タイプ入力画面１１０１には、開始ボタン１１０２とキャンセルボタン１１０３とが含まれる。
　開始ボタン１１０２をユーザが選択すると計測を開始し、判定結果を出力する。また、キャンセルボタン１１０３を選択すると一つ前の画面に戻る。
　続いて、図１２を用いて、判定結果（検証した結果）の画面例を説明する。図１２は、判定結果の画面の一例を示す図である。
　識別結果（判定結果）が一致する場合は、図１２（ａ）に示すような画面１２０１でユーザに計測デバイスを識別モデルが整合していることを通知する。これにより、ユーザは計測デバイスの調整やモデル再構築が不要であると判断できる。画面１２０１には終了ボタン１２０２と再計測ボタン１２０３が表示されている。ユーザが終了ボタン１２０２を選択すると本実施例の処理を終了し、再計測ボタン１２０３を選択すると歩行計測の処理を再度行う。
　識別結果が一致しない場合は、図１２（ｂ）に示すような画面１２０４を提示してユーザに計測デバイスまたは識別モデルの調整が必要であることを提示する。すなわち、識別結果判定部１００１による検証結果が、データ入力部２０５により受け付けられた歩行タイプに対応しないことを示す場合、識別結果判定部１００１は、警告を示す情報を出力する。これにより、ユーザは計測デバイスの設置環境変更やモデル再構築が必要であると判断でき、再度歩行を計測して識別結果が一致するまでこの処理を繰り返す。
　また、識別結果が一致しない場合は、計測デバイスから得られる骨格特徴点の座標データを補正して識別結果が一致するようにしても良い。補正の方法は、既知の歩行タイプの代表データをあらかじめ保存しておき、この骨格特徴点の座標データとの間の類似度が大きくなるように座標データが変化する範囲等をスケーリングする。補正後に識別結果が一致しない場合は、さらに補正をかけて識別結果を確認する処理を繰り返してもよい。
　（実施例３）
　実施例１では第１計測手段と第２計測手段で得られる骨格特徴点の対応関係をユーザに指定させたが、取得した骨格座標データから対応する骨格特徴点を推定してもよい。
　ここで、図１３に記載のフローチャートを用いて説明する。図１３は、運動解析装置１０１が、第１計測手段と第２計測手段の骨格特徴点の対応関係を推定し、骨格対応テーブルを生成するフローチャートである。
　ステップＳ２１は、第１計測手段の深度データから骨格特徴点一つを選択する処理である。ここでは、骨格認識部２０６が、深度データから抽出した任意の骨格特徴点（便宜上骨格特徴点１－１ともいう）を選択したものとする。
　ステップＳ２２は、第２計測手段の複数方向から撮像された画像データから特定した骨格特徴点を選択する処理である。ここでは、骨格認識部２０６が、第２計測手段の複数方向から撮像された画像データから特定した任意の骨格特徴点を選択したものとする。
　ステップＳ２３は、ステップＳ２１およびステップＳ２２で選択した骨格特徴点の組み合わせに対して類似度を計算する処理である。類似度は、実施例１で述べたように二つの骨格特徴点についてＸ軸、Ｙ軸、Ｚ軸それぞれの相互相関関数を計算し、それらを加算して類似度関数の最大値をとることで得られる。
　ステップＳ２４は、第２計測手段のすべての骨格特徴点を用いて類似度の計算が完了したか否かを判定する処理である。完了していなければステップＳ２２に戻って、別の骨格特徴点を選択する。完了した場合はステップＳ２５に進む。
　ステップＳ２５は、深度データから抽出した任意の骨格特徴点に対して網羅的に算出した類似度の中から、最大となる骨格特徴点の組み合わせを抽出する。例えば骨格特徴点１－１と骨格特徴点２－１の類似度が最大であれば、この組み合わせが対応関係にあると判断して骨格対応テーブル４０２に保存する。
　ステップＳ２６は、第１計測手段のすべての骨格特徴点に対して対応関係にある組み合わせを見つける処理が完了したか否かを判定する。完了していなければステップＳ２１に戻って、別の骨格特徴点１－２を選択する。完了した場合はすべての骨格特徴点について対応関係を生成できたことになり、本実施例の処理を終了する。
　この手法で推定した骨格特徴点の対応関係を図５に示した画面に表示し、これを初期値としてユーザに最終確認、修正させる形態とすればユーザの入力作業が軽減され、効率化につながる。
　（実施例４）
　実施例１および実施例３では第１計測手段と第２計測手段で得られる骨格特徴点の種類が同一である場合について説明したが、両者の骨格特徴点が異なる場合は座標変化が似た骨格特徴点で代替してもよい。
　本実施例では、第２計測手段で得られる骨格特徴点の種類が第１計測手段よりも少ない場合に、座標変化が類似した骨格特徴点を特定してそのデータで代替する手法ついて説明する。
　図１４は、実施例４にかかる運動解析装置の構成を示した図である。運動解析装置１０１は実施例１の構成に加えて骨格特徴点補間部１４０１（骨格位置補間部）を備えている。骨格特徴点補間部１４０１は、第１計測手段で認識する骨格特徴点には存在して、第２計測手段で認識するものには存在しない骨格特徴点のデータを補間する。すなわち、骨格特徴点補間部１４０１は、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格が、第２撮像結果を用いて認識されたユーザの骨格に無い場合、当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置を特定する部分である。
　図１５は、第２計測手段には存在しない第１計測手段の骨格特徴点（対象特徴点）について、類似する第１計測手段の骨格特徴点を特定するフローチャートである。
　ステップＳ３１は、対象特徴点と隣接する第１計測手法の骨格特徴点を一つ選択する処理である。骨格特徴点補間部１４０１は、人体の特性上、隣接する骨格特徴点が似た座標変化を示すため、例えば対象特徴点が右肘の場合には隣接する骨格特徴点として右手首や右肩などがあり、この中から一つを選択する。
　ステップＳ３２は、対象特徴点とステップＳ３１で選択した骨格特徴点を用いて類似度を計算する処理である。類似度は、実施例１で述べたように二つの骨格特徴点についてＸ軸、Ｙ軸、Ｚ軸それぞれの相互相関関数を計算し、それらを加算して類似度関数の最大値をとることで得られる。
　ステップＳ３３は、対象特徴点に隣接するすべての骨格特徴点に対して類似度の計算が完了したか否かを判定する処理である。完了していなければステップＳ３１に戻って、別の骨格特徴点を選択する。完了した場合はステップＳ３４に進む。
　ステップＳ３４では、骨格特徴点補間部１４０１は、対象特徴点に対して算出した類似度の中から、最大となる組み合わせを抽出する処理である。例えば対象特徴点が右肘の場合に右手首との類似度が最大であれば、右肘の座標変化は右手首で代替可能と判断し、第２計測手段については右肘のデータを右手首で代替する。
　この手法で右肘のデータは右手首で代替可能と判断した旨をユーザに提示し、確認させれば、ユーザが意図しない代替を防止することができる。
　また、隣接する一つの骨格特徴点で代替するのではなく、隣接する複数の骨格特徴点から内挿または外挿で対象特徴点のデータを生成しても良い。歩行の場合、肘は伸ばしたまま腕を振ることが多いため、右肘が対象特徴点の場合は右手首と右肩から内挿で座標変化を求めることができる。
　そして、類似度算出部４０１は、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格が、第２撮像結果を用いて認識されたユーザの骨格に無い場合、骨格認識部２０６により第１撮像結果を用いて認識されたユーザの骨格の位置変化と、骨格特徴点補間部１４０１により特定された当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置の骨格の位置変化との類似度を算出する。
　これにより、運動解析装置１０１は、第１撮像結果および第２撮像結果から同一の骨格位置の情報が無くても互いの類似度を算出することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施形態に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を用いて追加、削除、置換することが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部またはすべてを例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　さらには、上記した実施例は解析対象の運動として歩行を例にとったが、任意の運動に対して適用しても構わない。
　本発明は、ユーザを撮像可能なデバイスから取得した情報を処理するシステムに利用可能である。
１０１…運動解析装置、２０１…操作入力部、２０２…表示部、２０３…制御部、２０４…メモリ、２０５…データ入力部、２０６…骨格認識部、２０７…特徴量生成部、２０８…モデル、４０１…類似度算出部、４０２…骨格対応テーブル、４０３…運動期間抽出部。

Claims (10)

  1. 　ユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置であって、
    　ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得部と、
    　前記ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得部と、
    　前記第１撮像結果取得部により取得された第１撮像結果を用いてユーザの骨格位置を認識し、前記第２撮像結果取得部により取得された第２撮像結果を用いてユーザの骨格位置を認識する骨格認識部と、
    　前記骨格認識部により認識された結果に基づいて、ユーザの所定運動期間を特定する運動期間特定部と、
    　前記運動期間特定部により特定された運動期間における、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格位置の変化と、前記骨格認識部により前記第２撮像結果を用いて認識されたユーザの骨格位置の変化との類似度を算出する類似度算出部と、
    　前記類似度算出部により算出された類似度に基づいた判断結果を出力する判断結果出力部と、を備える情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記運動期間特定部は、前記骨格認識部により認識された結果に基づき、ユーザの歩行の周期を特定する、情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記判断結果出力部は、前記類似度算出部により算出された類似度が、所定の閾値よりも大きい場合、前記第１デバイスおよび前記第２デバイスが類似する旨を示す情報を出力し、前記類似度算出部により算出された類似度が、所定の閾値以下である場合、前記第１デバイスおよび前記第２デバイスの特性がそれぞれ異なる旨の情報を出力する、情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記判断結果出力部は、前記判断結果として、人体部分と、当該人体部分の骨格部分の類似度を示す情報とを出力する、情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記骨格認識部は、ユーザにより指定された骨格位置を示す情報をさらに取得し、ユーザの骨格位置を認識する、情報処理装置。
  6. 　請求項１に記載の情報処理装置であって、
    　歩行タイプ毎に、骨格部分の動作の特徴量と、当該特徴量に対応する歩行状態とが定められたモデル情報を記憶する記憶部と、
    　歩行タイプの入力を受け付ける受付部と、
    　前記第２デバイスにより検証用として撮像された結果である検証用撮像結果を取得する検証用撮像結果取得部と、
    　前記骨格認識部で認識された骨格位置から当該骨格の特徴量を生成する特徴量生成部と、
    　前記特徴量生成部により生成された特徴量と、前記受付部により受け付けられた歩行タイプに対応するモデル情報とを用いて、前記受付部により受け付けられた歩行タイプに対応するか否かを検証する検証部と、
    　前記検証部による検証結果を出力する検証結果出力部と、
    をさらに備え、
    　前記骨格認識部は、前記検証用撮像結果取得部により取得された検証用撮像結果からユーザの骨格位置を認識し、
    　前記特徴量生成部は、前記骨格認識部により認識された前記検証用撮像結果に基づいたユーザの骨格位置から特徴量を生成する、
    情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記検証結果出力部は、検証部による検証結果が、前記受付部により受け付けられた歩行タイプに対応しないことを示す場合、警告を示す情報を出力する、
    情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記骨格認識部は、前記第１撮像結果取得部により取得された第１撮像結果から認識したユーザの骨格位置と、前記第２撮像結果取得部により取得された第２撮像結果から認識したユーザの骨格位置との対応関係を特定する、情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格が、前記第２撮像結果を用いて認識されたユーザの骨格に無い場合、当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置を特定する骨格位置補間部をさらに備え、
    　前記類似度算出部は、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格が、前記第２撮像結果を用いて認識されたユーザの骨格に無い場合、前記骨格認識部により前記第１撮像結果を用いて認識されたユーザの骨格の位置変化と、前記骨格位置補間部により特定された当該第１撮像結果を用いて認識されたユーザの骨格の位置に対応する位置の骨格の位置変化との類似度を算出する、
    情報処理装置。
  10. 　ユーザを撮像可能なデバイスから取得した情報を処理する情報処理装置で実行する判断結果出力方法であって、
    　ユーザの運動状態を撮像する第１デバイスにより撮像された結果である第１撮像結果を取得する第1撮像結果取得ステップと、
    　前記ユーザの運動状態を撮像する第２デバイスにより撮像された結果である第２撮像結果を取得する第２撮像結果取得ステップと、
    　前記第１撮像結果取得ステップで取得した第１撮像結果を用いてユーザの骨格位置を認識し、前記第２撮像結果取得ステップで取得した第２撮像結果を用いてユーザの骨格位置を認識する骨格認識ステップと、
    　前記骨格認識ステップで認識した結果に基づいて、ユーザの所定運動期間を特定する運動期間特定ステップと、
    　前記運動期間特定ステップで特定した運動期間における、前記骨格認識ステップで前記第１撮像結果を用いて認識したユーザの骨格位置の変化と、前記骨格認識ステップで前記第２撮像結果を用いて認識したユーザの骨格位置の変化との類似度を算出する類似度算出ステップと、
    　前記類似度算出ステップで算出した類似度に基づいた判断結果を出力する判断結果出力ステップと、を含む判断結果出力方法。
PCT/JP2020/034224 2020-02-21 2020-09-10 情報処理装置、および判断結果出力方法 WO2021166294A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/793,993 US20230005161A1 (en) 2020-02-21 2020-09-10 Information processing apparatus and determination result output method
CN202080094172.3A CN115004265A (zh) 2020-02-21 2020-09-10 信息处理装置以及判断结果输出方法
EP20919513.0A EP4109399A4 (en) 2020-02-21 2020-09-10 INFORMATION PROCESSING APPARATUS AND DETERMINATION RESULT OUTPUT METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020027693A JP7216679B2 (ja) 2020-02-21 2020-02-21 情報処理装置、および判断結果出力方法
JP2020-027693 2020-02-21

Publications (1)

Publication Number Publication Date
WO2021166294A1 true WO2021166294A1 (ja) 2021-08-26

Family

ID=77390575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034224 WO2021166294A1 (ja) 2020-02-21 2020-09-10 情報処理装置、および判断結果出力方法

Country Status (5)

Country Link
US (1) US20230005161A1 (ja)
EP (1) EP4109399A4 (ja)
JP (1) JP7216679B2 (ja)
CN (1) CN115004265A (ja)
WO (1) WO2021166294A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230137560A1 (en) * 2021-11-04 2023-05-04 Institute For Information Industry Assistance system and method for guiding exercise postures in live broadcast

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119906A1 (ja) * 2021-12-23 2023-06-29 コニカミノルタ株式会社 情報処理システム、行動定量化プログラム、および行動定量化方法
KR102581933B1 (ko) * 2023-03-21 2023-09-22 에이트스튜디오 주식회사 퇴행성 질환 분류 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
JP2016140591A (ja) * 2015-02-03 2016-08-08 国立大学法人 鹿児島大学 動作解析評価装置、動作解析評価方法、及びプログラム
JP2016146612A (ja) * 2015-02-09 2016-08-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096473A (ko) * 2015-02-05 2016-08-16 한국전자통신연구원 동작 평가 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
JP2016140591A (ja) * 2015-02-03 2016-08-08 国立大学法人 鹿児島大学 動作解析評価装置、動作解析評価方法、及びプログラム
JP2016146612A (ja) * 2015-02-09 2016-08-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4109399A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230137560A1 (en) * 2021-11-04 2023-05-04 Institute For Information Industry Assistance system and method for guiding exercise postures in live broadcast

Also Published As

Publication number Publication date
JP2021131787A (ja) 2021-09-09
EP4109399A1 (en) 2022-12-28
US20230005161A1 (en) 2023-01-05
EP4109399A4 (en) 2024-03-20
CN115004265A (zh) 2022-09-02
JP7216679B2 (ja) 2023-02-01

Similar Documents

Publication Publication Date Title
WO2021166294A1 (ja) 情報処理装置、および判断結果出力方法
Zago et al. 3D tracking of human motion using visual skeletonization and stereoscopic vision
JP4930854B2 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
Gu et al. Cross-subject and cross-modal transfer for generalized abnormal gait pattern recognition
US11403882B2 (en) Scoring metric for physical activity performance and tracking
JP5604225B2 (ja) 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
JP6433805B2 (ja) 運動機能診断装置及び方法、並びにプログラム
JP2010017447A (ja) 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
CN113658211B (zh) 一种用户姿态的评估方法、装置以及处理设备
WO2018087853A1 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
US20180204379A1 (en) System and Method for Providing Reconstruction of Human Surfaces from Orientation Data
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
CN111401340B (zh) 目标对象的运动检测方法和装置
Mortazavi et al. Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation
KR20200087027A (ko) 근골격계 진단을 위한 동작 획득 방법 및 장치
Cotton et al. Markerless Motion Capture and Biomechanical Analysis Pipeline
CN117690583A (zh) 基于物联网的康复护理交互式管理系统及方法
JP6558820B2 (ja) 計測装置、計測方法、及びプログラム
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
JP2022111704A5 (ja)
JP7490600B2 (ja) 情報処理装置、方法およびプログラム
JP7169213B2 (ja) 身体健康状態映像分析装置、方法並びにシステム
CN111435535A (zh) 一种关节点信息的获取方法及装置
CN110837751A (zh) 基于rgbd深度摄像头的人体运动捕捉与步态分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20919513

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020919513

Country of ref document: EP

Effective date: 20220921