WO2022080165A1 - 運動可視化システムおよび運動可視化方法 - Google Patents

運動可視化システムおよび運動可視化方法 Download PDF

Info

Publication number
WO2022080165A1
WO2022080165A1 PCT/JP2021/036602 JP2021036602W WO2022080165A1 WO 2022080165 A1 WO2022080165 A1 WO 2022080165A1 JP 2021036602 W JP2021036602 W JP 2021036602W WO 2022080165 A1 WO2022080165 A1 WO 2022080165A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
walking
motion visualization
skeleton
cycle
Prior art date
Application number
PCT/JP2021/036602
Other languages
English (en)
French (fr)
Inventor
毅 田中
大輔 福井
弘充 中川
崇 豊村
Original Assignee
株式会社日立ハイテク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテク filed Critical 株式会社日立ハイテク
Priority to US18/031,263 priority Critical patent/US20230377375A1/en
Publication of WO2022080165A1 publication Critical patent/WO2022080165A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a motion visualization system and a motion visualization method, and more particularly to a motion visualization system and a motion visualization method for visualizing the walking dynamics of a subject.
  • Patent Document 1 discloses that the footprints of the subject and the movement locus of a predetermined portion are displayed based on the coordinates of each part of the subject extracted from the image.
  • Patent Document 1 it is possible to display, for example, the movement locus of a specific part of the subject.
  • the environment for measuring (observing) the target person for example, the direction in which the image of the target person is taken is different, the measurement data will be different, and even if the movement trajectories are compared, significant results can be obtained. Is difficult.
  • An object of the present invention is to provide a motion visualization system and a motion visualization method capable of comparing a plurality of measurement data.
  • the motion visualization system has a skeleton recognition unit that acquires the skeleton coordinate information of the target person, a cycle extraction unit that extracts the walking cycle of the target person based on the skeleton coordinate information, and a target in one extracted walking cycle. It is equipped with a conversion unit that converts the value of the skeletal coordinate information and converts the skeletal coordinate information based on the information of the target person in the reference coordinate system whose axis is the direction in which the predetermined part of the person moves. There is.
  • FIG. 1 It is a block diagram which shows the structure of the motion visualization system which concerns on embodiment. It is a follow chart diagram for demonstrating the operation of the motion visualization system which concerns on embodiment. It is a figure which shows the relationship between the depth camera and the subject which concerns on embodiment. It is a figure which shows the relationship between the depth camera and the subject which concerns on embodiment. It is a figure for demonstrating the skeleton recognition which concerns on embodiment. It is a figure for demonstrating the extraction of one walking cycle which concerns on embodiment.
  • (A) and (B) are diagrams for explaining the normalization and coordinate transformation according to the embodiment.
  • (A) and (B) are diagrams for explaining the normalization and coordinate transformation according to the embodiment.
  • (A) and (B) are diagrams for explaining the coordinate transformation according to the embodiment.
  • FIG. 1 is a block diagram showing a configuration of a motion visualization system according to an embodiment.
  • 1 indicates a motion visualization system.
  • the motion visualization system 1 includes, but is not particularly limited, a computer 100, a depth camera 200, an internet line 301, and a server 300 connected to the computer 100 via the internet line 301.
  • the motion visualization system 1 may be configured by the computer 100 and the depth camera 200, except for the Internet line 301 and the server 300.
  • the computer 100 includes a calculation unit 101, a control unit 102, an operation input unit 103, a display unit 104, a memory 105, a storage unit 106, an external input / output unit 107, and a network communication unit 108 connected to the bus Bus.
  • the control unit 102 reads a program or the like stored in advance in the storage unit 106 into, for example, the memory 105, and executes the program read in the memory 105.
  • the control unit 102 may execute the program stored in advance in the storage unit 106 without reading it into the memory 105.
  • the memory 105 is used, for example, as a memory for a work when the program is executed.
  • the calculation unit 101 is used to perform an operation when the program is executed by the control unit 102.
  • the external input / output unit 107 is also used when the program is executed by the control unit 102.
  • the depth camera 200 is connected to the external input / output unit 107.
  • the control unit 102 controls the depth camera 200 by using the external input / output unit 107, and acquires the image data captured by the depth camera 200 via the external input / output unit 107.
  • the operation input unit 103 includes, for example, a keyboard and a mouse, and inputs to the computer 100 using the keyboard and the mouse.
  • the display unit 104 includes, for example, a monitor such as a liquid crystal display for displaying an image, and displays an image or the like generated by the computer 100.
  • the network communication unit 108 is connected between the bus Bus and the Internet line 301, and communicates between the computer 100 and the server 300.
  • the data generated by the computer 100 is transmitted to the server 300 via the network communication unit 108 and the Internet line 301, and is stored in the server 300. Further, the data stored in the server 300 is supplied to the computer 100 via the network communication unit 108 and the Internet line 301, and is used when executing the program.
  • the storage unit 106 is composed of, for example, a hard disk, an SSD (Solid State Drive), or the like. A plurality of programs are stored in the storage unit 106. Further, the storage unit 106 stores data generated by executing the program and / or data used in executing the program. As described above, the storage unit 106 stores a plurality of programs and data, but FIG. 1 shows only the programs and data necessary for explaining the embodiment.
  • FIG. 1 2 is a skeleton recognition program
  • 3 is a skeleton normalization program
  • 4 is a screen display program
  • 5 is a walking feature calculation program
  • 6 is a pitch (walking cycle) extraction program.
  • reference numeral 7 shows skeleton / walking feature data stored in the storage unit 106.
  • the control unit 102 realizes the functional unit (functional unit) constituting the motion visualization system 1 in the computer 100. That is, when the skeletal recognition program 2 is executed, the skeletal recognition unit is configured in the computer 100, and when the skeletal normalization program 3 is executed, the conversion unit is configured in the computer 100, and the pitch extraction program 6 Is executed to configure the periodic extraction unit in the computer 100, and the walking feature calculation program 5 is executed to configure the walking feature calculation unit in the computer 100.
  • the image generated by the walking feature calculation program 5 is displayed on the display unit 104. Further, for example, the data generated by the execution of the skeleton recognition program 2, the skeleton normalization program 3, the walking feature calculation program 5, and the pitch extraction program 6 is stored in the storage unit 106 as the skeleton / walking feature data 7.
  • the skeleton / walking feature data 7 stored in the storage unit 106 is supplied to the server 300 via, for example, the network communication unit 108 and the Internet line 301.
  • the data stored in the server 300 is supplied to the storage unit 106 via the Internet line 301 and the network communication unit 108, and is stored as the skeleton / walking feature data 7.
  • the motion visualization system 1 captures a state when the subject (subject) to be measured is walking with a depth camera 200, and accompanies walking based on the image obtained by the imaging. The change in the skeleton of the subject is observed, and the walking characteristics of the subject are displayed, for example, on the display unit 104. ⁇ Operation of motion visualization system>
  • FIG. 2 is a follow chart diagram for explaining the operation of the motion visualization system according to the embodiment. The operation of the motion visualization system 1 shown in FIG. 1 will be described below with reference to FIGS. 1 and 2.
  • step S0 the operation of the motion visualization system 1 starts.
  • the control unit 102 starts executing the skeleton recognition program stored in the storage unit 106.
  • the image (depth) capture in step S1 and the skeleton recognition of each frame in step S2 are executed.
  • steps S1 and S2 may be collectively referred to as a skeleton recognition step.
  • FIGS. 3 and 4 are diagrams showing the relationship between the depth camera and the subject according to the embodiment.
  • FIG. 3 is a drawing of the depth camera 200 and the target person viewed from the side
  • FIG. 4 is a drawing of the depth camera 200 and the target person viewed from above.
  • 500 indicates a subject, and the subject 500 walks on the floor surface 400 of the room in the direction of travel indicated by the arrow.
  • the depth camera 200 is installed on the floor surface 400 by a fixing member 201 such as a tripod, although it is not particularly limited. Further, in FIGS.
  • 200R indicates a shooting range of the depth camera 200
  • the Z axis indicates the depth direction of the depth camera 200 (direction along the optical axis of the lens of the depth camera 200).
  • the Y-axis indicates the vertical (Y-axis perpendicular to the Z-axis) direction along the lens surface of the depth camera 200
  • the X-axis is the left-right (X-axis perpendicular to the Z-axis and Y-axis) along the lens surface. It shows the direction.
  • the center of the lens surface of the depth camera 200 is defined as the starting point (0, 0, 0) of the X-axis, the Y-axis, and the Z-axis.
  • the starting points of the X-axis, the Y-axis, and the Z-axis are not limited to this.
  • the starting point (0) of the Y axis may be the floor surface 400.
  • 401 indicates the ceiling surface of the room.
  • the subject 500 when the subject is instructed to walk toward the lens surface of the depth camera 200, the subject may become nervous and walk in an unusual walking state. Therefore, as shown in FIG. 4, the subject 500 is instructed to walk in a direction deviated from the lens surface of the depth camera 200. As a result, as shown in FIG. 4, the traveling direction of the subject 500 and the Z axis, which is the depth direction of the depth camera 200, do not match.
  • the depth camera 200 continuously photographs a walking subject in the direction of travel.
  • a plurality of frames (image data) obtained by continuous shooting are temporarily stored in, for example, a storage unit 106 via an external input / output unit 107.
  • step S2 the control unit 102 uses, for example, the arithmetic unit 101 to execute a skeleton recognition process for recognizing the skeleton of the target person for each of the plurality of frames temporarily stored in the storage unit 106.
  • FIG. 5 is a diagram for explaining skeleton recognition according to the embodiment.
  • the joint coordinates of the subject 500 are acquired as shown in FIG.
  • the acquired joint coordinates are shown as J1 to J21.
  • J3 to J5 indicate the joint coordinates of the shoulder
  • J13 to J15 indicate the joint coordinates of the pelvis.
  • the values of the joint coordinates J1 to J21 at this time are the values of the coordinate system related to the depth camera 200.
  • the values (x, y, z) of the joint coordinates J1 to J21 are the values on the X-axis, Y-axis, and Z-axis described above.
  • the joint coordinates as shown in FIG. 5 are acquired for each frame.
  • the joint coordinates acquired here are stored in the storage unit 106 as, for example, skeleton / walking feature data 7.
  • step S3 one walking cycle extraction (cycle extraction step) of step S3 is performed. That is, the control unit 102 executes the pitch extraction program 6 stored in the storage unit 106.
  • the pitch extraction program 6 the cycle of one walk of the subject is extracted using the joint coordinates acquired for each frame.
  • FIG. 6 is a diagram for explaining the extraction of one walking cycle according to the embodiment.
  • the walking states 500_1 to 500_6 of the subject for each frame are determined based on the acquired joint coordinates.
  • the walking state 500_1 with both feet open in front of the right foot is defined as the start point and the end point of walking, and the space between the start point and the end point is extracted as one walking cycle (1 pitch).
  • start point and the end point are not limited to this, and any walking state may be used as the start point and the end point.
  • the walking state of the start point is indicated by reference numeral 500_1S
  • the walking state of the end point is indicated by reference numeral 500_1E.
  • the control unit 102 obtains a straight line connecting the walking state 500_1S at the start point and the walking state 500_1E at the end point, and extracts the obtained straight line as the axis (travel axis) in the traveling direction.
  • the control unit 102 extracts a straight line connecting the joint coordinates J13 of the pelvis in the walking state 500_1S and the joint coordinates J13 of the pelvis in the walking state 500_1E as the traveling axis.
  • the extraction of the traveling axis in step S4 is performed as part of the pitch extraction program 6.
  • the extraction of one walking cycle and the extraction of the traveling axis may be executed by separate programs.
  • step S5 for normalizing the length of the XYZ axis based on the unit length (body length)
  • step S6 for performing coordinate conversion so that the Z axis overlaps the traveling axis, and both feet.
  • Step S7 is executed to perform coordinate conversion so that the ground plane of the above is parallel to the X axis.
  • steps S5 to S7 are realized by the control unit 102 executing the skeleton normalization program 3 stored in the storage unit 106.
  • the program for extracting the traveling axis described above may be a part of step S6.
  • step S6 can be regarded as a coordinate conversion step.
  • FIG. 7 and 8 are diagrams for explaining normalization and coordinate transformation according to the embodiment.
  • FIG. 7 is a view of the walking of the subject 500 from the lateral direction (X-axis direction)
  • FIG. 8 is a view of the walking of the subject 500 from the upper side (Y-axis direction). ..
  • step S5 the value of each joint coordinate of the subject 500 is converted based on the information (reference data) of the subject 500.
  • the reference data the height, stride length, length of a predetermined part, or the like of the subject 500 can be used.
  • the length of a predetermined portion of the subject 500 is used as the reference data.
  • the predetermined portion is taken as an example of the body length of the subject 500.
  • the body length of the subject 500 is the length between the shoulder joint coordinates J3 to J5 and the pelvic joint coordinates J13 to J15.
  • the length (torso length) between the shoulder joint coordinates and the pelvic joint coordinates in one frame may be used, but in the embodiment, the average value of the torso length in one walking cycle is used.
  • the values (x, y, z) of each joint coordinate on the X-axis, Y-axis, and Z-axis are converted into values when the reference data is a unit length (for example, 1). That is, by executing step S5, the values of the joint coordinates are normalized with respect to the body length of the subject 500.
  • the Z axis in the depth direction and the traveling direction of the subject 500 are different. That is, the direction of the Z axis and the direction of the traveling axis obtained in step S4 are different.
  • the values of the coordinates of each joint are coordinate-converted so that the traveling axis extracted in step S4 overlaps with the Z-axis. That is, the value of each joint coordinate is coordinate-converted to the reference coordinate system with the traveling direction represented by the traveling axis as the Z axis.
  • FIG. 7 (A) shows before the normalization and the coordinate transformation are performed
  • FIG. 7 (B) shows after the normalization and the coordinate transformation are performed.
  • the joint coordinates are indicated by ⁇ in the walking states 500_1S, 500_1, and 500_1E, as in FIG.
  • the reference numerals J3 to J5 and J13 to J15 are attached to the joint coordinates of the shoulder and the joint coordinates of the pelvis. Since it is before normalization, the unit of Z-axis and Y-axis is meter (m).
  • the traveling axis connecting the start point and the end point is indicated by reference numeral 501.
  • the traveling direction is indicated by an arrow of the traveling axis 501.
  • the traveling axis 501 is oriented in the direction in which the values on the Y-axis and the Z-axis become smaller. That is, the subject 500 is walking in the direction in which the values become smaller on the Y-axis and the Z-axis.
  • the joint coordinates (for example, J3 to J5, J13 to J15) in the walking states 500_1 and 500_1 are based on the body length as reference data (unit length) as shown in FIG. 7B. It is converted into the joint coordinates (J3C to J5C, J13C to J15C). Of course, in FIG. 7B, the unit of the Y-axis and the Z-axis is the body length. Further, since the coordinate conversion is performed in step S6, the traveling axis 501 and the Z axis overlap. In FIG. 7B, 500_1SC, 500_1C, and 500_1EC indicate the walking state after conversion. Since the traveling axis 501 overlaps the Z axis, the change in the walking state accompanying walking is along the Z axis.
  • FIG. 8A shows before normalization and coordinate transformation are performed
  • FIG. 8B shows after normalization and coordinate transformation are performed.
  • the subject 500 when viewed from above, the subject 500 is walking in a direction in which the value on the Z axis is small and the value on the X axis is large.
  • steps S5 and S6 the changes in the walking states 500_1SC, 500_1C, and 500_1EC associated with walking are along the Z axis, and the joint coordinates of the subject are normalized to the unit of the torso length. ing.
  • ⁇ Coordinate transformation related to tilt >>
  • FIG. 9 is a diagram for explaining the coordinate transformation according to the embodiment.
  • FIG. 9 (A) shows before performing step S7
  • FIG. 9 (B) shows after performing step S7.
  • the depth camera 200 is installed on the floor surface 400 by the fixing member 201.
  • the depth camera 200 is tilted to the left and right with respect to the floor surface 400.
  • the subject is tilted with respect to the X axis as shown in FIG. 9A.
  • the X coordinate of each joint coordinate recognized in step S2 is not along the X axis of the floor surface 400.
  • the X-coordinates of these joint coordinates are not along the X-axis as shown in FIG. 9 (A).
  • step S7 the X coordinate of each joint coordinate of the subject is converted so as to be parallel to the floor surface 400 (X axis).
  • the joint coordinates J13 to J15 of the pelvis are converted into the joint coordinates J13C to J15C having X coordinates parallel to the floor surface 400.
  • the joint coordinates of the pelvis have been described as an example, other joint coordinates are similarly converted in step S7. This is realized, for example, by converting the Y-axis value of each joint coordinate so that the difference between the Y-axis values is small between the joint coordinates J14C and J15C.
  • step S5 normalization and coordinate conversion are performed in the order of normalization (step S5) and coordinate conversion (steps S6 and S7).
  • step S5 the normalization of step S5 may be performed after the coordinate transformations of steps S6 and S7 are performed.
  • step S8 the walking feature calculation (walking feature calculation step) of step S8 is performed. That is, the control unit 102 shown in FIG. 1 executes the walking feature calculation program 5 stored in the storage unit 106. In this walking feature calculation program 5, calculation is performed using each joint coordinate acquired by executing steps S5 to S7, that is, each joint coordinate subjected to normalization and coordinate conversion.
  • the walking feature calculation program 5 makes it possible to acquire various features of the subject 500 associated with walking.
  • walking features left-right wobbling during walking, vertical movement during walking, and rotation of a predetermined portion will be described.
  • Walking characteristics As an example of walking features, left-right wobbling during walking, vertical movement during walking, and rotation of a predetermined portion will be described. ⁇ Walking characteristics >>
  • FIGS. 10 to 12 are diagrams for explaining walking features acquired by the motion visualization system according to the embodiment.
  • FIG. 10 is a diagram for explaining the left-right wobbling of the subject 500
  • FIG. 11 is a diagram for explaining the rotation of a predetermined portion of the subject 500
  • FIG. 12 is a diagram for explaining the vertical movement of the subject. Is.
  • J3C to J5C, J8C, J11C, J13C to J15C, J18C and J21C refer to the joint coordinates J3 to J5, J8, J11, J13 to J15, J18 and J21 shown in FIG. These are the joint coordinates obtained by performing the above-mentioned normalization and coordinate transformation. ⁇ Staggering >>>
  • 502 shows a movement locus (stagger locus) of a predetermined portion in the X direction when the subject 500 walks for one cycle.
  • This movement locus 502 is calculated by executing the walking feature calculation program 5.
  • the joint coordinates J13C of the pelvis are adopted as a predetermined portion. Therefore, the movement locus 502 represents the transition of movement when the subject 500 walks for only one walking cycle.
  • the movement locus 502 is parallel to the Z-axis or overlaps with the Z-axis if it does not sway to the left or right.
  • the subject 500 is swaying from side to side, as shown in FIG.
  • the movement locus 502 becomes a curve that changes to the left and right with the Z axis in between.
  • the movement locus 502 may change to only one of the left and right. This makes it possible to specify the presence or absence of wobbling and the magnitude (value) of wobbling of the subject 500.
  • the movement of the pelvic joint coordinates J13C between the walking states 500_1SC and 500_1EC is used, but the movement is not limited thereto.
  • the movement of the shoulder joint coordinates J4C may be used to calculate the movement locus 502. ⁇ Rotation of a predetermined part >>>
  • 503 is a turning line.
  • the straight line connecting the X coordinates of the pelvic joint coordinates J13C to J15C is the rotation line 503.
  • the angle between the rotation line 503 and the virtual line VL orthogonal to the Z axis is calculated as the rotation angle of the pelvis.
  • the rotation line 503 and the rotation angle of the pelvis are calculated by executing the walking feature calculation program 5. By calculating the rotation angle of the pelvis at each timing during the period in which the subject 500 is walking in one walking cycle, it is possible to grasp the transition of the rotation of the pelvis.
  • the rotation angle of the pelvis has been described as an example, but the present invention is not limited to this.
  • the rotation angle of the shoulder may be calculated and the transition thereof may be grasped. ⁇ Vertical movement >>>
  • 504 is a vertical movement locus.
  • the vertical movement locus 504 shows a movement locus in the Y direction of a predetermined portion when the subject 500 walks in one walking cycle.
  • This vertical movement locus 504 is calculated by executing the walking feature calculation program 5.
  • the joint coordinates J13C of the pelvis are adopted as a predetermined portion. Therefore, the vertical movement locus 504 represents the transition of vertical movement when the subject 500 walks for only one walking cycle. If the subject 500 does not move up and down when walking in one walking cycle, the vertical movement locus 504 becomes a constant value on the Y axis. However, when the subject 500 changes up and down during walking, the vertical movement locus 504 becomes a curve that changes in the Y-axis direction, as shown in FIG.
  • the joint coordinates J13C of the pelvis are used, but the present invention is not limited to this.
  • the shoulder joint coordinates J4C may be used.
  • step S8 The various walking features calculated in step S8 are stored in the storage unit 106 as skeleton / walking feature data 7.
  • step S9 the process up to the calculation of walking characteristics is completed.
  • the user operates, for example, the operation input unit 103 (FIG. 1) to instruct the motion visualization system 1 to display the walking feature.
  • the control unit 102 executes the screen display program 4 (FIG. 1).
  • FIG. 13 and 14 are diagrams showing a method of displaying walking features according to the embodiment.
  • FIG. 13 shows a display method for displaying the left-right wobbling of the subject based on the skeleton / walking feature data 7.
  • 104_1 shows a part of the display area on the display screen of the display unit 104.
  • the screen display program 4 displays the transition of the joint coordinates related to the left-right wobbling and the wobbling locus 502 on the display area 104_1 like an animation. That is, the joint coordinates and the wobble trajectory 502 that change with the passage of time are displayed in the display area 104_1.
  • the joint coordinates in the first walking state 500_1SC of one walking cycle are displayed as shown in FIG. 13 (A).
  • the joint coordinates and the wobbling locus 502 that change with the passage of time are sequentially displayed on the display area 104_1, and as shown in FIG. 13B, the joint coordinates and the wobbling locus in the last walking state 500_1EC of one walking cycle are displayed. Up to 502 is displayed.
  • FIG. 14 is similar to FIG. The difference is that in FIG. 14, the pelvic joint coordinates J14C, J15C and the rotation line are displayed together with the wobble locus 502. That is, the joint coordinates J14C and J15C of the pelvis in one walking cycle and the rotation line (a straight line connecting the joint coordinates J14C and J15C) are continuously displayed in chronological order. This makes it possible to present changes in the rotation of the subject's pelvis in one walking cycle.
  • FIG. 14 shows the rotation of the pelvis, but the present invention is not limited to this.
  • the joint coordinates J3C and J5C of the shoulder and the rotation line may be continuously displayed. This makes it possible to present changes in shoulder rotation.
  • the number of walking states to be displayed on the display area 104_1 is set to a predetermined number, for example, 10, and the walking states at the same time interval are displayed. ..
  • the above shows an example of displaying walking features based on the joint coordinates acquired by the subject's walking, but the present invention is not limited to this.
  • an example of the display using the walking feature obtained from the joint coordinates acquired by measuring a plurality of subjects will be described with reference to the drawings. Again, it is assumed that the walking characteristics of the plurality of subjects are subjected to the processing shown in FIG. 2 on the acquired joint coordinates.
  • FIG. 15 is a diagram showing a display screen of the motion visualization system according to the embodiment.
  • 104H shows a display screen displayed on the display unit 104 when the screen display program 4 is executed.
  • the display screen 104H includes a plurality of display areas 104_1 to 104_3, and different contents are simultaneously displayed in the display areas. In the example shown in FIG. 15, what is described in FIG. 14 is displayed in the display area 104_1.
  • a radar chart using walking features is displayed in the display area 104_2.
  • the items on the radar chart are the walking speed (speed), stride length, vertical movement, rotation, and left-right wobbling of the subject.
  • the value of each item is set based on the walking characteristics of a plurality of subjects, and the walking characteristics of the target person (specific target person) measured this time are indicated by the feature line 505.
  • the left-right wobbling is displayed by a bar graph.
  • a distribution map of left-right wobble is formed according to the number of subjects whose left-right wobble values fall within a predetermined range, and is displayed in the display area 104_3.
  • the distribution to which the left-right fluctuation of the target person (specific target person) measured this time belongs is clearly indicated by, for example, a color (dot in FIG. 15).
  • the previous walking characteristics of the subject may be superimposed and displayed on the radar chart (display area 104_2).
  • the previous left-right wobble may be displayed in a different color on the bar graph (display area 104_3). This makes it possible to present, for example, the passage of time and / or improvement due to instructional intervention to the subject this time.
  • the number and intervals of walking states displayed in the display area 104_1 be the same among the subjects so that comparisons between a plurality of subjects can be performed. It is desirable that the number and intervals of walking states displayed in the display area 104_1 be the same even for the same target person when the display is performed a plurality of times.
  • the walking characteristics of a plurality of subjects, the previous walking characteristics of the same subject and / or the walking characteristics of the same subject in different environments may be stored in the storage unit 106 shown in FIG. 1, for example, but in the server 300. It may be stored. When stored in the server 300, it is possible to display as shown in FIG. 15 by incorporating the walking feature into the motion visualization system 1 via the Internet line 301 as needed. In this case, even if the storage capacity of the storage unit 106 is limited, comparison with many subjects is possible.
  • FIG. 16 is a diagram showing the relationship between the depth camera and the subject according to the first modification of the embodiment.
  • FIG. 17 is a block diagram showing a configuration of a motion visualization system according to a modification 2 of the embodiment.
  • FIG. 17 is similar to FIG. The difference is that the depth camera 200 has been changed to the stereo cameras 200_1 and 200_1.
  • the two cameras 200_1 and 200_1 it is possible to grasp the distance between the subject 500 and the cameras, and the like, so that it is not necessary to use a depth camera.
  • the two cameras 200_1 and 200_2 it is also possible to use a compound eye camera.
  • the joint coordinate values are normalized based on the subject's information (reference data).
  • reference data the subject's information
  • the environment changes and / and time elapses by normalizing the joint coordinates based on the same reference data, the effect of environmental changes and / and time elapses. Except for, it is possible to compare the movement trajectories. This makes it possible to grasp the improvement of athletic ability over time and / and the improvement by instructional intervention.
  • the coordinate conversion of the joint coordinates is performed so that the traveling axis of the subject overlaps with the Z axis. This makes it possible to share the Z-axis among a plurality of subjects. Further, even when the same subject is measured in different environments, the Z-axis can be shared.
  • the exercise visualization system and the exercise visualization method according to the first embodiment are used as users by an exercise instructor who instructes the target person in, for example, a fitness club, a rehabilitation facility, or the like. That is, by using the motion visualization system and the motion visualization method according to the first embodiment by the exercise instructor, it is possible to compare a plurality of subjects with the subjects measured this time, and the displayed walking. From the characteristics, it is possible to intuitively and quantitatively understand the characteristics of the subject measured this time and lead to improvement. In addition, the exercise instructor can intuitively and quantitatively understand the improvement over time or by the instructional intervention. Further, the exercise instructor can explain the status of improvement to the subject while presenting the information as shown in FIG. 15 to the subject measured this time.
  • FIG. 15 shows an example of displaying walking characteristics by radar char and distribution, but the present invention is not limited to this.
  • walking characteristics statistical processing such as average and variance may be performed and the processing result may be displayed.
  • step S7 shown in FIG. 2 may be omitted.
  • Motion visualization system Skeletal recognition program 3 Skeletal normalization program 4 Screen display program 5 Walking feature calculation program 6 Pitch extraction program 100 Computer 101 Calculation unit 102 Control unit 103 Operation input unit 104 Display unit 105 Memory 106 Storage unit 200 Depth camera 300 Server 500 Target person J1 to J21 Joint coordinates S0 to S9 Step

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

運動可視化システム１は、対象者の関節座標を取得する骨格認識プログラム２と、関節座標に基づいて、対象者の歩行周期を抽出するピッチ抽出プログラム６と、抽出された１歩行周期において、対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、関節座標の座標を変換し、対象者の情報に基づいて、関節座標を変換する骨格正規化プログラム３を格納した記憶部１０６を備える。

Description

運動可視化システムおよび運動可視化方法
　本発明は、運動可視化システムおよび運動可視化方法に関し、特に対象者の歩行動態を可視化する運動可視化システムおよび運動可視化方法に関する。
　高齢化が進んでいる。高齢化社会においては、運動器疾患によるロコモティブシンドロームの増加が社会問題となっている。高齢化社会においても健康寿命の延伸を図るためには、対象者（高齢者、中高年者）の運動機能の衰えを早期に発見し、フィットネスクラブ、リハビリテーション施設等で適切な運動指導を行い、対象者の運動機能を改善することが望ましい。
　対象者の移動軌跡を表示する動作情報処理装置が、例えば特許文献１に記載されている。特許文献１には、画像から抽出した対象者の各部位の座標を基にして、対象者の足跡や所定の部位の移動軌跡を表示することが示されている。
特開２０１５－４２２４１号公報
　特許文献１によれば、対象者の例えば特定の部位の移動軌跡を表示させることが可能である。しかしながら、対象者を計測（観察）する環境、例えば対象者の画像を撮影する方向等が異なると、計測データが異なることになり、例えば移動軌跡間を比較しても、有意な結果を得ることが困難である。
　例えば同一の対象者であっても、計測する環境が異なれば、時間経過前後あるいは運動指導等の指導介入前後の移動軌跡を比較しても、時間の経過あるいは指導介入による改善を把握することは困難である。また、異なる環境で観察した互いに異なる複数の対象者間で、移動軌跡等を比較しても、複数の対象者を基準として、特定の対象者の移動軌跡の状態を把握することが困難である。
　本発明の目的は、複数の計測データの比較が可能な運動可視化システムおよび運動可視化方法を提供することにある。
　本発明の他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
　本願において開示される実施の形態のうち代表的なものの概要を簡単に説明すれば下記の通りである。
　すなわち、運動可視化システムは、対象者の骨格座標情報を取得する骨格認識部と、骨格座標情報に基づいて、対象者の歩行周期を抽出する周期抽出部と、抽出された１歩行周期において、対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、骨格座標情報の値を変換し、対象者の情報に基づいて、骨格座標情報を変換する変換部とを備えている。
　本願において開示される発明のうち、代表的な実施の形態によって得られる効果を簡単に説明すると、複数の計測データの比較が可能な運動可視化システムおよび運動可視化方法を提供することができる。
実施の形態に係る運動可視化システムの構成を示すブロック図である。 実施の形態に係る運動可視化システムの動作を説明するためのフォローチャート図である。 実施の形態に係る深度カメラと対象者との関係を示す図である。 実施の形態に係る深度カメラと対象者との関係を示す図である。 実施の形態に係る骨格認識を説明するための図である。 実施の形態に係る１歩行周期の抽出を説明するための図である。 （Ａ）および（Ｂ）は、実施の形態に係る正規化および座標変換を説明するための図である。 （Ａ）および（Ｂ）は、実施の形態に係る正規化および座標変換を説明するための図である。 （Ａ）および（Ｂ）は、実施の形態に係る座標変換を説明するための図である。 実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。 実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。 実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。 （Ａ）および（Ｂ）は、実施の形態に係る歩行特徴の表示方法を示す図である。 （Ａ）および（Ｂ）は、実施の形態に係る歩行特徴の表示方法を示す図である。 実施の形態に係る運動可視化システムの表示画面を示す図である。 実施の形態の変形例１に係る深度カメラと対象者との関係を示す図である。 実施の形態の変形例２に係る運動可視化システムの構成を示すブロック図である。
　実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施の形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
　（実施の形態）
　＜運動可視化システムの構成＞
　図１は、実施の形態に係る運動可視化システムの構成を示すブロック図である。図１において、１は運動可視化システムを示している。運動可視化システム１は、特に制限されないが、コンピュータ１００と、深度カメラ２００と、インターネット回線３０１と、インターネット回線３０１を介してコンピュータ１００に接続されたサーバ３００とを備えている。ここでは、運動可視化システム１が、インターネット回線３０１とサーバ３００を備えている例を説明するが、これに限定されるものではない。例えば、インターネット回線３０１とサーバ３００とを除いて、コンピュータ１００と深度カメラ２００とによって、運動可視化システム１が構成されていてもよい。
　コンピュータ１００は、バスＢｕｓに接続された演算部１０１、制御部１０２、操作入力部１０３、表示部１０４、メモリ１０５、記憶部１０６、外部入出力部１０７およびネットワーク通信部１０８を備えている。制御部１０２は、記憶部１０６に予め格納されているプログラム等を、例えばメモリ１０５に読み出し、メモリ１０５に読み出されたプログラムを実行する。勿論、制御部１０２は、記憶部１０６に予め格納されているプログラムを、メモリ１０５に読み出すことなく、実行するようにしてもよい。この場合、プログラムの実行の際に、メモリ１０５は例えばワーク用のメモリとして用いられる。
　演算部１０１は、制御部１０２によってプログラムが実行される際の演算を行うのに用いられる。また、外部入出力部１０７も、制御部１０２によってプログラムが実行される際に用いられる。実施の形態では、深度カメラ２００が、外部入出力部１０７に接続されている。プログラムを実行することにより、制御部１０２は、外部入出力部１０７を用いて、深度カメラ２００を制御し、深度カメラ２００によって撮影した画像データを、外部入出力部１０７を介して取得する。
　操作入力部１０３は、例えばキーボードやマウスを備えており、キーボードやマウスを用いて、コンピュータ１００に対して入力を行う。表示部１０４は、例えば画像を表示する液晶等のモニターを備えており、コンピュータ１００によって生成された画像等を表示する。ネットワーク通信部１０８は、バスＢｕｓとインターネット回線３０１との間に接続され、コンピュータ１００とサーバ３００との間の通信を行う。例えば、コンピュータ１００によって生成されたデータは、ネットワーク通信部１０８およびインターネット回線３０１を介して、サーバ３００に送信され、サーバ３００に格納される。また、サーバ３００に格納されているデータは、ネットワーク通信部１０８およびインターネット回線３０１を介してコンピュータ１００に供給され、プログラムの実行に際して用いられる。
　記憶部１０６は、例えばハードディスクあるいはＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等によって構成されている。記憶部１０６には、複数のプログラムが格納されている。また、記憶部１０６には、プログラムの実行により生成されたデータまたは／およびプログラムの実行に際して用いられるデータが格納される。記憶部１０６には、前記したように複数のプログラムおよびデータが格納されるが、図１では、実施の形態を説明するのに必要なプログラムおよびデータのみが示されている。
　図１において、２は骨格認識プログラム、３は骨格正規化プログラム、４は画面表示プログラム、５は歩行特徴計算プログラム、６はピッチ（歩行周期）抽出プログラムを示している。また、図１において、７は、記憶部１０６に格納される骨格・歩行特徴データを示している。
　制御部１０２は、前記したプログラム２～６を実行することにより、運動可視化システム１を構成する機能ユニット（機能部）が、コンピュータ１００において実現される。すなわち、骨格認識プログラム２が実行されることにより、コンピュータ１００において、骨格認識部が構成され、骨格正規化プログラム３が実行されることにより、コンピュータ１００において、変換部が構成され、ピッチ抽出プログラム６が実行されることにより、コンピュータ１００において、周期抽出部が構成され、歩行特徴計算プログラム５が実行されることにより、コンピュータ１００において、歩行特徴算出部が構成される。
　画面表示プログラム４の実行により、例えば歩行特徴計算プログラム５により生成された画像が、表示部１０４に表示される。また、例えば、骨格認識プログラム２、骨格正規化プログラム３、歩行特徴計算プログラム５およびピッチ抽出プログラム６の実行により生成されたデータが、骨格・歩行特徴データ７として、記憶部１０６に格納される。
　記憶部１０６に格納された骨格・歩行特徴データ７は、例えば、ネットワーク通信部１０８およびインターネット回線３０１を介して、サーバ３００に供給される。あるいは、サーバ３００に格納されているデータが、インターネット回線３０１およびネットワーク通信部１０８を介して、記憶部１０６に供給され、骨格・歩行特徴データ７として格納される。
　実施の形態に係る運動可視化システム１は、計測の対象者（被検者）が歩行しているときの状態を、深度カメラ２００で撮影し、撮影により得られた画像に基づいて、歩行に伴う対象者の骨格の変化を観察し、対象者の歩行特徴を、例えば表示部１０４で表示する。
　＜運動可視化システムの動作＞
　図２は、実施の形態に係る運動可視化システムの動作を説明するためのフォローチャート図である。図１に示した運動可視化システム１の動作を、図１および図２を用いて、以下説明する。
　ステップＳ０で、運動可視化システム１の動作が開始する。動作を開始することにより、制御部１０２が、記憶部１０６に格納されている骨格認識プログラムの実行を開始する。これにより、ステップＳ１の画像（深度）取り込みとステップＳ２の各フレームの骨格認識とが実行される。なお、以下では、ステップＳ１とステップＳ２とを合わせて、骨格認識工程と称する場合がある。
　ステップＳ１の画像取り込みでは、深度カメラ２００を用いて、歩行中の対象者の画像が、連続的に撮影される。深度カメラ２００による対象者の撮影の状態を、図面を用いて説明する。図３および図４は、実施の形態に係る深度カメラと対象者との関係を示す図である。ここで、図３は、深度カメラ２００と対象者とを横方向から見た図面であり、図４は、深度カメラ２００と対象者とを上から見た図面である。図３および図４において、５００は対象者を示し、対象者５００は、部屋の床面４００上を、矢印で示す進行方向に向かって歩行する。深度カメラ２００は、特に制限されないが三脚のような固定部材２０１によって、床面４００上に設置されている。また、図３および図４において、２００Ｒは、深度カメラ２００の撮影範囲を示しており、Ｚ軸は、深度カメラ２００の深度方向（深度カメラ２００のレンズの光軸に沿った方向）を示し、Ｙ軸は、深度カメラ２００のレンズ面に沿った上下（Ｚ軸と直行するＹ軸）方向を示し、Ｘ軸は、同じくレンズ面に沿った左右（Ｚ軸およびＹ軸と直行するＸ軸）方向を示している。特に制限されないが、深度カメラ２００のレンズ面の中心を、Ｘ軸、Ｙ軸およびＺ軸の起点（０、０、０）とする。勿論、Ｘ軸、Ｙ軸およびＺ軸の起点は、これに限定されない。例えば、Ｙ軸の起点（０）は、床面４００としてもよい。なお、４０１は、部屋の天井面を示している。
　例えば、深度カメラ２００のレンズ面に向かって歩行するようにと、対象者に指示した場合、対象者が緊張して、通常とは異なる歩行状態となることがある。そのため、図４に示すように、対象者５００に対しては、深度カメラ２００のレンズ面とは、ずれた方向に向かって歩行するように指示する。その結果、図４に示すように、対象者５００の進行方向と深度カメラ２００の深度方向であるＺ軸とは一致しないことになる。
　深度カメラ２００によって、進行方向に向かった歩行する対象者が連続的に撮影される。連続撮影により得られた複数のフレーム（画像データ）が、外部入出力部１０７を介して、例えば記憶部１０６に、一時的に格納される。
　ステップＳ２において、制御部１０２は、例えば演算部１０１を用いて、記憶部１０６に一時的に格納された複数のフレームのそれぞれに対して、対象者の骨格を認識する骨格認識処理を実行する。図５は、実施の形態に係る骨格認識を説明するための図である。ステップＳ２が実行されることにより、図５に示すように対象者５００の関節（Ｊｏｉｎｔ）座標が取得される。図５では、一例として、取得された関節座標（骨格座標）が、Ｊ１～Ｊ２１として示されている。例えば、Ｊ３～Ｊ５は、肩の関節座標を示し、Ｊ１３～Ｊ１５は、骨盤の関節座標を示している。このときの関節座標Ｊ１～Ｊ２１の値は、深度カメラ２００に関する座標系の値である。すなわち、関節座標Ｊ１～Ｊ２１の値（ｘ、ｙ、ｚ）は、前記したＸ軸、Ｙ軸、Ｚ軸における値である。ステップＳ２が実行されることにより、図５に示したような関節座標が、各フレームに対して取得される。ここで取得された関節座標は、例えば骨格・歩行特徴データ７として、記憶部１０６に格納される。
　ステップＳ２に続いて、ステップＳ３の１歩行周期抽出（周期抽出工程）が行われる。すなわち、制御部１０２は、記憶部１０６に格納されているピッチ抽出プログラム６を実行する。ピッチ抽出プログラム６においては、各フレームに対して取得された関節座標を用いて、対象者の１歩行の周期が抽出される。図６は、実施の形態に係る１歩行周期の抽出を説明するための図である。ピッチ抽出プログラム６では、取得された関節座標を基にして、フレームごとの対象者の歩行状態５００＿１～５００＿６を判別する。実施の形態では、特に制限されないが右足を前にして、両足を開いた歩行状態５００＿１を、歩行の始点および終点とし、始点と終点との間を１歩行周期（１ピッチ）として抽出する。勿論、始点および終点は、これに限定されるものではなく、任意の歩行状態を始点および終点としてよい。なお、以下の説明では、始点の歩行状態を符号５００＿１Ｓで示し、終点の歩行状態を符号５００＿１Ｅで示す。
　次のステップＳ４において、制御部１０２は、始点の歩行状態５００＿１Ｓと終点の歩行状態５００＿１Ｅとを結ぶ直線を求め、求めた直線を進行方向の軸（進行軸）として抽出する。例えば、歩行状態５００＿１Ｓにおける骨盤の関節座標Ｊ１３と歩行状態５００＿１Ｅにおける骨盤の関節座標Ｊ１３とを結ぶ直線を進行軸として、制御部１０２は抽出する。勿論、骨盤の関節座標に限定されるものではない。特に制限されないが、ステップＳ４における進行軸の抽出は、ピッチ抽出プログラム６の一部で行われる。勿論、１歩行周期の抽出と、進行軸の抽出とを別々のプログラムによって実行するようにしてもよい。
　ステップＳ４に続いて、実施の形態では、単位長さ（胴長）を基準にＸＹＺ軸の長さを正規化するステップＳ５、Ｚ軸が進行軸と重なるように座標変換を行うステップＳ６および両足の接地面がＸ軸と平行になるように座標変換を行うステップＳ７が実行される。これらのステップＳ５～Ｓ７は、制御部１０２が、記憶部１０６に格納されている骨格正規化プログラム３を実行することにより実現される。前記した進行軸の抽出を行うプログラムはステップＳ６の一部としてもよい。この場合、ステップＳ６は座標変換工程と見なすことができる。次に図面を用いて、ステップＳ５～Ｓ７を詳しく説明する。
　＜＜正規化および座標変換＞＞
　図７および図８は、実施の形態に係る正規化および座標変換を説明するための図である。ここで、図７は、対象者５００の歩行を横方向（Ｘ軸方向）から見た図であり、図８は、対象者５００の歩行を、上側（Ｙ軸方向）から見た図である。
　ステップＳ５において、対象者５００の各関節座標の値が、対象者５００の情報（基準データ）に基づいて変換される。基準データとしては、対象者５００の身長、歩幅または所定の部位の長さ等を用いることができる。ここでは、基準データとして、対象者５００の所定の部位の長さを用いる場合を説明する。また、所定の部位は、対象者５００の胴長を例とする。
　対象者５００の胴長は、肩の関節座標Ｊ３～Ｊ５と骨盤の関節座標Ｊ１３～Ｊ１５との間の長さである。基準データとしては、１フレームにおける肩の関節座標と骨盤の関節座標との間の長さ（胴長）を用いてもよいが、実施の形態においては、１歩行周期における胴長の平均値を、基準データとして用いる。ステップＳ５では、Ｘ軸、Ｙ軸およびＺ軸における各関節座標の値（ｘ、ｙ、ｚ）を、基準データを単位長さ（例えば１）としたときの値に変換する。すなわち、ステップＳ５の実行により、対象者５００の胴長を基準として、各関節座標の値が、正規化されることになる。
　図４で述べたように、深度方向のＺ軸と、対象者５００の進行方向とは異なっている。すなわち、Ｚ軸の方向とステップＳ４で求めた進行軸の方向とは異なっている。ステップＳ６では、ステップＳ４で抽出した進行軸がＺ軸と重なるように、各関節座標の値を座標変換する。すなわち、進行軸で表される進行方向をＺ軸とした基準座標系に、各関節座標の値が座標変換される。
　次に、図７および図８を用いて、正規化および座標変換を実施する前と、実施後の状態を説明する。図７（Ａ）は、正規化および座標変換を実施する前を示し、図７（Ｂ）は、正規化および座標変換を実施した後を示している。
　図７（Ａ）において、歩行状態５００＿１Ｓ、５００＿４、５００＿１Ｅには、図５と同様に、関節座標が〇で示されている。また、例示として、肩の関節座標と骨盤の関節座標には、符号Ｊ３～Ｊ５とＪ１３～Ｊ１５が付されている。正規化前であるため、Ｚ軸およびＹ軸の単位は、メートル（ｍ）である。また、骨盤の関節座標に関して、始点と終点との間を結ぶ進行軸が、符号５０１で示されている。なお、進行方向は、進行軸５０１の矢印で示されている。図７（Ａ）では、進行軸５０１は、Ｙ軸およびＺ軸の値が小さくなる方向に向いている。すなわち、対象者５００は、Ｙ軸およびＺ軸において値が小さくなる方向に向かって歩いている。
　ステップＳ５で正規化が行われるため、歩行状態５００＿１、５００＿４における関節座標（例えばＪ３～Ｊ５、Ｊ１３～Ｊ１５）は、図７（Ｂ）に示すように、胴長を基準データ（単位長さ）とした関節座標（Ｊ３Ｃ～Ｊ５Ｃ、Ｊ１３Ｃ～Ｊ１５Ｃ）に変換される。勿論、図７（Ｂ）では、Ｙ軸およびＺ軸の単位は、胴長となる。また、ステップＳ６で座標変換が行われるため、進行軸５０１とＺ軸とが重なる。図７（Ｂ）において、５００＿１ＳＣ、５００＿４Ｃ、５００＿１ＥＣは、変換後の歩行状態を示している。進行軸５０１がＺ軸と重なっているため、歩行に伴う歩行状態の変化は、Ｚ軸に沿っている。
　図８（Ａ）は、正規化および座標変換を実施する前を示し、図８（Ｂ）は、正規化および座標変換を実施した後を示している。図８（Ａ）から理解されるように、上から見た場合、対象者５００は、Ｚ軸の値が小さく、Ｘ軸の値が大きくなる方向に向かって歩いている。ステップＳ５およびＳ６が実施されることにより、歩行に伴う歩行状態５００＿１ＳＣ、５００＿４Ｃ、５００＿１ＥＣの変化は、Ｚ軸に沿っており、対象者の関節座標は、胴長を単位としたものに正規化されている。
　＜＜傾斜に関する座標変換＞＞
　図９は、実施の形態に係る座標変換を説明するための図である。ここで、図９（Ａ）はステップＳ７を実施する前を示し、図９（Ｂ）はステップＳ７を実施した後を示している。
　実施の形態においては、図３に示したように、深度カメラ２００は固定部材２０１によって床面４００上に設置されている。深度カメラ２００または／および固定部材２０１の設置の仕方によっては、深度カメラ２００が床面４００に対して、左右に傾斜していることが考えられる。この場合、深度カメラ２００によって取得されたフレームにおいて、対象者は、図９（Ａ）に示すようにＸ軸に対して傾いていることになる。その結果、ステップＳ２において認識された各関節座標のＸ座標は、床面４００のＸ軸に沿っていないことになる。骨盤の関節座標Ｊ１３～Ｊ１５を例にして述べると、これらの関節座標のＸ座標は、図９（Ａ）に示すようにＸ軸に沿っていない。
　ステップＳ７においては、対象者の各関節座標のＸ座標が、床面４００（Ｘ軸）と平行になるように変換される。これにより、図９（Ｂ）に示すように、骨盤の関節座標Ｊ１３～Ｊ１５は床面４００と平行なＸ座標を持つ関節座標Ｊ１３Ｃ～Ｊ１５Ｃに変換される。骨盤の関節座標を例にして述べたが、他の関節座標も、ステップＳ７において同様に変換される。これは、例えば関節座標Ｊ１４ＣとＪ１５Ｃとの間で、Ｙ軸の値の差が小さくなるように、各関節座標のＹ軸の値を変換することで、実現される。
　実施の形態では、図２に示したように、正規化（ステップＳ５）、座標変換（ステップＳ６およびＳ７）の順に正規化および座標変換が行われている。しかしながら、これに限定されるものではなく、例えばステップＳ６およびＳ７の座標変換を実施した後に、ステップＳ５の正規化が実施されるようにしてもよい。
　図２に戻って、運動可視化システムの動作を説明する。
　ステップＳ７の次に、ステップＳ８の歩行特徴計算（歩行特徴算出工程）が実施される。すなわち、図１に示した制御部１０２は、記憶部１０６に格納されている歩行特徴計算プログラム５を実行する。この歩行特徴計算プログラム５では、ステップＳ５～Ｓ７の実行により取得された各関節座標、すなわち正規化および座標変換が施された各関節座標を用いた計算が実施される。
　歩行特徴計算プログラム５によって、歩行に伴う対象者５００の種々の特徴を取得することが可能である。ここでは、歩行特徴の例として、歩行時における左右ふらつき、歩行時における上下動、所定の部位の回旋を説明する。
　＜＜歩行特徴＞＞
　図１０～図１２は、実施の形態に係る運動可視化システムにより取得される歩行特徴を説明するための図である。ここで、図１０は対象者５００の左右ふらつきを説明する図であり、図１１は対象者５００の所定の部位の回旋を説明する図であり、図１２は対象者の上下動を説明する図である。図１０～図１２において、Ｊ３Ｃ～Ｊ５Ｃ、Ｊ８Ｃ、Ｊ１１Ｃ、Ｊ１３Ｃ～Ｊ１５Ｃ、Ｊ１８ＣおよびＪ２１Ｃは、図５に示した関節座標Ｊ３～Ｊ５、Ｊ８、Ｊ１１、Ｊ１３～Ｊ１５、Ｊ１８およびＪ２１に対して、前記した正規化および座標変換を施すことにより取得された関節座標である。
　＜＜＜ふらつき＞＞＞
　図１０において、５０２は、対象者５００が１周期歩行したときの所定の部位のＸ方向の移動軌跡（ふらつき軌跡）を示している。この移動軌跡５０２は、歩行特徴計算プログラム５の実行により算出される。ここでは、所定の部位として、骨盤の関節座標Ｊ１３Ｃが採用されている。そのため、移動軌跡５０２は、対象者５００が１歩行周期だけ歩行した際の、移動の遷移を表している。対象者５００が、１歩行周期歩行した場合、左右にふらついていなければ、移動軌跡５０２は、Ｚ軸と平行、あるいはＺ軸と重なっている。しかしながら、対象者５００が左右にふらついていた場合、図１０に示すように、移動軌跡５０２は、Ｚ軸を挟んで左右に変化する曲線となる。勿論、左右の一方にのみ移動軌跡５０２は変化する場合もある。これにより、対象者５００のふらつきの有無およびふらつきの大きさ（値）を特定することが可能である。
　ここでは、移動軌跡５０２を算出するために、歩行状態５００＿１ＳＣと５００＿１ＥＣとの間における骨盤の関節座標Ｊ１３Ｃの移動を用いたが、これに限定されるものではない。例えば、肩の関節座標Ｊ４Ｃの移動を、移動軌跡５０２の算出に用いてもよい。
　＜＜＜所定の部位の回旋＞＞＞
　図１１において、５０３は回旋線である。図１１では、骨盤の関節座標Ｊ１３Ｃ～Ｊ１５ＣのＸ座標を結ぶ直線が回旋線５０３である。この回旋線５０３と、Ｚ軸と直行する仮想線ＶＬとの間の角度が、骨盤の回旋角度として算出される。この回旋線５０３および骨盤の回旋角度が、歩行特徴計算プログラム５の実行により算出される。対象者５００が１歩行周期歩行している期間において、それぞれのタイミングで骨盤の回旋角度を算出することにより、骨盤の回旋の推移を把握することが可能となる。
　図１１では、骨盤の回旋角度を例にして説明したが、これに限定されるものではない。例えば、肩の回旋角度を算出し、その推移を把握するようにしてもよい。
　＜＜＜上下動＞＞＞
　図１２において、５０４は上下動軌跡である。上下動軌跡５０４は、対象者５００が１歩行周期歩行したときの所定の部位のＹ方向の移動軌跡を示している。この上下動軌跡５０４は、歩行特徴計算プログラム５の実行により算出される。ここでは、所定の部位として、骨盤の関節座標Ｊ１３Ｃが採用されている。そのため、上下動軌跡５０４は、対象者５００が１歩行周期だけ歩行した際の、上下の移動の遷移を表している。対象者５００が、１歩行周期歩行したとき、上下に移動していなければ、上下動軌跡５０４は、Ｙ軸において一定の値となる。しかしながら、対象者５００が、歩行中に上下に変化していた場合、図１２に示すように、上下動軌跡５０４は、Ｙ軸方向に変化する曲線となる。これにより、対象者５００の上下動の有無および上下動の大きさを把握することが可能である。図１２では、骨盤の関節座標Ｊ１３Ｃを用いているが、これに限定されない。例えば、肩の関節座標Ｊ４Ｃを用いてもよい。
　ステップＳ８において算出された種々の歩行特徴は、骨格・歩行特徴データ７として記憶部１０６に格納される。
　ステップＳ８に続くステップＳ９において、歩行特徴の算出までの処理が終了する。この後で、ユーザが、例えば操作入力部１０３（図１）を操作して、歩行特徴の表示を運動可視化システム１に指示する。この指示により、制御部１０２（図１）は画面表示プログラム４（図１）を実行する。
　次に、画面表示プログラム４の実行（表示工程）により、表示部１０４（図１）に表示される歩行特徴の例を、図面を用いて説明する。図１３および図１４は、実施の形態に係る歩行特徴の表示方法を示す図である。
　図１３は、骨格・歩行特徴データ７を基にして、対象者の左右ふらつきを表示する表示方法を示している。図１３において、１０４＿１は、表示部１０４の表示画面における一部の表示領域を示している。画面表示プログラム４は、左右ふらつきに関する関節座標の推移およびふらつき軌跡５０２を、表示領域１０４＿１上にアニメーションのように表示する。すなわち、時間の経過とともに、変化する関節座標とふらつき軌跡５０２が、表示領域１０４＿１に表示される。１歩行周期の最初の歩行状態５００＿１ＳＣにおける関節座標が、図１３（Ａ）に示されているように、表示される。その後、時間の経過とともに変化する関節座標とふらつき軌跡５０２が、順次表示領域１０４＿１上に表示され、図１３（Ｂ）に示すように、１歩行周期の最後の歩行状態５００＿１ＥＣにおける関節座標とふらつき軌跡５０２までが表示される。
　表示領域１０４＿１上に、関節座標の変化も表示する例を説明したが、これに限定されるものではない。例えば、表示領域１０４＿１上に、最初の歩行状態５００＿１ＳＣと最後の歩行状態５００＿１ＥＣの関節座標と、ふらつき軌跡５０２のみを表示するようにしてもよい。図１３のような表示を行うことにより、対象者の左右ふらつきを提示することが可能である。
　図１４は、図１３と類似している。相違点は、図１４では、骨盤の関節座標Ｊ１４Ｃ、Ｊ１５Ｃおよび回旋線が、ふらつき軌跡５０２と合わせて表示される点である。すなわち、１歩行周期における骨盤の関節座標Ｊ１４Ｃ、Ｊ１５Ｃと、回旋線（関節座標Ｊ１４ＣとＪ１５Ｃとを結ぶ直線）が、時系列で連続的に表示される。これにより、１歩行周期における対象者の骨盤の回旋の変化を提示することが可能である。
　図１４では、骨盤の回旋を示したが、これに限定されるものではない。例えば、骨盤の関節座標の代わりに、肩の関節座標Ｊ３Ｃ、Ｊ５Ｃと回旋線（関節座標Ｊ３ＣとＪ５Ｃとを結ぶ直線）を、連続的に表示するようにしてもよい。これにより、肩の回旋の変化を提示することが可能である。
　特に制限されないが、図１３および図１４においては、表示領域１０４＿１上に表示する歩行状態の個数は、予め定められた個数、例えば１０個に定めておき、同一の時間間隔の歩行状態を表示する。
　以上では、対象者の歩行により取得した関節座標に基づいた歩行特徴を表示する例を示したが、これに限定されるものではない。例えば、複数の対象者を計測することにより取得した関節座標より求めた歩行特徴、あるいは同一の対象者を異なる環境または異なる時期で計測することにより取得した関節座標より求めた歩行特徴も用いた表示を行うようにしてもよい。次に、複数の対象者を計測することにより取得した関節座標より求めた歩行特徴を用いた表示の例を、図面を用いて説明する。ここでも、複数の対象者の歩行特徴は、取得した関節座標に対して、図２に示した処理が施されているものとする。
　図１５は、実施の形態に係る運動可視化システムの表示画面を示す図である。図１５において、１０４Ｈは、画面表示プログラム４が実行されることにより、表示部１０４に表示される表示画面を示している。表示画面１０４Ｈは、複数の表示領域１０４＿１～１０４＿３を備えており、それぞれ表示領域に異なる内容が同時に表示される。図１５に示した例では、表示領域１０４＿１には、図１４で説明したものが表示されている。
　表示領域１０４＿２には、歩行特徴を用いたレーダーチャートが表示されている。レーダーチャートの項目は、対象者の歩行速度（速度）、歩幅、上下動、回旋、左右ふらつきとなっている。複数の対象者の歩行特徴に基づいて、各項目の値が設定され、今回計測した対象者（特定の対象者）の歩行特徴が、特徴線５０５によって示される。
　また、表示領域１０４＿３には、歩行特徴のうち、左右ふらつきが棒グラフによって表示されている。左右ふらつきの値が、所定の範囲に入る対象者の人数によって、左右ふらつきの分布図が形成され、表示領域１０４＿３に表示される。また、今回計測した対象者（特定の対象者）の左右ふらつきが、どの分布に属しているかが、例えば色（図１５では、ドット）によって明示される。
　このように、複数の対象者を基準として、比較を表示することにより、今回対象者に対して、複数の対象者における位置を提示することが可能である。
　また、今回対象者の以前の歩行特徴を、レーダーチャート（表示領域１０４＿２）上に重ねて表示するようにしてもよい。同様に、棒グラフ（表示領域１０４＿３）に、以前の左右ふらつきを異色で表示するようにしてもよい。これにより、例えば時間の経過または／および指導介入による改善等を、今回対象者に提示することが可能である。
　複数の対象者間の比較を行えるように、例えば表示領域１０４＿１に表示する歩行状態の個数および間隔は、対象者間で同じにしておくことが望ましい。同一の対象者に対しても、複数回表示する際には、表示領域１０４＿１に表示する歩行状態の個数および間隔は、同じにしておくことが望ましい。
　複数の対象者の歩行特徴、同一対象者の以前の歩行特徴または／および同一対象者の異環境における歩行特徴は、例えば図１に示した記憶部１０６に格納してもよいが、サーバ３００に格納するようにしてもよい。サーバ３００に格納した場合、必要に応じて歩行特徴を、インターネット回線３０１を介して運動可視化システム１に取り込むことにより、図１５に示すような表示を行うことが可能である。この場合、記憶部１０６の記憶容量が制限されていても、多くの対象者との比較が可能となる。
　＜変形例１＞
　図１６は、実施の形態の変形例１に係る深度カメラと対象者との関係を示す図である。
　変形例１においては、深度カメラ２００は、床面４００に設置されるのではなく、天井面４０１に固定される。この場合、対象者５００に対して、深度カメラ２００のレンズ面に向かって歩行するように指示することが可能である。これにより、対象者５００の進行方向が、Ｚ軸と重なっている場合には、図２に示したステップＳ４およびＳ６を省略することが可能である。
　＜変形例２＞
　図１７は、実施の形態の変形例２に係る運動可視化システムの構成を示すブロック図である。
　図１７は、図２と類似している。相違点は、深度カメラ２００が、ステレオカメラ２００＿１、２００＿２に変更されている点である。２個のカメラ２００＿１と２００＿２を用いることにより、対象者５００とカメラとの間の距離等を把握することが可能であるため、深度カメラを用いなくても済む。また、２個のカメラ２００＿１、２００＿２としては、複眼カメラを用いることも可能である。
　実施の形態１によれば、対象者の情報（基準データ）に基づいて関節座標の値が正規化される。複数の対象者に対して、それぞれの情報（基準データ）に基づいて関節座標を正規化することにより、複数の対象者間で、有意な移動軌跡の比較を行うことが可能である。また、同一の対象者の場合も、環境が変わったときまたは／および時間が経過したときも、同じ基準データに基づいて関節座標を正規化することにより、環境の変化または／および時間経過の影響を除いて、移動軌跡を比較することが可能となる。これにより、運動能力の時間経過に伴う改善または／および指導介入による改善を把握することが可能となる。
　さらに、実施の形態においては、対象者の進行軸が、Ｚ軸と重なるように、関節座標の座標変換が行われる。これにより、複数の対象者間でＺ軸を共通化することが可能となる。また、同一の対象者を異なる環境で計測した場合も、Ｚ軸を共通化することが可能となる。
　すなわち、複数の計測データ（関節座標、歩行特徴等）の比較が可能な運動可視化システムおよび運動可視化方法を提供することが可能である。
　実施の形態１に係る運動可視化システムおよび運動可視化方法は、例えばフィットネスクラブ、リハビリテーション施設等で、対象者を指導する運動指導者が、ユーザとして使用することが、特に有益である。すなわち、実施の形態１に係る運動可視化システムおよび運動可視化方法を運動指導者が用いることにより、複数の対象者と今回計測した対象者との比較を行うことが可能であり、表示されている歩行特徴から今回計測した対象者の特徴を直感的かつ定量的に理解し、改善につなげることが可能である。また、運動指導者は、時間の経過あるいは指導介入による改善も、直感的かつ定量的に理解することが可能である。さらに、運動指導者は、今回計測した対象者へ、図１５に示したような情報を提示しながら、対象者へ改善の状況等も説明することが可能である。
　図１５では、歩行特徴をレーダーチャーおよび分布で表示する例を示したが、これに限定されるものではない。例えば歩行特徴に関して、平均、分散等の統計的処理を行い、処理結果を表示するようにしてもよい。
　また、図９（Ａ）に示した傾きが許容できる範囲の場合には、図２に示したステップＳ７は省略してもよい。
　以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
１　運動可視化システム
２　骨格認識プログラム
３　骨格正規化プログラム
４　画面表示プログラム
５　歩行特徴計算プログラム
６　ピッチ抽出プログラム
１００　コンピュータ
１０１　演算部
１０２　制御部
１０３　操作入力部
１０４　表示部
１０５　メモリ
１０６　記憶部
２００　深度カメラ
３００　サーバ
５００　対象者
Ｊ１～Ｊ２１　関節座標
Ｓ０～Ｓ９　ステップ 

Claims (10)

  1. 　対象者の骨格座標情報を取得する骨格認識部と、
    　前記骨格座標情報に基づいて、前記対象者の歩行周期を抽出する周期抽出部と、
    　前記周期抽出部で抽出された１歩行周期において、前記対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、前記骨格座標情報を変換し、前記対象者の情報に基づいて、前記骨格座標情報を変換する変換部と、
    　を備える、運動可視化システム。
  2. 　請求項１に記載の運動可視化システムにおいて、
    　前記対象者の前記情報は、前記対象者の身長、歩幅または身体の所定の部位の長さである、運動可視化システム。
  3. 　請求項２に記載の運動可視化システムにおいて、
    　前記変換部による変換により取得された骨格座標情報に基づいて、前記対象者の歩行の特徴を算出する歩行特徴算出部と、
    　前記対象者の歩行の特徴を表示する表示部と、
    　を、さらに備える、運動可視化システム。
  4. 　請求項３に記載の運動可視化システムにおいて、
    　前記表示部には、歩行に伴う前記対象者の所定の部位の移動軌跡が表示される、運動可視化システム。
  5. 　請求項４に記載の運動可視化システムにおいて、
    　前記表示部には、前記歩行周期における前記対象者の所定の部位の回旋の変化と、前記１歩行周期における前記対象者のふらつきと、が表示される、運動可視化システム。
  6. 　対象者の骨格座標の変化を取得する骨格認識工程と、
    　前記骨格座標の変化に基づいて、前記対象者の歩行周期を抽出する周期抽出工程と、
    　前記周期抽出工程で抽出された１歩行周期において、前記対象者の所定の部位が移動する方向を進行方向の軸とした基準座標系に、前記骨格座標を変換する座標変換工程と、
    　前記対象者の情報に基づいて、前記骨格座標を変換する骨格正規化工程と、
    　を備える、運動可視化方法。
  7. 　請求項６に記載の運動可視化方法において、
    　前記対象者の前記情報は、前記対象者の身長、歩幅または所定の部位の長さである、運動可視化方法。
  8. 　請求項７に記載の運動可視化方法において、
    　前記座標変換工程および前記骨格正規化工程で取得された骨格座標に基づいて、前記対象者の歩行の特徴を算出する歩行特徴算出工程と、
    　前記対象者の歩行の特徴を表示する表示工程と、
    　を、さらに備える、運動可視化方法。
  9. 　請求項８に記載の運動可視化方法において、
    　前記表示工程では、歩行に伴う前記対象者の所定の部位の移動軌跡が表示される、運動可視化方法。
  10. 　請求項９に記載の運動可視化方法において、
    　前記表示工程では、前記歩行周期における前記対象者の所定の部位の回旋の変化と、前記歩行周期における前記対象者のふらつきと、が表示される、運動可視化方法。
PCT/JP2021/036602 2020-10-15 2021-10-04 運動可視化システムおよび運動可視化方法 WO2022080165A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/031,263 US20230377375A1 (en) 2020-10-15 2021-10-04 Motion visualization system and the motion visualization method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-173653 2020-10-15
JP2020173653A JP2022065241A (ja) 2020-10-15 2020-10-15 運動可視化システムおよび運動可視化方法

Publications (1)

Publication Number Publication Date
WO2022080165A1 true WO2022080165A1 (ja) 2022-04-21

Family

ID=81208041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036602 WO2022080165A1 (ja) 2020-10-15 2021-10-04 運動可視化システムおよび運動可視化方法

Country Status (3)

Country Link
US (1) US20230377375A1 (ja)
JP (1) JP2022065241A (ja)
WO (1) WO2022080165A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024006695A (ja) 2022-07-04 2024-01-17 富士通株式会社 照合プログラム、照合方法および情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261595A (ja) * 2008-04-24 2009-11-12 Aisin Seiki Co Ltd 歩行解析及び運動メニュー提案システム
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
CN104035557A (zh) * 2014-05-22 2014-09-10 华南理工大学 一种基于关节活跃度的Kinect动作识别方法
US20150325004A1 (en) * 2013-01-18 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus and method
JP2018121930A (ja) * 2017-02-01 2018-08-09 花王株式会社 歩容の評価方法
JP2018139902A (ja) * 2017-02-28 2018-09-13 株式会社ニコン 検出システム、検出方法、検出プログラム、処理装置、及び運動用マット

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009261595A (ja) * 2008-04-24 2009-11-12 Aisin Seiki Co Ltd 歩行解析及び運動メニュー提案システム
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
US20150325004A1 (en) * 2013-01-18 2015-11-12 Kabushiki Kaisha Toshiba Motion information processing apparatus and method
CN104035557A (zh) * 2014-05-22 2014-09-10 华南理工大学 一种基于关节活跃度的Kinect动作识别方法
JP2018121930A (ja) * 2017-02-01 2018-08-09 花王株式会社 歩容の評価方法
JP2018139902A (ja) * 2017-02-28 2018-09-13 株式会社ニコン 検出システム、検出方法、検出プログラム、処理装置、及び運動用マット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUICHI HAMADA, SHIGERU KURIYAMA, TOMOHIKO MUKAI: "Motion Retrieval Using Random Forest Method", THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J93-D, no. 11, 1 November 2010 (2010-11-01), JP , pages 2516 - 2524, XP009520539, ISSN: 1880-4535 *

Also Published As

Publication number Publication date
JP2022065241A (ja) 2022-04-27
US20230377375A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
Yan et al. Development of ergonomic posture recognition technique based on 2D ordinary camera for construction hazard prevention through view-invariant features in 2D skeleton motion
Zhang et al. Ergonomic posture recognition using 3D view-invariant features from single ordinary camera
JP5314224B1 (ja) ランニングフォーム診断システムおよびランニングフォームを得点化する方法
JP5016687B2 (ja) 人体における筋力と関節モーメントとをリアルタイムでインタラクティブに視覚化する方法
CN105832343B (zh) 多维视觉手功能康复定量评估系统和评估方法
JP6369811B2 (ja) 歩行解析システムおよび歩行解析プログラム
EP2203896B1 (en) Method and system for selecting the viewing configuration of a rendered figure
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
US20210244317A1 (en) Walking mode display method, walking mode display system and walking mode analyzer
KR20170084643A (ko) 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법
WO2022080165A1 (ja) 運動可視化システムおよび運動可視化方法
Nunes et al. Human motion analysis and simulation tools: a survey
Chen et al. Development of an upper limb rehabilitation system using inertial movement units and kinect device
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
JP2016035651A (ja) 在宅リハビリテーションシステム
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
Cunha et al. Real-time data movements acquisition of taekwondo athletes: first insights
WO2021039642A1 (ja) ３次元再構成装置、方法及びプログラム
Gutta et al. Multiple depth sensor setup and synchronization for marker-less 3D human foot tracking in a hallway
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
WO2020121500A1 (ja) 推定方法、推定プログラムおよび推定装置
KR101527188B1 (ko) 단일의 모션센서를 이용한 다중 플레이어 게임 제공 방법
JP2016220779A (ja) 移動運動解析装置、方法及びプログラム
Tannous Interactive and connected rehabilitation systems for e-health

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21879905

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21879905

Country of ref document: EP

Kind code of ref document: A1