WO2016194330A1 - 動作表示システム及びプログラム - Google Patents

動作表示システム及びプログラム Download PDF

Info

Publication number
WO2016194330A1
WO2016194330A1 PCT/JP2016/002486 JP2016002486W WO2016194330A1 WO 2016194330 A1 WO2016194330 A1 WO 2016194330A1 JP 2016002486 W JP2016002486 W JP 2016002486W WO 2016194330 A1 WO2016194330 A1 WO 2016194330A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
moving image
motion
acceleration sensor
display system
Prior art date
Application number
PCT/JP2016/002486
Other languages
English (en)
French (fr)
Inventor
松村　吉浩
智治 中原
智彦 藤田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2017521678A priority Critical patent/JP6516109B2/ja
Priority to CN201680027808.6A priority patent/CN107613867B/zh
Publication of WO2016194330A1 publication Critical patent/WO2016194330A1/ja
Priority to US15/813,602 priority patent/US10881329B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683—Means for maintaining contact with the body
    • A61B5/6831—Straps, bands or harnesses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions

Definitions

  • the present invention relates to an operation display system and a program.
  • Patent Document 1 discloses that acceleration vector data obtained from an acceleration sensor is drawn on a plan view.
  • an object of the present invention is to provide an operation display system and the like that can make the operation of the measurement subject visually easy to understand.
  • an operation display system generates an animation image by capturing an acceleration sensor that detects acceleration of a predetermined part of a measurement subject and the measurement subject's movement.
  • An imaging unit that is attached to the person to be measured, an identifier unit for determining the position of the part in the moving image, and an action locus of the part that is generated based on the acceleration detected by the acceleration sensor Is superimposed on the position of the part determined based on the identifier in the moving image generated by the imaging unit in synchronization with the moving image, and the motion locus is superimposed by the superimposing unit.
  • one embodiment of the present invention can be realized as a program for causing a computer to function as the operation display system.
  • it can be realized as a computer-readable recording medium storing the program.
  • the operation display system according to the present invention makes it possible to visually understand the operation of the person being measured.
  • FIG. 1 is a block diagram illustrating a functional configuration of the operation display system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a specific configuration of the operation display system according to the first embodiment.
  • FIG. 3 is a diagram illustrating a state in which the acceleration sensor according to Embodiment 1 is attached to the measurement subject.
  • FIG. 4 is a diagram showing an operation locus of a predetermined part generated based on acceleration data detected by the acceleration sensor according to the first embodiment.
  • FIG. 5 is a diagram illustrating superimposition processing by the superimposition unit according to the first embodiment.
  • FIG. 6 is a flowchart showing the operation of the operation display system according to the first embodiment.
  • FIG. 1 is a block diagram illustrating a functional configuration of the operation display system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a specific configuration of the operation display system according to the first embodiment.
  • FIG. 3 is a diagram illustrating a state in which the acceleration sensor according to Embodiment 1
  • FIG. 7 is a diagram illustrating a state in which the acceleration sensor according to the modification of the first embodiment is attached to the measurement subject.
  • FIG. 8 is a block diagram illustrating a functional configuration of the operation display system according to the second embodiment.
  • FIG. 9 is a diagram illustrating an operation trajectory in a three-dimensional coordinate system of a predetermined part generated based on acceleration data detected by the acceleration sensor according to the second embodiment.
  • FIG. 10 is a diagram illustrating attachment positions in a horizontal plane of a plurality of acceleration sensors attached to the measurement subject in the second embodiment.
  • FIG. 11 is a diagram in which the motion trajectory for each mounting position of the acceleration sensor according to the second embodiment is projected onto each of the horizontal plane, the frontal plane, and the sagittal plane.
  • FIG. 12 is a diagram for explaining the correction of the motion trajectory by the correction unit according to the second embodiment.
  • FIG. 13 is a diagram for explaining a method of calculating the area of the motion locus according to the second embodiment.
  • FIG. 1 is a block diagram showing a functional configuration of the operation display system 1 according to the present embodiment.
  • FIG. 2 is a schematic diagram showing a specific configuration of the operation display system 1 according to the present embodiment.
  • FIG. 3 is a diagram illustrating a state in which the acceleration sensor 120 according to the present embodiment is attached to the measurement subject 200.
  • a broken-line arrow indicates that the identifier unit 10 is captured by the imaging unit 30, and a solid-line arrow indicates a signal (information) flow between components. The same applies to FIG. 8 described later.
  • the motion display system 1 includes an identifier unit 10, a detection unit 20, a photographing unit 30, a superimposition unit 40, and a display unit 50.
  • the operation display system 1 includes a belt 100 including a reflective material 110 and an acceleration sensor 120, a video camera 130, and a computer 140 in order to realize the functions of the processing units shown in FIG. And a display 150.
  • the identifier unit 10 is attached to the measurement subject 200 and is used to determine the position of a predetermined part of the measurement subject 200 in the moving image. That is, the identifier unit 10 functions as a mark in the moving image.
  • the predetermined part is a part where the acceleration sensor 120 is attached (hereinafter referred to as “attachment part”).
  • the identifier portion 10 is the reflector 110 shown in FIG.
  • the identifier unit 10 may be a color marker.
  • the reflective material 110 is a mark for determining the mounting site of the acceleration sensor 120 in the moving image when the imaging unit 30 images the measurement subject 200.
  • the reflective material 110 has a fixed relative position with respect to the mounting portion of the acceleration sensor 120. Specifically, the reflective material 110 is provided on the surface of the acceleration sensor 120. That is, the position of the reflective material 110 corresponds to the position of the attachment site of the acceleration sensor 120.
  • the reflective material 110 is a nameplate of the acceleration sensor 120.
  • a color marker may be attached to the nameplate of the acceleration sensor 120 as the identifier unit 10.
  • the color marker is a mark of a predetermined color.
  • the color marker color is different from the color of the clothes worn by the person 200 to be measured.
  • the detection unit 20 detects the acceleration of a predetermined part of the measurement subject 200.
  • the detection unit 20 outputs the detected acceleration to the superposition unit 40.
  • the detection unit 20 detects acceleration at a predetermined detection rate (the number of times of acceleration detection per unit time) and outputs the acceleration to the superimposition unit 40. Thereby, the time series data indicating the time change of the acceleration is input to the superimposing unit 40.
  • the detection unit 20 is the acceleration sensor 120 shown in FIG.
  • the acceleration sensor 120 is, for example, a three-axis acceleration sensor, and generates three-dimensional acceleration vector data.
  • the acceleration sensor 120 communicates with the computer 140.
  • the acceleration sensor 120 transmits the generated acceleration vector data to the computer 140 by wireless communication, for example.
  • the wireless communication is performed based on a predetermined wireless communication standard such as Bluetooth (registered trademark), Wi-Fi (registered trademark), or ZigBee (registered trademark).
  • the detection rate of the acceleration sensor 120 is the same as the frame rate of the moving image by the video camera 130, for example. This makes it possible to easily superimpose an operation trajectory and a moving image, which will be described later.
  • the acceleration detection rate and the moving image frame rate may be different. Since each of the acceleration vector data and the moving image includes time information, the motion trajectory and the moving image may be superimposed in synchronism using the time information.
  • the belt 100 includes a reflective material 110 and an acceleration sensor 120.
  • the reflector 110 can be attached to the person 200 to be measured and the acceleration sensor 120 can be attached to a predetermined part of the person 200 to be measured.
  • the strap 102 is a long band or string, and is fixed by being wound around the waist, arms, head, legs, etc. of the subject 200.
  • the material of the strap 102 is not particularly limited, but is formed of a material and a color different from those of the reflector 110 (or the color marker).
  • the hook-and-loop fastener 104 has been described as an example, but the means for fixing the strap 102 is not limited thereto.
  • the belt 100 may include a buckle instead of the hook-and-loop fastener 104.
  • the acceleration sensor 120 is attached to the measurement subject 200 using the belt 100, but the present invention is not limited to this.
  • the acceleration sensor 120 may include a fixture such as a hook-and-loop fastener, a safety pin, and a clip.
  • the acceleration sensor 120 may be attached to the person to be measured 200 by using these attachments.
  • a pocket etc. may be provided in the clothes which the to-be-measured person 200 wears, and the acceleration sensor 120 may be accommodated in the said pocket.
  • the identifier portion 10 such as the reflective material 110 may be attached to the outer surface of the pocket.
  • the imaging unit 30 generates a moving image by imaging the operation of the person 200 to be measured. Specifically, the imaging unit 30 images the measurement subject 200 so that the identifier unit 10 (reflecting material 110) is captured. Note that the identifier unit 10 may not always be photographed. When the identifier unit 10 is not captured in a predetermined frame included in the moving image, the superimposing unit 40 may estimate the position of the identifier unit 10 in the frame using, for example, frames before and after the frame. Good.
  • the photographing unit 30 is a video camera 130.
  • the video camera 130 can perform pan, tilt, zoom, and the like in accordance with the operation of the measurement subject 200.
  • the video camera 130 captures an image around the person 200 to be measured.
  • the video camera 130 communicates with the computer 140 (or the display 150).
  • the video camera 130 transmits the generated moving image data to the computer 140 by wireless communication, for example.
  • Wireless communication is performed based on a predetermined wireless communication standard such as Bluetooth, Wi-Fi, or ZigBee.
  • the video camera 130 may communicate with the computer 140 by wire such as a LAN (Local Area Network) cable.
  • the superimposing unit 40 determines the position of the wearing part determined based on the identifier part 10 in the moving image generated by the imaging unit 30 with the movement locus of the wearing part generated based on the acceleration detected by the acceleration sensor 120. Are superimposed in synchronization with the moving image.
  • the superimposing unit 40 generates an operation locus based on the acceleration data transmitted from the acceleration sensor 120. Specifically, the superimposing unit 40 determines a displacement amount and a moving direction of the predetermined part from the reference position using the detected acceleration.
  • the reference position is, for example, a wearing site of the acceleration sensor 120 when the measurement subject 200 is stationary.
  • the superimposing unit 40 draws the determined displacement amount and moving direction in a three-dimensional coordinate system or a two-dimensional coordinate system in time series, thereby generating an operation locus.
  • FIG. 4 is a diagram showing an operation locus 220 of a predetermined part generated based on the acceleration data detected by the acceleration sensor 120 according to the present embodiment.
  • the motion trajectory 220 is shown in a two-dimensional coordinate system.
  • the two-dimensional coordinate system is a frontal plane (xy plane), a sagittal plane (yz plane), a horizontal plane (xz plane), or the like with respect to the subject 200.
  • the motion locus 220 is indicated by a sagittal plane. That is, in FIG. 4, the x axis indicates the left-right direction of the person 200 to be measured, the y axis indicates the vertical direction (that is, the vertical direction) of the person 200 to be measured, and the z axis indicates the front and rear of the person 200 to be measured. Shows direction.
  • the superimposing unit 40 generates a motion trajectory in a two-dimensional coordinate system in order to superimpose the motion trajectory on the moving image.
  • the superimposing unit 40 may perform coordinate conversion of the motion trajectory generated in the three-dimensional coordinate system into the two-dimensional coordinate system.
  • the superimposing unit 40 includes a coordinate conversion unit 41.
  • the coordinate conversion unit 41 performs coordinate conversion of the motion trajectory 220 so that a specific point in the motion trajectory 220 becomes a fixed point of the measurement subject 200 in the moving image.
  • the specific point is the origin 210 in the coordinate system of the motion trajectory 220
  • the fixed point is the position of the mounting site of the acceleration sensor 120 in the moving image.
  • the coordinate conversion unit 41 determines a fixed point in the moving image from the position of the reflective material 110 in the moving image, and sets the motion trajectory 220 so that the specific point becomes the determined fixed point. Convert coordinates. For example, since the reflecting material 110 reflects light, the portion corresponding to the reflecting material 110 has a higher luminance value than the others. For this reason, the coordinate conversion unit 41 can determine, as a position of the reflective material 110, a portion where the luminance value in the moving image is higher than the threshold value by comparing the pixel value in the moving image with a predetermined threshold value. .
  • the coordinate conversion unit 41 can determine the position of the color marker by detecting the color of the color marker from the moving image.
  • the coordinate conversion unit 41 determines the position of the mounting portion of the acceleration sensor 120 as a fixed point based on the determined position of the reflecting material 110. In the present embodiment, since the position of the reflective material 110 is the position of the mounting portion of the acceleration sensor 120, the coordinate conversion unit 41 determines the position of the reflective material 110 as a fixed point.
  • the coordinate conversion unit 41 determines the position of the acceleration sensor 120 from the position of the reflective material 110 based on the positional relationship between the acceleration sensor 120 and the reflective material 110. Determine the position of the attachment site. Specifically, the coordinate conversion unit 41 acquires the direction and distance from the reflective material 110 to the acceleration sensor 120 based on user input or an image of the person 200 to be measured at rest. The coordinate conversion unit 41 calculates the position of the acceleration sensor 120 by adding the acquired direction and distance to the position of the reflective material 110.
  • the coordinate conversion unit 41 performs coordinate conversion of the motion trajectory 220 so that the origin 210 in the coordinate system of the motion trajectory 220 coincides with the fixed point in the moving image determined as described above (the part where the acceleration sensor 120 is attached). .
  • the wearing part of the acceleration sensor 120 moves in the moving image by the operation of the measurement subject 200 or the movement of the video camera 130. Accordingly, the coordinate conversion unit 41 performs coordinate conversion of the motion trajectory 220 for each frame of a moving image, for example.
  • the superimposing unit 40 superimposes the motion trajectory 220 subjected to coordinate conversion on the moving image. At this time, the superimposing unit 40 enlarges the operation locus 220 and superimposes it on the moving image. That is, the scale of the person 200 to be measured captured in the moving image is different from the scale of the motion trajectory 220. In the present embodiment, since the acceleration sensor 120 is attached to the waist of the person 200 to be measured, the motion of the waist is displayed larger by the motion trajectory 220 than the motion of the waist captured in the moving image.
  • the origin 210 of the motion trajectory 220 is present at the position where the acceleration sensor 120 is attached. That is, in accordance with the movement of the position of the mounting portion of the acceleration sensor 120, the origin 210 of the motion locus 220 also moves.
  • the motion trajectory 220 may be updated according to a predetermined period or timing.
  • the update is to delete the trajectory up to immediately before and newly draw a trajectory.
  • the motion trajectory 220 is updated according to the walking motion of the person 200 to be measured. Specifically, it is updated for each step of the person 200 to be measured. Thereby, it is possible to make the motion trajectory for each walking easier to understand.
  • the motion locus 220 may not be updated. Thereby, since an operation locus is continuously displayed in the moving image, it is possible to continuously make it easy to understand the walking state of the person 200 to be measured.
  • the superimposing unit 40 is a computer 140.
  • the computer 140 includes a nonvolatile memory in which a program is stored, a volatile memory that is a temporary storage area for executing the program, an input / output port, and a processor that executes the program.
  • the display unit 50 displays a moving image on which the motion trajectory 220 is superimposed by the superimposing unit 40.
  • display unit 50 is display 150.
  • the display 150 is, for example, an LCD (Liquid Crystal Display).
  • FIG. 6 is a flowchart showing the operation of the operation display system 1 according to the present embodiment.
  • photographing by the video camera 130 and detection of acceleration by the acceleration sensor 120 are started (S10). Thereby, the moving image (image data of each frame) taken by the video camera 130 and the acceleration data generated by the acceleration sensor 120 are sequentially input to the computer 140.
  • the superimposing unit 40 (computer 140) generates an operation locus based on the acceleration data (S20). Specifically, the superimposing unit 40 calculates a displacement amount and a direction from the reference position based on the acceleration. For example, the superimposing unit 40 generates an operation locus 220 as illustrated in FIG. 4 or 5A.
  • the superimposing unit 40 superimposes the motion trajectory 220 on the moving image (S30).
  • the coordinate conversion unit 41 performs coordinate conversion of the motion trajectory 220 so that the origin 210 in the coordinate system of the motion trajectory 220 coincides with the position of the attachment site of the acceleration sensor 120 in the moving image.
  • the display unit 50 displays a moving image on which the motion trajectory 220 is superimposed (S40).
  • the above processing is performed for each frame of a moving image, for example.
  • the superimposing unit 40 superimposes the motion locus 220 corresponding to the time of the moving image frame on the frame. If no moving image frame is input, the superimposition process is stopped.
  • the time series data of acceleration acquired from the acceleration sensor 120 and the moving image captured by the video camera 130 are stored, not in real time, and the operation locus 220 is converted into a moving image when the moving image is reproduced. You may superimpose.
  • the acceleration sensor 120 may not have a wireless communication function.
  • the acceleration sensor 120 may have a memory readable by the computer 140 for storing time series data of acceleration.
  • the motion display system 1 since the motion display system 1 includes the identifier unit 10, the position of the identifier unit 10 in the moving image can be easily detected. Therefore, since the position of the mounting part of the acceleration sensor 120 in the moving image can be easily determined, the motion trajectory 220 can be superimposed based on the position of the mounting part.
  • the superimposing unit 40 includes a coordinate conversion unit 41 that performs coordinate conversion of the motion trajectory 220 so that a specific point in the motion trajectory 220 becomes a fixed point of the measurement subject 200 in the moving image, and the coordinate conversion is performed.
  • the motion trajectory 220 is superimposed on the moving image.
  • coordinate conversion is performed so that a specific point in the motion trajectory 220 becomes a fixed point in the moving image.
  • a point serving as a reference of the motion trajectory 220 is used as a mounting portion of the acceleration sensor 120 in the moving image. Can be matched. Therefore, it is possible to make the association between the motion trajectory 220 and the motion of the measurement subject 200 in the moving image more visually understandable.
  • the specific point is the origin 210 in the coordinate system of the motion trajectory 220
  • the fixed point is the position of the part in the moving image.
  • the origin 210 in the coordinate system of the motion trajectory 220 can be matched with the mounting site of the acceleration sensor 120 in the moving image, and therefore, the correspondence between the motion trajectory 220 and the motion of the person 200 to be measured in the moving image. Can be made more visually understandable.
  • the identifier unit 10 has a fixed relative position to the part, and the coordinate conversion unit 41 determines a fixed point in the moving image from the position of the identifier unit 10 in the moving image, and the specific point is The motion trajectory 220 is coordinate-transformed so that the determined fixed point is obtained.
  • the technology according to the present embodiment can be realized not only as the operation display system 1 but also as a program for causing a computer to function as the operation display system 1 described above.
  • it can be realized as a recording medium such as a computer-readable DVD (Digital Versatile Disc) in which the program is recorded.
  • the motion display system may include a plurality of identifier units.
  • the plurality of identifier portions are attached to different parts of the person 200 to be measured.
  • the plurality of identifier portions are attached at positions facing each other with the measurement subject interposed therebetween.
  • Each of the two reflective members 110 and 111 has a fixed relative positional relationship with the mounting portion of the acceleration sensor 120.
  • the reflective material 110 is provided on the outer surface of the acceleration sensor 120. That is, the reflective material 110 is located at the mounting site of the acceleration sensor 120.
  • the reflective material 111 is provided on the opposite side of the reflective material 110 with the subject 200 interposed therebetween.
  • the distance and direction between the two reflectors 110 and 111 are predetermined.
  • the coordinate conversion unit 41 acquires the direction and distance from the reflective material 110 to the reflective material 111 based on user input or an image of the person 200 to be measured at rest.
  • the superimposing unit 40 determines the position of at least one of the two reflectors 110 and 111 from the moving image. Thereby, the superimposition part 40 can determine the position of the attachment site
  • the operation display system according to the present modification includes a plurality of identifier portions 10, and the plurality of identifier portions 10 are attached at positions facing each other with the subject 200 interposed therebetween.
  • the motion display system includes the plurality of identifier units 10, if any one of the plurality of identifier units 10 is captured in the moving image, the attachment site of the acceleration sensor 120 can be determined. For example, even when the reflective material 110 is not photographed, the mounting site of the acceleration sensor 120 can be determined based on the position of the reflective material 111. For this reason, the operation trajectory 220 can be accurately superimposed.
  • the superimposing unit 340 superimposes the motion locus of the part represented in the three-dimensional coordinate system on the position of the part in the moving image.
  • the superimposing unit 340 superimposes the motion trajectory of the three-dimensional coordinate system corrected by the correcting unit 360.
  • the specific process is the same as that of the superimposing unit 40 according to the first embodiment except that the operation locus of the three-dimensional coordinate system corrected by the correction unit 360 is used instead of the operation locus of the two-dimensional coordinate system. is there.
  • the correction unit 360 generates an operation locus 420 in a three-dimensional coordinate system based on the three-dimensional acceleration data detected by the acceleration sensor 120.
  • the correction unit 360 corrects the deviation of the operation track (the operation tracks 421 and 422 shown in FIG. 11) when the acceleration sensor 120 is not correctly attached.
  • the correction unit 360 corrects the inclination of the operation locus with respect to the reference direction.
  • the estimation unit 370 estimates the left and right movements of the measurement subject's walk. Specifically, the estimation unit 370 estimates a representative motion of the measurement subject's walking based on the motion trajectory corrected by the correction unit 360. Typical operations include heel contact, sole contact, mid-stance, heel-off, toe-off, and mid-leg.
  • the estimation unit 370 estimates the left and right movements of the person to be measured by integrating the areas of the plurality of minute triangles constituting the movement locus 420. Details of the estimation process will be described later.
  • FIG. 10 is a diagram showing attachment positions in a horizontal plane of a plurality of acceleration sensors attached to the measurement subject 200 in the present embodiment.
  • FIG. 10 shows a cross-sectional view along the horizontal plane of the belt 500 attached to the waist of the person 200 to be measured.
  • the acceleration sensor 120 is fixed to the strap 102 of the belt 500. By attaching the belt 500 to the waist of the person 200 to be measured, the acceleration sensor 120 generates three-dimensional acceleration vector data of the attached part (wearing part).
  • acceleration sensors 521 and 522 are attached to the strap of the belt 500.
  • Each of the acceleration sensors 521 and 522 has the same function as the acceleration sensor 120, and only the mounting position is different. Specifically, the acceleration sensor 521 is attached to the left side of the acceleration sensor 120 at a position shifted by 6 cm.
  • the acceleration sensor 522 is attached to the right side of the acceleration sensor 120 at a position shifted by 6 cm.
  • the acceleration sensors 521 and 522 are verification acceleration sensors attached to collect data when the acceleration sensor 120 is not attached at the correct position.
  • the correct mounting position of the acceleration sensor 120 is the center on the back side of the waist of the person 200 to be measured. Since the belt 500 is attached around the waist of the person 200 to be measured, the acceleration sensors 521 and 522 shifted from the correct positions are inclined with respect to the reference direction D as shown in FIG.
  • the inclination angles of the acceleration sensors 521 and 522 are ⁇ and ⁇ , respectively.
  • the reference direction D is determined according to the attitude of the acceleration sensor 120 attached at a correct position.
  • the reference direction D is a direction orthogonal to the contact portion between the acceleration sensor 120 and the measurement subject 200.
  • the reference direction D is the front-rear direction (z-axis direction) of the person 200 to be measured.
  • FIG. 11 is a diagram in which motion trajectories 420, 421, and 422 for each mounting position of the acceleration sensors 120, 521, and 522 according to the present embodiment are projected onto the horizontal plane, the frontal plane, and the sagittal plane, respectively.
  • the motion trajectories 420, 421, and 422 are represented by a two-dimensional coordinate system as in the first embodiment.
  • the motion trajectory 421 of the acceleration sensor 521 mounted at a position shifted 6 cm to the left is the motion trajectory 420 of the acceleration sensor 120 mounted at the correct position tilted to the left with the tilt angle ⁇ . It corresponds to.
  • the motion trajectory 422 of the acceleration sensor 522 attached at a position shifted 6 cm to the right corresponds to the motion trajectory 420 of the acceleration sensor 120 attached at the correct position tilted to the right at the tilt angle ⁇ .
  • the motion trajectory 421 or 422 of the two-dimensional coordinate system generated based on the acceleration sensor 521 or 522 is compared with the motion trajectory 420 of the two-dimensional coordinate system generated based on the acceleration sensor 120. , Its shape is crumbled. For this reason, an error may occur in the estimation result of the left and right motions by the estimation unit 370.
  • the correction unit 360 corrects the inclination of the operation locus 421 or 422 with respect to the reference direction D. Specifically, the correction unit 360 rotates the motion locus 421 or 422 using a three-dimensional rotation matrix.
  • the frontal plane is the xy plane
  • the horizontal plane is the xz plane
  • the sagittal plane is the yz plane.
  • the coordinate values of the coordinate system (X, Y, Z) after correction can be expressed using the coordinate values of the coordinate system (x, y, z) before correction.
  • the uncorrected coordinate system (x, y, z) is rotated around the x axis by an angle ⁇ to (x, Y ′, Z ′), which is further angled around the Y ′ axis.
  • this can be made to coincide with (X, Y, Z) by rotating it around the Z axis by an angle ⁇ .
  • the coordinate system (X, Y, Z) after correction is expressed by the following (formula 1).
  • FIG. 12 is a diagram for explaining the correction of the motion trajectory by the correction unit 360 according to the present embodiment.
  • FIG. 12 shows a view when the motion trajectories 420, 421, and 422 before rotation (that is, before correction) are viewed from the front face.
  • the motion locus 421 obtained from the acceleration sensor 521 is rotated by the inclination angle ⁇ .
  • the motion locus 421a after rotation (that is, after correction) can be brought close to the motion locus 420 obtained from the acceleration sensor 120.
  • the motion locus 422 obtained from the acceleration sensor 522 is rotated by the inclination angle ⁇ . Thereby, the motion locus 422a after rotation can be brought close to the motion locus 420 obtained from the acceleration sensor 120.
  • the operation locus is corrected based on the deviation from the correct attachment position, thereby generating the same operation locus as that when the acceleration sensor 120 is attached at the correct attachment position. Can do.
  • the motion trajectory 420 generated based on the three-dimensional acceleration data detected by the acceleration sensor 120 draws a curve similar to a Lissajous curve when projected onto the frontal plane.
  • the estimation unit 370 estimates the left / right balance of walking of the person 200 to be measured. For example, if the area on the left side is equal to the area on the right side, it is estimated that the person 200 to be measured can walk in a balanced manner from side to side.
  • FIG. 13 is a diagram for explaining a method for calculating the area of the motion trajectory 420 according to the present embodiment.
  • the area calculation method differs depending on whether the number N of measurement points is an even number (2n) or an odd number (2n + 1).
  • white circles indicate measurement points, and numerical values written near each white circle indicate measurement point numbers.
  • a thick solid line connecting the measurement points in numerical order corresponds to the motion locus 420.
  • the numerical values described in the thin line triangles connecting the three measurement points indicate the triangle numbers.
  • the numerical value indicating the triangle number is surrounded by a square to distinguish it from the number of the measurement point.
  • the area of the triangle can be calculated based on Heron's formula using the length of each side.
  • the length of each side of the triangle can be calculated from the coordinates of each vertex.
  • the triangles 2i-1 and 2i have one side in common.
  • the area S1 of the triangle 2i-1 and the area S2 of the triangle 2i are respectively expressed by the following (formula 2).
  • the total area from triangle 1 to triangle 2n-2 is the area on the left (or right) side of the Lissajous curve.
  • the motion display system 301 further includes a correction unit 360 that corrects the inclination of the motion trajectory with respect to the reference direction D, and the superimposing unit 340 superimposes the motion trajectory corrected by the correction unit 360.
  • the motion display system 301 further includes an estimation unit 370 that estimates the left and right motions of the walking of the person 200 to be measured by accumulating the areas of the plurality of minute triangles constituting the motion trajectory 420. .
  • the area of the motion trajectory 420 can be calculated with high accuracy, the left and right motions of the walking of the measurement subject 200 can be accurately estimated.
  • the specific point in the motion trajectory 220 is the origin 210 in the coordinate system of the motion trajectory 220
  • the present invention is not limited thereto.
  • the specific point may be a point where the motion trajectory 220 intersects any one of the x axis, the y axis, and the z axis, or a point where the motion trajectory 220 intersects any one of the xy plane, the yz plane, and the xz plane.
  • the specific point may be the center of gravity of the motion locus 220 or the initial position.
  • the embodiment can be realized by arbitrarily combining the components and functions in each embodiment without departing from the scope of the present invention, or a form obtained by subjecting each embodiment to various modifications conceived by those skilled in the art. Forms are also included in the present invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

動作表示システム（１）は、被計測者の所定の部位の加速度を検出する検出部（２０）と、被計測者の動作を撮影することで動画像を生成する撮影部（３０）と、被計測者に取り付けられ、部位の位置を動画像内で決定するための識別子部（１０）と、検出部（２０）によって検出された加速度に基づいて生成される部位の動作軌跡を、撮影部（３０）によって生成された動画像内の識別子部（１０）に基づいて決定される部位の位置に、動画像に同期させて重畳する重畳部（４０）と、重畳部（４０）によって動作軌跡が重畳された動画像を表示する表示部（５０）とを備える。

Description

動作表示システム及びプログラム
　本発明は、動作表示システム及びプログラムに関する。
　従来、被験者（被計測者）に加速度センサを装着させて、加速度センサによって検出される加速度データに基づいて、被験者の動作を解析する技術が知られている（例えば、特許文献１参照）。例えば、特許文献１には、加速度センサから得られる加速度ベクトルデータを平面図に描画することが開示されている。
国際公開第２００７／０５２６３１号
　しかしながら、上記従来技術では、加速度ベクトルデータからでは加速度センサが装着された部位の動きは分かるものの、その動きを行っているときの被計測者の姿勢が分からない。例えば、歩行時の姿勢と、装着された部位の動きとの対応がつかないので、被計測者の実際の動作が分かりにくい。
　そこで、本発明は、被計測者の動作を視覚的に分かりやすくすることができる動作表示システムなどを提供することを目的とする。
　上記目的を達成するため、本発明の一態様に係る動作表示システムは、被計測者の所定の部位の加速度を検出する加速度センサと、前記被計測者の動作を撮影することで動画像を生成する撮影部と、前記被計測者に取り付けられ、前記部位の位置を前記動画像内で決定するための識別子部と、前記加速度センサによって検出された加速度に基づいて生成される前記部位の動作軌跡を、前記撮影部によって生成された動画像内の前記識別子部に基づいて決定される前記部位の位置に、前記動画像に同期させて重畳する重畳部と、前記重畳部によって前記動作軌跡が重畳された動画像を表示する表示部とを備える。
　また、本発明の一態様は、コンピュータを上記動作表示システムとして機能させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。
　本発明に係る動作表示システムなどによれば、被計測者の動作を視覚的に分かりやすくすることができる。
図１は、実施の形態１に係る動作表示システムの機能構成を示すブロック図である。 図２は、実施の形態１に係る動作表示システムの具体的な構成を示す概略図である。 図３は、実施の形態１に係る加速度センサが被計測者に取り付けられる様子を示す図である。 図４は、実施の形態１に係る加速度センサによって検出された加速度データに基づいて生成される所定の部位の動作軌跡を示す図である。 図５は、実施の形態１に係る重畳部による重畳処理を示す図である。 図６は、実施の形態１に係る動作表示システムの動作を示すフローチャートである。 図７は、実施の形態１の変形例に係る加速度センサが被計測者に取り付けられる様子を示す図である。 図８は、実施の形態２に係る動作表示システムの機能構成を示すブロック図である。 図９は、実施の形態２に係る加速度センサによって検出された加速度データに基づいて生成される所定の部位の三次元座標系での動作軌跡を示す図である。 図１０は、実施の形態２において被計測者に取り付けられた複数の加速度センサの水平面内での取り付け位置を示す図である。 図１１は、実施の形態２に係る加速度センサの取り付け位置毎の動作軌跡を水平面、前額面及び矢状面の各々へ投影した図である。 図１２は、実施の形態２に係る補正部による動作軌跡の補正を説明するための図である。 図１３は、実施の形態２に係る動作軌跡の面積を算出する手法を説明するための図である。
　以下では、本発明の実施の形態に係る動作表示システムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態１）
　［動作表示システム］
　まず、本実施の形態に係る動作表示システムの概要について、図１～図３を用いて説明する。
　図１は、本実施の形態に係る動作表示システム１の機能構成を示すブロック図である。図２は、本実施の形態に係る動作表示システム１の具体的な構成を示す概略図である。図３は、本実施の形態に係る加速度センサ１２０が被計測者２００に取り付けられる様子を示す図である。なお、図１において、破線の矢印は、識別子部１０が撮影部３０によって撮影されることを示し、実線の矢印は、構成要素間での信号（情報）の流れを示している。これは、後述する図８についても同様である。
　図１に示すように、動作表示システム１は、識別子部１０と、検出部２０と、撮影部３０と、重畳部４０と、表示部５０とを備える。また、図２に示すように、動作表示システム１は、図１に示す各処理部の機能を実現するために、反射材１１０及び加速度センサ１２０を備えるベルト１００と、ビデオカメラ１３０と、コンピュータ１４０と、ディスプレイ１５０とを備える。
　以下では、動作表示システム１が備える各構成要素の詳細について、図面を用いて詳細に説明する。
　［識別子部］
　識別子部１０は、被計測者２００に取り付けられ、被計測者２００の所定の部位の位置を動画像内で決定するために用いられる。つまり、識別子部１０は、動画像内における目印として機能する。所定の部位は、加速度センサ１２０が装着されている部分（以下、「装着部位」と記載する）である。
　本実施の形態では、識別子部１０は、図２に示す反射材１１０である。あるいは、識別子部１０は、色マーカでもよい。反射材１１０は、撮影部３０が被計測者２００を撮影したときに、動画像内での加速度センサ１２０の装着部位を決定するための目印である。反射材１１０は、加速度センサ１２０の装着部位に対する相対位置が固定されている。具体的には、反射材１１０は、加速度センサ１２０の表面に設けられている。すなわち、反射材１１０の位置が、加速度センサ１２０の装着部位の位置に相当する。
　例えば、反射材１１０は、加速度センサ１２０の銘板である。あるいは、加速度センサ１２０の銘板に色マーカを識別子部１０として付してもよい。色マーカは、所定の色の印である。例えば、色マーカの色は、被計測者２００が着用する衣服の色とは異なる色である。
　［検出部］
　検出部２０は、被計測者２００の所定の部位の加速度を検出する。検出部２０は、検出した加速度を重畳部４０へ出力する。検出部２０は、所定の検出レート（単位時間当たりの加速度の検出回数）で加速度を検出して重畳部４０へ出力する。これにより、重畳部４０には、加速度の時間変化を示す時系列データが入力される。
　本実施の形態では、検出部２０は、図２に示す加速度センサ１２０である。加速度センサ１２０は、例えば、三軸加速度センサであり、三次元の加速度ベクトルデータを生成する。
　加速度センサ１２０は、コンピュータ１４０との間で通信する。加速度センサ１２０は、例えば無線通信により、生成した加速度ベクトルデータをコンピュータ１４０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの所定の無線通信規格に基づいて行われる。
　加速度ベクトルデータは、時刻情報（タイムスタンプ）を含んでいる。時刻情報は、加速度を検出した時刻を示している。なお、時刻情報は、コンピュータ１４０が加速度センサ１２０から加速度ベクトルデータを受信したときの時刻を示してもよい。
　加速度センサ１２０の検出レートは、例えば、ビデオカメラ１３０による動画像のフレームレートと同じである。これにより、後述する動作軌跡と動画像とを容易に重畳することができる。なお、加速度の検出レートと動画像のフレームレートとは異なっていてもよい。加速度ベクトルデータと動画像との各々には時刻情報が含まれるので、当該時刻情報を用いて動作軌跡と動画像とを同期させて重畳すればよい。
　［ベルト］
　ここで、反射材１１０及び加速度センサ１２０を被計測者２００に取り付けるための構成について説明する。本実施の形態では、図２に示すように、ベルト１００が、反射材１１０及び加速度センサ１２０を備える。ベルト１００を被計測者２００に装着させることで、反射材１１０を被計測者２００に取り付け、かつ、加速度センサ１２０を被計測者２００の所定の部位に装着させることができる。
　ベルト１００は、反射材１１０及び加速度センサ１２０を被計測者２００に取り付けるための取付部材の一例である。図２に示すように、ベルト１００は、ストラップ１０２と、面ファスナー１０４とを備える。
　ストラップ１０２は、長尺状の帯又は紐であり、被計測者２００の腰、腕、頭、脚などに巻き付けることで固定される。なお、ストラップ１０２の材料は、特に限定されないが、反射材１１０（又は色マーカ）とは異なる材料及び色で形成されている。
　面ファスナー１０４は、ストラップ１０２を固定するための固定具の一例である。面ファスナー１０４は、ループ面とフック面とを有し、それぞれがストラップ１０２の両端部に設けられる。ループ面とフック面とを結合させることで、ストラップ１０２の長さを調節してベルト１００を被計測者２００に固定する。
　なお、ここでは、面ファスナー１０４を例に説明したが、ストラップ１０２を固定する手段は、これに限らない。ベルト１００は、面ファスナー１０４ではなく、バックルを備えてもよい。
　図３は、本実施の形態に係る加速度センサ１２０が被計測者２００に取り付けられている様子を示す図である。
　図３に示す例では、ベルト１００が被計測者２００の腰に装着されることで、加速度センサ１２０及び反射材１１０が被計測者２００の腰の背面側に取り付けられる。なお、加速度センサ１２０及び反射材１１０が取り付けられる位置である装着部位は、腰に限らず、腕、頭、脚などでもよい。
　なお、本実施の形態では、ベルト１００を用いて加速度センサ１２０を被計測者２００に取り付けたが、これに限らない。例えば、加速度センサ１２０は、面ファスナー、安全ピン、クリップなどの取付具を備えてもよい。これらの取付具によって、加速度センサ１２０は、被計測者２００に取り付けられてもよい。あるいは、被計測者２００が着用する衣服にポケットなどが設けられ、当該ポケットに加速度センサ１２０が収容されてもよい。このとき、反射材１１０などの識別子部１０は、ポケットの外表面などに取り付けられてもよい。
　［撮影部］
　撮影部３０は、被計測者２００の動作を撮影することで動画像を生成する。具体的には、撮影部３０は、識別子部１０（反射材１１０）が撮影されるように、被計測者２００を撮影する。なお、識別子部１０は、常に撮影されていなくてもよい。動画像に含まれる所定のフレームにおいて識別子部１０が撮影されなかった場合、重畳部４０は、例えば、当該フレームの前後のフレームを利用して、当該フレームにおける識別子部１０の位置を推定してもよい。
　本実施の形態では、撮影部３０は、ビデオカメラ１３０である。ビデオカメラ１３０は、例えば、被計測者２００の動作に合わせて、パン、チルト、ズームなどが可能である。ビデオカメラ１３０は、例えば、被計測者２００を中心に撮影する。
　ビデオカメラ１３０は、コンピュータ１４０（又は、ディスプレイ１５０）との間で通信する。ビデオカメラ１３０は、例えば無線通信により、生成した動画像データをコンピュータ１４０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ又はＺｉｇＢｅｅなどの所定の無線通信規格に基づいて行われる。なお、ビデオカメラ１３０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）ケーブルなどの有線でコンピュータ１４０と通信してもよい。
　［重畳部］
　重畳部４０は、加速度センサ１２０によって検出された加速度に基づいて生成される装着部位の動作軌跡を、撮影部３０によって生成された動画像内の識別子部１０に基づいて決定される装着部位の位置に、動画像に同期させて重畳する。
　本実施の形態では、重畳部４０は、加速度センサ１２０から送信された加速度データに基づいて動作軌跡を生成する。具体的には、重畳部４０は、検出された加速度を用いて、所定の部位の基準位置からの変位量及び移動方向を決定する。基準位置は、例えば、被計測者２００が静止しているときの加速度センサ１２０の装着部位である。重畳部４０は、決定した変位量及び移動方向を三次元座標系又は二次元座標系に時系列で連続して描画することで、動作軌跡を生成する。
　図４は、本実施の形態に係る加速度センサ１２０によって検出された加速度データに基づいて生成される所定の部位の動作軌跡２２０を示す図である。図４では、動作軌跡２２０を二次元の座標系で示している。
　二次元の座標系は、具体的には、被計測者２００に対する前額面（ｘｙ平面）、矢状面（ｙｚ平面）、水平面（ｘｚ平面）などである。本実施の形態では、動作軌跡２２０は、矢状面で示される。すなわち、図４において、ｘ軸は、被計測者２００の左右方向を示し、ｙ軸は、被計測者２００の上下方向（すなわち、鉛直方向）を示し、ｚ軸は、被計測者２００の前後方向を示している。
　本実施の形態では、重畳部４０は、動作軌跡を動画像に重畳するために、二次元座標系で動作軌跡を生成する。あるいは、重畳部４０は、三次元座標系で生成した動作軌跡を、二次元座標系に座標変換してもよい。
　図１に示すように、重畳部４０は、座標変換部４１を備える。
　座標変換部４１は、動作軌跡２２０における特定の点が動画像内の被計測者２００の固定点となるように、動作軌跡２２０を座標変換する。例えば、特定の点は、動作軌跡２２０の座標系における原点２１０であり、固定点は、動画像内の加速度センサ１２０の装着部位の位置である。
　本実施の形態では、座標変換部４１は、動画像内の反射材１１０の位置から動画像内の固定点を決定し、特定の点が、決定した固定点になるように、動作軌跡２２０を座標変換する。例えば、反射材１１０は、光を反射させるので、反射材１１０に相当する部分は、他より輝度値が高い。このため、座標変換部４１は、動画像内の画素値と所定の閾値とを比較することで、動画像内の輝度値が当該閾値より高い部分を反射材１１０の位置として決定することができる。
　なお、反射材１１０の代わりに色マーカを利用する場合は、座標変換部４１は、色マーカの色を動画像内から検出することで、色マーカの位置を決定することができる。
　座標変換部４１は、決定した反射材１１０の位置に基づいて、加速度センサ１２０の装着部位の位置を固定点として決定する。本実施の形態では、反射材１１０の位置が加速度センサ１２０の装着部位の位置であるので、座標変換部４１は、反射材１１０の位置を固定点として決定する。
　反射材１１０の位置と加速度センサ１２０の装着部位の位置とが異なる場合、座標変換部４１は、加速度センサ１２０と反射材１１０との位置関係に基づいて、反射材１１０の位置から加速度センサ１２０の装着部位の位置を決定する。具体的には、座標変換部４１は、反射材１１０から加速度センサ１２０までの方向及び距離を、ユーザ入力又は被計測者２００の静止時の画像などに基づいて取得する。座標変換部４１は、反射材１１０の位置に対して、取得した方向及び距離を加算することで、加速度センサ１２０の位置を算出する。
　座標変換部４１は、以上のように決定した動画像内の固定点（加速度センサ１２０の装着部位）に、動作軌跡２２０の座標系における原点２１０が一致するように、動作軌跡２２０を座標変換する。加速度センサ１２０の装着部位は、被計測者２００の動作又はビデオカメラ１３０の動きによって、動画像内で移動する。したがって、座標変換部４１は、例えば動画像のフレーム毎に、動作軌跡２２０の座標変換を行う。
　重畳部４０は、座標変換された動作軌跡２２０を動画像に重畳する。このとき、重畳部４０は、動作軌跡２２０を拡大して動画像に重畳する。すなわち、動画像に撮影された被計測者２００のスケールと動作軌跡２２０のスケールとは異なっている。本実施の形態では、加速度センサ１２０が被計測者２００の腰に取り付けられているので、動画像に撮影された腰の動きよりも、腰の動きが動作軌跡２２０によって大きく表示されている。
　図５は、本実施の形態に係る重畳部４０による重畳処理を示す図である。具体的には、図５の（ａ）は、加速度センサ１２０によって検出された加速度に基づいて生成される動作軌跡２２０を示している。図５の（ｂ）は、ビデオカメラ１３０によって撮影された動画像を示している。図５の（ｃ）は、動作軌跡２２０が重畳された動画像を示している。
　図５に示すように、生成された動画像では、動作軌跡２２０の原点２１０が、加速度センサ１２０の装着部位の位置に存在する。すなわち、加速度センサ１２０の装着部位の位置の移動に応じて、動作軌跡２２０の原点２１０も移動する。
　なお、動作軌跡２２０は、所定の期間又はタイミングに応じて更新されてもよい。更新とは、直前までの軌跡を削除して、新たに軌跡を描画することである。例えば、動作軌跡２２０は、被計測者２００の歩行動作に応じて更新される。具体的には、被計測者２００の歩行の一歩毎に更新される。これにより、歩行毎の動作軌跡を分かりやすくすることができる。
　一方で、動作軌跡２２０は、更新されなくてもよい。これにより、動画像内に継続して動作軌跡が表示されるので、被計測者２００の歩行の様子を連続的に分かりやすくすることができる。
　本実施の形態では、重畳部４０は、コンピュータ１４０である。コンピュータ１４０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
　［表示部］
　表示部５０は、重畳部４０によって動作軌跡２２０が重畳された動画像を表示する。本実施の形態では、表示部５０は、ディスプレイ１５０である。ディスプレイ１５０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などである。
　［動作］
　図６は、本実施の形態に係る動作表示システム１の動作を示すフローチャートである。
　まず、ビデオカメラ１３０による撮影と、加速度センサ１２０による加速度の検出とを開始する（Ｓ１０）。これにより、コンピュータ１４０には、ビデオカメラ１３０によって撮影された動画像（各フレームの画像データ）と、加速度センサ１２０によって生成された加速度データとが順次入力される。
　次に、重畳部４０（コンピュータ１４０）は、加速度データに基づいて動作軌跡を生成する（Ｓ２０）。具体的には、重畳部４０は、加速度に基づいて基準位置からの変位量及びその方向を算出する。重畳部４０は、例えば、図４又は図５の（ａ）に示すような動作軌跡２２０を生成する。
　次に、重畳部４０は、動作軌跡２２０を動画像に重畳する（Ｓ３０）。具体的には、動作軌跡２２０の座標系における原点２１０が、動画像内の加速度センサ１２０の装着部位の位置に一致するように、座標変換部４１が動作軌跡２２０を座標変換する。
　次に、表示部５０は、動作軌跡２２０が重畳された動画像を表示する（Ｓ４０）。
　上記処理は、例えば、動画像のフレーム毎に行われる。具体的には、重畳部４０は、動画像のフレームの時刻に対応する動作軌跡２２０を、当該フレームに重畳する。動画像のフレームが入力されなかった場合に、重畳処理を停止する。
　これにより、被計測者２００の動作に合わせてリアルタイムで、動作軌跡２２０が重畳された動画像をディスプレイ１５０に表示することができる。被計測者２００の動作が撮影された動画像に動作軌跡２２０が重畳されているので、被計測者２００の動作を視覚的に分かりやすくすることができる。
　なお、リアルタイムではなく、加速度センサ１２０から取得される加速度の時系列データと、ビデオカメラ１３０によって撮影された動画像とをそれぞれ記憶しておき、動画像の再生時に、動作軌跡２２０を動画像に重畳してもよい。この場合、加速度センサ１２０は、無線通信機能を有していなくてもよい。例えば、加速度センサ１２０は、加速度の時系列データを記憶するための、コンピュータ１４０が読み取り可能なメモリを有してもよい。
　［効果など］
　以上のように、本実施の形態に係る動作表示システム１は、被計測者２００の所定の部位の加速度を検出する加速度センサ１２０と、被計測者２００の動作を撮影することで動画像を生成する撮影部３０と、被計測者２００に取り付けられ、部位の位置を動画像内で決定するための識別子部１０と、加速度センサ１２０によって検出された加速度に基づいて生成される部位の動作軌跡２２０を、撮影部３０によって生成された動画像内の識別子部１０に基づいて決定される部位の位置に、動画像に同期させて重畳する重畳部４０と、重畳部４０によって動作軌跡２２０が重畳された動画像を表示する表示部５０とを備える。
　このように、動作表示システム１によれば、加速度センサ１２０によって部位の加速度を検出するだけでなく、被計測者２００の動作を撮影することで動画像を生成する。このため、加速度の時系列データと動画像との時刻情報を対応付けることで、動画像の各フレームに加速度データを対応付けることができる。また、加速度データから部位の変位を算出することができるので、部位の動作軌跡２２０と動画像とを対応付けることができる。
　したがって、動画像に動作軌跡２２０を重畳させることで、被計測者２００の動作及び姿勢と部位の動作軌跡２２０とを同時に観察することができる。従来では、動画像と動作軌跡とを別々に表示させていたため、動作を観察する際には、観察者は、動画像と動作軌跡との各々に目線を移動させる必要がある。これに対して、本実施の形態によれば、動画像に動作軌跡２２０が重畳されているので、観察者は視線を移動させなくてもよく、被計測者２００の動作を視覚的に分かりやすくすることができる。
　このとき、動作表示システム１が識別子部１０を備えるので、動画像内の識別子部１０の位置を容易に検出することができる。したがって、動画像内の加速度センサ１２０の装着部位の位置を容易に決定することができるので、当該装着部位の位置に基づいて動作軌跡２２０を重畳させることができる。
　なお、動作軌跡２２０を生成する手段として、ビデオカメラ１３０によって生成された動画像に対する画像処理を利用することが考えられる。しかしながら、動画像を用いて動作軌跡２２０を生成しようとした場合、ビデオカメラ１３０と被計測者２００との間の距離が長くなる程、部位の変動を画像処理によって検出するのが難しくなる。つまり、動画像に基づく動作軌跡の生成では、測定の自由度が低い。
　これに対して、動作表示システム１は、動作軌跡２２０を生成するのに、動画像ではなく、加速度センサによって検出された加速度データを利用する。したがって、例えば、重畳部４０を備えるコンピュータ１４０が加速度センサ１２０と無線通信が可能な範囲であれば、加速度データに基づいて部位の動作軌跡２２０を精度良く生成することができる。よって、本実施の形態によれば、測定の自由度が高い動作表示システム１を実現することができる。
　また、例えば、重畳部４０は、動作軌跡２２０における特定の点が動画像内の被計測者２００の固定点となるように、動作軌跡２２０を座標変換する座標変換部４１を備え、座標変換された動作軌跡２２０を動画像に重畳する。
　これにより、動作軌跡２２０における特定の点が動画像内の固定点となるように座標変換を行うので、例えば、動作軌跡２２０の基準となる点を、動画像内の加速度センサ１２０の装着部位に整合させることができる。したがって、動作軌跡２２０と動画像内の被計測者２００の動作との対応付けを、より視覚的に分かりやすくすることができる。
　また、例えば、特定の点は、動作軌跡２２０の座標系における原点２１０であり、固定点は、動画像内の部位の位置である。
　これにより、動作軌跡２２０の座標系における原点２１０を、動画像内の加速度センサ１２０の装着部位に整合させることができるので、動作軌跡２２０と動画像内の被計測者２００の動作との対応付けを、より視覚的に分かりやすくすることができる。
　また、例えば、識別子部１０は、部位に対する相対位置が固定されており、座標変換部４１は、動画像内の識別子部１０の位置から動画像内の固定点を決定し、特定の点が、決定した固定点になるように、動作軌跡２２０を座標変換する。
　これにより、識別子部１０と加速度センサ１２０の装着部位との位置関係に基づいて動画像内の加速度センサ１２０の装着部位を決定するので、識別子部１０と加速度センサ１２０とが異なる部位に取り付けられていてもよい。このため、例えば、被計測者２００の動作によって加速度センサ１２０が撮影されなかった場合にも、識別子部１０の位置に基づいて加速度センサ１２０の装着部位を決定することができる。したがって、加速度センサ１２０の装着部位の自由度を高めることができ、測定の自由度を高めることができる。
　また、例えば、識別子部１０は、色マーカ又は反射材である。
　これにより、動画像内の識別子部１０の位置を精度良く抽出することができるので、加速度センサ１２０の位置を精度良く決定することができる。
　なお、本実施の形態に係る技術は、動作表示システム１として実現することができるだけでなく、コンピュータを、上述した動作表示システム１として機能させるためのプログラムとして実現することもできる。あるいは、当該プログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの記録媒体として実現することもできる。
　つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　（変形例）
　上記の実施の形態では、１つのみの識別子部１０（反射材１１０）が設けられている場合について示したが、これに限らない。動作表示システムは、複数の識別子部を備えてもよい。複数の識別子部は、被計測者２００の互いに異なる部位に取り付けられる。本変形例では、複数の識別子部は、被計測者を間に挟んで対向する位置に取り付けられる。
　図７は、本変形例に係る加速度センサ１２０が被計測者２００に取り付けられる様子を示す図である。具体的には、図７の（ａ）は、被計測者２００の背面側を示しており、（ｂ）は、被計測者２００の正面側を示している。
　図７に示すように、２つの反射材１１０及び１１１が、被計測者２００の背面と前面とに設けられている。
　２つの反射材１１０及び１１１は、それぞれが、加速度センサ１２０の装着部位との相対的な位置関係が固定されている。例えば、反射材１１０は、加速度センサ１２０の外表面に設けられている。すなわち、反射材１１０は、加速度センサ１２０の装着部位に位置している。
　反射材１１１は、被計測者２００を間に挟んで、反射材１１０の反対側に設けられている。例えば、２つの反射材１１０及び１１１の間の距離及び方向は、予め定められている。座標変換部４１は、反射材１１０から反射材１１１までの方向及び距離を、ユーザ入力又は被計測者２００の静止時の画像などに基づいて取得する。
　本変形例では、重畳部４０は、２つの反射材１１０及び１１１の少なくとも一方の位置を動画像内から決定する。これにより、重畳部４０は、決定した位置から、加速度センサ１２０の装着部位の位置を決定することができる。
　例えば、被計測者２００の動きをカメラで追いかけて撮影する場合、常に反射材１１０（識別子部１０）が撮影できるとは限らない。被計測者２００の別の部位（例えば、腕）などによって反射材１１０が隠れてしまい、撮影できなくなる場合が起こりうる。
　このとき、例えば、前後のフレームに撮影された反射材１１０の位置から、対象のフレームに撮影された反射材１１０の位置を、補間処理などにより推定してもよい。反射材１１０が撮影されない期間が一瞬などの短い期間であれば、精度の高い推定が可能になる。
　しかしながら、例えば、反射材１１０が撮影されない時間が長くなった場合には、反射材１１０の正確な位置を推定することができなくなるので、動作軌跡２２０を重畳するときの基準の位置を決定することが難しくなる。
　これに対して、本変形例に係る動作表示システムでは、識別子部１０を複数備え、複数の識別子部１０は、被計測者２００を間に挟んで対向する位置に取り付けられる。
　これにより、動作表示システムが複数の識別子部１０を備えるので、複数の識別子部１０のいずれか１つが動画像に撮影されていれば、加速度センサ１２０の装着部位を決定することができる。例えば、反射材１１０が撮影されない場合でも、反射材１１１の位置に基づいて加速度センサ１２０の装着部位を決定することができる。このため、動作軌跡２２０の重畳を精度良く行うことができる。
　また、１つの識別子部１０が常に撮影されるようにする必要がなくなり、ビデオカメラ１３０による撮影の自由度を高めることができる。したがって、測定の自由度を高めることができる。
　（実施の形態２）
　続いて、実施の形態２に係る動作表示システムについて説明する。
　実施の形態１に係る動作表示システム１では、動作軌跡を二次元座標系で示したのに対して、本実施の形態に係る動作表示システムでは、動作軌跡を三次元座標系で示す点が相違する。また、本実施の形態に係る動作表示システムでは、加速度センサ１２０の取り付け位置に応じた補正を行う。以下では、実施の形態１との相違点を中心に説明し、実施の形態１と同じ点については説明を省略又は簡略化する場合がある。
　図８は、本実施の形態に係る動作表示システム３０１の機能構成を示すブロック図である。図８に示すように、動作表示システム３０１は、実施の形態１に係る図１に示す動作表示システム１と比較して、重畳部４０の代わりに重畳部３４０を備える点と、補正部３６０及び推定部３７０を新たに備える点とが相違する。
　重畳部３４０は、三次元座標系で表された部位の動作軌跡を、動画像内の部位の位置に重畳する。本実施の形態では、重畳部３４０は、補正部３６０によって補正された三次元座標系の動作軌跡を重畳する。具体的な処理は、二次元座標系の動作軌跡ではなく、補正部３６０によって補正された三次元座標系の動作軌跡を利用する点を除いて、実施の形態１に係る重畳部４０と同様である。
　図９は、本実施の形態に係る加速度センサ１２０によって検出された加速度データに基づいて生成される所定の部位の三次元座標系での動作軌跡４２０を示す図である。図９では、太い点線で動作軌跡４２０を表し、細い実線で三次元座標系の各軸（ｘ軸、ｙ軸及びｚ軸）を表している。なお、図９に示す三次元座標系の動作軌跡４２０を水平面（ｘｚ平面）、前額面（ｘｙ平面）、矢状面（ｙｚ平面）のいずれかに投影することで、実施の形態１で説明した二次元座標系の動作軌跡を得ることができる。
　補正部３６０は、加速度センサ１２０によって検出された三次元の加速度データに基づいて、三次元座標系で動作軌跡４２０を生成する。本実施の形態では、補正部３６０は、加速度センサ１２０が正しく取り付けられなかった場合の動作軌跡（図１１に示す動作軌跡４２１及び４２２）のずれを補正する。具体的には、補正部３６０は、基準方向に対する動作軌跡の傾きを補正する。
　推定部３７０は、被計測者の歩行の左右の動作を推定する。具体的には、推定部３７０は、補正部３６０によって補正された動作軌跡に基づいて、被計測者の歩行の代表的な動作を推定する。代表的な動作は、踵接地、足底接地、立脚中期、踵離地、足指離地及び遊脚中期などである。
　推定部３７０は、動作軌跡４２０を構成する複数の微小三角形の各々の面積を積算することで、被計測者の歩行の左右の動作を推定する。推定処理の詳細については、後で説明する。
　補正部３６０及び推定部３７０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどで構成される。
　［傾きの補正］
　ここで、加速度センサ１２０が正しく取り付けられなかった場合の動作軌跡のずれについて説明する。
　図１０は、本実施の形態において被計測者２００に取り付けられた複数の加速度センサの水平面内での取り付け位置を示す図である。なお、図１０は、被計測者２００の腰に取り付けられたベルト５００の水平面に沿った断面図を示している。
　本実施の形態に係る加速度センサ１２０は、ベルト５００のストラップ１０２に固定されている。ベルト５００が被計測者２００の腰などに取り付けられることにより、加速度センサ１２０は、取り付けられた部位（装着部位）の三次元の加速度ベクトルデータを生成する。
　図１０に示すように、ベルト５００のストラップには、加速度センサ５２１及び５２２が取り付けられている。加速度センサ５２１及び５２２はそれぞれ、加速度センサ１２０と機能が同じであり、取り付け位置のみが異なっている。具体的には、加速度センサ５２１は、加速度センサ１２０の左側に６ｃｍずれた位置に取り付けられている。加速度センサ５２２は、加速度センサ１２０の右側に６ｃｍずれた位置に取り付けられている。なお、加速度センサ５２１及び５２２は、加速度センサ１２０が正しい位置に取り付けられなかった場合のデータを収集するために取り付けられた検証用の加速度センサである。
　本実施の形態では、加速度センサ１２０の正しい取り付け位置は、被計測者２００の腰の背中側の中央である。ベルト５００は被計測者２００の腰回りに取り付けられるため、正しい位置からずれた加速度センサ５２１及び５２２は、図１０に示すように、基準方向Ｄに対して傾斜する。ここでは、加速度センサ５２１及び５２２の各々の傾斜角をα及びβとする。
　基準方向Ｄは、正しい位置に取り付けられた加速度センサ１２０の姿勢に応じて定められる。例えば、基準方向Ｄは、加速度センサ１２０と被計測者２００との接触部分に直交する方向である。ここでは、加速度センサ１２０が被計測者２００の腰の背中側の中央に取り付けられるので、基準方向Ｄは、被計測者２００の前後方向（ｚ軸方向）になる。
　図１１は、本実施の形態に係る加速度センサ１２０、５２１及び５２２の取り付け位置毎の動作軌跡４２０、４２１及び４２２を水平面、前額面及び矢状面の各々への投影した図である。動作軌跡４２０、４２１及び４２２は、実施の形態１と同様に二次元座標系で表されている。
　図１１に示すように、左に６ｃｍずれた位置に取り付けられた加速度センサ５２１の動作軌跡４２１は、正しい位置に取り付けられた加速度センサ１２０の動作軌跡４２０が、傾斜角αで左に傾斜したものに相当する。同様に、右に６ｃｍずれた位置に取り付けられた加速度センサ５２２の動作軌跡４２２は、正しい位置に取り付けられた加速度センサ１２０の動作軌跡４２０が、傾斜角βで右に傾斜したものに相当する。
　図１１に示すように、加速度センサ５２１又は５２２に基づいて生成された二次元座標系の動作軌跡４２１又は４２２では、加速度センサ１２０に基づいて生成された二次元座標系の動作軌跡４２０に比べて、その形状が崩れている。このため、推定部３７０による左右の動作の推定結果に誤りが生じる恐れがある。
　そこで、本実施の形態では、補正部３６０は、基準方向Ｄに対する動作軌跡４２１又は４２２の傾きを補正する。具体的には、補正部３６０は、三次元の回転行列を用いて動作軌跡４２１又は４２２を回転させる。なお、例えば、前額面がｘｙ平面で、水平面がｘｚ平面で、矢状面がｙｚ平面とする。
　具体的には、補正後の座標系（Ｘ，Ｙ，Ｚ）の座標値は、補正前の座標系（ｘ，ｙ，ｚ）の座標値を用いて表すことができる。具体的には、補正前の座標系（ｘ，ｙ，ｚ）をｘ軸の周りに角度θだけ回転させて（ｘ，Ｙ’，Ｚ’）とし、これをさらにＹ’軸の周りに角度ψだけ回転させて（Ｘ’，Ｙ’，Ｚ）とする。さらに、これをＺ軸の周りに角度φだけ回転させることで、（Ｘ，Ｙ，Ｚ）に一致させることができる。これにより、補正後の座標系（Ｘ，Ｙ，Ｚ）は、以下の（式１）で表される。
Figure JPOXMLDOC01-appb-M000001
　例えば、図１０に示す加速度センサ５２１のように、水平面での傾きがαで、前額面及び矢状面では傾斜していない場合、上記（式１）に、θ＝０、ψ＝０、φ＝αを代入することで、動作軌跡４２１を補正することができる。
　図１２は、本実施の形態に係る補正部３６０による動作軌跡の補正を説明するための図である。図１２では、回転前（すなわち、補正前）の動作軌跡４２０、４２１及び４２２を前額面から見たときの図を示している。
　図１２に示すように、加速度センサ５２１から得られた動作軌跡４２１を、傾斜角αの分だけ回転する。これにより、回転後（すなわち、補正後）の動作軌跡４２１ａを、加速度センサ１２０から得られた動作軌跡４２０に近づけることができることが分かる。同様に、加速度センサ５２２から得られた動作軌跡４２２を、傾斜角βの分だけ回転する。これにより、回転後の動作軌跡４２２ａを、加速度センサ１２０から得られた動作軌跡４２０に近づけることができる。
　これにより、加速度センサ１２０が正しい位置に取り付けられなかった場合でも、正しい取り付け位置からのずれに基づいて動作軌跡を補正することで、正しい取り付け位置に取り付けた場合と同様の動作軌跡を生成することができる。
　［推定処理］
　ここで、推定部３７０が行う被計測者２００の歩行の動作の推定処理について説明する。
　例えば、図１２に示すように、加速度センサ１２０によって検出された三次元の加速度データに基づいて生成された動作軌跡４２０は、前額面に投影した場合、リサージュ曲線に似た曲線を描く。当該リサージュ曲線の左側の面積と、右側の面積との比に基づいて、推定部３７０は、被計測者２００の歩行の左右のバランスを推定する。例えば、左側の面積と右側の面積とが等しくなれば、被計測者２００が左右にバランス良く歩行できていることが推定される。
　以下では、リサージュ曲線の面積の算出方法について、図１３を用いて説明する。図１３は、本実施の形態に係る動作軌跡４２０の面積を算出する手法を説明するための図である。計測点の個数Ｎが偶数（２ｎ）であるか奇数（２ｎ＋１）であるかに応じて、面積の算出方法が異なる。
　なお、図１３において、白丸が計測点を示しており、各白丸の近くに記載された数値が計測点の番号を示している。計測点を番号順に繋ぐ太い実線が動作軌跡４２０に相当する。また、３つの計測点を結ぶ細線の三角形の中に記載された数値は、三角形の番号を示している。三角形の番号を示す数値は、計測点の番号と区別するため、四角で囲んで示している。
　＜計測点の個数Ｎが偶数（２ｎ）の場合＞
　図１３の（ａ）に示すように、推定部３７０は、計測点１から計測点ｎ－１について、三角形２ｉ－１及び２ｉ（ｉ＝ｎ－１）の面積を求める。三角形の面積は、各辺の長さを用いて、ヘロンの公式に基づいて算出することができる。三角形の各辺の長さは、各頂点の座標から算出することができる。ここで、図１３の（ｃ）に示すように、三角形２ｉ－１及び２ｉは、一辺が共通である。三角形２ｉ－１の面積Ｓ１及び三角形２ｉの面積Ｓ２はそれぞれ、以下の（式２）で示される。
Figure JPOXMLDOC01-appb-M000002
　三角形１から三角形２ｎ－２までの面積の総和がリサージュ曲線の左側（又は右側）の面積となる。
　＜計測点の個数Ｎが奇数（２ｎ＋１）の場合＞
　図１３の（ｂ）に示すように、推定部３７０は、計測点１から計測点ｎ－１について、三角形２ｉ－１及び２ｉ（ｉ＝ｎ－１）の面積を求める。具体的には、個数Ｎが偶数（２ｎ）の場合と同様に、ヘロンの公式に基づいて算出することができる。さらに、推定部３７０は、計測点ｎについて、三角形２ｎ－１の面積を求める。三角形１から三角形２ｎ－１までの面積の総和がリサージュ曲線の左側（又は右側）の面積となる。
　［効果など］
　以上のように、本実施の形態に係る動作表示システム３０１では、加速度センサ１２０は、三軸加速度センサであり、重畳部３４０は、三次元座標系で表された部位の動作軌跡４２０を重畳する。
　これにより、三次元座標系で表された動作軌跡を重畳するので、被計測者２００の動作及び姿勢と部位の動作軌跡とを立体的に同時に観察することができる。このため、被計測者２００の動作を視覚的に分かりやすくすることができる。
　また、例えば、動作表示システム３０１は、さらに、基準方向Ｄに対する動作軌跡の傾きを補正する補正部３６０を備え、重畳部３４０は、補正部３６０によって補正された動作軌跡を重畳する。
　これにより、加速度センサ１２０が正しい位置に取り付けられなかった場合でも、正しい位置に取り付けられた場合と同様の動作軌跡を得ることができる。したがって、被計測者２００の部位の動きを正確に把握することができる。
　また、例えば、動作表示システム３０１は、さらに、動作軌跡４２０を構成する複数の微小三角形の各々の面積を積算することで、被計測者２００の歩行の左右の動作を推定する推定部３７０を備える。
　これにより、動作軌跡４２０の面積の算出を精度良く行うことができるので、被計測者２００の歩行の左右の動作を精度良く推定することができる。
　（その他）
　以上、本発明に係る動作表示システムについて、上記の各実施の形態及びその変形例に基づいて説明したが、本発明は、上記の実施の形態などに限定されるものではない。
　例えば、上記の実施の形態１では、動作軌跡２２０における特定の点が、動作軌跡２２０の座標系における原点２１０である例について示したが、これに限らない。例えば、特定の点は、動作軌跡２２０がｘ軸、ｙ軸及びｚ軸のいずれかに交差する点、又は、動作軌跡２２０がｘｙ平面、ｙｚ平面及びｘｚ平面のいずれかに交差する点でもよい。あるいは、特定の点は、動作軌跡２２０の重心、又は、初期位置でもよい。
　また、例えば、上記の実施の形態１では、撮影部３０、重畳部４０及び表示部５０を実現する構成として、ビデオカメラ１３０、コンピュータ１４０及びディスプレイ１５０を示したが、これに限らない。例えば、ビデオカメラ１３０が備えるディスプレイに、動作軌跡２２０を重畳した動画像を表示してもよい。すなわち、ビデオカメラ１３０は、撮影部３０の機能だけでなく、重畳部４０及び表示部５０の機能を有してもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
１、３０１　動作表示システム
１０　識別子部
２０　検出部
３０　撮影部
４０、３４０　重畳部
４１　座標変換部
５０　表示部
１１０、１１１　反射材
１２０　加速度センサ
１３０　ビデオカメラ
１４０　コンピュータ
１５０　ディスプレイ
２００　被計測者
２１０　原点
２２０、４２０　動作軌跡
３６０　補正部
３７０　推定部

Claims (10)

  1. 　被計測者の所定の部位の加速度を検出する加速度センサと、
    　前記被計測者の動作を撮影することで動画像を生成する撮影部と、
    　前記被計測者に取り付けられ、前記部位の位置を前記動画像内で決定するための識別子部と、
    　前記加速度センサによって検出された加速度に基づいて生成される前記部位の動作軌跡を、前記撮影部によって生成された動画像内の前記識別子部に基づいて決定される前記部位の位置に、前記動画像に同期させて重畳する重畳部と、
    　前記重畳部によって前記動作軌跡が重畳された動画像を表示する表示部とを備える
    　動作表示システム。
  2. 　前記重畳部は、前記動作軌跡における特定の点が前記動画像内の前記被計測者の固定点となるように、前記動作軌跡を座標変換する座標変換部を備え、座標変換された動作軌跡を前記動画像に重畳する
    　請求項１に記載の動作表示システム。
  3. 　前記特定の点は、前記動作軌跡の座標系における原点であり、
    　前記固定点は、前記動画像内の前記部位の位置である
    　請求項２に記載の動作表示システム。
  4. 　前記識別子部は、前記部位に対する相対位置が固定されており、
    　前記座標変換部は、前記動画像内の前記識別子部の位置から前記動画像内の前記固定点を決定し、前記特定の点が、決定した固定点になるように、前記動作軌跡を座標変換する
    　請求項３に記載の動作表示システム。
  5. 　前記識別子部を複数備え、
    　前記複数の識別子部は、前記被計測者を間に挟んで対向する位置に取り付けられる
    　請求項１～４のいずれか１項に記載の動作表示システム。
  6. 　前記識別子部は、色マーカ又は反射材である
    　請求項１～５のいずれか１項に記載の動作表示システム。
  7. 　前記加速度センサは、三軸加速度センサであり、
    　前記重畳部は、三次元座標系で表された前記部位の動作軌跡を重畳する
    　請求項１～６のいずれか１項に記載の動作表示システム。
  8. 　さらに、
    　基準方向に対する前記動作軌跡の傾きを補正する補正部を備え、
    　前記重畳部は、前記補正部によって補正された動作軌跡を重畳する
    　請求項７に記載の動作表示システム。
  9. 　さらに、
    　前記動作軌跡を構成する複数の微小三角形の各々の面積を積算することで、前記被計測者の歩行の左右の動作を推定する推定部を備える
    　請求項７又は８に記載の動作表示システム。
  10. 　コンピュータを、請求項１～９のいずれか１項に記載の動作表示システムとして機能させるためのプログラム。
PCT/JP2016/002486 2015-06-01 2016-05-23 動作表示システム及びプログラム WO2016194330A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017521678A JP6516109B2 (ja) 2015-06-01 2016-05-23 動作表示システム及びプログラム
CN201680027808.6A CN107613867B (zh) 2015-06-01 2016-05-23 动作显示系统以及记录介质
US15/813,602 US10881329B2 (en) 2015-06-01 2017-11-15 Motion display system and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-111751 2015-06-01
JP2015111751 2015-06-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/813,602 Continuation US10881329B2 (en) 2015-06-01 2017-11-15 Motion display system and recording medium

Publications (1)

Publication Number Publication Date
WO2016194330A1 true WO2016194330A1 (ja) 2016-12-08

Family

ID=57440777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002486 WO2016194330A1 (ja) 2015-06-01 2016-05-23 動作表示システム及びプログラム

Country Status (4)

Country Link
US (1) US10881329B2 (ja)
JP (1) JP6516109B2 (ja)
CN (1) CN107613867B (ja)
WO (1) WO2016194330A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019198532A (ja) * 2018-05-17 2019-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 検知方法、検知装置及び検知システム
WO2022230603A1 (ja) * 2021-04-30 2022-11-03 株式会社村田製作所 生体データ測定システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11083344B2 (en) 2012-10-11 2021-08-10 Roman Tsibulevskiy Partition technologies
KR102564949B1 (ko) 2018-05-29 2023-08-07 큐리어서 프로덕츠 인크. 상호작용식 훈련 및 데몬스트레이션을 위한 반사 비디오 디스플레이 장치 및 그 사용 방법들
US11733781B2 (en) * 2019-04-02 2023-08-22 Project Dasein Llc Leveraging machine learning and fractal analysis for classifying motion
WO2021222497A1 (en) 2020-04-30 2021-11-04 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052631A1 (ja) * 2005-10-31 2007-05-10 Bycen Inc. 歩様バランス定量化方法および歩様バランス定量化装置
WO2012014714A1 (ja) * 2010-07-27 2012-02-02 オムロンヘルスケア株式会社 歩行変化判定装置
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US20060204045A1 (en) * 2004-05-27 2006-09-14 Antonucci Paul R A System and method for motion performance improvement
JP4157884B2 (ja) * 2005-08-18 2008-10-01 株式会社日立エルジーデータストレージ 記録再生装置
JP4758842B2 (ja) 2006-01-26 2011-08-31 日本放送協会 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム
JP5845830B2 (ja) * 2011-11-09 2016-01-20 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
JP2013103010A (ja) 2011-11-15 2013-05-30 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN102860841B (zh) * 2012-09-25 2014-10-22 陈颀潇 超声图像引导下穿刺手术的辅助导航系统
JP5983399B2 (ja) 2012-12-28 2016-08-31 ブラザー工業株式会社 情報処理装置、情報処理方法及びプログラム
CN104933436B (zh) * 2014-03-19 2018-09-14 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
JP2016034480A (ja) * 2014-07-31 2016-03-17 セイコーエプソン株式会社 報知装置、運動解析システム、報知方法、報知プログラム、運動支援方法及び運動支援装置
US11559261B2 (en) * 2015-11-19 2023-01-24 Panasonic Intellectual Property Management Co., Ltd. Gait motion display system and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007052631A1 (ja) * 2005-10-31 2007-05-10 Bycen Inc. 歩様バランス定量化方法および歩様バランス定量化装置
WO2012014714A1 (ja) * 2010-07-27 2012-02-02 オムロンヘルスケア株式会社 歩行変化判定装置
JP2015042241A (ja) * 2013-01-18 2015-03-05 株式会社東芝 動作情報処理装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Dobutsu Sen'yo Multi Dosa Bunseki System", KABUSHIKI KAISHA NBC HOMEPAGE, 28 March 2015 (2015-03-28), Retrieved from the Internet <URL:https://web.archive.org/web/20150328051953/http://www.nbc-japan.com/nbc3-ls301-3dani.html> [retrieved on 20160719] *
SHINJI KAGAWA: "Development of Visual Evaluation of Gait Acceleration Data with Lissajous Figures : Utility for Rehabilitation", RIGAKU RYOHOGAKU, vol. 36, no. 1, 2009, pages 18 - 23 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019198532A (ja) * 2018-05-17 2019-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 検知方法、検知装置及び検知システム
JP7080722B2 (ja) 2018-05-17 2022-06-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 検知方法、検知装置及び検知システム
WO2022230603A1 (ja) * 2021-04-30 2022-11-03 株式会社村田製作所 生体データ測定システム

Also Published As

Publication number Publication date
US20180070863A1 (en) 2018-03-15
JP6516109B2 (ja) 2019-05-22
CN107613867B (zh) 2020-10-16
US10881329B2 (en) 2021-01-05
CN107613867A (zh) 2018-01-19
JPWO2016194330A1 (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
WO2016194330A1 (ja) 動作表示システム及びプログラム
US11194386B1 (en) Artificial reality wearable magnetic sensor system for body pose tracking
JP5680196B2 (ja) 測定対象物表面上の三次元座標を求めるための光学式測定方法および測定システム
JP5084167B2 (ja) 位置姿勢計測方法及び装置
US9142024B2 (en) Visual and physical motion sensing for three-dimensional motion capture
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
US20150049115A1 (en) Head mounted display, display, and control method thereof
US20100194879A1 (en) Object motion capturing system and method
JP2005033319A (ja) 位置姿勢計測方法及び装置
JP6145072B2 (ja) センサーモジュールの位置の取得方法及び装置、及び、動作計測方法及び装置
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
JP2004233334A (ja) 位置姿勢計測方法
JP2013219541A (ja) 撮影システムおよび撮影方法
KR102084252B1 (ko) 단일 카메라 영상을 이용하여 초기 3차원 궤적 및 속도를 동시에 복원하는 시스템 및 그 방법
JP2014211404A (ja) モーションキャプチャー方法
WO2019172351A1 (ja) 物体同定装置、物体同定システム、物体同定方法およびプログラム記憶媒体
JP7224832B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017005591A1 (en) Apparatus and method for motion tracking of at least a portion of a limb
JP6890524B2 (ja) 姿勢制御システム
JP6205387B2 (ja) 仮想マーカーの位置情報の取得方法及び装置、動作計測方法
JP2005252482A (ja) 画像生成装置及び３次元距離情報取得装置
Nocerino et al. Low-cost human motion capture system for postural analysis onboard ships
WO2021075004A1 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP7169940B2 (ja) 図面重畳装置及びプログラム
US11636645B1 (en) Rapid target acquisition using gravity and north vectors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802772

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017521678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16802772

Country of ref document: EP

Kind code of ref document: A1