WO2014112645A1 - 動作情報表示装置及びプログラム - Google Patents

動作情報表示装置及びプログラム Download PDF

Info

Publication number
WO2014112645A1
WO2014112645A1 PCT/JP2014/051140 JP2014051140W WO2014112645A1 WO 2014112645 A1 WO2014112645 A1 WO 2014112645A1 JP 2014051140 W JP2014051140 W JP 2014051140W WO 2014112645 A1 WO2014112645 A1 WO 2014112645A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
moving image
display control
motion
image information
Prior art date
Application number
PCT/JP2014/051140
Other languages
English (en)
French (fr)
Inventor
和樹 宇都宮
弘祐 坂上
池田　智
Original Assignee
株式会社東芝
東芝メディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝メディカルシステムズ株式会社 filed Critical 株式会社東芝
Publication of WO2014112645A1 publication Critical patent/WO2014112645A1/ja
Priority to US14/803,180 priority Critical patent/US10170155B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Definitions

  • Embodiments described herein relate generally to an operation information display device and a program.
  • rehabilitation in rehabilitation, many specialists aim to lead better lives for those with mental and physical disabilities caused by various causes such as illness, trauma, and aging, and congenital disabilities. Support that cooperated by is performed. For example, rehabilitation is supported by a number of specialists such as rehabilitation specialists, rehabilitation nurses, physical therapists, occupational therapists, speech therapists, clinical psychologists, prosthetic braces, and social workers.
  • rehabilitation specialists such as rehabilitation specialists, rehabilitation nurses, physical therapists, occupational therapists, speech therapists, clinical psychologists, prosthetic braces, and social workers.
  • an optical type, a mechanical type, a magnetic type, a camera type and the like are known.
  • a camera system is known in which a marker is attached to a person, the marker is detected by a tracker such as a camera, and the movement of the person is digitally recorded by processing the detected marker.
  • an infrared sensor is used to measure the distance from the sensor to a person, and the movement of the person is digitally detected by detecting various movements of the person's size and skeleton.
  • the recording method is known.
  • Kinect registered trademark
  • the problem to be solved by the present invention is to provide an operation information display device and a program capable of appropriately displaying a moving image in which an operation state is photographed.
  • the operation information display device includes an acquisition unit, a specification unit, and a display control unit.
  • the acquisition unit acquires a plurality of pieces of moving image information and movement information representing movements of a subject included in the moving image information.
  • the specifying unit specifies a frame corresponding to a predetermined operation timing from each frame group included in each moving image information based on the operation information.
  • the display control unit performs display control of the plurality of pieces of moving image information using a frame corresponding to the timing of the predetermined operation.
  • FIG. 1 is a block diagram illustrating a configuration example of the medical information system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a detailed configuration example of the operation information collection unit according to the first embodiment.
  • FIG. 3A is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 3B is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 3C is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of skeleton information generated by the motion information generation unit according to the first embodiment.
  • FIG. 5 is a block diagram illustrating a detailed configuration example of the operation information display device according to the first embodiment.
  • FIG. 6A is a diagram for explaining processing of the specifying unit according to the first embodiment.
  • FIG. 6B is a diagram for explaining processing of the specifying unit according to the first embodiment.
  • FIG. 7 is a diagram for explaining processing of the display control unit according to the first embodiment.
  • FIG. 8 is a flowchart for explaining an example of a processing procedure of the motion information display device according to the first embodiment.
  • FIG. 9A is a diagram for explaining processing of the specifying unit according to the second embodiment.
  • FIG. 9B is a diagram for explaining processing of the specifying unit according to the second embodiment.
  • FIG. 10 is a diagram for explaining processing of the display control unit according to the second embodiment.
  • FIG. 11 is a flowchart for explaining an example of a processing procedure of the motion information display device according to the second embodiment.
  • FIG. 12A is a diagram for describing superimposed display of moving image information and motion information.
  • FIG. 12B is a diagram for describing superimposed display of moving image information and motion information.
  • FIG. 13A is a diagram for describing synchronous reproduction of motion information.
  • FIG. 13B is a diagram for describing synchronous reproduction of motion information.
  • FIG. 14 is a diagram for explaining the superimposed display.
  • FIG. 15 is a diagram for explaining the synchronized playback of footprint moving images.
  • FIG. 16 is a diagram for explaining the synchronized playback of the graph moving image.
  • FIG. 17 is a diagram for explaining synchronized playback of a moving image accompanied by highlighting.
  • FIG. 18 is a diagram for explaining an example when applied to a service providing apparatus.
  • the motion information display device described below may be used as the motion information display device alone, or may be used by being incorporated in a system such as a medical record system or a rehabilitation department system, for example. .
  • FIG. 1 is a block diagram illustrating a configuration example of the medical information system according to the first embodiment.
  • the medical information system 1 according to the first embodiment is a system that supports rehabilitation performed in a medical institution, home, workplace, or the like.
  • rehabilitation refers to techniques and methods for improving the potential of patients with long-term treatment periods, such as disabilities, chronic diseases, geriatric diseases, etc., and restoring and promoting life functions and thus social functions.
  • Such techniques and methods include, for example, function training for restoring and promoting life functions and social functions.
  • examples of the functional training include walking training and joint range-of-motion training.
  • a person who is a target of rehabilitation is referred to as a “subject”.
  • the target person is, for example, a sick person, an injured person, an elderly person, a disabled person, or the like.
  • a person who assists the subject is referred to as “assistant”.
  • This assistant is, for example, a medical worker such as a doctor, a physical therapist, or a nurse engaged in a medical institution, a caregiver who cares for the subject at home, a family member, a friend, or the like.
  • Rehabilitation is also abbreviated as “rehabilitation”.
  • the medical information system 1 includes a motion information collection unit 10, a motion information processing device 20, a medical image diagnostic device 30, a medical image storage device 40, and motion information. Display device 100.
  • the motion information processing apparatus 20, the medical image diagnostic apparatus 30, the medical image storage apparatus 40, and the motion information display apparatus 100 are directly or indirectly connected to each other by, for example, a hospital LAN (Local Area Network) 2 installed in the hospital. Is ready to communicate.
  • a hospital LAN Local Area Network
  • each apparatus transmits and receives medical image information and the like according to the DICOM (Digital Imaging and Communications in Medicine) standard.
  • DICOM Digital Imaging and Communications in Medicine
  • the motion information display device 100 is also referred to as a medical image display device.
  • the motion information collection unit 10 detects the motion of a person or an object in a space where rehabilitation is performed, and collects motion information representing the motion of the person or the object and moving image information obtained by photographing the person or the object.
  • Kinect registered trademark
  • FIG. 2 is a block diagram illustrating a detailed configuration example of the operation information collection unit 10 according to the first embodiment.
  • the motion information collection unit 10 is connected to the motion information processing apparatus 20, and includes a color image collection unit 11, a distance image collection unit 12, a voice recognition unit 13, and a motion information generation unit 14.
  • a color image collection unit 11 a distance image collection unit 12
  • a voice recognition unit 13 a voice recognition unit 14
  • the configuration of the operation information collection unit 10 illustrated in FIG. 2 is merely an example, and the embodiment is not limited thereto.
  • the color image collection unit 11 photographs a subject such as a person or an object in a space where rehabilitation is performed, and collects color image information. For example, the color image collection unit 11 detects light reflected from the subject surface with a light receiving element, and converts visible light into an electrical signal. Then, the color image collection unit 11 converts the electrical signal into digital data, thereby generating one frame of color image information corresponding to the shooting range.
  • the color image information for one frame includes, for example, shooting time information and information in which each pixel included in the one frame is associated with an RGB (Red Green Blue) value.
  • the color image collection unit 11 shoots a moving image of the shooting range by generating color image information of a plurality of continuous frames from visible light detected one after another.
  • the color image information generated by the color image collection unit 11 may be output as a color image in which the RGB values of each pixel are arranged in a bitmap.
  • the color image collection unit 11 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) as a light receiving element.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the distance image collection unit 12 photographs a subject such as a person or an object in a space where rehabilitation is performed, and collects distance image information. For example, the distance image collection unit 12 irradiates the surrounding area with infrared rays, and detects a reflected wave obtained by reflecting the irradiation wave on the surface of the subject with the light receiving element. Then, the distance image collection unit 12 obtains the distance between the subject and the distance image collection unit 12 based on the phase difference between the irradiation wave and the reflected wave and the time from irradiation to detection, and corresponds to the shooting range. Generate frame distance image information.
  • the distance image information for one frame includes, for example, shooting time information and information in which each pixel included in the shooting range is associated with the distance between the subject corresponding to the pixel and the distance image collection unit 12. included.
  • the distance image collection unit 12 captures a moving image of the shooting range by generating distance image information of a plurality of continuous frames from reflected waves detected one after another.
  • the distance image information generated by the distance image collection unit 12 may be output as a distance image in which color shades corresponding to the distance of each pixel are arranged in a bitmap.
  • the distance image collection unit 12 includes, for example, a CMOS or a CCD as a light receiving element. This light receiving element may be shared with the light receiving element used in the color image collection unit 11.
  • the unit of the distance calculated by the distance image collection unit 12 is, for example, meters [m].
  • the voice recognition unit 13 collects surrounding voices, identifies the direction of the sound source, and performs voice recognition.
  • the voice recognition unit 13 has a microphone array including a plurality of microphones, and performs beam forming. Beam forming is a technique for selectively collecting sound from a specific direction. For example, the voice recognition unit 13 specifies the direction of the sound source by beam forming using a microphone array.
  • the voice recognition unit 13 recognizes a word from the collected voice using a known voice recognition technique. That is, the speech recognition unit 13 generates, as a speech recognition result, for example, information associated with a word recognized by the speech recognition technology, a direction in which the word is emitted, and a time at which the word is recognized.
  • the motion information generation unit 14 generates motion information representing the motion of a person or an object. This motion information is generated by, for example, capturing a human motion (gesture) as a series of a plurality of postures (poses). In brief, the motion information generation unit 14 first obtains the coordinates of each joint forming the skeleton of the human body from the distance image information generated by the distance image collection unit 12 by pattern matching using a human body pattern. The coordinates of each joint obtained from the distance image information are values represented by a distance image coordinate system (hereinafter referred to as “distance image coordinate system”).
  • distance image coordinate system hereinafter referred to as “distance image coordinate system”.
  • the motion information generation unit 14 then represents the coordinates of each joint in the distance image coordinate system in a three-dimensional space coordinate system in which rehabilitation is performed (hereinafter referred to as a “world coordinate system”). Convert to The coordinates of each joint represented in this world coordinate system become the skeleton information for one frame. Further, the skeleton information for a plurality of frames is the operation information.
  • processing of the motion information generation unit 14 according to the first embodiment will be specifically described.
  • FIG. 3A to 3C are diagrams for explaining processing of the motion information generation unit 14 according to the first embodiment.
  • FIG. 3A shows an example of a distance image generated by the distance image collection unit 12.
  • an image expressed by a line drawing is shown.
  • an actual distance image is an image expressed by shading of colors according to the distance.
  • each pixel has a “pixel position X” in the left-right direction of the distance image, a “pixel position Y” in the up-down direction of the distance image, and a subject corresponding to the pixel and the distance image collection unit 12. It has a three-dimensional value associated with “distance Z”.
  • the coordinate value of the distance image coordinate system is expressed by the three-dimensional value (X, Y, Z).
  • the motion information generation unit 14 stores in advance human body patterns corresponding to various postures by learning. Each time the distance image collection unit 12 generates distance image information, the motion information generation unit 14 acquires the generated distance image information of each frame. Then, the motion information generation unit 14 performs pattern matching using a human body pattern on the acquired distance image information of each frame.
  • FIG. 3B shows an example of a human body pattern.
  • the human body pattern is a pattern used for pattern matching with distance image information, it is expressed in the distance image coordinate system, and is similar to the person depicted in the distance image, on the surface of the human body.
  • Information hereinafter referred to as “human body surface”.
  • the human body surface corresponds to the skin or clothing surface of the person.
  • the human body pattern includes information on each joint forming the skeleton of the human body. That is, in the human body pattern, the relative positional relationship between the human body surface and each joint is known.
  • the human body pattern includes information on 20 joints from joint 3a to joint 3t.
  • the joint 3a corresponds to the head
  • the joint 3b corresponds to the center of both shoulders
  • the joint 3c corresponds to the waist
  • the joint 3d corresponds to the center of the buttocks.
  • the joint 3e corresponds to the right shoulder
  • the joint 3f corresponds to the right elbow
  • the joint 3g corresponds to the right wrist
  • the joint 3h corresponds to the right hand.
  • the joint 3i corresponds to the left shoulder
  • the joint 3j corresponds to the left elbow
  • the joint 3k corresponds to the left wrist
  • the joint 3l corresponds to the left hand.
  • the joint 3m corresponds to the right hip
  • the joint 3n corresponds to the right knee
  • the joint 3o corresponds to the right ankle
  • the joint 3p corresponds to the right foot
  • the joint 3q corresponds to the left hip
  • the joint 3r corresponds to the left knee
  • the joint 3s corresponds to the left ankle
  • the joint 3t corresponds to the foot foot of the left foot.
  • FIG. 3B demonstrated the case where the human body pattern had information of 20 joints
  • the embodiment is not limited to this, and the position and number of joints may be arbitrarily set by the operator.
  • the information on the joints 3b and 3c among the joints 3a to 3d may not be acquired.
  • the joint 3a, the joint 3h, the joint 3l, the joint 3p, and the joint 3t in FIG. 3B are different from so-called joints because they are the end portions of the bones, but are important points that represent the position and orientation of the bones. For the sake of convenience, it is described here as a joint.
  • the motion information generation unit 14 performs pattern matching with the distance image information of each frame using the human body pattern. For example, the motion information generation unit 14 extracts a person with a certain posture from the distance image information by pattern matching the human body surface of the human body pattern shown in FIG. 3B and the distance image shown in FIG. 3A. In this way, the motion information generation unit 14 obtains the coordinates of the human body surface depicted in the distance image. Further, as described above, in the human body pattern, the relative positional relationship between the human body surface and each joint is known. Therefore, the motion information generation unit 14 calculates the coordinates of each joint in the person from the coordinates of the human body surface depicted in the distance image. In this way, as shown in FIG. 3C, the motion information generation unit 14 acquires the coordinates of each joint forming the skeleton of the human body from the distance image information. Note that the coordinates of each joint obtained here are the coordinates of the distance coordinate system.
  • the motion information generation unit 14 may use information representing the positional relationship of each joint as an auxiliary when performing pattern matching.
  • the information representing the positional relationship between the joints includes, for example, the joint relationship between the joints (for example, “joint 3a and joint 3b are coupled”) and the movable range of each joint.
  • a joint is a site that connects two or more bones.
  • the angle between the bones changes according to the change in posture, and the range of motion differs depending on the joint.
  • the range of motion is represented by the maximum and minimum values of the angles formed by the bones connected by each joint.
  • the motion information generation unit 14 also learns the range of motion of each joint and stores it in association with each joint.
  • the motion information generation unit 14 converts the coordinates of each joint in the distance image coordinate system into values represented in the world coordinate system.
  • the world coordinate system is a coordinate system in a three-dimensional space where rehabilitation is performed.
  • the position of the motion information collection unit 10 is the origin, the horizontal direction is the x axis, the vertical direction is the y axis, and the direction is orthogonal to the xy plane.
  • the coordinate value in the z-axis direction may be referred to as “depth”.
  • the motion information generation unit 14 stores in advance a conversion formula for converting from the distance image coordinate system to the world coordinate system.
  • this conversion formula receives the coordinates of the distance image coordinate system and the incident angle of the reflected light corresponding to the coordinates, and outputs the coordinates of the world coordinate system.
  • the motion information generation unit 14 inputs the coordinates (X1, Y1, Z1) of a certain joint and the incident angle of reflected light corresponding to the coordinates to the conversion formula, and coordinates (X1, Y1) of the certain joint , Z1) are converted into coordinates (x1, y1, z1) in the world coordinate system.
  • the motion information generation unit 14 Since the correspondence relationship between the coordinates of the distance image coordinate system and the incident angle of the reflected light is known, the motion information generation unit 14 inputs the incident angle corresponding to the coordinates (X1, Y1, Z1) into the conversion equation. can do. Although the case has been described here in which the motion information generation unit 14 converts the coordinates of the distance image coordinate system to the coordinates of the world coordinate system, it is also possible to convert the coordinates of the world coordinate system to the coordinates of the distance coordinate system. is there.
  • FIG. 4 is a diagram illustrating an example of skeleton information generated by the motion information generation unit 14.
  • the skeleton information of each frame includes shooting time information of the frame and coordinates of each joint.
  • the motion information generation unit 14 generates skeleton information in which joint identification information and coordinate information are associated with each other.
  • the shooting time information is not shown.
  • the joint identification information is identification information for identifying a joint and is set in advance. For example, joint identification information “3a” corresponds to the head, and joint identification information “3b” corresponds to the center of both shoulders.
  • each joint identification information indicates a corresponding joint.
  • the coordinate information indicates the coordinates of each joint in each frame in the world coordinate system.
  • joint identification information “3a” and coordinate information “(x1, y1, z1)” are associated with each other. That is, the skeleton information in FIG. 4 represents that the head is present at the coordinates (x1, y1, z1) in a certain frame. Also, in the second row of FIG. 4, joint identification information “3b” and coordinate information “(x2, y2, z2)” are associated. That is, the skeleton information in FIG. 4 indicates that the center of both shoulders exists at the position of coordinates (x2, y2, z2) in a certain frame. Similarly, other joints indicate that each joint exists at a position represented by each coordinate in a certain frame.
  • the motion information generation unit 14 performs pattern matching on the distance image information of each frame, and the world coordinate from the distance image coordinate system. By converting into a system, skeleton information of each frame is generated. Then, the motion information generation unit 14 transmits the generated skeleton information of each frame to the motion information processing apparatus 20 as motion information.
  • the process of the operation information generation part 14 is not restricted to the method mentioned above.
  • the method in which the motion information generation unit 14 performs pattern matching using a human body pattern has been described, but the embodiment is not limited thereto.
  • a pattern matching method using a pattern for each part may be used instead of the human body pattern or together with the human body pattern.
  • the motion information generation unit 14 may obtain a coordinate of each joint using color image information together with distance image information.
  • the motion information generation unit 14 performs pattern matching between the human body pattern expressed in the color image coordinate system and the color image information, and obtains the coordinates of the human body surface from the color image information.
  • the coordinate system of this color image does not include the “distance Z” information referred to in the distance image coordinate system. Therefore, for example, the motion information generation unit 14 obtains the information of “distance Z” from the distance image information, and obtains the coordinates of the world coordinate system of each joint by calculation processing using these two pieces of information.
  • the motion information generation unit 14 transmits a plurality of frames of color image information generated by the color image collection unit 11 to the motion information processing apparatus 20 as moving image information. Further, the motion information generation unit 14 appropriately transmits the distance image information generated by the distance image collection unit 12 and the voice recognition result output by the voice recognition unit 13 to the motion information processing apparatus 20 as necessary.
  • the pixel position of the color image information and the pixel position of the distance image information can be associated in advance according to the positions of the color image collection unit 11 and the distance image collection unit 12 and the shooting direction. For this reason, the pixel position of the color image information and the pixel position of the distance image information can be associated with the world coordinate system calculated by the motion information generation unit 14.
  • the motion information generation unit 14 refers to the speech recognition result and the distance image information, and if there is a joint 3a in the vicinity of the direction in which the speech-recognized word is issued at a certain time, the person including the joint 3a It can be output as an emitted word. Furthermore, the motion information generation unit 14 also appropriately transmits information representing the positional relationship between the joints to the motion information processing apparatus 20 as necessary.
  • the motion information collection unit 10 may detect the motions of a plurality of persons. When a plurality of persons are photographed in the distance image information of the same frame, the motion information collection unit 10 associates the skeleton information of the plurality of persons generated from the distance image information of the same frame, This is output to the motion information processing apparatus 20 as motion information.
  • the configuration of the operation information collection unit 10 is not limited to the above configuration.
  • the motion information collection unit 10 when motion information is generated by detecting the motion of a person by other motion capture, such as optical, mechanical, magnetic, etc., the motion information collection unit 10 does not necessarily include the distance image collection unit 12. It does not have to be.
  • the motion information collection unit 10 includes, as motion sensors, a marker that is worn on the human body in order to detect a human motion, and a sensor that detects the marker. Then, the motion information collection unit 10 detects motion of a person using a motion sensor and generates motion information.
  • the motion information collecting unit 10 associates the pixel position of the color image information with the coordinates of the motion information using the position of the marker included in the image photographed by the color image collecting unit 11, and if necessary, Output to the motion information processing apparatus 20 as appropriate. Further, for example, the motion information collection unit 10 may not include the speech recognition unit 13 when the speech recognition result is not output to the motion information processing apparatus 20.
  • the motion information collection unit 10 outputs the coordinates of the world coordinate system as the skeleton information, but the embodiment is not limited to this.
  • the motion information collection unit 10 outputs the coordinates of the distance image coordinate system before conversion, and the conversion from the distance image coordinate system to the world coordinate system may be performed on the motion information processing apparatus 20 side as necessary. Good.
  • the motion information processing apparatus 20 processes various types of information for supporting rehabilitation.
  • the motion information processing apparatus 20 is an information processing apparatus such as a computer or a workstation.
  • the motion information processing apparatus 20 receives the moving image information and the motion information transmitted by the motion information generation unit 14. Then, the motion information processing device 20 outputs the received moving image information and motion information to a monitor, a speaker, or the like, or transmits them to the medical image storage device 40.
  • the motion information processing apparatus 20 receives the distance image information and the voice recognition result transmitted by the motion information generation unit 14. Then, the motion information processing apparatus 20 appropriately outputs the received distance image information and the voice recognition result to a monitor, a speaker, or the like, or appropriately transmits them to the medical image storage apparatus 40.
  • the medical image diagnostic apparatus 30 includes an X-ray diagnostic apparatus, an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, an ultrasonic diagnostic apparatus, a SPECT (Single Photon Emission Computed Tomography) apparatus, and a PET (Positron Emission computed Tomography).
  • X-ray diagnostic apparatus an X-ray diagnostic apparatus
  • MRI Magnetic Resonance Imaging
  • ultrasonic diagnostic apparatus an ultrasonic diagnostic apparatus
  • SPECT Single Photon Emission Computed Tomography
  • PET PET
  • the medical image diagnostic apparatus 30 images a subject such as a patient in response to an operation from an imaging engineer who images the subject such as a patient, and generates medical image information.
  • the medical image diagnostic apparatus 30 transmits the generated medical image information to the medical image storage apparatus 40.
  • the medical image storage device 40 stores various information for supporting rehabilitation.
  • the medical image storage device 40 includes a database that stores image information, stores various types of information transmitted by the motion information processing device 20 and the medical image diagnostic device 30 in the database, and stores them.
  • the medical image storage device 40 stores the moving image information and the motion information transmitted by the motion information processing device 20 in association with each target person.
  • the moving image information is color image information of a plurality of frames generated by the color image collecting unit 11, and is, for example, information of a moving image in which a target person who performs rehabilitation is taken.
  • the moving image information includes, as incidental information, information indicating a rehabilitation item (for example, walking training or joint range-of-motion training) performed by the photographed subject.
  • the motion information is skeleton information corresponding to each frame of the moving image information, and represents, for example, the motion of the subject photographed in the moving image information.
  • the operation information display device 100 displays various information for supporting rehabilitation.
  • the motion information display device 100 acquires moving image information and motion information from the medical image storage device 40 and displays the acquired information.
  • FIG. 5 is a block diagram illustrating a detailed configuration example of the operation information display device 100 according to the first embodiment. As illustrated in FIG. 5, the operation information display device 100 includes an output unit 110, an input unit 120, a storage unit 130, and a control unit 140.
  • the motion information display apparatus 100 can appropriately display a moving image in which the state of rehabilitation is captured by the process described below.
  • the motion information display device 100 displays a plurality of walking training videos side by side
  • the motion information display device 100 can display the motion timing in synchronization.
  • walking from an upright position is performed by repeating the following operations. (1) Put your right foot forward. (2) Land the right foot on the floor. (3) Tilt the center of gravity of the body to the right foot and multiply the weight. (4) Remove weight from left foot. (5) Kick the floor with your left foot. (6) Put the left foot forward from the right foot. (7) Land the left foot on the floor. (8) Tilt the center of gravity of the body to the left foot and multiply the weight (9) Remove weight from right foot. (10) Kick the floor with your right foot. (11) Put the right foot forward from the left foot. Thereafter, the operation returns to (2) and the operations from (2) to (11) are repeated until the walking is completed. In walking, both feet do not leave the ground at the same time, and the balance of the center of gravity of the body is maintained by putting out the arm on the opposite side of the foot to be put out.
  • the motion information display device 100 can display a plurality of moving images using the timing at which the right foot lands when displaying two moving images taken by walking training by the process described below. .
  • the embodiment may use a timing at which another operation is performed, such as a timing of kicking the floor with the left foot.
  • the embodiment is not limited to the case where a moving image of walking training is displayed, and may be applied to a case where a moving image of other training such as joint range of motion training is displayed.
  • embodiment is not limited to the case where a healthy person and a subject are compared, For example, you may compare the present subject and the past subject. More specifically, the embodiments may be compared before and after the operation, or may be compared immediately after the operation and after a few months after the operation. Furthermore, the embodiment may compare three or more moving images. In the embodiment, a plurality of moving images may be displayed side by side in the horizontal direction or may be displayed side by side in the vertical direction.
  • the output unit 110 outputs various information for supporting rehabilitation.
  • the output unit 110 displays a GUI (Graphical User Interface) for an operator operating the operation information display device 100 to input various requests using the input unit 120, or is generated in the operation information display device 100.
  • the output image or the like is displayed, or a warning sound is output.
  • the output unit 110 is a monitor, a speaker, headphones, a headphone portion of a headset, or the like.
  • the input unit 120 receives input of various information for supporting rehabilitation.
  • the input unit 120 receives input of various requests from an operator of the operation information display device 100 and transfers the received various requests to the operation information display device 100.
  • the input unit 120 is a mouse, a keyboard, a touch command screen, a trackball, a microphone, a microphone portion of a headset, or the like.
  • the storage unit 130 includes a moving image information storage unit 131 and an operation information storage unit 132.
  • the storage unit 130 is a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk device or an optical disk device.
  • the moving image information storage unit 131 stores moving image information to be displayed.
  • This moving image information is color image information of a plurality of frames, for example, information on a moving image in which a subject person who performs rehabilitation is taken.
  • the moving image information includes, as incidental information, information indicating a rehabilitation item (for example, walking training or joint range-of-motion training) performed by the photographed subject.
  • the moving image information storage unit 131 stores moving image information acquired from the medical image storage device 40 by the acquisition unit 141 described later. Note that the moving image information stored in the moving image information storage unit 131 may be acquired from the motion information processing apparatus 20.
  • the operation information storage unit 132 stores operation information corresponding to the moving image information stored in the moving image information storage unit 131.
  • This motion information is skeleton information corresponding to each frame of the moving image information, and represents, for example, the motion of the subject photographed in the moving image information.
  • the operation information storage unit 132 stores the operation information acquired from the medical image storage device 40 by the acquisition unit 141. Note that the motion information stored in the motion information storage unit 132 may be acquired from the motion information processing apparatus 20.
  • the control unit 140 includes an acquisition unit 141, a specifying unit 142, and a display control unit 143.
  • the control unit 140 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) or a CPU (Central Processing Unit) executing a predetermined program.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • CPU Central Processing Unit
  • the acquisition unit 141 acquires a plurality of pieces of moving image information and operation information representing the movement of the subject included in each moving image information.
  • the acquisition unit 141 accesses the medical image storage device 40 and receives an input for specifying a target person ID for identifying the target person from the operator via the input unit 120. Subsequently, the acquisition unit 141 displays, on the output unit 110, a list of video information that can be reproduced for the target person with the specified target ID among the video information stored in the medical image storage device 40. And the acquisition part 141 receives the input for selecting the moving image information used as a display target from the displayed list via the input part 120 from an operator.
  • the acquisition unit 141 acquires the selected one piece of moving image information and operation information corresponding to the moving image information from the medical image storage device 40, and acquires the acquired moving image information and operation information from the moving image information storage unit 131 and the operation information.
  • the information is stored in the information storage unit 132, respectively.
  • the acquisition part 141 acquires the moving image information and operation
  • the specifying unit 142 specifies a frame corresponding to a timing of a predetermined operation performed in rehabilitation from each frame group included in each moving image information based on the operation information. For example, the specifying unit 142 receives an input for specifying the purpose of rehabilitation from the operator via the input unit 120. The identifying unit 142 identifies a frame corresponding to a predetermined operation timing according to the designated purpose of rehabilitation.
  • 6A and 6B are diagrams for explaining processing of the specifying unit 142 according to the first embodiment. 6A and 6B, a case will be described in which the specifying unit 142 specifies the timing at which the right foot lands from a moving training video.
  • 6A is a graph showing the time-dependent change in the y-coordinate of the right foot's foot in the walking of a healthy person
  • FIG. 6A and 6B illustrate walking from an upright position. That is, ta1 in FIG. 6A corresponds to the timing when the healthy person puts out the right foot. Moreover, ta2, ta4, and ta6 correspond to the timing when the healthy person landed the right foot on the floor. Ta3, ta5, and ta7 correspond to the timing when the healthy person kicks the floor with the right foot. In addition, tb1 in FIG. 6B corresponds to the timing when the subject puts out the right foot. Tb2, tb4, and tb6 correspond to the timing when the subject landed the right foot on the floor. Tb3 and tb5 correspond to the timing when the subject kicks the floor with the right foot. As shown in FIG. 6A and FIG.
  • the healthy person is walking at a regular and fast pace compared to the subject, and the subject is an irregular and slow pace compared to the healthy person. Walking with In the following, the timing when the foot is landed may be abbreviated as “landing timing”.
  • the specifying unit 142 receives an input for designating that the walking speed of the subject person is improved from the operator.
  • the specifying unit 142 specifies a frame corresponding to the landing timing of the first right foot from each of the frame groups included in each piece of moving image information acquired by the acquiring unit 141.
  • the specifying unit 142 refers to the motion information of the healthy person, and includes a plurality of frames in which the y coordinate of the right foot (joint 3p) of the healthy person is 0 for a certain period. Of these, the first frame is specified.
  • the specifying unit 142 specifies frames corresponding to ta2, ta4, and ta6 as the landing timing of the right foot of the healthy person. Then, the identifying unit 142 identifies the frame corresponding to ta2 having the earliest time among the frames corresponding to the identified ta2, ta4, and ta6 as the landing timing of the right foot of the first step. Further, the specifying unit 142 specifies a frame corresponding to tb2 as the landing timing of the right foot of the first step of the subject as shown in FIG.
  • the specifying unit 142 specifies the size of the person photographed in each moving picture information. For example, the specifying unit 142 specifies the ratio of the person to the number of pixels in the vertical direction of the color image in the frame corresponding to the specified landing timing as the size of the person. Specifically, the specifying unit 142 acquires the coordinates of the head (joint 3a) and the right foot root (joint 3p) from the skeleton information of frames corresponding to ta2 and tb2, respectively. The specifying unit 142 calculates pixel positions corresponding to the coordinates of the acquired head and right foot tarsals, respectively.
  • the specifying unit 142 calculates the ratio of the number of pixels from the head to the right foot's foot to the number of pixels in the vertical direction of the color image as the size of the person. As described above, the specifying unit 142 specifies the size of the person photographed in each piece of moving image information.
  • the specifying unit 142 receives an input from the operator for specifying that the subject's walking form is to be improved.
  • the specifying unit 142 specifies frames corresponding to all right foot landing timings from each of the frame groups included in each piece of moving image information acquired by the acquiring unit 141.
  • the specifying unit 142 refers to the motion information of the healthy person, and includes a plurality of frames in which the y coordinate of the right foot (joint 3p) of the healthy person is 0 for a certain period. Of these, the first frame is specified. In the example illustrated in FIG.
  • the specifying unit 142 specifies frames corresponding to ta2, ta4, and ta6 as the landing timing of the right foot of the healthy person. Further, as illustrated in FIG. 6B, the specifying unit 142 specifies frames corresponding to tb2, tb4, and tb6 as landing timings of all right feet of the subject, as shown in FIG. 6B.
  • the specifying unit 142 specifies the size of the person photographed in each moving picture information. For example, the specifying unit 142 specifies the ratio of the person to the number of pixels in the vertical direction of the color image in the frame corresponding to the specified landing timing as the size of the person.
  • the specifying unit 142 specifies the size of the person using the first landing timing. Specifically, the specifying unit 142 specifies the size of the person by the same process as that described above.
  • the purpose of rehabilitation is not limited to the above example, and is appropriately set according to the rehabilitation event and the condition of the subject.
  • the specifying unit 142 a process for specifying an appropriate timing according to the set purpose is set in advance.
  • the specifying unit 142 receives an input for designating that the walking speed of the subject person is improved from the operator.
  • the specifying unit 142 specifies a frame corresponding to the landing timing of the first right foot from each of the frame groups included in the preoperative video information and the postoperative video information. .
  • the display control unit 143 performs display control of a plurality of moving image information using a frame corresponding to a predetermined operation timing. For example, when a plurality of walking training videos are displayed side by side, the display control unit 143 performs display control of the plurality of video information using a frame corresponding to the landing timing of the right foot specified by the specifying unit 142. .
  • FIG. 7 is a diagram for explaining processing of the display control unit 143 according to the first embodiment.
  • FIG. 7 shows an example of the display screen 7 a displayed on the output unit 110 by the display control unit 143.
  • the display screen 7a includes an area 7b for displaying the moving person's moving picture information, an area 7c for displaying a graph showing a change over time in the y-coordinate of the right foot of the healthy person, and an area for displaying the moving person's moving picture information. 7d and a region 7e for displaying a graph showing the change over time of the y-coordinate of the right foot foot of the subject.
  • the display screen 7a includes a walking speed comparison / playback button 7f that specifies improvement of the walking speed of the subject and a walking motion comparison / playback button 7g that specifies improvement of the walking form of the subject for the purpose of rehabilitation. Including.
  • the specifying unit 142 receives information indicating that the walking speed comparison / playback button 7 f has been pressed by the operator from the input unit 120.
  • the display control part 143 performs reproduction
  • the display control unit 143 uses the size of the person specified by the specifying unit 142 so that the healthy person and the target person have the same size, and the normal person's moving picture information and the target person's moving picture. Enlarge or reduce the information respectively.
  • the display control unit 143 simultaneously displays the two pieces of moving image information so that the moving image information of the healthy person starts from the frame corresponding to ta2, and the moving image information of the subject starts from the frame corresponding to tb2. Reproduce.
  • the specifying unit 142 receives information indicating that the walking speed comparison / playback button 7f has been pressed by the operator from the input unit 120. And the display control part 143 performs reproduction
  • the display control unit 143 receives information indicating that the walking motion comparison / playback button 7g has been pressed by the operator from the input unit 120. And the display control part 143 performs reproduction
  • the display control unit 143 reproduces each moving image information by synchronizing each landing timing of the target person with each landing timing of the healthy person. More specifically, since the number of frames from tb1 to tb2 is smaller than the number of frames from ta1 to ta2, the display control unit 143 partially interpolates the frames from tb1 to tb2. Accordingly, the display control unit 143 reproduces each piece of moving image information so that the frames corresponding to ta2 and tb2 are displayed simultaneously. Further, since the number of frames from tb2 to tb4 is greater than the number of frames from ta2 to ta4, the display control unit 143 thins out a part of the frames from tb2 to tb4. Thereby, the display control unit 143 reproduces each moving image information so that the frames corresponding to ta4 and tb4 are simultaneously displayed. In this way, the display control unit 143 reproduces each moving image information so that the landing timings coincide with each other.
  • the method for synchronously reproducing the moving image by the display control unit 143 is not limited to the above-described method.
  • a frame corresponding to ta2 in the moving image information of a healthy person The video information of the target person may be paused at the frame corresponding to tb2 that is reproduced first until is reproduced.
  • the start timing for reproducing the moving image is matched using the landing timing of the first step
  • the present invention is not limited to this.
  • the start timing may be matched using the second step or the third step.
  • the moving image is reproduced at a normal speed until the second step or the third step.
  • the embodiment is not limited to this.
  • the landing timing of the second step in one moving image may coincide with the landing timing of the third step in the other moving image.
  • the present invention is not limited to this. For example, only a certain period of the playback time is synchronized, and the time before and after the synchronization is synchronized. It is good also as displaying without doing.
  • FIG. 8 is a flowchart for explaining an example of a processing procedure of the operation information display device 100 according to the first embodiment.
  • the acquiring unit 141 acquires the selected moving image information and corresponding operation information (Step S102). .
  • the acquisition unit 141 is in a standby state until a plurality of pieces of moving image information are selected (No at Step S101).
  • the specifying unit 142 receives information indicating that the playback button has been pressed (step S103).
  • step S103 when the walking speed comparison / playback button is pressed, the specifying unit 142 specifies a frame corresponding to the landing timing of the right foot at a certain time point based on each motion information acquired by the acquiring unit 141.
  • Step S104 the specifying unit 142 specifies the size of the person photographed in each moving image information (step S105).
  • the display control unit 143 performs reproduction control so as to match the size and start timing of the target person of each moving image information (step S106), and ends the process.
  • step S103 when the walking motion comparison / playback button is pressed, the specifying unit 142 specifies frames corresponding to the landing timings of all the right feet, based on the motion information acquired by the acquiring unit 141. (Step S107). Subsequently, the specifying unit 142 specifies the size of the person photographed in each moving image information (step S108). Then, the display control unit 143 performs reproduction control so that the size of the target person of each moving image information and each landing timing are matched (step S109), and ends the process.
  • processing procedure described above is not necessarily limited to the above processing procedure.
  • information indicating the purpose of rehabilitation may be stored in association with a subject ID in an electronic medical record server for rehabilitation.
  • the specifying unit 142 acquires information indicating the purpose of rehabilitation from the electronic medical record server for rehabilitation using the subject ID.
  • specification part 142 uses the information which shows the objective of the acquired rehabilitation, and the process of step S104 or the process of step S107 is automatically performed even if pressing of the reproduction
  • the motion information display device 100 acquires a plurality of pieces of moving image information and movement information representing the movement of the subject included in each piece of moving image information. Based on the motion information, the motion information display device 100 identifies a frame corresponding to the timing of a predetermined motion performed in rehabilitation from each frame group included in each moving image information. Then, the operation information display device 100 performs display control of a plurality of pieces of moving image information using a frame corresponding to a predetermined operation timing. For this reason, the motion information display apparatus 100 can appropriately display a moving image in which the state of rehabilitation is captured.
  • the motion information display apparatus 100 reproduces the right foot landing at the first time when the normal person's walking and the target person's walking are compared and displayed.
  • the speed at which the healthy person and the target person walk can be compared and displayed.
  • the motion information display device 100 reproduces the right foot landing at substantially the same timing when the normal person's walking and the target person's walking are compared and displayed. By doing so (synchronizing the landing cycle of the right foot), it is possible to compare and display the walking form of the healthy person and the subject.
  • the motion information display device 100 can compare the results by a display method according to the evaluation purpose when the rehabilitation result is evaluated by a doctor or a physical therapist.
  • joint range-of-motion training is training for expanding the range in which the joint can move.
  • the right elbow joint range-of-motion exercise trains how much the joint 3f in FIG. 3B can be operated. That is, the state where the right arm (joint 3e to joint 3g) is straightened is used as the reference position, the right elbow (joint 3f) is operated without changing the position of the upper arm (joint 3e to joint 3f), and the right wrist (joint 3g) ) Is a training that repeats the movement (flexion and extension) of bringing the head close to the right shoulder (joint 3e).
  • joint range-of-motion training for example, an angle (joint range of motion) formed by a forearm before movement (joint 3f to joint 3g) and a forearm after movement is used as an index for evaluation.
  • the motion information display device 100 has the same configuration as the motion information display device 100 shown in FIG. 5, and the processing in the specifying unit 142 and the display control unit 143 is partially different. Therefore, in the second embodiment, the description will focus on the differences from the first embodiment, and the same functions as those in the configuration described in the first embodiment are the same as in FIG. Reference numerals are assigned and description is omitted.
  • moving image information to be displayed moving image information obtained by shooting a joint motion range exercise of a healthy person and moving image information obtained by taking a motion range exercise of a subject person are acquired by the acquisition unit 141. The case will be described.
  • the specifying unit 142 performs a rehabilitation event ( Information indicating joint range of motion training) is extracted from the incidental information of the moving image information.
  • specification part 142 performs the following processes.
  • FIG. 9A and FIG. 9B are diagrams for explaining processing of the specifying unit 142 according to the second embodiment.
  • FIG. 9A and 9B a case where the specifying unit 142 specifies the timing at which the joint range of motion becomes maximum from the joint range of motion training video will be described.
  • FIG. 9A is a graph showing the change over time of the joint range of motion of a healthy person
  • FIG. 9B is a graph showing the change over time of the range of joint movement of the subject.
  • the horizontal axis represents time
  • the vertical axis represents the value of the range of motion of the joint. This value is obtained, for example, by the identifying unit 142 calculating the angle formed by the forearm before movement (joint 3f to joint 3g) and the forearm after movement.
  • tc1 in FIG. 9A corresponds to the timing when the healthy person straightens the right arm (reference position).
  • tc2, tc4, and tc6 correspond to the timing when the joint movable range of the healthy person is maximized.
  • tc3, tc5, and tc7 correspond to the timing when the joint movable range of the healthy person is minimized.
  • td1 in FIG. 9B corresponds to the timing when the subject extends the right arm straight (reference position).
  • td2 and td4 correspond to the timing when the subject's joint range of motion becomes maximum.
  • tc3 and tc5 correspond to the timing when the subject's joint range of motion is minimized.
  • the healthy person moves the right elbow at a faster pace than the subject, and the subject moves the right elbow at a slower pace than the healthy person. It is operating.
  • the timing at which the range of motion of the joint becomes maximum may be abbreviated as “maximum timing”.
  • tc2 to tc4 may be referred to as “angular displacement period”.
  • the specifying unit 142 receives an input for specifying that the operation speed of the target person is improved from the operator.
  • the specifying unit 142 specifies a frame corresponding to the first local maximum timing from each frame group included in each piece of moving image information acquired by the acquiring unit 141.
  • the specifying unit 142 refers to the motion information of the healthy person, and specifies a frame in which the differential value of the joint movable range of the right elbow of the healthy person changes from positive to negative.
  • FIG. 9A the specifying unit 142 refers to the motion information of the healthy person, and specifies a frame in which the differential value of the joint movable range of the right elbow of the healthy person changes from positive to negative.
  • the specifying unit 142 specifies frames corresponding to tc2, tc4, and tc6, respectively, as the maximum timing of the healthy person. Then, the specifying unit 142 specifies the frame corresponding to tc2 having the earliest time among the frames corresponding to the specified tc2, tc4, and tc6 as the first maximum timing. Further, the identification unit 142 identifies a frame corresponding to td2 as the first maximum timing of the subject, as shown in FIG.
  • the specifying unit 142 specifies the size of the subject photographed in each moving image information (step S205). For example, the specifying unit 142 specifies the ratio of the person's upper arm to the number of pixels in the left-right direction of the color image in the frame corresponding to the specified maximum timing as the subject size. Specifically, the specifying unit 142 acquires the coordinates of the right shoulder (joint 3e) and the right elbow (joint 3f) from the skeleton information of the frames corresponding to tc2 and td2, respectively. The specifying unit 142 calculates pixel positions respectively corresponding to the acquired coordinates of the right shoulder and the right elbow.
  • the specifying unit 142 calculates the ratio of the number of pixels from the right shoulder to the right elbow with respect to the number of pixels in the horizontal direction of the color image as the size of the subject. As described above, the specifying unit 142 specifies the size of the subject photographed in each piece of moving image information.
  • the specifying unit 142 receives an input for specifying that the operation form of the target person is improved from the operator.
  • the specifying unit 142 specifies frames corresponding to all the maximum timings from each of the frame groups included in each moving image information acquired by the acquiring unit 141.
  • the specifying unit 142 refers to the motion information of the healthy person, and specifies a frame in which the differential value of the joint movable range of the right elbow of the healthy person changes from positive to negative.
  • FIG. 9A the specifying unit 142 refers to the motion information of the healthy person, and specifies a frame in which the differential value of the joint movable range of the right elbow of the healthy person changes from positive to negative.
  • the specifying unit 142 specifies frames corresponding to tc2, tc4, and tc6, respectively, as the maximum timing of the healthy person. In addition, the specifying unit 142 specifies frames corresponding to td2 and td4 as all local maximum timings of the subject as shown in FIG.
  • the specifying unit 142 specifies the size of the subject photographed in each piece of moving image information. For example, the specifying unit 142 specifies the ratio of the person's upper arm to the number of pixels in the left-right direction of the color image in the frame corresponding to the specified maximum timing as the subject size.
  • the specifying unit 142 specifies the size of the subject using the first maximum timing.
  • the purpose of rehabilitation is not limited to the above example, and is appropriately set according to the rehabilitation event and the condition of the subject.
  • the specifying unit 142 a process for specifying an appropriate timing according to the set purpose is set in advance.
  • the specifying unit 142 receives an input for specifying that the operation form of the target person is improved from the operator.
  • the specifying unit 142 specifies frames corresponding to all the maximum timings from the respective frame groups included in the pre-operative moving image information and the post-operative moving image information.
  • the display control unit 143 performs display control of a plurality of pieces of moving image information according to the purpose of rehabilitation. For example, in the case where a plurality of moving images of joint range of motion training are displayed side by side, the display control unit 143 performs display control of the plurality of moving image information using a frame corresponding to the maximum timing specified by the specifying unit 142. .
  • FIG. 10 is a diagram for explaining processing of the display control unit 143 according to the second embodiment.
  • FIG. 10 shows an example of the display screen 10 a displayed by the display control unit 143.
  • the display screen 10a includes a region 10b for displaying the moving subject's moving image information, a region 10c for displaying a graph showing the temporal change in the joint movable range of the healthy subject, a region 10d for displaying the moving subject's moving image information, And a region 10e for displaying a graph showing a change in the joint range of motion of the person over time.
  • the display screen 10a includes a speed comparison / playback button 10f for designating improvement of the subject's motion speed and a motion comparison / playback button 10g for designating improving the subject's motion form for the purpose of rehabilitation.
  • the display screen 10a includes a bar indicating a current value in joint range-of-motion exercise (an angle at a currently displayed frame in moving image reproduction), and a maximum value (an angle to the currently displayed frame in moving image reproduction).
  • a graph 10h and a graph 10i are displayed.
  • the specifying unit 142 receives information indicating that the speed comparison / playback button 10 f has been pressed by the operator from the input unit 120. And the display control part 143 performs reproduction
  • the display control unit 143 simultaneously displays the two moving image information so that the moving image information of the healthy person starts from the frame corresponding to tc2, and the moving image information of the target person starts from the frame corresponding to td2. Reproduce.
  • the specifying unit 142 receives information indicating that the speed comparison / playback button 10f has been pressed by the operator from the input unit 120.
  • the display control part 143 performs reproduction
  • the effect of surgery before and after surgery may be confirmed by checking how much the range of motion (angle) has improved.
  • the specifying unit 142 receives information indicating that the operation comparison / playback button 10g has been pressed by the operator from the input unit 120. Then, the display control unit 143 performs reproduction control so as to match the size of each subject of the moving image information and each maximum timing. Specifically, the display control unit 143 uses the size of the subject specified by the specifying unit 142 so that the upper arm of the healthy person and the subject have the same size, and the moving subject information and the subject Each of the video information is enlarged or reduced. Subsequently, the display control unit 143 reproduces each moving image information by synchronizing each local maximum timing with each local maximum timing of the healthy person.
  • the display control unit 143 since the number of frames from td1 to td2 is larger than the number of frames from tc1 to tc2, the display control unit 143 thins out a part of the frames from td1 to td2. As a result, the display control unit 143 reproduces each piece of moving image information so that frames corresponding to tc2 and td2 are simultaneously displayed. Further, since the number of frames from td2 to td4 is larger than the number of frames from tc2 to tc4, the display control unit 143 thins out a part of the frames from td2 to td4.
  • the display control unit 143 reproduces each piece of moving image information so that the frames corresponding to tc4 and td4 are displayed simultaneously. In this way, the display control unit 143 reproduces each moving image information so that the respective maximum timings coincide with each other.
  • FIG. 11 is a flowchart for explaining an example of a processing procedure of the motion information display device 100 according to the second embodiment.
  • the acquiring unit 141 acquires the selected moving image information and corresponding operation information (Step S202).
  • the acquisition unit 141 is in a standby state until a plurality of pieces of moving image information are selected (No at Step S201).
  • the specifying unit 142 receives information indicating that the playback button has been pressed (step S203).
  • step S203 when the speed comparison / playback button is pressed, the specifying unit 142 specifies a frame corresponding to the maximum timing at a certain time point based on each operation information acquired by the acquiring unit 141 (step S204). ).
  • step S205 the specifying unit 142 specifies the size of the subject photographed in each piece of moving image information (step S205).
  • the display control unit 143 performs reproduction control so as to match the size and start timing of the target person of each moving image information (step S206), and ends the process.
  • the specifying unit 142 specifies frames corresponding to all local maximum timings based on each piece of motion information acquired by the acquiring unit 141 (step S203). S207). Subsequently, the specifying unit 142 specifies the size of the subject photographed in each piece of moving image information (step S208). Then, the display control unit 143 performs reproduction control so as to match the size of each subject of the moving image information and each maximum timing (step S209), and ends the processing.
  • the motion information display device 100 can also be applied to a case where a video of other exercise is displayed, for example, a video of a range of motion training is displayed. .
  • FIG. 12A and 12B are diagrams for explaining the superimposed display of moving image information and motion information.
  • FIG. 12A illustrates a display image in which corresponding motion information is superimposed and displayed on moving image information of joint motion range training of a healthy person.
  • FIG. 12B illustrates a display image in which corresponding motion information is superimposed and displayed on moving image information of the subject's range of motion training.
  • the display control unit 143 displays the skeleton information corresponding to the frame included in the moving image information in a superimposed manner on the moving image information to be displayed. Specifically, the display control unit 143, when displaying a moving image of joint range of motion training for the right arm, displays the right shoulder (joint 3e), right elbow (joint 3f), and right wrist (joint 3g). And a display image in which information indicating the position of the right hand (joint 3h) is superimposed on the color image. Then, the display control unit 143 performs display control of the generated display image using a frame corresponding to the maximum timing specified by the specifying unit 142. As described above, the motion information display device 100 can clearly indicate the size of the joint range of motion by displaying the motion information superimposed on the reproduced moving image information.
  • the display control unit 143 synchronously displays the skeleton information corresponding to the frames included in the moving image information as a moving image instead of the color image of the moving image information to be displayed.
  • FIG. 13A and FIG. 13B are diagrams for explaining synchronous reproduction of operation information.
  • FIG. 13A illustrates a display image that displays motion information of joint motion range training of a healthy person as a moving image.
  • FIG. 13B illustrates a display image that displays motion information of the subject's joint range of motion training as a moving image.
  • the display control unit 143 displays the skeleton information corresponding to each frame of motion information corresponding to the moving image information of the healthy person and the moving image information of the target person as a moving image. Is generated. Specifically, the display control unit 143, when displaying a moving image of joint range of motion training for the right arm, displays the right shoulder (joint 3e), right elbow (joint 3f), and right wrist (joint 3g). And the display image which displays the information which shows the position of a right hand (joint 3h) is produced
  • the display control unit 143 performs display control on parallel moving or rotating of at least one moving image information so that the directions of the subjects substantially match between the moving image information.
  • FIG. 13A and 13B are diagrams for explaining the adjustment of the orientation of the subject.
  • FIG. 13A illustrates a display image that displays motion information of joint motion range training of a healthy person.
  • FIG. 13B illustrates a display image that displays the motion information of the subject's range of motion training.
  • the display control unit 143 adjusts the orientation of the subject with the skeleton information corresponding to the frame included in the motion information corresponding to the moving image information instead of the moving image information to be displayed. And then display it as a video.
  • the display control unit 143 when displaying a moving image of joint range of motion training for the right arm, displays the right shoulder (joint 3e), right elbow (joint 3f), and right wrist (joint 3g). And the information which shows the position of the right hand (joint 3h) is each extracted from the skeleton information of a healthy person and a subject.
  • the display control unit 143 translates the motion information of the subject so that the position of the right elbow of the subject matches the position of the right elbow of the healthy subject (calculates coordinates). Subsequently, the display control unit 143 rotates the motion information of the subject around the position of the right elbow so that the upper arm of the subject is superimposed on the upper arm of the healthy subject (calculates coordinates). Subsequently, the display control unit 143 rotates the motion information of the subject about the position of the upper arm so that the direction in which the subject moves the forearm matches the direction in which the healthy subject moves the forearm (coordinates). Is calculated).
  • the display control unit 143 synchronizes and displays the motion information of the healthy person and the motion information of the subject in the direction of translation and rotation.
  • the motion information display device 100 can display a moving image after adjusting the direction of the subject. Note that the method of adjusting the orientation of the subject is not limited to the above example, and for example, three-dimensional conversion may be used.
  • Multiple video overlay display For example, in the first and second embodiments described above, the case where the moving images to be displayed are displayed side by side has been described, but the embodiment is not limited thereto. For example, a moving image to be displayed may be superimposed and displayed.
  • FIG. 14 is a diagram for explaining the superimposed display.
  • FIG. 14 illustrates a display image that superimposes and displays motion information of joint motion range training of a healthy person and motion information of joint motion range training of the subject.
  • the display control unit 143 displays the skeleton information corresponding to the frame included in the operation information to be displayed in a superimposed manner. Specifically, the display control unit 143, when displaying a moving image of joint range of motion training for the right arm, displays the right shoulder (joint 3e), right elbow (joint 3f), and right wrist (joint 3g). And the information which shows the position of the right hand (joint 3h) is each extracted from the skeleton information of a healthy person and a subject. Then, the display control unit 143 generates a superimposed image so that the positions of the right shoulder and right elbow of the healthy person and the positions of the right shoulder and right elbow of the subject coincide with each other.
  • the display control unit 143 displays the generated superimposed image on the output unit 110.
  • the motion information display device 100 can display a plurality of moving images in a superimposed manner.
  • the line type and the color may be changed and displayed so as to distinguish between the motion information of the healthy person and the motion information of the subject.
  • the moving image that is synchronously reproduced by the motion information display device 100 is not limited to the color image information and the skeleton information described above, and the motion information display device 100 can synchronously reproduce other moving images based on the motion information. Also good.
  • the motion information display device 100 may synchronously reproduce footprint videos. For example, when the person walks, the footprint moving image sequentially displays the landing positions where both feet of the person land on the floor surface.
  • FIG. 15 is a diagram for explaining the synchronized playback of footprint videos.
  • FIG. 15 shows an example of the display screen 7 a displayed on the output unit 110 by the display control unit 143.
  • This display screen 7a is different from the display screen 7a illustrated in FIG. 7 in that it includes a region 15a instead of the region 7c and a point that includes a region 15b instead of the region 7e.
  • a footprint video of a healthy person displayed as a video in the area 7b is displayed, and in the area 15b, a footprint video of a subject displayed as a video in the area 7d is displayed.
  • the horizontal direction corresponds to the x-axis direction of the world coordinate system
  • the vertical direction corresponds to the z-axis direction of the world coordinate system. That is, the region 15a and the region 15b correspond to a view of the floor on which the person walks viewed from above.
  • a white circle corresponds to the landing position (coordinates) of the person's right foot
  • a black circle corresponds to the landing position (coordinates) of the person's left foot.
  • the number indicates how many steps the landing position is.
  • the footprint moving image is generated by the display control unit 143.
  • the display control unit 143 generates a footprint moving image using the landing timing specified by the specifying unit 142. Specifically, the display control unit 143 obtains the coordinates of the landing foot (joint 3p or joint 3t) from each frame corresponding to the landing timing of both feet specified by the specifying unit 142, respectively. And the display control part 143 produces
  • the display control unit 143 displays a white circle “1” at the landing timing of the first step of the right foot, and displays a black circle “2” at the landing timing of the first step of the left foot.
  • the white circle “3” is displayed at the timing of the second step of the right foot
  • the black circle “4” is displayed at the timing of the second step of the left foot
  • the white is displayed at the timing of the third step of the right foot.
  • a moving circle that displays a blank circle “5” and displays a black circle “6” at the landing timing of the third step of the left foot is generated. In this way, the display control unit 143 generates footprint videos that are displayed in the region 15a and the region 15b, respectively.
  • the display control unit 143 performs display control of the footprint moving images displayed in the region 15 a and the region 15 b using the frame corresponding to the landing timing specified by the specifying unit 142. For example, when comparing the walking speeds, the display control unit 143 simultaneously reproduces these two footprint moving images so that the landing timings of the first step of the right foot displayed in the region 15a and the region 15b match. As described above, the motion information display device 100 can control reproduction of a plurality of footprint videos.
  • the motion information display device 100 may synchronously reproduce the graph video as another video based on the motion information.
  • This graph moving image is a graph that represents information related to the movement of the position of the target part.
  • the graph moving image is a moving image that plots a graph representing a predetermined value that changes with the movement of a person in accordance with the elapsed time.
  • the graph moving image is a moving image that displays a graph as if a certain graph was drawn.
  • the predetermined value a value that can be calculated from the skeletal information, such as a walking speed for each frame and a knee joint angle for each frame, is arbitrarily selected by the operator.
  • FIG. 16 is a diagram for explaining synchronized playback of a graph video.
  • FIG. 16 shows an example of the display screen 7 a displayed on the output unit 110 by the display control unit 143.
  • the display screen 7a is different from the display screen 7a illustrated in FIG. 7 in that it includes a region 16a instead of the region 7c and a point that includes a region 16b instead of the region 7e.
  • a graph animation that displays the walking speed of a healthy person displayed as a movie in the area 7b is displayed, and in the area 15b, a graph animation that displays the walking speed of a subject displayed as a movie in the area 7d. Is displayed.
  • the horizontal direction corresponds to time and the vertical direction corresponds to velocity (walking speed).
  • the footprint moving image is generated by the display control unit 143.
  • the display control unit 143 calculates the moving distance per unit time of the waist (joint 3c) of each person displayed in the region 7b and the region 7d for each frame as the walking speed.
  • the display control part 143 produces
  • the display control unit 143 performs display control of the graph moving images displayed in the region 16 a and the region 16 b using the frame corresponding to the landing timing specified by the specifying unit 142. For example, when comparing the walking speeds, the display control unit 143 simultaneously reproduces these two footprint moving images so that the landing timing of the first step of the right foot displayed in the region 16a and the region 16b matches.
  • the motion information display device 100 can control reproduction of a plurality of graph videos.
  • the graph moving image that the operation information display device 100 controls to reproduce is not limited to the above example.
  • the motion information display device 100 may control to reproduce an arbitrary graph having a value that can be calculated from the skeleton information as a vertical axis.
  • the operation information display device 100 may perform reproduction control on the graph 10h and the graph 10i illustrated in FIG.
  • the horizontal direction is time and the vertical direction is speed.
  • the embodiment is not limited to this.
  • the vertical direction may be the position (coordinates) or acceleration. That is, the embodiment may be applied to a graph representing an arbitrary parameter that can be calculated from the operation information.
  • the motion information display device 100 may synchronously reproduce a moving image accompanied with a highlighted display on the display screen 7a shown in FIG.
  • the display control unit 143 further displays information related to playback control among the moving images based on the operation information.
  • FIG. 17 is a diagram for explaining synchronized playback of a moving image with highlighting.
  • FIG. 17 shows an example of the display screen 7 a displayed on the output unit 110 by the display control unit 143.
  • the display screen 7a includes a point including the joint 3p and the joint 3t in each of the region 7b and the region 7d and a timing corresponding to the frame used for synchronization (reproduction control). And an arrow representing the difference.
  • the display control unit 143 highlights the points indicating the joint 3p and the joint 3t that are the attention site in the walking training in each of the region 7b and the region 7d.
  • the display control unit 143 indicates, in the graphs 7c and 7e, arrows indicating the timings of ta2, ta4, ta6, tb2, tb4, and tb6 that are frames used for synchronization (described as “synchronization” in the drawing). Highlight the arrow.
  • the display control unit 143 performs moving image display control with highlighting using a frame corresponding to the landing timing specified by the specifying unit 142.
  • the display control unit 143 may perform a characteristic display for representing the timing corresponding to the frame specified by the specifying unit 142, for example.
  • FIG. 18 is a diagram for explaining an example when applied to a service providing apparatus.
  • the service providing apparatus 200 is disposed in the service center and connected to, for example, a medical institution, a terminal apparatus 300 disposed at home, or a workplace via the network 5.
  • the operation information collection unit 10 is connected to each of the terminal devices 300 disposed in the medical institution, home, and workplace.
  • Each terminal device 300 includes a client function that uses a service provided by the service providing device 200.
  • the network 5 may be any type of communication network such as the Internet or WAN (Wide Area Network) regardless of wired or wireless.
  • WAN Wide Area Network
  • the service providing apparatus 200 has the same function as the operation information display apparatus 100 described in FIG. 5 and provides the function to the terminal apparatus 300 as a service.
  • the terminal device 300 is rehabilitated at a medical institution, home, or workplace, and uploads the operation information and moving image information collected by the operation information collection unit 10 to the service providing device 200.
  • the service providing device 200 stores the operation information and moving image information uploaded by the terminal device 300.
  • the service providing apparatus 200 includes functional units similar to the acquisition unit 141, the specifying unit 142, and the display control unit 143, respectively. Then, the functional unit similar to the acquisition unit 141 acquires a plurality of pieces of moving image information and movement information representing the movement of the subject included in each moving image information. Then, a function unit similar to the specifying unit 142 specifies a frame corresponding to a timing of a predetermined operation performed in rehabilitation from each frame group included in each moving image information based on the operation information. A functional unit similar to the display control unit 143 performs display control of a plurality of pieces of moving image information using a frame corresponding to a predetermined operation timing.
  • the operator designates a plurality of pieces of moving image information to be displayed using the terminal device 300.
  • the terminal device 300 transmits information indicating the specified pieces of moving image information to the service providing device 200.
  • the service providing apparatus 200 generates a display image for comparing and displaying a plurality of designated moving image information by the above function, and transmits the generated display image to the terminal apparatus 300.
  • the operator can view on the terminal device 300 a display image for comparatively displaying a plurality of designated moving image information.
  • the service providing apparatus 200 may be configured to perform only a service for storing operation information and moving image information.
  • the terminal device 300 has the same function as the operation information display device 100 described in FIG. Then, the terminal device 300 appropriately downloads the moving image information and the operation information to be displayed from the service providing device 200, and performs the above-described display control by the same functions as the acquisition unit 141, the identification unit 142, and the display control unit 143. Do.
  • the configuration of the operation information display device 100 in the above-described embodiment is merely an example, and the integration and separation of each unit can be performed as appropriate.
  • the present invention is applied to walking training or range of motion training has been described.
  • the embodiment is not limited to this, and for example, muscle training for physical exercise, physical therapy, electrotherapy
  • the present invention can also be applied.
  • the configuration of the operation information display device 100 in the above-described embodiment may be included in any device in the medical information system.
  • the motion information processing device 20 may have the configuration of the motion information display device 100.
  • the embodiment is not limited to this, and processing for matching the sizes of the subjects is executed. It does not have to be done.
  • the motion information display device 100 may specify a frame corresponding to a timing of a predetermined motion performed in rehabilitation, and may further add information indicating the specified frame to the moving image information, or information indicating the specified frame May be displayed on the above-described graph or the like.
  • the information indicating the identified frame is further added to the moving image information, for example, another device different from the operation information display device 100 acquires the moving image information and the additional information, and according to the additional information, Such display control may be performed.
  • the motion information display device 100 may compare and display the moving image information acquired from the motion information processing device 20 in substantially real time and the moving image information stored in the medical image storage device 40. According to this, for example, the motion information display device 100 can display the comparison of the motion information stored in the past and the motion timing of the subject in synchronization with the motion of the subject while capturing the rehabilitation of the subject.
  • the functions of the acquisition unit 141, the specification unit 142, and the display control unit 143 described in the above-described embodiment can be realized by software.
  • the functions of the acquisition unit 141, the identification unit 142, and the display control unit 143 are the operation information display that defines the procedure of the processing described as being performed by the acquisition unit 141, the identification unit 142, and the display control unit 143 in the above embodiment. This is realized by causing the computer to execute the program.
  • This operation information display program is stored in, for example, a hard disk or a semiconductor memory device, and is read and executed by a processor such as a CPU or MPU (Micro-Processing Unit).
  • This medical image display program can be recorded and distributed on a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory), MO (Magnetic Optical disk), DVD (Digital Versatile Disc), etc. .
  • the rehabilitation rule information and recommended assistance status shown in the first to third embodiments are not limited to those specified by the Japanese Orthopedic Association and other various organizations. It may be a case where what was done is used.
  • SICOT International Society of Orthopedic Surgery and Traumology
  • AAOS American Academy of Orthopedic Surgeons
  • EORS European Orthopedic Research Society
  • ISPRM International Society of Physical and Rehabilitation Medicine
  • AAPM & R American Academy of Physical Medicine and Rehabilitation
  • the motion information display device and program according to the present embodiment can appropriately display a moving image in which the state of rehabilitation is photographed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

　実施形態に係る動作情報表示装置（１００）は、取得部（１４１）と、特定部（１４２）と、表示制御部（１４３）とを備える。取得部（１４１）は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。特定部（１４２）は、前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定する。表示制御部（１４３）は、前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う。

Description

動作情報表示装置及びプログラム
　本発明の実施形態は、動作情報表示装置及びプログラムに関する。
　従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
　一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion　capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
特開平９－５６６９７号公報
　本発明が解決しようとする課題は、動作の様子が撮影された動画を適切に表示することができる動作情報表示装置及びプログラムを提供することである。
　実施形態に係る動作情報表示装置は、取得部と、特定部と、表示制御部とを備える。取得部は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。特定部は、前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定する。表示制御部は、前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う。
図１は、第１の実施形態に係る医用情報システムの構成例を示すブロック図である。 図２は、第１の実施形態に係る動作情報収集部の詳細な構成例を示すブロック図である。 図３Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図４は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図５は、第１の実施形態に係る動作情報表示装置の詳細な構成例を示すブロック図である。 図６Ａは、第１の実施形態に係る特定部の処理を説明するための図である。 図６Ｂは、第１の実施形態に係る特定部の処理を説明するための図である。 図７は、第１の実施形態に係る表示制御部の処理を説明するための図である。 図８は、第１の実施形態に係る動作情報表示装置の処理手順の一例を説明するためのフローチャートである。 図９Ａは、第２の実施形態に係る特定部の処理を説明するための図である。 図９Ｂは、第２の実施形態に係る特定部の処理を説明するための図である。 図１０は、第２の実施形態に係る表示制御部の処理を説明するための図である。 図１１は、第２の実施形態に係る動作情報表示装置の処理手順の一例を説明するためのフローチャートである。 図１２Ａは、動画情報及び動作情報の重畳表示について説明するための図である。 図１２Ｂは、動画情報及び動作情報の重畳表示について説明するための図である。 図１３Ａは、動作情報の同期再生について説明するための図である。 図１３Ｂは、動作情報の同期再生について説明するための図である。 図１４は、重畳表示について説明するための図である。 図１５は、足跡動画の同期再生について説明するための図である。 図１６は、グラフ動画の同期再生について説明するための図である。 図１７は、強調表示を伴う動画の同期再生について説明するための図である。 図１８は、サービス提供装置に適用される場合の一例を説明するための図である。
　以下、図面を参照して、実施形態に係る動作情報表示装置及びプログラムを説明する。なお、以下で説明する動作情報表示装置は、動作情報表示装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
（第１の実施形態）
　図１は、第１の実施形態に係る医用情報システムの構成例を示すブロック図である。第１の実施形態に係る医用情報システム１は、医療機関や自宅、職場等において行われるリハビリテーションを支援するシステムである。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
　図１に示すように、第１の実施形態に係る医用情報システム１は、動作情報収集部１０と、動作情報処理装置２０と、医用画像診断装置３０と、医用画像保管装置４０と、動作情報表示装置１００とを備える。動作情報処理装置２０、医用画像診断装置３０、医用画像保管装置４０及び動作情報表示装置１００は、例えば、病院内に設置された院内ＬＡＮ（Local　Area　Network）２により、直接的又は間接的に相互に通信可能な状態となっている。例えば、医用情報システム１にＰＡＣＳ（Picture　Archiving　and　Communication　System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital　Imaging　and　Communications　in　Medicine）規格に則って、医用画像情報等を相互に送受信する。なお、動作情報表示装置１００は、医用画像表示装置とも称する。
　動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報と、その人物や物体を撮影した動画情報とを収集する。なお、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
　図２は、第１の実施形態に係る動作情報収集部１０の詳細な構成例を示すブロック図である。図２に示すように、動作情報収集部１０は、動作情報処理装置２０に接続され、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図２に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
　カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red　Green　Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＣＣＤ（Charge　Coupled　Device）を有する。
　距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
　音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
　動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
　図３Ａから図３Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図３Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図３Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
　第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
　ここで、人体パターンについて説明する。図３Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図３Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
　図３Ｂに示す例では、人体パターンは、関節３ａから関節３ｔまでの２０点の関節の情報を有する。このうち、関節３ａは、頭部に対応し、関節３ｂは、両肩の中央部に対応し、関節３ｃは、腰に対応し、関節３ｄは、臀部の中央部に対応する。また、関節３ｅは、右肩に対応し、関節３ｆは、右肘に対応し、関節３ｇは、右手首に対応し、関節３ｈは、右手に対応する。また、関節３ｉは、左肩に対応し、関節３ｊは、左肘に対応し、関節３ｋは、左手首に対応し、関節３ｌは、左手に対応する。また、関節３ｍは、右臀部に対応し、関節３ｎは、右膝に対応し、関節３ｏは、右足首に対応し、関節３ｐは、右足の足根に対応する。また、関節３ｑは、左臀部に対応し、関節３ｒは、左膝に対応し、関節３ｓは、左足首に対応し、関節３ｔは、左足の足根に対応する。
　なお、図３Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節３ａから関節３ｄまでのうち、関節３ｂ及び関節３ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節３ｈのみならず、右手の指の関節を新たに設定して良い。なお、図３Ｂの関節３ａ、関節３ｈ、関節３ｌ、関節３ｐ、関節３ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
　動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図３Ｂに示す人体パターンの人体表面と、図３Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図３Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
　なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節３ａと関節３ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
　続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
　ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
　そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図４は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図４に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図４において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「３ａ」は、頭部に対応し、関節識別情報「３ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
　図４の１行目には、関節識別情報「３ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図４の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図４の２行目には、関節識別情報「３ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図４の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
　このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報として動作情報処理装置２０へ送信する。
　なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
　また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
　また、動作情報生成部１４は、カラー画像収集部１１によって生成された複数フレームのカラー画像情報を動画情報として動作情報処理装置２０へ送信する。また、動作情報生成部１４は、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置２０へ適宜送信する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節３ａがあれば、その関節３ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置２０へ適宜送信する。
　なお、ここでは、動作情報収集部１０によって一人の人物の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の撮影範囲に含まれていれば、動作情報収集部１０は、複数人の人物の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の人物が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を対応付けて、これを動作情報として動作情報処理装置２０へ出力する。
　また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置２０へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置２０へ出力しない場合には、音声認識部１３を有していなくても良い。
　更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置２０側で行ってもよい。
　図１の説明に戻る。動作情報処理装置２０は、リハビリテーションを支援するための各種情報を処理する。動作情報処理装置２０は、例えば、コンピュータ、ワークステーション等の情報処理装置である。
　例えば、動作情報処理装置２０は、動作情報生成部１４によって送信された動画情報及び動作情報を受け付ける。そして、動作情報処理装置２０は、受け付けた動画情報及び動作情報をモニタやスピーカー等に出力したり、医用画像保管装置４０へ送信したりする。
　また、例えば、動作情報処理装置２０は、動作情報生成部１４によって送信された距離画像情報及び音声認識結果を受け付ける。そして、動作情報処理装置２０は、受け付けた距離画像情報及び音声認識結果をモニタやスピーカー等に適宜出力したり、医用画像保管装置４０へ適宜送信したりする。
　医用画像診断装置３０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed　Tomography）装置、ＭＲＩ（Magnetic　Resonance　Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single　Photon　Emission　Computed　Tomography）装置、ＰＥＴ（Positron　Emission　computed　Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ－ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ－ＣＴ装置、検体検査装置等の装置である。例えば、医用画像診断装置３０は、患者等の被検体を撮影する撮影技師からの操作に応じて患者等の被検体を撮影し、医用画像情報を生成する。そして、医用画像診断装置３０は、生成した医用画像情報を医用画像保管装置４０へ送信する。
　医用画像保管装置４０は、リハビリテーションを支援するための各種情報を保管する。例えば、医用画像保管装置４０は、画像情報を保管するデータベースを備え、動作情報処理装置２０及び医用画像診断装置３０によって送信された各種情報をデータベースに格納し、これを保管する。
　例えば、医用画像保管装置４０は、動作情報処理装置２０によって送信された動画情報及び動作情報を対応付けて対象者ごとに保管する。この動画情報は、カラー画像収集部１１によって生成された複数フレームのカラー画像情報であり、例えば、リハビリテーションを行う対象者が撮影された動画の情報である。また、動画情報は、付帯情報として、撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を有する。また、動作情報は、動画情報の各フレームに対応する骨格情報であり、例えば、動画情報に撮影された対象者の動作を表す。
　動作情報表示装置１００は、リハビリテーションを支援するための各種情報を表示する。例えば、動作情報表示装置１００は、医用画像保管装置４０から動画情報及び動作情報を取得し、取得した情報を表示する。
　図５は、第１の実施形態に係る動作情報表示装置１００の詳細な構成例を示すブロック図である。図５に示すように、動作情報表示装置１００は、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
　ここで、第１の実施形態に係る動作情報表示装置１００は、以下に説明する処理により、リハビリテーションの様子が撮影された動画を適切に表示することができる。例えば、動作情報表示装置１００は、歩行訓練の動画を複数並べて表示する際に、動作のタイミングを同期させて表示することができる。
　例えば、直立からの歩行は、下記の動作の繰り返しによって行われる。
（１）右足を前方に出す。
（２）右足を床面に着地させる。
（３）右足に体の重心を傾け体重を掛ける。
（４）左足から体重を除く。
（５）左足で床面を蹴る。
（６）左足を右足より前方に出す。
（７）左足を床面に着地させる。
（８）左足に体の重心を傾け体重を掛ける。
（９）右足から体重を除く。
（１０）右足で床面を蹴る。
（１１）右足を左足より前方に出す。
　以後、（２）に戻り、歩行を終えるまで（２）から（１１）の動作を繰り返す。なお、歩行では、両足が同時に地面から離れる事が無く、出す足と反対側の腕を出すことで身体の重心均衡が保たれている。
　ここで、例えば、２つの動画、すなわち健常者の歩行が撮影された動画と、対象者の歩行訓練が撮影された動画とを比較表示する場合に、所定のタイミングを用いて動画を表示すると有用であると考えられる。一例としては、右足が１回目に着地するタイミングを一致させて２つの動画を同時に再生させると、健常者と対象者が歩くスピードを比較することができると考えられる。また、他の例としては、２つの動画において右足が着地するそれぞれのタイミングを一致させて再生させると、健常者と対象者の歩くフォームを比較することができると考えられる。そこで、動作情報表示装置１００は、以下に説明する処理により、歩行訓練が撮影された２つの動画を表示する場合に、右足が着地するタイミングを用いて複数の動画を表示することを可能にする。
　なお、第１の実施形態では、右足が着地するタイミングを用いる場合を説明するが、実施形態はこれに限定されるものではない。例えば、実施形態は、左足で床面を蹴るタイミング等、他の動作が行われるタイミングを用いても良い。また、実施形態は、歩行訓練の動画が表示される場合に限定されるものでもなく、例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。また、実施形態は、健常者と対象者とを比較する場合に限定されるものでもなく、例えば、現在の対象者と過去の対象者とを比較しても良い。より具体的には、実施形態は、術前及び術後で比較しても良いし、術後直後と術後数ヶ月経過後とで比較しても良い。更に、実施形態は、３つ以上の動画を比較しても良い。また、実施形態は、複数の動画を横方向に並べて表示しても良いし、縦方向に並べて表示しても良い。
　出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、動作情報表示装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical　User　Interface）を表示したり、動作情報表示装置１００において生成された出力画像等を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。
　入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報表示装置１００の操作者から各種要求の入力を受け付け、受け付けた各種要求を動作情報表示装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。
　記憶部１３０は、動画情報記憶部１３１と、動作情報記憶部１３２とを有する。例えば、記憶部１３０は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。
　動画情報記憶部１３１は、表示対象となる動画情報を記憶する。この動画情報は、複数フレームのカラー画像情報であり、例えば、リハビリテーションを行う対象者が撮影された動画の情報である。また、動画情報は、付帯情報として、撮影された対象者によって行われたリハビリテーションの種目（例えば、歩行訓練や関節可動域訓練等）を示す情報を有する。例えば、動画情報記憶部１３１は、後述の取得部１４１によって医用画像保管装置４０から取得された動画情報を記憶する。なお、動画情報記憶部１３１に記憶される動画情報は、動作情報処理装置２０から取得されても良い。
　動作情報記憶部１３２は、動画情報記憶部１３１に記憶される動画情報に対応する動作情報を記憶する。この動作情報は、動画情報の各フレームに対応する骨格情報であり、例えば、動画情報に撮影された対象者の動作を表す。例えば、動作情報記憶部１３２は、取得部１４１によって医用画像保管装置４０から取得された動作情報を記憶する。なお、動作情報記憶部１３２に記憶される動作情報は、動作情報処理装置２０から取得されても良い。
　制御部１４０は、取得部１４１と、特定部１４２と、表示制御部１４３とを有する。例えば、制御部１４０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路、或いはＣＰＵ（Central　Processing　Unit）が所定のプログラムを実行することで実現することができる。
　取得部１４１は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。
　例えば、取得部１４１は、医用画像保管装置４０にアクセスし、対象者を識別する対象者ＩＤを指定するための入力を、操作者から入力部１２０を介して受け付ける。続いて、取得部１４１は、医用画像保管装置４０に保管された動画情報のうち、指定された対象者ＩＤの対象者について再生可能な動画情報のリストを出力部１１０に表示する。そして、取得部１４１は、表示されたリストから表示対象となる動画情報を選択するための入力を、操作者から入力部１２０を介して受け付ける。そして、取得部１４１は、選択された一つの動画情報と、その動画情報に対応する動作情報とを医用画像保管装置４０から取得し、取得した動画情報及び動作情報を動画情報記憶部１３１及び動作情報記憶部１３２にそれぞれ格納する。なお、取得部１４１は、必要に応じて上記の処理を繰り返すことで、繰り返した数に相当する数の動画情報及び動作情報を表示対象として取得する。
　特定部１４２は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。例えば、特定部１４２は、リハビリテーションの目的を指定するための入力を、操作者から入力部１２０を介して受け付ける。特定部１４２は、指定されたリハビリテーションの目的に応じて、所定の動作のタイミングに対応するフレームを特定する。
　図６Ａ及び図６Ｂは、第１の実施形態に係る特定部１４２の処理を説明するための図である。図６Ａ及び図６Ｂでは、特定部１４２が、歩行訓練の動画から右足が着地するタイミングを特定する場合を説明する。なお、図６Ａは、健常者の歩行における右足の足根のｙ座標の経時変化を示したグラフであり、図６Ｂは、対象者の歩行における右足の足根のｙ座標の経時変化を示したグラフである。図６Ａ及び図６Ｂにおいて、横軸は、時間を示し、縦軸は、右足の足根のｙ座標の値を示す。つまり、ｙ＝０は、右足の足根が床面に着地していることを示す。
　図６Ａ及び図６Ｂには、直立からの歩行を例示する。すなわち、図６Ａのｔａ１は、健常者が右足を出したタイミングに対応する。また、ｔａ２、ｔａ４及びｔａ６は、健常者が右足を床面に着地させたタイミングに対応する。また、ｔａ３、ｔａ５及びｔａ７は、健常者が右足で床面を蹴ったタイミングに対応する。また、図６Ｂのｔｂ１は、対象者が右足を出したタイミングに対応する。また、ｔｂ２、ｔｂ４及びｔｂ６は、対象者が右足を床面に着地させたタイミングに対応する。また、ｔｂ３及びｔｂ５は、対象者が右足で床面を蹴ったタイミングに対応する。図６Ａ及び図６Ｂに示すように、健常者は、対象者と比較して規則的かつ速いペースで歩行しており、また、対象者は、健常者に比較して不規則的かつゆっくりしたペースで歩行している。なお、以下では、足を着地させたタイミングを「着地タイミング」と略記する場合がある。
　ここで、リハビリテーションの目的として、対象者の歩くスピードを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の歩くスピードを改善する旨を指定するための入力を、操作者から受け付ける。歩くスピードを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、一歩目の右足の着地タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図６Ａに示すように、健常者の動作情報を参照し、健常者の右足の足根（関節３ｐ）のｙ座標が一定期間０となる複数のフレームのうち、一つ目のフレームを特定する。図６Ａに示す例では、特定部１４２は、ｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームを、健常者の右足の着地タイミングとして特定する。そして、特定部１４２は、特定したｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームのうち、時間が最も早いｔａ２に対応するフレームを、一歩目の右足の着地タイミングとして特定する。また、特定部１４２は、同様の処理により、図６Ｂに示すように、対象者の一歩目の右足の着地タイミングとして、ｔｂ２に対応するフレームを特定する。
　続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。例えば、特定部１４２は、特定した着地タイミングに対応するフレームにおいて、カラー画像の上下方向の画素数に対して人物が占める割合を人物のサイズとして特定する。具体的には、特定部１４２は、ｔａ２及びｔｂ２にそれぞれ対応するフレームの骨格情報から頭部（関節３ａ）及び右足の足根（関節３ｐ）の座標を取得する。特定部１４２は、取得した頭部及び右足の足根の座標にそれぞれ対応する画素位置を算出する。特定部１４２は、カラー画像の上下方向の画素数に対して、頭部から右足の足根までの画素数が占める割合を、人物のサイズとして算出する。このように、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。
　また、リハビリテーションの目的として、対象者の歩くフォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の歩くフォームを改善する旨を指定するための入力を、操作者から受け付ける。歩くフォームを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、全ての右足の着地タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図６Ａに示すように、健常者の動作情報を参照し、健常者の右足の足根（関節３ｐ）のｙ座標が一定期間０となる複数のフレームのうち、一つ目のフレームを特定する。図６Ａに示す例では、特定部１４２は、ｔａ２、ｔａ４及びｔａ６にそれぞれ対応するフレームを、健常者の右足の着地タイミングとして特定する。また、特定部１４２は、同様の処理により、図６Ｂに示すように、対象者の全ての右足の着地タイミングとして、ｔｂ２、ｔｂ４及びｔｂ６にそれぞれ対応するフレームを特定する。
　続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する。例えば、特定部１４２は、特定した着地タイミングに対応するフレームにおいて、カラー画像の上下方向の画素数に対して人物が占める割合を人物のサイズとして特定する。ここで、特定した着地タイミングが複数ある場合には、特定部１４２は、最初の着地タイミングを用いて人物のサイズを特定する。具体的には、特定部１４２は、上記した処理と同様の処理によって人物のサイズを特定する。
　なお、リハビリテーションの目的は、上記の例に限定されるものではなく、リハビリテーションの種目や対象者の状態に応じて適宜設定される。そして、特定部１４２は、設定された目的に応じて適切なタイミングを特定するための処理が予め設定されている。
　一態様としては、術前と術後において、手術の効果を、対象者の歩くスピードがどの程度改善しているかによって確認する場合を説明する。この場合、特定部１４２は、対象者の歩くスピードを改善する旨を指定するための入力を、操作者から受け付ける。歩くスピードを改善することが指定されると、特定部１４２は、術前の動画情報及び術後の動画情報に含まれるフレーム群それぞれから、一歩目の右足の着地タイミングに対応するフレームを特定する。
　表示制御部１４３は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。例えば、表示制御部１４３は、歩行訓練の動画を複数並べて表示する場合には、特定部１４２によって特定された右足の着地タイミングに対応するフレームを用いて、これら複数の動画情報の表示制御を行う。
　図７は、第１の実施形態に係る表示制御部１４３の処理を説明するための図である。図７には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、健常者の動画情報を表示する領域７ｂと、健常者の右足の足根のｙ座標の経時変化を示すグラフを表示する領域７ｃと、対象者の動画情報を表示する領域７ｄと、対象者の右足の足根のｙ座標の経時変化を示すグラフを表示する領域７ｅとを含む。また、表示画面７ａは、リハビリテーションの目的として、対象者の歩くスピードを改善することを指定する歩行速度比較再生ボタン７ｆと、対象者の歩くフォームを改善することを指定する歩行動作比較再生ボタン７ｇとを含む。
　ここで、リハビリテーションの目的として、対象者の歩くスピードを改善することが指定される場合を説明する。例えば、特定部１４２は、歩行速度比較再生ボタン７ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された人物のサイズを用いて、健常者及び対象者が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の動画情報をｔａ２に対応するフレームから開始するように、対象者の動画情報をｔｂ２に対応するフレームから開始するように、これら２つの動画情報を同時に再生する。
　また、例えば、術前と術後において、手術の効果を、対象者の歩くスピードがどの程度改善しているかによって確認する場合を説明する。この場合、例えば、特定部１４２は、歩行速度比較再生ボタン７ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、術前の動画情報及び術後の動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。
　また、リハビリテーションの目的として、対象者の歩くフォームを改善することが指定される場合を説明する。例えば、表示制御部１４３は、歩行動作比較再生ボタン７ｇが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各着地タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された人物のサイズを用いて、健常者及び対象者が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の各着地タイミングに、対象者の各着地タイミングを同期させて各動画情報を再生する。より具体的には、ｔｂ１からｔｂ２までのフレーム数がｔａ１からｔａ２までのフレーム数より少ないので、表示制御部１４３は、ｔｂ１からｔｂ２までにフレームを一部補間する。これにより、表示制御部１４３は、ｔａ２及びｔｂ２に対応するフレームを同時に表示させるように、各動画情報を再生する。また、ｔｂ２からｔｂ４までのフレーム数がｔａ２からｔａ４までのフレーム数より多いので、表示制御部１４３は、ｔｂ２からｔｂ４までのフレームを一部間引く。これにより、表示制御部１４３は、ｔａ４及びｔｂ４に対応するフレームを同時に表示させるように、各動画情報を再生する。このように、表示制御部１４３は、各着地タイミングを一致させるように、各動画情報を再生する。
　なお、表示制御部１４３が動画を同期再生する方法は、上記の方法に限定されるものではなく、例えば、ｔａ２とｔｂ２とを同期させる場合には、健常者の動画情報でｔａ２に対応するフレームが再生されるまで、先に再生されるｔｂ２に対応するフレームで対象者の動画情報を一時停止させても良い。
　なお、上記の説明では、一歩目の着地タイミングを用いて動画を再生する開始タイミングを一致させる場合を説明したが、これに限定されるものではない。例えば、実施形態は二歩目や三歩目を用いて開始タイミングを一致させても良い。この場合、二歩目或いは三歩目までは、通常の速度で動画が再生されることとなる。また、これに限らず、実施形態は、例えば、二つの動画のうち、一方の動画における二歩目の着地タイミングと、もう一方の動画における三歩目の着地タイミングを一致させても良い。
　また、上記の説明では、動画の再生時間の全てを同期させる場合を説明したが、これに限定されるものではなく、例えば、再生時間のうち一定時間のみを同期させ、その前後の時間は同期させずに表示することとしても良い。
　次に、図８を用いて、第１の実施形態に係る動作情報表示装置１００の処理手順について説明する。図８は、第１の実施形態に係る動作情報表示装置１００の処理手順の一例を説明するためのフローチャートである。
　図８に示すように、取得部１４１は、操作者によって複数の動画情報が選択されると（ステップＳ１０１肯定）、選択された動画情報と、対応する動作情報とをそれぞれ取得する（ステップＳ１０２）。なお、取得部１４１は、複数の動画情報が選択されるまで（ステップＳ１０１否定）、待機状態である。
　続いて、特定部１４２は、再生ボタンが押下された旨の情報を受け付ける（ステップＳ１０３）。ステップＳ１０３において、歩行速度比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、ある時点の右足の着地タイミングに対応するフレームを特定する（ステップＳ１０４）。続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する（ステップＳ１０５）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行い（ステップＳ１０６）、処理を終了する。
　また、ステップＳ１０３において、歩行動作比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、全ての右足の着地タイミングに対応するフレームを特定する（ステップＳ１０７）。続いて、特定部１４２は、各動画情報に撮影された人物のサイズを特定する（ステップＳ１０８）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各着地タイミングを一致させるように再生制御を行い（ステップＳ１０９）、処理を終了する。
　なお、上述した処理手順は必ずしも上記の処理手順に限定されるものではない。例えば、リハビリテーションの目的を示す情報は、リハビリ用の電子カルテサーバに対象者ＩＤに対応付けて記憶されている場合がある。この場合、特定部１４２は、対象者ＩＤを用いてリハビリテーションの目的を示す情報をリハビリ用の電子カルテサーバから取得する。そして、特定部１４２は、取得したリハビリテーションの目的を示す情報を用いることで、ステップＳ１０３の処理である再生ボタンの押下が行われなくても、ステップＳ１０４の処理又はステップＳ１０７の処理を自動的に選択して実行することとしても良い。
　上述してきたように、第１の実施形態に係る動作情報表示装置１００は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれとを取得する。そして、動作情報表示装置１００は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。そして、動作情報表示装置１００は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。このため、動作情報表示装置１００は、リハビリテーションの様子が撮影された動画を適切に表示することができる。
　例えば、第１の実施形態に係る動作情報表示装置１００は、健常者の歩行と、対象者の歩行とを比較表示する場合に、右足が１回目に着地するタイミングを略一致させて再生させることで、健常者と対象者とが歩くスピードを比較表示することができる。
　また、例えば、第１の実施形態に係る動作情報表示装置１００は、健常者の歩行と、対象者の歩行とを比較表示する場合に、右足が着地するそれぞれのタイミングを略一致させて再生させることで（右足の着地周期を同期）、健常者と対象者の歩くフォームを比較表示することができる。
　また、例えば、動作情報表示装置１００は、医師や理学療法士によるリハビリ成果評価の際、評価目的に応じた表示方法で成果を比較することが可能となる。
（第２の実施形態）
　上述した第１の実施形態では、歩行訓練の動画を表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、関節可動域訓練等、他の訓練の動画が表示される場合に適用されても良い。そこで、第２の実施形態では、動作情報表示装置１００が関節可動域訓練の動画を表示する場合を説明する。
　ここで、関節可動域訓練とは、関節が可動する範囲を拡大するための訓練である。例えば、右肘の関節可動域訓練は、図３Ｂの関節３ｆをどれだけ稼働させることができるかを訓練するものである。すなわち、右腕（関節３ｅから関節３ｇ）をまっすぐに伸ばした状態を基準位置とし、上腕（関節３ｅから関節３ｆ）の位置を変えずに右肘（関節３ｆ）を稼働させ、右手首（関節３ｇ）を右肩（関節３ｅ）に近づける動作（屈曲及び伸展）を繰り返す訓練である。関節可動域訓練では、例えば、可動前の前腕（関節３ｆから関節３ｇ）と可動後の前腕とがなす角度（関節可動域）が評価の指標として用いられる。
　第２の実施形態に係る動作情報表示装置１００は、図５に示した動作情報表示装置１００と同様の構成を有し、特定部１４２及び表示制御部１４３における処理が一部相違する。そこで、第２の実施形態では、第１の実施形態と相違する点を中心に説明することとし、第１の実施形態において説明した構成と同様の機能を有する点については、図５と同一の符号を付し、説明を省略する。なお、以下の説明では、表示対象となる動画情報として、健常者の関節可動域訓練が撮影された動画情報と、対象者の関節可動域訓練が撮影された動画情報とが取得部１４１によって取得された場合を説明する。
　例えば、特定部１４２は、健常者の関節可動域訓練が撮影された動画情報と、対象者の関節可動域訓練が撮影された動画情報とが取得部１４１によって取得されると、リハビリテーションの種目（関節可動域訓練）を示す情報を動画情報の付帯情報から抽出する。これにより、特定部１４２は、以下の処理を実行する。
　図９Ａ及び図９Ｂは、第２の実施形態に係る特定部１４２の処理を説明するための図である。図９Ａ及び図９Ｂでは、特定部１４２が、関節可動域訓練の動画から、関節可動域が極大となるタイミングを特定する場合を説明する。なお、図９Ａは、健常者の関節可動域の経時変化を示したグラフであり、図９Ｂは、対象者の関節可動域の経時変化を示したグラフである。図９Ａ及び図９Ｂにおいて、横軸は、時間を示し、縦軸は、関節可動域の値を示す。なお、この値は、例えば、特定部１４２が、可動前の前腕（関節３ｆから関節３ｇ）と可動後の前腕とがなす角度を算出したものである。
　図９Ａ及び図９Ｂには、基準位置からの関節可動域訓練を例示する。すなわち、図９Ａのｔｃ１は、健常者が右腕をまっすぐ伸ばした状態（基準位置）のタイミングに対応する。また、ｔｃ２、ｔｃ４及びｔｃ６は、健常者の関節可動域が極大となるタイミングに対応する。また、ｔｃ３、ｔｃ５及びｔｃ７は、健常者の関節可動域が極小となるタイミングに対応する。また、図９Ｂのｔｄ１は、対象者が右腕をまっすぐ伸ばした状態（基準位置）のタイミングに対応する。また、ｔｄ２及びｔｄ４は、対象者の関節可動域が極大となるタイミングに対応する。また、ｔｃ３及びｔｃ５は、対象者の関節可動域が極小となるタイミングに対応する。図９Ａ及び図９Ｂに示すように、健常者は、対象者と比較して速いペースで右肘を可動させており、また、対象者は、健常者に比較してゆっくりしたペースで右肘を稼働させている。なお、以下では、関節可動域が極大となるタイミングを「極大タイミング」と略記する場合がある。また、例えば、ｔｃ２からｔｃ４を「角度の変位周期」と称する場合がある。
　ここで、リハビリテーションの目的として、対象者の動作スピードを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作スピードを改善する旨を指定するための入力を、操作者から受け付ける。動作スピードを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、一回目の極大タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図９Ａに示すように、健常者の動作情報を参照し、健常者の右肘の関節可動域の微分値が正から負に変わるフレームを特定する。図９Ａに示す例では、特定部１４２は、ｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームを、健常者の極大タイミングとして特定する。そして、特定部１４２は、特定したｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームのうち、時間が最も早いｔｃ２に対応するフレームを一回目の極大タイミングとして特定する。また、特定部１４２は、同様の処理により、図９Ｂに示すように、対象者の一回目の極大タイミングとして、ｔｄ２に対応するフレームを特定する。
　続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０５）。例えば、特定部１４２は、特定した極大タイミングに対応するフレームにおいて、カラー画像の左右方向の画素数に対して人物の上腕が占める割合を被写体のサイズとして特定する。具体的には、特定部１４２は、ｔｃ２及びｔｄ２にそれぞれ対応するフレームの骨格情報から右肩（関節３ｅ）及び右肘（関節３ｆ）の座標を取得する。特定部１４２は、取得した右肩及び右肘の座標にそれぞれ対応する画素位置を算出する。特定部１４２は、カラー画像の左右方向の画素数に対して、右肩から右肘までの画素数が占める割合を、被写体のサイズとして算出する。このように、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する。
　また、リハビリテーションの目的として、対象者の動作フォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作フォームを改善する旨を指定するための入力を、操作者から受け付ける。動作フォームを改善することが指定されると、特定部１４２は、取得部１４１によって取得された各動画情報に含まれるフレーム群それぞれから、全ての極大タイミングに対応するフレームを特定する。具体的には、特定部１４２は、図９Ａに示すように、健常者の動作情報を参照し、健常者の右肘の関節可動域の微分値が正から負に変わるフレームを特定する。図９Ａに示す例では、特定部１４２は、ｔｃ２、ｔｃ４及びｔｃ６にそれぞれ対応するフレームを、健常者の極大タイミングとして特定する。また、特定部１４２は、同様の処理により、図９Ｂに示すように、対象者の全ての極大タイミングとしてｔｄ２及びｔｄ４にそれぞれ対応するフレームを特定する。
　続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する。例えば、特定部１４２は、特定した極大タイミングに対応するフレームにおいて、カラー画像の左右方向の画素数に対して人物の上腕が占める割合を被写体のサイズとして特定する。ここで、特定した極大タイミングが複数ある場合には、特定部１４２は、最初の極大タイミングを用いて被写体のサイズを特定する。
　なお、リハビリテーションの目的は、上記の例に限定されるものではなく、リハビリテーションの種目や対象者の状態に応じて適宜設定される。そして、特定部１４２は、設定された目的に応じて適切なタイミングを特定するための処理が予め設定されている。
　一態様としては、術前と術後において、手術の効果を、対象者の動作フォームを改善することが指定される場合を説明する。この場合、特定部１４２は、対象者の動作フォームを改善する旨を指定するための入力を、操作者から受け付ける。動作フォームを改善することが指定されると、特定部１４２は、術前の動画情報及び術後の動画情報に含まれるフレーム群それぞれから、全ての極大タイミングに対応するフレームを特定する。
　例えば、表示制御部１４３は、リハビリテーションの目的に応じて、複数の動画情報の表示制御を行う。例えば、表示制御部１４３は、関節可動域訓練の動画を複数並べて表示する場合には、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、これら複数の動画情報の表示制御を行う。
　図１０は、第２の実施形態に係る表示制御部１４３の処理を説明するための図である。図１０には、表示制御部１４３によって表示される表示画面１０ａの一例を示す。この表示画面１０ａは、健常者の動画情報を表示する領域１０ｂと、健常者の関節可動域の経時変化を示すグラフを表示する領域１０ｃと、対象者の動画情報を表示する領域１０ｄと、対象者の関節可動域の経時変化を示すグラフを表示する領域１０ｅとを含む。また、表示画面１０ａは、リハビリテーションの目的として、対象者の動作スピードを改善することを指定する速度比較再生ボタン１０ｆと、対象者の動作フォームを改善することを指定する動作比較再生ボタン１０ｇとを含む。また、表示画面１０ａは、関節可動域訓練における現在値（動画再生では、現在表示されているフレームでの角度）を示すバーと、最大値（動画再生では、現在表示されているフレームまでの角度のうちの最大値）を示す点とを表示するグラフ１０ｈ及びグラフ１０ｉを含む。
　ここで、リハビリテーションの目的として、対象者の動作スピードを改善することが指定される場合を説明する。例えば、特定部１４２は、速度比較再生ボタン１０ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された被写体のサイズを用いて、健常者及び対象者の上腕が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の動画情報をｔｃ２に対応するフレームから開始するように、対象者の動画情報をｔｄ２に対応するフレームから開始するように、これら２つの動画情報を同時に再生する。
　また、例えば、術前と術後において、手術の効果を、対象者の可動速度（動作スピード）がどの程度改善しているかによって確認する場合を説明する。この場合、例えば、特定部１４２は、速度比較再生ボタン１０ｆが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、術前の動画情報及び術後の動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行う。なお、上記の例は一例に過ぎず、例えば、可動域（角度）がどの程度改善しているかを確認することで、術前と術後における手術の効果を確認する場合もある。
　また、リハビリテーションの目的として、対象者の動作フォームを改善することが指定される場合を説明する。例えば、特定部１４２は、動作比較再生ボタン１０ｇが操作者によって押下された旨を示す情報を入力部１２０から受け付ける。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各極大タイミングを一致させるように再生制御を行う。具体的には、表示制御部１４３は、特定部１４２によって特定された被写体のサイズを用いて、健常者及び対象者の上腕が同程度のサイズになるように、健常者の動画情報及び対象者の動画情報をそれぞれ拡大又は縮小する。続いて、表示制御部１４３は、健常者の各極大タイミングに、対象者の各極大タイミングを同期させて各動画情報を再生する。より具体的には、ｔｄ１からｔｄ２までのフレーム数がｔｃ１からｔｃ２までのフレーム数より多いので、表示制御部１４３は、ｔｄ１からｔｄ２までのフレームを一部間引く。これにより、表示制御部１４３は、ｔｃ２及びｔｄ２に対応するフレームを同時に表示させるように、各動画情報を再生する。また、ｔｄ２からｔｄ４までのフレーム数がｔｃ２からｔｃ４までのフレーム数より多いので、表示制御部１４３は、ｔｄ２からｔｄ４までのフレームを一部間引く。これにより、表示制御部１４３は、ｔｃ４及びｔｄ４に対応するフレームを同時に表示させるように、各動画情報を再生する。このように、表示制御部１４３は、各極大タイミングを一致させるように、各動画情報を再生する。
　次に、図１１を用いて、第２の実施形態に係る動作情報表示装置１００の処理手順について説明する。図１１は、第２の実施形態に係る動作情報表示装置１００の処理手順の一例を説明するためのフローチャートである。
　図１１に示すように、取得部１４１は、複数の動画情報が選択されると（ステップＳ２０１肯定）、選択された動画情報と、対応する動作情報とをそれぞれ取得する（ステップＳ２０２）。なお、取得部１４１は、複数の動画情報が選択されるまで（ステップＳ２０１否定）、待機状態である。
　続いて、特定部１４２は、再生ボタンが押下された旨の情報を受け付ける（ステップＳ２０３）。ステップＳ２０３において、速度比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、ある時点の極大タイミングに対応するフレームを特定する（ステップＳ２０４）。続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０５）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び開始タイミングを一致させるように再生制御を行い（ステップＳ２０６）、処理を終了する。
　また、ステップＳ２０３において、動作比較再生ボタンが押下された場合には、特定部１４２は、取得部１４１によって取得された各動作情報に基づいて、全ての極大タイミングに対応するフレームを特定する（ステップＳ２０７）。続いて、特定部１４２は、各動画情報に撮影された被写体のサイズを特定する（ステップＳ２０８）。そして、表示制御部１４３は、各動画情報の対象者のサイズ及び各極大タイミングを一致させるように再生制御を行い（ステップＳ２０９）、処理を終了する。
　上述してきたように、第２の実施形態に係る動作情報表示装置１００は、他の訓練の動画が表示される場合、例えば、関節可動域訓練の動画を表示する場合にも適用することができる。
（第３の実施形態）
　さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
（動画情報及び動作情報の重畳表示）
　例えば、上述した第１及び第２の実施形態では、２つ以上の動画情報を並べて再生する場合を説明したが、実施形態はこれに限定されるものではない。例えば、再生される動画情報に、動作情報を重畳表示させても良い。
　図１２Ａ及び図１２Ｂは、動画情報及び動作情報の重畳表示について説明するための図である。図１２Ａには、健常者の関節可動域訓練の動画情報に、対応する動作情報を重畳表示させた表示画像を例示する。また、図１２Ｂには、対象者の関節可動域訓練の動画情報に、対応する動作情報を重畳表示させた表示画像を例示する。
　図１２Ａ及び図１２Ｂに示すように、表示制御部１４３は、表示対象となる動画情報に、その動画情報に含まれるフレームに対応する骨格情報を重畳表示させる。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報をカラー画像に重畳させた表示画像を生成する。そして、表示制御部１４３は、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、生成した表示画像の表示制御を行う。このように、動作情報表示装置１００は、再生される動画情報に、動作情報を重畳表示させることで、関節可動域の大小を明確に示すことができる。
（動作情報の同期再生）
　また、例えば、実施形態は、上記の重畳表示のみならず、動画情報に対応する動作情報のみを動画として同期再生しても良い。具体的には、表示制御部１４３は、表示対象となる動画情報のカラー画像に代えて、その動画情報に含まれるフレームに対応する骨格情報を動画として同期表示する。
　図１３Ａ及び図１３Ｂは、動作情報の同期再生について説明するための図である。図１３Ａには、健常者の関節可動域訓練の動作情報を動画として表示する表示画像を例示する。また、図１３Ｂには、対象者の関節可動域訓練の動作情報を動画として表示する表示画像を例示する。
　図１３Ａ及び図１３Ｂに示すように、表示制御部１４３は、健常者の動画情報と対象者の動画情報とにそれぞれ対応する動作情報の各フレームに対応する骨格情報を、動画として表示する表示画像を生成する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を表示する表示画像を生成する。そして、表示制御部１４３は、特定部１４２によって特定された極大タイミングに対応するフレームを用いて、生成した表示画像の表示制御を行う。このように、動作情報表示装置１００は、動作情報のみを表示させることで、関節可動域の大小を明確に示すことができる。また、例えば、表示制御部１４３は、着目箇所である上記の関節を、他とは異なる色で表示しても良い。
（被写体の向きの調整）
　また、例えば、上述した第１及び第２の実施形態では、被写体の向きを一致させずに動画を表示する場合を説明したが、被写体の向きを一致させた上で動画を表示しても良い。例えば、表示制御部１４３は、動画情報間で各被写体の向きが略一致するように、少なくとも一方の動画情報を平行移動や回転の上、表示制御を行う。
　図１３Ａ及び図１３Ｂは、被写体の向きの調整について説明するための図である。図１３Ａには、健常者の関節可動域訓練の動作情報を表示する表示画像を例示する。また、図１３Ｂには、対象者の関節可動域訓練の動作情報を表示する表示画像を例示する。
　図１３Ａ及び図１３Ｂに示すように、表示制御部１４３は、表示対象となる動画情報に代えて、その動画情報に対応する動作情報に含まれるフレームに対応する骨格情報を、被写体の向きを調整した上で動画として表示する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を、健常者及び対象者の骨格情報からそれぞれ抽出する。続いて、表示制御部１４３は、健常者の右肘の位置に、対象者の右肘の位置が一致するように、対象者の動作情報を平行移動させる（座標を算出する）。続いて、表示制御部１４３は、健常者の上腕に対象者の上腕が重畳するように、右肘の位置を中心として対象者の動作情報を回転させる（座標を算出する）。続いて、表示制御部１４３は、健常者が前腕を可動させる方向に、対象者が前腕を可動させる方向が一致するように、上腕の位置を回転軸として対象者の動作情報を回転させる（座標を算出する）。そして、表示制御部１４３は、平行移動及び回転させた向きで、健常者の動作情報と、対象者の動作情報とを同期させて表示する。このように、動作情報表示装置１００は、被写体の向きを調整した上で動画を表示することができる。なお、被写体の向きを調整する方法は、上記の例に限定されるものではなく、例えば、３次元変換などを用いても良い。
（複数動画の重畳表示）
　また、例えば、上述した第１及び第２の実施形態では、表示対象となる動画を並べて表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、表示対象となる動画を重畳表示しても良い。
　図１４は、重畳表示について説明するための図である。図１４には、健常者の関節可動域訓練の動作情報と、対象者の関節可動域訓練の動作情報とを重畳表示する表示画像を例示する。
　図１４に示すように、表示制御部１４３は、表示対象となる動作情報に含まれるフレームに対応する骨格情報を重畳表示する。具体的には、表示制御部１４３は、右腕の関節可動域訓練の動画を表示する場合には、表示対象となる右肩（関節３ｅ）、右肘（関節３ｆ）、右手首（関節３ｇ）及び右手（関節３ｈ）の位置を示す情報を、健常者及び対象者の骨格情報からそれぞれ抽出する。そして、表示制御部１４３は、健常者の右肩と右肘の位置と、対象者の右肩と右肘の位置とがそれぞれ一致するように、重畳画像を生成する。そして、表示制御部１４３は、生成した重畳画像を出力部１１０に表示する。このように、動作情報表示装置１００は、複数の動画を重畳表示することができる。このとき、健常者の動作情報なのか、対象者の動作情報なのか区別できるように、線種や色を変えて表示しても良い。
（その他の動画の同期再生（足跡動画の場合））
　また、動作情報表示装置１００によって同期再生される動画は、上記のカラー画像情報や骨格情報に限定されるものではなく、動作情報表示装置１００は、動作情報に基づくその他の動画を同期再生しても良い。例えば、動作情報表示装置１００は、足跡動画を同期再生しても良い。この足跡動画は、例えば、人物が歩行を行う際に、その人物の両足が床面に着地する着地位置を順次表示するものである。
　図１５は、足跡動画の同期再生について説明するための図である。図１５には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｃに代えて領域１５ａを含む点と、領域７ｅに代えて領域１５ｂを含む点とが相違する。この領域１５ａには、領域７ｂに動画表示される健常者の足跡動画が表示され、領域１５ｂには、領域７ｄに動画表示される対象者の足跡動画が表示される。
　領域１５ａ及び領域１５ｂにおいて、横方向は世界座標系のｘ軸方向に対応し、縦方向は世界座標系のｚ軸方向に対応する。つまり、領域１５ａ及び領域１５ｂは、人物が歩行する床面を上から見た図に対応する。また、領域１５ａにおいて、白抜きの丸印は、人物の右足の着地位置（座標）に対応し、黒抜きの丸印は、人物の左足の着地位置（座標）に対応し、丸印内の数字は、何歩目の着地位置であるかを示す。この足跡動画は、例えば、表示制御部１４３によって生成される。
　ここで、表示制御部１４３が足跡動画を生成する処理を説明する。例えば、表示制御部１４３は、特定部１４２によって特定された着地タイミングを用いて、足跡動画を生成する。具体的には、表示制御部１４３は、特定部１４２によって特定された両足の着地タイミングに対応する各フレームから、着地した足の足根（関節３ｐ又は関節３ｔ）の座標をそれぞれ取得する。そして、表示制御部１４３は、人物の足の着地タイミングに対応するフレームにおいて、取得したそれぞれの足根のｘｚ座標を床面に表示する動画を生成する。図１５に示す例では、表示制御部１４３は、右足の一歩目の着地タイミングで白抜き丸印「１」を表示し、左足の一歩目の着地タイミングで黒抜き丸印「２」を表示し、右足の二歩目の着地タイミングで白抜き丸印「３」を表示し、左足の二歩目の着地タイミングで黒抜き丸印「４」を表示し、右足の三歩目の着地タイミングで白抜き丸印「５」を表示し、左足の三歩目の着地タイミングで黒抜き丸印「６」を表示する動画を生成する。このように、表示制御部１４３は、領域１５ａ及び領域１５ｂにそれぞれ表示される足跡動画を生成する。
　図１５に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、領域１５ａ及び領域１５ｂにそれぞれ表示される足跡動画の表示制御を行う。例えば、歩くスピードを比較する場合には、表示制御部１４３は、領域１５ａ及び領域１５ｂに表示される右足の一歩目の着地タイミングが一致するように、これら２つの足跡動画を同時に再生する。このように、動作情報表示装置１００は、複数の足跡動画を再生制御することができる。
（その他の動画の同期再生（グラフ動画の場合））
　また、例えば、動作情報表示装置１００は、動作情報に基づくその他の動画として、グラフ動画を同期再生しても良い。このグラフ動画は、対象部位の位置の動きに関する情報を表したグラフであり、例えば、人物の動作に伴って変化する所定の値を表すグラフを経過時間に合わせてプロットする動画である。言い換えると、グラフ動画は、あるグラフを描画するかのようにグラフを表示する動画である。なお、この所定の値としては、フレームごとの歩行速度やフレームごとの膝関節の角度等、骨格情報から算出可能な値が操作者の任意によって選択される。
　図１６は、グラフ動画の同期再生について説明するための図である。図１６には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｃに代えて領域１６ａを含む点と、領域７ｅに代えて領域１６ｂを含む点とが相違する。この領域１６ａには、領域７ｂに動画表示される健常者の歩行速度を表示するグラフ動画が表示され、領域１５ｂには、領域７ｄに動画表示される対象者の歩行速度を表示するグラフ動画が表示される。
　領域１６ａ及び領域１６ｂにおいて、横方向は時間に対応し、縦方向はＶｅｌｏｃｉｔｙ（歩行速度）に対応する。この足跡動画は、例えば、表示制御部１４３によって生成される。具体的には、表示制御部１４３は、フレームごとに、領域７ｂ及び領域７ｄに表示される各人物の腰（関節３ｃ）の単位時間当たりの移動距離を、歩行速度として算出する。そして、表示制御部１４３は、算出したフレームごとの歩行速度を時間経過とともにプロットするグラフ動画を生成する。
　図１６に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、領域１６ａ及び領域１６ｂにそれぞれ表示されるグラフ動画の表示制御を行う。例えば、歩くスピードを比較する場合には、表示制御部１４３は、領域１６ａ及び領域１６ｂに表示される右足の一歩目の着地タイミングが一致するように、これら２つの足跡動画を同時に再生する。このように、動作情報表示装置１００は、複数のグラフ動画を再生制御することができる。なお、動作情報表示装置１００が再生制御するグラフ動画は上記の例に限定されるものではない。例えば、動作情報表示装置１００は、骨格情報から算出可能な値を縦軸とする任意のグラフを再生制御しても良い。具体的には、動作情報表示装置１００は、図１０に例示したグラフ１０ｈ及びグラフ１０ｉを再生制御しても良い。
　なお、図１６の例では、横方向を時間とし、縦方向を速度としたが、実施形態はこれに限定されるものではない。例えば、横方向を時間とした場合、縦方向を位置（座標）としても良いし、加速度としても良い。すなわち、実施形態は、動作情報から算出可能な任意のパラメータを表すグラフに適用されて良い。
（その他の動画の同期再生（強調表示を伴う動画の場合））
　また、例えば、動作情報表示装置１００は、図７に示した表示画面７ａの強調表示を伴う動画を同期再生しても良い。一例としては、表示制御部１４３は、更に、動作情報に基づく動画のうち、再生制御に関する情報を表示する。
　図１７は、強調表示を伴う動画の同期再生について説明するための図である。図１７には、表示制御部１４３によって出力部１１０に表示される表示画面７ａの一例を示す。この表示画面７ａは、図７に例示した表示画面７ａと比較して、領域７ｂ及び領域７ｄ各々に、関節３ｐ及び関節３ｔを含む点と、同期（再生制御）に用いたフレームに対応するタイミングを表す矢印とを含む点とが相違する。
　例えば、表示制御部１４３は、領域７ｂ及び領域７ｄ各々に、歩行訓練の際に注目部位となる関節３ｐ及び関節３ｔを示す点を強調表示する。また、例えば、表示制御部１４３は、グラフ７ｃ及びグラフ７ｅに、同期に用いたフレームであるｔａ２、ｔａ４、ｔａ６、ｔｂ２、ｔｂ４及びｔｂ６のタイミングを指し示す矢印（図中の「同期」と記載した矢印）を強調表示する。
　図１７に示すように、表示制御部１４３は、特定部１４２によって特定された着地タイミングに対応するフレームを用いて、強調表示を伴う動画の表示制御を行う。なお、表示制御部１４３は、例えば、特定部１４２によって特定されたフレームに対応するタイミングを表すための特徴的な表示を行っても良い。
（サービス提供装置への適用）
　また、例えば、上述した第１及び第２の実施形態では、動作情報表示装置１００が比較表示を行う場合を説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行されても良い。
　図１８は、サービス提供装置に適用される場合の一例を説明するための図である。図１８に示すように、サービス提供装置２００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置３００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置３００は、動作情報収集部１０がそれぞれ接続される。また、各端末装置３００は、サービス提供装置２００によって提供されるサービスを利用するクライアント機能を備える。また、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide　Area　Network）などの任意の種類の通信網を採用できる。
　例えば、サービス提供装置２００は、図５において説明した動作情報表示装置１００と同様の機能を有し、当該機能を端末装置３００にサービスとして提供する。この場合、端末装置３００は、医療機関、自宅又は職場においてリハビリが行われ、動作情報収集部１０によって収集された動作情報及び動画情報を、サービス提供装置２００にアップロードする。サービス提供装置２００は、端末装置３００によってアップロードされた動作情報及び動画情報を保管する。
　ここで、サービス提供装置２００は、取得部１４１と、特定部１４２と、表示制御部１４３とそれぞれ同様の機能部を有する。そして、取得部１４１と同様の機能部は、複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する。そして、特定部１４２と同様の機能部は、動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する。そして、表示制御部１４３と同様の機能部は、所定の動作のタイミングに対応するフレームを用いて、複数の動画情報の表示制御を行う。
　具体例を挙げると、操作者は、端末装置３００を用いて表示対象となる複数の動画情報を指定する。端末装置３００は、指定された複数の動画情報を示す情報を、サービス提供装置２００へ送信する。サービス提供装置２００は、上記の機能によって、指定された複数の動画情報を比較表示するための表示画像を生成し、これを端末装置３００へ送信する。これにより、操作者は、指定した複数の動画情報を比較表示する表示画像を端末装置３００において閲覧することができる。
　なお、サービス提供装置２００は、動作情報及び動画情報を保管するサービスのみを行う構成であっても良い。この場合、端末装置３００は、図５において説明した動作情報表示装置１００と同様の機能を有する。そして、端末装置３００は、表示対象となる動画情報及び動作情報をサービス提供装置２００から適宜ダウンロードし、取得部１４１、特定部１４２及び表示制御部１４３とそれぞれ同様の機能によって、上述した表示制御を行う。
（その他の実施形態）
　また、上述した実施形態における動作情報表示装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。
　例えば、上記の実施形態では、歩行訓練又は関節可動域訓練に適用する場合を説明したが、実施形態はこれに限定されるものではなく、例えば、運動療法の筋肉増強訓練、物理療法、電気療法等にも適用することができる。
　また、例えば、上述した実施形態における動作情報表示装置１００の構成は、医用情報システム内のどの装置が有していても良い。例えば、動作情報処理装置２０が動作情報表示装置１００の構成を有していても良い。
　また、例えば、上述した実施形態では、動画情報に含まれる被写体のサイズを一致させる場合を説明したが、実施形態はこれに限定されるものではなく、被写体のサイズを一致させるための処理は実行されなくても良い。
　また、例えば、上述した実施形態では、動画情報又は動作情報を表示する場合を説明したが、実施形態はこれに限定されるものではない。すなわち、動画情報又は動作情報を表示する処理は、実行されなくても良い。例えば、動作情報表示装置１００は、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定し、特定したフレームを示す情報を動画情報に更に付帯させても良いし、特定したフレームを示す情報を上述したグラフ等に表示しても良い。特定したフレームを示す情報を動画情報に更に付帯させる場合、例えば、動作情報表示装置１００とは異なる別の装置が、この動画情報と付帯情報とを取得し、付帯情報に従って、上述した実施形態のような表示制御を行っても良い。
　また、例えば、上述した実施形態では、医用画像保管装置４０に保管された動画情報を比較表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報表示装置１００は、動作情報処理装置２０から略リアルタイムで取得される動画情報と、医用画像保管装置４０に保管された動画情報とを比較表示しても良い。これによれば、例えば、動作情報表示装置１００は、対象者のリハビリを動画撮影しつつ、当該対象者について過去に保管された動画情報と動作のタイミングを同期させて比較表示することができる。
　また、上述した実施形態において説明した取得部１４１、特定部１４２及び表示制御部１４３の機能は、ソフトウェアによって実現することもできる。例えば、取得部１４１、特定部１４２及び表示制御部１４３の機能は、上記の実施形態において取得部１４１、特定部１４２及び表示制御部１４３が行うものとして説明した処理の手順を規定した動作情報表示プログラムをコンピュータに実行させることで、実現される。この動作情報表示プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ（Micro-Processing　Unit）等のプロセッサによって読み出されて実行される。また、この医用画像表示プログラムは、ＣＤ－ＲＯＭ（Compact　Disc　－　Read　Only　Memory）やＭＯ（Magnetic　Optical　disk）、ＤＶＤ（Digital　Versatile　Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　なお、上述した第１の実施形態～第３の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International　Society　of　Orthopaedic　Surgery　and　Traumatology（SICOT）：国際整形外科学会」、「American　Academy　of　Orthopaedic　Surgeons(AAOS)：米国整形外科学会」、「European　Orthopaedic　Research　Society（EORS）：欧州整形外科学研究会」、「International　Society　of　Physical　and　Rehabilitation　Medicine　(ISPRM)：国際リハビリテーション医学会」、「American　Academy　of　Physical　Medicine　and　Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。
　以上説明した少なくともひとつの実施形態によれば、本実施形態の動作情報表示装置及びプログラムは、リハビリテーションの様子が撮影された動画を適切に表示することができる。

Claims (10)

  1. 　複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれを取得する取得部と、
    　前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、所定の動作のタイミングに対応するフレームを特定する特定部と、
    　前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う表示制御部と
    　を備える、動作情報表示装置。
  2. 　前記取得部は、前記動作情報として、前記被写体内の特徴点の座標を取得し、
    　前記特定部は、前記座標に基づいて、前記所定の動作のタイミングに対応するフレームを特定する、請求項１に記載の動作情報表示装置。
  3. 　前記特定部は、リハビリテーションの種類、及び、リハビリテーションの目的のうち、少なくとも一方に応じて、前記所定の動作のタイミングに対応するフレームを特定する、請求項１又は２に記載の動作情報表示装置。
  4. 　前記表示制御部は、動画情報それぞれから特定されたフレームを用いて、動画情報間で再生のタイミングが略一致するように、並列表示又は重畳表示の表示制御を行う、請求項１に記載の動作情報表示装置。
  5. 　前記特定部は、更に、各動画情報に含まれる被写体のサイズそれぞれを特定し、
    　前記表示制御部は、前記被写体のサイズそれぞれを用いて、動画情報間で各被写体のサイズが略一致するように、表示制御を行う、請求項１に記載の動作情報表示装置。
  6. 　前記表示制御部は、動画情報間で各被写体の向きが略一致するように、少なくとも一方の動画情報を平行移動及び／又は回転の上、表示制御を行う、請求項１に記載の動作情報表示装置。
  7. 　前記表示制御部は、前記動画情報の表示制御を行う際に、各動画情報に含まれる被写体の骨格情報を表示する、請求項１に記載の動作情報表示装置。
  8. 　前記表示制御部は、更に、前記動作情報に基づく、対象部位の位置の動きに関する情報を表したグラフを表示する、請求項１に記載の動作情報表示装置。
  9. 　前記表示制御部は、更に、前記動作情報に基づく動画のうち、再生制御に関する情報を表示する、請求項８に記載の動作情報表示装置。
  10. 　複数の動画情報と、各動画情報に含まれる被写体の動作を表す動作情報それぞれとを取得する取得手順と、
    　前記動作情報に基づいて、各動画情報に含まれるフレーム群それぞれから、リハビリテーションで行われる所定の動作のタイミングに対応するフレームを特定する特定手順と、
    　前記所定の動作のタイミングに対応するフレームを用いて、前記複数の動画情報の表示制御を行う表示制御手順と
    　をコンピュータに実行させる、動作情報表示プログラム。
PCT/JP2014/051140 2013-01-21 2014-01-21 動作情報表示装置及びプログラム WO2014112645A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/803,180 US10170155B2 (en) 2013-01-21 2015-07-20 Motion information display apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013008605A JP6188332B2 (ja) 2013-01-21 2013-01-21 医用画像表示装置及びプログラム
JP2013-008605 2013-01-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/803,180 Continuation US10170155B2 (en) 2013-01-21 2015-07-20 Motion information display apparatus and method

Publications (1)

Publication Number Publication Date
WO2014112645A1 true WO2014112645A1 (ja) 2014-07-24

Family

ID=51209730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051140 WO2014112645A1 (ja) 2013-01-21 2014-01-21 動作情報表示装置及びプログラム

Country Status (3)

Country Link
US (1) US10170155B2 (ja)
JP (1) JP6188332B2 (ja)
WO (1) WO2014112645A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311584B1 (ko) * 2015-02-27 2021-10-13 큐렉소 주식회사 사용자 정보 인식 기반의 비상 정지 기능을 갖는 보행 재활 장치
US11684260B2 (en) 2015-03-23 2023-06-27 Tracpatch Health, Inc. System and methods with user interfaces for monitoring physical therapy and rehabilitation
US20180153445A1 (en) * 2015-06-26 2018-06-07 Nec Solution Innovators, Ltd. Measurement device and measurement method
WO2016208290A1 (ja) * 2015-06-26 2016-12-29 Ｎｅｃソリューションイノベータ株式会社 測定装置及び測定方法
JP6534893B2 (ja) * 2015-08-07 2019-06-26 株式会社エクサウィザーズ 情報処理装置
KR102034021B1 (ko) * 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
JP6447609B2 (ja) * 2015-10-29 2019-01-09 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CN106650217B (zh) * 2015-10-29 2020-06-30 佳能市场营销日本株式会社 信息处理装置以及信息处理方法
JP6803111B2 (ja) * 2015-10-29 2020-12-23 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
JP6521093B2 (ja) * 2015-11-19 2019-05-29 パナソニックＩｐマネジメント株式会社 歩行動作表示システム及びプログラム
CN107643509B (zh) * 2016-07-22 2019-01-11 腾讯科技（深圳）有限公司 定位方法、定位系统及终端设备
JP7187466B2 (ja) * 2017-02-01 2022-12-12 コンセンサス オーソペディックス インコーポレイテッド 理学療法及びリハビリテーションをモニタするためのユーザインターフェイスを備えたシステム及び方法
JP6932946B2 (ja) * 2017-02-28 2021-09-08 株式会社ニコン 検出システム、検出方法、及び検出プログラム
JP6871379B2 (ja) * 2017-07-07 2021-05-12 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US10607365B2 (en) 2017-11-08 2020-03-31 International Business Machines Corporation Presenting an image indicating a position for a person in a location the person is waiting to enter
WO2019122414A1 (en) 2017-12-22 2019-06-27 Resmed Sensor Technologies Limited Apparatus, system, and method for physiological sensing in vehicles
CN116898406A (zh) 2017-12-22 2023-10-20 瑞思迈传感器技术有限公司 用于运动感测的设备、系统和方法
CN108537111A (zh) * 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
JP7124364B2 (ja) * 2018-03-16 2022-08-24 株式会社リコー 動作評価支援システム、動画評価支援装置、動作評価支援方法及びプログラム
US20200335222A1 (en) * 2019-04-19 2020-10-22 Zimmer Us, Inc. Movement feedback for orthopedic patient
JP7474568B2 (ja) 2019-05-08 2024-04-25 キヤノンメディカルシステムズ株式会社 医用情報表示装置、及び医用情報表示システム
US20220277482A1 (en) * 2019-07-22 2022-09-01 Nec Corporation Pose identifying apparatus, pose identifying method, and non-transitory computer readable medium
CN111437583B (zh) * 2020-04-10 2021-06-29 哈尔滨工业大学 一种基于Kinect的羽毛球基本动作辅助训练系统
JP7418382B2 (ja) 2021-09-30 2024-01-19 カシオ計算機株式会社 表示方法、表示装置及びプログラム
WO2023157500A1 (ja) * 2022-02-18 2023-08-24 パナソニックＩｐマネジメント株式会社 動画編集方法、動画編集装置、及び、表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2000138927A (ja) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd 画像比較表示装置
JP2006350578A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像分析装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387284B2 (ja) 1995-08-21 2003-03-17 松下電器産業株式会社 リハビリテーション支援装置
JP2004500756A (ja) * 1999-11-24 2004-01-08 ダートフィッシュ　エルティーディー． ビデオシーケンスと時空正規化との調整および合成
EP1846115A4 (en) * 2005-01-26 2012-04-25 Bentley Kinetics Inc METHOD AND SYSTEM FOR ANALYZING AND TEACHING ATHLETIC MOVEMENT
DE102009002747A1 (de) * 2009-04-30 2010-11-04 Robert Bosch Gmbh Verfahren und Einrichtung zum Bewerten einer Bewegung eines Patienten
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08215177A (ja) * 1995-02-08 1996-08-27 Fujitsu Ltd 運動支援システム及び運動支援方法
JP2000138927A (ja) * 1998-11-02 2000-05-16 Hitachi Plant Eng & Constr Co Ltd 画像比較表示装置
JP2006350578A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像分析装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム

Also Published As

Publication number Publication date
JP2014138661A (ja) 2014-07-31
US20150325270A1 (en) 2015-11-12
JP6188332B2 (ja) 2017-08-30
US10170155B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
JP6188332B2 (ja) 医用画像表示装置及びプログラム
JP6675462B2 (ja) 動作情報処理装置
JP6381918B2 (ja) 動作情報処理装置
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6351978B2 (ja) 動作情報処理装置及びプログラム
JP6359343B2 (ja) 動作情報処理装置及び方法
Parajuli et al. Senior health monitoring using Kinect
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
Mangal et al. Kinect V2 tracked body joint smoothing for kinematic analysis in musculoskeletal disorders
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
Sanmartín et al. Motion capture for clinical purposes, an approach using primesense sensors
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
Bernal-Torres et al. Development of a new low-cost computer vision system for human gait analysis: A case study
WO2017170440A1 (ja) 計測装置、計測方法、及びコンピュータ読み取り可能な記録媒体
Zhang Evaluation of Motion Standard Based on Kinect Human Bone and Joint Data Acquisition
Eustace Development of a Clinical Marker-less Motion Capture System for Patient Monitoring
Alothmany et al. Accuracy of joint angles tracking using markerless motion system
Brownridge et al. Measurement of human motion in performance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14740888

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14740888

Country of ref document: EP

Kind code of ref document: A1