WO2014112635A1 - 動作情報処理装置 - Google Patents

動作情報処理装置 Download PDF

Info

Publication number
WO2014112635A1
WO2014112635A1 PCT/JP2014/051023 JP2014051023W WO2014112635A1 WO 2014112635 A1 WO2014112635 A1 WO 2014112635A1 JP 2014051023 W JP2014051023 W JP 2014051023W WO 2014112635 A1 WO2014112635 A1 WO 2014112635A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
subject
motion
image
Prior art date
Application number
PCT/JP2014/051023
Other languages
English (en)
French (fr)
Inventor
和樹 宇都宮
吉田　昌史
勇人 小西
茂如 石井
弘祐 坂上
池田　智
Original Assignee
株式会社東芝
東芝メディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝メディカルシステムズ株式会社 filed Critical 株式会社東芝
Publication of WO2014112635A1 publication Critical patent/WO2014112635A1/ja
Priority to US14/793,396 priority Critical patent/US9710920B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Definitions

  • Embodiments of the present invention relate to a motion information processing apparatus.
  • rehabilitation in rehabilitation, many specialists aim to lead better lives for those with mental and physical disabilities caused by various causes such as illness, trauma, and aging, and congenital disabilities. Support that cooperated by is performed. For example, rehabilitation is supported by a number of specialists such as rehabilitation specialists, rehabilitation nurses, physical therapists, occupational therapists, speech therapists, clinical psychologists, prosthetic braces, and social workers.
  • rehabilitation specialists such as rehabilitation specialists, rehabilitation nurses, physical therapists, occupational therapists, speech therapists, clinical psychologists, prosthetic braces, and social workers.
  • an optical type, a mechanical type, a magnetic type, a camera type and the like are known.
  • a camera system is known in which a marker is attached to a person, the marker is detected by a tracker such as a camera, and the movement of the person is digitally recorded by processing the detected marker.
  • an infrared sensor is used to measure the distance from the sensor to a person, and the movement of the person is digitally detected by detecting various movements of the person's size and skeleton.
  • the recording method is known.
  • Kinect registered trademark
  • the problem to be solved by the present invention is to provide a motion information processing apparatus that makes it possible to suppress erroneous recognition of persons other than the target person.
  • the motion information processing apparatus of the embodiment includes an acquisition unit and a specifying unit.
  • the acquisition unit acquires a target person who performs a predetermined operation and image information around the target person.
  • the specifying unit specifies operation information of a subject who performs the predetermined operation based on a predetermined feature in the image information acquired by the acquisition unit.
  • FIG. 1 is a block diagram illustrating a configuration example of the motion information processing apparatus according to the first embodiment.
  • FIG. 2A is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 2B is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 2C is a diagram for explaining processing of the motion information generation unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of skeleton information generated by the motion information generation unit according to the first embodiment.
  • FIG. 4 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of skeleton information acquired by the acquisition unit according to the first embodiment.
  • FIG. 6A is a diagram for explaining an example of processing by the specifying unit according to the first embodiment.
  • FIG. 6B is a diagram for explaining an example of processing by the specifying unit according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of operation information stored in the operation information storage unit by the specifying unit according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of a display image displayed by the display control unit according to the first embodiment.
  • FIG. 9 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus according to the first embodiment.
  • FIG. 10 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus according to the second embodiment.
  • FIG. 11A is a diagram illustrating an example of recognition information stored by a recognition information storage unit according to the second embodiment.
  • FIG. 11B is a diagram illustrating an example of recognition information stored by the recognition information storage unit according to the second embodiment.
  • FIG. 12A is a diagram for explaining an example of processing by the specifying unit according to the second embodiment.
  • FIG. 12B is a diagram for describing an example of processing by the specifying unit according to the second embodiment.
  • FIG. 13 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus according to the second embodiment.
  • FIG. 14 is a diagram illustrating an example of a display image displayed by the display control unit according to the third embodiment.
  • FIG. 15 is a diagram for explaining an example of processing by the input unit and the specifying unit according to the fourth embodiment.
  • FIG. 16 is a diagram for explaining an example of processing by the specifying unit according to the fifth embodiment.
  • FIG. 17 is a diagram for explaining an example of processing by the specifying unit according to the sixth embodiment.
  • FIG. 18A is a diagram illustrating an example of a distance image captured by the distance image collection unit.
  • FIG. 18B is a diagram illustrating an example of a distance image captured by the distance image collection unit.
  • FIG. 19 is a block diagram illustrating a detailed configuration example of the medical information processing apparatus according to the seventh embodiment.
  • FIG. 20 is a diagram illustrating an example of information stored in the subject motion feature storage unit.
  • FIG. 21 is a diagram illustrating an example of information stored in the assistant operation feature storage unit.
  • FIG. 22 is a diagram illustrating an example of information stored in the subject image feature storage unit.
  • FIG. 23 is a diagram illustrating an example of information stored in the assistant image feature storage unit.
  • FIG. 20 is a diagram illustrating an example of information stored in the subject motion feature storage unit.
  • FIG. 21 is a diagram illustrating an example of information stored in the assistant operation feature storage unit.
  • FIG. 24 is a diagram for explaining processing of the generation unit.
  • FIG. 25 is a diagram illustrating an example of a display screen displayed by the storage unit.
  • FIG. 26 is a diagram illustrating an example of a display screen displayed by the storage unit.
  • FIG. 27 is a flowchart for explaining an example of a processing procedure of the motion information processing apparatus according to the seventh embodiment.
  • FIG. 28 is a flowchart for explaining an example of a processing procedure of determination processing in the determination unit according to the seventh embodiment.
  • FIG. 29 is a diagram for explaining the effect of the motion information processing apparatus according to the seventh embodiment.
  • FIG. 30 is a block diagram illustrating a configuration example of the motion information processing apparatus according to the eighth embodiment.
  • FIG. 31 is a diagram illustrating an example of information stored in the personal feature information storage unit.
  • FIG. 32 is a flowchart for explaining an example of a processing procedure of the motion information processing apparatus according to the eighth embodiment.
  • FIG. 33 is a block diagram illustrating a configuration example of the motion information processing apparatus according to the ninth embodiment.
  • FIG. 34 is a diagram illustrating an example of information stored in the staff information storage unit.
  • FIG. 35 is a block diagram illustrating a configuration example of the motion information processing system according to the eleventh embodiment.
  • FIG. 36 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus according to the eleventh embodiment.
  • FIG. 37A is a diagram for explaining processing of the generation unit according to the eleventh embodiment.
  • FIG. 37B is a diagram for explaining processing of the generation unit according to the eleventh embodiment.
  • FIG. 38 is a diagram illustrating an example of browsing operation information stored in the medical image storage apparatus according to the eleventh embodiment.
  • FIG. 39 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus according to the eleventh embodiment.
  • FIG. 40 is a diagram for explaining processing of the generation unit according to Modification 1 of the eleventh embodiment.
  • FIG. 41 is a diagram for explaining processing of the generation unit according to Modification 2 of the eleventh embodiment.
  • FIG. 42 is a diagram for explaining processing of the generation unit according to Modification 3 of the eleventh embodiment.
  • FIG. 43 is a block diagram illustrating a detailed configuration example of the workstation according to the twelfth embodiment.
  • FIG. 44 is a diagram illustrating an example of information stored in the display information storage unit.
  • FIG. 44 is a diagram illustrating an example of information stored in the display information storage unit.
  • FIG. 45 is a diagram for explaining processing of the display control unit according to the twelfth embodiment.
  • FIG. 46 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus according to the thirteenth embodiment.
  • FIG. 47 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus according to the thirteenth embodiment.
  • FIG. 48 is a diagram for explaining an example when applied to a service providing apparatus.
  • motion information processing apparatus may be used as the motion information processing apparatus alone, or may be used by being incorporated in a system such as a medical record system or a rehabilitation department system. .
  • FIG. 1 is a diagram illustrating an example of a configuration of a motion information processing apparatus 100 according to the first embodiment.
  • the motion information processing apparatus 100 according to the first embodiment is an apparatus that supports rehabilitation performed in, for example, a medical institution, home, or workplace.
  • rehabilitation refers to techniques and methods for improving the potential of patients with long-term treatment periods, such as disabilities, chronic diseases, geriatric diseases, etc., and restoring and promoting life functions and thus social functions.
  • Such techniques and methods include, for example, function training for restoring and promoting life functions and social functions.
  • examples of the functional training include walking training and joint range-of-motion training.
  • a person who is a target of rehabilitation is referred to as a “subject”.
  • the target person is, for example, a sick person, an injured person, an elderly person, a disabled person, or the like.
  • a person who assists the subject is referred to as “assistant”.
  • This assistant is, for example, a medical worker such as a doctor, a physical therapist, or a nurse engaged in a medical institution, a caregiver who cares for the subject at home, a family member, a friend, or the like.
  • Rehabilitation is also abbreviated as “rehabilitation”.
  • the motion information processing apparatus 100 is connected to the motion information collection unit 10.
  • the motion information collection unit 10 detects the motion of a person or object in a space where rehabilitation is performed, and collects motion information representing the motion of the person or object. Note that the operation information will be described in detail when the processing of the operation information generation unit 14 described later is described. For example, Kinect (registered trademark) is used as the operation information collection unit 10.
  • the motion information collection unit 10 includes a color image collection unit 11, a distance image collection unit 12, a voice recognition unit 13, and a motion information generation unit 14. Note that the configuration of the operation information collection unit 10 illustrated in FIG. 1 is merely an example, and the embodiment is not limited thereto.
  • the color image collection unit 11 photographs a subject such as a person or an object in a space where rehabilitation is performed, and collects color image information. For example, the color image collection unit 11 detects light reflected from the subject surface with a light receiving element, and converts visible light into an electrical signal. Then, the color image collection unit 11 converts the electrical signal into digital data, thereby generating one frame of color image information corresponding to the shooting range.
  • the color image information for one frame includes, for example, shooting time information and information in which each pixel included in the one frame is associated with an RGB (Red Green Blue) value.
  • the color image collection unit 11 shoots a moving image of the shooting range by generating color image information of a plurality of continuous frames from visible light detected one after another.
  • the color image information generated by the color image collection unit 11 may be output as a color image in which the RGB values of each pixel are arranged in a bitmap.
  • the color image collection unit 11 includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) as a light receiving element.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the distance image collection unit 12 photographs a subject such as a person or an object in a space where rehabilitation is performed, and collects distance image information. For example, the distance image collection unit 12 irradiates the surrounding area with infrared rays, and detects a reflected wave obtained by reflecting the irradiation wave on the surface of the subject with the light receiving element. Then, the distance image collection unit 12 obtains the distance between the subject and the distance image collection unit 12 based on the phase difference between the irradiation wave and the reflected wave and the time from irradiation to detection, and corresponds to the shooting range. Generate frame distance image information.
  • the distance image information for one frame includes, for example, shooting time information and information in which each pixel included in the shooting range is associated with the distance between the subject corresponding to the pixel and the distance image collection unit 12. included.
  • the distance image collection unit 12 captures a moving image of the shooting range by generating distance image information of a plurality of continuous frames from reflected waves detected one after another.
  • the distance image information generated by the distance image collection unit 12 may be output as a distance image in which color shades corresponding to the distance of each pixel are arranged in a bitmap.
  • the distance image collection unit 12 includes, for example, a CMOS or a CCD as a light receiving element. This light receiving element may be shared with the light receiving element used in the color image collection unit 11.
  • the unit of the distance calculated by the distance image collection unit 12 is, for example, meters [m].
  • the voice recognition unit 13 collects surrounding voices, identifies the direction of the sound source, and performs voice recognition.
  • the voice recognition unit 13 has a microphone array including a plurality of microphones, and performs beam forming. Beam forming is a technique for selectively collecting sound from a specific direction. For example, the voice recognition unit 13 specifies the direction of the sound source by beam forming using a microphone array.
  • the voice recognition unit 13 recognizes a word from the collected voice using a known voice recognition technique. That is, the speech recognition unit 13 generates, as a speech recognition result, for example, information associated with a word recognized by the speech recognition technology, a direction in which the word is emitted, and a time at which the word is recognized.
  • the motion information generation unit 14 generates motion information representing the motion of a person or an object. This motion information is generated by, for example, capturing a human motion (gesture) as a series of a plurality of postures (poses). In brief, the motion information generation unit 14 first obtains the coordinates of each joint forming the skeleton of the human body from the distance image information generated by the distance image collection unit 12 by pattern matching using a human body pattern. The coordinates of each joint obtained from the distance image information are values represented by a distance image coordinate system (hereinafter referred to as “distance image coordinate system”).
  • distance image coordinate system hereinafter referred to as “distance image coordinate system”.
  • the motion information generation unit 14 then represents the coordinates of each joint in the distance image coordinate system in a three-dimensional space coordinate system in which rehabilitation is performed (hereinafter referred to as a “world coordinate system”). Convert to The coordinates of each joint represented in this world coordinate system become the skeleton information for one frame. Further, the skeleton information for a plurality of frames is the operation information.
  • processing of the motion information generation unit 14 according to the first embodiment will be specifically described.
  • FIG. 2A to 2C are diagrams for explaining the processing of the motion information generation unit 14 according to the first embodiment.
  • FIG. 2A shows an example of a distance image generated by the distance image collection unit 12.
  • an image expressed by a line drawing is shown.
  • an actual distance image is an image expressed by shading of colors according to the distance.
  • each pixel has a “pixel position X” in the left-right direction of the distance image, a “pixel position Y” in the up-down direction of the distance image, and a subject corresponding to the pixel and the distance image collection unit 12. It has a three-dimensional value associated with “distance Z”.
  • the coordinate value of the distance image coordinate system is expressed by the three-dimensional value (X, Y, Z).
  • the motion information generation unit 14 stores in advance human body patterns corresponding to various postures, for example, by learning. Each time the distance image collection unit 12 generates distance image information, the motion information generation unit 14 acquires the generated distance image information of each frame. Then, the motion information generation unit 14 performs pattern matching using a human body pattern on the acquired distance image information of each frame.
  • FIG. 2B shows an example of a human body pattern.
  • the human body pattern is a pattern used for pattern matching with distance image information, it is expressed in the distance image coordinate system, and is similar to the person depicted in the distance image, on the surface of the human body.
  • Information hereinafter referred to as “human body surface”.
  • the human body surface corresponds to the skin or clothing surface of the person.
  • the human body pattern includes information on each joint forming the skeleton of the human body. That is, in the human body pattern, the relative positional relationship between the human body surface and each joint is known.
  • the human body pattern includes information on 20 joints from joint 2a to joint 2t.
  • the joint 2a corresponds to the head
  • the joint 2b corresponds to the center of both shoulders
  • the joint 2c corresponds to the waist
  • the joint 2d corresponds to the center of the buttocks.
  • the joint 2e corresponds to the right shoulder
  • the joint 2f corresponds to the right elbow
  • the joint 2g corresponds to the right wrist
  • the joint 2h corresponds to the right hand.
  • the joint 2i corresponds to the left shoulder
  • the joint 2j corresponds to the left elbow
  • the joint 2k corresponds to the left wrist
  • the joint 2l corresponds to the left hand.
  • the joint 2m corresponds to the right hip
  • the joint 2n corresponds to the right knee
  • the joint 2o corresponds to the right ankle
  • the joint 2p corresponds to the right foot
  • the joint 2q corresponds to the left hip
  • the joint 2r corresponds to the left knee
  • the joint 2s corresponds to the left ankle
  • the joint 2t corresponds to the left foot.
  • FIG. 2B the case where the human body pattern has information on 20 joints has been described.
  • the embodiment is not limited to this, and the position and number of joints may be arbitrarily set by the operator. .
  • the position and number of joints may be arbitrarily set by the operator.
  • information on the joint 2b and the joint 2c among the joints 2a to 2d may not be acquired.
  • the joint 2h not only the joint 2h but also the joint of the finger of the right hand may be newly set.
  • the joint 2a, the joint 2h, the joint 2l, the joint 2p, and the joint 2t in FIG. 2B are different from so-called joints because they are the end portions of the bone, but are important points representing the position and orientation of the bone. For the sake of convenience, it is described here as a joint.
  • the motion information generation unit 14 performs pattern matching with the distance image information of each frame using the human body pattern. For example, the motion information generation unit 14 extracts a person in a certain posture from the distance image information by pattern matching the human body surface of the human body pattern shown in FIG. 2B and the distance image shown in FIG. 2A. In this way, the motion information generation unit 14 obtains the coordinates of the human body surface depicted in the distance image. Further, as described above, in the human body pattern, the relative positional relationship between the human body surface and each joint is known. Therefore, the motion information generation unit 14 calculates the coordinates of each joint in the person from the coordinates of the human body surface depicted in the distance image. Thus, as illustrated in FIG. 2C, the motion information generation unit 14 acquires the coordinates of each joint forming the skeleton of the human body from the distance image information. Note that the coordinates of each joint obtained here are the coordinates of the distance coordinate system.
  • the motion information generation unit 14 may use information representing the positional relationship of each joint as an auxiliary when performing pattern matching.
  • the information representing the positional relationship between the joints includes, for example, a joint relationship between the joints (for example, “joint 2a and joint 2b are coupled”) and a movable range of each joint.
  • a joint is a site that connects two or more bones.
  • the angle between the bones changes according to the change in posture, and the range of motion differs depending on the joint.
  • the range of motion is represented by the maximum and minimum values of the angles formed by the bones connected by each joint.
  • the motion information generation unit 14 also learns the range of motion of each joint and stores it in association with each joint.
  • the motion information generation unit 14 converts the coordinates of each joint in the distance image coordinate system into values represented in the world coordinate system.
  • the world coordinate system is a coordinate system in a three-dimensional space where rehabilitation is performed.
  • the position of the motion information collection unit 10 is the origin, the horizontal direction is the x axis, the vertical direction is the y axis, and the direction is orthogonal to the xy plane.
  • the coordinate value in the z-axis direction may be referred to as “depth”.
  • the motion information generation unit 14 stores in advance a conversion formula for converting from the distance image coordinate system to the world coordinate system.
  • this conversion formula receives the coordinates of the distance image coordinate system and the incident angle of the reflected light corresponding to the coordinates, and outputs the coordinates of the world coordinate system.
  • the motion information generation unit 14 inputs the coordinates (X1, Y1, Z1) of a certain joint and the incident angle of reflected light corresponding to the coordinates to the conversion formula, and coordinates (X1, Y1) of the certain joint , Z1) are converted into coordinates (x1, y1, z1) in the world coordinate system.
  • the motion information generation unit 14 Since the correspondence relationship between the coordinates of the distance image coordinate system and the incident angle of the reflected light is known, the motion information generation unit 14 inputs the incident angle corresponding to the coordinates (X1, Y1, Z1) into the conversion equation. can do. Although the case has been described here in which the motion information generation unit 14 converts the coordinates of the distance image coordinate system to the coordinates of the world coordinate system, it is also possible to convert the coordinates of the world coordinate system to the coordinates of the distance coordinate system. is there.
  • FIG. 3 is a diagram illustrating an example of skeleton information generated by the motion information generation unit 14.
  • the skeleton information of each frame includes shooting time information of the frame and coordinates of each joint.
  • the motion information generation unit 14 generates skeleton information in which joint identification information and coordinate information are associated with each other.
  • the shooting time information is not shown.
  • the joint identification information is identification information for identifying a joint and is set in advance.
  • joint identification information “2a” corresponds to the head
  • joint identification information “2b” corresponds to the center of both shoulders.
  • each joint identification information indicates a corresponding joint.
  • the coordinate information indicates the coordinates of each joint in each frame in the world coordinate system.
  • joint identification information “2a” and coordinate information “(x1, y1, z1)” are associated with each other. That is, the skeleton information in FIG. 3 indicates that the head is present at the coordinates (x1, y1, z1) in a certain frame. Also, in the second row of FIG. 3, joint identification information “2b” and coordinate information “(x2, y2, z2)” are associated. That is, the skeleton information in FIG. 3 indicates that the center of both shoulders exists at the position of coordinates (x2, y2, z2) in a certain frame. Similarly, other joints indicate that each joint exists at a position represented by each coordinate in a certain frame.
  • the motion information generation unit 14 performs pattern matching on the distance image information of each frame, and the world coordinate from the distance image coordinate system. By converting into a system, skeleton information of each frame is generated. Then, the motion information generation unit 14 outputs the generated skeleton information of each frame to the motion information processing apparatus 100 and stores it in the later-described motion information storage unit 131.
  • the process of the operation information generation part 14 is not restricted to the method mentioned above.
  • the method in which the motion information generation unit 14 performs pattern matching using a human body pattern has been described, but the embodiment is not limited thereto.
  • a pattern matching method using a pattern for each part may be used instead of the human body pattern or together with the human body pattern.
  • the motion information generation unit 14 may obtain a coordinate of each joint using color image information together with distance image information.
  • the motion information generation unit 14 performs pattern matching between the human body pattern expressed in the color image coordinate system and the color image information, and obtains the coordinates of the human body surface from the color image information.
  • the coordinate system of this color image does not include the “distance Z” information referred to in the distance image coordinate system. Therefore, for example, the motion information generation unit 14 obtains the information of “distance Z” from the distance image information, and obtains the coordinates of the world coordinate system of each joint by calculation processing using these two pieces of information.
  • the motion information generation unit 14 needs the color image information generated by the color image collection unit 11, the distance image information generated by the distance image collection unit 12, and the voice recognition result output by the voice recognition unit 13. Accordingly, the information is appropriately output to the motion information processing apparatus 100 and stored in the motion information storage unit 131 described later.
  • the pixel position of the color image information and the pixel position of the distance image information can be associated in advance according to the positions of the color image collection unit 11 and the distance image collection unit 12 and the shooting direction. For this reason, the pixel position of the color image information and the pixel position of the distance image information can be associated with the world coordinate system calculated by the motion information generation unit 14.
  • the motion information generation unit 14 refers to the speech recognition result and the distance image information, and if there is a joint 2a in the vicinity of the direction in which the speech-recognized word is issued at a certain time, the person including the joint 2a is displayed. It can be output as an emitted word. Furthermore, the motion information generation unit 14 also appropriately outputs information indicating the positional relationship between the joints to the motion information processing apparatus 100 as necessary, and stores the information in the motion information storage unit 131 described later.
  • the motion information generation unit 14 generates one frame of depth image information corresponding to the shooting range, using the depth which is a coordinate value in the z-axis direction of the world coordinate system.
  • the depth image information for one frame includes, for example, shooting time information and information in which each pixel included in the shooting range is associated with a depth corresponding to the pixel.
  • the depth image information is obtained by associating depth information in place of the distance information associated with each pixel of the distance image information, and representing each pixel position in the same distance image coordinate system as the distance image information. be able to.
  • the motion information generation unit 14 outputs the generated depth image information to the motion information processing apparatus 100 and stores it in the motion information storage unit 131. It should be noted that the depth image information may be output as a depth image in which color shades corresponding to the depth of each pixel are arranged in a bitmap.
  • the motion information collection unit 10 may detect the motions of a plurality of subjects. When a plurality of subjects are photographed on the distance image information of the same frame, the motion information collection unit 10 associates the skeleton information of the subjects of the plurality of people generated from the distance image information of the same frame. This is output to the medical information processing apparatus 100 as operation information.
  • the configuration of the operation information collection unit 10 is not limited to the above configuration.
  • the motion information collection unit 10 when motion information is generated by detecting the motion of a person by other motion capture, such as optical, mechanical, magnetic, etc., the motion information collection unit 10 does not necessarily include the distance image collection unit 12. It does not have to be.
  • the motion information collection unit 10 includes, as motion sensors, a marker that is worn on the human body in order to detect a human motion, and a sensor that detects the marker. Then, the motion information collection unit 10 detects motion of a person using a motion sensor and generates motion information.
  • the motion information collecting unit 10 associates the pixel position of the color image information with the coordinates of the motion information using the position of the marker included in the image photographed by the color image collecting unit 11, and if necessary, Output to the motion information processing apparatus 100 as appropriate. Further, for example, the motion information collection unit 10 may not include the speech recognition unit 13 when the speech recognition result is not output to the motion information processing apparatus 100.
  • the motion information collection unit 10 outputs the coordinates of the world coordinate system as the skeleton information, but the embodiment is not limited to this.
  • the motion information collection unit 10 outputs the coordinates of the distance image coordinate system before conversion, and the conversion from the distance image coordinate system to the world coordinate system may be performed on the motion information processing apparatus 100 side as necessary. Good.
  • the motion information processing apparatus 100 uses the motion information output from the motion information collection unit 10 to perform processing for supporting rehabilitation. Specifically, the motion information processing apparatus 100 suppresses erroneous recognition of people other than the target person when assisting rehabilitation using image information including motion information collected by the motion information collection unit 10.
  • the motion information collection unit 10 described above includes In addition to the target person who performs rehabilitation, information other than the target person, such as other persons and objects (for example, chairs and appliances), may be collected. In particular, in a small hospital or clinic (clinic), it is difficult to secure a large space dedicated to rehabilitation, and the motion information collection unit 10 may collect information other than the target person. As a result, the motion information processing apparatus 100 may erroneously recognize information other than the target person as the target person information and execute the process, which may hinder various rehabilitation support processes. Therefore, the motion information processing apparatus 100 according to the present embodiment is configured to be able to suppress erroneous recognition of persons other than the target person.
  • the motion information processing apparatus 100 is an information processing apparatus such as a computer or a workstation, and includes an output unit 110, an input unit 120, a storage unit 130, and a control unit 140, as shown in FIG.
  • the output unit 110 outputs various information for supporting rehabilitation.
  • the output unit 110 outputs various types of information for supporting rehabilitation using movement information of a subject who performs rehabilitation.
  • the output unit 110 outputs various processing results using the motion information of the subject specified by the control unit 140 described later.
  • the output unit 110 displays a GUI (Graphical User Interface) for an operator operating the medical information processing apparatus 100 to input various requests using the input unit 120, or is generated in the motion information processing apparatus 100. Display information or output a warning sound.
  • the output unit 110 is a monitor, a speaker, headphones, a headphone portion of a headset, or the like.
  • the output unit 110 may be a display of a system that is worn on the user's body, such as a glasses-type display or a head-mounted display.
  • the input unit 120 receives input of various information for supporting rehabilitation.
  • the input unit 120 receives input of various types of information for preventing misrecognition of persons other than the target person.
  • the input unit 120 receives various requests from the operator of the motion information processing apparatus 100 (for example, a request for setting a predetermined threshold for determining whether or not the user is a target person, a request for selecting various information, a GUI, An input of a measurement request or the like for executing the measurement is received, and the received various requests are transferred to the medical information processing apparatus 100.
  • the input unit 120 is a mouse, a keyboard, a touch command screen, a trackball, a microphone, a microphone portion of a headset, or the like.
  • the input unit 120 may be a sensor that acquires biological information such as a sphygmomanometer, a heart rate monitor, or a thermometer.
  • the storage unit 130 is, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, a storage device such as a hard disk device or an optical disk device.
  • the control unit 140 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array) or a CPU (Central Processing Unit) executing a predetermined program.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • CPU Central Processing Unit
  • FIG. 4 is a diagram illustrating an example of a detailed configuration of the motion information processing apparatus 100 according to the first embodiment.
  • the storage unit 130 in the motion information processing apparatus 100 will be described.
  • the storage unit 130 includes a motion information storage unit 131.
  • the operation information storage unit 131 stores various types of information collected by the operation information collection unit 10. Specifically, the motion information storage unit 131 includes the motion information generated by the motion information generation unit 14 and the motion information of the subject by the control unit 140 described later among the motion information generated by the motion information generation unit 14. The operation information specified as is stored. More specifically, the motion information storage unit 131 stores the skeleton information for each frame generated by the motion information generation unit 14 in the motion information specified as the motion information of the subject by the control unit 140. Here, it is also possible to store the color image information, the distance image information, and the speech recognition result output by the motion information storage unit 131 and the motion information generation unit 14 in association with each other for each frame. The details of the motion information specified as the motion information of the subject by the control unit 140 and stored in the motion information storage unit 131 will be described later.
  • the control unit 140 includes an acquisition unit 141, a specification unit 142, and a display control unit 143.
  • the acquisition unit 141 acquires a target person who performs a predetermined operation and image information around the target person. Specifically, the acquisition unit 141 acquires the operation information collected by the operation information collection unit 10 and stored by the operation information storage unit 131. For example, the acquisition unit 141 acquires color image information, distance image information, voice recognition results, skeleton information, and the like stored for each frame by the motion information storage unit 131.
  • the motion information collection unit 10 may collect information other than the target person who performs the rehabilitation.
  • the acquisition unit 141 acquires operation information for each frame including the information. That is, when skeleton information other than the target person is collected by the motion information collection unit 10, the acquisition unit 141 acquires motion information including the skeleton information of the target person and the skeleton information other than the target person in each frame.
  • the color image information and the distance image information also include information about the subject and information other than the subject, and the acquisition unit 141 can also acquire such information.
  • FIG. 5 is a diagram illustrating an example of skeleton information acquired by the acquisition unit 141 according to the first embodiment.
  • the motion information collection unit 10 An example in the case of collecting skeleton information for a chair placed is also shown.
  • the motion information collecting unit 10 as shown in FIG. 5, skeleton information including each joint 2a 1 to 2t 1 corresponding to each part of the human body, and each joint (2a 2 , 2d 2 , 2e). 2 , 2i 2 , 2m 2 , 2n 2 , 2o 2 , 2q 2 , 2r 2 , 2s 2 ) are collected and stored in the motion information storage unit 131.
  • the acquisition unit 141 includes two types of skeletal information (skeletal information including each joint 2a 1 to 2t 1) included in each of all frames collected during a series of movements in the subject's walking training, and , it acquires the joints (2a 2, 2d 2, 2e 2, 2i 2, 2m 2, 2n 2, 2o 2, 2q 2, 2r 2, 2s 2)).
  • the acquisition unit 141 can acquire not only the above-described skeleton information but also color image information and distance image information in each frame.
  • the specifying unit 142 specifies the operation information of the target person who performs the predetermined operation based on the predetermined feature in the image information acquired by the acquiring unit 141. Specifically, the specifying unit 142 extracts target person information indicating the target person from the image information acquired by the acquiring unit 141 as a predetermined feature, and performs a predetermined operation based on the extracted target person information. Identify the action information of the subject. For example, the specifying unit 142 extracts information target person information indicating a moving object included in the image information, and specifies action information of a target person who performs a predetermined action based on the extracted target person information.
  • the specifying unit 142 uses an object whose position is changed in a three-dimensional space around the subject in the image information acquired over time acquired by the acquiring unit 141 as a moving object.
  • 6A and 6B are diagrams for explaining an example of processing by the specifying unit 142 according to the first embodiment.
  • 6A and 6B show an example of processing using the motion information collected by the motion information collection unit 10 shown in FIG.
  • the specifying unit 142 reads the “T seconds” frame image and the “T + t seconds” frame image of the motion information collected by the motion information collection unit 10.
  • specification part 142 extracts the moving body (moving person and thing) in the three-dimensional space where movement information was collected from the read image.
  • the specifying unit 142 calculates a difference between a “T second image” that is an image of a T second frame and a “(T + t) second image” that is an image of a (T + t) second frame.
  • a moving object is extracted from the predetermined area, and a predetermined area including the extracted moving object is set as a recognition target area R1 for specifying the action information.
  • the specifying unit 142 includes “T second image” and “(T + t) second image”. By subtracting the depth in each pixel, a pixel whose depth information in the image has changed is extracted.
  • the specifying unit 142 sets the recognition target region R1 by performing region expansion processing such as morphological calculation on the pixels whose depth information has changed.
  • the specifying unit 142 calculates a difference between the “T second image” and the “(T + t) second image”, thereby extracting a pixel corresponding to the moving object in the image. And the specific
  • the embodiment is not limited to this, for example, before the motion information collection unit 10
  • the walking training may be performed so as to cross the road.
  • the recognition target region can be set by extracting the pixel whose depth information has changed by calculating the depth difference in the same manner as in the above-described example.
  • the embodiment is not limited to this, and for example, the case where the pixel value in the color image information is used. May be.
  • a pixel in which the pixel value has changed is extracted. To set the recognition target area.
  • temperature information is collected for each frame by thermography, and a difference in the collected temperature information is calculated between a “T second image” and a “(T + t) second image”, thereby changing the temperature information. It is possible to extract the generated pixels and set the recognition target area.
  • a moving object may be extracted from a difference between images of three frames or more.
  • the depths of “T second image”, “(T + t) second image”, and “(T + 2t) second image” are respectively subtracted, and the depth gradually decreases (or becomes deeper), or
  • a region where the depth changes in one direction with time may be extracted, and the extracted region may be set as a recognition target region.
  • the specifying unit 142 specifies the motion information (skeleton information) included in the recognition target region R1 set by the various methods described above as the motion information (skeleton information) of the subject. Then, the specifying unit 142 stores the specified skeleton information in the motion information storage unit 131 in association with the color image information and the distance image information collected by the motion information collection unit 10.
  • FIG. 7 is a diagram illustrating an example of operation information stored in the operation information storage unit 131 by the specifying unit 142 according to the first embodiment.
  • the specifying unit 142 stores, in the motion information storage unit 131, motion information in which a name number, an implementation date, and motion information are associated with each other.
  • the “name number” is an identifier for uniquely identifying the target person, and is assigned to each name.
  • the “implementation date” indicates the date and time when the subject performed rehabilitation (for example, walking training).
  • “Operation information” indicates information collected by the operation information collection unit 10.
  • the specifying unit 142 displays “name: A, name number: 1, implementation date: 2012020_1, operation information: color image information, distance image information, speech recognition result, skeleton information,.
  • the above-mentioned information includes “1st” walking training conducted on “August 1” of “2012” by a person of “name: A” whose “name number” is “1”. It indicates that operation information including “color image information”, “distance image information”, “voice recognition result”, and “skeleton information” is stored.
  • the specifying unit 142 stores the skeleton information specified as the skeleton information of the subject in association with the skeleton information shown in FIG.
  • the specifying unit 142 performs “color image information”, “distance image information”, “speech recognition result”, and “sound recognition result” for each frame that is captured when the walking training is performed. “Framework information” is stored in association with time in chronological order.
  • the specifying unit 142 displays “name: A, name number: 1, implementation date: 2012020_2, operation information: color image information, distance image information, speech recognition result, skeleton information,.
  • the specifying unit 142 similarly stores the motion information in the “second” walking training performed by the person of “name: A” on “August 1” of “2012”.
  • the skeleton information specified as the skeleton information of the subject is stored in association with each other.
  • the specifying unit 142 also performs “color image information”, “distance image information”, “speech recognition result”, and “skeleton information” for a person with “name: B, name number: 2”. ”Is stored. As described above, the specifying unit 142 stores the walking exercise motion information collected for each subject in association with each subject. Note that the operation information shown in FIG. 7 is merely an example. That is, the specifying unit 142 can further store information other than “color image information”, “distance image information”, “voice recognition result”, and “skeleton information” shown in FIG. When the motion information collection unit 10 does not have the voice recognition unit 13, the operation information collection unit 10 stores the voice recognition result as not included.
  • color image information” and “distance image information” included in the operation information include BIT MAP, JPEG, other binary format image data, or a link to the image data.
  • voice recognition result included in the operation information may be voice data itself or a link to the recognition information or voice data.
  • the display control unit 143 performs control to display a display image in which information indicating the target person is superimposed at a position corresponding to the operation information specified by the specifying unit 142 in the image information. Specifically, the display control unit 143 displays the display image using the operation information stored in the operation information storage unit 131 by the specifying unit 142.
  • FIG. 8 is a diagram illustrating an example of a display image displayed by the display control unit 143 according to the first embodiment. For example, as illustrated in FIG. 8, the display control unit 143 displays a display image in which the point and line indicating the skeletal information specified by the specifying unit 142 are superimposed on the color image information collected by the motion information collecting unit 10. To be displayed on the output unit 110.
  • FIG. 9 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus 100 according to the first embodiment.
  • the acquisition unit 141 acquires the motion information of the subject (step S101).
  • specification part 142 determines whether the misrecognition suppression function for suppressing misrecognizing other than a subject is ON (step S102).
  • the specifying unit 142 acquires “T second image” and “(T + t) second image” and obtains “T second image ⁇ ( "T + t) second image” is calculated (step S103). And the specific
  • the identifying unit 142 identifies motion information (skeleton information) in the extracted recognition target region (step S105), and stores the identified motion information (skeleton information) in the motion information storage unit 131 (step S106). ).
  • step S106 the operation information is stored in the operation information storage unit 131 without being specified by the specifying unit 142 (step S106).
  • the display control unit 143 generates a display image based on the operation information stored in the operation information storage unit 131 and controls the display unit 143 to display the display image (step S107).
  • the recognition target region is extracted when the skeleton information is stored, and the motion information in the extracted recognition target region is specified.
  • the embodiment is not limited to this, and may be executed at an arbitrary timing, for example. For example, it may be executed in real time when the operation information is acquired.
  • the acquisition unit 141 acquires a target person who performs a predetermined operation and image information around the target person.
  • the specifying unit 142 specifies operation information of a subject who performs a predetermined operation based on a predetermined feature in the image information acquired by the acquisition unit 141. Therefore, the motion information processing apparatus 100 according to the first embodiment can specify the motion information of the target person from the information collected by the motion information collection unit 10 and misrecognize other than the target person. It is possible to deter.
  • the motion information processing apparatus 100 can perform accurate rehabilitation support using the motion information (skeleton information) of the subject in the rehabilitation support using the motion information collected by the motion information collection unit 10. To do.
  • the specifying unit 142 extracts target person information indicating the target person from the image information acquired by the acquiring unit 141 as a predetermined feature, and based on the extracted target person information, The operation information of the subject who performs the predetermined operation is specified. Therefore, the motion information processing apparatus 100 according to the first embodiment makes it possible to accurately extract the motion information of the subject included in the information collected by the motion information collection unit 10.
  • the specifying unit 142 extracts information indicating moving objects included in the image information as target person information, and performs a predetermined operation based on the extracted target person information. Specify the operation information. Therefore, the motion information processing apparatus 100 according to the first embodiment makes it possible to easily extract the motion information of the subject from the information collected by the motion information collection unit 10.
  • the specifying unit 142 uses an object whose position is changed in a three-dimensional space around the target person as a moving object in the temporal image information acquired by the acquiring unit 141. Therefore, the motion information processing apparatus 100 according to the first embodiment makes it possible to easily extract moving objects.
  • the display control unit 143 displays a display image in which information indicating the target person is superimposed at a position corresponding to the motion information specified by the specifying unit 142 in the image information. To control. Therefore, the motion information processing apparatus 100 according to the first embodiment makes it possible to provide a display image in which information is accurately superimposed on a target person of a color image.
  • FIG. 10 is a diagram illustrating an example of a detailed configuration of the motion information processing apparatus 100 according to the second embodiment. Compared with the motion information processing apparatus 100 according to the first embodiment shown in FIG. 4, the motion information processing apparatus 100 according to the second embodiment shown in FIG. And the processing by the specifying unit 142 are different. Hereinafter, these will be mainly described.
  • the recognition information storage unit 132 stores recognition information for specifying the skeleton information of the subject among the skeleton information included in the motion information collected by the motion information collection unit 10. Specifically, the recognition information storage unit 132 stores information for identifying skeleton information indicating the skeleton of the human body from the skeleton information included in the motion information.
  • 11A and 11B are diagrams illustrating examples of recognition information stored by the recognition information storage unit 132 according to the second embodiment.
  • the recognition information storage unit 132 stores recognition information in which a part and a range are associated with each other.
  • the “part” shown in FIG. 11A indicates a part in the human body.
  • the “range” illustrated in FIG. 11A indicates a range that can be taken as a skeleton of the human body.
  • the recognition information storage unit 132 stores recognition information “part: height [cm], range: 100 cm ⁇ 200 cm” as shown in FIG. 11A.
  • the above-described information indicates that the skeleton information of “height” of “100 cm-200 cm” is the skeleton information of the human body.
  • the recognition information storage unit 132 stores recognition information “part: arm length [cm], range: 60 cm-80 cm”. As described above, the recognition information storage unit 132 stores the recognition information in which ranges for identifying each part are set for each of various parts of the human body.
  • the recognition information storage unit 132 can also store recognition information in which a part, an average, and a variance are associated with each other.
  • the “part” shown in FIG. 11B indicates a part in the human body.
  • the “average” shown in FIG. 11B indicates an average as a skeleton of the human body of the corresponding part.
  • “dispersion” illustrated in FIG. 11B indicates dispersion from the average of corresponding parts.
  • the recognition information storage unit 132 stores the recognition information “part: shoulder width [cm], average: 60 cm, variance: 1 ⁇ ”.
  • the above-mentioned information means that the “shoulder width” of the human body skeleton is “60 cm” in “average” and the degree of “dispersion (possible range of shoulder width)” is “1 ⁇ ”.
  • the recognition information storage unit 132 “part: length from head to waist [cm], average: 85 cm, variance: 2 ⁇ ” and “part: left arm angle, average: “80 °, variance: 4 ⁇ ” and the like are stored.
  • the recognition information storage unit 132 stores recognition information in which an average and a variance for identifying each part are set for each of various parts of the human body.
  • the examples shown in FIGS. 11A and 11B are merely examples, and the recognition information can be arbitrarily set.
  • the site, range, average, and variance can be arbitrarily set by the operator.
  • the recognition information used as conditions can be used in various combinations.
  • all of the information shown in FIGS. 11A and 11B may be essential, or only the height and arm length may be essential. Alternatively, for example, it may be a case as long as either the shoulder width or the left arm angle is satisfied.
  • the specifying unit 142 extracts information indicating the skeleton of the human body included in the image information as target person information, and performs a predetermined operation based on the extracted target person information. Identify the action information of the target person.
  • the specifying unit 142 uses, as information indicating the skeleton of the human body, a set of joint points along the structure of the human body among the information on the joint points included in the image information.
  • 12A and 12B are diagrams for explaining an example of processing by the specifying unit 142 according to the second embodiment.
  • FIG. 12A shows processing when the recognition information shown in FIG. 11A is used.
  • FIG. 12B shows processing when the recognition information shown in FIG. 11B is used.
  • the specifying unit 142 reads and reads the motion information for one frame collected by the motion information collection unit 10 and stored in the motion information storage unit 131.
  • a process using the recognition information shown in FIG. 11A is performed on the skeleton information included in the motion information.
  • the specifying unit 142 refers to the identification information “part: height [cm], range: 100 cm-200 cm” in FIG. 11A and executes a specifying process using the height information. That is, for example, the specifying unit 142 determines the height “a” from the y-coordinate value of the joint “2a 1 ” corresponding to the head shown in FIG.
  • the specifying unit 142 specifies the skeleton information including the joint “2a 1 ” and the joint “2t 1 ” as the skeleton information of the subject person. .
  • the specifying unit 142 calculates the height “b” from the y coordinate value of the joint “2a 2 ” corresponding to the head shown in FIG. 12A and the y coordinate value of the joint “2s 2 ” corresponding to the ankle of the left foot. To do. Then, when the calculated height “b” is not within the range of “100 cm ⁇ 200 cm”, the specifying unit 142 specifies that the skeleton information including the joint “2a 1 ” and the joint “2t 1 ” is not the skeleton information of the subject person. To do.
  • FIG. 12A although the identification using height was shown, embodiment is not limited to this. That is, it is possible to execute specific processing using ranges for various parts.
  • the embodiment is not limited to this, and for example, it is determined comprehensively using a range of two or more parts, and the target It may be a case where the person's operation information is specified.
  • the medical information processing apparatus 100 can increase the processing speed and perform processing efficiently by calculating the height by the above-described simple method, but the embodiment is limited to this. For example, it is also possible to calculate the height using the three-dimensional coordinates of the joint corresponding to the head and the joint corresponding to the left foot.
  • the motion image processing apparatus 100 can perform more accurate determination.
  • the specifying unit 142 reads and reads the motion information for one frame collected by the motion information collection unit 10 and stored in the motion information storage unit 131. Processing using the recognition information shown in FIG. 11B is performed on the skeleton information included in the motion information.
  • the specifying unit 142 refers to the identification information “part: shoulder width [cm], average: 60 cm, variance: 1 ⁇ ” in FIG. 11B and executes a specifying process using the shoulder width information.
  • the specifying unit 142 calculates “shoulder width: 59 cm” from the x-coordinate value of the joint “2e 1 ” corresponding to the right shoulder and the x-coordinate value of the joint “2i 1 ” corresponding to the left shoulder shown in FIG. To do. Then, the specifying unit 142 refers to the identification information “part: shoulder width [cm], average: 60 cm, variance: 1 ⁇ ” to determine the probability that the calculated “shoulder width: 59 cm” is the shoulder width of the human body. calculate. That is, as illustrated in FIG. 12B, the specifying unit 142 calculates a probability “99.9%” that is the shoulder width of the human body.
  • the shoulder width is calculated using the x-coordinates of the joint corresponding to the right shoulder and the joint corresponding to the left shoulder.
  • the embodiment is not limited to this, and the right shoulder is not limited.
  • the shoulder width may be calculated using the three-dimensional coordinates of the joint corresponding to and the joint corresponding to the left shoulder.
  • the specifying unit 142 may specify the skeleton information of the target person based on the calculated probability “99.9%”, but further calculates the probability as a human skeleton for a plurality of parts.
  • the skeleton information may be specified based on the calculated information. For example, as illustrated in FIG. 12B, the specifying unit 142 calculates “length from head to waist: 100 cm” from the joint “2a 1 ” corresponding to the head and the joint “2d 1 ” corresponding to the waist, Further, “left arm angle: 80 °” is calculated.
  • specification part 142 calculates "probability: 99.8%” of "length from a head to a waist” with reference to recognition information similarly to the case of shoulder width, for example.
  • the specifying unit 142 refers to the recognition information and calculates, for example, “probability: 100%” of the “left arm angle”.
  • specification part 142 performs the specific process of a subject's motion information using the calculated probability.
  • the specifying unit 142 may execute the specifying process by comparing each of three probabilities (shoulder width, length from head to waist, left arm angle) with a threshold, or three It may be a case where the value obtained by multiplying the probability is compared with a threshold value to execute the specific process.
  • the identification unit 142 multiplies “99.7% probability of shoulder width”, “probability of length from head to waist: 99.8%”, and “left arm angle: 100%”.
  • % "Is compared with a predetermined threshold value, and the corresponding skeleton information when the predetermined threshold value is exceeded is specified as the skeleton information of the subject.
  • the predetermined threshold can be arbitrarily set.
  • the corresponding skeleton information when all three exceed the threshold value may be specified as the skeleton information of the target person, or 3
  • the case where the skeleton information corresponding to the case where two of the two exceed the threshold may be specified as the skeleton information of the subject.
  • These threshold values can also be set arbitrarily.
  • the specifying unit 142 performs the same process as the above process on each joint (2a 2 , 2d 2 , 2e 2 , 2i 2 , 2m 2 , 2n 2 , 2o 2 , 2q 2 , 2r 2 , 2s 2 ) in FIG. Execute using the skeletal information included. That is, the specifying unit 142 uses the coordinates of each joint (2a 2 , 2d 2 , 2e 2 , 2i 2 , 2m 2 , 2n 2 , 2o 2 , 2q 2 , 2r 2 , 2s 2 ) to determine the shoulder width and head The length from the waist to the waist is calculated, and the probability as a human skeleton is calculated.
  • the specification unit 142 by comparing with a predetermined threshold value, the joints (2a 2, 2d 2, 2e 2, 2i 2, 2m 2, 2n 2, 2o 2, 2q 2, 2r 2, 2s 2) It is specified whether or not the included skeleton information is the skeleton information of the subject. For example, in the case of the skeleton information “each joint (2a 2 , 2d 2 , 2e 2 , 2i 2 , 2m 2 , 2n 2 , 2o 2 , 2q 2 , 2r 2 , 2s 2 )” shown in FIG. Since it is far from the skeleton, the specifying unit 142 specifies that it is not the skeleton information of the subject.
  • FIG. 13 is a flowchart illustrating a processing procedure performed by the motion information processing apparatus 100 according to the second embodiment.
  • the acquisition unit 141 acquires the motion information of the subject (step S201).
  • the identifying unit 142 determines whether or not the erroneous recognition suppression function is ON in the motion information collected by the motion information collecting unit 10 (step S202).
  • the specifying unit 142 reads the recognition information (Step S203), and specifies the motion information of the subject based on the read recognition information. (Step S204). After that, the specifying unit 142 stores the specified motion information (skeleton information) in the motion information storage unit 131 (step S205).
  • step S202 if the erroneous recognition suppression function is not ON in step S202 (No in step S202), the operation information is stored in the operation information storage unit 131 without being specified by the specifying unit 142 (step S205). Then, the display control unit 143 generates a display image based on the operation information stored in the operation information storage unit 131 and controls the display unit 143 to display the display image (Step S206).
  • the specifying unit 142 extracts information indicating the skeleton of the human body included in the image information as target person information, and performs a predetermined operation based on the extracted target person information.
  • the action information of the target person who implements is specified. Therefore, the motion information processing apparatus 100 according to the second embodiment can extract a person as a moving object, and can further prevent erroneous recognition of persons other than the target person.
  • the specifying unit 142 uses a set of joint points along the structure of the human body as information indicating the skeleton of the human body among the joint point information included in the image information. Therefore, the motion information processing apparatus 100 according to the second embodiment makes it possible to extract a person as a moving object with high accuracy.
  • the specifying unit 142 based on the number of joint points collected as one skeleton information in the joint point information included in the image information, the skeleton information is the skeleton information of the subject. To identify.
  • the skeleton information shown in FIG. 5 will be described as an example.
  • the specifying unit 142 includes skeleton information in which 20 joint points (joints 2a 1 to 2t 1 ) are recognized, and 10 joint points (2a 2 , 2d 2 , 2e 2 , 2i 2 , 2m 2 , 2n 2 , 2o 2 , 2q 2 , 2r 2 , 2s 2 ) are respectively compared with a predetermined threshold value to identify the skeleton information of the subject. For example, when the threshold is the number of joint points “15”, the specifying unit 142 specifies the skeleton information in which 20 joint points (joints 2a 1 to 2t 1 ) are recognized as the skeleton information of the subject.
  • the specifying unit 142 when the probability of recognition of the joint point is output in the motion information collection unit 10, the specifying unit 142 counts the number of joint points having a predetermined certainty and compares it with a threshold value. Then, the specifying unit 142 specifies the skeletal information in which the number of joint points having a predetermined probability exceeds a predetermined threshold value as the skeleton information of the target person, and stores it in the motion information storage unit 131. At this time, the specifying unit 142 can store information on the probability of recognition in association with the joint point of the specified skeleton information.
  • the display control unit 143 according to the third embodiment can generate and display a display image that reflects information on the probability of the joint point.
  • FIG. 14 is a diagram illustrating an example of a display image displayed by the display control unit 143 according to the third embodiment.
  • the display control unit 143 superimposes information indicating a joint point having a certain certainty in recognition of the joint point by a black circle, and superimposing information indicated by a solid line between the black circles,
  • a display image is generated by superimposing information that is indicated by a small white circle and bones connected to the white small circle are indicated by dotted lines To display.
  • the specifying unit 142 specifies the skeleton information of the subject based on the number of recognized joint points. Therefore, the motion information processing apparatus 100 according to the third embodiment makes it possible to specify the skeleton information of the subject by a simple method.
  • the input unit 120 accepts a designation operation for designating a predetermined area in the image information. Specifically, the input unit 120 receives an input operation for designating a recognition target area for recognizing the target person.
  • the specifying unit 142 uses, as a predetermined feature, information included in a predetermined area received by the input unit 120, and performs a predetermined operation from the information included in the predetermined area. Identify the target person's action information. Specifically, the specifying unit 142 specifies the skeleton information included in the recognition target region received by the input unit 120 as the skeleton information of the target person.
  • FIG. 15 is a diagram for explaining an example of processing by the input unit 120 and the specifying unit 142 according to the fourth embodiment.
  • the input unit 120 receives an input operation for designating the recognition target region R2 as shown in FIG. 15B on the image shown in FIG.
  • the specifying unit 142 specifies the skeleton information included in the specified recognition target region R2 as the skeleton information of the subject.
  • the skeleton information of the subject can be reliably identified.
  • the input unit 120 receives a designation operation for designating a predetermined area in the image information.
  • specification part 142 specifies the operation information of the subject who performs predetermined
  • the specifying unit 142 extracts setting items set in advance for the target person as target person information, and based on the extracted target person information, the operation information of the target person who performs a predetermined action is obtained. Identify. Specifically, first, the person who performs rehabilitation wears the thing used as a mark beforehand, and performs rehabilitation. The specifying unit 142 extracts a mark included in the image, sets a recognition target area based on the extracted mark, and specifies the skeleton information in the set recognition target area as the skeleton information of the target person.
  • FIG. 16 is a diagram for explaining an example of processing by the specifying unit 142 according to the fifth embodiment.
  • FIG. 16 shows a case where a predetermined mark is attached to the subject's foot.
  • the subject puts a mark of a predetermined color (for example, red) on the foot and performs walking training.
  • the identifying unit 142 extracts the marks attached to both feet of the subject from the color image information collected by the motion information collecting unit 10.
  • the specifying unit 142 calculates the center point P 1 of the extracted marks of both feet as the center of the lateral width, and sets a predetermined distance from the calculated center point P 1 to the left and right. Determine the width.
  • the specifying unit 142 sets “45 cm” that is three times as the horizontal width of the recognition target region R3. That is, the specifying unit 142 determines to respectively the left and right from the middle point P 1 "22.5cm" and the width of the recognition target region R3. Then, the specifying unit 142 determines from the lower end P 2 of the foot of landmark to the upper end P 3 of the color image information as the vertical width of the recognition target region R3.
  • the specifying unit 142 sets the recognition target region R3 in the color image information, and specifies the skeleton information included in the set recognition target region R3 as the skeleton information of the target person.
  • the mark set in advance for the subject can be set in various ways other than the color.
  • the subject may be wearing a predetermined form.
  • the information on the mark set in advance for the subject is stored in the storage unit 130 in advance, and the specifying unit 142 reads out the mark information stored in the storage unit 130 and extracts the mark included in the color image information. To do.
  • the specifying unit 142 extracts setting items preset for the target person as target person information, and performs a predetermined operation based on the extracted target person information. Identify the target person's action information. Therefore, the motion information processing apparatus 100 according to the fifth embodiment can easily set the recognition target area.
  • FIG. 17 is a diagram for explaining an example of processing by the specifying unit 142 according to the sixth embodiment.
  • the specifying unit 142 acquires the depth of a frame of “T seconds” that is image information (motion information) in a state before rehabilitation is performed as a reference value.
  • the specifying unit 142 acquires the frame depth of “T + t seconds” that is image information (motion information) in a state where rehabilitation is performed.
  • the specifying unit 142 can reduce the processing target by extracting a portion that has changed from the depth of the frame of “T seconds” in the depth of the frame of “T + t seconds”. For example, as shown in FIG. 17, a chair that is included in both images and whose depth information does not change can be ignored.
  • the motion information processing apparatus 100 can be applied not only to walking training but also to other rehabilitation.
  • the specifying unit 142 can specify the skeleton information of the subject who performs the joint working area training.
  • the motion information processing apparatus of the present embodiment can prevent erroneous recognition of persons other than the target person.
  • a person who performs a predetermined operation has been described as a “target person”.
  • a person who is a target of rehabilitation is a “target person”. It will be described as “person”.
  • 18A and 18B show an example of a distance image taken by the distance image collection unit 12.
  • 18A and 18B exemplify a case where the person 18a (target person) performs rehabilitation with assistance from the person 18b (assistant). Specifically, the person 18a (subject) performs walking training with the right arm supported by the left hand of the person 18b (assistant).
  • a distance image expressed by color shading according to the distance is represented by a line drawing.
  • the motion information collection unit 10 captures a distance image including a person 18a (subject) and a person 18b (assistant) as subjects.
  • the motion information is generated from the distance image, as shown in FIG. 18B, the motion information collection unit 10 uses the motion information as the person 18a and the person 18b as one person, not as the target person and the assistant, respectively. Generate. For this reason, when analyzing the motion related to the rehabilitation of the subject using the motion information generated here, it is necessary to designate which person is the subject. In addition, when the motion of the subject is to be analyzed, the motion of the assistant may be erroneously evaluated.
  • the motion information processing apparatus 200 will be described below in order to determine whether or not the digitally recorded person's movement is that of a target person to be rehabilitated. Execute the process.
  • the motion information processing apparatus 200 according to the seventh embodiment may indirectly support the target person assisted by the assistant by analyzing the assistant's action and supporting the assistant. . In such a case, the motion information processing apparatus 200 according to the seventh embodiment determines whether the digitally recorded person's movement is that of the assistant by executing the processing described below. You may do it.
  • FIG. 19 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus 200 according to the seventh embodiment.
  • the storage unit 230 includes a motion information storage unit 231, a subject person motion feature storage unit 232, an assistant person motion feature storage unit 233, and a subject person image feature storage unit. 234, an assistant image feature storage unit 235, and an evaluation information storage unit 236.
  • the operation information storage unit 231 stores various information collected by the operation information collection unit 10.
  • the motion information storage unit 231 stores information in which motion information and color image information are associated with each other regarding a human motion.
  • This motion information is skeleton information for each frame generated by the motion information generation unit 14.
  • the coordinates of each joint in the skeleton information and the pixel positions in the color image information are associated in advance.
  • the shooting time information of the skeleton information and the shooting time information of the color image information are associated in advance.
  • the motion information and the color image information are stored in the motion information storage unit 231 every time the motion information collection unit 10 collects the motion information and the color image information.
  • the motion information storage unit 231 stores motion information for each rehabilitation performed such as walking training and joint range of motion training.
  • a single rehabilitation may involve the actions of multiple people.
  • FIG. 4A when the subject performs walking training with assistance from an assistant, a single walk is performed depending on the combination of the actions of the subject and the assistant. Training will be conducted.
  • the motion information storage unit 231 stores the skeleton information of a plurality of persons generated from the distance image information of the same frame in association with each other and stores it as one motion information. That is, this motion information represents the motions of a plurality of people at the same time.
  • the motion information storage unit 231 stores motion information in association with, for example, shooting start time information at which shooting of a motion is started.
  • the motion information represents the motion of a plurality of persons.
  • the embodiment is not limited to this, and the motion information may represent the motion of one person.
  • the subject person motion feature storage unit 232 stores subject person motion feature information representing the feature of the subject's motion.
  • the subject motion feature storage unit 232 stores information in which motion ID (Identification) is associated with subject motion feature information.
  • the operation ID is identification information for identifying the operation, and is assigned each time an operation is defined by the designer of the operation information processing apparatus 200.
  • the subject person motion feature information is information representing the feature of the subject's motion, and is defined in advance by the designer of the motion information processing apparatus 200, for example.
  • FIG. 20 is a diagram illustrating an example of information stored in the target person action feature storage unit 232.
  • the action ID “11” is associated with the target person action feature information “dragging”.
  • the subject person motion feature storage unit 232 stores, as one motion feature of the subject person, “being dragged” as the motion having the motion ID “11”.
  • This subject motion feature information “tracing a foot” is, for example, whether or not the maximum amount of change in the y coordinate of the root (joint 2p or joint 2t) during the motion is less than 1 cm. It is determined accordingly.
  • the second record in FIG. 20 is associated with the action ID “12” and the target person action feature information “walking posture is not good”.
  • the subject person motion feature storage unit 232 stores, as one motion feature of the subject, “the walking posture is not good” as the motion with the motion ID “12”.
  • This target person motion feature information “Walking posture is not good” is, for example, an average value of angles formed by the spine (line segment connecting the joint 2b and the joint 2c) and the vertical direction during the motion. It is determined according to whether it is 3 ° or more.
  • the third record in FIG. 20 is associated with the action ID “13” and the target person action feature information “walking speed is slow”.
  • the subject motion feature storage unit 232 stores, as one motion feature of the subject, “slow walking speed” as the motion with motion ID “13”.
  • This subject motion feature information “walking speed is slow” depends on, for example, whether the maximum value of the moving speed of the waist (joint 2c) during the motion is less than 1 [m / sec]. Is determined.
  • the target person action feature storage unit 232 stores the action ID and the target person action feature information in association with each other.
  • the subject motion feature storage unit 232 used when walking training is performed is illustrated, but the embodiment is not limited to this, for example, when joint range of motion training is performed
  • the subject motion feature storage unit 232 storing the motion features of the subject performing the range of motion training may be used.
  • the assistant operation feature storage unit 233 stores assistant operation feature information representing the feature of the assistant's operation.
  • the assistant operation feature storage unit 233 stores information in which the operation ID is associated with the assistant operation feature information.
  • This assistant operation characteristic is information representing the operation characteristic of the assistant, and is defined in advance by the designer of the operation information processing apparatus 200.
  • FIG. 21 is a diagram illustrating an example of information stored in the assistant operation feature storage unit 233.
  • the first record in FIG. 21 is associated with the action ID “21” and the assistant action feature information “supporting the arm”. That is, the assistant operation feature storage unit 233 stores “supporting the arm” as one of the features of the operation of the subject as the operation of the operation ID “21”. For example, the person's hand (joint 2h or joint 2l) is moved to another person's arm (joint 2e and joint) for a predetermined time during the movement. 2f or a line segment connecting the joint 2i and the joint 2j) is determined according to whether the distance is within 5 cm.
  • the action ID “22” is associated with the assistant action feature information “walking posture is good”.
  • the assistant operation feature storage unit 233 stores “the walking posture is good” as one of the features of the assistant's operation as the operation of the operation ID “22”.
  • This assistant operation feature information “walking posture is good” is, for example, that the average value of the angle formed by the spine (line segment connecting the joint 2b and the joint 2c) and the vertical direction during the operation is 3 It is determined depending on whether it is less than °.
  • the third record in FIG. 21 is associated with the action ID “23” and the assistant action feature information “walking speed is fast”.
  • the assistant operation feature storage unit 233 stores, as one operation feature of the assistant, “the walking speed is fast” as the operation of the operation ID “23”.
  • This subject motion feature information “walking speed is fast” depends on, for example, whether the maximum value of the moving speed of the hip (joint 2c) during the motion is 1 [m / sec] or more. Is determined.
  • the assistant operation feature storage unit 233 stores the operation ID and the subject operation feature information in association with each other.
  • storage part 233 used when walking training is performed was illustrated here, embodiment is not limited to this, For example, when joint range of motion training is performed Further, an assistant operation feature storage unit 233 in which the features of the operation of the subject who performs joint range of motion training are stored may be used. In addition, the assistant operation feature storage unit 233 may store the features of the motion of the subject performing the walking training and the features of the motion of the subject performing the range of motion training without distinction.
  • the subject image feature storage unit 234 stores subject feature information representing the subject's physical features or the features of the subject's appendages.
  • the target person image feature storage unit 234 stores target person image feature information representing the characteristics of the target person's image.
  • the subject person image feature storage unit 234 stores information in which the appliance ID is associated with the subject person appliance feature information.
  • the appliance ID is identification information for identifying the appliance, and is assigned each time the appliance is defined by the designer of the motion information processing apparatus 200.
  • the subject person appliance feature information is information representing the feature of the subject person's appliance, and is, for example, image information of an appliance that can be used for pattern matching.
  • the subject person appliance feature information is defined in advance by the designer of the motion information processing apparatus 200.
  • the subject person image feature storage unit 234 is an example of the subject person feature storage unit.
  • FIG. 22 is a diagram illustrating an example of information stored in the target person image feature storage unit 234.
  • the first record in FIG. 22 is associated with the appliance ID “11” and the subject person appliance feature information “crutch”.
  • the subject person image feature storage unit 234 stores the image information of “crutch” as one of the features of the subject's image as an instrument having the instrument ID “11”.
  • the second record in FIG. 22 is associated with the appliance ID “12” and the target person appliance feature information “Gypse”. That is, the target person image feature storage unit 234 stores the image information of “Gypsum” as one of the features of the target person's image as an instrument having the instrument ID “12”.
  • the subject person image feature storage unit 234 stores the image information of “wheelchair” as one of the features of the subject's image as the appliance having the appliance ID “13”.
  • storage part 234 used when walking training is performed was illustrated here, embodiment is not limited to this, For example, when joint range of motion training is performed
  • the subject image feature storage unit 234 in which the features of the instrument of the subject who performs joint range of motion training are stored may be used.
  • the assistant image feature storage unit 235 stores assistant feature information representing the physical characteristics of the assistant or the features of the assistant's invariants.
  • the assistant image feature storage unit 235 stores assistant image feature information representing the feature of the assistant's image.
  • the assistant image feature storage unit 235 stores information in which the appliance ID is associated with the assistant appliance feature information.
  • the assistant device feature information is information representing the feature of the assistant's device, for example, image information of the device that can be used for pattern matching.
  • the assistant device feature information is defined in advance by the designer of the motion information processing apparatus 200.
  • the assistant image feature storage unit 234 is an example of an assistant feature storage unit.
  • FIG. 23 is a diagram illustrating an example of information stored in the assistant image feature storage unit 235.
  • the first record in FIG. 23 is associated with the device ID “21” and the assistant device characteristic information “stethoscope”. That is, the assistant image feature storage unit 235 stores the image information of the “stethoscope” as one of the features of the assistant's image as the appliance with the appliance ID “21”.
  • the second record in FIG. 23 is associated with the appliance ID “22” and the assistant appliance feature information “white robe”. That is, the assistant image feature storage unit 235 stores the image information of “white robe” as one of the features of the assistant's image as the appliance with the appliance ID “22”.
  • the third record in FIG. 23 is associated with the appliance ID “23” and the assistant appliance feature information “name plate”. That is, the assistant image feature storage unit 235 stores the image information of the “name plate” as one of the features of the assistant's image as the appliance with the appliance ID “23”.
  • the evaluation information storage unit 236 stores information in which evaluation information and a determination result are associated with each target person.
  • the evaluation information is information for evaluating the movement of a person in rehabilitation.
  • the evaluation information is the walking posture, walking speed, etc. of the subject and the assistant.
  • This evaluation information is generated by the generation unit 242 described later.
  • the determination result is a result determined by a determination unit 243 described later, and for example, any one of a target person, an assistant, and a determination impossible is stored.
  • control unit 240 includes an acquisition unit 241, a generation unit 242, a determination unit 243, and a storage unit 244.
  • the acquisition unit 241 acquires operation information to be evaluated. For example, when the input unit 120 receives an input indicating that the operation information to be evaluated is specified from the input unit 120, the acquisition unit 241 acquires the specified operation information and the corresponding color image information from the operation information storage unit 231.
  • the acquisition unit 241 when the acquisition unit 241 receives designation of shooting start time information of operation information to be evaluated, the acquisition unit 241 acquires the operation information and color image information associated with the operation information from the operation information storage unit 231.
  • this motion information may include skeleton information of a plurality of persons generated from distance image information of the same frame or may include skeleton information of one person.
  • the generation unit 242 generates evaluation information for evaluating rehabilitation from the motion information acquired by the acquisition unit 241. For example, the generation unit 242 calculates the walking posture and walking speed of the target person and the assistant as the evaluation information.
  • the generation unit 242 includes the skeleton information of each person. Generate evaluation information for.
  • the generation unit 242 outputs the generated evaluation information to the storage unit 244.
  • FIG. 24 is a diagram for explaining the processing of the generation unit 242.
  • FIG. 24 illustrates a case where the walking posture and the walking speed are calculated for each of the person 18a and the person 18b based on the motion information collected in the walking training of FIG. 18A.
  • the generation unit 242 extracts the coordinates of the joint 2b and the coordinates of the joint 2c of the person 18a of each frame from the motion information acquired by the acquisition unit 241. Then, the generation unit 242 considers the line segment connecting the extracted joint 2b and the joint 2c as the spine of the person 18a, and obtains an angle 24a formed by the spine and the vertical direction for each frame.
  • generation part 242 calculates the average value of the corner
  • the generation unit 242 also calculates a walking posture for the person 18b as in the case of the person 18a.
  • the generation unit 242 obtains a movement distance [m] that the coordinates of the joint 2c corresponding to the waist of the person 18a have moved every predetermined time (for example, 0.5 seconds). Then, the generation unit 242 calculates the moving speed [m / sec] of the person 18a every predetermined time based on the moving distance per predetermined time. And the production
  • the generation unit 242 may select and calculate other evaluation information as appropriate according to the content of rehabilitation function training and the situation of the subject.
  • the determination unit 243 determines whether or not the person corresponding to the motion information acquired by the acquisition unit 241 is the target person, using information representing the characteristics of the target person who is the target of rehabilitation. For example, the determination unit 243 refers to the target person motion feature information stored in the target person motion feature storage unit 232 as information representing the target person's characteristics, and a person corresponding to the motion information acquired by the acquisition unit 241 is obtained. It is determined whether or not it is a target person.
  • the determination unit 243 determines whether or not the person corresponding to the operation information acquired by the acquisition unit 241 is a target person. Further, the determination unit 243 determines whether or not the person corresponding to the motion information acquired by the acquisition unit 241 is an assistant. When the motion information acquired by the acquisition unit 241 includes skeleton information of a plurality of persons generated from distance image information of the same frame, the determination unit 243 determines the skeleton information of each person. On the other hand, it is determined whether or not the subject is a subject person or an assistant. The determination unit 243 outputs the determined result to the storage unit 244. Hereinafter, the processing of the determination unit 243 will be specifically described.
  • the determination unit 243 selects one unprocessed record from the records in the subject person motion feature storage unit 232 and the subject person image feature storage unit 234. Then, the determination unit 243 determines whether or not the acquired operation information and color image information satisfy the condition of the selected record.
  • the determination unit 243 determines whether or not the motion information acquired by the acquisition unit 241 corresponds to the subject motion feature information “dragging”. That is, the determination unit 243 extracts the y coordinate of the foot (joint 2p or joint 2t) from each frame included in the acquired motion information. Then, the determination unit 243 calculates the difference between the maximum value and the minimum value among the extracted y coordinates as the maximum change amount. Then, when the calculated maximum change amount is less than 1 cm, the determination unit 243 determines that the acquired motion information corresponds to the subject motion feature information, that is, drags a foot.
  • the determination unit 243 determines whether the motion information acquired by the acquisition unit 241 corresponds to the target person motion feature information “walking posture is not good”.
  • the determination unit 243 acquires the walking posture of the person included in the acquired motion information from the generation unit 242. Then, when the acquired walking posture is 3 ° or more, the determining unit 243 determines that the acquired motion information corresponds to the target person motion feature information, that is, the walking posture is not good.
  • the determination unit 243 may perform the same processing as the processing described in the generation unit 242 to calculate the walking posture.
  • the determination unit 243 determines whether the motion information acquired by the acquisition unit 241 corresponds to the target person motion feature information “walking speed is slow”.
  • the determination unit 243 determines that the person included in the acquired motion information moves at a predetermined time (for example, 0.5 seconds) [m / Sec] is acquired from the generation unit 242.
  • the determination unit 243 corresponds to the subject movement feature information, that is, the walking speed is the walking speed. Determined to be slow.
  • the determination unit 243 may calculate the walking speed by performing the same process as that described in the generation unit 242.
  • the determination unit 243 performs pattern matching between the color image information acquired by the acquisition unit 241 and the subject person's appliance feature information “crutch”.
  • the determination unit 243 determines whether or not the extracted pixel position of the crutch overlaps the coordinates of the skeleton information included in the motion information to be evaluated. To do.
  • the determination unit 243 determines that the acquired color image information corresponds to the subject person device feature information, that is, has crutches. Similarly, the determination unit 243 determines whether or not the acquired color image information corresponds to the subject person appliance feature information for other records.
  • the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record. When it is determined that the record corresponds to the selected record, the determination unit 243 increments the possession target person feature number n by 1.
  • the possession target person feature number n represents the number of features as the target person possessed by the person corresponding to the motion information to be evaluated.
  • the determination unit 243 determines whether or not the acquired operation information and color image information correspond to the record for other unprocessed records. When the possession target person feature number n reaches 5, the determination unit 243 determines that the person corresponding to the operation information to be evaluated is the target person.
  • the evaluation unit 243 determines all the records in the subject motion feature storage unit 232 and the subject image feature storage unit 234, if the possessed subject feature number n does not reach 5, the evaluation unit It is determined that the person corresponding to the operation information is not the target person.
  • the threshold value of the possessed target person feature number n for determining whether or not the target person is “5” is illustrated here, the embodiment is not limited thereto, and this threshold value is An arbitrary value may be set by the operator. Further, here, a case has been described where the number n of retained target person features is incremented by 1 when corresponding to each record, but the embodiment is not limited to this, and for example, weighting may be performed for each record. good.
  • the determination unit 243 selects one unprocessed record from the records in the assistant operation feature storage unit 233 and the assistant image feature storage unit 235.
  • the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record.
  • the determination unit 243 determines whether or not the motion information acquired by the acquisition unit 241 corresponds to the assistant motion feature information “supporting the arm”. That is, the determination unit 243 acquires the coordinates of the hand (joint 2h or joint 2l) from each frame included in the acquired motion information. Then, the determination unit 243 determines the arm of another person (a line segment connecting the joint 2e and the joint 2f or the joint 2i and the joint within 5 cm from the acquired hand for a predetermined time while the walking training is performed. 2j), it is determined that the acquired motion information corresponds to the assistant motion feature information, that is, the arm is supported.
  • the determination unit 243 determines whether the motion information acquired by the acquisition unit 241 corresponds to the assistant motion feature information “walking posture is good”.
  • the determination unit 243 acquires the walking posture of the person included in the acquired motion information from the generation unit 242. Then, when the acquired walking posture is less than 3 °, the determining unit 243 determines that the acquired motion information corresponds to the subject motion feature information, that is, the walking posture is good.
  • the determination unit 243 may perform the same processing as the processing described in the generation unit 242 to calculate the walking posture.
  • the determination unit 243 determines whether or not the motion information acquired by the acquisition unit 241 corresponds to the assistant motion feature information “walking speed is fast”.
  • the determination unit 243 determines that the person included in the acquired motion information moves at a predetermined time (for example, 0.5 seconds) [m / Sec] is acquired from the generation unit 242.
  • the maximum moving speed is 1 [m / sec] or more among the acquired moving speeds
  • the determination unit 243 corresponds to the target person movement feature information, that is, the walking speed is the walking speed.
  • the determination unit 243 may calculate the walking speed by performing the same process as that described in the generation unit 242.
  • the determination unit 143 performs pattern matching between the color image information acquired by the acquisition unit 241 and the assistant instrument feature information “stethoscope”.
  • the determination unit 243 determines whether or not the extracted pixel position of the stethoscope overlaps the coordinates of the skeleton information included in the operation information to be evaluated. Determine.
  • the determination unit 243 determines that the acquired color image information corresponds to the assistant device feature information, that is, has a stethoscope. Similarly, the determination unit 243 determines whether or not the acquired color image information corresponds to the assistant device feature information for other records.
  • the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record. If it is determined that the record corresponds to the selected record, the determination unit 243 increments the possessed assistant feature number m by 1.
  • the possessed assistant feature number m represents the number of features as an assistant possessed by a person corresponding to the motion information to be evaluated.
  • the determination unit 243 determines whether or not the acquired operation information and color image information correspond to the record for other unprocessed records. And the determination part 143 will determine with the person corresponding to the operation
  • the determination unit 143 determines all the records in the assistant operation feature storage unit 233 and the assistant image feature storage unit 235, if the possessed assistant feature number m does not reach 5, the evaluation unit 143 It is determined that the person corresponding to the operation information is not an assistant.
  • the threshold value of the retained assistant feature number n for determining whether or not the assistant is “5” is illustrated here, the embodiment is not limited thereto, and this threshold value is An arbitrary value may be set by the operator. Further, here, a case has been described in which the retained assistant feature number n is incremented by 1 when corresponding to each record, but the embodiment is not limited to this. For example, even if weighting is performed for each record good.
  • the determination unit 243 determines whether or not the person corresponding to the operation information to be evaluated is the target person or the helper, and the determination result is sent to the storage unit 244. Output. Note that if the determination unit 243 determines that the person corresponding to the motion information to be evaluated is neither the target person nor the assistant, the determination unit 243 outputs a determination result indicating that determination is impossible to the storage unit 244.
  • the storage unit 244 outputs the determination result determined by the determination unit 243.
  • the storage unit 244 associates the evaluation information generated by the generation unit 142 with the determination result determined by the determination unit 243, and stores it in the evaluation information storage unit 236.
  • the storage unit 244 is an example of an output control unit.
  • the storage unit 244 causes the output unit 110 to display a screen for confirming the determination result determined by the determination unit 243. Then, when the displayed determination result is confirmed, the storage unit 244 associates the determination result with the evaluation information generated by the generation unit 242 and stores it in the evaluation information storage unit 236.
  • FIG. 25 shows an example of a display screen displayed by the storage unit 244.
  • a case where the person corresponding to the operation information to be evaluated is the person 18a in FIG. 18A is illustrated. Further, for the person 18a, the case where the evaluation information “walking posture is 15 °” is output by the generation unit 242 and the determination result “target person” is output by the determination unit 243 is illustrated.
  • the storage unit 244 has a question message “Person 18a is determined to be a target person. Is it correct?” And a “Yes / No” selection button for answering the question message. Are displayed on the output unit 210.
  • the storage unit 244 associates the operation information to be evaluated, the determination result “target person”, and the evaluation information “walking posture is 15 °” to evaluate The information is stored in the information storage unit 236. Further, for example, as shown in FIG. 25, the storage unit 244 may enter evaluation information “body inclination: 15 °” in the free description column of the rehabilitation chart.
  • the storage unit 244 may store the evaluation information storage unit 236 without confirming the determination result.
  • FIG. 26 shows an example of a display screen displayed by the storage unit 244.
  • FIG. 26 is an example of a display screen displayed under the same conditions as FIG. 25, and further shows a case where the evaluation information “walking posture is 3 °” of the person 18b is output.
  • the storage unit 244 displays evaluation information “ ⁇ body inclination> 18a: 15 °, 18b: 3 °” for the person 18a and the person 18b. Then, the storage unit 244 stores the operation information to be evaluated, the determination result “target person”, and the evaluation information “walking posture is 15 °” in association with each other in the evaluation information storage unit 236. Further, for example, as shown in FIG. 26, the storage unit 244 may display the evaluation information “body inclination: 15 °” in the free description column of the rehabilitation chart.
  • the storage unit 244 outputs the determination result to the evaluation information storage unit 236 to store the evaluation determination result in the evaluation information storage unit 236, or outputs the determination result to the output unit 110, thereby determining The result is displayed on the output unit 110.
  • the storage unit 244 outputs the determination result is not limited to the above example.
  • the storage unit 244 may output the determination result to another information processing apparatus or an external storage device.
  • FIG. 27 is a flowchart for explaining an example of a processing procedure of the motion information processing apparatus 200 according to the first embodiment.
  • the acquisition unit 241 acquires the operation information to be evaluated and the color image information associated with the operation information. (Step S302). The acquisition unit 241 is in a standby state until operation information to be evaluated is specified (No at Step S301).
  • the determination unit 243 executes a determination process for determining whether or not the person corresponding to the motion information acquired by the acquisition unit 241 is a target person or an assistant (step S304).
  • FIG. 28 is a flowchart for explaining an example of a processing procedure of determination processing in the determination unit 243 according to the first embodiment.
  • the determination unit 243 selects one unprocessed record from the target person action feature storage unit 232 and the target person image feature storage unit 234 (step S401). Then, the determination unit 243 determines whether or not the acquired operation information and color image information correspond to the selected record (step S402). When it corresponds (Yes at Step S402), the determination unit 243 increments the possession target person feature number n by 1 (Step S403). Then, the determination unit 243 determines whether or not the possessed person feature number n has reached 5 (step S404). When the possessed target person feature number n reaches 5 (Yes at Step S404), the determination unit 243 determines that the person corresponding to the motion information acquired by the acquisition unit 241 is the target person (Step S405). .
  • the determination unit 243 determines that the determination unit 243 stores the target person action feature storage unit 232 and the target person image feature storage unit 234. Then, it is determined whether or not there is an unprocessed record (step S406). If there is an unprocessed record (Yes at Step S406), the determination unit 243 proceeds to the process at Step S401.
  • the determination unit 243 selects one unprocessed record from the assistant operation feature storage unit 233 and the assistant image feature storage unit 235 (Step S406). S407). Then, the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record (step S408). If applicable (Yes at Step S408), the determination unit 243 increments the retained assistant feature number m by 1 (Step S409). Then, the determination unit 243 determines whether the possessed assistant feature number m has reached 5 (step S410). When the possessed assistant feature number m reaches 5 (Yes at Step S410), the determination unit 243 determines that the person corresponding to the motion information acquired by the acquisition unit 241 is an assistant (Step S411). .
  • the determination unit 243 stores the determination unit 243 in the assistant operation feature storage unit 233 and the assistant image feature storage unit 235. It is then determined whether there is an unprocessed record (step S412). If there is an unprocessed record (Yes at Step S412), the determination unit 243 proceeds to the process at Step S407.
  • the determination unit 243 determines that the person corresponding to the motion information acquired by the acquisition unit 241 cannot be determined (Step S413).
  • the storage unit 244 causes the output unit 110 to display a confirmation screen for confirming whether the determination result is correct (step S305). Then, when the input unit 120 receives an input indicating that the determination result is correct (Yes in step S306), the storage unit 244 stores the evaluation information generated by the generation unit 242 in the evaluation information storage unit 236 together with the determination result ( Step S307).
  • the storage unit 244 waits until the input unit 120 accepts a correction instruction input (No at Step S308).
  • the storage unit 244 stores the evaluation information in the evaluation information storage unit 236 according to the correction instruction (Step S309), and ends the process.
  • step S303 which is the process of generating evaluation information
  • step S304 which executes the determination process
  • the process of step S303 is executed after the process of step S304 is executed. Also good.
  • step S401 to step S406 that is a process for determining whether or not the person is a subject
  • the process from step S407 to step S412 that is a process for determining whether or not the person is an assistant are described above.
  • the order is not limited. That is, after the processing from step S407 to step S412 is executed, the processing from step S401 to step S406 may be executed.
  • the motion information processing apparatus 200 stores the target person motion feature information that represents the motion characteristics of the target subject to be rehabilitated. Then, the motion information processing apparatus 200 acquires motion information representing a human motion. Then, the motion information processing apparatus 200 determines whether or not the person corresponding to the acquired motion information is the target person using the target person motion feature information. For this reason, the motion information processing apparatus 200 according to the seventh embodiment can determine whether or not the digitally recorded person's movement is that of a target person to be rehabilitated.
  • FIG. 29 is a diagram for explaining the effect of the motion information processing apparatus 200 according to the seventh embodiment.
  • the motion information processing apparatus 200 acquires motion information of the person 18a and the person 18b who perform rehabilitation based on the distance image 29a photographed by the motion information collection unit 10. Then, the motion information processing apparatus 200 uses the acquired motion information to determine whether the person corresponding to the motion information is a target person or an assistant.
  • the motion information processing apparatus 200 displays the determination result on the display screen 29b, and stores the determination result and evaluation information based on the operation information in the evaluation information storage unit 236. Therefore, for example, the motion information processing apparatus 200 can evaluate the motion information of the target person.
  • the motion information processing apparatus 200 stores the assistant operation feature information representing the feature of the assistant who assists the subject. Then, the motion information processing apparatus 200 determines whether or not the person corresponding to the acquired motion information is a helper using the helper motion feature information. Therefore, the motion information processing apparatus 200 according to the first embodiment can determine whether or not the person's digitally recorded movement is that of an assistant.
  • the motion information processing apparatus 200 displays a screen for confirming the determination result on a predetermined display unit, and when the determination result is confirmed, the determination result is associated with the generated evaluation information. Stored in a predetermined storage unit. For this reason, the motion information processing apparatus 200 can prevent, for example, erroneously evaluating a person to be evaluated.
  • the motion information processing apparatus 200 stores target person image feature information representing the characteristics of the target person's image. Then, the motion information processing apparatus 200 acquires a person image in which a person is photographed. Then, the motion information processing apparatus 200 determines whether the person corresponding to the acquired person image is the target person using the target person image feature information. Therefore, it is possible to determine whether or not the movement of the person recorded digitally belongs to the subject.
  • the motion information processing apparatus 200 stores the assistant image feature information representing the feature of the assistant's image. Then, the motion information processing apparatus 200 acquires a person image in which a person is photographed. Then, the motion information processing apparatus 200 determines whether or not the person corresponding to the acquired person image is an assistant using the assistant image characteristic information. Therefore, it is possible to determine whether or not the movement of the person recorded digitally belongs to the assistant.
  • the motion information processing apparatus 200 may determine whether or not the subject is a subject using personal information of the subject. Therefore, in the second embodiment, a case will be described in which the motion information processing apparatus 200 determines whether or not it is a target person using personal information of the target person.
  • FIG. 30 is a block diagram illustrating a configuration example of the motion information processing apparatus 200 according to the eighth embodiment.
  • the motion information processing apparatus 200 according to the eighth embodiment has the same configuration as the motion information processing apparatus 200 illustrated in FIG. 19, and the storage unit 230 includes the personal information storage unit 237 and the personal information storage unit 237. The difference is that it further includes a feature information storage unit 238 and the control unit 240 further includes an extraction unit 245.
  • the eighth embodiment points different from the seventh embodiment will be mainly described, and the same functions as those of the configuration described in the seventh embodiment are the same as those in FIG. Reference numerals are assigned and description is omitted.
  • the storage unit 230 may not include the subject image feature storage unit 234 and the assistant image feature storage unit 235.
  • the personal information storage unit 237 stores identification information for identifying the subject and personal information in association with each other.
  • the subject ID is information for identifying the subject, for example, a patient number for identifying a patient in a medical institution.
  • the personal information is information specific to the individual of the corresponding subject, and includes, for example, information such as height, chest circumference, and waist circumference.
  • the information stored in the personal information storage unit 237 is information acquired from, for example, a medical information system or a personal health information record (PHR), and only the physical characteristics of the target person. Instead, the name of the disease, the history of hospital visits, etc. may be stored.
  • PHR personal health information record
  • the personal feature information storage unit 238 stores a personal feature ID and personal feature information.
  • the personal feature ID is information for identifying a feature that can be used to identify an individual, and every time a record in the personal feature information storage unit 238 is registered by the designer of the motion information processing apparatus 200. Numbered.
  • the personal characteristic information indicates items of personal information that can be used when determining whether or not the person is a target person using the personal information, and is defined in advance by the designer of the motion information processing apparatus 200, for example.
  • the information stored in the personal feature information storage unit 238 may be acquired from, for example, a medical information system, a personal health information record (PHR), or the like.
  • FIG. 31 is a diagram illustrating an example of information stored in the personal feature information storage unit 238.
  • personal feature ID “001” and personal feature information “Height is () cm” are stored.
  • the personal feature information storage unit 238 uses “personal height ID” as the item of personal information that can be used when determining whether or not the subject is a personal person using the personal information.
  • 001 personal characteristic information.
  • This personal characteristic information “Height is () cm” is used for determination after obtaining the height information of the subject from the personal information storage unit 237.
  • the second record in FIG. 31 stores personal feature ID “002” and personal feature information “chest measurement is () cm”.
  • the personal feature information storage unit 238 uses “personal chest ID is“ (cm) ”as an item of personal information that can be used when determining whether or not the subject is a target person using the personal information. 002 "as personal characteristic information.
  • the third record in FIG. 31 stores personal feature ID “003” and personal feature information “Abdominal circumference is () cm”. That is, the personal feature information storage unit 238 uses “personal abdominal girth (()) cm” as the personal feature ID “ 003 "personal characteristic information. Similarly, the personal feature information storage unit 238 stores items of personal information that can be used when determining whether or not the subject is a target person using the personal information.
  • the extraction unit 245 receives identification information for identifying the target person, and extracts personal information corresponding to the received identification information from the personal information storage unit 237. As an example, the extraction unit 245 acquires the physical characteristics of the subject from information recorded in the subject's electronic medical record.
  • the extraction unit 245 accepts the subject ID from the input unit 120.
  • the extraction unit 245 extracts personal information corresponding to the personal feature information of each record in the personal feature information storage unit 238 from the personal information storage unit 237 using the received subject ID.
  • the extraction unit 245 refers to the personal information storage unit 237 and extracts, for example, “height 170 cm” as the personal information corresponding to the received subject ID.
  • the height extracted here is used when the determination unit 243 determines whether or not the subject is a target by using the first record “height is () cm” in the personal characteristic information storage unit 238.
  • the extraction unit 245 uses the received target person ID to retrieve personal information corresponding to each record of the personal feature information storage unit 238 from the personal information storage unit 237. Extract.
  • FIG. 32 is a flowchart for explaining an example of a processing procedure of the motion information processing apparatus 200 according to the eighth embodiment.
  • the input unit 120 receives an input of the target person ID of the target person who performs the rehabilitation from the operator.
  • step S501 to step S503 is the same as the processing from step S301 to step S303 shown in FIG. The description is omitted.
  • the extraction unit 245 receives the target person ID of the target person who performs rehabilitation from the input unit 120 (step S504). Then, the extraction unit 245 extracts personal information corresponding to the received target person ID from the personal information storage unit 237 (step S505).
  • the determination unit 243 executes determination processing for determining whether or not the person corresponding to the motion information acquired by the acquisition unit 241 is a target person or an assistant (step S506). Note that the determination unit 243 basically executes the determination process according to the processing procedure shown in FIG. 14, but the point of determination using the personal feature information storage unit 238 is different. 28 will be described.
  • step S401 the determination unit 243 selects one unprocessed record from the target person action feature storage unit 232 and the personal feature information storage unit 238. Note that when the motion information processing apparatus 200 according to the eighth embodiment includes the target person image feature storage unit 234, an unprocessed record may be selected from the target person image feature storage unit 234.
  • the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record.
  • the determination unit 243 performs determination using the personal information extracted by the extraction unit 245. For example, when the first record in FIG. 31 is selected, the determination unit 243 acquires the personal feature information “Height is () cm” from the personal feature information storage unit 238. Subsequently, the determination unit 243 acquires the personal information “height 170 cm” extracted by the extraction unit 245 as personal information corresponding to the personal characteristic information “height is () cm”.
  • the determination unit 243 combines the acquired personal characteristic information “height is () cm” and personal information “height 170 cm” to generate the condition “height is 170 cm”. Then, the determination unit 243 determines whether the motion information and color image information acquired by the acquisition unit 241 correspond to the generated condition “height is 170 cm”. Specifically, the determination unit 243 determines the height from the skeleton information included in the motion information, and determines whether or not the value is close to 170 cm.
  • the determination part 243 performs the process after step S403.
  • the process after step S403 is the same as the content demonstrated in 7th Embodiment, description is abbreviate
  • the motion information processing apparatus 200 performs the processing after step S507. Note that the processing from step S507 to step S511 in FIG. 32 is the same as the processing from step S305 to step S309 in FIG.
  • step S503 which is a process for generating evaluation information, may be executed after the process of step 505 for extracting personal information is executed.
  • the motion information processing apparatus 200 includes the personal information storage unit 237 that stores the identification information for identifying the target person and the personal information of the target person in association with each other. Have.
  • the motion information processing apparatus 200 receives the identification information and extracts personal information corresponding to the received identification information from the personal information storage unit 237. Then, the motion information processing apparatus 200 refers to the personal information extracted by the extraction unit 245 and determines whether or not the person corresponding to the person image is the person corresponding to the personal information. Therefore, the motion information processing apparatus 200 can accurately determine whether or not the person's digitally recorded movement is that of a target person to be rehabilitated.
  • the motion information processing apparatus 200 stores the personal information storage unit 237 and the personal feature information storage unit 238 has been described.
  • the motion information processing apparatus 200 does not necessarily include the personal information storage unit 237 and the personal information storage unit 237.
  • the personal characteristic information storage unit 238 may not be stored.
  • the extraction unit 245 obtains personal information corresponding to the personal feature information of each record in the personal feature information storage unit 238. You may extract from a medical information system.
  • FIG. 33 is a block diagram illustrating a configuration example of the motion information processing apparatus 200 according to the ninth embodiment.
  • the motion information processing apparatus 200 according to the ninth embodiment has the same configuration as that of the motion information processing apparatus 200 illustrated in FIG. 19, and the storage unit 230 further includes the staff information storage unit 239. It has a different point.
  • points different from the seventh embodiment will be mainly described, and the same functions as those described in the seventh embodiment are the same as those in FIG. Reference numerals are assigned and description is omitted.
  • the storage unit 130 does not have to include the subject image feature storage unit 234 and the assistant image feature storage unit 235.
  • the staff information storage unit 239 stores the staff ID and the name in association with each other.
  • the staff ID is information for identifying the staff, for example, a number for identifying the person engaged in the medical institution.
  • the name is information indicating the name of the person corresponding to the staff ID.
  • the information stored in the staff information storage unit 239 is, for example, information acquired from a staff personnel system for managing personnel of a medical institution staff in which the motion information processing apparatus 200 is used.
  • the staff includes assistants.
  • FIG. 34 is a diagram illustrating an example of information stored in the staff information storage unit 239.
  • the staff ID “1” and the name “A mountain B man” are stored. That is, the staff information storage unit 239 stores that the name of the staff represented by the staff ID “1” is “A mountain B male”.
  • the staff ID “2” and the name “C field D child” are stored in the second record in FIG. That is, the staff information storage unit 239 stores that the name of the staff represented by the staff ID “2” is “C field D child”.
  • the staff ID “3” and the name “Egawa Fhiko” are stored. That is, the staff information storage unit 239 stores that the staff name represented by the staff ID “3” is “E River Fhiko”.
  • the staff information storage unit 239 stores staff IDs and names in association with each other as well for staff of other staff IDs.
  • the processing procedure of the motion information processing apparatus 200 according to the ninth embodiment is the same as the processing procedure of the motion information processing apparatus 200 according to the seventh embodiment described with reference to FIG. 27, but the staff information storage unit 239 is used. Therefore, the difference will be described below with reference to FIG.
  • step S401 to step S405 Since the processing from step S401 to step S405 is the same as that described in FIG. 28, the description thereof is omitted.
  • step S407 the determination unit 243 selects one unprocessed record from the assistant operation feature storage unit 233 and the staff information storage unit 239.
  • the motion information processing apparatus 200 according to the ninth embodiment includes the assistant image feature storage unit 235, an unprocessed record may be selected from the subject image feature storage unit 234.
  • the determination unit 243 determines whether the acquired operation information and color image information correspond to the selected record.
  • the determination unit 243 performs nameplate pattern matching from the color image information acquired by the acquisition unit 241.
  • the determination unit 243 recognizes the characters described in the extracted nameplate by a known character recognition technique.
  • the determination unit 243 determines whether or not the character is stored in the staff information storage unit 239.
  • the determination unit 243 determines that the acquired color image information corresponds to the staff information.
  • the determination part 243 performs the process after step S409.
  • the process after step S409 is the same as the content demonstrated in 7th Embodiment, description is abbreviate
  • the motion information processing apparatus 200 includes an identification information storage unit that stores identification information for identifying an assistant. Then, the motion information processing apparatus 200 acquires a person image in which a person is photographed. Then, the motion information processing apparatus 200 extracts identification information from the acquired person image, and determines whether or not the extracted identification information is a person corresponding to the identification information stored in the identification information storage unit. Therefore, the motion information processing apparatus 200 can specify the personal name of the assistant.
  • the motion information processing apparatus 200 determines whether or not it is an assistant using the name of a staff member, but the embodiment is not limited to this, for example, Whether the person is an assistant may be determined based on the facial recognition of the staff.
  • the staff information storage unit 239 stores the staff ID and the face image of the staff in association with each other.
  • the determination unit 243 recognizes the face image from the color image information acquired by the acquisition unit 241 and matches the recognized face image with the face image stored in the staff information storage unit 239 to acquire the face image. It is determined whether or not the obtained color image information corresponds to staff information.
  • the motion information processing apparatus 200 stores the staff information storage unit 239 .
  • the motion information processing apparatus 200 does not necessarily store the staff information storage unit 239. .
  • the determination unit 243 accesses the staff personnel system and corresponds to information stored in the staff information storage unit 239. You may determine using the information to do.
  • the motion information processing apparatus 200 may not include the generation unit 242. That is, in the motion information processing apparatus 200, the acquisition unit 241 acquires motion information representing a person's motion. And the determination part 243 determines whether the person corresponding to the acquired operation
  • the storage unit 230 is any one of the subject person motion feature storage unit 232, the assistant person operation feature storage unit 233, the subject person image feature storage unit 234, and the assistant person image feature storage unit 235. What is necessary is just to have.
  • the configuration described in the seventh to ninth embodiments described above is an example, and any of a plurality of devices included in the medical information processing system may have the above configuration.
  • the medical information processing system includes an acquisition unit 241, a generation unit 242, a determination unit 243, and a storage unit 244.
  • the acquisition unit 241 acquires motion information representing a human motion.
  • the generation unit 242 generates the rehabilitation evaluation information from the motion information acquired by the acquisition unit 241.
  • the determination part 243 determines whether the person corresponding to the acquired operation
  • the storage unit 244 outputs the evaluation information based on the determination result of the determination unit.
  • the motion information processing apparatus 200 may make a determination using a voice recognition result. Specifically, the target person concentrates on rehabilitation, so his / her speech is reduced or he / she utters a painful voice. In addition, the caregiver utters words such as “Is it all right”, “Next is my right foot”, or “You can do it slowly” to care for and encourage the subject. Therefore, the motion information processing apparatus 200 can determine the target person and the assistant by using these features.
  • the target person action feature storage unit 232 stores information in which a predetermined action ID is associated with the target person action feature information “no speech for 3 minutes or more”.
  • the acquisition part 241 acquires the audio
  • the determination part 243 will be subject motion feature information of predetermined
  • the motion information processing apparatus 200 can accurately determine the target person by using the voice recognition result.
  • the assistant operation feature storage unit 233 stores information in which the predetermined operation ID is associated with the assistant operation feature information “speak a word“ is it okay? ”. And the acquisition part 241 acquires the audio
  • the motion information processing apparatus 200 may determine using a thermal sensor (thermography or the like). Specifically, since the subject works hard to move the body, the body temperature increases during rehabilitation. Therefore, the motion information processing apparatus 200 can determine the target person by using this feature.
  • the motion information processing apparatus 200 includes, for example, a heat sensor as the input unit 120 and acquires the body temperature of the person corresponding to the motion information acquired by the acquisition unit 241 for each frame.
  • the subject motion feature storage unit 232 stores information in which a predetermined motion ID is associated with subject motion feature information “body temperature is 36.5 degrees or higher”. And the acquisition part 241 acquires the body temperature corresponding to each flame
  • the motion information processing apparatus 200 has a digitally recorded person's motion for a subject to be rehabilitated. It can be determined whether or not.
  • the seventh to tenth embodiments it is possible to determine whether or not the movement of a digitally recorded person belongs to a target person to be rehabilitated.
  • a motion information processing apparatus 300 capable of providing information capable of confirming the motion while hiding the personal information of the subject (subject). Will be described.
  • the subject includes a person who performs a predetermined operation and a person who is a target of rehabilitation.
  • FIG. 35 is a block diagram illustrating a configuration example of the medical information processing system 1 according to the eleventh embodiment.
  • the medical information processing system 1 according to the first embodiment is a system that supports rehabilitation performed in a medical institution, home, workplace, or the like.
  • the eleventh embodiment a case where the motion information processing apparatus 300 is applied to the medical information processing system 1 will be described, but the embodiment is not limited to this. For example, even when the motion information processing apparatus 300 is not applied to the medical information processing system 1, the motion information processing apparatus 300 can provide information with which the motion can be confirmed while hiding the personal information of the subject.
  • the medical information processing system 1 includes a motion information collection unit 10, a motion information processing device 300, a medical image storage device 20, and a workstation 30.
  • the motion information processing apparatus 300, the medical image storage apparatus 20, and the workstation 30 can communicate with each other directly or indirectly via, for example, a hospital LAN (Local Area Network) 40 installed in the hospital. It has become.
  • a hospital LAN Local Area Network
  • PACS Picture Archiving and Communication System
  • each device transmits and receives medical image information and the like according to the DICOM (Digital Imaging and Communications in Medicine) standard. .
  • the medical image storage device 20 stores various types of information for supporting rehabilitation.
  • the medical image storage device 20 includes a database that stores image information, stores various types of information transmitted by the motion information processing device 300 in the database, and stores them.
  • the medical image storage device 20 stores information stored in the EMR when EMR (Electronic Medical Record) is applied to the medical information processing system 1.
  • the information stored in the medical image storage device 20 can be browsed by, for example, a person who has the authority to access the medical information processing system 1 or a person who has a predetermined authority such as a primary doctor or a hospital director. Information stored in the medical image storage device 20 will be described later.
  • the medical image storage apparatus 20 stores information in the medical information processing system 1 of a certain medical institution, but the embodiment is not limited to this.
  • the medical image storage device 20 may be installed on the Internet.
  • the medical image storage device 20 may store the information of a plurality of medical institutions connected to the Internet for each medical institution, or may store the information of each medical institution in a mutually viewable format. good.
  • the medical image storage device 20 may set and store an access authority for each piece of information stored in the medical image storage device 20.
  • the workstation 30 displays various information for supporting rehabilitation.
  • the workstation 30 acquires operation information from the medical image storage device 20 and displays the acquired information.
  • the motion information processing apparatus 300 performs various processes for supporting rehabilitation using the motion information output from the motion information collection unit 10.
  • the motion information processing apparatus 300 is an information processing apparatus such as a computer or a workstation.
  • the rehabilitation motion information collected by the motion information collection unit 10 is stored in the medical image storage device 20 as information that can be browsed by a doctor other than the attending physician or a physical therapist.
  • This is considered useful in medical practice.
  • a doctor uses information stored in the medical image storage device 20 to perform rehabilitation similar to that subject to information (moving image and skeleton information) that can confirm the rehabilitation operation of a subject. It is possible to allow other subjects who are present to browse as examples. However, this action is not preferable from the viewpoint of protecting personal information because personal information of a subject used as a model is disclosed to other subjects.
  • the motion information processing apparatus 300 can provide information whose operation can be confirmed while hiding the personal information of the subject by performing the processing described below.
  • FIG. 36 is a block diagram illustrating a detailed configuration example of the motion information processing apparatus 300 according to the eleventh embodiment.
  • the storage unit 330 includes a motion information storage unit 331.
  • the operation information storage unit 331 stores various information collected by the operation information collection unit 10. Specifically, the motion information storage unit 331 stores the motion information generated by the motion information generation unit 14. More specifically, the motion information storage unit 331 stores skeleton information for each frame generated by the motion information generation unit 14. Here, it is also possible to store the color image information, the depth image information, and the speech recognition result output by the motion information storage unit 331 and the motion information generation unit 14 in association with each other.
  • the color image information is an example of photographed image information.
  • the motion information storage unit 331 stores the same information as the motion information storage unit 131 illustrated in FIG.
  • control unit 340 includes an acquisition unit 341, a generation unit 342, and an output control unit 343.
  • the acquisition unit 341 acquires the motion information of the subject. For example, the acquisition unit 341 acquires operation information including at least skeleton information and color image information in chronological order. As an example, the acquisition unit 341 supplies the stored skeleton information and the motion information collection unit 10 and the motion information processing apparatus 300 each time the power is turned on and one frame of skeleton information is stored in the motion information storage unit 331. The color image information of the frame corresponding to the stored skeleton information is acquired from the motion information storage unit 331, respectively.
  • the motion information acquired by the acquisition unit 341 is an example of first motion information.
  • the acquisition unit 341 acquires various types of information in real time.
  • the present invention is not limited to this.
  • the acquisition unit 341 may acquire a frame group of skeleton information and color image information stored in the motion information storage unit 331.
  • the generation unit 342 generates, as medical image information, image information that can visually confirm the skeleton of the subject using, for example, the position of each joint included in the skeleton information.
  • FIG. 37A and FIG. 37B are diagrams for explaining processing of the generation unit 342 according to the eleventh embodiment.
  • FIG. 37A illustrates color image information representing a state in which a certain subject is performing walking training, and skeleton information representing the position of each joint of the subject.
  • FIG. 37B illustrates medical image information 37a generated based on the color image information and skeleton information of FIG. 37A.
  • the generation unit 342 generates a skeleton model 37b indicating the positions of the joints 2a to 2t included in the skeleton information acquired by the acquisition unit 341. Specifically, for example, the generation unit 342 arranges circles at positions corresponding to the pixel positions X and Y of the joints 2a to 2t in the imaging range of the medical image information 37a. In addition, the generation unit 342 arranges line segments that connect the circles based on information representing the positional relationship between the joints. Thereby, the generation unit 342 generates a skeleton model 37b.
  • the generation unit 342 generates medical image information 37a including the skeleton model 37b and the floor surface image 37c. Then, the generation unit 342 outputs the generated medical image information 37a to the output control unit 343.
  • the process in which the generation unit 342 generates the floor image 37c is not limited to the above example.
  • the generation unit 342 may specify the floor surface pixel using this.
  • the generation unit 342 can generate a floor surface image 37c by arranging parallel lines at 1 m intervals in the x direction and the z direction among the specified pixels on the floor surface.
  • the generation unit 342 may specify a pixel corresponding to a position where the position of the foot (joint 2p or joint 2t) of the subject does not change for a certain time as a pixel on the floor surface.
  • the floor image 37c is not necessarily included in the medical image information 37a.
  • the output control unit 343 outputs browsing operation information including skeleton information and medical image information in chronological order.
  • the output control unit 343 associates the skeleton information of the subject and the medical image information 37a generated by the generation unit 342 in time series order and stores them in the medical image storage device 20 as browsing operation information.
  • the browsing operation information is an example of second operation information.
  • FIG. 38 is a diagram illustrating an example of browsing operation information stored in the medical image storage apparatus 20 according to the eleventh embodiment.
  • the medical image storage device 20 stores information in which a name number, an execution date, and browsing operation information are associated with each name.
  • the “name number” is an identifier for uniquely identifying the subject, and is given for each name.
  • the “implementation date” indicates the date and time when the subject performed walking training.
  • the “browsing operation information” indicates information stored in the medical image storage device 20 by the output control unit 343.
  • the medical image storage apparatus 20 includes a name “A”, a name number “1”, an implementation date “20120801_1”, browsing operation information “medical image information, depth image information, speech recognition result, skeletal information. "Etc. are memorized.
  • the above-mentioned information is “medical image information” as motion information in the “first” walking training conducted on “August 1” in “2012” by a person with the name “A” having the name number “1”. ”,“ Depth image information ”,“ speech recognition result ”, and“ skeletal information ”.
  • “medical image information”, “depth image information”, “speech recognition result”, and “skeleton” for every frame captured when the walking training is executed.
  • “Information” is stored in association with time in chronological order.
  • the output control unit 343 associates the skeleton information of the subject and the medical image information 37a generated by the generation unit 342 in time series order and stores them in the medical image storage device 20 as browsing operation information.
  • the present invention is not limited to this, and the output control unit 343 may display the browsing operation information on the output unit 110.
  • FIG. 39 is a flowchart showing a processing procedure performed by the motion information processing apparatus 300 according to the eleventh embodiment. As illustrated in FIG. 39, the acquisition unit 341 acquires motion information including skeleton information and color image information (step S601).
  • the generation unit 342 generates medical image information that can confirm the operation of the subject without including the personal information of the subject (step S602). For example, the generation unit 342 generates image information that can visually confirm the skeleton of the subject as medical image information, using the position of each joint included in the skeleton information.
  • the output control unit 343 outputs browsing operation information including skeleton information and medical image information in chronological order (step S603).
  • the output control unit 343 associates the skeleton information of the subject and the medical image information 37a generated by the generation unit 342 in time series order, and stores them in the medical image storage device 20 as browsing operation information.
  • the motion information processing apparatus 300 acquires motion information including skeleton information and color image information.
  • the motion information processing apparatus 300 generates medical image information that can confirm the motion of the subject without including the personal information of the subject based on at least one of the skeleton information and the color image information. For this reason, the motion information processing apparatus 300 can provide information whose operation can be confirmed while hiding the personal information of the subject.
  • the motion information processing apparatus 300 since the appearance of the subject is photographed in the color image information, the subject can be specified by browsing the color image information. For this reason, storing color image information in the medical image storage device 20 is not preferable from the viewpoint of protecting personal information. Therefore, the motion information processing apparatus 300 according to the eleventh embodiment generates medical image information 37a that can confirm the motion of the subject without including the appearance of the subject, and replaces this with color image information to obtain a medical image. Store in the storage device 20. For this reason, the motion information processing apparatus 300 according to the eleventh embodiment can provide information whose operation can be confirmed while hiding the personal information of the subject.
  • the motion information processing apparatus 300 protects the personal information of the subject and is clinically useful.
  • Information can be provided. Specifically, a doctor can cause another subject to view the medical image information 37a of a subject as a model, or “This rehabilitation will make you healthy in one month” It is possible to browse as an index such as.
  • the motion information processing apparatus 300 stores the browsing operation information in the medical image storage apparatus 20 in consideration of personal information protection. Makes it possible to process. Accordingly, the motion information processing apparatus 300 statistically processes the browsing motion information, thereby enabling, for example, more accurate determination of the feature amount for each individual or for each disease.
  • the motion information processing device 300 when the medical image storage device 20 is installed on a network such as the Internet or a LAN, the motion information processing device 300 sends the personal information of the subject to the medical image storage device 20 on the network. It is possible to store clinically useful image information while protecting it. Accordingly, the motion information processing apparatus 300 can share information with a remote medical institution. For example, it becomes possible to share information about a common target person among doctors and physical therapists in the regional cooperation, and to obtain advice from a remote doctor.
  • the motion information processing apparatus 300 may generate, as medical image information, image information that conceals an image of a part including the characteristics of the subject included in the color image information.
  • the part including the characteristics of the subject is, for example, the head (face).
  • the motion information processing apparatus 300 generates image information that conceals an image of the head of the subject included in the color image information.
  • the generation unit 342 uses the position of the joint of the head included in the skeleton information, and the head of the subject included in the color image information.
  • Image information in which at least a part of the image is concealed is generated as medical image information.
  • FIG. 40 is a diagram for explaining processing of the generation unit 342 according to the first modification of the eleventh embodiment.
  • FIG. 40 illustrates medical image information 40a generated based on the color image information and skeleton information of FIG. 37A.
  • the generation unit 342 uses the position of the joint of the subject's head included in the skeletal information acquired by the acquisition unit 341 and uses the position of the subject's head included in the color image information. To hide. Specifically, the generation unit 342 specifies the pixel position 40b at the center of the head in the color image information using the coordinates of the joint 2a of the head included in the skeleton information. Then, the generation unit 342 changes the color of the pixel included in the head region 40c including the pixel position 40b to a predetermined color (for example, gray).
  • the head region 40c is, for example, a rectangular region having a predetermined size with the pixel position 40b as the center.
  • the generation unit 342 outputs the color image information in which the color of the pixel included in the head region 40c is changed to the output control unit 343 as the medical image information 40a. Accordingly, the output control unit 343 associates the skeleton information of the subject and the medical image information 40a generated by the generation unit 342 in time series order and stores them in the medical image storage device 20 as browsing operation information.
  • the motion information processing apparatus 300 generates the medical image information 40a by concealing the image of the head of the subject included in the color image information. That is, the motion information processing apparatus 300 generates medical image information that can confirm the motion of the subject without including the personal information of the subject based on at least one of the skeleton information and the color image information.
  • the motion information processing apparatus 300 stores the generated medical image information in the medical image storage apparatus 20 in place of the color image information. For this reason, the motion information processing apparatus 300 according to the eleventh embodiment can provide information whose operation can be confirmed while hiding the personal information of the subject.
  • the size of the head region 40c can be changed to an arbitrary size of the operator of the motion information processing apparatus 300.
  • the size of the head region 40c may be changed according to the size of the value of the z coordinate of the joint 2a. In this case, for example, if the value of the z coordinate of the joint 2a is large (if the subject is far away), the motion information processing apparatus 300 sets the head region 40c to be small and the value of the z coordinate of the joint 2a is small. If the subject is near, the head region 40c is set large.
  • the size of the head region 40c is preferably concealed in the entire head, but is not limited to this, and may be a size that conceals only the position of the eyes, for example.
  • the shape of the head region 40c is not necessarily rectangular.
  • the shape of the head region 40c may be circular, or the face contour may be specified by a face recognition technique centered on the joint 2a, and the range corresponding to the specified contour may be the head region 40c. .
  • the motion information processing apparatus 300 may detect a feature of a physical skeleton shape as a part including the feature of the subject and hide it.
  • the characteristics of the physical skeletal shape include, for example, arm deletion.
  • the motion information processing apparatus 300 conceals the position corresponding to the left arm, thereby generating image information that conceals a region including the characteristics of the subject.
  • the generation unit 342 refers to the skeleton information of the subject and determines whether there is position information on all the joints 2a to 2t.
  • the generation unit 342 estimates the positions of the joints 2j, 2k, 2l of the subject.
  • the generation unit 342 estimates the positions of the joints 2f, 2g, and 2h of the right arm and the target as positions of the joints 2j, 2k, and 2l with the center line of the body (a line passing through the joints 2b and 2c) interposed therebetween. To do.
  • the generation unit 342 changes the color of a pixel included in a region (for example, a rectangular region) including the estimated left arm joints 2j, 2k, and 21 to a predetermined color. Thereby, the generation unit 342 generates image information that hides the position corresponding to the left arm of the subject.
  • the motion information processing apparatus 300 may detect a feature seen on the skin of the subject as a part including the feature of the subject and conceal this.
  • the features seen on the skin are, for example, scars (due to trauma).
  • the motion information processing apparatus 300 hides the position corresponding to the left arm, thereby generating image information that hides the region including the feature of the subject.
  • the generation unit 342 generates a pixel histogram for a region including a position corresponding to the skeleton information of the subject in the color image information.
  • the generation unit 3 changes the color of the pixel in the region including the position corresponding to the peak to a predetermined color.
  • This is a sky that is considered to have a characteristic on the skin such as a scar when a peak is detected from this luminance histogram while a uniform luminance histogram is obtained for normal skin. .
  • the generation unit 342 generates image information that hides the position corresponding to the left arm of the subject.
  • the motion information processing apparatus 300 is not limited to the above example, and may generate image information that hides an area designated by the operator.
  • the generation unit 342 receives an area designation from the operator via the input unit 120 such as a mouse. Then, the generation unit 342 generates image information that hides the received area.
  • the generation unit 342 may generate image information including the above-described floor image 37c as medical image information.
  • the generation unit 342 can generate the floor image 37c and generate image information in which the generated floor image 37c is superimposed on the medical image information 40a.
  • the color image information may include a subject that should not be disclosed in addition to the subject.
  • the color image information may include a face of a helper who assists in rehabilitation of the subject, a post that should not be disclosed, and the like. Therefore, in addition to the first modification of the eleventh embodiment, the motion information processing apparatus 300 generates, as medical image information, image information that conceals an area where a subject other than the subject included in the color image information is captured. You may do it.
  • the generation unit 342 further captures images other than the subject included in the color image information using the positions of the joints included in the skeleton information.
  • Image information in which at least a part of the image is hidden is generated as medical image information.
  • FIG. 41 is a diagram for explaining processing of the generation unit 342 according to the second modification of the eleventh embodiment.
  • FIG. 41 illustrates medical image information 41a generated based on the medical image information 40a of FIG.
  • the generation unit 342 further conceals an image obtained by photographing other than the subject included in the color image information, using the position of each joint included in the skeleton information. Specifically, the generation unit 342 specifies the subject region 41b including the subject using the position of each joint included in the skeleton information. More specifically, the generation unit 342 specifies the joint of the x coordinate that is the largest value among the x coordinates of each joint of the subject, and a value obtained by adding a predetermined value to the value of the x coordinate of the specified joint Is determined as the right side of the subject region 41b.
  • the generation unit 342 identifies the x-coordinate joint, which is the smallest value among the x-coordinates of each joint of the subject, and passes the coordinates obtained by adding a predetermined value from the x-coordinate value of the identified joint.
  • the line is determined as the left side of the subject area 41b.
  • the generation unit 342 identifies the y-coordinate that is the largest value among the y-coordinates of each joint of the subject, and passes the coordinates of a value obtained by adding a predetermined value to the y-coordinate value of the identified joint.
  • the line is determined as the upper side of the subject area 41b.
  • the generation unit 342 identifies the x-coordinate joint, which is the smallest value among the x-coordinates of each joint of the subject, and passes the coordinates obtained by adding a predetermined value from the x-coordinate value of the identified joint.
  • the line is determined as the left side of the subject area 41b.
  • the generation unit 342 changes the color of the pixel outside the specified subject region 41b to a predetermined color (for example, gray).
  • the generation unit 342 outputs color image information in which the color of the pixel outside the subject region 41b is changed to the output control unit 343 as medical image information 41a.
  • the output control unit 343 associates the skeleton information of the subject and the medical image information 41a generated by the generation unit 342 in time series order, and stores them in the medical image storage apparatus 20 as browsing operation information.
  • the motion information processing apparatus 300 As described above, the motion information processing apparatus 300 according to the second modification of the eleventh embodiment generates medical image information 41a by concealing a region where an object other than the subject is imaged, and uses this as color image information. Instead, it is stored in the medical image storage device 20. For this reason, the motion information processing apparatus 300 according to the first embodiment can provide information with which the motion of the subject can be confirmed while hiding a subject that should not be disclosed other than the subject. For example, the motion information processing apparatus 300 can also conceal the face of a helper who assists the rehabilitation of the subject, or a posting that should not be disclosed.
  • the size of the subject region 41b can be changed to an arbitrary size by the operator of the motion information processing apparatus 300.
  • the shape of the subject region 41b is not necessarily rectangular.
  • the shape of the subject region 41b may be an ellipse.
  • the generation unit 342 may generate image information including the above-described floor image 37c as medical image information.
  • the generation unit 342 can generate the floor surface image 37c and generate image information obtained by superimposing the generated floor surface image 37c on the medical image information 41a.
  • the embodiment is not limited to the above-described embodiment.
  • the motion information processing apparatus 300 may generate image information representing only the region of the subject as medical image information.
  • the acquisition unit 341 further performs depth image information in which each pixel included in the imaging range and the depth of the pixel are associated with each other in time series order. Get the operation information to include.
  • the acquisition unit 341 supplies the stored depth image information every time power is turned on to the motion information collection unit 10 and the motion information processing apparatus 300 and 1-frame depth image information is stored in the motion information storage unit 331. Obtained from the operation information storage unit 331.
  • the generation unit 342 is based on depth image information at a time point to be processed and depth image information at a time point different from the depth image information.
  • Image information representing the region of the subject is generated as medical image information from the depth image information at the time of processing.
  • FIG. 42 is a diagram for explaining processing of the generation unit 342 according to the third modification of the eleventh embodiment.
  • FIG. 42 illustrates a depth image 42a of frame T, a depth image 42b of frame T-1, and a binarized image 42c.
  • the solid line represents the position of the subject in each frame.
  • the broken line represents the position of the subject in the frame T-1. That is, the depth image 42a of the frame T represents that the subject has moved from the broken line position to the solid line position.
  • pixel position X and “pixel position Y” in the binarized image 42c correspond to “pixel position X” and “pixel position Y” in the distance image coordinate system.
  • the broken line indicates the position of the subject in the frame T-1, and the position of the subject in the frame T-1 is not displayed in the depth image 42a of the frame T.
  • the generation unit 342 converts the depth of the depth image 42b of the frame T-1 from the depth of the depth image 42a of the frame T for each pixel. Subtract to Then, the generation unit 342 generates a binarized image 42c of the frame T by performing binarization in which a pixel whose subtracted value is equal to or greater than the threshold is white and a pixel whose threshold is less than the threshold is black.
  • the black pixel region indicates the position of an object such as a floor surface, a wall, a desk, or a chair that does not move in the depth direction between the frame T-1 and the frame T, for example, the object.
  • the white pixel area represents the position of a person (subject) that has moved more than a threshold in the depth direction between frames T-1 and T, for example, a photographed person (subject).
  • the generation unit 342 extracts a subject region 42d that represents the position of the subject that performs the walking motion by identifying a motionless one and a motionless one. Then, the generation unit 342 outputs the binarized image 42c obtained by extracting the subject region 42d to the output control unit 343 as medical image information.
  • the output control unit 343 associates the skeleton information of the subject and the medical image information generated by the generation unit 342 in time series order and stores them in the medical image storage apparatus 20 as browsing operation information.
  • the motion information processing apparatus 300 As described above, the motion information processing apparatus 300 according to the third modification of the eleventh embodiment generates image information representing only the region of the subject as medical image information, and replaces this with color image information to obtain a medical image. Store in the storage device 20. For this reason, the motion information processing apparatus 300 according to the first embodiment can provide information whose operation can be confirmed while hiding the personal information of the subject.
  • the processing of the generation unit 342 is merely an example, and the present invention is not limited to this.
  • the generation unit 342 extracts the subject region using the depth image information of adjacent frames in time series order, but the present invention is not limited to this.
  • the generation unit 342 calculates a depth difference for each pixel with respect to depth image information of frames that are several frames apart in time series order, and extracts a pixel region in which the calculated difference is equal to or greater than a threshold as a subject region. May be.
  • the generation unit 342 calculates depth difference for each pixel for the depth image information of the frame T and the reference depth image information with reference to the depth image information when there is no person, and the calculated difference is A pixel region that is equal to or greater than the threshold may be extracted as the subject region.
  • the generation unit 342 may generate image information including the above-described floor image 37c as medical image information.
  • the generation unit 342 can generate the floor surface image 37c and generate image information in which the generated floor surface image 37c is superimposed on the binarized image 42c.
  • the motion information processing apparatus 300 conceals the personal information of the subject when the browsing motion information is stored in the medical image storage apparatus 20 has been described.
  • the present invention is not limited to this. Absent. For example, in the case of causing the subject to browse the operation information for browsing other subjects as a model at the workstation 30, even if the subject's own image is displayed based on the behavior of the browsing operation information serving as a model. good. As a result, the subject can view an image as if the subject is performing an operation as a model.
  • the medical information processing system 1 according to the twelfth embodiment has the same configuration as the medical information processing system 1 shown in FIG. 35, and the processing in the workstation 30 is partially different. Therefore, in the twelfth embodiment, the description will focus on the differences from the eleventh embodiment, and the same functions as those described in the eleventh embodiment are the same as those in FIG. Reference numerals are assigned and description is omitted.
  • FIG. 43 is a block diagram illustrating a detailed configuration example of the workstation 30 according to the twelfth embodiment. As illustrated in FIG. 43, the workstation 30 includes a display information storage unit 31 and a display control unit 32.
  • the display information storage unit 31 stores display information in which the subject image information representing the subject is associated with the position of each joint of the subject in the subject image information.
  • FIG. 44 is a diagram illustrating an example of information stored in the display information storage unit 31.
  • FIG. 44 illustrates a case where the subject is an elderly woman.
  • the display information storage unit 31 stores information in which the subject's image information is associated with the positions of the joints 2a to 2t of the subject as display information 44a. That is, the display information storage unit 31 stores the positional relationship between the position of each joint of the subject and each pixel position included in the image information of the subject.
  • the display information 44a including the elderly female character as the subject image information is illustrated for convenience of explanation, but the embodiment is not limited to this.
  • the display information storage unit 31 male and female characters such as 0-9 years old, 10-19 years old, 20-29 years old, etc. are prepared as subject image information for each predetermined age, It may be provided in a format that can be selected according to age and gender.
  • the display information storage unit 31 is not limited to this, and may store display information 44a including a subject's own photograph as subject image information.
  • the display control unit 32 acquires browsing operation information from the medical image storage device 20. Then, the display control unit 32 maps the image information of the subject to the medical image information included in the browsing operation information based on the position of each joint included in the display information, so that the operation of the browsing operation information is performed. The display control for displaying the image of the subject is performed based on the above.
  • FIG. 45 is a diagram for explaining processing of the display control unit 32 according to the second embodiment.
  • FIG. 45 illustrates a display image 45 a viewed by the subject at the workstation 30. 45, as an example, a case will be described in which each pixel included in the display information 44a in FIG. 44 is mapped to the medical image information 37a in FIG. 37B.
  • the display control unit 32 acquires browsing operation information from the medical image storage device 20.
  • This browsing operation information includes the medical image information 37a of FIG. 37B.
  • the display control unit 32 maps the image information of the subject to the medical image information 37a based on the position of each joint included in the display information 44a stored in the display information storage unit 31.
  • the display control unit 32 arranges each pixel included in the display information 44a in the medical image information 37a based on the positional relationship between the pixel position of each pixel and the position of each joint. More specifically, for example, the display control unit 32 arranges the pixel at the position of the joint 2a of the display information 44a at the position of the joint 2a of the head of the medical image information 37a.
  • the pixel of the hair position in the display information 44a is obtained by using the positional relationship between the pixel and the position of the joint 2a of the head (distance ⁇ X in the X direction and distance ⁇ Y in the Y direction). It arrange
  • the display control part 32 produces
  • the display control unit 32 generates a floor surface image by the same processing as the generation unit 342 according to the first embodiment, and superimposes the generated floor surface image on the display image 45a. And the display control part 32 displays the moving image as if the elderly woman is moving the medical image information 37a by displaying the display image 45a which superimposed the floor surface image in time series.
  • the display control unit 32 does not necessarily generate a floor surface image.
  • the workstation 30 displays the image information of the subject based on the operation of the operation information for viewing of the other subject. For this reason, the workstation 30 can display an image as if the subject is performing the operation of another subject on the subject. As a result, the subject looks as if he / she is performing the rehabilitation movement of another person. For example, the subject himself / herself one month after the start of rehabilitation, specifically imagines himself / herself when he / she becomes healthy. It becomes easy. As a result, the motion information processing apparatus 300 can improve the motivation of the subject performing the rehabilitation.
  • the display control unit 32 may display the display image 44a based on the medical image information 40a of FIG. 40, or may display the display image 44a based on the binarized image 42c of FIG. good.
  • the display control unit 32 may acquire the motion information from the motion information processing apparatus 300 and display the display image 44a based on the color image information and the skeleton information. In this case, the display control unit 32 performs the processing of the display control unit 32 after performing the processing of the generation unit 342.
  • the motion information processing apparatus of the present embodiment can provide information whose operation can be confirmed while hiding the personal information of the subject.
  • the motion information processing apparatus 400 can reliably determine the motion information of the rehabilitation target person and further conceal the personal information of the rehabilitation target person.
  • a person who performs a predetermined operation is described as a “subject”, and a person who is a target of rehabilitation is described as a “rehabilitation target person”.
  • FIG. 46 is a block diagram illustrating a configuration example of the motion information processing apparatus 400 according to the thirteenth embodiment.
  • the motion information processing apparatus 400 is an information processing apparatus such as a computer or a workstation, and includes an output unit 110, an input unit 120, a storage unit 430, and a control unit 440.
  • the output unit 110 and the input unit 120 are the same as the output unit 110 and the input unit 120 described in the first embodiment, and thus description thereof is omitted.
  • the storage unit 430 has the same configuration as the storage unit 230 shown in FIG. That is, the storage unit 430 includes a motion information storage unit 431, a subject person motion feature storage unit 432, a helper motion feature storage unit 433, a subject person image feature storage unit 434, and a helper image feature storage unit 435. And an evaluation information storage unit 436.
  • the storage unit 436 includes the operation information storage unit 231, the subject person operation feature storage unit 232, the assistant operation feature storage unit 233, the subject person image feature storage unit 234, the assistant image feature storage unit 235, and the evaluation illustrated in FIG. 19. Since the information storage unit 236 is the same as the information storage unit 236, description thereof is omitted.
  • the control unit 440 includes an acquisition unit 441, a specification unit 442, a first generation unit 443, a determination unit 444, a second generation unit 445, and an output control unit 446.
  • the acquisition unit 441 has the same function as the acquisition unit 141 shown in FIG.
  • the acquisition unit 441 acquires the operation information stored in the operation information storage unit 431.
  • the acquisition unit 441 does not necessarily have to acquire motion information including all of color image information, distance image information, speech recognition results, and skeleton information.
  • the acquisition unit 441 may appropriately acquire at least one of color image information, distance image information, speech recognition results, and skeleton information as necessary.
  • the identifying unit 442 has the same function as the identifying unit 142 illustrated in FIG.
  • the specifying unit 442 specifies the operation information of the subject who performs the predetermined operation based on the predetermined feature in the image information acquired by the acquisition unit 441.
  • the first generation unit 443 has the same function as the generation unit 242 illustrated in FIG. For example, the first generation unit 443 generates evaluation information for evaluating rehabilitation from the motion information specified by the specifying unit 442.
  • the determination unit 444 has the same function as the determination unit 243 shown in FIG. For example, the determination unit 444 determines whether or not the target person corresponding to the motion information specified by the specifying unit 442 is a rehabilitation target person, using information representing the characteristics of the rehabilitation target person who is the target of rehabilitation. .
  • the second generation unit 445 has the same function as the generation unit 342 shown in FIG.
  • the second generation unit 445 includes at least the skeleton information indicating the skeleton of the human body of the target person and the color image information obtained by photographing the target person, which are included in the motion information specified by the specifying unit 442 in time series order. Based on one, medical image information that can confirm the operation of the subject without including the personal information of the subject is generated.
  • the second generation unit 445 uses the medical information of the subject based on at least one of the skeleton information and the color image information included in the time series in the motion information determined to be the subject by the determination unit. Generate information.
  • the output control unit 446 has the function of the display control unit 143 shown in FIG. 4, the function of the storage unit 244 shown in FIG. 19, and the function of the output control unit 343 shown in FIG. And the output control part 446 performs output control suitably.
  • the output control unit 446 superimposes information indicating the target person at a position corresponding to the motion information specified by the specifying unit 442 in the image information. Control to display the displayed image.
  • the output control unit 446 when the determination by the determination unit 444 is made, the output control unit 446 outputs the determination result determined by the determination unit 143. Specifically, the output control unit 446 associates the evaluation information generated by the first generation unit 443 with the determination result determined by the determination unit 444 and stores it in the evaluation information storage unit 436.
  • the output control unit 446 when the medical image information is generated by the second generation unit 445, the output control unit 446 outputs browsing operation information including skeleton information and medical image information in chronological order.
  • the output control unit 446 associates the skeleton information of the subject and the medical image information generated by the second generation unit 445 in time series order and stores them in the medical image storage device 20 as browsing operation information. To do.
  • FIG. 47 is a flowchart showing a processing procedure performed by the motion information processing apparatus 400 according to the thirteenth embodiment.
  • the acquisition unit 441 acquires motion information (step S701).
  • the acquisition unit 441 acquires color image information and skeleton information as the operation information.
  • the specifying unit 442 performs a target person specifying process (step S702).
  • This target person specifying process corresponds to the processes of steps S103 to S105 shown in FIG. That is, the specifying unit 442 specifies the operation information of the target person by performing the target person specifying process.
  • the first generation unit 443 and the determination unit 444 perform a target person determination process (step S703).
  • This target person determination processing corresponds to the processing in step S303 and step S304 shown in FIG. That is, the first generation unit 443 generates evaluation information for evaluating rehabilitation from the motion information specified by the specifying unit 442. And the determination part 444 determines whether the subject corresponding to the motion information specified by the specific
  • the second generation unit 445 performs medical image information generation processing (step S704).
  • This medical image information generation processing corresponds to the processing in step S602 shown in FIG. That is, the second generation unit 445 determines the medical image information of the target person based on at least one of the skeleton information and the color image information included in the time series in the motion information determined to be the target person by the determination unit. Generate.
  • the output control unit 446 performs output control (step S705).
  • the output control unit 446 outputs browsing operation information including skeleton information and medical image information in chronological order.
  • the processing procedure shown in FIG. 47 is not necessarily limited to the above example.
  • the target person specifying process, the target person determination process, and the medical image information generation process are continuously executed as a series of processes.
  • the embodiment is not limited to this. That is, in each process of the target person specifying process, the target person determination process, and the medical image information generation process, the output control unit 446 appropriately stores necessary information in the storage unit 430 when each process is performed. Each process may be ended, or each process may be started by appropriately acquiring necessary information from the storage unit 430 at the stage of performing each process.
  • each process of the subject identification process, the subject determination process, and the medical image information generation process does not necessarily have to be performed in the above order. That is, it may be executed in the order of medical image information generation processing, subject determination processing, and subject identification processing.
  • each process of the target person specifying process, the target person determining process, and the medical image information generating process may not necessarily be executed.
  • the motion information processing apparatus 400 may execute the target person determination process or the medical image information generation process after executing the target person specifying process, and appropriately output the processed information.
  • the motion information processing apparatus 400 may appropriately output the processed information after sequentially performing the subject determination process and the medical image information generation process.
  • the motion information processing apparatus 400 executes each process of the target person specifying process, the target person determining process, and the medical image information generating process as a series of processes. For this reason, the motion information processing apparatus 400 according to the thirteenth embodiment can reliably determine the motion information of the rehabilitation target person and further conceal the personal information of the rehabilitation target person.
  • the motion information processing apparatus specifies motion information (skeleton information) of a subject who performs rehabilitation.
  • the embodiment is not limited to this.
  • each process may be executed by a service providing apparatus on a network.
  • FIG. 48 is a diagram for explaining an example when applied to a service providing apparatus.
  • the service providing apparatus 500 is disposed in the service center, and is connected to, for example, a medical institution, a terminal apparatus 600 disposed at home, or a workplace via the network 5.
  • the operation information collection unit 10 is connected to each of the terminal devices 600 disposed in the medical institution, home, and workplace.
  • Each terminal device 600 includes a client function that uses a service provided by the service providing device 500.
  • the service providing apparatus 500 provides the same processing as that of the motion information processing apparatus 100 described in FIG. That is, the service providing apparatus 500 includes the acquisition unit 141 and the functional units similar to the specifying unit 142.
  • a functional unit similar to the acquisition unit 141 acquires a target person who performs a predetermined operation and image information around the target person.
  • the function unit similar to the specifying unit 142 specifies the operation information of the subject who performs the predetermined operation based on the predetermined feature in the image information acquired by the function unit similar to the acquisition unit 141.
  • the network 5 may be any type of communication network such as the Internet or WAN (Wide Area Network), regardless of whether it is wired or wireless.
  • the service providing apparatus 500 has a function similar to that of the motion information processing apparatus 200 described with reference to FIG. 19, and provides the terminal apparatus 600 as a service using the function. That is, the service providing apparatus 500 has the same function units as the acquisition unit 241 and the determination unit 243. Then, a function unit similar to the acquisition unit 241 acquires operation information representing a person's operation. The function unit similar to the determination unit 243 uses the information indicating the characteristics of the target person to be rehabilitated, and the person corresponding to the motion information acquired by the function unit similar to the acquisition unit 241 is the target person. It is determined whether or not there is. For this reason, the service providing apparatus 500 can determine whether or not the movement of the person recorded digitally belongs to the target person to be rehabilitated.
  • the service providing apparatus 500 has the same function as the motion information processing apparatus 300 described with reference to FIG. 36, and provides the terminal apparatus 600 as a service using the function. That is, the service providing apparatus 500 includes functional units similar to the acquisition unit 341, the generation unit 342, and the output control unit 343, respectively.
  • the functional unit similar to the acquisition unit 341 acquires motion information including skeleton information indicating the position of each joint included in the skeleton of the subject and captured image information obtained by capturing the subject in chronological order.
  • a functional unit similar to the generation unit 342 generates medical image information that can confirm the operation of the subject without including the personal information of the subject based on at least one of the skeleton information and the captured image information. .
  • the service providing apparatus 500 receives an upload of a frame group of operation information to be processed from the terminal apparatus 600. Then, the service providing apparatus 500 performs the above processing to generate browsing operation information. Then, the service providing apparatus 500 causes the terminal apparatus 600 to download browsing operation information. The terminal device 600 stores the downloaded browsing operation information in the medical image storage device 20.
  • the service providing apparatus 500 has the same function as the motion information processing apparatus 400 described with reference to FIG. 46, and provides the terminal apparatus 600 as a service using the function. That is, the service providing apparatus 500 includes functional units similar to the acquisition unit 441, the specifying unit 442, the first generation unit 443, the determination unit 444, the second generation unit 445, and the output control unit 446, respectively.
  • a functional unit similar to the acquisition unit 441 acquires a target person who performs a predetermined operation and image information around the target person.
  • the function unit similar to the specifying unit 442 specifies the operation information of the subject who performs the predetermined operation based on the predetermined feature in the image information acquired by the function unit similar to the acquisition unit 441.
  • the function unit similar to the determination unit 444 uses the information indicating the characteristics of the subject to be rehabilitated, and the person corresponding to the motion information identified by the function unit similar to the identification unit 442 is the subject. It is determined whether or not there is.
  • the functional unit similar to the second generation unit 445 generates medical image information that can confirm the operation of the subject without including the personal information of the subject based on at least one of the skeleton information and the captured image information. Generate.
  • the functional unit similar to the output control unit 446 outputs browsing operation information including skeleton information and medical image information in time series order.
  • the configuration of the motion information processing apparatus 100 in the first to sixth embodiments described above is merely an example, and the integration and separation of each unit can be appropriately performed.
  • the motion information storage unit 131 and the recognition information storage unit 132 are integrated, or the specifying unit 142 is separated into a calculation unit that calculates a distance between joints and a comparison unit that compares the calculated value with a threshold value. It is possible to
  • the configuration of the motion information processing apparatus 200 in the seventh to tenth embodiments described above is merely an example, and the integration and separation of each unit can be performed as appropriate.
  • the configuration of the motion information processing apparatus 300 in the eleventh to twelfth embodiments is merely an example, and the integration and separation of each unit can be performed as appropriate.
  • the acquisition unit 341 and the generation unit 342 can be integrated.
  • the functions of the acquisition unit 241 and the determination unit 243 described in the seventh to tenth embodiments can be realized by software.
  • the functions of the acquisition unit 241 and the determination unit 243 are realized by causing a computer to execute a medical information processing program that defines the processing procedure described as being performed by the acquisition unit 241 and the determination unit 243 in the above embodiment. Is done.
  • the medical information processing program is stored in, for example, a hard disk or a semiconductor memory device, and is read and executed by a processor such as a CPU or MPU.
  • This medical information processing program can be recorded on a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory), MO (Magnetic Optical disk), DVD (Digital Versatile Disc), and distributed. .
  • the functions of the acquisition unit 341 and the generation unit 342 described in the eleventh to twelfth embodiments can also be realized by software.
  • the functions of the acquisition unit 341 and the generation unit 342 are realized by causing a computer to execute a medical information processing program that defines the processing procedure described as being performed by the acquisition unit 341 and the generation unit 342 in the above embodiment. Is done.
  • the medical information processing program is stored in, for example, a hard disk or a semiconductor memory device, and is read and executed by a processor such as a CPU or MPU.
  • This medical information processing program is recorded on a computer-readable recording medium such as CD-ROM (Compact Disc-Read Only Memory), MO (Magnetic Optical disk), DVD (Digital Versatile Disc), and distributed. obtain.
  • the rehabilitation rule information and recommended assistance status shown in the first to ninth embodiments are not limited to those specified by the Japanese Orthopedic Association and other various organizations. It may be a case where what was done is used.
  • SICOT International Society of Orthopedic Surgery and Traumology
  • AAOS American Academy of Orthopedic Surgeons
  • EORS European Orthopedic Research Society
  • ISPRM International Society of Physical and Rehabilitation Medicine
  • AAPM & R American Physical Therapy Rehabilitation Society

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

　実施の形態の動作情報処理装置（１００）は、取得部（１４１）と、特定部（１４２）とを備える。取得部（１４１）は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部（１４２）は、前記取得部（１４１）によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。

Description

動作情報処理装置
　本発明の実施の形態は、動作情報処理装置に関する。
　従来、リハビリテーション（rehabilitation）においては、疾病や外傷、老化現象などの様々な原因により生じた心身の障害や、先天的な障害を有する者がより良い生活を送ることを目的として、多数の専門家による連携した支援が行われている。例えば、リハビリテーションは、リハビリテーション専門医、リハビリテーション看護師、理学療法士、作業療法士、言語聴覚士、臨床心理士、義肢装具士、ソーシャルワーカーなどの多数の専門家によって連携した支援が行われている。
　一方、近年、人物や物体の動きをデジタル的に記録するモーションキャプチャ（motion　capture）技術の開発が進んでいる。モーションキャプチャ技術の方式としては、例えば、光学式、機械式、磁気式、カメラ式などが知られている。一例を挙げると、人物にマーカを装着させて、カメラなどのトラッカーによってマーカを検出し、検出したマーカを処理することにより人物の動きをデジタル的に記録するカメラ方式が知られている。また、マーカ及びトラッカーを用いない方式としては、赤外線センサを利用して、センサから人物までの距離を計測し、該人物の大きさや骨格のさまざまな動きを検出することで人物の動きをデジタル的に記録する方式が知られている。このような方式を利用したセンサとしては、例えば、Ｋｉｎｅｃｔ（登録商標）が知られている。
特開平９－５６６９７号公報
　本発明が解決しようとする課題は、対象者以外を誤認識することを抑止することを可能にする動作情報処理装置を提供することである。
　実施の形態の動作情報処理装置は、取得部と、特定部とを備える。取得部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部は、前記取得部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。
図１は、第１の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図２Ａは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｂは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図２Ｃは、第１の実施形態に係る動作情報生成部の処理を説明するための図である。 図３は、第１の実施形態に係る動作情報生成部によって生成される骨格情報の一例を示す図である。 図４は、第１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図５は、第１の実施形態に係る取得部によって取得される骨格情報の一例を示す図である。 図６Ａは、第１の実施形態に係る特定部による処理の一例を説明するための図である。 図６Ｂは、第１の実施形態に係る特定部による処理の一例を説明するための図である。 図７は、第１の実施形態に係る特定部によって動作情報記憶部に格納される動作情報の一例を示す図である。 図８は、第１の実施形態に係る表示制御部によって表示される表示画像の一例を示す図である。 図９は、第１の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図１０は、第２の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図１１Ａは、第２の実施形態に係る認識情報記憶部によって記憶される認識情報の一例を示す図である。 図１１Ｂは、第２の実施形態に係る認識情報記憶部によって記憶される認識情報の一例を示す図である。 図１２Ａは、第２の実施形態に係る特定部による処理の一例を説明するための図である。 図１２Ｂは、第２の実施形態に係る特定部による処理の一例を説明するための図である。 図１３は、第２の実施形態に係る動作情報処理装置による処理の手順を示すフローチャートである。 図１４は、第３の実施形態に係る表示制御部によって表示される表示画像の一例を示す図である。 図１５は、第４の実施形態に係る入力部及び特定部による処理の一例を説明するための図である。 図１６は、第５の実施形態に係る特定部による処理の一例を説明するための図である。 図１７は、第６の実施形態に係る特定部による処理の一例を説明するための図である。 図１８Ａは、距離画像収集部によって撮影される距離画像の一例を示す図である。 図１８Ｂは、距離画像収集部によって撮影される距離画像の一例を示す図である。 図１９は、第７の実施形態に係る医用情報処理装置の詳細な構成例を示すブロック図である。 図２０は、対象者動作特徴記憶部に記憶される情報の一例を示す図である。 図２１は、介助者動作特徴記憶部に記憶される情報の一例を示す図である。 図２２は、対象者画像特徴記憶部に記憶される情報の一例を示す図である。 図２３は、介助者画像特徴記憶部に記憶される情報の一例を示す図である。 図２４は、生成部の処理を説明するための図である。 図２５は、格納部によって表示される表示画面の一例を示す図である。 図２６は、格納部によって表示される表示画面の一例を示す図である。 図２７は、第７の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図２８は、第７の実施形態に係る判定部における判定処理の処理手順の一例を説明するためのフローチャートである。 図２９は、第７の実施形態に係る動作情報処理装置の効果を説明するための図である。 図３０は、第８の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図３１は、個人特徴情報記憶部に記憶される情報の一例を示す図である。 図３２は、第８の実施形態に係る動作情報処理装置の処理手順の一例を説明するためのフローチャートである。 図３３は、第９の実施形態に係る動作情報処理装置の構成例を示すブロック図である。 図３４は、職員情報記憶部に記憶される情報の一例を示す図である。 図３５は、第１１の実施形態に係る動作情報処理システムの構成例を示すブロック図である。 図３６は、第１１の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図３７Ａは、第１１の実施形態に係る生成部の処理を説明するための図である。 図３７Ｂは、第１１の実施形態に係る生成部の処理を説明するための図である。 図３８は、第１１の実施形態に係る医用画像保管装置に格納される閲覧用動作情報の一例を示す図である。 図３９は、第１１の実施形態に係る動作情報処理装置による処理手順を示すフローチャートである。 図４０は、第１１の実施形態の変形例１に係る生成部の処理を説明するための図である。 図４１は、第１１の実施形態の変形例２に係る生成部の処理を説明するための図である。 図４２は、第１１の実施形態の変形例３に係る生成部の処理を説明するための図である。 図４３は、第１２の実施形態に係るワークステーションの詳細な構成例を示すブロック図である。 図４４は、表示用情報記憶部に記憶される情報の一例を示す図である。 図４５は、第１２の実施形態に係る表示制御部の処理を説明するための図である。 図４６は、第１３の実施形態に係る動作情報処理装置の詳細な構成例を示すブロック図である。 図４７は、第１３の実施形態に係る動作情報処理装置による処理手順を示すフローチャートである。 図４８は、サービス提供装置に適用される場合の一例を説明するための図である。
　以下、図面を参照して、実施形態に係る動作情報処理装置を説明する。なお、以下で説明する動作情報処理装置は、動作情報処理装置単体として用いられてもよく、或いは、例えば、カルテシステムや、リハビリ部門システムなどのシステムに組み込まれて用いられる場合であってもよい。
（第１の実施形態）
　図１は、第１の実施形態に係る動作情報処理装置１００の構成の一例を示す図である。第１の実施形態に係る動作情報処理装置１００は、例えば、医療機関や自宅、職場等において行われるリハビリテーションを支援する装置である。ここで、「リハビリテーション」とは、障害、慢性疾患、老年病など、治療期間が長期にわたる患者の潜在能力を高めて、生活機能ひいては、社会的機能を回復、促進するための技術や方法を指す。かかる技術や方法としては、例えば、生活機能、社会的機能を回復、促進するための機能訓練などが含まれる。ここで、機能訓練としては、例えば、歩行訓練や関節可動域訓練などが挙げられる。また、リハビリテーションの対象となる者を「対象者」と表記する。この対象者は、例えば、病人やけが人、高齢者、障害者等である。また、リハビリテーションが行われる際に、対象者を介助する者を「介助者」と表記する。この介助者は、例えば、医療機関に従事する医師、理学療法士、看護師等の医療従事者や、対象者を自宅で介護する介護士、家族、友人等である。また、リハビリテーションは、「リハビリ」とも略記する。
　図１に示すように、第１の実施形態において、動作情報処理装置１００は、動作情報収集部１０に接続される。
　動作情報収集部１０は、リハビリテーションが行われる空間における人物や物体等の動作を検知し、人物や物体等の動作を表す動作情報を収集する。なお、動作情報については、後述の動作情報生成部１４の処理を説明する際に詳述する。また、動作情報収集部１０としては、例えば、Ｋｉｎｅｃｔ（登録商標）が用いられる。
　図１に示すように、動作情報収集部１０は、カラー画像収集部１１と、距離画像収集部１２と、音声認識部１３と、動作情報生成部１４とを有する。なお、図１に示す動作情報収集部１０の構成は、あくまでも一例であり、実施形態はこれに限定されるものではない。
　カラー画像収集部１１は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、カラー画像情報を収集する。例えば、カラー画像収集部１１は、被写体表面で反射される光を受光素子で検知し、可視光を電気信号に変換する。そして、カラー画像収集部１１は、その電気信号をデジタルデータに変換することにより、撮影範囲に対応する１フレームのカラー画像情報を生成する。この１フレーム分のカラー画像情報には、例えば、撮影時刻情報と、この１フレームに含まれる各画素にＲＧＢ（Red　Green　Blue）値が対応付けられた情報とが含まれる。カラー画像収集部１１は、次々に検知される可視光から連続する複数フレームのカラー画像情報を生成することで、撮影範囲を動画撮影する。なお、カラー画像収集部１１によって生成されるカラー画像情報は、各画素のＲＧＢ値をビットマップに配置したカラー画像として出力されても良い。また、カラー画像収集部１１は、受光素子として、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＣＣＤ（Charge　Coupled　Device）を有する。
　距離画像収集部１２は、リハビリテーションが行われる空間における人物や物体等の被写体を撮影し、距離画像情報を収集する。例えば、距離画像収集部１２は、赤外線を周囲に照射し、照射波が被写体表面で反射された反射波を受光素子で検知する。そして、距離画像収集部１２は、照射波とその反射波との位相差や、照射から検知までの時間に基づいて、被写体と距離画像収集部１２との距離を求め、撮影範囲に対応する１フレームの距離画像情報を生成する。この１フレーム分の距離画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する被写体と距離画像収集部１２との距離が対応付けられた情報とが含まれる。距離画像収集部１２は、次々に検知される反射波から連続する複数フレームの距離画像情報を生成することで、撮影範囲を動画撮影する。なお、距離画像収集部１２によって生成される距離画像情報は、各画素の距離に応じた色の濃淡をビットマップに配置した距離画像として出力されても良い。また、距離画像収集部１２は、受光素子として、例えば、ＣＭＯＳやＣＣＤを有する。この受光素子は、カラー画像収集部１１で用いられる受光素子と共用されても良い。また、距離画像収集部１２によって算出される距離の単位は、例えば、メートル［ｍ］である。
　音声認識部１３は、周囲の音声を集音し、音源の方向特定及び音声認識を行う。音声認識部１３は、複数のマイクを備えたマイクアレイを有し、ビームフォーミングを行う。ビームフォーミングは、特定の方向からの音声を選択的に集音する技術である。例えば、音声認識部１３は、マイクアレイを用いたビームフォーミングによって、音源の方向を特定する。また、音声認識部１３は、既知の音声認識技術を用いて、集音した音声から単語を認識する。すなわち、音声認識部１３は、例えば、音声認識技術によって認識された単語、その単語が発せられた方向及びその単語を認識した時刻が対応付けられた情報を、音声認識結果として生成する。
　動作情報生成部１４は、人物や物体等の動作を表す動作情報を生成する。この動作情報は、例えば、人物の動作（ジェスチャー）を複数の姿勢（ポーズ）の連続として捉えることにより生成される。概要を説明すると、動作情報生成部１４は、まず、人体パターンを用いたパターンマッチングにより、距離画像収集部１２によって生成される距離画像情報から、人体の骨格を形成する各関節の座標を得る。距離画像情報から得られた各関節の座標は、距離画像の座標系(以下、「距離画像座標系」と呼ぶ)で表される値である。このため、動作情報生成部１４は、次に、距離画像座標系における各関節の座標を、リハビリテーションが行われる３次元空間の座標系（以下、「世界座標系」と呼ぶ）で表される値に変換する。この世界座標系で表される各関節の座標が、１フレーム分の骨格情報となる。また、複数フレーム分の骨格情報が、動作情報である。以下、第１の実施形態に係る動作情報生成部１４の処理を具体的に説明する。
　図２Ａから図２Ｃは、第１の実施形態に係る動作情報生成部１４の処理を説明するための図である。図２Ａには、距離画像収集部１２によって生成される距離画像の一例を示す。なお、図２Ａにおいては、説明の便宜上、線画で表現された画像を示すが、実際の距離画像は、距離に応じた色の濃淡で表現された画像等である。この距離画像において、各画素は、距離画像の左右方向における「画素位置Ｘ」と、距離画像の上下方向における「画素位置Ｙ」と、当該画素に対応する被写体と距離画像収集部１２との「距離Ｚ」とを対応付けた３次元の値を有する。以下では、距離画像座標系の座標の値を、この３次元の値（Ｘ，Ｙ，Ｚ）で表記する。
　第１の実施形態において、動作情報生成部１４は、様々な姿勢に対応する人体パターンを、例えば、学習により予め記憶している。動作情報生成部１４は、距離画像収集部１２によって距離画像情報が生成されるごとに、生成された各フレームの距離画像情報を取得する。そして、動作情報生成部１４は、取得した各フレームの距離画像情報に対して人体パターンを用いたパターンマッチングを行う。
　ここで、人体パターンについて説明する。図２Ｂには、人体パターンの一例を示す。第１の実施形態において、人体パターンは、距離画像情報とのパターンマッチングに用いられるパターンであるので、距離画像座標系で表現され、また、距離画像に描出される人物と同様、人体の表面の情報（以下、「人体表面」と呼ぶ）を有する。例えば、人体表面は、その人物の皮膚や衣服の表面に対応する。更に、人体パターンは、図２Ｂに示すように、人体の骨格を形成する各関節の情報を有する。すなわち、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。
　図２Ｂに示す例では、人体パターンは、関節２ａから関節２ｔまでの２０点の関節の情報を有する。このうち、関節２ａは、頭部に対応し、関節２ｂは、両肩の中央部に対応し、関節２ｃは、腰に対応し、関節２ｄは、臀部の中央部に対応する。また、関節２ｅは、右肩に対応し、関節２ｆは、右肘に対応し、関節２ｇは、右手首に対応し、関節２ｈは、右手に対応する。また、関節２ｉは、左肩に対応し、関節２ｊは、左肘に対応し、関節２ｋは、左手首に対応し、関節２ｌは、左手に対応する。また、関節２ｍは、右臀部に対応し、関節２ｎは、右膝に対応し、関節２ｏは、右足首に対応し、関節２ｐは、右足の足根に対応する。また、関節２ｑは、左臀部に対応し、関節２ｒは、左膝に対応し、関節２ｓは、左足首に対応し、関節２ｔは、左足の足根に対応する。
　なお、図２Ｂでは、人体パターンが２０点の関節の情報を有する場合を説明したが、実施形態はこれに限定されるものではなく、関節の位置及び数は操作者が任意に設定して良い。例えば、四肢の動きの変化のみを捉える場合には、関節２ａから関節２ｄまでのうち、関節２ｂ及び関節２ｃの情報は取得しなくても良い。また、右手の動きの変化を詳細に捉える場合には、関節２ｈのみならず、右手の指の関節を新たに設定して良い。なお、図２Ｂの関節２ａ、関節２ｈ、関節２ｌ、関節２ｐ、関節２ｔは、骨の末端部分であるためいわゆる関節とは異なるが、骨の位置及び向きを表す重要な点であるため、説明の便宜上、ここでは関節として説明する。
　動作情報生成部１４は、かかる人体パターンを用いて、各フレームの距離画像情報とのパターンマッチングを行う。例えば、動作情報生成部１４は、図２Ｂに示す人体パターンの人体表面と、図２Ａに示す距離画像とをパターンマッチングすることで、距離画像情報から、ある姿勢の人物を抽出する。こうして、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標を得る。また、上述したように、人体パターンにおいて、人体表面と各関節との相対的な位置関係は既知である。このため、動作情報生成部１４は、距離画像に描出された人物の人体表面の座標から、当該人物内の各関節の座標を算出する。こうして、図２Ｃに示すように、動作情報生成部１４は、距離画像情報から、人体の骨格を形成する各関節の座標を取得する。なお、ここで得られる各関節の座標は、距離座標系の座標である。
　なお、動作情報生成部１４は、パターンマッチングを行う際、各関節の位置関係を表す情報を補助的に用いても良い。各関節の位置関係を表す情報には、例えば、関節同士の連結関係（例えば、「関節２ａと関節２ｂとが連結」等）や、各関節の可動域が含まれる。関節は、２つ以上の骨を連結する部位である。姿勢の変化に応じて骨と骨とがなす角は変化するものであり、また、関節に応じてその可動域は異なる。例えば、可動域は、各関節が連結する骨同士がなす角の最大値及び最小値等で表される。例えば、動作情報生成部１４は、人体パターンを学習する際に、各関節の可動域も学習し、各関節に対応付けてこれを記憶する。
　続いて、動作情報生成部１４は、距離画像座標系における各関節の座標を、世界座標系で表される値に変換する。世界座標系とは、リハビリテーションが行われる３次元空間の座標系であり、例えば、動作情報収集部１０の位置を原点とし、水平方向をｘ軸、鉛直方向をｙ軸、ｘｙ平面に直交する方向をｚ軸とする座標系である。なお、このｚ軸方向の座標の値を「深度」と呼ぶことがある。
　ここで、距離画像座標系から世界座標系へ変換する処理について説明する。第１の実施形態において、動作情報生成部１４は、距離画像座標系から世界座標系へ変換するための変換式を予め記憶しているものとする。例えば、この変換式は、距離画像座標系の座標、及び当該座標に対応する反射光の入射角を入力として、世界座標系の座標を出力する。例えば、動作情報生成部１４は、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）、及び、当該座標に対応する反射光の入射角をこの変換式に入力して、ある関節の座標（Ｘ１，Ｙ１，Ｚ１）を世界座標系の座標（ｘ１，ｙ１，ｚ１）に変換する。なお、距離画像座標系の座標と、反射光の入射角との対応関係は既知であるので、動作情報生成部１４は、座標（Ｘ１，Ｙ１，Ｚ１）に対応する入射角を変換式に入力することができる。また、ここでは、動作情報生成部１４が距離画像座標系の座標を世界座標系の座標に変換する場合を説明したが、世界座標系の座標を距離座標系の座標に変換することも可能である。
　そして、動作情報生成部１４は、この世界座標系で表される各関節の座標から骨格情報を生成する。図３は、動作情報生成部１４によって生成される骨格情報の一例を示す図である。各フレームの骨格情報は、当該フレームの撮影時刻情報と、各関節の座標とを含む。例えば、動作情報生成部１４は、図３に示すように、関節識別情報と座標情報とを対応付けた骨格情報を生成する。なお、図３において、撮影時刻情報は図示を省略する。関節識別情報は、関節を識別するための識別情報であり、予め設定されている。例えば、関節識別情報「２ａ」は、頭部に対応し、関節識別情報「２ｂ」は、両肩の中央部に対応する。他の関節識別情報についても同様に、各関節識別情報は、それぞれ対応する関節を示す。また、座標情報は、各フレームにおける各関節の座標を世界座標系で示す。
　図３の１行目には、関節識別情報「２ａ」と、座標情報「（ｘ１，ｙ１，ｚ１）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて頭部が座標（ｘ１，ｙ１，ｚ１）の位置に存在することを表す。また、図３の２行目には、関節識別情報「２ｂ」と、座標情報「（ｘ２，ｙ２，ｚ２）」とが対応付けられている。つまり、図３の骨格情報は、あるフレームにおいて両肩の中央部が座標（ｘ２，ｙ２，ｚ２）の位置に存在することを表す。また、他の関節についても同様に、あるフレームにおいてそれぞれの関節がそれぞれの座標で表される位置に存在することを表す。
　このように、動作情報生成部１４は、距離画像収集部１２から各フレームの距離画像情報を取得するごとに、各フレームの距離画像情報に対してパターンマッチングを行い、距離画像座標系から世界座標系に変換することで、各フレームの骨格情報を生成する。そして、動作情報生成部１４は、生成した各フレームの骨格情報を、動作情報処理装置１００へ出力し、後述の動作情報記憶部１３１へ格納する。
　なお、動作情報生成部１４の処理は、上述した手法に限られるものではない。例えば、上述では、動作情報生成部１４が人体パターンを用いてパターンマッチングを行う手法を説明したが、実施形態はこれに限られるものではない。例えば、人体パターンに替えて、若しくは人体パターンとともに、部位別のパターンを用いてパターンマッチングを行う手法でも良い。
　また、例えば、上述では、動作情報生成部１４が距離画像情報から各関節の座標を得る手法を説明したが、実施形態はこれに限られるものではない。例えば、動作情報生成部１４が、距離画像情報とともにカラー画像情報を用いて各関節の座標を得る手法でも良い。この場合、例えば、動作情報生成部１４は、カラー画像の座標系で表現された人体パターンとカラー画像情報とでパターンマッチングを行い、カラー画像情報から人体表面の座標を得る。このカラー画像の座標系には、距離画像座標系でいう「距離Ｚ」の情報は含まれない。そこで、動作情報生成部１４は、例えば、この「距離Ｚ」の情報については距離画像情報から得て、これら２つの情報を用いた計算処理によって、各関節の世界座標系の座標を得る。
　また、動作情報生成部１４は、カラー画像収集部１１によって生成されたカラー画像情報、距離画像収集部１２によって生成された距離画像情報及び音声認識部１３によって出力された音声認識結果を、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。なお、カラー画像情報の画素位置及び距離画像情報の画素位置は、カラー画像収集部１１及び距離画像収集部１２の位置及び撮影方向に応じて予め対応付け可能である。このため、カラー画像情報の画素位置及び距離画像情報の画素位置は、動作情報生成部１４によって算出される世界座標系とも対応付けが可能である。更に、この対応付けと距離画像収集部１２により算出される距離［ｍ］を用いることで、身長や体の各部の長さ（腕の長さや腹部の長さ）を求めたり、カラー画像上で指定された２ピクセル間の距離を求めたりすることが可能である。また、同様に、カラー画像情報の撮影時刻情報及び距離画像情報の撮影時刻情報も、予め対応付け可能である。また、動作情報生成部１４は、音声認識結果と距離画像情報とを参照し、ある時刻に音声認識された単語が発せられた方向の付近に関節２ａがあれば、その関節２ａを含む人物が発した単語として出力可能である。更に、動作情報生成部１４は、各関節の位置関係を表す情報についても、必要に応じて動作情報処理装置１００へ適宜出力し、後述の動作情報記憶部１３１へ格納する。
　また、動作情報生成部１４は、世界座標系のｚ軸方向の座標の値である深度を用いて、撮影範囲に対応する１フレームの深度画像情報を生成する。この１フレーム分の深度画像情報には、例えば、撮影時刻情報と、撮影範囲に含まれる各画素に、その画素に対応する深度が対応付けられた情報とが含まれる。言い換えると、深度画像情報は、距離画像情報の各画素に対応付けられた距離情報に代えて深度情報を対応付けたものであり、距離画像情報と同様の距離画像座標系で各画素位置を表すことができる。動作情報生成部１４は、生成した深度画像情報を動作情報処理装置１００へ出力し、動作情報記憶部１３１に格納する。なお、深度画像情報は、各画素の深度に応じた色の濃淡をビットマップに配置した深度画像として出力されても良い。
　なお、ここでは、動作情報収集部１０によって一人の対象者の動作が検知される場合を説明したが、実施形態はこれに限定されるものではない。動作情報収集部１０の検知範囲に含まれていれば、動作情報収集部１０は、複数人の対象者の動作を検知しても良い。なお、同一フレームの距離画像情報に複数人の対象者が撮影される場合には、動作情報収集部１０は、同一フレームの距離画像情報から生成される複数人の対象者の骨格情報を対応付けて、これを動作情報として医用情報処理装置１００へ出力する。
　また、動作情報収集部１０の構成は、上記の構成に限定されるものではない。例えば、光学式、機械式、磁気式等、他のモーションキャプチャによって人物の動作を検出することで動作情報を生成する場合には、動作情報収集部１０は、必ずしも距離画像収集部１２を有していなくても良い。かかる場合、動作情報収集部１０は、モーションセンサとして、人物の動作を検知するために人体に装着させるマーカと、マーカを検出するセンサとを有する。そして、動作情報収集部１０は、モーションセンサを用いて人物の動作を検知して動作情報を生成する。また、動作情報収集部１０は、カラー画像収集部１１によって撮影した画像に含まれるマーカの位置を用いて、カラー画像情報の画素位置と動作情報の座標とを対応付けた上で、必要に応じて動作情報処理装置１００へ適宜出力する。また、例えば、動作情報収集部１０は、音声認識結果を動作情報処理装置１００へ出力しない場合には、音声認識部１３を有していなくても良い。
　更に、上述した実施形態において、動作情報収集部１０は、骨格情報として世界座標系の座標を出力したが、実施形態はこれに限られるものではない。例えば、動作情報収集部１０は、変換前の距離画像座標系の座標を出力し、距離画像座標系から世界座標系への変換は、必要に応じて、動作情報処理装置１００側で行ってもよい。
　図１の説明に戻る。動作情報処理装置１００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための処理を行う。具体的には、動作情報処理装置１００は、動作情報収集部１０によって収集された動作情報を含む画像情報を用いてリハビリを支援する際に、対象者以外を誤認識することを抑止する。
　上述したように、従来、リハビリの機能訓練として、種々の訓練が行われているが、例えば、歩行訓練のように広いスペースを用いて実施されるリハビリにおいては、上述した動作情報収集部１０は、リハビリを実施する対象者だけではなく、その他の人物や物（例えば、椅子や器具など）などの対象者以外の情報を収集してしまう場合がある。特に、小規模病院やクリニック（診療所）においては、リハビリ専用の大規模なスペースを確保することは困難であり、動作情報収集部１０が対象者以外の情報を収集してしまう場合がある。その結果、動作情報処理装置１００は、対象者以外の情報を対象者の情報として誤認識して処理を実行してしまい、各種リハビリ支援の処理に支障をきたす場合がある。そこで、本実施形態に係る動作情報処理装置１００は、対象者以外を誤認識することを抑止することを可能にするように構成される。
　例えば、動作情報処理装置１００は、コンピュータ、ワークステーション等の情報処理装置であり、図１に示すように、出力部１１０と、入力部１２０と、記憶部１３０と、制御部１４０とを有する。
　出力部１１０は、リハビリテーションを支援するための各種情報を出力する。例えば、出力部１１０は、リハビリを実施する対象者の動作情報を用いたリハビリを支援するための各種情報を出力する。具体的には、出力部１１０は、後述する制御部１４０によって特定された対象者の動作情報を用いた各種処理結果を出力する。また、出力部１１０は、医用情報処理装置１００を操作する操作者が入力部１２０を用いて各種要求を入力するためのＧＵＩ（Graphical　User　Interface）を表示したり、動作情報処理装置１００において生成された表示情報を表示したり、或いは警告音を出力したりする。例えば、出力部１１０は、モニタ、スピーカー、ヘッドフォン、ヘッドセットのヘッドフォン部分等である。また、出力部１１０は、メガネ型ディスプレイやヘッドマウントディスプレイ等、利用者の身体に装着させる方式のディスプレイであってもよい。
　入力部１２０は、リハビリテーションを支援するための各種情報の入力を受け付ける。例えば、入力部１２０は、対象者以外を誤認識することを抑止するための各種情報の入力を受け付ける。例えば、入力部１２０は、動作情報処理装置１００の操作者から各種要求（例えば、対象者であるか否かを判定するための所定の閾値の設定要求や、種々の情報の選択要求や、ＧＵＩ上で計測を実行させるための計測要求など）の入力を受け付け、受け付けた各種要求を医用情報処理装置１００に転送する。例えば、入力部１２０は、マウス、キーボード、タッチコマンドスクリーン、トラックボール、マイク、ヘッドセットのマイク部分等である。また、入力部１２０は、血圧計、心拍計、体温計等の生体情報を取得するセンサであっても良い。
　記憶部１３０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、ハードディスク装置や光ディスク装置等の記憶装置である。また、制御部１４０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路、或いはＣＰＵ（Central　Processing　Unit）が所定のプログラムを実行することで実現することができる。
　以上、第１の実施形態に係る動作情報処理装置１００の構成について説明した。かかる構成のもと、第１の実施形態に係る動作情報処理装置１００は、以下、詳細に説明する構成により、対象者以外を誤認識することを抑止する。なお、以下の実施形態においては、リハビリとして歩行訓練を行う場合を一例に挙げて説明する。図４は、第１の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。まず、動作情報処理装置１００における記憶部１３０について説明する。図４に示すように、動作情報処理装置１００においては、例えば、記憶部１３０が動作情報記憶部１３１を備える。
　動作情報記憶部１３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部１３１は、動作情報生成部１４によって生成された動作情報、及び、動作情報生成部１４によって生成された動作情報のうち後述する制御部１４０によって対象者の動作情報として特定された動作情報を記憶する。より具体的には、動作情報記憶部１３１は、制御部１４０によって対象者の動作情報として特定された動作情報において、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部１３１、動作情報生成部１４によって出力されたカラー画像情報、距離画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。なお、制御部１４０によって対象者の動作情報として特定され、動作情報記憶部１３１によって記憶される動作情報の詳細については、後に詳述する。
　次に、動作情報処理装置１００の制御部１４０の詳細について説明する。図４に示すように、動作情報処理装置１００においては、例えば、制御部１４０が取得部１４１と、特定部１４２と、表示制御部１４３とを備える。
　取得部１４１は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。具体的には、取得部１４１は、動作情報収集部１０によって収集され、動作情報記憶部１３１によって記憶された動作情報を取得する。例えば、取得部１４１は、動作情報記憶部１３１によってフレームごとに記憶されたカラー画像情報、距離画像情報、音声認識結果及び骨格情報などを取得する。
　ここで、上述したように、動作情報収集部１０においては、リハビリを実施する対象者以外の情報を収集する場合がある。特に、狭いスペースで、そのほとんどのスペースを用いてリハビリが実施される場合などは、対象者以外の人物や物が動作情報収集に対象領域内に含まれやすく、動作情報収集部１０は、それらの情報を収集して、動作情報記憶部１３１に格納する場合がある。取得部１４１は、それらの情報を含めたフレームごとの動作情報を取得する。すなわち、動作情報収集部１０によって対象者以外の骨格情報が収集された場合、取得部１４１は、各フレームに対象者の骨格情報及び対象者以外の骨格情報を含む動作情報を取得する。なお、かかる場合には、カラー画像情報や、距離画像情報においても、対象者の情報及び対象者以外の情報が含まれ、取得部１４１は、それらの情報も取得することが可能である。
　図５は、第１の実施形態に係る取得部１４１によって取得される骨格情報の一例を示す図である。ここで、図５においては、動作情報収集部１０が、動作情報収集の対象となる領域内で図中矢印の方向に歩行訓練を実施する対象者に対応する骨格情報に加えて、領域内に置かれた椅子に対しても骨格情報を収集した場合の一例を示す。例えば、動作情報収集部１０は、フレームごとに、図５に示すように、人体の各部位に対応する各関節２ａ1～２ｔ1を含む骨格情報と、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報とを収集して、動作情報記憶部１３１に格納する。
　かかる場合には、取得部１４１は、対象者の歩行訓練における一連の動作中に収集された全てのフレームにそれぞれ含まれる２種類の骨格情報（各関節２ａ1～２ｔ1を含む骨格情報、及び、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2））を取得する。ここで、取得部１４１は、上述した骨格情報だけではなく、各フレームにおけるカラー画像情報及び距離画像情報などを取得することも可能である。
　図４に戻って、特定部１４２は、取得部１４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。具体的には、特定部１４２は、取得部１４１によって取得された画像情報から対象者を示す対象者情報を所定の特徴として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。例えば、特定部１４２は、画像情報に含まれる動体を示す情報対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。ここで、特定部１４２は、取得部１４１によって取得された経時的な画像情報において、対象者の周囲の３次元空間内で位置を変化させる物体を動体とする。
　図６Ａ及び図６Ｂは、第１の実施形態に係る特定部１４２による処理の一例を説明するための図である。図６Ａ及び図６Ｂにおいては、図５に示す動作情報収集部１０によって収集された動作情報を用いた処理の一例を示す。例えば、特定部１４２は、図６Ａに示すように、動作情報収集部１０によって収集された動作情報の「Ｔ秒」フレームの画像と、「Ｔ＋ｔ秒」フレームの画像とを読み出す。そして、特定部１４２は、読み出した画像から動作情報が収集された３次元空間内の動体（動いている人や、物）を抽出する。
　一例を挙げると、特定部１４２は、図６Ｂに示すように、Ｔ秒フレームの画像である「Ｔ秒画像」と、（Ｔ＋ｔ）秒フレームの画像である「（Ｔ＋ｔ）秒画像」との差分から動体を抽出して、抽出した動体を含む所定の領域を、動作情報を特定するための認識対象領域Ｒ１として設定する。ここで、図５に示すように、動作情報収集部１０に向かって歩行訓練が実施されている場合には、例えば、特定部１４２は、「Ｔ秒画像」及び「（Ｔ＋ｔ）秒画像」の各画素における深度を差分することで、画像内の深度の情報が変化した画素を抽出する。なお、椅子のように動きのないものは深度の情報が変化しないため差分すると「０」となり、対象者以外のものとして消去することができる。そして、特定部１４２は、深度の情報が変化した画素に対して、例えば、モルフォロジー演算などの領域膨張処理を施すことで、認識対象領域Ｒ１を設定する。
　すなわち、特定部１４２は、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との差分を算出することで、画像内の動体に対応する画素を抽出する。そして、特定部１４２は、抽出した画素に対して領域膨張処理を施すことで、動体全体が含まれる認識対象領域Ｒ１を設定する。そして、特定部１４２は、設定した認識対象領域Ｒ１に含まれる動作情報を対象者の動作情報として特定する。例えば、特定部１４２は、図５に示す各関節２ａ1～２ｔ1を含む骨格情報を、リハビリを実施する対象者の動作情報として特定する。
　ここで、上述した例では、対象者が動作情報収集部１０に向かって歩行訓練を行う場合について説明したが、実施形態はこれに限定されるものではなく、例えば、動作情報収集部１０の前を横切るように歩行訓練が実施される場合であってもよい。かかる場合においても、上述した例と同様に深度の差分を算出することで、深度の情報が変化した画素を抽出して認識対象領域を設定することができる。
　また、上述した例では、深度の情報の変化に基づいて動体を抽出する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、カラー画像情報における画素値を用いる場合であってもよい。かかる場合には、例えば、「Ｔ秒」フレームのカラー画像の画素値と、「（Ｔ＋ｔ）秒」フレームのカラー画像の画素値とを差分することで、画素値に変化が生じた画素を抽出して認識対象領域を設定する。
　また、例えば、サーモグラフィによって温度情報をフレームごとに収集して、収集した温度情報の差分を「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との間で算出することで、温度情報に変化が生じた画素を抽出して認識対象領域を設定することを可能である。
　また、上述した例では、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」との２フレームの画像の差分から動体を抽出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、３フレーム以上の画像の差分から動体を抽出する場合であってもよい。一例を挙げると、「Ｔ秒画像」、「（Ｔ＋ｔ）秒画像」及び「（Ｔ＋２ｔ）秒画像」の深度をそれぞれ差分して、深度が段階的に浅くなる（或いは、深くなる）領域、或いは、深度が経時的に一方向に変化する領域などを抽出して、抽出した領域を認識対象領域として設定する場合であってもよい。これにより、例えば、歩行訓練を実施している対象者以外の人物の動作情報が動作情報収集部１０によって収集された場合であっても、歩行訓練などの規則的な動きを実施している対象者を的確に識別することができる。
　特定部１４２は、上述した種々の方法により設定した認識対象領域Ｒ１に含まれる動作情報（骨格情報）を対象者の動作情報（骨格情報）として特定する。そして、特定部１４２は、特定した骨格情報を、動作情報収集部１０によって収集されたカラー画像情報や距離画像情報などと対応付けて動作情報記憶部１３１に格納する。
　図７は、第１の実施形態に係る特定部１４２によって動作情報記憶部１３１に格納される動作情報の一例を示す図である。特定部１４２は、図７に示すように、氏名ごとに、氏名番号と、実施日と、動作情報とを対応付けた動作情報を動作情報記憶部１３１に格納する。ここで、「氏名番号」とは、対象者を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、対象者がリハビリ（例えば、歩行訓練など）を実施した日時を示す。「動作情報」とは、動作情報収集部１０によって収集された情報を示す。
　例えば、特定部１４２は、図７に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿１、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。上記した情報は、「氏名番号」が「１」である「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行訓練における動作情報として、「カラー画像情報」と、「距離画像情報」と、「音声認識結果」と、「骨格情報」とを含む動作情報が記憶されていることを示す。
　ここで、特定部１４２は、図７に示す骨格情報として、対象者の骨格情報として特定した骨格情報を対応付けて格納する。また、特定部１４２は、図７に示す動作情報として、歩行訓練を実行している際に撮影された全てのフレームごとの「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて格納する。
　また、特定部１４２は、図７に示すように、「氏名：Ａ、氏名番号：１、実施日：２０１２０８０１＿２、動作情報：カラー画像情報、距離画像情報、音声認識結果、骨格情報、・」を記憶する。すなわち、特定部１４２は、「氏名：Ａ」の人物が「２０１２年」の「８月１日」に実施した「２回目」の歩行訓練における動作情報も同様に格納する。ここで、「２回目」の歩行訓練においても、対象者の骨格情報として特定された骨格情報が対応付けて格納される。
　また、特定部１４２は、図７に示すように、「氏名：Ｂ、氏名番号：２」の人物についても、「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」を含む動作情報を格納する。このように、特定部１４２は、対象者ごとに収集された歩行訓練の動作情報を、それぞれの対象者に対応付けて格納する。なお、図７に示す動作情報はあくまでも一例である。すなわち、特定部１４２は、図７に示す「カラー画像情報」、「距離画像情報」、「音声認識結果」及び「骨格情報」以外の情報をさらに対応付けて格納することができ、また、例えば、動作情報収集部１０が音声認識部１３を有さない場合には、音声認識結果が含まれないものとして格納することとなる。
　また、動作情報に含まれる「カラー画像情報」及び「距離画像情報」には、ＢＩＴ　ＭＡＰ、ＪＰＥＧ、その他バイナリ形式の画像データ、または、当該画像データへのリンク等が含まれる。また、動作情報に含まれる「音声認識結果」には、上述した認識情報の他、音声データそのものや、認識情報或いは音声データへのリンクであってもよい。
　図４に戻って、表示制御部１４３は、画像情報において、特定部１４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。具体的には、表示制御部１４３は、特定部１４２によって動作情報記憶部１３１に格納された動作情報を用いて、表示画像を表示させる。図８は、第１の実施形態に係る表示制御部１４３によって表示される表示画像の一例を示す図である。例えば、表示制御部１４３は、図８に示すように、動作情報収集部１０によって収集されたカラー画像情報に対して、特定部１４２が特定した骨格情報を示す点と線を重畳させた表示画像を出力部１１０に表示させるように制御する。
　このように、特定部１４２によって対象者の動作情報として特定された骨格情報をカラー画像情報に重畳させることで、カラー画像情報に含まれる対象者上に適切に骨格情報を重畳させた表示情報を表示させることができる。
　次に、図９を用いて、第１の実施形態に係る動作情報処理装置１００の処理について説明する。図９は、第１の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。図９に示すように、第１の実施形態に係る動作情報処理装置１００においては、取得部１４１が、対象者の動作情報を取得する（ステップＳ１０１）。そして、特定部１４２は、対象者以外を誤認識することを抑止するための誤認識抑止機能がＯＮであるか否かを判定する（ステップＳ１０２）。
　ここで、誤認識抑止機能がＯＮである場合には（ステップＳ１０２肯定）、特定部１４２は、「Ｔ秒画像」と「（Ｔ＋ｔ）秒画像」とを取得して、「Ｔ秒画像－（Ｔ＋ｔ）秒画像」を算出する（ステップＳ１０３）。そして、特定部１４２は、領域膨張処理を実行して、認識対象領域を抽出する（ステップＳ１０４）。
　そののち、特定部１４２は、抽出した認識対象領域内の動作情報（骨格情報）を特定して（ステップＳ１０５）、特定した動作情報（骨格情報）を動作情報記憶部１３１に格納する（ステップＳ１０６）。
　一方、ステップＳ１０２において、誤認識抑止機能がＯＮではない場合には（ステップＳ１０２否定）、特定部１４２による特定が行われずに動作情報が動作情報記憶部１３１に格納される（ステップＳ１０６）。
　そして、表示制御部１４３は、動作情報記憶部１３１に格納された動作情報に基づいて、表示画像を生成して、出力部１１０にて表示させるように制御する（ステップＳ１０７）。なお、上述した処理の例では、骨格情報を保存する際に認識対象領域を抽出して、抽出した認識対象領域内の動作情報を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、任意のタイミングで実行される場合であってもよい。例えば、動作情報の取得時にリアルタイムで実行される場合であってもよい。
　上述したように、第１の実施形態によれば、取得部１４１は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。特定部１４２は、取得部１４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報のなかから、対象者の動作情報を特定することができ、対象者以外を誤認識することを抑止することを可能にする。
　その結果、動作情報処理装置１００は、動作情報収集部１０によって収集された動作情報を用いたリハビリ支援において、対象者の動作情報（骨格情報）を用いた的確なリハビリ支援を行うことを可能にする。
　また、第１の実施形態によれば、特定部１４２は、取得部１４１によって取得された画像情報から対象者を示す対象者情報を所定の特徴として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報に含まれる対象者の動作情報を的確に抽出することを可能にする。
　また、第１の実施形態によれば、特定部１４２は、画像情報に含まれる動体を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第１の実施形態に係る動作情報処理装置１００は、動作情報収集部１０によって収集された情報から容易に対象者の動作情報を抽出することを可能にする。
　また、第１の実施形態によれば、特定部１４２は、取得部１４１によって取得された経時的な画像情報において、対象者の周囲の３次元空間内で位置を変化させる物体を動体とする。従って、第１の実施形態に係る動作情報処理装置１００は、動体を容易に抽出することを可能にする。
　また、第１の実施形態によれば、表示制御部１４３は、画像情報において、特定部１４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。従って、第１の実施形態に係る動作情報処理装置１００は、カラー画像の対象者上に的確に情報を重畳した表示画像を提供することを可能にする。
（第２の実施形態）
　上述した第１の実施形態では、画像情報に含まれる所定の特徴として動体を用いる場合について説明した。第２の実施形態においては、人体の骨格情報に沿った条件を用いる場合について説明する。なお、以下で説明する判定は、第１の実施形態で説明した対象者の動作情報の特定に付加的に用いられる場合であってもよく、或いは、単独で用いられる場合であってもよい。
　図１０は、第２の実施形態に係る動作情報処理装置１００の詳細な構成の一例を示す図である。図１０に示す第２の実施形態に係る動作情報処理装置１００は、図４に示す第１の実施形態に係る動作情報処理装置１００と比較して、記憶部１３０が新たに認識情報記憶部１３２を有する点と、特定部１４２による処理が異なる。以下、これらを中心に説明する。
　認識情報記憶部１３２は、動作情報収集部１０によって収集された動作情報に含まれる骨格情報のうち、対象者の骨格情報を特定するための認識情報を記憶する。具体的には、認識情報記憶部１３２は、動作情報に含まれる骨格情報のうち、人体の骨格を示す骨格情報を識別するための情報を記憶する。図１１Ａ及び図１１Ｂは、第２の実施形態に係る認識情報記憶部１３２によって記憶される認識情報の一例を示す図である。
　例えば、認識情報記憶部１３２は、図１１Ａに示すように、部位と範囲とを対応付けた認識情報を記憶する。ここで、図１１Ａに示す「部位」とは、人体における部位を示す。また、図１１Ａに示す「範囲」とは、人体の骨格としてとりうる範囲を示す。例えば、認識情報記憶部１３２は、図１１Ａに示すように、「部位：身長［ｃｍ］、範囲：１００ｃｍ－２００ｃｍ」とする認識情報を記憶する。上述した情報は、「身長」が「１００ｃｍ－２００ｃｍ」の骨格情報は人体の骨格情報であることを示す。
　同様に、認識情報記憶部１３２は、図１１Ａに示すように、「部位：腕の長さ［ｃｍ］、範囲：６０ｃｍ－８０ｃｍ」とする認識情報を記憶する。このように、認識情報記憶部１３２は、人体の種々の部位ごとに、当該部位を識別するための範囲がそれぞれ設定された認識情報を記憶する。
　また、認識情報記憶部１３２は、図１１Ｂに示すように、部位と、平均と、分散とを対応付けた認識情報を記憶することもできる。ここで、図１１Ｂに示す「部位」とは、人体における部位を示す。また、図１１Ｂに示す「平均」とは、対応する部位の人体の骨格としての平均を示す。また、図１１Ｂに示す「分散」とは、対応する部位の平均からの分散を示す。
　例えば、認識情報記憶部１３２は、図１１Ｂに示すように、「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」とする認識情報を記憶する。上述した情報は、人体の骨格として「肩幅」は、「平均」が「６０ｃｍ」であり、「分散（肩幅としてとりうる範囲）」の程度が「１σ」であることを意味する。同様に、認識情報記憶部１３２は、図１１Ｂに示すように、「部位：頭から腰までの長さ［ｃｍ］、平均：８５ｃｍ、分散：２σ」や、「部位：左腕の角度、平均：８０°、分散：４σ」などを記憶する。このように、認識情報記憶部１３２は、人体の種々の部位ごとに、当該部位を識別するための平均及び分散がそれぞれ設定された認識情報を記憶する。
　なお、図１１Ａ及び図１１Ｂに示した例はあくまでも一例であり、認識情報は任意に設定させることが可能である。例えば、部位や、範囲、平均、分散などは、操作者によって任意に設定することができる。また、条件として用いる認識情報は、種々に組み合わせて用いることができる。例えば、図１１Ａ及び図１１Ｂに示す情報が全て必須である場合であってもよく、或いは、身長と腕の長さのみが必須である場合であってもよい。または、例えば、肩幅又は左腕の角度のどちらかを満たしていればよい場合であってもよい。
　図１０に戻って、第２の実施形態に係る特定部１４２は、画像情報に含まれる人体の骨格を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。ここで、特定部１４２は、画像情報に含まれる関節点の情報のうち、人体の構造に沿った関節点の集合を人体の骨格を示す情報とする。図１２Ａ及び図１２Ｂは、第２の実施形態に係る特定部１４２による処理の一例を説明するための図である。ここで、図１２Ａにおいては、図１１Ａに示す認識情報を用いる場合の処理について示す。また、図１２Ｂにおいては、図１１Ｂに示す認識情報を用いる場合の処理について示す。
　まず、図１１Ａに示す認識情報を用いる場合の処理について説明する。例えば、第２の実施形態に係る特定部１４２は、図１２Ａに示すように、動作情報収集部１０によって収集され、動作情報記憶部１３１に記憶された１フレーム分の動作情報を読み出し、読み出した動作情報に含まれる骨格情報に対して、図１１Ａに示す認識情報を用いた処理を実施する。一例を挙げると、特定部１４２は、図１１Ａの識別情報「部位：身長［ｃｍ］、範囲：１００ｃｍ－２００ｃｍ」を参照して、身長の情報を用いた特定処理を実行する。すなわち、特定部１４２は、例えば、図１２Ａに示す頭に対応する関節「２ａ1」のｙ座標の値と左足の足根に対応する関節「２ｔ1」のｙ座標の値とから身長「ａ」を算出する。そして、特定部１４２は、算出した身長「ａ」が「１００ｃｍ－２００ｃｍ」の範囲内にある場合、関節「２ａ1」及び関節「２ｔ1」を含む骨格情報を対象者の骨格情報として特定する。
　また、特定部１４２は、図１２Ａに示す頭に対応する関節「２ａ2」のｙ座標の値と左足の足首に対応する関節「２ｓ2」のｙ座標の値とから身長「ｂ」を算出する。そして、特定部１４２は、算出した身長「ｂ」が「１００ｃｍ－２００ｃｍ」の範囲にない場合、関節「２ａ1」及び関節「２ｔ1」を含む骨格情報を対象者の骨格情報ではないと特定する。なお、図１２Ａにおいては、身長を用いた特定について示したが、実施形態はこれに限定されるものではない。すなわち、種々の部位について、範囲を用いた特定処理を実行することが可能である。また、上記した例では、身長だけで特定する場合について説明したが、実施形態はこれに限定されるものではなく、例えば、２つ以上の部位の範囲を用いて総合的に判定して、対象者の動作情報を特定する場合であってもよい。
　なお、上述した例では、頭に対応する関節及び左足に対応する関節のｙ座標を用いて、身長「ａ」及び身長「ｂ」をそれぞれ算出する場合について説明した。本実施形態に係る医用情報処理装置１００は、上述した簡易的な方法で身長を算出することで、処理速度を向上させて、効率よく処理することができるが、実施形態はこれに限定されるものではなく、例えば、頭に対応する関節及び左足に対応する関節それぞれの３次元座標を用いて身長を算出することも可能である。例えば、頭に対応する関節「２ａ1」のｘの値、ｙの値、ｚの値と、左足の足根に対応する関節「２ｔ1」のｘの値、ｙの値、ｚの値とを用いて、身長「ａ」を算出する場合であってもよい。これにより、本実施形態に係る動作画像処理装置１００は、より正確な判定を行なうことが可能である。
　次に、図１１Ｂに示す認識情報を用いる場合の処理について説明する。例えば、第２の実施形態に係る特定部１４２は、図１２Ｂに示すように、動作情報収集部１０によって収集され、動作情報記憶部１３１に記憶された１フレーム分の動作情報を読み出し、読み出した動作情報に含まれる骨格情報に対して、図１１Ｂに示す認識情報を用いた処理を実施する。一例を挙げると、特定部１４２は、図１１Ｂの識別情報「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」を参照して、肩幅の情報を用いた特定処理を実行する。
　すなわち、特定部１４２は、図１２Ｂに示す右肩に対応する関節「２ｅ1」のｘ座標の値と左肩に対応する関節「２ｉ1」のｘ座標の値とから「肩幅：５９ｃｍ」を算出する。そして、特定部１４２は、識別情報「部位：肩幅［ｃｍ］、平均：６０ｃｍ、分散：１σ」を参照して、算出した「肩幅：５９ｃｍ」が人体の肩幅としてどの程度の確率であるかを算出する。すなわち、特定部１４２は、図１２Ｂに示すように、人体の肩幅である確率「９９．９％」を算出する。なお、上述した例では、右肩に対応する関節及び左肩に対応する関節のｘ座標を用いて、肩幅を算出する場合について説明したが、実施形態はこれに限定されるものではなく、右肩に対応する関節及び左肩に対応する関節の３次元座標を用いて肩幅を算出する場合であってもよい。
　ここで、特定部１４２は、算出した確率「９９．９％」に基づいて対象者の骨格情報を特定する場合であってもよいが、さらに複数の部位について人体の骨格としての確からしさを算出して、算出した情報に基づいて骨格情報を特定する場合であってもよい。例えば、特定部１４２は、図１２Ｂに示すように、頭に対応する関節「２ａ1」と腰に対応する関節「２ｄ1」とから「頭から腰までの長さ：１００ｃｍ」を算出し、さらに、「左腕の角度：８０°」を算出する。
　そして、特定部１４２は、肩幅の場合と同様に、認識情報を参照して、例えば、「頭から腰までの長さ」の「確率：９９．８％」を算出する。同様に、特定部１４２は、認識情報を参照して、例えば、「左腕の角度」の「確率：１００％」を算出する。そして、特定部１４２は、算出した確率を用いて対象者の動作情報の特定処理を実行する。ここで、特定部１４２は、３つ（肩幅、頭から腰までの長さ、左腕の角度）の確率それぞれを閾値と比較して特定処理を実行する場合であってもよく、或いは、３つの確率を乗算した値を閾値と比較して特定処理を実行する場合であってもよい。
　例えば、特定部１４２は、「肩幅の確率：９９．９％」と「頭から腰まで長さの確率：９９．８％」と「左腕の角度：１００％」とを乗算した「９９．７％」を所定の閾値と比較して、所定の閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する。なお、所定の閾値は任意に設定することが可能である。また、３つの確率それぞれを閾値と比較する場合には、例えば、３つ全てが閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する場合であってもよく、或いは、３つのうち２つが閾値を超えた場合に対応する骨格情報を対象者の骨格情報として特定する場合であってもよい。なお、これらの閾値についても任意に設定することが可能である。
　特定部１４２は、上記した処理と同様の処理を図１２Ｂの各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報を用いて実行する。すなわち、特定部１４２は、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）の座標を用いて、肩幅や、頭から腰までの長さなどを算出して、人体の骨格としての確率をする。そして、特定部１４２は、所定の閾値と比較することで、各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）を含む骨格情報が対象者の骨格情報であるか否かを特定する。例えば、図１２Ｂに示す椅子の骨格情報「各関節（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）」の場合、人体の骨格とはかけ離れているため、特定部１４２は、対象者の骨格情報ではないと特定することとなる。
　次に、図１３を用いて、第２の実施形態に係る動作情報処理装置１００の処理について説明する。図１３は、第２の実施形態に係る動作情報処理装置１００による処理の手順を示すフローチャートである。図１３に示すように、第２の実施形態に係る動作情報処理装置１００においては、取得部１４１が、対象者の動作情報を取得する（ステップＳ２０１）。そして、特定部１４２は、動作情報収集部１０によって収集された動作情報において、誤認識抑止機能がＯＮであるか否かを判定する（ステップＳ２０２）。
　ここで、誤認識抑止機能がＯＮである場合には（ステップＳ２０２肯定）、特定部１４２は、認識情報を読み出し（ステップＳ２０３）、読み出した認識情報に基づいて、対象者の動作情報を特定する（ステップＳ２０４）。そののち、特定部１４２は、特定した動作情報（骨格情報）を動作情報記憶部１３１に格納する（ステップＳ２０５）。
　一方、ステップＳ２０２において、誤認識抑止機能がＯＮではない場合には（ステップＳ２０２否定）、特定部１４２による特定が行われずに動作情報が動作情報記憶部１３１に格納される（ステップＳ２０５）。そして、表示制御部１４３は、動作情報記憶部１３１に格納された動作情報に基づいて、表示画像を生成して、出力部１１０にて表示させるように制御する（ステップＳ２０６）。
　上述したように、第２の実施形態によれば、特定部１４２は、画像情報に含まれる人体の骨格を示す情報を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第２の実施形態に係る動作情報処理装置１００は、動体として人を抽出することができ、対象者以外を誤認識することをより抑止することを可能にする。
　また、第２の実施形態によれば、特定部１４２は、画像情報に含まれる関節点の情報のうち、人体の構造に沿った関節点の集合を人体の骨格を示す情報とする。従って、第２の実施形態に係る動作情報処理装置１００は、動体として高精度に人を抽出することを可能にする。
（第３の実施形態）
　第３の実施形態では、動作情報収集部１０によって収集された骨格情報において、認識された関節点の数によって対象者の骨格情報を特定する場合について説明する。第３の実施形態においては、特定部１４２の処理内容が、第１及び第２の実施形態と異なる。以下、これを中心に説明する。
　第３の実施形態に係る特定部１４２は、画像情報に含まれる関節点の情報において、１つの骨格情報として収集された関節点の個数に基づいて、当該骨格情報が対象者の骨格情報であるかを特定する。図５に示す骨格情報を一例にあげて説明すると、特定部１４２は、２０の関節点（関節２ａ1～２ｔ1）が認識された骨格情報と、１０の関節点（２ａ2、２ｄ2、２ｅ2、２ｉ2、２ｍ2、２ｎ2、２ｏ2、２ｑ2、２ｒ2、２ｓ2）が認識された骨格情報とをそれぞれ所定の閾値と比較して、対象者の骨格情報を特定する。例えば、閾値が関節点の数「１５」であると、特定部１４２は、２０の関節点（関節２ａ1～２ｔ1）が認識された骨格情報を対象者の骨格情報として特定する。
　ここで、動作情報収集部１０において関節点の認識の確からしさが出力される場合には、特定部１４２は、所定の確からしさを備えた関節点の個数をカウントして、閾値と比較する。そして、特定部１４２は、所定の確からしさを備えた関節点の個数が所定の閾値を超えた骨格情報を対象者の骨格情報として特定して、動作情報記憶部１３１に格納する。このとき、特定部１４２は、特定した骨格情報の関節点に認識の確からしさの情報を対応付けて格納することが可能である。
　かかる場合には、第３の実施形態に係る表示制御部１４３は、関節点の確からしさの情報を反映した表示画像を生成して、表示することが可能である。図１４は、第３の実施形態に係る表示制御部１４３によって表示される表示画像の一例を示す図である。例えば、表示制御部１４３は、図１４に示すように、関節点の認識において所定の確からしさを備えた関節点については、黒丸で示し、黒丸間の骨を実線で示した情報を重畳させ、関節点の認識において所定の確からしさを備えていない関節点については、白抜きの小さい丸で示し、白抜きの小さい丸に接続される骨を点線で示した情報を重畳させた表示画像を生成して表示させる。
　上述したように、第３の実施形態によれば、特定部１４２は、認識された関節点の個数に基づいて、対象者の骨格情報を特定する。従って、第３の実施形態に係る動作情報処理装置１００は、簡便な方法で対象者の骨格情報を特定することを可能にする。
（第４の実施形態）
　上述した第１～第３の実施形態では、動作情報収集部１０によって動作情報が収集された全領域から対象者の骨格情報を特定する場合について説明した。第４の実施形態では、操作者によって認識対象領域が指定される場合について説明する。第４の実施形態においては、入力部１２０によって受け付ける指示と、特定部１４２による処理内容が第１～第３の実施形態と異なる。以下、これらを中心に説明する。
　第４の実施形態に係る入力部１２０は、画像情報における所定の領域を指定するための指定操作を受け付ける。具体的には、入力部１２０は、対象者を認識するための認識対象領域を指定するための入力操作を受け付ける。
　第４の実施形態に係る特定部１４２は、所定の特徴として、入力部１２０によって受け付けられた所定の領域内に含まれる情報を用い、当該所定の領域内に含まれる情報から所定の動作を実施する対象者の動作情報を特定する。具体的には、特定部１４２は、入力部１２０によって受け付けられた認識対象領域内に含まれる骨格情報を対象者の骨格情報として特定する。
　図１５は、第４の実施形態に係る入力部１２０及び特定部１４２による処理の一例を説明するための図である。例えば、入力部１２０は、図１５の（Ａ）に示す画像上に、図１５の（Ｂ）に示すような認識対象領域Ｒ２を指定するための入力操作を受け付ける。そして、特定部１４２は、図１５の（Ｂ）に示す認識対象領域Ｒ２が指定されると、指定された認識対象領域Ｒ２内に含まれる骨格情報を対象者の骨格情報として特定する。これにより、例えば、図１５に示す椅子に対応する骨格情報が収集された場合であっても、対象者の骨格情報を確実に特定することが可能である。
　上述したように、第４の実施形態によれば、入力部１２０は、画像情報における所定の領域を指定するための指定操作を受け付ける。そして、特定部１４２は、所定の特徴として、入力部１２０によって受け付けられた領域内で、所定の動作を実施する対象者の動作情報を特定する。従って、第４の実施形態に係る動作情報処理装置１００は、簡便に認識対象領域を指定することができ、容易に対象者の骨格情報を特定することを可能にする。
（第５の実施形態）
　上述した第４の実施形態では、入力部１２０を介して認識対象領域が指定される場合について説明した。第５の実施形態では、画像内の情報に基づいて認識対象領域を設定する場合について説明する。第５の実施形態においては、特定部１４２による処理内容が第１～第４の実施形態と異なる。以下、これを中心に説明する。
　第５の実施形態に係る特定部１４２は、対象者に予め設定された設定項目を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。具体的には、まず、リハビリを実施する対象者が予め目印になる物を身につけてリハビリを実施する。特定部１４２は、画像に含まれる目印を抽出して、抽出した目印に基づいて、認識対象領域を設定し、設定した認識対象領域内の骨格情報を対象者の骨格情報として特定する。
　図１６は、第５の実施形態に係る特定部１４２による処理の一例を説明するための図である。図１６においては、予め設定する目印を対象者の足につける場合について示す。例えば、対象者は、図１６の（Ａ）に示すように、足に所定の色（例えば、赤など）の目印をつけて歩行訓練を実施する。特定部１４２は、動作情報収集部１０によって収集されたカラー画像情報から対象者の両足につけられた目印をそれぞれ抽出する。そして、特定部１４２は、図１６の（Ａ）に示すように、抽出した両足の目印の中点Ｐ1を横幅の中心として算出し、算出した中点Ｐ1から左右に所定の距離とった横幅を決定する。
　ここで、特定部１４２は、例えば、両足の目印間の距離が「１５ｃｍ」であった場合に、３倍の「４５ｃｍ」を認識対象領域Ｒ３の横幅とする。すなわち、特定部１４２は、中点Ｐ1から左右にそれぞれ「２２．５ｃｍ」までを認識対象領域Ｒ３の横幅と決定する。そして、特定部１４２は、足の目印の下端Ｐ2からカラー画像情報の上端Ｐ3までを認識対象領域Ｒ３の縦幅として決定する。
　すなわち、特定部１４２は、図１６の（Ｂ）に示すように、カラー画像情報に認識対象領域Ｒ３を設定して、設定した認識対象領域Ｒ３に含まれる骨格情報を対象者の骨格情報として特定する。なお、図１６に示す例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、予め対象者に設定する目印は、色以外にも種々に設定することができる。一例を挙げると、所定の形態をしたものを対象者が身につける場合であってもよい。
　なお、対象者に予め設定される目印の情報は、予め記憶部１３０に記憶され、特定部１４２は、記憶部１３０によって記憶された目印の情報を読み出して、カラー画像情報に含まれる目印を抽出する。
　上述したように、第５の実施形態によれば、特定部１４２は、対象者に予め設定された設定項目を対象者情報として抽出し、抽出した対象者情報に基づいて、所定の動作を実施する対象者の動作情報を特定する。従って、第５の実施形態に係る動作情報処理装置１００は、認識対象領域を簡便に設定することを可能にする。
（第６の実施形態）
　さて、これまで第１～第５の実施形態について説明したが、上述した第１～第５の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
　上述した第１～第５の実施形態においては、リハビリが実施されている状態で収集された動作情報を用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、リハビリが実施される前の情報を基準として、リハビリ中の動作情報から種々の情報を抽出する場合であってもよい。
　図１７は、第６の実施形態に係る特定部１４２による処理の一例を説明するための図である。例えば、特定部１４２は、図１７の（Ａ）に示すように、リハビリが実施される前の状態の画像情報（動作情報）である「Ｔ秒」のフレームの深度を基準値として取得する。そして、特定部１４２は、図１７の（Ｂ）に示すように、リハビリが実施された状態の画像情報（動作情報）である「Ｔ＋ｔ秒」のフレームの深度を取得する。このとき、特定部１４２は、「Ｔ＋ｔ秒」のフレームの深度において、「Ｔ秒」のフレームの深度から変化があった部分を抽出することで、処理の対象を軽減することができる。例えば、図１７に示すように、両画像に含まれ、深度の情報が変化しない椅子については、無視することが可能である。
　これにより、例えば、基準値よりも手前や奥にあるものを容易に判定することができ、リハビリ実施中に深度が手前、奥、左右に変化したものを容易に抽出することができる。なお、上述した処理は、第１～第５の実施形態と適宜組み合わせて実施することが可能である。
　また、上述した第１～第５の実施形態では、リハビリとして歩行訓練を実施する場合について説明した。しかしながら、本願に係る動作情報処理装置１００は、歩行訓練だけでなく、その他のリハビリに対しても適用することができる。例えば、特定部１４２は、関節稼動域訓練を実施する対象者の骨格情報を特定することも可能である。
　以上説明したとおり、第１～第６の実施形態によれば、本実施形態の動作情報処理装置は、対象者以外を誤認識することを抑止することを可能にする。
（第７の実施形態）
　上述したように、第１～第６の実施形態では、所定の動作を実施する者以外を誤認識することを抑止することを可能にすることで、リハビリテーションを支援する場合について説明した。しかしながら、撮影される者が常に対象者であるとは限らない。すなわち、動作情報収集部１０の撮影範囲内にいる人物であれば、例えば、対象者、介助者、更にはリハビリに関係のない者でも、動作情報収集部１０によって撮影されてしまう。そこで、以下、第７～第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる動作情報処理装置を提供する場合について説明する。なお、第１～第６の実施形態においては、所定の動作を実施する者を「対象者」として説明したが、第７～第１０の実施形態においては、リハビリテーションの対象となる者を「対象者」として説明する。
　図１８Ａ及び図１８Ｂは、距離画像収集部１２によって撮影される距離画像の一例を示す。図１８Ａ及び図１８Ｂでは、人物１８ａ（対象者）が人物１８ｂ（介助者）からの介助を受けてリハビリを行う場合を例示する。具体的には、人物１８ａ（対象者）は、人物１８ｂ（介助者）の左手によって右腕を支えられて歩行訓練を行っている。なお、図１８Ａ及び図１８Ｂにおいては、説明の便宜上、距離に応じた色の濃淡で表現される距離画像を線画で表している。
　図１８Ａに示すように、動作情報収集部１０は、被写体として人物１８ａ（対象者）及び人物１８ｂ（介助者）を含む距離画像を撮影する。この距離画像から動作情報を生成すると、図１８Ｂに示すように、動作情報収集部１０は、人物１８ａ及び人物１８ｂを、対象者及び介助者としてではなく、それぞれ一人の人物として、その動作情報を生成する。このため、ここで生成される動作情報を用いて対象者のリハビリに関する動作を解析する場合には、どの人物が対象者であるか指定される必要がある。また、対象者の動作を解析すべきところ、誤って介助者の動作が評価されてしまう可能性もある。
　そこで、第７の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定するために、以下に説明する処理を実行する。
　また、第７の実施形態に係る動作情報処理装置２００は、介助者の動作を解析して介助者を支援することで、その介助者によって介助される対象者を間接的に支援しても良い。かかる場合、第７の実施形態に係る動作情報処理装置２００は、以下に説明する処理を実行することにより、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定しても良い。
　図１９は、第７の実施形態に係る動作情報処理装置２００の詳細な構成例を示すブロック図である。図１９に示すように、動作情報処理装置２００においては、記憶部２３０が動作情報記憶部２３１と、対象者動作特徴記憶部２３２と、介助者動作特徴記憶部２３３と、対象者画像特徴記憶部２３４と、介助者画像特徴記憶部２３５と、評価情報記憶部２３６とを有する。
　動作情報記憶部２３１は、動作情報収集部１０によって収集された各種情報を記憶する。例えば、動作情報記憶部２３１は、人物の動作について、動作情報と、カラー画像情報とが対応付けられた情報を記憶する。この動作情報は、動作情報生成部１４によって生成されたフレームごとの骨格情報である。この骨格情報の各関節の座標及びカラー画像情報の画素位置は、予め対応付けられている。また、骨格情報の撮影時刻情報及びカラー画像情報の撮影時刻情報は、予め対応付けられている。また、例えば、動作情報及びカラー画像情報は、動作情報収集部１０によって収集されるごとに動作情報記憶部２３１に格納される。
　例えば、動作情報記憶部２３１は、歩行訓練や関節可動域訓練等、実施されたリハビリごとに、動作情報を記憶する。ここで、１回のリハビリに複数人の動作が含まれる場合がある。具体例を挙げると、図４Ａに示したように、対象者が介助者からの介助を受けて歩行訓練を行う場合には、対象者と介助者のそれぞれの動作の組み合わせによって、１回の歩行訓練が行われることとなる。このような場合には、動作情報記憶部２３１は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報をそれぞれ対応付けて、１つの動作情報として記憶する。すなわち、この動作情報は、複数人の動作を同時に表すものである。動作情報記憶部２３１は、例えば、動作の撮影が開始された撮影開始時刻情報に対応付けて、動作情報を記憶する。なお、以下では、動作情報が複数人の人物の動作を表す場合を説明するが、実施形態はこれに限定されるものではなく、１人の人物の動作を表す場合であっても良い。
　対象者動作特徴記憶部２３２は、対象者の動作の特徴を表す対象者動作特徴情報を記憶する。例えば、対象者動作特徴記憶部２３２は、動作ＩＤ（Identification）と、対象者動作特徴情報とが対応付けられた情報を記憶する。このうち、動作ＩＤは、動作を識別するための識別情報であり、動作情報処理装置２００の設計者によって動作が定義されるごとに採番される。また、対象者動作特徴情報は、対象者の動作の特徴を表す情報であり、例えば、動作情報処理装置２００の設計者によって予め定義される。
　図２０は、対象者動作特徴記憶部２３２に記憶される情報の一例を示す図である。図２０の１つ目のレコードには、動作ＩＤ「１１」と、対象者動作特徴情報「足を引きずっている」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「足を引きずっている」があることを、動作ＩＤ「１１」の動作として記憶する。この対象者動作特徴情報「足を引きずっている」は、例えば、動作が行われている間の足根（関節２ｐ又は関節２ｔ）のｙ座標の最大変化量が１ｃｍ未満であるか否かに応じて判定される。また、図２０の２つ目のレコードには、動作ＩＤ「１２」と、対象者動作特徴情報「歩く姿勢が良くない」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「歩く姿勢が良くない」があることを、動作ＩＤ「１２」の動作として記憶する。この対象者動作特徴情報「歩く姿勢が良くない」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°以上であるか否かに応じて判定される。また、図２０の３つ目のレコードには、動作ＩＤ「１３」と、対象者動作特徴情報「歩く速度が遅い」とが対応付けられている。つまり、対象者動作特徴記憶部２３２は、対象者の動作の特徴の一つとして「歩く速度が遅い」があることを、動作ＩＤ「１３」の動作として記憶する。この対象者動作特徴情報「歩く速度が遅い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］未満であるか否かに応じて判定される。また、他のレコードについても同様に、対象者動作特徴記憶部２３２は、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者動作特徴記憶部２３２を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された対象者動作特徴記憶部２３２が利用されて良い。また、対象者動作特徴記憶部２３２は、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
　介助者動作特徴記憶部２３３は、介助者の動作の特徴を表す介助者動作特徴情報を記憶する。例えば、介助者動作特徴記憶部２３３は、動作ＩＤと、介助者動作特徴情報とが対応付けられた情報を記憶する。この介助者動作特徴は、介助者の動作の特徴を表す情報であり、動作情報処理装置２００の設計者によって予め定義される。
　図２１は、介助者動作特徴記憶部２３３に記憶される情報の一例を示す図である。図２１の１つ目のレコードには、動作ＩＤ「２１」と、介助者動作特徴情報「腕を支えている」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、対象者の動作の特徴の一つとして「腕を支えている」があることを、動作ＩＤ「２１」の動作として記憶する。この介助者動作特徴情報「腕を支えている」は、例えば、動作が行われている間の所定時間について、人物の手（関節２ｈ又は関節２ｌ）が他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）から５ｃｍ以内にあるか否かに応じて判定される。また、図２１の２つ目のレコードには、動作ＩＤ「２２」と、介助者動作特徴情報「歩く姿勢が良い」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、介助者の動作の特徴の一つとして「歩く姿勢が良い」があることを、動作ＩＤ「２２」の動作として記憶する。この介助者動作特徴情報「歩く姿勢が良い」は、例えば、動作が行われている間の、背骨（関節２ｂと関節２ｃとを結ぶ線分）と上下方向とがなす角の平均値が３°未満であるか否かに応じて判定される。また、図２１の３つ目のレコードには、動作ＩＤ「２３」と、介助者動作特徴情報「歩く速度が早い」とが対応付けられている。つまり、介助者動作特徴記憶部２３３は、介助者の動作の特徴の一つとして「歩く速度が速い」があることを、動作ＩＤ「２３」の動作として記憶する。この対象者動作特徴情報「歩く速度が速い」は、例えば、動作が行われている間の腰（関節２ｃ）の移動速度の最大値が１［ｍ／秒］以上であるか否かに応じて判定される。また、他のレコードについても同様に、介助者動作特徴記憶部２３３は、動作ＩＤと、対象者動作特徴情報とを対応付けて記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる介助者動作特徴記憶部２３３を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の動作の特徴が記憶された介助者動作特徴記憶部２３３が利用されて良い。また、介助者動作特徴記憶部２３３は、歩行訓練を行う対象者の動作の特徴や関節可動域訓練を行う対象者の動作の特徴を区別することなく記憶しても良い。
　対象者画像特徴記憶部２３４は、対象者の身体的な特徴または対象者の付随物の特徴を表す対象者特徴情報を記憶する。例えば、対象者画像特徴記憶部２３４は、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。例えば、対象者画像特徴記憶部２３４は、器具ＩＤと、対象者器具特徴情報とが対応付けられた情報を記憶する。このうち、器具ＩＤは、器具を識別するための識別情報であり、動作情報処理装置２００の設計者によって器具が定義されるごとに採番される。また、対象者器具特徴情報は、対象者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。対象者器具特徴情報は、動作情報処理装置２００の設計者によって予め定義される。なお、対象者画像特徴記憶部２３４は、対象者特徴記憶部の一例である。
　図２２は、対象者画像特徴記憶部２３４に記憶される情報の一例を示す図である。図２２の１つ目のレコードには、器具ＩＤ「１１」と、対象者器具特徴情報「松葉杖」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「松葉杖」の画像情報を、器具ＩＤ「１１」の器具として記憶する。また、図２２の２つ目のレコードには、器具ＩＤ「１２」と、対象者器具特徴情報「ギプス」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「ギプス」の画像情報を、器具ＩＤ「１２」の器具として記憶する。また、図２２の３つ目のレコードには、器具ＩＤ「１３」と、対象者器具特徴情報「車いす」とが対応付けられている。つまり、対象者画像特徴記憶部２３４は、対象者の画像の特徴の一つとして「車いす」の画像情報を、器具ＩＤ「１３」の器具として記憶する。なお、ここでは、歩行訓練が行われる場合に用いられる対象者画像特徴記憶部２３４を例示したが、実施形態はこれに限定されるものではなく、例えば、関節可動域訓練が行われる場合には、関節可動域訓練を行う対象者の器具の特徴が記憶された対象者画像特徴記憶部２３４が利用されて良い。また、対象者画像特徴記憶部２３４は、歩行訓練を行う対象者の動作特徴や関節可動域訓練を行う対象者の器具の特徴を区別することなく記憶しても良い。
　介助者画像特徴記憶部２３５は、介助者の身体的な特徴または介助者の不随物の特徴を表す介助者特徴情報を記憶する。例えば、介助者画像特徴記憶部２３５は、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。例えば、介助者画像特徴記憶部２３５は、器具ＩＤと、介助者器具特徴情報とが対応付けられた情報を記憶する。このうち、介助者器具特徴情報は、介助者の器具の特徴を表す情報であり、例えば、パターンマッチングに利用可能な器具の画像情報である。介助者器具特徴情報は、動作情報処理装置２００の設計者によって予め定義される。なお、介助者画像特徴記憶部２３４は、介助者特徴記憶部の一例である。
　図２３は、介助者画像特徴記憶部２３５に記憶される情報の一例を示す図である。図２３の１つ目のレコードには、器具ＩＤ「２１」と、介助者器具特徴情報「聴診器」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「聴診器」の画像情報を、器具ＩＤ「２１」の器具として記憶する。また、図２３の２つ目のレコードには、器具ＩＤ「２２」と、介助者器具特徴情報「白衣」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「白衣」の画像情報を、器具ＩＤ「２２」の器具として記憶する。また、図２３の３つ目のレコードには、器具ＩＤ「２３」と、介助者器具特徴情報「ネームプレート」とが対応付けられている。つまり、介助者画像特徴記憶部２３５は、介助者の画像の特徴の一つとして「ネームプレート」の画像情報を、器具ＩＤ「２３」の器具として記憶する。
　評価情報記憶部２３６は、対象者ごとに、評価情報と、判定結果とが対応付けられた情報を記憶する。このうち、評価情報は、リハビリテーションにおける人物の動作を評価するための情報である。例えば、評価情報は、対象者及び介助者の歩く姿勢、歩く速度等である。この評価情報は、後述の生成部２４２によって生成される。また、判定結果は、後述の判定部２４３によって判定された結果であり、例えば、対象者、介助者及び判定不能のうちいずれかが記憶される。
　図１９の説明に戻る。動作情報処理装置２００においては、制御部２４０が取得部２４１と、生成部２４２と、判定部２４３と、格納部２４４とを有する。
　取得部２４１は、評価対象となる動作情報を取得する。例えば、取得部２４１は、評価対象となる動作情報を指定する旨の入力を入力部１２０から受け付けると、指定された動作情報と、対応するカラー画像情報とを動作情報記憶部２３１から取得する。
　一例としては、取得部２４１は、評価対象となる動作情報の撮影開始時刻情報の指定を受け付けると、その動作情報及び動作情報に対応付けられたカラー画像情報を動作情報記憶部２３１から取得する。なお、この動作情報は、同一フレームの距離画像情報から生成される複数人の人物の骨格情報を含む場合であっても、１人の人物の骨格情報を含む場合であっても良い。
　生成部２４２は、取得部２４１によって取得された動作情報から、リハビリテーションを評価するための評価情報を生成する。例えば、生成部２４２は、評価情報として、対象者及び介助者の歩く姿勢及び歩く速度を算出する。ここで、取得部２４１によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、生成部２４２は、一人一人の人物の骨格情報に対して評価情報を生成する。生成部２４２は、生成した評価情報を格納部２４４へ出力する。
　図２４は、生成部２４２の処理を説明するための図である。図２４には、図１８Ａの歩行訓練において収集された動作情報に基づいて、人物１８ａ及び人物１８ｂそれぞれについて、歩く姿勢及び歩く速度が算出される場合を説明する。例えば、生成部２４２は、取得部２４１によって取得された動作情報から、各フレームの人物１８ａの関節２ｂの座標及び関節２ｃの座標を抽出する。そして、生成部２４２は、抽出した関節２ｂと関節２ｃとを結ぶ線分を人物１８ａの背骨と見立て、背骨と上下方向とがなす角２４ａをフレームごとに求める。そして、生成部２４２は、歩行訓練が行われている間の複数フレームの角２４ａの平均値を、人物１８ａの歩く姿勢として算出する。また、生成部２４２は、人物１８ｂについても人物１８ａの場合と同様に、歩く姿勢を算出する。
　また、例えば、生成部２４２は、所定時間（例えば０．５秒）ごとに人物１８ａの腰に対応する関節２ｃの座標が移動した移動距離［ｍ］を求める。そして、生成部２４２は、この所定時間当たりの移動距離に基づいて、人物１８ａの移動速度［ｍ／秒］を所定時間ごとに算出する。そして、生成部２４２は、歩行訓練を行っている間の人物１８ａの移動速度の平均値を、人物１８ａが歩く速度として算出する。また、生成部２４２は、人物１８ｂについても人物１８ａの場合と同様に、歩く速度を算出する。
　なお、ここでは、生成部２４２によって生成される評価情報として、歩行訓練における歩く姿勢及び歩く速度を算出する場合を説明したが、実施形態はこれに限定されるものではない。例えば、生成部２４２は、リハビリテーションの機能訓練の内容や対象者の状況に応じて、他の評価情報を適宜選択して算出して良い。
　判定部２４３は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、取得部２４１によって取得された動作情報に対応する人物が対象者であるか否かを判定する。例えば、判定部２４３は、対象者の特徴を表す情報として、対象者動作特徴記憶部２３２に記憶された対象者動作特徴情報を参照し、取得部２４１によって取得された動作情報に対応する人物が対象者であるか否かを判定する。
　例えば、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否かを判定する。また、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、介助者であるか否かを判定する。ここで、取得部２４１によって取得された動作情報に、同一フレームの距離画像情報から生成される複数人の人物の骨格情報が含まれる場合には、判定部２４３は、一人一人の人物の骨格情報に対して、対象者であるか否か、或いは介助者であるか否かを判定する。判定部２４３は、判定した結果を格納部２４４へ出力する。以下において、判定部２４３の処理を具体的に説明する。
　まず、対象者であるか否かを判定する処理を説明する。例えば、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４のレコードのうち、未処理のレコードを一つ選択する。そして、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードの条件に該当するか否かを判定する。
　ここで、対象者動作特徴記憶部２３２から動作ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「足を引きずっている」に該当するか否かを判定する。すなわち、判定部２４３は、取得された動作情報に含まれる各フレームから、足根（関節２ｐ又は関節２ｔ）のｙ座標を抽出する。そして、判定部２４３は、抽出したｙ座標のうち、最大値と最小値との差分を最大変化量として算出する。そして、判定部２４３は、算出した最大変化量が１ｃｍ未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち足を引きずっていると判定する。
　また、対象者動作特徴記憶部２３２から動作ＩＤ「１２」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「歩く姿勢が良くない」に該当するか否かを判定する。ここで、歩く姿勢が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物の歩く姿勢を生成部２４２から取得する。そして、判定部２４３は、取得した歩く姿勢が３°以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良くないと判定する。なお、歩く姿勢が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く姿勢を算出しても良い。
　また、対象者動作特徴記憶部２３２から動作ＩＤ「１３」のレコードが選択された場合を説明する。この場合、図２０に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、対象者動作特徴情報「歩く速度が遅い」に該当するか否かを判定する。ここで、歩く速度が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物が所定時間（例えば０．５秒）ごとに移動する移動速度［ｍ／秒］を生成部２４２から取得する。そして、判定部２４３は、取得した移動速度のうち、最大の移動速度が１［ｍ／秒］未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が遅いと判定する。なお、歩く速度が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く速度を算出しても良い。
　また、対象者画像特徴記憶部２３４から器具ＩＤ「１１」のレコードが選択された場合を説明する。この場合、図２２に示したように、判定部２４３は、取得部２４１によって取得されたカラー画像情報と、対象者器具特徴情報「松葉杖」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から松葉杖の画像が抽出されると、判定部２４３は、抽出された松葉杖の画素位置が、評価対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。松葉杖の画素位置が骨格情報の座標と重なる場合には、判定部２４３は、取得されたカラー画像情報が対象者器具特徴情報に該当する、すなわち松葉杖を持っていると判定する。また、判定部２４３は、他のレコードについても同様に、取得されたカラー画像情報が対象者器具特徴情報に該当するか否かを判定する。
　このように、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、判定部２４３は、保有対象者特徴数ｎを１インクリメントする。この保有対象者特徴数ｎは、評価対象となる動作情報に対応する人物が保有する対象者としての特徴の数を表す。判定部２４３は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、判定部２４３は、保有対象者特徴数ｎが５に到達すると、評価対象となる動作情報に対応する人物が対象者であると判定する。一方、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４の全てのレコードについて判定を行っても、保有対象者特徴数ｎが５に到達しない場合には、評価対象となる動作情報に対応する人物が対象者ではないと判定する。なお、ここでは、対象者であるか否かを判定する保有対象者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有対象者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
　次に、介助者であるか否かを判定する処理を説明する。例えば、判定部２４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５のレコードのうち、未処理のレコードを一つ選択する。そして、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。
　ここで、介助者動作特徴記憶部２３３から動作ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「腕を支えている」に該当するか否かを判定する。すなわち、判定部２４３は、取得された動作情報に含まれる各フレームから、手（関節２ｈ又は関節２ｌ）の座標を取得する。そして、判定部２４３は、歩行訓練が行われている間の所定時間について、取得した手から５ｃｍ以内に他の人物の腕（関節２ｅと関節２ｆとを結ぶ線分、又は、関節２ｉと関節２ｊとを結ぶ線分）がある場合に、取得された動作情報が介助者動作特徴情報に該当する、すなわち腕を支えていると判定する。
　また、介助者動作特徴記憶部２３３から動作ＩＤ「２２」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「歩く姿勢が良い」に該当するか否かを判定する。ここで、歩く姿勢が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物の歩く姿勢を生成部２４２から取得する。そして、判定部２４３は、取得した歩く姿勢が３°未満である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く姿勢が良いと判定する。なお、歩く姿勢が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く姿勢を算出しても良い。
　また、介助者動作特徴記憶部２３３から動作ＩＤ「２３」のレコードが選択された場合を説明する。この場合、図２１に示したように、判定部２４３は、取得部２４１によって取得された動作情報が、介助者動作特徴情報「歩く速度が速い」に該当するか否かを判定する。ここで、歩く速度が生成部２４２によって算出されている場合には、判定部２４３は、取得された動作情報に含まれる人物が所定時間（例えば０．５秒）ごとに移動する移動速度［ｍ／秒］を生成部２４２から取得する。そして、判定部２４３は、取得した移動速度のうち、最大の移動速度が１［ｍ／秒］以上である場合に、取得された動作情報が対象者動作特徴情報に該当する、すなわち歩く速度が速いと判定する。なお、歩く速度が生成部２４２によって算出されていない場合には、判定部２４３は、上記の生成部２４２において説明した処理と同様の処理を行って、歩く速度を算出しても良い。
　また、介助者画像特徴記憶部２３５から器具ＩＤ「２１」のレコードが選択された場合を説明する。この場合、図２３に示したように、判定部１４３は、取得部２４１によって取得されたカラー画像情報と、介助者器具特徴情報「聴診器」とのパターンマッチングを行う。パターンマッチングによってカラー画像情報から聴診器の画像が抽出されると、判定部２４３は、抽出された聴診器の画素位置が、評価対象となる動作情報に含まれる骨格情報の座標と重なるか否かを判定する。聴診器の画素位置が骨格情報の座標と重なる場合には、判定部２４３は、取得されたカラー画像情報が介助者器具特徴情報に該当する、すなわち聴診器を持っていると判定する。また、判定部２４３は、他のレコードについても同様に、取得されたカラー画像情報が介助者器具特徴情報に該当するか否かを判定する。
　このように、判定部２４３は、取得された動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。そして、選択したレコードに該当すると判定した場合には、判定部２４３は、保有介助者特徴数ｍを１インクリメントする。この保有介助者特徴数ｍは、評価対象となる動作情報に対応する人物が保有する介助者としての特徴の数を表す。判定部２４３は、他の未処理のレコードについても同様に、取得された動作情報及びカラー画像情報が当該レコードに該当するか否かを判定する。そして、判定部１４３は、保有介助者特徴数ｍが５に到達すると、評価対象となる動作情報に対応する人物が介助者であると判定する。一方、判定部１４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５の全てのレコードについて判定を行っても、保有介助者特徴数ｍが５に到達しない場合には、評価対象となる動作情報に対応する人物が介助者ではないと判定する。なお、ここでは、介助者であるか否かを判定する保有介助者特徴数ｎの閾値が「５」である場合を例示したが、実施形態はこれに限定されるものではなく、この閾値は操作者によって任意の値が設定されて良い。また、ここでは各レコードに該当する場合に保有介助者特徴数ｎが１インクリメントされる場合を説明したが、実施形態はこれに限定されるものではなく、例えば、レコードごとに重み付けを行っても良い。
　上述してきたように、判定部２４３は、評価対象となる動作情報に対応する人物が、対象者であるか否か、若しくは介助者であるか否かを判定し、判定結果を格納部２４４へ出力する。なお、判定部２４３は、評価対象となる動作情報に対応する人物が、対象者でも介助者でもないと判定した場合には、判定不能という判定結果を格納部２４４へ出力する。
　格納部２４４は、判定部２４３によって判定された判定結果を出力する。例えば、格納部２４４は、生成部１４２によって生成された評価情報と、判定部２４３によって判定された判定結果とを対応づけて、評価情報記憶部２３６に格納する。なお、格納部２４４は、出力制御部の一例である。
　例えば、格納部２４４は、判定部２４３によって判定された判定結果を確認させるための画面を出力部１１０に表示させる。そして、格納部２４４は、表示させた判定結果が確認されると、その判定結果と、生成部２４２によって生成された評価情報とを対応づけて評価情報記憶部２３６に格納する。
　図２５は、格納部２４４によって表示される表示画面の一例を示す。図２５に示す例では、評価対象となる動作情報に対応する人物が図１８Ａの人物１８ａである場合を例示する。また、人物１８ａについて、生成部２４２によって評価情報「歩く姿勢が１５°である」が出力され、判定部２４３によって判定結果「対象者」が出力された場合を例示する。
　図２５に示すように、格納部２４４は、「人物１８ａが対象者と判定されました。正しいですか？」という質問メッセージと、その質問メッセージに回答するための「Ｙｅｓ／Ｎｏ」の選択ボタンとを出力部２１０に表示させる。そして、「Ｙｅｓ」が選択されると、格納部２４４は、評価対象となる動作情報と、判定結果「対象者」と、評価情報「歩く姿勢が１５°である」とを対応付けて、評価情報記憶部２３６に格納する。また、例えば、格納部２４４は、図２５に示すように、リハカルテの自由記載欄に評価情報「体の傾き：１５°」を記入しても良い。
　また、例えば、格納部２４４は、判定結果を確認させることなく評価情報記憶部２３６に格納しても良い。図２６は、格納部２４４によって表示される表示画面の一例を示す。なお、図２６には、図２５と同一条件下で表示される表示画面の一例であり、更に、人物１８ｂの評価情報「歩く姿勢が３°である」が出力される場合を示す。
　図２６に示すように、格納部２４４は、人物１８ａ及び人物１８ｂについて、評価情報「＜体の傾き＞１８ａ：１５°、１８ｂ：３°」が表示される。そして、格納部２４４は、評価対象となる動作情報と、判定結果「対象者」と、評価情報「歩く姿勢が１５°である」とを対応付けて、評価情報記憶部２３６に格納する。また、例えば、格納部２４４は、図２６に示すように、リハカルテの自由記載欄に評価情報「体の傾き：１５°」を表示しても良い。
　このように、格納部２４４は、判定結果を評価情報記憶部２３６へ出力することで、評判定結果を評価情報記憶部２３６に格納したり、判定結果を出力部１１０へ出力することで、判定結果を出力部１１０に表示させたりする。なお、格納部２４４が判定結果を出力するのは上記の例に限定されるものではない。例えば、格納部２４４は、他の情報処理装置や外部記憶装置に判定結果を出力しても良い。
　次に、図２７を用いて、第１の実施形態に係る動作情報処理装置２００の処理手順について説明する。図２７は、第１の実施形態に係る動作情報処理装置２００の処理手順の一例を説明するためのフローチャートである。
　図２７に示すように、取得部２４１は、評価対象となる動作情報が指定されると（ステップＳ３０１肯定）、評価対象となる動作情報と、当該動作情報に対応付けられたカラー画像情報を取得する（ステップＳ３０２）。なお、取得部２４１は、評価対象となる動作情報が指定されるまで（ステップＳ３０１否定）、待機状態である。
　生成部２４２は、取得部２４１によって取得された動作情報から評価情報を生成する（ステップＳ３０３）。例えば、生成部２４２は、評価対象となる動作情報から、歩く姿勢や歩く速度を評価情報として生成する。
　判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否か、或いは介助者であるか否かを判定する判定処理を実行する（ステップＳ３０４）。
　ここで、図２８を用いて、第１の実施形態に係る判定部２４３における判定処理の処理手順について説明する。図２８は、第１の実施形態に係る判定部２４３における判定処理の処理手順の一例を説明するためのフローチャートである。
　判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４から、未処理のレコードを一つ選択する（ステップＳ４０１）。そして、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ４０２）。該当する場合には（ステップＳ４０２肯定）、判定部２４３は、保有対象者特徴数ｎを１インクリメントする（ステップＳ４０３）。そして、判定部２４３は、保有対象者特徴数ｎが５に到達したか否かを判定する（ステップＳ４０４）。保有対象者特徴数ｎが５に到達した場合には（ステップＳ４０４肯定）、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が対象者であると判定する（ステップＳ４０５）。
　一方、判定部２４３は、保有対象者特徴数ｎが５に到達していない場合には（ステップＳ４０４否定）、判定部２４３は、対象者動作特徴記憶部２３２及び対象者画像特徴記憶部２３４に、未処理のレコードがあるか否かを判定する（ステップＳ４０６）。未処理のレコードがある場合には（ステップＳ４０６肯定）、判定部２４３は、ステップＳ４０１の処理へ移行する。
　一方、判定部２４３は、未処理のレコードがない場合には（ステップＳ４０６否定）、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５から、未処理のレコードを一つ選択する（ステップＳ４０７）。そして、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する（ステップＳ４０８）。該当する場合には（ステップＳ４０８肯定）、判定部２４３は、保有介助者特徴数ｍを１インクリメントする（ステップＳ４０９）。そして、判定部２４３は、保有介助者特徴数ｍが５に到達したか否かを判定する（ステップＳ４１０）。保有介助者特徴数ｍが５に到達した場合には（ステップＳ４１０肯定）、判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が介助者であると判定する（ステップＳ４１１）。
　一方、判定部２４３は、保有介助者特徴数ｍが５に到達していない場合には（ステップＳ４１０否定）、判定部２４３は、介助者動作特徴記憶部２３３及び介助者画像特徴記憶部２３５に、未処理のレコードがあるか否かを判定する（ステップＳ４１２）。未処理のレコードがある場合には（ステップＳ４１２肯定）、判定部２４３は、ステップＳ４０７の処理へ移行する。
　一方、判定部２４３は、未処理のレコードがない場合には（ステップＳ４１２否定）、取得部２４１によって取得された動作情報に対応する人物は判定不能であると判定する（ステップＳ４１３）。
　図２７の説明に戻る。判定部２４３によって判定処理が実行されると、格納部２４４は、判定結果の正誤を確認する確認画面を出力部１１０に表示させる（ステップＳ３０５）。そして、格納部２４４は、判定結果が正しい旨の入力を入力部１２０が受け付けると（ステップＳ３０６肯定）、判定結果とともに、生成部２４２によって生成された評価情報を評価情報記憶部２３６に格納する（ステップＳ３０７）。
　一方、格納部２４４は、判定結果が正しくない旨の入力を入力部１２０が受け付けると（ステップＳ３０６否定）、修正指示入力を入力部１２０が受け付けるまで待機する（ステップＳ３０８否定）。そして、修正指示入力を入力部１２０が受け付けると（ステップＳ３０８肯定）、格納部２４４は、修正指示にしたがって評価情報を評価情報記憶部２３６に格納し（ステップＳ３０９）、処理を終了する。
　なお、上述した処理手順は、必ずしも上記の順序で実行されなくても良い。例えば、評価情報を生成する処理であるステップＳ３０３の処理及び判定処理を実行するステップＳ３０４の処理は、上記の順序に限らず、ステップＳ３０４の処理が実行された後にステップＳ３０３の処理が実行されても良い。
　また、例えば、対象者であるか否かを判定する処理であるステップＳ４０１からステップＳ４０６までの処理及び介助者であるか否かを判定する処理であるステップＳ４０７からステップＳ４１２までの処理は、上記の順序に限らない。すなわち、ステップＳ４０７からステップＳ４１２までの処理が実行された後に、ステップＳ４０１からステップＳ４０６までの処理が実行されても良い。
　上述してきたように、第７の実施形態に係る動作情報処理装置２００は、リハビリテーションの対象となる対象者の動作の特徴を表す対象者動作特徴情報を記憶する。そして、動作情報処理装置２００は、人物の動作を表す動作情報を取得する。そして、動作情報処理装置２００は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。このため、第７の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
　図２９は、第７の実施形態に係る動作情報処理装置２００の効果を説明するための図である。図２９に示すように、例えば、動作情報処理装置２００は、動作情報収集部１０によって撮影された距離画像２９ａに基づいて、リハビリテーションを行う人物１８ａ及び人物１８ｂそれぞれの動作情報を取得する。そして、動作情報処理装置２００は、取得した動作情報を用いて、その動作情報に対応する人物が、対象者であるか否か、介助者であるか否かを判定する。そして、動作情報処理装置２００は、判定結果を表示画面２９ｂに表示するとともに、判定結果と、動作情報に基づく評価情報とを評価情報記憶部２３６に格納する。このため、例えば、動作情報処理装置２００は、対象者の動作情報を評価することができる。
　また、例えば、動作情報処理装置２００は、対象者を介助する介助者の動作の特徴を表す介助者動作特徴情報を記憶する。そして、動作情報処理装置２００は、介助者動作特徴情報を用いて、取得した動作情報に対応する人物が介助者であるか否かを判定する。このため、第１の実施形態に係る動作情報処理装置２００は、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定することができる。
　また、例えば、動作情報処理装置２００は、判定結果を確認させるための画面を所定の表示部に表示させ、その判定結果が確認されると、その判定結果と、生成した評価情報とを対応づけて所定の記憶部に格納する。このため、動作情報処理装置２００は、例えば、評価対象となる人物を誤って評価することを防ぐことができる。
　また、例えば、動作情報処理装置２００は、対象者の画像の特徴を表す対象者画像特徴情報を記憶する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、対象者画像特徴情報を用いて、取得した人物画像に対応する人物が対象者であるか否かを判定する。このため、デジタル的に記録された人物の動きが、対象者のものであるか否かを判定することができる。
　また、例えば、動作情報処理装置２００は、介助者の画像の特徴を表す介助者画像特徴情報を記憶する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、介助者画像特徴情報を用いて、取得した人物画像に対応する人物が介助者であるか否かを判定する。このため、デジタル的に記録された人物の動きが、介助者のものであるか否かを判定することができる。
（第８の実施形態）
　上述した第７の実施形態では、対象者の動作の特徴及び画像の特徴を用いて対象者であるか否かを判定する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置２００は、対象者の個人情報を用いて対象者であるか否かを判定しても良い。そこで、第２の実施形態では、動作情報処理装置２００が対象者の個人情報を用いて対象者であるか否かを判定する場合を説明する。
　図３０は、第８の実施形態に係る動作情報処理装置２００の構成例を示すブロック図である。図３０に示すように、第８の実施形態に係る動作情報処理装置２００は、図１９に示した動作情報処理装置２００と同様の構成を有し、記憶部２３０が個人情報記憶部２３７及び個人特徴情報記憶部２３８を更に有し、制御部２４０が抽出部２４５を更に有する点が相違する。以下、第８の実施形態では、第７の実施形態と相違する点を中心に説明することとし、第７の実施形態において説明した構成と同様の機能を有する点については、図５と同一の符号を付し、説明を省略する。なお、第８の実施形態に係る動作情報処理装置２００においては、記憶部２３０は、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５を有していなくても良い。
　個人情報記憶部２３７は、対象者を識別する識別情報と、個人情報とを対応付けて記憶する。このうち、対象者ＩＤは、対象者を識別するための情報であり、例えば、医療機関において患者を識別するための患者番号等である。また、個人情報は、該当する対象者の個人特有の情報であり、例えば、身長、胸囲及び腹囲等の情報を含む。なお、個人情報記憶部２３７に記憶される情報は、例えば、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal　Health　Record）等から取得される情報であり、対象者の身体的な特徴のみならず、疾患の名称や通院の履歴等が記憶されても良い。
　個人特徴情報記憶部２３８は、個人特徴ＩＤと、個人特徴情報とを記憶する。このうち、個人特徴ＩＤは、個人を特定するために利用可能な特徴を識別するための情報であり、動作情報処理装置２００の設計者によって個人特徴情報記憶部２３８のレコードが登録されるごとに採番される。また、個人特徴情報は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目を示し、例えば、動作情報処理装置２００の設計者によって予め定義される。なお、個人特徴情報記憶部２３８に記憶される情報は、例えば、医療情報システムや、個人の健康情報記録（ＰＨＲ：Personal　Health　Record）等から取得されても良い。
　図３１は、個人特徴情報記憶部２３８に記憶される情報の一例を示す図である。図３１の１つ目のレコードには、個人特徴ＩＤ「００１」と、個人特徴情報「身長が（　　）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「身長が（　　）ｃｍである」を、個人特徴ＩＤ「００１」の個人特徴情報として記憶する。この個人特徴情報「身長が（　　）ｃｍである」は、個人情報記憶部２３７から対象者の身長の情報を取得した上で、判定に用いられる。また、図３１の２つ目のレコードには、個人特徴ＩＤ「００２」と、個人特徴情報「胸囲が（　　）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「胸囲が（　　）ｃｍである」を、個人特徴ＩＤ「００２」の個人特徴情報として記憶する。また、図３１の３つ目のレコードには、個人特徴ＩＤ「００３」と、個人特徴情報「腹囲が（　　）ｃｍである」が記憶されている。つまり、個人特徴情報記憶部２３８は、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目として「腹囲が（　　）ｃｍである」を、個人特徴ＩＤ「００３」の個人特徴情報として記憶する。また、個人特徴情報記憶部２３８は、他のレコードについても同様に、個人情報を用いて対象者であるか否かを判定する際に利用可能な個人情報の項目を記憶する。
　抽出部２４５は、対象者を識別する識別情報を受け付けて、受け付けた識別情報に対応する個人情報を個人情報記憶部２３７から抽出する。一例としては、抽出部２４５は、対象者の身体的な特徴を、対象者の電子カルテに記録された情報から取得する。
　例えば、リハビリテーションが開始される際に、当該リハビリテーションを行う対象者の対象者ＩＤの入力を入力部１２０が受け付けると、抽出部２４５は、その対象者ＩＤを入力部１２０から受け付ける。
　続いて、抽出部２４５は、受け付けた対象者ＩＤを用いて、個人特徴情報記憶部２３８の各レコードの個人特徴情報に対応する個人情報を個人情報記憶部２３７から抽出する。図３１に示す例では、１つ目のレコードの個人特徴情報には「身長が（　　）ｃｍである」が記憶されている。この場合、抽出部２４５は、個人情報記憶部２３７を参照し、受け付けた対象者ＩＤに対応する個人情報として、例えば「身長１７０ｃｍ」を抽出する。ここで抽出された身長は、判定部２４３が個人特徴情報記憶部２３８の１つ目のレコード「身長が（　　）ｃｍである」を用いて対象者か否かを判定する際に利用される。個人特徴情報記憶部２３８の他のレコードについても同様に、抽出部２４５は、受け付けた対象者ＩＤを用いて、個人特徴情報記憶部２３８の各レコードに対応する個人情報を個人情報記憶部２３７から抽出する。
　次に、図３２を用いて、第８の実施形態に係る動作情報処理装置２００の処理手順について説明する。図３２は、第８の実施形態に係る動作情報処理装置２００の処理手順の一例を説明するためのフローチャートである。なお、入力部１２０は、リハビリテーションが開始される際に、当該リハビリテーションを行う対象者の対象者ＩＤの入力を操作者から受け付けるものとする。
　図３２に示すように、第８の実施形態に係る動作情報処理装置２００において、ステップＳ５０１からステップＳ５０３までの処理は、図２７に示したステップＳ３０１からステップＳ３０３までの処理とそれぞれ同様であるので、説明を省略する。
　ステップＳ５０３の処理が終了すると、抽出部２４５は、リハビリテーションを行う対象者の対象者ＩＤを入力部１２０から受け付ける（ステップＳ５０４）。そして、抽出部２４５は、受け付けた対象者ＩＤに対応する個人情報を個人情報記憶部２３７から抽出する（ステップＳ５０５）。
　判定部２４３は、取得部２４１によって取得された動作情報に対応する人物が、対象者であるか否か、或いは介助者であるか否かを判定する判定処理を実行する（ステップＳ５０６）。なお、判定部２４３は、基本的には図１４に示した処理手順で判定処理を実行するが、個人特徴情報記憶部２３８を用いて判定する点が相違するので、以下、この相違点について図２８を用いて説明する。
　ステップＳ４０１において、判定部２４３は、対象者動作特徴記憶部２３２及び個人特徴情報記憶部２３８から、未処理のレコードを一つ選択する。なお、第８の実施形態に係る動作情報処理装置２００が対象者画像特徴記憶部２３４を有する場合には、対象者画像特徴記憶部２３４から未処理のレコードを選択しても良い。
　続いて、ステップＳ４０２において、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。このとき、個人特徴情報記憶部２３８からレコードが選択された場合には、判定部２４３は、抽出部２４５によって抽出された個人情報を用いて判定を行う。例えば、図３１の１つ目のレコードが選択された場合には、判定部２４３は、個人特徴情報記憶部２３８から個人特徴情報「身長が（　　）ｃｍである」を取得する。続いて、判定部２４３は、この個人特徴情報「身長が（　　）ｃｍである」に対応する個人情報として抽出部２４５によって抽出された個人情報「身長１７０ｃｍ」を取得する。そして、判定部２４３は、取得した個人特徴情報「身長が（　　）ｃｍである」及び個人情報「身長１７０ｃｍ」を組み合わせ、条件「身長が１７０ｃｍである」を生成する。そして、判定部２４３は、生成した条件「身長が１７０ｃｍである」に、取得部２４１によって取得された動作情報及びカラー画像情報が該当するか否かを判定する。具体的には、判定部２４３は、動作情報に含まれる骨格情報から身長を求め、その値が１７０ｃｍに近い値であるか否かを判定する。
　そして、判定部２４３は、ステップＳ４０３以降の処理を行う。なお、ステップＳ４０３以降の処理については、第７の実施形態で説明した内容と同様であるので、説明を省略する。
　図３２の説明に戻り、動作情報処理装置２００は、ステップＳ５０７以降の処理を行う。なお、図３２のステップＳ５０７からステップＳ５１１までの処理は、図２７のステップＳ３０５からステップＳ３０９までの処理をそれぞれ同様であるので、説明を省略する。
　なお、上述した処理手順は、必ずしも上記の順序で実行されなくても良い。例えば、評価情報を生成する処理であるステップＳ５０３の処理は、個人情報を抽出するステップ５０５の処理が実行された後に実行されても良い。
　上述してきたように、第８の実施形態に係る動作情報処理装置２００は、対象者を識別するための識別情報と、当該対象者の個人情報とを対応付けて記憶する個人情報記憶部２３７を有する。そして、動作情報処理装置２００は、識別情報を受け付けて、受け付けた識別情報に対応する個人情報を個人情報記憶部２３７から抽出する。そして、動作情報処理装置２００は、抽出部２４５によって抽出された個人情報を参照し、人物画像に対応する人物が、当該個人情報に対応する人物であるか否かを判定する。このため、動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを正確に判定することができる。
　なお、第８の実施形態では、動作情報処理装置２００が個人情報記憶部２３７及び個人特徴情報記憶部２３８を記憶する場合を説明したが、動作情報処理装置２００は、必ずしも個人情報記憶部２３７及び個人特徴情報記憶部２３８を記憶していなくても良い。例えば、動作情報処理装置２００がネットワークを介して上述した医療情報システムに接続されている場合には、抽出部２４５は、個人特徴情報記憶部２３８の各レコードの個人特徴情報に対応する個人情報を医療情報システムから抽出しても良い。
（第９の実施形態）
　上述した第８の実施形態では、対象者自身を識別可能な情報を用いて判定処理を行う場合を説明したが、実施形態はこれに限定されるものではない。例えば、第９の実施形態では、介助者自身を識別可能な情報を用いて判定処理を行う場合を説明する。
　図３３は、第９の実施形態に係る動作情報処理装置２００の構成例を示すブロック図である。図３３に示すように、第９の実施形態に係る動作情報処理装置２００は、図１９に示した動作情報処理装置２００と同様の構成を有し、記憶部２３０が職員情報記憶部２３９を更に有する点が相違する。以下、第９の実施形態では、第７の実施形態と相違する点を中心に説明することとし、第７の実施形態において説明した構成と同様の機能を有する点については、図１９と同一の符号を付し、説明を省略する。なお、第９の実施形態に係る動作情報処理装置２００においては、記憶部１３０は、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５を有していなくても良い。
　職員情報記憶部２３９は、職員ＩＤと、氏名とを対応付けて記憶する。このうち、職員ＩＤは、職員を識別するための情報であり、例えば、医療機関に従事する者を識別するための番号等である。また、氏名は、職員ＩＤに該当する者の氏名を表す情報である。職員情報記憶部２３９に記憶される情報は、例えば、動作情報処理装置２００が利用される医療機関の職員の人事を管理するための職員人事システムから取得される情報である。なお、職員には、介助者が含まれる。
　図３４は、職員情報記憶部２３９に記憶される情報の一例を示す図である。図３４の１つ目のレコードには、職員ＩＤ「１」と、氏名「Ａ山Ｂ男」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「１」で表される職員の氏名が「Ａ山Ｂ男」であることを記憶する。また、図３４の２つ目のレコードには、職員ＩＤ「２」と、氏名「Ｃ田Ｄ子」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「２」で表される職員の氏名が「Ｃ田Ｄ子」であることを記憶する。また、図３４の３つ目のレコードには、職員ＩＤ「３」と、氏名「Ｅ川Ｆ彦」が記憶されている。つまり、職員情報記憶部２３９は、職員ＩＤ「３」で表される職員の氏名が「Ｅ川Ｆ彦」であることを記憶する。また、職員情報記憶部２３９は、他の職員ＩＤの職員についても同様に、職員ＩＤ及び氏名を対応付けて記憶する。
　次に、第９の実施形態に係る動作情報処理装置２００の処理手順について説明する。第９の実施形態に係る動作情報処理装置２００の処理手順は、図２７において説明した第７の実施形態に係る動作情報処理装置２００の処理手順と同様であるが、職員情報記憶部２３９を用いて判定する点が相違するので、以下、この相違点について図２８を用いて説明する。
　ステップＳ４０１からステップＳ４０５までの処理は、図２８において説明した内容と同一であるので、説明を省略する。
　ステップＳ４０７において、判定部２４３は、介助者動作特徴記憶部２３３及び職員情報記憶部２３９から、未処理のレコードを一つ選択する。なお、第９の実施形態に係る動作情報処理装置２００が介助者画像特徴記憶部２３５を有する場合には、対象者画像特徴記憶部２３４から未処理のレコードを選択しても良い。
　続いて、ステップＳ４０８において、判定部２４３は、取得した動作情報及びカラー画像情報が、選択したレコードに該当するか否かを判定する。このとき、職員情報記憶部２３９からレコードが選択された場合には、判定部２４３は、取得部２４１によって取得されたカラー画像情報から、ネームプレートのパターンマッチングを行う。そして、判定部２４３は、パターンマッチングによってカラー画像情報からネームプレートの画像が抽出されると、抽出されたネームプレートに記載された文字を、既知の文字認識技術によって認識する。そして、判定部２４３は、文字認識によって文字、例えば「Ａ山Ｂ男」が認識されると、当該文字が職員情報記憶部２３９に記憶されているか否かを判定する。文字認識によって認識された文字が職員情報記憶部２３９に記憶されている場合には、判定部２４３は、取得されたカラー画像情報が職員情報に該当すると判定する。
　そして、判定部２４３は、ステップＳ４０９以降の処理を行う。なお、ステップＳ４０９以降の処理については、第７の実施形態で説明した内容と同様であるので、説明を省略する。
　上述してきたように、第９の実施形態に係る動作情報処理装置２００は、介助者を識別するための識別情報を記憶する識別情報記憶部を有する。そして、動作情報処理装置２００は、人物が撮影された人物画像を取得する。そして、動作情報処理装置２００は、取得した人物画像から識別情報を抽出し、抽出した識別情報が、識別情報記憶部に記憶された識別情報に対応する人物であるか否かを判定する。このため、動作情報処理装置２００は、介助者の個人名を特定することができる。
　なお、第９の実施形態では、動作情報処理装置２００が職員の氏名を用いて介助者であるか否かを判定する場合を説明したが、実施形態はこれに限定されるものではなく、例えば、職員の顔認識によって介助者であるか否かを判定しても良い。この場合、職員情報記憶部２３９は、職員ＩＤと、当該職員の顔画像とを対応付けて記憶する。そして、判定部２４３は、取得部２４１によって取得したカラー画像情報から顔の画像を認識し、認識した顔の画像と、職員情報記憶部２３９に記憶された顔画像とをマッチングすることで、取得されたカラー画像情報が職員情報に該当するか否かを判定する。
　また、第９の実施形態では、動作情報処理装置２００が職員情報記憶部２３９を記憶する場合を説明したが、動作情報処理装置２００は、必ずしも職員情報記憶部２３９を記憶していなくても良い。例えば、動作情報処理装置２００がネットワークを介して上述した職員人事システムに接続されている場合には、判定部２４３は、職員人事システムにアクセスし、職員情報記憶部２３９に記憶される情報に対応する情報を用いて判定しても良い。
（第１０の実施形態）
　さて、これまで第７～第９の実施形態について説明したが、上述した第７～第９の実施形態以外にも、種々の異なる形態にて実施されてよいものである。
　例えば、上述した第７～第９の実施形態において説明した構成は一例であり、必ずしも全ての構成を要しない。例えば、動作情報処理装置２００は、生成部２４２を有していなくても良い。つまり、動作情報処理装置２００において、取得部２４１は、人物の動作を表す動作情報を取得する。そして、判定部２４３は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。そして、格納部２４４は、判定部２４３によって判定された判定結果を出力する。このため、動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。例えば、動作情報処理装置２００は、取得した動作情報と判定結果とを対応付けて別の装置に出力してもよい。また、例えば、動作情報処理装置２００において、記憶部２３０は、対象者動作特徴記憶部２３２、介助者動作特徴記憶部２３３、対象者画像特徴記憶部２３４及び介助者画像特徴記憶部２３５のうちいずれかを有していればよい。
　また、例えば、上述した第７～第９の実施形態において説明した構成は一例であり、医用情報処理システムに含まれる複数の装置のいずれかが上記の構成を有していればよい。具体的には、医用情報処理システムは、取得部２４１と、生成部２４２と、判定部２４３と、格納部２４４とを有する。取得部２４１は、人物の動作を表す動作情報を取得する。そして、生成部２４２は、取得部２４１によって取得された動作情報から、前記リハビリテーションの評価情報を生成する。そして、判定部２４３は、対象者動作特徴情報を用いて、取得した動作情報に対応する人物が対象者であるか否かを判定する。そして、格納部２４４は、前記判定部の判定結果に基づいて、前記評価情報の出力を行う。
　また、例えば、上述した第７～第９の実施形態では、人物の動作の特徴を用いて判定する場合を説明したが、実施形態はこれに限定されるものではない。
　一例としては、動作情報処理装置２００は、音声認識結果を用いて判定しても良い。具体的には、対象者は、リハビリに集中するため、発言が少なくなったり、苦しそうな声を発したりする。また、介助者は、対象者を気遣ったり励ましたりするため、「大丈夫ですか」、「次は右足ですよ」或いは「ゆっくりでいいですよ」等の言葉を発する。このため、動作情報処理装置２００は、これらの特徴を用いることで、対象者及び介助者を判定することができる。
　ここで、対象者の発言が少なくなることを利用して、対象者であるか否かを判定する場合を説明する。この場合、対象者動作特徴記憶部２３２は、所定の動作ＩＤと、対象者動作特徴情報「３分以上発言が無い」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する音声認識結果を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、発言が無い旨を示す音声認識結果が３分間継続していれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当する、すなわち３分以上発言が無いと判定する。このように、動作情報処理装置２００は、音声認識結果を用いることで、精度良く対象者を判定することができる。
　また、介助者の「大丈夫ですか」という発言を利用して、介助者であるか否かを判定する場合を説明する。この場合、介助者動作特徴記憶部２３３は、所定の動作ＩＤと、介助者動作特徴情報「「大丈夫ですか」という単語を発する」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する音声認識結果を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、「大丈夫ですか」という単語を発した旨を示す音声認識結果があれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当する、すなわち「大丈夫ですか」という言葉を発したと判定する。このように、動作情報処理装置２００は、音声認識結果を用いることで、精度良く介助者を判定することができる。
　また、他の例としては、動作情報処理装置２００は、熱センサ(サーモグラフィ等)を用いて判定しても良い。具体的には、対象者は、頑張って身体を動かすため、リハビリが行われる間の体温が上昇する。このため、動作情報処理装置２００は、この特徴を用いることで、対象者を判定することができる。なお、この場合、動作情報処理装置２００は、例えば、入力部１２０として、熱センサを備え、取得部２４１によって取得される動作情報に対応する人物の体温を、フレームごとに取得するものとする。
　一態様としては、対象者動作特徴記憶部２３２は、所定の動作ＩＤと、対象者動作特徴情報「体温が３６．５度以上である」とが対応付けられた情報を記憶する。そして、取得部２４１は、動作情報とともに、その動作情報の各フレームに対応する体温を取得する。そして、判定部２４３は、取得部２４１によって取得された動作情報について、体温が３６．５度以上であれば、その動作情報が所定の動作ＩＤの対象者動作特徴情報に該当すると判定する。このように、動作情報処理装置２００は、熱センサを用いることで、精度良く対象者を判定することができる。
　以上説明したとおり、第７～第１０の実施形態によれば、本実施形態の動作情報処理装置２００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
（第１１の実施形態）
　上述したように、第７～第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することを可能にすることで、リハビリテーションを支援する場合について説明した。そこで、以下、第１１～第１２の実施形態では、更に、被検体（対象者）の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる動作情報処理装置３００を提供する場合について説明する。なお、第１１～第１２の実施形態においては、被検体は、所定の動作を実施する者も、リハビリテーションの対象となる者も含む。
　図３５は、第１１の実施形態に係る医用情報処理システム１の構成例を示すブロック図である。第１の実施形態に係る医用情報処理システム１は、医療機関や自宅、職場等において行われるリハビリテーションを支援するシステムである。なお、第１１の実施形態においては、動作情報処理装置３００が医用情報処理システム１に適用される場合を説明するが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置３００は、医用情報処理システム１に適用されない場合にも、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
　図３５に示すように、第１１の実施形態に係る医用情報処理システム１は、動作情報収集部１０と、動作情報処理装置３００と、医用画像保管装置２０と、ワークステーション３０とを備える。ここで、動作情報処理装置３００、医用画像保管装置２０及びワークステーション３０は、例えば、病院内に設置された院内ＬＡＮ（Local　Area　Network）４０により、直接的又は間接的に相互に通信可能な状態となっている。例えば、動作情報処理システム１にＰＡＣＳ（Picture　Archiving　and　Communication　System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital　Imaging　and　Communications　in　Medicine）規格に則って、医用画像情報等を相互に送受信する。
　医用画像保管装置２０は、リハビリテーションを支援するための各種情報を保管する。例えば、医用画像保管装置２０は、画像情報を保管するデータベースを備え、動作情報処理装置３００によって送信された各種情報をデータベースに格納し、これを保管する。一例としては、医用画像保管装置２０は、医用情報処理システム１にＥＭＲ（Electronic　Medical　Record、電子診療記録）が適用される場合に、ＥＭＲにおいて記憶される情報を記憶する。医用画像保管装置２０に記憶された情報は、例えば、医用情報処理システム１にアクセスする権限を有する者、或いは、主治医や院長等の所定の権限を有する者であれば、閲覧可能である。医用画像保管装置２０に記憶される情報については、後述する。
　なお、第１１の実施形態においては、医用画像保管装置２０が、ある医療機関の医用情報処理システム１において情報を保管する場合を説明するが、実施形態はこれに限定されるものではない。例えば、医用画像保管装置２０は、インターネット上に設置されても良い。この場合、医用画像保管装置２０は、インターネットに接続された複数の医療機関の情報を医療機関ごとに保管しても良いし、各医療機関の情報を相互に閲覧可能な形式で保管しても良い。また、医用画像保管装置２０は、医用画像保管装置２０に記憶される情報ごとにアクセス権限を設定して保管しても良い。
　ワークステーション３０は、リハビリテーションを支援するための各種情報を表示する。例えば、ワークステーション３０は、医用画像保管装置２０から動作情報を取得し、取得した情報を表示する。
　動作情報処理装置３００は、動作情報収集部１０から出力される動作情報を用いて、リハビリテーションを支援するための各種処理を行う。動作情報処理装置３００は、例えば、コンピュータ、ワークステーション等の情報処理装置である。
　例えば、上記の医用情報処理システム１において、動作情報収集部１０によって収集されたリハビリにおける動作情報を、主治医以外の医師や理学療法士が閲覧可能な情報として医用画像保管装置２０に保管しておくことは、医療業務において有用であると考えられる。例えば、医師は、医用画像保管装置２０に記憶された情報を用いて、ある被検体のリハビリの動作を確認可能な情報（動画像や骨格情報）を、その被検体と同様のリハビリを行っている他の被検体に手本として閲覧させることが可能となる。しかしながら、この行為は、手本として利用される被検体の個人情報を他の被検体に公開することとなるため、個人情報保護の観点から好ましくない。
　そこで、第１１の実施形態に係る動作情報処理装置３００は、以下に説明する処理を行うことで、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
　図３６は、第１１の実施形態に係る動作情報処理装置３００の詳細な構成例を示すブロック図である。図３６に示すように、動作情報処理装置３００においては、記憶部３３０が、動作情報記憶部３３１を有する。
　動作情報記憶部３３１は、動作情報収集部１０によって収集された各種情報を記憶する。具体的には、動作情報記憶部３３１は、動作情報生成部１４によって生成された動作情報を記憶する。より具体的には、動作情報記憶部３３１は、動作情報生成部１４によって生成されたフレームごとの骨格情報を記憶する。ここで、動作情報記憶部３３１、動作情報生成部１４によって出力されたカラー画像情報、深度画像情報及び音声認識結果をフレームごとにさらに対応付けて記憶することも可能である。なお、カラー画像情報は、撮影画像情報の一例である。
　例えば、第１１の実施形態に係る動作情報記憶部３３１は、図７に示した動作情報記憶部１３１と同様の情報を記憶する。
　図３６の説明に戻る。図３６に示すように、動作情報処理装置３００においては、制御部３４０が、取得部３４１と、生成部３４２と、出力制御部３４３とを有する。
　取得部３４１は、被検体の動作情報を取得する。例えば、取得部３４１は、少なくとも、骨格情報と、カラー画像情報とを時系列順に含む動作情報を取得する。一例としては、取得部３４１は、動作情報収集部１０及び動作情報処理装置３００に電源が投入され、１フレームの骨格情報が動作情報記憶部３３１に格納されるごとに、格納された骨格情報と、格納された骨格情報に対応するフレームのカラー画像情報とを、動作情報記憶部３３１からそれぞれ取得する。なお、取得部３４１によって取得される動作情報は、第１動作情報の一例である。
　なお、第１１の実施形態では、動作情報収集部１０によって動作情報記憶部３３１に各フレームの骨格情報及びカラー画像情報が格納されるごとに、取得部３４１がリアルタイムで各種の情報を取得する場合を説明するが、これに限定されるものではない。例えば、取得部３４１は、動作情報記憶部３３１に記憶済みの骨格情報及びカラー画像情報のフレーム群を取得しても良い。
　生成部３４２は、例えば、骨格情報に含まれる各関節の位置を用いて、被検体の骨格を視覚的に確認可能な画像情報を、医用画像情報として生成する。
　図３７Ａ及び図３７Ｂは、第１１の実施形態に係る生成部３４２の処理を説明するための図である。図３７Ａには、ある被検体が歩行訓練を行っている様子を表すカラー画像情報と、被検体の各関節の位置を表す骨格情報とを例示する。また、図３７Ｂには、図３７Ａのカラー画像情報及び骨格情報に基づいて生成される医用画像情報３７ａを例示する。
　図３７Ａ及び図３７Ｂに示すように、生成部３４２は、取得部３４１によって取得された骨格情報に含まれる各関節２ａ～２ｔの位置を示す骨格モデル３７ｂを生成する。具体的には、例えば、生成部３４２は、医用画像情報３７ａの撮影範囲のうち、各関節２ａ～２ｔの画素位置Ｘ及び画素位置Ｙに対応する位置に丸印を配置する。また、生成部３４２は、各関節の位置関係を表す情報に基づいて、各丸印を結ぶ線分を配置する。これにより、生成部３４２は、骨格モデル３７ｂを生成する。
　また、生成部３４２は、床面画像３７ｃを生成する。具体的には、例えば、生成部３４２は、世界座標系におけるｙ＝０の位置に対応する画素を床面の画素として特定する。そして、生成部３４２は、床面の画素のうち、ｘ方向及びｚ方向に１ｍ間隔で平行な線を配置することで、床面画像３７ｃを生成する。
　このように、生成部３４２は、骨格モデル３７ｂ及び床面画像３７ｃを含む医用画像情報３７ａを生成する。そして、生成部３４２は、生成した医用画像情報３７ａを出力制御部３４３へ出力する。
　なお、上記の例はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、生成部３４２が床面画像３７ｃを生成する処理は、上記の例に限定されるものではない。例えば、生成部３４２は、動作情報収集部１０や他のセンサから、世界座標系における床面の座標を取得可能な場合には、これを用いて床面の画素を特定しても良い。生成部３４２は、特定した床面の画素のうち、ｘ方向及びｚ方向に１ｍ間隔で平行な線を配置することで、床面画像３７ｃを生成可能である。更に、これに限らず、例えば、生成部３４２は、被検体の足根（関節２ｐ又は関節２ｔ）の位置が一定時間変化しない位置に対応する画素を、床面の画素として特定しても良い。また、例えば、上記の床面画像３７ｃは、必ずしも医用画像情報３７ａに含まれていなくても良い。
　出力制御部３４３は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。一例としては、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。なお、閲覧用動作情報は、第２動作情報の一例である。
　図３８は、第１１の実施形態に係る医用画像保管装置２０に格納される閲覧用動作情報の一例を示す図である。医用画像保管装置２０は、図３８に示すように、氏名ごとに、氏名番号と、実施日と、閲覧用動作情報とが対応付けられた情報を記憶する。ここで、「氏名番号」とは、被検体を一意に特定するための識別子であり、氏名ごとに付与される。「実施日」とは、被検体が歩行訓練を実施した日時を示す。「閲覧用動作情報」とは、出力制御部３４３によって医用画像保管装置２０に格納された情報を示す。
　図３８に示すように、医用画像保管装置２０は、氏名「Ａ」、氏名番号「１」、実施日「２０１２０８０１＿１」、閲覧用動作情報「医用画像情報、深度画像情報、音声認識結果、骨格情報」等を記憶する。上記した情報は、氏名番号が「１」である氏名「Ａ」の人物が「２０１２年」の「８月１日」に実施した「１回目」の歩行訓練における動作情報として、「医用画像情報」と、「深度画像情報」と、「音声認識結果」と、「骨格情報」とを含む閲覧用動作情報が記憶されていることを示す。
　ここで、図３８に示す閲覧用動作情報において、歩行訓練を実行している際に撮影された全てのフレームごとの「医用画像情報」、「深度画像情報」、「音声認識結果」及び「骨格情報」が時系列順に時間に対応付けて記憶される。
　このように、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。なお、これに限らず、出力制御部３４３は、閲覧用動作情報を出力部１１０に表示させても良い。
　図３９は、第１１の実施形態に係る動作情報処理装置３００による処理手順を示すフローチャートである。図３９に示すように、取得部３４１は、骨格情報と、カラー画像情報とを含む動作情報を取得する（ステップＳ６０１）。
　続いて、生成部３４２は、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する（ステップＳ６０２）。例えば、生成部３４２は、骨格情報に含まれる各関節の位置を用いて、被検体の骨格を視覚的に確認可能な画像情報を、医用画像情報として生成する。
　そして、出力制御部３４３は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する（ステップＳ６０３）。例えば、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報３７ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
　上述してきたように、第１１の実施形態に係る動作情報処理装置３００は、骨格情報と、カラー画像情報とを含む動作情報を取得する。そして、動作情報処理装置３００は、骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。このため、動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
　具体的には、カラー画像情報には被検体の姿が撮影されるため、カラー画像情報を閲覧することで被検体を特定できてしまう。このため、カラー画像情報を医用画像保管装置２０に保管しておくことは、個人情報保護の観点から好ましくない。そこで、第１１の実施形態に係る動作情報処理装置３００は、被検体の姿を含まずに被検体の動作を確認可能な医用画像情報３７ａを生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。これにより、例えば、ある被検体の医用画像情報３７ａが他者に閲覧されても、被検体が特定されないので、動作情報処理装置３００は、被検体の個人情報を保護しつつ臨床上有用な画像情報を提供することができる。具体的には、医師は、ある被検体の医用画像情報３７ａを手本として他の被検体に閲覧させることや、「このリハビリを行うことで、１ヶ月後にはこのように健康になります」などの指標として閲覧させることが可能となる。
　また、例えば、第１１の実施形態に係る動作情報処理装置３００は、個人情報保護に配慮した上で医用画像保管装置２０に閲覧用動作情報を格納するので、複数の被検体の閲覧用動作情報を処理することを可能にする。これにより、動作情報処理装置３００は、閲覧用動作情報を統計的に処理することで、例えば、個人ごと、或いは疾病ごとの特徴量をより正確に求めることを可能にする。
　また、上述したように、医用画像保管装置２０がインターネットやＬＡＮ等のネットワーク上に設置される場合に、動作情報処理装置３００は、ネットワーク上の医用画像保管装置２０に、被検体の個人情報を保護しつつ臨床上有用な画像情報を格納することができる。これにより、動作情報処理装置３００は、遠隔地の医療機関と情報を共有することができる。例えば、地域連携内の医師や理学療法士の間で共通の対象者の情報を共有したり、遠隔地の医師から助言を得たりすることが可能となる。
（第１１の実施形態の変形例１）
　上記の実施形態では、動作情報処理装置３００が、骨格モデル３７ｂを含む医用画像情報３７ａを生成する場合を説明したが、これに限定されるものではない。例えば、動作情報処理装置３００は、カラー画像情報に含まれる被検体の特徴を含む部位の画像を隠蔽した画像情報を、医用画像情報として生成しても良い。ここで、被検体の特徴を含む部位とは、例えば、頭部（顔面）である。以下では、一例として、動作情報処理装置３００が、カラー画像情報に含まれる被検体の頭部の画像を隠蔽した画像情報を生成する場合を説明する。
　第１１の実施形態の変形例１に係る動作情報処理装置３００において、生成部３４２は、骨格情報に含まれる頭部の関節の位置を用いて、カラー画像情報に含まれる被検体の頭部の画像の少なくとも一部を隠蔽した画像情報を、医用画像情報として生成する。
　図４０は、第１１の実施形態の変形例１に係る生成部３４２の処理を説明するための図である。図４０には、図３７Ａのカラー画像情報及び骨格情報に基づいて生成される医用画像情報４０ａを例示する。
　図４０に示すように、生成部３４２は、取得部３４１によって取得された骨格情報に含まれる被検体の頭部の関節の位置を用いて、カラー画像情報に含まれる被検体の頭部の画像を隠蔽する。具体的には、生成部３４２は、骨格情報に含まれる頭部の関節２ａの座標を用いて、カラー画像情報における頭部の中心の画素位置４０ｂを特定する。そして、生成部３４２は、画素位置４０ｂを含む頭部領域４０ｃに含まれる画素の色を所定の色（例えば、グレー）に変更する。この頭部領域４０ｃは、例えば、画素位置４０ｂを中心とする所定の大きさの矩形領域である。そして、生成部３４２は、頭部領域４０ｃに含まれる画素の色を変更したカラー画像情報を、医用画像情報４０ａとして出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報４０ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
　このように、第１１の実施形態の変形例１に係る動作情報処理装置３００は、カラー画像情報に含まれる被検体の頭部の画像を隠蔽することで、医用画像情報４０ａを生成する。すなわち、動作情報処理装置３００は、骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。そして、動作情報処理装置３００は、生成した医用画像情報をカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
　なお、頭部領域４０ｃの大きさは、動作情報処理装置３００の操作者の任意の大きさに変更可能である。また、頭部領域４０ｃの大きさは、関節２ａのｚ座標の値の大きさに応じて変更されても良い。この場合、例えば、動作情報処理装置３００は、関節２ａのｚ座標の値が大きければ（被検体が遠くにいれば）、頭部領域４０ｃを小さく設定し、関節２ａのｚ座標の値が小さければ（被検体が近くにいれば）、頭部領域４０ｃを大きく設定する。また、頭部領域４０ｃの大きさは、頭部の全てを隠蔽することが好ましいが、これに限定されるものではなく、例えば、目の位置だけを隠蔽する大きさであっても良い。また、頭部領域４０ｃの形は、必ずしも矩形でなくても良い。例えば、頭部領域４０ｃの形は、円形であっても良いし、関節２ａを中心とする顔認識技術によって顔の輪郭を特定し、特定した輪郭に対応する範囲を頭部領域４０ｃとしても良い。
　また、ここでは、被検体の特徴を含む部位の一例として、頭部の画像を隠蔽した画像情報を生成する場合を説明したが、実施形態はこれに限定されるものではない。例えば、動作情報処理装置３００は、被検体の特徴を含む部位として、身体的な骨格形状の特徴を検出し、これを隠蔽しても良い。身体的な骨格形状の特徴とは、例えば、腕の欠失等である。例えば、動作情報処理装置３００は、左腕を欠失した被検体であれば、左腕に相当する位置を隠蔽することで、被検体の特徴を含む部位を隠蔽した画像情報を生成する。例えば、生成部３４２は、被検体の骨格情報を参照し、全ての関節２ａ～２ｔの位置情報があるか否かを判定する。ここで、例えば、左腕の関節２ｊ，２ｋ，２ｌが無い場合には、生成部３４２は、被検体の関節２ｊ，２ｋ，２ｌの位置を推定する。一例としては、生成部３４２は、体の中心線（関節２ｂと２ｃを通る線）を挟んで右腕の関節２ｆ，２ｇ，２ｈと対象の位置を、それぞれ関節２ｊ，２ｋ，２ｌの位置として推定する。そして、生成部３４２は、推定した左腕の関節２ｊ，２ｋ，２ｌを含む領域（例えば矩形領域）に含まれる画素の色を所定の色に変更する。これにより、生成部３４２は、被検体の左腕に相当する位置を隠蔽した画像情報を生成する。
　また、例えば、動作情報処理装置３００は、被検体の特徴を含む部位として、被検体の肌上に見られる特徴を検出し、これを隠蔽しても良い。肌上に見られる特徴とは、例えば、傷跡（外傷によるもの）等である。例えば、動作情報処理装置３００は、左腕に傷跡がある被検体であれば、左腕に相当する位置を隠蔽することで、被検体の特徴を含む部位を隠蔽した画像情報を生成する。例えば、生成部３４２は、カラー画像情報のうち、被検体の骨格情報に対応する位置を含む領域について、画素ヒストグラムを生成する。そして、生成部３は、肌色に対応する輝度ヒストグラムからピークが検出された場合に、このピークに対応する位置を含む領域の画素の色を所定の色に変更する。これは、通常の肌であれば一様な輝度ヒストグラムが得られるのに対して、この輝度ヒストグラムからピークが検出される場合には、傷跡等の肌上の特徴を有すると考えられる空である。これにより、生成部３４２は、被検体の左腕に相当する位置を隠蔽した画像情報を生成する。
　また、例えば、動作情報処理装置３００は、上記の例に限らず、操作者から指定された領域を隠蔽した画像情報を生成しても良い。一例としては、生成部３４２は、マウス等の入力部１２０を介して操作者から領域の指定を受け付ける。そして、生成部３４２は、受け付けた領域を隠蔽した画像情報を生成する。
　また、第１１の実施形態の変形例１に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを医用画像情報４０ａに重畳させた画像情報を生成可能である。
（第１１の実施形態の変形例２）
　また、カラー画像情報には、被検体以外にも、公開されるべきでない被写体が含まれる場合がある。例えば、カラー画像情報には、被検体のリハビリを介助する介助者の顔や、公開されるべきでない掲示物等が含まれる場合がある。そこで、動作情報処理装置３００は、上記の第１１の実施形態の変型例１に加えて、カラー画像情報に含まれる被検体以外が撮影された領域を隠蔽した画像情報を、医用画像情報として生成しても良い。
　第１１の実施形態の変形例２に係る動作情報処理装置３００において、生成部３４２は、更に、骨格情報に含まれる各関節の位置を用いて、カラー画像情報に含まれる被検体以外が撮影された画像の少なくとも一部を隠蔽した画像情報を、医用画像情報として生成する。
　図４１は、第１１の実施形態の変形例２に係る生成部３４２の処理を説明するための図である。図４１には、図４０の医用画像情報４０ａに基づいて生成される医用画像情報４１ａを例示する。
　図４１に示すように、生成部３４２は、更に、骨格情報に含まれる各関節の位置を用いて、カラー画像情報に含まれる被検体以外が撮影された画像を隠蔽する。具体的には、生成部３４２は、骨格情報に含まれる各関節の位置を用いて、被検体を含む被検体領域４１ｂを特定する。より具体的には、生成部３４２は、被検体の各関節のｘ座標のうち、最も大きい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値に所定値を加算した値の座標を通る線を、被検体領域４１ｂの右辺として決定する。また、生成部３４２は、被検体の各関節のｘ座標のうち、最も小さい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値から所定値を加算した値の座標を通る線を、被検体領域４１ｂの左辺として決定する。また、生成部３４２は、被検体の各関節のｙ座標のうち、最も大きい値であるｙ座標の関節を特定し、特定した関節のｙ座標の値に所定値を加算した値の座標を通る線を、被検体領域４１ｂの上辺として決定する。また、生成部３４２は、被検体の各関節のｘ座標のうち、最も小さい値であるｘ座標の関節を特定し、特定した関節のｘ座標の値から所定値を加算した値の座標を通る線を、被検体領域４１ｂの左辺として決定する。そして、生成部３４２は、特定した被検体領域４１ｂの外側の画素の色を所定の色（例えば、グレー）に変更する。そして、生成部３４２は、被検体領域４１ｂの外側の画素の色を変更したカラー画像情報を、医用画像情報４１ａとして出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報４１ａとを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
　このように、第１１の実施形態の変形例２に係る動作情報処理装置３００は、被検体以外が撮影された領域を隠蔽することで、医用画像情報４１ａを生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１の実施形態に係る動作情報処理装置３００は、被検体以外にも公開されるべきでない被写体を隠蔽しつつ、被検体の動作を確認可能な情報を提供することができる。例えば、動作情報処理装置３００は、被検体のリハビリを介助する介助者の顔や、公開されるべきでない掲示物等についても隠蔽することができる。
　なお、被検体領域４１ｂの大きさは、動作情報処理装置３００の操作者の任意の大きさに変更可能である。また、被検体領域４１ｂの形は、必ずしも矩形でなくても良い。例えば、被検体領域４１ｂの形は、楕円形であっても良い。
　また、第１１の実施形態の変形例２に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを医用画像情報４１ａに重畳させた画像情報を生成可能である。
（第１１の実施形態の変形例３）
　更に、実施形態は、上記の実施形態に限定されるものではなく、例えば、動作情報処理装置３００は、被検体の領域のみを表す画像情報を、医用画像情報として生成しても良い。
　第１１の実施形態の変形例３に係る動作情報処理装置３００において、取得部３４１は、撮影範囲に含まれる各画素と、その画素の深度とが対応付けられた深度画像情報を時系列順に更に含む動作情報を取得する。例えば、取得部３４１は、動作情報収集部１０及び動作情報処理装置３００に電源が投入され、１フレームの深度画像情報が動作情報記憶部３３１に格納されるごとに、格納された深度画像情報を動作情報記憶部３３１から取得する。
　第１１の実施形態の変形例３に係る動作情報処理装置３００において、生成部３４２は、処理対象となる時点の深度画像情報と、その深度画像情報とは異なる時点の深度画像情報とに基づいて、処理対象となる時点の深度画像情報から被検体の領域を表す画像情報を、医用画像情報として生成する。
　図４２は、第１１の実施形態の変形例３に係る生成部３４２の処理を説明するための図である。図４２には、フレームＴの深度画像４２ａ、フレームＴ－１の深度画像４２ｂ及び２値化画像４２ｃを例示する。フレームＴの深度画像４２ａ及びフレームＴ－１の深度画像４２ｂにおいて、実線は、各フレームにおける被検体の位置を表す。また、フレームＴの深度画像４２ａにおいて、破線は、フレームＴ－１における被検体の位置を表す。すなわち、フレームＴの深度画像４２ａは、被検体が破線の位置から実線の位置に移動したことを表す。なお、２値化画像４２ｃにおける「画素位置Ｘ」及び「画素位置Ｙ」は、距離画像座標系の「画素位置Ｘ」及び「画素位置Ｙ」に対応する。また、破線は説明の便宜上、フレームＴ－１における被検体の位置を示すものであり、フレームＴの深度画像４２ａにおいてフレームＴ－１における被検体の位置は表示されない。
　図４２に示すように、生成部３４２は、取得部３４１によってフレームＴの深度画像４２ａが取得されると、フレームＴの深度画像４２ａの深度からフレームＴ－１の深度画像４２ｂの深度を画素ごとに減算する。そして、生成部３４２は、減算した値が閾値以上である画素を白とし、閾値未満である画素を黒とする２値化を行うことで、フレームＴの２値化画像４２ｃを生成する。この２値化画像４２ｃにおいて、黒い画素の領域は、フレームＴ－１からフレームＴの間に深度方向に閾値より動きのないもの、例えば、床面や壁、机、椅子等の物体の位置を表す。また、白い画素の領域は、フレームＴ－１からフレームＴの間に深度方向に閾値以上に動きのあるもの、例えば、撮影された人物（被写体）の位置を表す。すなわち、生成部３４２は、動きのないものと動きのあるものとをそれぞれ識別することで、歩行動作を行う被検体の位置を表す被検体領域４２ｄを抽出する。そして、生成部３４２は、被検体領域４２ｄを抽出した２値化画像４２ｃを、医用画像情報として出力制御部３４３に出力する。これにより、出力制御部３４３は、被検体の骨格情報と、生成部３４２によって生成された医用画像情報とを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
　このように、第１１の実施形態の変形例３に係る動作情報処理装置３００は、被検体の領域のみを表す画像情報を、医用画像情報として生成し、これをカラー画像情報に代えて医用画像保管装置２０に格納する。このため、第１の実施形態に係る動作情報処理装置３００は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
　なお、上記の生成部３４２の処理は、あくまでも一例であり、これに限定されるものではない。例えば、上記の説明では、生成部３４２が時系列順で隣り合うフレームの深度画像情報を用いて被検体領域を抽出したが、これに限定されるものではない。例えば、生成部３４２は、時系列順で数フレーム離れたフレームの深度画像情報について、画素ごとに深度の差分を算出し、算出した差分が閾値以上である画素の領域を被検体領域として抽出しても良い。また、例えば、生成部３４２は、人がいない時の深度画像情報を基準とし、フレームＴの深度画像情報と基準の深度画像情報とについて、画素ごとに深度の差分を算出し、算出した差分が閾値以上である画素の領域を被検体領域として抽出しても良い。
　また、第１１の実施形態の変形例３に係る生成部３４２は、医用画像情報として、上述した床面画像３７ｃを含む画像情報を生成しても良い。例えば、生成部３４２は、上述したように、床面画像３７ｃを生成し、生成した床面画像３７ｃを２値化画像４２ｃに重畳させた画像情報を生成可能である。
（第１２の実施形態）
　上記の実施形態では、動作情報処理装置３００が、閲覧用動作情報を医用画像保管装置２０に格納する場合に、被検体の個人情報を隠蔽する場合を説明したが、これに限定されるものではない。例えば、ワークステーション３０において被検体に手本として他の被検体の閲覧用動作情報を閲覧させる場合に、手本となる閲覧用動作情報の動作に基づいて被検体自身の画像を表示しても良い。これにより、被検体は、あたかも被検体自身が手本となる動作を行っている画像を閲覧することができる。
　第１２の実施形態に係る医用情報処理システム１は、図３５に示した医用情報処理システム１と同様の構成を有し、ワークステーション３０における処理が一部相違する。そこで、第１２の実施形態では、第１１の実施形態と相違する点を中心に説明することとし、第１１の実施形態において説明した構成と同様の機能を有する点については、図３５と同一の符号を付し、説明を省略する。
　図４３は、第１２の実施形態に係るワークステーション３０の詳細な構成例を示すブロック図である。図４３に示すように、ワークステーション３０は、表示用情報記憶部３１と、表示制御部３２とを有する。
　表示用情報記憶部３１は、被検体を表す被検体画像情報と、その被検体画像情報における被検体の各関節の位置とが対応付けられた表示用情報を記憶する。
　図４４は、表示用情報記憶部３１に記憶される情報の一例を示す図である。図４４では、被検体が高齢女性である場合を説明する。この場合、表示用情報記憶部３１は、被検体本人の画像情報と、その被検体の各関節２ａ～２ｔの位置とが対応付けられた情報を、表示用情報４４ａとして記憶する。すなわち、表示用情報記憶部３１は、被検体の各関節の位置と、被検体の画像情報に含まれる各画素位置との位置関係を記憶する。
　なお、図４４に示す例では、説明の便宜上、高齢女性のキャラクターを被検体画像情報として含む表示用情報４４ａを例示したが、実施形態はこれに限定されるものではない。例えば、表示用情報記憶部３１には、０～９歳、１０～１９歳、２０～２９歳等、所定の年代ごとに男性及び女性のキャラクターを被検体画像情報として用意しておき、被検体の年代及び性別に応じて選択可能な形式で提供されても良い。更に、これに限らず、表示用情報記憶部３１は、被検体本人の写真を被検体画像情報として含む表示用情報４４ａを記憶しても良い。
　表示制御部３２は、医用画像保管装置２０から閲覧用動作情報を取得する。そして、表示制御部３２は、表示用情報に含まれる各関節の位置に基づいて、閲覧用動作情報に含まれる医用画像情報に被検体の画像情報をマッピングすることで、閲覧用動作情報の動作に基づいて被検体の画像を表示する表示制御を行う。
　図４５は、第２の実施形態に係る表示制御部３２の処理を説明するための図である。図４５には、ワークステーション３０において被検体に閲覧される表示画像４５ａを例示する。図４５では、一例として、図４４の表示用情報４４ａに含まれる各画素を、図３７Ｂの医用画像情報３７ａにマッピングする場合を説明する。
　図４５に示すように、例えば、表示制御部３２は、医用画像保管装置２０から閲覧用動作情報を取得する。この閲覧用動作情報は、図３７Ｂの医用画像情報３７ａを含む。そして、表示制御部３２は、表示用情報記憶部３１に記憶された表示用情報４４ａに含まれる各関節の位置に基づいて、被検体の画像情報を医用画像情報３７ａにマッピングする。具体的には、表示制御部３２は、表示用情報４４ａに含まれる各画素を、各画素の画素位置と各関節の位置との位置関係に基づいて、医用画像情報３７ａに配置する。より具体的には、例えは、表示制御部３２は、表示用情報４４ａの関節２ａの位置にある画素を、医用画像情報３７ａの頭部の関節２ａの位置に配置する。また、例えば、表示用情報４４ａの髪の毛の位置の画素は、その画素と頭部の関節２ａの位置との位置関係（Ｘ方向の距離ΔＸ及びＹ方向の距離ΔＹ）を用いて、医用画像情報３７ａの頭部の位置からΔＸ及びΔＹの位置に配置する。これにより、表示制御部３２は、高齢女性の表示用画像４４ａを医用画像情報３７ａの姿勢で表示する表示画像４５ａを生成する。また、表示制御部３２は、第１の実施形態に係る生成部３４２と同様の処理により、床面画像を生成し、生成した床面画像を表示画像４５ａに重畳させる。そして、表示制御部３２は、床面画像を重畳した表示画像４５ａを時系列順に表示することで、高齢女性が医用画像情報３７ａの動きを行っているかのような動画を表示する。なお、表示制御部３２は、必ずしも床面画像を生成しなくても良い。
　このように、第１２の実施形態に係るワークステーション３０は、被検体の画像情報を、他の被検体の閲覧用動作情報の動作に基づいて表示する。このため、ワークステーション３０は、被検体に対して、あたかも被検体自身が他の被検体の動作を行っているかのような画像を表示することができる。これにより、被検体は、他者のリハビリの動作をあたかも自分が行っているかのように見えるので、例えば、リハビリ開始から１ヶ月後の自分、健康になったときの自分を具体的にイメージすることが容易になる。この結果、動作情報処理装置３００は、リハビリを行う被検体のモチベーションを向上させることができる。
　なお、第１２の実施形態では、表示制御部３２が図３７Ｂの医用画像情報３７ａに基づいて表示用画像４４ａを表示する場合を説明したが、実施形態はこれに限定されるものではない。例えば、表示制御部３２は、図４０の医用画像情報４０ａに基づいて表示用画像４４ａを表示しても良いし、図４２の２値化画像４２ｃに基づいて表示用画像４４ａを表示しても良い。また、表示制御部３２は、例えば、動作情報処理装置３００から動作情報を取得して、カラー画像情報及び骨格情報に基づいて、表示用画像４４ａを表示しても良い。この場合、表示制御部３２は、生成部３４２の処理を行った後に、上記の表示制御部３２の処理を行うこととなる。
　以上説明したとおり、第１１～第１２の実施形態によれば、本実施形態の動作情報処理装置は、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供することができる。
（第１３の実施形態）
　上述してきたように、第１～第６の実施形態では、所定の動作を実施する者以外を誤認識することを抑止することを可能にする場合について説明した。また、第７～第１０の実施形態では、デジタル的に記録された人物の動きが、リハビリテーションの対象となる者のものであるか否かを判定する場合について説明した。また、第１１～第１２の実施形態では、デジタル的に記録された人物の動きが、被検体の個人情報を隠蔽しつつ動作を確認可能な情報を提供する場合について説明した。ここで、上記の各処理は、一連の処理として実行することができる。そこで、第１３の実施形態では、上記の各処理を一連の処理として実行する場合について説明する。これにより、第１３の実施形態に係る動作情報処理装置４００は、リハビリ対象者の動作情報を確実に判定して、更に、そのリハビリ対象者の個人情報を隠蔽することができる。なお、第１３の実施形態においては、所定の動作を実施する者を「対象者」として説明し、リハビリテーションの対象となる者を「リハビリ対象者」として説明する。
　図４６は、第１３の実施形態に係る動作情報処理装置４００の構成例を示すブロック図である。図４６に示すように、動作情報処理装置４００は、コンピュータ、ワークステーション等の情報処理装置であり、出力部１１０と、入力部１２０と、記憶部４３０と、制御部４４０とを有する。なお、出力部１１０及び入力部１２０は、第１の実施形態において説明した出力部１１０及び入力部１２０とそれぞれ同様であるので、説明を省略する。
　記憶部４３０は、図１９に示した記憶部２３０と同様の構成を有する。すなわち、記憶部４３０は、動作情報記憶部４３１と、対象者動作特徴記憶部４３２と、介助者動作特徴記憶部４３３と、対象者画像特徴記憶部４３４と、介助者画像特徴記憶部４３５と、評価情報記憶部４３６とを有する。なお、第１３の実施形態において、動作情報記憶部４３１、対象者動作特徴記憶部４３２、介助者動作特徴記憶部４３３、対象者画像特徴記憶部４３４、介助者画像特徴記憶部４３５、及び評価情報記憶部４３６は、図１９に示した動作情報記憶部２３１、対象者動作特徴記憶部２３２、介助者動作特徴記憶部２３３、対象者画像特徴記憶部２３４、介助者画像特徴記憶部２３５、及び評価情報記憶部２３６と、それぞれ同様であるので、説明を省略する。
　制御部４４０は、取得部４４１と、特定部４４２と、第１生成部４４３と、判定部４４４と、第２生成部４４５と、出力制御部４４６とを有する。
　取得部４４１は、図４に示した取得部１４１と同様の機能を有する。例えば、取得部４４１は、動作情報記憶部４３１によって記憶された動作情報を取得する。なお、取得部４４１は、必ずしも、カラー画像情報、距離画像情報、音声認識結果及び骨格情報の全てを含む動作情報を取得しなくても良い。例えば、取得部４４１は、必要に応じて、カラー画像情報、距離画像情報、音声認識結果及び骨格情報のうち少なくとも一つを適宜取得して良い。
　特定部４４２は、図４に示した特定部１４２と同様の機能を有する。例えば、特定部４４２は、取得部４４１によって取得された画像情報における所定の特徴に基づいて、所定の動作を実施する対象者の動作情報を特定する。
　第１生成部４４３は、図１９に示した生成部２４２と同様の機能を有する。例えば、第１生成部４４３は、特定部４４２によって特定された動作情報から、リハビリテーションを評価するための評価情報を生成する。
　判定部４４４は、図１９に示した判定部２４３と同様の機能を有する。例えば、判定部４４４は、リハビリテーションの対象となるリハビリ対象者の特徴を表す情報を用いて、特定部４４２によって特定された動作情報に対応する対象者がリハビリ対象者であるか否かを判定する。
　第２生成部４４５は、図３６に示した生成部３４２と同様の機能を有する。例えば、第２生成部４４５は、特定部４４２によって特定された動作情報に時系列順に含まれる、対象者の人体の骨格を示す骨格情報、及び、対象者が撮影されたカラー画像情報のうち少なくとも一つに基づいて、対象者の個人情報を含まずに対象者の動作を確認可能な医用画像情報を生成する。また、例えば、第２生成部４４５は、判定部によって対象者であると判定された動作情報に時系列順に含まれる骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、対象者の医用画像情報を生成する。
　出力制御部４４６は、図４に示した表示制御部１４３の機能と、図１９に示した格納部２４４の機能と、図３６に示した出力制御部３４３の機能とを有する。そして、出力制御部４４６は、適宜出力制御を行う。
　例えば、出力制御部４４６は、特定部４４２によって対象者の動作情報が特定された場合には、画像情報において、特定部４４２によって特定された動作情報に対応する位置に対象者を示す情報を重畳させた表示画像を表示させるように制御する。
　また、例えば、出力制御部４４６は、判定部４４４によって判定が行われた場合には、判定部１４３によって判定された判定結果を出力する。具体的には、出力制御部４４６は、第１生成部４４３によって生成された評価情報と、判定部４４４によって判定された判定結果とを対応づけて、評価情報記憶部４３６に格納する。
　また、例えば、出力制御部４４６は、第２生成部４４５によって医用画像情報が生成された場合には、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。一例としては、出力制御部４４６は、被検体の骨格情報と、第２生成部４４５によって生成された医用画像情報とを時系列順に対応付けて、閲覧用動作情報として医用画像保管装置２０に格納する。
　図４７は、第１３の実施形態に係る動作情報処理装置４００による処理の手順を示すフローチャートである。図４７に示すように、第１３の実施形態に係る動作情報処理装置４００においては、取得部４４１が、動作情報を取得する（ステップＳ７０１）。例えば、取得部４４１は、動作情報として、カラー画像情報及び骨格情報を取得する。
　続いて、特定部４４２は、対象者特定処理を行う（ステップＳ７０２）。この対象者特定処理は、図９に示したステップＳ１０３～Ｓ１０５の処理に対応する。すなわち、特定部４４２は、対象者特定処理を行うことで、対象者の動作情報を特定する。
　続いて、第１生成部４４３及び判定部４４４は、対象者判定処理を行う（ステップＳ７０３）。この対象者判定処理は、図２７に示したステップＳ３０３及びステップＳ３０４の処理に対応する。すなわち、第１生成部４４３は、特定部４４２によって特定された動作情報から、リハビリテーションを評価するための評価情報を生成する。そして、判定部４４４は、リハビリテーションの対象となるリハビリ対象者の特徴を表す情報を用いて、特定部４４２によって特定された動作情報に対応する対象者がリハビリ対象者であるか否かを判定する。
　そして、第２生成部４４５は、医用画像情報生成処理を行う（ステップＳ７０４）。この医用画像情報生成処理は、図３９に示したステップＳ６０２の処理に対応する。すなわち、第２生成部４４５は、判定部によって対象者であると判定された動作情報に時系列順に含まれる骨格情報及びカラー画像情報のうち少なくとも一つに基づいて、対象者の医用画像情報を生成する。
　その後、出力制御部４４６は、出力制御を行う（ステップＳ７０５）。例えば、出力制御部４４６は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。
　なお、図４７に示した処理手順は、必ずしも上記の例に限定されるものではない。例えば、上記の例では、動作情報処理装置４００が動作情報を取得した後に、対象者特定処理と、対象者判定処理と、医用画像情報生成処理とを一連の処理として連続的に実行する場合を説明したが、実施形態はこれに限定されるものではない。すなわち、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、各処理が行われた段階で出力制御部４４６が必要な情報を適宜記憶部４３０に格納することで、各処理を終了しても良いし、各処理を行う段階で取得部４４１が必要な情報を適宜記憶部４３０から取得することで、各処理を開始しても良い。
　また、例えば、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、必ずしも上記の順序で実行されなくても良い。すなわち、医用画像情報生成処理、対象者判定処理、対象者特定処理の順序で実行されても良い。
　また、例えば、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理は、必ずしも実行されなくても良い。具体的には、動作情報処理装置４００は、対象者特定処理を実行した後に、対象者判定処理又は医用画像情報生成処理を実行し、処理後の情報を適宜出力しても良い。また、動作情報処理装置４００は、対象者判定処理及び医用画像情報生成処理を順に実行した後に、処理後の情報を適宜出力しても良い。
　上述してきたように、第１３の実施形態に係る動作情報処理装置４００は、対象者特定処理、対象者判定処理、及び医用画像情報生成処理の各処理を一連の処理として実行する。このため、第１３の実施形態に係る動作情報処理装置４００は、リハビリ対象者の動作情報を確実に判定して、更に、そのリハビリ対象者の個人情報を隠蔽することができる。
（その他の実施形態）
　さて、これまで第１～第１３の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されて良いものである。
（サービス提供装置への適用）
　上述した第１～第１３の実施形態では、動作情報処理装置が、リハビリを実行する対象者の動作情報（骨格情報）を特定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各処理がネットワーク上のサービス提供装置によって実行される場合であってもよい。
　図４８は、サービス提供装置に適用される場合の一例を説明するための図である。図４８に示すように、サービス提供装置５００は、サービスセンタ内に配置され、例えば、ネットワーク５を介して、医療機関や、自宅、職場に配置される端末装置６００とそれぞれ接続される。医療機関、自宅及び職場に配置された端末装置６００は、動作情報収集部１０がそれぞれ接続される。そして、各端末装置６００は、サービス提供装置５００によって提供されるサービスを利用するクライアント機能を備える。
　例えば、サービス提供装置５００は、図４において説明した動作情報処理装置１００と同様の処理をサービスとして端末装置６００に提供する。すなわち、サービス提供装置５００は、取得部１４１と、特定部１４２と同様の機能部を有する。そして、取得部１４１と同様の機能部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。そして、特定部１４２と同様の機能部は、取得部１４１と同様の機能部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。なお、ネットワーク５には、有線又は無線を問わず、インターネット（Internet）、ＷＡＮ（Wide　Area　Network）などの任意の種類の通信網を採用できる。
　また、例えば、サービス提供装置５００は、図１９において説明した動作情報処理装置２００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部２４１と、判定部２４３と同様の機能部を有する。そして、取得部２４１と同様の機能部は、人物の動作を表す動作情報を取得する。そして、判定部２４３と同様の機能部は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、取得部２４１と同様の機能部によって取得された動作情報に対応する人物が対象者であるか否かを判定する。このようなことから、サービス提供装置５００は、デジタル的に記録された人物の動きが、リハビリテーションの対象となる対象者のものであるか否かを判定することができる。
　また、例えば、サービス提供装置５００は、図３６において説明した動作情報処理装置３００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部３４１と、生成部３４２と、出力制御部３４３とそれぞれ同様の機能部を有する。そして、取得部３４１と同様の機能部は、被検体の骨格に含まれる各関節の位置を表す骨格情報と、その被検体が撮影された撮影画像情報とを時系列順に含む動作情報を取得する。そして、生成部３４２と同様の機能部は、骨格情報及び撮影画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。
　例えば、サービス提供装置５００は、端末装置６００から処理の対象となる動作情報のフレーム群のアップロードを受け付ける。そして、サービス提供装置５００は、上記の処理を行って閲覧用動作情報を生成する。そして、サービス提供装置５００は、閲覧用動作情報を端末装置６００にダウンロードさせる。そして、端末装置６００は、ダウンロードした閲覧用動作情報を医用画像保管装置２０に格納する。
　また、例えば、サービス提供装置５００は、図４６において説明した動作情報処理装置４００と同様の機能を有し、当該機能によって端末装置６００にサービスとして提供する。すなわち、サービス提供装置５００は、取得部４４１と、特定部４４２と、第１生成部４４３と、判定部４４４と、第２生成部４４５と、出力制御部４４６とそれぞれ同様の機能部を有する。そして、取得部４４１と同様の機能部は、所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する。そして、特定部４４２と同様の機能部は、取得部４４１と同様の機能部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する。そして、判定部４４４と同様の機能部は、リハビリテーションの対象となる対象者の特徴を表す情報を用いて、特定部４４２と同様の機能部によって特定された動作情報に対応する人物が対象者であるか否かを判定する。そして、第２生成部４４５と同様の機能部は、骨格情報及び撮影画像情報のうち少なくとも一つに基づいて、被検体の個人情報を含まずに被検体の動作を確認可能な医用画像情報を生成する。そして、出力制御部４４６と同様の機能部は、骨格情報と、医用画像情報とを時系列順に含む閲覧用動作情報を出力する。
　また、上述した第１～第６の実施形態における動作情報処理装置１００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、動作情報記憶部１３１と認識情報記憶部１３２とを統合したり、特定部１４２を、関節間の距離などを算出する算出部と算出された値を閾値と比較する比較部とに分離したりすることが可能である。
　また、上述した第７～第１０の実施形態における動作情報処理装置２００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、対象者動作特徴記憶部２３２と介助者動作特徴記憶部２３３とを統合したり、判定部２４３を記憶部２３０から判定処理を行うための条件を抽出する処理部と、動作情報を用いて判定する処理部とに分離したりすることが可能である。
　また、第１１～第１２の実施形態における動作情報処理装置３００の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、取得部３４１及び生成部３４２を統合することが可能である。
　また、第７～第１０の実施形態において説明した取得部２４１及び判定部２４３の機能は、ソフトウェアによって実現することもできる。例えば、取得部２４１及び判定部２４３の機能は、上記の実施形態において取得部２４１及び判定部２４３が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ－ＲＯＭ（Compact　Disc　－　Read　Only　Memory）やＭＯ（Magnetic　Optical　disk）、ＤＶＤ（Digital　Versatile　Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。
　また、第１１～第１２の実施形態において説明した取得部３４１及び生成部３４２の機能は、ソフトウェアによって実現することもできる。例えば、取得部３４１及び生成部３４２の機能は、上記の実施形態において取得部３４１及び生成部３４２が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ－ＲＯＭ（Compact　Disc　－　Read　Only　Memory）やＭＯ（Magnetic　Optical　disk）、ＤＶＤ（Digital　Versatile　Disc）などのコンピュータで読取り可能な記録媒体に記録されて、配布され得る。
　なお、上述した第１の実施形態～第９の実施形態で示したリハビリのルール情報や、推奨介助状態などは、日本整形外科学会などで規定されたものだけでなく、その他種々の団体によって規定されたものを用いる場合であってもよい。例えば、「International　Society　of　Orthopaedic　Surgery　and　Traumatology（SICOT）：国際整形外科学会」、「American　Academy　of　Orthopaedic　Surgeons(AAOS)：米国整形外科学会」、「European　Orthopaedic　Research　Society（EORS）：欧州整形外科学研究会」、「International　Society　of　Physical　and　Rehabilitation　Medicine　(ISPRM)　：国際リハビリテーション医学会」、「American　Academy　of　Physical　Medicine　and　Rehabilitation(AAPM&R)：米国物理療法リハビリテーション学会」などによって規定された各種規則やルールを用いる場合であってもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (25)

  1. 　所定の動作を実施する対象者及び当該対象者の周囲の画像情報を取得する取得部と、
    　前記取得部によって取得された画像情報における所定の特徴に基づいて、前記所定の動作を実施する対象者の動作情報を特定する特定部と、
    　を備える、動作情報処理装置。
  2. 　前記画像情報における所定の領域を指定するための指定操作を受け付ける受付部をさらに備え、
    　前記特定部は、前記所定の特徴として、前記受付部によって受け付けられた領域内で、前記所定の動作を実施する対象者の動作情報を特定する、請求項１に記載の動作情報処理装置。
  3. 　前記特定部は、前記取得部によって取得された前記画像情報から前記対象者を示す対象者情報を前記所定の特徴として抽出し、抽出した対象者情報に基づいて、前記所定の動作を実施する対象者の動作情報を特定する、請求項１又は２に記載の動作情報処理装置。
  4. 　前記特定部は、前記画像情報に含まれる動体を示す情報、人体の骨格を示す情報、及び、前記対象者に予め設定された設定項目のうち、少なくとも１つを前記対象者情報として抽出し、抽出した対象者情報に基づいて、前記所定の動作を実施する対象者の動作情報を特定する、請求項３に記載の動作情報処理装置。
  5. 　前記特定部は、前記取得部によって取得された経時的な画像情報において、前記対象者の周囲の３次元空間内で位置を変化させる物体を前記動体とする、請求項４に記載の動作情報処理装置。
  6. 　前記特定部は、前記画像情報に含まれる関節点の情報のうち、人体の構造に沿った関節点の集合を前記人体の骨格を示す情報とする、請求項４に記載の動作情報処理装置。
  7. 　前記画像情報において、前記特定部によって特定された動作情報に対応する位置に前記対象者を示す情報を重畳させた表示画像を表示させるように制御する表示制御部をさらに備える、請求項１に記載の動作情報処理装置。
  8. 　リハビリテーションの対象となるリハビリテーション対象者の特徴を表す情報を用いて、前記特定部によって特定された動作情報に対応する対象者が前記リハビリテーション対象者であるか否かを判定する判定部と、
    　前記判定部によって判定された判定結果を出力する出力制御部と
    　を更に備える、請求項１に記載の動作情報処理装置。
  9. 　前記特定部によって特定された動作情報に時系列順に含まれる、前記対象者の人体の骨格を示す情報、及び、当該対象者が撮影された画像情報のうち少なくとも一つに基づいて、前記対象者の個人情報を含まずに当該対象者の動作を確認可能な医用画像情報を生成する生成部を更に備える、請求項１又は８に記載の動作情報処理装置。
  10. 　人物の動作を表す動作情報を取得する取得部と、
    　リハビリテーションの対象となる対象者の特徴を表す情報を用いて、前記取得部によって取得された動作情報に対応する人物が前記対象者であるか否かを判定する判定部と、
    　前記判定部によって判定された判定結果を出力する出力制御部と
    　を備える、動作情報処理装置。
  11. 　前記対象者の特徴を表す情報として、当該対象者の動作の特徴を表す対象者動作特徴情報を記憶する対象者動作特徴記憶部を更に備え、
    　前記判定部は、前記対象者動作特徴記憶部を参照し、前記取得部によって取得された動作情報に対応する人物が前記対象者であるか否かを判定する、請求項１０に記載の動作情報処理装置。
  12. 　前記対象者を介助する介助者の動作の特徴を表す介助者動作特徴情報を記憶する介助者動作特徴記憶部を更に備え、
    　前記判定部は、更に、前記介助者動作特徴記憶部を参照し、前記取得部によって取得された動作情報に対応する人物が前記介助者であるか否かを判定する、請求項１０又は１１に記載の動作情報処理装置。
  13. 　前記取得部によって取得された動作情報から、前記リハビリテーションを評価するための評価情報を生成する生成部を更に備え、
    　前記出力制御部は、前記生成部によって生成された評価情報と、前記判定部によって判定された判定結果とを対応づけて所定の記憶部に格納する、請求項１０に記載の動作情報処理装置。
  14. 　前記出力制御部は、前記判定部によって判定された判定結果を確認させるための画面を所定の表示部に表示させ、当該判定結果が確認されると、当該判定結果と、前記生成部によって生成された評価情報とを対応づけて前記所定の記憶部に格納する、請求項１３に記載の動作情報処理装置。
  15. 　前記対象者の身体的な特徴または対象者の付随物の特徴を表す対象者特徴情報を記憶する対象者特徴記憶部を更に備え、
    　前記取得部は、更に、人物が撮影された画像を取得し、
    　前記判定部は、更に、前記対象者特徴記憶部を参照し、前記取得部によって取得された画像中の人物が前記対象者であるか否かを判定する、請求項１０に記載の動作情報処理装置。
  16. 　前記介助者の身体的な特徴または介助者の付随物の特徴を表す介助者特徴情報を記憶する介助者特徴記憶部を更に備え、
    　前記取得部は、更に、人物が撮影された画像を取得し、
    　前記判定部は、更に、前記介助者特徴記憶部を参照し、前記取得部によって取得された画像中の人物が前記介助者であるか否かを判定する、請求項１０に記載の動作情報処理装置。
  17. 　前記対象者の身体的な特徴を、前記対象者の電子カルテに記録された情報から取得する、請求項１６に記載の動作情報処理装置。
  18. 　前記介助者を識別するための識別情報を記憶する識別情報記憶部を更に備え、
    　前記取得部は、更に、人物が撮影された人物画像を取得し、
    　前記判定部は、更に、前記取得部によって取得された人物画像から前記識別情報を抽出し、抽出した識別情報が、前記識別情報記憶部に記憶された識別情報に対応する人物であるか否かを判定する、請求項１０に記載の動作情報処理装置。
  19. 　前記判定部によって対象者であると判定された動作情報に含まれる、前記対象者の骨格に含まれる各関節の位置を表す骨格情報、及び、当該対象者が撮影された撮影画像情報のうち少なくとも一つに基づいて、前記対象者の個人情報を含まずに当該対象者の動作を確認可能な医用画像情報を生成する生成部を更に備える、請求項１０に記載の動作情報処理装置。
  20. 　被検体の骨格に含まれる各関節の位置を表す骨格情報と、当該被検体が撮影された撮影画像情報とを時系列順に含む動作情報を取得する取得部と、
    　前記骨格情報及び前記撮影画像情報のうち少なくとも一つに基づいて、前記被検体の個人情報を含まずに当該被検体の動作を確認可能な医用画像情報を生成する生成部と
    　を備える、動作情報処理装置。
  21. 　前記生成部は、前記骨格情報に含まれる各関節の位置を用いて、前記被検体の骨格を視覚的に確認可能な画像情報を、前記医用画像情報として生成する、請求項２０に記載の動作情報処理装置。
  22. 　前記生成部は、前記骨格情報に含まれる所定の部位の位置を用いて、前記撮影画像情報に含まれる被検体の特徴を含む部位の少なくとも一部を隠蔽した画像情報を、前記医用画像情報として生成する、請求項２０に記載の動作情報処理装置。
  23. 　前記生成部は、更に、前記骨格情報に含まれる各関節の位置を用いて、前記撮影画像情報に含まれる被検体以外が撮影された画像の少なくとも一部を隠蔽した画像情報を、前記医用画像情報として生成する、請求項２２に記載の動作情報処理装置。
  24. 　前記取得部は、撮影範囲に含まれる各画素と、当該画素の深度とが対応付けられた深度画像情報を時系列順に更に含む前記動作情報を取得し、
    　前記生成部は、処理対象となる時点の深度画像情報と、当該深度画像情報とは異なる時点の深度画像情報とに基づいて、前記処理対象となる時点の深度画像情報から被検体の領域を表す画像情報を、前記医用画像情報として生成する、請求項２０に記載の動作情報処理装置。
  25. 　前記生成部は、前記医用画像情報として、前記撮影画像において床面の位置を表す床面画像を含む画像情報を生成する、請求項２０～２４のいずれか一つに記載の動作情報処理装置。
PCT/JP2014/051023 2013-01-18 2014-01-20 動作情報処理装置 WO2014112635A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/793,396 US9710920B2 (en) 2013-01-18 2015-07-07 Motion information processing device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013-007872 2013-01-18
JP2013007872 2013-01-18
JP2013-167836 2013-08-12
JP2013167836 2013-08-12
JP2013-171755 2013-08-21
JP2013171755 2013-08-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/793,396 Continuation US9710920B2 (en) 2013-01-18 2015-07-07 Motion information processing device

Publications (1)

Publication Number Publication Date
WO2014112635A1 true WO2014112635A1 (ja) 2014-07-24

Family

ID=51209720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051023 WO2014112635A1 (ja) 2013-01-18 2014-01-20 動作情報処理装置

Country Status (3)

Country Link
US (1) US9710920B2 (ja)
JP (2) JP2015061577A (ja)
WO (1) WO2014112635A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031314A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
JP2016122085A (ja) * 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2019111521A1 (ja) * 2017-12-06 2019-06-13 株式会社 資生堂 情報処理装置、プログラム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2481191A (en) 2010-02-25 2011-12-21 Sita Information Networking Computing Ireland Ltd Graphical development tool for software application development
MY158867A (en) 2010-12-21 2016-11-16 Sita N V Reservation system and method
SG188579A1 (en) 2011-08-03 2013-04-30 Sita Inf Networking Computing Usa Inc Item handling and tracking system and method therefor
GB2499288A (en) 2012-02-09 2013-08-14 Sita Inf Networking Computing Usa Inc Path determination
US10320908B2 (en) 2013-03-25 2019-06-11 Sita Information Networking Computing Ireland Limited In-flight computing device for aircraft cabin crew
GB2523441A (en) 2014-02-19 2015-08-26 Sita Information Networking Computing Ireland Ltd Reservation system and method therefor
US10001546B2 (en) 2014-12-02 2018-06-19 Sita Information Networking Computing Uk Limited Apparatus for monitoring aircraft position
EP3304767B1 (en) 2015-06-01 2019-12-04 Sita Information Networking Computing UK Limited Method and system for monitoring aircraft status
JP6726856B2 (ja) * 2015-07-17 2020-07-22 パナソニックＩｐマネジメント株式会社 注意情報提示装置および注意情報提示方法
JP6664920B2 (ja) * 2015-09-30 2020-03-13 グローリー株式会社 監視カメラシステム及び監視方法
CN110391017A (zh) * 2015-10-29 2019-10-29 佳能市场营销日本株式会社 信息处理装置以及信息处理方法
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
US11714880B1 (en) 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11854308B1 (en) * 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
CN113903455A (zh) * 2016-08-02 2022-01-07 阿特拉斯5D公司 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
WO2018087933A1 (ja) * 2016-11-14 2018-05-17 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
USD836625S1 (en) 2016-12-08 2018-12-25 Sita Information Networking Computing Canada, Inc. Self-service kiosk
US10620013B2 (en) 2017-03-09 2020-04-14 Sita Information Networking Computing Usa, Inc. Testing apparatus and method for testing a location-based application on a mobile device
US10360785B2 (en) 2017-04-07 2019-07-23 Sita Information Networking Computing Usa, Inc. Article tracking system and method
USD881961S1 (en) 2017-05-19 2020-04-21 Sita Information Networking Computing Usa, Inc. Robot
JP6631594B2 (ja) * 2017-06-30 2020-01-15 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
US11771958B2 (en) * 2017-07-07 2023-10-03 Rika TAKAGI Instructing process management system for treatment and/or exercise, and program, computer apparatus and method for managing instructing process for treatment and/or exercise
JP6824838B2 (ja) * 2017-07-07 2021-02-03 株式会社日立製作所 作業データ管理システム及び作業データ管理方法
KR102147930B1 (ko) * 2017-10-31 2020-08-25 에스케이텔레콤 주식회사 포즈 인식 방법 및 장치
US11410088B2 (en) 2017-11-03 2022-08-09 Sita Ypenburg B.V. Systems and methods for interactions between ticket holders and self service functions
US11589778B2 (en) 2018-03-16 2023-02-28 Sony Interactive Entertainment Inc. Body size estimation apparatus, body size estimation method, and program
JP7004218B2 (ja) * 2018-05-14 2022-01-21 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
CN109618183B (zh) * 2018-11-29 2019-10-25 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
JP7207431B2 (ja) * 2018-12-27 2023-01-18 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN113490945A (zh) * 2019-01-07 2021-10-08 梅特拉莱布斯新技术和系统公司 人动作过程采集系统
CN110279406B (zh) * 2019-05-06 2022-07-15 苏宁金融服务(上海)有限公司 一种基于摄像头的无接触式的脉率测量方法及装置
WO2021014530A1 (en) * 2019-07-22 2021-01-28 Nec Corporation Pose identifying apparatus, pose identifying method, and non-transitory computer readable medium
KR102341083B1 (ko) * 2020-03-19 2021-12-21 한국기계연구원 인체 자세 추정 기술을 적용한 신체영상 보호 시스템 및 그 방법
WO2021192908A1 (ja) * 2020-03-25 2021-09-30 Ｎｅｃソリューションイノベータ株式会社 追跡方法
JP7433126B2 (ja) 2020-04-21 2024-02-19 三菱電機株式会社 画像表示システム、画像表示装置、サーバ、画像表示方法およびプログラム
JP7480592B2 (ja) 2020-05-29 2024-05-10 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
JP7485040B2 (ja) 2020-07-01 2024-05-16 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP6887586B1 (ja) * 2020-07-03 2021-06-16 三菱電機株式会社 行動特定装置、行動特定方法及び行動特定プログラム
US11682237B1 (en) * 2020-09-04 2023-06-20 Amazon Technologies, Inc. System for learning and tracking performance of activities
JP6869417B1 (ja) * 2020-11-18 2021-05-12 株式会社オプティム プログラム、方法、情報処理装置、システム
WO2023145475A1 (ja) * 2022-01-27 2023-08-03 Ｎｅｃソリューションイノベータ株式会社 画像処理装置
US20240057893A1 (en) * 2022-08-17 2024-02-22 August River, Ltd Co Remotely tracking range of motion measurement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172394A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 歩行状態表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3387284B2 (ja) 1995-08-21 2003-03-17 松下電器産業株式会社 リハビリテーション支援装置
JPH10151162A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp ベッドサイド患者ウェルネスシステム
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
JP2005352686A (ja) * 2004-06-09 2005-12-22 Matsushita Electric Ind Co Ltd リハビリテーション管理装置
JP2006110072A (ja) * 2004-10-14 2006-04-27 Mitsubishi Heavy Ind Ltd 非接触歩行検出方法とシステム及び該システムを用いた個人認証方法とシステム
JP2007213218A (ja) * 2006-02-08 2007-08-23 Seiko Instruments Inc 対象者動作判定装置及び対象者動作判定方法ならびにそのプログラム
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
JP4924727B2 (ja) * 2010-02-16 2012-04-25 カシオ計算機株式会社 画像処理装置及び画像処理プログラム
JP4590018B1 (ja) * 2010-02-26 2010-12-01 エンパイア テクノロジー ディベロップメント エルエルシー 特徴量変換装置、および特徴量変換方法
JP5087101B2 (ja) * 2010-03-31 2012-11-28 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US20130300573A1 (en) * 2010-05-20 2013-11-14 Lifeflow Technologies, Inc. Patient monitoring and surveillance system, methods, and devices
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
JP5751899B2 (ja) * 2011-04-08 2015-07-22 株式会社日立メディコ 医用画像処理装置及び医用画像診断装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172394A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 歩行状態表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031314A1 (ja) * 2014-08-25 2016-03-03 Ｎｋワークス株式会社 個人識別装置、個人識別方法、及び、個人識別プログラム
JP2016122085A (ja) * 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
WO2019111521A1 (ja) * 2017-12-06 2019-06-13 株式会社 資生堂 情報処理装置、プログラム

Also Published As

Publication number Publication date
US9710920B2 (en) 2017-07-18
JP2019046481A (ja) 2019-03-22
JP6675462B2 (ja) 2020-04-01
US20150310629A1 (en) 2015-10-29
JP2015061577A (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
JP6675462B2 (ja) 動作情報処理装置
JP6181373B2 (ja) 医用情報処理装置及びプログラム
US10170155B2 (en) Motion information display apparatus and method
JP6334925B2 (ja) 動作情報処理装置及び方法
JP6381918B2 (ja) 動作情報処理装置
JP6351978B2 (ja) 動作情報処理装置及びプログラム
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
JP6878628B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
US20150005910A1 (en) Motion information processing apparatus and method
JP6598422B2 (ja) 医用情報処理装置、システム及びプログラム
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
KR20220140224A (ko) 보행데이터 기반 파킨슨 증후군 중증 단계 판별 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14741120

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14741120

Country of ref document: EP

Kind code of ref document: A1